后历经汉、晋、隋、唐、五代、宋以至于明，香港曾先后隶属东莞郡宝安县、广州府宝安县、广州府东莞县、增城县及广州府新安县管辖。其后的东汉、东吴、西晋及东晋初年，香港一带一直仍属番禺县。东晋咸和六年（331年）起，该地区属宝安县管辖。东晋末年，地方民变首领卢循在刘裕率兵征讨之下，率其部下逃亡至大屿山定居。有文字记载之内地移民活动始于东晋。其后香港地区历南朝及隋朝政权的管治。唐代，随着广州对外贸易的发展，香港地区开始有较明显的发展。中国文献中最先出现之香港地名要算《新唐书》记载之「屯门」，由于地理位置优越，