原地区移居到香港一带的人越来越多。其中最着名的是宋神宗崇宁年间的进士邓符协迁往岑田（今锦田），以及北宋末年进士侯五郎之子侯卓峰迁往河上乡等。这两组族人连同元朝迁入新界范围的廖姓、文姓及彭姓，被合称为新界五大氏族。松岭邓公祠当中奉祀皇姑；龙头木雕表示她是宋朝皇室的人。另一方面宋理宗宝祐二年（1254年），李昴英封番禺开国男，食邑三百户，大屿山的梅蔚（今大屿山梅窝）也是其食邑之一。其后人则定居于沙螺湾一带。元朝时期，香港属元朝江西行省。赤鱲角一带亦可能有冶铁工业。于赤鱲角虾螺湾，曾被发现元朝时期的铸炉十三座