为新界邓、侯、廖、文、彭五大族之首。南宋末年，宋端宗和宋帝昺为躲避蒙古军队，逃至香港。传说两帝曾在土瓜湾一块大石上休息，后人便称该处为宋皇台。宋元时期，不少宗族从中原迁居到新界本土及离岛。
明清时期.1514年（明正德九年），葡萄牙派兵抵达并攻佔屯门，立葡佔屯门。1521年（正德十六年），葡萄牙人强行驶入香港，企图前往广州贸易，曾在屯门附与明朝水师激烈交锋。史称屯门海战，最后明军大获全胜，但恩准葡人停泊澳门新马路一带。清朝初年，香港隶属新安县。清廷为防沿海居民接济南明遗臣郑成功