14年（秦始皇卅三年），秦朝征服百越，秦始皇首次完成统一中国大业，在岭南地区设置南海郡、桂林郡、象郡，迁移50万人开发岭南；当时香港地区属于南海郡番禺县。由公元前203年开始，香港由南越国统治，直至前111年西汉灭南越，香港由汉王朝统治。其后东汉、东吴、西晋及东晋初年，香港一直属番禺县。东晋咸和六年（331年）起，改隶宝安县。公元736年（唐开元二十四年），香港隶属循州（今惠州市），并设有屯门军镇，当中两千名士兵驻守屯门，主要保护海上贸易。自唐朝起，由于香港沥源（今沙田）以及大奚山沙螺湾土壤都适合牙香树