开始，香港由南越国统治，直至前111年西汉灭南越，香港由汉王朝统治。其后东汉、东吴、西晋及东晋初年，香港一直属番禺县。东晋咸和六年（331年）起，改隶宝安县。公元736年（唐开元二十四年），香港隶属循州（今惠州市），并设有屯门军镇，当中两千名士兵驻守屯门，主要保护海上贸易。自唐朝起，由于香港沥源（今沙田）以及大奚山沙螺湾土壤都适合牙香树生长，种香及产香业也逐渐发展。直到清康熙元年（1662年）海禁迁界为止。根据考证，明朝时期由东莞南部及新安全境（包括香港）香树制品会经陆路运至尖沙头（今尖沙嘴），以小艇送