百越族就已在香港活动，完全不同于中原部族之南方部族，种类多，善于捕猎、驾船，以鸟形风神作图腾，不断南迁，经常由香港出发扬帆远航。
秦至元时期.前214年（秦始皇卅三年），秦朝征服百越，秦始皇首次完成统一中国大业，在岭南地区设置南海郡、桂林郡、象郡，迁移50万人开发岭南；当时香港地区属于南海郡番禺县。由公元前203年开始，香港由南越国统治，直至前111年西汉灭南越，香港由汉王朝统治。其后东汉、东吴、西晋及东晋初年，香港一直属番禺县。东晋咸和六年（331年）起，改隶宝安县。公元73