部等地生活着南越、西瓯、骆越等百越族支系的原始部落。约前218年，秦朝君主秦始皇派遣屠睢率领50万秦军分五路进攻岭南和闽越地区的百越族。前214年，秦始皇派遣任嚣、赵佗率领秦军重新发动攻势，很快将岭南地区完全纳入了秦朝的版图。同年，秦朝在岭南地区设立了南海郡、桂林郡、象郡三郡。前206年秦帝国灭亡。约前203年，赵佗占据南海，兼併桂林郡和象郡，在岭南地区建立南越国。析象郡为交趾、九真两郡。西汉时，前111年（汉武帝元鼎六年）汉平南越国，在原南越国地方设交趾刺史部，是汉代十三刺史部之一，也是汉朝最南部疆域