秦朝赵佗在此任县令时，即筑有秦城，南越国建立后，赵佗以此为兴王地，在龙川的县郊修筑了宫殿式建筑长乐台。桂林郡包括了今广西的大部分区域，秦朝时设有布山、四会等县，一直延续到南越国。其中布山县是桂林郡的郡治，位于今广西贵港境内，1976年，在贵港发掘出土罗泊湾一号墓，该墓的墓主被考古学家认为是南越国桂林郡的最高官吏。交趾、九真二郡包括了今越南中、北部地区，下设的县可考者只有秦朝始设的象林县。
族群.南越国境内的居民，大部分是统称为“百越”的土着居民，另有来自中原的移民。这些中原移民包括