说五年立长沙国后分南部地区置，治所在郴县（今湖南省郴州市）。辖境约当今湖南省桂东、郴州、嘉禾、宁远、道县以南，广东省连县、乐昌及广西壮族自治区兴安等县地。其后屡有变化。元鼎六年（前111年）分西部地区置零陵郡，宣帝以后相当今湖南省耒阳市以南的耒水流域、舂陵水流域和洣水下游及广东省连江口以北的连江、北江流域。西汉后期，桂阳郡领十一县：郴、临武、便、南平、耒阳、桂阳、阳山（侯国）、曲江、含洭、浈阳、阴山（侯国）。王莽时，改桂阳郡为南平郡。东汉初，复为桂阳郡。后省阳山县。汉顺帝永和元年（136年），析置汉宁县