连江、北江流域。西汉后期，桂阳郡领十一县：郴、临武、便、南平、耒阳、桂阳、阳山（侯国）、曲江、含洭、浈阳、阴山（侯国）。王莽时，改桂阳郡为南平郡。东汉初，复为桂阳郡。后省阳山县。汉顺帝永和元年（136年），析置汉宁县。建安十三年（208年）荆州牧刘表死后，刘备奉刘表长子刘琦继任荆州刺史，桂阳太守赵范向其投降。刘琦死后，其势力推刘备继任。建安十九年（214年），孙权派吕蒙夺取桂阳，刘备亦承认桂阳为其所有。
六朝.三国初期，刘备发起夷陵之战讨伐孙吴，桂阳郡等地叛乱响应，但被步骘