刘表死后，刘备奉刘表长子刘琦继任荆州刺史，桂阳太守赵范向其投降。刘琦死后，其势力推刘备继任。建安十九年（214年），孙权派吕蒙夺取桂阳，刘备亦承认桂阳为其所有。
六朝.三国初期，刘备发起夷陵之战讨伐孙吴，桂阳郡等地叛乱响应，但被步骘镇压。孙吴改汉宁县为阳安县。孙皓于桂阳郡南部分置始兴郡，辖境缩小。晋武帝太康九年（589年），改阳安县为晋宁县。太康中，桂阳郡领六县：郴、耒阳、便、临武、晋宁、南平。东晋时，析置汝城县。
隋唐.隋文帝开皇九年（589年）灭陈