推刘备继任。建安十九年（214年），孙权派吕蒙夺取桂阳，刘备亦承认桂阳为其所有。
六朝.三国初期，刘备发起夷陵之战讨伐孙吴，桂阳郡等地叛乱响应，但被步骘镇压。孙吴改汉宁县为阳安县。孙皓于桂阳郡南部分置始兴郡，辖境缩小。晋武帝太康九年（589年），改阳安县为晋宁县。太康中，桂阳郡领六县：郴、耒阳、便、临武、晋宁、南平。东晋时，析置汝城县。
隋唐.隋文帝开皇九年（589年）灭陈，废桂阳郡，其地属郴州。隋炀帝大业三年（607年），改郴州为桂阳郡。桂阳郡领三县