太康中，衡阳郡领九县：湘乡、重安、湘南、湘西、烝阳、衡山、连道、新康、益阳。西晋后期，衡阳郡为长沙国的支郡，太守改称内史。永嘉以后改属湘州。南朝宋时，衡阳郡移治湘西县（今湖南省株洲县西南晚洲旱草坪），南部辖境略为缩小。
隋唐.隋文帝开皇九年（589年）灭陈，废衡阳郡，其地属衡州。隋炀帝大业三年（607年），改衡州为衡山郡。唐高祖武德四年（621年），平萧铣，改衡山郡为衡州。唐玄宗天宝元年（742年），改衡州为衡阳郡。衡阳郡领六县：衡阳、常宁（今湖南省常宁市）、攸（今湖南省攸县网