郡为长沙国的支郡，太守改称内史。永嘉以后改属湘州。南朝宋时，衡阳郡移治湘西县（今湖南省株洲县西南晚洲旱草坪），南部辖境略为缩小。
隋唐.隋文帝开皇九年（589年）灭陈，废衡阳郡，其地属衡州。隋炀帝大业三年（607年），改衡州为衡山郡。唐高祖武德四年（621年），平萧铣，改衡山郡为衡州。唐玄宗天宝元年（742年），改衡州为衡阳郡。衡阳郡领六县：衡阳、常宁（今湖南省常宁市）、攸（今湖南省攸县网岭镇董家洲）、茶陵（今湖南省茶陵县）、耒阳（今湖南省耒阳市）、衡山（今湖南省衡山县开云镇）