潭、邵、永、道五州军事。大历4年（769）徙治潭州，在衡阳以湖南定名的建置中心，由衡阳转移到长沙。五代十国开平元年（907年），马殷割据湖广地区称楚王。楚分所有地为二十八州一监，直隶长沙府，衡阳县隶属楚国衡州。宋，隶属荆湖南路衡州衡阳郡。元朝至元13年（1276年），衡州改称衡州路，衡阳县隶属衡州路。至元3年（1337年），析衡阳县东南乡复置新城县（今分属衡南县、耒阳市）。至正24年（1364年），吴王朱元璋改元朝衡州路为衡州府，衡阳县属衡州府。洪武元年（1368年），朱元璋结束元朝统治归属