殷割据湖广地区称楚王。楚分所有地为二十八州一监，直隶长沙府，衡阳县隶属楚国衡州。宋，隶属荆湖南路衡州衡阳郡。元朝至元13年（1276年），衡州改称衡州路，衡阳县隶属衡州路。至元3年（1337年），析衡阳县东南乡复置新城县（今分属衡南县、耒阳市）。至正24年（1364年），吴王朱元璋改元朝衡州路为衡州府，衡阳县属衡州府。洪武元年（1368年），朱元璋结束元朝统治归属明朝。洪武10年（1377年），新城县并入衡阳县。康熙17年（1678年）农历三月初二，吴三桂在衡阳称帝，国号周，改年号昭武，改衡