德2年（757年），衡州防御使治所设衡阳县城，领辖衡、岳、潭、郴、邵、永、道、涪八州军事。代宗广德二年（764），置湖南观察使治所于衡阳县城，领辖衡、潭、邵、永、道五州军事。大历4年（769）徙治潭州，在衡阳以湖南定名的建置中心，由衡阳转移到长沙。五代十国开平元年（907年），马殷割据湖广地区称楚王。楚分所有地为二十八州一监，直隶长沙府，衡阳县隶属楚国衡州。宋，隶属荆湖南路衡州衡阳郡。元朝至元13年（1276年），衡州改称衡州路，衡阳县隶属衡州路。至元3年（1337年），析衡阳县东南乡复置新城县