所在衡阳县（今湖南省衡阳市。清朝干隆中，分衡阳县东南乡置清泉县，同为府治）。属湖广省。终明一朝，共领一州（桂阳州，下领三县：临武县、蓝山县、嘉禾县），九县：衡阳县、衡山县、耒阳县、常宁县、安仁县、酃县、临武县、蓝山县、嘉禾县。辖境相当今湖南省衡阳、衡山、衡东、常宁、耒阳、安仁、炎陵、桂阳、嘉禾、蓝山、临武等市县地。清朝时，属湖南省。雍正十年（1732年），桂阳州升为桂阳直隶州，府境南界北移至耒阳市、常宁市。辛亥革命后，全国废府州厅改县，于1913年废衡州府。