武元年（1368年），置桂阳府。洪武九年（1376年）四月，降为县，平阳县并入。洪武十三年（1380年）五月，升桂阳县为州，治所在今湖南省桂阳县。属衡州府。至明朝末年，下领二县：临武县、蓝山县，崇祯十二年（1639年），增设嘉禾县。辖境相当今湖南省桂阳、临武、蓝山、嘉禾等县地。清朝雍正十年（1732年）升为桂阳直隶州，属湖南省。1913年废州改为桂阳县。