衡山（古衡山，在今安徽省霍山县）周围地区得名。楚汉之际，项羽以秦衡山郡置衡山国，都邾。汉太祖复为衡山郡，属淮南国。汉文帝十六年（前164年）改置衡山国，治所依旧。汉武帝时辖境缩小，元狩元年（前122年）复改为衡山郡，次年分置六安国，东部属庐江郡，西部属江夏郡。