所在邾县（今湖北省黄冈市黄州区西北）。辖境约今河南省信阳市、湖北省红安县、黄冈市以东，安徽省霍山、怀宁两县以西，南至长江，北至淮河地区，以境内包有衡山（古衡山，在今安徽省霍山县）周围地区得名。楚汉之际，项羽以秦衡山郡置衡山国，都邾。汉太祖复为衡山郡，属淮南国。汉文帝十六年（前164年）改置衡山国，治所依旧。汉武帝时辖境缩小，元狩元年（前122年）复改为衡山郡，次年分置六安国，东部属庐江郡，西部属江夏郡。