衡山郡，中国古代的郡。隋灭陈后，置衡州。大业三年（607年），改衡州为衡山郡，治所在衡阳县（今湖南省衡阳市）。户五千六十八，下辖四县：衡阳县、洡阴县、湘潭县、新宁县。唐朝武德四年（621年），改为衡州。同年，耒阴县更名耒阳县。天宝、至德年间，曾改衡州为衡阳郡。