势如雁之回”，回雁峰因此得名，这也是衡阳别名“雁城”的原因。明朝地理学家徐霞客曾于1637年到衡州游临览，《徐霞客游记》里有回雁峰的记录：“登崖上回雁峰，峰不甚高，东临湘水，北瞰衡城，俱在足下，雁峰寺笼罩峰上无余隙焉，然多就圯者。”1944年衡阳保卫战后，日军占领衡阳，回雁峰上的古林殿阁惨遭焚毁，仅存一座寺门和半间佛殿。回雁峰所在区原名叫“城南区”，2001年4月4日，经国务院批准（国函[2001]34号），改名叫“雁峰区”。
景点.主条目：回雁峰公园 、雁峰寺、王船山