书记陶铸视察衡阳，倡导将回雁峰旧址修复为公园，但因文化大革命而停建。1983年—1985年初，衡阳市人民政府重修回雁峰公园，占地1.9公顷。1986年在北京举行的全国城市建设展览会上，回雁峰公园以模型展出，被评为湖南省最佳公园第一名。李鹏、邓力群及其他中央、省市领导先后到景区游览。
扩建.2004年，衡阳市政府开始扩建回雁峰公园。工程占地面积3.5万平方米米，建筑面积3600万平方米。其设计以回雁阁为核心，由落雁景区、雁峰景区、雁舞广场和船山景区等35个仿古建筑组成