，图书馆还遭遇着馆舍失修，电路老化等困境，影响了图书馆的正常工作。2009年，在衡阳市政府的经费支持下，衡阳市图书馆启动全面维修改造，2010年7月恢复正常服务。2014年，衡阳市图书馆暨雁峰公园改造项目正式开工建设，新的衡阳市图书馆将会建在衡阳市雁峰公园南侧，新图书馆的总建筑面积约2.1万平方米，主体建筑为地上三层，地下一层。
馆藏.截止2013年，衡阳市图书馆藏图书总数为56万余册。衡阳市图书馆官网2013年的简介，馆内“拥有古籍和民国图书3.8万余册、还有近2万册的衡阳名