分来自1954年南岳中正图书馆的转交，部分来自文革破四旧时的抢救，部分来自于社会捐赠。衡阳市图书馆的工作人员也会自己搜集购买古籍与地方文献。2013年，衡阳市图书馆所收藏的《朱翼十二卷（明）江旭奇辑 明万历四十四年（1616）刻本》入选第四批《国家珍贵古籍名录》，编号00674。
抢救古籍.1966年文化大革命开始，衡阳市大量单位和私人的藏书因为破四旧运动被送到废品店，衡阳市图书馆职工黄耀武借寻找湘南学联文物的机会，到衡阳市废旧物资仓库、衡阳市造纸厂等地搜集了大量古书。1967