解放以后.1949年10月，衡阳市人民政府接管衡阳市图书馆和衡阳民众教育馆，组建衡阳人民文化宫，馆址在学宫路市委机关大院内。这段时间内，衡阳市图书馆变成“衡阳市文化宫图书室”。1954年衡阳市图书馆恢复图书馆建制，并从南岳中正图书馆移交来大量图书。1955年2月19日，衡阳市图书馆更名叫“衡阳市船山图书馆”，4月在岳屏公园对外开放。。1962年，在衡阳市船山图书馆内设“王船山纪念馆”。文革开始后，“王船山纪念馆”被撤销被拆除，衡阳市船山图书馆的“船山”二字也被禁止，重新