鼓书院被炸成废墟，仅剩50多块石刻碑。1944年衡阳保卫战前夕，国军将石鼓山作为主力阵地之一，为使碑刻免遭战火，将其全部沉入湘江，1960年被市民发现。1962年，衡阳市政府在市船山图书馆侧建护碑亭，专门保护、陈列这批石碑，后全部毁于“文化大革命”中的红卫兵之手。1964年，中共中央中南局第一书记陶铸来衡阳视察时，要求恢复石鼓书院。限于当时的历史和经济条件，无法恢复当初的建筑和陈列，当时只能在废墟上建了一座石鼓公园。2006年4月，衡阳市正式决定重修石鼓书院，2007年9月，竣工后的石鼓书院开始接待游人