徐弘祖在其《徐霞客游记》中对石鼓的景色有详细描述；万历四十年（1612年）巡抚记事，观察邓云霄大修书院，以“铸士陶昆”、建有讲堂、敬义堂、回澜堂、大规模、仰高楼、砥柱中流坊、棂星门、风雩、沦浪、禹碑、合江诸亭、其他“殿祠号舍，罔不完葺”，规模极一时之盛，崇祯十五年（1642年）提学高世泰修葺。青年时的王船山更是多次写诗词颂扬石鼓书院。明朝末年，书院再次毁于兵火。
后期（清代）.清世祖顺治十四年（1657年），偏沅巡抚袁廓宇上奏清廷，申请重建石鼓书院，衡阳县知县余天溥具体负责修复工程