宗景祐二年（1035年），衡州知府刘沆上奏石鼓书院事，宋仁宗阅后赐额“石鼓书院”。由于两度被皇帝赐额，石鼓书院步入鼎盛时期，成为当时与睢阳、岳麓、白鹿洞齐名的四大书院。许多名流至此讲学；如苏轼、周敦颐等。宋孝宗淳熙十四年（1187年），理学大师朱熹、张栻来此讲学，朱熹作《石鼓书院记》，张栻在合江亭中立碑，书韩愈《合江亭》诗和《石鼓书院记》。后人将此镌制成石碑，置于石鼓书院内，名曰“三绝碑”。宋仁宗庆历四年（1044年），石鼓书院改为衡州路的官学。宋度宗咸淳10年（1274年）正月，湖南提刑、南宋民族英雄