宋孝宗淳熙十四年（1187年），理学大师朱熹、张栻来此讲学，朱熹作《石鼓书院记》，张栻在合江亭中立碑，书韩愈《合江亭》诗和《石鼓书院记》。后人将此镌制成石碑，置于石鼓书院内，名曰“三绝碑”。宋仁宗庆历四年（1044年），石鼓书院改为衡州路的官学。宋度宗咸淳10年（1274年）正月，湖南提刑、南宋民族英雄文天祥驻衡州时，作诗《合江亭》：“天上名鹑尾，人间说虎头。春风千万曲，合水两三洲。……”；淳熙十二年（1185年），部使者潘田青（一作畴）就原址建屋数间，榜以鼓额，“将以俟四方之士有志于学，而不屑于课试之业