人将此镌制成石碑，置于石鼓书院内，名曰“三绝碑”。宋仁宗庆历四年（1044年），石鼓书院改为衡州路的官学。宋度宗咸淳10年（1274年）正月，湖南提刑、南宋民族英雄文天祥驻衡州时，作诗《合江亭》：“天上名鹑尾，人间说虎头。春风千万曲，合水两三洲。……”；淳熙十二年（1185年），部使者潘田青（一作畴）就原址建屋数间，榜以鼓额，“将以俟四方之士有志于学，而不屑于课试之业者居之”，未竟而去。提刑宋若水继成，奉先圣先师之像，集国子监及本道诸州印书藏其中。请朱嘉作记，诫诸生勿为科举功名所乱，而要辨明义利，有志“为己