“红亭枕湘江，蒸水会其左。瞰临眇空阔，绿净不可唾。……”，后人建“绿净阁”以此为纪念韩愈。地以人传，石鼓名声大振，成为后世文人骚客“朝圣”之地。宪宗元和年间（806年-820年），有“唐代八大诗人之一”美誉的衡州刺史吕温，任期间又对合江亭进行扩建装修。唐宪宗元和五年（810年），衡邑东南乡（今衡南县）人李宽在衡阳石鼓山上合江亭旁建房读书，取名为“寻真观”，此为石鼓书院之雏型。刺史吕温曾访之，并作《同恭夏日题寻真观李宽中秀才书院》日记其事。宋代太平兴国二年（978年），宋太宗赵匡义赐“石鼓书院”匾额和学田