逝世后，县令李修于嘉熙元年（1237年）捐资在此修建了文公祠、韦斋祠、半亩方塘和尊道堂等建筑，以祀朱家父子。南宋理宗、度宗年间，因为官民力量的结合，书院快速发展，理宗对于各地书院多给予田地、匾额或御书等赏赐。淳祐元年（1241年），此地设立南溪书院；宝祐元年（1253年），理宗亲自题匾「南溪书院」。元至正元年（1341年），分建两个祠堂，明清后对该建筑屡有修缮和扩建。明代编修书院之风大盛，万历年间有叶廷祥、郭以隆、纪延誉、陈翘卿合编《南溪书院志》四卷。清干隆二十九年（1764年），知县蔡述谟