后为避战乱而寓居于此，同年朱熹诞生于此。朱熹幼年在此接受父亲的教导，儒学就此启蒙。在朱松过世后，朱熹即将此地改建为尤溪县学。朱熹逝世后，县令李修于嘉熙元年（1237年）捐资在此修建了文公祠、韦斋祠、半亩方塘和尊道堂等建筑，以祀朱家父子。南宋理宗、度宗年间，因为官民力量的结合，书院快速发展，理宗对于各地书院多给予田地、匾额或御书等赏赐。淳祐元年（1241年），此地设立南溪书院；宝祐元年（1253年），理宗亲自题匾「南溪书院」。元至正元年（1341年），分建两个祠堂，明清后对该建筑屡有修缮和扩建。