岩寺僧强占，经邓大白、王复、康庄、程敬直等历任山长长达62年争讼，才得归还。元末又毁于兵火。
中期（明代）.明永乐十一年（1413年），知府史中重修书院以待旅游学者，设礼殿祭祀孔子，干张祠祭祀韩愈、张拭。天顺、弘治年间均有修葺。正德四年（1509年）叶钊为山长，讲圣贤身心之学、道德之首，剖晰异议、阐发幽微“时学者翕然云从”。哲学家、教育家、书法家湛若水至书院讲论“体认”之学，理学家、教育家王守仁的传人邹守益亦来大倡“良知”之说。二十八年，知府蔡汝楠以书院为朱熹、张栻、湛若水、邹守益