出现了四大书院的说法。到了南宋更盛，各延大儒主持，成为理学书院。元朝书院制度更为兴盛，专讲程朱理学，并供祀两宋理学家。明朝初年，书院转衰；直到王阳明出，书院再度兴盛。随后书院因批评时政，遭当道之忌，明世宗、张居正皆曾毁书院；尤其是东林书院事件，魏忠贤尽毁天下书院，书院乃大没落。清朝入主中原，对书院加以监管，顺治九年（1652年）的〈上谕〉便要求「不许别创书院」；但因为书院制度由来已久、可补学校制度的不足，顺治十五年（1658年）在偏沅巡抚袁廓宇的请求下，修复衡阳石鼓书院，以「表彰前贤、兴起后学」