明朝期间又经历几次兴废，正德二年（1507年）、嘉靖四十二年（1563年）两度修复，万历六年（1578年）再度废弃，嘉庆二十五年（1820年）于原址妙高峰大规模复建。清朝光绪29年（1903年），建立湖南师范馆，为解决废科举、兴学校的师资问题，经由湖南巡抚赵尔巽批准设立；同年2月17日正式开学，学制一年；王先谦任第一任馆长。入学对象为30岁以下乡试落选举子，学制一年，成绩及格者发给文凭，准予担任中、小学堂教员；共设有伦理、经学、算学、中外史学、中外舆地、文学、理化学、英文、图画、体操等10多门课程。