元惠宗至正五年，县尹赵忠、主簿李伯渊又对邺侯书院进行重修。
明清时期.明初兵乱，邺侯书院全部倒塌。明朝嘉靖十三年邺侯书院再次重修，改名为集贤书院。明朝万历年间，衡宝巡按使李天植来到南岳，在端居室的废址旁建明道山房。清朝干隆九年，衡山知县德贵就在明道山房的旧馆上又进行修复，兴办义学，改称为邺侯书院。但因为山上邺侯书院的位置太偏僻，难以就学。13年后，山上邺侯书院的办学田租并入了集贤书院（山下邺侯书院），山上邺侯书院逐渐堙没。清光绪年间，衡山人陈治与集贤书院（山下邺侯书