端居室的废址旁建明道山房。清朝干隆九年，衡山知县德贵就在明道山房的旧馆上又进行修复，兴办义学，改称为邺侯书院。但因为山上邺侯书院的位置太偏僻，难以就学。13年后，山上邺侯书院的办学田租并入了集贤书院（山下邺侯书院），山上邺侯书院逐渐堙没。清光绪年间，衡山人陈治与集贤书院（山下邺侯书院）山长戴心葵在烟霞峰找到德贵所修复的山上邺侯书院的旧址。陈治和戴心葵请县令李宗莲重建书院，因原址偏僻，就移建到烟霞峰左支的佛寺侧，纯属纪念邺侯李泌，无书院功能。
民国时期.民国21年，陈