清光绪年间，衡山人陈治与集贤书院（山下邺侯书院）山长戴心葵在烟霞峰找到德贵所修复的山上邺侯书院的旧址。陈治和戴心葵请县令李宗莲重建书院，因原址偏僻，就移建到烟霞峰左支的佛寺侧，纯属纪念邺侯李泌，无书院功能。
民国时期.民国21年，陈治戴心葵重建的山上邺侯书院又倒塌。衡山县葵庆萱，县教育局长宾联芳再次修复山上邺侯书院。