请辞，百姓不舍，遂在其死后建祠于湖堤祀之；又配享白鹿书院之三贤祠，与李渤、周敦颐和朱熹共享三贤之誉。明正德十四年（1519年），与理学追随者持不同观点的陆王心学人物之一王阳明平定宁王之乱后，游历庐山、咏诗述怀并刻《记功碑》于秀峰。与朱熹在1175年鹅湖之会激辩的心学大家陆九渊，却曾获朱熹之邀到白鹿洞书院作主旨为“君子喻于义，小人喻于利”讲演，朱熹为此刻“白鹿洞书堂讲义”石碑。2004年7月，星子县文物研究人员在东牯山灵霄峰发现北宋年间“李氏山房”藏书馆遗址。据考证，李氏山房藏书馆属中国最早、规模最大