家陆九渊，却曾获朱熹之邀到白鹿洞书院作主旨为“君子喻于义，小人喻于利”讲演，朱熹为此刻“白鹿洞书堂讲义”石碑。2004年7月，星子县文物研究人员在东牯山灵霄峰发现北宋年间“李氏山房”藏书馆遗址。据考证，李氏山房藏书馆属中国最早、规模最大的私人藏书馆。李常（1027年-1090年），字公铎，建昌（即今永修县）人，黄庭坚之舅父。李氏山房原为北宋时楞枷院的白石庵，李常少时与第李布（字公南，一说其兄为李莘）就读于此处的白石僧舍。宋仁宗皇祐元年（1049年），弱冠二年后即进士擢第，赠所藏9000余卷书籍与白马庵。