山麓建仁寿院，后因山名而改称鹅湖寺。佛门称禅师为「信州鹅湖大义禅师」或「鹅湖大义禅师」。南宋淳熙二年（1175年），朱熹、吕祖谦、陆九渊、陆九龄等人在此聚会讲学，史称“鹅湖之会”。后人在此建“四贤祠”。南宋淳祐十年（1250年），改名为“文宗书院”。元皇庆二年（1313年），增建“会元堂”。明景泰年间又重修扩建，并正式定名“鹅湖书院”。清康熙五十六年（1717年）新筑山门、牌坊、大堂、泮池、拱桥、碑亭、御书楼等建筑。陆游、辛弃疾、杨廷麟、蒋士铨等人都曾到此游览。