列为第一批江西省文物保护单位，2006年被列为第六批全国重点文物保护单位。鹅湖山上有湖，多生荷花，故名「荷湖」。东晋时龚氏居山蓄双鹅，育子数百，羽翮成乃去，改名「鹅湖」。唐大历年间，大义禅师驻山中，在山麓建仁寿院，后因山名而改称鹅湖寺。佛门称禅师为「信州鹅湖大义禅师」或「鹅湖大义禅师」。南宋淳熙二年（1175年），朱熹、吕祖谦、陆九渊、陆九龄等人在此聚会讲学，史称“鹅湖之会”。后人在此建“四贤祠”。南宋淳祐十年（1250年），改名为“文宗书院”。元皇庆二年（1313年），增建“会元堂”。明景泰年间又