生荷花，故名「荷湖」。东晋时龚氏居山蓄双鹅，育子数百，羽翮成乃去，改名「鹅湖」。唐大历年间，大义禅师驻山中，在山麓建仁寿院，后因山名而改称鹅湖寺。佛门称禅师为「信州鹅湖大义禅师」或「鹅湖大义禅师」。南宋淳熙二年（1175年），朱熹、吕祖谦、陆九渊、陆九龄等人在此聚会讲学，史称“鹅湖之会”。后人在此建“四贤祠”。南宋淳祐十年（1250年），改名为“文宗书院”。元皇庆二年（1313年），增建“会元堂”。明景泰年间又重修扩建，并正式定名“鹅湖书院”。清康熙五十六年（1717年）新筑山门、牌坊、大堂、泮池、拱桥