讲学的主要场所之一，另一处为阳明书院。王氏还选送绍兴府及邻近八邑的优秀学生入书院学习，每月提供膳食住宿，而学生学习之处被称之为“瑞泉精舍”。经王阳明建设，稽山书院再次成为海内着名书院。
衰弱.大明万历七年（1579年），朝廷因东林党争而禁天下书院。稽山书院奉例而毁，书院的田产被吴氏所佃。当时朝中尚书吴兑仍坚持不毁书院建筑。万历十年（1682年），绍兴知府萧良干修复书院建筑，改名作“朱文公祠”，又在瑞泉精舍旧址上建“仕学所”。大清康熙十年（1671年），绍兴当地人虞敬道、柴世盛重