康熙七年（1668年），黄宗羲至宁波，在延庆寺主持证人书院。为与绍兴证人书院相区别，后学全祖望称之为“甬上证人书院”。书院后迁至西郭别业，主要研习《五经》及刘宗周的着作。天文、历算等自然科学也在研习之列。除万氏兄弟外，董允瑫兄弟、李邺嗣及黄宗羲之子黄百家等人也参加了在证人书院的学习和讨论，对清代浙东学派的形成起到了重要的作用。1675年，万氏兄弟四散，书院停办。万斯选去世后，葬于万邦孚墓庄，因其着有《白云集》，世人称白云先生，西郭别业此后也被称为白云庄。清代中叶以后，万氏家道中落，白云庄逐渐荒废，部