，王守仁弟子钱德洪也在此建筑出生，并在考中进士后从莫氏处购入此屋。王守仁离开余姚后，曾数次回乡祭祖和讲学，其中正德十六年（1521年）返乡时曾登上瑞云楼，指楼内藏胎衣处，痛惜自己未能对母亲和祖母生养死葬。故居在钱氏购入后曾被改建，当时即已称为遗址，罗洪先为钱德洪撰写“瑞云楼遗址”五字。清干隆年间，瑞云楼毁于火，此后火烧场一直保留。桥梁专家叶樊也曾居住于此，并对建筑进行了改建。1996年，余姚市政府依照《瑞云楼记》描述在原址复建瑞云楼。
建筑布局.王守仁故居位于余姚城区武胜门路以