因军功诏封特进光禄大夫、柱国、新建伯。其后，在其父亲王华状元府基础上，在嘉靖元年，由明世宗钦赐修建“伯府”。王阳明趁丁忧之期回绍兴。嘉靖初年，规模已经很大，范围东起现在的王衙弄，南至新河弄，北接上大路，西临西小河。伯府第后毁于明末清初兵火，近世又糟太平天国兵火。现尚有遗存五处：