生于浙江余姚，大约10岁时随父亲王华移居绍兴府城里。王华不久后高中状元，在绍兴城建状元府。明武宗正德十六年（1521年）十二月，王阳明因军功诏封特进光禄大夫、柱国、新建伯。其后，在其父亲王华状元府基础上，在嘉靖元年，由明世宗钦赐修建“伯府”。王阳明趁丁忧之期回绍兴。嘉靖初年，规模已经很大，范围东起现在的王衙弄，南至新河弄，北接上大路，西临西小河。伯府第后毁于明末清初兵火，近世又糟太平天国兵火。现尚有遗存五处：