，迁太常，领崇德衞尉。升平元年（357年）十二月任尚书左仆射。次年，豫州刺史谢奕逝世，司马昱打算让桓温弟桓云接任，并询问王彪之意见。但王彪之则认为当时桓温已雄据东晋一半国土，若让桓云任豫州刺史，那重要外藩的兵权几乎都由一门掌握，并不适当。司马昱同意并改以谢万接任。
会稽善政.随后，王彪之改任镇军将军、会稽内史，加散骑常侍。王彪之在会稽共八年，令当地豪族有所收敛，更有三万多个先前离开会稽郡的人因而回到会稽定居。兴宁三年（365年），桓温移镇姑孰，声威震主，各郡都派了长史、司马、主簿等