以谢万接任。
会稽善政.随后，王彪之改任镇军将军、会稽内史，加散骑常侍。王彪之在会稽共八年，令当地豪族有所收敛，更有三万多个先前离开会稽郡的人因而回到会稽定居。兴宁三年（365年），桓温移镇姑孰，声威震主，各郡都派了长史、司马、主簿等高级属官去向桓温表示敬意。然而王彪之认为向皇帝遣使和上贡都是派主簿，向桓温示好不可能像见皇帝般派主簿，最终竟然没有派人去。桓温于是借故免去王彪之会稽内史一职，王彪之后被降职为尚书。但当年十二月又升为尚书仆射。
与桓周旋.太和六