而王彪之认为向皇帝遣使和上贡都是派主簿，向桓温示好不可能像见皇帝般派主簿，最终竟然没有派人去。桓温于是借故免去王彪之会稽内史一职，王彪之后被降职为尚书。但当年十二月又升为尚书仆射。
与桓周旋.太和六年（371年），桓温将要废黜晋废帝，此举令百官震惊战慄，但王彪之知道桓温不臣之心早已揭露，不可能以理说服他以阻止此事，于是反而协助桓温筹备废立的礼仪。又因当时朝臣都不知废立君主之详细事项，一手准备好事宜的王彪之就因而获得众官佩服。桓温废掉晋废帝后便立了司马昱为帝，即晋简文帝。随后便要废去