655年，王皇后和她的母亲柳氏用巫蛊之术以求皇帝再次宠爱皇后，受到武昭仪的指控。唐高宗禁止柳氏入宫，将柳奭贬出长安，为遂州（今四川遂宁）刺史。当他走到岐州（今陕西宝鸡）的时候，岐州长史于承素奉密旨指控柳奭泄露宫中的谈话，唐高宗再将他贬为荣州（今四川自贡）刺史。之后，高宗皇帝废黜王皇后立武昭仪为皇后，不久王皇后和萧淑妃就被武皇后杀死。657年，武皇后的支持者许敬宗、李义府指控曾经反对废王立武的宰相韩瑗、来济勾结被流放到桂州的前宰相褚遂良，心怀不轨。韩瑗贬到振州（今海南三亚）为刺史，来济贬到台州，褚遂良贬到