54年，柳奭不安，向唐高宗提出解除自己宰相职务的请求，唐高宗同意了，命他担任吏部尚书，罢相。655年，王皇后和她的母亲柳氏用巫蛊之术以求皇帝再次宠爱皇后，受到武昭仪的指控。唐高宗禁止柳氏入宫，将柳奭贬出长安，为遂州（今四川遂宁）刺史。当他走到岐州（今陕西宝鸡）的时候，岐州长史于承素奉密旨指控柳奭泄露宫中的谈话，唐高宗再将他贬为荣州（今四川自贡）刺史。之后，高宗皇帝废黜王皇后立武昭仪为皇后，不久王皇后和萧淑妃就被武皇后杀死。657年，武皇后的支持者许敬宗、李义府指控曾经反对废王立武的宰相韩瑗、来济勾结