于承素奉密旨指控柳奭泄露宫中的谈话，唐高宗再将他贬为荣州（今四川自贡）刺史。之后，高宗皇帝废黜王皇后立武昭仪为皇后，不久王皇后和萧淑妃就被武皇后杀死。657年，武皇后的支持者许敬宗、李义府指控曾经反对废王立武的宰相韩瑗、来济勾结被流放到桂州的前宰相褚遂良，心怀不轨。韩瑗贬到振州（今海南三亚）为刺史，来济贬到台州，褚遂良贬到爱州，柳奭贬到象州（今广西来宾），终身不许回京。659年，武后指使许敬宗诬告长孙无忌、褚遂良（当时已死）、柳奭、韩瑗一起谋反，柳奭的罪名是通宫掖，谋行鸩毒。长孙无忌被流放之后被逼自杀，