殷国以亡，张华不死而纲纪不乱，国之欲谢，善人其衰。今陛下富有四海，八纮清泰，忽驱逐旧臣，而不垂省察乎！伏愿违彼覆车，以收往过，垂劝诫于事君，则群生幸甚。”唐高宗不纳其言。韩瑗因言不得用，忧愤上表，请归田里，唐高宗不许。显庆二年（657年），许敬宗、李义府诬告韩瑗与在桂州（今广西桂林）做都督的褚遂良图谋不轨，唐高宗贬韩瑗为振州（今海南省三亚市）刺史。终身不许回京。褚遂良贬到爱州，柳奭贬到象州。659年，许敬宗诬陷长孙无忌与韩瑗、柳奭、褚遂良谋反。长孙无忌被逼自杀，褚遂良死于658年，这时除去了他的所有