李勣说这是皇帝的家事，不需要问外人）。会议上，唐高宗的舅舅长孙无忌虽然没有表态，但他支持褚遂良的意见。在会议紧张的气氛中，于志宁没敢说话。韩瑗之后痛哭上书：唐高宗不听，将褚遂良贬到潭州（今湖南长沙），于年底废黜王皇后，立武昭仪为皇后（不久，王皇后与萧淑妃被武后残酷杀害）。武后被册封后的第一件事就是表彰韩瑗、来济，说他们虽然表示反对自己为皇后，但还是忠于国家的表现。韩瑗、来济不敢接受，并且屡次向皇帝辞职，但是高宗皇帝没有同意。656年，韩瑗为褚遂良求情，说褚遂良忠心辅佐唐太宗、唐高宗父子：唐高