武昭仪（武则天）为皇后，韩瑗反对。655年，唐高宗将武昭仪从九嫔之一的昭仪升为仅次于皇后的宸妃，当时韩瑗和来济阻止皇帝：“宸妃古无此号，事将不可。”唐高宗因此没有施行。武昭仪指控王皇后和她的母亲柳氏用巫蛊之术诅咒皇帝。唐高宗开始召集宰相讨论废立皇后的事。司空李勣没有参与。（后来唐高宗亲自上门拜访，李勣说这是皇帝的家事，不需要问外人）。会议上，唐高宗的舅舅长孙无忌虽然没有表态，但他支持褚遂良的意见。在会议紧张的气氛中，于志宁没敢说话。韩瑗之后痛哭上书：唐高宗不听，将褚遂良贬到潭州（今湖南长沙），于年底废黜