个宰相韩瑗反对：“宸妃古无此号，事将不可。”然而，在同一年，唐高宗不顾来济、韩瑗、褚遂良还有身为开国元勋的舅舅长孙无忌等人的反对，以武宸妃取代王皇后，武宸妃为皇后。来济等都不自安；武后上表称来济忠公，请加赏慰，但心中其实厌恶他们。656年，武后的儿子李弘被立为太子（取代高宗的庶长子李忠），来济兼太子宾客，进爵为南阳县侯，仍为中书令。657年，来济又兼太子詹事，武后和他的亲信许敬宗、李义府开始清除反对立武氏为皇后的大臣，许敬宗、李义府诬告来济、韩瑗与褚遂良构成朋党，准备谋反。褚遂良被贬官桂州（今广西桂林市