妃取代王皇后，武宸妃为皇后。来济等都不自安；武后上表称来济忠公，请加赏慰，但心中其实厌恶他们。656年，武后的儿子李弘被立为太子（取代高宗的庶长子李忠），来济兼太子宾客，进爵为南阳县侯，仍为中书令。657年，来济又兼太子詹事，武后和他的亲信许敬宗、李义府开始清除反对立武氏为皇后的大臣，许敬宗、李义府诬告来济、韩瑗与褚遂良构成朋党，准备谋反。褚遂良被贬官桂州（今广西桂林市)都督。唐高宗也将来济、韩瑗二人贬官远地，来济为台州（今浙江省台州市）刺史。命他们终身不得回长安朝觐皇帝。659年，武后和唐高宗赐长孙无