南阳县侯，仍为中书令。657年，来济又兼太子詹事，武后和他的亲信许敬宗、李义府开始清除反对立武氏为皇后的大臣，许敬宗、李义府诬告来济、韩瑗与褚遂良构成朋党，准备谋反。褚遂良被贬官桂州（今广西桂林市)都督。唐高宗也将来济、韩瑗二人贬官远地，来济为台州（今浙江省台州市）刺史。命他们终身不得回长安朝觐皇帝。659年，武后和唐高宗赐长孙无忌自杀，杀害王皇后的舅舅原宰相柳奭。韩瑗病逝在行刑使者来之前。660年，来济改任庭州（今新疆昌吉回族自治州）刺史，在西突厥十姓的边界。662年，西突厥部落进攻庭州。来济统兵防御