54年，加勋官银青光禄大夫，以修国史功封南阳县男，赐物七百段。655年，官至中书令、检校吏部尚书。当时，唐高宗想以武昭仪取代王皇后，他首先赐武昭仪封号宸妃，来济和另一个宰相韩瑗反对：“宸妃古无此号，事将不可。”然而，在同一年，唐高宗不顾来济、韩瑗、褚遂良还有身为开国元勋的舅舅长孙无忌等人的反对，以武宸妃取代王皇后，武宸妃为皇后。来济等都不自安；武后上表称来济忠公，请加赏慰，但心中其实厌恶他们。656年，武后的儿子李弘被立为太子（取代高宗的庶长子李忠），来济兼太子宾客，进爵为南阳县侯，仍为中书令。65