649年，唐太宗驾崩，太子李治继位为唐高宗。651年，来济被任命为中书侍郎（中书省的副官），兼弘文馆学士，监修国史。653年，加同中书门下三品，为国家的宰相。654年，加勋官银青光禄大夫，以修国史功封南阳县男，赐物七百段。655年，官至中书令、检校吏部尚书。当时，唐高宗想以武昭仪取代王皇后，他首先赐武昭仪封号宸妃，来济和另一个宰相韩瑗反对：“宸妃古无此号，事将不可。”然而，在同一年，唐高宗不顾来济、韩瑗、褚遂良还有身为开国元勋的舅舅长孙无忌等人的反对，以武宸妃取代王皇后，武宸妃为皇后。来济等