及杀死了很多忠于隋朝的大臣，包括来护儿，几乎全家灭门，只有来济和他哥哥来恒因为年纪太小而逃过一劫。在整个家族遭逢毁灭性的劫难后，历经流离艰险，兄弟两人皆笃志好学，又有文词，善于谈论，尤晓时务。在唐朝时，皆举进士及第。643年，唐朝第二任皇帝李世民任命来济为中书省通事舍人（从六品上）。同年，唐太宗的太子李承干被发现有谋反迹象，被废黜，唐太宗命司徒长孙无忌、司空房玄龄、特进萧瑀、兵部尚书李绩、大理卿孙伏伽、中书侍郎岑文本、御史大夫马周、谏议大夫褚遂良组成专案组讨论如何处理废太子李承干。但没人