18年，隋炀帝在江都被宇文化及杀害，来护儿等忠于隋朝的官员一起被杀。来家只有幼小的来济和来恒没有被杀。来济和来恒在唐朝以文学着称。643年，来济劝谏唐太宗不要处死废太子李承干，655年，身为宰相的来济反对唐高宗立武则天为皇后。因此，来济被流放庭州，662年，阵亡。来护儿本是骁将，而来恒、来济都以才学相称，相次为宰相知政事。当时虞世南的儿子虞昶没有学术，历任将作少匠、工部侍郎，主管工匠。许敬宗说：“来护儿的儿子作宰相，虞世南的儿子作工匠，文武之分怎么会是天生的？”676年三月初五，身为门下省副