恆是来济的异母兄，出生在江都（今江苏扬州）。父亲来护儿，隋朝大将、荣国公。618年，隋炀帝在江都被宇文化及杀害，来护儿等忠于隋朝的官员一起被杀。来家只有幼小的来济和来恒没有被杀。来济和来恒在唐朝以文学着称。643年，来济劝谏唐太宗不要处死废太子李承干，655年，身为宰相的来济反对唐高宗立武则天为皇后。因此，来济被流放庭州，662年，阵亡。来护儿本是骁将，而来恒、来济都以才学相称，相次为宰相知政事。当时虞世南的儿子虞昶没有学术，历任将作少匠、工部侍郎，主管工匠。许敬宗说：“来护儿的儿子作宰相，