世南的儿子虞昶没有学术，历任将作少匠、工部侍郎，主管工匠。许敬宗说：“来护儿的儿子作宰相，虞世南的儿子作工匠，文武之分怎么会是天生的？”676年三月初五，身为门下省副官黄门侍郎的来恒，被任命为同中书门下三品，十二月二十五日，唐高宗任命来恒为河南道大使，薛元超为河北道大使，直到678年，来恒去世，当时他仍是宰相。有子来景业，官虞部郎中。第五子来景晖（648年—717年8月20日），银青光禄大夫、饶州刺史，娶萧大通（659年—719年6月12日），夫妇生子来翁宠、来瑶等，有一女来三桑嫁沈氏。