Hans sønn Jonathan er en populær radiopersonlighet og tidvis også musiker. Hans andre sønn, Paul Schwartz, er komponist, dirigent, pianist og produsent.