Schönbergs far var tryllekunstner. Hans søster Minnie Schönberg giftet seg med Simon «Frenchie» Marx og deres barn ble siden kjent som de berømte Brødrene Marx.