En 1937, se casa con Jacqueline de Rothschild, en EE.UU., viviendo en Francia, donde nació su hija, hasta 1940, cuando la Wehrmacht inicia la ocupación de Francia, saliendo de Francia en los últimos desalojos de Francia hacia EE.UU., quedándose en una propiedad en Elizabethtown, Nueva York, adquirida por un bajo precio un año antes, cuando estaba de gira por el país, ya establecidos en Elizabethtown, consigue su segundo hijo, Joram.