Han giftet seg i 1956 med franske Aline Elizabeth Yvonne de Gunzbourg (1915-2014), datter av baron Pierre de Gunzbourg. Hennes slekt var jødisk og kom fra Det russiske keiserriket der oldefaren og bestefaren opparbeidet en formue som gikk tapt under revolusjonen. Da familien slo seg ned i Frankrike endret de etternavnet fra Günzburg til Gunzbourg i fransk stil. Hun ble født i London der familien søkte tilflukt fra første verdenskrig. Aline konkurrerte på øverste nivå i golf i Frankrike og England.