Han giftet seg i 1961 med Barbara Hutchinson, tidligere gift med Victor Rothschild og mor til Jacob Rothschild. Familien hadde et feriehus på øyen Hydra. Dit inviterte han i 1939 forfatteren Henry Miller som ble en nær venn.