Han var gift tre ganger, først med den danske forfatteren Karen Blixen i perioden 1914–25, så med Jacqueline Harriet Alexander («Cookie») i 1928, og senest med Eva Amalia Maria Lindström i 1935.