Han giftet seg med den engelske maleren Gwen Darwin i 1911, hun var datter av George Darwin og barnebarnet til Charles Darwin. Sammen fikk de to døtre – Sophie (1919–2011), som giftet seg med Cambridgelæreren Mark Pryor, og Elisabeth (1916–2014), som giftet seg med den norske politikeren Edvard Hambro.