Kerr giftet seg for første gang da han var over 50 med Ingeborg Thormählen, som var mye yngre enn han, og som kort tid etterpå døde i spanskesyken i 1918 mens hun var gravid. Den sorgen påvirket ham sterkt. Hans andre ekteskap var med musikeren Julia Weismann (1898-1965) i 1920. Julia, som var datter av en prøyssiske utenriksminister, heter Robert Weismann. Sønnen Kerrs' sønn Michael Kerr ble en fremtredende britisk advokat.