Etter nazistenes maktovertakelse i 1933 flykter Kerr hans kone, Julia, og barna fra Tyskland til Frankrike via Tsjekkoslovakia og Sveits. De flyttet til London i 1935. Disse årene i eksil ble beskrevet, fra et barns perspektiv, av Kerrs datter i hennes bøker og .