1935 jättis isa perekonna maha ja kadus teadmata kuhu. Alles aastaid hiljem leidis Audrey ta Dublinist. 1939 kolis ema koos lastega oma isa koju Hollandisse Arnhemisse, kuna uskus, et kui tuleb sõda, siis on Hollandis turvalisem elada kui Suurbritannias.