Alankomaiden natsimiehityksestä sodan päättymiseen asti Audrey käytti koulussa nimeä Edda van Heemstra, koska hänen äitinsä halusi suojella tytärtään joutumasta englantilaisen taustansa takia vaikeuksiin saksalaisten kanssa. Hänen velipuolensa Alex katosi vuonna 1941 paettuaan sotavankeudesta ja piileskeli sodan päättymiseen asti. Ian toimi vastarintaliikkeessä, minkä vuoksi hänet lähetettiin pakkotyöhön Saksaan, eikä perhe tiennyt hänen olinpaikkaansa. Hän palasi kotiin pian veljensä jälkeen. Audreyn eno puolestaan teloitettiin kostona vastarintaliikkeen tuhotöistä. Tapahtuman jälkeen Ella van Heemstra alkoi toimia aktiivisesti liikkeen jäsenenä; hän tarjosi muun muassa laskuvarjosotilaalle piilopaikan kellaristaan.