Kuigi Audrey oli sündinud Brüsselis, kasvas ta üles pigem Inglismaal ja ta oli Suurbritannia kodanik. Isa töötas kindlustuses ning pidi tihti sõitma Inglismaa, Belgia ja Hollandi vahet. Mõlemad vanemad olid fašistid ja kuulusid Briti Fašistide Liitu.