Tema isa oli iiri päritolu briti pankur Joseph Victor Anthony Ruston (1889–1980) ja ema oli paruness Ella van Heemstra (1900–1984), kelle isa oli endine Hollandi Guajaana kuberner. Nii isale kui ka emale oli see teine abielu. Emal oli esimesest abielust kaks poega, kellest üks oli 5 ja teine 9 aastat Audreyst vanem.