Audrey var datter av de evangelikale anglikanske misjonærer Vyvyan Donnithorne og Gladys Emma Ingram, og ble født i 1922 på et hospital drevet av kvekerne i Santai (tidligere kjent som «Tungchwan»), Audrey vokste opp i Sichuan der hun ohg hennes foreldre ble bortført av banditter da hun var to år gammel. De og seks andre ble ført inn i fjellene med sine halser i en grime. I 1927 ble familien tvunget til å forlate Kina idet Kuomintangs styrker avanserte nordover.