Hun ble født Ann Elizabeth Oldfield Havers og var datter av dommer Cecil Havers. Hun var søster til den avdøde rikskansleren Michael Havers, og er tante til hans sønn, skuespilleren Nigel Havers. Hun fikk sin utdannelse ved Wycombe Abbey School.