Sarah Ferguson er etterkommer av kong Karl II av England og Lucy Walter. Som datter av major Ronald Ferguson og hans første kone Susan Mary Wright (1937–98) ble Sarah ofte kalt «Fergie» etter sitt pikenavn. Da hennes forlovelse med Andrew ble kunngjort, kimte kirkeklokkene i landsbyen Dummer, Hampshire, i to timer. Dit flyttet hun som tiåring, til gården Dummer Down Farm, og faren hennes ble boende der til sin død i 2003.