Faktisk nedstammer Ferguson fra Karl II gjennom tre av hans uekteskapelige barn: Charles Lennox, ; James Scott, ;og Anne Lennard, grevinne av Sussex. Både prinsesse Diana og Sarah Ferguson hadde livlige mødre som skilte seg for å dra utenlands med nye partnere. Fergusons mor flyttet med Hector Barrantes til Argentina, og tok seg så bra ut at Ralph Lauren vurderte å bruke henne i en reklame.