Hun var datter til Charles Stanhope, 3. jarl av Stanhope, adelsmann, politiker og vitenskapsmann, og hennes morbror var den britiske statsminister William Pitt den yngre. Hun ble senere hans husholderske i Downing Street, og lærte der å kjenne maktens og intrigenes irrganger, og utviklet et skrapt intellekt og en smak for det eksentriske.