Była najstarszą córką Charlesa Stanhope’a, 3. hrabiego Stanhope i jego pierwszej żony Lady Hester Pitt. Urodziła się w posiadłości swojego ojca w Chevening w hrabstwie Kent. Następnie zamieszkała ze swoją babcią Hester Pitt w Curry Rivel. Po jej śmierci w 1803 zaczęła pełnić obowiązki pani domu na zamku u swojego wuja Williama Pitta Młodszego, który był podówczas najbardziej wpływowym człowiekiem w Anglii. Wuj zmarł w 1806 zostawiając Hester sporą pensję państwową. Przez jakiś czas mieszkała w Londynie, później w Walii, a po utracie w bitwie pod La Coruną ukochanego sir Johna Moore’a oraz brata wyjechała z Anglii na zawsze.