Lady Hester nació en Kent, en el seno de una familia de la aristocracia inglesa, fue la mayor de las tres hijas de un político inglés, Lord Charles Stanhope y su esposa Lady Hester Pitt.