Orpheline de mère, son père dilapide la fortune familiale ; elle passe une enfance aisée chez sa grand-mère, puis près de son oncle William Pitt, qu'elle côtoie à partir d'août 1803. Réputée pour sa beauté et son esprit, elle dirige la maison du Premier ministre. Elle s'éprend de Lord Granville Leveson-Gower, puis du parlementaire William Noel-Hill, puis du général Sir John Moore. William Pitt meurt dans ses fonctions le 23 janvier 1806 ; John Moore est mortellement blessé par l'armée française à La Corogne, le 16 janvier 1809.