スタントンの母マーガレット・リビングストン・キャディは初期のオランダ人開拓者の血筋で、そのまた父はジェームズ・リビングストン大佐といい、アメリカ独立戦争中の大陸軍の将校である。 祖父リビングトストンはサラトガとケベックで戦った後、ニューヨークのウェストポイントでジョン・アンドレ少佐の捕縛を支援した。現場でアンドレと共犯で号に乗って逃げたベネディクト・アーノルドは、ウェストポイントをイギリスに引き渡そうと計画していたのである。スタントンの母は当時の女性にしては異例の長身だったため存在感が圧倒的であったことから、祖父は日常的に自分の娘を「女王様」呼ばわりしていたという。スタントンの娘ハリオット・スタントン・ブラッチの記憶では祖母マーガレットは楽しくて愛情深く、いきいきとした女性だったというが、スタントン自身の思い出とは異なるようだ。マーガレット・キャディは非常に多くの子どもを喪ったため感情的に失調をきたし、うつ状態に陥った。