スタントンの父ダニエル・キャディはアメリカ連邦議会議員を1期務めた弁護士として名声があり、その後、ニューヨーク最高裁判所判事(1814年から1817年)および巡回裁判所裁判官に任命される(1847年)。