Elizabeth var det tredje overlevende barn og den andre av fem døtre av Margaret, født Livingston og Daniel Cady (1773–1859). Hennes mor kom fra en velstående familie med røtter i den amerikanske revolusjon. Hennes far hadde vært oberst i Den kontinentale armé, og bistått i arrestasjonen av John Andre, en av Benedict Arnold’s medsammensvorne. Daniel Cady var en fremstående jurist og dommer i New York. Han ble medlem av New York State Assembly (1808–13), og kongressen (1815–17), og var dommer i New Yorks høyesterett (1847-54).