Urodziła się 16 maja 1804 w Billerica w stanie Massachusetts, jako najstarsza z sześciorga dzieci Elizy Palmer Peabody i Nathaniela Peabody. Dziadek ze strony matki, Joseph Pierce Palmer, brał udział w buncie herbacianym (Boston Tea Party) w 1773, był uczestnikiem Bitwy pod Lexington w 1775, walczył w Armii Kontynentalnej jako adiutant swego ojca.