Født i New York City som det fjerde av syv barn til Samuel Ward (1786–1839) og Julia Rush Cutler. Blant hennes søsken var Samuel Cutler Ward. Hennes far var en velstående bankmann og hennes mor var barnebarn av William Greene (1731–1809) som guvernør i Rhode Island.