Geboren als Anna Cora Ogden in Bordeaux, Frankreich, war sie das zehnte von elf Kindern. Ihr Vater war Samuel Gouverneur Ogden (1779–1860) und ihre Mutter war Eliza Lewis Ogden (1785–1836), die Enkelin von Francis Lewis, einem der Unterzeichner der Unabhängigkeitserklärung der USA. 1826 zog die Familie in die USA zurück.