Annas far var Samuel Gouveneur Ogden (1779-1860), en amerikansk kjøpmann. Moren var Eliza Lewis Ogden (1785–1836), barnebarn av Francis Lewis, som signerte den amerikanske uavhengighetserklæringen. Anna var det tiende av fjorten barn. I 1826, da Anna var seks år gammel, vendte Ogden-familien tilbake til USA. Mowatt studerte ved private skoler og ble i tillegg utdannet hjemme.