Su padre falleció en 1823, y su madre volvió a casarse diez meses después con el militar español Gaspar Isidoro de Escalada y López de la Peña, de origen gallego, con quien tuvo tres hijos: Felipe, Josefa María de la Luz y Emilio Isidoro.