Su padre murió estrangulado en Cádiz en 1823, cuando Antonio tenía 6 años de edad, dejando a su viuda al cuidado de tres hijos y obligándola a trabajar para el sustento de su familia, por lo que entró como lavandera al servicio de los Fernández de Castro, rica familia de Comillas.