Su padre había estado casado en primeras nupcias con María Josefa González, con quien tuvo seis hijos: José María, Antonio José, María Josefa, Antonia Gertrudis, Bernardo Antonio y María Rafaela de Herrera y González.