Contrajo matrimonio con Justa Menéndez-Morán Palacio, natural de Gijón e hija del coronel Luis Menéndez Morán, con quien tuvo en 1840 a su primer hijo, el filósofo y escritor Gumersindo de Azcárate.