Fundador de una famosa saga de artistas, fue padre de Federico Madrazo, Pedro Madrazo, Luis Madrazo y Juan de Madrazo, abuelo de Raimundo Madrazo, Ricardo Madrazo y Cecilia de Madrazo, y bisabuelo de Mariano Fortuny y Madrazo.