Contrajo matrimonio con Cecilia de Madrazo, hija del pintor Federico de Madrazo y hermana del también pintor Raimundo de Madrazo, con quien Fortuny llegaría a establecer una íntima amistad y con quien compartía afición por la tauromaquia.