Su abuelo, Federico de Madrazo (1815-1894), era un reconocido retratista y fue nombrado director del Museo del Prado en 1861.