La pinacoteca fue iniciada por Fernando Álvarez de Toledo y Pimentel.