El edificio del actual museo data de principios del siglo XX y fue erigido a iniciativa del marqués de la Vega-Inclán, uno de los primeros defensores de la recuperación del arte de El Greco, largamente ignorado.