El museo se construyó sobre los cimientos de una antigua casa del siglo XVI y de un palacio renacentista, en la judería toledana, cerca de la que tuvo el artista, que resultó arrasada por un incendio.