Bajo la dirección del arquitecto Leopoldo Torres Balbás se rescató de la ruina casi total entre 1927 y 1936, reconvirtiendo el edificio en residencia de pintores.