Hallándose el palacio en no muy buenas condiciones, y siendo necesaria su restauración, en 1954 la Municipalidad de Lima lo cedió, en comodato renovable, al Patronato de las Artes para que ahí funcione el futuro Museo de Arte de Lima habiendo sus directivos gestionado su remodelación ante la Unesco la cual prestó su colaboración, enviando al arquitecto Hans Aspland y al museólogo Alfred Westhaen, para realizar la reconstrucción y adaptar el edificio antiguo con las necesidades de un Museo de Arte acondicionado con los últimos adelantos técnicos que incluyeron estructuras indispensables para un auditorio y así poder ofrecer conciertos, películas, funciones teatrales y de ese modo cumplir con una tarea básica del museo: educar.