En la primera mitad del siglo XIX fue desamortizado y la edificación albergó desde entonces diversas instituciones civiles: el Museo del Carmen; fue cedido en 1838, como sede de la Real Academia de Bellas Artes de San Carlos; el Museo de Bellas Artes de Valencia; sirvió como almacén del Tesoro Artístico del Patrimonio Nacional durante la Guerra Civil (llegando a custodiar piezas del Museo del Prado para evitar los bombardeos de Madrid); subsede del Instituto Valenciano de Arte Moderno y el Museo del Siglo XIX.