Gracias únicamente al interés manifestado por Fernando VII y, sobre todo, por su segunda esposa, Isabel de Braganza, se inició, a partir de 1818, la recuperación del edificio, sobre la base de nuevos diseños del propio Villanueva, sustituido a su muerte por su discípulo Antonio López Aguado, con fondos aportados por el rey de su «bolsa personal» o «bolsillo secreto».