Tras la marcha de los dominicos, el sobrino-nieto de la emperatriz, el Duque de Peñaranda, Hernando Fitz-James Stuart y Falcó, continúa con las restauraciones e incluso lo llegó a habitar.