A la llegada de Fernando VII a Madrid en 1814, el arquitecto Isidro González Velázquez emitió un informe recomendando conservar el gran patio cuadrado (o "Plaza Grande") del palacio (incluidos el Casón y el Salón de Reinos) y demoler el resto.