El complejo, que sobrevivió al incendio del Alcázar de 1734, fue demolido por orden de José I, que pretendía crear una gran plaza junto a la fachada oriental del Palacio Real.