El propio Juan de Herrera contemplaba la destrucción del conjunto en sus planes.