Tras la muerte de la reina doña Juana, el edificio fue abandonado, y a pesar de realizar reparaciones para evitar su estado ruinoso, fue derribado en el año 1773 durante el reinado de Carlos III.