En 1782, la Junta de Obras Públicas presentó un informe sobre «el peligroso estado de la parte antigua de la Casa», y afirmaba que «no hay que perder tiempo en tirar abajo la casa…».