A pesar de ser rehabilitado, su estado siguió siendo preocupante, hasta tal punto que en el año 1804 Juan de Villanueva recomendó su demolición.