De 1931 a 1937 se derribó el edificio, salvándose sólo la torre, las murallas romanas y la iglesia de San Juan de los Panetes.