Varias veces fue víctima de incendios, por lo cual fue abandonado en el siglo XVII, siendo posteriormente restaurado para servir como cuartel hasta 1947.