Thế nhưng, thời gian gần đây, sự bùng nổ của ngành du lịch, sự phát triển đô thị đã vượt ra ngoài tầm kiểm soát của chính quyền. Việc nhiều doanh nghiệp xây dựng nhà, quán xá gần tường thành để bán hoặc cho thuê, các nông dân trong vùng đục đẽo lấy đi các khối đá, đã khiến di tích này bị xuống cấp.