Pada pertengahan abad ke-20, tepatnya pada 1960-an, benteng tersebut masih terlihat kuat dan agak jauh dari pemukiman penduduk. Pada 1960, ditemukan tiga buah menara dalam benteng dengan bentuk seperti segitiga. Sekitar 1964, saat terjadi Konfrontasi Indonesia–Malaysia, TNI AL pernah memasang radar di ujung benteng untuk aktivitasnya.