El castillo fue atacado y destruido en 1582 junto con el castillo Azuchi.