En 1583, debido a la derrota de sus aliados y gran parte de su ejército durante la Batalla de Shizugatake, Katsuie decidió replegarse al castillo y le pidió a su esposa Oichi que huyera junto con sus tres hijas pero ella se negó, por lo que Katsuie y Oichi decidieron cometer seppuku después de incendiar el castillo, por lo que éste quedó completamente destruido.