Gran parte de lo que quedó del castillo fue demolido durante la Restauración Meiji en 1871.