En 1891 el castillo fue dañado a causa de un terremoto y fue regresado a propiedad de la familia Naruse en 1895 con la condición de que lo repararan y le dieran mantenimiento.