Antes de la Segunda Guerra Mundial, fue designado como Tesoro Nacional de Japón, pero al comienzo de la guerra, el ejército japonés estableció sus cuarteles en el castillo.