Durante la Restauración Meiji, tras ser depuesto el último shogun Tokugawa Yoshinobu, el castillo se convirtió en la residencia imperial.