Veinte años después, el clan Hori se convirtió en el gobernante de Kasugayama pero decidieron que el castillo no era un buen lugar para gobernar por lo que construyeron otro en Fukushima, quedando la primera abandonada en 1607.