Luego de la batalla de Sekigahara para 1600 Arima Toyouji se convirtió en señor del castillo; lo expandió y fortificó para llegar a lo que hoy se conoce como el castillo de Fukuchiyama.