La historia del castillo se remonta a la era Nanbokuchō, cuando Akamatsu Norimura del clan Akamatsu, fue nombrado "shugo" de la provincia de Harima en 1336 al apoyar la caída de la Restauración Kenmu y el ascenso del shogunato Ashikaga.