Su familia controló el castillo hasta el período Muromachi, cuando el clan Itō ganó su control.