De los siglos XII al XVI perteneció al "han" de los "daimyō" Toyama. En 1572, después del Asedio de Iwamura, Takeda Shingen dejó el castillo a cargo de Toyotomi Hideyoshi, quien a su vez transfirió el castillo y lo puso a cargo de Tamaru Tomatada. Después de la Batalla de Sekigahara de 1600, fue ocupado por el clan Tokugawa de 1601 a 1638, por el clan Niwa de 1638 a 1702 y finalmente por el clan Ishikawa de 1702 hasta el final del shogunato Tokugawa en 1868.