Junto con gran parte de los castillos de la región, varias batallas se libraron durante los siglos XV y XVI alrededor del castillo Kawagoe, ya que tanto el clan Hōjō tardío como dos ramas del clan Uesugi peleaban por el control de la región de Kantō.