4世纪南北朝时代，属于北朝的细川赖春在此兴建了，到战国时代末期先后成为松永久秀和三好三人众的势力范围；1568年织田信长上洛期间攻下了此城，并在1571年交由细川藤孝治理，1578年细川藤孝之子细川忠兴及细川玉子即在此完婚。1582年本能寺之变后，明智光秀一度佔有此城，在山崎之战败给羽柴秀吉后曾先退回此城，后才于从此前往坂本城的路上遭遇落武者狩袭击而亡。此后此城遭废弃直到江户时代初期1633年被封给原领有8,000石的旗本，永井直清也因此领有石高增至1万2,000石成为大名，并将其居所定于长冈，在此