本南北朝时代时期，1339年北朝曾在此兴建，到战国时代末期先后成为松永久秀和三好三人众的势力范围；1568年织田信长上洛期间攻下了此城，并在1571年交由细川藤孝治理。1582年本能寺之变后，明智光秀一度佔有胜龙寺城，后在乙训郡南部的山崎与丰臣秀吉发生山崎之战。江户时代初期1633年被封给原领有8,000石的旗本，永井直清也因此领有石高增至1万2,000石成为大名，并将其居所定于长冈（位于现在的长冈京市），建立长冈阵屋，也因此成立了，但在1649年其被转封至后，乙训郡成为分属皇室、公家、幕府及相关人员的