室町時代には、細川氏（野州家）が浅口郡一帯を鴨山城を本拠として領有していたが、戦国時代を迎えると勢力を失い、尼子氏、宇喜多氏等の圧迫を受けて分郡のあった伊予国へ退いた。伊予国の川之江に在城していた一族の細川通薫は、毛利氏の援助を受けて永禄2年（1559年）に青佐山に入り旧領回復の拠点とした。通薫は細川家旧臣たち（赤沢・大内・安部・秋田・河田・藤沢・今城・大島氏ら）に迎えられると、山麓に屋形を設け、周りに家臣を配置した。また城の鬼門の守りには「八幡宮（大浦神社）」を遷座勧請し、伝統文化や産業の振興に力を入れた施策を行った。通薫は勢力拡大を図り、永禄9年（1566年）に浅口市の六条院竜王山に城を創築し本城としたが、それまでの7年間を青佐山に在城した。通薫はやがて鴨山城を奪回し、そこを本城としてこの地の支配を行った。「関ヶ原」の後、毛利氏の移封に際しては、この地の細川氏も長門国へ去った。江戸時代には池田氏の領有となったが、多くの例にもれず城は破棄されている。