岩櫃城
その後、大野氏は大野憲直のときに、四男・山田基政の嫡孫で岩下城主・斎藤憲次の反乱によって滅び、岩櫃城は憲次が支配し、その子・憲広に受け継がれたという。
斎藤憲広は上杉氏に属して勢力を拡大したが、郡内の豪族羽尾氏と鎌原氏(三原庄)の領地争いに介入(羽尾氏に味方)したことで、両氏の仲介に入っていた信濃国小県郡の真田氏、および真田家の主家である甲斐の武田氏による介入を招くことになる(羽尾氏・鎌原氏・真田氏は共に海野氏系で近い関係にある)。永禄3年(1560年)に鎌原幸重が武田家の信濃先方衆である真田幸隆を介して武田家に臣従して、武田氏の後ろ盾を得る。それに対して、永禄5年(1562年)に斎藤憲広は羽尾幸世など羽尾氏と共に鎌原城を攻略し、鎌原氏を信濃に追い払う事に成功する。しかし、程なく鎌原城を奪回されるなど真田勢の攻勢を受け、永禄6年(1563年)には家臣の内応もあって落城、憲行は越後に逃走した。斎藤氏は憲行の末子・城虎丸が近隣の嶽山城に篭っていたが、永禄8年(1565年)に落城、斎藤氏の勢力は駆逐された。