岩下城
翌4年(1561年)に武田信玄による西上野侵攻が行われると、斎藤憲広ら吾妻斎藤氏をはじめとする吾妻郡の国衆は武田氏に従った。しかし憲広は同郡の鎌原重澄と所領を巡り対立し、また箕輪長野氏を通じて上杉氏への離反を試みており、次第に武田氏と対立するようになった。同6年(1563年)末に憲広は武田氏から離反し、岩下城(若しくは岩櫃城)に籠城する。しかし、甥で岩下斎藤氏の斎藤弥三郎や配下の海野幸光・輝幸兄弟に離反され、城から退去し越後に逃れた。
憲広の没落後は甥の弥三郎が岩下城とその所領の五分の一を継承し、岩下城の国衆として存在したと推測される。しかし弥三郎も同8年(1565年)2月までに武田氏から離反し嶽山城に籠城しており、これにより吾妻斎藤氏は没落した。その後岩下城は武田家臣の三枝虎吉や鎌原重澄が在番し、武田氏の属城となった。