岩下城
吾妻荘を統一した吾妻斎藤氏・斎藤憲次が岩下城に入ったのが始まりとされる。後に憲次は旧主である大野氏を討ち取り岩櫃城に移り、岩下城に家臣・富沢但馬守基幸を入れて守らせたとされるが、そもそも岩櫃城が築城されたのは永禄期とされるためにこの内容は信憑性に疑問がある。
吾妻斎藤氏は岩下城を本拠とする岩下斎藤氏と嶽山城を本拠とする嶽山斎藤氏の二家が存在したとされる。
吾妻斎藤氏は当初関東管領・山内上杉氏に従っていたが、関東南部から台頭してきた後北条氏の勢力に押されて上杉憲政が越後に逃れると、吾妻斎藤氏も永禄元年(1558年)までに後北条氏に従属した。しかし同3年(1560年)に長尾景虎(上杉謙信)による関東侵攻が行われ、長尾軍により北上野の沼田城・明間城(現・東吾妻町)と共に岩下城も攻略された。これにより両斎藤氏は長尾(上杉)氏に従属し、岩下衆の筆頭として嶽山斎藤氏の斎藤憲広(憲次の子とされる)が吾妻郡を統括する立場となった。