山上氏
のちに由良氏の支援で奪回するが、山上氏は由良氏の影響下に入った。天文10年(1541年)、厩橋長野氏と由良氏が対立するに及んで山上氏は厩橋長野氏側へと離反した。しかし後北条氏が上野国守護上杉憲政を破り上野に侵攻してくると、これに圧迫される。その後は憲政の名跡を継いだ上杉謙信と小田原の後北条氏との間で揺れ動くことになる。謙信没後は武田勝頼も東上州に進攻し、さらにこの勢力を渡り歩く由良氏との関係もあって山上城は旗印を様々に変えた。山上氏は城主としてあったと思われるが、武将名はみえない。時期は不明だが、この抗争のなかで没落していったとみられる。
江戸期の軍記物『新田老談記』および『唐沢城老談記』には、山上城主・山上道及が登場する。弘治元年(1555年)北条氏康によって山上城が落城し、彼は下野国の佐野氏のもとへ逃れたが、山上氏は没落した。そして氏秀は佐野氏家臣となったが、のち佐野氏が後北条氏側につくと天徳寺宝衍と共に浪人し、武田信玄、次いで滝川一益に仕えたという。しかし『新田老談記』はその信憑性に疑問が付いており、彼が実在の人物なのかは不明である。