天文16年（1547年）与村上氏连合为了救援信浓而出兵时，在小田井原的小田井原之战中被武田晴信（信玄）大败（『高白斋记』、『』、『山资』）。除了在武藏自立的忍城，代代仕于山内上杉家的家臣亦相继离反，领有北多摩、入间的归顺北条，而在秩父、儿玉、大里的藤田氏和南多摩的亦从北条氏中收入养子并降伏，宪政渐渐被逼退到上野。而在上野中亦有的和国峰城的、馆林的投向氏康一方。特别是那波氏以北条最前线的身份活跃地行动，与周边的上杉势（足利长尾氏、横濑氏、、厩桥长野氏、）冲突。（『群马县史』）
平井