受到北条军的威胁，河西的国人众（箕轮长野氏、等西上野国人）通过向后北条臣属，接着宪政的马廻众亦离反，因此宪政不得不从平井城中退走，同年3月，城池被攻陷。宪政投靠山内上杉家的家宰足利长尾氏和东上野的横濑氏，不过因为足利长尾氏在平井周边和武藏国内多数领地被北条氏夺去，于是退回本领足利，而横濑氏在东西方受到亲北条的那波氏和攻撃，宪政没能进入足利长尾、横濑两氏的居城，于是向上野北部的利根、吾妻前进，最后逃到越后的长尾景虎（上杉谦信）的领地（『群马县史』）。而根据『关东古战录』记载，在平井城被攻陷之际，宪政把嫡男