河越城（曾经是扇谷家的城池），不过在翌年（1545年），停止与今川战斗的氏康在河越城之战中大败足利上杉军，宪政失去了3千余将兵并向居城‧上野逃走（此时拼命守护本阵并协助逃走的是和一族的和本庄实忠）。此后企图恢复势力，不过在天文16年（1547年）与村上氏连合为了救援信浓而出兵时，在小田井原的小田井原之战中被武田晴信（信玄）大败（『高白斋记』、『』、『山资』）。除了在武藏自立的忍城，代代仕于山内上杉家的家臣亦相继离反，领有北多摩、入间的归顺北条，而在秩父、儿玉、大里的藤田氏和南多摩的亦从北条氏中收入养