付城接连失守，在天文6年（1537年）根据地河越城亦陷落。然而在天文10年（1541年），氏纲死后，山内上杉氏联合扇谷上杉氏展开反撃。扇谷上杉朝定、山内上杉宪政联同骏河的今川义元夹击后北条氏，并且在天文14年（1545年）包围河越城。继承后北条氏的北条氏康向晴氏请求支援，但是晴氏选择静观其变，最终他接受宪政的请求，亲自领兵攻打河越城。不过，在天文15年（1546年）爆发的河越城之战中，两上杉和古河公方的联军大败给兵力较少的后北条氏，朝定战死，宪政则逃至上野，晴氏亦逃至古河城。其后，宪政逃往越后，导致上野