也没有理由拒绝势力大增的氏纲。自此，氏纲以自己是古河公方足利氏「御一家」和关东管领的地位，向其他对后北条氏有所警戒的周边豪族，主张自己支配关东的正统性。
晴氏与北条氏康对立（河越合战）.扇谷上杉氏不敌后北条氏的进攻而节节败退，在大永4年（1524年）江户城和岩付城接连失守，在天文6年（1537年）根据地河越城亦陷落。然而在天文10年（1541年），氏纲死后，山内上杉氏联合扇谷上杉氏展开反撃。扇谷上杉朝定、山内上杉宪政联同骏河的今川义元夹击后北条氏，并且在天文14年（1545年）包围