15年（1546年）爆发的河越城之战中，两上杉和古河公方的联军大败给兵力较少的后北条氏，朝定战死，宪政则逃至上野，晴氏亦逃至古河城。其后，宪政逃往越后，导致上野亦落入后北条氏手上。处于劣势的晴氏难以拒绝后北条氏介入公方家，他将原本预定继任古河公方的足利藤氏废嫡，自己则在天文21年（1552年）将公方之位让给氏康的外甥其女婿足利义氏。就任第5任古河公方的义氏在后北条氏的庇护下行使公方权力，促使后北条氏介入关东各豪族。义氏在继承家督后的天文22年（1553年），居于后北条氏家臣支配的下总，并且在天文24年（