后任命氏纲为关东管领。然而氏纲死后与继任的北条氏康敌对，与两上杉家的上杉宪政和上杉朝定结盟。天文15年（1546年）进攻北条领地，在河越夜战中大败而归，失去了作为古河公方的影响力。作为保住性命的条件，不得不于天文21年（1552年）把公方之位让予儿子义氏。尽管如此，天文23年（1554年）古河城被氏康攻破，晴氏被囚禁于相模国波多野（神奈川県秦野市）。弘治3年（1557年）7月被允许回到古河城，然而9月废嫡的足利藤氏试图打倒义氏夺回古河御所的图谋败露，晴氏又被囚禁，交给栗桥城主・野田氏看守。随后的永禄