古河公方的影响力。作为保住性命的条件，不得不于天文21年（1552年）把公方之位让予儿子义氏。尽管如此，天文23年（1554年）古河城被氏康攻破，晴氏被囚禁于相模国波多野（神奈川県秦野市）。弘治3年（1557年）7月被允许回到古河城，然而9月废嫡的足利藤氏试图打倒义氏夺回古河御所的图谋败露，晴氏又被囚禁，交给栗桥城主・野田氏看守。随后的永禄3年（1560年）5月27日在原栗桥（今茨城县五霞町）的「嶋」去世。享年53岁。千叶县野田市关宿台町的宗英寺留有其五轮塔。（※的两人在晴氏死后才出生，应该并未直接