芳春院（北条氏纲的女儿）的仲介人。不过晴氏与氏纲的后继人北条氏康之间的关系渐渐恶化，晴氏与关东管领上杉宪政和上杉朝兴等人结成同盟并与氏康对抗，不过在天文15年（1546年）的河越夜战中遭到氏康大败。氏康令晴氏隐退，并令异母妹芳春院的儿子‧拥有北条血脉的足利义氏（藤氏的异母弟）成为古河公方。弘治3年（1557年），藤氏举兵并试图夺回古河御所，不过失败，晴氏被软禁在栗桥城，而藤氏亦遭到流放。不过藤氏投靠安房的里见义尧并寻求再起的机会，而跟随藤氏的簗田晴助（高助的儿子）等人则依赖滞留在越后的关东管领上杉宪政和