生年不详，家中长男，幼名是幸千代王丸。因为受第13代将军足利义藤（后来的义辉）赐予偏讳，所以可以知道连京都的室町幕府亦承认为次代古河公方。外祖父簗田高助是家中亲北条派的中心，成为晴氏迎娶正室芳春院（北条氏纲的女儿）的仲介人。不过晴氏与氏纲的后继人北条氏康之间的关系渐渐恶化，晴氏与关东管领上杉宪政和上杉朝兴等人结成同盟并与氏康对抗，不过在天文15年（1546年）的河越夜战中遭到氏康大败。氏康令晴氏隐退，并令异母妹芳春院的儿子‧拥有北条血脉的足利义氏（藤氏的异母弟）成为古河公方。弘治3年（1557年）