，天文10年（1541年）1月15日，义氏作为晴氏的次子在相模小田原城出生，幼名梅千代王丸。在河越城之战中，晴氏战败而被北条氏康幽禁，后北条氏改为拥立义氏成为新任古河公方。其后在天文24年（1554年）11月，义氏未有在，而是在后北条氏的支城（现东京都葛饰区）举行元服仪式。义氏元服时，获室町幕府将军足利义辉授予足利将军家的通字「义」，并且由舅父氏康替其加冠。永禄元年（1558年）4月，义氏离开葛西城，前往鎌仓的鹤冈八幡宫参拜，是唯一一位前往该处参拜的古河公方，其后在8月进入古河公方的领国，并且以为自己的居城