，晴氏战败而被北条氏康幽禁，后北条氏改为拥立义氏成为新任古河公方。其后在天文24年（1554年）11月，义氏未有在，而是在后北条氏的支城（现东京都葛饰区）举行元服仪式。义氏元服时，获室町幕府将军足利义辉授予足利将军家的通字「义」，并且由舅父氏康替其加冠。永禄元年（1558年）4月，义氏离开葛西城，前往鎌仓的鹤冈八幡宫参拜，是唯一一位前往该处参拜的古河公方，其后在8月进入古河公方的领国，并且以为自己的居城来取代历代的居城古河城。由此可见，义氏是受制于后北条氏的傀儡。此外，后来成为关东管领的上杉谦信认为晴氏