558年）4月，义氏离开葛西城，前往鎌仓的鹤冈八幡宫参拜，是唯一一位前往该处参拜的古河公方，其后在8月进入古河公方的领国，并且以为自己的居城来取代历代的居城古河城。由此可见，义氏是受制于后北条氏的傀儡。此外，后来成为关东管领的上杉谦信认为晴氏的长子足利藤氏才是继承古河公方的正统人选，因此并不承认义氏的公方地位。随着上杉氏介入关东地方与后北条氏对立后，义氏经常游走于与古河无关的地方，而按《》记载，义氏是「御家人 葛西大人」（）。元龟元年（1570年）左右，后北条氏与上杉氏缔结，作为条件之一，谦信承认义