条氏家臣支配的下总，并且在天文24年（1554年）11月于同一地方举行元服仪式。自此，直至永禄元年（1558年）前往鹤冈八幡宫参拜为止，义氏也被称为「葛西大人」。天文23年（1554年），晴氏与藤氏在古河城笼城，但是最终不敌后北条氏，晴氏被幽禁于相模秦野。弘治3年（1557年），晴氏重返古河城试图再次对抗后北条氏，但是遭到亲近后北条氏的公方家家臣野田氏幽禁于栗桥城，并且在永禄3年（1560年）死去。永禄元年（1558年），身在鎌仓的义氏迁移至邻近古河的关宿城，这是由于后北条氏希望削弱不愿服从其势力的公方