于是放弃城池，与嫡子伊势千代丸（后来的政种）一同投靠佐竹义重。此后，祇园城成为北条氏的直辖领地，并变成攻略北关东的据点。此后，虽然在佐竹义重的协力下，尝试夺回祇园城。天正9年（1581年），嫡子政种战死。天正10年（1582年）5月18日，因为织田信长的惣无事令，在信长的家臣泷川一益的仲介下，令北条氏照归还祇园城。不过，这次和睦的条件之一是归属于北条氏，因为北条氏的家臣留在小山等，失去以前的权力。天正18年（1590年），在丰臣秀吉发动的小田原征伐中，被迫以北条军的身份参战，被秀吉改易。旧领地被