翌年（1564年），居城被谦信攻击，于是降伏。永禄8年（1565年），再度与北条氏连结等。天正3年（1575年），居城祇园城被北条氏照攻击，不过坚守城池而令其久攻不下。此时，在从北条氏离反的弟弟结城晴朝和邻近大名宇都宫广纲、佐竹义重的协力下，建议与北条氏政建立和议，不过拒绝。翌年（1576年），居城祇园城再被攻打，于是放弃城池，与嫡子伊势千代丸（后来的政种）一同投靠佐竹义重。此后，祇园城成为北条氏的直辖领地，并变成攻略北关东的据点。此后，虽然在佐竹义重的协力下，尝试夺回祇园城。天正9年（1581年）