势力的争战中。永禄4年（1561年），参加上杉谦信攻撃后北条氏的小田原城的战事。永禄6年（1563年），成为北条氏的内应。翌年（1564年），居城被谦信攻击，于是降伏。永禄8年（1565年），再度与北条氏连结等。天正3年（1575年），居城祇园城被北条氏照攻击，不过坚守城池而令其久攻不下。此时，在从北条氏离反的弟弟结城晴朝和邻近大名宇都宫广纲、佐竹义重的协力下，建议与北条氏政建立和议，不过拒绝。翌年（1576年），居城祇园城再被攻打，于是放弃城池，与嫡子伊势千代丸（后来的政种）一同投靠佐竹义重。此后，祇