（1560年），继任家督。这段时期，关东地方正于拥立足利藤氏（古河公方足利晴氏的嫡男）兼继承上杉宪政的关东管领的上杉谦信和拥立足利义氏（藤氏的异母弟。生母是北条氏康的异母妹）的北条氏康两大势力的争战中。永禄4年（1561年），参加上杉谦信攻撃后北条氏的小田原城的战事。永禄6年（1563年），成为北条氏的内应。翌年（1564年），居城被谦信攻击，于是降伏。永禄8年（1565年），再度与北条氏连结等。天正3年（1575年），居城祇园城被北条氏照攻击，不过坚守城池而令其久攻不下。此时，在从北条氏离反的弟弟结城