在各地转战。元龟3年（1572年），在居城被真田幸隆攻击时，逃到八崎城。在这段期间，把家督让予次男（嫡男）辉景。翌年（1573年），结成，因为对上野诸将的影响力轻微而返回白井城。在谦信死后，于御馆之乱中，投向上杉景虎并战败，此后离开上杉氏，并转仕于武田胜赖、泷川一益、后北条氏。在天正11年4月2日（1583年5月23日）死去。享年72岁。