1548年7月，乘信玄在上田原大败入侵晴信领土，在盐尻峠之战受到重创。败战后，遭到晴信反击，长时放弃林城，先后投靠村上义清及长尾景虎（上杉谦信）。三好长庆上洛后，投靠三好家，成为了将军足利义辉的骑术导师。1568年因长庆病逝后，再次投靠上杉谦信。1578年谦信死后，到多个地方流浪，最后成为芦名氏家臣。1582年三男贞庆恢复大名身份，长时准备回归时遭到家臣坂西胜三郎暗杀，享年70岁。江户幕府时，贞庆子孙续为大名直至幕末。