不久死去，的所领被赐予投向上杉氏的（横濑氏）。天正2年（1574年），在由良氏投向后北条氏后，上杉氏打算让那波氏复归旧领，不过因为赤石城是在由良氏支配之下，于是以附近的为替代，在此时入城。在谦信死后，与岳父兼厩桥城城主北条高广一同在御馆之乱中，支援上杉景虎，不过最终战败，此后仕于武田氏、泷川一益（织田氏）。在本能寺之变后，与复归上杉氏的高广分开，跟随后北条氏。天正11年（1583年）8月，被高广侵攻，不过将其撃退。天正18年（1590年），在后北条氏于小田原之役中战败后，再次失去所领，于是投靠上杉景