任总指挥率领尾张、三河、大和、河内、和泉、纪伊六国的兵力，用了四年仍无法攻克，最后还需劳烦信长亲自出马游说方才投降。这一连串的事蹟让信长认为信盛不复当年勇，不断辜负自己的期望已无利用价值，埋下丢弃信盛的想法。1580年8月，信长以十九条罪状，把信盛及信荣父子两人流放到高野山，信盛失势后原本依附或亲近佐久间家的党羽全部鸟兽散，愿意跟随信盛父子一起到高野山的家臣只有两三人，非常落魄。翌年在十津川死去，享年55岁，法名法洞无桂巌另称宗佑。之后儿子信荣获赦返回仕奉织田信忠。