之下。天正10年（1582年）3月，旧臣小岛职镇、唐人亲广等人急袭富山城，长住被俘虏。虽然被织田军的反攻所救，但是因为这次事件而失去势力并被追放，曾一度透过旧臣国人众菊池右卫门入道向织田家臣柴田胜家说项，希望织田同意返还领地，但没有被接受。翌年前往伊势神宫祈愿返回越中居住，之后的经历没有记载。