为了挽回名誉而袭击长宗我部盛亲和增田盛次的部队并讨取了3百余人。但是在这次活跃中相当独断独行，7次无视撤退命令而继续追撃，在战胜后亦受到很大损害，于是被高虎和其他重臣排斥。因此在战后出奔并再次成为浪人。虽然不断探求再次仕官的机会，但是因为藤堂氏发出奉公构（不能仕官于其他家的处罚），有江户幕府等人邀请亦无用。在元和4年（1618年）通过土井利胜向高虎提出解除奉公构的请求，但是高虎命令「想奉公的话去仕于（有姻戚关系的）会津的蒲生家和赞岐的生驹家吧」（），不过渡边不接受。在宽永5年（1628年）以天海为仲裁役