独行，7次无视撤退命令而继续追撃，在战胜后亦受到很大损害，于是被高虎和其他重臣排斥。因此在战后出奔并再次成为浪人。虽然不断探求再次仕官的机会，但是因为藤堂氏发出奉公构（不能仕官于其他家的处罚），有江户幕府等人邀请亦无用。在元和4年（1618年）通过土井利胜向高虎提出解除奉公构的请求，但是高虎命令「想奉公的话去仕于（有姻戚关系的）会津的蒲生家和赞岐的生驹家吧」（），不过渡边不接受。在宽永5年（1628年）以天海为仲裁役请求解除奉公构，但是没有接受藤堂家提出的和解条件，更反向高虎申诉不平和不满而使交渉决裂。