加西军的长盛出阵时，被命令留守在居城郡山城。战后，长盛的所领被没收并被命令蛰居在高野山，但是渡边以「接受主君长盛的命令守城。不能因为其他人的命令开城」（主君长盛からの命で城を守っている。それ以外の命によって开城はできない）为由而抵抗接收城池的藤堂高虎、本多正纯等人。之后直至德川家康令长盛写下书状才愿意开城。因为这次的忠义和力量而有许多人希望登用，但是最后决定仕于同乡藤堂高虎并接受2万石破格的待遇。担任高虎在伊予国的新居城今治城的普请奉行等职务，显示出枪术以外的才能，之后在藤堂氏移封伊势国后成为上野城城代