接着仕于中村一氏并领有3千石。在天正18年（1590年）丰臣氏发动小田原征伐时成为中村势的先锋参战，在进攻伊豆山中城时立下一番乘的战功。秀吉赞赏他「应取得一万石」（），之后对一氏的恩赏（6千石）不满，于是再度成为浪人。之后仕于增田长盛并领有4千石。在庆长5年（1600年）的关原之战中参加西军的长盛出阵时，被命令留守在居城郡山城。战后，长盛的所领被没收并被命令蛰居在高野山，但是渡边以「接受主君长盛的命令守城。不能因为其他人的命令开城」（主君长盛からの命で城を守っている。それ以外の命によって开城はできない）