臣渡边纲的后裔，历来跟随嵯峨源氏，每一代名字都仅有一个字，父亲为渡边通、祖父为渡边胜。天文12年（1543年）与大内义隆爆发第一次月山富田城之战，父亲阵亡后继承，与父亲同样仕于毛利元就。于天文24年（1555年）的严岛之战非常活跃。元就死后仕于其孙毛利辉元，天正16年（1588年）跟随辉元上洛，获丰臣秀吉赐姓丰臣。