养母家乡摄津国西成郡渡边（现在的大坂府大坂市中央区）。因此自称渡辺纲（わたなべ の つな）、渡边源次纲（わたなべ の げんじ つな）或者源次纲（げんじ つな），为渡边氏的先祖。仕于摄津源氏的源赖光，为赖光四天王之首，以刚勇闻名。加之先祖源融据说是『源氏物语』的主人公光源氏的原型，纲也是有名的美男子。有退治大江山的酒呑童子，以及在京都的一条戻桥上以源氏的名刀髭切斩下鬼的手臂等有名的逸话。谣曲『罗生门』把一条戻桥的传说的舞台搬到了罗城门。1020年，主君赖光任命其为正四位下・摄津守，又兼任正五位下・丹后守。