生平.父亲是居住于武藏国，曾任武藏权介（超编的地方官）的出于嵯峨源氏的源宛。出生地为武藏国足立郡箕田乡（现在的埼玉县鸿巢市）。后来成为出自仁明源氏的源敦的养子，而源敦为出自摄津源氏的源满仲的女婿。源纲居住在养母家乡摄津国西成郡渡边（现在的大坂府大坂市中央区）。因此自称渡辺纲（わたなべ の つな）、渡边源次纲（わたなべ の げんじ つな）或者源次纲（げんじ つな），为渡边氏的先祖。仕于摄津源氏的源赖光，为赖光四天王之首，以刚勇闻名。加之先祖源融据说是『源氏物语』的主人公光源氏的原型，纲也是有名的美男子。