元服后取名木曾次郎义仲。兼远的三个亲生儿子英勇非常，在木曾义仲起兵后，成为木曾麾下的心腹悍将，是义仲四天王中的三位。此外，义仲在年轻时曾在诹访大社下社的宫司金刺盛澄处修行，后来金刺一族的手冢光盛等和中原一族皆是木曾的心腹。义仲的异母兄源仲家，则由京都的源赖政收为养子。
举兵.治承4年（1180年），以仁王向全国发出打倒平家的令旨。义仲的叔父源行家唿吁全国各地的源氏族人举兵讨伐平家。义仲的兄长源仲家参加了以仁王举兵，在宇治川同源赖政一起阵亡。同年9月7日，义仲声援北信浓的源氏