诹访大社下社的宫司金刺盛澄处修行，后来金刺一族的手冢光盛等和中原一族皆是木曾的心腹。义仲的异母兄源仲家，则由京都的源赖政收为养子。
举兵.治承4年（1180年），以仁王向全国发出打倒平家的令旨。义仲的叔父源行家唿吁全国各地的源氏族人举兵讨伐平家。义仲的兄长源仲家参加了以仁王举兵，在宇治川同源赖政一起阵亡。同年9月7日，义仲声援北信浓的源氏族人（市原合战），向父亲源义贤的旧领上野国多胡郡进发。2个月后回到信浓，以佐久郡依田城为根据地举兵。义仲从上野国回到信浓的原因是避免同源赖朝和