皆是木曾的心腹。义仲的异母兄源仲家，则由京都的源赖政收为养子。
举兵.治承4年（1180年），以仁王向全国发出打倒平家的令旨。义仲的叔父源行家唿吁全国各地的源氏族人举兵讨伐平家。义仲的兄长源仲家参加了以仁王举兵，在宇治川同源赖政一起阵亡。同年9月7日，义仲声援北信浓的源氏族人（市原合战），向父亲源义贤的旧领上野国多胡郡进发。2个月后回到信浓，以佐久郡依田城为根据地举兵。义仲从上野国回到信浓的原因是避免同源赖朝和藤姓足利氏发生冲突。翌年（1181年）6月，义仲在小县郡白鸟河原