在小县郡白鸟河原聚集了木曾众、佐久众、上州众等三千骑攻入越后，在千曲川横田河原之战中击破城助职，此后从越后进入北陆道。寿永元年（1182年）拥立逃到北陆道的以仁王遗子北陆宫为主，明确表示继承以仁王的遗志和立场。他的势力渗透到了北陆道的各地，但他避免与同源赖朝结盟的南信浓甲斐源氏豪族武田信光发生冲突。寿永2年（1183年）2月，源赖朝击败了敌对的志田义广，义广投奔侄儿义仲，被收留。而义仲在1181年曾收留叛逃赖朝的源行家，这使义仲与赖朝之间的关系更加恶化。而根据《平家物语》、《源平盛衰记》的说法，武田信光