。2个月后回到信浓，以佐久郡依田城为根据地举兵。义仲从上野国回到信浓的原因是避免同源赖朝和藤姓足利氏发生冲突。翌年（1181年）6月，义仲在小县郡白鸟河原聚集了木曾众、佐久众、上州众等三千骑攻入越后，在千曲川横田河原之战中击破城助职，此后从越后进入北陆道。寿永元年（1182年）拥立逃到北陆道的以仁王遗子北陆宫为主，明确表示继承以仁王的遗志和立场。他的势力渗透到了北陆道的各地，但他避免与同源赖朝结盟的南信浓甲斐源氏豪族武田信光发生冲突。寿永2年（1183年）2月，源赖朝击败了敌对的志田义广，义广投奔侄