Inmediatamente Yoshitsune dejó el clan Fujiwara del norte en 1180 y se unió a Yoritomo en la región de Kanto, al oeste de Honshu junto con su otro hermano separado Noriyori.