Fue hijo de Minamoto no Yoshitomo, quien sufrió la derrota a manos del clan Taira en 1160, por lo que la familia tuvo que huir.