Miembro del clan guerrero Minamoto, Yoritomo fue desterrado en su juventud a consecuencia de las revueltas de su padre en contra de la reinante familia Taira.