Después de la muerte de ambos al inicio de la guerra, Yorimoto, con sus hermanastros y su primo Minamoto no Yoshinaka, respondió a la llamada a las armas y entró en la lucha contra la dominación de los Taira.