Los tres hijos menores de Yoshitomo, Minamoto no Yoritomo, Minamoto no Yoshitsune y Minamoto no Noriyori, al ser muy pequeños, fueron perdonados y exiliados en lugares alejados de Japón y el Emperador Go-Shirakawa fue forzado a un retiro.