Durante la huida, Yoritomo se extravió en las montañas y posteriormente fue capturado por los hombres de Taira no Kiyomori, quien decidió perdonarle la vida, pero en cambio, lo envió al exilio en la península de Izu, bajo el cuidado de Hōjō Tokimasa.