En el exilio Yoritomo encontró respaldo para su causa en Hōjō Tokimasa y en 1185 derrotó a los Taira.