Pero, tras la Rebelión Heiji en 1159, se inicia la rivalidad entre los clanes Taira y Minamoto; con la pérdida de los Minamoto y el incremento del poder de los Taira.