Sin embargo, cuando se retira oficialmente de su servicio en el seno del ejército de Kiyomori en 1179, comienza a cambiar de opinión sobre el hecho de oponerse a su propio clan, en tanto que las relaciones entre Go-Shirakawa y Kiyomori se han vuelto muy tensas y que éste ha hecho arrestar al anciano emperador, provocando una fuerte oposición anti-Taira.