El poder efectivo siempre estuvo en manos de sus abuelos, el emperador retirado Go-Shirakawa y, sobre todo, del primer ministro del imperio, el líder del clan de los Heike, Taira no Kiyomori, padre de la emperatriz viuda Kenreimon-in.