Pero di naglaon ay natapos din ng tuluyan ang impluwensiya ng mga Fujiwara ng kumampi si Yorinaga Fujiwara sa panig ng isang retiradong Emperador kontra sa Tapagmana ng Trono ng Krisantemo na suportado naman ng mga angkang Taira at Minamoto.
