自己则移住（现兵库县神户市兵库区荒田町、平野町至中央区一带）。承安元年（1171年），清盛之女平德子以后白河上皇养女的身份，成为高仓天皇的女御。安元2年（1176年），平滋子死去后，伊势平氏与上皇的关系开始产生裂痕，翌年院近臣西光之子藤原师经焚毁了延历寺势力下的寺院，尽管伊势平氏奉命戒备以防强诉，可是态度消极，最终上皇流放了师经之兄等人。其后，京都发生，约三分一面积的地方化为灰烬，大内里和也毁于一旦，但是上皇仍然未有软化，反而流放天台座主明云，并且没收其领地，此举促使延历寺众在近江国粟津（现滋贺县大津市