伊势平氏与上皇的关系开始产生裂痕，翌年院近臣西光之子藤原师经焚毁了延历寺势力下的寺院，尽管伊势平氏奉命戒备以防强诉，可是态度消极，最终上皇流放了师经之兄等人。其后，京都发生，约三分一面积的地方化为灰烬，大内里和也毁于一旦，但是上皇仍然未有软化，反而流放天台座主明云，并且没收其领地，此举促使延历寺众在近江国粟津（现滋贺县大津市内）营救流放途中的明云，上皇认为这是谋反，要求清盛前往讨伐。然而，战事尚未爆发之前，西光和藤原成亲等人计划打倒伊势平氏的鹿谷阴谋被揭发，与事者相继遭到处分。清盛虽然知道上皇有份参与此事，