条天皇让位予高仓天皇。然而，清盛最终康复，并且由于是高仓天皇的外戚，权势有增无减。翌年，清盛将六波罗馆交给儿子重盛，自己则移住（现兵库县神户市兵库区荒田町、平野町至中央区一带）。承安元年（1171年），清盛之女平德子以后白河上皇养女的身份，成为高仓天皇的女御。安元2年（1176年），平滋子死去后，伊势平氏与上皇的关系开始产生裂痕，翌年院近臣西光之子藤原师经焚毁了延历寺势力下的寺院，尽管伊势平氏奉命戒备以防强诉，可是态度消极，最终上皇流放了师经之兄等人。其后，京都发生，约三分一面积的地方化为灰烬，大内里和