168年），清盛突然卧病在床，上皇亲自前往六波罗馆探望，既大赦天下又免除调庸，为了避免清盛死后可能造成政局不稳，上皇逼使六条天皇让位予高仓天皇。然而，清盛最终康复，并且由于是高仓天皇的外戚，权势有增无减。翌年，清盛将六波罗馆交给儿子重盛，自己则移住（现兵库县神户市兵库区荒田町、平野町至中央区一带）。承安元年（1171年），清盛之女平德子以后白河上皇养女的身份，成为高仓天皇的女御。安元2年（1176年），平滋子死去后，伊势平氏与上皇的关系开始产生裂痕，翌年院近臣西光之子藤原师经焚毁了延历寺势力下的寺院，尽