无法坐视平氏专政的势力已然成形，除了必然对之不满的皇族及贵族外，武士族群也因为平氏的贵族化，利害关系已经与其渐行渐远而大感不满。于是1180年激起了反抗平氏的第一波浪潮：投靠平氏的源赖政拥护后白河法皇次子以仁王对抗平清盛。然而迅速反应的平清盛立即派四男平知盛领军征讨，最后败逃的以仁王和源赖政两人都被诛杀。之后平清盛更进一步地将目标指向帮助以仁王对抗平氏的园城寺，派五男平重衡率领大军准备剷除园城寺。同时平清盛也将各寺院组成的宗教势力，尤其是与园城寺同属天台宗的比叡山延历寺视为潜在的危险，加以拥护法皇的亲贵也在