拥护法皇的亲贵也在蠢蠢欲动，为了维持平氏政权的长治久安，平清盛于1180年6月强行将国都迁往平氏的据点福原京，将居馆政厅设于。然而以仁王讨伐平氏的令旨仍然在全国各地广为传播。同年8月，被清盛流放到伊豆国的源赖朝与岳父北条时政联手举兵。9月，信浓国的源义仲也举兵反平氏。为了防止源赖朝的势力坐大，平清盛派遣由嫡孙平维盛率领的大军进入关东。然而，在与源赖朝交手的富士川之战一役中，传出平氏大军被水鸟的振翅声所惊吓而败走的丑事，显现出平家军已经积弱不振，于是反抗平氏的声浪也越来越大。富士川败战平氏的战败让宗教