清盛于是在承治4年（1180年）6月强行将国都迁往平氏的据点，邻近当时国际贸易港大轮田泊的福原（在今神户附近）。然而以仁王讨伐平氏的令旨仍然在全国各地广为传播。同年8月，被清盛流放到伊豆国的源赖朝与其正室北条政子的娘家北条氏联手举兵。9月，信浓国的源义仲也举兵反平氏。为了防止源赖朝的势力坐大，平清盛派遣由嫡孙平维盛率领的大军进入关东。然而，在与源赖朝交手的富士川之战一役中，传出平氏大军被水鸟的振翅声所惊吓而败走的丑事，显现出平家军已经积弱不振，于是反抗平氏的声浪也越来越大。富士川战后平氏的败绩让宗教