然而以仁王讨伐平氏的令旨仍然在全国各地广为传播。同年8月，被清盛流放到伊豆国的源赖朝与其正室北条政子的娘家北条氏联手举兵。9月，信浓国的源义仲也举兵反平氏。为了防止源赖朝的势力坐大，平清盛派遣由嫡孙平维盛率领的大军进入关东。然而，在与源赖朝交手的富士川之战一役中，传出平氏大军被水鸟的振翅声所惊吓而败走的丑事，显现出平家军已经积弱不振，于是反抗平氏的声浪也越来越大。富士川战后平氏的败绩让宗教势力，尤其是之前协助以仁王举兵的兴福寺开始蠢蠢欲动。而在亲贵坚决反对迁都的压力下，同年11月平清盛又将国都迁回京