居馆政厅设于。然而以仁王讨伐平氏的令旨仍然在全国各地广为传播。同年8月，被清盛流放到伊豆国的源赖朝与岳父北条时政联手举兵。9月，信浓国的源义仲也举兵反平氏。为了防止源赖朝的势力坐大，平清盛派遣由嫡孙平维盛率领的大军进入关东。然而，在与源赖朝交手的富士川之战一役中，传出平氏大军被水鸟的振翅声所惊吓而败走的丑事，显现出平家军已经积弱不振，于是反抗平氏的声浪也越来越大。富士川败战平氏的战败让宗教势力，尤其是之前协助以仁王举兵的兴福寺开始蠢蠢欲动。而在亲贵坚决反对迁都的压力下，同年11月平清盛又将国都迁回京