仲打败，同年7月带着安德天皇与三神器逃离京都；随后，平家趁着源义仲与其堂兄源赖朝之间的对立，夺回摄津国福原京（位于今兵库县神户市）。然而，1184年（寿永3年）2月一之谷之战，平家又被打败而逃到赞岐国屋岛（位于今香川县高松市）与长门国彦岛（位于今山口县下关市）。源赖朝命其弟源范赖率3万骑兵进军山阳道，以渡过九州，阻断平家军后退的道路。不过，因为源范赖军的兵粮不足，且平家军拥有优势的水军抵抗，使得进军无法顺利进行。源义经见到此一情况，向后白河法皇取得了追讨平家的认可，并压制了京都内公家的反对意见，向屋岛进