しかし、寿永3年/治承8年（1184年）2月の一ノ谷の戦いで大敗を喫して海に逃れ、讃岐国屋島と長門国彦島（山口県下関市）に拠点を置いた。
然而，1184年（寿永3年）2月一之谷之战，平家又被打败而逃到赞岐国屋岛（位于今香川县高松市）与长门国彦岛（位于今山口县下关市）。