加上恰于此时发生饥荒（养和大饥荒）亦为不利条件，在此种种因素交织下，平氏一族先是在寿永二年（1183年）的俱利伽罗峠之战大败于源义仲，平家大军因而崩溃，无计可施之下平宗盛不得不挟持安德天皇撤离京都逃往西日本。之后平家又在一之谷之战中败给由源赖朝之弟源义经，于是退据赞岐国的屋岛。此时后白河法皇向平家提出愿以被源氏军所捕的平重衡作为人质，交换平家及安德天皇所持有的三神器，但为平宗盛所拒绝。随后平家军又在屋岛之战败给源义经。元历2年（1185年），平家在坛之浦之战中败亡，平氏政权覆灭。平宗盛在鎌仓与源赖朝