一时的平家迅速衰落。寿永2年（1183年），源义仲在俱利伽罗峠之战中大破平家，逼近京都。平家在平宗盛的率领下撤离京都，安德天皇、守贞亲王连同象征着天皇权威的三神器一起被劫往西国。平家一门到达九州岛的大宰府，但被当地豪族逐出；随后逃往赞岐国的屋岛（今香川县高松市屋岛地区）并创立行宫。以屋岛为据点，同源氏对抗。寿永4年（1185年），源赖朝派源义经攻打屋岛。平家战败，挟安德天皇逃亡海上。此后在长门国赤间关的坛之浦爆发平家和源氏间最后的决战。平家战败，外祖母二位尼将传国神剑插在身上，将传国神玺挂在天皇的脖子上