家一门到达九州岛的大宰府，但被当地豪族逐出；随后逃往赞岐国的屋岛（今香川县高松市屋岛地区）并创立行宫。以屋岛为据点，同源氏对抗。寿永4年（1185年），源赖朝派源义经攻打屋岛。平家战败，挟安德天皇逃亡海上。此后在长门国赤间关的坛之浦爆发平家和源氏间最后的决战。平家战败，外祖母二位尼将传国神剑插在身上，将传国神玺挂在天皇的脖子上，抱着安德天皇，告诉他「波涛之下也有帝都」（），投海自杀身亡。天皇的生母建礼门院在天皇投水之后也跳水自杀，但被源氏方面的武士救起，送往京都。根据《平家物语》的说法，坛之浦之战后