其父的才干，也不具其父的强悍个性，因而完全无法应付全国各地接连不断发生的反抗变乱。再者以法皇为中心的院政势力再次复甦，也逐渐侵蚀平家的基础。再加上恰于此时发生饥荒（养和大饥荒）亦为不利条件，在此种种因素交织下，平氏一族先是在寿永二年（1183年）的俱利伽罗峠之战大败于源义仲，平家大军因而崩溃，无计可施之下平宗盛不得不挟持安德天皇撤离京都逃往西日本。之后平家又在一之谷之战中败给由源赖朝之弟源义经，于是退据赞岐国的屋岛。此时后白河法皇向平家提出愿以被源氏军所捕的平重衡作为人质，交换平家及安德天皇所持有的三神