掌平家后，在寿永元年（1181年）晋升为权大纳言及内大臣。不过隔年源义仲（木曾义仲）的兵马就杀进越中国并且大破平家军。逼得平宗盛不得不带着安德天皇一起离开京都逃往西日本。之后平家军又在摄津国的一之谷之战败给由源赖朝之弟源义经所统率的源氏军，于是退据赞岐国的屋岛。此时后白河法皇向平家提出愿以被源氏军所捕的平重衡（平宗盛的五弟）作为人质，交换平家及安德天皇所持有的三神器，但为平宗盛所拒绝。随后平家军又在屋岛败给源义经，然后在文治元年（1185年）的最终决战——坛之浦之战中再度大败于源义经所率的源氏军队。