之后平家又在一之谷之战中败给由源赖朝之弟源义经，于是退据赞岐国的屋岛。此时后白河法皇向平家提出愿以被源氏军所捕的平重衡作为人质，交换平家及安德天皇所持有的三神器，但为平宗盛所拒绝。随后平家军又在屋岛之战败给源义经。元历2年（1185年），平家在坛之浦之战中败亡，平氏政权覆灭。平宗盛在鎌仓与源赖朝会面后被送返京都，在半途中的近江国篠原宿被源义经的部将橘公长斩首，他的四个子嗣也被一一处死。平氏家族灭亡。随后不久，新的武家政权镰仓幕府于消灭东北豪族奥州藤原氏后正式建立。