安德天皇继位，清盛成为实际上的最高权力者。以仁王举兵后，各地的源氏相继举兵反抗平家，最初双方虽然各有胜负，可是随着清盛和高仓上皇死去，加上爆发天灾，平家的形势渐趋不利，在俱利伽罗峠之战等战事接连败于源义仲后撤离京都。其后，平家到处流窜，先后逃至九州、四国和中国地方，并且不断遭到源氏军追击，及后在一之谷之战中大败于源义经，平忠度和平教盛等众多平家一门战死后，最终在坛之浦之战中被消灭。
由来.8世纪末期，桓武天皇推行臣籍降下政策，大量皇族被赐姓，其中平氏是下赐给皇孙，源氏则是下赐给