清盛和高仓上皇死去，加上爆发天灾，平家的形势渐趋不利，在俱利伽罗峠之战等战事接连败于源义仲后撤离京都。其后，平家到处流窜，先后逃至九州、四国和中国地方，并且不断遭到源氏军追击，及后在一之谷之战中大败于源义经，平忠度和平教盛等众多平家一门战死后，最终在坛之浦之战中被消灭。
由来.8世纪末期，桓武天皇推行臣籍降下政策，大量皇族被赐姓，其中平氏是下赐给皇孙，源氏则是下赐给皇子。最早冠姓平氏的是葛原亲王之子和，高栋的子孙为堂上平氏，而高见之子的子孙则散落于下总国、常陆国和武藏国等关东地方，