皇继位后，作为外戚的平家，势力大幅上升，与此同时鹿谷阴谋被揭发后，后白河上皇的影响力大减。其后，平清盛发动政变，逼使松殿基房退任关白，由女婿近卫基通接任，并且中止后白河上皇的院政，随着外孙安德天皇继位，清盛成为实际上的最高权力者。以仁王举兵后，各地的源氏相继举兵反抗平家，最初双方虽然各有胜负，可是随着清盛和高仓上皇死去，加上爆发天灾，平家的形势渐趋不利，在俱利伽罗峠之战等战事接连败于源义仲后撤离京都。其后，平家到处流窜，先后逃至九州、四国和中国地方，并且不断遭到源氏军追击，及后在一之谷之战中大败于源义经