1178年为高仓天皇生下了第一皇子言仁亲王（安德天皇），平家的势力达到全盛。次年平清盛发动政变，废止了后白河法皇的院政并幽禁了法皇。1180年，高仓天皇逊位给了言仁亲王，成为上皇。高仓上皇本人则开始院政。其间发生了以仁王、源赖政举兵讨伐平家的事件，源赖朝、源义仲等源氏族人纷纷起兵反对平家。为了能够有效的控制朝政，在平清盛的主持下，一度将首都迁往平家的据点福原，但不久又迁回平安京。次年高仓上皇驾崩于六波罗的池殿。高仓天皇肤色白皙而且容貌俊美，深受公卿们的羡慕。此外，高仓天皇也是个善良温和而且多情的人，