退位，拥立自己的外孙，平德子之子言仁亲王即位，是为安德天皇。同年，源赖政拥护后白河法皇次子以仁王以对抗平清盛。然而平清盛立即派四男平知盛领军征讨之，最后败逃的以仁王和源赖政两人都被诛杀。
平氏灭亡.治承五年（1181年），平清盛病死。木曾义仲将平氏的势力赶出京都。寿永二年（1183年），平氏准备挟持安德天皇和后白河法皇，带着天皇的三神器，逃往西都。 后白河法皇乘机逃脱，返回京都后，立即发佈追剿平氏的命令。当密令传到源赖朝，源赖朝便派遣源范赖及源义经统率5万大军征讨木曾义仲。