1180年）高仓天皇退位，由清盛的外孙安德天皇继位，清盛亦成为实际上的最高权力者。同年，以仁王在源赖政的劝说下计划举兵反抗平家，园城寺也一同参与，可是走漏风声，赖政和其子战死，以仁王则在平等院自杀。
东西交战.其后，清盛迁都至福原京。同年8月，源义朝之子源赖朝在伊豆国举兵，与表兄弟的木曾义仲等在东国反抗平家。虽然平家一度在石桥山之战中击败源氏军势，但是赖朝最终成功逃亡至安房国。为了阻止赖朝，清盛派平维盛前往讨伐，可是在富士川之战中失利。其后，清盛重返平安京，并且焚毁兴福寺和东大寺等