政治实权则由外祖父平清盛掌握。当时东国的源氏纷纷起兵反对平家，因此即位的当年，平清盛将首都迁到平家的据点福原，试图更加稳固地控制朝廷；但半年之后就将首都迁回了平安京。1181年平清盛病逝，极盛一时的平家迅速衰落。寿永2年（1183年），源义仲在俱利伽罗峠之战中大破平家，逼近京都。平家在平宗盛的率领下撤离京都，安德天皇、守贞亲王连同象征着天皇权威的三神器一起被劫往西国。平家一门到达九州岛的大宰府，但被当地豪族逐出；随后逃往赞岐国的屋岛（今香川县高松市屋岛地区）并创立行宫。以屋岛为据点，同源氏对抗。寿永4年