后以仁王被后白河天皇疏远，被降为亲王，过起了隐居生活。治承三年（1179年），平清盛发动政变，幽禁了后白河法皇并废止了院政。次年，以仁王在源赖政的劝说下决定起兵反抗平氏夺位，自称「最胜亲王」，并向关东的源氏各族发出讨伐平家的令旨。不久事泄，太政大臣平清盛假借法皇的名义将以仁王开除了皇籍，赐名「源以光」，并派人前往以仁王的住所，要把他流放到土佐国去。以仁王得知此事，与源赖政、源仲纲、源兼纲等人出奔三井寺，并向延历寺和兴福寺求援。延历寺拒绝，以仁王等人只好逃往奈良兴福寺。平清盛派出平知盛、平重衡、平行盛、平