以仁王在近卫河原秘密举行了冠礼，此后成为八条院暲子内亲王的养子。仁安元年（1166年），以仁王的舅舅藤原公光被罢免了权中纳言兼左卫门督的官职，以仁王继位的梦想彻底破灭。此后以仁王被后白河天皇疏远，被降为亲王，过起了隐居生活。治承三年（1179年），平清盛发动政变，幽禁了后白河法皇并废止了院政。次年，以仁王在源赖政的劝说下决定起兵反抗平氏夺位，自称「最胜亲王」，并向关东的源氏各族发出讨伐平家的令旨。不久事泄，太政大臣平清盛假借法皇的名义将以仁王开除了皇籍，赐名「源以光」，并派人前往以仁王的住所，要把他流放