不久事泄，太政大臣平清盛假借法皇的名义将以仁王开除了皇籍，赐名「源以光」，并派人前往以仁王的住所，要把他流放到土佐国去。以仁王得知此事，与源赖政、源仲纲、源兼纲等人出奔三井寺，并向延历寺和兴福寺求援。延历寺拒绝，以仁王等人只好逃往奈良兴福寺。平清盛派出平知盛、平重衡、平行盛、平忠度等人率兵追击，双方人马于宇治川交战后，源赖政、源仲纲、源兼纲等人战死。以仁王继续逃往光明山，于鸟居前遇到平家武士藤原景高、藤原忠纲的袭击，中箭落马身亡。然而很少人曾经见过以仁王容貌，因此当时日本民间流传着以仁王依然活着的流言。