行家的僧人湛増所获，平家发兵征伐，以仁王与源赖政出奔至园城寺，并向延历寺和兴福寺求援。延历寺拒绝，以仁王等只好逃往奈良兴福寺。途中到达平等院时，遭到平清盛四子平知盛追击，双方人马于宇治川交战后，源赖政战死。以仁王继续逃往光明山(，大约现今京都府相乐郡及宇治市交界处)，最后于鸟居前中箭落马身亡。
源赖朝举兵.讨平令旨陆陆续续到达在各地蛰伏的源氏，其中一人即为河内源氏的源赖朝。在伊豆蛰居的源赖朝与北条时政合谋，祕密纠结伊豆、相模、武藏的源氏势力，于8月17日袭杀平家在伊豆的监管山木兼隆