三皇子以仁王向各地的源氏发出举兵讨伐平家的令旨。摄津源氏的源赖政召义盛出山，补八条院的藏人一职，并改名「行家」。从此以后被人称为十郎藏人。源行家劝说侄儿源赖朝起兵反对平家，但后来却同赖朝的部下不和。1181年（养和元年），行家同平家方面的平重衡在墨俣川交战，行家大败，逃往三河国的矢作川，随后投奔赖朝。行家向赖朝请求领地，但被赖朝拒绝；因此投奔木曾义仲麾下。1183年，源行家同木曾义仲麾下的楯亲忠带兵防御位于能登国志雄山的平家军。随后木曾在俱利伽罗峠之战中大败平家，取道宇治川，与木曾义仲进入京都谒见后