参加了兄长义朝的叛乱军。战败后成功逃回熊野并隐居20余年。1180年（治承4年），后白河法皇的第三皇子以仁王向各地的源氏发出举兵讨伐平家的令旨。摄津源氏的源赖政召义盛出山，补八条院的藏人一职，并改名「行家」。从此以后被人称为十郎藏人。源行家劝说侄儿源赖朝起兵反对平家，但后来却同赖朝的部下不和。1181年（养和元年），行家同平家方面的平重衡在墨俣川交战，行家大败，逃往三河国的矢作川，随后投奔赖朝。行家向赖朝请求领地，但被赖朝拒绝；因此投奔木曾义仲麾下。1183年，源行家同木曾义仲麾下的楯亲忠带兵防御位