1181年（养和元年），行家同平家方面的平重衡在墨俣川交战，行家大败，逃往三河国的矢作川，随后投奔赖朝。行家向赖朝请求领地，但被赖朝拒绝；因此投奔木曾义仲麾下。1183年，源行家同木曾义仲麾下的楯亲忠带兵防御位于能登国志雄山的平家军。随后木曾在俱利伽罗峠之战中大败平家，取道宇治川，与木曾义仲进入京都谒见后白河法皇。行家与义仲争夺拜谒的顺序，被封为从五位下备后守；但行家不愿要备后国，改封备前守。法皇没收了平家的土地，赏赐给行家和义仲。木曾义仲的部下在京都胡作非为，引起了法皇和公卿的不满。源行家意识到了