行家不愿要备后国，改封备前守。法皇没收了平家的土地，赏赐给行家和义仲。木曾义仲的部下在京都胡作非为，引起了法皇和公卿的不满。源行家意识到了这一点。当时平家的势力在屋岛站稳了脚跟，为了避免惹祸上身，行家自请率兵征讨西国的平家。在播磨国的室山被平知盛、平重衡击败，逃往和泉国。次年源赖朝派遣源范赖、源义经攻灭木曾义仲的势力，召行家回京。此后源行家同源义经关系亲密，但是同赖朝有矛盾。行家以和泉国和河内国（河内源氏的发源地）为中心，建立了自己的半独立式根据地。1185年，平家在坛之浦之战中灭亡后，源行家同