家的势力在屋岛站稳了脚跟，为了避免惹祸上身，行家自请率兵征讨西国的平家。在播磨国的室山被平知盛、平重衡击败，逃往和泉国。次年源赖朝派遣源范赖、源义经攻灭木曾义仲的势力，召行家回京。此后源行家同源义经关系亲密，但是同赖朝有矛盾。行家以和泉国和河内国（河内源氏的发源地）为中心，建立了自己的半独立式根据地。1185年，平家在坛之浦之战中灭亡后，源行家同源义经结盟，后白河法皇也下达了讨伐源赖朝的院宣。然而支持行家的武士很少，不久以后源赖朝率军上洛，反将源行家和源义经封为朝敌。行家和义经试图逃往西国以寻求平家