家同源义经关系亲密，但是同赖朝有矛盾。行家以和泉国和河内国（河内源氏的发源地）为中心，建立了自己的半独立式根据地。1185年，平家在坛之浦之战中灭亡后，源行家同源义经结盟，后白河法皇也下达了讨伐源赖朝的院宣。然而支持行家的武士很少，不久以后源赖朝率军上洛，反将源行家和源义经封为朝敌。行家和义经试图逃往西国以寻求平家余党的支持，但在大物浦遭到了暴风雨的袭击而失败。源赖朝的追兵随后赶到，行家藏匿在和泉国近木乡的在厅日向权守清实（后畠中城）的屋敷中。翌年被当地人告发，为北条时定的部下逮捕，同次子家光、三子行赖