源赖光的玄孙、源赖光子源赖国，亦为摄津守，生子源赖纲。源赖纲善和歌，生子源仲政，是摄津源氏源仲政长子。源仲政善射，兼能和歌，为兵库头，听昇殿，特诏守护大内，其后生源赖政。保元之乱时，源赖政支持后白河天皇以抗崇德上皇，召武将十人，源赖政率部下兵勤王。二条天皇即位当日，有狂人入禁内，源赖政捕获狂徒，以此功听院昇殿。平治元年，藤原信赖作乱。源义朝劝说藤原信赖招揽源赖政。源赖政初时答允，然而顾虑源义朝曾杀他的父弟，大乖人望，大事必定不成，心怀危疑。及后听闻潜幸平清盛六波罗府第，决意属禁旅。源义朝攻打六波罗，