仲政长子。源仲政善射，兼能和歌，为兵库头，听昇殿，特诏守护大内，其后生源赖政。保元之乱时，源赖政支持后白河天皇以抗崇德上皇，召武将十人，源赖政率部下兵勤王。二条天皇即位当日，有狂人入禁内，源赖政捕获狂徒，以此功听院昇殿。平治元年，藤原信赖作乱。源义朝劝说藤原信赖招揽源赖政。源赖政初时答允，然而顾虑源义朝曾杀他的父弟，大乖人望，大事必定不成，心怀危疑。及后听闻潜幸平清盛六波罗府第，决意属禁旅。源义朝攻打六波罗，源赖政佈阵六条河原不向前进。源义平察觉赖政在观望，以精兵冲向赖政的军队。赖政乃收兵前赴六波罗