平氏
治承2年（1178年）晉陞為從三位，稱源三位入道，成為平氏專權時期位階最高的源氏朝臣。治承4年（1180年），平宗盛強奪其子源仲綱的愛馬「木下」，並在馬身烙上「仲綱」二字。因此賴政對平氏十分不滿，於同年與以仁王起兵反對平氏。雙方交戰於宇治川，源賴政戰敗，切腹而死，享年77歲。