治承2年（1178年）晋陞为从三位，称源三位入道，成为平氏专权时期位阶最高的源氏朝臣。治承4年（1180年），平宗盛强夺其子源仲纲的爱马「木下」，并在马身烙上「仲纲」二字。因此赖政对平氏十分不满，于同年与以仁王起兵反对平氏。双方交战于宇治川，源赖政战败，切腹而死，享年77岁。
家族."斜体字为养子"