源义平察觉赖政在观望，以精兵冲向赖政的军队。赖政乃收兵前赴六波罗，出兵抵御源义朝。源义朝大唿：「卿已称源兵库头，今反属伊势平氏，玷辱我宗何也？」源赖政回答：「我世以弓箭奉仕皇家，未尝失士节。卿与叛臣，不知自悛，是非辱我宗乎。」源义朝奔败，遂死于尾张。治承2年（1178年）晋陞为从三位，称源三位入道，成为平氏专权时期位阶最高的源氏朝臣。治承4年（1180年），平宗盛强夺其子源仲纲的爱马「木下」，并在马身烙上「仲纲」二字。因此赖政对平氏十分不满，于同年与以仁王起兵反对平氏。双方交战于宇治川，源赖政战败，切腹