制度的建立者。他是平安时代末期河内源氏的源义朝的第三子，幼名「鬼武者」，或者是「鬼武丸」。着名的武将源义经是他的同父异母弟。
生平.久安3年（1147年）4月8日出生于尾张国热田（今爱知县名古屋市热田区），其父是源义朝，母亲是热田神宫大宫司的女儿。1159年，源义朝在平治之乱中战败被杀，赖朝被流放于伊豆国；1180年，后白河法皇的第三皇子以仁王向日本各地的源氏族人发出讨伐平家的令旨，赖朝与岳父北条时政举兵打败平氏军，佔据关东地区，以镰仓为根据地，积聚力量。后来攻灭堂弟木曾义仲的势力