源頼朝
文治元年(1185年)1月6日、西海の範頼から兵糧と船の不足、関東への帰還を望む東国武士達の不和など窮状を訴える書状が届く。頼朝は安徳天皇や建礼門院の無事のため、軍を動かさず九州の武士からくれぐれも反感を得ぬように記した書状を出し、九州の武士には、範頼に従い平家を討つことを求めた。この状況をみた義経は後白河法皇に西国出陣を奏上してその許可を得ると『吾妻鏡』元暦2年(1185年)正月6日条には、範頼に宛てた同日付の頼朝書状が記載されている。その内容は性急な攻撃を控え、天皇・神器の安全な確保を最優先にするよう念を押したものだった。一方、義経が出陣したのは頼朝書状が作成された4日後であり、屋島攻撃による早期決着も頼朝書状に記された長期戦構想と明らかに矛盾する。吉田経房が「郎従(土肥実平・梶原景時)が追討に向かっても成果が挙がらず、範頼を投入しても情勢が変わっていない」と追討の長期化に懸念を抱き「義経を派遣して雌雄を決するべきだ」と主張していることから考えると、屋島攻撃は義経の「自専」であり、平家の反撃を恐れた院周辺が後押しした可能性が高い。『平家物語』でも義経は自らを「一院の御使」と名乗り、伊勢義盛も「院宣をうけ給はって」と述べている。これらのことから、頼朝の命令で義経が出陣したとするのは、平家滅亡後に生み出された虚構であるとする見解もある。、10日に讃岐国屋島に向けて出陣し、19日の屋島の戦いで平家を海上へと追いやった。26日、九州の武士から兵糧と船を得た範頼は、周防国から豊後国へと渡る。3月24日の壇ノ浦の戦いで平家は滅亡し、平宗盛らを捕らえた。
これを受けた後白河法皇は4月26日に頭弁である藤原光雅を九条兼実の元に派遣して、頼朝を従二位に叙したいとの考えを伝えて意見を求めた。法皇の考えは従三位は摂津源氏である源頼政と同じとなってしまい、河内源氏の頼朝が(大きな武功のない頼政と同じに扱われて)無念に思うかも知れない、正三位でも平清盛が平治の乱の戦功で得た位階で(平治の乱で親兄弟を殺されて自身も配流された)頼朝が不快になるかも知れないと危惧していた。これに対して、兼実はそのようなことは頼朝は気にはかけないでしょうが、法皇が気にされるのであれば頼朝の勲功は過去に比類なきものであるため問題ないでしょうと答えた。しかし、光雅が退出した後、兼実は従二位は過分で従三位に進めた上で官職を与えて不足を補うべきであると愚痴を述べている。かくして、4月27日に頼朝は平家追討の功により、従二位へ昇った。
文治元年(1185年)4月、平家追討で侍所所司として義経の補佐を務めた梶原景時から、義経を弾劾した書状が届くそれには義経の専横や東国武士達の反感が記されていたという。。4月15日、頼朝は自由任官の禁止令に違反し内挙を得ずに朝廷から任官を受けた関東の武士ら無断任官者は兵衛尉義廉、佐藤忠信、師岡重経、渋谷重助、小河馬允、後藤基清、馬允有経、梶原友景、梶原景貞、梶原景高、中村時経、海老名季綱、馬允能忠、豊田義幹、兵衛尉政綱、兵衛尉忠綱、平子有長、平山季重、梶原景季、縫殿助、宮内丞舒国、山内首藤経俊、八田知家、小山朝政ら24名。の任官を罵り東国への帰還を禁じるこの事件は、義経との関連で論じられることが多いが、「自由任官の禁止」(従者・郎党を持つ権門であればこうした規制は一般的であった)、「成功の重視」(鎌倉幕府が官職を推挙する際には朝廷への成功を果たした者から推挙する)、「任官後の在京勤務励行」(朝幕関係と東国を領域とする幕府支配の固有性を維持のバランスを重視する。なお、この方針により翌年2月2日に配下の御家人の任官返上を朝廷に申し出ている)という、鎌倉幕府の朝廷官職に対する基本政策が示された点が重要である。が、同じく任官を受けた義経には咎めを与えなかった。ところが、景時の書状の他にも、範頼の管轄への越権行為、配下の東国武士達への勝手な処罰など義経の専横を訴える報告が入り、5月、御家人達に義経に従ってはならないという命が出された。その頃、義経は平宗盛父子を伴い相模国に凱旋する。頼朝は義経の鎌倉入りを許さず、宗盛父子のみを鎌倉に入れる。腰越に留まる義経は、許しを請う腰越状を送るが、頼朝は宗盛との面会を終えると、義経を鎌倉に入れぬまま、6月9日に宗盛父子と平重衡を伴わせ帰洛を命じる。義経は頼朝を深く恨み、「関東に於いて怨みを成すの輩は、義経に属くべき」と言い放つ。これを聞いた頼朝は、義経の所領を全て没収した。ただし延慶本『平家物語』によると義経は鎌倉入りを許され頼朝と対面し、慰安されたのち鎌倉の外れで待機したとあり、また『愚管抄』にも義経は鎌倉の館に赴き、京に戻ってきた頃から頼朝に背く心を抱いたとあることから、『吾妻鏡』による上記の記述は誤伝または曲筆で実際には義経は鎌倉入りしているとする説もある。
義経が近江国で宗盛父子を斬首。重衡を自身が焼き討ちにした東大寺へ送ると、8月4日、頼朝は叔父・行家の追討を佐々木定綱に命じた。8月16日には頼朝の申し入れで義経・山名義範・大内惟義・足利義兼・小笠原遠光・安田義資が国司となっている。9月に入り京の義経の様子を探るべく梶原景季を遣わすと、義経は痩せ衰えた体で景季の前に現れ、行家追討の要請に、自身の病と行家が同じ源氏であることを理由に断った。10月、鎌倉に戻った景季からの報告を受けた頼朝は、義経と行家が通じていると断じ、義経を誅するべく家人の土佐坊昌俊を京に送る。対して義経は、頼朝追討の勅許を後白河法皇に求めた。10月17日、頼朝の命を受けた土佐坊ら六十余騎が京の義経邸を襲ったが、応戦する義経に行家が加勢して襲撃は失敗に終わる。義経は土佐坊が頼朝の命で送られたことを確かめ、頼朝追討の宣旨を再び朝廷に求め、後白河法皇は義経に宣旨を下した。なお土佐坊昌俊の派遣および襲撃は『吾妻鏡』『平家物語』に記載されているが、『玉葉』では17日深夜に頼朝郎従の武蔵国住人児玉党30余騎が中人の報告を受けて義経を襲撃するが行家が救援に駆け付けてこれを撃退したとある。また義経が院宣を最初に申請したのは、『吾妻鏡』では10月13日、『玉葉』では16日となっていて、17日の土佐坊による襲撃よりも前のことになっている。これに関して河内祥輔は義経が事前に土佐坊の襲撃の情報を入手して院宣を申請し、17日の襲撃では最初から迎撃の態勢を取っていたとする。一方、菱沼一憲は土佐坊を頼朝が派遣した刺客だとするのは義経による朝廷への一方的な主張のみで、『吾妻鏡』『平家物語』が記す頼朝が土佐坊を派遣した経緯を証明する同時代史料はなく、創作された可能性もあるとして、頼朝との対立を深めた義経が先に院宣を得ようとしたところ、在京や畿内周辺の御家人が動揺して頼朝を支持する土佐坊らが義経暗殺を計画したもので、頼朝は少なくともこの襲撃事件には関与していなかったとする。
10月24日、頼朝は源氏一門や多くの御家人を集め、父・義朝の菩提寺・勝長寿院落成供養を行った。その日の夜、朝廷の頼朝追討宣旨に対抗して御家人達に即時上洛の命を出すが、その時鎌倉に集まっていた2,098人の武士のうち、命に応じた者はわずか58人であった。頼朝は自らの出陣を決め、行家と義経を討つべく29日に鎌倉を発つと、11月1日に駿河国黄瀬川に着陣した。対する義経は頼朝追討の兵が集まらず、後白河法皇に九州・四国の支配権を認めさせた後、11月3日、郎党や行家と共に戦わずして京を落ちた。海路西国を目指すも途上暴風雨に会い、船団は難破、一行は散り散りになり、義経は行方をくらませ、妾の静御前が吉野山で捕らえられている。なお義経を九州に迎えようと岡城を築いていた豊後国の緒方惟栄は上野国沼田に配流され、豊後国は一時関東御分国となった。
11月8日、頼朝は都へ使者を送ると、黄瀬川を発って鎌倉へ戻る。11月上旬、義経・行家と入れ替わるように上洛した東国武士の態度は強硬で、院分国の播磨国では法皇の代官を追い出して倉庫群を封印している。11日、頼朝の怒りに狼狽した朝廷は、義経・行家追捕の院宣を諸国に下したその頃、鎌倉では駿河以西の御家人に書状を送り、今度の頼朝の上洛は取り止めたがなお怠りなく軍備を固めるように命じて、いざとなれば大挙出兵して上洛する場合に備えている。。
12日、大江広元は処置を考える頼朝に対して「守護・地頭の設置」を進言した。これに賛同した頼朝は、周章する朝廷に対し強硬な態度を示して圧力をかける法皇が高階泰経を通じて出した弁明の使者は11月15日に鎌倉に到着したが恐怖にかられて営中に参ぜず、一条能保の屋敷に行って鎌倉殿宛の書状を持参したことを告げた。能保にあてた一通には「義経等の事は、まったく泰経の仕組んだものではなく、ただ義経の兵力を恐れて院に奏上しただけである」と取り成しを願う内容であった。能保は使者を頼朝の所へ連れて行き、泰経の頼朝宛の書状を披露した。それは「行家・義経謀反のことは、天魔の所為というほかない。頼朝追討の宣旨を下さねば宮中で自殺するなどと言うので、当座の騒ぎを避けるための処置であり、法皇の本心ではなかった」という法皇の意向に従った弁明であった。11月26日、鎌倉の使者が泰経に返事の書状を持参して、院の御所の泰経を尋ねると、不在という答えだったので大いに怒り、文箱を院の中門の廊に投げ込んで立ち去った。その書状は兼実に届けられ、表に「大蔵卿殿御返事」とあり、下の署名はなく、内容は「行家・義経謀反のことは、天魔の所為とおっしゃるが、とんでもない事だ。天魔とは仏法の妨げで、人倫の災いとなる者の事。頼朝は多くの朝敵を滅ぼすと、政権を法皇にお任せしたのに、たちまち謀反人とされてしまったのはどういうわけか。法皇のお考えと無関係に、そもそも院宣が下されるものなのか。行家といい、義経といい、召し捕られぬところから、国々も疲弊し、人民も難儀をする。日本国第一の大天狗はさらに他に居申さぬぞ」と後白河法皇の変心と無責任ぶりを痛罵したものだった。。
24日に北条時政は頼朝の代官として千騎の兵を率いて入京し、頼朝の憤怒を院に告げて交渉に入った狼狽する法皇と泰経は25日に行家と義経の探索を命じる宣旨を重ねて出す。「行家・義経が逆風の難にあったのは天罰である」と義経を罵り、泰経に謹慎を命じる。。
28日に時政は吉田経房を通じ義経らの追捕のためとして「守護・地頭の設置」を認めさせることに成功する(文治の勅許)。12月には「天下の草創」と強調して、院近臣の解官、議奏公卿による朝政の運営、九条兼実への内覧宣下といった3ヵ条の廟堂改革要求を突きつける(『吾妻鏡』12月6日条、『玉葉』12月27日条)。議奏公卿は必ずしも親鎌倉派という陣容ではなく、院近臣も後に法皇の宥免要請により復権したため、頼朝の意図が貫徹したとは言い難いが、兼実を内覧に据えることで院の恣意的な行動を抑制する効果はあった。
文治2年(1186年)3月には法皇の寵愛深い摂政の近衛基通を辞任させ、代わって兼実を摂政に任命させる。4月頃から義経が京都周辺に出没している風聞が飛び交い、頼朝は貴族・院が陰で操っていることを察して憤る。5月12日には和泉国に潜んでいた源行家を討ち取った。頼朝は捜査の実行によって義経を匿う寺院勢力に威圧を加え、彼らの行動を制限した。その間に発見された義経の腹心の郎党たちを逮捕・殺害すると、院近臣と義経が通じている確証を上げる。11月、頼朝は「義経を逮捕できない原因は朝廷にある。義経を匿ったり義経に同意したりしている者がいる」と朝廷に強硬な申し入れを行なった。朝廷は重ねて義経追捕の院宣を出すと、各寺院で逮捕のための祈祷を大規模に行うことになった。京都に見捨てられた義経は、奥州に逃れ藤原秀衡の庇護を受けることとなった。
頼朝は、諸国から争いの訴えなどを多く受けるようになり、また平重衡によって焼かれた東大寺の再建工事なども手がけた。
同年、政子が次女三幡を産んだ。政子の妊娠中に頼朝は大進局という妾のもとへ通い、3月に大進局は頼朝の子貞暁を産むが、政子を憚って出産の儀式は省略されている。大進局は政子の嫉妬を恐れて身を隠し、貞暁は乳母のなり手がないなど人目を憚るようにして育てられた。
平家討滅後の頼朝にとって、鎌倉政権を安定させるためには、潜在的脅威である奥州藤原氏を打倒する必要があった。文治2年(1186年)4月には藤原秀衡に寿永二年十月宣旨で獲得した東海道東山道支配権を理由に奥州から都に献上する年貢は頼朝が取り次ぐと申し入れ、秀衡もこれに応じた。
文治3年(1187年)10月に藤原秀衡が没し、文治4年(1188年)2月に義経の奥州潜伏が発覚すると、頼朝は藤原秀衡の子息に義経追討宣旨を下すよう朝廷に奏上した。頼朝の申請を受けて朝廷は、2月と10月に藤原基成と藤原泰衡に義経追討宣旨を下す。文治5年(1189年)閏4月30日、鎌倉方の圧力に屈した泰衡は衣川館に住む義経を襲撃して自害へと追いやった。
6月13日に義経の首が鎌倉に届き、和田義盛と梶原景時が首実検した。25日、頼朝はこれまで義経を匿ってきた罪は反逆以上のものとして泰衡追討宣旨を朝廷に求めるが勅許は下されなかった。しかし大庭景義の「軍中は将軍の令を聞き、天子の詔を聞かず」という進言により、7月19日、勅許を待たずおよそ1,000騎を率いて鎌倉を発して泰衡追討に向かった(奥州合戦)。頼朝軍はさしたる抵抗も受けずに白河関から奥州南部を進み、8月7日には伊達郡国見駅に達した。
8月8日、石那坂の戦い(現在の福島市飯坂)で、頼朝の別働隊伊佐為宗が信夫庄司佐藤基治(佐藤継信・佐藤忠信の父)を打ち破り、8月8日から10日にかけて行なわれた阿津賀志山の戦いにおいて藤原国衡率いる奥州軍を破った頼朝は、泰衡を追って北上する。22日には平泉を攻略するが、泰衡は館に火を放って逃亡していた。26日、頼朝の宿所に赦免を求める泰衡の書状が投げ込まれたが、頼朝はこれを無視して、9月2日には岩井郡厨河(現在の盛岡市厨川)へ向けて進軍を開始する。厨河柵はかつて前九年の役で源頼義が安倍貞任らを討った地であり、頼朝はその佳例に倣い、厨河柵での泰衡討伐を望んだのである。9月3日、泰衡はその郎従である河田次郎の裏切りにより討たれ、その首は6日に陣岡にいた頼朝へ届けられた。頼朝は河田次郎を八虐の罪(主君への裏切りを含む)に値するとして斬罪に処し、前九年の役で祖先の源頼義が安倍貞任の首を晒した故事に倣って泰衡の首を晒した。9日、京都の一条能保から7月19日付の泰衡追討宣旨が頼朝の下へ届いた。
12日、頼朝は陣岡を出て厨河柵に入り、19日まで逗留して降人の赦免や奥州藤原氏の建立した中尊寺、毛越寺、宇治平等院を模した無量光院の寺領安堵などの処理を行った。平泉に戻って諸寺を巡り感銘を受けた頼朝は、鎌倉に戻った後に中尊寺境内の大長寿院に模した永福寺を建立している。22日、頼朝は奥州支配体制を固めるため葛西清重を奥州総奉行に任命すると、28日に平泉を発ち、翌10月24日に鎌倉へ帰着した。
この奥州合戦には関東のみならず、全国各地の武士が動員された。また、かつて敵対して捕虜となった者に対しても、この合戦に従って戦功を上げるという挽回の機会も与えられていた。さらに、前九年の役の源頼義の先例を随時持ち出すことによって、坂東の武士達と頼朝との主従関係をさらに強固にする役割も果たした。
この奥州合戦の終了で治承4年(1180年)に起きた治承・寿永の乱から続いていた内乱も終結を迎えることになる。
文治5年(1189年)11月3日、朝廷より奥州征伐を称える書状が下り、頼朝は按察使への任官を打診され、さらに勲功のあった御家人の推挙を促されるが、頼朝は辞退した。奥州では、大河兼任の乱が勃発するが、足利義兼や千葉胤正らに出陣を命じ、文治6年(1190年)3月に大河兼任は討取られた。伊沢家景を陸奥国留守職に任命し、在庁官人を指揮させ、奥州への支配を強化した。建久元年(1190年)10月3日、頼朝は遂に上洛すべく鎌倉を発つ。平治の乱で父が討たれた尾張国野間、父兄が留まった美濃国青墓などを経て、11月7日に千余騎の御家人を率いて入京し、かつて平清盛が住んだ六波羅に建てた新邸に入った。
9日、後白河法皇に拝謁し、長時間余人を交えず会談した。頼朝は権大納言・右近衛大将に任じられたが、12月3日に両官を辞した。任命された官職を直ちに辞任した背景としては、両官ともに京都の朝廷における公事の運営上重要な地位にあり、公事への参加義務を有する両官を辞任しない限り鎌倉に戻ることが困難になると判断したとみられている。11月9日の夜、頼朝は九条兼実と面会して政治的提携を確認した。頼朝の在京はおよそ40日間だったが後白河院との対面は8回を数え、朝幕関係に新たな局面を切り開いた。義経と行家の捜索・逮捕の目的で保持していた日本国総追補使・総地頭の地位は、より一般的な治安警察権を行使する恒久的なものに切り替わり、翌年3月22日の建久新制で頼朝の諸国守護権が公式に認められた。12月14日、頼朝は京都を去り29日に鎌倉に戻った。なお上洛中の12月には御家人10人が兵衛尉・衛門尉に任じられている。朝廷からは20人の推薦が許されたが頼朝は10人のみを推薦した。
建久2年(1191年)3月4日の夜、鎌倉は大規模な火災に見舞われ、大蔵幕府やその周辺の御家人の屋敷などが多数焼失した。頼朝は郊外の甘縄にあった安達盛長の邸宅に逃れて無事であったが、鎌倉の都市計画は修正を余儀なくされた。もっとも、この前日に鎌倉に大火を予言した者がいたなど『吾妻鏡』には不審火を示唆するような記述が見られ、頼朝もしくはその周辺の幕府首脳が都市計画の障害となる建物を整地するために意図的に引き起こした放火であるという説を唱える研究者もいる。
建久3年(1192年)3月に後白河法皇が崩御し、同年7月12日、後鳥羽天皇によって頼朝は征夷大将軍に任ぜられた。『三槐荒涼抜書要』所収の『山槐記』建久3年(1192年)7月9日条および12日条によると、頼朝が望んだのは「大将軍」であり、それを受けた朝廷で「惣官」「征東大将軍」「征夷大将軍」「上将軍」の四つの候補が提案されて検討された結果、平宗盛の任官した「惣官」や源義仲の任官した「征東大将軍」は凶例であるとして斥けられ、また「上将軍」も日本では先例がないとして、坂上田村麻呂の任官した「征夷大将軍」が吉例として選ばれたという。なお、頼朝が征夷大将軍を望んだものの後白河法皇に阻まれたとする説については、近年は疑問視されている。また、それまでは精々従三位までの東方軍事司令官でしかなかったこの職に、あえて左大臣(元々は常設職としては政権最高位であった)にも相当する正二位で就いたことは、軍権に基づく政権担当者という意味合いが加わり、以降、幕末まで700年近く続く慣例が創始された。ただし、この時点ではそこまで重い意味はなく、『尊卑分脈』によると頼朝は建久5年(1194年)に征夷大将軍を辞任したとされている。
同年8月、政子が三男(政子の子としては次男)の源実朝を出産。その3ヶ月前の5月、大進局が産んだ貞暁は7歳になった時、政子を憚って出家させるため京の仁和寺へ送られた。出発の日に頼朝は密かに貞暁の元を訪れ、太刀を与えている。
建久4年(1193年)5月、御家人を集め駿河国で巻狩を行う(富士の巻狩り)。16日、この巻狩において12歳の頼家が初めて鹿を射止めた。この後、狩りは中止され、晩になって山神・矢口の祭りが執り行われた。また、頼朝は喜んで政子に報告の使いを送ったが、政子は武将の嫡子なら当たり前のことであると使者を追い返した。これについては、頼家の鹿狩りは神によって彼が頼朝の後継者とみなされたことを人々に認めさせる効果を持ち、そのために頼朝はことのほか喜んだのだが、政子にはそれが理解できなかったとする解釈もなされている。一方で、政子の発言は頼家を貶めるための『吾妻鏡』の曲筆で、実際にはそのような発言はなかったとする説もある。
28日の夜に御家人の工藤祐経が曾我兄弟の仇討ちに遭い討たれる。『保暦間記』によると、宿場は一時混乱へと陥り、頼朝が討たれたとの誤報が鎌倉に伝わると、範頼は嘆く政子に対し「範頼がおります。何事も御心配は要りませぬ」と慰めた。この発言が頼朝に謀反の疑いを招いたとされる。8月2日、範頼から頼朝の元に謀反を否定する起請文が届くが、頼朝は範頼が「源」の氏名を使ったことに激怒した。8月10日、頼朝の寝床に潜んでいた範頼の間者が捕縛される。これにより範頼は伊豆へ流された。
11月には甲斐源氏の安田義資を、翌建久5年(1194年)8月にはその父義定を誅している。建久6年(1195年)3月、摂津国の住吉大社において幕府御家人を集めて大規模な流鏑馬を催す。建久8年(1197年)には、薩摩国や大隅国などで大田文を作成させ、地方支配の強化を目指している。
『玉葉』によると、建久2年(1191年)、頼朝が娘を後鳥羽天皇に入内させようとしているという噂が九条兼実の耳にも入っている。だが、翌建久3年(1192年)の後白河法皇の死とそれに伴う兼実の政権獲得が原因か、1度は沙汰止みになっている。
建久6年(1195年)2月、頼朝は東大寺再建供養に出席するため、政子と頼家・大姫ら子女達を伴って再び上洛した。長女・大姫を後鳥羽天皇の妃にすべく、娘・任子を入内させている兼実ではなく源通親や丹後局と接触し、大量の贈り物や莫大な荘園の安堵などを行って朝廷工作を図った。建久7年(1196年)11月、兼実は一族と共に失脚、頼朝はこれを黙認したとされる(建久七年の政変)。しかし建久8年(1197年)7月、大姫は病死。建久9年(1198年)正月、頼朝の反対を押し切って後鳥羽天皇は通親の養女が生んだ土御門天皇に譲位して上皇となり院政を開始。通親は天皇の外戚として権勢を強めた。頼朝は朝廷における代弁者であった一条能保・高能父子が相次いで病死したこともあり、遅ればせながら危機感を抱いて兼実に書状を送り再度の提携を申し入れたといわれる。
だが、それらは通親と敵対した兼実の日記『玉葉』やその弟慈円の『愚管抄』にのみ見られるものであり、実際には通親は頼朝や頼家に最大限の配慮をしており、反幕的公卿の指摘は当たらないとの見解もある。政権基盤の脆弱な通親が頼朝と敵対したらひとたまりもなく、また御家人統制に王朝権威を利用し始めた頼朝にとって朝廷統制は不可欠であって、その最も直截的な方策こそ娘の入内と外孫の即位であったともされる。実際、頼朝は引き続き次女・三幡姫の入内を目指しており、『尊卑分脈』によると三幡は鎌倉にいたまま通親の主導する朝廷から女御の宣旨を受けている。
しかし建久9年(1198年)12月27日、頼朝は相模川で催された橋供養からの帰路で体調を崩す。原因は落馬とも病気とも言われるが定かではない。建久10年(1199年)正月11日に出家。正月13日に死去した。享年53(満51歳没)。
年月日は出典が用いる暦であり、当時は宣明暦が用いられている
『平治物語』は「年齢より大人びている」とし、平治物語絵巻断簡には頼朝と見られる若武者の姿が残る。『源平盛衰記』は「顔が大きく容貌は美しい」と記している。寿永2年(1183年)8月に鎌倉で頼朝と対面した中原泰定の言葉として『平家物語』に「顔大きに、背低きかりけり。容貌優美にして言語文明なり」とある。九条兼実の日記『玉葉』は「頼朝の体たる、威勢厳粛、その性強烈、成敗文明、理非断決」(10月9日条)と書いている。身長は大山祇神社に奉納された甲冑を元に推測すると165センチメートル前後はあったとされ、当時の平均よりは長身である。
肖像は知名度の割には少なく、大半が近世になってからの作品である頼朝の肖像については、『[特別展]没後八〇〇年記念 源頼朝とゆかりの寺社の名宝』展図録に、不出品作も参考図を付け、網羅的に掲載・解説がされている。。『吾妻鏡』には、宝治合戦の際に三浦泰村が北山の法華堂に立て篭もり、「絵像御影御前」で往時を談じたという記述があるが、この画像やこれを祖形とする作品は現存しない。京都神護寺蔵の肖像画(神護寺三像)は、頼朝を描いたものとして伝わり、大和絵肖像画の傑作として国宝に指定されている。平成7年(1995年)に米倉迪夫が、その画法や服装から足利直義を写した物とする学説を発表すると、像主について議論が続いている(詳細は「神護寺三像」を参照)。鶴岡八幡宮の白山明神に伝わっていた狩衣姿の木像は、江戸時代には頼朝像とされ、明治初期に流出し原三溪の手を経て、現在は東京国立博物館(東博)が蔵して重要文化財に指定されている。甲府市善光寺の甲斐善光寺所蔵の木造源頼朝坐像は、戦国期に武田信玄によって甲斐善光寺が創建された際に信濃善光寺から移されたもので、胎内銘から文保3年(1319年)もしくは文永5年(1268年)の作であるされる。胎内銘には政子の命で作られたことや頼朝の命日が記されていることから、現存最古の頼朝像であると考えられている。頼朝の実像を最もよく表しているとして中学・高校の教科書に掲載されるなど評価が高まっている(後述)ものの傷みがひどかったため、令和2年(2020年)5月より修復作業が開始され、翌令和3年(2021年)3月を以って修復が完了した。
歴史学者の黒田日出男は、源頼朝を表したとされる肖像を整理・検討後、次のように結論づけている。東博蔵・伝源頼朝像は、建長寺にある北条時頼像と比較、やや技巧が硬い部分があるが、面貌表現や大きさに到るまで瓜二つであり、また後に狩衣には本来ない平緒や石帯を取り付け、将軍の正装である束帯姿に改造された形跡があることから、本来は建長寺の像を元に北条時頼像として14世紀の鎌倉時代末期に作られたが、後に失われた源頼朝像の代わりとして束帯姿に改造された上で、白山明神に置かれたとしている。一方、甲斐善光寺の源頼朝像を、胎内の銘文を造像銘ではなく修理銘として読み解き、13世紀第1四半期に北条政子の発願で作られた史料上明らかな唯一の源頼朝像であり、2度の火災で頭部だけが当時の姿で残り、体は鎌倉末期の修理の際に補作されたという論考を発表している。
こうした研究状況を反映して、現在の小中高教科書でも3作品が並行して用いられている。小学校では保存状態の良い東博像が掲載される傾向があり、甲斐善光寺本の掲載例はない。中学校では、いまだに神護寺本が多く採用されている。高等学校では、比較的早い段階で神護寺本の掲載をやめ、東博本や甲斐善光寺本に変更するなど研究成果を敏感に反映させているものの、頼朝像の掲載自体をなくしたり神護寺本を使い続ける出版社もあり、研究動向の混迷がそのまま肖像の掲載に現れている。ただし、神護寺像を掲載する教科書は減少傾向にある。
頼朝の開いた武家政権は制度化され、次第に朝廷から政治の実権を奪い、後に幕府と名付けられ、王政復古(1868年)まで足掛け約680年間にわたって続くこととなる。頼朝在世中はまだ朝廷との二重政府的な要素も強いが、守護地頭制度によって東国のみならず全国支配の布石を打っている。
また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、ほとんど従四位から従五位。ちなみに、この差は現代の叙勲では内閣総理大臣と本省課長に相当し、同時期の朝廷における役職でもそれに呼応する開きがある。もっとも後年は権威が実権を伴わないこともあり、鎌倉後期の執権などは遥か下位の臣下として板間に平伏しつつ将軍の生殺与奪の権を握っていた)という習慣も頼朝に端を発している。武家政権の創始者として頼朝の業績は高く評価されており、ほとんどの日本人は義務教育で頼朝の名を学んでいる。
その一方で、人格は「冷酷な政治家」と評される場合が多い。それは、自らを助命した平家を滅亡させたことに加え、権力基盤を固める過程で多くの同族や兄弟、部下を死に追いやったことが一因である。特に判官贔屓で高い人気を持つ末弟・義経を死に至らせたことなどから、頼朝の人気はその業績にもかかわらずそれほど高くなく、小説などに主人公として描かれることも少ない。