また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な身分として幕臣に君臨する（後年に到るまで、将軍の従一位から正二位に対して次位の執権（鎌倉）、管領（室町）、大老（江戸）は、ほとんど従四位から従五位。ちなみに、この差は現代の叙勲では内閣総理大臣と本省課長に相当し、同時期の朝廷における役職でもそれに相当する開きがある。ただし、御三家など将軍候補となる近親者の官位は大老などよりも高い。もっとも後年は権威が実権を伴わないこともあり、鎌倉後期の執権などは遥か下位の臣下として板間に平伏しつつ将軍の生殺与奪の権を握っていた）という習慣も頼朝に端を発している。武家政権の創始者として頼朝の業績は高く評価されており、ほとんどの日本人は義務教育で頼朝の名を学んでいる。
その一方で、人格は「冷酷な政治家」と評される場合が多い。それは、自らを助命した平家を滅亡させたことに加え、権力基盤を固める過程で多くの同族や兄弟、部下を死に追いやったことが一因である。特に判官贔屓で高い人気を持つ末弟・義経を死に至らせたことなどから、頼朝の人気はその業績にもかかわらずそれほど高くなく、小説などに主人公として描かれることも少ない。
また、頼朝個人は武芸には長けていたといわれるにもかかわらず、自ら兵を率いることが少なく、戦闘指揮官としては格別の実績を示していない。主に政治的交渉で鎌倉幕府の樹立を成し遂げたことから、武人でありながら御簾の奥から指令を発するようなイメージが、日本人好みの英雄像と乖離していることもある。ただし、各現場を自らの名代である総司令官と監視役である軍監の組み合わせで委ねる軍制が世界史的な先駆である点は、小説家の永井路子が指摘している。
永井は、頼朝は勃興する東国武家勢力のシンボルであるとし、その業績を全て彼個人の能力に帰するような過大評価を戒めているが、一方でその政治力、人材掌握力は高く評価し、日本史における組織作りの天才であり、その手腕は後世に彼を手本とした徳川家康よりいっそう巧緻であると評している。
以上はおおむね現代における評価であるが、頼朝は過去にも多くの人物により評されてきた。