同時代の各種史書上に人麻呂に関する記載がなく、その生涯については謎とされていた。古くは『古今和歌集』の真名序では五位以上を示す大夫を付して「柿本大夫」と記され、仮名序に正三位である「おほきみつのくらゐ」と書かれている。また、皇室讃歌や皇子・皇女の挽歌を歌うという仕事の内容や重要性からみても、高官であったと受け取られていた。
江戸時代、契沖や賀茂真淵らが史料に基づき、以下の理由から人麻呂は六位以下の下級官吏で生涯を終えたと唱えた。以降、現在に至るまで歴史学上の通説となっている。
梅原猛による異説.
旧跡.
終焉の地.
その終焉の地も定かではない。有力な説とされているのが、現在の島根県益田市（旧・石見国）である。地元では人麻呂の終焉の地としては既成事実としてとらえ、高津柿本神社としてその偉業を称えている。しかし人麻呂が没したとされる場所は、益田市沖合にあったとされる、鴨島である。「あった」とされるのは、現代にはその鴨島が存在していないからである。そのため、後世から鴨島伝説として伝えられた。鴨島があったとされる場所は、中世に地震（万寿地震）と津波があり、水没したといわれる。この伝承と人麻呂の死地との関係性はいずれも伝承の中にあり、県内諸処の説も複雑に絡み合っているため、いわゆる伝説の域を出るものではない。
その他にも、石見に帰る際、島根県安来市の港より船を出したが、近くの仏島で座礁し亡くなったという伝承がある。この島は現在の亀島と言われる小島であるという説や、河砂の堆積により消滅し日立金属安来工場の敷地内にあるとされる説があり、正確な位置は不明になっている。また他にも同県邑智郡美郷町にある湯抱鴨山の地という斎藤茂吉の説があり、益田説を支持した梅原猛の著作（前述）で反論の的になっている。
神社.
平安時代後期以降、人麻呂は歌人として称えられるだけでなく、和歌の上達などに霊験がある存在として崇拝されるようになった。歌会に、人麻呂の絵姿と歌（人麻呂作と考えられた「ほのぼのと 明石の浦の朝霧に 島隠れ行く 舟をしぞ思ふ」）を掲げて、歌の上達を祈願する人麿影供（えいぐ）が行われるようになった。『十訓抄』などによると、藤原兼房が夢に現れた人麻呂を絵に描かせ、後に藤原顕季がこれを模写して影供を始めたという。