枕詞の起源は明らかではないが、古くは序詞と一組のものと考えられていた。たとえば契沖が「序(詞)ト云モ枕詞ノ長キヲ云ヘリ」（『万葉代匠記』）と説明しているのが代表的な例である。折口信夫も序詞の短縮されたものが枕詞としている。近年では中西進が、序詞と枕詞をいずれも「連合表現」と括って、あまり両者を区別するべきではないと説いている。
しかし、枕詞は『風土記』などにもあるように、歌の修辞が原型でないと思われる節があるのに対して、序詞というのはもっぱら歌の技法である。この点に両者の差異があると考えられる。枕詞の源流については、早くは真淵の『冠辞考』のように、和歌の調子をととのえるものと理解されていた。しかし加納諸平は土地を褒めたたえる詞章が枕詞の原型であろうと考察し（『枕詞考』）、この考えが以降の研究に大きな影響を与えている。とくに近代になって、折口が諺を由来に持ち、祝詞の言葉などと共通性を持つ、呪力を持った特別な言葉（らいふ・いんできす）であり、それが後世になって形骸化していき、だんだんと言語遊戯的なものとなっていったと説明しており、学会では広く支持されている。これは、『風土記』の例が地名にかかって賛美する例がおおいこと、また記紀歌謡などにみえる古い枕詞が土地や神名、あるいは人名など、固有名詞にかかる場合が多く、これらを讃美する表現とみられるためである。これが万葉集になると、一般名詞や用言にかかる枕詞も沢山使われるようになり、範囲が増大する。
また柿本人麻呂の時代になると、「天離(あまざか)る　夷(ひな)」というような否定的な意味を持った枕詞（都から遠く離れた異郷の意）もあらわれ、「讃美表現」という元々の枠組みも失われていき、修飾する五音句というふうに移っていく。このような変遷をたどった要因として、漢籍の知識の増加など、いくつもの要因が考えられるが、最大のものは、歌が「歌われるもの」から「書くもの」へと動いていったということが考えられている。つまり、声を出して歌を詠み、一回的に消えていく時代から、歌を書記して推敲していく時代を迎えたことによって、より複雑で、多様な枕詞が生み出されたと考える。これは『万葉集』に書かれた歌を多く残している人麻呂によって新作・改訂された枕詞がきわめて多いということによっても、裏付けられることであろう。