kNN言語モデルは低頻度語の予測に役立つか？

検索拡張言語モデル(retrieval-augmentedlanguagemodels)は，ベースとなる言語モデルと外部のデータストアから検索された近傍事例を組み合わせて予測確率を計算する，言語モデリングの新たなパラダイムであり，言語らしさを高精度に予測可能であることが報告されている[1,2,3,4]．検索拡張言語モデルの1つであるkNN言語モデル[3]は，ベースとなる訓練済み言語モデルの各時刻の予測確率を，データストア内の近傍事例から計算されたkNN確率で補間する．データストアは任意のテキストデータの各トークンをベースモデルでベクトル化することで構築され，各時刻のkNN確率は当該時刻のベースモデルの隠れ表現とデータストア内のベクトルとの距離に基づいて検索された近傍トークンを用いて計算される．上記の過程を経ることで，kNN言語モデルは推論時にデータストアを介してテキストデータに直接アクセスすることができる．このように明示的な記憶を利用することで，低い頻度で現れるトークンの文脈をより良く予測できることがkNN言語モデルの性能向上に寄与する1つの要因であるという仮説が提唱され[3]，Khandelwalら[3]によって仮説の妥当性を示唆する定性的な例が報告されている．しかし，既存の検証においてkNN言語モデルは主にテストデータ全体に対するPPLなどの抽象的な指標で評価され，低頻度語のみに焦点を当てた定量的な分析はなされていない．本研究では，次に示す3つのリサーチクエスチョンを起点として，低頻度語の予測におけるkNN言語モデルの振る舞いを分析する．RQ1低頻度語に対するkNN確率はベースモデルが割り当てる確率より高いか？RQ2近傍事例として検索できない低頻度語はどれくらいの割合で存在するか？RQ3データストア内のトークンの分布はそのトークンの頻度によってどのように異なるか？分析の結果，これまでの仮説に反して，kNN言語モデルは低頻度語の予測性能の改善に寄与しないことが示された．