kNN言語モデルは低頻度語の予測に役立つか？

検索拡張言語モデルの1つであるkNN言語モデルは，推論時に任意のテキストデータから構築された大規模なデータストアに直接アクセスして近傍事例を活用することで，文脈を適切に把握し，言語らしさを高精度に予測可能であることが報告されている．データストアの明示的な記憶を利用することによって低頻度語の予測性能が改善することが，kNN言語モデルの性能向上の要因の1つであるという仮説が提唱されてきたが，この仮説の定量的な検証は行われてこなかった．本研究では，低頻度語に対するkNN言語モデルの振る舞いを定量的に分析し，これまでの仮説に反して，kNN言語モデルは低頻度語の予測性能の改善に寄与しないことを示した．