自然言語処理技術が使われている様々なサービスに、検索が中心的役割を果たしているものが多いが、近年の大規模言語モデルは検索に与えた影響が不明だ。本調査報告書は宿検索に対する文埋め込み計算手法を比較した。文の埋め込みの計算において、従来のBERTモデルとOpenAI社の新しいモデルのそれぞれの強みと弱みを分析した。

自然言語処理技術の進歩によって、実世界の様々なサービスが自然言語処理を導入しているが、その中でも文埋め込みを用いた意味的な類似性に基づいた検索は重要な役割を担うようになった。また、近年では大規模言語モデルの進歩が注目されている。特に、2022年11月、ChatGPT1）という大規模言語モデルに基づいたチャットボットが公開され、生成AIのブームが到来した。検索において、この生成AIブームの影響はまだ様々な疑問が残されている。例えば、ChatGPTに基づくモデルは検索結果を改善できるか？従来の手法は今の時代にまだ必要なのか？実際の応用に焦点を絞ると何が言えるか？等がある。本報告書は検索における文埋め込み計算手法を調査する。具体的に、宿検索を題材として、従来手法（J-BERTとS-BERT、2.1節を参照）とOpenAI社の新たな手法（ada-002、2.1節を参照）を比較し、それぞれの強みと弱みについて分析する。我々の観察から、以下のことがわかった。•ada-002は視点の広さと知識量の多さにおいて劣っている。•ada-002は逸脱表現に対する受容性において優れている。これらの観察は宿検索のような特定なタスクにおい1）https://chat.openai.com/てOpenAI社の新しいモデルだけでは不十分で、従来の手法はまだ必要であることを示唆している。