対話型検索のためのクエリ書き換えにおける大規模言語モデルの効果分析

対話型検索(conversationalsearch)は，対話において最後に与えられたユーザの質問に適合する文書を検索するタスクである．近年はTRECで対話型検索に取り組むコンペティション[1]が開催され，大規模なデータセット[2]が作成されるなど活発に研究されている．対話型検索が一般的な検索と最も異なる点は，省略や共参照が頻繁に発生する対話の文脈に依存した自然文の質問であり，対話履歴に基づいて質問の意図を理解する必要があるところだ．この課題に対するアプローチには，対話型クエリ書き換え(QueryRewriting)と対話型密検索(ConversationalDenseRetrieval)の2つがある[3]．対話型密検索は対話をそのまま入力して適切な検索結果が得られるように学習するアプローチ[4,5,6]であり，一方で対話型クエリ書き換えは一般的な検索エンジンに入力するクエリへと変換するアプ対話履歴検索結果ユーザー1匹のミツバチは⼀⽣でスプーン…システムQ蜂の興味深い事実を教えてください1位A蜂は⼈間の⾷べ物を作る唯⼀の昆⾍で…検索モデル⼥王バチは5年ほど⽣きることが…Q2位もっと教えてくださいAハチミツは腐らないという…働き蜂はすべてメスでオス蜂は…3位最新の質問Q1匹でどれくらい作りますか？Q3に対する回答A最新の質問への回答に必要な情報を検索を評価する．)ローチである．しかし，対話型密検索には検索モデルが固定されてしまうという欠点がある．一方で対話型クエリ書き換えは検索モデルに依存しないという点で実用性が高く，T5を利用して質問を書き換えるT5QR[7]やBERTを利用して対話履歴から必要な単語を選択して拡張するQuReTeC[8]などが提案されている．最近提案されたLLM4CS[9]ではLLMを用いてクエリの書き換えを行うことで従来の手法を上回る精度を達成し，いくつかの工夫を加えることで人手書き換えの精度も上回った．この他にもクエリ書き換えの手法は多数提案されている[10,11,12,13,14]が，これらの手法の多くは人手やルールベースの書き換えデータを学習している．しかし，人手の書き換えは作成コストが高く，ルールベースの書き換えは精度が高くない．この課題を解決するために大規模言語モデル(LLM)で正解となる書き換えデータを生成しモデルを学習するという手法が提案されている[15]．この論文はLLMの書き換えを学習データとした書き換えモデルで検索精度を一部改善することに成功した．これらは人手の書き換えの代わりにLLMによる書き換えを用いる方が有効な可能性があることを示唆している．しかし，[15]では一部のケースにおいてLLMによる書き換えをベースにした手法が有効に動作しないケースが報告されていたものの，その明確な理由は特定することができていなかった．.LLMによる書き換えは人手による書き換えと比較するとコストが低く，大量のデータを容易に生成できるため，どのような状況でLLMが効果的に機能するか，またはそうでないかが明らかになれば生成したデータに対してフィルタリング等[16]を行うことで低コストで高品質な学習データを用意できると考えられる．そこで，本研究では既存研究[15]の実験で用いられたデータセットに加えて，2つのデータセットを用いて，人手とLLMによるクエリの書き換えが検索結果に及ぼす影響，および学習データとしてのそれぞれの書き換えの効果についての分析を行った．実験では3つのデータセットの結果の評価だけでなく，成功例や失敗例の分析を行い，以下のような知見が得られた．(1)LLMによる書き換えは元の質問の単語との重複を避ける傾向にある．(2)LLMによる書き換えを学習したモデルも同様に単語との重複を避ける傾向がある．(3)LLMとその書き換えで学習したモデルは元の質問から大きく書き換える必要のない事例を苦手とする．