長文脈LLMによるゼロショット文書ランキングにおけるランキング手法とモデル規模が有効性・効率性に与える影響

大規模言語モデル（LargeLanguageModel,LLM）は，文書ランキング(documentranking)において，ゼロショットの設定でも高いランキングの品質，つまり有効性(eﬀectiveness)を示すことが報告されている[1,2,3]．また，GPT-4[4]などの大規模な商用モデルだけでなく，小規模なオープンウェイトなモデルを利用した場合でも，適切なランキング手法を適用すれば高い有効性を達成できることが示されている[3]．これらは，十分な学習データを用意しにくい状況や，データの機密性が高く外部への持ち出しが難しい環境などで，専用のランキングモデルを作らずに文書ランキングで一定の有効性を実現できる点でも有用である．一方で，LLMを用いたゼロショット文書ランキングには効率性(eﬃciency)の課題がある．効率性は，ランキングにおける処理時間などのことであり，一般に，文書ランキングでは有効性と効率性の両立が課題となる．従来，LLMが扱える文脈長の制約から，文書集合の部分集合に対して関連度の評価を繰り返す戦略が用いられた[1]．このとき，入力されるシステムプロンプトや候補文書，出力される評価結果に重複が生じ，結果として処理時間が増加する．近年，数万トークン以上を扱える長文脈（long-context）LLMが登場し[4,5,6,7]，文書集合全体を一度にLLMに入力してランキングできるようになった．これにより，入力と出力の重複を削減でき，効率性を大幅に改善できる可能性がある．しかし，従来のランキング手法の一つを拡張して長文脈LLMに適用した場合，とくに小規模なオープンウェイトモデルにおいて有効性が大きく低下したことが報告されている[8]．したがって，長文脈LLMを用いて有効性を維持しつつ効率性を改善するためには，どのランキング手法が，どの種類のモデルにおいて有効に機能するのかを整理する必要がある．本研究では，長文脈LLMを用いた文書ランキングにおいて，以下の問いについて検証する：•RQ1:長文脈を活用するランキング手法の違いは，有効性・効率性のトレードオフにどのように影響するか？•RQ2:RQ1の結論は，「小規模なオープンウェイトモデル」と「大規模な商用モデル」によって変わるか？