長文脈LLMは，ゼロショット文書ランキングにおいて効率性を大きく改善し得るが，既存のランキングアルゴリズムを長文脈に適用した場合，特に小規模オープンウェイトモデルで有効性が大きく低下することが知られていた．本研究では，長文脈LLMを用いるランキング手法の違いが有効性・効率性のトレードオフに与える影響と，その影響が小規模なオープンウェイトモデルと大規模な商用モデルで異なるかを検証した．実験として，複数のモデルで3つのランキングアルゴリズムの有効性と効率性を評価した．その結果，小規模なオープンウェイトモデルではmulti-passagepointwiseの方がlistwise(fullranking)よりも有効性・効率性でともに上回り，それはランキングアルゴリズムのタスクの難易度に加え出力形式の違いが影響していること，また，大規模な商用モデルでは，listwise(fullranking)がpointwiseより効率性で上回ることがわかった．

大規模言語モデル（LargeLanguageModel,LLM）は，文書ランキング(documentranking)において，ゼロショットの設定でも高いランキングの品質，つまり有効性(eﬀectiveness)を示すことが報告されている[1,2,3]．また，GPT-4[4]などの大規模な商用モデルだけでなく，小規模なオープンウェイトなモデルを利用した場合でも，適切なランキング手法を適用すれば高い有効性を達成できることが示されている[3]．これらは，十分な学習データを用意しにくい状況や，データの機密性が高く外部への持ち出しが難しい環境などで，専用のランキングモデルを作らずに文書ランキングで一定の有効性を実現できる点でも有用である．一方で，LLMを用いたゼロショット文書ランキングには効率性(eﬃciency)の課題がある．効率性は，ランキングにおける処理時間などのことであり，一般に，文書ランキングでは有効性と効率性の両立が課題となる．従来，LLMが扱える文脈長の制約から，文書集合の部分集合に対して関連度の評価を繰り返す戦略が用いられた[1]．このとき，入力されるシステムプロンプトや候補文書，出力される評価結果に重複が生じ，結果として処理時間が増加する．近年，数万トークン以上を扱える長文脈（long-context）LLMが登場し[4,5,6,7]，文書集合全体を一度にLLMに入力してランキングできるようになった．これにより，入力と出力の重複を削減でき，効率性を大幅に改善できる可能性がある．しかし，従来のランキング手法の一つを拡張して長文脈LLMに適用した場合，とくに小規模なオープンウェイトモデルにおいて有効性が大きく低下したことが報告されている[8]．したがって，長文脈LLMを用いて有効性を維持しつつ効率性を改善するためには，どのランキング手法が，どの種類のモデルにおいて有効に機能するのかを整理する必要がある．本研究では，長文脈LLMを用いた文書ランキングにおいて，以下の問いについて検証する：•RQ1:長文脈を活用するランキング手法の違いは，有効性・効率性のトレードオフにどのように影響するか？•RQ2:RQ1の結論は，「小規模なオープンウェイトモデル」と「大規模な商用モデル」によって変わるか？