長文脈LLMによるゼロショット文書ランキングにおけるランキング手法とモデル規模が有効性・効率性に与える影響

長文脈LLMは，ゼロショット文書ランキングにおいて効率性を大きく改善し得るが，既存のランキングアルゴリズムを長文脈に適用した場合，特に小規模オープンウェイトモデルで有効性が大きく低下することが知られていた．本研究では，長文脈LLMを用いるランキング手法の違いが有効性・効率性のトレードオフに与える影響と，その影響が小規模なオープンウェイトモデルと大規模な商用モデルで異なるかを検証した．実験として，複数のモデルで3つのランキングアルゴリズムの有効性と効率性を評価した．その結果，小規模なオープンウェイトモデルではmulti-passagepointwiseの方がlistwise(fullranking)よりも有効性・効率性でともに上回り，それはランキングアルゴリズムのタスクの難易度に加え出力形式の違いが影響していること，また，大規模な商用モデルでは，listwise(fullranking)がpointwiseより効率性で上回ることがわかった．