性検索といった入力されうるクエリが限定されるLLMを用いたpointwiseリランキング手法は，絶ユースケースでは，クエリ群に対する候補文書のス対評価による性能の限界が指摘されてきた一方，並コアを事前計算し，オンライン推論を削減する設計列化による高速処理等の実用上のメリットが大きが可能なため，実用面での有用性が高い．い．本研究は従来の関連度に注目したpointwiseスしかしながら，pointwiseは絶対評価に依存するたコアリングの傾向を分析し，LLMが関連度を甘くめ，文書間の微妙な差分を比較しづらく，相対比較評価する事例があることを報告するとともに，非関を行うlistwiseに性能で劣る可能性が指摘されてき連度スコアによるリランキングを提案した．検証のた．また，LLMの判断基準がクエリごと・文書ごと結果，特にGPTモデルを使用した場合に，複数のに揺らぐことでスコアの識別力が弱まり，ランキンデータセットで有意に精度が向上することが確認さグの安定性が損なわれる問題も指摘されている[5]．れた．さらに，正解ラベルごとのスコア誤差を調査このような背景から，高性能なLLMを小型モデルすることで，非関連度スコアの回答傾向も明らかにへ蒸留する研究[1]やスコアの不確実性を考慮するなった．研究[6]，listwise手法と組み合わせる研究等が広く行われている．

さらに，pointwiseのスコアリング性能を向上させ検索システムでは，計算効率と精度を両立するたるために，評価の粒度や枠組みを工夫する研究もめに，まずリトリーバル(retrieval)によって高再現進んでいる．例えば，二値判定(Yes/No)の限界に対率で関連文書候補を抽出し，続いてリランキングし，3段階や0–4などの細かな関連度ラベルを導入(reranking)によって候補を精緻に並べ替える二段階することで性能が大きく改善できることが示され構成が広く用いられている．特に，候補文書が多様ている[7]．加えて，段階数を増やしたpointwiseリで曖昧性も高い場面では，文書の微妙な関連度差をランキングがlistwiseとの差を縮めうることを，大捉えるリランキングが性能を大きく左右する．こう規模評価により統計的に示した研究もある[8]．さした背景のもと，近年は大規模言語モデル(LLM:らに，pointwiseの不安定さを改善する枠組みとしLargeLanguageModels)を用いたリランキングが注て，複数の観点のLLMでクエリごとに評価基準目されている．(criteria)を生成し，その基準に従って独立に採点しLLMを用いたリランキングは，主にpointwiseとて集約するMCRankerのような手法も提案されておlistwiseの二つに大別される．pointwise手法はクエり，評価基準の明確化と集約が有効であることが示リと文書の組を独立に評価し関連度スコアを付与されている[5]．一方で，Chain-of-Thoughtにより理するのに対し，listwise手法は複数文書を同時に比由を考えさせてから関連度を判定させる方式はむし較して相対的な順序を決定する．一般にlistwiseはろ精度が悪化する恐れがあることが指摘されてお高精度であることが多い一方，入力が長く推論コスり，適切なスコアリング方式の設計については研究トが高かったり，並列処理ができず計算時間が長の余地がある[9,10]．かったりする問題があり，研究が進められているそこで本研究では，pointwiseリランキングによる[1,2,3,4]．これに対しpointwiseは，候補文書を独関連度評価の傾向を分析するとともに，非関連度に立に評価できるため並列処理による高速化が容易で着目したスコアリング精度を検証した結果を報告あり，候補数が多い場合にもスケールしやすい．まする．org/licenses/by/4.0/).