非関連度スコアを用いたpointwiseリランキング手法の検証

性検索といった入力されうるクエリが限定されるLLMを用いたpointwiseリランキング手法は，絶ユースケースでは，クエリ群に対する候補文書のス対評価による性能の限界が指摘されてきた一方，並コアを事前計算し，オンライン推論を削減する設計列化による高速処理等の実用上のメリットが大きが可能なため，実用面での有用性が高い．い．本研究は従来の関連度に注目したpointwiseスしかしながら，pointwiseは絶対評価に依存するたコアリングの傾向を分析し，LLMが関連度を甘くめ，文書間の微妙な差分を比較しづらく，相対比較評価する事例があることを報告するとともに，非関を行うlistwiseに性能で劣る可能性が指摘されてき連度スコアによるリランキングを提案した．検証のた．また，LLMの判断基準がクエリごと・文書ごと結果，特にGPTモデルを使用した場合に，複数のに揺らぐことでスコアの識別力が弱まり，ランキンデータセットで有意に精度が向上することが確認さグの安定性が損なわれる問題も指摘されている[5]．れた．さらに，正解ラベルごとのスコア誤差を調査このような背景から，高性能なLLMを小型モデルすることで，非関連度スコアの回答傾向も明らかにへ蒸留する研究[1]やスコアの不確実性を考慮するなった．研究[6]，listwise手法と組み合わせる研究等が広く行われている．