非関連度スコアを用いたpointwiseリランキング手法の検証

さらに，pointwiseのスコアリング性能を向上させ検索システムでは，計算効率と精度を両立するたるために，評価の粒度や枠組みを工夫する研究もめに，まずリトリーバル(retrieval)によって高再現進んでいる．例えば，二値判定(Yes/No)の限界に対率で関連文書候補を抽出し，続いてリランキングし，3段階や0–4などの細かな関連度ラベルを導入(reranking)によって候補を精緻に並べ替える二段階することで性能が大きく改善できることが示され構成が広く用いられている．特に，候補文書が多様ている[7]．加えて，段階数を増やしたpointwiseリで曖昧性も高い場面では，文書の微妙な関連度差をランキングがlistwiseとの差を縮めうることを，大捉えるリランキングが性能を大きく左右する．こう規模評価により統計的に示した研究もある[8]．さした背景のもと，近年は大規模言語モデル(LLM:らに，pointwiseの不安定さを改善する枠組みとしLargeLanguageModels)を用いたリランキングが注て，複数の観点のLLMでクエリごとに評価基準目されている．(criteria)を生成し，その基準に従って独立に採点しLLMを用いたリランキングは，主にpointwiseとて集約するMCRankerのような手法も提案されておlistwiseの二つに大別される．pointwise手法はクエり，評価基準の明確化と集約が有効であることが示リと文書の組を独立に評価し関連度スコアを付与されている[5]．一方で，Chain-of-Thoughtにより理するのに対し，listwise手法は複数文書を同時に比由を考えさせてから関連度を判定させる方式はむし較して相対的な順序を決定する．一般にlistwiseはろ精度が悪化する恐れがあることが指摘されてお高精度であることが多い一方，入力が長く推論コスり，適切なスコアリング方式の設計については研究トが高かったり，並列処理ができず計算時間が長の余地がある[9,10]．かったりする問題があり，研究が進められているそこで本研究では，pointwiseリランキングによる[1,2,3,4]．これに対しpointwiseは，候補文書を独関連度評価の傾向を分析するとともに，非関連度に立に評価できるため並列処理による高速化が容易で着目したスコアリング精度を検証した結果を報告あり，候補数が多い場合にもスケールしやすい．まする．org/licenses/by/4.0/).