LLM間と問題間の類似度制約を加えたLLMの性能推定

本研究では、LLMが与えられた問題を適切に解けるかを推定するタスクにおいて、推定モデルの学習に含まれない新規のLLMや問題に対しても高精度に推定する手法を提案する。提案手法では、従来の行列分解に基づくアプローチに加えて、問題文の埋め込みやモデルの来歴などの補助情報から得られる類似度を考慮した類似度制約項を損失関数に導入する。その結果、提案手法では学習時に利用した既知のLLMによる新規問題の平均的な解決性能の推定において20.2%、新規LLMの既知の問題に対する平均的な性能の推定において15.6%の誤差軽減を達成した。