本研究では、LLMが与えられた問題を適切に解けるかを推定するタスクにおいて、推定モデルの学習に含まれない新規のLLMや問題に対しても高精度に推定する手法を提案する。提案手法では、従来の行列分解に基づくアプローチに加えて、問題文の埋め込みやモデルの来歴などの補助情報から得られる類似度を考慮した類似度制約項を損失関数に導入する。その結果、提案手法では学習時に利用した既知のLLMによる新規問題の平均的な解決性能の推定において20.2%、新規LLMの既知の問題に対する平均的な性能の推定において15.6%の誤差軽減を達成した。

大規模言語モデル(LLM)の性能推定タスクは、所与のLLMが特定の問題集合に対してどの程度の性能を発揮するかを推定するタスクである。本タスクは有用な応用先を多く持つ。例えば、LLMのベンチマーク評価において少数サンプルから全体スコアを推定する手法として利用されている[1,2]。また、複数のLLMから最も良い回答を得るために、性能を事前推定し、最適なLLMにタスクを割り当てるRouting[3]にも応用される。さらにLLMの開発過程において、訓練データやハイパーパラメータの異なる多数の候補モデルから効率的に高性能なモデルを選択する際にも有用である。この問題に対する既存研究として、主に二つのアプローチが提案されている。一つ目は、複数のLLMの評価結果からLLMと問題の特徴量を算出し、IRTモデル[4]等を仮定して性能を推定する手法である[1,2]。IRTモデルでは、観測済みの評価スコアのみから特徴量を学習する。そのため全く評価スコアが得られていない新規LLM(図1テストC,D)や新規の問題(図1テストB,D)については、特徴量を学習することができず推定性能が低くなるという課題がアを訓練データとし、未観測ペアをA,B,C,Dに分割してテストデータとする）ある。二つ目は、個別のLLMごとに過去に評価した類似問題における性能を参照し、性能を推定する手法である[3]。この手法は新規の問題に対しても性能推定が可能であるものの、予め十分な量の問題について評価スコアが得られていない場合に適切な類似問題が見つからない課題がある。いずれの手法もLLMの評価実績のみに基づいて予測を行うため、評価値が十分に得られない問題・LLMについては十分な推定精度が得られない。本研究では、新しい問題や新しいLLMを含む場合であっても、LLMに追加で問題を解かせることなく高精度な性能推定を実現することを目的とする。これを実現するためには、評価スコアが得られない新規問題・LLMについて、特徴量の学習を助ける教師シグナルが必要である。そこで提案手法では、問題のプロンプトやLLMの属性や系統情報から算出した類似度を活用する。具体的には、特徴量間の類似度が、算出された類似度に近づくように類似度制約項を推定モデルの損失関数に導入する。RQ-1:LLMの性能推定タスクにおいて、LLMや問題についての補助情報から得られた類似度情報を利用することで推定性能を向上できるか？通常の行列分解による推定手法に比べ、補助情報に基づく.類似度制約項を利用する場合には、既知LLMが新規問題集合を解く際(図1テストB)の平均的な性能推定において20.2%、新規LLM集合が既知の問題を解く場合(図1テストC)において15.6%の誤差低減を達成した。一方、新規のLLMが新規の問題を解く場合(図1テストD)に対しては、性能の向上が見られなかった。RQ-2:理想的な問題/LLM類似度が入手できた場合に、どの程度性能推定の向上を行えるか？理想的な問題/LLM類似度を評価スコアの類似度と定めて実験を行ったところ、通常の行列分解と比較して、既知LLMが新規問題を解く場合(図1テストB)に26.7%、新規LLMが既知問題を解く場合(図1テストC)に34.0%改善することを確認した。これは現状の補助情報から構築された類似度行列に改善の余地があることを示唆している。