自然言語情報を用いた未知タスクの性能予測

大規模言語モデルが個々の具体的なユースケース(未知タスク)においてどの程度の性能を発揮するかを、自前のデータセットやベンチマークを構築せずとも予測できれば、研究やビジネス上の意思決定において有用である。本研究では、未知タスクについての自然言語による簡潔な説明と1題のみの例題から、そのタスクについての各種分析テキストをLLMによって生成し、その埋め込みを性能予測器への入力特徴量として用いる手法によって、未知タスクの性能予測の正確さを向上させた。分析の結果、とりわけ、例題に対する模範解答が予測の正確さの向上に大きく寄与することが分かった。