自然言語情報を用いた未知タスクの性能予測

大規模言語モデル(LLM)のユーザが、個々のユースケースにおけるモデルのパフォーマンスを予想したり、性能の高いモデルを選択するには、様々な下流タスクにおけるベンチマークスコアを参照することが通常である。しかしながら、それらのベンチマークとユーザがターゲットとする実際のタスクには、多かれ少なかれ乖離がある[1]。したがって、ターゲットタスクでモデルがどの程度のパフォーマンスを発揮できるかを正確に把握するためには、実際にベンチマークを作成し実験を行う必要があるが、これには大きな労力とコストがかかる[2,3]。このような問題を解決するための方法として、既知タスクにおける実験の結果を使用して、未知タスクにおけるモデルの性能を予測する手法が探求されてきた(図1上)[4,5,6]。これらの研究の動機の一つは、もし正確な性能予測が実現されれば、ベンチマークを自前で作成し実際に実験を行う手間が省かれることである[7]。先行研究では、カテゴリカルな特徴量を入力とする機械学習モデル[8,9]や、テターゲットする未知タスク上でLLMが発揮する性能を正確に予測することを目標とする。下:先行研究では性能予測器への入力としてカテゴリカルかつ単純な特徴量のみを用いていたが、本研究の提案手法ではタスクの性質を記述した自然言語テキストの埋め込みを付加的に用いる。キストを入力とするLLMを性能予測器として用いる方法[7]が提案されている。しかしながら、これまでの研究で達成されてきた未知タスクの性能予測の正確さは、実用上必ずしも十分なものではない。我々はこの課題を、性能予測器に与える情報の不十分さに起因するものと考えた。先行研究において性能予測器に入力される情報は、予測対象タスクの粗いカテゴリやモデルのパラメータ数、タスクと実験設定のテキストによる簡潔な説明など単純なものに留まっており、これらのみではタスクの性質を十分に表現できない。本研究ではこの問題に対処するため、タスクの性質を自然言語で記述したテキストから得られるembeddingを、未知タスクにおけるモデル性能の予測に使う手法を提案する(図1下)。本研究は、未知タスクにおけるモデルの性能を予測するタスクを取り扱う。このタスクは、「性能予測の対象となるタスクの性質を表現する特徴量(タスク特徴量)」と「性能予測の対象となるモデルのID(モデル特徴量)」を入力として、当該タスクにおける当該モデルの性能(例:accuracy)を出力する回帰タスクである。例えば以下のような場面が現実のThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).MLP用の埋め込み行列1）によって射影し、それぞれ𝑝GMF𝑚,𝑞GMF𝑡,𝑝MLP𝑚,𝑞MLP𝑡を得る。次に、GMF/MLPブランチは、それぞれ以下のようにしてブランチ埋め込み𝒙GMF,𝒙MLPを得る2）。𝒙GMF=𝑝GMF𝑚⊙𝑞GMF𝑡(1)𝒙MLP=MLP(concat(𝑝MLP𝑚,𝑞MLP𝑡))(2)ブランチ埋め込みを縦結合して出力層の重みベクトル𝒉との内積を計算し、シグモイド関数に入力することで、最終的なスコアの予測値𝑆𝑚,𝑡を得る。[𝒙GMF𝒙MLP])(3)𝑆𝑚,𝑡=𝜎(𝒉提案手法は、高性能なLLM3）によってタスクについて分析したテキストを生成し、そのテキストの埋め込みをタスク埋め込み𝑞𝐺𝑀𝐹𝑡,𝑞𝑀𝐿𝑃𝑡に付加する手法である。これにより、モデルはタスクの性質をより連続的かつ詳細に捉えて性能予測を行うことができると期待した。まず、𝑡のタスク名・1問の例題・簡潔な説明をLLMに入力し、以下の項目について分析したテキスト𝑎𝑡1,𝑎𝑡2,𝑎𝑡3,𝑎𝑡4を出力として得る4）。𝑎𝑡1:タスクの詳細な分析(4)𝑎𝑡