概要

はじめに
1
パラメータ数の多い言語モデルは、学習データ(入出力ペアなど)をプロンプトに直接入力することで、データの中の関係性を「文脈の中で」捉え,高精度な推論ができることが確認されており，この能力を生かした幅広いタスクへの応用が期待される。 [1]. これはIn-context Learning(ICL)と呼ばれる大規模言語モデルの能力である。(数式1,図1): LLM.input [D [(x 1 , y 1 ), · · · , (x n , y n )] , xinput] → Ypred (1)ここで、図1の左側は学習データと予測したデータの入力を表すプロンプト、図の右側はLLMの出力結果である。 ICLの発展を簡単に概観する．まず、その構造に関する研究として、([2][3])はLLMがICL能力を獲図1  In-context Learning得するために必要な訓練データの条件について研究されている．また、[4][5][6]では、ICLによるLLMの推論過程と勾配降下との関係を研究している。 ICLによる推論の仕組みについてはまだ不明な点が多く、今後の研究が必要である.さらに、その性能に関する研究として、[7]は、 Transformerの事前学習により、スパース線形関数、 2層ニューラルネットワーク、決定木など、ICLによる様々な関数の学習が可能であることを示している．したがって、適切な条件を満たすLLMは、ICLの能力に従って入力と出力の例をいくつか与えることで、未知のデータの関係を捉え、入力に対応する出力を予測することができる.ここで、ICLについての一つの疑問が出てくるLLMが入力例と出力例から学習した「モデル」を直接出力することはできないか？上記の課題が解決できれば、LLMが入力例と出力例からどのようなデータ間の関係を見出したかを明示的に示すことができる.さらに、帰納バイアスを明示的に設定し学習を行う従来の機械学習(Figure 2)」とは異なる、ICLのような汎用的な推論を行うことができる.図2  従来の機械学習. 人による帰納バイアスの選択これは、LLMがデータから学習方法を学習していると考えることができ、ICLよりも一段高い視点を扱うことができるということでもある。メタ学習にも関連する話題である.この問題を解決するために、以下のように具体的な定式化を行う. LLMに学習データ（ここでは説明変数と目的変数のペア）を入力とし、説明変数から目的変数を推論するモデルを出力することができるか？この命題に対する我々の答えは「YES」である.この方法をInductive-bias Learning(IBL)と名付けた(数式2,図3).  Inductive-bias Learningという名前は、帰納バイアスを明示的に仮定することなく、データごとに様々な構造のモデルを出力することに由来する. LLM.input [D [(x 1 , y 1 ), · · · , (x n , y n )]] → Code Model LLM, D (Xinput) → Ypred (2)図3    Inductive-bias Learning本論文では、次のような検証を行った．複数のデータセットとシード値を用いてデータをサンプリングし、代表的な機械学習アルゴリズムと精度の比較を行った.タスクとして二値分類問題を，LLMとしてはGPT-4を使用した．命題にあるように、IBLは学習データから推論構造そのものを出力する．さらに、これは様々なデータに対して行うことができる。このことは，LLMがデータが与えられたときに入力と出力の関係をどのように学習するかを学習している可能性を示唆しており，LLMは一種のメタ学習を行うことができていると考えられる.
2    Inductive-bias Learning
Inductive-bias Learning（IBL）は、通常の教師あり機械学習アルゴリズムと同様に、学習と推論の２つのフェーズに分けることができる。学習フェーズでは、説明変数と目的変数のペアを入力とし、説明変数から目的変数を予測するためのコードを生成する．推論では、生成したコードを用いて未知のデータを予測することができる．本研究では二値分類タスクで検証を行っている．詳細は後述する(図4)。図4上図：IBLによるモデル生成…通常の教師あり学習と同様に、説明変数と目的変数の複数の組からなる訓練データを入力しコードを作成する. コードはPythonコードとして生成した.下図：IBLで生成したモデルの予測…通常の機械学習モデルと同様に予測したいデータの説明変数を入力する．生成されたコードを用いて予測を行う.
2.1   学習
IBLの学習フェーズでは、与えられた学習データを用いて、説明変数から目的変数を出力するためのPythonで書かれたコードを生成する．この生成されたPythonコードを“Code Model”と呼ぶ。また，LLMに入力するプロンプトには入出力ペアである学習データに対して，二値分類タスクとしての精度評価のためにラベル1に分類される確率値を出力するようなコードを生成する。今回の検証では、GPT-4がデータから予測を行う“論理構造”を出力できるかに関心があったため機械学習モデルを使うコードは扱わない.出力は，説明変数を入力とし目的変数のラベルが1である確率値を出力値とするPyhtonのコードを生成する.生成されたPythonコードは，特定の特徴量による条件分岐や，複数の特徴量を含む線形の関係式などが生成される.また，学習に用いるデータセットやデータ数に応じて様々な出力結果が得られた.
2.2推論
IBLの推論フェーズは，学習によって生成されたPythonコードを用いて実行される. IBLで生成されるPythonコードは，特定の特徴量による条件分岐や、複数の特徴量を含む線形な関係式などの単純な処理が生成されるため非常に高速である。一方で、そのような単純なロジックにもかかわらず生成されたCode Modelは非常に高い予測精度を持つことが確認されている.さらに，IBLが生成したCode ModelはPythonのコードとして出力されるためモデルの解釈も非常に容易である.
3　実験と結果
本節では、IBLの性能を検証するための実験結果を記載している．はじめにいくつかのデータセットについてIBLと典型的な機械学習モデルの予測能力を比較した.
3.1実験概要
データセットとタスク
IBLによって生成されたCode Modelの精度を機械学習アルゴリズムやICLと、二値分類タスクを使い比較した．機械学習モデルとの比較ではscikit-learnで利用可能な擬似データセットとmoonデータセットを扱った．各シード値で学習に使用されなかったデータはテストデータとした。scikit-learnの擬似データとmoonデータセットについては，３つの異なるシード値を用いて合成データを生成し，訓練データとテストデータに分割した．小数点以下が多すぎるとIBLやICLに入力できるデータ点数が少なくなるため生成した値はすべて小数点3桁とした.また学習用データの不均衡を解消するため、正例と負例の数を同じにした. IBLの問題点として，生成されたコードモデルの出力が不安定であることが挙げられる.  IBLが生成したコードモデルは、必ずしも安定して高い予測精度を出すとは限らず精度にばらつきがある.そこで，データセット，学習データサイズ，シード値ごとに30個のコードモデルを生成しAUCが最も高いものを比較した。本稿ではIBLの実行にOpenAIのAPIでgpt-4-0613を用いて検証を行った.ファインチューニングなどの追加の学習は行わずプロンプト入力のみを使用した.
3.2  IBLと機械学習モデルの比較
最初の検証では、擬似データセット、Moonデータセットを用いて，IBLが生成したコードモデルのAUCの値を代表的な機械学習モデルと比較した．比較のための機械学習モデルとしては、ロジスティック回帰、K-NN（K-Nearest Neighbors）、リニアカーネルのSVMを用いた。IBLでは、各シード値に対してコードモデルを30回生成し、AUCが最も高いモデルを選択した．なお，生成に成功したCode Modelがない場合はグラフにプロットを行っていない.図5, 6, 7より，他の機械学習モデルと同等のAUCを出力する場合もある.
Moonデータセット
図8, 9, 10より, MoonデータセットにおけるAUCは，K-NNやロジスティック回帰のAUCには劣るもののSVMのAUCを上回ることも多々ある.疑似データセットやMoonデータセットでは説明変数の名前から目的変数の値を予測することは不可能であり、また適当なseed値により生成したデータからscikit-learnのライプラリを用いて生成されたデータであることを識別することは非常に困難であ
IBL実行回数
ると考えられる. そのため，LLMはデータ間の論理構造に基づいて推論のためのロジックを出力していると考えられる．連続的な説明変数と離散的な説明変数のどちらがIBLで扱いやすいかを判断するためには、異なるデータセットでさらなる検証を行う必要がある。生成されたCode Modelの一部を付録として添付している.
4　今後の展望
IBLは，新しい学習手法のパラダイムシフトとなる可能性を秘めている．以下に今後重要になると思われる項目をまとめる.
IBLの精度向上と応用性
現在のIBLではファインチューニングなどの追加の学習を行わずに実行しているため出力の不安定性や精度の課題がある.  IBL専用のデータセット(例えば予測したい論理関係のPythonコードとその論理関係からサンプリングしたデータ)を使い学習する方法が考えられる.  GPT-4などのLLMでは大量の自然言語データによる学習を行っているため自然言語内にあるような論理構造を把握することはできるかもしれないがそうでないような論理関係などは捉えることができないと考えている.さらに，バギングやプースティングのような統計的学習理論のテクニックの活用や作成されたCode Modelの編集、学習データと一緒に入力されるプロンプトの最適化[8]などでも，より精度の高いモデルが生成されることが期待される.また、LightGBM[9]のような社会実装されている機械学習アルゴリズムをIBLに置き換える可能性も検討している．予測の精度や出力の安定性などがクリアできればモデルの推論速度や解釈可能性という点で，Code Modelを使う意義は多い.
LLMの論理構造の把握能力
IBLが学習データからどのように予測ロジックを推論してCode Modelを生成するのか，また生成されたCode Modelの予測ロジックがどの程度優れているのかについては，さらに詳しい分析が必要である．後者については、[7]による研究ではICLは最小二乗推定に匹敵する精度で線形関数を近似できることが示唆されている．この方法を使いIBLを用いてLLMがどれだけ正確にデータから回帰係数を求めることができるかを検証することは可能である.また，IBLがどのようなデータに対しても最適な予測ロジックを出力できるかは興味深い話題である． sequence-to-sequenceの万能近似定理[10]が適用できる場合入力されたデータに対して理想的な予測ロジックを出力するように学習することもできる可能性がある.
結論
5
本論文では、LLMを用いて予測モデルを生成するInductive-bias Learning(IBL)と呼ばれる新しい学習法を提案した．この学習手法によって生成された予測モデルであるCode Modelは，従来の機械学習モデルに匹敵する予測精度を達成する場合もあった．IBLによって生成された予測モデル（Code Model）は、今後精度が向上すれば，解釈可能性や推論速度の点で既存の機械学習モデルを置き換える可能性があると考えている. さらに，LLMの論理構造の把握能力について理解するのに寄与するとも考えている.この研究を進める中で、絶えず支援と励ましをくださった先輩方に感謝します。弓林さんには理論的な議論において貴重な助言をくださりました.また．江本さんには実装について多くのアドバイスをいただいたり実際に実装を手伝っていただきました．感謝いたします. [1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Sub- biah, Jared D Kaplan, Prafulla Dhariwal, Arvind Nee- lakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al.  Language models are few-shot learners.  Advances in neural information processing systems , Vol. 33, pp. 1877–1901, 2020. Stephanie Chan, Adam Santoro, Andrew Lampinen, Jane [2] Wang, Aaditya Singh, Pierre Richemond, James McClel- land, and Felix Hill.  Data distributional properties drive emergent in-context learning in transformers.  Advances in Neural Information Processing Systems , Vol. 35, pp. 18878–18891, 2022. Sang Michael Xie, Aditi Raghunathan, Percy Liang, [3] and Tengyu Ma.  An explanation of in-context learn- ing as implicit bayesian inference.  arXiv preprint arXiv:2111.02080, 2021. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu [4] Ma, and Denny Zhou.  What learning algorithm is in- context learning? investigations with linear models. arXiv preprint arXiv:2211.15661 , 2022. [5] Arvind Mahankali, Tatsunori B Hashimoto, and Tengyu Ma.  One step of gradient descent is provably the optimal in-context learner with one layer of linear self-attention. arXiv preprint arXiv:2307.03576, 2023. [6]  Johannes Von Oswald, Eyvind Niklasson, Ettore Ran- dazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov, and Max Vladymyrov.  Transformers learn in-context by gradient descent. In International Confer- ence on Machine Learning , pp. 35151–35174. PMLR, 2023. [7] Shivam Garg, Dimitris Tsipras, Percy S Liang, and Gre- gory Valiant.  What can transformers learn in-context? a case study of simple function classes.  Advances in Neural Information Processing Systems , Vol. 35, pp. 30583–30598, 2022. Alessandro Sordoni, Xingdi Yuan, Marc-Alexandre Côté, [8] Matheus Pereira, Adam Trischler, Ziang Xiao, Arian Hosseini, Friederike Niedtner, and Nicolas Le Roux. Deep language networks:  Joint prompt training of stacked llms using variational inference.  arXiv preprint arXiv:2306.12509, 2023. Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei [9] Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree.  Ad- vances in neural information processing systems, Vol. 30, , 2017. Chulhee Yun, Srinadh Bhojanapalli, Ankit Singh Rawat, [10] Sashank J Reddi, and Sanjiv Kumar. Are transformers uni- versal approximators of sequence-to-sequence functions? arXiv preprint arXiv:1912.10077 , 2019.