大規模言語モデル(LLM)はパラメータを更新することなくプロンプトに入力されたデータをもとに推論を行うIn-contextLearning(ICL)と呼ばれる能力が注目されている．また、コード生成もLLMの重要な応用先である．本論文では、ICLとコード生成を応用した”Inductive-biasLearning(IBL)”と呼ばれる新しい学習手法を提案する。IBLではICLと同様に、学習データをプロンプトに入力し、推論を行うために必要な関係性を持つコード（CodeModelと呼ぶ）を生成する。シンプルなアプローチであるが、IBLは学習データがどのような関係性を持つか捉えることができ，さらにコードを生成するため解釈性も兼ね備えている．また驚くべきことに、生成されたCodeModelは代表的な機械学習モデルに匹敵する予測精度を達成する．IBLのコードはオープンソースです．1）

パラメータ数の多い言語モデルは、学習データ（入出力ペアなど）をプロンプトに直接入力することで、データの中の関係性を「文脈の中で」捉え，高精度な推論ができることが確認されており，この能力を生かした幅広いタスクへの応用が期待される。[1].これはIn-contextLearning(ICL)と呼ばれる大規模言語モデルの能力である。(数式1,図1):LLM.input!퐷[(푥1,푦1),···,(푥푛,푦푛)],푥input"→푦pred(1)ここで、図1の左側は学習データと予測したデータの入力を表すプロンプト、図の右側はLLMの出力結果である。ICLの発展を簡単に概観する．まず、その構造に関する研究として、([2][3])はLLMがICL能力を獲1）GitHubLink：https://github.com/fuyu-quant/IBLM得するために必要な訓練データの条件について研究されている．また、[4][5][6]では、ICLによるLLMの推論過程と勾配降下との関係を研究している。ICLによる推論の仕組みについてはまだ不明な点が多く，今後の研究が必要である．さらに、その性能に関する研究として、[7]は、Transformerの事前学習により、スパース線形関数、