In-ContextLearning(文脈内学習；ICL)は，プロンプト中に与えられた少数のデモなどからパラメータを更新することなくタスクを学習するLLMの能力であるが，そのメカニズムは十分に明らかにされていない．先行研究の実験は，「タスクの入力の後にラベルを出力する」というフォーマットをLLMに示すことが特に重要である可能性を示唆する．そこで本研究では，LLMが与えられたデモから答え方のフォーマットを学習する様子を直接的に可視化した．結果として，(1)確かにLLMはデモから答え方のフォーマットを学んでいること，(2)フォーマットの学習は意味の無いラベルについても可能であること，(3)最悪のラベルがICLのMacro-F1を大きく向上させることを発見した．

LargeLanguageModel(大規模言語モデル；LLM)は，図1のように少数の入出力のペア(デモ)に基づいて，新しい入力(クエリ)に対して答えを推論することが出来る．このLLMの利用法又は能力をIn-ContextLearning(文脈内学習；ICL)と呼ぶ[1]．ICLのメカニズムに関する特に重要な問いの一つに「LLMは真にデモからタスクを学んでいるのか？」というものがある[2]．いくつかの先行研究[3,4]は，プロンプト中に与えられたデモを元にLLMが実際に新たなタスクを解く能力を獲得していると考える立場に立つ．しかし，一部の研究[5,6,7,8]では，LLMが事前学習の段階で暗黙のうちにタスクを解く能力を獲得しており，ICLのデモは単に解くべきタスクの識別のために用いられているに過ぎない可能性が示唆されている．例えばMinら[8]は，LLMに提供するデモの出力例を全て誤ったものにしても性能の低下は限定的であったのに対して，出力例を提供しない場合には大きく性能が下がることを報告した．そしてこれらを根拠に，ICLDefaultLabelInput:Thisisnice!Label:PositiveInput:Idon’tlikeit.Label:NegativeInput:Itisfantastic!Label:PositiveInput:NotGood.Label:NegativeLLMWorstLabelInput:Thisisnice!Label:龍契士Input:Idon’tlikeit.Label:ÅÅÅÅInput:Itisfantastic!Label:龍契士Input:NotGood.Label:ÅÅÅÅ(Negative)実験の例少数の入出力のデモとクエリをフォーマットに従ってLLMに与え，ラベル空間のラベルのうち予測確率の高いものを予測結果として採用する．実際に用いるフォーマットは付録Bに示す．また，ラベルにはデータセットに設定された意味のあるラベル(DefaultLabel)と，Zero-Shot時に予測確率の低かった最悪のラベル(WorstLabel)を用いる．においてLLMは新たにタスクを学習しているわけではなく，ICLのデモは「タスクの入力の後にラベルを出力する」という答え方のフォーマットそのものを獲得することに寄与している可能性があると指摘した．しかし，我々の知る限りこの仮説について直接的に取り組んだ研究は存在しない．そこで本研究では，ICLにおいてLLMがデモから答え方のフォーマットを学習しているかどうかを確かめるための指標として，語彙中の予測確率の順位に着目し，これを可視化・分析した．本研究の主な貢献は以下の通りである．•ICLにおいてLLMが答え方のフォーマットを学習しているという仮説の実証的な証拠を得ることに成功した(§3.1.2,§3.2.2)．•クエリの文章からは予測され得ないような最悪のラベル(Worstラベル)を利用しても同様の学習が行われていることを発見した(§3.1.2)．•Worstラベルを利用したときにICLのMacro-F1性能が向上することを発見した(§4)．.