大規模言語モデルの数値データ説明における例示と補足の効果

人間と人工知能との協働的なデータ分析において,CSVデータのような数値データを,統計知識に基づいて自然言語で説明することは重要である.人間との自然な応答を可能とする大規模言語モデル（LLM）は,自然言語での定性的な推論[1]において飛躍的に発展してきた.さらには,近年,初等数学[2,3]のみならず,時系列予測[4,5]のような定量的な推論も,LLMの訓練によって可能であることが報告されている.数値データを自然言語で説明するには,定量的な推論と定性的な推論の双方が必要だと考えられるが,これらの推論を組み合わせることで,数値データを統計知識に基づいて説明できるかは明らかでない.LLMが数値データを自然言語で説明するには,まずデータからテキストを生成できること,次に意味のある洞察を得られることが必要だと考えられる.データからテキストを生成する課題においては,主に加工済みのデータからのテキスト生成やデータへのコメント生成を中心に研究されてきた.例えば,チャート[6]や数値を含むテキスト[7]を説明させる研究では,数値データを分析した加工済みの情報をテキストに変換できることが報告されている.また,市場データを対象とした研究[8]では,市場を解説するような付加的なコメントを生成できることが報告されている.つまり,データからテキストを生成することは可能であると言える.また,データから意味のある洞察を得る課題では,LLMが自律的に分析や考察を行うことを目的とした研究がされてきた.例えば,LLMが外部ツールを用いて,データ分析[9,10]から科学的な発見[11,12,13]まで,自律的にデータから洞察を得ることが部分的に可能であることが報告されている.したがって,CSVデータのような数値データについても,LLMに数値データを説明する訓練をすることで,データの特徴を人間が理解できるように統計知識に基づいて説明できる可能性がある.本研究では,LLMによる定性的な推論と定量的な推論を組み合わせ,統計知識に基づいた数値データの説明において,説明能力を向上させる手法を明らかにすることを目的とした.このとき,LLMの実務での活用を想定し,1)LLMの訓練コスト（計算コスト等）,2)LLMの推論コスト（API利用コスト等）,3)LLM利用者の学習コスト（指示に専門知識が必要等）にも着目した.LLMへの指示と評価の流れについては,図1の通りである.まず,LLMの訓練手法は,訓練コストの必要ないLLMの入力（プロンプ.ト）のみでの学習,すなわち,文脈内学習[14]とした.次に,データ分析に関する統計知識がLLM利用者にとって必要かという観点でプロンプトを条件分けして,説明能力の検証を行った.最後に,API利用コストに関連するLLMへの入力文字数に着目して,プロンプトのコストを比較した.