大規模言語モデル（以下LLM）の行う処理について、どのようにすれば理解可能な説明が与えられるか。LLMでは処理のブラックボックス性が指摘されており、ベンチマークによる評価では処理機構が必ずしもわからず、出力の説明性が低い。本論文ではこの点を問題とし、それを解決する手段として科学モデルの概念が有用ではないかと指摘する。その上で、科学モデルが現象の理解をもたらす条件を確認し、どのようにすればLLMの行う処理について理解可能な説明が与えられるかを考察する。

LLMの出力結果を評価する際には、ベンチマーク的なデータセットを用いることが多い。しかしながら、ベンチマークでは出力結果と答えの比較のみでLLMの性能を評価するため、LLMの内部で行われている処理はブラックボックスであり、どのような処理により出力が得られたのかを説明することが難しいという問題が指摘されている。そして今後はアライメントなどをはじめとして、LLMが社会的に望ましくない出力をしないように要請される場面が増えている。よってLLMの出力に対する安全性を高める場合には、出力に対して「なぜそのような出力を行ったのか」を説明し、今後どのような出力を行うのかについての予測力を高める必要があるだろう。よってLLMの出力への説明性は重要な問題となっている。ではどのようにすれば出力の説明性を高めることができるか。LLM自体のパラメータ数の増大などを踏まえると、単に出力までの過程を逐次追跡することは、おそらく出力の説明性を高めることに寄与しない。そのため、ブラックボックス化せず、しかも我々にとって説明性を高めるための手段が求められることとなる。この点を踏まえると、具体的にはどのような手段が有用なのかを議論する必要があるだろう。本稿では、このための手段の一つとして、科学におけるモデリングについて着目する。例えば電車の路線図について考えよう1）。路線図では、駅間の隣接関係が反映されるが、隣接する駅間がどの程度離れているかは反映されない。これは路線図を用いるのは「ある駅Aから別の駅Bに向かうには、どのようなルートがあるのか」を説明するためであり、必要な情報（どの駅とどの駅が隣接しているのか）を提示しつつ、不要な情報（駅間の実際の距離）を省くことで説明性を高めている。モデリングとは、この路線図のように、説明したい対象の必要な部分を取り出し、不要な部分を取り除いた説明を与えることである（以降はモデリングによって得られる説明を「科学モデル」と呼ぶ）。そして、出力の説明性を高めるためには、ベンチマークによる評価から進み、LLMに対するこのような科学モデルを作成することが有効であるというのが本稿の提案である。以降は本稿の構成である。はじめに2節では科学モデルについて説明する。続く3節では、科学モデルがどのようにして対象の理解をもたらすのかという点について論じ、科学モデルを構成する際のポイントについて確認する。最後にここまでの議論を踏まえ、LLMの説明性を高めるための一つの方針について簡単に述べる。