プロンプトの言語による数値時系列解釈能力の変化

本研究では，大規模言語モデル（LLM）の数値時系列解釈能力を測る16の評価タスクにおいて，プロンプトの記述言語の影響を検証する．数値時系列は，マルチモーダル言語生成や時系列予測などの多くの問題で重要な入力情報となっている．従来，LLMの数値理解能力を評価するタスクは，非系列データの算術演算や数値を含む表の論理推論が中心であったが，数値時系列に特化した評価タスクの開発が進んでいる．そこで本研究では，1)イベント検出，2)計算，3)比較の3つのカテゴリの評価タスクに対し，プロンプトの言語（日本語と英語）の違いによる性能差について考察する．実験より，タスクによってプロンプトの言語選択が数値解釈能力に影響を与えることが明らかとなった．