日本語論理推論ベンチマークJFLDの提案

近年登場した大規模言語モデル(LLM)は，広範な課題を巧みに解決し，人工知能＝“人間のように考える機械”[1]の実現を予感させる．人工知能の実現に向けて古くから，知識と推論という２つの要素が重要視されてきた[2,3,4,5,6,7]．自然言語処理の文脈で知識とは，世界に関する事実であり，例えば「質量を持つものは重力場を発生させる」「地球は質量を持つ」等である．一方で推論とは，複数の知識を一定の規則に従って組み合わせることで，新たな知識を得る思考形態である．例えば上述の知識に対して推論規則「“∀𝑥,𝐹(𝑥)→𝐺(𝑥)”と“𝐹(𝑎)”の２つから，“𝐺(𝑎)”が導ける」を適用することにより(𝐹=“質量を持つ”,𝐺=“重力場を発生させる”,𝑎=“地球”)，「地球は重力場を発生させる」という新たな知識を得る．最近の観察によると，LLMは推論ではなく“暗記した知識”によって課題を解いていることが示唆される[8,9,10]．例えば「過去年度のコーディング試験は解けるが，最新年度は解けない」「算数の有名問題をそのまま出題すれば解けるが，数字を変えると解けない」等，一見推論しているように見えても，実は事前学習コーパス中の類似事例を取り出して解いていたことが分かる．この知識偏重はGPT-4[11]のような最先端のLLMでまで確認されている[12,13,14,15]．もしLLMが推論を苦手とするのであれば，汎用性の高い人工知能の実現にとって問題となる．なぜならば，知識によって課題を解いている限り，“一度見たことがある”課題を超えた真に未知なる課題を解くことができないからだ．よって今後，LLMの推論能力向上に関する研究が不可欠である．研究の促進のためには，良質なベンチマークが必要である．推論の中でも基本的な論理推論に関して，これまでも多くのベンチマークが提案されてきた[16,17,18,19]．これらは，各LLMの性能評価は勿論のこと，創発現象[20]や反実仮想への脆弱性[12]といった有用な知見を提供してきた．しかしながら，これらベンチマークは主に英語が中心であり，日本語LLMの論理推論能力を評価することはできない．日本語ベンチマークとしてJGLUE[21]・JaQuAD[22]等が有名だが，これらは知識の暗記によっても解ける可能性が高い．また，NLIやRTE[23,24,25,26,21,27,28,29]もしばしば常識知識を必要とするので，純粋な論理推論能力のみを問うことができない．以上より，日本語における論理推論ベンチマークの構築が必要である．そこで我々は日本語の論理推論ベンチマークJFLD(JapaneseFormalLogicDeduction)を提案する．JFLDは論理推論の基本である演繹推論能力を評価する．即ち，事実群と仮説が与えられ，多段の論理ステップ(多段演繹推論)を経て仮説を証明・反証する(図1)．JFLDの重要な特徴は，1.知識と切り分けられた純粋な論理推論能力を評価する，2.多様な演繹規則を問う，ことである(2節)．更に，JFLDを用いて様々な日本語LLMを評価し洞察を共有する．特に，GPT-4に比べて日本語LLMの論理推論能力は大きく劣ること，今後の方向性として大規模な論理推論データセットでの学習が有望であること，等が重要である．なお，本ベンチマークとコードを公開する1）．1）https://github.com/hitachi-nlp/FLD.事実仮説¬𝑯𝑯(𝒅𝒅)多段演繹推論(証明)回答