日本語論理推論ベンチマークJFLDの提案

大規模言語モデル(LLM)はその広汎な課題解決能力が魅力を集め，日本語を含めた様々な言語で開発されてきている．しかしながらLLMは依然として論理推論を苦手としており，今後の研究が求められる．この研究を促進するため，本研究は日本語における論理推論ベンチマークJFLD(JapaneseFormalLogicDeduction)を提案する．JFLDを用いた評価の結果，日本語LLMの論理推論能力は未だ未熟なことが分かった．なお，ベンチマーク・ベンチマーク構築用コード・LLM評価用コードを公開する1）．