難解な入力単語を用いた日本語CommonGenタスクによるLLMの文生成能力評価

大規模言語モデル（LLM）の出現により、機械による文生成の能力は大きく向上した．それに伴い、LLMの出現以前に利用されていた文生成能力を測るタスクは現在のLLMの能力を測る指標としては適切なものでなくなってしまったものが多い．その一つに常識推論能力を測るCommonGenがある．本研究では、文生成タスクのCommonGenにおける入力単語を特定の分野に絞った専門用語にすることで、さらに高い文生成能力を求められるタスクにする試みを行った．更に試験的に作成したデータセットを用いて、LLMによる生成文の評価と人手評価を行い、LLMの文生成能力と自動評価の可能性について調査した．