難解な入力単語を用いた日本語CommonGenタスクによるLLMの文生成能力評価

自然言語処理には常識推論と呼ばれる問題があり，我々人間が持つ常識と呼ばれるような巨大な背景知識に矛盾しないように推論できるかという重要な問題である．そのような常識推論能力を測るデータセットはいくつも考案されており，[1][2][3][4][5][6]そのなかでLinらはCommonGenという新しい常識推論のタスクを提案した[7]．CommonGenは，数個のキーワードを入力し，それらキーワードを用いて妥当な文を生成するという制約付き文生成のタスクである．しかし，近年では，高性能なLLMの出現によりCommonGen形式のデータセットはLLMにとって難しいタスクではないことが示されている．[8]本研究では，CommonGenタスクをLLMにおいても有効なものとするため，入力キーワードを専門用語に限定し，タスクの難易度を高める試みを行った．結果，近年のLLMにおいても，意味が通っていない文を作成するということを確認し，タスクの難易度を上げることに成功した．また機械による自動評価では，人手評価と相関が確認できたが，大きく異なる場合も見られ各評価の違いについて今後の課題を残す結果となった．