大規模言語モデル（LLM）の出現により、機械による文生成の能力は大きく向上した．それに伴い、LLMの出現以前に利用されていた文生成能力を測るタスクは現在のLLMの能力を測る指標としては適切なものでなくなってしまったものが多い．その一つに常識推論能力を測るCommonGenがある．本研究では、文生成タスクのCommonGenにおける入力単語を特定の分野に絞った専門用語にすることで、さらに高い文生成能力を求められるタスクにする試みを行った．更に試験的に作成したデータセットを用いて、LLMによる生成文の評価と人手評価を行い、LLMの文生成能力と自動評価の可能性について調査した．

自然言語処理には常識推論と呼ばれる問題があり，我々人間が持つ常識と呼ばれるような巨大な背景知識に矛盾しないように推論できるかという重要な問題である．そのような常識推論能力を測るデータセットはいくつも考案されており，[1][2][3][4][5][6]そのなかでLinらはCommonGenという新しい常識推論のタスクを提案した[7]．CommonGenは，数個のキーワードを入力し，それらキーワードを用いて妥当な文を生成するという制約付き文生成のタスクである．しかし，近年では，高性能なLLMの出現によりCommonGen形式のデータセットはLLMにとって難しいタスクではないことが示されている．[8]本研究では，CommonGenタスクをLLMにおいても有効なものとするため，入力キーワードを専門用語に限定し，タスクの難易度を高める試みを行った．結果，近年のLLMにおいても，意味が通っていない文を作成するということを確認し，タスクの難易度を上げることに成功した．また機械による自動評価では，人手評価と相関が確認できたが，大きく異なる場合も見られ各評価の違いについて今後の課題を残す結果となった．