棄却サンプリングを用いたLLMによる制限自然言語生成の評価

LLMは様々な自然言語処理タスクで成果を上げており[1]、ChatGPTのような対話型の利用から、AIエージェントのような自律型の利用がされるなど、様々なシステムに組み込まれている。LLMは人と同等程度に自然な文章の生成をすることができる。一方で自然言語の文は2つ以上の意味で解釈される曖昧性を持つ場合がある[2]。自然言語の曖昧性は下流のシステムの誤作動を引き起こす可能性がある。自然言語の文を生成させ利用する場合には、適切な処理が必要となる。そのため、実際にLLMをシステムに組み込む際には、JSON形式などの構造化テキストや形式言語の文など、機械的に処理が容易な出力をすることが必要とされる。与えられた構造や文法の制約を完全に守りつつ出力する手法として、制約付きデコーディングや棄却サンプリングが挙げられる。しかし、制約付きデコーディングはLLMの出力の分布を歪ませる忠実性の問題、棄却サンプリングは満たすのが難しい制約に対して多くの再生成が求められる効率性の問題がある。制約を満たす生成において、この2つにトレードオフがあることが指摘されている[3]。このトレードオフが生じる原因の1つとして、LLMが大量の自然言語文で学習されているのに対し、構造化テキストなどの文は、自然言語とは異なる構造の制約を課すことが挙げられる。よってトレードオフを乗り越えるためには、より自然言語に近くかつ曖昧性や複雑さの低い文の生成をすることが必要であり、トレードオフの解消はLLMを組み込む様々なシステムにおいて有用であると考えられる。制限自然言語は、自然言語をベースとした人工言語であり曖昧性や複雑さが軽減されている。そのため、制限自然言語生成は構造化テキスト生成などよりも効率が良く生成ができ、また忠実性を歪ませない生成が比較的容易であると考えられる。本研究では、LLMモデルにプロンプトを与え、制限自然言語文の出力を行い、その効率性や忠実性及び多様性の評価する。また、その結果をCNLの制約のタイプやPENS分類体系に基づき考察する。