棄却サンプリングを用いたLLMによる制限自然言語生成の評価

自然言語は曖昧性を持つため、構造化テキストや形式言語のような解析がしやすい出力が求められる。一方で、出力の効率性と忠実性にはトレードオフがあることが知られている。制限自然言語は自然言語に近いため、このトレードオフを乗り越えられる可能性がある。しかし、LLMの制限自然言語の能力はよく知られていない。本研究は、LLMによる制限自然言語生成をハード制御の制御可能なテキスト生成として定式化し、GUARDによる保証された制限自然言語生成を検証する。複数の制限自然言語及びプロンプトで受理率、忠実性及び多様性の評価を行い、受理率が改善されることが示された。