AmbiNLG:自然言語生成のための指示テキストの曖昧性解消

LLMs[1,2],特にChatGPT1）に代表されるような対話型LLMsは、自然言語による指示を介して操作できるため、非専門家も扱える。しかし指示テキスト次第でLLMsの出力は大きく変動するため[3]、所望のテキストを生成させるには適切な指示を探索するプロンプトエンジニアリングが必須である[4]。特に自然言語は曖昧性という本質的な問題を抱えており[5,6,7]、ユーザーの指示が不明瞭である場合出力結果を一意に定めることができず、結果に悪影響をもたらしえる。一方で、明瞭な指示文作成のためのプロンプトエンジニアリングは容易ではないため、自動で曖昧性を解消する手法が求められる。曖昧性を解消する先行研究では、機械翻訳における多義語[6]や質問応答における情報不足[8]といった特定のタスク・曖昧性のみを対象としている。しかし、先行研究のような限定的な設定における曖昧性解消では十分ではないと考えられる。まず、LLMは実社会での多様なNLGタスクで利用されているため、幅広いNLGタスクに対して解消すべき曖昧性カテゴリを洗い出し、それらを網羅的に解消する1）https://openai.com/chatgpt曖昧性解消なしSummarizethisarticleaboutanimals!Thisarticledelvesintotherelationshipbetweenhumansandanimals,discussinghowhumanshaveutilizedanimalsaspetsandworkforce,andtheimpactanimalshavehadonhumanlife.Italsoexploresrecent………Summarizethisarticleaboutanimals!+Answerwith2sentences.+Discuss“dog”+Writeinaconversationalstyle曖昧性解消あり🐶Dogs,they'renotjustcuteandfriendly.Experimentalresultsaystheyalsoreducestressandboosthappinessinourdailylives.曖昧性を解消するための補完テキストを追加する。必要がある。加えて、NLGタスクの指示には曖昧になりえる要素が散在するという点も問題である。例えば「Summarizethisarticle.」という指示だけでは、要約の長さ、焦点を当てるべき記事の内容、段落構成などの情報が与えられておらず、ユーザーが真にどのような出力を求めているかはわからない。これらの問題に対し、本研究では(1)様々なNLGタスクに対する指示テキストの曖昧性問題の体系化、(2)様々な曖昧性の網羅的解消を行う。まず既存のSuper-naturalinstruction[9]データセットにおける曖昧性を人手で6つのカテゴリに体系化する。次に、データセット内の指示テキストに曖昧性カテゴリとその曖昧性を補完するための情報（補完テキスト）を自動付与することで曖昧性解消データセットAmbiNLGを構築する。そして、元の指示テキストに補完テキストを連結することで曖昧性が解消された明瞭な指示テキストを作成する（図1）。実験の結果、曖昧性を解消した指示によってタスク性能が最大で9.12ポイント向上した。さらに、特定の曖昧性のみ解消した指示と網羅的に曖昧性を解消した指示を与えた場合を比較すると、後者の方がタスク性能がさらに8.69%以上、さらに曖昧性を解消しない元の指示と比較して17.21%改善した。こ.れらのことから、NLGタスクの指示の曖昧性はタスクの性能を左右するため、網羅的に曖昧性を掘り下げ分類し解消する必要があることがわかる。昧性を解消することは各タスクの性能向上の面で有効であること、また人手評価により実際に解消された曖昧性の観点で出力結果が改善していることを確認した。