大規模言語モデル（LargeLanguageModels;LLMs）の台頭により、自然言語を用いた指示で多岐にわたる言語処理タスクが実行可能になった。しかし、与えられた指示が曖昧性であるためにユーザーの意図と異なるテキストが生成されることがある。特に自然言語生成（NaturalLanguageGeneration;NLG）に見られる曖昧性は広範で、人間が曖昧でない指示を書くことは難しい。そこで本研究では、曖昧性解消ベンチマークデータセットAmbiNLGの導入および自動的かつ網羅的な曖昧性解消を行う。実験より、提案手法による複数の曖昧性の明示的・網羅的な曖昧性解消の有効性を示した。

LLMs[1,2],特にChatGPT1）に代表されるような対話型LLMsは、自然言語による指示を介して操作できるため、非専門家も扱える。しかし指示テキスト次第でLLMsの出力は大きく変動するため[3]、所望のテキストを生成させるには適切な指示を探索するプロンプトエンジニアリングが必須である[4]。特に自然言語は曖昧性という本質的な問題を抱えており[5,6,7]、ユーザーの指示が不明瞭である場合出力結果を一意に定めることができず、結果に悪影響をもたらしえる。一方で、明瞭な指示文作成のためのプロンプトエンジニアリングは容易ではないため、自動で曖昧性を解消する手法が求められる。曖昧性を解消する先行研究では、機械翻訳における多義語[6]や質問応答における情報不足[8]といった特定のタスク・曖昧性のみを対象としている。しかし、先行研究のような限定的な設定における曖昧性解消では十分ではないと考えられる。まず、LLMは実社会での多様なNLGタスクで利用されているため、幅広いNLGタスクに対して解消すべき曖昧性カテゴリを洗い出し、それらを網羅的に解消する1）https://openai.com/chatgpt曖昧性解消なしSummarizethisarticleaboutanimals!Thisarticledelvesintotherelationshipbetweenhumansandanimals,discussinghowhumanshaveutilizedanimalsaspetsandworkforce,andtheimpactanimalshavehadonhumanlife.Italsoexploresrecent………Summarizethisarticleaboutanimals!+Answerwith2sentences.+Discuss“dog”+Writeinaconversationalstyle曖昧性解消あり🐶Dogs,they'renotjustcuteandfriendly.Experimentalresultsaystheyalsoreducestressandboosthappinessinourdailylives.曖昧性を解消するための補完テキストを追加する。必要がある。加えて、NLGタスクの指示には曖昧になりえる要素が散在するという点も問題である。例えば「Summarizethisarticle.」という指示だけでは、要約の長さ、焦点を当てるべき記事の内容、段落構成などの情報が与えられておらず、ユーザーが真にどのような出力を求めているかはわからない。これらの問題に対し、本研究では(1)様々なNLGタスクに対する指示テキストの曖昧性問題の体系化、(2)様々な曖昧性の網羅的解消を行う。まず既存のSuper-naturalinstruction[9]データセットにおける曖昧性を人手で6つのカテゴリに体系化する。次に、データセット内の指示テキストに曖昧性カテゴリとその曖昧性を補完するための情報（補完テキスト）を自動付与することで曖昧性解消データセットAmbiNLGを構築する。そして、元の指示テキストに補完テキストを連結することで曖昧性が解消された明瞭な指示テキストを作成する（図1）。実験の結果、曖昧性を解消した指示によってタスク性能が最大で9.12ポイント向上した。さらに、特定の曖昧性のみ解消した指示と網羅的に曖昧性を解消した指示を与えた場合を比較すると、後者の方がタスク性能がさらに8.69%以上、さらに曖昧性を解消しない元の指示と比較して17.21%改善した。こ.れらのことから、NLGタスクの指示の曖昧性はタスクの性能を左右するため、網羅的に曖昧性を掘り下げ分類し解消する必要があることがわかる。昧性を解消することは各タスクの性能向上の面で有効であること、また人手評価により実際に解消された曖昧性の観点で出力結果が改善していることを確認した。