人間とシステムの議論に基づくNLPタスクの問題に対する予測

深層学習システムは様々なタスクで高性能を達成することが判明し、実用化が加速しているが、その予測理由を人間に分かるように説明することは不得意である。問題解決のために人間がシステムの力を引き出そうとするには、データや内部状態、出力傾向などを分析する必要があり、深層学習に精通した専門家でないと難しい。この問題に対処するため、人間の情報伝達に用いられる基本的な道具である自然言語を介して、直感的にシステムの力を引き出し、問題解決を目指す研究が進められている。これまでに、システムの予測理由を自然言語で人間に説明する手法が提案されている[1,2,3,4]。これは従来のデータや内部状態、出力傾向などを分析する方法と比較して、システムについて人間が直感的に把握できる。しかし、説明生成の研究では人間が追加の説明を求めたり、特定の説明を要求することを想定していないため、解釈性や実用上が乏しいことが指摘されている[5]。Slackら[5]は対話形式で人間がシステムに予測理由やタスクについて質問することができるシステムを提案した。対話できるトピックは事前に決められているが、説明生成とは異なり人間からシステムに対して特定の説明を要求できる。一方で、人間同士で問題解決を行う場合は、人間が一方的に説明したり質問するのではなく、互いに説明や質問を行い、議論しながら課題解決を行う。互いに意見を述べ議論することは考えを洗練させることにつながり、問題解決にとって重要であるが、既存手法では人間とシステムの相互の情報伝達や議論を実現できない。本研究では、図1のようにモデルが人間と対話形式で予測について議論するシステムを提案する。これにより、人間とシステムの両方が予測の説明や不明点の質問などを行い、考えを洗練させ問題解決を行うことが可能になる。前提文と仮説文の関係が含意、矛盾と中立のいずれであるかを予測する自然言語推論（NaturalLanguageInference;NLI）タスクにおいてGPT-3[3]による実験を行った。人間と議論するシステムを学習するために、NLIの問題に対して人間が予測を行い、その結果について人間同士が議論するデータを作成した。定量評価と人手評価の結.果、作成したデータをfew-shotに用いたシステムは作成したデータを用いないシステムと比較して、有益な議論を行えることが分かった。さらに、問題に対する議論の情報をシステムに与えることで、議論の情報が与えられていないシステムと比較して、性能が多くの場合で改善することを示した。