対話の齟齬と介入による解消：LLMを用いた検討

対話における齟齬は重要な現象である．2024年1月2日に発生した航空機の衝突事故[1,2]においても，管制官と海上保安庁機の搭乗員との間の対話の齟齬が原因の1つであると見ることができる．一方で，齟齬がどのような現象であるかを定義するのは難しく，著者らの知る限り齟齬を対象とした自然言語処理の研究は存在しない．齟齬は自然な対話では稀な現象であるため，データを大規模に収集して実験することは容易でない．大規模言語モデル（LLM）1）は，高い対話能力を示し，広範囲な知識を持つ[5,6]．LLMを対話研究に利用する利点の一つとして，人間の場合では不可能な，条件の同じ対話を複数回行わせることが可能になることが挙げられる．そこで，本研究では，LLMを利用して齟齬を含む対話を生成し，それをもとに齟齬に関する分析を行う．齟齬は，Clarkの提唱した共通基盤（話者と対話相手の間で共有された知識や信念）の解釈の不一致1）本稿ではLLMを，言語モデルの目的関数を用い大規模なテキストデータで訓練されたモデルとしてではなく，instructionﬁnetuning[3]やreinforcementlearningfromhumanfeedback[4]，あるいはそれに相当する処理が行われ，多様なベンチマークで人間に匹敵する，または人間を超える性能を持つモデルを指すのに用いる．（この条件が満たされている場合，使われているデータやパラメータ数が大規模であるかどうかは問わない．）本研究ではGPT-4を用いる．であると捉えられる．これをLLMでモデル化するには，LLMの持つ知識を制限し，異なる知識を持つLLMエージェントを用意する必要があるが，容易には実現できない．そこで，LLMにその場限りでの知識を持たせ，話者と対話相手に相当するLLMエージェントの間で情報量の差を持たせるための設定として，言葉当てゲームをベースとした設定を提案する．齟齬の解消においては，話者と対話相手双方の共通基盤をよく理解する第三者の介入が役立つ．LLMは広範囲な知識を持つため，この介入者の役割を果たすのに適している．ゲームの設定においても，話者と対話相手の持つ知識の差を認識させたLLMエージェントにこの役割を行わせることができる．以上を踏まえ，本研究では言葉当てゲームの設定において，齟齬の発生・解消と介入による影響を定量的に評価することを試みる．