# 学会記事
## 言語で説明できる AI システムへの道のり

## はじめに

深層学習の爆発的な発展によって $\mathrm{AI}$ は長足の進歩を遂げた。しかし, 深層学習の成功はこれまでのところ，画像／音声認識，機械翻訳など，大量の訓練データが入手可能であり end-to-end の学習が可能な領域に限られている。また，よく指摘されるように， end-to-end の学習で得られる深層ニューラルネット (DNN) はいわゆるブラックボックスであり，判断の解釈や説明が難しい。こうした背景のなか，我々は幸運にも，JST/CREST の新領域「信頼できるAI システム」に提案が採択され，「説明できる $\mathrm{AI}(\mathrm{XAI}) 」$ に関する研究プロジェクトを進めることになつた。まずは，領域総括の相澤彰子先生をはじめ，アドバイザーの先生方，関係者各位に感謝申し上げたい，我々のねらいは，現在の end-to-end の学習では解決が難しい問題のうち，「言語」 の問題，とくに，人間であれば判断の過程や理由を言語で説明できる種類の問題に焦点を当て，人が説明するのと同様の仕方で判断を説明できる新しい計算パラダイムを探究することである. プロジェクトは 2020 年 12 月から約 5 年半続く. その間にも様々な技術革新が起こり, 我々も舵の調整を迫られるかもしれない． 5 年後には今とは違った世界観で違ったことを言っているかもしれないが，プロジェクトの開始に当たって現在の我々の思いとねらいを論じたい.

## 「言語で説明できる」問題をねらう

「言語で説明できる」問題をねらう理由は 3 つある。

第 1 に，判断の過程や理由を言語で説明できる問題は社会の至るところに存在する。情報の真偽の判断や法律的な判断, 経営の意思決定など, 社会の多くの重要問題が, 言語で語られた情報や知識を組み合わせて推論し，判断し，その過程を言語で説明できる問題である。一つの例題として, 本プロジェクトでは情報の信憑性を判断する問題を考える。図 1 のように，「(新型コロナ感染で） 1 万人近くの感染者がいるが，日本人は．..半分もいない」のような SNS の情報の信憑性を判断したいとしょう。もし機械が人に代わって「厚労省発表」のような情報源を

見つけ出したり，「感染者の約半数は国籍未確認」のような関連情報との間の意味的な関係を推論して人に説明するといったことができれば, 合理的で納得感のある判断に貢献できるだろう.

第 2 に，図 1 の例に含まれるような言語理解は, 深層学習による音声認識や翻訳がこれほど成功を収めた今も実現できていない．問題の複雑さに対して十分な訓練データを用意することが困難であり，少量のデータからでは適切な一般化が難しいためである。しかし，人が言語で説明できる問題の領域では，問題を規定するための知識や判断の説明に使う知識が形式知としてどこかに言語で記述されている可能性が高い。そうした言語で書かれた知識はその領域の問題をどのように一般化すればよいかの良い事前知識を与えてくれる可能性もある。たとえば,図 1 の推論は,〈「日本国籍」と「外国籍」の排他相補的関係〉や〈「割合」の意味・計算方法〉 のような知識を使って説明できるが, こうした概念や意味の知識を学習や推論の中でうまく利用する仕組みを生み出せれば，現在の深層学習の限界を超えられる可能性も出てくる.

第 3 に, 判断の過程を言語で説明できる問題では, 人が AIに説明の手本を示すことができる. XAIに関する既存の研究の多くは, データからの統計的予測や画像認識のような, end-to-end の学習で成功している領域の問題を主たる対象としてきたが (原 2019), そうした領域では人間自身もどう説明すればよいかわからない問題も少なくない。一方, 情報の信憑性判断のような問題では, 人が自らの判断の理由を説明する営みが社会の中にすでに存在し, 説明のあり方, 受けとめ側の態度のあり方等に関する知恵の蓄積がある。こうした判断の説明が社会に根付いている問題に焦点を当てながら, 心理学, 社会科学等の研究者らとも連携することによって, 人間をきちんと系に入れた「コミュニケーションとしての説明」の研究を進めたい.

以上を踏まえ，文書集合に対する質問応答の説明や情報推薦の対話，さらに上述のような情報信憑性判断の対話的支援といった課題を例題として，判断を言語で説明する問題を考える.図 2 のように計算機科学の研究者と人間社会科学の研究者が密に協力する研究体制を組織し,

図 1 判断の過程を言語で説明できる AI システムの実現を目指したい.

図 2 研究項目と研究体制

図 $3 \mathrm{~KB}-$ Text 混合グラフ上の推論

推論層と説明共有層の 2 つの相互作用系からなる人と $\mathrm{AI}$ の協働システムの設計論を研究する.推論層では，記号推論と DNN 推論の相互作用によって説明能力と学習性能を両立する，新しい説明可能 $\mathrm{AI}$ のアーキテクチャを研究する（図 2 の研究項目 1 ）。説明共有層では, 説明を介した人と AI の相互作用を考え， AI の説明が納得感のある説明となるために，相手を含めた説明のコミユニケーションの設計論を研究する (研究項目 2).

## 記号推論と深層学習の融合に向けて

自然言語にせよ形式言語にせよ，人類が知識を記録し共有してきた道具は言語，すなわち記号であり，説明の道具も記号である。したがって，説明能力を深層学習に組み込む自然な方法の一つは，記号表現された知識や記号による推論をDNNに組み込むことである。たたし，過去の AI 研究が経験したように, 記号推論は知識ベースの構築（知識獲得）と離散構造の組合せ最適化（探索）の 2 つのボトルネックのために実問題に対して脆弱であり，そこが解決しなければ実応用は難しい。これに対して本研究では次の 2 つの攻め口を考える．1つはやはり言語データからの知識獲得である。たたし， 知識獲得と推論をカスケードする従来の方式には知識獲得の誤りの伝播など本質的な限界があり，これをいかに克服するかが鍵となる。もう1つは，記号推論と DNN 推論の融合を探索のボトルネックの解消手段として捉えることである。これらの攻め口に対し, 工学的な自然言語処理（乾グループ (G)）と数理的な形式意味論（戸次 $\mathrm{G}$ ） の 2 つの異なる角度から相補的に連携してアプローチする。

記号推論と深層学習の融合に基づく説明可能 AI（乾 G）出発点として, 図 3 のような, 知識べースとテキストの混合グラフ上での多段推論を考える。こうした混合グラフの上で推論ができるなら，それはすなわち自然言語で書かれた知識を推論に利用できているということであ

り, 知識獲得のボトルネックに繋がる。また, こうした混合グラフをDNN に完全に埋め込み,記号を捨象し高速に推論できるモデル（図の「システム 1 」）と，混合グラフを記号知識として検索・参照しながら推論するモデル（「システム 2$\rfloor$ ）を考え，それらの相互作用によって推論が進むような系を考える。システム 1 がシステム 2 に「注意（探索のガイド）」を与え，システム 2 は精緻な推論の結果をシステム 1 に「教示信号」として与えるといった相互作用をうまく実現することができれば，探索のボトルネックが解消できる可能性も出てくる．乾 Gでは，図 2 のような事物間の静的関係の混合グラフについては，これをDNN に接続する研究でいくつか興味深い結果を生み出しており (Dai et al. 2021; Heinzerling and Inui 2021), 本研究ではこうした予備的な結果を発展させ，事実性，論理関係，状況依存性等の表現力の高い記号推論に拡張し説明に繋げる課題に注力する。

高階論理と深層学習の融合（戸次 G）事実性, 論理関係, 状況依存性などが複雑にかかわる自然言語文の意味計算は，長年，理論言語学の一分野である形式統語論，形式意味論において研究されてきた．理論言語学の目的の一つは「言語現象を説明すること」であるから，そこから説明にアプローチするのは自然な戦略である。焦点は, これが深層学習に対抗しうるほどの頑健さ，速さを備えうるかという点にある．戸次 $\mathrm{G} て ゙ は ，$ 形式意味論に基づく意味解析と定理自動照明器を接続した ccg2lambdaを 2015 年に開発し, この分野の先駆けであった Nutcracker (Bos 2008)を越えて当時世界最高の精度と速度を実現しており, さらには一部の含意関係認識タスクにおいて深層学習を上回る精度を達成している (Mineshima et al. 2015; Martinez-Gomez et al. 2016)（図 4). 本研究ではこれを出発点として, 依存型理論に基づく証明論的意味論, および理論言語学と深層学習のハイブリッドなアプローチを推し進める。また，上記研究を発展させながら，DNN と相互作用する自然言語の証明論的意味論がどのような形で与えられうるかを研究し，「説明可能 AIの正しさ」に理論的基盤を提供することをねらう。

## 説明のコミュニケーション

説明が相手に理解され，納得に繋がるためには，単に関連する事実を提示するだけでは十分でない (シャーロット 2019). 相手に伝わる説明を行うためには, 相手が何を知っていて, 説明によってどのように理解が進み，またどのような感情でその説明や説明者を捉えているかを推定・把握しなければならない。そして，適宜それを確認・更新し，相手の質問を受けながら説明を進める必要がある。すなわち本質的に「対話」が必要となる。例えば図 1 の例で, 厚労省の公的情報に対してユーザが「えっと...」のような返答をしたとすれば，ユーザが十分に理解できていないことを察し，ポイントは「未確認が多い」点にあることを割合の計算などとともに説明できるとよいだろう。こうした対話的な説明を実現するには，推論のレイヤで説明内容をうまく構造化しておくことに加え, 対話相手の内部状態を知識レベルや理解レベルでモデル

図 $4 \mathrm{ccg}$ 2lambda による推論.

図 5 対話による説明.

化し，これをダイナミックに更新しながら対話を進める仕組みが必要であろう（図 5）。さらには，どのような情報をどのような粒度で説明するのが効果的か, 人はどのような状態のときにどのような説明を受け入れやすいか, といった人間側の特性が機械との対話の場合にどう変わるかの研究も必要である。こうした「コミュニケーションとしての説明」の課題に自然言語処理（黒橋 G）と人間社会科学（久木田 G）から相補的にアプローチする.

対話相手の内部状態モデルに基づく対話システム（黒橋 G）対話研究の現状は，限定されたタスク指向対話の制御を機械学習で行うものや, Wikipediaなどを知識源とした大規模な対話コーパスをもとに深層学習によって対話を行うものが主流である。後者はやはり end-to-end の枠組みであり, 知識（テキスト）の構造化が十分でないことに加えて, 対話相手の内部状態を推定して対話を制御し相互理解を目指す研究もほとんど行われていない.これに対し, 黒橋 G では，相手の内部状態や対話文脈に基づいて自然な対話を行うための計算機構を明らかにし， これによって信頼されるにたる説明機能を備えた AI システムの実現をめざす。中間的な例題としてまずは映画推薦対話を対象に研究を進める。すでに，このドメインでの説明対話コーパスの設計・構築, さらに対話者の内部状態のモデル化, 説明対話システムの構築を進めており, ニューラルモデルによる内部状態推定とそれに基づく対話制御の有効性について有望な結果が得られている (児玉他 2021). こうした課題で「説明の対話」の研究を進めながら, 情報信憑性判断の課題への発展的応用をはかる.

意思決定支援の人間社会科学（久木田 G） 納得・信頼については, 心理学・社会学などにおいて豊富な研究があるが, AIによる説明にフォーカスした研究は極めて少ない. 本研究ではそこをねらう，本グループ代表の久木田はこれまで $\mathrm{AI}$ と人間, AI と社会の望ましい関係, 望ましい相互作用の在り方や AI に倫理性を実装する可能性について探求と提言を行ってきた (久木田他 2017 ; 久木田 2020). 久木田 Gでは, これを人間社会科学と計算機科学の融合的方法によっ

て発展させ，実際に動作する説明対話システムも用いながら，AIが行った判断について，説明の整合性や倫理性などの特性，ユーザの背景知識，認知的なバイアスなどがユーザの反応にどう影響するかを心理学・社会学的方法で研究する。 また, そうした記述的研究と並行して, AI に対する適切な「信頼」がどうあるべきかを考えるという規範的な研究を進めることも重要である。既存の概念を分析・整理する哲学的手法のほか，社会的価値との整合性を検証する応用倫理学的手法も用いながら AIに対する信頼のあるべき姿を様々なステークホルダーとともに議論し, AIに関する倫理的原則や制度の中に反映させる活動を進めたい.

## おわりに

本プロジェクトには，本稿の著者の他，各グループから多数の若手研究者に参画いただいている.プロジェクトの活動を通じて参加者間の交流が進むことを期待するとともに，彼ら彼女らを通してさらに広い領域の研究者・専門家らと繋がる機会が生まれることを我々自身楽しみにしている.

## 参考文献

Bos, J. (2008). "Wide-coverage Semantic Analysis with Boxer." Conference on Semantics in Text Processing, pp. 277-286.

Dai, Q., Inoue, N., Takahashi, R., and Inui, K. (2021). "Two Training Strategies for Improving Relation Extraction over Universal Graph." EACL, pp. 3673-3684.

原聡 (2019). 説明可能 AI（Explainable AI）. 私のブックマーク, 人工知能学会誌, 34 (4), p. 577. [S. Hara (2019). Explainable AI. My Bookmark, Artificial Intelligence, 34 (4), p. 577.].

Heinzerling, B. and Inui, K. (2021). "Language Models as Knowledge Bases: On Entity Representations." EACL, pp. 1772-1791.

北玉貴志, 田中リベカ, 黒橋禎夫 (2021). 映画推薦対話を具体例とした話者内部状態の推定による対話管理. 自然言語処理, 28 (1), pp. 104-135. [T. Kodama et al. (2021). Dialogue Management by Estimating User's Internal State Using the Movie Recommendation Dialogue. Journal of Natural Language Processing, 28 (1), pp. 104-135.].

久木田水生, 神崎宣次, 佐々木拓 (2017). ロボットからの倫理学入門. 名古屋大学出版会. [M. Kukita et al. (2017). Introduction to Ethics through Robots. The University of Nagoya Press.].

久木田水生. 人工知能と人間のよりよい共生のために（RAD-IT21 WEB マガジン）. https:// rad-it21.com/ai/kukita-minao_20200317. [M. Kukita. Jinko Chino to Ningen no Yoriyoi

Kyosei no tameni (RAD-IT21 Web Magazine).].

Martinez-Gomez, P., Mineshima, K., Miyao, Y., and Bekki, D. (2016). "ccg2lambda: A Compositional Semantics System." $A C L$, pp. 7-12.

Mineshima, K., Martinez-Gomez, P., Miyao, Y., and Bekki, D. (2015). "Higher-order Logical Inference with Compositional Semantics." EMNLP, pp. 2055-2061.

ターリ・シャーロット (2019). 事実はなぜ人の意見を変えられないのか. 白揚社. [Tali Sharot. The

Influential Mind: What the Brain Reveals about Our Power to Change Others. Hakuyosha Publishing.].

## 略歴

乾健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.

戸次大介：お茶の水女子大学基幹研究院自然科学系准教授. 2000 年東京大学大学院理学系研究科情報科学専攻博士課程修了. 科学技術振興機構戦略的創造研究推進事業さきがけプログラム「情報と知」領域専任研究員, 東京大学 21 世紀 COE「心とことば一進化認知科学的展開一」研究拠点形成特任研究員を経て，2008 年より現職.

黒橋禎夫: 京都大学大学院情報学研究科教授. 1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了. 同大学助手, 講師, 東京大学大学院情報理工学系研究科助教授を経て, 2006 年より現職.

久木田水生 : 名古屋大学大学院情報学研究科准教授. 2005 年に京都大学大学院文学研究科より博士学位 (文学) を取得. 2017 年より現職. 専門は哲学・倫理学.