DEIM Forum 2021 I24-2

二重過程理論による説明可能な AI 開発手法の提案
内田

輝†

松原

正樹††

若林

啓††

森嶋 厚行††† 筑波大学 情報メディア創成学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †hikaru.uchida.2020b@mlab.info, ††{masaki,kwakaba}@slis.tsukuba.ac.jp,†††morishima-ofﬁce@ml.cc.tsukuba.ac.jp
あらまし説明可能な AI システムの開発手法の研究は, 深層学習分野において, 今日の注目を集めている話題の一つである. 本論文では, 心理学における二重過程理論に着想を得て, 論理的に推論を行い, 理解可能な説明を出力するシス
テム 2-AI を開発するための手法を提案する. 提案手法では, 多クラス分類の各クラスについて, 人間が理解可能な特徴
をクラウドワーカーに入力してもらい, クラスと特徴の対応表を作成する. 各特徴に関連する訓練データを収集し, これら集めたデータと対応表を基に, 各特徴の有無を推定する深層学習モデルを複数生成する. 各深層学習モデルの推定結果を組み合わせることで, 分類対象が特定のクラスに属する理由を説明することが可能なシステム 2-AI を作成する.
実験では, アジアの国旗の画像分類に本手法を適用し, その有効性と課題を検討した.
キーワード 説明可能 AI, クラウドソーシング, 二重過程理論

1 はじめに今日, 深層学習分野では, 説明可能な AI の開発手法（例：[1][2] [3]）が注目を集める話題の一つとなっている. AI の普及に伴い, 人間社会, 特に倫理, 医療, 法律のような AI の誤判定が人間に対し大きな影響を与える分野で, AI が誤判定をした場合の説
明責任が求められるようになってきた. 特に近年は, 自動運転車の誤推定が原因となって発生する事故 1 件数が増加しているた
め, AI に説明可能性を求める動きはより顕著になってきている.

図 1: 二重過程理論の概要図を示す. 入力となるデータが与えられる人間は深層学習モデルがなぜその推定結果を出力したのか理と, そのデータは二重過程理論に基づくシステムを構成する 2

解できないことがある. なぜなら深層学習では, 学習過程がブ

つの要素, すなわち, システム 1-AI とシステム 2-AI を通過す

ラックボックスであり, その推定基準は人間が読み解くには複る. システム 1-AI は, データの潜在的なクラスの確率分布を出雑である場合があるためである.
本研究では, 説明可能な AI を構築するために, 心理学の二重力する任意の分類器である. システム 2-AI は, システム 1-AIの出力とシステム 2-AI のルール表を基に, 論理的で人間が理解可能な説明と共に, 最終的な推定結果を出力する.

過程理論 [4] に着想を得たヒューマン・イン・ザ・ループの手法を提案する. 二重過程理論では, 高速で直感的なシステム 1 と,低速で論理的なシステム 2 の 2 つのシステムで人間の思考が構成されると仮定している. 我々は, システム 1 とシステム 2 のそれぞれに基づいた 2 つの AI を組み合わせることで, 人間が理解可能な説明を効率的に生成することが可能であると推察する.
本研究では, 理想的な説明とは, 論理的に書かれた, 正確で, 非冗長な説明であり, 人間が比較的容易に理解可能な言葉で綴られた説明であると仮定する.
提案手法では, 心理学における二重過程理論のシステム 1 とシステム 2 を, 2 つの異なる機械学習モデルとして定義し (図 1参照), その内システム 2-AI の構築を行う. システム 1 は, 知覚
や習慣, 記憶などのデータを基に素早く推定を行うシステムとして見做せるため, システム 1-AI は一般的な深層学習モデルを利用することで実現できる. 一方, システム 2 は, 低速であるが,論理的に思考し, 推定を行うことができるシステムである. 論理的に思考を行うことは, 推定結果のみではなく, 思考過程そのものが論理的であることを意味する. 故に, 決定木学習モデルのような, 論理的かつ, 人間が解釈しやすい構造をもった機械学習モ
デルを用意することで, システム 2-AI は実現できる.
問題はどのようにして, 人間が理解可能な説明を出力するシ
ステム 2-AI を構築するかである. 本論文では, 理解可能なシス

1：Eric Weiss.

Contributed to Uber Automated

テム 2-AI を構築するために, クラウドソーシングで推定対象のTest Vehicle Crash - NTSB Calls for Federal Review Process for Automated Vehi-

各クラスに関して, 人間が理解可能な特徴を収集し, これら集め

Inadequate Safety Culture

cle Testing on Public Roads.NATIONAL TRANSPORTATION SAFETY BOARD.
https://www.ntsb.gov/news/press-releases/Pages/NR20191119c.aspx,(参 照 2020-1217)

た各特徴と各クラスの対応表 (ルール表) を作成する. これを正解を表すルール表として扱う. また, インターネットから訓練が得意な特徴空間の両方を一つの機械学習モデルで学習するのデータを収集し, 入力データに各特徴が含まれるか否かを推定ではなく, 独立した 2 つのシステムで構成されている. これは,する分類器 (深層学習モデル) を特徴毎に生成する. 推定時に各システムのメンテナンス性を向上させる. 一方, 我々の手法は,分類器の推定結果とルール表の一致した部分に関連付けられた

機械学習モデルが得意とする特徴空間の情報を利用できていな特徴を推定結果の説明として利用することで, 説明可能なシス

いため, 今後の手法の改良点として, 決定木学習モデルをシステ

テム 2-AI を構築する.

ム 1-AI に採用し, その推定結果と判断基準をシステム 2-AI に

我々は, システム 2-AI が正確なクラスを推定し, また人間が理解可能で, 論理的な説明を出力することができるか確認するために, アジアの国旗の画像分類を題材として起用した実験 1

反映することで, 機械学習モデルが得意とする特徴空間の情報を利用することが挙げられる.
論理とヒューマンインザループの手法を組み合わせたもうと実験 2 を行い, 評価と今後の課題を確認した.

一つの研究は, CyLog [7] である. CyLog では, 論理的なルール

なお, 本研究の貢献は以下の通りである.

の評価を人間が制御できるようにすることで, 人間の意思決定(1) 心理学における二重過程理論が説明可能な AI の開発手法の結果となる論理的なルールを導き出すことができるように,に適用できることを示唆した.

(2) ヒューマンインザループの手法を用いることで, 人間が理解可能な推定基準を有した説明可能な AI を構築できることをゲームアスペクトの概念を導入している. 我々が提案する方法
が CyLog と異なるのは, 論理規則がプログラマではなくクラウ
ドワーカーによって動的に生成されることである.

実験的に示唆した.

3 提案手法2 関連研究提案手法では, システム 2-AI の構築・運用方法について, 構築

深層学習モデルのようなブラックボックスな AI の台頭によフェーズと予測フェーズに分けて述べる (図 2 参照). 構築フェーり, 機械学習モデルが出力した推定結果の説明可能性の向上は,ズでは, クラウドワーカーから人間が理解可能な特徴を収集し,AI の更なる普及のために解決されるべき重要な課題となってこれら特徴を基にクラスと特徴の対応表 (ルール表) を作成すいる.

る. また, インターネットから訓練データを収集し, 各特徴に対既存の機械学習モデルの生成手法でも, Random Forest [5] の応した分類器を生成する. ルール表と分類器を組み合わせて運

ように, 決定木学習を利用した機械学習モデルは, 推定結果の根用することで, システム 2-AI を構築する. 予測フェーズでは, 入

拠を示すことが可能である. しかし, そのような機械学習モデル

力データを受け取り, 推定結果とその説明を出力する.

は, 推定根拠を決定木のような人間が解釈しやすい形式で示すことが可能ではあるが, 自然言語のような人間が理解しやすい
言葉で説明できないことや, そもそも機械学習モデルが自動生成した判断基準は, 人間の判断基準と比較すると, 大きな差異が有ることがあり, 理解しやすいとは言い難いことがある. 本研
究では, クラウドワーカーが自然言語で入力した人間が理解可
能な特徴を基に, システム 2-AI を構築しているため, システム

2-AI の判断基準は, 人間にとって理解しやすい, 人間の判断基準に近いものとなっている.

Hendricks らは Generating Visual Explanations [2] にて, AI の推定結果の説明を自然言語ベースで生成する手法を提案した.

Generating Visual Explanations では, 自然言語で説明を出力するため, 人間にとって解釈性の高い説明を提供することができる.

Generating Visual Explanations と比較すると, 我々の手法では,システム 2-AI 自体がシンプルなルール表の構造をしているため, 出力である説明の他に, システム 2-AI 自体も解釈性を有し,推定のプロセスを理解することが容易となっている. これは, シ
ステム 2-AI のデバッグや運用環境におけるデータトレンドの変化への対応を容易にする.

Flock [6] は, クラウドワーカーを利用し, 人間が理解可能な特徴を集め, 集めた特徴を基に機械学習モデルの学習を行うこと
で, 単一の機械学習モデルや, 人間の専門家を上回る性能を有した機械学習モデルを作成することができるプラットフォームを提案した研究である. 我々の手法は, Flock のように, 機械と人間

3. 1 システム 2-AI 構築フェーズ
システム 2-AI を作成するために必要となる人間が理解可能な特徴を収集するために, 各クラスに当てはまる特徴を入力してもらうタスクをクラウドソーシングで行う. クラウドワーカーには, 判別対象である各クラスの人間が理解可能な特徴をテキストで入力してもらう. ここで述べている人間が理解可能な特徴とは, 色や大きさ, 模様などの属性を表す特徴のことを指す.
なお, クラウドワーカーは, 特徴をテキストで入力する際に, 特定の形式に従って入力を行う必要がある（図 4 参照）. テキス
トのフォーマットに統一形式を採用することで, ユーザが入力したテキストから特徴のキーワードを抽出しやすくなる.
また, 推定基準が重複した分類器を生成しないように, WordMover’s Distance [8] を用いて, クラウドワーカーが与えた特徴の各組み合わせについて類似度を計算し, 類似度が近いグルー
プの代表点を一つ残し, 代表点に類似した他の特徴は除去する.
重複を除去して得た各特徴に対し, インターネットを介して訓練データを収集し, 分類器を作成する.
分類器はそれぞれ 2 つのラベル（真か偽か）を出力するもの
で, 入力データが, その分類器が関連づけられた特徴を有しているか否かを推定する.
また, システム 2-AI の推定結果を評価する際の比較対象として, 正解として利用するルール表を作成するために, 各クラスが各特徴を有しているか否かをクラウドワーカーに推定してもら図 2: 提案手法の概要図を示す. 構築フェーズでは, まず分類対象の各クラスの特徴の入力をクラウドワーカーに依頼する. 得られた各特徴に関連する訓練データをインターネットから集める. 収集した訓練データを用いて, 入力データに各特徴が含まれるか否かを推定する分類器を作成する. また, 同時にクラウドソーシングで, 正解となるルール表を作成する. これらを合わせることで, システム 2-AI を構築する. 予測
フェーズでは, 構築フェーズで作成した分類器とルール表を基に, 推定結果と説明を出力する.

うタスクをクラウドソーシングで行う (図 5 参照). このタスク

4. 1 システム 2-AI 構築フェーズ

では, クラウドワーカーに各クラスの代表データを一つ示し, こ

構築フェーズの概要を図 3 に示す.

れに各特徴が当てはまっているか否か, 真か偽の二値で答えて人間が理解可能な特徴を集めるために, クラウドワーカーにもらう. タスク結果として, 得られた各クラスと各特徴に対応す

タスク画面上で国旗の画像を 2 枚示し, 右の国旗画像には含まる真偽値を基に, ルール表を作成する.

れず, 左の国旗画像にのみ含まれる特徴をテキストで, 特定の形

そして, 上記のプロセスから得た複数の分類器とルール表と式に沿って入力してもらうタスクをクラウドソーシングで行っを組み合わせることで, システム 2-AI を作成する.

た（図 4 参照）. なお, クラウドソーシングのプラットフォーム

3. 2 システム 2-AI 予測フェーズには, Amazon Mechanical Turk 3 を利用した. 左の国旗画像にのシステム 2-AI は入力データを受け取ると, 各特徴に対応する分類器に受け取った入力データを渡し, 返り値として各特徴が入力データに含まれるか否かの真偽値を受け取る. 受け取った
真偽値を, 予めクラウドソーシングで用意していたルール表と比較し, 最も一致したクラスを推定結果として出力する. この時, 推定結果の説明として, ルール表で推定結果のクラスに含まれる特徴の中から, 分類器で実際に真 (すなわち, 特徴を有している) と推定されたものを, 推定結果とともに出力する. ここで,ルール表と一致した特徴から, 真と推定された特徴のみを出力する理由は, 入力データに含まれないと推定された特徴よりも,含まれると推定された特徴の方が特徴一つあたりの情報量が多
く, 含まれると推定された特徴に絞ることで, 得られる説明が冗長となることを防ぐことができるためである.

4 実

験

み含まれる特徴を入力する目的は, クラス間で区別可能な特徴を収集することである. 各国旗の特徴を得るために，2 カ国の国旗の各組み合わせを１タスクとして, 同じタスクを 3 人のクラウドワーカーに依頼した. クラウドワーカーには 1 つのタスクに対して 0.01USD の報酬が与えられた.
クラウドソーシングの結果として, 人間が理解できる特徴（日本の国旗の場合「red circle」や「white background」など）を

2,323 個得た.
その後, 意味が重複している特徴を除去し, 重複のない特徴

299 個を得た. ここでは, 重複した特徴を除去するために, WordMover’s Distance を用いて, 収集した各特徴の組み合わせ毎に意
味的距離を算出し, 距離が 0.8 以下の場合, 重複する特徴とみなし, 意味的距離の近いグループの代表点を一つ残し, グループ内の残りの特徴を除去した. なお, 意味的距離が近いとみなす閾値
の設定は, 開発者がデータに応じて調整する必要がある.

1

次に, 各特徴の有無を推定する分類器の生成に必要となる訓2

練データを収集するために, 重複を除去した特徴を検索ワード

案手法を適用した実験 1 のワークフローと考察を述べる.

として利用し, インターネット上から, 各特徴を反映した画像

本章では, アジア 22 カ国 の国旗の画像分類を題材として, 提を収集した. ここで用いた検索ワードは, 各特徴を表すテキス
2：本 論 文 で は ア ジ ア の 国 を ア ジ ア に お け る 日 本 の 承 認 国 に 日 本 を 加
え た も の と し た.

ト (「red circle」や「white background」など) に「national ﬂag」

日 本 の 承 認 国 は 総 務 省 の ウェブ サ イ ト で 確 認 で き る.

(https://www.mofa.go.jp/mofaj/area/asia.html)

3：Amazon が提供するクラウドソーシングプラットフォーム. (https://www.mturk.com/)

図 3: 実験 1 における構築フェーズの概要図を示す. まずアジア 22
カ国の国旗画像の特徴の入力をクラウドワーカーに依頼する.
タスクの結果として得られた特徴の重複を除去し, 各特徴を検索ワードとして利用することで, インターネットから訓練デー
タを集める. 収集した訓練データを用いて, 入力データに各特徴が含まれるか否かを推定する分類器を作成する. また, 同時にクラウドソーシングで, 正解となるルール表を作成する. これらを組み合わせることで, システム 2-AI を構築する.

図 4: 各クラスが有する特徴の収集のために行うクラウドソーシング
タスクのデザインを示す. タスクの下部にはクラウドワーカーが見出した人間が理解できる特徴をテキストで入力するフィールドがある. クラウドワーカーは入力フィールドを利用して, 右の国旗画像には含まれず, 左の国旗画像には含まれる特徴を入力する. これは, クラス間の判別に有用な特徴を集めるためであというテキストを追加したものである. 例としては「red circle

る.

national ﬂag」が挙げられる. 「national ﬂag」を特徴を表すテキ
ストの後ろに追加した理由としては, システム 2-AI の推定対象である国旗画像の特徴をよく反映した訓練データを収集するためである.
集めた画像を RGB カラーモードを保持したまま 200 × 200の画像に整形し, これらを訓練データとして, 関連する特徴の有無を推定する分類器を複数生成した. 学習過程では, 正例は画像検索で収集した各特徴をよく反映した画像を利用し, 負例は他の特徴の画像を特徴毎に 1 枚ずつ抽出したものを利用した.
また, 各クラスが, 各特徴を含んでいるか否かを問うタスクのクラウドソーシング（図 5 参照）を行った. なお, このタスクは,同一のタスクを３名のクラウドワーカーに割り振り, 1 度のタス
クで 13 個の特徴の有無をクラウドワーカーに判定してもらった. クラウドワーカーには, 報酬として 0.03USD が支払われた.
このクラウドソーシングから得られた回答からクラスと特徴のルール表を作成し, 正解を表すルール表として扱った.

図 5: ルール表の作成に必要となる, クラスと特徴の対応関係の判定を依頼するクラウドソーシングタスクのデザインを示す. クラ
ウドワーカーに各クラスの代表となる画像データを示し, タス
ク下部で示された各特徴が画像データに含まれるか否かを判定した結果を入力してもらう.

図 7: 各クラスが 299 個の特徴それぞれを含んでいるか否かの判定
図 6: 実験 1 における予測フェーズの概要図を示す. 構築フェーズで,をクラウドワーカーに依頼し, 得られた回答結果を基に作成しクラウドワーカーに各国旗に各特徴が含まれるか否かの判定をたルール表と, 299 個の特徴それぞれに関連付けられた分類器依頼し, 作成した正解となるルール表と, 各分類器の推定結果をに, 各クラスの代表となる画像を入力し, 得られた推定結果を基基に作成したルール表とを比較し, モデルの精度を算出する.

に作成したルール表とを比較した結果を示す.

4. 2 システム 2-AI 予測フェーズ
予測フェーズの概要を図 6 に示す.
システム 2-AI の評価として, 人間の回答を基に作成したルー
ル表と, 各クラスの代表画像に対するシステム 2-AI の推定結果を基に作成したルール表との比較を行った. 図 7 にその結果を混同行列として示す.

4. 3 考察

ワークフローと考察を述べる.

5. 1 システム 2-AI 構築フェーズ
実験 2 における構築フェーズでは, 実験 1 で収集し, 重複除去を行った特徴とルール表を利用し, 実験 1 とは異なる方法で各特徴に関連付けられる分類器の学習を行った.
実験 1 では各特徴を表す画像 (赤丸を表す画像など) をイン
ターネットから収集し, 分類器の訓練データとしたが, 実験 2 で人間の回答を基に作成したルール表と, 各クラスの代表画像

は, 各クラスを表す画像 (日本の国旗画像など) をインターネッ

に対するシステム 2-AI の推定結果を基に作成したルール表とトから収集し, 訓練データとして利用することで, 分類器の学習の比較を行った結果 (図 7 参照), 正確率:0.80, 適合率:0.192, 再現を行った.

率:0.224, 特異率:0.876, F 値:0.207 となった. 正解率はある程度高いが, 適合率, 再現率ともに低い値であった.

各特徴に対応付けた分類器の学習に利用する訓練データとして, ルール表を基に, 正例となるデータとしては, 特徴を有する

正解率が高く現れている理由としては, 特徴を収集するクラと人間によって判定されたクラスの画像を, 負例となるデータ

ウドソーシング時に, 各クラスに特有の特徴を集めるようにタとしては, 特徴を持たないと判定されたクラスの画像を用いた

スクデザインを行ったため, 特徴全体に比べ, 各クラスに当ては(図 8 参照). なお, 正例となるデータと負例となるデータの数はまる特徴の割合が小さいことが原因であると推測できる. すな

同程度になるようにした. これら訓練データを利用して, 分類器

わち, 人間が判定した特徴のほとんどは False(Negative) であり,を生成した.

これが正解率を高める要因となっている.
この結果で重要視すべきは, 適合率, 再現率であり, 両方の値が低い値を示していることから, 入力データに存在しているはずの特徴を正しく検出できていないことである. この原因としては, 各特徴に関連付けられた分類器の性能が悪く, 分類器の学習に用いた訓練データが適していなかったことが原因であると各特徴に関連付けられた分類器の性能を向上させるためには,今回の手法のように, 各特徴を反映した画像を収集するのではなく, 各クラスの画像を収集し, 各特徴に関連付けられた分類器の訓練時に, クラスの画像と, その特徴がクラスの画像に含まれているか否かのラベルとを入力として与えることで, 精度の向上を図ることが方法として挙げられる.

験

実験 1 と同様に, システム 2-AI の評価として, 人間の回答を基に作成したルール表と, 各クラスの代表画像に対するシステ
ム 2-AI の推定結果を基に作成したルール表との比較を行った.
図 9 にその結果を示す.
実際にシステム 2-AI に国旗の画像を与え, 299 個の分類器そ推論できる.

5 実

5. 2 システム 2-AI 予測フェーズ

2

本章では, 実験 1 の考察を踏まえ, 各クラスを表す画像を訓練データとして用いることが, 特徴に関連付けられた分類器の性能の向上に有効であるか検証を行った実験 2 について, そのれぞれで関連する特徴の有無を推定し, 得られた結果を人間の回答を基に作成したルール表と比較した. 比較の結果, 再現率の高いクラスから順にランキング形式で推定結果と推定結果の説明を出力した. この出力結果の例を図 10 に示し, 各国旗の代表
画像全体を評価した時, 正解のクラスがどの順位に現れたかを図 11 に示した. なお, 推定結果の説明としては, 人間の回答を基に作成したルール表で真 (特徴を有する) と判定されており, かつ分類器でも真と推定された特徴を説明に起用した. また, 再現
率をランキングに利用した理由としては, クラスによって含有する特徴の個数にばらつきがあり, このばらつきを考慮するためである.
システム 2-AI の推定結果の説明の正確性の評価を行うため

図 9: クラウドワーカーの回答結果を基に作成したルール表と, 各クラスの代表画像に対する各分類器の推定結果を基に作成したルール表とを比較した結果を示す.

特徴を表す画像を訓練データとして利用していたが, 実験 2 では, 特徴を有すると人間によって判定されたクラスの画像を訓練データとして利用したため, 画像の特徴部分のみを正しく学
図 8: 実験 2 における構築フェーズの概要図を示す. アジア 22 カ国習したのではなく, 特徴を有すると人間によって判定された複の国旗画像の特徴の入力をクラウドワーカーに依頼する. タス

数のクラスの画像間で共通する特徴以外の部分も学習し, 推定

クの結果として得られた特徴の重複を除去し, これら特徴を基を行ったことが一因であると推察できる.

にクラウドソーシングで特徴とクラスの対応表 (ルール表) をまた, 推定結果 (図 10, 11 参照) に関しては, 概ね正しい結果作成する. ルール表を利用し, インターネットから収集した各国が出力された. なお, 推定結果の定量的評価として, ランキング

旗クラスを表す画像を, 正例と負例に分け学習し, 特徴毎に分類器を生成する. 分類器とルール表を組み合わせることで, システ
ム 2-AI を構築する.

に, クラウドワーカの回答を基に作成したルール表が正確か否かの検証と, 推定結果の説明に含まれる特徴が正確か否かの検証を行った. クラウドワーカの回答によるルール表の検証方法
としては, 執筆者と研究室内で募集した実験協力者 1 人の計 2
人が, それぞれルール表を作成し, この２つのルール表の論理積を取ることで, １つのルール表としたものを, クラウドワーカの回答を基に作成したルール表と比較することで行った. また, 推定結果の説明の検証方法としては, クラウドワーカの回答を基に作成したルール表と分類器の両方に真と推定された特徴が推定結果の説明の構成要素となっており, これらの特徴の中で執筆者と研究室の実験協力者の 2 人の回答を基に作成したルール
表においても真と推定されたものを正確な特徴としてみなし,
正確な特徴が説明に含まれる特徴に占める割合を調べることで評価を行なった.
また, 推定結果の説明の冗長性の評価としては, クラウドワー
カの回答によるルール表と, 執筆者と研究室の実験協力者の回答によるルール表の論理積を取り作成したルール表から, 各ク
ラスに特有な特徴の組み合わせを取得し, 実際の推定結果の説明に含まれる特徴が, そのクラスを推定するのに必要十分か検証することで行なった.

5. 3 考察5. 3. 1 システム 2-AI の性能評価
人間の回答を基に作成したルール表と, 各クラスの代表画像に対するシステム 2-AI の推定結果を基に作成したルール表との比較を行った結果 (図 9 参照), 正解率:0.983, 適合率:0.894, 再現率:0.965, 特異率:0.985, F 値:0.928 となった. 実験 1 とは異なり, 全ての指標が高い値を示した.
しかし, これら算出した指標の内, 適合率のみが他の指標の値よりも, 少し低い値を示した. この理由としては, 実験 1 では,の評価指標として利用される MRR を算出すると, 0.977 を示した. なお, MRR は順位の逆数の平均をとったもので, 0 から 1 の値を取り, より 1 に近いほど, 正確に推定ができていることとな
る. MRR の値 0.977 は, 平均的に, ランキング 1 位に正しいクラスが位置していることを示している. ゆえに, 推定結果全体として見るならば, まずまず正しい推定ができている.
以上のことから, 各特徴に関連付けられる分類器の学習に, 特徴を有すると人間によって判定されたクラスの画像を訓練データとして利用することで, システム 2-AI の精度の向上を見込めることが示唆された.
しかし, 前述したように, 画像の特徴部分のみを正しく学習したわけではなく, 特徴を有すると人間によって判定された複数のクラスの画像間で共通する特徴以外の部分も学習したと推測できるため, 今後の課題として, 運用環境での入力データのトレ
ンドの変化など, 未知のクラスの入力データが与えられた場合に対し, 正しく特徴を認識できるか検証することや, LIME [9] などの手法で, 画像のどの部分が大きく推定結果に影響しているかを見て, 正しく特徴を学習できているか検証することが挙げられる.

5. 3. 2 推定結果の説明の評価
推定結果の説明の評価として, 理想的な説明の条件として挙げた, 正確性, 非冗長性, 人間による理解可能性の３つの観点か
ら評価を行なった. 正確性に関しては, クラウドワーカの回答か
ら作成したルール表と執筆者と研究室内で募集した実験協力者の 2 人から作成したルール表を比較することで行なった. 結果
としては, 正解率:0.90, 適合率:0.39, 再現率:0.67, 特異率:0.92, F
値:0.50 となった. 再現率が 0.67 であり, 7 割近くの正確な特徴
をシステム 2-AI が認識できていることになるが, 一方, 適合率が 0.39 と低く, システム 2-AI の性能評価でも述べたように, これは特徴部分だけではなく, その特徴を含むクラス全体を表した画像を訓練データの正例として使ったため, 特徴部分以外も学習してしまったことが影響していると推察できる.
また, 説明の正確さの検証を, クラウドワーカと分類器, そし図 10: システム 2-AI にモルディブ (Maldives) の国旗画像を入力デー
タとして与えた時の推定結果と, 推定結果の説明を示す. なお,
推定結果のランキングは, 入力データに対する推定結果を再現
率が高いものから順に並べたものである.

図 11: システム 2-AI に各国旗の代表となる画像を入力として渡し,推定を行った結果, 本来推定されるべき正しいクラスが, ラン
キングのどの順位に現れたかをグラフで示す.

て執筆者と実験協力者によって真と推定された特徴を正しい特徴として見なして行なった. その結果, 図 12 に赤文字 (下線部) で表した特徴が正しい特徴であり, 図で例として挙げているモルディブにおいては, 説明に用いられる特徴の内, 正しい特徴の割合は, 0.48 となった. また, 赤丸で囲んだ特徴のように,「while moon’s picture」の「while」は「white」の誤字であり, また, 「a red stripe」のように, 縞模様を表す特徴が, 縞模様の無い
モルディブの国旗に対し, 検出されてしまっているなど, 説明と図 12: 赤文字 (下線部) は, 説明に用いられる特徴の中で, クラウド

して不適切な特徴が含まれてしまっていた. これを改善するに

ワーカと分類器, そして執筆者と実験協力者の 2 人に, そのクは, クラウドワーカから特徴を収集する段階や, クラウドワーカにクラスと特徴の対応を推定してもらう段階で, クラウドワー
カの回答を, 他のクラウドワーカに検証してもらう工程を取りラスが有する特徴として推定されたものである. 正解率は, 説
明に含まれる特徴数に占める, 正確な特徴の割合である. また,
赤丸で囲まれた特徴は, 誤字や, 本来含まれない特徴であり, 不適切と見做せる例を挙げたものである.

入れるなどの対策が必要である.
説明の冗長性の検証を, クラウドワーカの回答を基に作成したルール表を基に, 各クラスに特有の特徴の組み合わせを見つけることで行なった. その結果, 図 13 の赤丸で囲まれた特徴のみ推定できていれば, モルディブであると特定することができ,
モルディブの説明は冗長であることが判明した. 一方で, ラオスの説明で利用されている特徴の全ては, クラウドワーカの回答を基に作成したルール表では, モルディブにも当てはまってし

図 13: モルディブの推定結果の説明の内, 赤丸で囲まれた特徴のみがまうため, ラオスとして推定するには説明が不十分である結果推定できれば, 他の特徴は推定できなくても, モルディブであになった. これを改善するには, クラスに特有な特徴の組み合わると推定できる. 一方, ラオスの推定結果の説明に現れる特徴

せの中から, 推定結果に一致するものを起用すれば, 説明を非冗の全ては, クラウドワーカにモルディブに含まれると推定され長にすることができると推察できる.
説明の人間による理解可能性については, クラウドワーカがている特徴でもあるため, ラオスと推定するには, 説明として不十分となっている.

各国旗を見て認識した特徴を利用しているため, 各特徴に関しては, 理解可能であると推察できる. しかし, 説明が冗長であり,を出力すると, 半数程度は正しいことが判明した. 我々の提案手

入力画像が含むと推定された特徴の列挙になってしまっている

法は, 正しい推定結果と, 推定結果の説明を出力できる可能性がため, 説明の要点を得にくくなっている. ゆえに, 改善策としてあると推察できるが, これと同時に, 個々の分類器の精度というは, 冗長な特徴を減らし, 説明として必要十分かの評価も説明に大きな問題があることも明らかとなった.

含めることで, 理解可能性の向上を図ることなどが挙げられる.

そこで, 実験 2 では, 分類器の学習で利用するデータを各特徴
ではなく, 各クラスに関係するデータを用いることで精度の改6 まとめと今後の課題

善を図った. これにより, 分類器の精度は高くなったが, 分類器が関係する特徴以外の部分を見て推定を行っている可能性もあ

実験 1 の結果から, 各特徴に関連付けられた分類器の訓練がる. ゆえに, LIME [9] などの手法で特徴のみを正確に学習できて

適切ではなかったこと, その一方で, 実際に推定結果とその説明いるか検証を行うことや, Multiple instance 学習 [10] を利用する

ことで, 画像内の特徴の領域をアノテーションした訓練データを用意することなく, 特徴のみを自動的に学習させることなどが, 今後の改善策として挙げられる.
他の課題として特徴の重複の除去方法が挙げられる. 提案手法では Word Mover’s Distance を利用し, 特徴間の意味的距離が近いものを重複と見なし除去していたため, 開発者が意味的距離について, 重複とみなす距離の閾値を設定する必要があった.
一方, 特徴の重複除去に, Word2Vec [11] で特徴を表すテキスト
データをベクトル化した後, クラスタリングを行い, 各クラスタの代表点を取得する方法を利用することで, 開発者の主観の介入を防ぎ, また, 重複除去後の特徴数を設定できるようになる.
本研究の次のステップとしては, 上記の課題の改善に加え, シ
ステム 1-AI とシステム 2-AI の連携が挙げられる. 正解となる
ルール表から, 各クラス特有の特徴または特徴の集合を予め検出しておき, システム 1-AI の推定したクラスをシステム 2-AIが受け取り次第すぐに, そのクラス特有の特徴に関連付けられた分類器で推定を行うことで, システム 2-AI 単体で推定を行うよりも, 時間コストを大幅に減少させることができると推察できる.
また, 手法の評価に関しては, 本論文では, システム 2-AI の全体としての精度を利用したが, その他にも, 本研究では多くの分類器を利用し推定を行うため, 計算コストや時間コストを考慮した評価も取り入れる必要がある. 以上のことが今後の課題として挙げられる.

謝辞本研究の一部は, JST CREST JPMJCR16E3 と JST 未来社会創造事業 JPMJMI19G8 の支援を受けたものである. ここに謝意を
示す.

文

献

[1] Pang Wei Koh and Percy Liang. Understanding black-box predictions via inﬂuence functions. In Proceedings of the 34th International Conference on Machine Learning (ICML2017), pp. 1885–
1894, 2017.
[2] Lisa Anne Hendricks, Zeynep Akata, Marcus Rohrbach, Jeff Donahue, Bernt Schiele, and Trevor Darrell. Generating visual explanations. In Computer Vision (ECCV2016), pp. 3–19, 2016.
[3] Peter Hase and Mohit Bansal. Evaluating explainable ai: Which algorithmic explanations help users predict model behavior? In Proceedings of the 58th Annual Meeting of the Association for Computational
Linguistics (ACL2020), pp. 5540–5552, 2020.
[4] Daniel Kahneman. Thinking, FAST AND SLOW. Farrar, Straus andGiroux, 2011.
[5] Leo Breiman. Random forests. Machine Learning, Vol. 45, No. 1,
pp. 5–32, 2001.
[6] Justin Cheng and Michael S. Bernstein. Flock: Hybrid crowdmachine learning classiﬁers. In Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing(CSCW2015), pp. 600–611, 2015.
[7] Morishima Atsuyuki, Fukusumi Shun, and Kitagawa Hiroyuki. Cylog/game aspect: An approach to separation of concerns in crowdsourced data management. Information Systems, Vol. 62, pp. 170–
184, 2016.
[8] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, and Kilian Q. Wein-berger. From word embeddings to document distances. In Proceedings of the 32nd International Conference in Machine Learning(ICML2015), pp. 957–966, 2015.
[9] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. ”whyshould i trust you?”: Explaining the predictions of any classiﬁer. In
Proceedings of the 22nd ACM SIGKDD International Conference on
Knowledge Discovery and Data Mining (KDD2016), p. 1135–1144,
2016.
[10] Thomas G. Dietterich, Richard H. Lathrop, and Tomás LozanoPérez. Solving the multiple instance problem with axis-parallel rectangles. Artiﬁcial Intelligence, Vol. 89, No. 1, pp. 31–71, 1997.
[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efﬁcient estimation of word representations in vector space. In Proceedings of the International Conference on Learning Representations (ICLR2013), 2013.