−●

現在の差別禁止法に則していない可能性がある。

第3章

説明可能性 インプットとアウトプットの間にある領域

エンジニアリングチームや製品開発チームの多様性を高める（もちろん、シニア AI リーダーの多様性も高める）ように努める必要がある。しかし効果やスピードの観点から、これをバイアスの特定と緩和の主要な戦略にすべきではない。

あなたは理想通りの家を見つけ、その足で住宅ローンを組もうと銀行に向かう。融資担当者の前に座り、氏名、生年月日、職歴など、求められた情報を申込書に記入する。さらにクレジットカードの明細書と給与明細、行っている投資のポートフォリオに関する情報などを提出する。融資担当者は受け取った紙の束を、コピー機のようなマシンの片側から投入する。マシンは瞬時に紙を吸い込み、ウィーンと音を立てると、1 枚の紙をプリントアウトする。そこにはこう書かれている──却下。
「申し訳ございませんが、住宅ローンのお申し込みはお断りさせていただきます」と、融資担当者が告げる。
理想の家を見つけたというあなたの興奮は、悲しみと混乱に変わる。「どうして？」とあなたは尋ねる。
「マシンがそう判断したからです」と担当者は答える。そしてもっと説明しろと言うあなたにこう告げる。「お客様にご提出いただいたデータをすべてインプットしました。マシンはそれを他のお客様のデータと比較したのです。承認された人、却下された人、貸し倒れになった人、返済した人と比較したところ、お客様のデータは明らかに貸し倒れになった人のものと似ています」
66

67

第3章

この時点で、あなたの混乱は怒りに変わっている。
「自分の申請のどこが悪くて却下されたのか知りたい。ふざけないでくれ……説明しろ！」

説明可能性

インプットとアウトプットの間にある領域

技術的アプローチに注目するのではなく、またすべての AI 倫理に関する声
明に「説明可能性」や「透明性」という言葉をつけて、会議の講演者たちにしかし激しい怒りもむなしく、あなたは行き詰まる。融資担当者が説明をブラックボックスの存在を非難させる前に、一歩下がって大局を見よう。な

拒否しているわけではない。説明できる人物を出すのを拒否しているわけでぜなら、これから見ていくように、ML のアウトプットが説明可能であるこもない。誰も説明できないのだ。マシンはブラックボックスで、どのようにとは必ずしも重要ではなく、また説明において、インプットとアウトプットアウトプットが行われるのか、中をのぞくことはできないのである。の間で起こっていることは必ずしも必要ではないからである。

このような状況を受け入れがたいと感じるのは、あなただけではない。しかしこれは、多くの機械学習（ML）アルゴリズムで発生している状況だ。
多くの場合、アルゴリズムを開発した人でも、そのアウトプットを説明することはできない。そしてより多くの人々が、ML のアウトプットを説明できるようにせよと要求するようになっている。それがブラックボックスである

説明を分解する
先ほど取り上げた、理想の家を買う夢が破れたという例を再び考えてみよう。そうなるまでに、いろいろなことが起こっている。

ことを拒否し、透明な箱になることを望んでいるのだ。
問題は、顧客や従業員らに不満をもたらすことだけではない。場合によっ1.

少し前、自動化の時代が始まる以前は、銀行の該当部署は住宅ローンては、住宅ローン審査の結果など、決定に対して説明をすることが法的に義申請書のフォーマットを用意し、申請者に対して自分に関する情報を務付けられていることもある。今後、ますます多くの AI による意思決定に書き入れるよう求め、その情報に基づいてローンを承認すべきか否か対して、同様の義務が生じると覚悟しておいた方がいい。決定の対象となっを判断する、簡単なディシジョンツリー（決定木）を作成していた。

た人々の前ではなく、あなたの開発した AI に差別されたという訴えを起こ

2.

で更新されてきた。

した人々の弁護士の前に立たされたとき、住宅ローンや面接、保護観察を却下した理由を説明したい、説明できないと、とあなたは思うはずだ。他にも

3.

銀行は、どのローン申請者が住宅ローンを滞納したか、あるいは無事に完済したかを追跡している。

従業員から、「なぜ私は昇進できなかったのか」、「なぜ欠員のあるポジションに自分が就けなかったのか」といったことに説明を求められるケースもあこの申請書は、長年にわたり、さまざまな人々によってさまざまな形

4.

少しすると、何万件という申請が承認され、却下される。そしてどのるだろう。そのような場合に説明できないでいることは、倫理的リスクであローンが完済されたか、あるいは不履行になったかを、銀行は把握すると同時に、評判・規制・法的リスクにもなり得る。

る。

AI における説明可能性の議論は、一般的に、非常に狭い範囲に限られて5.

ーサインを出す。

いる。バイアスの場合と同様、議論の中心となっているのは、ブラックボッ
クスの中をのぞくためのさまざまな技術的アプローチだ。このアプローチは非常に難しく、場合によっては不可能とさえ言われている。しかしそうした
68

ML を使って融資審査を自動化するのは良いアイデアだと、誰かがゴ

6.

銀行は手元にある過去の情報をすべて利用することにする。また彼らは、申請に関係すると考えられる他の情報も集められることに気づい
69

第3章

7.
8.
9.

説明可能性

インプットとアウトプットの間にある領域ている。たとえばソーシャルメディアのデータ（申請者がどんなソー選んだのだろうか？

シャルメディア・サイトを使っているか、そこでどのくらいの頻度でその更新の妥当な理由として、どんな問題やきっかけがあったのか？

投稿や他人の投稿へのコメントを行っているか、誰の投稿にコメントジニアやデータサイエンティストは、なぜソーシャルメディアのデータが関しているか）などだ。

連するかもしれないと考えたのか？

銀行のチームは、このタスクに適していると思われる学習アルゴリズ

小学校のデータが関連すると思わなかったのだろうか？

ム（すぐに利用可能なものが多数ある）を選択する。

ルゴリズムを選んだのか？

選択されたアルゴリズムは、膨大な量のデータを解析し、数千のデーそのようなアウトプットを行ったのか？ なぜ 3.74 が閾値なのか？ なぜ

タポイントからパターンを見つけ出すことに長けている。

3.76 パーセントや 12.8 パーセントではないのか？ 経営陣はどのような根ML は、申請者ごとに住宅ローンが不履行になる確率を 0 から 1 の間拠で AI の導入を承認したのか？

でアウトプットする。たとえば 0.3345 は、不履行が起きる確率が 3れない）に対する回答が集まって、あなたがローンの審査で落とされた理由

分の 1 より少し上であり、0.0178 なら 2 パーセント弱、といった具合の大きな説明となるのである。

である。

なぜその基準は何年もかけて更新されてきたのか？
エン

なぜ他のデータ、たとえば通っていたどうやって学習ア

なぜモデルは、与えられたインプットに対してこうした質問（他にも考えられるかもし

これらの質問と、それに対する答えがすべて揃ったところで、さらに 2 つ10. チームは、不履行の確率が 3.74 パーセントより高い人に対して、住の質問がある。

宅ローンの申請を却下すべきであると決定する。つまり 3.74 パーセントは承認すべきか否かの基準である。

1.

11. 銀行の経営陣は AI の導入を承認する。

人々が ML のアウトプットの説明を求めるとき、彼らは何を求めているのか？

12. 融資担当者のマーヴィンが、あなたの申請が却下されたことを告げる。

2.

そうした説明の中で、何が最も重要なのだろうか？

13. あなたの弁護士が、汗びっしょりで宣誓証言を行う主任技術者をにらみつけ、なぜ住宅ローンを拒否されたのかの説明を求める。
14. また、あなたは黒人だ。

ブラックボックスを解明する
住宅ローン申請を却下された理由についての説明の大部分は、「人々がなこれだけ端折った説明からでも分かるように（皆さんが考えもしないような判断ポイントをこの中にもっと追加できた）、なぜあなたのローン申請がぜそのような決定をしたのか」を理解するための内容となっている。これを「人間による説明」と呼ぶことにしよう。

却下されたかということについてどんぴしゃりの説明はあり得ない。という人間による説明がどのようなものかは、見当がつくはずだ。「自動化するより、無数の出来事からなる 1 つの大きな説明があり、そしてその無数の出ことにしたのは、申請の数が処理できる限界を超えつつあったからです。ソ来事に対して、小さな説明が存在しているのだ。要するに、こんな具合だ。

ーシャルメディアのデータに関連性があると考えたのは、そこからローンのローン申請書を最初に作成した融資担当者は、審査基準をどのような理由で返済を予測する行動パターンを明らかにできるかもしれないと判断したから47044444471

第3章

説明可能性

インプットとアウトプットの間にある領域です。3.74 パーセントを閾値として設定したのは、アウトプットのクラスれば、ペペの画像ではない」という大まかな「ルール」を学習す

タリングの方法と、当行のリスクアペタイト〔ある組織において、受け入れらるのである。マシンによるこの種の説明を、「グローバル説明」れるリスクの種類や量を示したもので、それぞれの組織内でリスク分析を行った上と呼ぶ。

で設定される〕を組み合わせて判断した結果です」といった具合だ。さらなる説明を求めることもできる。「単に応募数に上限を設けるか、申請を処理する担当者を増やせばいいのでは？

ソーシャルメディアのデータに関連性があるかもしれない、などという賭けに出たのはなぜか？」などのように。
その一方で、「マシンによる説明」というものがある。これは少し奇妙な●これらのインプットを与えた場合に、なぜこのようなアウトプットが得られたのか？
−なぜ固有のプロファイルを持つあなたは、住宅ローンの申し込みを却下されたのか？

転職を繰り返していたからだろうか？

5存在だ。上記の 8 番目の説明に関連するもので、私たちが求めているのは、年前に無謀運転という軽犯罪で起訴されていたのが悪かったのモデルがどうやってインプットからアウトプットを導き出したのかという説か？ クレジットカードを使い過ぎたから？

ある男性の SNS明である。これについて、念頭に置いておかなければならない質問が 2 つあに大量のコメントを書き込んだことが原因か？

この種の質問にる。

対するマシンによる説明は、「ローカル説明」と呼ばれる。

●

インプットをアウトプットに変換するルールはどのようなものか？
−72

ML は複雑なパターンを認識してくれる。実際、人間の理解を超えるほどインプットに使用する大量のデータがあるとする。ML モデルは複雑なパターンでも処理できる。たとえばあなたは、画像に含まれるピクセそのデータを取り込み、データの中に存在しているさまざまなパルの数と、それらが他のピクセルとどのような数学的関係にあるのかを理解

ターンに気づいて、アウトプットを行う。たとえば、あなたの愛して、ある画像を「これはペペ」もしくは「ペペじゃない」と判断できる法

犬ペペがどのような外見をしているか、1000 枚の画像を使って則を見つけることができるだろうか？

ML を学習させたとしよう。ML はそれぞれの画像をピクセル単はペペ」と判断した理由を理解することは？

あるいは特定の画像を ML が「これそんなのは無理、の一言だ。

位で分析し、たとえば 373 番のピクセルがどうなっているか、そこれが人間による説明と、マシンによる説明の違いである。私たちは人間のピクセルと他のピクセル（そして他の何千ものピクセル）の間による意思決定について、私たちが理解できる言葉で説明する。私たちは、にどのような位置関係があるかを分析し、あなたの犬がどのようその説明で明確にされた関係性を把握できる。ローンの申し込みが殺到したに見えるか学習した。たとえば犬が座っている画像では、このピら、その問題に対して、自動化を含むさまざまな解決策が検討されるようにクセルが他のピクセルに対してこういう関係になる、あるいは立なることを理解できるわけだ。しかしマシンによる説明はというと、それはっている画像では、別のピクセルが他のピクセルに対してこうい私たちにとって極めて複雑なものである。そこに登場する変数の数と、それう関係になる、といった具合である。つまり「ピクセルがこういらの間に存在する関係性の数の両方が、人間の貧弱な頭脳を混乱させる。たうふうになっているとき、それはペペの画像であり、そうでなけとえ、この複雑さを表す数学的言語を概ね理解できたとしても、である。
73

第3章

説明可能性

インプットとアウトプットの間にある領域

人が説明可能な AI を求めるとき、彼らは何を求めているのか、これで理そうした人物が（どの説明がいつ重要となるかをどう判断するか）検討す解できただろう。それは人間による説明か、マシンによる説明か、あるいはる上で参照すべきことは、そもそもなぜ説明が重要なのかということに左右その両方である。そして人がマシンによる説明を求めるとき、彼らはグローされる。

バル説明、ローカル説明、あるいはその両方を求めている。
いっそのこと、すべての説明を常に行うのがよいのではないかと思うかもしれない。しかしマシンによる説明を手にするには、それなりのコストがか説明の重要性かり、他にリソースを割きたいこともあるだろう。最も重要なのは、説明可

あなたは結婚している。自分で思う限り、妻との関係はそれなりに上手く能なモデルという目標を達成するためには、精度の低下という代償を払わないっているようだ。DV はなく、笑いがあり、親密な時間も少なくない。しければならないことが多いという点である。なぜそうなるのかというと、簡かしある日、あなたが目を覚ますと、配偶者が荷物をまとめて出ていこうと単に言ってしまえば、まさに ML の精度を上げるための特徴が、私たちの理している光景が目に入ってきた。

解度を下げるからだ。その特徴とは、ML が理解するパターンの複雑さである。他の条件を同じにした場合、データが多ければ多いほど、ML はより多「何してるの？」とあなたは尋ねる。

くの（複雑な）パターンを認識できるようになり、その結果、精度が向上す「別れましょう。ペペは連れていくから」る。別の言い方をすれば、他の条件が同じであれば、学習する例が多ければ「どうして？」とあなた。

多いほど良いということである。しかし ML がより多くのデータとより多く「別に」と彼女は答え、犬を従えてドアから出ていく。の（複雑な）パターンを見つければ見つけるほど、何が起きているのかを理解できる可能性は低くなる。説明可能性を向上させれば、精度は低下する。
その逆もしかりだ。

（1）

このことは、私たちに新たな「コンテンツからストラクチャーを導く教訓」を示している。

あなたは怒り出す。何しろ、住宅ローン申請を却下した銀行を訴えて勝訴し、夢のマイホームに引っ越したばかりなのだから。しかしその広い室内は、あなたの孤独を嘲笑うかのようだ。
深夜 3 時、カリフォルニアキングサイズのベッドの上で横になるあなたの頭に、「どうして？」、「どうして彼女は自分を捨てたんだ？」という疑問がコンテンツからストラクチャーを導く教訓 5

何度も浮かぶ。この疑問への答えを求めるのには、少なくとも 3 つの理由がある。

特定のユースケースにおいて、人間による説明、マシンによるグローバ

第 1 に、何の説明もないというのは失礼だ。あなたは投げ捨ててしまってル説明、マシンによるローカル説明のどれが重要なのか、もしくはそのいいような物ではない。あなたは価値のある人間であり、その価値を示すもすべてが重要となるかの判断をする、適切な人物が必要。のとして、説明を受ける権利がある。説明を拒否して立ち去るのは、傷口に塩を塗るような行為だ。

74

75

第3章

説明可能性

インプットとアウトプットの間にある領域

第 2 に、もし説明があれば、それに対して何か手を打てるだろう。彼女がしかし、説明可能性の重要性を示すこれら 3 つの理由は、私たちに明白な出ていく理由は、あなたが自分に関心を持っていないと感じたからではない指針を与えてくれるわけではない。忘れてはならない──説明可能な ML をか？

実現するにはコストがかかる。説明可能性の重要性と、精度のような他に考

それならば、家に帰ったら携帯電話の電源をオフにすると約束したら、彼女の気が変わるかもしれない。それともロマンティックな雰囲気が足りな慮すべき事項、そして説明可能性の実現に割くことのできる（あるいは足りかったのか？

それならば、もっとロマンティックになれるように頑張るこない）リソースとの間でバランスを取る必要があるのだ。場合によっては、とができる。ロマンスについてアドバイスしてくれる人はいるだろうか？

マシンによる説明は必要ないという判断をするかもしれない。またマシンにググってみよう。それとも住宅ローンを払うのに手いっぱいで、苦しい暮らよる説明は「必要」ではなく「あればよい」程度だと考えるかもしれない。

しをさせていたからだろうか？

一方で、それが必要不可欠な場合もある。

それならばいっそ家を売ってしまって……

ちくしょう、どうせあの銀行は最悪だったし、不履行にしてマーヴィンが正

このような判断と同様に、それぞれのユースケースにおいて説明可能性がしかったことを証明してやろうか。それで彼女と一緒にコスタリカへ逃げる

どのていど重要かを判断するための単純なディシジョンツリーは存在しない。

ことだってできる。

しかしその重要性が分かっていれば、どのように検討すればいいのかを理解

第 3 に、共同生活していく上での一般的なルールを知り、そのルールが対応可能なものかを考えたい。自分に何が期待されているのか？

仮に今日、何かひとつ解決できても、明日には別の問題が起きるのだろうか？ 「ここではどのようなルールに従わないといけないんだ？

できる。次に、マシンの説明可能性が問題になる場合と問題にならない場合を、それぞれいくつか示して解説しよう。これらは厳密なルールではなく、経験則であることがお分かりいただけるだろう。

私の母についてできることは何もないから、もしそれが関係しているとしたら、本当に不公平だ。
あるいは母のせいではないのかもしれない……けっきょく『育ってきた環境が違う』って言ってたのはこのことなのだろうか。最初からずっと『私は白人だけどあなたは黒人』という関係性があったのか？」

44

4

4

マシンの説明可能性が問題にならない場合
人がどう扱われるべきかについての決定を、開発したモデルが直接的に行わない場合

これら 3 種類の懸念は、ML のアウトプットにおいても起きる可能性があ

玩具の工場に出荷するネジの納期を予測するために、ML を活用するといる。融資や面接を受けられる人を判断したり、表示する広告を決めたり、マうケースを考えてみよう。この場合はおそらく、それほど大きな倫理的リスッチングアプリで誰にどのユーザーを紹介するかを決めたりする ML があっクはないだろう。予測するのは人間に関する事柄ではなく納期であり、またたとしたら、あなたはその決定の裏側にある説明を求めるだろう。それは敬その予測が間接的に誰かの扱いを悪くすることにつながったとしても（遅延意を示すものだからであり、決定を変えたいと思ったら何ができるかを考えがあった場合に誰かが非難されるなど）、サプライチェーンに関する予測は、るのに役立つからであり、また押し付けられたルールがそもそも公平なもの

倫理的リスクを本質的に抱えるものではない。ここで気にすべきは精度であかどうかを判断したいと思うからである。融資を断られたのは、自分が黒人り、マシンの説明可能性を優先させる必要はないと、合理的に判断できる。

だったからなのだろうか？

ここで説明可能性が重要だと考えられるケースは、たとえば「説明可能なモ7677