AIの説明責任って何だよ

はじめに
--------

これを qiita に書くのはちょっと違う気もするんですが、他に書くところを思いつかなかったので書かせていただきます。

11/26付けの日経新聞電子版の記事『[AIの判断、企業に説明責任　ルール作りへ政府7原則 ](https://www.nikkei.com/article/DGXMZO3818677026112018MM8000/)』 が話題になっているみたいです。

肝心の記事自体には見出し以上のことは書いていません。ネット上の反響を見ても、[一見関係のありそうな自分の知識を披露してるだけの知ったかぶり屋などが散見される](https://twitter.com/search?q=ai%20%E8%AA%AC%E6%98%8E%E8%B2%AC%E4%BB%BB&src=typd)だけで、具体的にどうするのか、どういう経緯で議論されたのか、結局どういう意味があるのか誰も言及せず、さっぱりわかりません。

現状では有識者会議の段階で具体的な施策は何も提案されてないだけかもしれませんが私なりに調べてみました。素人解釈かもしれないのでご容赦を。

議事録をざっと読んでみる
------------------------

記事には「人間中心のAI社会原則検討会議」という名前が出てきます。これで検索して出てきた内閣府のサイト内にある[公開資料](http://www8.cao.go.jp/cstp/tyousakai/humanai/index.html)をあたります~~(それにしてもこういう政府の会議資料は議事録以外何を書いているのか全く読み取れないですね)。~~

しかし全部に目を通すのは大変なので、議事録だけを重点的に読んでみました。現時点で公開されている第5回までの資料を見てみます。

数回の会議を通して、AIの利用に関する説明責任について議論しているものの、具体的な案に落とし込めているというよりも、意見交換の段階のように思えます。また、参加者がAIに対して無理解であるゆえに説明責任を求めている、という様子もありません。議事録の流れを見ると、例のニュース記事は勘所のわからない記者が内容を適当にまとめただけのように見えなくもないです。

まず、議事録で何度か指摘されているように、「説明」「責任」という語が多義的あるいはあいまいで議論になってない、というのが重要です。第4回議事録の44ページで、慶応大学の大屋氏が説明責任という言葉の意味について解説しています。

> 一つは、アカウンタビリティを「説明責任」と理解する場合には、そこで求められているのは意味関係に関する描写であり、因果関係に関する描写ではないということです。典型的な区別の例を挙げますと、「彼は歩道の脇に寄って近寄ってくる車に向けて手を上げた」というのが因果関係の描写であり、「彼はタクシーをとめた」というのが意味関係の描写です。基本的にアカウンタビリティが問題になる局面で我々が求めているのは後者、つまり、理由とか意味をめぐる描写なので、(中略) 因果関係のプロセスとしては解明可能であるというのは、丸山構成員がご指摘になったことで、そのとおりだと思いますが、それを超えた何かを我々は求めている、というのが1つ目です。もう一つは、さらに、その理由は、正当なものであることが含意されています。つまり、例えば裁判官のアカウンタビリティといったときに、「何でこの判決出したんですか」と聞いたら「機嫌が悪かったんです」と答えてもアカウンタビリティを果たしたことにはならないわけです。 How ではなくて Why の問いに答えること、その Why の内容が正当なものとして認められることがアカウンタビリティの要求であるというのが2つ目の話です。

> ところで、そのアカウンタビリティを「説明責任」と訳すのはまずい、と我々の業界では昔からずっと言っているのではありますが、これは日本語が貧困なので仕方がないのです。つまり、ここは本当に致命的なのですが、「責任」という言葉は欧米にはありません。日本語では欧米にある多様な概念を全て「責任」の一語に落とし込んでしまったので、理解できなくなっているのです。アカウンタビリティについて言うと、説明をするというのは1つ目の局面です。もう一つの局面は、正当な理由であるところの「説明」が与えられなければ償えというのがアカウンタビリティです。ですから、きちんと説明をするか金を払うようにしとけ、というのがアカウンタビリティの典型的な方策である。

また、第3回議事録の5ページで理化学研究所の中川氏が、説明責任というのは単にAIの技術的問題にとどまらないことを指摘しています。

> 実は説明責任という言葉を一つ使ったことによって、そこで思考停止してしまっているのではないかという気が前々からしています。説明責任を果たしたというので、果たしてそれでおしまいかというと、実は説明をされた側、AIの利用者であったり、AIのベネフィット、あるいは悪意を受けた人であったりが、説明をされたことによって、その行動、AIの動きを納得できるというところまで保証してあげないと、実は本当の意味で説明責任にならないと。実は、これは説明責任という言葉で思考停止したときに、その先を考えると非常に難しい話でありまして、それを人間技でできるかというと、なかなかこれは難しくて、やはりそこはAIの力に頼るような説明責任の実装というのを、考えざるを得ないだろうと。これは、意外と世の中、あるいは諸外国を通して、あんまり議論されていないようです。

第1回の議事録の24ページでは、中央大学総合政策学部教授の平野氏が、さらに別の観点から述べています。

> ある一流企業の方から、「ロボットはすぐに生活支援に実用できますが、一つでも事故が起きると、企業のリピューテーションに非常にひびが入るので怖くて出せない。自動車企業は非常にうらやましい。既に市場に入っているわけですから、事故が起きても批判を受けない」といった話がございました。すなわち、AIも、ネガティブなリピューテーションというものがないように社会的受容性を高めるべきであると、こういうふうに考えております。一つ、予防法務という視点がございまして、医学でいうところの臨床医学よりも予防医学が重要であるのと同様、法務でもそういうところがございまして、規制というよりも、イクスアンテな規制ではなくて緩やかな形での問題が起きないようにしていくということで受容可能性を高めていくということが必要ではないかと思っております。

さらに、第2回議事録23ページで慶応大学法学部教授の大屋氏がこのように述べています。

> 統計的機械学習技術の応用の面でどのような問題が生じてくるかというと、これは判断過程が相対的にブラックボックス化するということであろうと思います。相対的にと申し上げたのは、人間の判断過程だってブラックボックスなのですけれども、何となく説明する口があるのと、切る腹があるので、皆が納得する。ところが、AIにはそのような説明する口とか切る腹というのがデフォルトではついてないものですから、このまま放っておくと何が起きるか分からないという問題が露呈することになる。これが開発者や利用者による予測可能性を低下させますので、予見義務という、先程過失責任主義の内容の片方だと申しましたが、その実効性を低下させるということになるはずなのです。

インターネット上の反響を見ると、無理解な上司からAIに難癖つけられてどうこうとかAIはブラックボックスだから説明なんてできるわけ無いだろとかいったコメントが見られますが、ここで議論されているのはそういう愚痴にどう対処するかではありません。さらに言うと、AI(ディープラーニング)が説明可能かどうかという研究は現在進行形で、部分的にはかなり解明されているみたいですが、完全にはできてないところもあります。私もまだまだ勉強不足ですが、このような理由から、できるxorできないときっぱり断言してる人はちゃんと勉強してないんじゃないかと感じます。

しかし、インターネット上でコメントしている人たちが知ったかぶりなのかどうかがこの会議の問題ではありません。重要なのは「説明」というのが、第4回議事録の22ページで中川氏が「ordinary people が understand できるようにしなくてはいけない」ことだと捉えている点で、巷で研究者や機械学習エンジニアが言うような「AIは解釈(説明)可能か」という話とは論点が異なります。一般人に対して教科書や論文のような厳密な言葉選びで書かれた難解な説明をしても理解を得られないでしょう。このあたりに関して、目に留まったネット上の反応の中で唯一、真面目に考察していると思われるd0i氏の[決定過程の説明責任](https://d0i.hatenadiary.jp/entry/2018/11/28/005423)も参考になると思います。(技術的な観点からの説明できるか問題は勉強不足なのでなんとも言えません。)

よって、AIの「説明責任」の論点になっているものは、2通りあります。1つは、従来からある「製造物責任」的な考え方。もう1つは、「新しい未知の技術をどう一般人に受け入れてもらえるか」という問題です。

製造物責任については、そもそもエンジニアも普段から非AIプロダクトに対してコードレビューやテストなどを通して説明責任を果たしてきたわけですから、AIに対して説明責任を求めるという話が全く突飛なものとも思えません。AIの予測性能にどの程度自信が持てるかという話は、統計学で言う信頼区間はどこまでか、という話や、何年間の品質保証をするかと同じで、プロダクトの品質に対して持つのが当然な責任だと思います。あるいは、もっと現実的で具体的な問題として、AIによる差別の問題をどうするか、ということが焦点になると思います。人工知能がやったことだから知らない、というわけにはいかないでしょう。
ただし、過去にも自動運転に絡んで議論されたみたいに、もし事故が起きたときにAIの開発者がどこまで責任を取ることになるのか、という議論は注視する必要がありそうです。(参考:[自動運転車の実現に向けた法制度上の課題](https://www.jstage.jst.go.jp/article/johokanri/60/4/60_240/_html/-char/ja))

もう1つは、平野氏が言うように、交通事故が発生するが生活に浸透しているため、存在自体に疑問を持たれない自動車と違い、未知の技術であるAIの評判をどう形成するか、という話ですが、こっちは法律でどうこうするという話とは少し違うと思います。例えば政府がAIの研究開発も実用化もガチガチに管理する、という方針もなくはないですが、少なくとも議事録ではそのようなアイディアは真面目に議論されてはいませんでした。

結局どうなるの
--------------

初めに書いたように、具体的な法案としては現時点では何も定まってないようにも見えます。この会議の話の流れからすると、実際に法律として施行されるのは製造責任法とか、最近話題になってるAIによる差別に対する監視義務とか、従来からある法律の拡大解釈になりそうな気がします(もちろん素人の予想です.)