2021 年 11 月
JDLA 事務局「AI ガバナンスとその評価」研究会（第Ⅱ期）第 1 回
開催報告
1. はじめに日本ディープラーニング協会では、人工知能（以下 AI）や Deep Learning（以下 DL）に関連する国内外の政策動向についての知見を深め、議論する場としてテーマごとに研究会を設置している。本研究会「AI ガバナンスとその評価」は多様なアクターによる管理・評価の体制の在り方を「ガバナンス」と定義し、どのようなガバナンスの形がありうるのか調査し、信頼される AI の構築の一助とする研究会を 2020 年 7 月から立ち上げ、第Ⅱ期の検討を 2021 年 9 月から実施している。
研究会第 1 回（2021 年 9 月 30 日）においては、JDLA 理事であり、当研究会の座長である東京大学未来ビジョン研究センター江間 有沙准教授より「AI は誰が管理・評価するのか」と題して話題提供が行われた。本レポートは、話題提供の内容と研究会参加者のディスカッションを再構成して作成したものである。
2. AI は誰が管理・評価するのか
当研究会の座長である東京大学未来ビジョン研究センター江間 有沙准教授より「AI は誰が管理・評価するのか」と題して話題提供を頂いた。この話題提供は、第Ⅰ期の活動報
告書『AI ガバナンス・エコシステム-産業構造を考慮に入れた AI の信頼性確保に向けて-』1作成の背景と内容を解説するとともに、今後の第Ⅱ期活動の方針を提示したものである。
AI は誰が管理・評価するのか
日本の産業構造の特徴として、所謂「B2B2C」のような複数のプレイヤーによる長いサプライチェーンが形成されることが多い。様々なプレイヤーが AI の管理・評価に関わるため、一つの組織で学習によって変化する AI を管理・評価することは難しい。そこで単一企業だけではなく、保険や監査、標準化、ガイドライン、第三者委員会などの外部環境を含めた「AI ガバナンス・エコシステム」で、AI を管理・評価していく仕組みの構築が求められている。
AI を管理・評価をめぐる議論の潮流
昨今の AI をめぐる議論において「原則から実践へ（Principles to Practices）」というメッセージが多く発信される。このメッセージは 2019 年の米国電気電子学会（IEEE）の「倫1

https://www.jdla.org/about/studygroup/sg01/
1

理的に調和したデザイン」でも第一章の小題として用いられている。
日本においても「人間中心の AI 原則」 2のように様々な AI に関する原則が策定されており、組織や企業の中でも AI 原則が作られている。しかし、具体的に誰がどのような仕事を行うのか／誰がどのように評価をすればいいのかという「原則から実践へ」の道筋は各国でも試行錯誤の段階にある。
AI の管理・評価をめぐる議論においては、ガバナンス体制を構築する必要がある。
「人間中心の AI 社会原則」では、ガバナンスについて「社会情勢や技術の進展に伴い、議論されるべき内容や目的設定は更新し続ける必要があり、そのためには政府、企業、大学、研究機関、一般の人々等、多様なステークホルダーが協働してルール、制度、標準化、行動規範等のガバナンスについて問題を設定し、影響を評価し、意思決定を行うとともに実装できる体制が整っていることが必要」と記述されている。
AI 原則は作成して終わりではなく、ガバナンスによって原則を実践に落とし込み、その実践によるフィードバックを原則に反映するループを回すことが重要である。しかし、ガバナンスを検討する際に、責任の所在が不明確になることも考えられる。報告書で提案した「AI ガバナンス・エコシステム」では、開発時・利活用時・問題発生時などの論点別に各アクターが果たす役割や機能を可視化することを狙いの一つとしている。
JDLA 研究会の役割
AI 倫理・ガバナンスについて、国内外の様々な機関が作成した原則やガイドラインを目にしている方も多くいると考えている。しかし、それらの原則やガイドラインは巨大企業が主導して作っていることに注意しなければならない。一方、日本も含め、AI 開発やAI 活用の原動力の一つとして、スタートアップ企業や地方自治体への期待も大きい。
また AI ガバナンスの実現は、一つの企業や一つの部署だけで対応することは難しい。
加えて、AI ガバナンスという領域は競争領域ではなく、協調領域であることも重要である。JDLA のような業界団体が、国内外の議論と日本企業やスタートアップ企業を橋渡しすることが、イノベーションの促進と AI を利用する際の安心につながる。
日本の産業構造の特徴
プラットフォーマーと呼ばれる企業は巨大な B2C 企業でもある。一方で日本の企業の多くは B2B 企業であるため、サプライチェーンが長くなり、開発者とユーザの距離が遠くなる。事故が起きた場合にサプライチェーンを遡って原因を究明し、ユーザに正しい情報を理解できるように伝えることが可能なのか、また誰が責任を取るのかを明確にできるのかという議論が起きる。
近年では C2C、C2B という逆の流れもあり、サプライチェーンはより複雑になっている。サービス提供企業における AI ガバナンスの整備や、ユーザ側のリテラシー確保も重要であるが、それに加えて、事故を防ぐ、保証するシステムの存在が重要である。一つの2

https://www8.cao.go.jp/cstp/aigensoku.pdf

2

企業だけでは全てのリスクへ十分に対応できないことが考えられるため、外部環境を含めた AI ガバナンス・エコシステムの構築が必要となる。
AI ガバナンス・エコシステム
AI ガバナンス・エコシステムにおける「AI サービス提供者/開発者」の中には、企業の中でやるべきことが記載されている。外部環境には「品質管理」「監査」「事故調査」等のサービス提供者に向けたガバナンス機関が存在し、AI サービス提供者と連携していくことが期待される。一方で「消費者保護」等の AI サービスのユーザに向けたガバナンス機
関も存在する。
また、「政策・ルール形成のガバナンス機関」側の検討の動きについても注目していくことが必要である。その中では、「業界のルール・慣習」も重要になる。過度な規制をせずに、一方で公平性や安全性を損なうことがないような最低限のルール決めは、各業界がリードすることが重要となる。
一方で、AI サービスが利用される「環境の管理機関」との連携にも期待がある。ドローンやロボットに AI は搭載されている。リアル空間とサイバー空間の双方で、データの信頼性はどう確保されるべきか、誰がモニタリングするのか、セキュリティの管理、不正について内部通報できるのかという視点が重要となる。AI はデータを学習し、アルゴリズムを用いてサービスを出していくことになるが、どのようなデータを用いていたのか、内部でしかわからないこともある。技術不正に対する内部告発の体制を作ることも重要な課題とされる。

図 1 AI ガバナンス・エコシステム 3
AI サービス開発時、利活用時、問題発生時で関係者も変化するため、段階に分けて ガイドラインや AI ガバナンス・エコシステムを整理することが有用である。

3

報告書『AI ガバナンス・エコシステム―産業構造を考慮に入れた AI の信頼性確保に向けて―』（2021 年 7 月 21 日）より抜粋

3

例えば、AI 開発時は外部機関の情報の閲覧やデータの連携が必要となる。利活用時はユーザ向けガバナンス機関との連携等ユーザの要素が出てくることや監視・モニタリングも大事となる。問題発生時は組織外の内部通報や第三者との連携や保険への観点が生じる。
日本としての今後の課題
これまで AI ガバナンス・エコシステム構築の必要性について説明してきたが、他者との積極的な議論の促進やエコシステム形成にはコストがかかるため、インセンティブ設計が必要となる。たとえば、外部の組織と連携して AI ガバナンスを構築している組織には、利用者の安心や認証が得られるという枠組みを構築するなどを考えることが求められる。
これらは一組織でできるものではなく、国際機関や国の関係機関、認証機関との連携が必要である。
また AI に関する公平性は国際的な問題となっている。日本の B2B2C という長いサプライチェーンでは利用者の懸念点を開発の上流では認識できない可能性や、上流での懸念点を利用者は意識していないことがある。公平性に関する話題を積極的に取り上げて議論をすることで、世論に意識させていくことが重要である。ただ、公平性の問題を考えると
き国際的には人種や性別等の統計的差別の話題が多いが、日本では同調圧力、いじめなどの人権問題が多く存在する。海外で問題となっている論点をそのまま日本でも議論すればよいわけでもなく、国によって問題が異なることを留意するべきである。
さらに、日本においては既存の法律や監査、保険の枠組みでは取り扱えない問題がある。
その問題に対して新しい法律を作るのか、既存の枠組みで対処できるのか検討すべきである。例えば、物理的・金銭的な損害・被害というフィジカルな損害がサイバー環境ではどのように適用されるのかは AI でも課題となる。
参考となる 2 つの考え方
AI ガバナンスの在り方を考えるときの視点として参考となる考え方を 2 つ紹介する。
コリングリッジのジレンマ（1980）

技術が社会で使われる前にその影響力を予測することは難しいが、一度普及してしまった技術は制御することが難しい。
このジレンマが技術評価の難しさの常であったが、AI におけるアジャイル開発を進めることによって対応ができるのではないかと考えられる。私たちは、現在様々な社会実験をするというよりは、「実験社会」に住んでいるということを意識しながら、技術の影響力について開発段階から常に考えを巡らせていく必要がある。


責任ある研究・イノベーション（Responsible Research and Innovation）

このように開発・利活用・問題発生時における技術の影響の想定が求められており、近年では情報技術に対する ELSI（Ethical, Legal and Social Implications: 倫理的・法的・社会的課題）という概念が企業や政策の現場でも言われるようになってきている。ELSI と4いう単語はヒトゲノム計画など生命科学分野で 1990 年代から使われてきた単語であるが、欧米では現在では使われなくなっており、代わりに 2000 年代初めから責任ある研究・イノベーション（Responsible Research and Innovation: RRI）という概念が、研究開発を行っていくうえで重要であると提唱されている。RRI で重要とされている指針を図 2 に示す。これらの考え方は、現在の AI 原則やガイドラインの項目やガバナンスの在り方にも通じる概念である。

図 2 責任ある研究・イノベーション（Responsible Research and Innovation） 4
3. 研究会参加者からの主なコメント話題提供を踏まえて以下のような質疑応答が行われた。
EU の規制等を受けた今後の日本の対応

EU の AI 規制法案については、現在各省庁や企業、業界団体で対応方法が議論されている。

日本が法律を作る場合、プラクティスを想定しないと関係者に使い勝手の良い法律とはならない。そのため、プラクティスを収集することが必要である。

日本は今後、EU との連携は模索しつつ、アメリカ、東南アジア等とも連携し、国際的な協調をするべきである。

AI ガバナンス・エコシステムのインセンティブ設計


日本はデータの公平性の意識が薄い。インセンティブがないと、公平性の問題へ取り組むきっかけがない状況である。

AI ガバナンス・エコシステムそのものについては、日本のような B2B2C のような産業構造の国では誰にインセンティブを持たせるのか、責任の所在が見えにくい。エコシステムは様々な団体、企業と連携していかなければならないが、他者に責任を押し付けないようにする必要がある。

4

研究会資料より抜粋

5

自動運転車の製造物責任に関する考え方


ある一定程度で学習を止める、仕様を納品先、ユーザに説明できるような状態でログを残すことが重要である。



責任の所在が複雑であるためエコシステムという形で考えていくことが必要である。メーカーが全責任を負うことは難しくとも、メーカー、消費者、認証、保険がどうあるべきか、説明のわかりやすさも工夫し、エコシステムを作り上げるべきである。



自動運転の事故は民事責任と刑事責任に分かれる。前者は保険でカバーできるが、後者は難しい。後者への対応のひとつとして、航空機事故のように事故調査委員会が処理し、事故再発を防ぐための原因追及をメインとし，責任追及はしない、ないしは二の次にしようという考えがある。



JEITA や交通安全環境研究所等の自動運転関係の機関では、自動運転車の製造物責任について検討しているところもある。

AI ガバナンス・標準化の世界の動向

ガバナンスの作成等は欧米が主導している。欧米は人材の層が厚い。



中国でも AI ガバナンスのルール等は議論している。政府も AI ガバナンスのルールを作成している。



中東は UAE が力を入れており、中東内でネットワークを構築している。ネットワークを構築し、ヨーロッパ、アジア、アメリカに食い込もうとしている。



アフリカは欧米にいるアフリカの方や、留学から戻ってきた方が議論しており、存在感が出てきている。

日本は決まった人が国際的な議論に出席している。地道に議論する際に時間をさける人を育成していくことが国際的に協調的な枠組みを作成する上で重要である。



現状は AI の倫理をめぐる課題は多くのステークホルダーがいるように見えて少ない人で議論されている。

ヨーロッパはハードロー、日本はソフトローの方向性等、異なる文化価値観により違うロールになる。協調する仕組みが必要な一方で、互いの文化を押し付けないことも重要である。

データのバイアス


利用目的に応じて、どういうバイアス、懸念点があるのか等を B2B の企業同士で話し合う必要がある。

データのバイアスについて意識していない企業も多い。オープンデータを利用してもオープンデータも偏っている問題もある。データの全てを吟味することは難しいが、内部でチェックする仕組み、相互確認の仕組みが求められる。まずは課
6

題に気づくこと、そして対応していくことが重要である。
AI ガバナンス・エコシステムの発信AI ガバナンス・エコシステムは英語版も作成し、発信していくことで存在を見つけてもらう、認めてもらうことが大事である。ただ公開するだけではなく、賛同してくれる人たちを見つけていかないといけない。



国際的な場だけではなく、内部で概念を固め実践し、地道に発信し続けることも大事である。

次回以降も引き続き、本研究会を通じて、日本国内外の AI ガバナンスに係る検討を続ける。
（文責：清見友来）＜(第Ⅱ期)第 1 回開催概要＞
日時 ：9 月 30 日（木）16:00-17:30（Zoom 開催）
内容 ：・JDLA と研究会活動のご紹介
・「AI ガバナンスとその評価」研究会の紹介
・話題提供：「AI は誰が管理・評価するのか」
江間有沙座長（東京大学 未来ビジョン研究センター 准教授、JDLA 理事）
・質疑・ディスカッション
・第Ⅱ期の進め方

7