2021 年 4 月
JDLA 事務局「AI ガバナンスとその評価」研究会
第9回
開催報告
1.

はじめに
日本ディープラーニング協会では、人工知能（以下 AI）や Deep Learning（以下DL）に関連する国内外の政策動向についての知見を深め、議論する場としてテーマごとに研究会を設置している。本研究会「AI ガバナンスとその評価」は、多様なアクターによる管理・評価の体制の在り方を「ガバナンス」と定義し、どのようなガバナンスの形がありうるのか調査し、信頼される AI の構築の一助とする研究会を 2020 年 7月から立ち上げ、1 年間の検討を行う。
研究会第 9 回（2021 年 2 月 18 日）では、我が国の AI ガバナンスの在り方及びガバナンス・イノベーション分野おける経済産業省での検討内容というテーマのもと、経済産業省商務情報政策局情報経済課 羽深宏樹氏、菅野洸史氏より話題提供いただいた。
本レポートは、話題提供の内容と研究会参加者のディスカッションを再構成して作成したものである。

2.

アジャイル・ガバナンスのデザインと実装に向けて
第一部では、経済産業省の「Society5.0 における新たなガバナンスモデル検討会」から 2021 年 2 月 19 日に公表1された「GOVERNANCE INNOVARION ver.2 「アジャイル・ガバナンス」のデザインと実装に向けて2」報告書（案）の概要について、羽深氏より紹介いただいた。
Society5.0 の概要とその課題
アジャイル・ガバナンスの前提となっている Society5.03は、2016 年より政府から打ち出されている未来社会のコンセプトであり、サイバー空間とフィジカル空間を高度に融合させたシステム（CPS4）によって、経済発展と社会的課題の解決を両立する人間中心の社会を指している。Society5.0 が実現した社会では、AI によって分析され1

https://www.meti.go.jp/press/2020/02/20210219003/20210219003.html

2

https://www.meti.go.jp/press/2020/02/20210219003/20210219003-1.pdf

3

https://www8.cao.go.jp/cstp/society5_0/

4CPS（Cyber-Physical System）：サイバー・フィジカルシステム

1

た結果がフィジカル空間のシステムに直接影響を与えていき、また AI を中心としたシステムが相互に運用可能となっていくことで、産業や国境の壁を越えて人類の幸福を追求することが想定されている。
表 1 Society5.0 の特徴と課題
Society 4.0 以前

Society 5.0

特徴

特徴

課題

日常生活とデジ

フィジカル空間

フィジカル空間とサ

非常に複雑である

タル技術の関係とサイバー空間

イバー空間とが一体(Complex)が分離している

化

Privacy、セキュリティ、公平性、民主主義、環境への脅威といった課題が発生する可能性

信頼の対象

有体物（ヒト・無体物

モノ）
取得するデータ

限定的データやアルゴリズムの信頼性を誰がどう評価するか

大規模・広範囲・多取得するデータの信頼性

種類と、取得するデータを用いた実効的なガバナンスの双方を検討する必要

判断の主体

ヒトのみ

AI システムの影響予見可能性が限定されるの拡大システムの状態

安定的流動的変容が激しく物事が即座に代わっていく(Fastchanging)

結果の予見・統予測・統制が可予測・統制不能な領常に不確実性が存在

制可能性

能な分野が多い

域の拡大(Uncertain)

責任主体

特定しやすい特定困難

問題発生時の責任主体が不明確だと、誰もリスクを取れない

支配力の集中集中しやすいより集中しやすい

特定の支配的地位をもった主体の登場により、その他の主体によるガバナンスが困難に

地理的関係性ローカルまたはローカル且つグロー

国際的なガバナンスの協力

グローバル

バルが不可欠にシステムの「ゴ複数の「ゴール」が常に環境を評価し、「ゴーール」存在し、バランスをル」をみなす必要がある

取る必要がある2

アジャイル・ガバナンスのデザインと実装
上述の Society 5.0 において、社会基盤となる CPS は複雑且つ急速に変化し、予測や統制が困難なものになっていくと想定される。また目指すべき「ゴール」自体も社会状態の変動と共に変化し続ける事が考えられる。以上を踏まえて、Society 5.0 のガバナンスモデルは常に変化する環境、技術、ゴールを踏まえて最適な解決策を見直し続ける事が必要であり、その条件下で提起された考え方がアジャイル・ガバナンスである。
アジャイル・ガバナンスは「環境・リスク分析」、「ゴール設定」、「ガバナンスシステムのデザイン」、「ガバナンスシステムの運用」、「ガバナンスシステムの評価」、「改善」といった各プロセスを、マルチステークホルダーで継続的且つ高速に回転させていくガバナンスモデルのことである(図 1 参照)。初めに「環境・リスク分析」では、外部環境及びその変化と、変化に基づくリスク状況の分析を行う。続いて「ゴール設定」では、外部環境の変化や技術の影響によって変化するゴールの見直しを実施する。
「環境・リスク分析」及び「ゴール設定」を踏まえて、「ガバナンスシステムのデザイン」では、技術的なシステムや組織のシステム、ルールのシステム等のデザインを行う。その後に、リアルタイムデータを使って継続的にモニタリングし、ステークホルダーに対して適切な開示を行う等、「ガバナンスシステムの運用」を行う。
「ガバナンスシステムの評価」では、当初設定されたゴールが達成されているかを評価し、環境・リスクの差異分析を行う「改善」を実施する（内側の楕円形のサイクル）。同時に、常に外部環境やリスクに変化がないか、これによってゴール設定を見直す必要がないかについても再評価を行う（外側の円形のサイクル）。
図 1 「アジャイル・ガバナンス」の基本サイクル5

5「GOVERNANCE INNOVARION ver.2 「アジャイル・ガバナンス」のデザインと実装に向けて 」（10 頁）から抜粋

3

アジャイル・ガバナンスの実施には、製品及びサービスとそれを取り巻くシステムを熟知した企業によるガバナンスへの参加が不可欠となっている。また企業に対してはガバナンスのへの参加だけではなく、ステークホルダーに対するアカウンタビリティの遂行（コンプライ・アンド・エクスプレイン）を促すことも重要となる。これら
企業のガバナンスへの参加及びアカウンタビリティの遂行を促進する上で重要なのが、インセンティブ設計である。企業へのインセンティブ設計の例としては、関連当局等がディスクロージャー制度の充実やコンプライアンスガイドラインの提供を行うことで、各企業がアジャイル・ガバナンスに積極的に参加するインセンティブを生じさせる等の制度設計が考えられる。なお制度設計を進める上で、リスク管理やシステム改善を行うプロセスに着目した総合的な企業制裁制度の設計を行うことが重要である。
なお、Society 5.0 を実現する上で重要なことは、企業によるアジャイル・ガバナンスの実施だけではない。今後は法規制・インフラ・市場・社会規範といった主要機能におけるガバナンスシステムにおいても、アジャイル・ガバナンスを実施すると同時に、個別機能に関するガバナンスシステムの関係性を整理することで、全体像を明確化する必要がある。また全体像を明確化した上で、包括的なガバナンスシステムに対してアジャイル・ガバナンスを実施（ガバナンス・オブ・ガバナンスの実施）していく（図 2 参照）ことが、Society 5.0 の実現には欠かせないものとなってくる。
図 2 ガバナンス・オブ・ガバナンスイメージ6

6「GOVERNANCE INNOVARION ver.2 「アジャイル・ガバナンス」のデザインと実装に向けて 」（16 頁）から抜粋

43.

我が国の AI ガバナンスの在り方について
第二部では、経済産業省の「AI 社会実装アーキテクチャー検討会」から 2021 年 1
月 15 日に公表7された「我が国の AI ガバナンスの在り方 ver. 1.0 AI 社会実施アーキテクチャー検討会 中間報告書8」の概要について、菅野氏より紹介いただいた。
AI ガバナンスの国内外の動向
AI の社会実装に関する各種原則は、OECD「AI に関する理事会勧告」及び「G20
AI 原則」にて複数国の合意が行われているように、世界的に見て概ねコンセンサスが取られている状態にある。そのため国内外での議論のテーマは、AI に関する原則から、AI 原則を社会で実現するためのガバナンスの議論へと移行している。
現在、AI ガバナンスのデザインについて、リスクベース・アプローチ9が国際的に広く共有されている。EU や米国をはじめとした国々や日米財界人会議では、リスクベース・アプローチに基づく規制のデザインに肯定的な見解を示している。その一方で具体的なリスク評価の方法や基準については、リスクレベルの設定数に対するアプローチやリスクの分類に相違が存在しており、国や地域、ステークホルダー間で必ずしも定まった見解が共有されているとは言えない状況にある。
経済産業省の整理では、現在 AI ガバナンスの構造はレイヤー構造として表現される（図 3 参照）。このレイヤー構造の中では、AI ガバナンスで最終的に保護されるべき技術的なゴールは、AI 原則や AI 原則から実装へのハイレベルガイダンス、実践的ガイダンスによって定められている。また、最終的なゴールを達成するためのルールとして、法的拘束力のある規制や法的拘束力のないガイドライン、国際基準といった、横断的且つ中間的なルールが設定されている。更に、それとは別途個別分野等にフォーカスしたルールが設定され、これらの規制やガイドライン等のモニタリング・エンフォースメントが行われる。
このレイヤー構造に基づき、AI ガバナンスの議論を行う際は、国際的且つレイヤー間での協調が重要となってくる。

7

https://www.meti.go.jp/press/2020/01/20210115003/20210115003.html

8

https://www.meti.go.jp/press/2020/01/20210115003/20210115003-1.pdf

9規制の程度をリスクの大きさに対応させるべきという考え方

5

図３ AI ガバナンスの構造10

我が国での AI ガバナンスの在り方と今後の課題
日本では AI 利活用をはじめとする社会変化のスピードや社会の複雑さに対して、法が対応していけない可能性が予見されている。この問題の回避方法として、規制の在り方をルールベースからゴールベースに変更することが検討されている。この方針転換において、ゴールベースの規制とオペレーションの間にギャップが生じる可能性がある。しかしそのギャップは非拘束的な中間的ガイドラインや標準を策定して克服していくことが想定されている。
AI 利活用に対する規制については日本国内でも様々な意見がある。産業界全体では、AI 応用に対してソフトローを含む何らかの規制が必要であるという方向性については、概ね一致している。また多くの産業団体や企業は、ソフトローについては賛同している一方で、ハイリスクの AI 応用への規制導入については理論的には賛成するものの規制対象を慎重に特定すべきという意見が存在する。
富士通総研が行った消費者に対して行った統計調査によると、消費者は AI 自体に漠然とした不安感を持っていることが明らかになっている。その一方で、「医療・介護」や「自動翻訳」といった身近で活用イメージの湧くサービスに対する AI 活用に

10「我が国の AI ガバナンスの在り方 ver. 1.0 AI 社会実施アーキテクチャー検討会頁）から抜粋

6

中間報告書」（10ついては、前向きで比較的期待値が高いことが明らかになっている。
これらを踏まえ、中間報告書では、日本における今後の AI ガバナンスに関する展望として、現時点では法的拘束力のある横断的な規制は不要であるという見方を示している一方、ゴールベースのガバナンスの支援の為、法的拘束力の無い企業ガバナンス・ガイドライン作成の必要性について提言がなされている。
また同報告書では、AI ガバナンスに係る議論はその途上にあり、以下課題に対する議論・検討を今後進めていく事が望ましい旨が提案されている。
✓ 非拘束の中間的なガイドラインを利用するインセンティブの確保✓ 政府の AI 利活用に対するガイダンスの導入✓ 他国のガバナンスとの調和や政策と標準の連携✓ ガイドラインの利用状況把握などのモニタリング及びエンフォースメント
4.

質疑応答での論点
第 9 回研究会では、我が国の AI ガバナンスの在り方及びガバナンス・イノベーシ
ョン分野に関する検討内容について議論が行われた。話題提供を踏まえて以下のような質疑応答が行われた。
アジャイル・ガバナンスの各アクションの主体間の関係性の留意点✓

システム開発者や運用者は AI サービス提供者から独立性を保っている必要がある。

✓

評価する主体は、社内の内部監査や外部委託の外部監査等マルチステークホルダーで行われる必要がある。また評価を行うために透明性が重要となってくる。
➢

企業中枢にいる人間が社内不正を隠ぺいしてしまうと、透明性が確保されなくなるため、ある程度の制裁制度の運用を検討する必要がある。また内部通報制度の充実等、社内不正を隠ぺいするリスクよりも社内外に情報を開示するリスクのほうが小さいという制裁制度を設計する必要がある。

アジャイル・ガバナンスの企業参画のためのインセンティブ設計✓

ガバナンスを実施しない場合に悪影響があるという懲罰的なインセンティブ
や、ガバナンスの実施が投資家に評価されるというような仕掛けづくりをはじめとしたプラスのインセンティブの設計検討が必要である。

他の政府文書との関係性

7

✓

総合科学技術会議の「人間中心の AI 社会原則11」については、一つのゴールとして位置づけられると考えられる。

✓

経産省が出す報告内容としては、組織や企業のマネジメント、ルール作りといった点に着目して作成し、全体として企業にどう使ってもらえるかになると考えられる。

✓

経産省側の報告書は、各報告書のレイヤーを可視化し、相互補完として使えると考えらえる。

リスク評価に関するクライアントと AI ベンダーの関連性について✓

AI ベンダー側がリスク評価の必要性について、実際に AI を利用してサービスを提供するクライアント側に対して、現状伝えることができていない。

✓

クライアント側もリスク評価を現状では求めていない。

✓

上記の AI ベンダーとサービスを提供するクライアント側の双方に対して、ガバナンスを利かせていくことが重要である。

✓

これまでの AI に関連する報告書は、いわゆる AI の専門家向けである部分もあったが、今後はリテラシーを高めるためにも専門ではない一般人にも AI に係るリスクについて知ってもらうためにはどのようにすればいいのか検討する必要がある。

✓AI サービス利用者起因で発生するリスクについては、責任の所在が難しい。想定できるリスクを回避する手段を講じていない場合や、リスクとして想定できるにもかかわらず想定されていなかった場合は、AI サービス提供者側の責任となるのではないかと考える。

リスク分析の分析主体✓

リスク評価の主体については、本来的にはゴールが設定された上で各企業が積極的にリスク評価を行うことが望ましいものの、企業に全てを委ねることは難しいため、チェックリスト等を官公庁側から提供することが検討されている。

✓

チェックリスト等は、ある程度抽象度を残しつつも官公庁側から事例を細かく示し、企業側が参照の上リスク評価を進めていくというようにやり方の検討は必要である。

国内での AI サービスのリスク評価の先行事例

11✓

現時点はリスク評価の具体的な方法は未検討であり、事例の収集が必要である✓

海外と異なり、日本国内ではリスク評価手法としてチェックリストのほうが求

https://www.cas.go.jp/jp/seisaku/jinkouchinou/pdf/aigensoku.pdf

8められている認識である。バランスをとって政府が業界別のリスク評価手法といったヒントを与えつつ対応してもらう必要がある。
✓

リスク評価を外部委託する際に、どのような論点や項目が重要視されて評価されたかという内容を明示するといった考え方もある。

ガバナンス・イノベーションにおける多様性や包摂性の取り扱い✓

多様性や包摂性を許容する制度設計が必要であるというゴール設定が必要となる。

✓

企業のコーポレートガバナンスにおいても今後留意が必要な点になると考えられる。

次回以降も引き続き、本研究会を通じて、日本国内外の AI ガバナンスに係る検討を続ける。
（文責：巻口歩翔）＜第 9 回開催概要＞
日時 ： 2 月 18 日（木）17:00-19:00（Zoom 開催）
内容 ： 話題提供：「GOVERNANCE INNOVATION ver.2:『アジャイル・ガバナンス』のデザインと実装に向けて」
羽深宏樹氏（経済産業省商務情報政策局情報経済課）
話題提供：「我が国の AI ガバナンスの在り方 ver. 1.0（AI 社会実装アーキテクチャー検討会 中間報告書）」
菅野洸史氏（経済産業省商務情報政策局情報経済課）
質疑応答・ディスカッション

9