資料３－５（別紙３）

ＡＩネットワーク化の進展において想定される課題（ネットワーク化の観点から）

ＡＩネットワーク化の進展において想定される課題（ネットワーク化の観点から）◆ ＡＩネットワーク化の特徴として、「様々な事業者間における多種多様なAIの接続（複雑な連携）」、「様々な事業者の多種多様なＡＩを取りまとめる基盤的なＡＩの構築（情報や権限の集中）」、「様々な事業者間における多種多様なＡＩによる情報の連携（情報の共有・拡散）」が挙げられる。
このような特徴を活かして、新しいサービスの開発・提供、最適化や効率化、コスト削減などが可能となる一方で、ネットワークという観点に着目した場合、次のような課題（ＡＩネットワーク化の健全な進展を阻害し得る要因）に留意すべきである。

ＡＩネットワーク化の特徴

ネットワーク化の観点から想定される課題（例）
個別の事業者のトラブル等がシステム全体に波及するおそれ様々な事業者間における多種多様なＡＩの接続（複雑な連携）

ＡＩシステム間の連携・調整が成立しないなどのおそれ
ＡＩの判断・意思決定を検証できないおそれ様々な事業者の多種多様なＡＩを取りまとめる基盤的なＡＩの構築（情報や権限の集中）

様々な事業者間における多種多様なＡＩによる情報の連携（情報の共有・拡散）（システム間の相互作用が複雑となり解析が困難になるおそれ）

少数のＡＩの影響力が強くなりすぎるなどのおそれ（少数のＡＩの判断によって企業や個人が不利な立場になるなどのおそれ）領域横断での情報の共有と特定の基盤的なＡＩへの情報の集中によるプライバシー侵害のおそれＡＩが想定外の動作を行うなどのおそれ（注）主にＡＩネットワーク化の進展段階２（複数のＡＩシステム相互間のネットワークが形成され、ネットワーク上のＡＩシステムが相互に連携して協調する段階）を想定している。また、ここで掲げる課題については、ＡＩシステムが学習等により自らの出力やプログラムを変化させたり、自律性を有することなどが想定されることを踏まえ、従来のＩＣＴシステムのネットワーク化と比べて、ＡＩネットワーク化によりリスクが新たに生じたり増幅する可能性があるため、ネットワーク化の観点から想定される課題として整理している。 1

個別の事業者のトラブル等がシステム全体に波及するおそれ◆ ＡＩシステムが相互に連携して、協調・調整することになるため、例えば、ある事業者において、ハッキングやシステム障害等により一部のＡＩシステムが正常に機能しなくなった場合や災害等により通信が遮断された場合、あるいは、ある一部のＡＩシステムの判断・予測等に誤りが生じた場合や虚偽又は不適切なデータが流通した場合などに、他のＡＩシステムに次々に影響が波及し、ネットワーク全体が正常に機能しなくなったり、期待された効果（適切な判断・予測、マッチング等）が得られなくなったりするおそれがある。
【個別の事業者のトラブル等がシステム全体に波及するおそれ（例）】
ユーザー

利用者

利用者

利用者

利用者

デバイス
（自動運転車）

自動車

自動車

自動車

自動車

①ハッキング等により、正常に機能しない

アプリケーション（ＡＩシステム）

信号システムＡＩ

物体識別ＡＩ

リスク予測
ＡＩ

車体制御
ＡＩ

〇 セキュリティ対策等が不十分な事業者が提供しているＡＩシステムを活用した自動運転車がハッキングされた場合、連携している別のＡＩシステムが誤作動又は機能不全に陥り、交通事故や交通障害等が発生するおそれがある。［連携、セキュリティ、安全］〇 サプライチェーン全体として最適化を調整している場合、ある事業者のＡＩシステムが生産量等を誤って予測した場合や虚偽のデータを流通させた場合、全体としての最適化が実現できない（在庫不足／過剰在庫、原材料不足等）おそれがある。［連携、データ］〇 被災地の緊急救命において、救急車や医療機関等の間でリソース配分の最適化の調整を行う場合、ある医療機関のＡＩシステムが通信の遮断により機能不全に陥ると、適切な情報共有、リソース配分が実現されず、適切な救命活動ができなくなるおそれがある。

［連携、安全］

ルート設定
ＡＩ②連携先のＡＩシステムが正常に機能しなくなる
開発者/
プロバイダ

Ａ社

Ｂ社

Ｃ社

Ｄ社
2

ＡＩシステム間の連携・調整が成立しないなどのおそれ◆ ＡＩシステム間で交渉を行い、連携・調整するケースにおいて、それぞれのＡＩシステムが自らの目的の達成を優先して調整が成立しなかったり、適切な交渉の権限を有していないことにより取引が成立しなかったりするおそれがある。また、交渉相手のＡＩシステムが交渉の機能を有していなかったり、交渉に関するプロトコル等が異なったりする場合にも、ＡＩシステム間の連携・調整が成立しない。さらに、ＡＩシステム間の連携・調整が成立したとしても、社会的に望ましい結果にならない（デジタル・カルテル等）おそれがある。

【ＡＩシステム間の連携・調整が成立しないなどのおそれ（例）】自動運転車Ｂ

自動運転車Ａ〇 自動運転車が車線変更する場合において、Ａ社の自動運転車が車線変更先を走行しているＢ社の自動運転車に減速するよう要求しても、Ｂ社の自動運転車は「なるべく早く目的地に着く」という設定をされていると、減速の要求に応じないというケースが想定される。さらに、車線が減少する場面においては、事故につながるおそれがある。［連携、安全］〇 ＡＩシステム間で売買契約等における価格交渉を行う場合
において、交渉相手のＡＩシステムが、交渉の権限を有していないにもかかわらず、権限を有しているかのように振る舞うことにより、適切な取引が成立せず、不測の損害を被るケースが想定される。［連携］②急いでいることを理由に要求を拒否

自動運転車Ａ

自動運転車Ｂ①減速を要求〇 競争関係にある事業者が、それぞれ提供するサービスの価格設定に関し交渉を行う場合において、共通するアルゴリズムを使用していると、協調的価格設定（デジタル・カルテル）を通じて競争が制限されるなどのケースが想定される。

［連携］※早く目的地に着くという設定
3

ＡＩの判断・意思決定を検証できないおそれ◆ ＡＩシステムが相互に連携して、協調・調整することになるため、複数のＡＩシステムが連携して判断、意思決定を行う場面が想定される。このような場合、複雑な意思決定プロセスになる可能性が高く、また、システム間の相互作用が複雑となり、ＡＩシステムが行った判断・意思決定の正誤、精度の検証、トラブル時の原因究明や被害者の救済が困難になるおそれがある。

ユーザー
企業a

ユーザー

ユーザー
企業b

ユーザー
企業c

②誤った生産計画が策定され、ユーザー企業aに被害が発生

調達計画
システムa
（Ａ社が構築）③問合せ

開発者/プロバイダ

生産計画
システムb
（Ｂ社が構築）物流計画
システムc（Ｃ社が構築）Ｂ社〇 様々な情報（顧客情報、市場動向等）をもとにＡＩシステムが経営判断を支援しているケースにおいて、それぞれの情報が他の情報の前提となっているような場合、調整自体が複雑となり、人間では、そのプロセスを把握することが困難になるおそれがある。［連携、ブラックボックス化］〇 複数のＡＩシステムが連携してサービスを提供しているケースにおいて、事故等により損害が発生した場合、被害者が、どのＡＩシステムにより損害がもたらされたのか立証することができず、適切な救済を受けることができないおそれがある。［連携、ブラックボックス化、安全］

自社が構築したシステムをサポート

Ａ社〇 サプライチェーン全体として最適化に向けた調整を行っているケースにおいて、個々のＡＩシステムは、それぞれ最適化を目指して調整するものの、何らかの要因で全体最適とならなかった場合、他社のＡＩシステムのことがわからず、原因を検証・特定することができないおそれがある。［連携、ブラックボックス化］①連携して生産計画を調整

アプリケーション（ＡＩシステム）【ＡＩの判断・意思決定を検証できないおそれ（例）】

Ｃ社④他社のシステムのことがわからず原因が特定できない
4少数のＡＩの影響力が強くなりすぎるなどおそれ◆ ＡＩネットワークのエコシステムにおいては、データに関するネットワーク効果が働きやすいと考えられる。このため、ある特定のＡＩシステムにデータ等が集中することとなり、その結果として、基盤的なＡＩシステムが存在する構造が想定される。
◆ このような構造において、例えば、「ヒト」の評価や採用のベースとなる基盤的なＡＩシステムが独占的・寡占的に提供された場合に、基盤的なＡＩシステムの判断によって、企業や個人が不利な立場になるおそれがある。また、基盤的なＡＩシステムの開発者が、基盤的なＡＩシステムとつながっている様々なアプリケーション（個別のＡＩシステム）の判断を意図的にコントロールし、特定の企業や個人を不利な立場に陥れることができる可能性がある。
ユーザー

利用者a

利用者b

利用者c

利用者d

〇 採用（就職）時に不合格となった場合に、他社の採用においても不合格が続いたり、別の会社に就職しても昇格・昇給が遅れたり、転職時にも良い評価が得られないなど不利な立場に陥るおそれがある。［連携、正当性・公正性］③不利益な判断により、不利な立場に陥る

アプリケーション（個別のAIシステム）

採用審査システム

人事評価システム【少数のＡＩシステムの影響力が強くなりすぎるおそれ（例）】

転職・人材紹介システム②利用者aに関する評価を共有〇 融資の申込みを断られた場合に、どの金融機関等からも融資が受けられずに事業の存続が困難に陥るおそれがある。［連携、正当性・公正性］〇 入国審査で、誤ってテロリストや犯罪者と認定されてしまった場合に、他国にも入国できなかったり、差別的な扱いを受けるおそれがある。［連携、正当性・公平性］①利用者aについて不利益な判断
能力評価

基盤的なＡＩシステム

健康評価

評価ＡＩシステム
性格評価

将来性評価

開発者/プロバイダ

Ａ社
5プライバシー侵害のおそれ◆ ＡＩネットワークのエコシステムにおいて、領域横断的なデータ取引所の構築、大量のデータを保有し他者に提供するデータブ
ローカー、様々なデータの統合／プロファイリングを行う事業者の登場が想定される。
◆ このような状況において、意図しない形で、かつ、本人の知らないところでプライバシー性の高い情報が拡散するおそれがある
ほか、様々な情報の統合／プロファイリング等により、個人が特定されプライバシーが侵害されるおそれがある。また、あるＡＩシステムがハッキング等された場合に、ネットワークを通じて他のＡＩシステムにおいて情報が共有される（流出する）おそれがある。

ユーザー

利用者

利用者

医療サービスを利用（データ提供）趣味・嗜好分析
ＡＩ

アプリケーション（ＡＩシステム）【プライバシー侵害のおそれ（例）】

利用者

診断ＡＩ

利用者

ＡＩシステム間でデータ共有

自動発注ＡＩ

データ統合／プロファイリング

医療データ

生活データ

プライバシー］〇 データ取引所等から集められた様々なパーソナルデータが統合／プロファイリングされることにより、個人が特定され、個人に紐付いた行動履歴等が明らかになるおそれがある。

［連携、プライバシー］

レコメンドＡＩ

健康管理ＡＩ〇 ＡＩシステム間の調整により、本人同意なく、自動的に個人情報、パーソナルデータが流通するおそれがある。［連携、〇 あるＡＩシステムがハッキング等された場合、ネットワークを通じて即座に他のＡＩシステムに情報が共有され、もともと保有している情報と統合することにより、個人が特定されるおそれがある。 ［連携、プライバシー、セキュリティ］

個人が特定され、行動履歴等が明らかになるおそれ

資産情報

データ取引所
位置情報

購買データ
6

ＡＩが想定外の動作を行うなどのおそれ◆ ＡＩシステムがネットワークを形成し、複数のＡＩシステムが相互に連携して機能することが想定される。このような構造において、どのＡＩシステムがどのような機能を果たしているのか把握することが困難になるおそれがある。また、ＡＩシステムがネットワーク化されることにより想定外の動作を行うおそれがあるとともに、想定外の不具合が生ずるおそれがある。
◆ ＡＩシステムがネットワーク化されることにより、同じデータが共有されることで、ＡＩシステムの判断の傾向が画一的になるおそれがある。他方で、ＡＩシステムの判断の前提となっているよう条件が成立しなくなった場合、ネットワークにつながっている全てのＡＩシステムが影響を受け、適切な判断を行うことができなくなるおそれがある。
温度の管理は、
執事ロボットＡＩの判断？or 空調機ＡＩの判断？
執事ロボットＡＩ【ＡＩが想定外の動作を行うなどのおそれ（例）】〇 家庭内の執事ロボットや空調機などの家電が連携して快適な住環境を確保（例えば、室温の管理）する場合、全体を統制する執事ロボットの判断なのか、個々の家電（空調機）の判断なのかがわからず、仮にそれぞれの判断が相反すると不具合が生ずるおそれがある。［連携、ブラックボックス

化、受容性］
冷蔵庫
ＡＩ

掃除機
ＡＩ

○ ＡＩシステムを用いて株式や外貨取引等を行う場合、極めて短時間で様々なＡＩシステム間で交渉・調整することが想定され、どのような交渉・調整が行われたのか人間が把握することが困難になるおそれがある。［連携、ブラックボック

ス化、受容性］
料理ロボットＡＩ

空調機
ＡＩ○ 経済予測を行う場合や店舗の来客数の予測を行う場合に、前提となるデータ（ＧＤＰ速報や金利、天気や通行量など）が共有されることで、ＡＩシステムの判断の傾向が画一的になるおそれがある。［連携、データ］

食材の自動注文は、冷蔵庫ＡＩの判断？or 料理ロボットＡＩの判断？or 執事ロボットＡＩの判断？
それぞれのＡＩシステムが異なる判断をしたら？？
7