企業活動に AI 倫理を導入していく上での注意点と提言〜リスクベース・アプローチを踏まえた検討〜

2021 年 8 月 31 日
AI ビジネス推進コンソーシアム
AI 倫理ワーキンググループ

エグゼクティブサマリー
AI ビジネス推進コンソーシアム AI 倫理ワーキンググループについて

AI ビジネス推進コンソーシアムにおける活動の一環として、AI 開発や活用において発生し得る倫理課
題に対して、各企業が何を取り組むべきかを整理し、企業がどのように AI 開発をガバナンスする為の仕組みを構築すべきかを考えていく事を目的に、AI 倫理ワーキンググループ（以下 AI 倫理 WG）として活動を行なってきた。
本報告書では AI 倫理 WG の全 15 回の活動の成果として、これまで議論した結果や、企業活動において AI 倫理を導入するためのリスクの整理や注意点、企業が AI 倫理の問題に対応する際の課題を取りまとめ、AI 倫理をどのように企業活動に取り入れていくべきかを提言としてまとめた。
提言１：自社の AI 倫理に対するポリシーを設定すべきである

昨今、持続的な社会実現のために、ESG 経営強化が多くの企業で進んでおり企業における社会的責任が強く求められている中で、AI 倫理もこうした流れの中に組み込まれていくことが想定される。そうした社会の流れを受けて、まずは自社の AI 倫理に対するポリシーを設定するべきであることを提言している。
提言２：AI により生み出す価値とリスクの両面を見える化すべきである

企業が AI を活用する目的は、新たな価値を生み出すことであるが、提供したい価値とリスクの両面を見える化させた上で、設定した企業の AI 倫理に対するポリシーに沿って判断することが重要である。AI
倫理 WG では、こうした見える化に対してリスクチェーンモデルの活用が非常に有効であることを実際のユースケースを用いて、示している。
提言３：外部のステークホルダーとの共通認識を作るべきである

日本は B to B のビジネス形態が多いため、AI 倫理においては、複数のステークホルダーに跨った対応が不可欠である。リスクチェーンモデルによって見える化されたリスク、価値について AI 開発企業・シ
ステム企業・システム運用企業と外部のステークホルダーとの共通認識を作り、連携して AI 倫理に取り組むことが重要であると考え提言している。
本報告書の構成

以上３つの提言に至るまでの考察として本報告書の構成は、第１章では、AI 倫理 WG 発足の背景とこれ迄の活動を振り返りながら本報告書を作成するまでの経緯をまとめている。第２章では AI 倫理の必要性を国内外の動向を分析した上でまとめている。第３章では、本報告の前提となるリスクチェーンモデ
ルについて、概要及び特徴をまとめている。第４章では、リスクチェーンモデルを活用して複数の AI サ
ービスに対するケーススタディを実施し、「実現すべき価値・目的」「重要なリスクシナリオ」「リスク対応策」をまとめている。第５章では、AI 倫理を企業活動に取り入れていく為の注意点として、AI 倫
理を検討する上での前提条件を整理し、実際にリスクチェーンモデルをどのように使ったのか、それぞれのメンバーが実際のユースケースをまとめる中で感じた感想を取りまとめている。第６章では、企業

1

はどのように対応すべきか、経済性の評価により、見合わないリスクが出た場合どう考えるか、リスクだけでなくユーザーの新しいベネフィットをどう考えるのか、人々の働き方はどうなるのか、などを考察し、企業が AI 倫理の問題に対応する際の課題を取りまとめた。第７章では、本ワーキンググループの意見として、前述した３つの提言を記している。
最後に、サステナブルな社会実現のために企業価値のあり方も ESG という新たな視点が取り入れられ加速している中で、今後 AI ガバナンスもコーポレート・ガバナンスの枠組みとして対応することが求められるという考えから、本報告書が企業活動における AI 倫理の具体的な取り組みの促進に向けて参考になることを期待している。

2

目次
エグゼクティブサマリー ...................................................................................................................................... 1

1.

はじめに ......................................................................................................................................................... 6

2.

AI 倫理の動向 ................................................................................................................................................ 8
2.1 AI 倫理の必要性 .......................................................................................................................................8
2.2 AI 倫理に関する社会の動き ....................................................................................................................8
2.3 AI 倫理を踏まえた企業活動を実践する方法 ..........................................................................................93.

リスクチェーンモデルについて ................................................................................................................. 11
3.1 リスクチェーンモデルの概要 ................................................................................................................11
3.2 リスクチェーンモデルの利用方法 .........................................................................................................11
3.2.1 リスク構成要素の整理と構造化 ....................................................................................................11
3.2.2 リスクシナリオの識別とリスク要因となる構成要素の特定 .......................................................123.2.3 リスクチェーンの可視化とリスクコントロールの検討 ...............................................................12
3.3 リスクチェーンモデルの利用目的 .........................................................................................................12

4.

ユースケース ............................................................................................................................................... 13
4.1

ユースケース１：プラント運転における制御ガイド AI ..................................................................13

4.1.1 サービス概要 ......................................................................................................................................13
4.1.2 システム概要 ......................................................................................................................................13
4.1.3 リスクアセスメント ...........................................................................................................................14
4.1.3.1 リスクシナリオの定義 ................................................................................................................14
4.1.3.2
4.1.4

リスクシナリオの検討 ............................................................................................................15

開発から運用まで.............................................................................................................................15

4.1.4.1

開発 ...........................................................................................................................................15

4.1.4.2

システムの評価 ........................................................................................................................15

4.1.4.3

本番運用 ....................................................................................................................................16

4.1.4.4

モデルの更新 ............................................................................................................................16

4.1.5

AI リスクに対する適性利用の観点 ................................................................................................163

4.1.5.1

意図したとおり機能するための前提条件 ..............................................................................16

4.1.5.2

システムの権限 .......................................................................................................................16

4.1.5.3

システム利用者の正しい理解 .................................................................................................17

4.1.6

AI リスクに対する頑健性の観点 ....................................................................................................17

4.1.6.1

システムの安全性 ...................................................................................................................17

4.1.6.2

信頼性 ......................................................................................................................................17

4.1.7 AI リスクに対する説明責任の観点 ....................................................................................................17
4.1.7.1

開発プロセスにおける説明責任性...........................................................................................18

4.1.7.2

サービス提供における説明責任性...........................................................................................18

4.1.8

リスクアセスメントの効果 ..............................................................................................................18

4.2

ユースケース２：インフラ画像保全における AI ..............................................................................18

4.2.1

サービス概要 ....................................................................................................................................194.2.2

システム概要 ....................................................................................................................................19

4.2.3

リスクアセスメント .........................................................................................................................19

4.2.3.1 リスクシナリオの定義 ................................................................................................................20
4.2.3.2
4.2.4

リスクシナリオの適用 ............................................................................................................21

開発から運用まで.............................................................................................................................21

4.2.4.1

システムの開発 .......................................................................................................................21

4.2.4.2

システムの評価 .......................................................................................................................21

4.2.4.3

本番運用 ....................................................................................................................................21

4.2.4.4

AI モデルの更新 ......................................................................................................................22

4.2.5

AI リスクに対する適性利用の観点 ................................................................................................22

4.2.5.1

AI が意図したとおりに機能するための前提条件 ..................................................................22

4.2.5.2

システムの権限 .......................................................................................................................22

4.2.5.3

システム利用者の正しい理解 .................................................................................................23

4.2.6

AI リスクに対する頑健性の観点 ....................................................................................................23

4.2.6.1

システムの安全性 ...................................................................................................................23

4.2.6.2

信頼性 ......................................................................................................................................23

4.2.7

AI リスクに対する説明責任の観点 ................................................................................................23

4.2.7.1

開発プロセスにおける説明責任性...........................................................................................24

4.2.7.2

サービス提供における説明責任性...........................................................................................24

4.2.8

リスクアセスメントの効果 ............................................................................................................24

4.3

リスクチェーンモデルの適用について ..............................................................................................24

4

5.

AI 倫理を企業活動に取り入れていく上での考慮すべき点 ....................................................................... 25
5.1

企業における AI 倫理の重要性 ..........................................................................................................25

5.2

リスクチェーンモデルの活用方法 ......................................................................................................27

5.2.1

AI 倫理を考慮する必要性 ...........................................................................................................27

5.2.2

AI システム開発における倫理とリスク ....................................................................................27

5.2.3

活用方法 .......................................................................................................................................28

5.2.4

活用方法とその効果 ....................................................................................................................28

5.3

リスクチェーンモデルを活用した所感 ..............................................................................................29

6 企業が AI 倫理の問題に対応する際の課題 ................................................................................................... 31
6.1

AI リスク回避策に対する方針 ...........................................................................................................31

6.2

経済性評価とリスク対応に係るコストの捉え方 ..............................................................................31

6.3

ユーザーベネフィットから生まれる新たなリスクの顕在化 ...........................................................32

6.4

企業が AI 倫理の問題に対応する際の課題 .......................................................................................32

6.5

自社の組織への反映 ...........................................................................................................................33

6.6 今後の人々の働き方の変化 ...................................................................................................................34
7.

８.

AI 倫理 W G 員より提言 ............................................................................................................................. 35
7.1

企業活動への AI 倫理導入についての提言 .........................................................................................35

7.2

企業活動への AI 倫理導入について各 WG 員による所感 .................................................................36

AI 倫理 W G 活動の総括 ............................................................................................................................ 38

AI 倫理 W G 活動実績 ........................................................................................................................................ 39

謝辞 ............................................................................................................................................................................. 40

5

1.

はじめに

AI 倫理ワーキングループ発足の背景

現在多くの分野で機械学習・深層学習をはじめ、様々なアルゴリズムをベースとして動作する AI シス
テムおよび、それらを利用したサービス、その他付随的サービスが提供され、それらシステムを開発・利用・提供する事業者においても、AI 倫理に関する取り組みが求められるようになっている。
2017 年より各国で AI 利用に関する原則の議論が開始され、様々な段階を経て 2019 年に入り OECDにて「信頼できる AI の責任あるスチュワードシップのための原則」が決議され、現在は AI 倫理の原則の議論から、具体的に原則をどのように社会実装していくかという議論に移ってきている。2021 年には、経済産業省より、「我が国の AI ガバナンスの在り方 ver. 1.1 （AI 原則の実践の在り方に関する検討会 報告書）」が報告され、より具体的な内容が提示されつつある。
このように AI 原則の実装に向けた国際的な議論は深まっているが、企業実務においてこの原則をどのように運用していくか、ガバナンスの設計は難しい課題であり多くのステークホルダーに対するアカウ
ンタビリティーを担保していく事は容易ではない。また、AI 技術の適応範囲を鑑みると、様々な産業分
野において使われる為、リスクマネジメントという観点においても、画一的な方法ではなく、事業領域
やリスク度合いに応じて柔軟な対応が望まれる。企業が主体的、自発的にこの AI ガバナンスの問題に取り組むためには、AI 倫理の原則を踏まえた上で、対象事業やサービス領域において重要なリスクを識別し、企業ガバナンスの視点や、技術的な対応策を加味しながら、社会が求める AI サービスを実現することが期待されている。
本報告書発表までの経緯

本取り組みは AI ビジネス推進コンソーシアム参加企業におけるワーキンググループの活動の一環で、
AI 倫理に関するワーキンググループとしてユーザー企業・開発ベンダー企業などから、AI 開発者、ビジ
ネスパーソン、弁護士、弁理士など、様々な立場の者が企業としての AI 倫理に対する考え方やスタンスを明確にした上で、実際に自社へ導入する仕組み作りをするための研究会として 2019 年６月に発足した。当初ワーキングループでは国内外における AI 倫理ガイドラインの研究を行った上で、参加企業がAI 倫理を各社で導入するためのガイドラインを作成することを最終目標として議論を重ねた。しかしながら企業によって、AI サービス形態は大きく変わり、同時にサービスによって考慮すべきリスクも異なるため一律的なガイドラインを策定することは現実に即していないことが明らかになった。そこで、実際にメンバー企業の事例を活用して、リスクベースのアプローチで具体的な掘り下げを実施する方針に切り替えた。リスクチェーンモデルを提唱された東京大学未来ビジョン研究センターの江間有沙准教
授、松本敬史客員研究員に WG に参加頂き、検討を進めた。リスクチェーンモデルを用いながら AI ガ
バナンス検討のケーススタディとして、個別の AI サービスに対して「実現すべき価値・目的」及び「重要なリスクシナリオ」が何かを考える事で、AI サービスにおいて考慮すべきリスクの洗い出しが可能となり、対応策について明確になることを、実際にユースケースを元に実践したことにより身を持って体感した。

6

本報告書は、本ワーキンググループが AI 倫理導入にあたりどのような点を考慮すれば良いのか、これ
迄の研究に基づいた検討結果を「企業活動に AI 倫理を導入していく上での注意点と提言〜リスクベー
ス・アプローチを踏まえた検討〜」としてまとめたものである。

7

2.

AI 倫理の動向

AI を利用したサービスや製品が社会において活用されるためには、AI 倫理の実践が必要となる。各国
政府やさまざまな団体が公表する AI 倫理に関連するガイドラインを見ると、AI 倫理において実現するべき価値についてはコンセンサスの形成が見受けられる。さらに、欧米では AI の利活用に関して法的規制の動きもある。AI 倫理における議論は、抽象論から具体的な実践段階に移行しており、企業に求められている AI 倫理を実践するに際しては、各種ガイドラインの参照やリスクチェーンモデルを活用することが有益である。
2.1 AI 倫理の必要性

AI 倫理の議論については、AI が倫理的な判断をすることができるのかといった AI の側に焦点を当てた議論と、AI を開発・利用する人間の側に焦点を当てた議論の２つに大別できる。当 WG では、後者の意味合いで AI 倫理について検討を行ってきた。
AI 倫理を理由に規制を強化することは、研究開発や企業の競争力を阻害するという意見もある。しかし、AI 倫理で議論されている観点を踏まえていないサービスや製品は、人々から信頼を得ることができず、社会での活用が進まないこととなる。AI 倫理を意識した設計は、サービスや製品の価値を向上させ、企業の競争力につながるという効果もある。
AI 倫理で議論されてきたテーマは、世界的に見ると、当初は、いわゆるシンギュラリティや超知能の出現といった懸念をも想定したものであった。しかし、2021 年現在、このような懸念は落ち着きを見せている。現在の議論の背景には、米国の刑事手続において再犯リスクを評価する AI が人種的マイノリ
ティに対して不利な判断を行っていた事例、採用選考で用いられる AI の開発途中で性別による判断の偏りが判明して開発プロジェクトが中止となった事例、政治的な意思決定に影響を与えうる AI の利用方法が問題となった事例などの現実的な問題がある。
2.2 AI 倫理に関する社会の動き

AI 倫理に関しては、各国政府やさまざまな団体がガイドラインを公表している。主なものでは、
2016 年 9 月の Partnership on AI の Tenets、同年 12 月の IEEE による Ethically Aligned Design、
2019 年 4 月の欧州委員会による Ethics Guideline for Trustworthy AI、同年 5 月の G20 によるOECD Principles on Artificial Intelligence などが挙げられる。日本も、2019 年 3 月に人間中心の AI
社会原則を、同年 8 月には AI 利活用ガイドラインを公表している。また、各ガイドラインで言及されている内容は、日本の人間中心の AI 社会原則の示す 7 つの原則（人間中心の原則、教育・リテラシーの原則、プライバシー確保の原則、セキュリティ確保の原則、公正競争確保の原則、公平性、説明責任及び透明性の原則、イノベーションの原則）と重なる観点も多く、実現するべき価値については、コンセンサスが形成されつつある。議論は、これらの価値を実現するための具体的な実践手法へと移行している。
法的拘束力のないガイドラインのほか、米国ワシントン州では、政府機関による顔認証システムの利用に関して令状の取得を含めた条件付きでの利用を必要とする旨の規制がなされるなど、特定の利用形

8態について法制化が進む動きもある。さらに、より横断的な規制の動きとしては、2021 年 4 月の欧州委員会による法的規制に関する Harmonized Rules on Artificial Intelligence の提案がある。同案では、AI システムを、社会に対するリスクの程度に応じて、①禁止される人工知能、②高リスク AI シス
テム、③それ以外の低リスクまたは極小リスク AI システムの３つに分類したうえで、リスクに応じた比
例的な法的規制を行うことが提案されている。①の禁止される人工知能には、サブリミナル技術を用いて無意識下に人の行動を変容させる AI システムの使用や、不利不当な取り扱いにつながる公的機関によるスコアリングシステムの利用、顔認証システムなどを活用した警察などによるリアルタイムでの監視といった行為の禁止が規定される。②高リスク AI システムには、雇用分野では採用選考に活用される
AI などが、司法分野では再犯リスクを評価する AI などが該当する。高リスク AI システムの提供者には、ログデータの保存や人間による監督といった同案が定める要求事項を遵守すること、これらの要求に適合していることをサービス開始前に第三者機関または自己による評価を行うことなどの義務付けが検討されている。そして、③低リスク AI システムについては、たとえば人と対話するチャットボットなどに関して、AI と対話していることが認識できるような通知の義務付けなどが提案されている。罰則規定も存在し、たとえば①の禁止される人工知能に関する規定に違反した場合には、3000 万ユーロまたは違反した企業の全世界の年間売上高の最大 6%のいずれか高い方を上限とした制裁金を科す案が検討されている。
2.3 AI 倫理を踏まえた企業活動を実践する方法

既に、AI 倫理を踏まえた活動を実践する企業も見受けられる。米国ではグーグルやマイクロソフトな
どが AI 利用のガイドラインや指針を公表しているほか、国内でも、富士通や NEC、NTT データが AI
利用ポリシーや指針を策定している。ソニーも AI 製品に対する倫理審査を行うことを決定するなど、各企業において体制の構築がすすめられている。
一方、EU 諸国では CE マーキングによる工業製品の規格の一元化、安全の確保と EU 社会経済の効率化に既に成功している。欧州委員会では、AI 倫理についても同様の法的規制の動きもあり、その先にあるものとして、域外製品に対する Safe Guard の施行が想定される。そのような動きに対して、大手以外の日本の企業も AI 倫理について具体的に検討を始める時期に至っていると考えられる。
具体的な AI 倫理の実践に際しては、国内外のガイドラインが参考になる。国内では、品質保証の観点から作成されたものではあるが、AI プロダクト品質保証コンソーシアム（QA４AI）による AI プロダク
ト品質保証ガイドラインが公表されているほか、経済産業省による医用画像診断支援システムの開発ガ
イドラインにおいて AI 技術を踏まえた記述が盛り込まれるなど、具体的な留意事項が各分野で議論されている。ステークホルダー間のリスク分担を具体的な契約条項に落とし込む際には、経済産業省による
AI・データの利用に関する契約ガイドラインも参考となる。また、欧州委員会による Ethics Guideline
for Trustworthy AI のチェックリストの活用も一考である。もっとも、欧州委員会が提示するガイドラ
インについては、企業が直接消費者にサービスを提供する B to C のケースを念頭に作成されていると見受けられる一方で、日本では AI ベンダーが SIer とともにシステムを構築し、そのシステムを利用して消費者にサービスを提供するという B to B to C のケースが多い。公表されているガイドラインを参照・適用する際には、サービス提供形態の違いに留意したステークホルダー間の役割分担も必要であろう。

9AI 倫理を含む AI の利活用に伴う問題に取り組むためのツールとして、東京大学未来ビジョンセンタ
ーのリスクチェーンモデルの活用も考えられる。当 WG では、リスクチェーンモデルを利用して、メンバー企業の事例をもとに本検討用に拡張を加え検討を行った。重要度の高いリスクの検討や、当該リスクへの対策を明確にすることができ、ステークホルダー間の共通認識の形成や、リスクコントロールの効率化に資すると思われる。
AI 倫理や AI ガバナンスを踏まえた AI システムの構築・運用を考える際には、データの取り扱いの段
階や、利用後の再学習などの段階までの一連の流れの中で、ステークホルダー間で倫理的問題やリスクの捉え方に関して共通認識を形成することが望まれる。また、法的規制の動きについては、国内では2021 年 1 月に経済産業省 AI 社会実装アーキテクチャー検討会においてソフトローを中心としたガバナンスが望ましい旨の言及があった一方で、欧州委員会による法的規制の案は 2022 年後半の発効が目指されている。GDPR のように EU 域外の企業への適用がなされる場合には、日本の企業も影響を受けることとなるから、法的規制の動向も把握しつつ、AI システムの開発や利活用を進めたい。

10

3.

リスクチェーンモデルについて

松本敬史氏（有限監査責任法人トーマツ/東京大学未来ビジョン研究センター）、江間有沙氏（東京大学未来ビジョン研究センター/理化学研究所革新知能統合研究センター）により政策提言された「AI サービスのリスク低減を検討するリスクチェーンモデルの提案」内で述べられているリスクチェーンモデ
※１

ル

を本 W G において活用した。

3.1 リスクチェーンモデルの概要

AI サービス提供者が自らの AI サービスに関するリスクアセスメントを特定し、リスク要因の関係性を可視化することで段階的にリスク低減を図るためのモデルである。
モデルは、AI サービスの提供にあたりリスク要因となり得る要素を、（１）AI システムの技術的構成
要素、（２）サービス提供者の行動規範（ユ ーザとのコミュニケーションを含む）に係る構成要素、(3) ユーザの理解・行動・利用環境に 係る構成要素に整理し構造化されている。

※東京大学未来ビジョン研究センタ「AI サービスのリスク低減を検討するリスクチェーンモデルの提案」よりリスクチェーンモデル図を引用 https://ifi.u-tokyo.ac.jp/news/7036/

3.2 リスクチェーンモデルの利用方法
3.2.1 リスク構成要素の整理と構造化

構造化されたリスクチェーンモデルの構成要素を確認する。構成要素となりうる要素として公平性、頑健性、説明責任、適正利用などがあげられる。

11

3.2.2 リスクシナリオの識別とリスク要因となる構成要素の特定

各構成要素における個別のリスクシナリオ を識別し、取り組むべきシナリオの優先順位をつけ、リス
ク要因となる構成要素を特定する。
3.2.3 リスクチェーンの可視化とリスクコントロールの検討

各リスク単体のみではリスクを十分に低減することが難しいため、構成要素の関係性を可視化すること
で、段階的なリスク低減の検討を行う。最後に各構成要素で適切なコントロールを検討し、実装する。
3.3 リスクチェーンモデルの利用目的

AI サービスに関するリスクはサービスそのものの品質のみならず倫理や法令遵守を伴う検討項目も含まれるため一般的な製品開発チェックリストでは補えないことが多い。リスクシナリオを作成することで AI サービス開発に関わる人たちと、様々な観点からシナリオを作成することで従来の開発チェック事
項では浮かび上がらないリスクを顕在化させ、サービス開発においてリスクを検討することができる。
AI サービスのリスクシナリオを検討する前提として、まず「実現すべき価値・目的」を検討し、複数のステークホルダーで認識を合わせることが重要である。その上で「実現すべき価値・目的」の阻害要因としてリスクシナリオを検討する。リスクシナリオは「ビジネス目的の阻害要因」と「社会的責任」等
を一体で検討することが望ましい。

※１

江間有沙氏、松本敬史氏の活動プロジェクト「東京大学未来ビジョン研究センター AI ガバナンスプロジェクト AI サービスとリスクコーディネー
ション研究会」
https://ifi.u-tokyo.ac.jp/projects/ai-service-and-risk-coordination/

12

4.

ユースケース

本 WG では、実際の AI 活用事例をもとにして、想定されるリスクと対応策を検討した。リスクベース
で AI 課題に対応するためのベストプラクティスとして、ここではリスクチェーンモデルを適用した 2
件のユースケースを記載する。
＊本ユースケースはあくまでも AI 倫理におけるリスクベースマネジメントの規制及び対応策を検討するにあたり、実例を元に本件検討用に拡張を加え、想定されるリスクとそれに対応した現時点で考えられる対応策を記載したものである。実際のケースと乖離した理想的な対応策を含めて記載されているものである為、一部現実とは異なる点もあるが、あくまでもベストプラクティスを記載するという目的によるものである。なお、本ユースケースは、個別の問題提起や保証を与えるものではない。
4.1

ユースケース１：プラント運転における制御ガイド AI

4.1.1 サービス概要

石油会社の運転管理部門における非定常運転をサポートする為の AI システムであり、プラント運転員に対して将来のプラントの運転状態を推定し、未来の状態とリスクを提示すると同時に、最適運転パラ
メータをガイドとして提示する AI サービスである。
4.1.2 システム概要

プラント設備より出力される計測値、制御値などのプラントの時系列データを収集し、その主要な変数に対して、機械学習・深層学習などの手法を用いて、事前に定めた将来の状態を推定し、運転員に対して複数の指標において、プラントの将来の状態を示し、現在のプラントの運転状態や制御値が、将来どのような運転状態に変化するかを示し、プラントの運転員を支援する AI システムである。運転の良し悪しに関しては、ベテラン運転員の知見や過去の運転データなどから、理想的な運転とされる多数の評価
軸を数値化し、過去の運転記録から評価点を調整して評価関数を作成した。事前の学習には設備を再現した動的シミュレータを元に AI が仮想的に運転を行い、試行錯誤しながら前述の評価関数に基づいて一連の操作全体に高い報酬を得られる運転（最適化運転）を学習する深層強化学習を行った。安定して高い報酬を得られるまでに学習した AI により、実際の非定常運転時に、ライブデータを元に運転員が参考に出来る最適運転パラメータ群を出し続けて運転補助を行う AI システムである。

13

プラント設備運転⽀援システム
プラント設備評価関数
ベテラン作業員のノウハウ活⽤∂x
f(t) Σ

計測値

深層強化学習
モデル開発
配備

制御値

リアル
タイム
デ

ータ

最適制御値
プラント
状態予測

継続して最適な運転ができる様にオペレーターをAIサービスが⽀援

運⽤

学習

シミュレータ参照

予測サービス
予測表⽰

予測4.1.3 リスクアセスメント

本システムにおける想定リスクとして、以下のリスクアセスメントを行い、想定リスクの洗い出しと、それぞれにおけるリスクシナリオを定義した。
4.1.3.1 リスクシナリオの定義

リスクアセスメントは以下の手順で実施される。
①「実現すべき価値・目的」を定義② 価値・目的を実現するための「サービス要件」の確認③ サービス要件の機能を阻害する「リスクシナリオ」の検討
実現すべき
価値・目的

予測性能の
維持

利用者の正
しい利用

サービス要
件

想定リスク

リスクシナリオ

AI の予測精度

環境変化による性
能劣化

原料組成が当初想定し学習させた範囲から変化して予測性能が低下する

AI の頑健性

ノイズの混入AI の説明可能性

データ品質の変化

AI の説明可能性

目的外用途での利用

本番環境へのノイズの混入により判断精度が安定しない
設備保全・清掃時(触媒変更など)に取得されるデータの品質が大きく変化して、予測性能が安定しなくなる
対応していない原料・業務に対して、この AI モデルを転用しようとして誤った判断により操業に支障を与えてしまう

14技術的に誤った解釈AI の判断傾向について誤った解釈が流布し、運転員が誤った業務を行ってしまう

トラブル時の対応
不能

異常時の対応などに係る教育・訓練をおろそかにすることで異常発生時に適切な対応が取れない

セーフガー
ド

異常値の制御異常な出力が行われた際に正常な範囲に補正できず、製油所の操業に支障をきたす

頑健性

学習データ・モデルへの攻撃

外部からの攻撃などにより異常な学習データの投入もしくはモデルの変更が行われ、正しい予測ができなくなるセキュリティ

本番システムへの攻撃

外部からの攻撃などにより、センサーやコントローラに障害が発生し、正しい予測ができなくなる

プロセスの
説明

品質監査への対応

品質監査などを受けた際に適切な説明ができない

検証可能性

トラブル発生時の調査

異常・トラブルの発生により、対外的な説明が求められる際に原因・再発防止策を検討・説明でき
ない

トラブル時
の対応
安全性の確
保

外部攻撃か
らの保護

アカウンタ
ビリティ

＊上記リスクアセスメントは、東京大学未来ビジョン研究センター（IFI） 松本敬史様からの資料より抜粋4.1.3.2

リスクシナリオの検討導出されたリスクシナリオを、本 AI システムに適用し検討した。以下に、システムの詳細説明とともに、それに対応するリスクシナリオについても記載する。
4.1.4
4.1.4.1

開発から運用まで開発

本システムは、開発環境にプラント設備を再現した動的シミュレータをコンピュータ上に再現し、AIが仮想的に運転を行い、試行錯誤しながら高い報酬を得られる運転（最適化運転）を学習する深層強化
学習を行い、安定して高い報酬を得られるまでに学習した AI の学習済みモデルを、本番環境に移行し運用される。
4.1.4.2

システムの評価

本システムは、過去のプラント運転データの統計的な傾向に従い、想定する入力データと運転状態を定め、AI システムが開発されている。またシステムから出力される予測値及び制御値については、過去の熟練のプラントの運転員の評価や、プラントエンジニアなどの専門家により、設備設計値や、想定制御
値、物理モデルなどにより、様々な検証を行い、加えてロバスト性の検証として様々な運転状態を想定
し複合的な検証を踏まえて、AI システムの性能を評価されている。

15

4.1.4.3

本番運用

本システムは、運用時においては、プラントから計測されるリアルタイムの計測データを、学習済みモデルに与え、特定の出力値を予測・最適化し、プラント運転員が見るモニターを通じて情報が提示され、サーバーなどの環境についてはオンプレミスで稼働している。またモデルや、システムの UP デー
トに対しては、事前に定めるシステム利用規定に従い手順と承認権限を定め、適切な手順にしたがって更新が行われる。
4.1.4.4

モデルの更新本システムは、AI モデルがプラントの運転状態を予測し、その状況に合わせて最適化された制御値がレコメンドされるが、同時に一定時間経過後に、事前に予測した状態にならなかった場合、もしくは、レコメンドされた制御値に従ってプラントがコントロールされたにもかかわらず想定の運転状態にならなかった場合には、プラントからの計測データの結果値を検証する事で、即座に検証が可能になる。本
システムの特性上、AI システムの評価で述べた通り、複合的な検証を踏まえて、AI システムの性能を評価されている為、リアルタイムでのモデルの更新は適さない為、その結果の記録については、重要なエビデンスとして記録され、定期的な解析と検証にまわされる。AI の開発者と AI システムの間で継続的なコラボレーションにより、適切なモニタリングや、検証が継続される事により、ユーザーに対して、
AI システムの適切な性能が提供される。
4.1.5

AI リスクに対する適性利用の観点

4.1.5.1

意図したとおり機能するための前提条件

本システムは、プラントにおける流体システムの制御値を最適化する為、前提となる設備の状況が改修などにより変化していない事や、想定している液体の成分が一定の範囲内に収まる事を前提としており、その範囲を外れるケースにおいては、AI モデルの信頼性が担保出来ない。その為、本システムでは、前提条件となる設備状態である事をシステムの利用前に、利用者に確認を行うプロセスと、原料の特性が事前に合意している特性の範囲に収まっているかの合意をもって、AI モデルの信頼性の担保を行なっている。
(リスクシナリオ「環境変化による性能劣化」「データ品質の変化」「目的外用途での利用へのリスク」に対応)
4.1.5.2

システムの権限本システムはあくまでも、リアルデータから推定される短期の予測と、望ましい運転状態を実現するプ
ラント制御値を示すものである。その提示された情報を踏まえて、最終的に人間が判断を行い、実際のシステムの制御値は、プラント運転員が、AI システムとは物理的に切り離された別のシステムを制御する事により行われる。
また、AI モデルから出力される制御値については、事前の AI システムの評価で、プラントエンジニアなどの専門家により、設備設計値や、想定制御値、物理モデルなどにより、許容する出力値範囲を事前に定め、その範囲から逸脱した制御値は出力されず、安全性の担保を行っている。

16

(リスクシナリオ「異常値の制御へのリスク」に対応)
4.1.5.3

システム利用者の正しい理解

本システムは、プラント運転員に対する事前のレクチャーとして、AI システムの評価として、開発時
及び検証時において、どのような内容のデータが使われているのか、どのような検証が専門家によってなされたのか、その結果のレポートを含めて正しい理解を行い、AI システムの特徴や、想定していない
状況について事前に理解を行い、対応していない原料・業務に対して、この AI モデルを転用しようとして誤った判断により操業に支障を与えてしまう可能性を防止し、さらに、事前の検証で把握されている
AI モデルの性能についても正しい理解を行う事で、運転員が AI システムに過度に依存する事にならないように配慮され、AI システム単体だけでなく、利用者の正しい理解も含めて包括的な安全性の担保を行っている。
（リスクシナリオ「目的外用途での利用」「トラブル時の対応不能」に対応)
4.1.6
4.1.6.1

AI リスクに対する頑健性の観点
システムの安全性

運用時においては、プラントから計測されるリアルタイムの計測データに対して、特定のデータ処理を加え、センサーデータの事前の加工を行うと同時に、想定しないデータの状態やセンサーなどの故障による欠損に対して事前に策を講じ、上記モデルに対して想定外の入力データが与えされる事がないように対策が講じられている。また、あきらかな異常データへの対応策に加えて、１変数ではモニタリング
できないデータドリフトに対しても、別のアルゴリズムによりデータドリフトを定量的に監視しており、AI モデルの劣化を事前に察知すると同時に、外部からの本番システムへの攻撃や、データのノイズの混入に対してアラートをあげる仕組みを構築し、AI システムの安全性の担保を行っている。
(リスクシナリオ「環境変化による性能劣化」「ノイズの混入のリスク」「学習データ・モデルへの攻撃」「本番システムへの攻撃」に対応)
4.1.6.2

信頼性

AI モデルによる機能と並行して、AI を使わない評価関数による運転結果の絶対評価が行われるので、AI 制御ガイドによる一連の操作全体が信頼されるべき性能かどうかを、過去の評価された運転や、ベテ
ランやそれ以外のオペレータによる運転とも定量的に比較する事が可能になった。これにより新人オペ
レータの運転成熟度も測れ、AI が相対的にどの程度信頼できるか実力が分かるようになる。

4.1.7 AI リスクに対する説明責任の観点

17

4.1.7.1

開発プロセスにおける説明責任性

本システムは、システム及び AI モデルの開発時に、このシステムに関わる各種ステークホルダーに対する説明責任を担保する為に、使われたデータ及び、その主要統計値、また再現されたシミュレータの設定値、学習に使われたモデル、評価関数、各種パラメータ、学習回数、使われた乱数、プログラムソ
ースコードなどが保管され、再現性を担保した開発が行われている。また検証時に行われた検証内容及
びその報告書についても保管され、システム開発における説明責任性を担保している。
（リスクシナリオ「品質監査への対応」「トラブル発生時の調査」に対応)
4.1.7.2

サービス提供における説明責任性

本システムは、AI モデルがプラントの予測値と、その状況に合わせて最適化された制御値が、同時に一定時間経過後に、事前に予測した状態や制御値が、想定の運転状態にならなかった場合には、プラントからの計測データの結果値を検証する事で、即座に検証が可能になる為、その結果がログとして保存され、どのような値が推薦され、どのように制御され、結果どうなったのかがデータが重要なエビデン
スとして記録され保管される。その結果に基づいて定期的な解析と検証、適切なモニタリングが行われる事により、事前の想定利用範囲との差分が明らかになる為、サービス提供における説明責任性を担保している。
（リスクシナリオ「品質監査への対応」「トラブル発生時の調査」に対応)
4.1.8

リスクアセスメントの効果

仮想のケーススタディであるが、AI 開発現場からの経験を元にしたコメントで、「開発時に検討した以外の様々な観点からチェック出来ていて役立つ点が多い。特にセキュリティや社会的責任の観点からのアセスメントで新たな気づきがあった」と言う意見が得られた。また、これら結果や手法を呼び水に、派生シナリオとして「アルゴリズムとして欠陥が隠れていた。又は、ライブラリの Version 等が違って精度良いと思って実装したプログラムが違う挙動をする。想定からズレ始めるシグナルをどう判断するか。対応の実装方法について」などが提案され、AI 開発現場の視点からも AI システム運用におけるリスクの予防に肯定的な反応が得られた。
同時に、網羅的に広く検討できるが故に、全ての検討を初期または PoC フェーズの担当チームで検討するとコストとスピードの足かせになるかもしれないという意見もでた。開発グループが顧客と共にリス
クチェーンモデルを効果的に活用する為の適切なタイミングを探す、又は開発とは別グループによる定期的なアセスメントをするなど、開発規模ごとの体制と実行の仕方の議論を行う事で効率的な運用が実
現できる。

4.2

ユースケース２：インフラ画像保全における AI

18

4.2.1

サービス概要本 AI サービスは、ディープラーニングによる画像解析技術を用いた、社会インフラ設備の異常診断サービスである。A 社は、本サービスを活用し、インフラ設備の撮影データの画像解析により異常箇所を判別し、自動で報告書を作成するシステムを構築した。
A 社の社会インフラ設備は人々の生活を支える重要なものであるが、その保全・維持に保守作業員の危険な作業、および、熟練した技術を伴うため、従来から A 社にとって大きな負担となっていた。インフラ保全作業プロセスで AI サービスを活用することで、保全を実施する作業者の負荷とコストを軽減すると同時に、保全品質を確保し、企業としての社会的責任を果たすことが、本システム構築の目的となっ
ている。
4.2.2

システム概要本システムは、A 社の委託先であるＢ社の開発するディープラーニングモデルを利用する。モデルは B社の管理するクラウド環境上で AI サービスとして提供される。AI サービスは、撮影データを受領後、異常個所の推論を実行し、保全の必要な箇所を記載した報告書を自動作成して A 社に送付する。報告書
内では撮影画像上で異常箇所がハイライトされており、A 社の担当者はその予測された異常個所の記載
内容をチェックして、インフラ設備のメンテナンス要否を判断する。必要であれば、正式な報告書を作成し、保守作業員がインフラ設備の保全作業を実施する。

社会インフラ設備障害検知システム
予測

B社

A社

障害箇所
予測実施
AIサービス

作業依頼

保全部署

保全計画作成

⽇次データ

配備
モデル開発

障害検知
報告書

設備撮影データ
学習情報

正解情報

保全作業
障害実績情報

障害発⽣状況連絡

学習

4.2.3

運⽤

リスクアセスメント

本システムでのリスク管理の一環として、リスクチェーンモデルを適用し、社会インフラとして必要なAI に関わるリスクを洗い出し、高品質な AI システムの運用のあり方を検討する。

19

4.2.3.1 リスクシナリオの定義

リスクチェーンモデルでは、リスクアセスメントは以下の流れで実施される。
①「実現すべき価値・目的」を定義② 価値・目的を実現するための「サービス要件」の確認③ サービス要件の機能を阻害する「リスクシナリオ」の検討
実現すべき価値・目的を、本システムのビジネス上の３つの視点をもとに７つにカテゴライズした。
・保全品質の確保「予測性能の維持」、「環境変化への対応」、「外部攻撃からの保護」
・保全に掛かる負荷軽減「適切な保全レベル」、「わかりやすい報告書」
・企業の社会的責任「アカウンタビリティ」、「情報管理」
それぞれに該当するサービス要件を確認し、考えられるリスクシナリオを検討したものが以下の表であ
る。
実現すべき
価値・目的

予測性能の
維持

環境変化へ
の対応

サービス要件AI の予測精度
AI の頑健性AI の頑健性
IoT

外部攻撃か
らの保護

AI の頑健性
セキュリティ

適切な保全レベル

AI の予測精度

分かりやす
い報告書

AI の説明可能性
分かりやすい表
現想定リスク

リスクシナリオ

予測性能の維持AI の予測性能が劣化したことで異常を見逃し、利用者の生活に大きな影響を及ぼす

ノイズによる影響

画像にノイズが混入し AI の判断精度が劣化する

外部環境の変化

外部環境の変化などにより、識別精度が著しく低下する

IoT の変化
悪意のある異常データの混入セキュリティ
保護

撮影機器の変更によって画像の仕様(解像度・画素・形式など)が変わることで、適切な判断が行われない
AI に誤認識させることを目的として、設備にペイントを施すことで、AI が判断結果を大きく変えてしまう
外部からの攻撃により異常な学習データの投入もしくはモデルの変更が行われ、設備の保全に支障をきたす

過大な保全業
務の要求

保全個所が過剰に識別されてしまい、保全コストが増大になる

適切な判断

判断根拠(画像の注目部分)が出力されなければ、担当者が判断・説明ができなくなり、適切な保全が行われない過度な AI 依存

報告書の内容によっては、保全担当者が AI の判断
結果を疑わなくなってしまう20

アカウンタビリティ

情報管理

プロセスの説明品質監査への対応

品質監査などを受けた際に適切な説明ができない

検証可能性

トラブル発生時の調査

異常・トラブルの発生により、対外的な説明が求められる際に原因・再発防止策を検討・説明でき
ない

データ管理

風評被害

AI の予測結果情報(異常検知箇所)が外部に流出することで特定の地域に対して風評被害が発生する＊上記リスクアセスメントは、東京大学未来ビジョン研究センター（IFI）松本敬史様からの資料より抜粋4.2.3.2

リスクシナリオの適用導出されたリスクシナリオは、システム設計時に検討され、活用される。以下に、システムの詳細説明とそこでのリスクシナリオの対応について記載する。
4.2.4
4.2.4.1

開発から運用までシステムの開発

A 社と B 社では、学習情報となる撮影データと既知の異常個所情報を使用してディープラーニング技
術による AI モデルを開発した。学習処理は B 社開発環境で B 社担当者が実施し、テストデータセット
で期待精度を得られたモデルを本番サービスで使用する。学習は、両社の合意した撮影条件で、様々なバリエーションの撮影データを準備して実施する。
4.2.4.2

システムの評価

保全対象となるインフラ設備は社会的な重要度が高いため、異常個所の検出漏れをなくすために、本AI モデルの評価では、テストデータセット（期待する検出限界以上の障害箇所画像を含むテストデータセット）を処理したときの偽陰性（異常を正常と認識してしまう確率）が設定した目標値を満たすかど
うかの確認を行う。
本番運用中には、設備の実際の障害情報を定期的に取得し、モデル開発時と同などの異常個所検出精度を維持することを目標としたモデルの監視・評価を行う。また、同時に、不要な設備保全作業を減らすために偽陽性（正常を異常と認識してしまう確率）についても確認し、モデルの評価指標として使用している。テストデータセットの処理時間についても規定を設け、設備保全処理に遅延を生じさせないよ
うにモデルの速度性能評価を行う。
4.2.4.3

本番運用

本 AI サービスは評価基準を満たしたモデルを使用して B 社の管理するクラウド上で提供される。A 社が提供する撮影データをもとに画像解析を実施し、検出した異常個所の推定情報を記載した報告書を A社に送付する。A 社では担当者が報告書を確認し、設備の保全の要否を判断し、必要に応じて保全作業担当者に報告書を引き渡す。

21

4.2.4.4

AI モデルの更新

本 AI サービスの異常箇所予測性能は人々の生活に直結するため、精度を継続的に維持管理する必要がある。Ａ社では運用時のモデル精度指標監視とともに、定期的にサンプルベースでの見逃し箇所の有無についての精度確認を実施する。精度の劣化が見られた場合には、B 社に対し追加学習や再学習の依頼を行う。また、AI モデルで判定ができなかった撮影データについても記録し、今後のシステム改善のために活用可能かを検討する。インフラ設備の更新などで、検出すべき障害箇所の追加・修正が必要となる場合には、両社合意のうえで、必要に応じて再学習時の学習データを更新する運用とする。
モデルの精度劣化などの要因による A 社からのモデル修正依頼に対応するため、B 社では複数のモデル
開発、および、本番サービスでの複数モデルの並行稼働による比較評価が実施できるような開発・運用
環境を整備する。
（リスクシナリオ「予測性能の維持」に対応）
4.2.5
4.2.5.1

AI リスクに対する適性利用の観点
AI が意図したとおりに機能するための前提条件

学習時のデータと異なる条件の撮影データが渡されると、本 AI サービスは開発者の意図したとおりに機能しない可能性がある。例として、室外での遠隔撮影画像への意図しないノイズの混入や、撮影機器の変更、撮影条件の変更があると、AI モデルの異常箇所の誤検出につながるおそれがある。また、悪意のある者が、異常な画像データの投入、もしくは、インフラ設備に実際に塗装などを行うことで、AI の判断を意図的に誤らせ、保全作業に支障を与える可能性もある。
これらの課題に対応するために、A 社と B 社間では、モデルで対応可能な撮影データ仕様の明確化、
撮影環境条件の定義、および、画像データの統計的なドリフト、偏り、異常値の監視を行う。必要に応じて、撮影条件の実地確認や、ノイズへの耐性強化のためのモデル再学習も実施される。
（リスクシナリオ「ノイズによる影響」「外部環境の変化」「IoT の変化」「悪意のある異常データの購入」「セキュリティ保護」に対応）
4.2.5.2

システムの権限

本 AI サービスの出力結果は、Ａ社とＢ社間で合意された精度基準を満たすものだが、あくまで予測であり、その報告結果をもとにしてアクションを実施するかを判断する責任は AI サービスの利用者にある。Ａ社では、サービス利用者が報告書から保全作業の有無を判断する際の承認・責任体制を明確化
し、責任を持った AI 利用が可能な体制を整備する。
また、保全要否のレベル定義と保全ルールを整備しておくことで、多くの障害箇所が AI モデルで検出されてしまった際に、限られた保守作業員での適切な対応の実施、および、保守作業実施後に保守作業側からの検出精度（検出しきい値）の調整依頼などのフィードバックができるような運用体制が構築される。
（リスクシナリオ「品質監査への対応」「トラブル発生時の調査」「過大な保全業務の要求」に対応）

22

4.2.5.3

システム利用者の正しい理解

報告書での AI サービスの高い予測精度が続くことにより、利用者が AI を過信して判断を誤ってしまう
可能性がある。AI サービス予測の保全業務への採用頻度を計測し、AI 利用状況について客観的に把握できるようにするとともに、AI サービスの生成する報告書について、AI 予測の仕組みと限界、リスク、生成された報告書の利活用プロセス、保全業務の重要性について定期的にトレーニングを実施し、利用者の意識を高める運用を行う。
（リスクシナリオ「適切な判断」「過度な AI 依存に対応」）
4.2.6
4.2.6.1

AI リスクに対する頑健性の観点
システムの安全性

本システムは社会インフラ設備の保全のためのものであり、発生する障害が人々の生活に大きな影響を与える可能性がある。精度の劣化防止のための監視、および、モデルの更新プロセスを事前に設計することで、システム品質の維持を実現する。また、システム障害発生時を考慮し、代替運用体制（人手での撮影データの確認など）、および、代替運用への切り替えルールを整備する。
設備障害箇所の検出しきい値や、画像データの偏り検出のしきい値などの設定を、運用者の便宜的な意
図で恣意的に変更することのないように、システム設定値変更の権限と承認プロセスを明確に定義する。
本システムの扱うデータについては、撮影データに映っている設備保全上の重要情報の漏洩や、撮影データ内への人の映り込みによるプライバシー侵害、設備異常予測の流出による風評被害の発生、といったリスクがあるため、データへのアクセス管理は厳重に実施される。
AI システムに重大な障害やコンプライアンス上の問題が発生した場合のサービス停止基準を設け、定期的に基準を見直す運用とする。
（リスクシナリオ「予測性能の維持」「品質監査への対応」「トラブル発生時の調査」「風評被害に対応」）
4.2.6.2

信頼性

本 AI サービスでは、異常個所検知の AI による信頼度を報告書に出力し、AI サービスの予測信頼性を明確にするように実装される。また、AI モデルの精度確認を継続的、定期的に実施し、サービス精度の信頼性の維持に努める。精度評価、モデルリリース判定用のテストデータについては、A 社と B 社で協調して定期的にメンテナンスを実施し、評価基準やテストデータ自体の劣化を避けるように運用される。
（リスクシナリオ「予測性能の維持」に対応）
4.2.7

AI リスクに対する説明責任の観点23

4.2.7.1

開発プロセスにおける説明責任性

本 AI サービスの開発委託先の B 社によって、問題発生時の再現性の担保のために、AI モデルとアルゴ
リズム情報、その学習に使用したデータ、および、それらのバージョンが記録される。また、AI モデルの本番リリース時には、使用したテストデータ、および、その精度に関する情報の B 社からの提供と、A 社による承認を必須とし、モデルのリリース判断根拠が管理できるように対応する。
（リスクシナリオ「品質監査への対応」「トラブル発生時の調査に対応」）
4.2.7.2

サービス提供における説明責任性

本 AI サービスでは、生成する報告書内にモデルの異常個所予測に使用した画像領域、および、その信頼度スコアを出力することで、判断の根拠が明確化される。
加えて、AI サービス品質についての要件の整理と確認を実施するとともに、品質監査、および、異常発
生時の要因分析のために、必要な入力データと出力結果、および、実行ログを保持し、追跡・確認・比較できるようにすることで説明責任性が担保される。
（リスクシナリオ「品質監査への対応」「トラブル発生時の調査に対応」）
4.2.8

リスクアセスメントの効果

リスクチェーンモデルを使ったリスクの検討を行うことで、多様な観点からのリスク導出と整理、および、可視化が可能となり、リスク対応の優先度や方策などを検討するための情報を網羅的に整理することができた。リスクの網羅性の度合いや対応優先度、観点の抜け漏れの回避、既存のリスク管理プロセ
スとの調整など、運用にあたっては事前の考慮と理解が必要となる面もあるが、このモデルでのリスクの導出プロセスは、要件の不足点の把握や、システム運用時の役割やタスクの整備など、AI 関連のリスク領域を超えた気づきにもつながる。
4.3

リスクチェーンモデルの適用について

AI システムへのリスクチェーンモデルの適用について、実現すべき価値・目的の定義、リスクシナリ
オの識別、そのリスクに対する対策という一連の過程の効用を、ワーキンググループでのユースケース
作成を通して議論・検討した。
AI システムのガバナンス、および、要件・設計・開発において、AI 倫理関連のものも含め、リスクの認識は非常に重要なプロセスであり、リスクシナリオの導出を通して対策を検討することは、ビジネス目的の達成や社会的責任に関連する重要なリスクへの予防措置につながる。リスクチェーンモデルの考え方を企業内のリスク管理プロセスの一部として効率的に取り入れることは、大きな効果を得ることが期待できる。
プロジェクト初期のリスク検討だけでなく、システム構築中やシステムリリース後にも、社会状況の変化や、要件・設計の変更などの要因により、同様の AI システムのリスクアセスメントが必要となることがある。リスクチェーンモデルでは、リスクの関連性が可視化でき、かつ、リスクの識別過程がプロセスとして定義されているため、この点でも効率的な運用が可能である。

24

5.

AI 倫理を企業活動に取り入れていく上での考慮すべき点

本章では、企業活動の信頼性の保持における AI 倫理の重要性、AI 倫理の実効上げる AI ガバナンス、
そのコントロール下にあってリスク回避のため AI の意図した使用（“Intended Use”）の概念のもとにリスクチェーンモデルの活用とそれにより得られる効果について議論している。

5.1

企業における AI 倫理の重要性

現在社会においては、企業活動が投資家、消費者等のステークホルダーに与える影響は大きく、結果
によっては社会や環境に深刻な被害を与えるものとなっている。この弊害を防止するため、企業の行動には高い倫理性が要望されている。一方、AI 製品や AI サービスは人の判断を支援するツールとして、
使用あるいは利用されるため、産業応用を超えて人、社会、環境に大きく影響を与えることが予想されている。企業活動と AI の間にみられるこれらの影響の類似性と範囲の広さの共通性から、AI にかかわる企業には企業倫理と同じように AI 倫理を遵守することが期待される。
企業倫理や AI 倫理を遵守するには、これらに起因して企業が被るリスクを回避しなければならない。
その実行に必要な体制がガバナンスである。それと共に、AI ガバナンスを効かせて AI がもたらすリス
クを回避することは、AI が産業の発展に貢献し、最終的には人類の調和発展に貢献するものであるためには絶対的な条件である。
AI 製品・サービスの効果と影響は広範囲にわたる。そのため、AI 倫理遵守（AI ガバナンス）を考える上で重要な視点は、その企業が提供した AI 製品が「意図された使用（“Intended Use”）」の範囲（AI サービスにあっては、「意図された利用」の範囲）において「反倫理性」を内在しないとの観点である。なぜなら意図した使用（利用）の範囲は、提供企業がコントロールできるものだからである。
“Intended Use”が関わる範囲は下図に示ように、システム使用と社会実装を含む。反倫理性とはこの範囲におけるリスク原因となる全ての事柄を意味する。すなわち、非人倫や反社会性のみならず、シス
テムの品質、瑕疵、脆弱性なども含む具体的事項である。

25

この視点から、AI 製品の使用（利用）において反倫理性を排除するためには、製品/サービスの使用/利用においては、その①範囲、②活用の動機、③活用の態様において反倫理性が含まれないこと、さらに提供者にとって 隠れた反倫理性がないことを担保するために、提供システム内に①適用プロセスに反倫理性が含まれない、②適用プロセスの結果が反倫理性を含んでいないことを担保すべきである。
AI 製品/サービスが目的内で「意図された使用/利用」されること担保するためには、①目的以外でのシステムの使用／利用を制限する、②基本解析ソフトに反倫理性が含まれない、③システム機能の発揮（データ収集、入力、プロセス）が適法適切に行われていることを担保すべきである。かつその前提として、④システム外部とのインターフェイスがシステムの安全性を担保している（システムの頑強性）、⑤AI システムが提供する結果が適法適切に外部に提供されていること保障すべきである。以上を図示すると、AI ガバナンスにおいて持つべき意識は、AI 製品の使用（利用）において反倫理性を排除
し、目的内使用において意図された使用（利用）が担保されていることである（下図参照）

26

実際に AI 倫理を保全するには、AI 製品・サービスの提供者が AI ガバナンスを維持できる体制を構築している必要がある。しかし、提供者と使用者・利用者との間に、第三者がビジネス主体として介在している場合には、使用者・利用者は提供者の意図した使用・利用目的を知ることができない。その結果、システムが意図された使用・利用されることは担保されない事態が生じる。これを解決するため、ステークホルダー全体を包含し関連付けるリスクチェーンの概念とリスクチェーンマネジメントが必要である。特に、リスクチェーンマネジメントが AI 産業の実体的な標準となることが AI 倫理の社会的浸透と実現には重要である。
画像認識ソフトウェアが軍事使用された事件につき 2021 年 6 月 22 日に国連安全保障理事会の専門家パネルから報告があった。これに対して、企業は AI の軍事技術への適用を AI 倫理の観点からどう捉えるべきかの問題がある。
兵器を含む軍用品も工業的製造工程を経て製造され、軍用品においても AI の常として人の認識や判断を支援・補助する効果を持つ。すなわち軍用品も一般産業とは、製造と効果には何ら差異がない。そうとするなら現時点では、AI 技術の提供者が自然人なら「意図した使用」との整合性で、そして、法人ならその企業が制定する企業倫理との整合性に基づき、AI の軍事利用の倫理性を判断するという考え方もあり得る。自律型致死兵器システム等における特定の利用については国際条約化の後に国内法により制限されるとの予想がある。一方、AI 応用技術の進歩に伴う軍事利用の範囲は今後さらに拡大することについては疑念がない。これらの状況を勘案すると、AI の軍事利用の問題は「AI 倫理」の将来の進展・更改とともに検討すべきであろう。

5.2

リスクチェーンモデルの活用方法

5.2.1

AI 倫理を考慮する必要性

AI システムを開発する際には、その課題に適したアルゴリズム・学習の手法の検討と、学習に使用するデータの収集・整理が必要である。使用するデータの選択やその整理方法などによっては、システムの機能面からは期待通りの効果をあげることのできるものであったとしても、倫理上の問題が含まれる
場合には、その問題を解決することが必要となる。倫理面からの理由により、構築したシステムの利用に制限が発生することは、システム開発時のリスクの一つであるといえる。
従い、AI システムを開発する際には、ビジネスの目的とその実現に向けたアプローチを検討する事と同時に、AI システムのライフサイクルを通して様々な側面で考えられる倫理上の問題につき、使用するデータを含め、初期の段階から注意をしながら開発することが求められる。
5.2.2

AI システム開発における倫理とリスク

AI システムにおいて倫理に係るリスクとなる要因は、開発の様々な段階だけではなく、そのシステムを運用する組織や、システム利用者も含む広い範囲でのステークホルダーにおいても存在する。
従い、AI システムにおける倫理を検討する際には、元となるデータやシステムの機能などにおけるリス
ク及び倫理面での問題を、システムの開発者・運用者や利用者など関係するステークホルダーそれぞれの視点において、整理・検討することが必要となる。

27

課題により、検討すべき構成要素および関係するステークホルダーは異なるものであり、個々の課題に応じて想定すべきステークホルダー及びそれぞれで検討すべき構成要素を洗い出し、それら課題を整理し、対応策を検討することが必要となる。
その検討を行う際に、本提案で提唱しているリスクチェーンモデルを利用することで、システム開発者
が開発段階でどのようなリスクや倫理の問題を網羅的に整理し、それに対してどのように対応することを想定したのかを、明確に記録に残すことが可能になる。
5.2.3

活用方法

リスクチェーンモデルは、下記のステップにて利用することができる。
1.

実現すべき価値・目的に応じた、個々のサービス要件に対するリスクシナリオを洗い出す

2.

それぞれのステークホルダーにおける、役割を整理する

3.

個々のリスクシナリオに応じて、関係するステークホルダーでの検討の対象となる構成要素およびその関連性を洗い出す

4.
5.2.4

該当する構成要素におけるリスク・問題並びにそれらのコントロールを検討する
活用方法とその効果

リスクチェーンモデルを利用し前述の手順に従い、ユースケース１ではプラント運転における制御ガイ
ド AI を、ユースケース２ではインフラ画像保全における AI を、それぞれのケースにおけるリスク及びそのコントロールを整理・検討を行った。先ずは想定するリスクを洗い出し、それぞれのステークホル
ダーにおけるそのリスクが影響を及ぼす構成要因及びその関連性を洗い出した。その後、それぞれの構
成要因におけるリスクに対するコントロールを検討し、全体のシステムとして整理した。
今回リスクチェーンモデルを利用することにより、下記の効果を得ることができたと考える。
各ステークホルダーにおけるリスク及びそのコントロールを漏れや重複することなく検討すること
1.

AI システム開発ベンダー及びシステム開発ベンダー・システム運用ベンダー間での役割とその関連性を明確にすること

2.

ステークホルダー間におけるリスク及びそのコントロールを相互に認識できるコミュニケーショ
ンツールとして利用すること

3.

AI システムの精度向上や環境変化に伴う再学習の仕組みにおいて、必要なデータの収集や評価など、あらかじめ関係者に必要な協力を理解いただくこと

28

5.3

リスクチェーンモデルを活用した所感

伊藤忠テクノソリューションズ株式会社 角田尚

リスクチェーンモデルの分析過程を通すことで、異なる複数の立場から AI システムを考えることができ、リスクはもちろんのこと、不足要件の検討も効率的に実施することができた。プロジェクト初期だ
けでなく、マイルストーンごとに複数回見直すことで、品質の高い AI システムの実現につながる手法と感じた。
株式会社 GliaComputing

嘉瀬正彦

検討すべき課題に対して、必要なステークホルダーや対象となる構成要素を洗い出し、リスクやそれに対するコントロールを、漏れや重複などが生じないように、整理・検討することができる有効なモデル
であると感じた。
KHE コンサルティング 小西 頴（１）リスクチェーンモデルは多くのリスク要素を網羅しており、AI を使用または利用する上で、AI シ
ステムに内在する技術問題、利用上の問題、目的達成の障害の存在を気付かせ、AI システムの使用と運用の改善を考えさせてくれる上で、優れたガイドライン機能を有する。
（２）リスクチェーンモデルを活用することは、実際の企業活動に AI を使うことにより生じるリスクを事前に回避する極めては有効なものである。
（３）一方、リスクチェーンモデルは、製造者と使用・利用者の連携に必要な共通視点を与えている。
その結果、使用・利用の目的達成の観点から AI に係わる個々のステークホルダーにおける役割の再定義と、彼らにおける組織内リスクマネジメントの整備の要点を明確にしてくれる。（４）さらに、AI シス
テムの強化の観点からは、非類似データを使った積極的な排除プロセスによる判断精度向上の手法を気付かせてくれた。
株式会社 SoW Insight

中条薫

日本では、BtoBtoB や BtoBtoC のビジネス形態が多いため、複数のステークホルダーに跨った対応が不可欠である。リスクチェーンモデルを企画や仕様検討の早期段階で活用することは、実際の開発・運用で起こりうるリスクの洗い出しとステークホルダー間での役割分担の効率的な検討に繋がると感じた。
真英法律事務所

堀川

正顕

視覚的かつ網羅的に思考を整理できる点で有益であった。重要度の高いリスクへの対策を精査することに役立つ。また、関係者の役割分担についても意識を行いながらリスク対策を進めることができる。
千代田化工建設株式会社

安井威公

アメリカなど先進国家から機械学習システムが社会に実装されて既に大小さまざまなリスクを生み始めているが、システム内外両方のリスクを予想する手法はまだ殆どなくリスクチェーンモデルは稀有な存在である。慣れるまでシナリオ作りは難しいが、他社事例を参考にすることで発想の方向性が身につくと思われる。

29

富士通株式会社

葛馬弘史

対象事業に関連するリスクだけではなく、その事業が発展することによる社会変革や、その事業の存在意義に関しても多くの気づき抽出することができた。非常に広い視点から事業全体を見る事ができるモデルだと感じた。

30

6. 企業が AI 倫理の問題に対応する際の課題

本章では、企業はどのように対応すべきか、経済性の評価により、見合わないリスクが出た場合どう考
えるか、リスクだけでなくユーザーの新しいベネフィットをどう考えるのかという考察を踏まえた上で、企業が AI 倫理を導入する上での課題を議論している。さらに将来的に AI 倫理を導入することで人々の働き方はどう変化するのかを考察し、改めてその価値についてまとめている。

6.1

AI リスク回避策に対する方針

対策はリスクの構造にもよるが、可能なら根本的に回避できる策、次善で減災する策を探すべきである。ブラックボックスである深層学習が起因するリスクでも、AI 自体の適用の仕方の工夫や、保護層としてのサブシステムとの組み合わせで、技術的にリスク回避レベルを上げる事が可能である。EU も北米も AI リスクを規制する方向にあるが、技術的に回避できる方法を模索して上手に回避したい。
想定するリスクが AI システムの中と外のどこで起きるかで対応が違うので、ステークホルダー間（AI
開発会社とサービス事業者他）での事前の責任分担明確化が望ましい。その際、AI の開発目的、想定利
用環境、設計思想、開発/学習条件、データ管理などの記録を保存しておくと、自ずと多くのリスクに対する答えに繋がると共に、事案発生時に迅速な分析や事後説明が可能になるが、リスクチェーンモデルの概要部だけでも前提条件整理になる。経済産業省の「プラント保安分野 AI 信頼性評価ガイドライン」などに従うと、体系的に開発時に踏むべきステップを踏みつつ上記を記録整理でき、AI の信頼性やリス
ク回避性レベルが評価できる。
アジャイルによる少人数短期開発が求められ、担当者の手腕に依る所も増えるが、継続的にトラブル発生を最小化する為に、リダンダントで事後説明責任を果たす事を可能とする開発体制と運用体制が必要
で、データとコードの管理、網羅的リスク検討など、その体制を整えておく事も解決の糸口になると考える。
6.2

経済性評価とリスク対応に係るコストの捉え方

事業を実施することによって得られる収益と、リスクに対応するためのコストや、リスクが顕在化した場合の損失についていかに考えるかという問題がある。
リスクに対応するためのコストは、別の角度から見れば、AI を活用したサービス自体の価値や品質を向上させるためのコストとも捉えることができる。そのため、ベンダー企業においては、ユーザー企業に対して、サービスの価値や品質について説明して報酬の金額を交渉することが一考となる。ユーザー
企業においては、ベンダー企業から提示された AI サービスの価格と、AI サービスを導入した場合の収益や経費削減効果を比較して、採否の検討を進めることになろう。また、リスクへの対応方法について
も、リスクの大きさや、顕在化する可能性、対応のためのコストなどを踏まえて優先順位付けや取捨選
択を行うことが妥当な場合もあると考える。
リスクが顕在化した場合の損失についても、予め想定しておく必要がある。AI の誤った判断によって生じた製品欠陥や事故、不当な取扱い、学習用データの漏えいなどによって賠償請求を受ける可能性は

31

想定されるところである。これらのリスクが顕在化したことによって生じる損失が懸念される場合、リ
スクが顕在化する可能性や、経済的な問題だけではなく社会に与える影響も加味したうえで、そもそも
AI を導入するべきか否かを検討することとなる。また、賠償請求の問題が顕在化した場合の責任の所在や対応窓口、費用負担の問題についても、予め契約段階で取り決めておくなどして双方の認識を共有しておくことが望まれる。
6.3

ユーザーベネフィットから生まれる新たなリスクの顕在化

新技術による社会変革の歴史を見ると、技術の使われ方が変化し、当初予見できなかった新たなリスクが顕在化し、それを克服して新たな変革がもたらされてきた。AI でも、新たなリスクの顕在化とその克服から、新たな社会変革がもたらされる可能性がある。
歴史上の例として、7 世紀頃に始まり 8 世紀後半には日本にも伝わった印刷術に触れてみよう。初期の印刷術は、法令発布や百万塔陀羅尼のような宗教経典に使われ、そこでのユーザーベネフィットは情報を多くの相手に正確に伝達することであった。その後 11 世紀頃には紙幣に使われはじめ、金属などの実物を用いず、印刷された情報だけで商取引が可能になった。しかしここで、紙幣の大量発行によるイ
ンフレーションという新たなリスクが顕在化する。その後貨幣価値暴落を何度も繰り返しながら、東方見聞録で紹介されている貨幣価値コントロールの制度が 13 世紀には確立した。金属流通量に制約されずに経済成長が可能になった事、これが、印刷術がもたらした大きな社会変革である。
AI の画像認識を用いた無人コンビニはどうだろうか。人手不足の解消というユーザーベネフィットがまずあり、過疎地でもコンビニ出店が可能となる。しかし過疎地では、既存小売業との軋轢や治安悪化の不安といった新たなリスクが顕在化する。もしこれらのリスクを克服し、過疎地のエコシステムが確立できれば、将来も人が持続的に住んで過疎地の経済社会が維持発展するという、大きな社会変革をもたらす事になる。
リスクチェーンモデルで、こうした新たな社会変革の可能性を発見できる。そして、その社会変革を進めるために必要な新たな産業を創出する大きな機会を与えてくれる。なぜなら、その創出に必要なビジネスモデルとデータはリスクチェーンモデルの検討・検証において既に発見されていることが多いからである。
6.4

企業が AI 倫理の問題に対応する際の課題

AI 倫理の問題については、さまざまな実務上の対応における課題も想定される。
たとえば公平性が問題となる場合、AI を活用したビジネスの企画段階において、公平の意味について定義をしておく必要がある。具体的には、判断結果に差がつくべきではない情報を特定し、また、判断結果の差をどの程度まで許容するのかを決めておくことである。もっとも、この定義を行う作業は難航す
ることが想像に難くない。AI の判断結果によって影響を受けうる様々な立場の者の意見を取り入れることが理想的である。
AI の判断結果について、説明を求められる場面が生じることも想定される。そもそもどのような場合に説明を行うのか、また、説明を行うとすればどのような内容を説明するのかについても、事前に決めておくことが一考である。必ずしもすべての説明の求めに応じる必要があるとまでは思われない。また、ノウハウの保護や個人情報の取扱いと情報開示はトレードオフの関係にもある。そこで、学習用デ32

ータに偏りがないことについては学習用データそのものではなく統計情報の開示にとどめる、判断の妥
当性についてはソースコードまで開示するのではなく過去の入出力結果を用いて説明するなどの方法も一考となる。
一方で、開示される情報が限定されすぎた場合や開示された情報が不正確であった場合には、意図的であるか否かにかかわらず、学習用データの偏りや不当な判断となっていることが判明しにくくなる。内部通報制度の活用や、不審な出力結果について外部から情報提供を受ける体制を整えるなどの仕組みを用意しておくことも有益である。
6.5

自社の組織への反映

自社の組織に AI 倫理規定や関連組織を持つという事は、AI ビジネス遂行に於いて少なからぬ失敗を回避できるだけでなく、システム周辺に潜む致命的なリスクにより起業活動自体が阻害される様な大きなインパクトを未然に防ぐことができる可能性がある。
だが、しばしばその最初の議論で、AI Ethics の「倫理」という日本語の持つバイアスによって、(例えば工業データを扱う様な分野の)AI のビジネスにあまり関係がないのではとの誤解を生み、AI 倫理規定
策定や組織作りのコンセンサスが得られにくい事がある。
これに対して、経済産業省の「原則実践のためのガバナンスガイドライン」では、AI ガバナンスゴー
ルあるいは AI ポリシーと呼び、「人間中心の AI 社会原則」から企業の AI ガバナンス確立を促している。これらガイドライン利用や、言葉の置き換えをすると、企業内外での理解が得られやすいかもしれない。
企業が提供する AI では、まず提供する AI システムの中身が望まれる品質を有しているか、欠陥が無いか確認する必要と責任があり、その為には QA4AI のガイドラインの様な手引きを参考に、開発に必要なステップを忘れないようにするチェック体制を作る事が最初の一歩になるであろう。
それから、AI 提供が単発で終わらないのであれば、個々の担当者の技量に依存せず一定の品質を保つための開発ルールや組織が必要になるはずである。
AI システムの品質や信頼性を担保するためには、発注者側が望む機能と達成目標、その為に使うデー
タの管理や、開発者が用いるアプローチとコードの管理、運用者の利用環境など、各エンティティ間の合意事項や開発ステージの毎の目標、手法についての踏むべきステップがあり、その記録がある事が後にインシデントを起こしたとしても説明責任を果たせ、無用な誤解をタイムリーに回避できる事に気づ
くはずである。
ここまでの議論は AI システム自体の開発管理についてであるが、世の中で既に問題となっている AI のトラブルは、ビッグデータに隠れた様々なデータバイアスやそれを生む社会自体が抱える問題、設計された AI 本来の目的から外れた間違った使い方、誤解からの悪評などに起因して、北米では AI 関連の訴訟が増え、日本でも AI の使い方で企業が批判される報道を目にするようになった。システムの外側にも多くのリスクがある事は明白である。
しかし波及するトラブルを事前に想定して未然に防ぐべく対策をとる事は簡単ではなく、網羅的に想定を行う為の手引きとなる様な物はあまりないので、リスクチェーンモデルを積極的に選んだ。
リスク検討はビジネス展開を模索する立場の者が開発の早い時期から行う方が無駄無く効率的だが、請負開発の場合などでは顧客を始めとしたステークホルダーの理解と巻き込みが必要になる。

33

AI 開発に必要なステップのチェック体制では、AI 開発当事者に要求されるスキルと近いが、AI システ
ムの外側に広げたリスク想定では、多角的な視点での網羅的な想定が必要になるので、AI 開発スキルだ
けに収まらない。より広い視点での検討が必要になるので、監査、品質管理部門、法務部門などによるチェック&レビュー体制を敷いた方が効率的になる場合もあると思われる。
しかし現実的には AI リテラシー人材不足が叫ばれる中、専任者を複数配置する事も簡単ではないので、最初は AI 開発の担当の中から、前述のガイドラインやリスクチェーンモデルを実施して習熟した者
が相談者・指導者となって、他の開発チームをリードする事から始め、開発案件の増加を見ながら専門組織化するのが現実的かもしれない。
6.6 今後の人々の働き方の変化

前項では、リスクチェーンモデルを実際の企業組織に導入するための留意点という観点で記述したが、その際に教育施策が意識面で効果を発揮し、リスクチェーンモデルを使う事が定着することで、AI の利活用が進み、人々の働き方を大きく変える可能性がある。まずリスクチェーンモデル導入という業務プ
ロセスの変革を経験することにより、外部の事業環境変化に対応して自らの業務を創り上げていくという意識が醸成される。また、リスクチェーンモデルの対象となる AI 利活用業務について、リスクの抽出と対応だけではなく、その新たな AI 利活用業務が社会にどう影響しどういうメリットをもたらすかを明確にする事も可能である。そこから、対象の AI プロジェクトの価値を再認識し、社会に役立つという実感を持つ事で、ノルマや成績という基準から解放されて、その対象自体の価値を見出す事が可能になる。さらに、AI により自動化する部分と、人が行うべき部分を、より明確・具体的に認識できるようになり、人が働く事の価値をそこから再発見することになる。
ここで、人が働く事の価値として、AI の技術特性に関連する点を二つ挙げてみる。
一つは、データを学習した結果から推論を行うという技術特性からくる点である。前例踏襲が必要な部
分を機械に任せる事で、例えば過去の事例に存在しないような全く新しい発想や価値観の創出などを人が担うようになるという点である。
もう一つは、機械である AI が学習する対象は制限できるという技術特性からくる点である。信頼される方法で適切に学習対象を制限された AI は、人にはできない真に客観的な分類や判断を行わせる事ができる可能性があり、人はそうではない部分、つまり心を通わせた主観的で創造的な仕事に集中するようになるという点である。現在ある様々な業務のうち、「客観的な第三者」であることを求められる部分を信頼できる AI が担う事で、「あなただから意味がある」という部分に人々に働き方がシフトし、働く人の尊厳ややりがいを取り戻す事が可能になる。

34

7.

AI 倫理 W G 員より提言

7.1

企業活動への AI 倫理導入についての提言

コンソーシアム参加企業の具体事例に対してリスクチェーンモデルを使った今回の取り組みをもとに、企業活動に AI 倫理を導入していくにあたり重要な３つの観点を提言する。
提言１：自社企業としての AI 倫理に対するポリシーを設定すべき

AI を使った製品やサービスは、人の判断を支援するツールとして人、社会、環境に大きく影響を与えうることから高い倫理性が求められ、各所から AI 倫理原則やガイドラインが公表されている。一方で、各企業における AI の取り組みは、各企業の企業理念や企業倫理に基づき行われていくものである。従って、まずは、自社企業としての AI 倫理に対するポリシーを設定し、取り組みの方向性やプロセスを明確にすることが重要である。持続的な企業価値向上に向けて多くの企業で ESG 経営が強化されているが、いずれは AI 倫理も対象となっていくであろう。コーポレート・ガバナンスの観点からも、自社企業としての AI 倫理に対するポリシーを設定すべきである。
提言２：AI により生み出す価値とリスクの両面を見える化すべき企業が AI を活用する目的は価値を生み出すことである。AI 倫理を考え対応していく上では、AI 製品
やサービスによって提供したい価値とリスクの両面を見える化し、そのバランスを踏まえて判断をしていくことが重要である。今回、リスクチェーンモデルを実際に使ってみて、リスクチェーンを引く行為
が、自社の企業価値のみならず新しい価値に気づくきっかけとなることに気づいた。このような取り組
みを組織やプロセスの中に仕組み化して定着させていくことで、AI 倫理の実践に加え、AI に関わる人々の働き方をより創造的なものにしていくことに繋がると考える。
提言３：外部のステークホルダーとの共通認識を作るべき

日本は B to B のビジネス形態が多いため、AI 倫理においては、複数のステークホルダーに跨った対応が不可欠である。今回の取り組みで、リスクチェーンモデルが、AI 開発企業・システム企業・システ
ム運用企業の相互の連携に必要な共通視点を与えてくれることを実感した。複数ステークホルダー間におけるリスクおよびそのコントロールを相互に認識するためのコミュニケーションツールとしても活用可能である。AI 倫理の実践においては、例えばリスクチェーンモデルのようなツールを使って、自社内の組織間は勿論のこと、外部のステークホルダーとの共通認識を作るべきである。

35

7.2

企業活動への AI 倫理導入について各 WG 員による所感

伊藤忠テクノソリューションズ株式会社 角田尚

日本では外製でのシステム開発となることも多く、企業間での AI 倫理に対する意識の調整が必要となる可能性もある。AI システム構築にあたって、プロセスとして AI 倫理・品質・リスク要件を検討し、社内外に議論・啓蒙する意識を持つことが、AI を活用した社会への貢献につながると考えている。
株式会社 GliaComputing

嘉瀬正彦

AI 倫理は、システムの用途・目的により異なり、それぞれのシステムに応じて検討・対応することが必要である。また、それと同時に、システム開発を指示する経営者など関係者が、正しい倫理観を持つことが不可避である。
KHE コンサルティング

小西頴AI 倫理は、企業倫理の維持と類似性が高く、企業の社会的信頼性を保全する一つの手段である。一方、企業において AI は製造対象物であり使用・利用して目的を達成するツールでもある。したがって、AIの製造、使用・利用の結果が企業倫理に反しないことを示すために、企業経営において AI ガバナンスを構築しそれを社外に公告する。自社の AI 製品には、その管理下にあるものとして、何らかのマークを付したり、使用・利用に供する AI 製品には例えばマニュアルを登録して登録マークを付す。AI ガバナン
スで扱うべき AI の管理の対象は、使用目的の達成の観点から、AI の妥当性、改良、運用である。AI 倫
理は企業倫理と並行して管理するのが効果的である。
株式会社 SoW Insight

中条薫

私は、AI 倫理を「経営戦略、事業戦略、技術戦略の３軸」と「AI 倫理教育」の視点で企業活動に取り入れるべきだと考えています。経営戦略に基づく自社の AI 倫理原則、AI 倫理ボード、AI 倫理ポリシーの策定、および、事業戦略に基づくガイドラインやプロセス整備と社内検査体制の確立が重要であると考えます。
真英法律事務所

堀川

正顕

形式的な倫理規程などの作成で終わることなく、業務で直面する個別の問題に真摯に取り組むことが必要と考える。倫理という問題の性質上、議論する際には企業の内外から様々な立場の者を参加させることが有益と考える。
千代田化工建設株式会社

安井威公

ビッグデータから帰納的に作られる機械学習は好機と共に思いもよらない所でリスクを生む可能性を持つ。AI 倫理とは広い範囲での社会への AI リスクをマネジする事であると認識し、組織のチームで恒常的にリスクと好機をコントロール出来る開発ルールを作りたい。

36

富士通株式会社

葛馬弘史

AI 倫理に取り組む事は、リスク管理であると同時に、CSR による企業価値向上でもある。単にコスト
や制約と考えるのではなく、ビジネスの成長機会であると捉えて、AI 倫理を企業活動に取り入れていくべきである。

37

８.

AI 倫理 W G 活動の総括

2016 年頃から各国の政府や機関で本格的に開始された AI 倫理議論は、各所から倫理原則が公表され、原則を実践していくためのガイドラインを始めとする AI ガバナンス議論としてより具体的な内容に移行されている。また、2021 年 4 月には、欧州委員会から AI 技術全般の供給と利用を包括的に法律で規制する案が出され、賛否両論含め更に議論が活発化している。
AI ビジネス推進コンソーシアムでは、2019 年 6 月に AI 倫理 WG を発足し、各企業が AI 倫理に関わる自主的な取り組みを行う上で、各国機関の原則や提言を取り込み易くすることを目的として活動を進めてきた。
今回の取り組みは、コンソーシアムの特徴である参加企業の多様性（AI 開発企業、AI 利活用企業、弁護士、弁理士、コンサルティングファームなど）を活かし、① メンバー企業の具体事例をもとに② 多様な立場のメンバーが議論に参加し③ リスクベース・アプローチを使って実践的な落とし込みを行った点に特徴があると考えている。
リスクベース・アプローチとしては、東京大学の江間先生と松本先生から提案された「リスクチェーンモデル」を採用した。半年以上に渡り WG にご参加頂き、リスクと対策に対する考え方の整理と蓄積をメンバーと共に行って頂いた両先生方には、心より感謝いたします。
そして、上述の取り組みを踏まえて、企業活動に AI 倫理を導入していくにあたり重要な３つの視点で提言を行い、WG メンバーの活動の集大成として本資料を作成した。
AI 倫理や AI ガバナンスに対する企業の取り組みに関しては、欧米では既に機関投資家の関心が高まりつつあり、企業への問い合わせが開始されているという。持続的な企業価値向上に向けて多くの企業
で ESG 経営が強化されているが、同じ動きが AI 倫理に関しても起こり始めていると言えるだろう。AI
ガバナンスをコーポレート・ガバナンスの枠組みで捉え、対応を進めていくことが企業に求められているのではないか。その中で、本資料が、企業活動における AI 倫理の具体的な取り組みの加速に向けて参考になることを期待している。

38

AI 倫理 W G 活動実績

■開催日程

第 １ 回

2019年 6 月 25 日

第 ２ 回

2019年 8 月 27 日

第 ３ 回

2019年 10 月 8 日

第 ４ 回

2019年 1１月 20 日

第 ５ 回

2020年 １ 月 23 日

第 ６ 回

2020年 4 月 28 日

第 ７ 回

2020年 6 月 9 日

第 ８ 回

2020年 8 月 5 日

第 ９ 回

2020年 11 月 12 日

第 10 回

2020年 12 月 17 日

第 11 回

2021年 2 月 2 日

第 12 回

2021年 4 月 12 日

第 13 回

2021年 6 月 1 日

第 14 回

2021年 7 月 2 日

第 15 回

2021年 7 月 26 日

■グループ長株式会社グリッド 代表取締役 曽我部 完■共同執筆者（50 音順、敬称略）

伊藤忠テクノソリューションズ株式会社 角田 尚
株式会社 GliaComputing 嘉瀬 正彦
KHE コンサルティング 小西 頴株式会社 SoW Insight 中条 薫
真英法律事務所 堀川 正顕
千代田化工建設株式会社 安井 威公
富士通株式会社 葛馬 弘史

本書は、会員各社の会社として方針・意向を表明するものではありません

39

謝辞

AI 倫理 WG にてこれまで議論するにあたり、AI 倫理の有識者でいらっしゃる理化学研究所 革新知能
統合研究センター中川裕志氏、国立情報学研究所石川冬樹氏には示唆に富んだご知見をご教示賜りました。ここに、心より感謝の意を表します。
また、リスクベース・アプローチに基づいた議論するに至ってから、リスクチェーン・モデルを提唱されている東京大学未来ビジョン研究センターの江間有沙准氏、松本敬史氏には半年以上に渡りリスク対策の洗い出し、整理について多大なご指導を賜りました。
AI 倫理 WG のこれまでの活動に対し、ご協力いただきました皆様にこの場をお借りしまして深く感謝を申し上げます。

4041