討論会
⼈⼯知能（AI）の普及と安全・安⼼なシステムの構築

講演の内容01. AI（人工知能）と安全
02. 課題と解決に向けて
03. 視点と論点（開発者・利用者）

講演の内容01. AI（人工知能）と安全
02. 課題と解決に向けて
03. 視点と論点（開発者・利用者）

世界のAI導⼊率（2022年）

中国
(58%)

インド
(57%)

35%
出典｜ https://Global AI Adoption Index 2022

AIとは？
❝ 人工的につくられた人間のような知能，ないしはそれをつくる技術 ❞（松尾豊：東京大学）❝ 人間の思考プロセスと同じよう な形で動作する
コンピュータプログラムや，コンピュータ上で知的判断を下せるシステム等 ❞（AI事業者ガイドライン案）

AI，機械学習，ディープラーニング（深層学習）

ディープラーニング（深層学習）

機械学習

AI（人工知能）

「学習」
「探索」
「思考」
「認識」
「最適化」
「予測」
「生成」
「計画」

AIが出⼒結果に基づき判断（制御）する認 識
予 測
提 案
決 定生 成従来システムとAIシステム
外部状況

外部状況

AI

⼈間認知

認知

判断

判断

指令

指令

コンピュータ制御

コンピュータ制御

従来システムAIシステムテスラ社の事故 ①（2016年5⽉）

出典｜⼩林雅⼀，AIが⼈間を殺す⽇，集英社，2017

テスラ社の事故 ②（2018年3⽉）

出典｜ https://jidounten-lab.com/u_tesla-cause-semi-autonomous-ntsb

講演の内容01. AI（人工知能）と安全
02. 課題と解決に向けて
03. 視点と論点（開発者・利用者）

AIの課題：安全性が保証されない判断が予測不可能（決定論的・非決定論的AI）判断を間違える（信頼性）（不完全知覚問題）判断の根拠が不明（ブラックボックス問題）

判断を間違える（不完全知覚問題）
リス

出典｜ https://arxiv.org/pdf/1907.07174.pdf

アシカ

トンボ マンホールの蓋

判断を間違える（敵対的攻撃）
ノイズが乗った
元の画像

パンダ出典｜ https://arxiv.org/pdf/1412.6572.pdf

ノイズを乗せる

画像

テナガザル？

判断理由がわからない（ブラックボックス問題）

？
入力
input

AI

出力
output

B-box
W-box

G-box

犬解決に向けて（技術的）STAMP/STPA
FRAM（機能共鳴分析手法）
説明可能AI（XAI：eXplainable AI）

B-box・G-box・W-boxの使い分け

B-box・G-box・W-boxの使い分け安全に関与しない用途
B-box→ e.g. 利用者の混雑率のモニタ
次列車の到着時刻の予測

直接は安全に関与しない用途
G-box→ e.g. シミュレーションへの活用

安全に関与する用途
W-box→ e.g. 車両の監視や制御

解決に向けて（ガイドライン）

人工知能搭載システムの安全設計ガイドライン
SEAMS Project（2020年）
エッセンシャル版｜https://www.seams-p.jp/data/SEAMS_Guideline_essential_20200403.pdf

AI事業者ガイドライン（案）
総務省 経済産業省（2024年1月）
本編｜https://www.soumu.go.jp/main_content/000923348.pdf

解決に向けて（ガイドライン）

人工知能搭載システムの安全設計ガイドライン
SEAMS Project（2020年）
エッセンシャル版｜https://www.seams-p.jp/data/SEAMS_Guideline_essential_20200403.pdf

AI事業者ガイドライン（案）
総務省 経済産業省（2024年1月）
本編｜https://www.soumu.go.jp/main_content/000923348.pdf

AI事業者ガイドラインの位置づけ

出典｜https://www.soumu.go.jp/main_content/000923348.pdf

AI事業者ガイドラインにおける本編・別添の構成

出典｜https://www.soumu.go.jp/main_content/000923348.pdf

AIの事業活動を担う主体• AI開発者（AI Developer）
AIシステムを開発する事業者（AIを研究開発する事業者を含む）
AIモデル・アルゴリズムの開発，データ収集（購⼊を含む），前処理，AIモデル学習，検証を通してAIモデルおよび AIモデルのシステム基盤や⼊出⼒等を含む AIシステムを構築する役割を担う．

AIの事業活動を担う主体• AI提供者（AI Provider）
AIシステムをアプリケーションや製品もしくは既存のシステムやビジネ
ス プ ロ セ ス 等 に 組 み 込 ん だ サ ー ビ ス と し て AI 利 ⽤ 者 （ AIBusinessUser），場合によっては業務外利⽤者に提供する事業者
AIシステム検証，AIシステムの他システムとの連携の実装，AIシステ
ム・サービスの提供，正常稼働のための AIシステムにおける AI利⽤者（AIBusiness User）側の運⽤サポートや AIサービスの運⽤⾃体を担う．
AIサービスの提供に伴い，様々なステークホルダーとのコミュニケーションが求められることもある．

AIの事業活動を担う主体• AI利⽤者（AI Business User）
事業活動において，AIシステム⼜は AIサービスを利⽤する事業者
AI提供者が意図している適正な利⽤を⾏い，環境変化等の情報を AI提供者と共有し正常稼働を継続することや，必要に応じて提供された AIシステムを運⽤する役割を担う．また，AIの活⽤において業務外利⽤者に何らかの影響が考えられる場合は，当該者に対する AIによる意図しない不利益の回避，AIによる便益最⼤化の実現に努める役割を担う．

各主体が取り組む事項（安全性）

出典｜https://www.soumu.go.jp/main_content/000923348.pdf

各主体が取り組む事項（安全性）

出典｜https://www.soumu.go.jp/main_content/000923348.pdf

各主体が取り組む事項（安全性）

出典｜https://www.soumu.go.jp/main_content/000923348.pdf

講演の内容01. AI（人工知能）と安全
02. 課題と解決に向けて
03. 視点と論点（開発者・利用者）

視点と論点：AI開発者の視点• 論点１：技術者はどのようにしてAIを利⽤して安全性を確保するか？
• 論点２：安全なAIシステムの開発において倫理的な課題にどのように対処するべきか？
• 論点３：技術者が直⾯するセキュリティの課題とその解決策は？
• 論点４：技術者がAIの透明性を確保し，利⽤者に理解可能な形で説明できる⼿段は？
• 論点５：AIのリスクを適切に管理するための技術的な⼿法やベストプラクティスは？

視点と論点：AI利⽤者の視点• 論点１：利⽤者はAIを使ったシステムの安全性に対してどのような期待を持っているか？
• 論点２：利⽤者が感じるセキュリティやプライバシーに関する懸念は？
• 論点３：利⽤者がAIの意思決定を理解しやすくするためにはどのような⼿段が効果的か？
• 論点４：利⽤者が直⾯する技術的なリスクに対する認識や期待の向上にはどうすれば良いか？
• 論点５：利⽤者がセキュリティに対して積極的に参加し，協⼒するための⼿段は？

ディスカッション