AIによる防御とAIの防御：
サイバーセキュリティ対策の新たな展開
2024年7月5日
富士通研究所 先進サイバーセキュリティCPJ
情報セキ本 サイバーレジリエンス統括部（兼）Global Fujitsu Distinguished Engineer
シニアプロジェクトディレクター
海野 由紀© 2024 Fujitsu Limited

Who am I ?

https://www.fujitsu.com/jp/about/global-fde/yuki-unno/2© 2024 Fujitsu Limited

富士通研究所 (Fujitsu Research Group)
Fujitsu Research of Europe
AI倫理研究と応用研究の推進

Fujitsu R&D Center
先進的な実証実験の場

Israel (Europe 分室）
セキュリティ研究をリード

富士通研究所Fujitsu Research of India

Fujitsu Research of America
最先端動向を取り入れた基礎研究

富士通のR&Dの中核

優秀な理数系人材の獲得拠点

世界8カ国に約1420人
3© 2024 Fujitsu Limited

イスラエル研究拠点
富士通グループ初となるセキュリティ技術の研究拠点○ 産官学による世界トップのセキュリティ技術でプレスリリース「高度かつ安全なAI利用の実現に向け、イスラエルの研究拠点にて富士通とベングリオン大学が共同研究を開始」（2021年11月)
https://pr.fujitsu.com/jp/news/2021/11/16-3.html

テルアビブ

知られるイスラエルに開設（2021年9月）○世界第2位のサイバー技術輸出国で、世界のサイバーベエルシェバ

セキュリティVC投資の約20%を占める○ サイバーセキュリティで著名なBGU (ネゲブ・ベン=グリオン大) Yuval Elovici教授と連携BGU) Yuval Elovici教授© 2022 Mapa GISrael○同大学内に専用の研究センターを設置○ 2023年4月よりテルアビブにも新研究拠点を開設○現地研究員の採用でイスラエルでの研究を加速

プレスリリース「データ＆セキュリティ領域のさらなる強化に向けたイスラエルの新研究拠点設立について」（2022年11月)
https://pr.fujitsu.com/jp/news/2022/11/28.html

4© 2024 Fujitsu Limited

AIとサイバーセキュリティ○AIとサイバーセキュリティの関係を整理
AIでAIで守る
Protecting using AI

AIで攻撃
Attack using AI

防御攻撃

AIを守る
Protect AI

AIを攻撃
Attack against AI
AIを5© 2024 Fujitsu Limited本日お話すること
前半

後半○サイバーセキュリティの防御○AIに潜む脅威、AIへの攻撃○AIを攻撃から守る手段としてのAI○セキュリティインシデントを予防するためのAI

6© 2024 Fujitsu Limited

AIの脅威、AIへの攻撃

7© 2024 Fujitsu Limited

AIの歴史○ 第一次AIブーム（1950年代後半～1960年代）○ 推論と探索、自然言語処理、ニューラルネットワーク、遺伝的アルゴリズム○ 第二次AIブーム（1980年代）○ 知識ベース、音声認識、データマイニング、オントロジー、統計的自然言語処理○ 第三次AIブーム（2000年代～）○大量のデータを用いてAI自身が知識を習得する「機械学習」の実用化○データから特徴を抽出するDeep Learningが登場○豊富な機械学習 ライブラリ・フレームワーク○ NumPy, Pandas, SciPy, Matplotlib, scikit-learn, dlib
○ TensorFlow, Keras, Chainer, Pytorch, MXNet,○ Deeplearning4j, Microsoft Cognitive Toolkit, PaddlePaddle○ 第四次AIブーム（2022年～）○2022年 ChatGPT3公開

8© 2024 Fujitsu Limited

生成AI の登場
2017年から始まり2022年末のChatGPTで加速
2017

Google2018

Google BERT (Nov)

2020

OpenAI GPT-3 (Jun)

2022

OpenAI DALL-E2 (Jun)
OpenAI ChatGPT (Nov)2023

Google BARD(Feb)
Meta LLaMA (Feb)
Baidu Ernie bot (Mar)
OpenAI GPT-4 (Mar)
Stanford Alpaca (Mar)Bloomberg BloombergGPT (Mar)Vicuna Vicuna (Mar)“Attention is all you Need”

他にも多数のサービスが一気に立ち上がる(Dec)9https://arxiv.org/pdf/2303.18223.pdf© 2024 Fujitsu Limited

AI Security 技術開発への取り組み
開発から運用のサイクルにおけるセキュリティ施策を効率化・高精度化するAI技術◆ 新たな脅威への対応が困難◆◆ セキュリティAIコンポーネントを拡充し、DevSecOpsをフレームワーク化

Mitre ATT&CK 411、CAPEC 559の攻撃手口◆ 人手によるITシステム開発/運用(DevOps）◆◆のセキュリティ業務は限界◆

属人性が高いセキュリティプロセスをAI化
新たなナレッジを発見してAIモデルを強化

膨大なデータ・情報（2025年 データ量 180ゼタ）
本日紹介

本日紹介

10

本日紹介

© 2024 Fujitsu Limitedセキュリティ設計AI

11© 2024 Fujitsu Limitedデモ動画をご覧ください12© 2024 Fujitsu Limitedセキュリティ監査AI
日本語版

AI

D&S

Fujitsu Kozuchi Web3
Security by AI

英語版

Conversing
TechSocial Digital Twin

Fujitsu Research Portal

13© 2024 Fujitsu Limited

技術概要⚫機能：開発フェーズで作成される業務文書を入力とし、LLMを活用してセキュリティリスクを分析⚫効果：セキュリティ監査業務を効率化、セキュアなシステムの提供

14© 2024 Fujitsu Limited

デモ動画をご覧ください15© 2024 Fujitsu Limited

情報保護AI

16© 2024 Fujitsu Limited

AIに潜む脅威、AIへの攻撃

17© 2024 Fujitsu Limited

AIの活用が加速○活用分野はさまざま

18© 2024 Fujitsu Limited

【事例】AIの誤り○Tesla社の自動運転車の事故（2016年5月）○白いトレーラーの側面を空と誤認識した結果、自動運転車がトレーラーに衝突○米国初の自動運転による死亡事故となった

https://booktwo.org/notebook/failing-to-distinguish-between-a-tractor-trailer-and-the-bright-white-sky/
19

https://www.reuters.com/article/us-tesla-crash-idUSKBN19A2XC© 2024 Fujitsu Limited

AIへの攻撃

訓練データ• 不適切でデータで訓練• 毒されたTay• 顔認証システムに繰り返し問い合わせて登録者を推定• プライバシー問題
異常

Fooling automated surveillance cameras: adversarial patches to attack person detection• 繰り返し問い合わせて侵入検知AIを偽造• 知的財産侵害• 特殊な柄で画像認識AIを騙す• AIによる人間の検知を回避
20© 2024 Fujitsu Limited

訓練データ推定（Model Inversion）○ 攻撃者が画像をモデルに予測させた結果を元に入力画像を修正した後に再度予測させる処理を繰り返す○ この例ではプライバシー保護の観点で問題となる

21© 2024 Fujitsu Limited

モデル抽出（Model Extraction）○ モデルに対する大量のクエリを利用して訓練済モデルの複製を作る○ 複製したモデルによる類似サービスの立ち上げ、モデル使用料の未払い

22© 2024 Fujitsu Limited

訓練データ汚染（Poisoning Training Data）
意図的な追加や変更により訓練データを汚染する○ チャットボットの反応を歪め差別○ 訓練後のモデルに誤った判断をさせる発言をさせる

汚染
データ

決定境界が攻撃者の利益になるように変わってしまう
https://japan.cnet.com/article/35080128/

23

https://arxiv.org/pdf/1708.08689.pdf© 2024 Fujitsu Limited

敵対的サンプル（Adversarial Example）○オリジナル画像に目には見えない細工をしてMLを騙す

24© 2024 Fujitsu Limited

交通標識の敵対的サンプル（Adversarial Example）カメラからの距離や角度を変える○自動運転に対する攻撃可能性が注目されている
テープやシールを貼って誤認識させる

攻撃成功確率はいずれも高い

25[Eykholt+ 2018]© 2022 Fujitsu Limited敵対的パッチ（Adversarial Patch）○特殊な模様の敵対的パッチで画像認識AIを騙す○画像認識AIは人を検知できなくなる

敵対的パッチhttps://arxiv.org/pdf/1904.08653.pdf

26© 2024 Fujitsu Limited

敵対的サンプルによるAIの誤判断の原因①○ 訓練が不十分、またはデータに偏り（バイアス）がある○MLモデルは人間とはまったく違う根拠で判断することがある[Ribeiro+ 2016]「オオカミ」と判定されたハスキーの写真判断根拠の説明

このモデルは背景の雪けを見て「オオカミ」と判断している27© 2024 Fujitsu Limited

敵対的サンプルによるAIの誤判断の原因②○ モデルが訓練データに過適合している○訓練データからちょっと離れると誤判定してしまう（そのような学習をしてしまう）

28© 2024 Fujitsu Limited

敵対的サンプルによるAIの誤判断の原因③○ そもそも敵対的サンプルは防げない○正しい（理想の）決定境界・判断基準は誰も知らない／決められない

テナガザル○ もし境界を決められるなら、そもそも機械学習は必要

パンダない∵ その境界を使ってルールベースのシステムを作ればよい○敵対的サンプルがない = モデルが誤判断しない○ 現実には実現できない

理想の境界モデルの学習した境界

敵対的サンプルの起きうる点 (入力)29

© 2024 Fujitsu Limited

生成AIの活用が加速

30© 2024 Fujitsu Limited

生成AIをめぐる各国の規制等の動き
生成AIの登場は、各国のAIに対する法規制/ガイドラインに対して多大な影響を及ぼしている
日本

アメリカ

欧州

• 広島AIプロセス創設のため、議長国として• 2022年10月公表のAI Bills of Rightsにおい• 2023年6月に公開されたAI法案の修正版に生成AIの課題に対するG7の統一見解を年て、AI含む自動化システムを開発する際のおいて生成AIの概念が導入内に発表予定5原則公開• 28条b (1)~(3)で、基盤モデル提供者に遵守• 総務省/経産省の既存の事業者向けのガイ• 2023年7月、ホワイトハウスにおいて米国すべき7項目が明記

ドラインの統合に向けて取り組み企業7社が安全で透明なAI技術開発を行う• 基盤モデル活用のシステム提供事業者にはことで合意（Amazon, Anthropic, Google,

さらに透明性確保、セーフガードの用意、

Inflection, Meta, Microsoft, and OpenAI）

著作権法で保護される学習データの詳細開示❖ ISO/IEC 42001が近く採択へ。CEN/CENELECがこれを受けとるので、ISO標準準拠≒AI Act準拠となる道が示される。
❖ 北米がハードローへ方針転換、英国との協力関係。
❖ AIルールの議論の枠組みが拡大。地域間の相互可用性の必要性が認識され、G7(広島プロセス)、IPEF(経済協力の枠組み)、民間の自主的な規制など
31

https://www.businesslawyers.jp/articles/1314© 2024 Fujitsu Limited生成AIに対する懸念○ これまでのAIと同様に、倫理、品質、セキュリティにおけるリスクがある
国立研究開発法人科学技術振興機構

内閣府 AI戦略会議✓ 幻覚 (Hallucination) : 無意味または誤った内容が真実であるかのように生成される✓ 有害なコンテンツ生成✓ データの偏りによる社会的バイアス強化✓ 偽情報やプロバガンダ生成✓ 兵器の拡散に使われる可能性✓ プライバシー侵害、個人情報・機密情報の漏洩✓ サイバーセキュリティへの脅威✓ 危険な挙動の創発：システムが予測できない動きをする可能性✓ 他のシステムとの併用による悪用や弊害✓ 経済的影響：労働者の置き換えなど✓ 技術開発競争が加速することのリスク✓ AIへの過度の依存✓ 学習データの不透明性✓ モデル作成時の労働者の搾取：有害データの除去作業で危険な労働✓ 著作権侵害の恐れ✓ 自然環境へのインパクト：訓練・推論時の電力消費量✓ データ汚染：ネット上にAI生成物があふれ区別がつかなくなる恐れ
引用： 人工知能研究の新潮流2①

機密情報の漏洩や個人情報の不適正な利用のリスク•②③

犯罪の巧妙化・容易化につながるリスク
••
•
•

④
⑤⑦32

偽情報などが社会を不安定化・混乱させるリスク

生成AIによって、本物と見分けがつかないような情報を誰でも作ることができる
AIがジェンダー、人種、地域等の観点から偏った⽂章や画像を生成していないかといった公平性の論点は、国際的に注目されており、注視が必要

AIの高度化によって、サイバー攻撃がAIを用いて巧妙化し、防御しにくくなるリスク、AIをターゲットとした新手の攻撃も指摘

教育現場における生成AI の扱い•••～基盤モデル・生成AIのインパクト~(国立研究開発法人科学技術振興機構)

生成AIによって低コストで作成された精緻な画像・音声や巧妙な⽂章による詐欺
生成AIを通じて得た武器、大⿇や覚醒剤、⿇薬の製造法等の情報が犯罪につながる可能性

サイバー攻撃が巧妙化するリスク•⑥

AIとの対話による利用者の機密情報の漏洩や個人情報の不適正な利用やプライバシーの問
題

生成AIが宿題に使われ適切な評価が損なわれ、生徒・児童の創造力等が低下する懸念

著作権侵害のリスク

生成AI がオリジナルに類似した著作物を生成するなどの懸念

AIによって失業者が増えるリスク

AIが人間の作業を代替する可能性は、失業リスクとも考えられる

引用：内閣府「AIに関する暫定的な要点整理」（2023年5月26日）
https://www8.cao.go.jp/cstp/ai/ronten_honbun.pdf© 2024 Fujitsu Limited

生成AIのもたらす様々なリスク
情報漏洩
ファイン
チューニング

自社データ
プロンプト
生成データ

学習データ

学習

基盤モデル

生成AI
サービス提供者

著作権侵害

学習データのトラスト（来歴）ハルシネーション
サイバー攻撃公平性(バイアス)

AIサービスのトラスト基盤モデルのトラスト

ユーザー
教育現場

システムのトラスト
ユーザーのトラスト

生成AIにおけるトラスト構築が必要
リスク

リスクの項目は内閣府「AIに関する暫定的な論点整理」より抜粋
33

https://www8.cao.go.jp/cstp/ai/ronten_honbun.pdf© 2024 Fujitsu Limited

生成AIに対するサイバー攻撃
JailBreaking、Prompt Injection、Data Poisoningなど、様々な攻撃手法が日々提案されている[2310.02446] Low-Resource Languages Jailbreak GPT-4
https://arxiv.org/abs/2310.02446【ChatGPT】プロンプトインジェクションの「概要と対処法」まとめhttps://zenn.dev/umi_mori/articles/chatgpt-prompt-injection[2308.06463] GPT-4 Is Too Smart To Be
Safe: Stealthy Chat with LLMs via Cipher
https://arxiv.org/abs/2308.06463

34[2403.04786] Breaking Down the Defenses: A Comparative Survey of Attacks on
Large Language Models https://arxiv.org/abs/2403.04786© 2024 Fujitsu Limited

MITRE ATLAS (Adversarial Threat Landscape for
Artificial – Intelligence Systems)○ AIへの攻撃に関する戦術、技術、手順に関する知識ベース○ 実際の攻撃の観察やAIレッドチームやセキュリティグループによる現実的なデモンストレーションに基づく○ Generative AIのTTP (Tactics, Techniques, Procedures）の研究にも着手

https://atlas.mitre.org/35© 2024 Fujitsu LimitedOWASP Top 10 for LLM Application
LLM01: Prompt Injection（プロンプトインジェクション）
細工された入力を介して LLM を操作すると不正アクセス、データ侵害、意思決定の侵害につながる

LLM02: Insecure Output Handling（安全でない出力処理）
LLM 出力の検証を怠るとシステムを侵害してデータを漏洩するコードを実行するなど下流のセキュリティ悪用につながる

LLM03: Training Data Poisoning（訓練データポイズニング）
訓練データが改ざんされるとLLM モデルが損なわれ、セキュリティ、精度、または倫理的行動を損なう可能性のある応答につながる

LLM04: Model Denial of Service（モデルのDoS攻撃）
リソースを大量に使用する操作で LLM に過負荷がかかると、サービスの中断やコストの増加が発生する

LLM05: Supply Chain Vulnerabilities（サプライチェーンの脆弱性）
侵害されたコンポーネントによっては、サービスまたはデータセットがシステムの整合性を損ない、データ侵害やシステム障害を引き起こす
https://owasp.org/www-project-top-10-for-large-language-model-applications/36© 2024 Fujitsu LimitedOWASP Top 10 for LLM Application
LLM06: Sensitive Information Disclosure（機密情報の開示）
LLM 出力内の機密情報の開示を防止しないと法的措置が取られたり、競争上の優位性が失われる

LLM07: Insecure Plugin Design（安全でないプラグイン設計）
LLM プラグインが信頼できない入力を処理し、アクセス制御が不十分であると、リモート コード実行などの重大な悪用の危険がある

LLM08: Excessive Agency（過剰な権限，自律性を持つエージェント）
LLM に野放しの自主性を与えると予期せぬ結果が生じ、信頼性、プライバシー、信頼が損なわれる

LLM09: Overreliance（過度の信頼）
LLM の出力を批判的に評価しないと意思決定の侵害、セキュリティの脆弱性、および法的責任につながる

LLM010: Model Theft（モデルの盗難）
独自の大規模言語モデルへの不正アクセスは盗難、競争上の優位性、機密情報の配布の危険性がある

https://owasp.org/www-project-top-10-for-large-language-model-applications/37© 2024 Fujitsu Limited

Artifact and Diagram

38

https://llmtop10.com/© 2024 Fujitsu Limited

AIを攻撃から守る39© 2024 Fujitsu Limited

AIへの攻撃
AIを意図的に間違えさせることが可能

訓練データ• 不適切でデータで訓練• 毒されたTay• 顔認証システムに繰り返し問い合わせて登録者を推定• プライバシー問題異常• 繰り返し問い合わせて侵入検知AIを偽造• 知的財産侵害2013年以降、多数の攻撃手法が発表されている
40

Fooling automated surveillance cameras: adversarial patches to attack person detection• 特殊な柄で画像認識AIを騙す• AIによる人間の検知を回避© 2024 Fujitsu Limited敵対的パッチ攻撃とは○Hidden Attack (Disappearance Attack)○画像認識AIはパッチが貼られた物体が存在しないと誤認識する○Creation Attack○画像認識AIはパッチが貼られた物体を別の物体として誤認識する
入力画像
画像認識AI

画像認識AIにはワインが見えない

Nothing

敵対的パッチ41© 2024 Fujitsu Limited敵対的パッチ攻撃検知技術とは○将来のAIの脅威への対策技術○ 独自の説明可能アンサンブル予測の結果と画像認識AIの結果が不一致の場合に攻撃と判断

PATPEND

画像認識AI

入力画像

Nothing

一致しない

敵対的パッチ

敵対的パッチ
攻撃検知技術42

敵対的サンプル
攻撃を検知© 2024 Fujitsu Limited敵対的パッチ攻撃検知技術のユースケース

1. リテール

2. 警察・警備○セルフレジ不正検知AI○車両番号認識AI

Fujitsu Retail Solution
TeamPoS / SR1234⚫ AIショッピングカート⚫ 不審な行動検知AI

FujitsuPrototype
Trespassing
https://www.youtube.com/watch?v=lg8E-Zn1hPE

43Theft© 2024 Fujitsu Limitedリテールにおける利益損失
Administrative errors
7%

Supplier fraud

Loss is escalating!
UK stores, recorded an
18% increase in retail theftin the year to June 2022***

Employees
18%

33%

Breakdown
6%

In 2022, total store shrink
averages 2%+ in North America

Unknown

In 2021, retails (US) lost on average
1.62% of sales due to irregularities vslosses of 1.38% in 2019*36%

Shoplifting Self-checkout systems suffer from operationalerrors and intentional scan omissions,
resulting in a loss of sales for the retailers.

* Source: NRF 2021 / 2019 National Retail Security Survey** Source: SKUFOOD.com*** Source: Office of National Statistics, UK44

© 2024 Fujitsu Limitedセルフレジ不正検知AI○ セルフレジにおける新たな万引き手口により店舗の損失が増加○ AI（例：Actlyzer）により万引きを検知
Actlyzerによるセルフレジ不正検知
Scan Avoidance Detection

1. Scan Skip

Item Recognition
3. Label SwitchSwitcheroo
4. Banana Trick45

2. Remain Items
inbasket / trolley

Payment Avoidance
Detection
5. Walk off
withbasket / trolly© 2024 Fujitsu Limitedセルフレジ不正検知AIへの敵対的パッチ攻撃○攻撃者は敵対的パッチにより不正検知AIによる検知を回避できる○不正検知AIを導入していても店舗の損失を抑え切れない攻撃

46© 2024 Fujitsu Limitedセルフレジ不正検知AIへの攻撃を検知する○ 敵対的パッチを貼りAIが商品を認識できないようにして万引き検知を回避○ 攻撃検知技術を適用した不正検知AIは、敵対的パッチの攻撃を見破り正しく商品を認識、売上を確保

レジ不正検知AI + 攻撃検知技術

レジ不正検知AIのみ
攻撃検知
万引き発見

異常なし！

敵対的パッチ

敵対的パッチ

対策前

対策後
47

© 2024 Fujitsu Limited

デモ動画をご覧ください48© 2024 Fujitsu Limited敵対的パッチ攻撃検知技術の仕組み
入力映像

セルフレジ不正検知AI

予測
物体検知Nothing

敵対的パッチ攻撃検知技術

アンサンブル予測

予測

シーン変換
オブジェクト抽出

予測結果の照合、矛盾解析

画像分類(k-NN)

予測結果がどう矛盾しているか

予測

予測

ワインの特徴ポイント
なぜワインなのか
入力画像 プロトタイプ

説明可能なアンサンブル予測49© 2024 Fujitsu Limited敵対的パッチ攻撃検知技術のユースケース

1. リテール

2. 警察・警備○セルフレジ不正検知AI○車両番号認識AI

Fujitsu Retail Solution
TeamPoS / SR1234⚫ AIショッピングカート⚫ 不審な行動検知AI

FujitsuPrototype
Trespassing
https://www.youtube.com/watch?v=lg8E-Zn1hPE

50

Theft

© 2024 Fujitsu Limited

不審車両追跡システムへの攻撃を検知する○犯罪者は敵対的パッチをライセンスプレートに貼付、車両番号認識AIを騙して検知を回避し逃亡○攻撃検知技術を適用した車両番号認識AIは、敵対的パッチの攻撃を見破り正しい車両番号を認識、警察は不審者を追跡
車両番号認識AI + 攻撃検知技術

車両番号認識AIのみ車両番号は1234
不審な車両です

車両番号は5678
問題ありません
敵対的パッチ

敵対的パッチ

1234

1234

対策前

対策後
51

© 2024 Fujitsu Limited

車両番号認識AIモデル
Name

LicenseCommercialUse
Model

Commercial Use
Data

Programming Language

LPD

LPR

OpenALPRAGPL v3.0

✔

?

C++

LBP

LSTM

PlateRecognizer

MIT〇?

?

?

?

LPDNet?

?

✔ (CCPD)?

ResNet/YOLO

N/ALPRNet?

?

✔ (CCPD)?

N/A

ResNetultimateALPR

N/A

N/A?

?

?

?

ALPR in Unscontrained Scenarios

GNU v3.0✔

×Python

CNN（WPOD-Net）

YOLO

RPnetMIT✔

✔

Python

CNN（RPnet）

CNN（RPnet）

eulprMIT✔

✔ (CCPD)

PythonN/A

CNN

License plate Detection by YOLO

GPL v3.0✔

N/A

PythonYOLO-EasyPR

Apache 2.0

✔

✔

C++

SVM

ANN

Plate_Recognition-LPRnet

不明

?

?

PythonN/A

CNN and CTC loss

OpenALPR

不明？

?

PythonN/A

CNN and CTC loss

52

© 2024 Fujitsu Limited

RPnet (Roadside Parking Net)
○ 一つのモデルにナンバープレート検知と車番認識含む○ 推論速度が速く高精度

RPnet Architecture※※ Zhenbo Xu, et al. “Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline”, In Proceedingsof ECCV 2018, 2018.
53© 2024 Fujitsu Limited

車両番号認識AIへのデジタル攻撃実験

敵対的パッチにより車両番号を誤認識

正しく車両番号を認識
54© 2024 Fujitsu Limited

車両番号認識AIへの物理攻撃・防御実験○手順

1.車のプレート周辺にパッチを貼り、車を停車・走行させ、その様子をカメラで録画する
2.録画データを車両番号認識AIに入力、AIが車両番号を誤認識するかを確認する
3.AIが車両番号を誤認識した録画データを敵対的パッチ攻撃検知技術に入力、攻撃を検知するかを評価する

55

実施期間

車両の状態

2023/11～2024/2

停車、徐行（10～20km/h）

2024/2～2024/3

30~40km/hで走行© 2024 Fujitsu Limited

物理攻撃実験風景

カメラ
車両

56

敵対的パッチ© 2024 Fujitsu Limited

物理攻撃実験の結果
横浜, 330, ほ, 4701

横浜, 330, は, 9701

横浜, 503, と, 5955

「ほ」と誤認「9701」と誤認「と」 「5955」と誤認

普通車(緑枠)ではなく大型車(赤枠)と認識
57© 2024 Fujitsu Limited

防御実験の結果（速報値）○攻撃検知精度の評価と方式改良を継続中
横浜, 503, と, 5955

98.8%
検知成功

攻撃に成功した画像 240枚

見逃し

攻撃検知率
58

© 2024 Fujitsu Limited

生成AIのリスクへの対応

59© 2024 Fujitsu Limited

生成AIのもたらす様々なリスク
情報漏洩
ファイン
チューニング

自社データ
プロンプト
生成データ

学習データ

学習基盤モデル

生成AI
サービス提供者

著作権侵害

学習データのトラスト（来歴）ハルシネーション
サイバー攻撃公平性(バイアス)

AIサービスのトラスト基盤モデルのトラスト

ユーザー
教育現場

システムのトラスト
ユーザーのトラスト

生成AIにおけるトラスト構築が必要
リスク

リスクの項目は内閣府「AIに関する暫定的な論点整理」より抜粋
60https://www8.cao.go.jp/cstp/ai/ronten_honbun.pdf© 2024 Fujitsu Limited

生成AIのハルシネーション(幻覚)○ハルシネーション（幻覚）：○対話型生成AIの回答に含まれる、データに基づかない「もっともらしい誤り」○大阪府のAIチャットボットが「大阪万博は中止になった」と発言(2023年10月)

https://www.pref.osaka.lg.jp/hodo/attach/hodo-48553_4.pdf

https://ascii.jp/elem/000/004/163/4163474/

61© 2024 Fujitsu Limited

幻覚検出技術のポイント○ 回答⽂を意味解析し、幻覚を起こしやすい部分を「穴埋め問題」として質問○ 穴埋め部分の別回答を効率良く取得/比較可能 → 回答の安定性を、より正確に把握可能に利用者が気になる回答文の幻覚チェックを依頼

回答文を意味解析し、幻覚を生じやすい部分に注目「穴埋め問題」を作成し、外部の対話型生成AIに繰り返し質問

穴埋め問題の回答結果から幻覚スコアを算出

述語

設立

元の回答文

設立

1935年

富士通の設立は何年？
対話型生成AIの回答“富士通は1935年に設立されました”主語

目的語など

富士通

1935年
注目

文章を「主語・述語・目的語など」に意味解析し、幻覚が生じやすい固有表現部分（名前や数字）に注目

富士通？

ここを埋めるように繰り返し質問

注目した部分を空欄にして、外部の対話型生成AIに「穴埋め」を繰り返し依頼

62

類似

幻覚チェック結果を利用者に提示得られた
確認結果

1935年
1935年
1935年6月
1935/6/20
・・・

非類似 1940年

・・・

元の回答文と意味的に類似した結果が安定して得られていれば、幻覚スコ
アを低く回答

幻覚チェック結果

幻覚スコア =「1935年」に類似した回答が多数得られました© 2023 Fujitsu Limited

デモンストレーション

63© 2023 Fujitsu Limitedサイバー攻撃対策アプローチ64© 2024 Fujitsu Limited

フィルター・ガードレール65© 2024 Fujitsu Limited

脆弱性スキャナ(Red-teaming)
フィルター・ガードレールの表裏一体として、生成AI向け脆弱性スキャナも有効、以下はOSSの例○ Garak-https://github.com/leondz/garak○ Prompt Fuzzer-https://github.com/prompt-security/ps-fuzz○ HouYi-https://github.com/LLMSecurity/HouYi○ JailBreakingLLMs-https://github.com/patrickrchao/jailbreakingllms○ LLMAttacks-https://github.com/llm-attacks/llm-attacks○ PromptInject-https://github.com/agencyenterprise/PromptInject○ LLMCanary-https://github.com/LLM-Canary○ PyRIT-https://github.com/Azure/PyRIT○ LLMFuzzer-https://github.com/mnns/LLMFuzzer○ PromptMap-https://github.com/utkusen/promptmap○ Giskard -https://github.com/Giskard-AI/giskard○ CyberSecEval 2 -https://github.com/metallama/PurpleLlama/tree/main/CybersecurityBenchmarks
66

garak, LLM vulnerability scannerhttps://github.com/leondz/garak© 2024 Fujitsu LimitedフィッシングURL検知技術

67© Fujitsu 2021

フィッシングURL検知技術のポイント
既存のフィッシングURL検出技術の判定を故意に誤らせる敵対的攻撃のURLに対しても、検出する技術により対応し、信頼性の高い判定を実現
一般的なフィッシングURL
検出技術

敵対的攻撃フィッ
シングURL検出技術

安全と判定

安全と判定

一般的な
フィッシングURL

危険と判定

危険と判定
済

敵対的攻撃のフィッシングURL

安全と判定

危険と判定

安全なURL

ユーザにより高信頼な情報を提示

判定AIが騙される68© 2024 Fujitsu Limited

敵対的サンプル攻撃への耐性強化の概要○ 着眼点：AIへの攻撃が単種類のAIモデルに向けて特化しやすい傾向がある○ 開発方式：複数の異なる種類のAIモデルの判定根拠の違いで攻撃を判別帳票データに変換

異なるモデルで処理

判定根拠の比較

判定結果
入力データ
（URL）
http://www.abcd...
テキストデータ

帳票データ

モデルA

判定根拠

決定木モデル

注目特徴量

攻撃の検出
判定根拠の差モデルB用のデータ
画像データ

URLから特徴量を抽出し表形式に並べる

モデルB

判定根拠

畳み込みニューラル
ネットワークモデル

注目特徴量モデルに合わせて入力データを変換し、2種類のモデルで同一の入力データを処理する
69

各モデルの判定時に注目した特徴量を比較し、差が大きい場合に攻撃と判断する© 2023 Fujitsu Limited

AIコンテンツ検出技術（distinguisher）
画像系：
トレーニングデータ画像が、生成された画像にどれほど活用されているか判別する

テキスト系：
特定タスクの生成テキストからメタ知識を抽出しナレッジ蓄積、生成されたテキストがどのLLMから生成されたか分類する

生成された画像トレーニング用画像
生成されたテキストの生成元を確認

どのLLMで作成したか判定

×△

△

◎××◎

×××

Classifier

メタ知識
生成されたテキスト△×△

任意のLLMにてテキストを生成

Kumari et. al 2023: Multi-Concept Customization of Text-to-Image Diffusion

情報ソースの特定による信頼性評価、報告書や教育現場での情報流用の検出などに効果

生成画像のフィルタリング、著作権侵害、プライバシー侵害の検知に効果70© 2024 Fujitsu Limited本日お話したこと
前半

後半○サイバーセキュリティの防御○AIに潜む脅威、AIへの攻撃○AIを攻撃から守る手段としてのAI○セキュリティインシデントを予防するためのAI

71© 2024 Fujitsu Limited

Thank you© 2024 Fujitsu Limited