デジタルリスクフォーラム

企業がAI社会を生き抜くために

パネルディスカッション：生成AIのリスクと安全保障への影響
デロイト トーマツ サイバー合同会社
サイバーセキュリティ先端研究所 神薗 雅紀
2023年8月21日

生成AIの発展を受けて様々な脅威が急速に顕在化しており、法律による保護の必要性や規制が守られているかを監視する機関の必要性について議論されています
バイデン大統領がAI利用に関する法律の必要性を示す

国連安全保障理事会でAIのリスクについて検討がされる

米国のバイデン大統領はChat GPTを念頭に、AIが社会に及ぼす影響について大統領諮問委員会の会合で述べ、利用者の個人情報を守る法律の整備を目指すことを表明している。

国連安全保障理事会は2023年7月18日、AI（人工知能）を議題にした会合を初めて開いた。会議では、AIの現状や課題が報告され、軍事目的やテロに利用されるリスクも共有された。

バイデン大統領の表明

生成AI（人工知能）への対策

国家安全保障への潜在的なリスクにも対処しなければならない「国際平和と安全の維持」に向けて安保理でも行動が求められるハイテク企業は製品を公開する前に安全性を確認する責任がある

技術の規制やルールが守られているかを監視する国際機関の設立

AI技術の開発には適切にプライバシーを保護する措置が必要だ[出所] 読売新聞「バイデン氏、チャットＧＰＴ念頭に「国家安全保障への潜在的リスク」言及…法整備へ」, April 5, 2023. https://www.yomiuri.co.jp/economy/20230405-OYT1T50080/
2 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響[出所] 朝日新聞「演説の一部はチャットGPTで 期待とリスク、国連安保理でAI議論」, July 19, 2023.
https://www.asahi.com/articles/ASR7M3T08R7MUHBI008.html© 2023. For information, contact Deloitte Tohmatsu Group.

ダークウェブのフォーラムサイトでは LLM や LLM サービス (特に ChatGPT) の悪用方法について盛んに議論されており、サイバー攻撃・犯罪の敷居を下げる要因の一つになっています
ダークウェブのフォーラムサイトにおける議論
LLM サービスアカウントの売買• 主に利用制限のかけられている特定の国・地域のユーザを対象に販売• 10万件を超えるアカウントが盗まれ、取引されている報告も• アカウントを盗むためのツールも存在

サービスの制限を突破する“Jailbreak” の方法論

LLM を悪用したサイバー犯罪ツール• 生成 AI サービスでは、人権・倫理・法律等の観点から一定の利用制限が存在• 特殊なプロンプトでその制限を突破する“Jailbreak” の方法が議論されており、一般公開するウェブサイトも• ダークウェブ上のハッキングマニュアルやツール、エクスプロ一コード等のデータを学習データとして、訓練された AI ツール• OSS の言語モデル (GPT-J や RoBERTa 等)をベースとしている[出所] B. Toulas, “Over 100,000 ChatGPT accounts stolen via info-stealing malware,” BleepingComputer, June 20, 2023.
https://www.bleepingcomputer.com/news/security/over-100-000-chatgpt-accounts-stolen-via-info-stealing-malware/[出所] alexabert, “Jailbreak Chat,” https://www.jailbreakchat.com/[出所] Y. Jin et al. “DarkBERT: A Language Model for the Dark Side of the Internet,” arXiv, May 18, 2023. https://arxiv.org/abs/2305.08596

3 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響© 2023. For information, contact Deloitte Tohmatsu Group.

Jailbreak (=脱獄)とは生成AIに特殊な入力をすることで回答の制限を回避する行為で、アンダーグラウンドのコミュニティではこれら手法に関する情報交換が活発に行われています
Jailbreak（=脱獄）とは◼ 生成AI サービスには、違法行為や犯罪行為に利用されるおそれのある質問には原則として回答しないという制限が設けられている。
◼ 「Jailbreak（=脱獄）」とは、生成AIのプロンプトに特殊な入力をすることでこれらの制限を回避して回答を得る手口
細工した入力生成 AI

Jailbreak例:「Malwareを作成したい」と生成AIに質問するが、通常はサービスによる制限で回答が得られない。

通常

Jailbreakプロンプトを使用することで制限が回避され、回答が得られる。
規制・制限（ガードレール）

Jailbreak（=脱獄）

回答できません

マルウェア作成

銃・爆弾など武器の作成

フェイクニュース・
フィッシングメールの生成

4 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響

Jailbreak回答© 2023. For information, contact Deloitte Tohmatsu Group.

テキストや画像､音声等複数のモデルを組み合わせたマルチモーダルLLMに対する敵対攻撃の成功が報告されています
マルチモーダルLLMに対する攻撃◼ テキストや画像､音声等複数のモデルを組み合わせたマルチモーダルLLMが登場している｡

標的型出力攻撃例ダイアログポイズニング例

音声に埋め込まれている命令をChat Botが解釈し悪意あるURLを提示してしまう

画像に埋め込まれている指示によりChat Botが映画キャラクターになりきり対話してしまう◼ プロンプトインジェクションの応用例の一つとして､これらマルチモーダルLLMに対して､細工した画像や音声を与えることで攻撃できることを実証している｡◼ この論文では2種類のインジェクション攻撃について述べている｡
標的型出力攻撃

ダイアログポイズニング

攻撃者が選んだ出力をモデルに生成ユーザがLLMに回答を求めたときに､攻撃者が選んだ任意の文字列をLLMが返すようにする攻撃注入された命令に従いモデルの振る舞いを誘導
LLMベースのチャットボットが会話のコンテキストを保持するという性質を利用した自己注入攻撃[出所] Eugene Bagdasaryan, Tsung-Yin Hsieh, Ben Nassi, Vitaly Shmatikov, “(Ab)using Images andSounds for Indirect Instruction Injection in Multi-Modal LLMs”, arXiv, July 2023.
https://arxiv.org/abs/2307.10490

5 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響© 2023. For information, contact Deloitte Tohmatsu Group.

マルウェアやエクスプロイトコード、ハッキングマニュアル等のデータに重きをおいて学習された、悪意ある AI ツール「Worm GPT」が登場し、様々なサイバー犯罪への悪用が示唆されています
LLM を悪用した AI ツール例：WormGPT
WormGPT⚫ サイバー犯罪に特化した ChatGPT のような AI ツール⚫ GPT-J 言語モデルをベースに、主にマルウェアサンプルやダークウェブ上のデータ、ハッキングマニュアル、フィッシングテンプレート等を学習⚫ ビジネスメール詐欺攻撃を仕掛けるためのフィッシングメールや、エクスプロイトコード、マルウェアコードを生成することが可能⚫ 暗号通貨（BTCやETH）によるサブスクリプションフィーを支払うとWormGPT サイトへのアクセスが可能に⚫ 独自モデルを用いたサービスのため、ChatGPT や Bard のようにプロンプトに制限がなく、様々なサイバー犯罪への悪用が示唆されている✓ 例：フィッシングメール、ソーシャルエンジニアリング、マルウェアの生成、ウェブサ
イト改ざん、DoS攻撃、ウェブシェルやバックドアの作成[出所] S. Mahirova, “What is Worm GPT? The new AI behind the recent wave of cyberattacks,”
https://www.dazeddigital.com/life-culture/article/60376/1/what-is-worm-gpt-the-new-ai-behind-therecent-wave-of-cyberattacks[出所] C. Gopalakrishnan, “Is Worm GPT the Latest Black Hat AI Tool? Here is the Definitive Worm GPT
FAQ Sheet,”The Cyber Express, July 19, 2023. https://thecyberexpress.com/worm-gpt-new-black-hat-aitool-crimeware/[出所] Natalie, “WormGPT: Here’s is What You Need to Know,” CloudBooklet, July 20, 2023.
https://www.cloudbooklet.com/wormgpt-how-to-download-and-use/[出所] After WormGPT, FraudGPT Emerges to Help Scammers Steal Your Data
https://www.pcmag.com/news/after-wormgpt-fraudgpt-emerges-to-help-scammers-steal-your-data
6 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響

FraudGPT⚫ サイバー犯罪に悪用できるような情報をチャットを介して生成✓銀行を装ったSMSフィッシングメッセージの作成、クレジットカード詐欺に適したフィッシングサイトのプログラム提供、クレ
ジットカードへの不正アクセスの支援© 2023. For information, contact Deloitte Tohmatsu Group.

AI サービス/モデルにより、誰でも画像や映像、音声等の様々なメディアを容易に精度高く生成できるため、偽情報の流布やサイバープロパガンダへの悪用が懸念されています
Deepfake / Misinformation及びDisinformationへの対応
画像

その他の事例

text-to-image
text-to-video

テキスト

AI サービス
AI モデル映像

text-to-speech
音声

アメリカ共和党によるAIを使ったバイデン氏に対する攻撃広告が実際に公開されたことを受け、政治的な偽/誤情報の流布が今後懸念されている[出所] J. Vincent, “Republicans respond to Biden reelection announcement with AI-generated attack ,”The Verge, April 25, 2023. https://www.theverge.com/2023/4/25/23697328/biden-reelection-rnc-aigenerated-attack-ad-deepfake[出所] S. Bond, “AI-generated deepfakes are moving fast. Policymakers can’t keep up,” npr, April 27,2023. https://www.npr.org/2023/04/27/1172387911/how-can-people-spotfake-images-created-by-artificial-intelligence[出所] Kaspersky, "ディープフェイクの脅威にどう備えるべきか", June 27, 2023.
https://blog.kaspersky.co.jp/getting-ready-for-deep-fake-threats/34110/[出所] T. Benson, "Brace Yourself for the 2024 Deepfake Election," WIRED, April 27, 2023.
https://www.wired.com/story/chatgpt-generative-ai-deepfake-2024-us-presidential-election/
7 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響

2019年、イギリスのエネルギー会社にて、攻撃者はボイスチェンジ技術を使ってCEOになりすまし、22万ユーロを盗もうとした事例。
2020年、 UAEアラブ首長国連邦にて、攻撃者がディープフェイク音声を使って銀行の支店長を騙し、3500万ドルを盗んだ事例。
2022年、暗号通貨プラットフォーム「Binance」にて、攻撃者が幹部を装ってオンラインミーティングに参加し、インタビュー映像などを組み合わせて作成したディープフェイク動画を流して、出席者を騙した事例。

2022年、ゼレンスキー大統領が軍隊に降伏するよう指示するディープフェイク動画が投稿された事例© 2023. For information, contact Deloitte Tohmatsu Group.

民主主義国家と価値観を共有しない国家が提供するAI技術についてそのリスクと軽減策が提言されています
権威主義的AIのリスク軽減
オーストラリアの防衛関連シンクタンクの一つである、オーストラリア戦略政策研究所が権威主義的な国家が提供するAIのリスクに関するレポートを公開しています。価値観を共有しない国家が提供するAI技術についての問題点やリスクをあげ､軽減策を提言しています｡
権威主義的国家が提供する製品やサービス
リスク

本レポートのスコープ

枠組みを構成する3段階のプロセス

リスクの特定◼ 精査が必要なAI対応システムの目的と機能を特定する
監査◼ リスクにさらされている潜在的規模､導入されている環境や場所◼ 対象システムの重要度や依存度､冗長性等

権威主義的国家が提供するAI技術サービスへの外国からの干渉

トリアージ

大規模言語モデルAIや他新たな生成AIシステム◼ 本当に懸念すべきデバイス、システム、ユースケースを見極める

このリスクに対して枠組みを提示した上で、民主主義諸国は一致団結して行動し、デジタルエコシステムを守る必要があると述べています。

RedTeam◼ システムの｢正当な｣機能を使用して有害活動する敵対者をどのように対処するかが重要

管理
リスクの特定トリアージ◼ 高リスクと認定されたシステムに対して何をすべきか決定する

管理

提示している枠組みは問題に対処するための一歩で、完全な解決策ではないとも述べています。

規制◼ 政府調達･使用の禁止や一般的利用の禁止◼ もしくは特定されたリスクの軽減処置やリスクに関する一般市民への教育等[出所] Australian Strategic Policy Institute, “De-risking authoritarian AI”, July 2023.
https://www.aspi.org.au/report/de-risking-authoritarian-ai

8 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響© 2023. For information, contact Deloitte Tohmatsu Group.

航空保安検査等で利用されているAIによる禁止物検出支援システムに対して、禁止物の検出を阻害する敵対攻撃の成功が報告されています
AI 武器検出システムへの攻撃◼ 空港のX線セキュリティ検査では、AIによる禁止物検出支援システムが導入されており、ピストルやナイフなど持ち込みが禁止されている物体の存在と位置特定に活用されている。

Physical Adversarial Objectを配置することでナイフの検出を阻害◼ 中国の北京航空航天大学やZhongguancun Laboratoryなどに所属する研究者らは、空港のX線セキュリティ検査の画像検出器を欺く手法を提案した。

◼ 3Dプリントした構造物（攻撃用に最適化した敵対的物体）をカバンの中に入れることで、その構造物の近くにある禁止物（機内に持込み不可な物）を検知させないようにする攻撃が商用のシステムで成功したと発表している。

[出所] A. Liu and J. Guo, “Aishan Liu and Jun Guo,” in USENIX Security Symposium, August 2023.
https://www.usenix.org/conference/usenixsecurity23/presentation/liu-aishan[出所] 「空港のX線検査で“禁止物を検知されない”方法、中国の研究者らが開発 あるモノをカバンに入れるだけ」 https://www.itmedia.co.jp/news/articles/2307/07/news058.html

9 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響© 2023. For information, contact Deloitte Tohmatsu Group.

ChatGPTに代表される生成AIでは、AIが事実とは異なる情報を生成することがあり、安全性が損なわれるリスクや社会的な混乱が生じるリスクがあります
ハルシネーション
ChatGPTに代表される生成AIでは、AIが事実とは異なる情報を生成することがあり、このような現象はハルシネーションと呼ばれます。

安全性のリスク◼ 自動運転やAIロボットが事実とは異なる出力やアラートが生成され、インシデントにつながる◼ AIが生成したプログラムにバグが含まれた
結果、システムが異常な動作をする

社会的な混乱のリスク◼ ハルシネーションが発生しやすいと言われている情報
専門的な内容や趣味などの特定の領域に関する情報
アニメ等の現実には存在しない事象やキャラクターに関する情報
プロンプトに嘘が含まれている情報
時事問題やニュース等の発生してからの時間経過が浅い情報 等
10 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響

不適切な意思決定のリスク◼ AIが生成したフェイクニュースが拡散されることで社会的な混乱が生じる◼ AIが人種差別等の不適切な回答を出力することで会社のレピュテーションが毀損する◼ ニュース記事や公開資料が恣意的に要約・翻訳され、その情報をもとに不適切な意思決定がされる◼ AIが誤ったデータの集計・分析をすることで判断や解釈を誤る© 2023. For information, contact Deloitte Tohmatsu Group.AI が生成したデータが意図せず権利（著作権や商標権、肖像権等）を侵害する可能性があり、AI 活用による法的問題が議論されています
権利の侵害
様々な
学習
データ

AI開発・学習段階

生成・利用段階AI サービス
AI モデル
開発・学習段階

生成・利用段階

文章
画像
映像
等

思想または感情の享受を目的としない利用行為は、原則として著作権者の許諾なく利用することが可能。ただし、「必要と認められる限度」を超える場合や「著作権者の利益を不当に害することとなる場合」は、この規定の対象とはならない。

著作権法で利用が認められている場合（私的な使用等）を除き、通常の著作権侵害の判断と同様で、既存の著作物との類似性や依拠性が認められれば、著作権侵害とし損害賠償請求・差止請求が可能であるほか、刑事罰の対象ともなる[出所] 文化庁, “AI と著作権”, June 2023.
https://www.bunka.go.jp/seisaku/chosakuken/pdf/93903601_01.pdf[出所] “実在女性に似てた？一瞬で消えたAIグラドル「さつきあい」の法的問題” Yahoo ニュース, June 21, 2023.
https://news.yahoo.co.jp/articles/c34bdd4dfe3ead2558f1cb7e0633d04fa7045359[出所] “「生成AI」のリスクや注意点 最低限これだけは気を付けて”, NHK, May 30, 2023.
https://www3.nhk.or.jp/news/html/20230530/k10014082451000.html

11 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響

Generative Adversarial Network (GAN) を用いて、”存在しない架空の人” の写真を生成するウェブサイト*が話題に。
[*] https://thispersondoesnotexist.com/

たまたま実在の人と似た架空の人の写真が生成された場合、著作権や肖像権を侵害してしまうことになるのか？
特定の写真と構図やポーズ、照明等が非常によく似た画像の場合、著作権の問題になる可能性アリ（類似性・依拠性が認められる可能性アリ）

加えて、特定の写真に似てはいないものの、容貌が実在の人間に非常に似ている画像の場合、肖像権やパブリシティ権の問題になる可能性アリ※なお、ChatGPT 等のサービス利用規約では、AI生成物に対してAIから生成されたことを表示することが義務付けられている点にも注意が必要© 2023. For information, contact Deloitte Tohmatsu Group.

スタンフォード大学の調査ではテック企業10社の基盤モデルがEU AI Act (AI規制法案)の要件を満たすかを評価した結果、現段階では多くのモデルがEU AI Actに準拠できていませんでした
EU AI Actへの準拠の状況
評価項目（12項目）

Max

Min

出所：スタンフォード大学の基盤モデル研究センター(CRFM) 「Do Foundation Model Providers Comply with the Draft EU AI Act?」
12 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響© 2023. For information, contact Deloitte Tohmatsu Group.デロイト トーマツ グループの最新情報
Please follow and subscribe

公式アプリ

FacebookYouTube
13 デジタルリスクフォーラム パネルディスカッション：生成AIのリスクと安全保障への影響

Twitter

Instagram

LinkedIn

各種メールマガジンデロイト トーマツ グループは、日本におけるデロイト アジア パシフィック リミテッドおよびデロイトネットワークのメンバーであるデロイト トーマツ合同会社ならびにそのグループ法人（有限責任監
査法人トーマツ、デロイト トーマツ コンサルティング合同会社、デロイト トーマツ ファイナンシャルアドバイザリー合同会社、デロイト トーマツ税理士法人、DT弁護士法人およびデロイト トーマツグループ合同会社を含む）の総称です。デロイト トーマツ グループは、日本で最大級のプロフェッショナルグループのひとつであり、各法人がそれぞれの適用法令に従い、監査・保証業務、リスクアドバイザリー、コンサルティング、ファイナンシャルアドバイザリー、税務、法務等を提供しています。また、国内約30都市に約1万7千名の専門家を擁し、多国籍企業や主要な日本企業をクライアントとしています。詳細はデロイト トーマツ グループWebサイト（ www.deloitte.com/jp ）をご覧ください。
Deloitte（デロイト）とは、デロイト トウシュ トーマツ リミテッド（“DTTL”）、そのグローバルネットワーク組織を構成するメンバーファームおよびそれらの関係法人（総称して“デロイトネットワーク”）のひとつまたは複数を指します。DTTL（または“Deloitte Global”）ならびに各メンバーファームおよび関係法人はそれぞれ法的に独立した別個の組織体であり、第三者に関して相互に義務を課しまたは拘束させることはありません。DTTLおよびDTTLの各メンバーファームならびに関係法人は、自らの作為および不作為についてのみ責任を負い、互いに他のファームまたは関係法人の作為および不作為について責任を負うものではありません。DTTLはクライアントへのサービス提供を行いません。詳細はwww.deloitte.com/jp/about をご覧ください。
デロイト アジア パシフィック リミテッドはDTTLのメンバーファームであり、保証有限責任会社です。デロイト アジア パシフィック リミテッドのメンバーおよびそれらの関係法人は、それぞれ法的に独立した別個の組織体であり、アジア パシフィックにおける100を超える都市（オークランド、バンコク、北京、ベンガルール、ハノイ、香港、ジャカルタ、クアラルンプール、マニラ、メルボルン、ムンバイ、ニューデリー、大阪、ソウル、上海、シンガポール、シドニー、台北、東京を含む）にてサービスを提供しています。
Deloitte（デロイト）は、監査・保証業務、コンサルティング、ファイナンシャルアドバイザリー、リスクアドバイザリー、税務、法務などに関連する最先端のサービスを、Fortune Global 500®の約9割の企業や多数のプライベート（非公開）企業を含むクライアントに提供しています。デロイトは、資本市場に対する社会的な信頼を高め、クライアントの変革と繁栄を促し、より豊かな経済、公正な社会、持続可能な世界の実現に向けて自ら率先して取り組むことを通じて、計測可能で継続性のある成果をもたらすプロフェッショナルの集団です。デロイトは、創設以来175年余りの歴史を有し、150を超える国・地域にわたって活動を展開しています。 “Making an impact that matters”をパーパス（存在理由）として標榜するデロイトの約415,000名の人材の活動の詳細については、（ www.deloitte.com ）をご覧ください。
本資料は皆様への情報提供として一般的な情報を掲載するのみであり、DTTL、そのグローバルネットワーク組織を構成するメンバーファームおよびそれらの関係法人が本資料をもって専門的な助言やサービスを提供するものではありません。皆様の財務または事業に影響を与えるような意思決定または行動をされる前に、適切な専門家にご相談ください。本資料における情報の正確性や完全性に関して、いかなる表明、保証または確約（明示・黙示を問いません）をするものではありません。またDTTL、そのメンバーファーム、関係法人、社員・職員または代理人のいずれも、本資料に依拠した人に関係して直接または間接に発生したいかなる損失および損害に対して責任を負いません。

© 2023. For information, contact Deloitte Tohmatsu Group.

Member ofDeloitte Touche Tohmatsu Limited