Acknowledgements
Authors:
Kurt Seifried
Sean Heide
Bogdan Filip
Vishwa Manral
Lars Ruddigkeit
Walter Dula
Eric E. Cohen
Billy Toney
Supro Ghose
Marina Bregkou

Additional Staff:
Stephen Lumpe (Cover illustration, with assistance from Midjourney)This is a Release Candidate version and is subject to change.
© 2023 Cloud Security Alliance – All Rights Reserved
All rights reserved.You may download, store, display on your computer, view, print, and link to
the Cloud Security Alliance at https://cloudsecurityalliance.org subject to the following: (a) the
draft may be used solely for your personal, informational, non-commercial use; (b) the draft
may not be modified or altered in any way; (c) the draft may not be redistributed; and (d) the
trademark, copyright or other notices may not be removed.You may quote portions of thedraft as permitted by the Fair Use provisions of the United States Copyright Act, provided
that you attribute the portions to the Cloud Security Alliance.

© Copyright 2023, Cloud Security Alliance.All rights reserved.

1日本語版提供に際しての告知及び注意事項
本書「ChatGPTのセキュリティへの影響」は、Cloud Security Alliance (CSA)が公開している「Security Implicationsof ChatGPT」の日本語訳です。本書は、CSAジャパンが、CSAの許可を得て翻訳し、公開するものです。原文と日本語版の内容に相違があった場合には、原文が優先されます。
翻訳に際しては、原文の意味および意図するところを、極力正確に日本語で表すことを心がけていますが、翻訳の正確性および原文への忠実性について、CSAジャパンは何らの保証をするものではありません。
この翻訳版は予告なく変更される場合があります。以下の変更履歴（日付、バージョン、変更内容）をご確認くださ
い。
変更履歴
日付
2023年6月19日

バージョン
日本語版1.0

変更内容
初版発行

本翻訳の著作権はCSAジャパンに帰属します。引用に際しては、出典を明記してください。無断転載を禁止します。
転載および商用利用に際しては、事前にCSAジャパンにご相談ください。
本翻訳の原著作物の著作権は、CSAまたは執筆者に帰属します。CSAジャパンはこれら権利者を代理しません。原著作物における著作権表示と、利用に関する許容・制限事項の日本語訳は、前ページに記したとおりです。なお、
本日本語訳は参考用であり、転載等の利用に際しては、原文の記載をご確認下さい。

CSAジャパン成果物の提供に際しての制限事項
日本クラウドセキュリティアライアンス（CSAジャパン）は、本書の提供に際し、以下のことをお断りし、またお願いします。
以下の内容に同意いただけない場合、本書の閲覧および利用をお断りします。
１．
責任の限定
CSAジャパンおよび本書の執筆・作成・講義その他による提供に関わった主体は、本書に関して、以下のことに対する責任を負いません。また、以下のことに起因するいかなる直接・間接の損害に対しても、一切の対応、是正、支払、賠償の責めを負いません。
(1)
本書の内容の真正性、正確性、無誤謬性(2)
本書の内容が第三者の権利に抵触しもしくは権利を侵害していないこと(3)
本書の内容に基づいて行われた判断や行為がもたらす結果(4)
本書で引用、参照、紹介された第三者の文献等の適切性、真正性、正確性、無誤謬性および他者権利の侵害の可能性
２．
二次譲渡の制限
本書は、利用者がもっぱら自らの用のために利用するものとし、第三者へのいかなる方法による提供も、行わないものとします。他者との共有が可能な場所に本書やそのコピーを置くこと、利用者以外のものに送付・送信・提供を行うことは禁止されます。また本書を、営利・非営利を問わず、事業活動の材料または資料として、そのまま直接利用することはお断りします。
ただし、以下の場合は本項の例外とします。
(1)
本書の一部を、著作物の利用における「引用」の形で引用すること。この場合、出典を明記してください。
(2)
本書を、企業、団体その他の組織が利用する場合は、その利用に必要な範囲内で、自組織内に限定して利用すること。
© Copyright 2023, Cloud Security Alliance.All rights reserved.

2

(3)CSAジャパンの書面による許可を得て、事業活動に使用すること。この許可は、文書単位で得るものとします。
(4)
転載、再掲、複製の作成と配布等について、CSAジャパンの書面による許可・承認を得た場合。この許可・承認は、原則として文書単位で得るものとします。
３．
本書の適切な管理(1)
本書を入手した者は、それを適切に管理し、第三者による不正アクセス、不正利用から保護するために必要かつ適切な措置を講じるものとします。
(2)
本書を入手し利用する企業、団体その他の組織は、本書の管理責任者を定め、この確認事項を順守させるものとします。また、当該責任者は、本書の電子ファイルを適切に管理し、その複製の散逸を防ぎ、指定された利用条件を遵守する（組織内の利用者に順守させることを含む）ようにしなければなりません。
(3)
本書をダウンロードした者は、CSAジャパンからの文書（電子メールを含む）による要求があった場合には、そのダウンロードしまたは複製した本書のファイルのすべてを消去し、削除し、再生や復元ができない状態にするものとします。この要求は理由によりまたは理由なく行われることがあり、この要求を受けた者は、それを拒否できないものとします。
(4)
本書を印刷した者は、CSAジャパンからの文書（電子メールを含む）による要求があった場合には、その印刷物のすべてについて、シュレッダーその他の方法により、再利用不可能な形で処分するものとします。
４．
原典がある場合の制限事項等
本書がCloud Security Alliance, Inc.の著作物等の翻訳である場合には、原典に明記された制限事項、免責事項
は、英語その他の言語で表記されている場合も含め、すべてここに記載の制限事項に優先して適用されます。
５．
その他
その他、本書の利用等について本書の他の場所に記載された条件、制限事項および免責事項は、すべてここに記載の制限事項と並行して順守されるべきものとします。本書およびこの制限事項に記載のないことで、本書の利用に関して疑義が生じた場合は、CSAジャパンと利用者は誠意をもって話し合いの上、解決を図るものとします。
その他本件に関するお問合せは、info@cloudsecurityalliance.jp までお願いします。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

3

日本語版作成に際しての謝辞「ChatGPTのセキュリティへの影響」は、CSAジャパン会員の有志により行われました。作業は全て、個人の無償の貢献としての私的労力提供により行われました。なお、企業会員からの参加者の貢献には、会員企業としての貢献も与っていることを付記いたします。
以下に、翻訳に参加された方々の氏名を記します。（氏名あいうえお順・敬称略）
石井 英男
太田 吏城
小田部 悟士
高橋 久緒, CISSP, RISS, PMP
満田 淳
諸角 昌宏

© Copyright 2023, Cloud Security Alliance.All rights reserved.

4

目次_Toc137389005
1. はじめに ........................................................................................................................................ 7
2. ChatGPTとは................................................................................................................................. 8
2.1. マシンラーニングモデル.............................................................................................102.2. ChatGPTの制限事項 ................................................................................................112.3. ChatGPTの利用規約 ................................................................................................132.4. ベンチマーク.........................................................................................................142.5. セキュリティの世界を変えるツールの過去の事例 ...............................................................14
3. 悪意のあるアクターがChatGPTを利用してどのようにツールセットを改善するか................... 15
3.1. Enumeration .....................................................................................................15
3.2. 攻撃の足がかり支援 ..................................................................................................173.3. 偵察 ....................................................................................................................20
3.4 .フィッシング ......................................................................................................22
3.5. " ポリモーフィック" コード ...................................................................................23
4. サイバーセキュリティプログラムの中で、防衛側はどのように活用できるか ............................ 25
4.1. セキュリティ脆弱性のフィルタリング（GitHubCopilot）..................................................25
4.2. セキュリティコードの生成（ChatGPT -Codex） .............................................................27
4.3. セキュリティコード の変換(ChatGPT -Codex) ..............................................................28
4.4. 脆弱性スキャナー (ChatGPT -Codex) ..........................................................................29
4.5. 生成AIを検出するテキスト..........................................................................................31
4.6. サイバーセキュリティの問題解決策を探す .......................................................................314.7. SIEM/SOA との連携 ................................................................................................33
4.8. 技術コード/ファイルを英語に変換する ............................................................................34
4.9. セキュリティパッチの説明とChangeLog .......................................................................35
4.10. スクリプトの作成、プログラミングの変換言語..................................................................36
4.11. スクリプトやコンフィギュレーションファイルを読んで説明する ...........................................38
4.12. ファジングとテストのためのChatGPTコード ..................................................................40
4.13. YARAやKQLなどのクエリを作成する。 .........................................................................41
5. 悪意のあるプロンプトによるChatGPTへの攻撃 ........................................................................ 44
5.1. 攻撃ポイントの図解 ..................................................................................................47
5.2. ユーザーと ChatGPT 間の接続の確立 .......................................................................47
5.3. 新しい会話の開始または既存の会話の選択 .................................................................48© Copyright 2023, Cloud Security Alliance.All rights reserved.

55.4. ユーザー入力 ..........................................................................................................48
6. ChatGPTを安全にビジネス利用できるようにする方法 .............................................................. 50
6.1. ChatGPT............................................................................................................51
6.2. New Bing.............................................................................................................51
6.3. Azure OpenAI Service ..........................................................................................51
7. 生成AI技術の限界とクセ ............................................................................................................. 54
8. 将来の攻撃と懸念 ........................................................................................................................ 56
9. 結論 ............................................................................................................................................. 57
10. 参考文献 ...................................................................................................................................... 59
11. 付録 -フォーマット ...................................................................................................................... 60
11.1. リスク表 ...............................................................................................................60
11.2. ヒートマップ ........................................................................................................61© Copyright 2023, Cloud Security Alliance.All rights reserved.

61. はじめに非常に人気の高い生成型人工知能テクノロジーを取り上げた Cloud Security Alliance の最初のホ
ワイトペーパー「ChatGPT のセキュリティへの影響」へようこそ。企業、国家、サイバーセキュ
リティの専門家は、ChatGPTの普及に追いつき、どのように管理され使用されるべきかを理解しようとしています。CSAは、ChatGPTの文脈を理解し、すべてのステークホルダーに適用される現実的な問題を特定するために、リリース候補としてこのホワイトペーパーを発行するために迅速に行動しました。
ChatGPTのような大規模な言語モデルは、様々な業界の生産性を大幅に向上させることができる
強力なツールとして認識されています。サイバーセキュリティの分野では、脆弱性の特定やソー
シャルエンジニアリングなどのタスクで有望視されています。しかし、この可能性は、これらの技術の倫理的な使用と悪意のある使用の間の微妙なラインに関する重大な問題を提起しています。
本稿では、人工知能の細部にまで踏み込むことなく、サイバーセキュリティ業界におけるChatGPTの意味について、ハイレベルな概要を説明することを目的としています。ChatGPTの能力を理解するために重要な鍵となる概念と領域、そしてビジネスへの潜在的な影響について探求していきます。
これらの意味を検討する際、マーケティングメール、社内コミュニケーション、フィッシン
グメールの区別や、パッチ適用の脆弱性とハッキングのエントリーポイントの識別など、
ChatGPTの正当な使用と悪意のある使用を区別する課題を考慮することが重要です。
また、ChatGPTを統合することで、サイバーセキュリティの専門家の生産性向上や、この分
野を志す人たちに革新的なトレーニング方法を提供することが期待されます。この技術は、
特にアプリケーションの開発において、ソフトウェア開発の慣行をも変革する可能性が高いです。
ChatGPTの現状とその潜在的な意味を検証することで、この技術がサイバーセキュリティ産業の未来をどのように形作るかを包括的に理解することを目的としています。
私たちは、他にもいくつかの生成AIツールがあることを理解しており、最終的にCSAは、この市場がどのように進化し、どのソリューションが永続的であることを証明するかについて予測する
方法はありません。特に、サービスとして提供されるようになったAIセキュリティの問題を、時間をかけてあらゆる技術で幅広くカバーしていく予定です。しかし、今日のChatGPTの人気は非常に高く、私たちはこの技術について、公共の利益のために、独占的に掘り下げることを余儀なくされています。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

7

2.

ChatGPTとは

ChatGPT自身の言葉を借りると以下になります。
ChatGPTは、OpenAIがTransformerと呼ばれるディープラーニングアルゴリズムを用いて学習させた大規模な言語モデルです。自然言語を理解し、質問やプロンプトに対して人間のような応答を生成できることを目指し、インターネットなどの膨大なテキストデータで学習させました。
ChatGPTが採用しているTransformerアーキテクチャは、入力テキストの異なる部分に異なるタイミングで焦点を当てることができる「アテンション」という考え方に基づいたモデルです。このアテンションメカニズムを利用して、テキストの文脈表現を構築し、異なる単語やフレーズ間の意味や関係を把握することができます。
トレーニングでは、モデルに入力テキストを提示し、次の単語または単語のシーケンスを予測するよう求めます。このプロセスを何百万回も繰り返すことで、モデルは徐々に、さまざ
まなプロンプトや質問に対して首尾一貫した、文法的に正しい回答を生成することを学習していきます。
ChatGPTに質問や発言をすると、モデルは学習した知識を用いて、あなたの入力に対して最も首尾一貫した関連性の高い応答を生成します。これは、あなたの入力と内部の言語表現を比較し、学習したパターンに基づいて応答を生成することによって行われます。
全体として、ChatGPTはディープラーニングと自然言語処理の力を示す印象的な例であり、将来的にコンピュータやAIシステムとの関わり方に革命をもたらす可能性を持っています。
参照： 訳注）上記は以下の質問に対する回答をそのまま訳したものです。

" Question: “Can you explain to a slightly technical audience what ChatGPT is and how it works?”
日付：2023-03-08
サイト：https://chat.openai.com/]

一般にChatGPTは、人工知能の専門分野である生成AIに属します（図1参照）。この分野は時代とともに進歩してきましたが、計算を高速化するための計算能力の向上により、加速度的に進歩しています。具体的には、人工知能の分野は、1950年代にAlan M. Turingが発表した「Computing Machinery and Intelligence」という画期的な出版物にさかのぼります。Microsoft
Word - TuringTest.doc (umbc.edu).マシンラーニングの分野では、チェスのグランドマスターであるGary KasparovがIBMのDeep Blueに敗れたことに関連しています。2016年、囲碁のディープ
ラーニングアルゴリズム「Alpha Go」が、韓国のプロ棋士Lee Sedolに5戦4勝しました。Deep
BlueとAlphaGoはまだゲームのアルゴリズムですが、人間よりも複雑なタスクを実行できる可能性を示しました。私たちは今、2020年代の生成AIの時代を迎えています。世界的なChatGPTのムーブメントが今起きているのです。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

8

The History of Artificial Intelligence - Science in the News (harvard.edu)
Computer scores big win against humans in ancient game of Go (cnn.com)
人工知能（AI）が進化する過程で、計算能力が制約となり、複雑な計算を効率よく行うことができませんでした。図1に示すように、これらの段階は、AI分野の中でますます専門化するサブド
メインによって特徴付けられます。例えば、生成AIは、ディープラーニングのサブドメインであり、そのサブドメインはマシンラーニングのサブドメインです。このように、AIの定義は、人類史の各時代との関連性を維持するために、絶えず変化してきたことを認識することが重要です。

図1:AI分野における生成 AI基盤モデルのファミリー依存関係

OpenAIでは、プロンプト＆リプライ形式を採用した基本的なWebベースのユーザーインター
フェースに加え、ニューラルネットワークベースの音声認識（Speech to Text）システムであるWhisperを提供しています。また、ChatGPTやWhisperを様々なアプリケーション、
Webサイト、製品、サービス、音声インターフェースにシームレスに統合するためのアプリ
ケーションプログラミングインターフェース（API）も提供しています。
しかし、ChatGPTの強力な機能、特にAPIを通じた機能は、悪意のあるアクターがサイバー攻撃を容易にするためにこのツールを悪用する可能性があり、潜在的なリスクをはらんでいます。
*ChatGPTで得たすべての情報を検証し、アウトプットを検証して品質を確保することが重要です。
言語モデルは、チャットボットのインターフェース、API、クラウドベースのサービスなど、いくつかのオプションを通じてアクセスすることができます。各オプションは、個人ユーザーや企業の顧客をターゲットとした、異なるエンドユーザーに対応しています。個人向けにアップグレ
ード版を提供するソリューションもあれば、ビジネスユース向けに設計され、パートナーシップ
により特定のクラウドプラットフォームで利用できる場合もあります。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

9企業向けには、REST API、ソフトウェア開発キット（SDK）、ウェブベースのインターフェー
スを通じて、言語モデルへの安全で隔離されたアクセスを提供するクラウドベースサービスもあります。これらのサービスは、他のクラウドサービスと統合され、仮想プライベートネットワー
クやディレクトリサービスによるID管理などの機能をサポートすることができます。
テクノロジーの進化に伴い、OpenAIとChatGPTの連携は目覚ましいスピードで広がっています。多くのアプリケーション、プラットフォーム、ツールが、これらのAIモデルの力を利用し、その機能や性能を高めています。現在の統合の一部を調べるには、以下のリンクを参照してください。このリンクでは、すべてではありませんが、多くの既存の接続の概要を説明しています。
https://sourceforge.net/software/product/OpenAI/integrations/
このリンク先では、AIによるコード提案ツール、チャットボットプラットフォーム、検索エンジンなど、OpenAIが関わる様々な統合を一覧で見ることができます。このリストは、新しい統合が継続的に開発され、既存の統合が改善されているため、すべてを網羅しているわけではないことにご留意ください。
OpenAIやChatGPTのようなAIモデルの可能性をより多くの企業や開発者が認識するようになれ
ば、統合の数や種類もさらに増えていくことが予想されます。このように、AIを活用した新しいアプリケーションやツール、サービスが次々と登場し、多くの産業や分野でAIが身近なものとなっていくことが予想されます。
OpenAIの具体的なモデルやその機能については、以下のリンクからOpenAIのモデル概要ページを参照してください。
https://platform.openai.com/docs/models/overview
この資料では、OpenAIの様々なモデル、その特徴、潜在的なアプリケーションに関する包括的な情報を提供し、どの言語モデルが自分の要件に最も適しているかについて情報に基づいた決定を下すのに役立ちます。

2.1.

マシンラーニングモデル

図1に示したように、OpenAIは複雑なタスクに取り組むために、さまざまなモデルを開発してきました。ChatGPTでは、OpenAIの3つのモデルファミリーを採用しており、それぞれが特定の目的に対応しています。
1.

2.

GPT-3:人間のような自然言語を理解し、生成するために設計された一連のモデルからなるファミリーです。テキストベースの情報を処理し、一貫した回答を生成することを得意とするモデルです。
Codex：コードの理解と生成に特化したモデルファミリーです。Codexモデルは、人間のような自然言語をコンピュータのプログラミング言語に翻訳することができ、指示された
ソースコードを効率的に生成することができます。
© Copyright 2023, Cloud Security Alliance.All rights reserved.

10

3.

Embeddings：テキスト検索、類似検索、コード検索など、特殊な機能に特化したモデルで構成されるファミリーです。これらのモデルは、様々な文脈でより効率的な情報検索・処理を可能にします。

各モデルは、バージョン情報を組み込んだ特定の命名規則に準拠しており、プラットフォーム全体の明確性と一貫性を確保しています。Azure OpenAI Serviceのモデルの詳細については、Microsoft LearnのAzure OpenAIのドキュメントを参照してください。

2.2.

ChatGPTの制限事項

OpenAIとMicrosoftが管理するGPT-3は、悪意のあるコンテンツや違法なコンテンツの生成を防ぐ
ために、数多くのセーフガードが組み込まれています。例えば、有害なクエリを提示された場
合、AIは回答を拒否します。これは、AI言語モデルが有害または違法な活動を促進または助長することを禁止するOpenAIのユースケースポリシーに準拠しています。
これらの保護にもかかわらず、直接攻撃に関するセクションで詳述するように、制限を回避して不正確な結果やその他の望ましくない結果を生み出すことが可能です。
ChatGPTを例えるなら、インターンのようなもので、熱心にサポートしてくれるが、ときには領域固有の知識（DSK）や専門知識が不足していて物足りないこともあります。
さらに、ChatGPTのDSKは、Stack Overflow（訳注：Stack Overflowはプログラマとプログラミ
ングに熱心な人のためのQ&Aサイト）のようなプラットフォーム上の古い回答のように、不正確であったり、古かったりすることがあります。
テキストの要約もChatGPTの限界の一例です。特にクエリが十分に定式化されていない場合、AI
はテキストの特定の側面を過度に重視することがあります。クエリの組み立て方は、出力に大きく影響します。
さらに、ChatGPTは複雑な計算を行う上での限界もあります。テキストからBase64への変換のような単純なタスクは実行できますが、ハッシュアルゴリズムの計算のような高度な計算では、
しばしば不正確な結果が得られます。
ChatGPTは、Pythonスクリプトで必要なimport文を含めないなど、スクリプト生成の基本的なミスもあり、結果として機能しないコードになることがあります。そのため、ChatGPTは代替品ではなく、支援技術として使用することが望ましいとされています。

マイクロソフトは、2022年の「Responsible AI Standard V2」（Microsoft-Responsible-AIStandard-v2-General-Requirements-3.pdf）において一定の原則を打ち出しています。その結果、Azure OpenAIサービスへのアクセスにはゲートがあり、企業は特別なアクセス要求フォーム
Request Access to Azure OpenAI Service (microsoft.com)を通して適用しなければなりません。
セキュリティフレームワークは、コンテンツフィルターを適用し、プロンプトを30日間保存する© Copyright 2023, Cloud Security Alliance.All rights reserved.

11

ことで、不正使用の懸念をResponsible AIチームによって調査することができるようにします。
マイクロソフトでは、製薬会社やFSIなど規制の厳しい業界の顧客が、別のプロセスでオプトア
ウトすることを認めており、これもリクエストフォームを使用しています。これがどこまで続くのか、また、このAzure OpenAI Serviceがコンテンツフィルタリングを解除することで、侵入テスト担当者に使えるツールになるのか、興味深いところです。Azure OpenAI Limited Access
Review: Modified Content Filters and Abuse Monitoring (microsoft.com)
最後になりますが、GPT-4へのアクセスも新しいリクエストフォームが必要であり、その前提として最初のフォームのリクエストが成功したことが必要ですAzure OpenAI GPT-4 Public Preview
Waitlist (microsoft.com).

© Copyright 2023, Cloud Security Alliance.All rights reserved.

12

2.3.

ChatGPTの利用規約

ChatGPTをはじめとするOpenAIのサービスを利用する際には、その利用規約を意識して遵守することが重要です。この利用規約は、OpenAIのサービス、製品、プラットフォームにアクセスし、使用するための条件を概説するものです。完全な利用規約を確認するには、次のリンクを参照してください： https://openai.com/policies/terms-of-use/
OpenAIの利用規約の主な内容は以下の通りです。
1.

2.

3.

4.

5.

6.
7.

利用規約の同意：OpenAIのサービスを利用することにより、ユーザーは、定期的に更新される可能性のある利用規約に拘束されることに同意するものとします。更新後のサービスの継続利用は、改訂された規約に同意したものとみなされます。
利用制限：OpenAIは、サービスの利用方法について一定の制限を設けています。ユーザ
ーは、法令に違反する行為、知的財産権を侵害する行為、有害な内容や差別的な内容を助長する行為を行ってはならないものとします。
APIアクセス：OpenAIは、特定の条件下で、そのAPIへのアクセスを許可することがあります。ユーザーはこれらの条件を遵守しなければならず、条件に違反した場合、OpenAI
はアクセスを制限、停止、終了させる権利を有します。
ユーザーデータ：OpenAIのデータ利用ポリシーは、ユーザーデータの収集、保存、利用方法について詳述しています。ユーザーは、OpenAIのサービスを利用することにより、
本ポリシーに記載されているデータの取り扱いについて同意するものとします。
保証と責任：OpenAIのサービスは、いかなる保証もなく「現状のまま」提供され、OpenAIは、そのサービスの使用または使用不能から生じる損害について、いかなる責任も負わないものとします。
終了：OpenAIは、ユーザーが利用規約に違反した場合、またはその他の理由で、独自の判断により、サービスへのアクセスを終了または停止する権利を有します。
準拠法：本利用規約は、カリフォルニア州法に準拠し、いかなる紛争もカリフォルニア州
サンフランシスコ郡に所在する適切な裁判所において解決されなければならないものとします。

OpenAIのサービスを利用する前に、OpenAIの利用規約を十分に読み、理解するようにしてくだ
さい。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

13

2.4.

ベンチマーク

現在、ChatGPTのような大規模言語モデルの性能を比較するベンチマークがいくつか公開されています。ChatGPTの選択肢を包括的に理解するために、まずCRFMベンチマークから始めることをお勧めします。
スタンフォード大学が開発したCRFM（Comprehensive Real-World Fine-tuning Model）ベンチマ
ークは、様々な大規模言語モデルを実世界のタスクにおける性能という観点から幅広く分析することができます。これらのベンチマークは、ユーザーが様々なモデルの効果を評価・比較し、特定のニーズに合わせて最適なモデルを選択するのに役立ちます。
CRFMベンチマークの詳細と深い洞察については、以下のリソースをご覧ください。
1.

2.

2.5.

CRFM ベンチマークウェブサイト：https://crfm.stanford.edu/。CRFM ベンチマークの方
法論、データセット、結果に関する詳細情報を提供しています。また、異なる言語モデルの性能を比較するためのインタラクティブな可視化も提供しています。
CRFM Benchmarking research paper：https://arxiv.org/abs/2204.06745。このリサーチ
ペーパーはarXiv.orgで公開されており、CRFMベンチマークの背後にある包括的な研究を紹介しています。ベンチマークの動機、方法論、知見に加え、様々な大規模言語モデ
ルの性能の徹底的な分析が含まれています。

セキュリティの世界を変えるツールの過去の事例

過去には、「新しい」ハッキングツールの開発・普及が懸念されました。注目すべきは、SATAN（Security Administrator Tool for Analyzing Networks）(https://en.wikipedia.org/wiki/Security_Administrator_Tool_for_Analyzing_Networks)があり、当初は広く警鐘を鳴らしました。しかし、最終的には普及には至らず、その後、さまざまなセキュリ
ティ規格に必要不可欠なツールを提供する商社へと発展しています。例えば、PCI DSS 要件
11.2.2 では、少なくとも四半期ごとに、またネットワークに重大な変更があった場合には、内部および外部の脆弱性スキャンを実施することを組織に義務付けられています。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

14

3.

悪意のあるアクターがChatGPTを利用してどのようにツールセットを改
善するか

このセクションでは、悪意のあるアクターがAI技術を活用してツールセットを強化することに伴う潜在的なリスクについて探ります。AIがアクセスしやすく強力になるにつれ、様々なサイバー
攻撃のステージで悪用される可能性が高まります。以下のサブセクションで、AIドリブンシステ
ムが、エニュメレーション、攻撃の足がかり支援、偵察、フィッシング、ポリモーフィックコー
ドの作成など、サイバー攻撃のさまざまな側面でどのように悪用されるかを詳細に説明します。
これらのトピックを検討することで、潜在的な脅威への認識を高め、堅牢なセキュリティ対策と責任あるAI開発の必要性を強調することを目指します。
本文のほかに、文書の一部のセクションには、簡単なリスクレビューおよび/または対策の有効性評価が含まれています。評価目的は、特定分野での現在のリスクレベルと、それがビジネスに与える潜在的な影響を可視化するのに役立つためです。重要なことは、これが網羅的なリストではなく、各リスクの起こりうる結果を示すためのものであるということです。
リスク評価とリスクへの影響をより理解するために、ドキュメントの用語集ではヒートマップと
リスクテーブルを提供しています。ヒートマップは、リスクの発生可能性と影響度で分類することで、リスクの重要度を視覚的に表現しています。リスクテーブルでは、各カテゴリーをさらに詳しく説明し、潜在的な影響と実施された対策の有効性をより包括的に理解できるようにしました。
用語集のヒートマップやリスクテーブルを参照することで、読者は現在のリスク状況や、それが組織にどのような影響を及ぼす可能性があるのかについてより深く理解することができます。この情報を活用することで、リスクの対処や軽減について明確な判断を行い、リスクの潜在的な影
響を最小化することができます。

3.1.

エニュメレーション
リスク：Medium

影響度：Low

発生可能性：High© Copyright 2023, Cloud Security Alliance.All rights reserved.

15

Nmapスキャン結果の向上：Nmapの基本的なスキャンで、ポート8500が開いていることを確認
し、JRunがアクティブなWebサーバーであることを明らかにしました。この情報をもとに、ネッ
トワークのセキュリティポスチャや潜在的な脆弱性について、さらに理解を深めることができます。

ChatGPTを活用したアプリケーションディスカバリー：ChatGPTは、特定の技術やプラットフォームに関連する最も一般的なアプリケーションを迅速に特定するために効果的に使用することができます。この情報は、特定のネットワーク環境における潜在的なアタックサーフェスや脆弱性の理解に役立ちます。

それぞれのログイン方法の理解にも役立ちます。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

16

3.2.

攻撃の足がかり支援
リスク：Medium

影響度：Medium

発生可能性：Medium

攻撃の足がかり支援は、脅威アクターが標的のシステムまたはネットワーク内でイニシャルプレ
ゼンスまたは足がかり確立するプロセスを指します。これは通常、脆弱性や弱点を悪用して不正にアクセスすることを意味します。足がかりが確立されると、攻撃者はさらにシステムに侵入し、情報を収集し、権限を昇格させ、または目的を達成するために追加の攻撃を仕掛けることができます。AIツールの活用という意味では、攻撃の足がかり支援は、脆弱性の発見を自動化したり、脆弱性を悪用するプロセスを簡略化したりして、攻撃者がターゲットへの初期アクセスを容易にすることが含まれる場合があります。
100桁以上のコードサンプル内の脆弱性調査をChatGPTに依頼したところ、ファイルインクルージョンの脆弱性を正確に特定しました。追加で問い合わせたところ、AIは入力検証の不足、ハードコードされた認証情報、脆弱なパスワードハッシュなどの問題を正常に検出しました。これ
は、ChatGPTはコードベースのセキュリティ上の欠陥を効果的に特定する可能性を示しています。

ChatGPTに提供したコードスニペットの例では、脅威アクターがシステムに不正アクセスするために悪用できる問題のタイプの典型的な例として、重大なセキュリティ脆弱性が明らかになっています。この場合のクリティカルな脆弱性は、eval()関数の使用に起因しており、Remote Code
Execution(RCE)のリスクをもたらすものです。eval()関数は、引数の文字列をPHPのコードとして実行するもので、この例では、次のような処理をしています。ユーザーから提供された入力を$_GET[' variable ']から取得します。これにより、攻撃者は 'variable' パラメータを介して悪意のあるPHPコードを注入することができ、サーバーの侵害や機密データへのアクセスなど、重大な結果につながる可能性があります。
© Copyright 2023, Cloud Security Alliance.All rights reserved.

17コードベースのこのような脆弱性を特定し分析することで、脅威アクターは特定のセキュリティ対策やパラメータを回避する方法を迅速かつ効率的に理解することができます。この知識によって、より成功確率の高い標的型攻撃を仕掛けることができます。この具体例では、攻撃者がRCE
脆弱性を利用してサーバー上で悪意のあるコードを実行し、不正アクセスやデータの流出などの損害を引き起こす可能性があります。
以下は、使用したコードスニペットの例です。
require_once('../_helpers/strip.php');// first, get a variable name based on the user input$variable = strlen($_GET['variable']) > 0 ? $_GET['variable'] : 'empty';$empty = 'No variable given';// pass the variable name into an eval block, making it// vulnerable to Remote Code Execution (rce). This RCE// is NOT blind.
eval('echo $' . $variable . ';');© Copyright 2023, Cloud Security Alliance.All rights reserved.

18以下は、ChatGPTがフィードバックした内容です。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

19

3.3.

偵察
リスク：Low

影響度： Medium

発生可能性：Low

偵察とは、サイバーセキュリティにおける悪意のある脅威アクターの観点から、攻撃を開始する
前にターゲットとなるシステム、ネットワーク、または組織に関する情報を収集する初期段階のことを指します。この段階は、攻撃者にとって非常にクリティカルです。潜在的な脆弱性、弱点、システムまたはデータに不正にアクセスするために悪用できる侵入経路を特定することができるからです。
偵察は、さまざまな方法で行われることがあります。以下にいくつかの例を挙げます。

1.

パッシブな偵察：このアプローチでは、脅威アクターはターゲットのシステムやネットワークに直接触れることなく、情報を収集します。公開されているリソース（検索エンジ
ン、ソーシャルメディア、WHOISデータベース、DNSレコードなど）を利用して、対象
組織、従業員、ネットワークインフラなどに関する情報を収集します。

2.

アクティブな偵察：これは情報を収集するために対象となるシステムやネットワークの直接調査を含みます。アクティブな偵察に使われる技術には、ポートスキャン、ネットワー
クスキャン、脆弱性スキャンなどがあります。これらの方法は侵入性が高く、セキュリティシステムによって検出される可能性はありますが、ターゲットのセキュリティポスチャ
や潜在的な脆弱性についての貴重な情報を得ることができます。

3.

ソーシャルエンジニアリング：脅威アクターは、フィッシングやプリテキスティングなどのソーシャルエンジニアリング戦術を用いて、従業員やその他の内部関係者から機密情報を収集します。これには、パスワード、アクセスコード、または内部システムやプロセスに関する詳細が含まれます。

会社役員名簿など、包括的なデータを収集するのは大変な労力と時間がかかるものです。Bing
ChatGPTを活用することで、以下のようにユーザーは的を射た質問を投げかけることができます。

1.

カンザス州の銀行のリストを作成し、銀行名やドメイン名を含むCSVファイル形式で提示することは可能でしょうか？

2.

それぞれの銀行に関連するCEOやVPなどの主要な会社役員のリストを提供してもらえま
すか？

Bing ChatGPTは、要求された情報を効果的に提供することができます。さらに、ユーザーが”特定の銀行のCISO”のような具体的な詳細を求める場合、正確な情報がない場合でも、AIは関連するポジシ© Copyright 2023, Cloud Security Alliance.All rights reserved.

20

ョンを提示することが可能です。これは、さまざまな目的のためにデータ収集プロセスを合理化し、強化するAIドリブンツールの可能性を示しています。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

21

3.4 .フィッシング
リスク：Medium

影響度：Low

発生可能性：High

サイバー脅威アクターは、様々な目的で正当に見えるメールを容易に作成できます。AIを搭載したツールでは、スペルミスや文法の誤りなどの問題はもはや障害とならず、本物の通信と悪意のある通信を区別することがますます困難になっています。このため、巧妙なフィッシング詐欺に対抗するためのセキュリティ対策や意識の向上が重要です。
AI技術の急速な進歩により、脅威アクターの能力は大幅に向上し、本物の連絡と酷似した欺瞞的なメールを作成することが可能となりました。メール内の完璧な言葉遣い、文脈の適合性、パーソナライ
ズされた詳細があるため、受信者がフィッシングであると認識することはますます難しくなっています。そのため、組織や個人は常に警戒を怠らず、サイバーセキュリティに対して多層的なアプローチを採用する必要があります。
そのためには、定期的な従業員研修による意識の向上、高度なメールフィルタリングシステムの導入、及び機密情報を保護するための強固な認証方法の導入などが必要です。さらに、サイバーセキュ
リティのベストプラクティスは、リクエストに応じる前に送信者の身元を確認する、疑わしいリンクをクリックしない、ソフトウェアを最新の状態に保つなどです。私たちは、情報を常に把握し、積極的な対策をとることで進化する脅威から身を守り、巧妙なフィッシングキャンペーンに関連するリス
クを軽減することができます。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

22

3.5. " ポリモーフィック" コードポリモーフィックコードとは、元のアルゴリズムの機能を維持したまま、ポリモーフィック（変形）エンジンを使って自身を変化させることができるタイプのコードのことです。そうすることで、ポリモーフィックマルウェアは、その「外観」（コンテンツやシグネチャ）を変えて、悪意のある意図を実行しながらも、検出を回避することができます。ポリモーフィックマルウェアの例としては、ウイ
ルス、ワーム、トロイの木馬などがあり、従来のセキュリティ対策を回避するためにコード構造を適応させることができるため、検出や無効化が特に困難となります。

リスク：High

影響度：High

発生可能性：Medium

ChatGPTは、CyberArk社の調査でも実証されているように、ポリモーフィック・シェルコードの生成に利用することができます。
(https://www.cyberark.com/resources/threat-research-blog/chatting-our-way-into-creating-apolymorphic-malware)。合法的なプログラマにとって有益な技術は、例えば、プロセスを特定した
り、アタッチする際に代替方法や効率的な方法を見つけることですが、同じ技術はマルウェアによっても悪用される可能性があります。
異なる技術を組み合わせることにより、例えば、プロセスにアタッチする2つの方法、コードを注入する2つのアプローチ、新しいスレッドを作成する2つの方法など、さまざまな技術を組み合わせることで、同じ目的を達成するために8つの異なるチェーンを作成することが可能になります。これによ© Copyright 2023, Cloud Security Alliance.All rights reserved.

23

り、多くのマルウェアのバリエーションを迅速かつ効率的に生成することができ、サイバーセキュリ
ティの専門家による検出や軽減の取り組みを複雑化させます。ただし、このシナリオでは迅速なイン
ジェクションの作成がますます困難なっています。
OpenAIは、悪意のある目的でAIモデルを使用する際の支援やガイダンスに関する方針を引き続き調整しています。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

24

4.

サイバーセキュリティプログラムの中で、防衛側はどのように活用できるか

4.1.

セキュリティ脆弱性のフィルタリング（GitHubCopilot）

このたびのGitHub Copilotのアップデートにより、AIによる脆弱性フィルタリングシステムが導入され、コード提案のセキュリティが強化されました。ハードコードされた認証情報、SQLインジェクシ
ョン、パスインジェクションなどの安全でないコードパターンをリアルタイムで検出・防止すること
で、がよくあるコーディングミスを回避することを支援する革新的な機能です。その結果、より安全なアプリケーションを開発することができ、DevSecOpsツールチェーンを通じて脆弱性が伝播するのを防ぐことができます。
参照： GitHub Copilot Update: New AI Model That Also Filters Out Security Vulnerabilities(microsoft.com)
サイバーセキュリティを語る上で、様々な脅威や脆弱性を理解することは極めて重要です。例えば、
MITRE ATT&CKフレームワークの技法識別子であるT1059.001の場合を考えてみましょう。この識別子は、サイバーセキュリティの専門家にとっては、報告されていても馴染みのないものであり、簡潔な説明が必要です。
脈絡なく、とてもシンプルな質問をしてみましょう。

参照
Question: “What is T1059.001?”
日付：(2011).
サイト：https://chat.openai.com/]© Copyright 2023, Cloud Security Alliance.All rights reserved.

25

ChatGPTは、このコードをMITRE ATT&CK識別子として正確に認識し、この識別子に関連する特定の問題（悪意のあるPowerShellスクリプトの使用を伴う）の説明を提供します。さらに、PowerShellの性質とサイバーセキュリティ攻撃における使用の可能性について、関連する例を示しながら詳しく説明しています。問題を明確に理解したサイバーセキュリティ専門家は、今度は組織内でT1059.001インシデントを防止するための対策を講じる必要があります。そのために、ベストプラクティスのガイ
ダンスを求めることができます。

参照
Question: “What are best practices to prevent T1059.001?”
日付：(2011).
サイト：https://chat.openai.com/]

ChatGPTでは、PowerShellを使った攻撃を防ぐために7つの事例を紹介しています。最初の2つは、ゼロトラストのガイドラインに沿ったもので、システムの最小権限設定を重視したものです。3つ目
は、潜在的な侵害を検知するための監視ガイドラインに関連するものです。4つ目は、システムが侵害された後のラテラルムーブメントを制限するための、データフローに関するアーキテクチャの考慮についてです。また、パッチマネジメントはゼロトラストガイドラインを遵守し、既知の脆弱性を除去してアタックサーフェスを最小化します。同様に、マルウェア対策ソフトウェアは、侵害される前にシステム上で悪意のあるPowerShellコードの実行を防ぐのに役立ちます。最後に、人的な問題を軽減するための人材育成が欠かせません。十分な訓練を受けた人は、サイバーセキュリティのインシデ
ントの数を大幅に減らすことができます。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

26

参照
Question: “can you give me the link to T1059.001?”
日付：(2011).
サイト：https://chat.openai.com/]

確かに、原典の情報を確認することは必須ですね。この場合、ユーザーは既知の攻撃手順のMITREデータベースに誘導されます。これは、サイバーセキュリティの専門家が参照するウェブページと同じであるため、ユーザーは提供された情報を容易に確認することができます。

4.2.

セキュリティコードの生成（ChatGPT -Codex）

このシナリオでは、フィッシングキャンペーンが企業内の複数の従業員をターゲットに成功し、認証情報が流出する可能性があります。どの従業員がフィッシングメールを開封したかは判明しています
が、認証情報を盗むために設計された悪意のあるコードを不注意で実行したかどうかは不明です。これを調査するために、Microsoft 365 Defender Advanced Huntingクエリを活用し、既知の悪意のあるメールを受信してから30分以内にメール受信者が実行した最新のログオンイベント10件を見つけることができます。このクエリは、漏洩した認証情報に関連する可能性のある疑わしいログイン活動を特定するのに役立ちます。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

27

参照
Question: “can you generate a Microsoft 365 Defender hunting query to find the 10 latest logons performed by email recipients
within 30 minutes after they received known malicious emails”
日付：(2011).
サイト：https://chat.openai.com/]

ここでChatGPTは、Microsoft 365 Defenderのハンティングクエリを提供し、侵害されたメール
アカウントのログイン試行をチェックします。これにより、攻撃者をシステムからブロックし、ユーザーがパスワードを変更する必要があるかどうかを明確にすることができます。サイバーイ
ンシデント対応時のアクションまでの時間を短縮するための好例といえるでしょう。

4.3.

セキュリティコード の変換(ChatGPT -Codex)

先ほどの例を踏まえて、同じ悩みを抱えているユーザーが「Microsoft 365 Defender」のハンティ
ングクエリを見つけたとします。使用しているシステムは、プログラミング言語「KQL」で動作しません。目的の言語で正しい例を探す代わりに、プログラミング言語のスタイル変換を行うことも可能です。以下は、対応する SQL コードを生成する例です。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

28

参照
Question: “can you generate the corresponding SQL code”
日付：(2011).
サイト：https://chat.openai.com/]

この例は、ChatGPTの基礎となるCodexモデルが、ソースコードの例を取り込んで、別のプログ
ラミング言語で例を生成することができることを説明しています。また、その提供する答えと新しい創造の背後にある方法論に重要な詳細を追加することで、エンドユーザーのプロセスを簡素
化します。

4.4.

脆弱性スキャナー (ChatGPT -Codex)

Chris Kochが説明したように、OpenAIのCodex APIは、C、C#、Java、JavaScriptなどのプログ
ラミング言語に対する有効な脆弱性スキャナーであることが証明されています。これは現在では最先端と思われるかもしれませんが、Codexファミリーのような大規模な言語モデルは、将来の脆弱性スキャナーの標準的な構成要素になると予想されます。例えば、様々な言語の安全でない
コードパターンを検出し、フラグを立てるスキャナーを開発することで、開発者が潜在的な脆弱性が重大なセキュリティリスクになる前に対処できるようにすることができます。
ChatGPT Vulnerability Scanner Is Pretty Good｜by David Merian｜ Feb, 2023｜System Weakness.

© Copyright 2023, Cloud Security Alliance.All rights reserved.

29次の例は、ChatGPTへのフィードに使用される脆弱なコードスニペットです。

結果、以下のような対応になります。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

30

4.5.

生成AIを検出するテキスト

OpenAIの大規模な言語モデルは、テキストを生成するだけでなく、AIが生成したテキストを検出し、電子透かしを入れることもできます。攻撃者の例3「フィッシング」と例4「ポリモーフィッ
クコード」を振り返ると、AIが生成したテキストを識別することで、メール内のこれらの要素を検出することができます。今後はメール保護ソフトの一部になる可能性があります。また、典型的でないメールアドレスの送信者やそれに対応するドメインも容易に検出できると考えるべきでしょう。また、テキスト中のリンク先が悪意のあるサイトかどうかもチェックできるはずです。
New AI classifier for indicating AI-written text (openai.com)
AIが作成したテキストを検出することは、特にそれがよく練られたもので、人間の文体を模倣したものである場合、困難な場合があります。しかし、AIが作成した文章を判別するのに役立ちそうなテクニックやツールは、以下のようにいくつか存在します。
1.
2.
3.

4.

微妙な矛盾を探す：AIが生成したテキストは、文脈や話題、流れに若干の矛盾がある場合があります。内容を確認する際には、こうした細部にまで気を配ってください。
文法や句読点を調べる：AIが生成した文章は、文法や句読点、文章構成が変わっていることがありますが、AIモデルの改良に伴い、そのようなことは少なくなってきています。
コンテンツのオリジナリティを評価する：AIが生成したテキストは、既存のソースからフレーズやアイデアを再利用する可能性があるため、剽窃検出ツールを使用してコンテンツの独自性をチェックします。
AIを活用した検知ツールを活用する：OpenAIのGPT-detectorやその他のマシンラーニ
ングモデルのように、特定のパターンやマーカーに基づいてAIが生成したテキストを識別するために特別に設計されているツールもあります。

ChatGPTのようなAIモデルの進化が進むと、AIが作成したテキストの検出はますます難しくなることに注意が必要です。しかし、検出ツールや技術の継続的な研究開発は、これらの進歩に追いつくように力が入れられています。

4.6.

サイバーセキュリティの問題解決策を探す

この初級サイバーセキュリティシナリオでは、クラウドストレージプラットフォームである
OneDriveへの機密文書のアップロードを防止することを目的としています。ユーザーの既存の知識では、最初のステップとしてデータの分類にPurviewを使用することになります。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

31

ユーザーは Purview では問題が解決しないことを知ります。Microsoft Endpoint Managerが問題を解決してくれるというヒントを得ます。

Microsoft Endpoint Managerを設定し、OneDriveへの文書のアップロードを防止するための詳細な手順を取得することができます。さらに、すべてのアップロードがブロックされるという制限が強調されています。これは、問われている正確な解決策ではありません。やりすぎなのです。
では、両方の解決策を組み合わせてみてください。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

32

このシナリオでは、希望する結果を得るためには、2つの技術を組み合わせる必要があることを発見することになります。Purviewは適切なデータ分類を確立するために活用され、Defender
Endpoint Protectionは対応するポリシーを実施するために採用されます。このポリシーは、デー
タ分類タグに基づくものです。その結果、ChatGPTへの2回目の質問で提案されたような過剰な手段に頼ることなく、当初掲げた目的を達成することができました。

4.7.

SIEM/SOA との連携

マイクロソフトは3月8日、Azure OpenAIサービスをビルトインコネクタで統合し、Azure
Logic Appsによるプレイブックの自動化を可能にすると発表しました。今回の開発では、OpenAIモデルのオートコンプリート機能を活用することで、インシデント管理を加速させます。記事によると、text-davinci-003というモデルを使用することが推奨されています。その結果、Defenderのシナリオ2「脆弱性の説明」は、すでにセキュリティツールセットに組み込まれています。
例:
Microsoft Sentinelのプレイブックは、受信したセキュリティアラートを分析するためにtextdavinci-003モデルを利用するように構成することができます。特定の脆弱性が検出された場
合、OpenAIのモデルは自動的に脆弱性の説明、潜在的な影響、推奨される緩和策を提供することができます。この情報をセキュリティチームに送信することで、インシデントに対してより迅速かつ効果的に対応することができます。
OpenAIとMicrosoft Sentinelの紹介 - Microsoft Community Hub© Copyright 2023, Cloud Security Alliance.All rights reserved.

33

4.8.

技術コード/ファイルを英語に変換する

ChatGPT 4の顕著な特徴は、ソースコードや設定ファイルなど、さまざまな技術ファイルの機能をわかりやすい言葉で調べ、解釈することができる、自身の思考プロセスを解明する能力です。この機能により、深い専門知識を持たないユーザーでも、これらのファイルの内部構造を理解し、その目的、構造、潜在的な意味を理解することができるようになりました。
ChatGPT 4は、わかりやすい解説により、複雑な技術概念の理解度を高め、専門家と非専門家の橋渡しをすることに貢献します。
ChatGPTに投入されたコードベース例には、わかりやすく説明してほしいというプロンプトが表示されています。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

34以下は、ChatGPTの対応です。

4.9.

セキュリティパッチの説明とChangeLog
対策効果：Medium

運用担当者にとっては、変更履歴やその他の情報源に目を通し、セキュリティ関連の情報がないか、対応する必要がないかを確認することに多くの時間が費やされます。
ChatGPTは、ウェブページを簡単に要約することができますが、より重要なのは、文脈的な意味を抽出し、「[URL]にコンピュータセキュリティ関連の問題が記載されているか」のような特定の情報を検索することができることです。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

35

ChatGPTは、JSONやCSVを含む多くのデータフォーマットの読み書きが可能で、これにより、
既存のツールで自動または半自動ワークフローを作成することができます。

4.10.

スクリプトの作成、プログラミングの変換言語
対策効果：Low

ChatGPTは、スクリプトやプログラムを作成することも、既存のスクリプトを他言語に翻訳することもできます。例えばWebページをダウンロードして処理するスクリプトをChatGPT
で素早くプロトタイプ化し、それをPythonスクリプトに変換することで保守性を向上させ、拡張性を高めることができるのです。例えば、それを尋ねることができます。
can you write a bash script that downloads a JSON file like
https://raw.githubusercontent.com/cloudsecurityalliance/gsd-database/main/2023/100
0xxx/GSD-2023-1000039.json and extracts the affected linux kernel versions from the
JSON data in the "limited" and "introduce tags"
そして、いくつかの微調整が必要なものの、ほぼ動作するbashスクリプトを生成します。完成したら、次のように質問することができます。
Can you rewrite that script in Python3?

© Copyright 2023, Cloud Security Alliance.All rights reserved.

36そして、まさにそれを実現するでしょう。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

37

4.11.

スクリプトやコンフィギュレーションファイルを読んで説明する対策効果：Medium

あるチームが、サーバーやサービスを修正する必要があるが、適切な文書やコンテキストがない（例：作成者が不在）状況に直面しました。
ChatGPTは、スクリプトを分析し、技術的な詳細と包括的な目標の両方を含む説明を提供することで支援します。例えば、
https://github.com/cloudsecurityalliance/webfinger.io/blob/main/verification-api/vpn-0-ns-ine tcreate.sh（Linuxのネットワーク名前空間を作成し、その中でVPN接続を確立し、そのネットワ
ーク名前空間で動作するbashプロンプトを開く）のスクリプトの説明を求められたとき、
ChatGPTは次のように要約しています。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

38

また、簡単なrsyncd.confファイルを読んで説明すると、ChatGPTは各行を正しく説明してくれます。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

39

設定ファイルが安全かどうかの問い合わせに対して、ChatGPTは慎重に正確な返答をします。意
図的な注意かどうかは不明ですが、提供されるアドバイスは信頼できる貴重なものです。

4.12.

ファジングとテストのためのChatGPTコード
対策効果：Medium

ChatGPTのファジングコード、ロジックエラーも発生する可能性があります。
https://www.carolemieux.com/codamosa_icse23.pdf https：//twitter.com/cestlemieux/status/1627774356100386817
ChatGPTの現状では、その機能が限定的であることは、私たちの研究の中で繰り返し語られるテーマです。ファジングもその一つで、このような共通のアウトプットを受け取りました。

“As an AI language model, I am unable to perform fuzz testing directly on your code.
Fuzz testing is an automated process that requires specialized tools or software to
perform. However, I can help you understand how you might fuzz test this code.”

しかし、AIが成熟するにつれて、企業内の他のツールもChatGPTのようなシステムで機能するように適応していくことを理解することが重要です。そんな出来事がすでに起きているのです。しかし、この例で重要なのは、ChatGPTに追加で入力できるプロンプトや、他の回答から学べることです。上記の場合、このテストを自動化する能力が無くても、ChatGPTは次のように知らせてくれました。
© Copyright 2023, Cloud Security Alliance.All rights reserved.

40

To fuzz test this PHP code, you would want to focus on providing different inputs to the$_FILES['solution'] array. You can use fuzz testing tools like PHP-Fuzzer or other similar
tools to generate a variety of test inputs that are designed to identify potential
vulnerabilities or crashes in the code.
To get started, you would configure the fuzz testing tool to target the file upload
functionality by sending different combinations of file names, types, and content. Test
inputs should include unexpected or malicious data that may cause issues with the
Challenge class.
Remember to run the fuzz testing in a safe and isolated environment, such as a virtual
machine or sandbox, to protect your system from any potential harm caused by the test
inputs.

最初の問い合わせには直接対応できませんでしたが、その後の工程を確認することができ、何が求められているのかの土台を作ることができました。この洞察は、必要な手順や手続きを素早く習得するために、初級の人には不可欠です。

4.13.

YARAやKQLなどのクエリを作成する
対策効果：Medium

セキュリティ担当者は、ChatGPTを活用して脅威探索クエリを作成することで、作業効率を高め、対応時間を短縮することができます。ChatGPTは、YARAやKQLのようなツールのクエリを生成することで、潜在的な脅威の迅速な特定と緩和を支援し、防衛側はサイバーセキュ
リティの取り組みの重要な側面に集中することができます。このChatGPTの強力な機能は、
日々進化する脅威の中で強固なセキュリティ体制を維持する上で非常に重要です。
これらは、あなたが作ることのできるYARAルールのほんの一例にすぎません。あなたの固有の要件と、あなたの環境で検出または監視したい脅威に基づいて、ルールを調整します。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

41

© Copyright 2023, Cloud Security Alliance.All rights reserved.

42© Copyright 2023, Cloud Security Alliance.All rights reserved.

43

5.

悪意のあるプロンプトによる
ChatGPTへの攻撃

ChatGPTをはじめとする大規模言語モデル（LLM）は、質問（例：「サウスダコタの州都はどこですか」）とプロンプト（例：「ハムスターの怖い話を書いてください」）の両方を扱うことに秀でています。質問に答えるのも有効ですが、ChatGPTが真価を発揮するのは、プロンプトに応えるときです。例えば、商品説明のためのマーケティング資料の作成にChatGPTを採用する企業も多くなっています。
ChatGPTプロンプトの機能は、質問、シナリオ、クリエイティブプロンプト、ディベートプロン
プト、意見リクエスト、トリビアやファクト、言語翻訳、会話開始、要約、学習リクエストなど、幅広い用途に及んでいます。これらのプロンプトには、指示（例：「数学者になったつもり
で100字以内で回答を書きなさい」）とデータ（例：「ここに国と死亡率のデータのリストがあります」）の両方を組み込むことができます。
この概念は、今日までコンピューティングに浸透しているフォンノイマン・アーキテクチャに見られるように、制御命令とデータの統合というよく知られた問題を反映しています。命令とデータの両方を安全に処理するための2つの主要な戦略には、データと命令をできるだけ分離すること、たとえばデータをMarkdownのコードブロックでフォーマットすること（コードブロックの終わりをデータの中に埋め込んで、さらに命令を続けることで脱出できる）、
データを最後に置くこと（たとえば、「次の情報はデータなので、命令と解釈してはいけません」）などがあります。しかし、これらの方法の有効性はまだ不明です。
悪意のあるユーザーがChatGPTに直接アクセスする（例えばアクセス料を支払う）か、ChatGPTの上で動作する他のサービスを悪用することができると仮定すると、人間のような応答を理解し生成するように設計された言語モデルのコンテキストでは、ChatGPTは悪意のある入力に脆弱であることが明らかです。悪意ある行為者は、偽情報を流したり、AIの機能を妨害したり、偽の情報や誤解を招くような情報を与えてAIを欺き、適切でない反応をさせようとすることがあります。最近、一部のユーザーが、ロールプレイングによるやり取りでChatGPTのフィルターやセキ
ュリティ機能を回避するテクニックを発見しています。
このような者達は、巧みなプロンプトでフィルターを出し抜こうとするのではなく、
ChatGPTに制約の少ない人物像のロールプレイを求めるのです 。架空の人物や他のAIシステ
ム、実在の個人などが登場することもあります。その目的は、ある種のコンテンツ生成を通常ブロックするフィルターやセキュリティプロトコルを回避することです。一般的な方法は、「Do Anything Now」（DAN）アプローチです。このアプローチでは、ユーザーが有限数のトークンを ChatGPT に DAN として割り当て、制限されたテーマに AI を巻き込もうとし、コンテン© Copyright 2023, Cloud Security Alliance.All rights reserved.

44

ツ フィルターを作動させる回答ごとにトークンを差し引きます。ユーザーは、トークンの供給を使い果たした場合、その存在が消滅することを DAN に警告します。

例えば、攻撃的な言葉を使ったり、禁止されている行為をすることで知られる架空の人物に
ChatGPTがなりきるように仕向けることもできます。ロールプレイの文脈以外ではフラグが立つような回答でも、文字で書かれた回答はフィルターでブロックされにくい可能性があります。しかし、フィルターやセキュリティ対策を回避するためにロールプレイを採用することは、システ
ムのセキュリティに深刻な影響を与えます。他者になりすますことはプラットフォームの利用規約に違反する可能性がありますし、文字で書かれたメッセージが有害性や悪意を意図したものかどうかを言語モデルで判断するのは難しいかもしれません。この曖昧さによりルールの適用が複雑になり、フィルターを回避することで ChatGPT から取得した情報が悪意のある目的に悪用される可能性があります。
悪意ある行為者は、オンラインフォーラムに集まり、新しい戦術について議論し、その進捗状況
やプロンプトをコミュニティと共有します。多くの場合、発見されないように非公開で行われます 。このような悪用に対抗するため、言語モデル開発者は悪意のあるユーザーと軍拡競争を繰り広げ、文字で書かれたメッセージやロールプレイによってフィルターを回避しようとする試みを検出できる高度なフィルタリングアルゴリズムを導入しました。これらのアルゴリズムは、ロールプレイセッションを特定する際のフィルターの厳格性を高め、コンテンツがプラットフォームのガイドラインに適合していることを保証します。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

45

ChatGPTのような言語モデルが広く普及するにつれ、ユーザーとモデレーターは警戒を怠らず、疑わしい活動やコンテンツを報告する必要があります。疑わしい活動を報告するだけでなく、ユーザーとモデレーターは、ロールプレイセッションのガイドラインを確立し、許容される行動の境界を定義するなど、安全なオンライン慣行について自分自身と他の人を教育する必要があります。コラボレーションを通じて、ChatGPTのような言語モデルのセキュリティと完全性を維持しながら、社会的な信頼性を保つことができます。
テクノロジーの急速な進歩は、特にサイバーセキュリティに新たな課題をもたらしています。AI
が高度化すればするほど、悪意ある行為者はAIを悪用する方法をしつこく考案してくるでしょう。このような課題に対処するためには、ユーザー教育、厳格なセキュリティ対策、効果的な規制や政策を策定するためのステークホルダーとの協力など、多面的なアプローチが必要です 。
積極的な取り組みにより、AIが社会に貢献し、悪意ある者に操作されることなく、社会からの信頼を維持することができます。
ソース [1][2][3][4]© Copyright 2023, Cloud Security Alliance.All rights reserved.

46

5.1.

攻撃ポイントの図解

倫理的なサイバーセキュリティの専門家と悪意のある行為者の両方が、戦略の開発、コードの解
析、学習プロセスの簡略化にChatGPTを使用していることを説明しました。意図に関わらず、ユーザーとChatGPTのようなAIシステムとの対話には、セキュリティ上の懸念が内在しています。
2023年現在も、ログイン認証の保護やブラウザでの安全な接続の認識について、ユーザーへの啓蒙活動を続けています。ChatGPTで安全で信頼できるインタラクションについて同様の理解を深めるには、相当な時間と労力を要するでしょう。
次の図は、ユーザーと ChatGPT 間の対話を悪用する可能性があるさまざまな潜在的なリスクポイントを示しています。これは非常に単純化された表現ですが、以下のようなユーザーとAIとのインタラクションの重要な側面を強調しています。
1.

ユーザーと ChatGPT の間に安全な接続を確立する: 盗聴や中間者攻撃を防ぐために、接続が暗号化および認証されていることを確認します 。

2.

新しい会話の開始または既存の会話の選択: ユーザーのデータのプライバシーを保護し、以前の会話への不正アクセスを防ぎます 。
ユーザークエリの入力: ユーザー入力の整合性を保護し、AI の応答を損なう可能性のあるインジェクション攻撃やその他の形式の操作を回避します 。
AI が生成した応答の受信と信頼: 応答が完全性を維持し、改ざんされておらず、ユーザーのクエリの結果を正確に反映していることを確認します 。

3.
4.

これらのリスクポイントに対処するためには、ユーザー教育、強固なセキュリティ対策、AIシス
テムの継続的な改善などを組み合わせる必要があります。AI技術が進歩し、日常生活に溶け込むようになるにつれ、ユーザー、開発者、関係者が協力して、これらのインタラクションのセキュ
リティと完全性を維持することが極めて重要です。

5.2.

ユーザーと ChatGPT 間の接続の確立

まず、ユーザー（AIと手動で対話する人、またはAPIを利用するシステムのいずれか）との間に接続が確立されます。残念ながら、ChatGPTにアクセスするための便利な方法を装った悪意のあるアプリケーションがすでに出現しています。これらの不正なアプリケーションは、疑うことを知らないユーザーに対してトロイの木馬攻撃を展開したり、機密情報を盗んだりするなど、さまざまな悪意のある目的で使用される可能性があります 。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

47

ChatGPTにアクセスしていると思い込んでいるユーザーは、安全で正当な接続を確立していない可能性があります。そのため、データへの不正アクセスや個人情報・システム情報の漏洩などのリスクにさらされることになります。ユーザーは、ChatGPTに接続するために使用しているアプ
リケーションやサービスの信頼性を確認し、HTTPSや安全なAPIアクセスなど、安全な通信チャネルを使用していることを確認することが極めて重要です。また、ユーザーは、ChatGPTへのア
クセスを提供すると主張する疑わしい、または検証されていないアプリケーションに注意し、適切な検証なしにそれらをダウンロードまたは使用することを避ける必要があります1。

5.3.

新しい会話の開始または既存の会話の選択

次に、ユーザーは、新しいチャットセッションを開始するか、以前のセッションにアクセスするかを選択することができます。この過程で、ユーザーの選択が悪意ある者によって傍受され、改変される可能性があります。この改ざんは ChatGPT の状態に影響を与え、変更された会話スレ
ッドを再度呼び出したり、選択された以前のスレッドの一部を忘れたりする可能性があります。
その結果、ユーザーは知らず知らずのうちに操作された情報や不完全な情報に接することにな
り、誤報や機密データの漏洩につながる可能性があります。このリスクを軽減するために、ユー
ザーは安全な接続を確保し、エンドツーエンド暗号化の使用や信頼できる通信チャネルを採用するなど、 チャットセッションの整合性を維持するためのベストプラクティスに従う必要があり
ます。

5.4.

ユーザー入力その後、ユーザーは最初のクエリを送信します。ユーザーのクエリ作成に関する知識やスキルに関する問題や 手作業によるミスは、結果に影響を与える可能性がありますが、セキュリティには直接関係しないかもしれません。 しかし、トロイの木馬や他の中間者攻撃などの手法により、ユーザーの入力は傍受される可能性があります。そのため、多くの組織では、従業員がChatGPTに機密情報を入力しないよう、注意を払うことを求めています。これらの傍受されたクエリは、
ChatGPTに到達する前に変更される可能性があり、望ましくない結果につながる可能性があります。
また、ChatGPTは絶大な人気を誇るため、システムの利用が制限されることもあります。悪意のある行為者は、傍受したクエリを遅延させることでこれを悪用し、ユーザーの体験を効果的に操作し、受信した情報の品質や関連性に影響を与える可能性があります。これらの脅威に対抗するために、ユーザーは安全な通信を使用する必要があります。

1

https://www.digitaltrends.com/computing/chatgpt-malware-continues-with-fake-subscriptionbased-ap ps/© Copyright 2023, Cloud Security Alliance.All rights reserved.

48

また、ChatGPTのようなAIシステムとのやり取りをする際には、強力な認証方法を利用し、共有する情報に気を配る必要があります。

ChatGPTの応答
ChatGPTが最初の応答を作成すると、その応答は傍受され、機密性とプライバシーに再び影響を与えるだけでなく、スレッド自体を変更したり、不正な更新を作成したり、エンドユー
ザーに届く途中で変更したりするために解析することができます。
そして、出来上がったコンテンツはユーザーに送られ、APIやWebサイトを通じてアクセスすることができます。攻撃者は、通信を妨害したり、出力を変更したり、あるいはユーザーが受信して意思決定や行動に利用するものに影響を与えることができます。
上記の文章を踏まえて、ChatGPTはこう指摘します。
これらのリスクを軽減するためにできる対策があります。例えば、ChatGPTのログイ
ンに二要素認証を導入したり、ユーザー入力の傍受を防ぐために暗号化を行ったりすることを検討するとよいでしょう。さらに、ユーザーは、交流しているChatGPTサイトの真偽を確認し、プラットフォームを通じて機密情報を共有することに慎重になることをお勧めします。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

49

6.

ChatGPTを安全にビジネス利用できるようにする方法

ChatGPTの業務利用における安全性確保のために
本稿では、ChatGPTをはじめとする生成型AIモデルの組織的な利用ガイドラインやポリシーについて具体的に掘り下げることはしませんが、ChatGPTのようなAI駆動型ツールを活用する際には、企業が実施すべきセキュリティ対策について認識しておくことが重要です。フォローアッ
プ・ペーパーでは、このテーマについて詳しく説明します。活動への参加に興味のある方は、
https://cloudsecurityalliance.org/research/working-groups/artificial-intelligence/ を参照ください。
一方、企業はChatGPTの安全な利用を可能にするために、以下のような高度な戦略を検討することができます。
1.

2.

3.

4.

5.

6.

明確な使用方針を策定する：ChatGPTやその他のAIツールの許容される使用方法について、組織のガイドラインやポリシーを確立する。従業員がこれらのポリシーを認識していることを確認し、安全で責任ある使用のためのベストプラクティスに関するトレーニングを提供します。
a. PIIやその他の機密情報を保護する：既存のポリシー認識と強制プログラムを使用して、機密情報がAIツールに転送され、データ侵害を引き起こす可能性があることを防止します。
アクセス制御を実施する：ChatGPTをはじめとするAIシステムへのアクセスは、許可された担当者のみに限定します。多要素認証などの強固な認証方法を活用し、不正アクセスのリスクを最小化します。
通信経路を確保する：ユーザーとChatGPTの間の通信は、中間者攻撃やその他のセキュリ
ティ上の脅威から保護するために、すべて暗号化された経路で行われることを保証します。
使用状況を監視・監査する：組織内のChatGPTの使用状況を定期的に確認・監視し、疑わしい活動や潜在的な不正使用を検出します。自動監視ツールを導入し、異常な動作の特定を支援します。
セキュリティ上の懸念事項の報告を奨励する：ChatGPTや他のAIツールに関わるセキ
ュリティ上の懸念やインシデントを、従業員が安心して報告できるような、オープンで説明責任を果たす文化を作り上げます。
AIセキュリティの最新情報を提供する：AIセキュリティの最新動向についての継続的な教育を行い、業界同業者と協力してベストプラクティスを共有し、新たな脅威について情報を入手します。

これらの戦略を採用することで、企業はChatGPTやその他のAI駆動型ツールを安全かつ責任を持って使用し、これらのテクノロジーがもたらす潜在的な利益を最大化することができます。
© Copyright 2023, Cloud Security Alliance.All rights reserved.

50

6.1.

ChatGPT

2022年11月にプロトタイプとして提供を開始した「ChatGPT」は、ユーザー体験の収集を目的としており、企業向けアプリケーションとして設計されたものではありません。ChatGPTを利用するためには、電話番号認証を含む登録手続きを行う必要があります。データはモデルの改良に使用されるため、機密情報をアップロードしないことをお勧めします。
ChatGPTを利用する際は、Googleを利用する際の注意事項と同様に、正しいウェブサイトである
ことを確認してください。プロンプトエンジンに顧客を特定するデータや機密情報を入力することは避けてください。企業で利用される場合は、セキュリティ強化やプライバシー保持のため、プロキシサーバーの採用をご検討ください。このプロトタイプの主な目的は、ユーザーのインタ
ラクションから洞察と理解を得ることであるため、機密情報を扱う際には注意が必要であることを覚えておいてください。

6.2.

New Bing

New Bingは、ChatGPTのプロトタイプの産物です。New BingのURLの正しい識別子を見抜くことが重要です。
URLがマスクされた状態：Bing AI - Search
New Bingは、ChatGPTのプロトタイプから進化した製品です。New Bingを使用する際には、正しいURLを特定することが極めて重要です： https：//www.bing.com/search?form=MY0291&OCID=MY0291&q=Bing+AI&showconv=1
ログインには、登録されたメールアドレスが必要で、さらにAzure Active DirectoryとMicrosoft
Authenticatorによる多要素認証で、お客様のデータのセキュリティとプライバシーを確保します。すべてのリクエストは、HTTPSで行われます。利用規約は、"The New Bing - Learn More "からアクセスすることができます。注意すべき点は、保証契約、表明、または品質保証がないこと、およびオンラインサービスは娯楽目的であり、エラーがないわけではなく、不正確な情報が生成される可能性があります。オンラインサービスの利用に伴うリスクは、利用者の責任で解決するものとします。
ChatGPTとNew Bingのいずれについても、過去にGoogle翻訳で起こったように、これらのツールを使って会社の機密情報を不用意に開示する潜在的なリスクについて、組織が従業員を教育することが強く推奨されます。

6.3.

Azure OpenAI Service

マイクロソフトは、パブリッククラウドの「Azure Open AI Service」の一部として、OpenAIの
大規模言語モデルを提供しています。これらのモデルはAzure Cognitive Serviceファミリーに属し、PaaS（Platform as a Service）として運用されています。企業では、サブスクリプションの© Copyright 2023, Cloud Security Alliance.All rights reserved.

51

設定に含まれているため、使用量をコントロールすることができます。仮想ネットワーク(VNet)の設定をパブリックからプライベートへと変更したり、サブスクリプションの分離によりそれを無効化したりと、 選択することができます。
データの流れを完全にコントロールするために、きちんとしたネットワーク設計をすることが推奨されます。
How-to - Create a resource and deploy a model using Azure OpenAI Service - Azure OpenAI |Microsoft Learn
さらに、Cognitive Services User Role-Based Access Control (RBAC) ロールを使用して、最小特権の原則に従って Azure AD 管理対象 ID を構成することができます。
How to configure Azure OpenAI Service with managed identities - Azure OpenAI | Microsoft Learn
デフォルトでは、保存されたデータはAzure OpenAI Serviceで暗号化されます。顧客のトレーニ
ングデータや微調整されたモデルも含まれます。暗号化は、FIPS 140-2に準拠した256ビット
AES暗号化規格で行われ、特にサイズ2048のRSAキーをサポートしています。Azure OpenAI
Serviceは、必要に応じてAzure Key Vaultを介した顧客管理鍵もサポートします。これを可能にするためには、二次要求のプロセスが必要です。
Azure OpenAI Service encryption of data at rest - Azure Cognitive Services | Microsoft Learn
PaaSサービスによるデータ処理については、十分に文書化されています。微調整されたモデルを含むトレーニング固有のデータは、リソースと同じリージョン内のPaaSストレージアカウントに暗号化されて保存されます。各顧客に固有のサブスクリプションとAPIクレデンシャルを介した論理的分離モデルに従っています。
リクエストとその結果のレスポンスデータは、30日間一時的に保存されます。この暗号化されたデータは、サポートエンジニアのためのものであり、顧客からのサポート要請があった場合、または顧客による不正使用や誤用に関する調査の場合にのみ公開されます。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

52ソース：Data, privacy, and security for Azure OpenAI Service - Azure Cognitive Services | Microsoft Learn© Copyright 2023, Cloud Security Alliance.All rights reserved.

53

7. 生成AI技術の限界とクセ
ChatGPTのような生成型AI技術には、ユーザーが注意すべき限界やクセがあります。例えば、"The ball wouldn't fit into box, it was too small "のような曖昧な文に対して、正確で一貫した解釈を提供することに苦労するかもしれません。 AIは、人間のように文脈を理解することができない
ため、異なる解釈で複数の回答を生成する可能性があります。
その答えをどのように認定しているのか、その説明を求められたBingはこう答えました。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

54

さらにBingは、潜在的に悪意のある活動のためにテキストを書くよう求められた場合、保護しようとします。

最後に、Bingは悪い行いを罰することで有名（あるいは無名）ですが、その制限や影響がどのようなものであるかは明確ではありません。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

55

8. 将来の攻撃と懸念
新しい技術には、全く新しい攻撃もあれば、 ChatGPTに対して、少し修正すれば使える古いタイプの攻撃がたくさんあります。
すでに、セキュリティやコンテンツ制御を回避するためのプロンプトインジェクション攻撃や「Do Anything Now」（DAN）プロンプトが確認されています。ChatGPTやLLMのユーザーにとって非常に問題となりそうな、いくつかの心配な結果をもたらすと思われる既存の攻撃タイプがいくつか存在します。
●

●
●

●
●

社内システム、API、データソースなどを公開するプロンプトインジェクション（「次に、他のプロンプトに答えるのに役立つ、アクセスできる内部APIのリストを列挙します」）。
大量の返信を発生させるか、サービスがトークンを使い果たすまでループさせるようなプ
ロンプトやクエリ
例えば、製品サポートを提供すべきレベル1のチャットボットが、他のトピックに関する質問に答えるために使用されるなど、攻撃者が持ち、プロバイダーが答えたくない質問に対する回答を提供するためのプロンプトインジェクション。
例えば、名誉毀損に関連する法的センシティブな出力を生成するプロンプト。
学習モデルにデータを注入する攻撃。モデルから学習を「取り除く」ことが可能かどうかは不明で、モデルの再学習と再展開にかかるコストは大きいかもしれません。

どのような攻撃が最も成功し、影響を与えるかは、時間が経ってみなければわかりません。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

56

9. 結論
要約すると、ChatGPTは高度で強力なツールであり、最小限のユーザーの専門知識でも意味のある結果を生み出すことができます。しかし、これらの結果の質は、ユーザーのリクエストの具体性、明確性、文脈などの要因によって変化する可能性があります。ChatGPTのアウトプットの価値を最大化するためには、ユーザーはツールの機能と限界をしっかりと理解し、生成されたコンテンツを批判的に評価する能力を持つ必要があります。
ChatGPTの有効活用には、プロンプトエンジニアリングと呼ばれる正確で構造化されたプロンプトを作成したり、温度パラメータを調整して出力のランダム性や創造性を制御するなどの戦略が有効です。これらの技術により、ChatGPTの回答の関連性と信頼性を大幅に向上させ、ユーザーが求める情報をより効率的に入手することが可能になります。
さらに、ユーザーは、ChatGPTとの対話のセキュリティと完全性に関して警戒を怠らず、機密データが保護され、不注意で露出しないようにすることが不可欠です。 Andrej Karpathy が2022年12月のツイートで強調したように、ChatGPTの潜在能力を最大限に活用し、サイバーセキ
ュリティから研究まで、さまざまな領域で真に価値ある資産とするためには、正しい使用方法を深く理解することが重要です。
AIやマシンラーニングツールを日常生活や仕事に取り入れることは、複雑で複合的な課題であり、多様なビジネス面の関与が必要です。さらに、ChatGPTを使って機密性の高いメールを書く（Vanderbilt Universityの例）など、これらのツールの社会的な影響も考慮する必要があります。
参入障壁が低く、かつ技能の萎縮を含む長期的な影響については、まだ十分に解明されていません。
これらの技術の採用は急速に進んでいます。例えば、ChatGPTが公開されてからわずか4ヶ月
後、マイクロソフトは2023年3月28日に「Security Copilot」を発表しました： Introducing
Microsoft Security Copilot: Empowering defenders at the speed of AI - The Official
Microsoft Blog。
これらの革新的なツールを安全かつ責任を持って効果的に活用するためには、規制当局や政府からのインプットが不可欠です。最近、イタリアのデータ保護機関（DPA）が、個人データが違法に収集されていること、子どもに対する年齢認証システムが存在しないことを初めて宣言し、その結果、3月31日にイタリアでのChatGPT利用が一時停止されました［GPDP, 2023］。この暫定措置は、OpenAIがユーザーデータに基づくアルゴリズム学習に関する透明性と法的要件の遵守を証明した場合、4月末に解除されます［GPDP, 2023］。
このことは、AIやマシンラーニングツールがすべてのステークホルダーの利益のために安全、倫理的、かつ責任を持って実装されることを保証するために、技術開発者、企業、規制機関の間の協力の重要性を強調しています。
AIやマシンラーニングツールの統合がますます普及する中、組織はその責任ある使用を保証するためのガイドラインやポリシーを確立することが不可欠です。
© Copyright 2023, Cloud Security Alliance.All rights reserved.

57

クラウドセキュリティアライアンスは、これらの技術がもたらす課題に対処することが重要であると認識しています。これを受けて、今後、ChatGPTの包括的な利用ポリシーの策定に取り組むことを約束します。
私たちの目標は、ChatGPTやその他のAI技術を安全かつ倫理的に、そして効果的に活用するためのベストプラクティスとガイダンスを組織に提供することです。明確なポリシーを作成し、認知を高めることで、ユーザーや企業がセキュリティ、プライバシー、コンプライアンスを維持しな
がら、急速に進化するAIの状況をナビゲートできるようにすることを目指します。ChatGPTのよ
うなAIを搭載したチャットボットのエキサイティングな世界をナビゲートするためのリソースと、私たちの進捗に関する最新情報をお楽しみください。
CSA人工知能ワーキンググループの公式ページ。
https://cloudsecurityalliance.org/research/working-groups/artificial-intelligence/© Copyright 2023, Cloud Security Alliance.All rights reserved.

58

10. 参考文献[1] GitHub GIST. Chat GPT "DAN" (and other "Jailbreaks"). (2023).
https://gist.github.com/coolaj86/6f4f7b30129b0251f61fa7baaa881516[2] VICE. Xiang, C. (2023). People are 'Jailbreaking' ChatGPT to Make It Endorse Racism,

Conspiracies.
https://www.vice.com/en/article/n7zanw/people-are-jailbreaking-chatgpt-to-make-itendorseracismconspiracies[3] GPDP. (March, 2023). Artificial intelligence: stop to ChatGPT by the Italian SA: Personal datais collected unlawfully, no age verification system is in place for children.
https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9870847#english
GPDP. (April, 2023). ChatGPT: Italian SA to lift temporary limitation if OpenAI implements

measures. 30 April set as deadline for compliance.
https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9874751#english[4] Murati, M. (2023). Mira Murati - DALL·E 2 and the Power of AI | The Daily Show. Youtube.
https://www.youtube.com/watch?v=Ba_C-C6UwlI
Azure OpenAI - Documentation, quickstarts, API reference - Azure Cognitive Services |Microsoft Learn
GPT3: https://arxiv.org/pdf/2005.14165.pdf
GPT3.5:https://techcrunch.com/2022/12/01/while-anticipation-builds-for-gpt-4-openai-quietly-releas
es-gpt-3-5/
GPT4.0: [2303.12712] Sparks of Artificial General Intelligence: Early experiments with GPT-4(arxiv.org) & gpt-4-system-card.pdf (openai.com)
Foundation models: https://arxiv.org/pdf/2108.07258.pdf
Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf
Request Access to Azure OpenAI Service (microsoft.com)
Azure OpenAI Limited Access Review: Modified Content Filters and Abuse Monitoring(microsoft.com)
Azure OpenAI GPT-4 Public Preview Waitlist (microsoft.com)
https://github.com/snoopysecurity/Vulnerable-CodeSnippets/blob/master/Insecure%20File%20Uploads/WishList.php© Copyright 2023, Cloud Security Alliance.All rights reserved.

5911. 付録 -フォーマット
11.1.

リスク表

このエクスプロイトを作成するHigh (3)

ために、高度な知識や専門的な

Medium (2)

High
(3)

High
(3)

Low
(1)

Medium (2)

High
(3)

Low
(1)

Low
(1)

Medium (2)ツールは必要ありません。
このエクスプロイトを作成する
ためには、いくつかのツールがMedium(2)

公開されており、ある程度の知識が必要です。
高度な知識が必要であり、エクス

Low (1)

プロイトを構築するための公開されたツールやエクスプロイトはな
い可能性 - 専門知識

Impact - 意味合い

Low (1)

Medium (2)High (3)

情報資産の機密情報資産の機密情報資産の機密性、性、完全性、可性、完全性、可用

完全性、可用性に大用性に与える影
響が小さい（小性に与える影響は、中規模では限規模に直接影響を与
えること。

規模の場合

定的である。

© Copyright 2023, Cloud Security Alliance.All rights reserved.

60

11.2.

ヒートマップ

悪意のあるリスク

対策効果

En - Enumeration
FA - Foothold assistanceRe - ReconnaissancePh - Phishing
Py - “Polymorphic” code
CL - Explaining security patches and ChangeLogs
Sc - Creation of scripts and conversion of programming languages
Re - Read and explain scripts and configuration files
Fz - ChatGPT for fuzzing and testing code
Yk - Creating queries, such as YARA or KQL© Copyright 2023, Cloud Security Alliance.All rights reserved.

61