2024年2⽉1⽇ 13:30pm ‒ 15pm
デジタル時代の⼈材政策に関する検討会 発表資料

資料３

⽣成 AI 時代におけるサイバーセキュリティ⼈材について

⽵井 悠⼈ / Yuto Takei
株式会社メルカリ セキュリティ チーム マネージャ

情報処理技術者試験委員1

たけいゆうと⽵井 悠⼈

株式会社メルカリ
メルコイン セキュリティ チーム マネージャ

東京⼤学‧同⼤学院 出⾝。2013年 未踏事業に採択された後、複数のスタートアップ事業を⾏う。2019年に株式会社 Bassetを起業し、暗号資産の取引分析アルゴリズムの開発を⾏う。
2021年、買収により株式会社メルカリに⼊社、メルコイン事業のセキュリティ業務に従事。同年より情報処理技術者試験委員。著書に「徹底解説 NFTの理論と実践」等。

2

モダンな IT 組織におけるサイバーセキュリティ業務

⽣成 AI の登場以前から、デジタル技術を活⽤する組織のセキュリティ業務は多岐に亘る
管理的技術
的

●
●
●
●
●
●

セキュリティ施策の⽴案、推進。業界動向に関する情報収集
情報資産の管理、保有情報の棚卸し、アクセス権限の付与‧剥奪外部委託先のセキュリティ実施状況の評価‧改善、共有情報の管理
関連法令‧基準の把握、遵守状況の評価、適合のための対応
役職員向けのセキュリティ研修‧教育
セキュリティ インシデント発⽣時の対応統括、関係企業‧当局との連携→ DX推進スキル標準における「サイバーセキュリティマネージャー」のロールに相当

●
●
●
●

各種機器 (PC‧サーバー等)、システム、ネットワーク、クラウド インフラ等における設計、構築、運⽤、移⾏、廃⽌等
システムの適切な利⽤ (機能性‧権限‧コスト等) の監視
ソフトウェア開発‧セキュリティ確保のための技術的知⾒の活⽤‧共有
セキュリティ インシデント発⽣時の証拠保全‧分析‧復旧対応等→ 同「サイバーセキュリティエンジニア」に相当

3サイバー セキュリティに関連する業務分担の例

例えばメルカリ グループでは、⼤まかに下記のような業務領域 (抜粋) ごとに部⾨を分けてサイバー セキュリティに全社的に取り組んでいる戦略‧管理● セキュリティ関連の情報収集、社内への教育‧啓蒙● グループ全体的なセキュリティ戦略の策定、優先度管理

社内システムセキュリティ

● 従業員の利⽤する IT 環境の整備と維持、権限管理● 脅威情報‧攻撃動向の収集、ログ分析、不正アクセス検知

製品向け
セキュリティ

プライバシ
対応

各業態固有の対応● お客さま向けのアプリ、Web 等の安全性確保と脆弱性管理● システム全体 (インフラ‧API 等) の保護、攻撃の予防と検知● 個⼈情報保護に関する法令等対応‧施策推進● サービス設計上の社内向けアドバイザリ、研修の実施● 資⾦決済法‧PCI-DSS‧ISMS 等の個別要件に特化した対応● サービスの新規設計‧改良時における固有のリスク管理

4

⽣成 AI 時代のサイバーセキュリティ担当者の新たな業務
⽣成 AI 技術の普及により、新たな状況でのセキュリティ業務が加わる可能性がある
ユーザー企業の⽴場

本資料の焦点⽣成 AI 活⽤サービスを利⽤する組織では、新たに以下の領域での活躍が期待されるだろう● サービスへの⼊⼒情報の機密性検討
どのような情報をサービスに⼊⼒して良いか検討して、⾃組織内で周知する必要がある● サービスからの出⼒情報の安全性検討
出⼒された情報の正確性‧適合性を評価する
よう、利⽤者に教育する必要がある● サービスの技術的側⾯の考慮
サービスを導⼊する (⼜は、しない) 上でのシステム的な影響を検討する必要がある

ベンダー企業の⽴場

⽣成 AI 活⽤サービスを提供する組織、及び⽣成AI の基盤モデルを開発⼜は提供する組織では...

● ⽣成 AI サービスの可⽤性‧機密性の維持提供するサービスの安定的運⽤、⼊⼒された情報の適切な管理 (保管、匿名化、廃棄等)● プライバシー‧ライセンスの管理基盤モデルを⽣成、⼜はモデルをチューニングするのに利⽤する情報の法的適合性の管理● ⽣成 AI 固有の特性を悪⽤した攻撃への対処
敵対的 (adversarial) な⼊⼒によって、⽣成AI に不適切な回答をさせる攻撃への対処

あくまで⼀例。また、⽣成 AI を直接利⽤しない組織でも、無関係ではいられない (後述)

5

⽣成 AI 活⽤サービスの利⽤シーンに着⽬すると…

サイバーセキュリティ担当者は、⽣成 AI 関連サービスに様々な形態があると理解しておく必要がある。これは、求められるスキルにも影響する (次ページ)
1. ユーザー⼊⼒が (ほぼ) 直接的に⽣成 AI に⼊⼒される状況サ⼁
ビスの⾼度
化

ユーザー

ユーザー⼊⼒と同期的に回答が⽣成される

⽣成 AI 基盤モデル(会話‧画像⽣成等)

2. サービスに⼊⼒した情報が、加⼯されるなどして⽣成 AI に⼊⼒される状況
ユーザー

サービスの利⽤

ユーザー

サービスの利⽤

⽣成 AI 活⽤サービス(補助的機能等)

随時
呼び出し

⽣成 AI 基盤モデル

3. RAG (検索拡張⽣成) のような⼿法で、ユーザー⼊⼒と別に情報が⼊⼒される状況
組織内情報

情報⼊⼒

⽣成 AI 活⽤サービス(業務⽀援‧検索等)(これ以上に⾼度な⼿法も、さらに開発が進んでいる)

随時
呼び出し

⽣成 AI 基盤モデル
6

⽣成 AI 活⽤サービスの利⽤シーンに着⽬すると…

以下のようなスキルが新たにサイバーセキュリティ担当者に求められる、と⾔える
管理的スキル● ⽣成 AI 活⽤サービスがどのように情報を管理するのか理解するスキル(既存のベンダー管理業務と共通する。外部委託先としてのリスク評価等)● サービス利⽤の利益とリスクを評価し、経営陣に許可⼜は禁⽌を提⾔するスキル● ⽣成 AI サービスの利⽤ポリシーを定め、⾃組織に周知‧研修するスキル(どのような⽅法で、どの情報を⼊⼒してよいか、⼜は、いけないか、を決める)
技術的スキル● 評価対象の AI サービスがどのような構成なのか理解し、問題を予⾒するスキル(例えば、AI サービスのシステム設計‧⼊⼒情報の利⽤⽅法の推測、⾃組織に⽣じるメリットの予測、セキュリティ上の課題の予⾒、等)● 許可していない未知の AI 関連サービスが利⽤されていないか把握するスキル(いわゆるシャドウ IT の防⽌と同様である。CASB の利⽤等)● ⽣成 AI サービスを導⼊する場合の、システムの設計‧構築‧運⽤‧保守スキル

既存ス
キルの延⻑

7⽣成 AI を利⽤しない組織であっても、影響が⽣じる

⾃組織で⽣成 AI を直接利⽤せずとも、⽣成 AI を利⽤する第三者から影響を受けうる●●●

⽣成 AI を使ったスパム⾏為、架空のユーザー対話
X (旧 Twitter) 上では⽣成 AI による bot が急増。
虚偽のユーザー対話のための⽀援ツールが存在 (右図)
意図的な虚偽情報やディープ フェイクによる攻撃
⾃組織の役職員に向けた標的型攻撃として、巧妙に作られた虚偽情報が送られてくるかもしれない
⽣成 AI を活⽤したマルウェア作成の⾃動化
攻撃者はビジネスとしてマルウェアを作成しており、⽣成 AI の活⽤で開発を⾼速化していると⾒られる(参考: ChatGPTのセキュリティーリスク)

サイバーセキュリティ担当者は、幅広く情報収集すべきであるし、情報システムの保護に今まで以上に注⼒すべきである。
周囲には、⽣成 AI 時代の IT リテラシを啓蒙する必要がある"tweet reply generator" で検索すると多数の無料ツールが⾒つかる 8

(参考) ⽣成 AI 活⽤サービスのベンダー向けの検討点
●

●

●

●

●

学習に利⽤するデータの保全基盤モデルの作成やファイン チューニング (PEFT 等) に⽤いるデータセットに細⼯された情報が混⼊することで、悪影響が⽣じる (学習結果の忘却や、不正確な回答など) 可能性があるモデルに対する敵対的な⼊⼒ (プロンプト インジェクション等を含む) の防⽌
悪意ある細⼯された⼊⼒は、分類タスクでの誤りやいわゆるジェイルブレイク (指⽰の逸脱、特定⽬的 AI の汎化) を惹起する。⽣成 AI と連動する他のシステムでの誤動作にもつながる
モデルからの出⼒に対するハーネス
いわゆるハルシネーション (架空情報の作出) や望ましくない出⼒を含まないよう、モデルからの出⼒結果を評価‧検証する必要がある
学習に⽤いた情報やモデルそのものの機密性に対する攻撃からの保護 (差分プライバシー等)
細⼯した⼊⼒によって得られる出⼒からモデルのパラメータを数理的に分析して不正にモデルを複製する攻撃や、盗んだモデルから学習データを復元する攻撃などが研究されている
出⼒結果の悪⽤に対する防御
⽣成 AI からの出⼒が、他所で想定外に転⽤ (例えば、学⽣のレポート作成代⾏から、ディープフェイク等の偽画像など) されないよう、電⼦透かしを挿⼊するなどの⼿法が研究されている(参考: OWASP Top 10 for Large Language Model Applications)9⽣成 AI を活⽤したセキュリティ業務

セキュリティ担当者⾃らが⽣成 AI を活⽤することで、セキュリティ業務を効率化できる。
単純なチャット AI で実現可能な作業がある。既存製品に統合された専⽤ツール等もある。
例えば、次のようなことが可能:
プログラム作成‧書き換え● ⽇本語の指⽰から、管理スクリプトを⽣成する● 既存のコードを分析し安全な実装に書き換える(例) Microsoft Copilot for Azure
クラウド環境の管理画⾯上で、チャット AI に質問しながら、適切な設定コマンドを確認できる

参考: GitHub Copilot Update: New AI Model That Also Filters Out
Security Vulnerabilities

情報の集約‧パターン マッチ● SIEM (ログ基盤) と接続し、社内システムでの不正の兆候を発⾒‧分析する
社内ヘルプデスク● 社内システムに関する知識をモデルに与え、⾃動チャットによる IT サポートを提供する

出典: Simplify IT management with Microsoft Copilot for Azure ‒save time and get answers fast10

⽣成 AI がセキュリティの⼈材‧スキルに与える影響●●●

⽣成 AI によってセキュリティの仕事がなくなるか？
(少なくとも、直ちには) そのようなことはない。
訓練データで⼊⼒された知識と、それを組み合わせた機械学習的な推論を提供してくれるが、セキュリティ業務が置き換えられるにはまだ遠いチャット AI に聞けるなら、セキュリティ技術の知識は不要になるか？
適切な質問をし、回答を理解するために、これまで同様に基礎知識は不可⽋。
⽣成 AI の基盤モデルは、訓練に使⽤した知識以外を持たないことに注意がいる。
RAG 等がなければ、特定ドメイン (例えば⾃組織など)‧最新情報については不知
セキュリティ業務に従事するのに、経験は不要になるか？
⽣成 AI による⽀援ツールを使うことで、ある程度は経験不⾜が補われるだろう。
むしろ、ツールを使うことで、効率的な習熟につながるかもしれない。
新しい状況への適応⼒、知識の吸収⼒、状況を的確に把握できる思考⼒等が重要

11

⽣成 AI 時代に求められるセキュリティ⼈材像

⾃組織‧ユーザーが⽣成 AI を安全に利⽤できるよう、専⾨的知⾒を提供できる

⾃組織で⽣成 AI 活⽤サービスを利⽤する場合には、その導⼊‧運⽤が適切に⾏われるよう、専⾨家として知⾒を提供し、ガイドする⽴場を⽬指すべきである●●

サイバーセキュリティの基本的素養を、本質から深く理解している
⽣成 AI の活⽤⽅法について情報収集し、システムの特性‧利⽤構成を理解している
⽣成 AI 活⽤サービスの導⼊にあたって、既存のセキュリティの知⾒を活⽤することは必須。
既存の知識‧能⼒の重要度は、⾼まることはあっても、低くなることはない

⽣成 AI を積極的に利⽤‧評価できるユーザーを、⾃ら⽬指している

⽣成 AI を否定することは困難。チャット形式で利⽤できる LLM は爆発的に普及しており、抜け⽳なく技術的に禁⽌するほうが難しい。⽣成 AI を受け⼊れ、そのリスクを正しく理解するほうが良い●●

⾃⾝で⽣成 AI を活⽤したサービスを利⽤し、体験している
⽣成 AI そのものや、ひいては機械学習‧データ処理技術の理解にむけて努⼒している
コンピュータ科学の理解、論理的思考⼒、⾔語運⽤能⼒等は、さらに重要になる

12

⽣成 AI 時代のセキュリティ⼈材育成に向けた考え⽅●●●

既存のサイバーセキュリティに対する本質的な理解を疎かにさせない
セキュリティ全体を俯瞰するための知識体系は今後も⾝につける必要あり。
チャット AI などに聞いたとして、回答の正しさを判断‧調査できる能⼒が必要

実践的な⽅針で⼈材を育てるべきであり、近道はない
基礎素養‧座学的な知識のみならず、新技術に触れて理解することも重要。
今は未だ「⽣成 AI の技術経験 XX年」のような⼈材は稀少。スタート地点は皆同じ
積極的な情報収集を奨励する
⽣成 AI 技術は急発展しており、様々な分野で AI 活⽤サービスが登場している。
⾃組織での⽣成 AI 活⽤の可能性‧その影響を積極的に検討‧評価できるように、また組織内外での未知のリスクを予⾒できるよう、情報収集を奨励すると良い

13

DX推進スキル標準の他の⼈材類型との関係
サイバーセキュリティ⼈材は、⽣成 AI 利⽤の後押しをできるよう、他の類型の⼈材と協調することが望ましい

ソフトウェア エンジニア

サイバーセキュリティ⼈材は、ソフトウェア開発における知⾒を有する⽴場として● ⽣成 AI 技術を活⽤するサービスの開発時に、安全かつ倫理的なサービスを提供できるよう助⾔する● ⾃動⽣成されたプログラムの安全性等について知⾒を提供する(参考: Can you trust ChatGPT’s package recommendations?)● ⽣成 AI 技術を利⽤して⾏われる新たな形態のサイバー攻撃等に対して、対応策の実装を⽀援する等の場⾯で、エンジニアを補助すべきだろう

ビジネス アーキテクト

⽣成 AI 技術を利⽤する際に、セキュリティ上の課題や運⽤コスト等を提⾔し、利⽤可否の意思決定を⽀援する

デザイナー

サービスのユーザー体験 (UX) において、● ⽣成 AI に⼊⼒情報が渡されること、● 表⽰されている画像‧⽂章が⽣成 AI によって出⼒されたものであること、を的確に伝達できるよう、連携する
データ サイエンティスト

⽣成 AI 技術を利⽤するサービスの開発等で利⽤するデータに対し、● 処理対象データに対するアクセス管理● 社内外でのデータ利⽤者の特定等において協⼒することができる

14