AIとセキュリティの今とこれから〜何が変わったのか、何が変わるのか〜
SS研究会 システム分科会
2023年10月26日(木)© 2023 LAC Co., Ltd.
３.

プロフィール︓⻑⾕川 ⻑⼀
株式会社ラック

新規事業開発部

産学官連携事業室 室⻑/主席研究員■ソフトバンク、日本ユニシスを経て、現職。情報セキュリティコンサルティング、情報セキュリティ監査業務等を経て、現在は主にセキュリティ教育、産学官連携活動業務を担当。⻑野県警サイバー犯罪対策アドバイザー。
■主な担当講師業務□(ISC)2 CISSPレビュートレーニングセミナー認定主任講師□東京電機大学 国際化サイバーセキュリティ学特別コース(CySec) 講師□九州工業大学 情報学部 非常勤講師□国⽴⾼知⾼専 非常勤講師、北九州⾼専非常勤講師■最近の主な活動□ 総務省 サイバーセキュリティタスクフォース人材育成分科会構成員(2018年度〜)□ IPA 情報処理安全確保⽀援⼠講習統括委員会委員（2017年度〜）□ 情報危機管理コンテスト 運営スタッフ（2017年度〜）
ほか■主な著書等「IT現場のセキュリティ対策完全ガイド」（日経BP社）、「情報セキュリティ監査公式ガイドブック」（日科技連出版、共著）、「情報セキュリティプロフェッショナル教科書」 (アスキーメディアワークス、共著）、「ネットワークセキュリティ」（オーム社、共著）等。
URL︓http://www.lac.co.jp/
E-mail︓choichi.hasegawa@lac.co.jp http://www.facebook.com/choichi.hasegawa

2

はじめに

私が使っている生成系AI

4

「AIとサイバーセキュリティの未来は︖」と聞いてみた(1)5「AIとサイバーセキュリティの未来は︖」と聞いてみた(2)6デジタル時代に必要とされるリテラシー〜 「DXリテラシー標準 ver.1.0」 経済産業省、2022年3月

7DXリテラシー標準の改訂(2023年8月)「デジタルスキル標準ver.1.１」2023年8月
https://www.ipa.go.jp/jinzai/skill-standard/dss/ps6vr700000083ki-att/000106872.pdf

8

「AI」がいち早く普及したのは将棋︖

https://news.tvasahi.co.jp/news_society/articles/000204240.html

9そういえば、いらすとやも「AI」に

https://aisozai.com/irasutoya

10AIにおける脅威と脆弱性

AIにおける脅威
カテゴリー

不正行為

意図しない損害
法的要因
故障・誤動作
盗聴・遮断・乗っ取り

概要

具体 例

主としてAIモデルや学習用データを対象とした窃取、学習用データ・AIモデル・機械学習ライブラ
リなどへのポイズニング、敵対的サンプルの改ざん、破壊などの悪意ある活動作成、神託攻撃による情報窃取など
AIシステムやAIモデル開発者、AI利用者の意図しな AI推論の失敗、ライブラリの設定ミス、デーい、資産の破壊、損傷、人への危害などの損害
タ品質の低下、AIモデルの性能低下など
法律や契約に基づく制限、対応義務、不履行に基づ プライバシー侵害、個人情報の流出、データく賠償など
ガバナンスポリシーの欠如、SLA違反など
AIシステムの一部または全部の故障・誤動作やデー データや正解ラベルの破損、モデルフレーム
タの破損
ワークやAIモデルの性能低下など
主としてAIシステムのインフラなどを対象とした、 データの窃取、推論結果の盗聴、脆弱な暗号盗聴・遮断・乗っ取りなどの活動化、など

物理攻撃

物理資産の破壊、無効化などを目的とする活動

機能停止

予期しないサービスなどの中断または要求する水準 通信網の停止、インフラ・システムの停止なを下回る品質
ど

災害

甚大な災害を引き起こす突発事故または自然災害

インフラ･システムに対する物理的な攻撃など

環境現象(気候変動など)、自然災害(地震、洪水、火災など）「セキュリティ関係者のためのAIハンドブック」〜IPA、2022年7月15日、をもとに作成
https://www.ipa.go.jp/jinzai/ics/core_human_resource/final_project/2022/AI-handbook.html

12

＜参考＞「OWASP Top 10 for LLM Applications」
項

目

概要

LLM01: Prompt Injection

不正なプロンプトの注⼊

LLM02: Insecure Output Handling

セキュアでない出⼒制御

LLM03: Training Data Poisoning

学習データのポイズニング

LLM04: Model Denial of Service

モデルへのDoS攻撃

LLM05: Supply Chain Vulnerabilities

サプライチェーンの脆弱性

LLM06: Sensitive Information Disclosure

センシティブ情報の意図せぬ開示

LLM07: Insecure Plugin Design

セキュアでないプラグイン設計

LLM08: Excessive Agency

過剰な自主性LLM09: Overreliance(出⼒結果への)過剰な依存

LLM10: Model Theft

モデルの盗難https://owasp.org/www-project-top-10-for-large-language-model-applications/13生成系AIの悪⽤事例
フィッシング詐欺

マルウエア

フェイクニュース

https://gigazine.net/news/20221205-chatgpt-content-filter/

https://japan.zdnet.com/article/35202320/

https://www.itmedia.co.jp/news/article
s/2301/10/news146.html

https://www.cyberark.com/resources/threatresearch-blog/chatting-our-way-into-creating-apolymorphic-malware

14

AIライフサイクルと攻撃「セキュリティ関係者のためのAIハンドブック」〜IPA、2022年7月15日
https://www.ipa.go.jp/jinzai/ics/core_human_resource/final_project/2022/AI-handbook.html

15

＜参考＞「MITRE ATLAS」 ※ 「MITRE ATT&CK」のAI版

https://atlas.mitre.org/

16

＜参考＞AI活⽤のセキュリティ製品・サービス「セキュリティ関係者のためのAIハンドブック」〜IPA、2022年7月15日
https://www.ipa.go.jp/jinzai/ics/core_human_resource/final_project/2022/AI-handbook.html

17

＜参考＞AIを利⽤した不正取引検知システム
ラックの⾦融犯罪対策センターと⾦融機関が持つ犯罪パターンを分析し、学習⽤データの⽐率調整を実施することでAIモデルの「特徴量エンジニアリング」に反映し、不均衡データの発⾒率を⾶躍的に向上させ、⾼精度な不正取引(①インターネットバンキングでの不正送⾦、②銀⾏ATMを介した不正取引、③⾦融犯罪に悪⽤される不正口座)検知を実現。

https://www.lac.co.jp/solution_product/zerofraud.html

18

＜参考＞ChatGPTを使った脅威情報共有・分析業務の効率化

https://www.lac.co.jp/lacwatch/people/20230925_003515.html

19UEBA (User and Entity Behavior Analytics)「SEIM」だけの運⽤管理から、「ZTA」＋「AI」のセキュリティ運⽤管理への概念図。
「UEBAは、内部不正の検知技術」と⾔われているが、それだけの目的でいいのか︖
SIEM

EDR

UEBA

ML/DL

ログインデータ

ネットワークアクセス

学習データ

アプリのログ

不正検知20まとめとこれからの展望（私⾒含む）AIで、サイバーセキュリティでは何が変わったのか︖• 攻撃側も防御側も、自動化がさらに進んだ。（もともと自動化は進んでいたが、⼀気に加速した）• 効率が悪いこと、苦⼿なことをAIがやってくれるようになった。
• 今まで以上に、適時性・迅速性が求められるようになった。
• 「抜き取り」データのチェックから、より多くのデータのチェックへと変わった。
• そして、業務に必要な知識・スキル、マインド・スタンスも変わった。

22

まとめ︓これから、何が変わるのか︖ （大いに私⾒含む）「データドリブン」「with AI」の時代へのパラダイムシフトが起こった。
・とにかく「データ」。どうやって収集し、分析し、利⽤するか。
・「AI」に仕事を奪われるのではなく、「AI」とうまくつきあえない人が仕事を失う。
・ますます、様々な「格差」が広がる。
・ますます、スピード感ある判断・⾏動が重要になる。
・従来の組織文化や業務習慣、個人のマインドやスタンスが変わる。（変わらなければ、生き残れなくなる）
強い者でもなく、格差の例︓非対称性
よく⾒えている

賢い者でもなく、変化に適応した者が生き残る。

ほとんど⾒えていない23

※本資料は作成時点の情報に基づいており、記載内容は予告なく変更される場合があります。

※ この講演における発⾔及び資料の内容は、個人の⾒解を含んでいます。それらは、所属する企業や団体を代表するものではありません。

※本資料に掲載の図は、資料作成⽤のイメージカットであり、実際とは異なる場合があります。
※本資料は、弊社が提供するサービスや製品などの導⼊検討のためにご利⽤いただき、他の目的のためには利⽤しないようご注意ください。
※ LAC、ラック、JSOC、サイバー救急センターは株式会社ラックの登録商標です。その他記載されている会社名、製品名は一般に各社の商標または登録商標です。

© 2023 LAC Co., Ltd.