Japan Computer
Emergency Response
Team Coordination
Center

電子署名者 : Japan Computer Emergency
Response Team Coordination Center
DN : c=JP, st=Tokyo, l=Chiyoda-ku,
email=office@jpcert.or.jp, o=Japan Computer
Emergency Response Team Coordination
Center, cn=Japan Computer Emergency
Response Team Coordination Center
日付 : 2015.03.11 16:52:03 +09'00'

サイバー演習の有効性
レジリエントな組織づくりに向けて
国立大学法人名古屋工業大学
青山 友美

Nagoya Institute of Technology

2/12/2015

自己紹介• 青山友美• 名古屋工業大学大学院博士前期課程2年• TUV SUD GmbH (ドイツ)インターンシップ– ８ヶ月– 消費者製品向け機能安全標準に関わる業務• ENCS European Network for Cyber Security (オランダ)インターンシップ– ６ヶ月– 重要インフラむけセキュリティ演習のファシリテーショ
ンに参加
Nagoya Institute of Technology

22/12/2015

当セッションの目的• ICS セキュリティに関連する演習の紹介• レジリエンスの視点からの演習の比較• 演習に何を効果として求めるべきか？
• 演習の成果をどのように持ち帰るべきか？

Nagoya Institute of Technology

32/12/2015

4

演習から何を学ぶ？
「重要インフラ防護」の目的

セキュリティ
レジリエンス

重要インフラにおけるサービスの持続的な提供を行い、自然災害やサイバー攻撃等に起因するＩＴ障害が国民生活や社会経済活動に重大な影響を及ぼさないよう、ＩＴ障害の発生を可能な限り減らすとともにＩＴ障害発生時の迅速な復旧を図ることで重要インフラを防護する。
NISC 重要インフラの情報セキュリティ対策に係る第3次行動計画(2014)
http://www.nisc.go.jp/active/infra/pdf/infra_rt3.pdf

Nagoya Institute of Technology

2/12/2015

5

演習から何を学ぶ？

大統領決定(PDD)21号(2013):重要インフラのセキュリティとレジリエンス（柔軟性）強化に向けた作業項目の策定
Presidential Policy Directive – PPD 21 (2013)
http://www.whitehouse.gov/the-press-office/2013/02/12/presidential-policy-directivecritical-infrastructure-security-and-resil
Nagoya Institute of Technology

2/12/2015

6

セキュリティとレジリエンス
セキュリティとは、 侵入・攻撃または天災・人災の結果に対する物理的手段または防衛サイバー対策によって、重要インフラへのリスクを低減すること。

レジリエンス（柔軟性）とは、状況の変化に備え、適応し、混乱に耐えて急速に回復する能力を意味する。レジリエンスには意図的な攻撃、事故、及び 自然発生的な脅威またはインシデントに耐え、回復する能力が含まれる 。
Nagoya Institute of Technology

Presidential Policy Directive – PPD 21 (2013)
http://www.whitehouse.gov/the-press-office/2013/02/12/presidential-policy-directivecritical-infrastructure-security-and-resil2/12/2015

つまり？
• セキュリティ
インシデントの発生するリスクを減らす＝強い城壁を作りましょう• レジリエンス
インシデントに対応する力＝強い組織を作りましょう
今回は、レジリエンスの観点から各演習に期待される学習効果を検証する
Nagoya Institute of Technology

72/12/2015

レジリエンスをつくるにはレジリエンス・エンジニアリングの考え方(Resilience Engineering)

Nagoya Institute of Technology

82/12/2015

レジリエンス 4つの要因
対処能力
Respond
監視能力
Monitor
予見能力
Anticipate
学習能力
Learn
Nagoya Institute of Technology• 混乱・外乱にどのように対処すべきかを知っている• 直近の脅威・またはそれになり得るものをどのように監視すべきか知っている• 未来に生じる変化・混乱・圧力およびその結果もたらされる事象の進展・脅威をどのように予見するべきか知っている• 成功・失敗事例からどのように教訓を得るのかを知っている9

2/12/201510

演習から学べるレジリエンス
対処能力
Respond• 混乱・外乱にどのように対処すべきかを知っている

インシデント
対応手順

監視能力
Monitor• 直近の脅威・またはそれになり得るものをどのように監視すべきか知っている

異常検知

予見能力
Anticipate• 未来に生じる変化・混乱・圧力およびその結果もたらされる事象の進展・脅威をどのように予見するべきか知っている

セキュリティ脅威に関する知見

学習能力
Learn

• 成功・失敗事例からどのように教訓を得るのかを知っている

振り返り学習Nagoya Institute of Technology

2/12/2015

今回比較する演習• Red team – Blue team型演習（国外）– Idaho National Lab （米）/ ENCS （蘭）/ QUT （豪）• ガス分野サイバーセキュリティ演習– CSSC 制御システムセキュリティセンター主催• 分野横断的演習– NISC 内閣サイバーセキュリティセンター主催• Cyber Range：APT（標的型攻撃）対応演習– JPCERT/CC 主催• KIPS Kaspersky Industrial Protection Simulation– Kaspersky 主催

Nagoya Institute of Technology

112/12/2015

演習の種類

https://www.fema.gov/media-library/assets/documents/32326
https://www.ipa.go.jp/files/000025350.pdf
Nagoya Institute of Technology

122/12/2015

13

NIST Special Publication 800-84 による演習区分
トレーニング

演習

机上演習

テスト

機能演習

• 緊急時対応計画やコンピュータセキュリティインシデント対応計画などのIT計画を実行する上で、例えば、計画における役割と責任を果たせるよう担当者のトレーニングを 行ったり、内容を検証するために計画の実施演習を行ったり、計画に指定されている運用環境でシステムとシステム構成要素の運用性を確認するテストを実施する、といった準備(TT&E/Test, Training and Exercise)がなされているべきで
ある。
• 机上演習は、議論ベースの演習で、緊急時の役割や、ある特定の緊急事態への対応策を議論する形をとる。
• 機能演習を実施することで、スタッフは実際の緊急事態における役割と責任を、シミュレ ーション環境のなかで実践することが可能となる。
NIST SP 800-84 “IT 計画および IT 能力のためのテスト、 トレーニング、演習プログラムのガイド”
https://www.ipa.go.jp/files/000025350.pdf

Nagoya Institute of Technology

2/12/2015

14

HSEEP(Homeland Security Exercise and Evaluation Program) による演習区分
机上演習（TTX）*Table Top Exercise

機能演習(FE)*Functional Exercise

意思決定能力測定型

訓練（ドリル）
手順確認型

ワークショップ
意見交換型

セミナー（座学）

総合演習(FSE)

情報付与型*Full Scale Exercise

作業ベースの演習

議論ベースの演習

ゲーム• 議論ベースの演習では、ファシリテーターおよびプレゼンターが議論の進行を務め、参加者が演習の目的に向かって議論を進めるよう働きかける。
• 作業ベースの演習において、参加者は演習のシナリオに対し情報伝達や人的資源管理など、実際の行動によって反応する。
Nagoya Institute of Technology

Homeland Security Exercise and Evaluation Program
https://www.fema.gov/media-library/assets/documents/32326

2/12/2015

15

NIST Special Publication 800-84 による演習区分
トレーニング

演習

机上演習

テスト

機能演習

訓練（ドリル）
ワークショップ

セミナー

作業中心の演習

議論中心の演習

ゲーム

総合演習

HSEEP(Homeland Security Exercise and Evaluation Program) による演習区分
Nagoya Institute of Technology

2/12/2015

16

NIST Special Publication 800-84 による演習区分
トレーニング

演習

机上演習

テスト

機能演習

訓練（ドリル）
ワークショップ

作業中心の演習

議論中心の演習

ゲーム

セミナー
総合演習
本日紹介するのはこの4種類に区分される演習です
HSEEP(Homeland Security Exercise and Evaluation Program) による演習区分
Nagoya Institute of Technology

2/12/2015

演習の比較• Red team – Blue team型演習（国外）– Idaho National Lab （米）/ ENCS （蘭）/ QUT （豪）• ガス分野サイバーセキュリティ演習– CSSC 制御システムセキュリティセンター主催• 分野横断的演習– NISC 内閣サイバーセキュリティセンター主催• Cyber Range：APT（標的型攻撃）対応演習– JPCERT/CC 主催• KIPS Kaspersky Industrial Protection Simulation– Kaspersky 主催

Nagoya Institute of Technology

17

2/12/2015

18

INL アイダホ国立研究所

Nagoya Institute of Technology

Source: https://secure.inl.gov/icsadv1214/

2/12/2015

ENCS –
European Network for Cyber Security

Nagoya Institute of Technology

19

Source: https://education.encs.eu/training/training-overview/encsadvanced-cyber-security-course-red-team-blue-team-training2/12/2015

QUT クイーンズランド工科大学

Nagoya Institute of Technology

Source: https://www.qut.edu.au/study/short-courses-and-professionaldevelopment/short-courses/cyber-security-industrial-control-systems

20

2/12/2015

ENCS / INL / QUT
Red team – Blue team型演習
主催者

INL (Idaho NationalLab.)
アイダホ国立研究所

ENCS (EuropeanNetwork for CyberSecurity)

QUT (Queensland
University of Tech.)クイーンズランド工科大学

開催地
国・都市

米国・アイダホ州

オランダ・ハーグ

オーストラリア・
ブリスベン

主催機関 ICS-CERT

研究機関

大学

講師

研究者+招待講演者（ベンダー・セキュリ
ティ企業等）

教授(ITセキュリティ)

半年に1度

年に1度

専属講師・研究者

開催頻度 2ヶ月に1度

Nagoya Institute of Technology21

2/12/2015

ENCS / INL / QUT
Red team – Blue team型演習
Blue Team• 防御チーム• ２０名程度• シナリオ– 化学製品を生産するプ
ラント– 参加者がそれぞれマネージャー・IT管理者・オペレータなどの役職を演じる
Nagoya Institute of Technology

22

Red Team• 攻撃チーム• １０名程度• シナリオ– ブルーチームの敵対企業に雇われたハッカー集団– 生産の妨害・システムの破壊が最終目的

2/12/2015

ENCS / INL / QUT
Red team – Blue team型演習
日程

3–5日

コース構成

座学＋作業演習

参加者数

20 - 30 名

参加対象者

IT/制御/マネジメント

演習タイプ

総合演習・敵対型

演習環境

フルスケールシナリオ

仮想企業

アクティビティ

参加者の自由長所

フルスケールに再現されたネットワーク構成での実戦短所

参加者によって学習効果にばらつき

Nagoya Institute of Technology

23

ENCS 演習紹介ビデオより
http://youtu.be/BGVwOJw1DfY

2/12/2015

ENCS / INL / QUT
Red team – Blue team型演習
インシデント対応手順24• 意思決定層の対応手順・IT技術の対応手順を仮想企業において体験• インシデント対応におけるコミュニケーション

異常検知• IT技術による異常検知手法• 攻撃者の視点でネットワークの脆弱性を探す視点

セキュリティ脅威• 攻撃視点・防御視点の両方からインシデントを経験• インシデント発生によって社内に起こり得るトレードオフ（セキュリティvs生産性、効率vs完璧さ）を体験に関する知見Nagoya Institute of Technology

2/12/2015

演習の比較• Red team – Blue team型演習（国外）– Idaho National Lab （米）/ ENCS （蘭）/ QUT （豪）• ガス分野サイバーセキュリティ演習– CSSC 制御システムセキュリティセンター主催• 分野横断的演習– NISC 内閣サイバーセキュリティセンター主催• Cyber Range：APT（標的型攻撃）対応演習– JPCERT/CC 主催• KIPS Kaspersky Industrial Protection Simulation– Kaspersky 主催

Nagoya Institute of Technology25

2/12/2015

26

サイバーセキュリティ演習
CSSC 制御システムセキュリティセンター
演習の構成
トリガー（引き金）イベント
システム異常の発生
調査・復旧
種明かし
対策案
Nagoya Institute of Technology

写真：2013年度に実施したサイバーセキュリティ演習の概要説明資料より
http://www.css-center.or.jp/pdf/cybersecurity-exercises_outline.pdf

2/12/201527

サイバーセキュリティ演習
CSSC 制御システムセキュリティセンター
日程

2日

コース構成

座学＋機能演習

参加者数

20 - 30 名

参加対象者

ガス・化学・ビル・電気事業者

演習タイプ

防御デモを5シナリオ

演習環境

実機（オペレーション部分のみ）

シナリオ

仮想ガスプラント会社

アクティビティ

段階的に指示長所

オペレーション機能に集中した演習
演習後、各社毎に有識者との個別議論有り

短所

参加対象分野に制限

Nagoya Institute of Technology

CSSC 演習紹介ビデオより
http://youtu.be/aqRB7wfR4AQ

2/12/2015

28

サイバーセキュリティ演習
CSSC 制御システムセキュリティセンター
インシデント対応手順
異常検知
セキュリティ脅威に関する知見
Nagoya Institute of Technology• オペレータ層のインシデント対応手順をデモプラ
ントで体験• オペレータによる異常の検知方法• セキュリティインシデントとセーフティインシデントの見え方の違い• 攻撃の侵入経路• 攻撃のバリエーション• 効果的な対策手法

2/12/2015

演習の比較• Red team – Blue team型演習（国外）– Idaho National Lab （米）/ ENCS （蘭）/ QUT （豪）• ガス分野サイバーセキュリティ演習– CSSC 制御システムセキュリティセンター主催• 分野横断的演習– NISC 内閣サイバーセキュリティセンター主催• Cyber Range：APT（標的型攻撃）対応演習– JPCERT/CC 主催• KIPS Kaspersky Industrial Protection Simulation– Kaspersky 主催

Nagoya Institute of Technology

29

2/12/201530

分野横断的演習
NISC 内閣サイバーセキュリティセンター主催
コントローラ

所管省庁
セプター
NISC

状況付与
サブコントローラ全体会合

参加企業
助言者

関連機関
Nagoya Institute of Technology

機能演習
写真：2014年演習より

2/12/201531

分野横断的演習
NISC 内閣サイバーセキュリティセンター主催
日程

1日

コース構成

機能演習

参加者数

348名 （94組織）

参加対象者

重要インフラ13分野

演習タイプ

防御2シナリオ

演習環境

連絡ツールのみ実機

シナリオ

自社・自役職

アクティビティ

参加者の自由長所

分野横断した情報共有練習
サブ・コントローラによるシナリオ調整

短所

達成目標・シナリオの再現度の設定は参加者次第

Nagoya Institute of Technology

Twitter @cas_nisc
内閣サイバーセキュリティセンター公式アカウントより

2/12/2015

32

分野横断的演習
NISC 内閣サイバーセキュリティセンター主催
インシデント対応手順• 自社で取り決められている意思決定層の対応手順• 情報共有体制の実効性を検証• 事業継続計画の発動方法や、その手順を確認

異常検知• （参加者側からアクティブに異常検知をして発信することはない）

セキュリティ脅威に関する知見
Nagoya Institute of Technology• 状況が次第に明らかになっていく過程で、システムへの影響や被害の及ぶ範囲を想像する

2/12/2015

演習の比較• Red team – Blue team型演習（国外）– Idaho National Lab （米）/ ENCS （蘭）/ QUT （豪）• ガス分野サイバーセキュリティ演習– CSSC 制御システムセキュリティセンター主催• 分野横断的演習– NISC 内閣サイバーセキュリティセンター主催• Cyber Range：APT（標的型攻撃）対応演習– JPCERT/CC 主催• KIPS Kaspersky Industrial Protection Simulation– Kaspersky 主催

Nagoya Institute of Technology

33

2/12/2015

34

Cyber Range：APT（標的型攻撃）対応演習
JPCERT/CC

企業A
参加者

コントローラ

攻撃者

助言者
企業B
参加者

攻撃者

助言者
参加者は攻撃に対する技術対応に加えて、コントローラの指示によって議論も行う
Nagoya Institute of Technology

2/12/2015

Cyber Range：APT（標的型攻撃）対応演習
JPCERT/CC
日程

1日

コース構成

機能演習と机上演習の組み合わせ

参加者数

最大2グループ、10名程度

参加対象者

IT 管理者

演習タイプ

防御チーム

演習環境

IT部分実機

シナリオ

仮想企業

アクティビティ

段階的に指示長所

チームごとに助言者がつき、議論をサポート
インシデント対応の手順を段階的に体験

短所

IT管理者に限定・制御システム系のインシデントでない

Nagoya Institute of Technology

35

2/12/2015

36

Cyber Range：APT（標的型攻撃）対応演習
JPCERT/CC

対応手順• IT管理者の技術的対応手順を、指示を受けながら学ぶ• 関連機関との情報共有の重要性を学ぶ

異常検知• （参加者側からアクティブに異常検知をして発信することはない）

インシデントセキュリティ
脅威に関する知見
Nagoya Institute of Technology• APT(標的型攻撃)の攻撃手法を体験する• 攻撃トレンド情報などから、自社で起きているインシデントの全体図を想像する

2/12/2015

演習の比較• Red team – Blue team型演習（国外）– Idaho National Lab （米）/ ENCS （蘭）/ QUT （豪）• ガス分野サイバーセキュリティ演習– CSSC 制御システムセキュリティセンター主催• 分野横断的演習– NISC 内閣サイバーセキュリティセンター主催• Cyber Range：APT（標的型攻撃）対応演習– JPCERT/CC 主催• KIPS Kaspersky Industrial Protection Simulation– Kaspersky 主催

Nagoya Institute of Technology

37

2/12/2015

38

Kaspersky Lab
KIPS “Kaspersky Industrial Protection Simulation”
目標：企業のITスペシャリストとして、セキュリティを強化しながら売り上げを伸ばす

メッセージフェーズ

アクションフェーズ

生産フェーズ• 業界ニュース・社内メッセージなど• 対策が必要かどうか各チームで判断• チームで話し合い、選択するカードを決定する• シナリオに沿って選択したカードの効果・影響が売り
上げ高・攻撃の進捗度に表れる

全部で5ターン繰り返す
Nagoya Institute of Technology

2/12/2015

Kaspersky Lab
KIPS “Kaspersky Industrial Protection Simulation”
日程2 時間程度

コース構成

ゲーム

参加者12名（4チーム）より参加対象者

誰でも可能

演習タイプ

防御シナリオ

演習環境

ボード・カードゲーム

シナリオ

仮想企業

アクティビティ

カードから選択長所

簡単にサイバー攻撃を体験
スコア($)によるわかりやすいフィードバック

短所

対策の選択はカードからの選択に限られる

Nagoya Institute of Technology

KIPS紹介ビデオより
http://www.kaspersky.com/industrial-security-cip

39

2/12/2015

40

Kaspersky Lab
KIPS “Kaspersky Industrial Protection Simulation”

インシデント対応手順
異常検知
セキュリティ脅威に関する知見
Nagoya Institute of Technology• カードから選んだ対策の効果が次のターンでシステムへ反映される• 「業界ニュース」などとして入って来る情報からサイバー攻撃の可能性を想像する• 「システム監査」カード導入のタイミング• セキュリティ対策の導入と生産のバランスを考える

2/12/2015

まとめ• 演習によって学べる知識・スキルは異なる– 攻撃手法・インシデントハンドリング手順…

• 演習内で行う活動・意思決定も異なる– IT/オペレータ技術対応・事業継続計画・議論…「この演習を受けておけば対策は完璧」ということはない

Nagoya Institute of Technology

41

2/12/2015

42

総括
ENCS / INL / QUT

CSSC

NISC

JPCERT/CC

Kaspersky Lab

意思決定層の対応手順・ オペレータ層のインシデン
IT管理者の技術的対応手 カードから選んだ対策の効
自社で取り決められているIT技術の対応手順を仮想 ト対応手順をデモプラント
順を、指示を受けながら学 果が次のターンでシステム意思決定層の対応手順
企業において体験で体験
ぶへ反映される
インシデント対応手順

インシデント対応におけるコミュニケーション

情報共有体制の実効性を 関連機関との情報共有の検証
重要性を学ぶ
事業継続計画の発動方法
や、その手順を確認

異常検知「業界ニュース」などとして（参加者側からアクティブ （参加者側からアクティブIT技術による異常検知手 オペレータによる異常の検入って来る情報からサイに異常検知をして発信す に異常検知をして発信す
バー攻撃の可能性を想像法
知方法ることはない）
ることはない）する
セキュリティインシデントと攻撃者の視点でネットワー
セーフティインシデントのクの脆弱性を探す視点
見え方の違い攻撃視点・防御視点の両攻撃の侵入経路方からインシデントを経験

セキュリティ脅威に関する インシデント発生によって社内に起こり得るトレード 攻撃のバリエーション
知見オフを体験

効果的な対策手法

Nagoya Institute of Technology「システム監査」カード導入のタイミング
状況が次第に明らかになっていく過程で、システ APT(標的型攻撃)の攻撃 セキュリティ対策の導入とムへの影響や被害の及ぶ 手法を体験する
生産のバランスを考える
範囲を想像する攻撃トレンド情報などから、自社で起きているインシデントの全体図を想像する

2/12/2015

43

演習はPDCAサイクルのドライバー• 「課題を抽出する場」– CSSC 制御システムセキュリティセンター

• 「気づきを得る場」– NISC 内閣サイバーセキュリティセンター

• 演習成果を自社に持ち帰る• 自社の体制を自己評価する
Nagoya Institute of Technology

2/12/201544

実はもう一つ…
演習から学べるレジリエンス
対処能力
Respond• 混乱・外乱にどのように対処すべきかを知っている

インシデント
対応手順

監視能力
Monitor• 直近の脅威・またはそれになり得るものをどのように監視すべきか
知っている

異常検知

予見能力
Anticipate• 未来に生じる変化・混乱・圧力およびその結果もたらされる事象の進展・脅威をどのように予見するべきか知っている

セキュリティ脅威に関する知見

学習能力
Learn

• 成功・失敗事例からどのように教訓を得るのかを知っている

振り返り

Nagoya Institute of Technology

2/12/201545「振り返りの時間」の重要性• どの演習においても、演習終了後にファシリテータ・参加者全員で演習の「振り返り」（デブリーフィング）を行う• 「振り返り」は答え合わせではなく演習での体験を知識に落とし込む作業

ファシリテータ
モデル・シナリオの意図通りの学習目的が達成されているかを確認

Nagoya Institute of Technology

参加者
体験した事象（主観的な経験）をシェアする・他の参加者の体験を聞くことで共通の教訓を得る

2/12/2015

演習主催者側演習の実施形態・シナリオを計画

演習目的・検証されるべき課題を抽出

振り返りから次のステップへ

計画
Plan

演習の実施

抽出

実施

ActDo

シナリオ・課題設定・演習方法の評価

46

評価
Check
ファシリテータ
モデル・シナリオの意図通りの学習目的が達成されているかを確認

Nagoya Institute of Technology

2/12/2015

演習主催者側演習の実施形態・シナリオを計画
演習目的・検証されるべき課題を抽出

抽出想定した計画が十分であったか振り返る

Nagoya Institute of Technology

演習の実施

実施
計画
Do
Plan

Act

シナリオ・課題設定・演習方法の評価

振り返りから次のステップへ

計画
Plan

47

演習に参加

評価
抽出
Check
Act

計画
Plan

インシデント対応
計画を想定

抽出
Act
現行のインシデント対応
計画の課題を抽出

演習参加者側2/12/2015

48

演習の効果
演習の場で力試し新しい知識・経験を得る

様々な角度からレジリエンスを鍛える！

足りない要素に気づく
Nagoya Institute of Technology

困難に直面する2/12/2015

次世代型演習に向かって• インシデント対応手順を自社のモノとする– 演習体験を参加者個人から組織へ展開• 体験を自社で適用する方策欠如の問題– 他組織との連携で、組織として対応を図る• 自社能力（インシデント対応、BCP）の客観的評価の問題• 異常検知を網羅する– 異常検知能力の向上• 安全に関わるサイバーインシデントに気付く能力構築の問題– 異常検知範囲の拡大• 安全に関わるサイバーインシデントに気付くスタッフの教育問題• セキュリティ脅威に関する知見の拡充– 攻撃者の視点（思考）を勘案した対抗処置– 攻撃者の心理（ストレス）を勘案した対抗処置– 攻撃者の技術を勘案した対抗処置

Nagoya Institute of Technology49

2/12/2015

青山友美
t.aoyama.084@nitech.jp

ご静聴ありがとうございました

Nagoya Institute of Technology50