MWS 2021 ポストミーティング

MWSをやってて博⼠とったらNISTで研究までやってきた話
畑⽥ 充弘
NTT Com-SIRT⾃⼰紹介• NIST Guest Researcher (2019.3 – 2021.9)••

Computer Security Division, Information Technology Laboratory•

ボットネットによる攻撃の予兆検知(NIST TN 2111)、NVD Analysis

NTTコム (2003.4 – 2018.5、2021.12 -)、⽇本電信電話 (2018.6 – 2021.11)•

サイバーセキュリティの研究開発、⼈材育成、NTT Com-SIRT⽴ち上げ、Team V、国際イベントでのThreat
Hunting、team enu•

博⼠(⼯学) (2018.2)、早稲⽥⼤学招聘研究員 (2018.12 – 現在)•

ICT-ISAC Japan国内外連携WG/情報共有WGメンバ、CSDE Steering Committee•

IEICE ICSS研究会専⾨委員、IPSJ CSEC研究会専⾨委員、MWS組織委員/実⾏委員•

NTT Group Certified Security Principal、CISSP、RISS

Copyright 2021 NTT Communications Corporation1

アジェンダ
1. MWSのはじまり
2. 博⼠課程へ
3. NISTへ
4. ふりかえり

Copyright 2021 NTT Communications Corporation

2

1. MWSのはじまり

Copyright 2021 NTT CORPORATION

3

きっかけ

仕組み作るか︖

Copyright 2021 NTT Communications Corporation4http://www.iwsec.org/mws/

マルウェア対策研究⼈材育成ワークショップ（2008〜）•

マルウェアの機能や運⽤の⾼度化、インシデントの把握が困難•

先端研究者に限らず、CSIRT等の実務者もマルウェアに関する知識が必要•教材となる共通のデータセットがない、研究⽤データの収集が困難
サイバー
クリーンセンターなど

公的、⼤学、企業などの研究機関

情報処理学会、電⼦情報通信学会など

研究⽤データセットの提供

分析ならびに対策技術の研究

研究成果の共有

研究⽤標準データ{研究⽤データセット}
Copyright 2021 NTT Communications Corporation

研究⽤標準データの研究5Cyber Clean Center

Copyright 2021 NTT Communications Corporation

https://www.telecom-isac.jp/ccc/report/200705/0705monthly.html

6CCC DATAset
最近のボットの活動全体傾向は?

最近のボットはどんな手法で感染しているのか?

②攻撃通信データ：感染手法の検知
ならびに解析技術の研究･･

最近のボットはどんな機能を持っているのか?

おとりPC
ボット感染PC群①マルウェア検体：収集した検体の解析技術の研究③攻撃元データ：ボットの活動傾向把握技術の研究
Copyright 2021 NTT Communications Corporation

7

MWS Datasets 2021

Copyright 2021 NTT Communications Corporation

8

MWS Cup 2009 (第1回)■課題１： 攻撃通信データを探し出せ。
競技用ＣＤ−ＲＯＭに収められている (W) が５個, (B) と (B‘) で５個の合計１０個の通信データファイル（ｐｃａｐファイル）のうち、 (B) と (B’) を探し出し、その番号を解答欄に記入せよ。番号には、各ｐｃａｐファイルの拡張子を除いた数字を用いよ。
（注：）(W) ＝ マルウェアに感染していないPCの通信データ。攻撃を受けても感染しないパッチ適用済ＰＣの通信、Ｐ２Ｐ通信、正規バイナリファイルの取得通信データ等を含むこともある。
(B) ■課題２：＝ CCC DATAsetマルウェア名を言え。
2009 の攻撃通信データとして未配布の２００９年３月１５日のうち、ハニーポットからマルウェアが検出されたタイムスロットの初めから数分の通信データ。
課題１で探し出した各通信データファイルにおいて、「ホストが感染しているウイルス名称」を以下の選択肢(B‘) から選び、それぞれの解答欄に記入せよ。尚、各解答欄には一つの選択肢しか入らない。
＝ (W) と (B) を混合した通信データ。
(m0) BKDR_MYBOT.AH (m1) BKDR_RBOT.ASA (m2) PE_BOBAX.AK(m3) PE_VIRUT.AV (m4) TROJ_AGENT.ARWZ (m5) TROJ_BUZUS.AGB
今後の通信パターンを予測せよ。
(m6)■課題３：
TROJ_DLOADR.CBK(m7)TSPY_ONLINEG.TKJ(m8)課題１で探し出した通信データファイルの、「今後の通信パターン」について、以下の選択肢から該当する
WORM_ALLAPLE.IK (m9) WORM_DOWNAD.AD
ものを一つ選び、解答欄に記入せよ。（注：）一つの選択肢が、複数の解答欄に該当することはない。
(a0) 何もしない (a1) ICMPスキャン (a2) 位置情報データベース(GeoIP)のダウンロード(a3) C&C接続 (a4) C&C接続、特定ホストへのポートスキャン(a5) Microsoft Update を実行 (a6) 連鎖感染、外部へシステム情報送信(a7) 連鎖感染、外部 Webサイトへ DoS攻撃(a8) 連鎖感染、C&C接続、外部へ DNSクエリ（MXレコード）(a9) 連鎖感染、TCP(135)スキャン、C&C接続
Copyright 2021 NTT Communications Corporation

9

MWS Cup 2021

Copyright 2021 NTT Communications Corporation

10

CSSにおけるマルウェア関連論文数

CSSにおけるマルウェア対策系論⽂数70

MWSセッション/トラック
60

他セッション

50

MWS⽴ち上げ

40
30
20
10
0'03 '04 '05 '06 '07 '08 '09 '10 '11 '12 '13 '14 '15 '16 '17 '18 '19 '20 '21

年
Copyright 2021 NTT Communications Corporation

11

2. 博⼠課程へ

Copyright 2021 NTT CORPORATION

12

きっかけ

「お前、(試験的に)博⼠⾏くか︖」

Copyright 2021 NTT Communications Corporation

13

学位論⽂: 博⼠（⼯学）l Towards Efficient Incident Handling Triage: AutomatedThreats Classification and Data-centric Talent Developmentl インシデント対応の効率的なトリアージに向けた脅威分類の⾃動化とデータ主導の⼈材育成l 脅威分類の⾃動化では、マルウェアが⾏う通信のモデル化による新種マルウェアの分類、ならびにアクセスするドメイン群の類似度に着⽬したPUAの分類
l データ主導の⼈材育成では，実⽤的なデータセットの整備により，マルウェ
ア対策に関わる⼈材育成
Copyright 2021 NTT Communications Corporation

14博⼠の価値l やりぬく⼒（問題設定、調査、計画、実装、評価、プレゼン）l グローバルな信⽤（専⾨家による査読を複数本クリア）

Copyright 2021 NTT Communications Corporation15

モチベーションlこれまでの業務経験をもとに、がっつり研究したかった
l 現実に感じてきた問題l

真に未知のマルウェアをどう判定するかl

グレーなものにどう優先順位をつけるか

l 新たなロールモデルの開拓

Copyright 2021 NTT Communications Corporation16

⽣活l 休⽌したことl 都リーグ社会⼈サッカーl 読書
l CTF（SECON/DEFCONは例外）

l 始めたことl ⽔泳（息⼦のスクール中）

l 変化
l 体重+2kg
Copyright 2021 NTT Communications Corporation17

これから博⼠を⽬指す⼈へ
lなぜ学位をとりたいか、その後どうするかを明確に
l 5〜10年⽬くらいがよさげ
l 実務を経験した上での研究への欲求

l 実⾏可能な計画と⾃信が必要
l 博⼠取得要件の把握、国際会議・ジャーナルの査読プロセス
l ⼊学前の研究業績、先⽣との研究計画相談

l 履修科⽬・必要単位・研究室⾏事を加味した⾏き先選択
l 1-2年⽬は業務2:研究3、3年⽬は業務3:研究2
Copyright 2021 NTT Communications Corporation18

3. NISTへ

Copyright 2021 NTT CORPORATION

19

きっかけ

「そんなん、想像できるやろ︖」

Copyright 2021 NTT Communications Corporation

20

NISTのミッション
National Institute of Standards and Technology•

⽶国国⽴標準技術研究所、商務省配下の研究機関•

1901年にNational Bureau of Standardsとして設⽴

経済安全保障と⽣活品質向上に資する⽅法で、計測、標準、技術を進歩させることによって、⽶国の技術⾰新と産業競争⼒を強化
https://youtu.be/2j9BGVKbzS4

Copyright 2021 NTT Communications Corporation

21

概観
本部: メリーランド州
ゲイザースバーグ市

Copyright 2021 NTT CORPORATION

職員: 3,400+
協⼒: 3,500+
Material
Measurement
Laboratory

PhysicalMeasurement
Laboratory

Engineering
Laboratory

Information
Technology
Laboratory

Communication
Technology
Laboratory

NIST Center
for Neutron
Research22

Copyright 2021 NTT Communications Corporation23

フロー分析でボットネット攻撃予兆検知
NIST Technical Note 2111

ISPのフローデータを利⽤して、既知のC2を出⼊りするトラ
フィックの変化から、スパムメール増加の予兆を77%の精度で検知• アノテーション⾃動化• LSTM、GPUクラスタ (Enki)

C2

Internet

BotsRegisterKeepalive
Command

DDoS[action, target, parameter, etc.]
ResultScan[files, active hosts, etc.]

SpamInfection

ISP• Explainable (SHAP)
Copyright 2021 NTT Communications Corporation

24

Copyright 2021 NTT Communications Corporation

25

Copyright 2021 NTT Communications Corporation26

アノマリ検知の評価フレームワーク
NIST Technical Note 2142

• 悪性トラフィックの⽣成と各種パラメータ• 良性トラフィックと悪性トラフィックの混合• アノマリ検知システムの評価指標
組織内NWでのボット感染から情報漏洩の悪性トラフィック⽣成シミュレータも開発し、上記TNの拡張で論⽂投稿中
Copyright 2021 NTT Communications Corporation

27

Copyright 2021 NTT Communications Corporation

28

Copyright 2021 NTT Communications Corporation

29

Copyright 2021 NTT Communications Corporation

30

Copyright 2021 NTT Communications Corporation31

セキュリティ⾃動化のための標準

資産管理

脆弱性管理

設定管理

計画・評価

• Software
identification(SWID) tag• Common Platform
Enumeration (CPE)• National Vulnerability
Database (NVD)• CommonVulnerability Scoring
System (CVSS)• Vulntology• Security Content
Automation Protocol(SCAP)• National Checklist
Program (NCP)• CommonConfiguration
Enumeration (CCE)• Open Security
Control Assessment
Language (OSCAL)

Copyright 2021 NTT CORPORATION

National Vulnerability Database
標準に基づく脆弱性管理データの⽶国政府のリポジトリ• CVE-ID• 脆弱性の説明• CVSS v3/v2 ベーススコア• 参考情報、タグ（URL、種別︓ベンダアドバイザリー等）• CWE: Common Weakness Enumeration（共通脆弱性タイプ）• CPE: Common Platform Enumeration（共通ﾌﾟﾗｯﾄﾌｫｰﾑ⼀覧）
Copyright 2021 NTT Communications Corporation33

NVD: CVE件数（CVSS v2ベーススコア）

Copyright 2021 NTT Communications Corporation

https://nvd.nist.gov/general/visualizations/vulnerabilityvisualizations/cvss-severity-distribution-over-time as of Dec. 15, 2021

34

NVD: チームの役割
https://github.com/CVEProject/cvelist
MITRE/CNAからCVEデータを受領
・CVE-ID・脆弱性の説明
・参考情報

NVD分析

データフィード• CVSS• CWE• CPE• 参考情報、タグ• JSON• RSS• API：

https://nvd.nist.gov/vuln/data-feeds

Copyright 2021 NTT Communications Corporation

35NVD分析プロセス
MITRE/CNAからCVEデータを受領

NVD分析

データフィード• アナリストへの分析対象CVEの割り当て
1. CVEデータのレビュー、参考情報のサイト確認・追加、タグ
2. CWE選択
3. CVSS 2.0/3.1スコア算出
4. CPE割り当て• シニアアナリストによるレビュー
Copyright 2021 NTT Communications Corporation36

1. 参考情報、タグ
脆弱性の内容をできるだけ正確に把握し、CWE/CVSS/CPEの分析に必要な情報を揃える（透明性担保のため公開情報のみを参照）
例: CVE-2021-44228

Copyright 2021 NTT Communications Corporation37

2. CWE
単純化した脆弱性のカテゴリのビュー（CWE-1003）から選択
分析当時に情報不⾜やカテゴリにマッチしないものもある
例: CVE-2021-44228

Copyright 2021 NTT Communications Corporation

38

3. CVSS 2.0/3.1スコア
対応の優先度判断の指標となることも多い脆弱性の深刻度
CVEデータ、参考情報をもとに各要素を選択しベーススコア算出
例: CVE-2021-44228

Copyright 2021 NTT Communications Corporation39

4. CPE
CVEデータ、参考情報をもとにベンダ名、プロダクト名からCPE辞書を検索し、CPEを組み合わせて割り当て• 命名規則: NIST IR 7695 (CPE v2.3)•

cpe:2.3:part:vendor:product:version:update:edition:sw_edition:tar
get_sw:target_hw:language:other• Configurations•

単体、特定のHW上で動作するOS、インストール済のソフトウェア• CPE Match String Range:•

バージョンの範囲指定[“From”、”Up to”] x [“including”、”excluding”]

Copyright 2021 NTT Communications Corporation40

開発環境で1.5ヶ⽉間、⽇々分析
アナリストリーダーからのレクチャ
CVSS、CWE、CPEの仕様をあらためて知る
1⽇⼗数件の分析、都度チャットで質問
後⽇、公開されたNVDと⽐較して答え合わせCopyright 2021 NTT Communications Corporation

41

Copyright 2021 NTT Communications Corporation

42

Copyright 2021 NTT Communications Corporation

43問題提起、分析
3点の問題提起を⾏いチームで議論
1. CPEで表現できる粒度の適正化•

Windowsで特定のCU以前に脆弱性がある場合、CPEの”update”でCUを識別しているため、単体の修正パッチ（KB）適⽤有無が表現できない

2. 同⼀端末に関連する複数の脆弱性がある場合のCVSS考慮•

ローカルでの権限昇格の脆弱性がある端末に、RCEの脆弱性があった場
合に、CVSS環境スコアのModified Attack VectorをNetworkにするといった関連付けにCPEを活⽤

3. CPE割り当ての効率化
Copyright 2021 NTT Communications Corporation44理想︓CVEデータ->CPE

Copyright 2021 NTT Communications Corporation

45

現実︓“version_value”の例"Android-8.0”“18.3R2-S4“"See provided reference”“V500R001C30”"10 Version 1803 for x64based Systems”“All versions before 9.0.2”"All Versions < V1.04”“See advisory https://www.(略)”"12.1.0-12.4.0"

Copyright 2021 NTT CORPORATION“Ver.1.6”

46

Copyright 2021 NTT Communications Corporation47

CPE検索⾃動化の試み
versionの表記⽅法はベンダ固有も多く、正確な抽出は困難“vendor_name”と”product_name”から部分CPE（cpe:2.3:part:vendor:product:）の候補を⾃動的にリストアップするだけでも実作業は⼤幅に楽になる
1. 編集距離による類似度を⽤いた検索
2. ⾃然⾔語処理と機械学習を⽤いた他クラス分類

Copyright 2021 NTT Communications Corporation48

編集距離による類似度を⽤いた検索
同⽇取得のCPE辞書が検索対象
NVDのCPEとの⼀致率で評価⼀致率• ほぼ完全⼀致検索

13.4%

•

⼤⽂字を⼩⽂字に、” ”を”_”に置換• ファジー検索•＋ “corporation”等ストップワード、レーベンシュタイン距離

類似度が⾼いが不⼀致
Copyright 2021 NTT Communications Corporation

36.3%

CPE辞書のメンテナンス対象
49

Copyright 2021 NTT Communications Corporation

50

Copyright 2021 NTT Communications Corporation

51

Copyright 2021 NTT Communications Corporation

52

Copyright 2021 NTT Communications Corporation53

Copyright 2021 NTT Communications Corporation

54

NLP/MLを⽤いた他クラス分類“vendor_name”、”product_name”、”version_value”の⽂字列を連結、置換とストップワードを適⽤、TF-IDFベクトル化
NVDのデータから、部分CPE群を正解クラスとして、ランダム・仮説）ソフトウェアコンポーネントを複数のプロダクトに流用してフォレストで学習・テストいることが多いと考えられるため、部分CPEは同じパターン

部分CPE群（クラス）
cpe:2.3:a:oracle:jdk:
cpe:2.3:a:oracle:jrd:

Copyright 2021 NTT Communications Corporation

55

評価結果
1クラスに含まれるデータ数

継続的な評価Copyright 2021 NTT Communications CorporationCVE数

クラス数

正解率

1

10,601

3,712

62.8%

28,127

1,238

82.4%

37,113

731

87.9%

4

6,477

519

88.3%

56,013403

89.3%

⼀貫性あるCPE割り当て
56

NVDに携わってみて⾃動化できる範囲を広げていく•

100%を求めない

継続的なMeasurement（測定）は重要•⾃動化に向けたデータ品質 *1•

⾃動化の効果

理想と現実のはざまにはチャンスがたくさん•

脆弱性情報の共有は世界への貢献•

より良い使い⽅のためのフィードバック

Copyright 2021 NTT Communications Corporation*1 佐々⽊ら: “脆弱性管理のためのCPEマッチング⼿法の提案” CSS202157

平⽇のある⽇の過ごし⽅
研究、会議w/JP、睡眠ドラマ
⼣⾷
トレーニング、ピアノ

朝⾷研究

Copyright 2021 NTT Communications Corporation

昼⾷研究
58

週末のある⽇の過ごし⽅
研究、ドラマ睡眠
⼣⾷買物、ピアノ
朝⾷
ゴルフ
Copyright 2021 NTT Communications Corporation

昼⾷サッカー594. ふりかえり

Copyright 2021 NTT CORPORATION

60

思いがあったからきっかけを掴める
l MWS: 仕組み作るか︖
l 膨⼤なデータを有効活⽤したいl 博⼠: ⾏くか︖
l ガッツリ研究したい

l NIST: 想像できるやろ︖
l 世界に挑戦したい、⼊社動機を実現したい
Copyright 2021 NTT Communications Corporation

61実績の積み上げが⾃信になる
l MWS
l データセット整備・分析、コミュニティ運営l 博⼠
l 機械学習、論⽂、GRIT

l NISTl フロー分析、NVD、⽶国⽣活
Copyright 2021 NTT Communications Corporation

62

その他
l ⽣活全般l 1年⽬︓試⾏錯誤
l 2年⽬︓活動の幅の拡⼤
l 3年⽬︓⽇常l 英語l 当初、ミーティング前に喋る内容を考えたり下書き
l そのうち、適当に喋って、適当に聞き流すように
Copyright 2021 NTT Communications Corporation63

mitsuhiro.hatada@ntt.com

Copyright 2021 NTT CORPORATION64