NML - Network Muscle Learning - Project

Web: https://nml.ai/

Contact: info@nml.ai

研究代表者 関谷勇司

サイバー脅威ビッグデータ解析によるリアルタイム攻撃検知と予測(東京大学 情報基盤センター)

Real-time threat detection and prediction by analyzing cyberthreat big data

本研究の目的サイバー脅威の課題
・毎日大量に発生するインシデント(1) サイバー脅威ビッグデータのストリーミング解析基盤構築

・属人的対応の改善

・高度化・組織化する攻撃(2) 知識ベースを用いたサイバー脅威予測手法の確立

・経験則による調査

・日々出現する新しい攻撃手法(3) インシデントレスポンスの自動化基盤とその要素技術

・対応者の能力に依存した対策立案(4) リアルデータによる実証実験

c%!$+- 

ビッグデータからの異常検知

予防策の実施被害最小化のための対抗策

確認

自動発見

過去事例からのAI による攻撃(異常)検知と対策の提案

#- &-

類似提案発見対応手法の提案

セキュリティ担当者AI による攻撃予測

攻撃事例のオープンデータ化

迅速な対策の決定と行動

・パケットコンテンツをビット列として深層学習に利用

Loss of training data
・ビット列の出現頻度が悪性通信と良性通信で異なる特性を持つと仮定
Loss of validation data

・CIC-IDS2017データセットに対して高精度な検知結果を獲得

・時系列データの蓄積を念頭に置いたデータ構造とコアスケールを活用した分散
データ蓄積および検索システム(hayabusa) eecdddemu

R

X PS
SdP
X PS
RR
Ru

Sd
LQ Ph
LQ
R hgir/R

ysRu/

M beQDP
MSdbeQD
hR
hwith GPU

with GPUnka
Sd aP
RR
Rn

R

B
LQnu

Loss of validation datalr/X

With GPURysFR

TCP Synストリーム画像と深層学習を用いた悪性判定

ysLQ

BLQnB
LQ

Accuracy of training data
Accuracy of validation data

Hayabusa: Simple and Fast Full-Text Search Engine for Massive System Log Data
Hiroshi Abe, Keiichi Shima, Yuji Sekiya, Daisuke Miyamoto, Tomohiro Ishihara, Kazuya Okada
Proceedings of the 12th International Conference on Future Internet Technologies, DOI : 10.1145/3095786.3095788

2017 8 44500 0034 0000 4000 4006 e6e1 c0a8 0004

⇨ 0x45→1、0x50→1、0x00→11、0x03→1、0x34→1、0x40→2、…
Loss of training datar/hMPP/////cDr/Rw

SdPcehRhe
AReh

0x0000://eNeB

Accuracy of training data
Accuracy of validation data

IPパケット特徴ベクトルの計算• ホスト10台、かつ1台あたりのワーカ数を1から16まで増加させる
スケールアウト性能評価
IPパケット中に出現する数字を数え上げる(パケットBag of Featues)• 1ホスト1 worker 249秒から10ホスト10 workerで6.8秒まで短縮(a) Our method (optimizer = Adam)

Hayabusaアーキテクチャ/t・対ブルートフォース：AUC 0.995
・対ボットネットトラフィック: AUC 0.996

分散検索（Workerスケールアウト）

・10台の分散環境で140億レコードの全文検索を5秒で完了

eA

CREST Interview @ JST・深層学習の分野で大きな成果を上げた画像認識の概念を応用

リアルタイム分析基盤Hayabusae

パケットBag of Featuresによる深層学習を用いた悪性判定

これまでの研究成果

R()"#- !$)* ', "'2017 8 4

Sd PPSdSdPRRR

結果のフィードバック

アシスト

アシスト

影響範囲の推定o

ワークフローによるセキュリティ対策%!$+- ()" 

過去のインシデント対応事例

攻撃の動機に関する情報

攻撃の種類

T

(5) サイバー脅威オープンデータの作成

AIによるアシストの必要性

10

CREST Interview @ JST・ダークネットに到着したTCP Synと通常のネットワークに到着した

URL文字列のBag of Featuresによる深層学習を用いた詐称サイト判定

Prediction results

・TCP Synパケットの情報を画像化
・Timestamp、Src/Dst ports、Sequence #、Window size(b) eXpose (optimizer = Adam)

TCP Synに現れる違いを画像認識技術を使って判定

Fig. 4. Learning curves of our method (a) and eXpose (b): The blue lines indicate results of training data and the orange lines indicate results of validation
data of each epoch while training each model.

・ダークネットに到着した接続(悪性接続と仮定)のうち・URLをASCIIURL Classiﬁcationcodeのビットパターンとみなしてパターンの出現頻度を計上
with Stupid URL Vectorizer
TABLE IV.
P REDICTION RESULTS OF THE DATASET SHOWN IN
Keiichi SHIMA (IIJ Innovation Insitute / WIDE Muscle Learning Team)・ビットパターンの出現頻度をURLの特徴ベクトルとして学習DATASET SHOWN IN TABLE I

TABLE III USING THE TRAINED NEURAL NETWORK MODEL WITH THE

Our method

95.17%

93.76%

96.78%0.9525

eXpose92.99%

93.00%

92.99%

0.9299

詐称サイト判定精度

&%• ) of research(CNN)
One of the issues when working on this type
• "' %!
is that using a generalized dataset is really difficult.
Theapproaches sometimes optimized to the target datasets,which• &
SYN"' CNN&
悪いSynと良いSynの画像例
学習に用いたニューラルネット
are the only datasets that the authors can accessin many• $SYN"':
10934(#SYN"': 17469(cases. In the image
recognition field, researchers haveSYNseveral
128-unit
SYN
pictures4common datasets such as MNIST that can be used to evaluateeach researchers’ proposal with a same baseline. Probably we5Normalneed to start the effort to build shared datasets for network
data too.
100

www.iij.ad.jp/index.html
Split characters

Convert the URL into HEX values

7777772E69696A2E61642E6A703F696E6465782E68746D6C• Our approach achieved

SYN

Extract 8-bits values by shifting 4 bits in the HEX values

VII.

3F,F6,69,96,6E,E6,64,46,65,57,78,82,2E,E6,68,87,74,46,6D,D6,6C

77,77,77,77,77,72,2E,
E6,69,96,69,96,6A,A2,2E,E6,61,16,64,42,2E,
E6,6A,A7,70

95% of accuracy which
was also better than theeXpose

path part respectively (Bag of features)Classiﬁcation using URL2CSV and SVM

Fig. 5. ROC curves and AUC values measured with the prediction datasets
as shown in Table III using our model and eXpose model

9URLs" captured at WIDE project and今後の展望

phishtank.com.

The result shows that the vector

trends of white URLs and black URLs
quited i ﬀ e3-r e01 n02t 03 a04 n05d 06070809101112

東大マーク with
基本型〈タテ〉
distinguishable
high accuracy.

1314

2017年度の成果
・ビッグデータ解析基盤
基本型〈タテ〉

東大マーク集

15
2

最小サイズ

・単一攻撃検知へのAI活用

20172018

2019

The debatable point is that it is not possible to prove which
15
method is better or best. In this area, analyzing network log
ビッグデータストリーム解析基盤
サイバー脅威データ収集と格納
shown only in thispaper. The accuracy may change depending
data using neural network
technologies, we lack a common
on the target environment. The eXpose paper showed their
4 http://yann.lecun.com/exdb/mnist/classification accuracy
was more than 99.9%; however as複雑な攻撃に対する自動検出技術の研究
we
個別の攻撃に対する自動検出技術

26,000 "black URLs" provided byarePROJECT

AIを活用した攻撃検知技術

攻撃予測技術の研究

インシデントレスポンス調査

インシデントレスポンス自動化設計

早期警戒システム設計と実装

15mm

・インシデントレスポンスフローの調査とモデル化

次年度に向けた基礎研究を完了

Malicious

In this paper, we proposed a new neural network model
for classifying URLs into benign and phishing. The learning
overhead of the proposed network is light because the topology
consists of just three layers of linear networks. Shorter learning
time make it possible to try with many different kinds of datato optimize the neural network topology. Since the accuracy issometimes affected by the quality of training data, more trials
may result in more suitable networks.
2Count the number of unique values for the host part and the URL
Keiichi Shima, Daisuke Miyamoto, Hiroshi Abe, Tomohiro Ishihara, Kazuya Okada, Yuji Sekiya, Hirochika Asai, Yusuke Doi, “Classification of URL
bitstreams using Bag of Bytes”, 1st International Workshop on Network Intelligence (NI2018), Feb 2018 (http://member.wide.ad.jp/~shima/publications/20180219-ni2018-url-clf.pdf)

We tried to classify 25,000 "whiteC ONCLUSION...

using the trained modelwith the dataset ofw w w . i i j . a d . j p / i n d e x . h t m l
2017-04-25

F-measure

Dropout

We invented a stupidly simple method to vectorize a URL as shown below.

Recall (%)

FlatteningHow
datasetto
onvectorize?
2017-05-25
URL特徴ベクトルの計算

Precision (%)

2D Pooling• Try to predict future

OK, then, how can we encode URLs to vectors?

URL2CSV

Accuracy (%)

show,
if we change the dataset the result changes. For the same
・51%以上の接続を99%以上の確率で悪性接続と判定
reason, if the data sources are changed, our mechanism may
producelower accuracy than in this paper.
・86%以上の接続を50%以上の確率で悪性接続と判定

2D Convolution

・94%の正確さで詐称サイトと通常サイトを判別
To utilize ML/DL techniques, we need to encode target entities into vectors.
We need Vectors

インシデントレスポンス運用実験
運用自動化基盤の統合と洗練
リアルデータによる実証実験
サイバー脅威オープンデータ公開

統合シス

テムの提供