見えログ: 人間による計算機ログ解析を支援するログ情報ブラウザ
高田 哲司
Sony CSL, Interaction Lab.
DBWeb 2003

ログ情報とは?
こんなものである

計算機ログ情報
各種サーバ
監視システム検知システム

稼働状況把握種々の異常検出

Log-files

不正侵入対策システム管理にとって重要かつ唯一の情報源

ログ情報の調査は必要不可欠

現状は?
• やってない (定期的に実施 44%)
• 地道に手作業• 既成/独自のスクリプトで定期的に処理• 既成のログ監査システムを利用

ログ調査の問題点(1)• ログ情報認識負荷の大きさ
文字情報/膨大な量= 単調かつ退屈な長時間作業• 注目すべきログ情報の不明確さ
どれが不正行為の痕跡かが不明確= 異常事象/ログ自体への知識が必要

ログ調査の問題点(2)• 手作業
人間は異常認識/判定能力は高いが、長時間の単調作業に正確性を求めるのは困難• 自動化は困難?
キーワード抽出等だけで大丈夫?
現状で抽出できている情報だけで大丈夫?
今はいいが、今後は?

人間側の問題• 認識負荷の問題• 長時間の単純作業• 専門知識や経験「決してほめられない作業」という実態も...

ログ側の問題• 文字情報• 膨大な量• 多様な記録内容、データ形式と偏在性• 注目すべき情報の不明確さ• すべての記録が重要ではない• あらゆるログメッセージを知る人なんていない

現状のログ生成は調査のことを考慮していない

何が必要か?
人間による調査を支援する

ログの望ましくない特性を補う
lesLog-fi

Human Interfaceが必要!

なぜブラウザなのか?
• 自動化は困難
人間が見ることが大事• 人間による調査が必要
対話性が必要不可欠見えログ
視覚的&対話的ログ情報ブラウザ

見えログの特徴
1. 情報視覚化
情報認識の容易さ、対話的操作

2. 異常ログメッセージの抽出
頻度解析と視覚的パターンを用いた抽出支援

3. ログの統合
時間に基づくログの統合
記録フォーマットの違いを吸収情報視覚化とは?(1/3)• Scientific Visualization (情報可視化)• 専門家が使用• 科学的現象の解明• 物理データ/測定結果/シミュレーション結果が対象• Information Visualization (情報視覚化)• 誰もが利用 (インタフェース)• 検索/関連の発見• 関係などの抽象的なデータが対象• プログラムの実行状態、Web構造、ファイルシステム• 対話性を重視• 図になってからが大事視覚化の分類(2/3)
データ

視覚化手法

ScientificVisualization

具体的固定的Data
Visualization

具体的

自由

Information
Visualization

任意自由(増井俊之氏のWebより引用)

情報視覚化による利点 (3/3)• 情報の把握を容易かつ高速に• 多くの(量/種類)の情報を一度に提示可能• 対話的作業による直感的なデータ処理

文字情報の認識は逐次処理、画像情報の認識は並列処理

見えログ: Module構成

Computer
Logs

Log
conversion
andintegration

Frequency
information
extraction

Frequency
Information

GLF
formatted
Log

Visualization

SystemAdministrator

Well-known
Extraction Rules(Keywords)

三種の処理から構成

Visual Screen

中間Log形式(1)General Log Format
One log message

Tag 1

TimeTag 2

Message

ログ変換例
Jan 10 18:42:02 foo.ac.jp in.telnetd[2424]: connect from someone.else.net
Extraction
andConversion

998972366

foo.ac.jp

in.telnetd

connect from someone.else.net

TimeTag 1

Tag 2

Message中間Log形式(2)
変換方法は自由
現状は...
Tag1: 計算機(ホスト)名
Tag2: ログを出力したプログラム名
UNIX系OSのsyslogの出力形式と同一

変換の目的• 種々の計算機ログへの対応と時刻による統合• 出現頻度解析のためのデータクリーニング

異常を表すログとは...
• 既知の異常を表すメッセージ• めったに現れないメッセージ
あれ? みたことのないログが出力されてる• めったに現れないメッセージ出力状況
ある特定の時間帯に大量のログ出力

仮説: 異常をあらわすログは、大量の正常をあらわすログの中に埋もれている!

疑わしいログの抽出方法• 既知の異常を表すメッセージ
キーワード定義によるパターン検索• めったに現れないメッセージ
出現頻度による抽出• めったに現れないメッセージ出力状況
視覚的パターンによる抽出

出現頻度解析
単語の出現頻度

ログメッセージ

connect from tokyo
connect from tokyo
connect from osaka
connect from kyoto
connect from osaka
connect from tokyo
connect from osaka
connect from osaka
connect from kyoto
connect from hakata
connect from osaka
connect from tokyo
...

抽出

出現数

単語

12125421connect
fromosaka
tokyo
kyoto
hakata句の出現頻度

調査者が注目すべき
ログメッセージ

出現数句

12542
1

connect fromfrom osaka
from tokyo
from kyoto
from hakata

画面構成
1. タグ表示領域
2. 時間表示領域
3. アウトライン表示領域
4. メッセージ表示領域
1.

2.

3.

4.

タグ情報表示領域

GLF形式のログ

集約

タグ名

出現数

in.telnetd
in.ftpd
sshd
su4
3
2
1

青色(出現数最大)

視覚化

出力数に基づきタグ名をソート

出現数に応じてグラデーション

赤色(出現数最小)• 格子の数
ログを出力したプログラムの種類• 格子の色各プログラムからのログ出力数の概要

時刻情報表示
二種類の情報提示方法を採用• 全時間帯における出力傾向記録された全時間帯を定期期間ごとに区切り、各期間ごとの出力数を提示• 周期期間毎の出力傾向
曜日と毎時毎にログの出力数を集計して提示

全時間帯における出力傾向
時間軸t

集計期間

ログ出力数集計

GLF形式のログ

集計期間

ログ出力数

Oct 25 8時台
Oct 25 9時台
Oct 25 10
Oct 25 11
Oct 25 12Oct 25 13
Oct 25 14
Oct 25 15...

58203360312025...

この例での集計期間は1時間

一定期間ごとのログ出力数を集計

周期的特徴による集約
時間軸t

周期

ログ出力数
集計

曜日に基づく周期的傾向
曜日 Sun. Mon. Tue. Wed. Thu. Fri. Sat.
出力数

GLF形式のログ

01035791毎時に基づく周期的傾向
毎時

0 1 2 3 420 21 22 23

出力数

4 6 5 0 1

14 8 12 17周期における単位期間毎のログ出力数を集計

時刻情報表示領域
出力傾向の表示

周期的特徴の表示
曜日別毎時別火 100 0
1 32 5月9
水2
木3

金 12
土1日019 920 1021 1822 1223 5

各時間帯の出現数を格子状に図化
格子の色はログ出力数を表す
最大が白、最小が黒時刻(1時間毎) 出力数

曜日
別時
間
軸毎時
別

出力数

Mar 1 10
Mar 1 11
Mar 1 12Mar 1 13
Mar 1 14
Mar 1 15
Mar 1 16
Mar 1 17
Mar 1 18231412
111

出力傾向はヒストグラムとして表示

調査事例1
時間情報の視覚化に注目した調査例
ある一定数のログ出力が連続して続いている

しばらくの間、ログの出力はほとんどない
曜日では木曜日に毎時では17時台にログ出力が多い

特定の時間帯に大量のログ出力があるOutline表示領域
connect from milano
yp_all error
fatal connection failed
su succeeded by H

• 各ログメッセージを線として抽象化• 線の長さはログメッセージの文字列長に対応• 色はタグ情報表示領域で割り当てたした色(タグ別出現頻度)

ログメッセージを概略図化
広域の概要把握を容易に/パターン認識が可能に調査事例2
アウトライン表示に注目した調査例
通常時異常例1

異常例2

同一パターンのログメッセージ出力

同一Tagから同じメッセージ長の連続したログ出力
明らかに周囲とは異なるログメッセージ

明らかに平時とは異なるログメッセージ
出力群

Message表示領域
文字による表示 + 注目すべきログの提示

注目すべきログのハイライト表示
赤背景色

パターン検索によるキーワード抽出

青背景色

頻度解析
によるキーワード抽出

調査事例3
メッセージ表示領域に注目した調査例
青色のハイライトは出現頻度に基づく低出現頻度の単語や句出現頻度による抽出なし

赤色のハイライトは既定のキーワード等に一致した単語

低閾値による出現頻度抽出を実行

中程度の閾値による出現頻度抽出を実行対話機能
人間による調査作業を支援• 閲覧支援• 要約(縮退)• 発見支援• フィルタリング• 低出現頻度情報の抽出対話機能(1/3)
フィルタリング機能• タグ• 時刻• アウトライン• 単語

demonstration

対話機能(2/3)• 低出現頻度と推測されるログの取得• タグ(アウトライン)• 単語/句

demonstration

対話機能(3/3)• 閲覧支援• ログの要約(縮退)demonstration

利点• ログ情報認識負荷の軽減
図化によるログ情報認識の容易化
概要から詳細までシームレスに認識可• 注目すべき(疑わしき)ログの提示
キーワードによるパターン検索
低出現頻度(単語/句)
図的パターン• 対話的調査
人間による作業を支援
見えログ内で作業を完結可能

今後の課題• 低出現頻度 = 疑わしいログか?
抽出された情報 = 調査すべき情報か?
他の抽出方法の模索• 作業における自由度の高さ疑わしいログ発見のための定型処理は?

• さらなる調査負担の軽減“見る”作業に対する負担軽減策は?
処理の自動化、多様なログへの対応• 膨大な量のログへの対応• 調査だけでなく監視へ
http://www.csrs.is.uec.ac.jp/ にて論文公開

不正侵入対策と視覚化システム
他の研究事例• 鼓• ログデータ分析用ビジュアルブラウザ• Intrusion and Misuse Detection in Large-Scale Systems

視覚化例1: 鼓

特定の事象に注目した視覚的監視システム

鼓: 視覚化手法(1)
アクセスホストとユーザの関連を表す線

host E

利用ユーザの存在を表す立方体

host D
host A

host C
アクセスホストの存在を表す球

host B

管理者権限取得を行ったユーザの存在を表す円錐

アクセスホスト名

アクセス - ログイン - 管理者権限取得の状態遷移を視覚化

鼓: 視覚化手法(2)Suspicious
国外からのアクセス

運用環境において成立する条件を規則として定義し各層に割り当てる
見知らぬまたは疑わしいホストからのアクセスを視覚的に表現

まず間違いなく不正アクセス

特定サイトを除きほとんどは不正アクセスと疑うべき国内(その他)からのアクセス
国内法人、他大学からのアクセス

共同研究している大学とOBのいる会社のみ問題なし

大学内からのアクセス

同じ講座や実験棟ならば問題なし

研究室内からのアクセス

まず問題なしSafe

層はアクセスホストを管理者のポリシに応じて分類し、視覚化視覚化例2:
ログデータ分析用ビジュアルブラウザの設計
平石 広典、溝口 文雄
コンピュータセキュリティシンポジウム2000、情報処理学会、pp.277--282, Oct 2000

ログデータの効率的な閲覧を可能とするログブラウザ• 平時のユーザの利用状況の把握• 不正侵入時の痕跡発見支援

Hyperbolic Treeによる視覚化

Hyperbolic Treeによる視覚化

各円周上に意味付け、ノードの高さは子ノードの数

Hyperbolic Cellによる視覚化

一定時間間隔ごとのコマンド実行履歴

Hyperbolic Cellによる視覚化視覚化例 3:Intrusion and Misuse Detection in Large-Scale Systems
R.F.Erbacher, K.L.Walker and D.A.Frincke
IEEE CG&A, Vol.22, No.1, pp.38-48, 2002

視覚化手法(1)視覚化手法(2)ログ解析手法• 定量分析(閾値モデル)• 統計的手法• 閾値学習モデル• 多変量モデル• 状態遷移モデル• 確率分布モデル• クラスター分析• Neural Network• Genetic Algorithm• Data Mining参考文献
不正侵入検知の教科書となる書籍• ネットワーク侵入検知
武田 圭史/磯崎 宏著、ソフトバンク
ISBN4-7973-1253-X• INTRUSION DETECTION
Rebecca Gurley Bace、Macmillan Technical Publishing
ISBN1-57870-185-6

おわり