ログインログの収集と不正アクセス検知

http://www.slideshare.net/kawasima/clojure-30414922

以前のtokyo.cljで話した内容ですが、Stormを使った不正アクセス検知の仕組みの実装をちゃんと作りなおしてみたので、ここに詳細書いておきます。

http://www.nikkei.com/article/DGXMZO77794750R01C14A0000000/

最近またリスト型攻撃が増えてきているようで、対策に頭を悩まされているエンジニアも少なくないのではないでしょうか。リスト型攻撃はファイアウォールやWAFで防ぐことが難しく、インテリジェントな判断が必要になります。

そこで、複数のサイトからログインのログ(Database)をリアルタイムで収集し、リスト型アクセスっぽいものを解析しアラートを、監視コンソールにあげるという仕組みをプロトタイプとして作ってみました。

![mine-canary.png](https://qiita-image-store.s3.amazonaws.com/0/8475/4fc726be-67a5-756c-0791-5da13260a300.png)

## ログインログの収集

ログインログは、ユーザのログイン試行時に、各Webアプリのデータベースのテーブルにその成否が書き込まれる想定です。

```sql
create table login_log (
  logined_at timestamp not null,
  account varchar2(100) not null,
  ip_address varchar2(15) not null,
  success char(1) not null);
```

これを既存のWebアプリに変更を加えることなく、取得するにはデータベースのEvent機能を使うとよいです。

Oracleの場合、[DBMS_ALERT](http://www005.upp.so-net.ne.jp/khayashi/ora_trig.html)を使うと、Webアプリとは別コネクションで、テーブルへの更新がリアルタイムに取得できるようになります。

```sql
CREATE OR REPLACE TRIGGER login_log_after_insert
AFTER INSERT
   ON login_log
   FOR EACH ROW
BEGIN
   DBMS_ALERT.SIGNAL('NEW_LOGIN',
                     (cast(SYS_EXTRACT_UTC(:new.logined_at) as date)
                      - cast(from_tz(timestamp '1970-01-01 00:00:00', '00:00')
                      - as date)) * 24 * 60 * 60 || ' '
                     || :new.account || ' '
                     || :new.ip_address || ' '
                     || :new.success);
END;
/
```

変更はトリガを仕込んでおいて、`DBMS_ALERT.SIGNAL`でアラートを発生させるようにします。

これを別のコネクションからキャッチします。

```clj
(reset! oracle-conn (j/get-connection oracle-db))
 (let [stmt (.prepareCall @oracle-conn "{call DBMS_ALERT.REGISTER(?)}")]
  (doto stmt
    (.setString 1 "NEW_LOGIN")
    (.executeUpdate)
    (.close)))
(let [stmt (.prepareCall @oracle-conn "{call DBMS_ALERT.WAITANY(?,?,?,?)}")]
  (doto stmt
    (.registerOutParameter 1 Types/VARCHAR)
    (.registerOutParameter 2 Types/VARCHAR)
    (.registerOutParameter 3 Types/INTEGER)
    (.setInt 4 300)))
```

これで`LOGIN_LOG`テーブルにINSERTがされた瞬間に、ALERTをキャッチできるようになります。これをログサーバに送信してあげます。

https://github.com/kawasima/mine-canary/tree/master/example/log-collector

ここではflumeを使います。これは冒頭のスライドに書いてあるように、flumeの設定やオリジナルのSourceやSinkをClojureで実装できるようにしてあります。

## ログインログの送信

これも冒頭のスライドに書いていますが、flumeとstoｒmを連携は間にメッセージキューを挟むのがよくある実装例っぽいのですが、別立てするの面倒なので、WebSocketを使った自前の組み込み型のメッセージ送信のライブラリ`ulon-colon`を使っています。

https://github.com/kawasima/ulon-colon/

そうすると、送信側

```clj
(defsink ulon-colon-sink
  :start  (fn [] (start-producer))
  :process (fn [event]
             (produce (String. (.getBody event)))))
```

受信側は

```clj
(consume-sync consumer
  (fn [msg]
    (emit-spout! collector [msg]))))
```

とたったこれだけのコードで、メッセージ送信できるようになります。

## 不正アクセスの検知

Stormを使って収集したログインログを解析します。これ用のSpoutとBoltのセットをmine-canaryとして作りました。

https://github.com/kawasima/mine-canary/

こんな感じで一定期間に5回以上同一ユーザでログイン失敗した人を検出するBoltを書きます。

```clj
;;; 一定時間内に同一ユーザの大量のログイン失敗を検出する
(defbolt failures-by-same-user ["account" "times"] {:prepare true}
  [conf context collector]
  (let [counts (atom {})]
    (bolt
     (execute [tuple]
       (let [[tm account ip-address success?] (.getValues tuple)
             tm (long (Double/parseDouble tm))
             success? (= success? "1")]
         (when-not success?
           (let [failures-tm (get @counts account [])]
             (reset! counts
                   (assoc @counts account (->> (conj failures-tm tm)
                                               (sort >)
                                               (take 5)
                                               vec))))
           (when (in-the-period? (@counts account))
             (emit-bolt! collector [account (@counts account)] :anchor tuple)))
         (ack! collector tuple))))))
```

## 監視コンソールへの通知

Webアプリとしてmine-canaryの監視コンソールを作っているので、不正アクセスの通知をリアルタイムに受けることができます。

https://github.com/kawasima/mine-canary-console/

監視コンソールはWebSocketでmine-canaryにコネクションを貼っていて、不正アクセスの発生イベントのPushを待ちます。ここの連携も前述の[ulon-colon](https://github.com/kawasima/ulon-colon/)を使っています。
ulon-colonにはClojureScriptのconsumerも付いているので、直接メッセージをブラウザに配信できるのです。

ちなみに、監視コンソールは[om](https://github.com/swannodette/om)を使って書いていますが、このulon-colonとomを組み合わせると、サーバからpushされたメッセージを受け取り順次表示するみたいなコードも、簡潔に書けます。

```clj
(defcomponent main-app [app owner]
  (will-mount
   [_]
    (consume (:consumer app)
      (fn [msg]
        (om/transact! app :alerts #(conj % msg)))))

  (render
   [_]
   (html
     [:div.ui.list
      (for [{:keys [account times]} (:alerts app)]
       [:div.item
        [:i.icon.frown]
        [:div.content
         [:div.header "Suspicious attack"]
         [:div.description (format-times account times)]]])])))

(om/root main-app {:alerts [] :consumer (make-consumer "ws://localhost:56293")}
         {:target (.getElementById js/document "app")})
```

こうして、mine-canaryであげた不正アクセスの兆しが、リアルタイムに監視コンソールに表示されるようになります。
ログイン用のexampleアプリも[friend](https://github.com/cemerick/friend)を使って[作ってみました](https://github.com/kawasima/mine-canary/tree/master/example/login-app)ので、そこからログインを何回か失敗してみます。

![SnapCrab_NoName_2014-10-8_14-25-55_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/8475/a438f1c6-fa02-5b44-d641-b14b123b88b2.png)

すると、監視コンソールにメッセージがリアルタイムであがってきます。

![SnapCrab_NoName_2014-10-8_14-25-19_No-00.png](https://qiita-image-store.s3.amazonaws.com/0/8475/48ffadf4-3844-2892-a424-7d6c07b679c2.png)


## 実際に使うには…

実際のリスト型攻撃は、より巧妙になってきているのでmine-canaryのBoltのルール調整が必要です。どのくらいのユーザ・期間を監視対象とするかにもよりますが、Stormはインメモリにデータを溜め込むのが基本なので、それなりのノード数が必要になると思われます。