セキュリティ製品の妥当性点検に向けた
アンチウイルスソフト検知率評価システムの提案及びその有効性の検討
北原 美里, 米谷 雄介, 後藤田 中, 小野 滋己, 青木 有香, 八重樫 理人,
藤本 憲市, 林 敏浩, 今井 慈郎, 最所 圭三, 喜田 弘司
香川大学
s16t225@stu.kagawa-u.ac.jp

Proposal of anti-virus software detection rate evaluation system for validity
check of security products and examination of its effectivenessMisato Kitahara , Yusuke Kometani , Naka Gotoda , Shigemi Ono , Yuka Aoki ,Rihito Yaegashi , Kenichi Fujimoto , Toshihiro Hayashi , Yoshiro Imai , Keizo Saisho ,Koji Kida
Kagawa Univ.
概要
近年のセキュリティ事故はマルウェア感染がきっかけになることが多く、マルウェア対策は緊急課題である。マルウェアは日々進化し、多種多様に開発されるためそれら（未種・亜種）全ての対策を同時に実施することは困難である。これに対し、香川大学では、導入したセキュリティ製品の妥当性評価のための調査を行っている。本稿ではまず、3 年に及ぶ手作業による本調査経験をふまえ、妥当性点検の課題を明らかにする。我々は、これら課題を解決するために、自動化するアンチウイルスソフト検知率評価システムを提案・開発した。
本稿では、提案システムの試作およびその運用結果について述べ、その有効性を考察する。

1

はじめに

2

近年のセキュリティ事故はマルウェア感染が2.1 手作業による妥当性点検

導入製品に対する点検の課題きっかけになることが多く、マルウェア対策は緊

本学では、標的型攻撃を受けると、ファイアウ急課題である。マルウェアは日々進化し、多種多ォールのサンドボックス機能が検知し、アラート様に開発されるため、それら（未種・亜種）全てのメールがセキュリティ運用者に通知される。妥当対策を同時に実施することは困難である。一方、性点検のために、アラートメールに記載されていアンチウイルスソフトウェアも多くのベンダーかるハッシュ値を VirusTotal [1] のフォームに入力ら提供されており、各ソフトウェアのパターンフする。ここで、妥当性点検とは、製品比較を行い、ァイルも日々更新される中、どのソフトウェアが導入した製品が予算・運用形態などの制約の中で自分たちの組織に適しているのか不明であり、調十分な性能を維持できているかを点検することでべる必要がある。香川大学では、人手でこの作業ある。VirusTotal では、入力されたハッシュ値に基を行ってきたが、仮にこれが自動化できた場合に、づき、VirusTotal が検体を提供している各社のアン対応したソフトウェア数や調査期間、パターン更チウイルスソフトウェアの対応状況を一覧として新の特性など従来調査できなかった情報を細かく確認できる。アンチウイルスソフトウェアはベン得ることができる。本稿ではこれの自動化を提案

ダーによって、対応期間に差が生じると仮定されする。

るため、上記操作を継続的に繰り返し、対応状況の時間変化を調査する必要がある。

337

2.2 香川大学における妥当性点検の現状されたサンドボックスからのアラートについて各セキュリティベンダーの対応状況を以下のルールにより分類を行っている
・「リアルタイム」：サンドボックスにおいて当該検体が初めて検知されたタイミングで、セキュは休日明けに調査することになるので、どのアンチウイルスソフトウェアが最初に対応できたかが判断できない。例えば、1 回目の調査が遅れリティベンダーでは既に検知されているもの

た場合、1 番最初に対応したアンチウイルスソ

・「後日更新」：数週間後に確認した際に対応状況

フトウェアがどれなのか見逃してしまうことがが検知済に変化したものありうる。

・「検知なし」：マルウェアとして検知されていな
いもの・「偽陽性」：初期段階では誤検知が多いという仮定を置き、初めて検知されたタイミングで 1 社

課題 2：現状は後日確認のタイミングが着弾時から約 2 週間置いて実施されている。この間の各セキュリティベンダーの対応の早さについてはだけ検知となっているもの評価できておらず、対応した順位が判断できな

以下の図 1 は、2018 年度における妥当性点検のい。これは人手による調査であるので細かく調結果を棒グラフで可視化したものである。縦軸は、査できず対応状況の時間変化が正確に判定でき各セキュリティ製品において、「リアルタイム」「後ないためである。

日更新」「検知なし」「偽陽性」に分類された検体の数を表す。
「リアルタイム」の検知数や「後日更新」を含む総検知数はセキュリティ製品によって異なることがわかる。「リアルタイム」の割合が課題 3： VirusTotal の各パターンファイルがまだ対応していないことにより、判定結果が不正確な場合があり、これを利用したアンチウイルス100%であったセキュリティ製品はみられず、サンソフトウェアの検知精度の評価結果も不正確にドボックス検出時（本学へ着弾時）にパターン定なる場合がある。現状は偽陽性の判断を課題 2

義で 100％検出可能アンチウイルスソフトは皆無で述べた通り、2 週間の期間を経て再調査によであるといえる。また、アンチウイルスソフトにり行っているが、最終的により細かく（毎日）、おいては「後日更新」となっているマルウェアが存在することに対して、サンドボックスでは検知できていることから、サンドボックスの効果は確より期間を 2 週間よりも長く（1 か月）調査することで、より正確な評価結果が得られる。
課題 4：近年、サンドボックスの性能向上により、認可能であるといえる。

メールに添付されている URL も検査対象となり、URL にアクセスしたサイトにマルウェアが仕込まれている場合も検知してくれる。そのようなフィッシングサイトについては VirusTotalに検体が上がっていない場合があり、VirusTotal で判定できない。ただし、例えば後日、フィッシングサイトへ誘導するメールが本学以外の組織に着弾することをきっかけに、
図 1

VirusTotal の判定基準が更新され、対応する可2018 年度の各社の対応状況

能性がある。このため VirusTotal でのチェック

2.3 妥当性点検の課題
前節の妥当性点検は、セキュリティ運用者が他の業務を兼ねながら負担のない範囲で一定の期間をおいて継続的に調査している[2]。このため以下の課題があげられる。

を継続的に行う必要がある。

3 課題解決のアイデア
以下の 3 つの機能で、前節の課題を解決する。
・リアルタイム初期調査機能： 一定期間毎にアラ

課題 1：現状の人手による方法では、休日に通知338ートメールが届いたかどうかを確認し、届いていれば調査する。香川大学では、1 日に最備えて、すでに受信したことがあるハッシュ値を大 10 件程度のアラートメールが来ることもCSV ファイルに保存しておき、本 CSV ファイルある。ただし、VirusTotal の更新間隔は 1 日単位で管理されることから、本システムも１日毎の調査に設定した。より具体的には、1 日を使って一度届いたことがあるかどうかをチェックすることで対応する（STEP-5）。本処理を定期の区切りとして 0 時に調査を行う設定として的に繰り返す（例えば 1 時間毎）ことによりサンいる。

ドボックスで検知されたファイルのハッシュ値が・継続調査のタイミング調整機能：検知件数の推移が見られないまま一定期間が経過すると判重複することなく CSV ファイルに保存される（STEP-6）。

定を行わない設定とすることを考えている。
本設定を行わない場合、すべてのハッシュ値を判定することになり、時間がかかってしまうからである。我々の試用では 4 時間かかったこともある。
・偽陽性判定機能：複数のアンチウイルスソフトウェアのうち 1 社だけがマルウェアと判定し、継続調査の後でも結果が変わらない場合は、その 1 社の判定結果を誤りとする。

4 開発中のシステム

図 2

前節の機能の実現に向けて、まずはハッシュ値に対応する各社アンチウイルスソフトウェアの対応状況を収集する基本システムを開発しテストした。本システムの機能を目標とするシステムとの検知情報抽出の処理フロー

4.2 対応状況収集アルゴリズム
前記の CSV ファイルからハッシュ値を読み込み(STEP-1)、VirusTotal で判定する(STEP-2)。ただ違いを示すため、便宜的に検知情報抽出機能、対し、この判定は VirusTotal の API を用いるが、こ応状況収集機能と呼ぶ。図 2 に検知情報抽出機能の API は、1 分間に 4 回しか使用できない制限がのアルゴリズム（検知情報抽出アルゴリズム）、図あるため、毎回 API を利用するごとに適宜スリー3 に対応状況収集機能のアルゴリズム（対応状況プを入れることで対応する。VirusTotal では、ア収集アルゴリズム）を示す。

ンチウイルスソフトウェアごとに検知の有無やパ4.1 検知情報抽出アルゴリズム
事前にサンドボックスからアラートメールが届く専用のアカウントを用意しておく。まず、このアカウントにログインし（STEP-1）、新規のアラートメールが届いていればメールの本文を受信する（STEP-2）。本メールには、マルウェアであるターンファイルのアップデート日時が json 形式で返ってき、CSV ファイルに保存する(STEP3、4)。
なお、アンチウイルスソフトウェアのバージョンや判定結果の検出名も返ってくるが、使用しないためその項目は削除する。
数時間おきに繰り返すと判定した根拠の情報や、ファイルのハッシュ値や、詳細な分析結果を記したウェブページへのリンクなどさまざまな情報が記述されている。この

メール情報（CSV形式）START
STEP-1
ハッシュ値をCSV
ファイルから読み込み

STEP-3
スキャン結果(json型)をCSVに変換

STEP-2
ハッシュ値をVirusTotalでスキャン

STEP-4変換したスキャン
結果をCSV形式でファイルに保存

中からハッシュ値をテキスト解析により抽出する（STEP-3、4）。ここで、サンドボックスからのア（オンラインスキャンサービス）

ラートメールは、同じハッシュ値でも繰り返し送られてくることがあり注意が必要である。これに対し、同じファイルが繰り返し検知される場合に339

END

図 3

対応状況収集の処理フロー

対応状況（CSV形式）

4.3 対応状況の時間変化を分析なった。これにより、どのアンチウイルスソフ判定結果を保存した CSV ファイルは Excel ファトウェアが最初に対応できたかが判断できる。

イルと関連付けられており、運用担当者が蓄積さ課題 2:本システム導入により、人手による方式とれた対応状況情報を任意のタイミングで Excel 上は異なり、毎日のチェック結果が蓄積される。にインポートすることができる。読み込んだ判定

このため、各セキュリティベンダーの対応の早結果は、ピボットテーブルの集計表と連携しておさを評価でき、対応し順位が判断できる。

り、クリックのみで集計結果を更新することがで

課題 3: 本システム導入により、人手による方式ときる。担当者は、集計結果を別のワークシートには異なり、偽陽性の判断を毎日かつ 2 週間以上コピーし、分類を行ったり、図 4 のような時系列の長期に渡り、調査をすることができる。このでグラフ化したりするなど、対応状況の変化を分ため、偽陽性の判断をより正確に実施できる。

析することができる。本システムは 2019 年 5 月

課題 4: 本システム導入により、人手による方式と23 日から稼働を開始している。

は異なり、VirusTotal で即時判定できないよう現在は、1 日毎に調査する設定だがこれをより短なフィッシングサイト等のケースにおいても、い時間にしていくことでリアルタイム初期調査機

VirusTotal で対応できるまで調査を継続する能が実現できる。また、図 4 に示したように、あことにより、本ケースも対応可能である。

るファイルに対する検知件数は時間経過後に一定値に収束することが分かる。このような変化をも6 おわりに本システムはマルウェアが届いた瞬間に調査を機能も実現できる。これに加えて、最終的に陰性開始でき、継続調査によりアンチウイルスソフトと判定されたファイルについて遡って検知時点のの対応状況の時間変化が分かるだけでなく検知結各社の判定結果と突き合わせることでマルウェア果の誤りも評価できることが特徴である。これら

検知当初にどの製品が偽陽性と判定したかを知るの情報はアンチウイルスソフトの妥当性点検の判ことができ、偽陽性判定機能も実現できる。

断材料として活用する。また、今回はこれまでの妥当性点検の手作業における課題を解決するために VirusTotal から返された「検出有無」のデータを用いた。他にもアンチウイルスソフトのバージ果の情報を得ることができる。これらの情報を活

6月3日

6月1日

6月2日

5月31日

5月29日

5月30日

5月28日

5月26日

5月27日

5月25日

ョンやサンドボックスによるマルウェアの分類結
5月23日

3530
25
20
1510
50

5月24日

検知件数とに調査を継続すべきか判断でき、継続調査判定用することでバージョンや分類ごとの検知率の違日付いなどより詳細な分析が可能である。今後はこれファイルA(8a93877b7e396abb1c333129f378691988928c6649d533dad9724a9c907d8054)

らの情報を含めた可視化についても検討したい。

ファイルB(bf5e00fa491b76fcceea0b8de133f5c28e20c556facce6652e6bca60fa946746)

図 4

時系列グラフ参考文献

5 有効性の考察
2 章の課題 1 から課題 4 に関して、本システムの効果を以下に考察する。
課題 1:システム化したことにより、現状の人手による方法とは異なり、休日に関わらず 1 日毎に調査が実施され、休日に通知されたサンドボックスからのアラートについても解析が可能と340[1] VirusTotal 、 https://www ． virustotal ．
com/ja/ （参照日:2018 年 09 月 03 日）．
[2] 小野 滋己、後藤田 中、米谷 雄介、青木 有香、八重樫 理人、藤本 憲市、林 敏浩、今井慈郎、最所 圭三、“パターン定義に要する対
応期間の調査に基づくセキュリティ製品の妥
当性点検“、大学 ICT 推進協議会 2018 年度年
次大会（AXIES2018）論文集、WA1-3、2018 年
11 月 21 日．