(57)【要約】【課題】正規サイトを介して攻撃者がマルウェアに指令を送信しようとしている場合であっても、これを悪性度の高い通信として検知し、かつ、検知のための分析時間を低減する。【解決手段】悪性通信パターン検知装置は、マルウェア感染端末および監視対象ＮＷの端末それぞれの通信ログから通信先の遷移状態を示す通信パターンを抽出する。そして、悪性通信パターン検知装置は、マルウェア感染端末の通信ログから抽出したマルウェア通信パターンの特徴量、および、監視対象ＮＷ通信ログから抽出した監視対象ＮＷ通信パターンの特徴量を抽出し、検知モデルに登録する。悪性通信パターン検知装置は、検知対象となる監視対象ＮＷの通信について、この検知モデルを用いて、マルウェア通信パターンとどの程度似ているか、また、監視対象ＮＷ通信パターンとどの程度似ているかに基づき当該通信の悪性度を算出する。【選択図】図１
2015222471.tif 000002
【特許請求の範囲】
【請求項１】
マルウェアに感染した端末および監視対象ネットワークの端末それぞれの通信ログから、前記それぞれの端末の一連の通信先のうち、前記端末の第一の通信先と、その後の通信先である第二の通信先とのペアを示す通信パターンの抽出を行う通信パターン抽出部と、
前記マルウェアに感染した端末の通信ログから抽出した通信パターンであるマルウェア通信パターンの特徴量、および、前記監視対象ネットワークの端末の通信ログから抽出した通信パターンである監視対象ネットワーク通信パターンの特徴量の取得を行い、前記取得した各通信パターンの特徴量を、悪性通信を検知するための検知モデルに登録する特徴量抽出部と、
検知対象となる通信の通信ログの入力を受け付ける入力部と、
前記検知対象となる通信の通信ログから抽出された通信パターンである検知対象通信パターンに対する、前記マルウェア通信パターンの特徴量、および、前記監視対象ネットワーク通信パターンの特徴量を前記検知モデルから取得し、前記取得したマルウェア通信パターンの特徴量が大きいほど、また、前記取得した監視対象ネットワーク通信パターンの特徴量が小さいほど、前記検知対象通信パターンの悪性度の値を高く算出する悪性度算出部とを備えることを特徴とする悪性通信パターン検知装置。
【請求項２】
前記通信パターンは、前記第一の通信先と第二の通信先との通信の発生間隔に関する情報をさらに含み、
前記特徴量抽出部は、前記検知モデルにおけるマルウェア通信パターンの特徴量として、さらに、前記マルウェア通信パターンにおける通信の発生間隔の特徴量の取得を行い、また、前記監視対象ネットワーク通信パターンの特徴量として、さらに、監視対象ネットワーク通信パターンにおける通信の発生間隔の特徴量の取得を行い、
前記悪性通信パターン検知装置は、さらに、
前記検知モデルにおける各通信の発生間隔の特徴量を参照して、前記検知対象通信パターンの通信の発生間隔と前記マルウェア通信パターンの通信の発生間隔の類似度、および、前記監視対象ネットワーク通信パターンの通信の発生間隔の類似度を算出する生起間隔類似度算出部を備え、
前記悪性度算出部は、さらに、前記算出されたマルウェア通信パターンの通信の発生間隔の類似度が高いほど、また、前記算出された監視対象ネットワーク通信パターンの通信の発生間隔の類似度が低いほど、前記悪性度の値を高く算出することを特徴とする請求項１に記載の悪性通信パターン検知装置。
【請求項３】
前記特徴量抽出部は、前記検知モデルにおけるマルウェア通信パターンの特徴量として、前記マルウェア通信パターンに含まれる通信パターンごとに、前記マルウェアに感染した端末の通信ログにおいて、当該通信パターンが所定時間以内に繰り返し登場する度合いを示した値であるマルウェア繰り返しパターン特徴量を取得することを特徴とする請求項１または２に記載の悪性通信パターン検知装置。
【請求項４】
前記特徴量抽出部は、前記検知モデルにおける監視対象ネットワーク通信パターンの特徴量として、前記監視対象ネットワーク通信パターンに含まれる通信パターンごとに、前記監視対象ネットワークの端末の通信ログにおいて、当該通信パターンが登場する度合いを示した値であるネットワークログ頻出パターン特徴量を取得することを特徴とする請求項１〜３のいずれか１項に記載の悪性通信パターン検知装置。
【請求項５】
前記特徴量抽出部は、前記検知モデルにおける監視対象ネットワーク通信パターンの特徴量として、前記監視対象ネットワーク通信パターンに含まれる通信パターンごとに、前記監視対象ネットワークの端末の通信ログにおいて、当該通信パターンに示される第一の通信先への通信の後、当該通信パターンに示される第二の通信先への通信の発生する割合を示した値であるパターン内関連性強度特徴量を取得することを特徴とする請求項１〜４のいずれか１項に記載の悪性通信パターン検知装置。
【請求項６】
前記通信パターン抽出部は、前記監視対象ネットワーク通信パターンを抽出する際に、予め取得しておいた前記マルウェア通信パターンに出現する通信パターンを抽出することを特徴とする請求項１〜５のいずれか１項に記載の悪性通信パターン検知装置。
【請求項７】
前記悪性度算出部は、前記通信ログから、ＵＲＬ（Uniform  Resource  Locator）を前記通信先として抽出した通信パターン、ＦＱＤＮ（Fully  Qualified  Domain  Name）を前記通信先として抽出した通信パターン、および、ＵＲＬのパスを前記通信先として抽出した通信パターンの少なくともいずれかについて悪性度を算出し、前記算出した通信パターンの悪性度を統合した値を算出することを特徴とする請求項１〜６のいずれか１項に記載の悪性通信パターン検知装置。
【請求項８】
マルウェアに感染した端末および監視対象ネットワークの端末それぞれの通信ログから、前記それぞれの端末の一連の通信先のうち、前記端末の第一の通信先と、その後の通信先である第二の通信先とのペアを示す通信パターンの抽出を行うステップと、
前記マルウェアに感染した端末の通信ログから抽出した通信パターンであるマルウェア通信パターンの特徴量、および、前記監視対象ネットワークの端末の通信ログから抽出した通信パターンである監視対象ネットワーク通信パターンの特徴量の取得を行い、前記取得した各通信パターンの特徴量を、悪性通信を検知するための検知モデルに登録するステップと、
検知対象となる通信の通信ログの入力を受け付けるステップと、
前記検知対象となる通信の通信ログから抽出された通信パターンである検知対象通信パターンに対する、前記マルウェア通信パターンの特徴量、および、前記監視対象ネットワーク通信パターンの特徴量を前記検知モデルから取得し、前記取得したマルウェア通信パターンの特徴量が大きいほど、また、前記取得した監視対象ネットワーク通信パターンの特徴量が小さいほど前記検知対象通信パターンの悪性度の値を高く算出するステップとを含んだことを特徴とする悪性通信パターン検知方法。
【請求項９】
マルウェアに感染した端末および監視対象ネットワークの端末それぞれの通信ログから、前記それぞれの端末の一連の通信先のうち、前記端末の第一の通信先と、その後の通信先である第二の通信先とのペアを示す通信パターンの抽出を行うステップと、
前記マルウェアに感染した端末の通信ログから抽出した通信パターンであるマルウェア通信パターンの特徴量、および、前記監視対象ネットワークの端末の通信ログから抽出した通信パターンである監視対象ネットワーク通信パターンの特徴量の取得を行い、前記取得した各通信パターンの特徴量を、悪性通信を検知するための検知モデルに登録するステップと、
検知対象となる通信の通信ログの入力を受け付けるステップと、
前記検知対象となる通信の通信ログから抽出された通信パターンである検知対象通信パターンに対する、前記マルウェア通信パターンの特徴量、および、前記監視対象ネットワーク通信パターンの特徴量を前記検知モデルから取得し、前記取得したマルウェア通信パターンの特徴量が大きいほど、また、前記取得した監視対象ネットワーク通信パターンの特徴量が小さいほど前記検知対象通信パターンの悪性度の値を高く算出するステップとをコンピュータに実行させることを特徴とする悪性通信パターン検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、悪性通信パターン検知装置、悪性通信パターン検知方法、および、悪性通信パターン検知プログラムに関する。
【背景技術】
【０００２】
近年、情報漏えいや不正アクセス等の脅威をもたらす不正プログラム（以下、「マルウェア」と呼ぶ）が猛威を振るっている。マルウェアは、感染後に攻撃者からサーバ等を介して指令を受け取り、攻撃や情報漏えい等の脅威をもたらす。その際、一般に使われているホスティングサービスやソーシャルネットワーキングサービスを介して、マルウェアに対して指令を送る攻撃者の存在が確認されている（非特許文献１参照）。
【０００３】
発見されるマルウェアの数の増加も著しく、数秒に１つの新たなマルウェアが出現しているということが報告されている（非特許文献２参照）。そのため、アンチウィルスソフト等のエンドポイントでの対策だけではマルウェアによる脅威を防ぎきれない。そこで、通信データを分析し、マルウェアに感染した端末を特定することでマルウェアの脅威を低減させる手法が注目されている（非特許文献３参照）。
【０００４】
マルウェアに感染した端末を検知する手法として、マルウェアが実行された際に通信する通信先の情報をブラックリストとして保有し、ブラックリストに掲載された通信先への通信か否かをもって、マルウェアに感染した端末を検知する手法が一般に行われている。また、マルウェア解析で確認された通信データの状態遷移に基づいてマルウェアに感染した端末を検知する手法もある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５００９２４４号公報
【非特許文献】
【０００６】
【非特許文献１】Chasing  CnC  Servers  -  False  positives、[online]、[平成26年3月12日検索]、インターネット<URL：http://www.fireeye.com/blog/technical/botnet-activities-research/2010/09/chasing-cnc-servers-part-2.html>
【非特許文献２】McAfee脅威レポート：2013年第1四半期、[online]、[平成25年9月3日検索]、インターネット<URL：http://www.mcafee.com/japan/media/mcafeeb2b/international/japan/pdf/threatreport/threatreport13q1.pdf>
【非特許文献３】Sebastian  Garcia他、Survey  on  network-based  botnet  detection  methods、Security  and  communication  networks  2013、[online]、[平成26年3月13日検索]、インターネット<URL：http://onlinelibrary.wiley.com/doi/10.1002/sec.800/full>
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の技術には以下のような問題があった。すなわち、前述のマルウェアが実行された際の通信先には、無害かつ一般にアクセスされることが多い通信先が含まれる。このため、マルウェアの解析で得られた全ての通信先をブラックリストにすると誤検知が多発してしまう。一般にアクセスされることが多いサイトをホワイトリストとして利用し、ブラックリストへの掲載を抑制するという対処も考えられるが、その場合、一般にアクセスされるサイトを介してマルウェアに指令を送る攻撃者との通信を見逃してしまう。また、前述の特許文献１に記載の手法の場合、膨大な通信データそのものを分析対象としているため、分析に多大な時間を要してしまう。
【０００８】
そこで、本発明は、上述の問題を解決し、一般にアクセスされることが多いサイトを介して攻撃者がマルウェアに指令を送信しようとしている場合であっても、これを悪性度の高い通信として検知し、かつ、検知のための分析に要する時間を低減することを課題とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するため、本発明は、マルウェアに感染した端末および監視対象ネットワークの端末それぞれの通信ログから、前記それぞれの端末の一連の通信先のうち、前記端末の第一の通信先と、その後の通信先である第二の通信先とのペアを示す通信パターンの抽出を行う通信パターン抽出部と、前記マルウェアに感染した端末の通信ログから抽出した通信パターンであるマルウェア通信パターンの特徴量、および、前記監視対象ネットワークの端末の通信ログから抽出した通信パターンである監視対象ネットワーク通信パターンの特徴量の取得を行い、前記取得した各通信パターンの特徴量を、悪性通信を検知するための検知モデルに登録する特徴量抽出部と、検知対象となる通信の通信ログの入力を受け付ける入力部と、前記検知対象となる通信の通信ログから抽出された通信パターンである検知対象通信パターンに対する、前記マルウェア通信パターンの特徴量、および、前記監視対象ネットワーク通信パターンの特徴量を前記検知モデルから取得し、前記取得したマルウェア通信パターンの特徴量が大きいほど、また、前記取得した監視対象ネットワーク通信パターンの特徴量が小さいほど前記検知対象通信パターンの悪性度の値を高く算出する悪性度算出部とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、一般にアクセスされることが多いサイトを介して攻撃者がマルウェアに指令を送信しようとしている場合であっても、これを悪性度の高い通信として検知し、かつ、検知のための分析に要する時間を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、悪性通信パターン検知装置の処理の概要を示す図である。
【図２】図２は、悪性通信パターン検知装置の構成を示す図である。
【図３】図３は、通信パターンの抽出を説明する図である。
【図４】図４は、検知モデルの構成例を示す図である。
【図５】図５は、マルウェア繰り返しパターン特徴量の抽出を説明する図である。
【図６】図６は、通信ペアおよび通信の発生間隔を説明する図である。
【図７】図７は、通信パターン抽出部の処理手順を示す図である。
【図８】図８は、モデルデータ抽出部の処理手順を示す図である。
【図９】図９は、生起間隔類似度算出部の処理手順を示す図である。
【図１０】図１０は、悪性度算出部の処理手順を示す図である。
【図１１】図１１は、悪性通信パターン検知プログラムを実行するコンピュータを示す図である。
【発明を実施するための形態】
【００１２】
（概要）
以下、本発明を実施するための形態（実施形態）について説明する。本発明は本実施形態に限定されるものではない。まず、図１を用いて、本実施形態の悪性通信パターン検知装置１０の概要を説明する。
【００１３】
悪性通信パターン検知装置１０は、検知対象となる監視対象ネットワーク（ＮＷ）の端末の通信の悪性度を検知結果として出力する装置である。この悪性度は、マルウェアに感染した端末からの通信である可能性の高さを示す値である。悪性度の算出は、以下のようにして行われる。
【００１４】
まず、悪性通信パターン検知装置１０は、マルウェアに感染した端末の通信ログであるマルウェア解析ログと、監視対象ＮＷの端末の通信ログである監視対象ＮＷログ（モデル用監視対象ＮＷログ）とを取得する。通信ログは、例えば、監視対象ＮＷの通信機器により得られる通信ログであり、通信元の端末からの一連の通信先、各通信先との通信が発生した時間等の情報を含む。そして、悪性通信パターン検知装置１０は、マルウェア解析ログと監視対象ＮＷログとを参照して、検知モデルを生成する。この検知モデルは、悪性通信パターンの検知に用いられるモデルであり、マルウェア通信（マルウェアに感染した端末からの通信）の通信パターンの特徴量（マルウェア通信パターン特徴量）と、監視対象ＮＷの通信パターンの特徴量（監視対象ＮＷ通信パターン特徴量）と、それぞれの通信パターンの発生間隔の情報（通信パターン発生間隔情報）とを含む。
【００１５】
その後、悪性通信パターン検知装置１０は、生成した検知モデルを用いて、検知対象の監視対象ＮＷログ（つまり新たな監視対象ＮＷログ）に登場する通信パターンの悪性度を算出する。具体的には、悪性通信パターン検知装置１０は、検知モデルを参照して、検知対象の監視対象ＮＷログに含まれる通信パターンが、マルウェア通信の通信パターンとどの程度似ているか、また、モデル用監視対象ＮＷログに示される通信の通信パターンとどの程度似ているかをスコアリングすることで、当該通信パターンの悪性度を算出する。そして、算出した悪性度を検知結果として出力する。
【００１６】
ここで、悪性通信パターン検知装置１０は、検知対象の監視対象ＮＷログの通信パターンが、マルウェア通信の通信パターンと似ているほど悪性度を高くし、モデル用監視対象ＮＷログに示される通信（正常通信）の通信パターンと似ているほど悪性度を低くする。これにより、悪性通信パターン検知装置１０はマルウェア通信と似ており、かつ、正常通信と似ていない通信パターンを悪性度の高い通信パターンとして検知できる。
【００１７】
また、悪性通信パターン検知装置１０は、検知対象の監視対象ＮＷログが、マルウェア通信およびモデル用監視対象ＮＷログに示される通信（正常通信）とどの程度似ているかを分析する際に、通信パターンを用いる。この通信パターンは、通信ログに示される通信元の端末からの一連の通信先について、当該端末がどの通信先への通信の後、どの通信先への通信を行ったか、またそれぞれの通信先への通信の時間間隔等を示す情報である。これにより、検知対象の通信が、マルウェア通信および正常通信それぞれとどの程度似ているかを、通信先の遷移や、その通信先への遷移に要する時間を考慮して分析できるので、通信の悪性度の算出精度を向上させることができる。その結果、例えば、攻撃者が一般にアクセスされることが多いサイトを介してマルウェアに指令を送信しようとしている場合であっても、これを悪性度の高い通信として検知することができる。さらに、悪性通信パターン検知装置１０は、上記の分析において、通信ログを用いるので、通信データそのものを用いるよりも、分析に要する時間を低減できる。
【００１８】
（構成）
次に、悪性通信パターン検知装置１０を説明する。図２に示すように、悪性通信パターン検知装置１０は、検知モデル生成部１１と、検知部１２とを備える。
【００１９】
検知モデル生成部１１は、マルウェア解析ログと監視対象ＮＷログとを用いて検知モデルを生成する。
【００２０】
マルウェア解析ログは、マルウェア解析により得られたマルウェアに感染した端末の通信ログであり、例えば、ハニーポットで収集されたマルウェアを実際に動作させることにより得られる。なお、マルウェア解析ログに含まれる通信ログの各エントリには、例えば、マルウェア解析の実施ごとに設定される解析ＩＤ、マルウェアの通信先、通信の発生した時刻等が含まれており、通信の発生した順に並べられている。マルウェア解析ＩＤは、例えば、Linux（登録商標）のuuidgenコマンドのような、乱数や時刻をベースにした文字列により構成される。このマルウェア解析ログは、通信ログの他に、マルウェア解析により得られるレジストリアクセスやファイルアクセスのログ等を含んでもよい。
【００２１】
また、監視対象ＮＷログは、監視対象ＮＷのFireWallやWebProxy等の通信機器によって監視対象ＮＷから外部に対して通信を行った際に取得される通信ログで、通信元の端末のＩＰ（Internet  Protocol）アドレス、通信先、通信の発生した時刻等が含まれており、通信の発生した順に整列されている。この監視対象ＮＷログは所定期間分を予め蓄積しておくものとする。このマルウェア解析ログおよび監視対象ＮＷログは、悪性通信パターン検知装置１０の記憶部（図示省略）の所定領域に記憶される。
【００２２】
なお、マルウェア解析ログおよび監視対象ＮＷログにおける通信先は、例えば、通信先のＩＰアドレス、ＵＲＬ（Uniform  Resource  Locator）全体、クエリストリングを除くＵＲＬ、ＦＱＤＮ（Fully  Qualified  Domain  Name）、ＵＲＬのパス部分等である。
【００２３】
この検知モデル生成部１１は、通信パターン抽出部１１１とモデルデータ抽出部１１２とを備える。
【００２４】
通信パターン抽出部１１１は、マルウェア解析ログおよび監視対象ＮＷログから通信パターンを抽出する。なお、マルウェア解析ログから抽出された通信パターンをマルウェア通信パターンと呼び、監視対象ＮＷログから抽出された通信パターンを監視対象ＮＷ通信パターンと呼ぶ。
【００２５】
例えば、通信パターン抽出部１１１が、図３に示すように、通信元の端末からの通信先がＡ、Ｂ、Ｃであり、通信先がＡ→Ｂ→Ｃという順に出現した旨の通信ログを取得した場合、この通信ログについて、所定のタイムウィンドウ（Ｔ）内に登場する通信先のペア（トリガ通信先と関連通信先との通信ペア）を通信パターンとして抽出する。なお、このタイムウィンドウの起点は通信元の端末からトリガ通信先への通信が発生した時刻である。トリガ通信先とは、通信ペアを構成する最初の通信先（第一の通信先）であり、関連通信先とは、タイムウィンドウの中で出現するトリガ通信先を除く通信先（第二の通信先）である。例えば、通信パターン抽出部１１１は、図３に示す通信ログから、タイムウィンドウ（Ｔ）をずらしながら、このタイムウィンドウ（Ｔ）に含まれるＡ→Ｂ、Ａ→Ｃ、Ｂ→Ｃという３つの通信ペアを通信パターンとして抽出する。また、ここでは図示を省略したが、通信パターン抽出部１１１は通信パターンに、それぞれの通信ペア（Ａ→Ｂ、Ａ→Ｃ、Ｂ→Ｃ）の時間間隔に関する情報も記録する。なお、上記の処理でタイムウィンドウをずらしていった結果、タイムウィンドウ内に１つしか通信先が含まれない場合、つまり、トリガ通信先の関連通信先がない場合、当該トリガ通信先の関連通信先がない状態の通信パターンを抽出するものとする。このタイムウィンドウ（Ｔ）の値は、悪性通信パターン検知装置１０の管理者等が適宜設定可能である。
【００２６】
通信パターン抽出部１１１は、上記の処理をマルウェア解析ログと監視対象ＮＷログの両方に対して行う。
【００２７】
モデルデータ抽出部１１２は、通信パターン抽出部１１１により得られたマルウェア通信パターンおよび監視対象ＮＷ通信パターンそれぞれの特徴量を取得し、取得した特徴量をモデルデータとして検知モデルに登録する。なお、マルウェア通信パターンの特徴量をマルウェア通信パターン特徴量と呼び、監視対象ＮＷ通信パターンの特徴量を監視対象ＮＷ通信パターン特徴量と呼ぶ。
【００２８】
検知モデルには、モデルデータとして、マルウェア通信パターン特徴量と、監視対象ＮＷ通信パターン特徴量と、通信パターン発生間隔情報とが登録される。図４に例示するように、マルウェア通信パターン特徴量は、例えば、マルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）を含み、監視対象ＮＷ通信パターン特徴量は、ＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）、パターン内関連性強度特徴量（Ｌｒｅｄｉｒ）を含む。通信パターン発生間隔情報は、マルウェア通信パターン発生間隔情報、監視対象ＮＷ通信パターン発生間隔情報を含む。マルウェア通信パターン発生間隔情報は、例えば、マルウェア通信の発生間隔の平均値（μｍ）および標準偏差（σｍ）で表され、監視対象ＮＷ通信パターン発生間隔情報は、例えば、監視対象ＮＷの通信の発生間隔の平均値（μｌ）および標準偏差（σｌ）で表される。この検知モデルのモデルデータは悪性通信パターン検知装置１０の記憶部（図示省略）の所定領域に記憶される。
【００２９】
図２の検知部１２は、検知モデルを参照して、検知対象となる通信ログの通信パターンの悪性度を算出する。検知部１２は、通信パターン抽出部１２１と、生起間隔類似度算出部１２２と、悪性度算出部１２３とを備える。
【００３０】
通信パターン抽出部１２１は、検知対象となる通信ログから通信パターンを抽出する。この検知対象となる通信ログは、悪性通信パターン検知装置１０の入力部（図示省略）から入力される。この通信パターンの抽出方法は、検知モデル生成部１１の通信パターン抽出部１１１と同様なので説明を省略する。
【００３１】
生起間隔類似度算出部１２２は、検知モデルの通信パターン発生間隔情報を参照して、検知対象となる通信ログの通信パターンが、マルウェア通信パターンの生起間隔とどの程度類似しているか、また監視対象ＮＷの通信パターンの生起間隔とどの程度類似しているかを示す値（生起間隔類似度）を算出する。
【００３２】
悪性度算出部１２３は、検知モデルを参照して、検知対象となる通信ログの通信パターンの悪性度を算出する。具体的には、検知部１２は、検知モデルを参照して、検知対象となる通信ログ（監視対象ＮＷログの通信ログ）の通信パターンの、マルウェア通信パターン特徴量の大きさ、および、監視対象ＮＷ通信パターン特徴量の大きさを取得する。そして、検知部１２は、取得したそれぞれの特徴量と、生起間隔類似度算出部１２２により算出された生起間隔類似度とを用いて検知対象となる通信ログの通信パターンの悪性度を算出する。そして、悪性度算出部１２３は算出した悪性度を検知結果として出力する。
【００３３】
検知モデル生成部１１および検知部１２の詳細はフローチャートを用いて後記する。
【００３４】
（処理手順）
以下、悪性通信パターン検知装置１０の処理手順を説明する。
【００３５】
（検知モデル生成部の通信パターン抽出部）
まず、図７を用いて検知モデル生成部１１の通信パターン抽出部１１１の処理手順を説明する。通信パターン抽出部１１１は、マルウェア解析ログおよび監視対象ＮＷ通信ログに対し、以下の処理を行う。
【００３６】
まず、通信パターン抽出部１１１は、処理対象が、マルウェア解析ログであるか、それとも監視対象ＮＷログであるかを判定し（Ｓ１）、処理対象がマルウェア解析ログであった場合（Ｓ１でＹｅｓ）、送信元識別子（通信元の端末の識別情報）としてマルウェア解析ＩＤを設定する（Ｓ４）。一方、処理対象が監視対象ＮＷ通信ログであった場合（Ｓ１でＮｏ→Ｓ２でＹｅｓ）、通信パターン抽出部１１１は、送信元識別子として送信元ＩＰアドレスを設定する（Ｓ３）。なお、処理対象が、マルウェア解析ログ、監視対象ＮＷ通信ログのいずれでもなかった場合（Ｓ２でＮｏ）、処理を終了する。
【００３７】
通信パターン抽出部１１１は、まだ通信パターンの抽出を行っていない送信元識別子が存在するとき（Ｓ５でＹｅｓ）、この通信パターンの抽出を行っていない送信元識別子の１つを読み込み対象の送信元識別子と設定し（Ｓ６）、当該送信元識別子の通信ログを読み込む（Ｓ７）。そして、通信パターン抽出部１１１は、通信ログを読み込んだ際、当該通信ログの最初のエントリに通信パターンを抽出する開始点であることを示すインデックスを設定する（Ｓ８）。一方、通信パターン抽出部１１１は、通信パターンの抽出を行っていない送信元識別子が存在しなければ（Ｓ５でＮｏ）、処理を終了する。
【００３８】
Ｓ８の後、通信パターン抽出部１１１は、インデックスが設定されているエントリに掲載されている通信先と時刻を読み込み、インデックスが設定されているエントリに掲載されている通信先をトリガ通信先として設定する（Ｓ９）。次に、通信パターン抽出部１１１は、インデックスが設定してあるエントリの次のエントリ以降を読み込む。そして、通信パターン抽出部１１１は、トリガ通信先との通信が発生した時刻から、所定時間（例えば、タイムウィンドウ（Ｔ））以内に出現した全ての通信先を関連通信先として設定し、トリガ通信先と各関連通信先との通信ペアを通信パターンとして設定する（Ｓ１０）。
【００３９】
このとき通信パターン抽出部１１１は、各通信パターンについて、当該通信パターンのトリガ通信先と各関連通信先との間の発生間隔（時間間隔）を取得し、各通信パターンと、取得したトリガ通信先と各関連通信先との発生間隔をモデルデータ抽出部１１２に転送する（Ｓ１１）。
【００４０】
例えば、通信先Ａとの通信が出現した後、タイムウィンドウ（Ｔ）以内に通信先Ｂ、Ｃとの通信が出現した場合、トリガ通信先は通信先Ａとなり、Ａ→Ｂ、Ａ→Ｃの２つ通信ペアを通信パターンとして設定し、この２つの通信パターンそれぞれの通信ペアとその通信ペアの発生間隔とをモデルデータ抽出部１１２に転送する。
【００４１】
Ｓ１１の後、通信パターン抽出部１１１は、通信ログにインデックスが設定されていないエントリが存在すれば（Ｓ１２でＹｅｓ）、インデックスを１インクリメントして（Ｓ１３）、Ｓ９へ戻る。一方、通信ログにインデックスが設定されていないエントリが存在しなければ（Ｓ１２でＮｏ）、Ｓ５へ戻る。
【００４２】
このようして通信パターン抽出部１１１は、マルウェア解析ログおよび監視対象ＮＷ通信ログから通信パターンを抽出する。
【００４３】
なお、通信パターン抽出部１１１が監視対象ＮＷログを読み込む際には、まず、マルウェア通信ログの通信パターンを取得しておき、その後、監視対象ＮＷログから、当該通信パターンに登場する通信ペアからなる通信パターンを抽出してもよい。このように、監視対象ＮＷログから抽出する通信パターンを限定することで、監視対象ＮＷログからの通信パターンの抽出処理に要する時間を低減することができる。
【００４４】
また、説明を省略したが、検知部１２の通信パターン抽出部１２１も、検知対象となる監視対象ＮＷログを対象に、同様の手順で通信パターンの抽出を行う。そして、通信パターン抽出部１２１は、抽出した通信パターンを、生起間隔類似度算出部１２２および悪性度算出部１２３へ転送する。
【００４５】
（モデルデータ抽出部）
次に、図８を用いて検知モデル生成部１１のモデルデータ抽出部１１２の処理手順を説明する。まず、モデルデータ抽出部１１２は、マルウェア通信パターンから、マルウェア通信パターン特徴量の抽出を行う。
【００４６】
モデルデータ抽出部１１２は、通信パターン抽出部１１１により抽出されたマルウェア通信パターンを読み込み（Ｓ２１）、マルウェア通信パターンに含まれる通信パターンごとに、マルウェア通信ログ中に、当該通信パターンが所定時間以内に所定回数以上存在することが確認された送信元識別子数を、当該通信パターンが確認された送信元識別子数で除算した結果を、マルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）として取得する（Ｓ２２）。
【００４７】
例えば、モデルデータ抽出部１１２が図５に例示するマルウェア通信の通信ログからマルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）を抽出する場合を考える。図５において、Ｔ１は通信ペアを取得するためのタイムウィンドウであり、Ｔ２は通信ペアの登場回数をカウントするためのタイムウィンドウである。この場合、モデルデータ抽出部１１２は、マルウェア通信ログから、通信パターン（例えば、タイムウィンドウ（Ｔ１）以内に登場するＡ→Ｂの通信ペア）が所定時間（例えば、タイムウィンドウ（Ｔ２））以内に所定回数（例えば、３回）以上存在することが確認された送信元識別子数を取得する。また、モデルデータ抽出部１１２は、マルウェア通信ログから当該通信パターン（例えば、Ａ→Ｂの通信ペア）が確認された送信元識別子数を取得する。そして、モデルデータ抽出部１１２は、マルウェア通信ログ中に、当該通信パターン（例えば、Ａ→Ｂの通信ペア）が所定時間以内に所定回数以上存在することが確認された送信元識別子数を、当該通信パターンが確認された送信元識別子数で除算する。モデルデータ抽出部１１２は、このような処理をマルウェア通信パターンの通信ペアそれぞれに対し実行した結果をマルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）として取得する。なお、このタイムウィンドウ（Ｔ１、Ｔ２）の値、通信パターンの存在回数（例えば、３回）の値は、悪性通信パターン検知装置１０の管理者等が適宜設定可能である。
【００４８】
このようにして取得されたマルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）は、マルウェアが攻撃者から指令を受け取るためのサーバに対して繰り返し通信を試みる動作を捉えたものであり、本特徴量が大きいことは、通信パターンがマルウェアに特徴的なものであることを意味する。
【００４９】
図８の説明に戻る。モデルデータ抽出部１１２は、Ｓ２２の後、マルウェア通信パターンの通信パターンごとに当該通信パターンの発生間隔の平均値（μｍ）および標準偏差（σｍ）をマルウェア通信パターン発生間隔情報として取得する（Ｓ２３）。そして、モデルデータ抽出部１１２は、Ｓ２２で取得したマルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）とＳ２３で取得したマルウェア通信パターン発生間隔情報（μｍ、σｍ）を検知モデルに登録する（Ｓ２４）。Ｓ２４の後、マルウェア通信パターンで未処理のものが存在しなければ（Ｓ２５でＮｏ）、Ｓ２６へ進み、マルウェア通信パターンで未処理のものが存在すれば（Ｓ２５でＹｅｓ）、Ｓ２２へ戻る。
【００５０】
Ｓ２６において、モデルデータ抽出部１１２は、監視対象ＮＷ通信パターンを読み込む。そして、モデルデータ抽出部１１２は、読み込んだ監視対象ＮＷ通信パターンの通信パターンごとに当該通信パターンが確認された送信元識別子の数を、当該監視対象ＮＷログに含まれる送信元識別子数で除算した結果を、ＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）として取得する（Ｓ２７）。
【００５１】
例えば、モデルデータ抽出部１１２は、監視対象ＮＷ通信パターンにおいて通信パターン（Ａ→Ｂ）が確認された送信元識別子の数を取得する。そして、モデルデータ抽出部１１２は、通信パターン（Ａ→Ｂ）が確認された送信元識別子の数を、当該監視対象ＮＷログに含まれる送信元識別子数で除算する。モデルデータ抽出部１１２は、このような処理を、監視対象ＮＷ通信パターンの通信パターンそれぞれに対し実行した結果をＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）として取得する。
【００５２】
このようにして取得されたＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）は、監視対象ＮＷ通信パターンに登場する各通信パターンが監視対象ＮＷにおいて一般的に発生する度合いを定量化したものである。本特徴量が大きいことは、監視対象ＮＷ内の多くの端末から当該通信パターンが確認されることを意味する。例えば、前記した例でいうと、通信パターン（Ａ→Ｂ）に関するＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）が大きいということは、監視対象ＮＷの多くの端末から通信パターン（Ａ→Ｂ）が確認されることを意味する。つまり、監視対象ＮＷにマルウェア感染端末が少ないという前提をおくと、本特徴量が大きいということは、当該通信パターンがマルウェアに感染した場合に発生する可能性が低いことを意味する。
【００５３】
図８の説明に戻る。モデルデータ抽出部１１２は、監視対象ＮＷ通信パターンの通信パターンごとに、当該通信パターンが確認された数をトリガ通信先が確認された数で除算した結果を、監視対象ＮＷログにおけるパターン内関連性強度特徴量（Ｌｒｅｄｉｒ）として取得する（Ｓ２８）。
【００５４】
例えば、モデルデータ抽出部１１２は、監視対象ＮＷ通信パターンにおいて通信パターン（Ａ→Ｂ）が確認された数を取得する。また、モデルデータ抽出部１１２は、監視対象ＮＷ通信パターンにおいて、当該通信パターン（Ａ→Ｂ）のトリガ通信先（Ａ）が通信先として確認された数を取得する。そして、モデルデータ抽出部１１２は、当該通信パターンが確認された数をトリガ通信先が確認された数で除算する。モデルデータ抽出部１１２は、このような処理を監視対象ＮＷ通信パターンの通信パターンそれぞれに対し実行した結果をパターン内関連性強度特徴量（Ｌｒｅｄｉｒ）として取得する。本特徴量は、トリガ通信先（例えば、Ａ）が確認された際に、どの程度の確率で関連通信先（例えば、Ｂ）との通信が確認されるのかを表しており、トリガ通信先（例えば、Ａ）との通信が関連通信先（例えば、Ｂ）との通信を引き起こす確からしさを表す指標となる。換言すると、パターン内関連性強度特徴量（Ｌｒｅｄｉｒ）は、例えば、監視対象ＮＷにおけるＨＴＴＰ（HyperText  Transfer  Protocol）でのリダイレクトや画像の読み込み等、ある通信先に行くと必ず発生する通信先との関係を数値化した指標となる。
【００５５】
監視対象ＮＷにマルウェア感染端末が少ないという前提をおくと、本特徴量が大きいことは、正常通信で発生する可能性が高い通信パターンであり、当該通信パターンはマルウェアに感染した場合に発生する可能性が低いことを意味する。
【００５６】
モデルデータ抽出部１１２は、監視対象ＮＷ通信パターンの通信パターンごとに、当該通信パターンの発生間隔の平均値（μｌ）および標準偏差（σｌ）を算出し、これを監視対象ＮＷ通信パターン発生間隔情報として取得する（Ｓ２９）。例えば、モデルデータ抽出部１１２は、通信パターン（例えば、Ａ→Ｂ、Ａ→Ｃ、Ｂ→Ｃ）ごとに、それぞれの通信パターンの発生間隔の平均値（μｌ）および標準偏差（μｌ）を算出し、これを監視対象ＮＷ通信パターン発生間隔情報として取得する。
【００５７】
モデルデータ抽出部１１２は、取得したＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）、パターン内関連性強度特徴量（Ｌｒｅｄｉｒ）および監視対象ＮＷ通信パターン発生間隔情報（μｌ、σｌ）を、検知モデルに登録する（Ｓ３０）。そして、モデルデータ抽出部１１２は、監視対象ＮＷ通信パターンで、未処理のものが存在すれば（Ｓ３１でＹｅｓ）、Ｓ２７へ戻り、未処理のものが存在しなければ（Ｓ３１Ｎｏ）、処理を終了する。
【００５８】
（生起間隔類似度算出部）
次に、図９を用いて、生起間隔類似度算出部１２２の処理手順を説明する。生起間隔類似度算出部１２２は、検知部１２の通信パターン抽出部１２１から、検査対象となる監視対象ＮＷログの通信パターン（通信ペアとその通信ペアの発生間隔）を検知対象通信パターンとして読み込む（Ｓ４１）。また、生起間隔類似度算出部１２２は、検知モデルから、検知対象通信パターンに対応するマルウェア通信パターン発生間隔情報（μｍ、σｍ）と、監視対象ＮＷ通信パターン発生間隔情報（μｌ、σｌ）とを読み込む（Ｓ４２）。
【００５９】
そして、生起間隔類似度算出部１２２は、読み込んだマルウェア通信パターン発生間隔情報（μｍ、σｍ）と、監視対象ＮＷ通信パターン発生間隔情報（μｌ、σｌ）とを用いて、検知対象通信パターンに対して、マルウェア通信パターン、監視対象ＮＷ通信パターンそれぞれの発生間隔の類似度を算出する（Ｓ４３）。
【００６０】
具体的には、生起間隔類似度算出部１２２は、マルウェア通信パターン発生間隔情報（μｍ、σｍ）を用いて、検知対象通信パターンに対するマルウェア通信パターン発生間隔の類似度を算出する。また、生起間隔類似度算出部１２２は、監視対象ＮＷ通信パターン発生間隔情報（μｌ、σｌ）を用いて、検知対象通信パターンに対する監視対象ＮＷ通信パターン発生間隔の類似度を算出する。ここで各類似度の計算は、例えば、以下の式（１）により計算する。
【００６１】
【数１】
2015222471.tif 000003
【００６２】
ここで、Ｓｉｍ（ｄ）はある通信パターンの発生間隔がｄであったときの類似度であり、σはそれぞれの通信パターンの発生間隔の標準偏差、μはそれぞれの通信パターンの発生間隔の平均値である。ただし、Ｓｉｍ（ｄ）の最大値は１とし、１を超える場合はＳｉｍ（ｄ）=１とする。また、ｄ−μが０となる場合にはＳｉｍ（ｄ）＝１とする。
【００６３】
このように生起間隔類似度算出部１２２は、通信パターンに登場する通信の発生間隔を考慮して、通信パターンの類似度を算出することができる。例えば、図６に例示するように、通信ログに出てくる通信ペア（Ａ→Ｂ、Ａ→Ｃ、Ｂ→Ｃ）は同じだが、通信の発生間隔が異なる場合、生起間隔類似度算出部１２２は、通信の発生間隔を考慮し、両者の通信パターンの類似度の値を低く算出する。
【００６４】
（悪性度算出部）
次に、図１０を用いて、悪性度算出部１２３の処理手順を説明する。悪性度算出部１２３は、通信パターン抽出部１２１から、検査対象となる監視対象ＮＷログの通信パターン（通信ペアとその通信ペアの発生間隔）を検知対象通信パターンとして読み込む（Ｓ５１）。
【００６５】
また、悪性度算出部１２３は、生起間隔類似度算出部１２２から検知対象通信パターンに対応する発生間隔の類似度（つまり、マルウェア通信パターン発生間隔および監視対象ＮＷ通信パターン発生間隔それぞれの類似度）を取得する（Ｓ５２）。
【００６６】
さらに、悪性度算出部１２３は、検知モデルから当該通信パターンに対応するマルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）、ＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）、および、パターン内関連性強度特徴量（Ｌｒｅｄｉｒ）を読み込む（Ｓ５３）。そして、悪性度算出部１２３は、読み込んだこれらの特徴量を元に、検知対象通信パターンの悪性度を算出する（Ｓ５４）。悪性度は、マルウェア通信パターンの発生間隔類似度が大きい場合、監視対象ＮＷ通信パターンの発生間隔類似度が小さいほど、マルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）の値が大きいほど、ＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）の値が小さいほど、またパターン内関連性強度特徴量（Ｌｒｅｄｉｒ）の値が小さいほど、大きくなるように算出される。悪性度は、例えば、以下の式（２）により算出される。
【００６７】
【数２】
2015222471.tif 000004
【００６８】
式（２）のＳｃｏｒｅは悪性度、Ｓｉｍｍはマルウェア通信パターンに対する発生間隔の類似度、Ｓｉｍｌは監視対象ＮＷ通信パターンに対する発生間隔の類似度、Ｍｆｒｅｑはマルウェア繰り返しパターン特徴量、ＬｆｒｅｑはＮＷログ頻出パターン特徴量、Ｌｒｅｄｉｒはパターン内関連性強度特徴量を示す。
【００６９】
つまり、悪性度算出部１２３は、検知対象通信パターンの悪性度を算出する際、マルウェア通信パターンに似ているほど悪性度を高く算出し、監視対象ＮＷ通信パターンに似ているほど悪性度を低く算出する。
【００７０】
なお、悪性度算出部１２３は、各特徴量の重み付けをして悪性度を算出してもよい。また、通信パターン抽出部１２１は通信ログに示されるＵＲＬ、ＦＱＤＮ、パス等を通信先として通信パターンを抽出し、悪性度算出部１２３は、このＵＲＬ、ＦＱＤＮ、パス等の通信パターンを用いて悪性度を算出してもよい。なお、ここで用いるＵＲＬはクエリストリングなしのＵＲＬであってもよい。
【００７１】
そして、悪性度算出部１２３は、ＵＲＬ、ＦＱＤＮ、パスの通信パターンそれぞれの悪性度を算出した後、算出したそれぞれの悪性度を足し合わせた値を検知対象通信パターンの悪性度として出力してもよい。ここでの悪性度は、例えば、以下の式（３）により算出される。
【００７２】
【数３】
2015222471.tif 000005
【００７３】
式（３）のＳｃｏｒｅｍはＵＲＬ、ＦＱＤＮ、Ｐａｔｈ（パス）の通信パターンそれぞれの悪性度である。なお、悪性度算出部１２３は、式（３）によりＳｃｏｒｅ(悪性度)を算出するときＳｃｏｒｅｍに対して重み付けをして算出してもよい。このようにすることで、ＵＲＬ、ＦＱＤＮ、Ｐａｔｈ（パス）等、様々な観点で抽出された通信パターンについて総合的に判断した悪性度を算出することができる。
【００７４】
（その他の実施形態）
前記した実施形態において、悪性通信パターン検知装置１０はマルウェア通信パターン発生間隔情報（μｍ、σｍ）、監視対象ＮＷ通信パターン発生間隔情報（μｌ、σｌ）を用いずに悪性度を算出してもよい。つまり、検知部１２が生起間隔類似度算出部１２２を含まず、悪性度算出部１２３は、検知対象通信パターンに対応するマルウェア繰り返しパターン特徴量（Ｍｆｒｅｑ）、ＮＷログ頻出パターン特徴量（Ｌｆｒｅｑ）、および、パターン内関連性強度特徴量（Ｌｒｅｄｉｒ）を用いて検知対象通信パターンの悪性度を算出するようにしてもよい。
【００７５】
さらに、検知モデル生成部１１および検知部１２は同じ装置内に装備されるものとして説明したが、それぞれ別個の装置により実現されてもよい。
【００７６】
（プログラム）
また、上記実施形態に係る悪性通信パターン検知装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータに読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。以下に、悪性通信パターン検知装置１０と同様の機能を実現する悪性通信パターン検知プログラムを実行するコンピュータの一例を説明する。
【００７７】
図１１は、悪性通信パターン検知プログラムを実行するコンピュータを示す図である。図１１に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central  Processing  Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
【００７８】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１およびＲＡＭ（Random  Access  Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。
【００７９】
ここで、図１１に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。
【００８０】
また、悪性通信パターン検知プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、ハードディスクドライブ１０９０に記憶される。具体的には、上記実施形態で説明した悪性通信パターン検知装置１０が実行する各処理が記述されたプログラムモジュールが、ハードディスクドライブ１０９０に記憶される。
【００８１】
また、悪性通信パターン検知プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
【００８２】
なお、悪性通信パターン検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、悪性通信パターン検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【符号の説明】
【００８３】
１０    悪性通信パターン検知装置
１１    検知モデル生成部
１２    検知部
１１１、１２１  通信パターン抽出部
１１２  モデルデータ抽出部
１２２  生起間隔類似度算出部
１２３  悪性度算出部
【図１】
2015222471.tif 000006
【図２】
2015222471.tif 000007
【図３】
2015222471.tif 000008
【図４】
2015222471.tif 000009
【図５】
2015222471.tif 000010
【図６】
2015222471.tif 000011
【図７】
2015222471.tif 000012
【図８】
2015222471.tif 000013
【図９】
2015222471.tif 000014
【図１０】
2015222471.tif 000015
【図１１】
2015222471.tif 000016