(57)【要約】      （修正有）【課題】メッセージ送信装置からメッセージ受信装置へ送信される悪意の電子メッセージを検出する。【解決手段】メッセージ送信装置からメッセージ受信装置へ送信される電子メッセージに係るシグネチャを生成し、生成されたシグネチャを記憶し、電子メッセージが悪意のメッセージであるか否かを判定し、電子メッセージが悪意のメッセージであると判定される場合、生成されたシグネチャに基づき、悪意のメッセージであると判定されたメッセージと同一視可能な電子メッセージが過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置へ送信されたものであるか否かを判定し、悪意のメッセージであると判定されたメッセージと同一視可能な電子メッセージが過去に悪意のないメッセージに分類されて少なくとも１つのメッセージ受信装置へ送信されたものであると判定される場合、脅威の可能性についてメッセージ受信装置に通知する。【選択図】図３ａ
2017130921.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのメッセージ送信装置（１１０，１２０，１３０）から少なくとも１つメッセージ受信装置（２１０，２２０，２３０）へ送信される悪意の電子メッセージ（１００）の検出方法であって、
ａ）前記少なくとも１つのメッセージ送信装置から前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ送信される電子メッセージ（１００）に係る少なくとも１つのシグネチャを生成するステップと、
ｂ）生成された前記少なくとも１つのシグネチャをデータ記憶ユニット（１０５０）に記憶するステップと、
ｃ）前記電子メッセージ（１００）が悪意のメッセージであるか否かを判定するステップと、
ｄ）前記電子メッセージが悪意のメッセージであると判定される場合、前記生成された少なくとも１つのシグネチャに基づき、当該悪意のメッセージであると判定されたメッセージ（１００）と同一視可能な電子メッセージ（１００）が過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ送信されたか否かを判定するステップと、
ｅ）前記悪意のメッセージであると判定されたメッセージ（１００）と同一視可能な電子メッセージ（１００）が過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ送信されたと判定される場合、脅威の可能性について当該少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）に通知するステップと
を有することを特徴とする検出方法。
【請求項２】
前記少なくとも１つのメッセージ送信装置（１１０，１２０，１３０）から前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ送信される新規のメッセージごとに、少なくとも前記ステップ（ａ）から（ｃ）までを繰り返し実施する、
請求項１記載の検出方法。
【請求項３】
前記ステップ（ｄ）はさらに、
過去に送信された電子メッセージ（１００）に関連する、前記データ記憶ユニット（１０５０）内のシグネチャと、前記悪意のメッセージであると判定されたメッセージの前記少なくとも１つの生成されたシグネチャとを比較することを含む、
請求項１記載の検出方法。
【請求項４】
前記ステップ（ａ）およびステップ（ｂ）はさらに、
前記電子メッセージ（１００）に対してメッセージ識別子（ＩＤ）を生成することと、
生成された前記メッセージＩＤを、前記生成された少なくとも１つのシグネチャと共に、前記データ記憶ユニット（１０５０）に記憶することと
を含む、
請求項１記載の検出方法。
【請求項５】
前記ステップ（ａ）はさらに、
送信される前記メッセージ（１００）について、送信された当該メッセージを後の時期にて分類するのに適した特定のメッセージ情報を生成することを含む、
請求項１記載の検出方法。
【請求項６】
前記ステップ（ｂ）はさらに、
生成された前記特定のメッセージ情報を、前記生成された少なくとも１つのシグネチャと共に、前記データ記憶ユニット（１０５０）に記憶することを含む、
請求項５記載の検出方法。
【請求項７】
前記特定のメッセージ情報は、
メッセージの送信時期、
メッセージ送信者情報、
メッセージ宛先情報、および、
メッセージ添付物に関する情報
のうち少なくとも１つの情報を含む、
請求項５または６記載の検出方法。
【請求項８】
少なくとも１つのメッセージ添付物特性と、
前記メッセージの送信元である前記メッセージ送信装置に関連付けられたＵＲＬ情報と
のうち少なくとも１つの要素に基づいて、前記シグネチャを生成する、
請求項１記載の検出方法。
【請求項９】
前記ステップ（ｃ）はさらに、
前記電子メッセージ（１００）と既知のウィルスシグネチャとを比較することと、
前記メッセージ（１００）が前記既知のウィルスシグネチャのうち１つと十分に一致する場合、当該電子メッセージ（１００）を悪意のメッセージに分類することと
を含む、
請求項１記載の検出方法。
【請求項１０】
前記検出方法はさらに、
前記メッセージ（１００）が悪意のないメッセージに分類された場合、前記少なくとも１つのメッセージ受信装置へ当該電子メッセージ（１００）を送信するステップと、
前記メッセージ（１００）が悪意のメッセージに分類された場合、当該電子メッセージ（１００）をブロックするステップと
のうち少なくとも１つを含む、
請求項１記載の検出方法。
【請求項１１】
前記ステップ（ｅ）はさらに、
過去に送信された特定のメッセージが悪意のメッセージである可能性があることを示す情報を、前記少なくとも１つのメッセージ受信装置（１１０，１２０，１３０）へ供給することを含む、
請求項１記載の検出方法。
【請求項１２】
コンピュータ装置上にて実行されるときに請求項１から１１までの少なくとも１項記載の検出方法を実施するためのプログラムコード部分を有することを特徴とする、コンピュータプログラム製品。
【請求項１３】
コンピュータ可読記録媒体に記憶されている、
請求項１２記載のコンピュータプログラム製品。
【請求項１４】
少なくとも１つのメッセージ送信装置（１１０，１２０，１３０）から少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ電子メッセージ（１００）を送信するように構成されたメッセージングサーバ（１０００）であって、
前記メッセージングサーバ（１０００）は、悪意の電子メッセージ（１００）を検出するように構成されており、
前記メッセージングサーバ（１０００）は、
前記少なくとも１つのメッセージ送信装置（１１０，１２０，１３０）から前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ送信される電子メッセージ（１００）に係る少なくとも１つのシグネチャを生成するように構成された生成ユニット（１０１０）と、
生成された前記少なくとも１つのシグネチャを記憶するように構成されたデータ記憶ユニット（１０５０）と、
前記電子メッセージ（１００）が悪意のメッセージであるか否かを判定するように構成されたアンチウィルスユニット（１０２０）と、
悪意のメッセージであると判定される場合、前記悪意のメッセージであると判定されたメッセージ（１００）と同一視可能である電子メッセージ（１００）が過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ送信されたか否かを判定するように構成された判定ユニット（１０３０）と、
前記悪意のメッセージであると判定されたメッセージ（１００）と同一視可能な電子メッセージ（１００）が過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）へ送信されたと判定される場合、前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）に対して脅威の可能性をシグナリングするように構成されたシグナリングユニット（１０４０）と
を備えることを特徴とするメッセージングサーバ（１０００）。
【請求項１５】
メッセージングシステム（１）であって、
少なくとも１つのメッセージ送信装置（１１０，１２０，１３０）と、
少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）と、
前記少なくとも１つのメッセージ送信装置（１１０，１２０，１３０）および前記少なくとも１つのメッセージ受信装置（２１０，２２０，２３０）と通信接続されている、請求項１４記載のメッセージングサーバ（１０００）と
を備えることを特徴とするメッセージングシステム（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、情報技術のセキュリティの側面に関する。特に本発明は、少なくとも１つのメッセージ送信装置から少なくとも１つのメッセージ受信装置へ送信される悪意の電子メッセージを検出するための技術に関する。
【背景技術】
【０００２】
背景技術
電子メールメッセージ（またはＥメール）、インスタントメッセージおよびファックス等の電子メッセージは、互いに情報を交換するための選り抜きの手法である。電子メッセージの使用が非常に広く普及されるにつれて、Ｅメール等の電子メッセージがマルウェア拡散のために使用されることが多くなったことは、驚くことではない。本願において「マルウェア」または「悪意のソフトウェア」との用語は、コンピュータ動作を妨害し、脆弱な情報を収集し、または個人用もしくは共用のコンピュータシステムへのアクセス権限を得るために使用される全てのソフトウェアまたはソフトウェア部分をいう。電子メッセージに埋め込まれまたは添付されて電子メッセージを介して配布されるマルウェアは特に、ウィルス、ワーム、トロイの木馬、ランサムウェア、スケアウェア、アドウェアおよび／または他の悪意のプログラムを含み得る。
【０００３】
通信ネットワークにおけるマルウェア拡散を阻止するため、種々の保護手法または戦法に従った数多くのアンチマルウェア手段が市場に流通している。たとえば、到着した全てのネットワークデータをスキャンしてマルウェアの有無を検出し、検出されたいかなる脅威も直ちにブロックすることによって、コンピュータ装置への悪意のソフトウェアのインストールのリアルタイム防止を実現するように構成されたアンチマルウェア手段が入手可能である。また、コンピュータ装置上に既にインストールされた悪意のソフトウェアを検出して除去するように構成されたアンチマルウェア手段も入手可能である。
【０００４】
さらに、通信ネットワークにおいてマルウェア拡散を効率的に阻止するため、１つまたは複数のメッセージ送信装置から送信されたメッセージを１つまたは複数のメッセージ受信装置へ転送するように構成された、通信ネットワークの遠隔のメッセージングサーバに対応して、適切なアンチマルウェア手段が提供されている。かかるアンチマルウェア手段は通常、各メッセージごとにアンチマルウェア検査を行うように構成されたソフトウェアモジュールまたはハードウェアモジュールをメッセージングサーバに実装した形態で実現される。具体的には、メッセージングサーバはメッセージをスキャンしてマルウェアの有無を検出し、異常無しのメッセージのみ（すなわち悪意のないメッセージのみ）がメッセージ受信装置へ転送されるのに対し、悪意のメッセージは受信装置に到達することができる前に既に、メッセージングサーバによってフィルタリング除去される。
【０００５】
かかるアンチマルウェア手段は通常、メッセージ内容と既知のウィルスシグネチャとの比較に基づいて機能する。ウィルスシグネチャは、特定のウィルスの指紋として使用できるアルゴリズムまたは静的ハッシュ（すなわち、当該ウィルスに対して一意のコードの一部分の数値）である。かかるアンチマルウェア検出技術は非常に効率的であるが、アンチマルウェアソフトウェアに既知であるウィルスしか効率的にフィルタリング除去できないという欠点を有する。アンチマルウェアモジュールの既知のウィルスシグネチャを定期的に更新している場合であっても、最新世代のマルウェア（いわゆる「ゼロデイマルウェア」）は未検出のままになり得るというある程度のリスクは存在する。よって、通信システムまたは通信ネットワークのための公知のアンチマルウェア検出は、最新世代のマルウェアが比較的長期間にわたって未検出のままになるというリスクを有する。これにより、誤って異常無しと判断された悪意のメッセージがフィルタリング除去されることなくメッセージ受信装置へ転送されてしまう場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、上記の技術的欠点を解消できる、通信ネットワークにおける効率的なマルウェア検出技術を実現する必要がある。
【課題を解決するための手段】
【０００７】
発明の概要
上記にて特定した技術的問題を解消するため、第１の側面では、少なくとも１つのメッセージ送信装置から少なくとも１つのメッセージ受信装置へ送信される悪意の電子メッセージの検出方法を提供する。本方法は、
前記少なくとも１つのメッセージ送信装置から前記少なくとも１つのメッセージ受信装置へ送信される電子メッセージに係る少なくとも１つのシグネチャを生成するステップと、
生成された少なくとも１つのシグネチャをデータ記憶ユニットに記憶するステップと、
電子メッセージが悪意のメッセージであるか否かを判定するステップと、
電子メッセージが悪意のメッセージであると判定される場合、生成された少なくとも１つのシグネチャに基づき、悪意のメッセージであると判定されたメッセージと同一視可能な電子メッセージが過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置へ送信されたものであるか否かを判定するステップと、
悪意のメッセージであると判定されたメッセージと同一視可能な電子メッセージが過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置へ送信されたものであると判定される場合、脅威の可能性について当該少なくとも１つのメッセージ受信装置に通知するステップと
を有する。
【０００８】
本発明において「電子メッセージ」（または単に「メッセージ」）との用語は、広義に解すべき場合がある。「電子メッセージ」または「メッセージ」とは、記号、英字ならびに／もしくは数字およびグラフィック要素等の形態のメッセージを含む全てのデジタルデータ項目または全てのデジタルデータ部分であって、マルウェアを埋め込みまたは添付するために使用できるものを指すことができる。たとえば「電子メッセージ」または「メッセージ」とは、電子メールメッセージ、インスタントメッセージまたは他の全ての種類の電子メッセージを指すことができる。
【０００９】
本方法は、メッセージングサーバ上で実施することができる。メッセージングサーバは、少なくとも１つのメッセージ送信装置から少なくとも１つのメッセージ受信装置へメッセージを送信できる通信ネットワーク内に配置することができる。メッセージングサーバは、メッセージを少なくとも１つのメッセージ送信装置から、当該メッセージの送信先である少なくとも１つのメッセージ受信装置へ転送するように構成することができる。こうするためには、メッセージングサーバを少なくとも１つのメッセージ送信装置および少なくとも１つのメッセージ受信装置と（連続）通信接続することができる。サーバは、上記方法を実施するように構成された単独のコンピュータ装置、または分散された複数のコンピュータ装置を含むコンピュータシステムとして実装することができる。
【００１０】
少なくとも１つのメッセージ送信装置は、たとえばスマートフォン、タブレット、パーソナルコンピュータおよび／または他の任意の個人用もしくは共用のコンピュータ装置等、電子メッセージを送信するように構成された任意の装置とすることができる。少なくとも１つのメッセージ受信装置も同様に、たとえばスマートフォン、タブレット、パーソナルコンピュータおよび／または他の任意の個人用もしくは共用のコンピュータ装置等、電子メッセージを送信するように構成された任意の装置とすることができる。
【００１１】
少なくとも１つのシグネチャを生成するステップ、少なくとも１つのシグネチャをデータ記憶ユニットに記憶するステップ、および、メッセージが悪意のメッセージであるか否かを判定するステップは、少なくとも１つのメッセージ受信装置へ送信される新規のメッセージごとに（すなわち、連続的なメッセージフローでは、現時点で受信されているメッセージごとに）繰り返し実施することができる。具体的にはメッセージングサーバは、少なくとも１つのメッセージ送信装置から現時点で受信されているメッセージごとに、シグネチャ生成ステップと、記憶ステップと、アンチマルウェア判定ステップとを繰り返すことができる。このようにして、時間の経過と共に多数のシグネチャを収集することができ、各シグネチャを、受信および配布された特定のメッセージに関連付けることができる。よって、データ記憶ユニットは多数のメッセージシグネチャを含むことができ、これら多数のメッセージシグネチャを、過去に少なくとも１つのメッセージ受信装置へ受信および配布されたメッセージと関連付けることができる。
【００１２】
さらに、特定の悪意の振舞いまたは悪意の内容が初めて識別された新規受信されたメッセージについて、悪意のメッセージであると判定されたメッセージと同一視可能なメッセージが過去に悪意のないメッセージに分類されて少なくとも１つのメッセージ受信装置へ送信されたものであるか否かを判定する上述のステップ（すなわち、請求項１におけるステップｄ）、および、脅威の可能性について当該少なくとも１つのメッセージ受信装置に通知するステップ（すなわち、請求項１におけるステップｅ）を繰り返し実施することもできる。新規受信された異常無しのメッセージ（すなわち、悪意の振舞いまたは悪意の内容が検出されなかったメッセージ）については、これらのステップを省略することができる。
【００１３】
悪意のメッセージであると判定されたメッセージと同一視可能なメッセージが過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置へ送信されたものであるか否かを判定するステップ（すなわち、請求項１のステップｄ）はさらに、以下のサブステップ：
過去に送信されたメッセージと関連付けることができる、データ記憶ユニットに既に記憶されたシグネチャと、悪意のメッセージであると判定されたメッセージの少なくとも１つのシグネチャを比較するサブステップと、
過去に送信されたメッセージのシグネチャであって、悪意のメッセージであると判定されたメッセージの少なくとも１つのシグネチャと同一視可能であると判定されたシグネチャを、データ記憶ユニットから選択するサブステップと
のうち少なくとも１つを含むことができる。データ記憶ユニットに記憶されているシグネチャと、悪意のメッセージであると判定されたメッセージの少なくとも１つのシグネチャとが互いに同一または高度に類似する場合、データ記憶ユニットに記憶されているシグネチャは、悪意のメッセージであると判定されたメッセージの少なくとも１つのシグネチャと同一視可能であるとみなすことができる。２つのシグネチャが高度に類似するか否かは、当該２つのシグネチャ間の類似度が、予め定められた閾値を超えるか否かを判断することにより判定することができる。
【００１４】
少なくとも１つのシグネチャを生成するステップはさらに、少なくとも１つのメッセージ受信装置へ送信される各電子メッセージに対してメッセージ識別子（ＩＤ）を生成することを含むことができる。また、生成された少なくとも１つのシグネチャをデータ記憶ユニットに記憶するステップはさらに、送信される各メッセージごとに、生成されたメッセージＩＤを、当該生成された少なくとも１つのシグネチャと共に当該データ記憶ユニットに記憶することを含むことができる。生成されたシグネチャと、対応するＩＤとを関連付けることにより、データ記憶ユニット内の各シグネチャを、後の時期に特定のメッセージ受信装置へ送信される特定のメッセージと関連付けることができる。
【００１５】
１つの実施形態では、少なくとも１つのシグネチャを生成するステップはさらに、送信される各メッセージごとに、送信された当該メッセージを後の時期にて分類するのに適した特定のメッセージ情報を生成することを含むことができる。生成されたこの特定のメッセージ情報は、生成された少なくとも１つのシグネチャ（および生成されたＩＤ）と共に、データ記憶ユニットに記憶することができる。生成された特定のメッセージ情報は、
メッセージの送信時期、
メッセージ送信者情報、
メッセージ宛先情報、および、
メッセージ添付物に関する情報
のうち少なくとも１つを含むことができる。よって、生成された特定のメッセージ情報を使用して、特定のメッセージがいつ送信されたか、どのメッセージ送信装置から当該特定のメッセージが受信されたのか、および／または、どのメッセージ受信装置へ当該特定のメッセージが送信されたのかを識別することができる。
【００１６】
送信される各メッセージごとに、
少なくとも１つのメッセージ添付物特性と、
送信元のメッセージ送信装置のＵＲＬ情報と
のうち少なくとも１つに基づいて、少なくとも１つのシグネチャを生成することができる。メッセージ添付物特性としては、添付物の名前、添付物のファイル種類（たとえば、添付物がテキストファイル、音楽ファイル、画像ファイル等であるか否か）、およびファイル拡張情報（たとえばファイルが実行可能なファイルであるか）のうち少なくとも１つを使用することができる。添付物特性は、ハッシュ値として設けることができる。ＵＲＬ情報は、ＵＲＬ全部を含むことができ、または、ＵＲＬのうち特定のメッセージ送信装置と関連付けることができる一部分を含むことができる。
【００１７】
電子メッセージが悪意のメッセージであるか否かを判定するステップは、当該電子メッセージと既知のウィルスシグネチャとを比較すること、および、メッセージが当該既知のウィルスシグネチャのうち１つと十分に一致する場合には当該電子メッセージを悪意のメッセージに分類することを含むことができる。比較を行うためには、既知のウィルスシグネチャを含むブラックリスト（ＢＬ）を使用することができる。既知のウィルスシグネチャを含むこのＢＬは、アンチウィルスソフトウェア販売者によって提供することができ、定期的に更新することができる。これと共に、またはこれに代えて、悪意の電子メッセージを検出するためにヒューリスティック手法を用いることもできる。
【００１８】
１つの実施形態では、少なくとも１つのメッセージ受信装置に通知するステップは、過去に送信された特定のメッセージが悪意のメッセージであること（すなわち、脅威を有する可能性があること）を示す情報を、当該少なくとも１つのメッセージ受信装置へ供給することを含むことができる。
【００１９】
本方法はさらに、
メッセージが悪意のないメッセージに分類された場合、（宛先に指定された）少なくとも１つのメッセージ受信装置へ当該メッセージを送信するステップと、
メッセージが悪意のメッセージに分類された場合、当該メッセージをブロックするステップと
を含むことができる。
【００２０】
他の１つの側面では、コンピュータ装置上（たとえばメッセージングサーバ上等）において実行されるときに上記の方法を実施するために構成されたプログラムコード部分を含むコンピュータプログラム製品を提供する。かかるコンピュータプログラム製品は、（非一時的な）コンピュータ可読記録媒体上に記憶することができる。
【００２１】
他の１つの側面では、少なくとも１つのメッセージ送信装置から受信した電子メッセージを少なくとも１つのメッセージ受信装置へ送信するように構成されたメッセージングサーバを提供する。メッセージングサーバはさらに、悪意の電子メッセージを検出するように構成されており、以下の構成要素：
前記少なくとも１つのメッセージ送信装置から前記少なくとも１つのメッセージ受信装置へ送信される電子メッセージに対応する少なくとも１つのシグネチャを生成するように構成された生成ユニットと、
生成された少なくとも１つのシグネチャを記憶するように構成されたデータ記憶ユニットと、
電子メッセージが悪意のメッセージであるか否かを判定するように構成されたアンチウィルスユニットと、
悪意のメッセージであると判定される場合、悪意のメッセージであると判定されたメッセージと同一視可能である電子メッセージが過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置へ送信されたものであるか否かを判定するように構成された判定ユニットと、
悪意のメッセージであると判定されたメッセージと同一視可能な電子メッセージが過去に悪意のないメッセージに分類されて前記少なくとも１つのメッセージ受信装置へ送信されたものであると判定される場合、少なくとも１つのメッセージ受信装置に対して脅威の可能性をシグナリングするように構成されたシグナリングユニットと
を備える。
【００２２】
メッセージングサーバは、少なくとも１つのメッセージ送信装置および少なくとも１つのメッセージ受信装置から遠隔地にあるネットワーク内に配置された単独のコンピュータ装置の形態または分散された複数のコンピュータ装置の形態で実装することができる。メッセージングサーバは、少なくとも１つのメッセージ送信装置からメッセージを受信するため、および、受信したメッセージを少なくとも１つのメッセージ受信装置へ送信するため、少なくとも１つのメッセージ送信装置および少なくとも１つのメッセージ受信装置と（連続）通信接続することができる。
【００２３】
さらに他の１つの側面では、上記のメッセージングサーバと、少なくとも１つのメッセージ送信装置と、少なくとも１つのメッセージ受信装置とを備えたメッセージングシステムを提供する。メッセージングサーバは、当該少なくとも１つのメッセージ送信装置および少なくとも１つのメッセージ受信装置と通信接続されている。
【００２４】
以下の図面を参酌すれば、本願にて開示している発明の他の具体的構成、側面および利点が明らかである。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施例の、悪意の電子メッセージを検出するように構成されたメッセージングシステムを示すブロック図である。
【図２】本発明の一実施例の、悪意の電子メッセージを検出するように構成されたメッセージングサーバを示すブロック図である。
【図３ａ】本発明の一実施例の悪意の電子メッセージの検出方法を示すフローチャートである。
【図３ｂ】本発明の一実施例の悪意の電子メッセージの検出方法を示すフローチャートである。
【図４】図３の方法の他の概略図である。
【発明を実施するための形態】
【００２６】
詳細な説明
以下の記載では説明を目的として、本願にて開示されている技術を詳しく理解できるようにするため、特定の具体的な詳細事項を記載しているが、これは本発明を限定するためのものではない。当業者であれば、これらの特定の具体的な詳細事項と相違する他の実施形態においても、開示されている技術を実施できることは明らかである。
【００２７】
図１は、一実施例のメッセージングシステム１を示すブロック図であり、これは、悪意の電子メッセージを検出するための以下説明する技術を具現化することができるものである。
【００２８】
メッセージングシステム１は、少なくとも１つのメッセージングサーバ１０００と、１つまたは複数のメッセージ送信装置１１０，１２０，１３０と、１つまたは複数のメッセージ受信装置２１０，２２０，２３０とを備えている。１つまたは複数のメッセージ送信装置１１０，１２０，１３０および１つまたは複数のメッセージ受信装置２１０，２２０，２３０はそれぞれ、ポータブルユーザ端末（たとえばＰＤＡ、携帯電話機、スマートフォン、ノートブック等）または据置型コンピュータ装置の形態で実現することができる。メッセージングサーバ１０００は、単独のコンピュータ装置の形態で、または、ネットワーク２を介して分散されている２つ以上のコンピュータ装置の形態で実現することができる。本発明は、メッセージングサーバ１０００、メッセージ送信装置１１０，１２０，１３０およびメッセージ受信装置２１０，２２０，２３０の上述のハードウェア実装の具体的構成に依存するものではない。
【００２９】
図１に示されているように、メッセージングサーバ１０００は、対応するメッセージ送信装置１１０，１２０，１３０およびメッセージ受信装置２１０，２２０，２３０から遠隔地に配置されている。メッセージングサーバ１０００は、１つまたは複数のメッセージ送信装置１１０，１２０，１３０から受信したメッセージ１００を、当該メッセージの送信先である１つまたは複数の特定のメッセージ受信装置２１０へ転送するように構成されている。こうするためにはメッセージングサーバ１０００は、各メッセージ送信装置１１０，１２０，１３０および各メッセージ受信装置２１０，２２０，２３０と（連続）通信接続されるように設置されている。メッセージングサーバ１０００と、対応するメッセージ送信装置１１０，１２０，１３０およびメッセージ受信装置２１０，２２０，２３０との間の通信は、対応する無線通信路および／または有線通信路を介して確立することができる。さらに、メッセージ送信装置１１０，１２０，１３０とメッセージ受信装置２１０，２２０，２３０との間で１つまたは複数のメッセージ１００を伝送するために、任意の公知の通信規格を使用することもできる。たとえば、メッセージ伝送のためにＴＣＰ／ＩＰプロトコルを用いることができる。
【００３０】
メッセージングサーバ１０００は、通信するメッセージ送信装置１１０，１２０，１３０から１つまたは複数のメッセージ１００を受信して、この受信したメッセージ１００を、当該受信したメッセージ１００の宛先に指定された対応するメッセージ受信装置２１０，２２０，２３０へ転送するように構成されている。図１に示されている実施例ではメッセージングサーバ１０００は、メッセージ送信装置１１０から受信したメッセージ１００を、宛先に指定されたメッセージ受信装置２３０へ転送するように構成されている。
【００３１】
サーバ１０００はさらに、受信した各メッセージ１００ごとに、当該メッセージ１００を対応するメッセージ受信装置２１０，２２０，２３０へ転送する前にアンチマルウェア検査（たとえばアンチウィルススキャン）を行うように構成されている。サーバ１０００は、悪意のメッセージ（すなわち、悪意の内容を含むメッセージ）であると識別されたメッセージ１００を全部ブロックし、これに対して、悪意のないメッセージ（すなわち異常無しのメッセージ）であると識別されたメッセージ１００は、対応するメッセージ受信装置２１０，２２０，２３０へ直接転送される。
【００３２】
図２を参照して、メッセージングサーバ１０００の構造および機能を詳細に説明する。
【００３３】
サーバ１０００は、生成ユニット１０１０とアンチウィルスユニット１０２０（図２では「ＡＶユニット」という）と比較ユニット１０３０とシグナリングユニット１０４０とデータ記憶ユニット１０５０とを備えている。サーバ１０００はさらに、第１の通信インタフェース１０７０と第２の通信インタフェース１０８０とを備えている。ユニット１０１０，１０２０，１０３０，１０４０，１０５０およびインタフェース１０７０，１０８０は互いに通信接続されている。
【００３４】
生成ユニット１０１０、比較ユニット１０３０、シグナリングユニット１０４０およびＡＶユニット１０２０はそれぞれ、別個のソフトウェアモジュール、ハードウェアモジュールまたはソフトウェア／ハードウェア複合モジュールとして実装することができる。これに代えて、生成ユニット１０１０、比較ユニット１０３０、シグナリングユニット１０４０およびＡＶユニット１０２０を、図１において点線のボックスにより示されているように、１つの共同で構成されたソフトウェアおよび／またはハードウェアモジュールのサブモジュールとして実装することもできる。当業者であれば、プログラミングされたマイクロプロセッサと協働するソフトウェアを使用して、特定用途集積回路（ＡＳＩＣ）、デジタル信号処理プロセッサ（ＤＳＰ）または汎用コンピュータを使用して、上述のユニット１０１０，１０２０，１０３０，１０４０を実装できることが明らかである。
【００３５】
上記の具体的構成の如何にかかわらず、生成ユニット１０１０は入力ユニット１０７０と通信接続されており、当該入力ユニット１０７０から受信したメッセージ１００に基づいて、各電子メッセージ１００ごとに少なくとも１つのシグネチャを生成する。１つの実施形態では生成ユニット１０１０は、少なくとも１つのシグネチャが生成される各メッセージ１００ごとに、メッセージ識別子（ＩＤ）も生成するように構成されている。
【００３６】
データ記憶ユニット１０５０は各メッセージ１００ごとに、生成ユニット１０１０によって生成されて引き渡された上述の少なくとも１つのシグネチャと、これに関連するメッセージＩＤとを記憶するように構成されている。
【００３７】
ＡＶユニット１０２０は、入力ユニット１０７０を介して受信された各電子メッセージ１００ごとにアンチウィルス解析（ＡＶ解析）を行うように構成されている。ＡＶ解析は、アンチウィルスソフトウェア販売者により提供される更新可能なブラックリスト（ＢＬ）に基づいて行われる比較解析を含む。ＢＬは、全ての既知のマルウェアのマルウェアシグネチャの完全なリストを含み、これとメッセージ内容（メッセージ添付物を含む）が比較される。さらに、ＢＬは更新可能であるから、ＢＬに最新のマルウェアシグネチャを定期的に追加することも可能である。ここで留意すべき点は、本発明は特定のＡＶ解析技術に依存しないことである。また、ＡＶユニット１０２０が上述のＢＬ比較の他にさらに、ヒューリスティック技術および／またはエミュレーション技術を使用することも可能である。さらに、受信されたメッセージ１００について１つまたは複数のＡＶ検査を行うため、上述のＡＶユニット１０２０に代えて、またはＡＶユニット１０２０と共に、外部のＡＶ解析システムまたは外部のＡＶ解析サービスを使用することも可能である。
【００３８】
ＡＶユニット１０２０はさらに、悪意の内容を含むと認定されたメッセージ１００をフィルタリング除去してブロックするようにも構成されている。かかるメッセージはＡＶユニット１０２０によって、悪意のメッセージに分類される。よってＡＶユニット１０２０により、異常無しであると認定されたメッセージ１００のみをメッセージ受信装置２１０，２２０，２３０へ送信することが可能になる。
【００３９】
比較ユニット１０３０は、新種の脅威を示す、現時点で受信されているまたは最近受信された悪意のメッセージ１００の生成されたシグネチャ（すなわち、ゼロデイマルウェアを含むメッセージに対して生成ユニット１０１０により生成されたシグネチャ）と、過去に受信されてデータ記憶ユニット１０５０に記憶されたメッセージ１００のシグネチャとを比較するように構成されている。比較ユニット１０３０はさらに、データ記憶ユニット１０５０の過去に送信されたメッセージ１００に関連付けられたシグネチャであって、現時点で受信されているまたは最近受信された悪意のメッセージ１００の生成されたシグネチャと同一視可能であると認定されたシグネチャを選択するようにも構成されている。さらに比較ユニット１０３０は、この選択されたシグネチャと、これに関連するメッセージＩＤとに基づき、過去に送信されて異常無しのメッセージ（すなわち悪意のないメッセージ）であると判断された対応するメッセージを識別するようにも構成されている。
【００４０】
シグナリングユニット１０４０は、識別されたメッセージに基づき、過去に送信された特定のメッセージが悪意のメッセージである可能性があることを示す少なくとも１つの通知１０５を生成するように構成されている。この（１つまたは複数の）通知１０５は、過去に異常無しのメッセージであると認定されたが、初めて悪意のメッセージに分類された現在のメッセージの（１つまたは複数の）シグネチャと同一視可能なシグネチャを示すと認定されたメッセージのリストを含むことができる。
【００４１】
第１の通信インタフェース１０７０は、対応するメッセージ送信装置１１０，１２０，１３０から電子メッセージ１００を受信して、この受信した電子メッセージ１００を比較ユニット１０３０およびＡＶユニット１０２０へ供給するように構成されている。また第２の通信インタフェース１０８０は、ＡＶユニット１０２０によって異常無しであると判定された（よって、ＡＶユニット１０２０によってブロックされない）メッセージ１００を、メッセージ受信装置２１０，２２０，２３０へ送信するように構成されている。さらに第２の通信インタフェース１０８０は、生成された（１つまたは複数の）通知１０５を各メッセージ受信装置２１０，２２０，２３０へ送信するようにも構成することができる。両通信インタフェース１０７０，１０８０は、各メッセージ送信装置１１０，１２０，１３０とメッセージ受信装置２１０，２２０，２３０との間の通信をどのように実現するかに依存して、無線通信インタフェース（たとえば高周波伝送インタフェース）および／または有線通信インタフェースの形態で実装することができる。
【００４２】
図２に示された各ユニット１０１０，１０２０，１０３０，１０４０の機能について、図３ａおよび図３ｂの２つのフローチャート３００，３５０を参照して詳細に説明する。両フローチャート３００，３５０は、１つまたは複数のメッセージ送信装置１１０，１２０，１３０から１つまたは複数のメッセージ受信装置２１０，２２０，２３０へ送信される悪意の電子メッセージ１００の検出方法を示している。当該方法は、上記にて図２を参照して既に説明されたようなメッセージングサーバ１０００において実施され、少なくとも１つのメッセージ送信装置２１０，２２０，２３０から受信された各メッセージ１００ごとに、以下のステップを行う。
【００４３】
本方法は、図３ａではステップ３１０により開始する。このステップ３１０では、受信された各メッセージ１００ごとに、メッセージの特性を示す少なくとも１つのシグネチャが生成ユニット１０１０によって生成される。生成された少なくとも１つのシグネチャは、たとえばメッセージ添付物特性（たとえば、メッセージ添付物の名前、ファイル種類およびファイル拡張の少なくとも１つ）、当該メッセージの送信元であるメッセージ受信装置に関連付けられたＵＲＬ情報等のメッセージ特性をマッピングすることができる。ここで留意すべき点は、メッセージ１００が到着する度にリアルタイムで生成ユニット１０１０によってメッセージシグネチャが生成されることである。さらに、生成されるメッセージシグネチャは、アンチウィルスソフトウェア販売者によって提供されてＡＶユニット１０２０によって使用されるマルウェアシグネチャとは異なることができる。また、シグネチャを後の時期においてメッセージ１００に関連付けることができるように、受信された各メッセージ１００ごとにメッセージＩＤが生成され、生成された少なくとも１つのシグネチャに割り当てられる。
【００４４】
また、１つの実施形態ではさらに、送信されたメッセージを分類および識別するのに適した特定のメッセージ情報を各メッセージ１００ごとに生成することもできる。かかる情報は、メッセージ時期、メッセージ送信者情報、メッセージ宛先情報、および、当該メッセージを少なくとも１つのメッセージ送信装置１１０，１２０，１３０から受信した時点においてメッセージングサーバ１０００が利用できるメッセージ添付物情報のうち少なくとも１つを含むことができる。メッセージ時期は、当該メッセージ１００がメッセージ送信装置１１０，１２０，１３０から受信された時点、またはメッセージ受信装置２１０，２２０，２３０へ送信された時点を示すことができる。送信者情報は、名前、ＩＰアドレス、または、受信された当該メッセージ１００の送信元であるメッセージ送信装置１１０，１２０，１３０を識別するための他の情報を含むことができる。宛先情報も同様に、名前、ＩＰアドレス、または、当該メッセージ１００の送信先となったメッセージ受信装置２１０，２２０，２３０を識別するための他の情報を含むことができる。メッセージ添付物情報はたとえば少なくとも、添付物名前、またはこれに類する、添付物の識別のための情報を含むことができる。
【００４５】
次のステップ３１５において、受信された各メッセージ１００ごとに、生成された少なくとも１つのシグネチャ（およびオプションとして、特定のメッセージ情報）を、生成されたＩＤと共にデータ記憶ユニット１０５０に記憶する。よって、少なくとも１つのメッセージ送信装置１１０，１２０，１３０から少なくとも１つのメッセージ受信装置２１０，２２０，２３０への連続的なメッセージフローにおいて、メッセージシグネチャ（およびオプションとして、特定のメッセージ情報）を各メッセージ１００ごとに記録し、過去に送信されたメッセージ１００がマルウェアを含んでいたか否かを回顧的に解析するために使用できるようにする。
【００４６】
次のステップ３２０において、受信された各メッセージ１００をＡＶユニット１０２０へ供給する。ＡＶユニット１０２０は直ちに、受信されたメッセージ１００が悪意のメッセージであるか否かを判定するためにＡＶ解析を行う。受信されたメッセージ１００が悪意のメッセージであるか否かを判定するため、ＡＶユニット１０２０は、上記にて図２を参照して説明したようなＡＶ検出技術を適用することができる。
【００４７】
ＡＶユニット１０２０によって、受信されたメッセージ１００が悪意のメッセージでないと判定された場合（図３ａの判断ステップ３２５および「いいえ」分岐を参照のこと）、メッセージ１００は、対応するメッセージ受信装置２１０，２２０，２３０へ送信される（図３ａのステップ３３０）。かかる場合、判断処理がなされているメッセージ１００については本方法は終了し、新規受信されたメッセージ１００（すなわち、メッセージフローにおいて次に受信されたメッセージ１００）について再開する。
【００４８】
しかし、ＡＶユニット１０２０によって、受信されたメッセージ１００が悪意のメッセージであると判定された場合（図３ａの「はい」分岐を参照のこと）、少なくとも１つのメッセージ受信装置２１０，２２０，２３０へ送信されるメッセージ１００はブロックされる。オプションとして、メッセージ１００が悪意のメッセージに分類されたのでブロックされたことを示す通知を、宛先に指定されたメッセージ受信装置３０２，３０４，３０６へ送信することができる（図３ａでは示されていない）。
【００４９】
ＡＶユニット１０２０によって、受信されたメッセージ１００が悪意のメッセージであると判定された場合（図３ａの「はい」分岐を参照のこと）、追加的にさらに次のステップ３４５において、この悪意のメッセージ１００が、現時点までにＡＶユニット１０２０によって検出されたことがない新規のマルウェア（すなわち新規の脅威）を含むか否かを検査する。具体的には、マルウェアと判定されたものが、アンチウィルスソフトウェア供給者によって提供される最新のマルウェアシグネチャを考慮した場合にしかＡＶユニット１０２０によって検出できないゼロデイマルウェアであるか否かを検査する。マルウェアまたは脅威であると判定されたものが既に過去に検出されていると認定された場合、このマルウェアは新規ではないとみなされ、現在判断処理中のメッセージについてはアルゴリズムを停止する（図３ａの「いいえ」分岐を参照のこと）。当該マルウェアがＡＶユニット１０２０によって初めて検出されたと認定される場合には、当該マルウェアはゼロデイマルウェアであるとみなされ、本方法はステップ３５０および３６０へ進む（図３ａの「はい」分岐を参照のこと）。
【００５０】
ステップ３５０において、生成された少なくとも１つのシグネチャに基づき、悪意のメッセージであると判定されたメッセージ１００と同一視可能なメッセージ１００が過去に悪意のないメッセージに分類されて少なくとも１つのメッセージ受信装置２１０，２２０，２３０へ送信されたものであるか否かを判定する。この判定ステップ３５０は比較ユニット１０３０によって行われ、図３ｂのフローチャートに示された以下のサブステップを含む。サブステップ３５２において、悪意のメッセージであると判定されたメッセージ１００の生成された少なくとも１つのシグネチャと、過去に送信された電子メッセージ１００について生成されてデータ記憶ユニット１０５０に記憶された、データ記憶ユニット１０５０のシグネチャとを比較する。この比較は、類似性検査に基づいて行われる。具体的には、互いに比較される両シグネチャが同一または高度に類似していると認定される場合、両シグネチャは同一視可能であるとみなす。ここで留意すべき点は、比較される両シグネチャのシグネチャ情報が１００％一致する場合、両シグネチャは同一であるとみなすことである。互いに比較される両シグネチャの各シグネチャ情報の一致度が、予め定められた閾値を超える場合、両シグネチャは高度に類似するとみなす。有利には、両シグネチャが高度に類似すると判断するためには、シグネチャ情報の一致度が８０％以上であることを要する。より有利なのは、両シグネチャが高度に類似すると判断するために、シグネチャ情報の一致度が９０％以上であることを要することである。
【００５１】
記憶ユニット１０５０に記憶されたシグネチャの中に、生成された少なくとも１つのシグネチャ（判断ステップ３５３の「いいえ」分岐を参照のこと）と同一視可能である（すなわち同一または高度に類似する）と認定されるものが無い場合、現時点で受信されているメッセージ１００についてはアルゴリズムは停止し（ステップ３５４）、新規受信されたメッセージ１００についてステップ３１０において再開する。しかし、記憶ユニット１０５０に記憶されているシグネチャのうちいずれかが、生成された少なくとも１つのシグネチャと同一視可能であると認定される場合（判断ステップ３５３の「はい」分岐）、本方法はサブステップ３５５へ進み、過去に送信された電子メッセージのうち同一視可能なシグネチャを有すると認定されたものを識別する。かかるメッセージ識別は、記憶ユニット１０５０に記憶されたメッセージＩＤ（および追加のメッセージ情報）と、記憶されている各シグネチャとを組み合わせてこれらに基づいて行われる。
【００５２】
識別されたメッセージに基づき、次のステップ３６０（図３ａを再度参照のこと）においてシグナリングユニット１０４０が、送信された（１つまたは複数の）メッセージ１００に脅威がある可能性について、少なくとも１つのメッセージ受信装置２１０，２２０，２３０に通知する。１つの実施形態では上記通知は、識別されたメッセージと、オプションとして各メッセージについて識別された脅威の種類とのリストを含む通知１０５を生成して、少なくとも１つのメッセージ受信装置２１０，２２０，２３０へ送信することを含む。よって、少なくとも１つのメッセージ送信装置２１０，２２０，２３０は通知１０５を受信することにより、当該少なくとも１つのメッセージ送信装置２１０，２２０，２３０に新規のマルウェアが潜伏しているとの警告を受けることができる。かかる情報に基づき、メッセージ送信装置２１０，２２０，２３０のユーザは、潜伏しているマルウェアによって生じ得る可能性のある損害を制限するために適切なセキュリティ対策をとることができる。これと共に、またはこれに代えて、通知１０５が、自動的なセキュリティ対策の実行をメッセージ受信装置２１０，２３０にさせることができる。具体的には、悪意のメッセージ１００により生じる可能性のある損害を制限するため、メッセージ受信装置２３０からの通知１０５がメッセージ受信装置２１０，２３０において自動的なセキュリティ対策をトリガすることができる。かかるセキュリティ対策は、
メッセージ１００のフラグ設定、
メッセージを特定のディレクトリに移動させること、
メッセージの検疫、
メッセージを更なるユーザ側ＡＶ解析にかけること、および、
メッセージ１００の削除
のうち少なくとも１つの対策を含むことができる。メッセージ受信装置２１０，２３０は、メッセージの脅威の識別された種類に依存して、上掲のセキュリティ対策のうち少なくとも１つを自動的に選択することができる。
【００５３】
識別されたメッセージ１００全てが、各メッセージ受信装置２１０，２２０，２３０へ送信されるわけではないので、各特定のメッセージ受信装置２１０，２２０，２３０ごとに、識別されたメッセージのうち各特定のメッセージ受信装置２１０，２２０，２３０へ送信されたもののみを個別に含むメッセージリストを生成することができる。すなわち、各特定のメッセージ受信装置２１０，２２０，２３０ごとに、各特定のメッセージ受信装置２１０，２２０，２３０へ送信されるメッセージのみを含む固有のリストを生成する。
【００５４】
ここで留意すべき点は、受信された各メッセージ１００ごとに本方法はステップ３５６をもって終了し、次の新規のメッセージについてステップ３１０において再開することである。
【００５５】
上述のマルウェア検出技術の利点について、図４を参照して詳細に説明する。図４は、縦方向の時間軸と横方向のイベント軸とを有する図である。時間軸は複数の異なる時点ｔ０，ｔ１およびｔ２を有し、ｔ０は現在の時点を表す。これは図４では「観察時点」とも称される。時点ｔ１およびｔ２は、それより早い時点を表す。具体的には、ｔ２は、新規のマルウェアまたは脅威がメッセージ１００に現れた可能性がある時点を表すが、ＡＶユニット１０２０はこの新規のマルウェアを未だ検知できる状態ではないので、この新規のマルウェアまたは脅威はＡＶユニット１０２０によって検出されないままである。またｔ１は、ｔ０とｔ２との間の時点であって、ＡＶユニット１０２０が当該新規のマルウェアを含むメッセージを検出してフィルタリング除去するために新規のウィルスシグネチャを使用できるようになった時点を表す。
【００５６】
よって、図３ｂにおいて縦方向の矢印によって示されているように、ｔ１より後の時点でしか、新規のマルウェアを検出して、当該新規のマルウェアを含むメッセージをフィルタリング除去することができない。また、ｔ１からｔ２までの間には、新規マルウェアが既に存在する期間があるが、ＡＶユニット１０２０には未だ適切なマルウェアシグネチャが存在しないため、かかる期間を検出することはできない。本発明の検出技術を実施しない従来のメッセージングサーバでは、この期間を埋めることができず、新規のマルウェアは妨害されずに多数のメッセージング装置に拡散することができる。その上、メッセージング装置のユーザは通常、メッセージングサーバのマルウェアフィルタリング機能に依拠しているので、メッセージ受信装置において長い期間にわたって新規のマルウェアが未検出状態に留まる可能性は高い。
【００５７】
本発明にて開示したマルウェア検出技術は、送信された全てのメッセージに係るシグネチャ、すなわちｔ１とｔ２との間に送信されたメッセージに係るシグネチャを収集して記憶することにより、この期間を埋めることができる。収集されたシグネチャは、ｔ１より後の時点において検出された新規のマルウェア（すなわち、ゼロデイマルウェアメッセージ）を含む悪意のメッセージのシグネチャと比較される。ｔ１とｔ２との間に送信されたメッセージが、この検出されたゼロデイマルウェアメッセージのシグネチャと同一視可能なシグネチャを有して存在する場合には、当該ゼロデイマルウェアメッセージが過去に送信されたことを示す通知を生成して、対応するメッセージ受信装置へ送信する。よって、本願に係るマルウェア検出技術を用いることにより、早期の段階においてメッセージ受信装置のユーザに対し、ゼロデイマルウェアメッセージについて警告することができ、これにより、ユーザは適切な対抗措置をとることができる。さらに本発明のマルウェア検出技術は、アンチウィルスソフトウェア販売者によって提供されるマルウェアシグネチャとは異なり得る自己のシグネチャを生成して比較するので、本発明のかかる技術は、特定のＡＶ検出技術に依存しない。むしろ、本願に係るマルウェア検出技術は、従来のいかなるＡＶ検出技術とも同等のものである。よって、本願のマルウェア検出技術は、既存のメッセージングサーバに容易に実装することができる。
【００５８】
本願にて開示している技術について特定の実施形態を参酌して説明したが、当業者であれば、本発明は本願にて記載および図示されている特定の実施形態に限定されないことを認識することができる。本願の開示内容は説明のためであると解すべきである。したがって本発明は、添付の特許請求の範囲によってのみ限定されるべきものである。
【図１】
2017130921.tif 000003
【図２】
2017130921.tif 000004
【図３ａ】
2017130921.tif 000005
【図３ｂ】
2017130921.tif 000006
【図４】
2017130921.tif 000007
【外国語明細書】
2017130921.tif 000008
2017130921.tif 000009
2017130921.tif 000010
2017130921.tif 000011
2017130921.tif 000012
2017130921.tif 000013
2017130921.tif 000014
2017130921.tif 000015
2017130921.tif 000016
2017130921.tif 000017
2017130921.tif 000018
2017130921.tif 000019
2017130921.tif 000020
2017130921.tif 000021
2017130921.tif 000022
2017130921.tif 000023
2017130921.tif 000024
2017130921.tif 000025
2017130921.tif 000026
2017130921.tif 000027
2017130921.tif 000028
2017130921.tif 000029
2017130921.tif 000030
2017130921.tif 000031
2017130921.tif 000032
2017130921.tif 000033
2017130921.tif 000034