(57)【要約】発明は、通信ネットワーク（１１５）に接続された作業環境（１０１）への攻撃を検出する方法（６００）であって、以下の、通信ネットワーク（１１５）に接続されたネットワークセキュリティ要素（１０３）によって作業環境（１０１）を電子的に模擬するステップ（６０１）、ネットワークセキュリティ要素（１０３）においてネットワークトラフィック（２０２）を記録するステップ（６０２）、記録されたネットワークトラフィック（２０２）を所定のネットワークトラフィック（２０４）と比較するステップ（６０３）、及び記録されたネットワークトラフィック（２０２）と所定のネットワークトラフィック（２０４）の間に乖離がある場合に第１の攻撃警告信号（１１０）をトリガするステップ（６０４）を備える方法（６００）に関する。【選択図】図１
2017523701.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワーク（１１５）に接続された作業環境（１０１）への攻撃を検出する方法（６００）であって、
前記通信ネットワーク（１１５）に接続されたネットワークセキュリティ要素（１０３）によって前記作業環境（１０１）を電子的に模擬するステップ（６０１）、
前記ネットワークセキュリティ要素（１０３）においてネットワークトラフィック（２０２）を登録するステップ（６０２）、
登録された前記ネットワークトラフィック（２０２）を所定のネットワークトラフィック（２０４）と比較するステップ（６０３）、及び
前記登録されたネットワークトラフィック（２０２）と前記所定のネットワークトラフィック（２０４）の間に乖離がある場合に第１の攻撃警告信号（１１０）をトリガするステップ（６０４）
を備える方法（６００）。
【請求項２】
前記ネットワークトラフィック（２０２）を登録するステップ（６０２）が、前記ネットワークセキュリティ要素（１０３）へのアクセスレートを登録するステップを備え、
前記登録されたネットワークトラフィック（２０２）を前記所定のネットワークトラフィック（２０４）と比較するステップ（６０３）が、登録された前記アクセスレートを所定のアクセスレートと比較するステップを備える、請求項１に記載の方法（６００）。
【請求項３】
前記作業環境（１０１）を電子的に模擬するステップ（６０１）が、前記作業環境（１０１）にインストールされたものと同じソフトウェアの少なくとも部分を備える保護されていない作業環境（１０１ａ）を模擬するステップを備える、請求項１又は請求項２に記載の方法（６００）。
【請求項４】
ネットワーク接続要素（１０５）が前記作業環境（１０１）と前記通信ネットワーク（１１５）の間に介在し、ネットワーク監視要素（１０７）が前記ネットワーク接続要素（１０５）に接続され、
前記ネットワーク接続要素（１０５）におけるネットワークトラフィックを前記ネットワーク監視要素（１０７）に複製するステップをさらに備える、先行する請求項のいずれかに記載の方法（６００）。
【請求項５】
前記ネットワーク監視要素（１０７）によって前記ネットワーク接続要素（１０５）においてネットワークトラフィック（３０２）を登録するステップ、及び
前記ネットワーク接続要素（１０５）において登録された前記ネットワークトラフィック（３０２）に異常（３０４）が識別された場合に第２の攻撃警告信号（１１２）をトリガするステップ
をさらに備える請求項４に記載の方法（６００）。
【請求項６】
前記異常（３０４）の前記識別が、前記登録されたネットワークトラフィック（３０２）における異常検索動作の検出に基づく、請求項５に記載の方法（６００）。
【請求項７】
前記異常（３０４）が識別された場合に前記ネットワーク接続要素（１０５）において登録されたネットワークトラフィック（３０２）をリアルタイムで記録するステップを備える請求項５又は請求項６のいずれかに記載の方法（６００）。
【請求項８】
前記第１の攻撃警告信号（１１０）及び前記第２の攻撃警告信号（１１２）に基づいて警告アラート（１１４）を生成するステップを備える請求項５から７のいずれかに記載の方法（６００）。
【請求項９】
前記警告アラート（１１４）を生成するステップが、前記通信ネットワーク（１１５）の更なる作業環境からの更なる攻撃警告信号にも基づく、請求項８に記載の方法（６００）。
【請求項１０】
前記第１の攻撃警告信号（１１０）がトリガされる場合に、ログサーバ（１０９）によって前記ネットワークセキュリティ要素（１０３）における前記登録されたネットワークトラフィック（２０２）のログを取るステップ、及び
前記第２の攻撃警告信号（１１２）がトリガされる場合に、ログサーバ（１０９）によって前記ネットワーク接続要素（１０５）における前記登録されたネットワークトラフィック（３０２）のログを取るステップ
をさらに備える請求項８又は請求項９のいずれかに記載の方法（６００）。
【請求項１１】
前記ネットワークセキュリティ要素（１０３）においてログ取りされた前記ネットワークトラフィック（２０２）及び前記ネットワーク接続要素（１０５）においてログ取りされた前記ネットワークトラフィック（３０２）に基づいて前記攻撃の特徴的特性（４０４）を検出するステップを備える請求項１０に記載の方法（６００）。
【請求項１２】
ネットワークセキュリティシステム（１００）であって、
通信ネットワーク（１１５）への接続を確立するように設計されたネットワーク接続要素（１０５）、及び
前記ネットワーク接続要素（１０５）に接続されたネットワークセキュリティシステム（１０３）
を備え、
少なくとも１つの作業環境（１０１）が、該少なくとも１つの作業環境（１０１）を前記通信ネットワーク（１１５）に接続するための前記ネットワーク接続要素（１０５）に接続されることができ、
前記ネットワークセキュリティ要素（１０３）が、前記少なくとも１つの作業環境（１０１）の模擬に基づいて前記少なくとも１つの作業環境（１０１）への攻撃を検出するように設計された、ネットワークセキュリティシステム（１００）。
【請求項１３】
前記ネットワークセキュリティ要素（１０３）が、以下の、
前記少なくとも１つの作業環境（１０１）を電子的に模擬するように設計されたエミュレータ（２０１）、
前記ネットワークセキュリティ要素（１０３）においてネットワークトラフィック（２０２）を登録するように設計された登録部（２０３）、及び
登録された前記ネットワークトラフィック（２０２）を所定のネットワークトラフィック（２０４）と比較し、前記登録されたネットワークトラフィック（２０２）と前記所定のネットワークトラフィック（２０４）の間に乖離がある場合に第１の攻撃警告信号（１１０）をトリガするように設計された攻撃警告部（２０５）
を備える、請求項１２に記載のネットワークセキュリティシステム（１００）。
【請求項１４】
前記ネットワーク接続要素（１０５）に接続されたネットワーク監視要素（１０７）を備え、
前記ネットワーク監視要素（１０７）が、前記ネットワーク接続要素（１０５）においてネットワークトラフィック（３０２）を登録し、前記ネットワーク接続要素（１０５）において登録された前記ネットワークトラフィック（３０２）に異常（３０４）が識別された場合に第２の攻撃警告信号（１１２）をトリガするように設計された、請求項１３に記載のネットワークセキュリティシステム（１００）。
【請求項１５】
前記第１の攻撃警告信号（１１０）及び前記第２の攻撃警告信号（１１２）に基づいて警告アラート（１１４）を生成し、前記ネットワークセキュリティ要素（１０３）における前記登録されたネットワークトラフィック（２０２）のログを取るとともに前記ネットワーク接続要素（１０５）における前記登録されたネットワークトラフィック（３０２）のログを取り、前記ログ取りされたネットワークトラフィック（４０２）に基づいて前記攻撃の特徴的特性（４０４）を検出するように設計されたログサーバ（１０９）を備えた請求項１４に記載のネットワークセキュリティシステム（１００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信ネットワークに接続された作業環境への攻撃を検出する方法に関し、作業環境及びこのタイプの攻撃を識別するネットワークセキュリティ要素を備えるネットワークセキュリティシステムに関する。
【背景技術】
【０００２】
攻撃者の関心事となるような機密のデータは、職場のコンピュータシステム又は企業の作業環境若しくは職場環境に格納されることが多い。企業のコンピュータネットワークへの有害なプログラムの流入の結果として、又は例えば企業の役員又は公の重要人物といった都合の良い人々の作業環境へのスパイ行為の結果として、多くの場合、企業機密の盗難は認識されないままとなる。この場合、特定の使用に対して個別に作られた自己展開型の有害なプログラムが、そのような攻撃に使用されることがあり、市場で入手可能なウィルス対策製品によっては検出されず、又はそのような製品によっては非常に遅くにしか検出されないことになる。潜在的な危険にある企業内の人々は、もちろんデジタルスパイ攻撃の潜在的な犠牲者であることを自覚し得るが、場所、時刻及び形式のような正確な状況は、通常は把握されない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の課題は、コンピュータネットワークにおける、特にコンピュータネットワークの職場コンピュータシステムに対する攻撃を検出することである。
【０００４】
この課題は、独立請求項の構成によって達成される。有利な展開は、従属請求項の主題である。
【課題を解決するための手段】
【０００５】
以降に示す方法及びシステムは、作業環境の保護のために使用され得る。この場合での作業環境は、個々のユーザ又は個々のユーザグループに対して設計されたコンピュータネットワークにおけるコンピュータシステムをいう。例示として、企業の従業員は、彼らの仕事関連の義務を実行するために作業環境を使用し得る。作業環境は、１以上の職場コンピュータ、例えば、ＰＣ、ワークステーション、ノートパソコン、ＰＤＡ及び／又はスマートフォンを備え、これらは通信ネットワークに接続される。通信ネットワークは、例えばイーサネット（登録商標）、ＵＳＢ又はケーブルなどが使用される有線ネットワークであればよい。通信ネットワークは、例えばＷＬＡＮ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、又はＬＴＥ、ＵＭＴＳ、ＧＳＭ（登録商標）などのようなモバイル通信標準が使用される無線ネットワークであればよい。
【０００６】
以降に示す方法及びシステムは、ボットネットからの攻撃、特にＤＤｏＳ攻撃、スパム攻撃、スニッフィング攻撃、フィッシング攻撃、マルウェア拡散、キーロギング、無用なソフトウェアのインストール、アイデンティティ盗難、コンピュータネットワークの操作などから、コンピュータネットワーク、特に、コンピュータネットワークにおける作業環境を保護するのに使用され得る。
【０００７】
以降に示す方法及びシステムは、情報技術（ＩＴ）の分野において使用され得る。情報技術は、情報及びデータ処理並びにこの目的に必要なハードウェア及びソフトウェアについての一般用語である。企業の情報技術は、情報を生成、処理及び転送するためのすべての技術的装備を備える。
【０００８】
以降に示す方法及びシステムは、異なるタイプのものとなり得る。記載する個々の要素は、ハードウェア又はソフトウェア構成要素、例えば電子構成要素によって提供されることができ、これらは種々の技術によって生産され、例えば、半導体チップ、ＡＳＩＣ、マイクロプロセッサ、デジタル信号プロセッサ、集積電気回路、電気−光回路及び／又は受動部品を備える。
【０００９】
発明が基づく基本的コンセプトは、ハニーポットコンセプトに応じて攻撃者の標的対象に基づいて、すなわち、攻撃者に対して価値のある特定の作業環境を模擬するネットワークセキュリティ要素に基づいて、潜在的又は切迫した攻撃を検出することである。攻撃者は、この模擬された作業環境へのアクセスを試みるが、これにより、システムは攻撃者によって実行されたその行動を記録することができ、これに基づいて攻撃又は攻撃者の特徴が確立され得る。これらの特徴によって同様の攻撃を検出及び／又は阻止することができる。
【００１０】
第１の態様によると、発明は、通信ネットワークに接続された作業環境への攻撃を検出する方法に関し、その方法は、通信ネットワークに接続されたネットワークセキュリティ要素によって作業環境を電子的に模擬するステップ、ネットワークセキュリティ要素においてネットワークトラフィックを登録するステップ、登録されたネットワークトラフィックを所定のネットワークトラフィックと比較するステップ、及び登録されたネットワークトラフィックと所定のネットワークトラフィックの間に乖離がある場合に第１の攻撃警告信号をトリガするステップを備える。
【００１１】
そのような方法の効果は、ネットワークセキュリティ要素による作業環境の模擬の結果として、攻撃者が彼の攻撃をネットワークセキュリティ要素に向けるようにそそのかされるので現実の作業環境が保護されることである。したがって、ネットワークセキュリティ要素におけるネットワークトラフィックを登録及び解析することができる。所定のネットワークトラフィックとの比較は、攻撃を示す不規則性を識別するための単純な可能性を与える。したがって、そのような方法の効果は、現実の職場環境に対する予防効果であり、職場環境への攻撃を検出してその攻撃に対して警告するときに迅速に対応する能力である。
【００１２】
一実施形態によると、ネットワークトラフィックを登録するステップは、ネットワークセキュリティ要素へのアクセスレートを登録するステップを備え、登録されたネットワークトラフィックを所定のネットワークトラフィックと比較するステップは、登録されたアクセスレートを所定のアクセスレートと比較するステップを備える。
【００１３】
その効果は、例えば、所定のアクセスレートが、作業環境の標準的ユーザの挙動を統計的に解析することによって容易に特定可能となることである。作業環境又はネットワークセキュリティ要素への攻撃があった場合、それによりアクセスレートが急増し、それを容易にかつ高い信頼性で特定することができる。
【００１４】
一実施形態によると、作業環境を電子的に模擬するステップは、作業環境にインストールされたものと同じソフトウェアの少なくとも部分を備える保護されていない作業環境を模擬するステップを備える。
【００１５】
これは、攻撃者がその後ネットワークセキュリティ要素において同じソフトウェアを発見し、これは彼が対象とする職場環境であると信じてしまうという効果を有する。したがって、攻撃者は、これが現実の職場環境であるとの確信の下にネットワークセキュリティ要素を探究する挙動をとることになる。
【００１６】
一実施形態によると、作業環境は保護されており、電子的に模擬するステップは保護されていない作業環境を模擬するステップを含む。
【００１７】
これは、保護されていない作業環境の模擬が、保護されている作業環境から逸れ、攻撃者を引き付けることができるという効果を有する。
【００１８】
一実施形態によると、ネットワーク接続要素は作業環境と通信ネットワークの間に介在し、ネットワーク監視要素はネットワーク接続要素に接続され、上記方法はネットワーク接続要素におけるネットワークトラフィックをネットワーク監視要素に複製するステップをさらに備える。
【００１９】
これは、作業環境に対する全ネットワークトラフィックがネットワーク接続要素を通過し、それが容易に複製され、更なる解析のためにネットワーク監視要素に供給され得るという効果を有する。したがって、作業環境に向けられた攻撃者のすべての挙動をネットワーク監視要素によって登録することができる。
【００２０】
一実施形態によると、上記方法は、ネットワーク監視要素によってネットワーク接続要素においてネットワークトラフィックを登録するステップ、及びネットワーク接続要素において登録されたネットワークトラフィックに異常が識別された場合に第２の攻撃警告信号をトリガするステップを備える。
【００２１】
これは、第２の攻撃警告信号が第１の攻撃警告信号とは独立して生成されるので攻撃がより高い信頼性で検出されるという効果を有する。第１の攻撃警告信号はネットワークセキュリティ要素における職場ベースのネットワークトラフィックと所定のネットワークトラフィック、すなわち基準ネットワークトラフィックとの比較に基づく一方で、第２の攻撃警告信号はネットワーク接続要素のネットワークトラフィック、すなわち上位のネットワークトラフィックにおける異常の識別に基づく。
【００２２】
一実施形態によると、異常の識別は、登録されたネットワークトラフィックにおける異常検索動作の検出に基づく。
【００２３】
これは、異常検索動作の検出は進行中又は切迫した攻撃を高い信頼性で示すという効果を有する。コンピュータネットワークの複数のコンピュータから、例えば、機能しないソフトウェアの更新の際、プロセッサが過負荷となった場合、ソフトウェアの更新が未だ実行されていない場合、パスワードが正しく入力されなかった場合、インターネットへのアクセスが一時的にできなくなった場合、特定のデータへのアクセスができない場合など、多数の警告アラートが連続的に発生する。これらの警告アラートは、動作中により高い頻繁又はより低い頻繁で発生して修復されるためにユーザによる相互作用を必要とするコンピュータネットワークの具体的な異常によってもたらされる。これに対して、異常検索動作は、システムの通常の機能ではない。それらは、重大なものとして評価されてコンピュータの誤使用を示すものである。このようにして検出される異常検索動作に基づいて攻撃を高い信頼性で検出することができる。
【００２４】
一実施形態によると、上記方法は、異常が識別された場合にネットワーク接続要素において登録されたネットワークトラフィックをリアルタイムで記録するステップを備える。
【００２５】
これは、異常は切迫した攻撃を示すという前提で、攻撃者の挙動が直ちに記録及び解析可能となるという効果を有する。セキュリティシステムは、即座に行動をとることができ、応答時間は非常に短い。
【００２６】
一実施形態によると、上記方法は、第１の攻撃警告信号及び第２の攻撃警告信号に基づいて警告アラートを生成するステップを備える。
【００２７】
これは、相互に独立した２つの特定の攻撃警告信号、具体的には第１の攻撃警告信号及び第２の攻撃警告信号に基づく場合に警告アラートの信頼性が特に高くなるという効果を有する。
【００２８】
一実施形態によると、警告アラートの生成は、通信ネットワークの更なる作業環境からの更なる攻撃警告信号にも基づく。
【００２９】
警告アラートの生成が通信ネットワークの更なる作業環境からの更なる攻撃警告信号にも基づく場合、更なる情報が用いられるので、警告アラートの信頼性がより高くなる。
【００３０】
一実施形態によると、上記方法はまた、第１の攻撃警告信号がトリガされる場合にログサーバによってネットワークセキュリティ要素における登録されたネットワークトラフィックのログを取るステップ、及び第２の攻撃警告信号がトリガされる場合にログサーバによってネットワーク接続要素における登録されたネットワークトラフィックのログを取るステップを備える。
【００３１】
これは、２つのネットワーク要素において登録されたネットワークトラフィックのログを取る場合に更なる解析が入手可能となるという効果を有する。それにより、攻撃パターンの解析がより高精度に実行可能となり、将来の攻撃に関して、より信頼性の高い予測が可能となる。
【００３２】
一実施形態によると、上記方法は、ネットワークセキュリティ要素においてログ取りされたネットワークトラフィック及びネットワーク接続要素においてログ取りされたネットワークトラフィックに基づいて攻撃の特徴的特性を検出するステップを備える。
【００３３】
これは、同じ攻撃特徴に基づく更なる攻撃を検出するために、攻撃の特徴的特性を容易にかつ大きな支出なしに用いることができるという効果を有する。
【００３４】
第２の態様によると、発明は、通信ネットワーク１１５への接続を確立するように設計されたネットワーク接続要素１０５、及びネットワーク接続要素１０５に接続されたネットワークセキュリティシステム１０３を備えたネットワークセキュリティシステムに関し、少なくとも１つの作業環境１０１を通信ネットワーク１１５に接続するために少なくとも１つの作業環境１０１をネットワーク接続要素１０５に接続することができ、ネットワークセキュリティ要素１０３は、少なくとも１つの職場環境１０１の模擬に基づいて少なくとも１つの職場環境１０１への攻撃を検出するように設計される。
【００３５】
そのようなネットワークセキュリティシステムの効果は、ネットワークセキュリティ要素による職場環境の模擬の結果として、攻撃者はネットワークセキュリティ要素に彼の攻撃を向けるようにそそのかされるので現実の職場環境が保護されることである。したがって、ネットワークセキュリティ要素におけるネットワークトラフィックを登録及び解析することができる。したがって、そのようなネットワークセキュリティシステムの効果は、現実の職場環境に対する予防効果であり、職場環境への攻撃を検出することに関して迅速に対応する能力である。
【００３６】
一実施形態によると、ネットワークセキュリティ要素は、以下の、少なくとも１つの作業環境を電子的に模擬するように設計されたエミュレータ、ネットワークセキュリティ要素においてネットワークトラフィックを登録するように設計された登録部、及び登録されたネットワークトラフィックを所定のネットワークトラフィックと比較し、登録されたネットワークトラフィックと所定のネットワークトラフィックの間に乖離がある場合に第１の攻撃警告信号をトリガするように設計された攻撃警告部を備える。
【００３７】
そのようなネットワークセキュリティシステムの効果は、登録されたネットワークトラフィックと所定のネットワークトラフィックとの比較が、攻撃を示す不規則性を識別するための単純かつ信頼性の高い確率を与えることである。第１の攻撃警告信号は、ユーザが攻撃によって驚かされずに、又は適切な予防的措置をとるのに充分な時間があるように充分に早く攻撃を把握するように、早めにトリガされ得る。
【００３８】
一実施形態によると、ネットワークセキュリティシステムは、ネットワーク接続要素に接続されたネットワーク監視要素を備え、ネットワーク監視要素が、ネットワーク接続要素においてネットワークトラフィックを登録し、ネットワーク接続要素において登録されたネットワークトラフィックに異常が識別された場合に第２の攻撃警告信号をトリガするように設計される。
【００３９】
これは、第２の攻撃警告信号が第１の攻撃警告信号とは独立して生成されるので攻撃がより高い信頼性で検出されるという効果を有する。第１の攻撃警告信号はネットワークセキュリティ要素における職場ベースのネットワークトラフィックと所定のネットワークトラフィック、すなわち基準ネットワークトラフィックとの比較に基づく一方で、第２の攻撃警告信号はネットワーク接続要素のネットワークトラフィック、すなわち上位のネットワークトラフィックにおける異常の識別に基づく。
【００４０】
一実施形態によると、ネットワークセキュリティシステムは、第１の攻撃警告信号及び第２の攻撃警告信号に基づいて警告アラートを生成し、ネットワークセキュリティ要素における登録されたネットワークトラフィックのログを取るとともにネットワーク接続要素における登録されたネットワークトラフィックのログを取り、ログ取りされたネットワークトラフィックに基づいて攻撃の特徴的特性を検出するように設計されたログサーバを備える。
【００４１】
これは、２つのネットワーク要素において登録されたネットワークトラフィックのログを取る場合に更なる解析が入手可能となるという効果を有する。それにより、攻撃パターンの解析がより高精度に行うことができ、将来の攻撃に関して、より信頼性の高い予測を行うことができる。またさらに、同じ攻撃特徴に基づく更なる攻撃を検出するために、攻撃の特徴的特性を、容易にかつ大きな支出なしに用いることができる。
更なる実施形態を、添付図面を参照して説明する。
【図面の簡単な説明】
【００４２】
【図１】図１は、一実施形態によるネットワークセキュリティシステム１００の概略図である。
【図２】図２は、一実施形態によるネットワークセキュリティ要素１０３の概略図である。
【図３】図３は、一実施形態によるネットワーク監視要素１０７の概略図である。
【図４】図４は、一実施形態によるログサーバ１０９の概略図である。
【図５】図５は、一実施形態による、作業環境への攻撃を検出する方法５００の概略図である。
【図６】図６は、更なる実施形態による、作業環境への攻撃を検出する方法６００の概略図である。
【発明を実施するための形態】
【００４３】
以下の詳細な説明では、添付図面に参照がなされ、それは当該説明の一部を形成し、発明が実施され得る具体的な実施形態が例示として示される。本発明の概念から逸脱することなく他の実施形態も使用され得ること及び構造的又は論理的変形がなされ得ることは言うまでもない。したがって、以下の詳細な説明は、限定的な意味で捉えられるべきではない。特に断りがない限り、ここに記載する種々の実施形態の構成が相互に組合せ可能であることも言うまでもない。
【００４４】
態様及び実施形態が図面を参照して記載され、同様の符号は概略として同様の要素に関する。説明を与える目的のため、発明の１以上の態様の完全な理解を与えるために多数の具体的詳細事項を以下の説明で提示する。ただし、１以上の態様又は実施形態がより少ない具体的詳細事項で実施され得ることは当業者には明らかとなる。他の場合では、１以上の態様又は実施形態の説明を促進するために、周知の構造物及び要素を概略的形式で示す。本発明の概念から逸脱することなく、他の実施形態が使用され、構造的又は論理的変形がなされ得ることは言うまでもない。
【００４５】
実施形態の具体的構成又は具体的態様が多数の実施例の１つのみに関して開示されているが、このタイプの構成又はこのタイプの態様は、所与又は具体的なアプリケーションに対して所望及び有利なものとなるように、他の実施例の１以上の他の構成又は態様とさらに組み合わせられてもよい。またさらに、用語「ｃｏｎｔａｉｎ」、「ｈａｖｅ」、「ｗｉｔｈ」又はその活用形が詳細な説明又は特許請求の範囲において使用される限りにおいては、そのような用語は、用語「ｃｏｍｐｒｉｓｅ」と同様の意味において包括的なものとして理解されるべきである。用語「ｃｏｕｐｌｅｄ」及び「ｃｏｎｎｅｃｔｅｄ」は、その派生語とともに使用され得る。そのような用語は、２つの要素が、それらが相互に物理的又は電気的に直接接触しているか又は相互に直接接触していないかにかかわらず相互に協働又は相互作用することを特定するために用いられることは言うまでもない。さらに、用語「例として」は、最良又は最適なシナリオを示すことの代わりに単に一例として解釈されるべきである。したがって、以下の説明は、限定的な意味で解釈されるものではない。
【００４６】
図１は、一実施形態によるネットワークセキュリティシステム１００の概略図である。
【００４７】
ネットワークセキュリティシステム１００は、通信ネットワーク１１５への接続を確立するのに使用されるネットワーク接続要素１０５、及びネットワーク接続要素１０５に接続されたネットワークセキュリティ要素１０３も備える。少なくとも１つの作業環境１０１は、少なくとも１つの作業環境１０１を通信ネットワーク１１５に接続するために、ネットワーク接続要素１０５に接続可能であり、又はネットワーク接続要素１０５に接続され得る。
【００４８】
ネットワーク接続要素１０５は、作業環境１０１、ネットワークセキュリティ要素１０３及びネットワーク監視要素１０７を通信ネットワーク１１５に接続することができる。ネットワーク接続要素１０５は、例えば、スイッチ、ゲートウェイ又はルータであればよく、それは種々のネットワーク要素をスイッチ、ゲートウェイ又はルータに種々のポートを介して接続することができ、これに応じてそのネットワーク要素をルーティングすることができる。ルーティングのタイプは、対応するルータプロトコル若しくはゲートウェイプロトコル又はスイッチ設定を介して構成され得る。
【００４９】
ネットワークセキュリティ要素は、少なくとも１つの職場環境１０１の模擬に基づいて少なくとも１つの職場環境１０１への攻撃を検出するのに使用される。この場合、単一の職場環境１０１、又は多数の異なるそのような職場環境１０１が関与し得る。
【００５０】
ネットワークセキュリティ要素１０３は、図２についてより詳細を以下に示すように構成され得る。ネットワークセキュリティ要素１０３は、エミュレータ２０１、登録部２０３及び攻撃警告部２０５を備え得る。少なくとも１つの作業環境１０１が、エミュレータ２０１を用いて電子的に模擬され得る。ネットワークセキュリティ要素１０３におけるネットワークトラフィック２０２は、登録部２０３を用いて登録され得る。登録されたネットワークトラフィック２０２は、攻撃警告部２０５を用いて所定のネットワークトラフィック２０４と比較され、登録されたネットワークトラフィック２０２と所定のネットワークトラフィック２０４の間に乖離がある場合に第１の攻撃警告信号１１０がトリガされ得る。
【００５１】
作業環境１０１は、個々のユーザ又は個々のユーザグループに対して設計されたコンピュータネットワークにおけるコンピュータシステムであればよい。例として、作業環境は、企業の従業員に対して、その従業員が彼らの仕事関連の義務をその作業環境で実行することができるように割り当てられるものとする。作業環境は、１以上の職場環境コンピュータ、例えば、ＰＣ、ワークステーション、ノートパソコン、ＰＤＡ、スマートフォン又は他のタイプのコンピュータ若しくはプロセッサを備え得る。通信ネットワーク１１５は、有線ネットワーク、例えば、イーサネット（登録商標）、ＵＳＢ又はケーブルネットワークであればよい。通信ネットワーク１１５は、無線ネットワーク、例えば、ＷＬＡＮ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線ネットワーク、又はＬＴＥ、ＵＭＴＳ、ＧＳＭ（登録商標）などのようなモバイル通信標準の通信ネットワークであればよい。
【００５２】
ネットワークセキュリティシステム１００はまた、ネットワーク監視要素１０７を備え得る。ネットワーク監視要素１０７は、図３についてより詳細を以下に示すように構成され得る。ネットワーク監視要素１０７は、ネットワーク接続要素１０５においてネットワークトラフィック３０２を登録し、ネットワーク接続要素１０５において登録されたネットワークトラフィック３０２に異常３０４が識別された場合に第２の攻撃警告信号１１２をトリガするのに使用され得る。
【００５３】
ネットワークセキュリティシステム１００はまたログサーバ１０９を備え、それは例として図４についてより詳細を以下に示すように構成され得る。ログサーバ１０９は、第１の攻撃警告信号１１０及び第２の攻撃警告信号１１２に基づいて警告アラート１１４を生成することができる。ログサーバ１０９は、ネットワークセキュリティ要素１０３における登録されたネットワークトラフィック２０２及びネットワーク接続要素１０５における登録されたネットワークトラフィック３０２のログを取ることができ、ログ取りされたネットワークトラフィック４０２に基づく攻撃の特徴的特性４０４を検出することができる。
【００５４】
ネットワークセキュリティ要素１０３による職場環境１０１の模擬の結果として、攻撃者１１３が彼の攻撃をネットワークセキュリティ要素１０３に向けるようにそそのかされて、現実の職場環境１０１が保護されるようにすべきである。ネットワークセキュリティ要素１０３におけるネットワークトラフィックは、そのネットワークセキュリティ要素によって効率的に登録及び解析され得る。したがって、現実の職場環境１０１に対する予防効果が得られる。ネットワークセキュリティ要素１０３は高速なプロセッサで装備され、それによってネットワークセキュリティ要素１０３が職場環境１０１への攻撃を非常に速く検出することができる。
【００５５】
攻撃を検出する方法は、この場合には以下のように進む。
１．（内部）攻撃者１１３が攻撃可能な標的についてネットワーク１１５を調べる；
２．職場又は作業環境１０１は保護されている；
３．ネットワークセキュリティ要素１０３は、保護されていない職場を模擬して攻撃者１１３の注意を引く；
４ａ．攻撃者１１３は、対象となるネットワーク領域、すなわちネットワークセキュリティ要素１０３において攻撃可能な標的を（３）において見つける；
４ｂ．ネットワーク監視要素１０７は、リアルタイムでネットワークトラフィックにおける異常検索動作を検出し、これらを一元的に通信する；
４ｃ．ログサーバ１０９は、異常検索動作に関する入来通信のログを取る；
５ａ．攻撃者は（３）において侵入の試みを開始し、すなわち、ネットワークセキュリティ要素１０３に侵入することを試みる；
５ｂ．ネットワークセキュリティ要素１０３は、侵入の試みを検出し、リアルタイムで攻撃者１１３の入力を記録し、これらを一元的に通信し；ネットワーク監視要素１０７は、ネットワークトラフィックにおける攻撃の特性を検出してこれらを一元的に通信し；ログサーバ１０９は、攻撃の特性に関して入来通信のログを取る；
６．ログサーバ１０９は、（５ｂ）からの通信、すなわちネットワークセキュリティ要素１０３及びネットワーク監視要素１０７からの通信を照合し、警告レポートを生成する；
７．適切な措置を開始するために、セキュリティアナリストが解析装置１１１において警告レポートを解析する。
【００５６】
図２は、一実施形態によるネットワークセキュリティ要素１０３の概略図である。
【００５７】
ネットワークセキュリティ要素１０３は、エミュレータ２０１、登録部２０３及び攻撃警告部２０５を備える。図１において上述した作業環境１０１は、エミュレータ２０１を用いて電子的に模擬されることができ、すなわち、エミュレータ２０１は模擬された作業環境１０１ａを生成又は模擬することができる。エミュレータ２０１は、例えば、作業環境１０１にインストールされたものと同じソフトウェアの少なくとも部分をネットワークセキュリティ要素１０３にインストールすることができる。そして、攻撃者１１３は、ネットワークセキュリティ要素１０３上の同じソフトウェアを見つけ、これが彼の対象とする職場環境１０１であると信じる。したがって、攻撃者に彼の攻撃活動を継続させるために、攻撃者１１３を欺いてネットワークセキュリティ要素１０３を現実の作業環境１０１であると思い込ませ、これにより彼の追跡が継続可能となる。したがって、攻撃者１１３は、これが現実の職場環境１０１であるとの確信の下に、ネットワークセキュリティ要素１０３を探究することに自身の活動を向ける。
【００５８】
ネットワークセキュリティ要素１０３におけるネットワークトラフィック２０２は、登録部２０３を用いて登録され得る。登録されたネットワークトラフィック２０２は攻撃警告部２０５を用いて所定のネットワークトラフィック２０４と比較され、登録されたネットワークトラフィック２０２と所定のネットワークトラフィック２０４との間に乖離がある場合に第１の攻撃警告信号１１０がトリガ可能となる。例として、ネットワークセキュリティ要素１０３におけるネットワークトラフィック２０２の登録は、ネットワークセキュリティ要素１０３へのアクセスレートを登録することによって実施され得る。そのようにして登録されたアクセスレートは、所定のアクセスレートと比較され得る。
【００５９】
所定のアクセスレートは、例えば、作業環境１０１の標準的ユーザの挙動を統計的に解析することによって容易に特定され得る。作業環境１０１又はネットワークセキュリティ要素１０３において攻撃があった場合、それによってアクセスレートが急増するので、これを容易にかつ高い信頼性で特定することができる。
【００６０】
図３は、一実施形態によるネットワーク監視要素１０７の概略図である。
【００６１】
ネットワーク監視要素１０７はネットワーク接続要素１０５に接続され、ネットワーク接続要素１０５におけるネットワークトラフィック３０２を登録することができる。作業環境１０１から及び作業環境１０１への全ネットワークトラフィックがネットワーク接続要素１０５を通過し、そこからそれが容易に複製され、更なる解析のためにネットワーク監視要素１０７に供給され得る。したがって、作業環境１０１に向けられた攻撃者１１３のすべての挙動をネットワーク監視要素１０７によって登録することができる。
【００６２】
ネットワーク接続要素１０５において登録されたネットワークトラフィック３０２において異常３０４が識別された場合、ネットワーク監視要素が第２の攻撃警告信号１１２をトリガすることができる。したがって、第２の攻撃警告信号１１２は、第１の攻撃警告信号１１０とは独立して生成され、これにより攻撃がより高い信頼性で検出され得る。第１の攻撃警告信号１１０がネットワークセキュリティ要素における職場ベースのネットワークトラフィックと所定のネットワークトラフィック、すなわち基準ネットワークトラフィックとの比較に基づく一方で、第２の攻撃警告信号１１２はネットワーク接続要素におけるネットワークトラフィック、すなわち上位のネットワークトラフィックにおける異常の識別に基づくことができる。
【００６３】
異常３０４の識別は、登録されたネットワークトラフィック３０２における異常検索動作の検出によって実施され得る。異常検索動作の検出は、進行中又は切迫した攻撃を高い信頼性で示すことができる。コンピュータネットワークの複数のコンピュータから、例えば、機能しないソフトウェアの更新の際、プロセッサが過負荷となった場合、ソフトウェアの更新が未だ実行されていない場合、パスワードが正しく入力されなかった場合、インターネットへのアクセスが一時的にできなくなった場合、特定のデータへのアクセスができない場合など、多数の警告アラートが連続的に発生する。これらの警告アラートは、動作中により高い頻繁又はより低い頻繁で発生し、修復されるためにユーザによる相互作用を通常は必要とするコンピュータネットワークの特定の異常によってもたらされる。これに対して、異常検索動作は、システムの通常の機能ではない。それらは、重大なものとして評価されるべきものであり、コンピュータの誤使用を示すものである。このように検出される異常検索動作に基づいて攻撃を高い信頼性で検出することができる。
【００６４】
ネットワーク監視要素１０７は、登録部、例えばメモリを備えることができ、それによってネットワーク接続要素１０５におけるネットワークトラフィック３０２を登録することができる。ネットワーク監視要素１０７は、例えば相関法を適用することによって、ネットワーク接続要素１０５において登録されたネットワークトラフィック３０２における異常３０４を識別するために、検出部、例えばデータ相関器を備えることができる。ネットワーク監視要素１０７は警告部を備えることができ、それにより、異常３０４が識別された場合に攻撃警告信号１１２を生成することができる。ネットワーク監視要素１０７は通信インターフェースを備えることができ、それを介して攻撃警告信号１１２が、ネットワークセキュリティシステム１００における更なる構成要素に、例えば図１に示すようにネットワーク接続要素１０５及び通信ネットワーク１１５を介してログサーバ１０９及び／若しくは解析装置１１１に、又は図１に不図示であるが通信ネットワーク１１５を迂回する独立したインターフェースを介してログサーバ１０９及び／若しくは解析装置１１１に転送され得る。
【００６５】
図４は、一実施形態によるログサーバ１０９の概略図である。
【００６６】
ログサーバ１０９は、第１の攻撃警告信号１１０及び第２の攻撃警告信号１１２に基づいて警告アラート１１４を生成することができる。ログサーバ１０９は、ネットワークセキュリティ要素１０３における登録されたネットワークトラフィック２０２及びネットワーク接続要素１０５における登録されたネットワークトラフィック３０２のログを、例えばログメモリに取ることができ、ログ取りされたネットワークトラフィック４０２に基づいて攻撃の特徴的特性４０４を検出することができる。
【００６７】
２つのネットワーク要素１０３及び１０５において登録されたネットワークトラフィック２０２及び３０２のログを取ることによって、これが更なる解析のために利用可能となる。したがって、攻撃パターンの解析をより高い精度で実行することができ、将来の攻撃に対してより高い信頼性での予測を行うことができる。容易にかつ大きな支出なしに、同じ攻撃特徴に基づく更なる攻撃を検出するために、ログサーバ１０９によって検出された攻撃の特徴的特性を用いることができる。
【００６８】
ログサーバ１０９によって記録されたログ及びログサーバ１０９によって確立された攻撃の特徴的特性４０４は、図１に示すように、解析装置１１１に利用可能となる。
【００６９】
解析装置１１１は、例えば、ＳＩＥＭ（セキュリティ情報及びイベント管理）システムであればよい。解析装置１１１は、例として、セキュリティ情報管理（ＳＩＭ）をセキュリティイベント管理（ＳＥＭ）と組み合わせることができ、セキュリティアラームのリアルタイム解析を実行することができる。セキュリティ関連データを記録するために、及びコンプライアンス用途のためのレポートを生成するために、解析装置１１１及び／又はログサーバ１０９を用いることができる。
【００７０】
図５は、一実施形態による、作業環境への攻撃を検出するための方法５００の概略図である。
【００７１】
方法５００は、第１の方法ステップ５０１において、ネットワーク接続要素、例えば図１に関する説明によるネットワーク接続要素１０５を構成するステップを備えることができる。保護された職場システムはネットワーク接続要素１０５、例えば図１の記載による職場システム１０１に接続されることができ、それが攻撃者１１３の関心の対象となり得る。ネットワーク接続要素１０５の構成は、すべての「トラフィック」、すなわちネットワークトラフィックが、ネットワーク監視要素、例えば図１の記載によるネットワーク監視要素１０７が接続されるポートに複製されるようにすることができる。
【００７２】
代替的に、方法５００は、構成されたネットワーク接続要素で実行されるようにしてもよい。
【００７３】
方法５００は、第２の方法ステップ５０２において、職場システム、例えばネットワークセキュリティ要素１０３によって図１に関する説明による作業環境１０１を模擬するステップを備えることができる。保護されていない職場システムの模擬は、保護された職場システムから逸れ、そして攻撃者の注意を引き付けることが意図されている。
【００７４】
方法５００は、第３の方法ステップ５０３において、例えば図１において詳細に説明したように、ネットワーク監視要素１０７を用いて、入来及び出力ネットワークトラフィックをチェックするステップを備え得る。ネットワーク監視要素１０７は、疑わしいパターンについてネットワーク接続要素１０５への／ネットワーク接続要素１０５からの入来及び出力ネットワークトラフィックを検査することができる。
【００７５】
ネットワークトラフィックが暗号化されている場合、単に接続からのネットワーク及びログデータが解析に利用可能となる。そして、接続の基礎を形成するキー情報がネットワーク監視要素１０７に利用可能である場合、送信によって暗号化されたデータアイテムのコンテンツがさらに解析され得る。
【００７６】
方法５００は、第４の方法ステップ５０４において、警告レポートの解析及び作成を含むことができる。ネットワークセキュリティ要素１０３によって侵入の試みが検出された場合、攻撃者の入力のログが取られ、一元的に登録され得る。ネットワーク監視要素１０７によって疑わしいパターンが発見された場合、図１及び４に記載するように、アラームが生成されて統合のための中央システム、例えばログサーバ１０９に転送され得る。
【００７７】
ネットワーク監視要素１０７での保護されていない職場の模擬と一元的なログ取りとを組み合わせることによって、一元的に事象を因果関係に至らせ、攻撃者に関する結論を引き出すことができるようになる。
【００７８】
他のネットワークエリアからの通信は、同じ構造によって一元的に収集され得る。この形式で取得可能なデータが多いほど、実行された攻撃に関する結論の質は高まり、すなわち、誤った結論が減少し得る。
【００７９】
方法５００は、第５の方法ステップ５０５において、セキュリティアナリストによる適切な措置を開始するステップを備えることができる。セキュリティアナリストは、例えば、ｅメール、ＳＭＳ、アプリなどの形態で自動化された態様で警告アラートを取得することができ、それに対する適切な措置を開始することができる。
【００８０】
図６は、更なる実施形態による、通信ネットワーク１１５に接続された作業環境、例えば図１に示した作業環境１０１への攻撃を検出する方法６００の概略図である。
【００８１】
方法６００は、通信ネットワーク１１５に接続されたネットワークセキュリティ要素、例えば図１に示すようなネットワークセキュリティ要素１０３によって作業環境１０１を電子的に模擬するステップ６０１を備える。方法６００は、ネットワークセキュリティ要素１０３においてネットワークトラフィック２０２を登録するステップ６０２を備える。方法６００は、登録されたネットワークトラフィック２０２を所定のネットワークトラフィック２０４と比較するステップ６０３を備える。方法６００は、例えば図１及び２に関する説明によると、登録されたネットワークトラフィック２０２と所定のネットワークトラフィック２０４の間の乖離がある場合に第１の攻撃警告信号１１０をトリガするステップ６０４を備える。
【００８２】
ネットワークトラフィックの登録ステップ６０２は、ネットワークセキュリティ要素１０３へのアクセスレートを登録するステップを備え得る。登録されたネットワークトラフィック２０２と所定のネットワークトラフィック２０４との比較ステップ６０３は、登録されたアクセスレートを所定のアクセスレートと比較するステップを含み得る。
【００８３】
作業環境１０１の電子的模擬ステップ６０１は、作業環境１０１にインストールされたものと同じソフトウェアの少なくとも部分を備える保護されていない作業環境１０１ａを模擬するステップを備え得る。
【００８４】
ネットワーク接続要素１０５は、例えば図１の記載による作業環境１０１と通信ネットワーク１１５の間に介在していればよく、ネットワーク監視要素１０７はネットワーク接続要素１０５に接続され得る。方法６００は、ネットワーク接続要素１０５におけるネットワークトラフィックをネットワーク監視要素１０７に複製するステップを備え得る。
【００８５】
方法６００はまた、ネットワーク監視要素１０７によってネットワーク接続要素１０５におけるネットワークトラフィック３０２を登録するステップ、及びネットワーク接続要素１０５において登録されたネットワークトラフィック３０２に、例えば図３に関する説明による、異常３０４が識別された場合に第２の攻撃警告信号１１２をトリガするステップを備え得る。異常３０４の識別は、登録されたネットワークトラフィック３０２において異常検索動作の検出に基づいていればよい。
【００８６】
方法６００はまた、異常３０４が識別される場合にネットワーク接続要素１０５において登録されたネットワークトラフィック３０２をリアルタイムで記録するステップを備え得る。方法６００は、例えば図１〜３に関する説明によると、第１の攻撃警告信号１１０及び第２の攻撃警告信号１１２に基づいて警告アラート１１４を生成するステップを備え得る。警告アラート１１４の生成はまた、通信ネットワーク１１５の更なる作業環境からの更なる攻撃警告信号に基づいていてもよい。
【００８７】
方法６００はまた、例えば図１及び４に関連する説明によると、第１の攻撃警告信号１１０がトリガされると、ログサーバ１０９によってネットワークセキュリティ要素１０３における登録されたネットワークトラフィック２０２のログを取るステップを備え得る。方法６００は、例えば図１及び４に関連する説明によると、第２の攻撃警告信号１１２がトリガされると、ログサーバ１０９によってネットワーク接続要素１０５における登録されたネットワークトラフィック３０２のログを取るステップを備え得る。方法６００はまた、ネットワークセキュリティ要素１０３におけるログ取りされたネットワークトラフィック２０２及びネットワーク接続要素１０５におけるログ取りされたネットワークトラフィック３０２に基づいて攻撃の特徴的特性４０４を検出するステップを備え得る。
【００８８】
方法６００は、図１に関する説明の最後において説明した方法ステップ１〜７及び図５に示す方法５００の一般化を説明するものである。
【００８９】
発明の一態様はまた、デジタルコンピュータの内部メモリに直接読み込まれ得るコンピュータプログラム製品を備え、それにより製品がコンピュータ上で稼働すると図５又は図６に関して説明した方法５００及び６００が実行され得るソフトウェアコードの部分を備える。コンピュータプログラム製品はコンピュータに適した媒体に記憶され、以下の、通信ネットワークに接続されたネットワークセキュリティ要素によってコンピュータが作業環境を電子的に模擬すること６０１、ネットワークセキュリティ要素においてネットワークトラフィックを登録すること６０２、登録されたネットワークトラフィックを所定のネットワークトラフィックと比較すること６０３、及び登録されたネットワークトラフィックと所定のネットワークトラフィックの間に乖離がある場合に第１の攻撃警告信号をトリガすること６０４を可能とするコンピュータ可読プログラム手段を備える。コンピュータは、ＰＣ、例えば、コンピュータネットワークを構成するＰＣであればよい。コンピュータは、チップ、ＡＳＩＣ、マイクロプロセッサ又は信号プロセッサであってもよく、コンピュータネットワーク、例えば図１〜４に示すようなコンピュータネットワークに配置され得る。
【００９０】
特に断りがない限り、例としてここに記載する種々の実施形態の構成は相互に組合せ可能であることは言うまでもない。明細書及び図面に示すように、相互に接続されて示された個々の要素は、相互に直接接続されている必要はなく、介在要素が、接続された要素間に設けられ得る。また、発明の実施形態は、個別の回路、部分的に集積された回路若しくは完全に集積された回路又はプログラミング手段において実施され得ることは言うまでもない。用語「例として」は、最良又は最適なシナリオとしてではなく、一例として意図されるにすぎない。具体的な実施形態がここに説明及び記載されたが、多数の変形例及び／又は均等実施例が、本発明の概念から逸脱することなく、図示及び記載した実施形態の代わりに実現され得ることは当業者には明らかである。
【符号の説明】
【００９１】
１００  ネットワークセキュリティシステム
１０１  作業環境
１０１ａ  模擬された作業環境
１０３  ネットワークセキュリティ要素
１０５  ネットワーク接続要素
１０７  ネットワーク監視要素
１０９  ログサーバ
１１０  第１の攻撃警告信号
１１１  解析装置
１１２  第２の攻撃警告信号
１１３  攻撃者
１１４  警告アラート
１１５  通信ネットワーク
２０１  エミュレータ
２０３  登録部
２０５  攻撃警告部
２０２  ネットワークセキュリティ要素における登録されたネットワークトラフィック
２０４  所定のネットワークトラフィック
３０２  ネットワーク接続要素における登録されたネットワークトラフィック
３０４  異常
４０２  ログ取りされたネットワークトラフィック
４０４  攻撃の特徴的特性
５００  作業環境への攻撃を検出する方法
５０１  第１の方法ステップ：ネットワーク接続要素を構成する
５０２  第２の方法ステップ：職場システムを模擬する
５０３  第３の方法ステップ：入来及び出力ネットワークトラフィックを確認する
５０４  第４の方法ステップ：警告レポートの解析及び作成
５０５  第５の方法ステップ：セキュリティアナリストによって適切な措置を開始する
６００  作業環境への攻撃を検出する方法
６０１  第１の方法ステップ：作業環境を電子的に模擬する
６０２  第２の方法ステップ：ネットワークセキュリティ要素においてネットワークトラフィックを登録する
６０３  第３の方法ステップ：登録されたネットワークトラフィックを所定のネットワークトラフィックと比較する
６０４  第４の方法ステップ：第１の攻撃警告信号をトリガする
【図１】
2017523701.tif 000003
【図２】
2017523701.tif 000004
【図３】
2017523701.tif 000005
【図４】
2017523701.tif 000006
【図５】
2017523701.tif 000007
【図６】
2017523701.tif 000008
【国際調査報告】
2017523701.tif 000009
2017523701.tif 000010
2017523701.tif 000011
2017523701.tif 000012
2017523701.tif 000013
2017523701.tif 000014