(57)【要約】【課題】攻撃による影響が同サブシステム内の他の機器だけでなく、他サブシステムの機器にも拡散している可能性を迅速に発見する。【解決手段】セキュリティ運用管理装置と複数のサブシステムとを有し、サブシステムの各々は、一つ以上の機器と当該サブシステム内の監視を担当する現場監視装置とを有し、各々のサブシステムにおいて、現場監視装置は、担当するサブシステム内の一つ以上の機器に係る単位時間当たりの振舞い特徴量を、繰り返し算出し、第一のサブシステムにおいて、第一の現場監視装置は、当該サブシステム内のいずれかの機器に関して、攻撃によるアラート発行を検知した際には、アラート情報をセキュリティ運用管理装置に送信し、セキュリティ運用管理装置は、受信したアラート情報に基づき、第二のサブシステムを選択し、第二のサブシステムを担当する第二の現場監視装置へ、攻撃に対する対処指示を送信するセキュリティ運用システム。【選択図】  図１
2018169643.tif 000002
【特許請求の範囲】
【請求項１】
セキュリティ運用管理装置と複数のサブシステムとを有するセキュリティ運用システムであって、
前記サブシステムの各々は、一つ以上の機器と、当該サブシステム内の監視を担当する現場監視装置と、を有し、
各々の前記サブシステムにおいて、
前記現場監視装置は、担当する前記サブシステム内の一つ以上の前記機器に係る単位時間当たりの振舞いを示す振舞い特徴量を、繰り返し算出し、
第一の前記サブシステムにおいて、
第一の前記現場監視装置は、当該サブシステム内のいずれかの前記機器に関して攻撃によるアラート発行を検知した場合には、前記アラートに係るアラート情報を前記セキュリティ運用管理装置に送信し、
前記セキュリティ運用管理装置は、
受信した前記アラート情報に基づき、第二の前記サブシステムを選択し、
前記第二のサブシステムを担当する第二の前記現場監視装置へ、前記攻撃に対する対処指示を送信する
ことを特徴とするセキュリティ運用システム。
【請求項２】
請求項１に記載のセキュリティ運用システムであって、
前記対処指示は、対象となる機器を特定する情報と、前記攻撃に対する対処内容と、を含み、
前記第二の現場監視装置は、受信した前記対処指示に基づき、
対象となる前記機器を抽出し、
抽出した前記機器を特定する情報と、前記対処内容と、を提示する
ことを特徴とするセキュリティ運用システム。
【請求項３】
請求項１または２に記載のセキュリティ運用システムであって、
前記アラートに係る情報と、前記対処内容と、は、前記アラートの情報と、前記アラートに対する対処内容と、を含む
ことを特徴とするセキュリティ運用システム。
【請求項４】
請求項１から３のいずれか一に記載のセキュリティ運用システムであって、
前記現場監視装置は、
前記サブシステム内に存在する前記機器に係る前記振舞い特徴量に基づき、前記機器を一つ以上のクラスタに分類し、
前記クラスタごとに代表機器を選出し、
前記代表機器の前記振舞い特徴量を前記セキュリティ運用管理装置へ送信する
ことを特徴とするセキュリティ運用システム。
【請求項５】
請求項４に記載のセキュリティ運用システムであって、
前記セキュリティ運用管理装置は、
各々の前記現場監視装置から受信した前記代表機器に係る前記振舞い特徴量に基づき、前記代表機器を一つ以上の上位クラスタに分類しておき、
前記第一の現場監視装置から前記アラート情報を受信した場合は、前記アラート情報が特定する前記代表機器と同一の前記上位クラスタに属する他の前記代表機器が属する前記第二のサブシステムを選択する
ことを特徴とするセキュリティ運用システム。
【請求項６】
請求項４または５に記載のセキュリティ運用システムであって、
前記第一の現場監視装置と第二の現場監視装置は、それぞれが担当する前記サブシステム内で収集されたログ情報から、攻撃調査に用いられる指標を、前記サブシステム内の各前記機器に対する単位時間当たりの振舞い特徴量として算出する
ことを特徴とするセキュリティ運用システム。
【請求項７】
請求項４から６のいずれか一に記載のセキュリティ運用システムであって、
前記アラートに係る情報と、前記対処内容と、は、前記攻撃の影響を受けた前記機器、または、前記攻撃の影響を受けた前記機器が属するクラスタの前記代表機器の振舞い特徴量と、を含む
ことを特徴とするセキュリティ運用システム。
【請求項８】
請求項４から７のいずれか一に記載のセキュリティ運用システムであって、
前記現場監視装置と、前記セキュリティ運用管理装置と、は、
前記振舞い特徴量の一つ以上の成分の相関度に基づき、前記クラスタ、または、前記上位クラスタへの分類を行う
ことを特徴とするセキュリティ運用システム。
【請求項９】
複数のサブシステムを有するシステムにおけるセキュリティ運用管理装置であって、
前記サブシステムの各々は、一つ以上の機器と、当該サブシステム内の監視を担当する現場監視装置と、を有しており、
前記セキュリティ運用管理装置は、
担当する第一の前記サブシステム内のいずれかの前記機器に関して攻撃によるアラート発行を検知した第一の前記現場監視装置から、前記アラートに係るアラート情報を受信した場合、
受信した前記アラート情報に基づき、第二の前記サブシステムを選択し、
前記第二のサブシステムを担当する第二の前記現場監視装置へ、前記攻撃に対する対処指示を送信する
ことを特徴とするセキュリティ運用管理装置。
【請求項１０】
請求項９に記載のセキュリティ運用管理装置であって、
前記対処指示は、対象となる機器を特定する情報と、前記攻撃に対する対処内容と、を含む
ことを特徴とするセキュリティ運用管理装置。
【請求項１１】
請求項９または１０に記載のセキュリティ運用管理装置であって、
前記アラートに係る情報と、前記対処内容と、は、前記アラートの情報と、前記アラートに対する対処内容と、を含む
ことを特徴とするセキュリティ運用管理装置。
【請求項１２】
請求項９から１１のいずれか一に記載のセキュリティ運用管理装置であって、
各々の前記サブシステム内において、
前記現場監視装置が、
前記サブシステム内に存在する前記機器に係る単位時間当たりの振舞いを示す振舞い特徴量に基づき、前記機器を一つ以上のクラスタに分類し、
前記クラスタごとに代表機器を選出している場合、
前記セキュリティ運用管理装置は、前記現場監視装置から、前記代表機器の前記振舞い特徴量を受信する
ことを特徴とするセキュリティ運用管理装置。
【請求項１３】
請求項１２に記載のセキュリティ運用管理装置であって、
各々の前記現場監視装置から受信した前記代表機器に係る前記振舞い特徴量に基づき、前記代表機器を一つ以上の上位クラスタに分類しておき、
前記第一の現場監視装置から前記アラート情報を受信した場合は、前記アラート情報が特定する前記代表機器と同一の前記上位クラスタに属する他の前記代表機器が属する前記第二のサブシステムを選択する
ことを特徴とするセキュリティ運用管理装置。
【請求項１４】
請求項１２または１３に記載のセキュリティ運用管理装置であって、
前記アラートに係る情報と、前記対処内容と、は、前記攻撃の影響を受けた前記機器、または、前記攻撃の影響を受けた前記機器が属するクラスタの前記代表機器の振舞い特徴量と、を含む
ことを特徴とするセキュリティ運用管理装置。
【請求項１５】
セキュリティ運用管理装置と複数のサブシステムとを有するシステムの、前記サブシステムの各々において、一つ以上の機器を有する当該サブシステム内の監視を担当する現場監視装置であって、
前記サブシステム内の一つ以上の前記機器に係る単位時間当たりの振舞いを示す振舞い特徴量を、繰り返し算出し、
前記サブシステム内のいずれかの前記機器に関して攻撃によるアラート発行を検知した場合には、前記アラートに係るアラート情報を前記セキュリティ運用管理装置に送信し、
前記セキュリティ運用管理装置から、いずれかの前記サブシステムにおいて検知された攻撃に対する対処指示を送信されたら、これを受信する
ことを特徴とする現場監視装置。
【請求項１６】
請求項１５に記載の現場監視装置であって、
前記対処指示は、対象となる機器を特定する情報と、前記攻撃に対する対処内容と、を含み、
前記現場監視装置は、受信した前記対処指示に基づき、
対象となる前記機器を抽出し、
抽出した前記機器を特定する情報と、前記対処内容と、を提示する
ことを特徴とする現場監視装置。
【請求項１７】
請求項１５または１６記載の現場監視装置であって、
前記アラートに係る情報と、前記対処内容と、は、前記アラートの情報と、前記アラートに対する対処内容と、を含む
ことを特徴とする現場監視装置。
【請求項１８】
請求項１５から１７いずれか一に記載の現場監視装置であって、
前記サブシステム内に存在する前記機器に係る前記振舞い特徴量に基づき、前記機器を一つ以上のクラスタに分類し、
前記クラスタごとに代表機器を選出し、
前記代表機器の前記振舞い特徴量を前記セキュリティ運用管理装置へ送信する
ことを特徴とする現場監視装置。
【請求項１９】
請求項１８に記載の現場監視装置であって、
担当する前記サブシステム内で収集されたログ情報から、攻撃調査に用いられる指標を、前記サブシステム内の各前記機器に対する単位時間当たりの振舞い特徴量として算出する
ことを特徴とする現場監視装置。
【請求項２０】
請求項１５から１９のいずれか一に記載の現場監視装置であって、
前記アラートに係る情報と、前記対処内容と、は、前記攻撃の影響を受けた前記機器、または、前記攻撃の影響を受けた前記機器が属するクラスタの前記代表機器の振舞い特徴量と、を含む
ことを特徴とする現場監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、セキュリティ攻撃に対処するセキュリティ運用システム、セキュリティ運用管理装置およびセキュリティ運用方法に関する。
【背景技術】
【０００２】
今後セキュリティ脅威が爆発的に増加することが予測される一方で、各企業と機関では、情報システムを守るセキュリティ専門家の不足に危機感を募らせている。この問題の解決に向けて、セキュリティインシデントを引き起こすセキュリティ攻撃の検知から対処までを行うＳＯＣ（Ｓｅｃｕｒｉｔｙ  Ｏｐｅｒａｔｉｏｎ  Ｃｅｎｔｅｒ）業務を自動化していくことで、セキュリティ専門家の作業を支援していき、業務効率を向上させることが求められる。
【０００３】
特に規模の大きい企業や機関では、情報システムとして、複数のサブシステムを有することが多い。サブシステムとは、大きな情報システムの一部を構成する、より小さな単位の情報システムのことである。これは、例えば、組織内の各拠点や子会社などが運用する情報システムに相当する。サブシステムは、内部の構成要素を組み合わせて、それ自体が１つのシステムとして運用可能である。同時により大きな情報システムの一部でもあり、ルータ等を介してネットワーク接続された他のサブシステムと相互に情報連携しながら、全体としての仕組みを提供する。ＳＯＣ業務を効率化する観点では、これら複数のサブシステムを束ねて統合的にセキュリティ監視の対象とする必要となる。
【０００４】
マルウェアの混入や機器乗っ取りなどのセキュリティ攻撃が発生した場合には、その攻撃被害が同サブシステム内の他の機器だけでなく、他サブシステムの機器にも拡散していたり、当該インシデントを引き起こす、同じ手口の攻撃を受けていたりする可能性がある。ＳＯＣ業務では、そのような機器を迅速に発見し、対処する必要がある。この発見には現状では人手で機器ログやネットワークログを解析しており、非常に時間を要する。そのため、セキュリティ専門家が不足する状況では対処が後手に回る可能性が高くなる。また、サブシステムごとに機器やネットワークの構成が異なる状況では、ログの解析がより複雑になり、更に時間を要する。さらには、サブシステムが増えれば、監視対象とする機器の数も膨大になり、ログ解析には多大な時間を要する。
【０００５】
特許文献１では、資産（機器）と脅威の組合せ一覧から対策(対処)リストを作成することを開示している。特許文献２では、ある機器に対して異常を検知した際に、構成管理データベースを参照し、その機器が関わる一連の機器に対して対処を自動的に実施することを開示している。また特許文献３では、通常状態での端末の振る舞いからグループを作成し、セキュリティ攻撃が発生した際には、そのグループ内の端末に対して警告を送信することを開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２５５２３号公報
【特許文献２】特開２０１２−１６８６８６号公報
【特許文献３】特開２０１６−１２２２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、セキュリティ攻撃に対する対処が他機器に対して実施済みかを検査するのには使えるが、対処リストの抜けまたは漏れがあったり、未対処であったりした場合には、全機器に対して人手でのログ解析が必要になる。そのため、その攻撃の拡散や同じ手口の攻撃の迅速な発見は難しい。
【０００８】
特許文献２では、セキュリティ攻撃の拡散は事前に定義された機器間の依存関係とは必ずしも一致せず、依存関係にない機器や他サブシステムに対する検査は、人手でのログ解析が必要になる。そのため、セキュリティ攻撃の拡散や同じ手口の攻撃の迅速な発見は難しい。
【０００９】
特許文献３では、セキュリティ攻撃発生時の端末振る舞いは考慮されておらず、人手でのログ解析が必要になる。また、グループ内端末が多いときには結局警告として機能しない。そのため、セキュリティ攻撃の拡散や同じ手口の攻撃の迅速な発見は難しい。
【課題を解決するための手段】
【００１０】
開示されるのは、セキュリティ攻撃の発生時に、その攻撃被害が他サブシステムの機器にも拡散したり、他サブシステムの機器も同じ手口の攻撃を受けていたりする可能性を迅速に発見するセキュリティ運用システム、セキュリティ運用管理装置またはサブシステム内で用いる現場監視装置である。
【００１１】
開示される一態様は、セキュリティ運用管理装置と複数のサブシステムとを有するセキュリティ運用システムであって、
サブシステムの各々は、一つ以上の機器と当該サブシステム内の監視を担当する現場監視装置とを有し、
各々のサブシステムにおいて、
現場監視装置は、担当するサブシステム内の一つ以上の機器に係る単位時間当たりの振舞いを示す振舞い特徴量を、繰り返し算出し、第一のサブシステムにおいて、第一の現場監視装置は、当該サブシステム内のいずれかの機器に関して攻撃によるアラート発行を検知した場合には、アラートに係るアラート情報をセキュリティ運用管理装置に送信し、
セキュリティ運用管理装置は、受信したアラート情報に基づき、第二のサブシステムを選択し、第二のサブシステムを担当する第二の現場監視装置へ、攻撃に対する対処指示を送信する、ことを特徴とする。
【００１２】
上記態様によれば、セキュリティ攻撃が拡散していたり、同じ手口攻撃を受けていたりする可能性のある潜在的脅威度の高い機器から優先してセキュリティ攻撃対策を実施することで、少ない人員でも迅速にセキュリティインシデントの収拾に繋げることができる。
【発明の効果】
【００１３】
開示する内容によれば、攻撃の拡散や同じ手口の攻撃の迅速な発見が可能になる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係るセキュリティ運用システムの構成例。
【図２】セキュリティ運用管理装置のハードウェア構成例。
【図３】現場監視装置のハードウェア構成例。
【図４】セキュリティ運用システムの運用方法を例示する概念図。
【図５】ログ情報収集におけるシーケンス図の例。
【図６】機器ログ情報テーブルの構成例。
【図７】ネットワークログ情報テーブルの構成例。
【図８】現場監視装置が保持する機器振舞い特徴量テーブルの構成例。
【図９】現場監視装置が保持する機器相関情報テーブルの構成例。
【図１０】セキュリティ運用管理装置が保持する代表機器振舞い特徴量テーブルの構成例。
【図１１】セキュリティ運用管理装置が保持する代表機器相関情報テーブルの構成例。
【図１２】アラート発行時のシーケンス図の例。
【図１３】アラート情報テーブルの構成例。
【図１４】アラート発行された機器に関するアラート直前の機器振舞い特徴量情報の構成例。
【図１５】拡散防止対処指示の構成例。
【図１６】現場監視装置の画面表示の例。
【図１７】現場監視装置のログ収集処理を示すフローチャート図の例。
【図１８】セキュリティ運用管理装置のログ収集処理を示すフローチャート図の例。
【図１９】現場監視装置のアラート発行時処理を示すフローチャート図の例。
【図２０】セキュリティ運用管理装置のアラート発行時処理を示すフローチャート図の例。
【図２１】現場監視装置の拡散防止対処処理を示すフローチャート図の例。
【発明を実施するための形態】
【００１５】
以下、一実施例を説明する。
【００１６】
図１は、本実施形態に係るセキュリティ運用システムの構成例を示す。セキュリティ運用システムでは、複数のサブシステム１０１、１１１をセキュリティ監視対象とする。サブシステム１０１は、パソコンやプリンタなどの機器１０２ａ、１０２ｂ、サブシステムのネットワーク内を流れるパケットを調査するネットワーク監視装置１０３、外部との接続を検査かつ防御するＦＷ（Ｆｉｒｅｗａｌｌ）／ＩＰＳ（Ｉｎｔｒｕｓｉｏｎ Ｐｒｅｖｅｎｔ Ｓｙｓｔｅｍ）１０４、外部との接続を仲介するプロキシ１０５を有する。また、サブシステム１０１内には、機器１０２ａ、１０２ｂの故障やセキュリティを監視する現場監視室１０６が存在する。現場監視室１０６には、サブシステム内の各装置からログ情報やアラート情報を収集かつ格納するログ収集装置１０７と、集められたログ情報から各機器の振舞い特徴量を算出したり、アラート情報を処理したり、現場監視者にセキュリティに関する情報を提示したりする現場監視装置１０８が存在する。サブシステム１１１も同様である。
【００１７】
各サブシステムは、インターネットなどの外部ネットワーク１２１に接続される。また、複数のサブシステム群の間で情報連携するために、ルータ１２２を介して連携ネットワークを構成する。さらに、複数のサブシステム群を統合的にセキュリティ監視するための統合ＳＯＣ（Ｓｅｃｕｒｉｔｙ Ｏｐｅｒａｔｉｏｎ Ｃｅｎｔｅｒ）１２３も接続される。統合ＳＯＣ１２３は、セキュリティ運用管理装置１２４によって構成される。
【００１８】
図２は、セキュリティ運用管理装置１２４のハードウェア構成例を示す。セキュリティ運用管理装置１２４は、ＣＰＵ２０１、メモリ２０２、ストレージ２０３、ネットワークインタフェース２０４を備える。これらは、双方向通信可能な内部バスで接続されている。
【００１９】
ＣＰＵ２０１は、メモリ２０２からプログラム及びデータを読み出して処理することにより、セキュリティ運用管理装置１２４の有する各種機能を実現する。メモリ２０２は、セキュリティ運用管理装置１２４の有する各種機能を実現するためのプログラム及びデータを格納する。メモリ２０２の例は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等である。ストレージ２０３は、セキュリティ運用管理装置１２４の有する各種機能を実現するためのプログラム及びデータを格納する。ストレージ２０３の例は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等である。ネットワークインタフェース２０４は、セキュリティ運用管理装置１２４をネットワークに接続し、他の装置との間でデータを送受信するためのインタフェースである。ネットワークインタフェース２０４の例は、Ｅｔｈｅｒｎｅｔ（登録商標）アダプタ、ファイバチャネルアダプタなどである。
【００２０】
図３は、現場監視装置１０８のハードウェア構成例を示す。現場監視装置１０８は、ＣＰＵ３０１、メモリ３０２、ストレージ３０３、ネットワークインタフェース３０４を備える。これらは、双方向通信可能な内部バスで接続されている。
【００２１】
ＣＰＵ３０１は、メモリ３０２からプログラム及びデータを読み出して処理することにより、現場監視装置１０８の有する各種機能を実現する。メモリ３０２は、現場監視装置１０８の有する各種機能を実現するためのプログラム及びデータを格納する。メモリ３０２の例は、ＤＲＡＭ、ＭＲＡＭ、ＦｅＲＡＭ等である。ストレージ３０３は、現場監視装置１０８の有する各種機能を実現するためのプログラム及びデータを格納する。ストレージ３０３の例は、ＨＤＤ、ＳＳＤ等である。ネットワークインタフェース３０４は、現場監視装置１０８をネットワークに接続し、他の装置との間でデータを送受信するためのインタフェースである。ネットワークインタフェース３０４の例は、Ｅｔｈｅｒｎｅｔ（登録商標）アダプタ、ファイバチャネルアダプタなどである。
【００２２】
図４は、セキュリティ運用システムの運用方法を示す概念図である。サブシステム１０１において、現場監視装置１０８は、サブシステム１０８内に存在する機器群のログ情報から、各機器の振舞い特徴量を繰り返し、例えば定期的に算出している。また、現場監視装置１０８は、サブシステム１０８内に存在する機器群に対して、ある成分軸に基づいてクラスタを算出する。クラスタとは、所定の基準、例えば、ある成分軸によって分類された機器群で構成される仮想的なグループのことである。具体的なクラスタの算出方法の例は、後述の図９の説明の中で述べる。このようにサブシステム内で算出する機器群のクラスタのことを下位クラスタと呼ぶ。図４では、３つの下位クラスタＡ１１、Ａ１２、Ａ１３（４０１、４０２、４０３）が算出されている。
【００２３】
各下位クラスタの中では、クラスタの中心点に最も近い機器を代表機器として選出する。ここでクラスタの中心点とは、機器をクラスタに分類した成分軸上における、同一クラスタ内機器の成分値の平均値である。図４では、下位クラスタＡ１１、Ａ１２、Ａ１３（４０１、４０２、４０３）に関して、それぞれ代表機器４０４、４０５、４０６が選出されている。
【００２４】
現場監視装置１０８は、各代表機器だけについて、その振舞い特徴量を統合ＳＯＣ１２３のセキュリティ運用管理装置１２４に送信する（４２１）。
【００２５】
サブシステム１１１の現場監視装置１１８についても同様である。
【００２６】
このように下位クラスタを算出し、各クラスタの代表機器を抽出し、その代表機器だけの振舞い特徴量を送信することで、サブシステム１０１、１１１と統合ＳＯＣ１２３の間のネットワークリソースの消費を抑えることができる。
【００２７】
一方、統合ＳＯＣ１２３のセキュリティ運用管理装置１２４では、下位クラスタの代表機器群に対して、サブシステムの区切りを横断して、ある成分軸に基づいてクラスタを算出する。具体的なクラスタの算出方法の例は、後述の図１１の説明の中で述べる。このように統合ＳＯＣ１２３側において算出する代表機器群のクラスタのことを上位クラスタと呼ぶ。図４では、３つの上位クラスタＢ１、Ｂ２、Ｂ３（４２２、４２３、４２４）が算出されている。また、例えば、上位クラスタＢ３（４２４）は、下位クラスタＡ１２の代表機器４０５と下位クラスタＡ２３の代表機器４１６を含むものとして算出されている。このとき、下位クラスタＡ１２（４０２）と下位クラスタＡ２３（４１３）に属する機器群は、同様の性質を持つものとして捉える。
【００２８】
このように全サブシステムの機器群に対してではなく、代表機器群に対してだけクラスタを算出することで、機器数が膨大になった場合でもクラスタ算出の組合せ数爆発を抑える効果がある。
【００２９】
ここで、サブシステム１０１の下位クラスタＡ１２（４０２）に分類されたある機器に対してセキュリティ攻撃のアラートが発生したとする（４２５）。現場監視装置１０８は、セキュリティ攻撃が発生したことを、攻撃発生したときの機器の振舞い特徴量と共に、セキュリティ運用管理装置１２４に通知する（４２６）。セキュリティ運用管理装置１２４は、下位クラスタＡ１２（４０２）内の機器でセキュリティ攻撃が発生したことを認識して、同じ上位クラスタＢ３（４２４）に属する下位クラスタＡ１２（４０２）と下位クラスタＡ２３（４１３）の機器群に対しても、攻撃の拡散や同じ攻撃を受けていないかを発見するように、攻撃発生したときの機器の振舞い特徴量の通知と共に、現場監視装置１０８と現場監視装置１１８に指示する（４２７）。
【００３０】
現場監視装置１０８、１１８は、指示４２７を受けて、攻撃の拡散や同じ攻撃を受けている機器を調査する。
【００３１】
上記運用方法によって、セキュリティ攻撃発生時に、その攻撃被害が同サブシステム内の他の機器だけでなく、他サブシステムの機器にも拡散していたり、同じ手口の攻撃を受けていたりする可能性を迅速に発見できる。
【００３２】
以下では、セキュリティ運用システム、およびセキュリティ運用方法の具体的手順例について説明する。
【００３３】
図５は、ログ情報収集におけるシーケンス図の例を示す。機器１０２ａ、１０２ｂは、内部でプログラムの実行監視やシステムログを記録し（ステップ５０１）、ログ収集装置１０７に機器ログ情報を通知する（ステップ５０２）。また、ネットワーク監視装置１０３は、ネットワークキャプチャを行い（ステップ５０３）、ログ収集装置１０７にネットワークログ情報を通知する（ステップ５０４）。ログ収集装置１０７は、この通知された機器ログ情報を機器ログ情報テーブルに、ネットワークログ情報をネットワークログ情報テーブルにそれぞれ格納する（ステップ５０５）。
【００３４】
図６は、ログ収集装置１０７が持つ機器ログ情報テーブル６００の構成例を示す。機器ログ情報テーブル６００の各エントリは、エントリを表す管理番号６０１、機器ログの通知元である機器のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス６０２、機器ログが記録された記録日時６０３、機器内部で実行された実行プログラムまたは実行コマンド６０４の項目を含んで構成される。機器ログ情報テーブル６００の１つのエントリは、機器ログ情報が通知されるごとに追加されていく。
【００３５】
図７は、ログ収集装置１０７が持つネットワークログ情報テーブル７００の構成例を示す。ネットワークログ情報テーブル７００の各エントリは、エントリを表す管理番号７０１、ネットワークログの記録対象となる機器のＩＰアドレス７０２、ネットワークログが記録された記録日時、通信相手のＩＰアドレス７０４、通信に用いたプロトコル７０５、通信のサービス名７０６、送信元ポート番号７０７、通信に要した通信時間７０８、通信で送受信したバイト数７０９、通信で送受信したパケット数７１０の項目を含んで構成される。ネットワークログ情報テーブル７００の１つのエントリは１回の通信セッションでのネットワークログを表し、ネットワークログが通知されるごとに追加されていく。
【００３６】
図５に戻る。現場監視装置１０８は、ログ収集装置１０７に対して、サブシステム内に存在する機器群のログ情報を繰り返し、例えば定期的に要求し、取得する（ステップ５０６、５０７）。現場監視装置１０８は、取得したログ情報を元に、各機器の振舞い特徴量を算出し、機器振舞い特徴量テーブルに格納する（ステップ５０８）。
【００３７】
図８は、現場監視装置１０８が保持する機器振舞い特徴量テーブル８００の構成例を示す。機器振舞い特徴量テーブル８００の各エントリは、エントリを表す管理番号８０１、対象とする機器のＩＰアドレス８０２、ログ情報を取得した集計日時８０３、機器ログ情報から算出した単位時間当たりの振舞い特徴量である機器ログ特徴量８１１、ネットワークログ情報から算出した単位時間当たりの振舞い特徴量であるネットワークログ特徴量８２１の項目を含んで構成される。機器ログ特徴量８１１とネットワークログ特徴量８２１は、セキュリティ攻撃発生の調査に用いられる指標を算出したものである。
機器ログ特徴量８１１は、例えば、攻撃者によってよく用いられるプログラムやコマンド（ａｔ、ｄｉｒ、ｉｐｃｏｎｆｉｇなど）の実行回数集計値（８１２、８１３、８１４）の項目を含んで構成される。また、ネットワークログ特徴量８１２は、例えば、攻撃時に差異として見えてくるネットワークパラメータ（通信相手数、通信回数、サービス数、通信時間合計、バイト数合計、パケット数合計など）の集計値（８２２、８２３、８２４、８２５、８２６）の項目を含んで構成される。機器振舞い特徴量テーブル８００の１つのエントリは、各機器に対する単位時間当たりの機器振舞い特徴量を表し、繰り返し、例えば定期的に機器振舞い特徴量を算出するごとに追加されていく。
【００３８】
図５に戻る。現場監視装置１０８は、機器群の下位クラスタを算出していない場合には、機器群の下位クラスタを算出し、機器相関情報テーブルに格納する（ステップ５０９）。算出のタイミングは、クラスタ算出に用いる情報が集まった時点や、新たな機器がサブシステムに追加された時点で良い。
【００３９】
図９は、現場監視装置１０８が保持する機器相関情報テーブル９００の構成例を示す。機器相関情報テーブル９００の各エントリは、エントリを表す管理番号９０１、機器のＩＰアドレス９０２、機器が属する下位クラスタの番号９０３、その機器が下位クラスタ内の代表機器であるかを表す代表機器フラグ９０４、クラスタに分類するための成分軸を表す第一主成分９０５、第二主成分９０６の項目を含んで構成される。機器相関情報テーブル９００の１つのエントリは、サブシステム内に存在する機器ごとに作成される。
第一主成分９０５、第二主成分９０６は、例えば、一般的な統計手法である主成分分析から求めることができる。主成分分析に入力する情報としては、ここでは、図８の機器振舞い特徴量テーブル８００に格納されている機器振舞い特徴量を用いることを想定する。この第一主成分９０５、第二主成分９０６を指標として、例えば、一般的なクラスタ化手法であるＫ−ｍｅａｎｓ法を用いて下位クラスタを算出することができる。上記以外にも、機器の製造元やＯＳ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）、機器の管理元部署や管理ユーザ職位など、多様な情報を用いて下位クラスタを算出しても良い。また、下位クラスタ内の代表機器には、例えば、クラスタ内各機器の主成分の平均値に最も近い機器を選出することができる。
【００４０】
図５に戻る。現場監視装置１０８は再び、ログ収集装置１０７に対して、サブシステム内に存在する機器群のログ情報を要求し、取得する（ステップ５１０、５１１）。そして、現場監視装置１０８は、取得したログ情報を元に、各機器の振舞い特徴量を算出し、機器振舞い特徴量テーブルに格納する（ステップ５１２）。現場監視装置１０８は、代表機器に関しては、算出した機器振舞い特徴量をセキュリティ運用管理装置１２４に通知する（ステップ５１３）。セキュリティ運用管理装置１２４は、この通知を代表機器振舞い特徴量テーブルに格納する。
【００４１】
現場監視装置１０８は、上記ステップ５１０〜５１４を繰り返し、例えば定期的に実施する。
【００４２】
図１０は、セキュリティ運用管理装置１２４が保持する代表機器振舞い特徴量テーブル１０００の構成例を示す。代表機器振舞い特徴量テーブル１０００の各エントリは、エントリを表す管理番号１００１、代表機器が属するサブシステムの番号１００２、代表機器が属する下位クラスタの番号１００３、代表機器のＩＰアドレス１００４、代表機器の振舞い特徴量が算出された集計日時１００５、代表機器の振舞い特徴量である機器ログ特徴量１００６とネットワークログ特徴量１００７の項目を含んで構成される。代表機器振舞い特徴量テーブル１０００の１つのエントリは、現場監視装置から通知される度に、代表機器ごとに追加される。
【００４３】
図５に戻る。セキュリティ運用管理装置１２４は、代表機器群の上位クラスタを算出していない場合には、代表機器群の上位クラスタを算出し、代表機器相関情報テーブルに格納する（ステップ５１４）。算出のタイミングは、クラスタ算出に用いる情報が集まった時点や、新たな代表機器が通知された時点で良い。
【００４４】
図１１は、セキュリティ運用管理装置１２４が保持する代表機器相関情報テーブル１１００の構成例を示す。代表機器相関情報テーブル１１００の各エントリは、エントリを表す管理番号１１０１、代表機器のＩＰアドレス１１０２、代表機器が属する上位クラスタの番号１１０３、代表機器が属する下位クラスタの番号１１０４、上位クラスタに分類するための成分軸を表す第一主成分１１０５、第二主成分１１０６の項目を含んで構成される。代表機器相関情報テーブル１１００の１つのエントリは、現場監視装置から通知される代表機器ごとに作成される。
【００４５】
第一主成分１１０５、第二主成分１１０６は、例えば、一般的な統計手法である主成分分析から求めることができる。主成分分析に入力する情報としては、ここでは、図１０の代表機器振舞い特徴量テーブル１０００に格納されている代表機器振舞い特徴量を用いることを想定する。この第一主成分１１０５、第二主成分１１０６を指標として、例えば、一般的なクラスタ化手法であるＫ−ｍｅａｎｓ法を用いて下位クラスタを算出することができる。上記以外にも、代表機器の製造元やＯＳ、代表機器の管理元部署や管理ユーザ職位など、多様な情報を用いて上位クラスタを算出しても良い。
【００４６】
以上の手順により、セキュリティ運用システム内でのログ収集処理が実行される。
【００４７】
図１２は、アラート発行時のシーケンス図の例を示す。機器１０２ａ、１０２ｂ、ネットワーク監視装置１０３、ＦＷ／ＩＰＳ１０４、プロキシ１０５では、セキュリティ攻撃の監視を行っている。
【００４８】
例えば、機器１０２ａ、１０２ｂがウィルスを検知したとき（ステップ１２０１）、ネットワーク監視装置１０３がネットワーク内を流れるパケットの異常を検知したとき（ステップ１２０２）、ＦＷ／ＩＰＳ１０４やプロキシ１０５が外部ネットワークへ流れるパケットを遮断したとき（ステップ１２０３）、などのいずれか一つ以上の攻撃検知に続き、それぞれからアラートが発行され、ログ収集装置１０７にアラート情報が通知される（ステップ１２０４）。ログ収集装置１０７は、通知されたアラート情報をアラート情報テーブルに格納する（ステップ１２０５）。
【００４９】
図１３は、アラート情報テーブル１３００の構成例を示す。アラート情報テーブル１３００の各エントリは、エントリを表す管理番号１３０１、アラート発行の対象となった機器のＩＰアドレス１３０２、アラート発行の日時１３０３、アラート発行元のセキュリティ装置１３０４、危険度を表すアラートレベル１３０５、アラート発行時のアクション１３０６、アラート発行の理由１３０７の項目を含んで構成される。アラート情報テーブル１３００の１つのエントリは、１回のアラート情報を表し、アラートが発行されるごとに追加されていく。
【００５０】
図１２に戻る。
【００５１】
アラートが発生すると、アラート情報テーブル１３００の発行されたアラートに係るエントリが、現場監視装置１０８に通知される（ステップ１２０６）。アラート情報テーブル１３００のアラートレベル１３０５が高に設定されるアラート情報が通知された場合には、現場監視装置１０８は現場監視者に対して、音や表示の出力により、セキュリティ攻撃への対処を促すことが望ましい。
【００５２】
現場監視装置１０８は、現場監視者が行った作業内容（例えば、パッチを当てる、機器を停止する、ネットワークから隔離する、など）を、セキュリティ対処内容として取得し、記録する（ステップ１２０７）。
【００５３】
現場監視装置１０８は、セキュリティ運用管理装置１２４に、セキュリティ対処を行ったアラート情報と対処内容を通知する（ステップ１２０８）。さらに、現場監視装置１０８は、図８の機器振舞い特徴量テーブル８００から抽出した、アラート発行された機器に係る、検知した攻撃の影響を受けた、例えばアラート直前の、振舞い特徴量のエントリと、図９の機器相関情報テーブル９００からその機器が属する下位クラスタ番号９０３と、を抽出し、セキュリティ運用管理装置１２４に対して、アラート直前の機器振舞い特徴量情報として通知する（ステップ１２０９）。
【００５４】
図１４は、アラート発行された機器に関するアラート直前の機器振舞い特徴量情報１４００の構成例を示す。アラート直前の機器振舞い特徴量情報１４００の各エントリは、アラート発行された機器のＩＰアドレス１４０１、その機器が属するサブシステムの番号１４０２、その機器が属する下位クラスタの番号１４０３、機器振舞い特徴量を算出した集計日時１４０４、機器振舞い特徴量である機器ログ特徴量１４０５とネットワークログ特徴量１４０６の項目を含んで構成される。
【００５５】
図１２に戻る。セキュリティ運用管理装置１２４は、図１１の代表機器相関情報テーブル１１００を参照し、アラート発行された機器が属する下位クラスタ番号と、上位クラスタ番号が同一である下位クラスタ番号を選択する（ステップ１２１０）。セキュリティ運用管理装置１２４は、図１０の代表機器振舞い特徴量テーブル１０００を参照し、選択した下位クラスタ番号からサブシステム番号を特定する。そして、セキュリティ運用管理装置１２４は、特定したサブシステムを担当する現場監視装置（ここでは現場監視装置１１８）に、検知した攻撃に連なる手口と同種の手口のいずれか一方または両方による攻撃への対処指示を送信する（ステップ１２１１）。
【００５６】
図１５は、拡散防止対処指示１５００の構成例を示す。拡散防止対処指示１５００の各エントリは、ステップ１２１０で選択した上位クラスタ番号１５０１と下位クラスタ番号１５０２、ステップ１２０９で受信したアラート直前の機器振舞い特徴量１５１１、ステップ１２０８で受信したアラート情報および対処内容１５２１の項目を含んで構成される。アラート直前の機器振舞い特徴量１５１１は、特徴量が算出された集計日時１５１２、機器ログ特徴量１５１３、ネットワークログ特徴量１５１４を含む。また、アラート情報および対処内容１５２１は、アラート発行された日時１５２２、アラート内容を表すアラート情報１５２３、アラート発行された機器に対して実施された対処内容１５２４を含む。
【００５７】
図１２に戻る。現場監視装置１１８は、ステップ１２１１で拡散防止対処指示１５００を受信すると、図９と同様の機器相関情報テーブルを参照し、拡散防止対処指示１５００の中に記された下位クラスタ番号１５０２に属する機器を、受信した対処指示の対象機器として抽出する。そして、現場監視装置１１８は、上記抽出した機器群に関して、図８と同様の機器振舞い特徴量テーブルを参照し、拡散防止対処指示１５００の中に記されたアラート直前の機器振舞い特徴量１５１１と相関度の高い機器振舞い特徴量のエントリがあるかを過去に遡って検索し、検索ヒットした場合にはそのエントリの機器を要対処機器として抽出する（ステップ１２１２）。ここで相関度の算出には、例えば、ベクトル空間においてベクトル特徴量同士を比較する際に一般的に用いられる類似度計算手法であるコサイン類似度を用いることができる。この算出される値が、設定された閾値以上であれば、相関度が高い機器振舞い特徴量として扱う。
【００５８】
現場監視装置１１８は、ステップ１２１２で抽出された要対処機器のリストと、拡散防止対処指示１５００に記されたアラート情報および対処内容１５２１を元に、現場監視者に対してそれらの情報を画面表示する（ステップ１２１３）。
【００５９】
図１６は、現場監視装置１１８の画面表示の例を示す。画面には、機器監視ダッシュボード１６０１内のセキュリティ監視に関するタブ１６０２が表示されている。その中に要対処機器リスト１６０３として、表示した日時１６０４、要対処機器のＩＰアドレス１６０５、アラート情報および対処内容１５２１を元に作成された検出理由１６０６、アラート情報および対処内容１５２１を元に作成された対処案１６０７が表示されている。対処案１６０７には、他サブシステムで実施された対処の内容が記されている。
【００６０】
図１２に戻る。セキュリティ運用管理装置１２４は、ステップ１２１０で選択した他の下位クラスタを監視する現場管理装置や、アラート発行元となる現場管理装置１０８に対しても同様に、拡散防止対処指示を送信し（ステップ１２１４）、セキュリティ攻撃被害の拡散や、同じ手口の攻撃を受けている可能性の発見を促す。
【００６１】
以上の手順により、セキュリティ運用システム内でのアラート発行時の処理が実行される。
【００６２】
次に、現場監視装置１０８、１１８、およびセキュリティ監視装置１２４が実施する処理のフローチャートを説明する。
【００６３】
図１７は、現場監視装置のログ収集処理を示すフローチャート図の例を示す。本処理は、図５のステップ５０６〜５１３に相当する。また、本処理は繰り返し、例えば定期的に一定間隔で実行されるものである。本処理が開始されると（ステップ１７０１）、まずサブシステムに属する全機器群に対して以下の処理が実施される（ステップ１７０２）。対象の機器に対して、ログ収集装置から対象機器のログ情報を取得する（ステップ１７０３）。取得したログ情報から、単位時間当たりの機器振舞い特徴量を算出し、図８に示した機器振舞い特徴量テーブルに格納する（ステップ１７０４）。次に、機器群の下位クラスタを算出し、図９に示した機器相関情報テーブルを作成済みか調べる（ステップ１７０５）。下位クラスタを未算出である場合は、対象機器に対する一連の処理を完了し、次のループ処理を実施する（ステップ１７０８）。
【００６４】
ステップ１７０５に戻り、下位クラスタを算出済みである場合は、図９に示した機器相関情報テーブルを参照し、対象としている機器が代表機器であるかを調べる（ステップ１７０６）。代表機器でない場合、対象機器に対する一連の処理を完了し、次のループ処理を実施する（ステップ１７０８）。
【００６５】
ステップ１７０６に戻り、対象機器が代表機器である場合、ステップ１７０４で算出した振舞い特徴量を、代表機器の振舞い特徴量としてセキュリティ運用管理装置に通知する（ステップ１７０７）。対象機器に対する一連の処理を完了し、次のループ処理を実施する（ステップ１７０８）。サブシステムに属する全機器分に対してステップ１７０２〜１７０８の処理が完了すると、機器群の下位クラスタを算出するタイミングか調べる（ステップ１７０９）。このタイミングは、クラスタ算出に用いる情報が集まった時点や、新たな機器がサブ室エムに追加された時点など、あらかじめ設定された情報である。算出タイミングでない場合は、本処理は終了する（ステップ１７１１）。
【００６６】
ステップ１７０９に戻り、算出タイミングである場合は、一般的なクラスタ化手法であるＫ−ｍｅａｎｓ法などを用いて機器群の下位クラスタを算出して、図９に示した機器相関情報テーブルを作成し（ステップ１７１０）、本処理を終了する（ステップ１７１１）。
【００６７】
図１８は、セキュリティ運用管理装置のログ収集処理を示すフローチャート図の例を示す。本処理は、図５のステップ５１３〜５１４に相当する。本処理が開始されると（ステップ１８０１）、まず現場管理装置から代表機器の振舞い特徴量通知を受信し、図１０に示した代表機器振舞い特徴量テーブルに格納する（ステップ１８０２）。次に、代表機器群の上位クラスタを算出するタイミングか調べる（ステップ１８０３）。このタイミングは、クラスタ算出に用いる情報が集まった時点や、新たな機器がサブ室エムに追加された時点など、あらかじめ設定された情報である。算出タイミングでない場合は、本処理を終了する（ステップ１８０５）。
【００６８】
ステップ１８０３に戻り、算出タイミングである場合は、一般的なクラスタ化手法であるＫ−ｍｅａｎｓ法などを用いて代表機器群の上位クラスタを算出して、図１１に示した代表機器相関情報テーブルを作成し（ステップ１８０４）、本処理を終了する（ステップ１８０５）。
【００６９】
図１９は、現場監視装置のアラート発行時処理を示すフローチャート図の例を示す。本処理は、図１２のステップ１２０６〜１２０９に相当する。本処理が開始されると（ステップ１９０１）、ログ収集装置からアラート情報通知を受信する（ステップ１９０２）。この通知を受けて、現場監視者がアラート発行された機器に対してセキュリティ対処を実施、その対処内容を現場監視装置において記録する（ステップ１９０３）。次に、セキュリティ運用管理装置に対して、ステップ１９０２で受信したアラート情報と、ステップ１９０３で記録された対処内容を通知する（ステップ１９０４）。さらに、アラート発行された機器に関して、図８に示した機器振舞い特徴量テーブルからアラート直前の機器特徴量のエントリを抽出し、かつ図９に示した機器相関情報テーブルからその機器が属する下位クラスタ番号を抽出し、セキュリティ運用管理装置に対してアラート直前の機器振舞い特徴量情報として通知する（ステップ１９０５）。以上で本処理を終了する（ステップ１９０６）。
【００７０】
図２０は、セキュリティ運用管理装置のアラート発行時処理を示すフローチャート図の例を示す。本処理は、図１２のステップ１２０８〜１２１１に相当する。本処理が開始されると（ステップ２００１）、現場監視装置からアラート情報および対処内容を受信する（ステップ２００２）。また、現場監視装置から、アラート発行された機器に関して、アラート直前の機器振舞い特徴量情報を受信する（ステップ２００３）。次に、図１１に示した代表機器相関情報テーブルを参照し、アラート発行された機器が属する下位クラスタと、上位クラスタが同一である下位クラスタを選択する（ステップ２００４）。図１０に示した代表機器振舞い特徴量テーブルを参照し、選択した下位クラスタからサブシステムを特定する。そして、特定したサブシステムに属する全現場監視装置に対して、以下の処理が実施される（ステップ２００５）。対象の現場監視装置に対して、図１５に示した拡散防止対処指示を送信し（ステップ２００６）、次のループ処理を実施する（ステップ２００７）。特定したサブシステムに属する全現場監視装置に対して、ステップ２００５〜２００７の処理が完了すると、本処理を終了する（ステップ２００８）。
【００７１】
図２１は、現場監視装置の拡散防止対処処理を示すフローチャート図の例を示す。本処理は、図１２のステップ１２１１〜１２１３に相当する。本処理が開始されると（ステップ２１０１）、セキュリティ運用管理装置から、図１５に示した拡散防止対処指示を受信する（ステップ２１０２）。図９と同様の機器相関情報テーブルを参照し、拡散防止対処指示の中に記された下位クラスタに属する機器群を抽出する。抽出した機器群に関して、図８と同様の機器振舞い特徴量テーブルを参照し、拡散防止対処指示の中に記されたアラート直前の機器振舞い特徴量と相関度の高い機器振舞い特徴量のエントリがあるかを過去に遡って検索し、検索ヒットした場合にはそのエントリの機器を要対処機器として抽出する（ステップ２１０３）。ここで相関度の算出には、例えば、ベクトル空間においてベクトル特徴量同士を比較する際に一般的に用いられる類似度計算手法であるコサイン類似度を用いることができる。この算出される値が、設定された閾値以上であれば、相関度が高い機器振舞い特徴量として扱う。その後、抽出された要対処機器のリストと、拡散防止対処指示に記されたアラート情報および対処内容を元に、現場監視者に対してそれらの情報を画面表示する（ステップ２１０４）。以上で、本処理を終了する（ステップ２１０５）。
【００７２】
上記で述べた手順を実施することで、セキュリティ攻撃発生時に、その攻撃被害が同サブシステム内の他の機器だけでなく、他サブシステムの機器にも拡散していたり、同じ手口の攻撃を受けていたりする可能性を迅速に発見できる。これにより、セキュリティ攻撃が拡散していたり、同じ手口の攻撃を受けていたりする可能性のある潜在的脅威度の高い機器から優先してセキュリティ攻撃対策を実施することで、少ない人員でも迅速にセキュリティインシデントの収拾に繋げることができる。
【符号の説明】
【００７３】
１０１、１１１：サブシステム
１０２ａ、１０２ｂ：機器
１０３：ネットワーク監視装置
１０４：ＦＷ／ＩＰＳ
１０５：プロキシ
１０７：ログ収集装置
１０８、１１８：現場監視装置
１２３：統合ＳＯＣ
１２４：セキュリティ運用管理装置
６００：機器ログ情報テーブル
７００：ネットワークログ情報テーブル
８００：機器振舞い特徴量テーブル
９００：機器相関情報テーブル
１０００：代表機器振舞い特徴量テーブル
１１００：代表機器相関情報テーブル
１３００：アラート情報テーブル
１４００：アラート直前の機器振舞い特徴量情報
１５００：拡散防止対処指示
【図１】
2018169643.tif 000003
【図２】
2018169643.tif 000004
【図３】
2018169643.tif 000005
【図４】
2018169643.tif 000006
【図５】
2018169643.tif 000007
【図６】
2018169643.tif 000008
【図７】
2018169643.tif 000009
【図８】
2018169643.tif 000010
【図９】
2018169643.tif 000011
【図１０】
2018169643.tif 000012
【図１１】
2018169643.tif 000013
【図１２】
2018169643.tif 000014
【図１３】
2018169643.tif 000015
【図１４】
2018169643.tif 000016
【図１５】
2018169643.tif 000017
【図１６】
2018169643.tif 000018
【図１７】
2018169643.tif 000019
【図１８】
2018169643.tif 000020
【図１９】
2018169643.tif 000021
【図２０】
2018169643.tif 000022
【図２１】
2018169643.tif 000023