(57)【要約】      （修正有）【課題】制御システムで実施される業務に対して影響を与えることなく、セキュリティリスク分析に必要となる情報を収集する。【解決手段】情報収集装置２０は、ネットワークから受信したパケットを格納する通信パケット格納部２１１と、通信パケット格納部に格納されているパケットからシステム内で送受信される業務フローを抽出する業務フロー抽出部２０２と、通信パケット格納部２１１に格納されているパケットからシステム内で送受信される通信パターンを抽出する通信パターン抽出部２０３と、通信パターンを用いてシステム内の通信の空き時間を推定し、業務フロー抽出部が抽出した業務フローに影響を与えないタイミングで実行可能な検査コマンドを選定する検査コマンド選定部２０６と、選定した検査コマンドをシステム内の情報を収集する対象となる他の装置に送信し、取得した結果をもとに他の装置の対策状況を推定する対策状況推定部２０７と、を備える。【選択図】図１
2019053412.tif 000002
【特許請求の範囲】
【請求項１】
制御システムに内在するセキュリティリスクを抽出するために必要となるシステム内の情報を収集する情報収集装置であって、
前記情報収集装置は、
ネットワークから受信したパケットを格納する通信パケット格納部と、
前記通信パケット格納部に格納されているパケットからシステム内で送受信される業務フローを抽出する業務フロー抽出部と、
前記通信パケット格納部に格納されているパケットからシステム内で送受信される通信パターンを抽出する通信パターン抽出部と、
前記通信パターン抽出部が抽出した通信パターンを用いてシステム内の通信の空き時間を推定し、前記業務フロー抽出部が抽出した業務フローに影響を与えないタイミングで実行可能な検査コマンドを選定する検査コマンド選定部と、
前記選定した検査コマンドをシステム内の前記情報を収集する対象となる他の装置に送信し、取得した結果をもとに前記他の装置の対策状況を推定する対策状況推定部と、
を備えることを特徴とする情報収集装置。
【請求項２】
請求項１に記載の情報収集装置であって、
前記情報収集装置は、
さらに、前記検査コマンド選定部が検査コマンドを選定する際に参照する検査ポリシを格納する検査ポリシ格納部を備え、
前記検査コマンド選定部は、前記通信の空き時間に加えて、前記検査ポリシを満たす前記検査コマンドを選定する、
ことを特徴とする情報収集装置。
【請求項３】
請求項１に記載の情報収集装置であって、
前記情報収集装置は、
さらに、前記対策状況推定部が推定した前記他の装置の対策状況の収集状況を出力する検査状況出力部を備え、
前記検査状況出力部は、前記業務フロー抽出部において抽出した業務フローの数と前記業務フローに含まれる装置の総数と前記対策状況推定部が対策状況を推定した装置の数とを表示部に表示する、
ことを特徴とする情報収集装置。
【請求項４】
請求項１に記載の情報収集装置であって、
前記情報収集装置は、
前記ネットワークを介して前記他の装置から収集した前記業務フローと前記対策状況とを、収集したタイミングで外部の分析サーバに対して送信する、
ことを特徴とする情報収集装置。
【請求項５】
請求項１に記載の情報収集装置であって、
前記情報収集装置は、
さらに、前記業務フローと前記対策状況とを用いて、システム内のセキュリティリスクを分析するリスク分析部を備え、
前記リスク分析部は、前記ネットワークを介して前記他の装置から収集した前記業務フローと前記対策状況とを、収集したタイミングでリスク分析を実施する、
ことを特徴とする情報収集装置。
【請求項６】
制御システムに内在するセキュリティリスクを抽出するために必要となるシステム内の情報を収集するシステムであって、
前記情報収集システムは、
制御装置とネットワーク装置と情報収集装置とネットワークを備え、
前記ネットワーク装置は、
前記ネットワークから受信した通信パケットを複製して前記情報収集装置および前記制御装置に送信するパケット複製部と、前記情報収集装置と前記制御装置との間で前記ネットワークを介して通信するネットワーク通信部と、を備え、
前記情報収集装置は、
前記ネットワークから受信したパケットを格納する通信パケット格納部と、
前記通信パケット格納部に格納されているパケットからシステム内で送受信される業務フローを抽出する業務フロー抽出部と、
前記通信パケット格納部に格納されているパケットからシステム内で送受信される通信のパターンを抽出する通信パターン抽出部と、
前記通信パターン抽出部が抽出した通信パターンを用いてシステム内の通信の空き時間を推定し、前記業務フロー抽出部が抽出した業務フローに影響を与えないタイミングで実行可能な検査コマンドを選定する検査コマンド選定部と、
前記選定した検査コマンドをシステム内の前記情報を収集する対象となる他の制御装置に送信し、取得した結果をもとに前記他の制御装置の対策状況を推定する対策状況推定部と、
を備えることを特徴とする情報収集システム。
【請求項７】
請求項６に記載の情報収集システムであって、
前記情報収集装置は、
さらに、前記検査コマンド選定部が検査コマンドを選定する際に参照する検査ポリシを格納する検査ポリシ格納部を備え、
前記検査コマンド選定部は、前記通信の空き時間に加えて、前記検査ポリシを満たす前記検査コマンドを選定する
ことを特徴とする情報収集システム。
【請求項８】
請求項６に記載の情報収集システムであって、
前記情報収集装置は、
さらに、前記対策状況推定部が推定した前記他の制御装置の対策状況の収集状況を出力する検査状況出力部を備え、
前記検査状況出力部は、前記業務フロー抽出部において抽出した業務フローの数と前記業務フローに含まれる制御装置の総数と前記対策状況推定部が対策状況を推定した制御装置の数とを表示部に表示する
ことを特徴とする情報収集システム。
【請求項９】
請求項６に記載の情報収集システムであって、
前記情報収集システムは、
さらに、前記業務フローや前記対策状況を用いてシステム内のセキュリティリスクを分析する分析サーバを備え、
前記情報収集装置は、
システム内のネットワークを介して前記他の制御装置から収集した前記業務フローと前記対策状況とを、前記分析サーバに送信する収集装置通信部を備え、
前記分析サーバは、
前記情報収集装置から受信した前記業務フローおよび前記対策状況の中で分析に必要な情報が含まれているか確認する入力情報確認部と、
前記必要な情報が不足している場合に、追加情報の入力を促す不足情報入力部と、
前記業務フローと前記対策情報と前記不足情報入力部から入力された追加情報とを用いてリスク分析を行うリスク分析部と、
を備える
ことを、特徴とする情報収集システム。
【請求項１０】
請求項９に記載の情報収集システムであって、
前記情報収集装置は、
前記ネットワークを介して前記他の制御装置から収集した前記業務フローと前記対策状況とを、収集したタイミングで前記分析サーバに対して送信する、
ことを特徴とする情報収集システム。
【請求項１１】
請求項９に記載の情報収集システムであって、
前記分析サーバは、
前記入力情報確認部において、入力情報が不足していた場合に、追加情報の入力を促さず、セキュリティリスクが高くなる項目や予め定められている項目を選択する、
ことを特徴とする情報収集システム。
【請求項１２】
請求項９に記載の情報収集システムであって、
前記リスク分析部は、前記ネットワークを介して前記他の制御装置から収集した前記業務フローと前記対策状況とを、収集したタイミングでリスク分析を実施する、
ことを特徴とする情報収集システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、セキュリティリスクの分析を支援する情報収集装置、情報収集システムに関する。
【背景技術】
【０００２】
電力、鉄道、水道、ガスといった社会インフラや自動車で利用される制御システムは、センサの情報をもとにバルブやアクチュエータといった装置を動作させ、あらかじめ設定されている圧力や温度を保つことが要求される。この動作を実現するためには、コントローラ等の組込み装置において、定期的にセンサからの情報を取得し、状態を確認し、他のコントローラやサーバ等に通知し、必要に応じて制御を行うことが必要となる。このため、制御システムでは周期的に通信が発生し、その通信データをもとに処理を行うことが通例である。この周期を阻害した場合、最悪のケースでは制御自体が止まってしまうケースもある。
【０００３】
一方、制御システムはこれまで専用ＯＳ（Operating System）や専用プロトコルを利用しており、インターネット等の外部ネットワークからアクセスできない領域に孤立した状態で設置されているため、いわゆるコンピュータウィルスやＤｏＳ（Denial of Service attack）攻撃といったサイバー攻撃からは無縁であると考えられてきた。しかしながら、コスト削減のために汎用ＯＳや汎用プロトコルを利用するケースが増加しており、効率向上のために情報系システムとの接続も進んできている。また、近年では、制御システムをターゲットとしたコンピュータウィルスが発見されており、制御システムにおいても情報システムと同様にマルウェア等の感染や外部からの不正アクセスを検知するセキュリティ対策技術が必要となっている。しかしながら、制御システムはシステム規模が大きいケースが多く、システム内の構成や対策状況をもとにセキュリティリスクを認識し、必要な対策の内容と場所を明確化することは莫大な工数が必要となり、実施することが困難であった。
【０００４】
このような課題に対し、システム内に現状分析手段や資産分析手段を導入し、システムに含まれる脆弱性や資産の情報から、システムのリスク分析や対策立案を行う技術が知られている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ＷＯ２００８／００４４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
制御システムは内部で実行される業務に可用性が要求されるため、従来技術のような業務の特性等を考慮せずに情報収集を行った場合、情報収集の影響により、業務の遅延や停止等が引き起こされる可能性があり、適用することが困難であった。
【０００７】
本発明は、制御システムで実施される業務に対して影響を与えることなく、セキュリティリスク分析に必要となる情報を収集することが可能な情報収集装置、情報収集システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる情報収集装置は、制御システムに内在するセキュリティリスクを抽出するために必要となるシステム内の情報を収集する情報収集装置であって、前記情報収集装置は、ネットワークから受信したパケットを格納する通信パケット格納部と、前記通信パケット格納部に格納されているパケットからシステム内で送受信される業務フローを抽出する業務フロー抽出部と、前記通信パケット格納部に格納されているパケットからシステム内で送受信される通信パターンを抽出する通信パターン抽出部と、前記通信パターン抽出部が抽出した通信パターンを用いてシステム内の通信の空き時間を推定し、前記業務フロー抽出部が抽出した業務フローに影響を与えないタイミングで実行可能な検査コマンドを選定する検査コマンド選定部と、前記選定した検査コマンドをシステム内の前記情報を収集する対象となる他の装置に送信し、取得した結果をもとに前記他の装置の対策状況を推定する対策状況推定部と、を備えることを特徴とする情報収集装置として構成される。
【０００９】
また、本発明は、上記情報収集装置を有した情報収集システムとしても把握される。
【発明の効果】
【００１０】
本発明によれば、制御システムで実施される業務に対して影響を与えることなく、セキュリティリスク分析に必要となる情報を収集することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態が適用されたセキュリティリスク分析支援システムの構成を例示する図である。
【図２】図１に示す制御装置のハードウェア構成を例示する図である。
【図３】図１に示す監視・検査装置のハードウェア構成を例示する図である。
【図４】図１に示す分析サーバのハードウェア構成を例示する図である。
【図５】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、業務時に実施する処理フローを例示する図である。
【図６】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置を用いて通信パターンを抽出する処理フローを例示する図である。
【図７】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置を用いて、制御装置の対策状況を収集する処理フローを例示する図である。
【図８】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置に蓄積した業務フローや対策状況を分析サーバに送信し、リスク分析を行う処理フローを例示する図である。
【図９】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置に格納する検査ポリシの設定画面を例示する図である。
【図１０】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置から出力する検査状況確認画面を例示する図である。
【図１１】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置の通信パケット格納部に格納される通信パケットの構成を例示する図である。
【図１２】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置の業務フロー格納部に格納される業務フローの構成を例示する図である。
【図１３】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置の通信パターン格納部に格納される通信パターンの構成を例示する図である。
【図１４】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置の検査ポリシ格納部に格納される検査ポリシの構成を例示する図である。
【図１５】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置の検査コマンド格納部に格納される検査コマンドの構成を例示する図である。
【図１６】本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置の対策状況格納部に格納される対策状況の構成を例示する図である。
【発明を実施するための形態】
【００１２】
本実施形態について説明する。
【００１３】
図１は、本実施形態におけるセキュリティリスク分析支援システムの構成図である。
【００１４】
本実施形態のセキュリティリスク分析支援システムは、図１に例示するように、制御装置１０１〜１０ｎと、監視・検査装置２０１〜２０ｎと、ネットワーク装置３０１〜３０ｎと、外部ネットワーク４０と、分析サーバ５０と、から構成されている。
【００１５】
制御装置１０１〜１０ｎは、セキュリティリスク分析に必要となる情報を収集する対象となる装置であり、制御処理を行う制御処理部１０１１〜１０１ｎと、ネットワーク装置３０１〜３０ｎ等と通信を行う通信部１０２１〜１０２ｎと、を含む。
【００１６】
監視・検査装置２０１〜２０ｎは、ネットワーク装置３０１〜３０ｎから通信パケットを取得する通信パケット取得部２０１１〜２０１ｎと、取得した通信パケットから特定の機器間の一連のデータフローである業務フローを抽出する業務フロー抽出部２０２１〜２０２ｎと、取得した通信パケットから通信が行われるタイミングを抽出する通信パターン抽出部２０３１〜２０３ｎと、取得した通信パケットから業務に利用されている機器の一覧を抽出する装置リスト抽出部２０４１〜２０４ｎと、現在の時刻情報を取得する時刻情報取得部２０５１〜２０５ｎと、各機器に対して送信する検査コマンドを選定する検査コマンド選定部２０６１〜２０６ｎと、各機器に送信した検査コマンドのレスポンスから、各機器の対策状況を推定する対策状況推定部２０７１〜２０７ｎと、ネットワーク３０１〜３０ｎと通信を行う内部通信部２０８１〜２０８ｎと、外部ネットワーク４０と通信を行う外部通信部２０９１〜２０９ｎと、業務フローや対策状況の収集状況を出力する検査状況出力部２１０１〜２１０ｎと、通信パケット取得部２０１１〜２０１ｎで取得した通信パケットを格納する通信パケット格納部２１１１〜２１１ｎと、業務フロー抽出部２０２１〜２０２ｎで抽出した業務フローを格納する業務フロー格納部２１２１〜２１２ｎと、通信パターン抽出部２０３１〜２０３ｎで抽出した通信パターンを格納する通信パターン格納部２１３１〜２１３ｎと、検査コマンド選定部２０６１〜２０６ｎで検査コマンドを選定する際に参照する検査ポリシを格納する検査ポリシ格納部２１４１〜２１４ｎと、検査コマンド選定部２０６１〜２０６ｎで選定する検査コマンドの一覧を格納する検査コマンド格納部２１５１〜２１５ｎと、対策状況推定部２０７１〜２０７ｎで推定した各機器の対策状況を格納する対策状況格納部２１６１〜２１６ｎと、を含む。
【００１７】
ネットワーク装置３０１〜３０ｎは、制御装置１０１〜１０ｎと通信を行う通信部３０１１〜３０１ｎと、監視・検査装置２０１〜２０ｎと通信を行うパケット複製通信部３０２１〜３０２ｎと、を含む。
【００１８】
分析サーバ５０は、監視・検査装置２０１〜２０ｎから受信した業務フローや対策状況の不足状況に関して検証を行う入力情報確認部５０１と、不足があると判断された場合に不足情報を入力する不足情報入力部５０２と、入力された情報を用いてリスク分析を行うリスク分析部５０３と、リスク分析の結果を出力する結果出力部５０４と、入力情報検証部５０１で入力情報の検証を行う際に参照する必要情報格納部５０５と、外部ネットワーク４０と通信を行う通信部５０６と、を含む。
【００１９】
図２は制御装置１０１〜１０ｎのハードウェア構成を例示する図である。制御装置１０１〜１０ｎは、通信装置１１と、入出力装置１２と、記憶装置１３と、ＣＰＵ（Central Processing Unit）１４と、メモリ１５と、がバスなどの内部通信線１６で連結され、構成されている。
【００２０】
図３は監視・検査装置２０１〜２０ｎのハードウェア構成を例示する図である。監視・検査装置２０１〜２０ｎは、内部通信装置２１と、内部通信装置２２と、記憶装置２３と、入出力装置２４と、ＣＰＵ２５と、メモリ２６と、がバスなどの内部通信線２７で連結され、構成されている。
【００２１】
図４は分析サーバ５０のハードウェア構成を例示する図である。分析サーバ５０は、通信装置５１と、入出力装置５２と、記憶装置５３と、ＣＰＵ５４と、メモリ５５と、記憶媒体５７を読み込む読取装置５６と、がバスなどの内部通信線５８で連結され、構成されている。
【００２２】
本実施形態のセキュリティリスク分析支援システムにおける処理フローについて説明する。以下に述べる処理フローは、制御装置１０１〜１０ｎや監視・検査装置２０１〜２０ｎやネットワーク装置３０１〜３０ｎや分析サーバ５０の記憶装置に格納されたプログラムがメモリにロードされ、ＣＰＵにより実行されることにより、セキュリティリスク分析支援システムを構成する装置上に具現化される各処理部により実行されるものである。また、各プログラムは予め記憶装置に格納されても良いし、他の記憶媒体または通信媒体（ネットワークまたはネットワークを伝搬する搬送波）を介して、必要なときに導入されても良い。
【００２３】
図５は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎを用いて、ネットワークを流れる通信パケットを収集する際に実施する処理フローを示した図である。
【００２４】
はじめに、制御装置１０１は、制御コマンドを生成する（Ｓ５０１（Ｓ５０１と表現する。以下同様））。次に、制御装置１０１は、生成した制御コマンド（Ａ５０１）をネットワーク装置３０１に送信する（Ｓ５０２）。
【００２５】
次に、ネットワーク装置３０１は、制御装置１０１から受信した制御コマンド（Ａ５０１）を複製する（Ｓ５０３）。次に、ネットワーク装置３０１は、複製した制御コマンド（Ａ５０１）を監視・検査装置２０１および制御装置１０２に送信する（Ｓ５０４）。
【００２６】
次に、監視・検査装置２０１は、ネットワーク装置３０１から受信した通信パケットを通信パケット格納部２１１１に格納する（Ｓ５０５）。ここで、通信パケットの構成については、以降の図１１に詳細に記載する。
【００２７】
次に、制御装置１０２は、ネットワーク装置３０１から受信した制御コマンド（Ａ５０１）を処理する（Ｓ５０６）。次に、制御装置１０２は、処理した結果を踏まえて、制御コマンドを生成する（Ｓ５０７）。次に、制御装置１０２は、生成した制御コマンド（Ａ５０２）を制御装置１０ｎに送信する（Ｓ５０８）。
【００２８】
次に、ネットワーク装置３０ｎは、制御装置１０２から受信した制御コマンド（Ａ５０２）を複製する（Ｓ５０９）。次に、ネットワーク装置３０ｎは、複製した制御コマンド（Ａ５０２）を監視・検査装置２０ｎおよび制御装置１０ｎに送信する（Ｓ５１０）。
【００２９】
次に、監視・検査装置２０ｎは、ネットワーク装置３０ｎから受信した通信パケットを通信パケット格納部２１１ｎに格納する（Ｓ５１１）。ここで、通信パケットの構成については、以降の図１１に詳細に記載する。
【００３０】
次に、制御装置１０ｎは、ネットワーク装置３０ｎから受信した制御コマンド（Ａ５０２）を処理する（Ｓ５１２）。次に、制御装置１０ｎは、処理した結果を示すレスポンス（Ａ５０３）を制御装置１０２に送信する（Ｓ５１３）。
【００３１】
次に、ネットワーク装置３０ｎは、受信したレスポンス（Ａ５０３）を複製する（Ｓ５１４）。次に、ネットワーク装置３０ｎは、複製したレスポンス（Ａ５０３）を監視・検査装置２０ｎおよび制御装置１０２に送信する（Ｓ５１５）。
【００３２】
次に、監視・検査装置２０ｎは、ネットワーク装置３０ｎから受信した通信パケットを通信パケット格納部２１１ｎに格納する（Ｓ５１６）。ここで、通信パケットの構成については、以降の図１１に詳細に記載する。
【００３３】
次に、制御装置１０２は、ネットワーク装置３０ｎから受信したレスポンス（Ａ５０３）を処理する（Ｓ５１７）。次に、制御装置１０２は、処理した結果を示すレスポンス（Ａ５０４）を制御装置１０１に送信する（Ｓ５１８）。
【００３４】
次に、ネットワーク装置３０１は、受信したレスポンス（Ａ５０４）を複製する（Ｓ５１９）。次に、ネットワーク装置３０１は、複製したレスポンス（Ａ５０４）を監視・検査装置２０１および制御装置１０１に送信する（Ｓ５２０）。
【００３５】
次に、監視・検査装置２０１は、ネットワーク装置３０１から受信した通信パケットを通信パケット格納部２１１１に格納する（Ｓ５２１）。ここで、通信パケットの構成については、以降の図１１に詳細に記載する。
【００３６】
図６は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎを用いて、通信パケットの収集後に実施する通信パターンを抽出する処理フローを示した図である。当該処理は、図５に示した処理実行後、任意のタイミングで行われる。
【００３７】
はじめに、監視・検査装置２０１〜２０ｎは通信パターン抽出処理を開始する（Ｓ６０１）。次に、監視・検査装置２０１〜２０ｎは、通信パケット格納部２１１１〜２１１ｎから通信パケットを取得する（Ｓ６０２）。次に、監視・検査装置２０１〜２０ｎは、取得した通信パケットから時間的に連続している一連のデータフローである業務フローを抽出する（Ｓ６０３）。ここで、時間的な連続の判定条件として、例えば、通信パケットの送受信間隔が数百ミリ秒以内であることなどを用いる。次に、監視・検査装置２０１〜２０ｎは、抽出した業務フローを業務フロー格納部２１２１〜２１２ｎに格納する（Ｓ６０４）。ここで、業務フローの構成については、以降の図１２に詳細に記載する。
【００３８】
次に、監視・検査装置２０１〜２０ｎは、取得した通信パケットから、装置毎の通信パターンを抽出する（Ｓ６０５）。ここで、通信パターンとして、通信が行われている周期や通信の頻度、通信が発生する時刻等の情報を抽出する。次に、監視・検査装置２０１〜２０ｎは、抽出した通信パターンを通信パターン格納部２１３１〜２１３ｎに格納する（Ｓ６０６）。ここで、通信パターンの構成については、以降の図１３に詳細に記載する。次に、監視・検査装置２０１〜２０ｎは、取得した通信パケットから、業務で利用される装置の一覧である装置リストを抽出する（Ｓ６０７）。次に、監視・検査装置２０１〜２０ｎは、抽出した装置リストを用いて、各装置の対策状況を作成する（Ｓ６０８）。ここで、作成する対策状況は装置毎に何も対策の確認がなされていないものとなる。次に、監視・検査装置２０１〜２０ｎは、作成した対策状況を対策状況格納部２１６１〜２１６ｎに格納する（Ｓ６０９）。ここで、対策状況の構成については、以降の図１６に詳細に記載する。次に、処理を終了する（Ｓ６１０）。
【００３９】
図７は、本実施形態におけるセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎを用いて、各装置の対策状況を収集する処理フローを示した図である。当該処理は、図６に示した処理実行後、任意のタイミングで行われる。
【００４０】
はじめに、監視・検査装置２０１〜２０ｎは、対策状況格納部２１６１〜２１６ｎに格納されている対策状況を取得する（Ｓ７０１）。次に、監視・検査装置２０１〜２０ｎは、取得した対策状況に記載されている装置の中で、対策未確認項目が存在する装置の有無を判定する（Ｓ７０２）。例えば、監視・検査装置２０１〜２０ｎは、図１６に示す対策状況に含まれるＯＳ、ハードウェア識別子、アクセス時の認証有無、インターネット接続の可否、パケットフィルタ有無等の各項目の内容を取得し、すべての項目の内容が取得できる場合には対策未確認項目はないと判定する。一方、監視・検査装置２０１〜２０ｎは、少なくとも１つの項目の内容が取得できない場合には対策未確認項目があると判定する。
【００４１】
監視・検査装置２０１〜２０ｎは、判定の結果、対策未確認項目が存在する装置が無いと判定した場合には（Ｓ７０２；Ｎｏ）、処理を終了する（Ｓ７０３）。一方、監視・検査装置２０１〜２０ｎは、対策未確認項目が存在する装置が有ると判定した場合には（Ｓ７０２；Ｙｅｓ）、対策未確認項目が存在する装置の中から、検査対象装置を選定する（Ｓ７０４）。ここで、装置を選定する方法として、対策未確認項目が最も多く存在している装置を選定する方法やランダムに選定する方法などが考えられる。また、選定する装置として、検査項目が同様の装置を複数選択しても良い。
【００４２】
次に、監視・検査装置２０１〜２０ｎは、選定した装置が実施する通信パターンを通信パターン格納部２１３１〜２１３ｎから取得する（Ｓ７０５）。例えば、監視・検査装置２０１〜２０ｎは、図１３に示す通信パターンに含まれる通信周期、通信頻度、通信タイミング等の各項目の内容を取得する。
【００４３】
次に、監視・検査装置２０１〜２０ｎは、検査ポリシ格納部２１４１〜２１４ｎから検査ポリシを取得する（Ｓ７０６）。ここで、検査ポリシとは、どれくらい負荷を掛けて検査を行うかということを示すものであり、システムの管理者等によって設定されるものである。例えば、監視・検査装置２０１〜２０ｎは、図１４に示す検査ポリシに含まれる検査タイミングポリシ、検査内容ポリシ等の各項目の内容を取得する。検査ポリシは、予め検査ポリシ格納部２１４１〜２１４ｎに格納していても良いし、以降の図９に示すような入力画面を用いて設定しても良い。検査ポリシの構成については、以降の図１４に詳細に記載する。
【００４４】
次に、監視・検査装置２０１〜２０ｎは、現在時刻を取得する（Ｓ７０７）。次に、監視・検査装置２０１〜２０ｎは、取得した通信パターンと検査ポリシと現在時刻の情報から、現時点で検査に利用可能となる時間を推定する（Ｓ７０８）。ここで、検査可能な時間の推定は、検査ポリシで設定されている検査可能な時間帯において、次の予測される通信タイミングと現在時刻の差分で算出可能である。
【００４５】
次に、監視・検査装置２０１〜２０ｎは、推定した検査可能時間をもとに、検査コマンド格納部２１５１〜２１５ｎに格納されている検査コマンドの中で、検査可能時間や検査ポリシに合致し、未確認検査項目に該当する検査コマンドを選定する（Ｓ７０９）。例えば、監視・検査装置２０１〜２０ｎは、検査可能時間や検査ポリシに合致した検査コマンドのうち、Ｓ７０２で判定された対策未確認項目と同じ確認対策項目を含む図１５に示す検査コマンドを選定する。
【００４６】
次に、監視・検査装置２０１〜２０ｎは、検査コマンドが選定されたか否かを判定する（Ｓ７１０）。その結果、監視・検査装置２０１〜２０ｎは、検査コマンドが選定されていないと判定した場合には（Ｓ７１０；Ｎｏ）、Ｓ７０７に戻り、再度、検査コマンドを選定する。一方、監視・検査装置２０１〜２０ｎは、検査コマンドが選定されていると判定した場合には（Ｓ７１０；Ｙｅｓ）、選定された検査コマンド（Ａ７０１）を検査対象装置（ここでは、制御装置１０１）に送信する（Ｓ７１１）。
【００４７】
次に、制御装置１０１は、受信した検査コマンド（Ａ７０１）をもとに、検査コマンド（Ａ７０１）に対するレスポンスを生成する（Ｓ７１２）。次に、制御装置１０１は、生成したレスポンス（Ａ７０２）を監視・検査装置２０１〜２０ｎに送信する（Ｓ７１３）。
【００４８】
次に、監視・検査装置２０１〜２０ｎは、検査対象装置が複数ある場合には、ここで、次の検査対象装置（ここでは、制御装置１０ｎ）に対して、選定された検査コマンド（Ａ７０３）を送信する（Ｓ７１４）。
【００４９】
次に、制御装置１０ｎは、受信した検査コマンド（Ａ７０３）をもとに、検査コマンド（Ａ７０３）に対するレスポンスを生成する（Ｓ７１５）。次に、制御装置１０ｎは、生成したレスポンス（Ａ７０４）を監視・検査装置２０１〜２０ｎに送信する（Ｓ７１６）。
【００５０】
次に、監視・検査装置２０１〜２０ｎは、受信したレスポンス（Ａ７０２、Ａ７０４）から、各装置の対策状況を推定する（Ｓ７１７）。ここで、対策状況とは、ＯＳの種類、ハードウェアの種類、特定の通信ポートにアクセスした際に、認証要求があったかなどの項目を指し、検査コマンドに対するレスポンスの内容やレスポンス有無等から推定可能な項目を指す。
【００５１】
次に、監視・検査装置２０１〜２０ｎは、推定した対策状況を対策状況格納部２１６１〜２１６ｎに格納する（Ｓ７１８）。ここで、対策状況の構成については、以降の図１６に詳細に記載する。次に、監視・検査装置２０１〜２０ｎは、現在の検査状況を出力する（Ｓ７１９）。ここで、検査状況とは、抽出した業務フローの数および／または検査済項目および／または必要な検査時間等から構成されるものであり、以降の図１０に詳細に記載する。また、監視・検査装置２０１〜２０ｎに出力装置が存在しない場合には、内部のログに記録しておいても良いし、そもそも出力しなくてもよい。
【００５２】
次に、監視・検査装置２０１〜２０ｎは、Ｓ７０４で選定した対象装置に関して、対策未確認項目の有無を判定することにより、対策未確認項目が残っていないか検証する（Ｓ７２０）。その結果、監視・検査装置２０１〜２０ｎは、対策未確認項目が残っていると判定した場合には（Ｓ７２０；Ｙｅｓ）、Ｓ７０７に戻り、検査コマンドの選定と送信を行う。一方、監視・検査装置２０１〜２０ｎは、対策未確認項目が残っていないと判定した場合には（Ｓ７２０；Ｎｏ）、次に、対策状況格納部２１６１〜２１６ｎに格納されている対策状況を参照し、対策未確認装置の有無を判定することにより、対策未確認装置が存在していないか検証する（Ｓ７２１）。対策未確認装置の有無は、例えば、対策状況に含まれるＩＰアドレスにより判定すればよい。その結果、監視・検査装置２０１〜２０ｎは、対策未確認装置が存在していると判定した場合には（Ｓ７２１；Ｙｅｓ）、Ｓ７０４に戻り、対象装置選定、検査コマンド選定と送信を行う。一方、監視・検査装置２０１〜２０ｎは、対策未確認装置が存在しないと判定した場合には（Ｓ７２１；Ｎｏ）、処理を終了する。
【００５３】
図８は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎで収集した業務フローと対策状況を用いて、分析サーバでリスク分析を行う処理フローを示した図である。以下では、分析サーバがリスク分析を行う場合について説明しているが、監視・検査装置２０１〜２０ｎが同様の処理を実行してもよい。
【００５４】
はじめに、監視・検査装置２０１〜２０ｎは、収集したタイミングで業務フロー格納部２１２１〜２１２ｎから業務フロー取得する（Ｓ８０１１〜Ｓ８０１ｎ）。次に、監視・検査装置２０１〜２０ｎは、収集したタイミングで対策状況格納部２１６１〜２１６ｎから対策状況を取得する（Ｓ８０２１〜Ｓ８０２ｎ）。次に、監視・検査装置２０１〜２０ｎは、取得した業務フローと対策状況（Ａ８０１１〜Ａ８０１ｎ）を分析サーバ５０に送信する（Ｓ８０３１〜Ｓ８０３ｎ）。
【００５５】
次に、分析サーバ５０は、受信した業務フローと対策状況（Ａ８０１１〜Ａ８０１ｎ）と必要情報格納部５０５に格納されているリスク分析に必要な情報との突合せを行い、リスク分析に必要な情報が不足しているか否かを判定することにより、入力情報の確認を行う（Ｓ８０４）。その結果、分析サーバ５０は、情報に不足があると判定した場合には（Ｓ８０４；Ｙｅｓ）、不足情報の入力を行う（Ｓ８０５）。ここで、入力情報を確認する理由は、例えば、業務が頻繁に行われているために、対策状況に含まれるすべての項目が取得できていない場合があるためである。このようなケースを想定し、リスク分析に必要な情報が不足している場合には、その項目を補完するため、該当項目を不足情報として入力している。また、不足情報の入力は、分析サーバ５０に直接入力しても良いし、遠隔から送信しても良い。また、不足情報の入力が困難な場合には、例えば、セキュリティリスクのレベルが高くなる項目やディフォルト値を自動的に選択してもよい。一方、分析サーバ５０は、情報に不足が無いと判定した場合には（Ｓ８０４；Ｎｏ）、特に何も実施しない。
【００５６】
次に、分析サーバ５０は、受信した業務フローと対策状況（Ａ８０１１〜Ａ８０１ｎ）と、Ｓ８０４で入力された情報を用いて、リスク分析を行う（Ｓ８０６）。ここで、リスク分析は、業務フローに内在するセキュリティ上の脅威を例えば５Ｗ法などで抽出し、対策状況から脅威の起こしやすさを見積り、リスクレベルを算出する方法などが考えられるが、これに限定されるものではない。次に、分析サーバ５０は、リスク分析の結果を出力する（Ｓ８０７）。
【００５７】
図９は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎの検査ポリシ格納部２１４１〜２１４ｎに格納する検査ポリシを登録する際に利用する画面を示した図である。
【００５８】
検査ポリシ設定画面（Ａ９０１）は、検査タイミングポリシ（Ａ９０２）と、検査内容ポリシ（Ａ９０３）から構成される。検査タイミングポリシ（Ａ９０２）は、検査コマンドをどのようなタイミングで実行するかを指定するものであり、例えば、業務停止日、業務停止時間、業務フロー非実行時間などが考えられるが、これに限定されるものではない。また、検査内容ポリシ（Ａ９０３）は、検査コマンドの内容を指定するものであり、例えば、直接的な検査を行わないパッシブ検査のみ、直接的な検査を行うが負荷が小さいもの、直接的な検査を行い、負荷も高いもの、などが考えられるが、これに限定されるものではない。なお、検査ポリシ設定画面（Ａ９０１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、検査ポリシ設定画面（Ａ９０１）の構成要素の順序は上記に限定されるものではない。
【００５９】
図１０は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎが出力する検査状況確認画面を示した図である。
【００６０】
検査状況確認画面（Ａ１００１）は、検査状況（Ａ１００２）から構成される。検査状況（Ａ１００２）は、図６のＳ６０３で抽出した業務フローの数（Ａ１００３）と、図７のＳ７１０で出力した検査対象機器および検査済機器の数（Ａ１００４）と、図７のＳ７１０で出力した検査対象項目および検査済項目の数（Ａ１００５）と、推定残り時間（Ａ１００６）から構成されるが、これに限定されるものではない。推定残り時間（Ａ１００６）は、例えば、図１５に示す検査コマンドに含まれる必要処理時間から推定すればよい。なお、検査状況確認画面（Ａ１００１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、検査状況確認画面（Ａ１００１）の構成要素の順序は上記に限定されるものではない。
【００６１】
図１１は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎの通信パケット格納部２１１１〜２１１ｎに格納される通信パケットの構成を例示する図である。
【００６２】
通信パケット（Ａ１１０１）は、パケットを受信した日時（Ａ１１０２）と、パケットのヘッダ（Ａ１１０３）から構成される。ここで、ヘッダ（Ａ１１０３）は、送信元（Ａ１１０４）、送信先（Ａ１１０５）、プロトコル（Ａ１１０６）、ポート番号（Ａ１１０７）から構成されるが、これに限定されるものではない。なお、通信パケット（Ａ１１０１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、通信パケット（Ａ１１０１）の構成要素の順序は上記に限定されるものではない。
【００６３】
図１２は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎの業務フロー格納部２１２１〜２１２ｎに格納される業務フローの構成を例示する図である。
【００６４】
業務フロー（Ａ１２０１）は、業務フローを識別する識別子（Ａ１２０２）と、業務フローを開始する装置のＩＰアドレス（Ａ１２０３）と、業務フローが終了する装置のＩＰアドレス（Ａ１２０４）と、開始ＩＰアドレスから終了ＩＰアドレスの間で経由するＩＰアドレスの数（Ａ１２０５）と、その数に応じた経由するＩＰアドレス群（Ａ１２０６）から構成される。例えば、図５における制御装置１０１と制御装置１０ｎとの間の一連の処理（Ｓ５０１〜Ｓ５２１）が１つの業務フローとなる。ここで、業務フロー（Ａ１２０１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、業務フロー（Ａ１２０１）の構成要素の順序は上記に限定されるものではない。
【００６５】
図１３は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎの通信パターン格納部２１３１〜２１３ｎに格納される通信パターンの構成を例示する図である。
【００６６】
通信パターン（Ａ１３０１）は、制御装置のＩＰアドレス（Ａ１３０２）と、通信を行う周期（Ａ１３０３）と、通信を行う頻度（Ａ１３０４）と、通信を行うタイミング（Ａ１３０５）から構成される。ここで、通信を行うタイミング（Ａ１３０５）とは、日単位、時間単位、分単位、秒単位等で通信が発生したタイミングである。また、通信を行う周期（Ａ１３０３）とは、例えば、３秒ごと、１０秒ごと等の通信間隔であり、通信を行う頻度（Ａ１３０４）とは、単位時間当たりの通信回数であり、例えば、５秒ごとの頻度で通信する場合は、単位時間１時間あたり７２０回となる。なお、通信パターン（Ａ１３０１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、通信パターン（Ａ１３０１）の構成要素の順序は上記に限定されるものではない。
【００６７】
図１４は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎの検査ポリシ格納部２１４１〜２１４ｎに格納される検査ポリシの構成を例示する図である。
【００６８】
検査ポリシ（Ａ１４０１）は、検査を実行しても良いタイミングを示す検査タイミングポリシ（Ａ１４０２）と、検査を実行しても良い内容を示す検査内容ポリシ（Ａ１４０３）から構成される。ここで、検査タイミングポリシとは、日単位、時間単位などのある特定期間で通信を行っていない場合に検査を許可するといったポリシである。また、検査内容ポリシとは、ネットワークや装置に対して与えても良い負荷のレベルを指定するポリシである。なお、検査ポリシ（Ａ１４０１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、検査ポリシ（Ａ１４０１）の構成要素の順序は上記に限定されるものではない。
【００６９】
図１５は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎの検査コマンド格納部２１５１〜２１５ｎに格納される検査コマンドの構成を例示する図である。
【００７０】
検査コマンド（Ａ１５０１）は、制御装置に対して送信する検査パケットの内容を示す検査パケットパターン（Ａ１５０２）と、検査パケットによって確認可能となる対策項目（Ａ１５０３）と、検査パケットを送信し、レスポンスを受信するまでに必要となる処理時間（Ａ１５０４）と、検査パケットの送信に伴う想定通信負荷（Ａ１５０５）と、検査パケットの処理に伴う想定ＣＰＵ負荷（Ａ１５０６）から構成される。なお、検査コマンド（Ａ１５０１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、検査コマンド（Ａ１５０１）の構成要素の順序は上記に限定されるものではない。
【００７１】
図１６は、本実施形態が適用されたセキュリティリスク分析支援システムにおいて、監視・検査装置２０１〜２０ｎの対策状況格納部２１６１〜２１６ｎに格納される対策状況の構成を例示する図である。
【００７２】
対策状況（Ａ１６０１）は、対策状況を確認した制御装置のＩＰアドレス（Ａ１６０２）と、ＯＳ（Ａ１６０３）と、ＭＡＣ（Media Access Control）アドレス等のハードウェア識別子（Ａ１６０４）と、リモート接続等によるアクセス時の認証有無（Ａ１６０５）と、インターネット接続の可否（Ａ１６０６）と、パケットフィルタ有無（Ａ１６０７）から構成される。なお、対策状況（Ａ１６０１）の構成要素は上記に限定されるものではなく、少なくとも上記の要素が含まれていればよい。また、対策状況（Ａ１６０１）の構成要素の順序は上記に限定されるものではない。
【００７３】
これらの構成、手順およびデータ構造を実現することにより、制御システムで実施される業務に対して悪影響を与えることなく、セキュリティリスク分析に必要となる情報を収集することが可能となる。
【００７４】
具体的には、制御システム内のネットワークを流れる通信パケットを収集する監視・検査装置を設置し、業務が行われる装置とそのタイミングに関する情報を取得し、取得した情報を用いて、業務に影響がないタイミングで各装置のセキュリティ対策に関する情報を収集する。より具体的には、監視・検査装置において、制御システム内の業務実施時にネットワークを流れる通信パケットを収集し、装置間の業務フローと通信パターンを抽出する。その後、抽出した通信パターンを用いて、業務が行われていない時刻を認識し、当該時刻において、次の業務実行までの間に完了する検査項目を選択し、各装置の対策情報を収集し、蓄積する。
【００７５】
このような処理を行うことにより、制御システムに内在するセキュリティリスクを分析するために必要となるシステム内部の情報を収集するシステムにおいて、制御システム内の装置間で行われる業務フローに関する情報や各装置のセキュリティ対策情報を制御システムの通常業務に影響を与えることなく、制御システムへの影響を最小化して、セキュリティリスク分析に必要となる情報の収集を実現することができる。
【００７６】
なお、本発明は、上記の実施形態に限定されるものではなく、その要旨の範囲内で様々な変形が可能である。たとえば、監視・検査装置内にネットワーク装置の機能が含まれている場合や、監視・検査装置内に分析サーバの機能が含まれている場合や、制御装置や監視・検査装置にネットワークとの通信機能が含まれておらず、別の装置を経由してネットワークと通信を行う場合などである。該実施形態の場合においてもシステム全体において行う処理に本質的な変化はない。
【符号の説明】
【００７７】
１０１〜１０ｎ：制御装置、１１：通信装置、１２：入出力装置、１３：記憶装置、１４：ＣＰＵ、１５：メモリ、１６：内部信号線、１０１１〜１０１ｎ：制御処理部、１０２１〜１０２ｎ：通信部、２０１〜２０ｎ：監視・検査装置、２１：内部通信装置、２２：外部通信装置、２３：記憶装置、２４：入出力装置、２５：ＣＰＵ、２６：メモリ、２７：内部信号線、２０１１〜２０１ｎ：通信パケット取得部、２０２１〜２０２ｎ：業務フロー抽出部、２０３１〜２０３ｎ：通信パターン抽出部、２０４１〜２０４ｎ：装置リスト抽出部、２０５１〜２０５ｎ：時刻情報取得部、２０６１〜２０６ｎ：検査コマンド選定部、２０７１〜２０７ｎ：対策状況推定部、２０８１〜２０８ｎ：内部通信部、２０９１〜２０９ｎ：外部通信部、２１０１〜２１０ｎ：検査状況出力部、２１１１〜２１１ｎ：通信パケット格納部、２１２１〜２１２ｎ：業務フロー格納部、２１３１〜２１３ｎ：通信パターン格納部、２１４１〜２１４ｎ：検査ポリシ格納部、２１５１〜２１５ｎ：検査コマンド格納部、２１６１〜２１６ｎ：対策状況格納部、３０１〜３０ｎ：ネットワーク装置、３０１１〜３０１ｎ：通信部、３０２１〜３０２ｎ：パケット複製通信部、４０：外部ネットワーク、５０：分析サーバ、５１：通信装置、５２：入出力装置、５３：記憶装置、５４：ＣＰＵ、５５：メモリ、５６：読取装置、５７：記憶媒体、５８：内部信号線、５０１：入力情報確認部、５０２、不足情報入力部、５０３：リスク分析部、５０４：結果出力部、５０５：必要情報格納部、５０６：通信部、Ａ５０１：制御コマンド、Ａ５０２：制御コマンド、Ａ５０３：レスポンス、Ａ５０４：レスポンス、Ａ７０１：検査コマンド、Ａ７０２：レスポンス、Ａ７０３：検査コマンド、Ａ７０４：レスポンス、Ａ８０１１〜Ａ８０１ｎ：業務フロー、対策状況、Ａ９０１：検査ポリシ設定画面、Ａ９０２：検査タイミングポリシ、Ａ９０３：検査内容ポリシ、Ａ１００１：検査状況確認画面、Ａ１００２：検査状況、Ａ１００３：抽出業務フロー状況、Ａ１００４：検査済機器状況、Ａ１００５：検査済項目状況、Ａ１００６：推定残り時間、Ａ１１０１：通信パケット、Ａ１１０２：受信日時、Ａ１１０３：ヘッダ、Ａ１１０４：送信元、Ａ１１０５：送信先、Ａ１１０６：プロトコル、Ａ１１０７：ポート番号、Ａ１２０１：業務フロー、Ａ１２０２：業務フロー識別子、Ａ１２０３：開始ＩＰアドレス、Ａ１２０４：終了ＩＰアドレス、Ａ１２０５：経由ＩＰアドレス数、Ａ１２０６：経由ＩＰアドレス群、Ａ１３０１：通信パターン、Ａ１３０２：ＩＰアドレス、Ａ１３０３：通信周期、Ａ１３０４：通信頻度、Ａ１３０５：通信タイミング、Ａ１４０１：検査ポリシ、Ａ１４０２：検査タイミングポリシ、Ａ１４０３：検査内容ポリシ、Ａ１５０１：検査コマンド、Ａ１５０２：検査パケットパターン、Ａ１５０３：確認対策項目、Ａ１５０４：必要処理時間、Ａ１５０５：通信負荷、Ａ１５０６：ＣＰＵ負荷、Ａ１６０１：対策状況、Ａ１６０２：ＩＰアドレス、Ａ１６０３：ＯＳ、Ａ１６０４：ハードウェア識別子、Ａ１６０５：認証有無、Ａ１６０６：インターネット接続可否、Ａ１６０７：パケットフィルタ有無。
【図１】
2019053412.tif 000003
【図２】
2019053412.tif 000004
【図３】
2019053412.tif 000005
【図４】
2019053412.tif 000006
【図５】
2019053412.tif 000007
【図６】
2019053412.tif 000008
【図７】
2019053412.tif 000009
【図８】
2019053412.tif 000010
【図９】
2019053412.tif 000011
【図１０】
2019053412.tif 000012
【図１１】
2019053412.tif 000013
【図１２】
2019053412.tif 000014
【図１３】
2019053412.tif 000015
【図１４】
2019053412.tif 000016
【図１５】
2019053412.tif 000017
【図１６】
2019053412.tif 000018