(57)【要約】【課題】ネットワークにおける異常の誤検知を改善する。【解決手段】異常検知装置１０は、各通信機器２０Ａ〜２０Ｃの単位時間あたりのトラヒック量の最新情報をＮＷ機器４０から取得し、通信機器のトラヒック量から第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する。そして、異常検知装置１０は、算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、該当する通信機器２０の異常を検知する。【選択図】図１
2019047327.tif 000002
【特許請求の範囲】
【請求項１】
サーバに固定長のデータを定期的に送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得する取得部と、
前記取得部によって取得された通信機器のトラヒック量から、第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、前記第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する算出部と、
前記算出部によって算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、前記通信機器の異常を検知する検知部と
を有することを特徴とする異常検知装置。
【請求項２】
前記算出部は、前記第一の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、単位時間当たりのトラヒック量が第二の閾値を下回り、かつ、第三の閾値を上回るトラヒック量の時点まで遡り、該時点を開始時点とする第二の期間におけるトラヒック量の平均値を算出することを特徴とする請求項１に記載の異常検知装置。
【請求項３】
サーバにデータを送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得し、前記サーバの前記単位時間あたりのトラヒック量を前記サーバから取得する取得部と、
前記取得部によって取得された通信機器のトラヒック量を用いて、所定期間における前記通信機器のトラヒック量の平均値を算出し、前記サーバのトラヒック量を用いて、前記通信機器の正常時の接続先となるサーバの前記所定期間におけるトラヒック量の平均値を算出する算出部と、
前記サーバのトラヒック量の平均値に対する前記通信機器のトラヒック量の平均値の割合が所定の閾値を上回った場合には、前記通信機器の異常を検知する検知部と
を有することを特徴とする異常検知装置。
【請求項４】
前記取得部は、前記サーバに固定長のデータを定期的に送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得し、前記サーバの前記通信機器ごとの前記単位時間あたりのトラヒック量を前記サーバから取得し、
前記算出部は、前記取得部によって取得された通信機器のトラヒック量を用いて、所定期間における前記通信機器のトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、前記サーバのトラヒック量を用いて、前記通信機器の正常時の接続先となるサーバの前記所定期間におけるトラヒック量の平均値を算出することを特徴とする請求項３に記載の異常検知装置。
【請求項５】
前記取得部は、前記サーバに固定長または可変長のデータを送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得し、前記サーバの前記通信機器ごとの前記単位時間あたりのトラヒック量を前記サーバから取得し、
前記算出部は、所定時間が経過するたびに、前記取得部によって取得された通信機器のトラヒック量を用いて、所定期間における前記通信機器のトラヒック量の平均値を算出するとともに、前記サーバのトラヒック量を用いて、前記通信機器の正常時の接続先となるサーバの前記所定期間におけるトラヒック量の平均値を算出することを特徴とする請求項３に記載の異常検知装置。
【請求項６】
異常検知装置によって実行される異常検知方法であって、
サーバに固定長のデータを定期的に送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得する取得工程と、
前記取得工程によって取得された通信機器のトラヒック量から、第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、前記第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する算出工程と、
前記算出工程によって算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、前記通信機器の異常を検知する検知工程と
を含んだことを特徴とする異常検知方法。
【請求項７】
異常検知装置によって実行される異常検知方法であって、
サーバにデータを送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得し、前記サーバの前記単位時間あたりのトラヒック量を前記サーバから取得する取得工程と、
前記取得工程によって取得された通信機器のトラヒック量を用いて、所定期間における前記通信機器のトラヒック量の平均値を算出し、前記サーバのトラヒック量を用いて、前記通信機器の正常時の接続先となるサーバの前記所定期間におけるトラヒック量の平均値を算出する算出工程と、
前記サーバのトラヒック量の平均値に対する前記通信機器のトラヒック量の平均値の割合が所定の閾値を上回った場合には、前記通信機器の異常を検知する検知工程と
を含んだことを特徴とする異常検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常検知装置および異常検知方法に関する。
【背景技術】
【０００２】
従来、通信機器のセキュリティ侵害等の異常をネットワークにおいて検知する手法として、IF-MIB（例えば、非特許文献１参照）、IPFIX（Internet  Protocol  Flow  Information  Export）（例えば、非特許文献２参照）等を用いたトラヒック計測による手法が知られている。例えば、通信機器（例えば、ＩｏＴ機器）はマルウェア感染等のセキュリティ侵害等により、正常時とは異なるデータ送信を行うことから、それに伴うトラヒック量の変動を把握することにより異常を検知する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“RFC2233  The  Interfaces  Group  MIB  using  SMIv2”、［online］、［平成29年8月21日検索］、インターネット＜https://www.ietf.org/rfc/rfc2233.txt＞
【非特許文献２】“RFC7011  Specification  of  the  IP  Flow  Information  Export（IPFIX）  Protocol  for  the  Exchange  of  Flow  Information”、［online］、［平成29年8月21日検索］、インターネット＜https://tools.ietf.org/html/rfc7011＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、通信機器が無線通信を用いてセンシングデータを送信するネットワークにおいて、電波圏外等の理由により通信機器がネットワークに接続できなかった後のデータ送信再開時に異常の誤検知が発生する問題があった。
【０００５】
つまり、例えば、一定量の情報（温度センサの温度情報、加速度センサの加速度情報等）を、一定時間間隔でサーバへ送信する正常なＩｏＴ機器であっても、ネットワークの通信状態が悪く情報を送信できなかった後で通信状態が回復した場合、通信ＮＧの回数分をまとめて、サーバへ送るため、感染等による通信量の増加なのか、通信ＮＧ分の再送による通信量の増加なのか判断できない。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の異常検知装置は、サーバに固定長のデータを定期的に送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得する取得部と、前記取得部によって取得された通信機器のトラヒック量から、第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、前記第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する算出部と、前記算出部によって算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、前記通信機器の異常を検知する検知部とを有することを特徴とする。
【０００７】
また、本発明の異常検知装置は、サーバにデータを送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得し、前記サーバの前記単位時間あたりのトラヒック量を前記サーバから取得する取得部と、前記取得部によって取得された通信機器のトラヒック量を用いて、所定期間における前記通信機器のトラヒック量の平均値を算出し、前記サーバのトラヒック量を用いて、前記通信機器の正常時の接続先となるサーバの前記所定期間におけるトラヒック量の平均値を算出する算出部と、前記サーバのトラヒック量の平均値に対する前記通信機器のトラヒック量の平均値の割合が所定の閾値を上回った場合には、前記通信機器の異常を検知する検知部とを有することを特徴とする。
【０００８】
また、本発明の異常検知方法は、異常検知装置によって実行される異常検知方法であって、サーバに固定長のデータを定期的に送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得する取得工程と、前記取得工程によって取得された通信機器のトラヒック量から、第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、前記第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する算出工程と、前記算出工程によって算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、前記通信機器の異常を検知する検知工程とを含んだことを特徴とする。
【０００９】
また、本発明の異常検知方法は、異常検知装置によって実行される異常検知方法であって、サーバにデータを送信する通信機器の単位時間あたりのトラヒック量をネットワーク機器から取得し、前記サーバの前記単位時間あたりのトラヒック量を前記サーバから取得する取得工程と、前記取得工程によって取得された通信機器のトラヒック量を用いて、所定期間における前記通信機器のトラヒック量の平均値を算出し、前記サーバのトラヒック量を用いて、前記通信機器の正常時の接続先となるサーバの前記所定期間におけるトラヒック量の平均値を算出する算出工程と、前記サーバのトラヒック量の平均値に対する前記通信機器のトラヒック量の平均値の割合が所定の閾値を上回った場合には、前記通信機器の異常を検知する検知工程とを含んだことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ネットワークにおける異常の誤検知を改善することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、第一の実施の形態に係る通信システムの構成の一例を示す図である。
【図２】図２は、第一の実施の形態に係る異常検知装置の構成例を示すブロック図である。
【図３】図３は、通信機器トラヒック情報記憶部に記憶される情報の一例を示す図である。
【図４】図４は、平均トラヒック量の算出処理を説明する図である。
【図５】図５は、平均トラヒック量の算出処理を説明する図である。
【図６】図６は、第一の実施の形態に係る異常検知装置による処理を説明するフローチャートである。
【図７】図７は、第二の実施の形態に係る異常検知装置の構成例を示すブロック図である。
【図８】図８は、サーバトラヒック情報記憶部に記憶される情報の一例を示す図である。
【図９】図９は、通信先サーバ情報記憶部に記憶される情報の一例を示す図である。
【図１０】図１０は、第二の実施の形態に係る異常検知装置による異常検知処理を説明する図である。
【図１１】図１１は、第二の実施の形態に係る異常検知装置による処理を説明するフローチャートである。
【図１２】図１２は、第三の実施の形態に係る異常検知装置による処理を説明するフローチャートである。
【図１３】図１３は、異常検知プログラムを実行するコンピュータを示す図である。
【発明を実施するための形態】
【００１２】
以下に、本願に係る異常検知装置および異常検知方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る異常検知装置および異常検知方法が限定されるものではない。
【００１３】
［第一の実施の形態］
以下の実施の形態では、第一の実施の形態に係る通信システムの構成、異常検知装置の構成、異常検知装置における処理の流れを順に説明し、最後に第一の実施の形態による効果を説明する。
【００１４】
［通信システムの構成］
まず、図１を用いて、第一の実施の形態に係る通信システムについて説明する。図１は、第一の実施の形態に係る通信システムの構成の一例を示す図である。第一の実施の形態に係る通信システムは、異常検知装置１０、複数の通信機器２０Ａ〜２０Ｃ、複数のサーバ３０Ａ、３０Ｂおよび複数のＮＷ（Network）機器４０を有し、各装置はネットワーク５０を介して接続されている。なお、複数の通信機器２０Ａ〜２０Ｃ、複数のサーバ３０Ａ、３０Ｂについて、特に区別なく説明する場合には、通信機器２０、サーバ３０と記載する。また、図１に示す各装置の数は、あくまで一例であり、これに限られるものではない。
【００１５】
異常検知装置１０は、各通信機器２０Ａ〜２０Ｃの単位時間あたりのトラヒック量の最新情報をＮＷ機器４０から取得し、通信機器のトラヒック量から第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する。そして、異常検知装置１０は、算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、該当する通信機器２０の異常を検知する。
【００１６】
複数の通信機器２０Ａ〜２０Ｃは、例えば、ＩｏＴ機器である。各通信機器２０Ａ〜２０Ｃは、正常時にはあらかじめ定められたサーバ３０とだけ通信を行い、定められた以外のサーバ３０やその他の通信機器２０とは通信を行わない。各通信機器２０Ａ〜２０Ｃは、自身が具備するセンサから取得すること等により生成された固定長のデータを一定周期毎にあらかじめ定められたサーバ３０に送信する。
【００１７】
また、各通信機器２０Ａ〜２０Ｃは、あらかじめ定められたサーバ３０へのデータ送信時に、無線圏外等の要因によりネットワーク５０に接続できなかった場合にはデータ送信は行わず、次の送信タイミングにおいて未送信データをまとめて送信する。また、各通信機器２０Ａ〜２０Ｃは、１回の送信タイミングで送信可能なデータサイズに上限があり、上限を超えた場合は次の送信タイミングでの送信を行う。
【００１８】
複数のサーバ３０Ａ、３０Ｂは、各通信機器２０Ａ〜２０Ｃからのデータを受信し、サーバ３０内のＤＢ（Data  Base）に格納する。ＮＷ機器４０は、通信機器２０からサーバ３０へ送信されるデータを中継するルータやスイッチ等の中継装置である。ＮＷ機器４０は、各通信機器２０Ａ〜２０Ｃの通信トラヒック量を計測し、異常検知装置１０に通知する。
【００１９】
［異常検知装置の構成］
次に、図２を用いて、図１に示した異常検知装置１０の構成を説明する。図２は、第一の実施の形態に係る異常検知装置の構成例を示すブロック図である。図２に示すように、この異常検知装置１０は、通信処理部１１、制御部１２および記憶部１３を有する。以下に異常検知装置１０が有する各部の処理を説明する。
【００２０】
通信処理部１１は、接続される装置との間でやり取りする各種情報に関する通信を制御する。例えば、通信処理部１１は、ＮＷ機器４０から各通信機器２０Ａ〜２０Ｃの通信トラヒック量を受信する。
【００２１】
また、記憶部１３は、制御部１２による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、通信機器トラヒック情報記憶部１３ａを有する。例えば、記憶部１３は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。
【００２２】
通信機器トラヒック情報記憶部１３ａは、各通信機器２０の単位時間あたりのトラヒック量を記憶する。ここで、図３の例を用いて、通信機器トラヒック情報記憶部１３ａに記憶される情報について説明する。図３は、通信機器トラヒック情報記憶部に記憶される情報の一例を示す図である。図３に例示するように、通信機器トラヒック情報記憶部１３ａは、トラヒック量が計測された「時刻」と、各通信機器２０Ａ〜２０Ｃの「トラヒック量」とを対応付けて記憶する。
【００２３】
図３に例示するように、通信機器トラヒック情報記憶部１３ａは、時刻「１：５０」に対応付けて、通信機器２０Ａのトラヒック量「１５０００」バイト、通信機器２０Ｂのトラヒック量「７０００」バイト、および、通信機器２０Ｃのトラヒック量「１００００」バイトを記憶する。
【００２４】
制御部１２は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、取得部１２ａ、算出部１２ｂおよび検知部１２ｃを有する。ここで、制御部１２は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などの電子回路やＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などの集積回路である。
【００２５】
取得部１２ａは、サーバ３０に固定長のデータを定期的に送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得する。具体的には、取得部１２ａは、所定時間が経過するたびに、各通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、取得したトラヒック量を通信機器トラヒック情報記憶部１３ａに格納する。
【００２６】
算出部１２ｂは、取得部１２ａによって取得された通信機器２０のトラヒック量から、第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する。具体的には、算出部１２ｂは、取得部１２ａによって各通信機器２０のトラヒック量を取得するたびに、第一の期間における平均トラヒック量をそれぞれ算出する。
【００２７】
そして、算出部１２ｂは、各通信機器２０について、平均トラヒック量が第一の閾値を上回っているか判定する。この結果、算出部１２ｂは、平均トラヒック量が第一の閾値を上回っていると判定した場合には、該当する通信機器２０について、第二の期間の平均トラヒック量を算出する。
【００２８】
ここで、図４の例を用いて平均トラヒック量の算出処理を説明する。図４は、平均トラヒック量の算出処理を説明する図である。図４の例では、算出部１２ｂは、あらかじめ設定した期間の平均トラヒック量として、開始時点「０２：２７」〜終了時点「０２：３１」の間の平均トラヒック量を計算する。そして、図４の例では、あらかじめ設定した期間の平均トラヒック量が第一の閾値を上回る（図４の（１）参照）。
【００２９】
この場合には、算出部１２ｂは、第一の期間の開始時点を、あらかじめ設定した時間幅減算した時刻までさかのぼり、平均トラヒック量を算出する（図４の（２）参照）。図４の例では、算出部１２ｂは、開始時点「０２：２７」から２２分を減算した「０２：０５」までさかのぼり、開始時点「０２：０５」〜終了時点「０２：３１」の間の平均トラヒック量を算出する。
【００３０】
例えば、通信機器２０がネットワーク５０に接続できなかった後のデータ再送による一時的なトラヒック量の増加により、第一の期間においてトラヒック量の平均値が大きい場合には、過去に通信機器２０がネットワーク５０に接続できなかった期間（図４の例では「０２：００」〜「０２：２８」の期間）があるため、第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間のトラヒック量の平均値は小さくなる。
【００３１】
また、算出部１２ｂは、第一の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、単位時間当たりのトラヒック量が第二の閾値を下回り、かつ、第三の閾値を上回るトラヒック量の時点まで遡り、該時点を開始時点とする第二の期間におけるトラヒック量の平均値を算出するようにしてもよい。
【００３２】
ここで、図５の例を用いて平均トラヒック量の算出処理を説明する。図５は、平均トラヒック量の算出処理を説明する図である。図５の例では、算出部１２ｂは、あらかじめ設定した期間の平均トラヒック量として、開始時点「０２：２７」〜終了時点「０２：３１」の間の平均トラヒック量を計算する。そして、図５の例では、あらかじめ設定した期間の平均トラヒック量が第一の閾値を上回る（図５の（１）参照）。
【００３３】
この場合には、算出部１２ｂは、第一の期間の開始時点を、第二の閾値を下回り、かつ第三の閾値を上回る比較的正常な通信が発生する時刻までさかのぼり、平均トラヒック量と閾値の比較を行う（図５の（２）参照）。図５の例では、算出部１２ｂは、開始時点「０２：２７」から、第二の閾値を下回り、かつ第三の閾値を上回る比較的正常な通信が発生する時刻「０１：５７」までさかのぼり、開始時点「０１：５７」〜終了時点「０２：３１」の間の平均トラヒック量を算出する。このように、通常の通信が発生していた時点まで溯って第二の期間を決めることができるため、より正確に異常の誤検知を防止することが可能である。
【００３４】
検知部１２ｃは、算出部１２ｂによって算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、通信機器２０の異常を検知する。具体的には、検知部１２ｃは、第二の期間におけるトラヒック量が算出された通信機器２０について、第二の期間における平均トラヒック量が第一の閾値を上回るか否かを判定する。この結果、検知部１２ｃは、第二の期間における平均トラヒック量が第一の閾値を上回る場合には、該当する通信機器２０の異常を検知する。
【００３５】
［異常検知装置の処理の流れ］
次に、図６を用いて、第一の実施の形態に係る異常検知装置１０の処理の流れを説明する。図６は、第一の実施の形態に係る異常検知装置による処理を説明するフローチャートである。
【００３６】
図６に示すように、異常検知装置１０の取得部１２ａは、所定時間が経過すると（ステップＳ１０１肯定）、通信機器２０のトラヒック情報をＮＷ機器４０から取得する（ステップＳ１０２）。具体的には、取得部１２ａは、所定時間が経過するたびに、各通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、取得したトラヒック量を通信機器トラヒック情報記憶部１３ａに格納する。
【００３７】
そして、算出部１２ｂは、第一の期間の平均トラヒック量を算出する（ステップＳ１０３）。具体的には、算出部１２ｂは、取得部１２ａによって各通信機器２０のトラヒック量を取得するたびに、第一の期間における平均トラヒック量をそれぞれ算出する。
【００３８】
そして、算出部１２ｂは、各通信機器２０について、平均トラヒック量が第一の閾値を上回っているか判定する（ステップＳ１０４）。この結果、算出部１２ｂは、各通信機器２０について、平均トラヒック量が第一の閾値を上回っていないと判定した場合には（ステップＳ１０４否定）、そのまま処理を終了する。
【００３９】
一方、算出部１２ｂは、平均トラヒック量が第一の閾値を上回っていると判定した場合には（ステップＳ１０４肯定）、該当する通信機器２０について、第二の期間の平均トラヒック量を算出する（ステップＳ１０５）。
【００４０】
そして、検知部１２ｃは、第二の期間における平均トラヒック量が第一の閾値を上回るか否かを判定する（ステップＳ１０６）。この結果、検知部１２ｃは、第二の期間における平均トラヒック量が第一の閾値を上回っていないと判定した場合には（ステップＳ１０６否定）、そのまま処理を終了する。一方、検知部１２ｃは、第二の期間における平均トラヒック量が第一の閾値を上回っていると判定した場合には（ステップＳ１０６肯定）、該当する通信機器２０の異常を検知する（ステップＳ１０７）。
【００４１】
［第一の実施の形態の効果］
このように、第一の実施の形態に係る異常検知装置１０は、各通信機器２０Ａ〜２０Ｃの単位時間あたりのトラヒック量の最新情報をＮＷ機器４０から取得し、通信機器のトラヒック量から第一の期間におけるトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値を算出する。そして、異常検知装置１０は、算出された第二の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、該当する通信機器２０の異常を検知する。このため、ネットワークにおける異常の誤検知を改善する。
【００４２】
つまり、異常検知装置１０は、例えば、第一の期間でトラヒック量の平均値が大きくても、第一の期間の開始時点から所定時刻まで遡った時刻を開始時点とする第二の期間におけるトラヒック量の平均値が第一の閾値以下であれば、通信機器２０がネットワーク５０に接続できなかった後のデータ再送による一時的なトラヒック量の増加であり、マルウェア感染等の異常でないものと判断することが可能であり、異常の誤検知を防止することが可能である。
【００４３】
また、異常検知装置１０は、第一の期間におけるトラヒック量の平均値が第一の閾値を上回った場合には、単位時間当たりのトラヒック量が第二の閾値を下回り、かつ、第三の閾値を上回るトラヒック量の時点まで遡り、該時点を開始時点とする第二の期間におけるトラヒック量の平均値を算出する。このため、通常の通信が発生していた時点まで溯って第二の期間を決めることができるため、より正確に異常の誤検知を防止することが可能である。
【００４４】
［第二の実施の形態］
上述した第一の実施の形態では、通信機器２０の平均トラヒック量を用いて、通信機器２０の異常を検知する場合について説明したが、これに限定されるものではない。例えば、通信機器２０の平均トラヒック量とサーバ３０の平均トラヒック量とを用いて、通信機器２０の異常を検知するようにしてもよい。
【００４５】
そこで、以下では、第二の実施の形態に係る異常検知装置１０Ａが、所定期間における通信機器２０のトラヒック量の平均値と、通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出し、サーバ３０のトラヒック量の平均値に対する通信機器２０のトラヒック量の平均値の割合が所定の閾値を上回った場合には、通信機器２０の異常を検知する場合について説明する。なお、第一の実施の形態に係る通信システムと同様の構成や処理については説明を省略する。
【００４６】
第二の実施の形態に係る通信システムにおける異常検知装置１０Ａは、サーバ３０にデータを送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得する。そして、異常検知装置１０Ａは、取得された通信機器２０のトラヒック量を用いて、所定期間における通信機器２０のトラヒック量の平均値を算出し、サーバ３０のトラヒック量を用いて、通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する。続いて、異常検知装置１０Ａは、サーバ３０のトラヒック量の平均値に対する通信機器２０のトラヒック量の平均値の割合が所定の閾値を上回った場合には、通信機器２０の異常を検知する。
【００４７】
第二の実施の形態に係る通信システムにおける各サーバ３０Ａ、３０Ｂは、各通信機器２０Ａ〜２０Ｃからのデータを受信し、サーバ内のＤＢに格納する。各サーバ３０Ａ、３０Ｂは、通信機器２０Ａ〜２０Ｃ毎のトラヒック量を計測し、異常検知装置１０Ａに提供する。通信機器２０Ａ〜２０Ｃ毎のトラヒック量については、サーバのアクセスログに記録されたアドレスやデータサイズからネットワーク層のトラヒック量を算出してもよいし、その他の方法で算出してもよい。
【００４８】
図７は、第二の実施の形態に係る異常検知装置の構成例を示すブロック図である。図７に示すように、異常検知装置１０Ａは、通信処理部１１、制御部１２および記憶部１３を有する。以下に異常検知装置１０Ａが有する各部の処理を説明する。
【００４９】
通信処理部１１は、接続される装置との間でやり取りする各種情報に関する通信を制御する。例えば、通信処理部１１は、各通信機器２０Ａ〜２０Ｃの通信トラヒック量をＮＷ機器４０から受信し、各サーバ３０Ａ、３０Ｂの通信トラヒック量を各サーバ３０Ａ、３０Ｂから受信する。
【００５０】
また、記憶部１３は、制御部１２による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、通信機器トラヒック情報記憶部１３ａ、サーバトラヒック情報記憶部１３ｂおよび通信先サーバ情報記憶部１３ｃを有する。通信機器トラヒック情報記憶部１３ａは、第一の実施の形態と同様に、各通信機器２０の単位時間あたりのトラヒック量を記憶する。
【００５１】
サーバトラヒック情報記憶部１３ｂは、各サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量を記憶する。ここで、図８の例を用いて、サーバトラヒック情報記憶部１３ｂに記憶される情報について説明する。図８は、サーバトラヒック情報記憶部に記憶される情報の一例を示す図である。なお、図８の例では、サーバ３０Ａと各通信機器２０Ａ〜２０Ｃとのトラヒック量を示すが、実際には、サーバトラヒック情報記憶部１３ｂは、他のサーバ３０Ｂのトラヒック量と各通信機器２０Ａ〜２０Ｃとのトラヒック量も記憶している。図８に例示するように、サーバトラヒック情報記憶部１３ｂは、トラヒック量が計測された「時刻」と、サーバ３０Ａと各通信機器２０Ａ〜２０Ｃとの「トラヒック量」とを対応付けて記憶する。
【００５２】
図８の例を挙げて具体的に説明すると、サーバトラヒック情報記憶部１３ｂは、時刻「１：５０」に対応付けて、通信機器２０Ａのトラヒック量「１５０００」バイト、通信機器２０Ｂのトラヒック量「０」バイト、および、通信機器２０Ｃのトラヒック量「０」バイトを記憶する。
【００５３】
通信先サーバ情報記憶部１３ｃは、各通信機器２０Ａ〜２０Ｃの正常時の通信先となるサーバ３０の情報を保持する。ここで、図９の例を用いて、通信先サーバ情報記憶部１３ｃに記憶される情報について説明する。図９は、通信先サーバ情報記憶部に記憶される情報の一例を示す図である。図９に例示するように、通信先サーバ情報記憶部１３ｃは、各「通信機器」と、各通信機器２０Ａ〜２０Ｃの正常時の「通信先サーバ」とを対応付けて記憶する。
【００５４】
図９の例を挙げて具体的に説明すると、通信先サーバ情報記憶部１３ｃは、「通信機器２０Ａ」の正常時の通信先サーバとして「サーバ３０Ａ」を記憶し、「通信機器２０Ｂ」および「通信機器２０Ｃ」の正常時の通信先サーバとして「サーバ３０Ｂ」を記憶する。
【００５５】
制御部１２は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、取得部１２ｄ、算出部１２ｅおよび検知部１２ｆを有する。
【００５６】
取得部１２ｄは、サーバ３０にデータを送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、サーバ３０の単位時間あたりのトラヒック量をサーバ３０から取得する。具体的には、取得部１２ｄは、所定時間が経過するたびに、サーバ３０に固定長のデータを定期的に送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得して通信機器トラヒック情報記憶部１３ａに格納する。また、取得部１２ｄは、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得し、サーバトラヒック情報記憶部１３ｂに格納する。
【００５７】
算出部１２ｅは、取得部１２ｄによって取得された通信機器２０のトラヒック量を用いて、所定期間における通信機器２０のトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、サーバ３０のトラヒック量を用いて、通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する。
【００５８】
具体的には、算出部１２ｅは、通信機器トラヒック情報記憶部１３ａに記憶された通信機器２０のトラヒック量を参照し、所定期間における通信機器２０の平均トラヒック量を算出する。そして、算出部１２ｅは、所定期間における各通信機器２０の平均トラヒック量が第一の閾値を上回っているか判定する。
【００５９】
この結果、算出部１２ｅは、平均トラヒック量が第一の閾値を上回っていると判定した場合には、該当する通信機器２０について、通信先サーバ情報記憶部１３ｃに記憶された情報を参照して、正常時の接続先となるサーバ３０を特定する。そして、算出部１２ｅは、サーバトラヒック情報記憶部１３ｂに記憶されたサーバ３０のトラヒック量を参照し、同一期間におけるサーバ３０の平均トラヒック量を算出する。
【００６０】
検知部１２ｆは、サーバ３０のトラヒック量の平均値に対する通信機器２０のトラヒック量の平均値の割合が所定の閾値を上回った場合には、通信機器２０の異常を検知する。具体的には、検知部１２ｆは、サーバ３０の平均トラヒック量に対する通信機器２０の平均トラヒック量の割合を算出し、算出した平均トラヒック量の割合が所定の閾値を上回るか否かを判定する。この結果、検知部１２ｆは、平均トラヒック量の割合が所定の閾値を上回る場合には、該当する通信機器２０の異常を検知する。
【００６１】
つまり、図１０に示すように、第二の実施の形態に係る異常検知装置１０Ａでは、サーバ３０にデータを送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得する。そして、サーバ３０の平均トラヒック量に対する通信機器２０の平均トラヒック量の割合を算出し、算出した平均トラヒック量の割合が所定の閾値を上回るか否かを判定することで、通信機器２０の異常の有無を確認する。図１０は、第二の実施の形態に係る異常検知装置による異常検知処理を説明する図である。
【００６２】
次に、図１１を用いて、第二の実施の形態に係る異常検知装置１０Ａの処理の流れを説明する。図１１は、第二の実施の形態に係る異常検知装置による処理を説明するフローチャートである。
【００６３】
図１１に示すように、異常検知装置１０Ａの取得部１２ｄは、所定時間が経過すると（ステップＳ２０１肯定）、通信機器２０およびサーバ３０のトラヒック情報を取得する（ステップＳ２０２）。具体的には、取得部１２ｄは、所定時間が経過するたびに、サーバ３０に固定長のデータを定期的に送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得して通信機器トラヒック情報記憶部１３ａに格納する。また、取得部１２ｄは、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得し、サーバトラヒック情報記憶部１３ｂに格納する。
【００６４】
そして、算出部１２ｅは、所定期間の平均トラヒック量を算出する（ステップＳ２０３）。具体的には、算出部１２ｅは、通信機器トラヒック情報記憶部１３ａに記憶された通信機器２０のトラヒック量を参照し、所定期間における通信機器２０の平均トラヒック量を算出する。そして、算出部１２ｅは、所定期間における各通信機器２０の平均トラヒック量が第一の閾値を上回っているか判定する（ステップＳ２０４）。
【００６５】
この結果、算出部１２ｅは、各通信機器２０について、平均トラヒック量が第一の閾値を上回っていないと判定した場合には（ステップＳ２０４否定）、そのまま処理を終了する。一方、算出部１２ｅは、平均トラヒック量が第一の閾値を上回っていると判定した場合には（ステップＳ２０４肯定）、該当する通信機器２０について、通信先サーバ情報記憶部１３ｃに記憶された情報を参照して、正常時の接続先となるサーバ３０を特定する（ステップＳ２０５）。そして、算出部１２ｅは、サーバトラヒック情報記憶部１３ｂに記憶されたサーバ３０のトラヒック量を参照し、同一期間におけるサーバ３０の平均トラヒック量を算出する（ステップＳ２０６）。
【００６６】
そして、検知部１２ｆは、サーバ３０の平均トラヒック量に対する通信機器２０の平均トラヒック量の割合を算出し（ステップＳ２０７）、算出した平均トラヒック量の割合が所定の閾値を上回るか否かを判定する（ステップＳ２０８）。この結果、検知部１２ｆは、算出した平均トラヒック量の割合が所定の閾値を上回っていないと判定した場合には（ステップＳ２０８否定）、そのまま処理を終了する。一方、検知部１２ｆは、平均トラヒック量の割合が所定の閾値を上回る場合には（ステップＳ２０８肯定）、該当する通信機器２０の異常を検知する（ステップＳ２０９）。
【００６７】
［第二の実施の形態の効果］
このように、第二の実施の形態に係る異常検知装置１０Ａは、サーバ３０にデータを送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得する。そして、異常検知装置１０Ａは、取得された通信機器２０のトラヒック量を用いて、所定期間における通信機器２０のトラヒック量の平均値を算出し、サーバ３０のトラヒック量を用いて、通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する。続いて、異常検知装置１０Ａは、サーバ３０のトラヒック量の平均値に対する通信機器２０のトラヒック量の平均値の割合が所定の閾値を上回った場合には、通信機器２０の異常を検知する。このため、ネットワークにおける異常の誤検知を改善する。
【００６８】
つまり、異常検知装置１０Ａは、例えば、通信機器２０の送信量とサーバ３０の受信量が不一致であれば、サーバ３０のトラヒック量の平均値に対する通信機器２０のトラヒック量の平均値の割合が大きくなり、通信機器２０がマルウェア感染等により正常時の接続先となるサーバ３０以外にデータを送信していると推測できる。一方、サーバ３０のトラヒック量の平均値に対する通信機器２０のトラヒック量の平均値の割合が所定の閾値以下である場合には、マルウェア感染等の異常でないものと判断することが可能であり、異常の誤検知を防止することが可能である。
【００６９】
また、異常検知装置１０Ａは、サーバ３０に固定長のデータを定期的に送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得し、通信機器２０のトラヒック量を用いて、所定期間における通信機器２０のトラヒック量の平均値を算出し、該算出したトラヒック量の平均値が第一の閾値を上回った場合には、サーバ３０のトラヒック量を用いて、通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する。これにより、所定期間における通信機器２０のトラヒック量の平均値が第一の閾値を上回った場合のみ、サーバ３０の所定期間におけるトラヒック量の平均値を算出するので、処理負荷を軽減しつつ、異常検知を行うことが可能である。
【００７０】
［第三の実施の形態］
上述した第二の実施の形態では、所定期間における通信機器２０のトラヒック量の平均値が第一の閾値を上回った場合に、該通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する場合を説明したが、これに限定されるものではない。例えば、所定時間が経過するたびに、所定期間における通信機器２０のトラヒック量の平均値とともに、該通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出するようにしてもよい。
【００７１】
そこで、以下では、第三の実施の形態に係る異常検知装置１０Ｂが、所定時間が経過するたびに、所定期間における通信機器２０のトラヒック量の平均値とともに、該通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する場合について説明する。なお、第二の実施の形態に係る通信システムと同様の構成や処理については説明を省略する。
【００７２】
第三の実施の形態に係る通信システムにおける各通信機器２０Ａ〜２０Ｃは、自身が具備するセンサから取得すること等により生成された固定長もしくは可変長のデータを、あらかじめ定められたサーバ３０に送信する。
【００７３】
また、第三の実施の形態に係る異常検知装置１０Ｂの取得部１２ｄは、サーバ３０に固定長または可変長のデータを送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得する。
【００７４】
第三の実施の形態に係る異常検知装置１０Ｂの算出部１２ｅは、所定時間が経過するたびに、取得部１２ｄによって取得された通信機器２０のトラヒック量を用いて、所定期間における通信機器２０のトラヒック量の平均値を算出するとともに、サーバ３０のトラヒック量を用いて、通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する。
【００７５】
次に、図１２を用いて、第三の実施の形態に係る異常検知装置１０Ｂの処理の流れを説明する。図１２は、第三の実施の形態に係る異常検知装置による処理を説明するフローチャートである。
【００７６】
図１２に示すように、異常検知装置１０Ｂの取得部１２ｄは、所定時間が経過すると（ステップＳ３０１肯定）、通信機器２０およびサーバ３０のトラヒック情報を取得する（ステップＳ３０２）。具体的には、取得部１２ｄは、所定時間が経過するたびに、サーバ３０に固定長または可変長のデータを送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得して通信機器トラヒック情報記憶部１３ａに格納する。また、取得部１２ｄは、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得し、サーバトラヒック情報記憶部１３ｂに格納する。
【００７７】
そして、算出部１２ｅは、所定期間の平均トラヒック量を算出する（ステップＳ３０３）。具体的には、算出部１２ｅは、通信機器トラヒック情報記憶部１３ａに記憶された通信機器２０のトラヒック量を参照し、所定期間における通信機器２０の平均トラヒック量を算出する。そして、算出部１２ｅは、各通信機器２０について、通信先サーバ情報記憶部１３ｃに記憶された情報を参照して、正常時の接続先となるサーバ３０を特定する（ステップＳ３０４）。そして、算出部１２ｅは、サーバトラヒック情報記憶部１３ｂに記憶されたサーバ３０のトラヒック量を参照し、同一期間におけるサーバ３０の平均トラヒック量を算出する（ステップＳ３０５）。
【００７８】
そして、検知部１２ｆは、サーバ３０の平均トラヒック量に対する通信機器２０の平均トラヒック量の割合を算出し（ステップＳ３０６）、算出した平均トラヒック量の割合が所定の閾値を上回るか否かを判定する（ステップＳ３０７）。この結果、検知部１２ｆは、算出した平均トラヒック量の割合が所定の閾値を上回っていないと判定した場合には（ステップＳ３０７否定）、そのまま処理を終了する。一方、検知部１２ｆは、平均トラヒック量の割合が所定の閾値を上回る場合には（ステップＳ３０７肯定）、該当する通信機器２０の異常を検知する（ステップＳ３０８）。
【００７９】
［第三の実施の形態の効果］
このように、第三の実施の形態に係る異常検知装置１０Ｂは、サーバ３０に固定長または可変長のデータを送信する通信機器２０の単位時間あたりのトラヒック量をＮＷ機器４０から取得し、サーバ３０の通信機器２０ごとの単位時間あたりのトラヒック量をサーバ３０から取得し、所定時間が経過するたびに、通信機器２０のトラヒック量を用いて、所定期間における通信機器２０のトラヒック量の平均値を算出するとともに、サーバ３０のトラヒック量を用いて、通信機器２０の正常時の接続先となるサーバ３０の所定期間におけるトラヒック量の平均値を算出する。このため、サーバ３０のトラヒック量の平均値に対する通信機器２０のトラヒック量の平均値の割合が所定の閾値以下である場合には、マルウェア感染等の異常でないものと判断することが可能であり、異常の誤検知を防止することが可能である。
【００８０】
［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８１】
また、本実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００８２】
［プログラム］
図１３は、異常検知プログラムを実行するコンピュータを示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
【００８３】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１０５１、キーボード１０５２に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１０６１に接続される。
【００８４】
ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、異常検知装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、装置における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid  State  Drive）により代替されてもよい。
【００８５】
また、上述した実施の形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
【００８６】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク、ＷＡＮを介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【符号の説明】
【００８７】
１０、１０Ａ、１０Ｂ  異常検知装置
１１  通信処理部
１２  制御部
１２ａ、１２ｄ  取得部
１２ｂ、１２ｅ  算出部
１２ｃ、１２ｆ  検知部
１３  記憶部
１３ａ  通信機器トラヒック情報記憶部
１３ｂ  サーバトラヒック情報記憶部
１３ｃ  通信先サーバ情報記憶部
２０Ａ〜２０Ｃ  通信機器
３０Ａ、３０Ｂ  サーバ
４０  ＮＷ機器
５０  ネットワーク
【図１】
2019047327.tif 000003
【図２】
2019047327.tif 000004
【図３】
2019047327.tif 000005
【図４】
2019047327.tif 000006
【図５】
2019047327.tif 000007
【図６】
2019047327.tif 000008
【図７】
2019047327.tif 000009
【図８】
2019047327.tif 000010
【図９】
2019047327.tif 000011
【図１０】
2019047327.tif 000012
【図１１】
2019047327.tif 000013
【図１２】
2019047327.tif 000014
【図１３】
2019047327.tif 000015