(57)【特許請求の範囲】
【請求項１】
複数のグループに分割された複数のデータ発生源が前記グループごとに対応付けられた複数のネットワーク接続装置と、
前記複数のネットワーク接続装置との間でネットワークを介して通信が可能な複数のデータ圧縮装置と、
前記複数のネットワーク接続装置と前記複数のデータ圧縮装置との間に配置されたロードバランサと、
前記複数のデータ圧縮装置との間で前記ネットワークを介して通信が可能なデータ管理装置とを具備し、
前記複数のネットワーク接続装置の各々は、
自装置に対応付けられた前記データ発生源のグループから送信されたデータを受信する手段と、
前記受信されたデータに対し、前記ネットワーク接続装置を識別するための識別情報を付与する識別情報付与手段と、
前記識別情報が付与されたデータを前記データ圧縮装置に向け送信する手段と
を備え、
前記データ管理装置は、前記データ発生源のグループごとに、当該グループに属するデータ発生源から発生されるデータを圧縮処理するために必要な辞書データを、前記グループに対応するデータ圧縮装置に記憶させる辞書データ管理手段を備え、
前記ロードバランサは、前記複数のネットワーク接続装置から送信されたデータを、当該データに付与されている識別情報をもとに、送信元のネットワーク接続装置に対応付けられたデータ圧縮装置へ転送する手段を備え、
前記複数のデータ圧縮装置の各々は、
前記ロードバランサから転送されたデータを受信する手段と、
前記受信されたデータを前記記憶された辞書データと比較して重複部分を圧縮する圧縮処理手段と、
前記圧縮処理後のデータを前記データ管理装置へ送信し蓄積させる手段と
を備えることを特徴とするデータ圧縮収集システム。
【請求項２】
複数のグループに分割された複数のデータ発生源が前記グループごとに対応付けられた複数のネットワーク接続装置と、前記複数のネットワーク接続装置との間でネットワークを介して通信が可能な複数のデータ圧縮装置と、前記複数のネットワーク接続装置と前記複数のデータ圧縮装置との間に配置されたロードバランサと、前記複数のデータ圧縮装置との間で前記ネットワークを介して通信が可能なデータ管理装置とを具備するシステムにより実行されるデータ圧縮収集方法であって、
前記データ管理装置が、前記データ発生源のグループごとに、当該グループに属するデータ発生源から発生されるデータを圧縮処理するために必要な辞書データを、前記グループに対応するデータ圧縮装置に記憶させる辞書データ設定過程と、
前記複数のネットワーク接続装置の各々が、自装置に対応付けられた前記データ発生源のグループから送信されたデータを受信する過程と、
前記複数のネットワーク接続装置の各々が、前記受信されたデータに対し、前記ネットワーク接続装置を識別するための識別情報を付与する過程と、
前記複数のネットワーク接続装置の各々が、前記識別情報が付与されたデータを前記データ圧縮装置に向け送信する過程と、
前記ロードバランサが、前記複数のネットワーク接続装置から送信されたデータを、当該データに付与されている識別情報をもとに、送信元のネットワーク接続装置に対応付けられたデータ圧縮装置へ転送する過程と、
前記複数のデータ圧縮装置の各々が、前記ロードバランサから転送されたデータを受信する過程と、
前記複数のデータ圧縮装置の各々が、前記受信されたデータを前記記憶された辞書データと比較して重複部分を圧縮する過程と、
前記複数のデータ圧縮装置の各々が、前記圧縮処理後のデータを前記データ管理装置へ送信する過程と、
前記データ管理装置が、前記複数のデータ圧縮装置から送信された圧縮処理後のデータを受信し蓄積する過程と
を具備することを特徴とするデータ圧縮収集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ネットワーク接続装置を介して収集するデータをネットワーク接続装置に紐づくデータ圧縮情報によって圧縮するデータ圧縮収集システムおよび方法に関する。
【背景技術】
【０００２】
従来においては、データ圧縮の方式として、辞書データを使用した圧縮技術を用いる方式が提唱されている。この方式は、各データ発生源から送信されたデータを、データ圧縮サーバにより予め記憶しておいた辞書データと比較することでデータを符号化し、符号化されたデータをデータ管理サーバに蓄積するものとなっている（例えば、非特許文献１を参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“Advanced Compression with Oracle Database 11g”， ORACLE（登録商標）社，An Oracle White Paper January 2012
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の技術において、データ圧縮サーバにおける処理はデータ発生源のデータ数に比例して増大する。このため、各データ発生源から送信されたデータを１台のデータ圧縮サーバで一括して圧縮処理すると、データ圧縮サーバの処理負荷が非常に高くなる。そこで、データ圧縮サーバの処理負荷を軽減するために、データ圧縮サーバを複数台設け、データをセンサ単位で分割して上記複数のデータ圧縮サーバに入力することで、データの分散処理を可能にしたシステムが提案されている。
【０００５】
しかし、従来のシステムでは、いずれのデータにも対応可能なように各データ圧縮サーバには必要なすべての辞書データを記憶させておく必要がある。このようにして、辞書データまでは分割することができないという問題がある。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、データ圧縮装置におけるデータベースの必要記憶容量の削減と処理負荷のさらなる軽減する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するためにこの発明の第１の態様は、複数のグループに分割された複数のデータ発生源が前記グループごとに対応付けられた複数のネットワーク接続装置と、前記複数のネットワーク接続装置との間でネットワークを介して通信が可能な複数のデータ圧縮装置と、前記複数のネットワーク接続装置と前記複数のデータ圧縮装置との間に配置されたロードバランサと、前記複数のデータ圧縮装置との間で前記ネットワークを介して通信が可能なデータ管理装置とを具備する。前記複数のネットワーク接続装置の各々は、自装置に対応付けられた前記データ発生源のグループから送信されたデータを受信し、当該受信されたデータを前記ネットワーク接続装置を識別するための識別情報を付与したのち前記データ圧縮装置に向け送信する。前記データ管理装置は、前記データ発生源のグループごとに、当該グループに属するデータ発生源から発生されるデータを圧縮処理するために必要な辞書データを、前記グループに対応するデータ圧縮装置に記憶させる。前記ロードバランサは、前記複数のネットワーク接続装置から送信されたデータを、当該データに付与されている識別情報をもとに、送信元のネットワーク接続装置に対応付けられたデータ圧縮装置へ転送する。前記複数のデータ圧縮装置の各々は、前記ロードバランサから転送されたデータを受信し、当該受信されたデータを前記記憶された辞書データと比較して重複部分を圧縮し、当該圧縮処理後のデータを前記データ管理装置へ送信し蓄積させるようにしたものである。
【０００８】
この発明の第２の態様は、前記辞書データを設定する際に、前記すべてのデータ発生源から圧縮処理前のデータを予め設定した期間にわたって繰り返し収集し、この収集した各データに対しスキャンを行ってそれぞれ圧縮処理に必要な辞書データを作成し、この作成した辞書データを、前記データ発生源のグループごとに分けて対応するデータ圧縮装置へ送信し記憶させるようにしたものである。
【０００９】
この発明の第３の態様は、前記辞書データを設定する際に、前記データ発生源のグループごとに、圧縮処理前のデータを予め設定した期間にわたって収集し、この収集した各データに対しスキャンを行ってそれぞれ圧縮処理に必要な辞書データを作成し、このグループごとに作成した辞書データを、当該グループに対応するデータ圧縮装置へ送信し記憶させるようにしたものである。
【発明の効果】
【００１０】
この発明の第１の態様によれば、各データ圧縮装置では、データ発生源の対応するグループから送信されたデータのみを圧縮処理すればよいことになり、これにより圧縮対象のデータ数を減らしてデータ圧縮装置の処理負荷を軽減することが可能となる。加えて、データ圧縮装置には、対応するデータ発生源のグループから送信されるデータの圧縮処理に必要な辞書データのみが記憶される。このため、データ圧縮装置の辞書データを記憶するために必要な記憶容量は削減され、かつ１つのデータを圧縮処理する際に比較する辞書データの数も削減されるため、圧縮処理に必要な計算量を減らして処理負荷をさらに軽減することができる。
【００１１】
この発明の第２の態様によれば、データ発生源から送信されるすべてのデータに対応する辞書データがデータ管理装置において作成され、当該作成された辞書データがデータ発生源のグループごとに分割されて対応するデータ圧縮装置に設定される。  
この発明の第３の態様によれば、データ管理装置により、データ発生源のグループごとに辞書データが作成されて対応するデータ圧縮装置に設定される。  
従って、各データ圧縮装置が必要とする辞書データを自動的に作成してデータ圧縮装置に設定することが可能となる。
【００１２】
この発明によれば、データ圧縮装置におけるデータベースの必要記憶容量の削減と処理負荷のさらなる軽減を可能にしたデータ圧縮収集システムおよび方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の第１の実施形態に係るデータ圧縮収集システムの全体構成を示す図。
【図２】図１に示したデータ圧縮収集システムの機能構成を示すブロック図。
【図３】図２に示したシステムの動作シーケンスを示す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［第１の実施形態］
（構成）
図１はこの発明の第１の実施形態に係るデータ圧縮収集システムの全体構成を示す図であり、Ｓ１〜Ｓｎはデータ発生源の一例としてのセンサを示している。センサＳ１〜Ｓｎは、設備や人に設置または所持されるもので、一例としては赤外線カメラや可視カメラ、温度センサ、電力量センサ、心拍センサ、歩数センサ、位置センサ、３次元加速度センサ等がある。
【００１５】
第１の実施形態に係るデータ圧縮収集システムは、上記センサＳ１〜Ｓｎからそれぞれ送信されるデータを受信する、ネットワーク接続装置としての複数のゲートウェイ端末（ＧＷ端末）１Ａ〜１Ｘと、上記ＧＷ端末１Ａ〜１Ｘから送信されたデータを圧縮するデータ圧縮サーバ３Ａ〜３Ｘと、上記ＧＷ端末１Ａ〜１Ｘとデータ圧縮サーバ３Ａ〜３Ｘとの間に配置されるロードバランサ２と、データ管理サーバ４とを備えている。これらのＧＷ端末１Ａ〜１Ｘ、ロードバランサ２、データ圧縮サーバ３Ａ〜３Ｘおよびデータ管理サーバ４は、図示しないネットワークを介して相互にデータ通信が可能となっている。
【００１６】
上記センサＳ１〜Ｓｎは、例えば地域ごとに、組織ごとに、或いはセンサの種類ごとにグループ化され、グループごとに上記ＧＷ端末１Ａ〜１Ｘに対応付けされている。例えば図１では、センサＳ１，Ｓ２はＧＷ端末１Ａに、またセンサＳn-1，ＳｎはＧＷ端末１Ｘにそれぞれ対応付けされている。従って、ＧＷ端末１Ａ〜１Ｘはそれぞれ自端末に対応付けられたセンサＳ１〜Ｓｎのみからデータを受信する。
【００１７】
図２は上記データ圧縮収集システムの機能構成を示すブロック図である。  
ＧＷ端末１Ａ〜１Ｘはいずれも、第１の実施形態を実現する上で必要な新たな機能として、ＧＷ情報付与部１１を有している。ＧＷ情報付与部１１は、上記対応付けされたセンサＳ１〜Ｓｎから送信されたデータが受信されると、この受信されたデータに対しＧＷ端末を一意に識別するための識別情報（ＧＷ−ＩＤ）を付与する。
【００１８】
ロードバランサ２は、上記ＧＷ端末１Ａ〜１Ｘからデータが送信されると、当該データに付与されているＧＷ−ＩＤをもとに、上記ＧＷ端末１Ａ〜１Ｘと予め対応付けられたデータ圧縮サーバ３Ａ〜３Ｘへ上記データを転送する処理を行う。
【００１９】
データ圧縮サーバ３Ａ〜３Ｘはいずれも、辞書データデータベース（辞書データＤＢ）３１と、データ圧縮部３２とを有している。辞書データＤＢ３１は、データ圧縮サーバ３Ａ〜３Ｘごとに、当該データ圧縮サーバ３Ａ〜３Ｘが取り扱うデータを圧縮するために必要十分な辞書データを記憶する。データ圧縮部３２は、上記ロードバランサ２から転送されたデータを、上記辞書データＤＢ３１に記憶された辞書データを用いて圧縮処理する。
【００２０】
データ管理サーバ４は、第１の実施形態を実現するために必要な機能として、既存の収集データデータベース（収集データＤＢ）４１およびデータ管理部４２に加え、辞書データＤＢ４３と、辞書データ管理部４４を新たに有している。
【００２１】
収集データＤＢ４１は、上記データ圧縮サーバ３Ａ〜３Ｘにより圧縮されたデータを蓄積するために用いられる。データ管理部４２は、上記データ圧縮サーバ３Ａ〜３Ｘから送られた圧縮後のデータを、例えば受信日時、センサの識別情報およびＧＷ−ＩＤと関連付けて上記収集データＤＢ４１に格納する処理を行う。
【００２２】
辞書データＤＢ４３は、第１の実施形態のシステムで取り扱うすべてのセンサＳ１〜Ｓｎのデータに対応する辞書データを記憶する。辞書データ管理部４４は、上記辞書データＤＢ４３に記憶された辞書データを、上記センサＳ１〜Ｓｎのグループに対応して分類し、分類した辞書データを対応するデータ圧縮サーバ３Ａ〜３Ｘに送信して辞書ＤＢ３１に格納させる処理を行う。
【００２３】
（動作）
次に、以上のように構成されたシステムにおけるデータ圧縮収集動作を説明する。図３はその動作シーケンスを示す図である。  
（１）辞書データの更新
データ管理サーバ４は、先ず辞書データの更新フェーズＰ１において、辞書データ管理部４４の制御の下、ステップＳＴ１１により、システムで取り扱うすべてのセンサＳ１〜Ｓｎのデータを圧縮処理するために必要な辞書データを作成し、作成した辞書データを辞書データＤＢ４３に格納する。
【００２４】
そして、上記作成された辞書データを、センサのグループに対応して分類し、分類した辞書データを対応するデータ圧縮サーバ３Ａ〜３Ｘにそれぞれ送信して辞書ＤＢ３１に記憶させる。
【００２５】
上記辞書データの分類手法には、以下の手法がある。  
(1) システムオペレータが、データ管理サーバ４に対し図示しない保守用端末から、システムが取り扱うすべてのセンサＳ１〜Ｓｎのデータを圧縮処理するために必要な辞書データを手操作で入力し、この手入力された辞書データを、上記センサＳ１〜Ｓｎのグループに対応付けられたＧＷ端末１Ａ〜１ＸのＧＷ−ＩＤと関連付けて辞書データＤＢ４３に記憶させる。データ管理サーバ４の辞書データ管理部４４は、上記辞書データＤＢ４３に格納された辞書データを、ＧＷ−ＩＤごとに読み出して対応するデータ圧縮サーバ３Ａ〜３Ｘへそれぞれ送信し、辞書データＤＢ３１に記憶させる。  
なお、上記手入力の代わりに、上記センサＳ１〜Ｓｎのグループ別の辞書データを別途作成しておき、この辞書データを記憶媒体を用いてデータ管理サーバ４に入力するようにしてもよい。
【００２６】
(2) データ管理サーバ４の辞書データ管理部４４において、先ずすべてのセンサＳ１〜Ｓｎから圧縮前のデータを予め設定した期間にわたって繰り返し収集し、この収集した各データに対しスキャンを行ってそれぞれ圧縮処理に必要な辞書データを作成する。そして、この作成した辞書データを、上記センサＳ１〜Ｓｎのグループに対応付けられたＧＷ端末１Ａ〜１ＸのＧＷ−ＩＤと関連付けた状態で、辞書データＤＢ４３に格納する。次に、上記辞書データＤＢ４３に格納された辞書データを、ＧＷ−ＩＤごとに読み出して、対応するデータ圧縮サーバ３Ａ〜３Ｘへ送信し、辞書データＤＢ３１に記憶させる。
【００２７】
(3) データ管理サーバ４が、先ずセンサＳ１〜Ｓｎから圧縮前のデータを、予め設定した期間にわたりＧＷ端末１Ａ〜１Ｘごとに収集する。そして、ＧＷ端末１Ａ〜１Ｘごとに、収集した各データに対しそれぞれスキャンを行って、ＧＷ端末１Ａ〜１Ｘが符号化圧縮する際に必要な辞書データを作成する。次に、上記作成された辞書データを、ＧＷ端末１Ａ〜１ＸのＧＷ−ＩＤと関連付けた状態で辞書データＤＢ４３に格納する。そして、上記辞書データＤＢ４３に格納された辞書データを、ＧＷ−ＩＤごとに読み出して対応するデータ圧縮サーバ３Ａ〜３Ｘへ送信し、辞書データＤＢ３１に記憶させる。
【００２８】
以上の処理により、ＧＷ端末１Ａ〜１Ｘの辞書データＤＢ３１には、当該ＧＷ端末１Ａ〜１Ｘが取り扱うデータの種類に対応した辞書データのみが記憶されることになる。なお、以上述べた辞書データの更新処理は、定期的に実行される。
【００２９】
（２）データの圧縮収集
上記辞書データの更新処理が終了すると、以後システムはデータの圧縮収集処理が可能となる。  
センサＳ１〜Ｓｎからデータを受信すると、ＧＷ端末１Ａ〜１Ｘは図３に示すデータ圧縮収集フェーズＰ２において、ＧＷ情報付与部１１の制御の下、先ずステップＳＴ１２により、上記受信されたデータに対し自己のＧＷ−ＩＤを付与する。
【００３０】
ＧＷ−ＩＤの付与方法には次の手法が考えられる。  
(1) データ管理サーバ４上でセンサＳ１〜Ｓｎのデータをリソースツリーとして管理し、当該リソースツリーのうちＧＷ端末１Ａ〜１Ｘが取り扱うデータに対応するツリーをＧＷ端末１Ａ〜１Ｘに通知する。ＧＷ端末１Ａ〜１Ｘは、対応するセンサＳ１〜Ｓｎから受信したデータに対し、上記ツリーを参照してＧＷ−ＩＤを付与する。なお、リソースツリーは、ＧＷ端末１Ａ〜１Ｘが自身で取り扱うセンサのデータに対応する分だけ作成し、管理するようにしてもよい。  
(2) データの属性としてＧＷ−ＩＤ属性を新たに追加し、ＧＷ−ＩＤの属性値として付与する。
【００３１】
次にＧＷ端末１Ａ〜１Ｘは、上記ＧＷ−ＩＤが付与されたデータをデータ圧縮サーバ３Ａ〜３Ｘへ向け送信する。このデータの伝送路上においてロードバランサ２は、上記データを受信すると、当該データに付与されているＧＷ−ＩＤをもとに上記データの転送先を判定する。そして、ＧＷ端末１Ａ〜１Ｘと予め関連付けられているデータ圧縮サーバ３Ａ〜３Ｘへ、上記ＧＷ−ＩＤが付与されたデータを転送する。
【００３２】
データ圧縮サーバ３Ａ〜３Ｘは、上記データを受信すると、当該受信したデータに付与されたＧＷ−ＩＤをもとに、当該データが自サーバで取り扱うべきものか否かを判定する。そして、自サーバで取り扱うべきものであれば、データ圧縮部３２の制御の下、ステップＳＴ１３により上記データを圧縮処理する。この圧縮処理は、上記データを、辞書データＤＢ３１に格納された辞書データとを用い、データを圧縮することによりなされる。
【００３３】
続いてデータ圧縮サーバ３Ａ〜３Ｘは、上記のように圧縮されたデータをデータ管理サーバ４へ送信する。データ管理サーバ４は、上記圧縮されたデータを受信すると、データ管理部４２の制御の下、上記受信された圧縮済のデータを受信日時、センサの識別情報および上記ＧＷ−ＩＤと関連付けて、収集データＤＢ４１に格納する。
【００３４】
（効果）
以上詳述したように第１の実施形態では、センサＳ１〜Ｓｎをグループ化してグループごとにＧＷ端末１Ａ〜１Ｘに対応付け、ＧＷ端末１Ａ〜１ＸにＧＷ情報付与部１１を設けて、センサＳ１〜Ｓｎから受信したデータに自端末のＧＷ−ＩＤを付与することで、データがＧＷ端末１Ａ〜１Ｘに対応付けられたデータ圧縮サーバ３Ａ〜３Ｘへ送信されるようにしている。一方、データ管理サーバ４には辞書データ管理部４４を設け、上記センサの各グループにそれぞれ対応する辞書データを作成して上記データ圧縮サーバ３Ａ〜３Ｘに記憶させるようにしている。
【００３５】
従って、データ圧縮サーバ３Ａ〜３Ｘでは、対応するセンサグループから送信されたデータのみを圧縮処理すればよいことになり、これにより圧縮対象のデータ数を減らしてデータ圧縮サーバ３Ａ〜３Ｘの処理負荷を軽減することが可能となる。しかも、データ圧縮サーバ３Ａ〜３Ｘには、対応するセンサのグループから送信されるデータの圧縮処理に必要な辞書データのみが記憶される。このため、辞書データベースの必要記憶容量は削減され、かつ１つのデータを圧縮処理する際に比較する辞書データの数も減るため、圧縮処理に必要な計算量を減らして処理負荷をさらに軽減することができる。
【００３６】
［他の実施形態］
第１の実施形態では、データ圧縮サーバ３Ａ〜３ＸとＧＷ端末１Ａ〜１Ｘとを別に設ける場合を例にとって説明したが、ＧＷ端末にデータ圧縮部を設けるように構成してもよい。このような構成にすると、ＧＷ端末からデータ管理サーバへは圧縮後のデータが伝送されることになり、ネットワーク上の通信量を削減することができる。
【００３７】
第１の実施形態の対象データとするデータを適用した場合を例にとって説明したが、データ以外に各種管理データや統計データ等をクラウドサーバが収集し管理するシステムにも適用できる。
【００３８】
第１の実施形態では、ＧＷ端末１Ａ〜１Ｘがデータに対しケートウェイ端末を識別するためのＧＷ−ＩＤを付与するようにしたが、センサＳ１〜Ｓｎのグループごとにグループ識別情報を決めておき、このグループ識別情報を付与するようにしてもよい。
【００３９】
その他、ネットワーク接続装置の種類やデータ圧縮サーバにより行われるデータ圧縮処理の方式、各データ圧縮装置に対する辞書データの設定方法、ネットワーク接続装置における識別情報の付与方法等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００４０】
すなわち、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００４１】
Ｓ１〜Ｓｎ…センサ、１Ａ〜１Ｘ…ＧＷ端末、２…ロードバランサ、３Ａ〜３Ｘ…データ圧縮サーバ、４…データ管理サーバ、１１…ＧＷ情報付与部、３１…辞書データＤＢ、３２…データ圧縮部、４１…収集データＤＢ、４２…データ管理部、４３…辞書データＤＢ、４４…辞書データ管理部。
【図１】
0006460961.tif 000002
【図２】
0006460961.tif 000003
【図３】
0006460961.tif 000004