(57)【要約】      （修正有）【課題】様々な種類のデータに対して、可変的なユーザのニーズと任意のデータ変更に対し柔軟に対応できるデータ処理方法を提供する。【解決手段】大容量の順次収集データ処理において、外部のデータ提供装置から収集されたソースデータに対してユーザ定義基盤の前処理を行なうステップＳ１０と、前記ソースデータをユーザが定義した格納ルールに基づいて分散型データストアに格納するステップＳ２０と、ユーザが定義したデータ処理ルールに基づいて前記ソースデータまたは前記ソースデータの格納情報を処理して加工データを生成するステップＳ３０と、前記加工データを前記分散型データストアに分配して格納するためのデータ分配ルールを登録するステップＳ４０と、前記データ分配ルールに基づいて前記加工データを前記分散型データストアに分配して格納するステップＳ５０と、を有する。【選択図】図７
2015106406.tif 000002
【特許請求の範囲】
【請求項１】
大容量の順次収集データを処理するためのフレームワーク提供装置でのデータ処理方法において、
外部のデータ提供装置から収集されたソースデータに対してユーザ定義基盤の前処理を行なうステップと、
前記ソースデータをユーザが定義した格納ルールに基づいて分散型データストアに格納するステップと、
ユーザが定義したデータ処理ルールに基づいて前記ソースデータまたは前記ソースデータの格納情報を処理して加工データを生成するステップと、
前記加工データを前記分散型データストアに分配して格納するためのデータ分配ルールを登録するステップと、及び
前記データ分配ルールに基づいて前記加工データを前記分散型データストアに分配して格納するステップと、
を有するデータ処理方法。
【請求項２】
前記分散型データストアに格納された前記ソースデータまたは前記加工データにユーザ検索がある場合、前記ユーザが定義した格納ルールまたは前記データ分配ルールを参照して前記ソースデータまたは前記加工データをユーザ端末に転送するステップをさらに有する請求項１に記載のデータ処理方法。
【請求項３】
前記ユーザ定義基盤の前処理を行なうステップは、
ユーザインターフェースを介して登録される外部システム連動機能とデータ前処理機能に基づいてデータ収集プロセスを生成するステップを有する請求項１に記載のデータ処理方法。
【請求項４】
前記分散型データストアに格納するステップは、
ユーザインターフェースを介して登録されるユーザが定義したソースデータ格納ルールに基づいてソースデータ格納プロセスを生成するステップを有する請求項１に記載のデータ処理方法。
【請求項５】
前記加工データを生成するステップは、
ユーザインターフェースを介して登録されたユーザ定義基盤データ処理機能と前記加工データ格納ルールに基づいて少なくとも一つ以上のソースデータ処理プロセスを生成するステップを有する請求項１に記載のデータ処理方法。
【請求項６】
前記データ分配ルールを登録するステップは、
前記分散型データストアがキー・バリュー（ｋｅｙ−ｖａｌｕｅ）分散型データストアである場合、前記加工データを均等に格納できるキー値生成ルールを登録するステップを有する請求項１に記載のデータ処理方法。
【請求項７】
大容量の順次収集データを処理するためのフレームワーク提供装置でのデータ処理方法において、
ユーザインターフェースを介して登録される外部システム連動機能とデータ前処理機能に基づいてデータ収集プロセスを生成するステップと、
ユーザインターフェースを介して登録されるユーザが定義したソースデータ格納ルールに基づいてソースデータ格納プロセスを生成するステップと、
ユーザインターフェースを介して登録されたユーザ定義基盤データ処理機能と前記加工データ格納ルールに基づいて少なくとも一つ以上のソースデータ処理プロセスを生成するステップと、
前記加工データを前記分散型データストアに分配して格納するためのデータ分配ルールを登録し、前記データ分配ルールに基づいて加工データ分配プロセスを生成するステップと、及び
前記それぞれのプロセス間の関係設定によって、ユーザ定義基盤データを処理するための統合プロセスを生成するステップと、
を有するデータ処理方法。
【請求項８】
大容量の順次収集データを処理するためのフレームワークを提供するプログラムコード（ｃｏｄｅ）が格納された不揮発性メモリと、前記プログラムコードを行なう少なくとも一つのプロセッサを有する装置において、
前記フレームワークは、
外部のデータ提供装置から収集されたソースデータに対して、ユーザ定義基盤の前処理を行なうデータ収集モジュールと、
前記ソースデータをユーザが定義した格納ルールに基づいて分散型データストアに格納するデータ格納モジュールと、
ユーザが定義したデータ処理ルールに基づいて前記ソースデータまたは前記ソースデータの格納情報を処理して加工データを生成するデータ処理モジュールと、
前記加工データを前記分散型データストアに分配して格納するためのデータ分配ルールを登録するデータ管理政策モジュールを提供するフレームワーク提供装置。
【請求項９】
前記データ収集モジュールは、
外部システム連動機能とデータ解析を有するユーザ定義基盤前処理機能を登録できるユーザインターフェースを提供する請求項８に記載のフレームワーク提供装置。
【請求項１０】
前記データ格納モジュールは、
ユーザ定義によるソースデータ格納ルールを登録できるユーザインターフェースを提供する請求項８に記載のフレームワーク提供装置。
【請求項１１】
前記データ格納モジュールは、
前記ソースデータから必要なデータ抽出作業または前記ソースデータへの加工作業が必要な場合、前記データ処理モジュールを登録し、前記データ処理モジュールでユーザが定義したデータ処理ルールに基づいて前記ソースデータを前記データ処理モジュールに転送したり、前記ソースデータの格納情報を通知する請求項８または１０に記載のフレームワーク提供装置。
【請求項１２】
前記データ処理モジュールは、
前記ユーザが定義したデータ処理ルールと前記加工データ格納ルールを登録できるユーザインターフェースを提供する請求項８に記載のフレームワーク提供装置。
【請求項１３】
前記データ処理モジュールは、
ユーザが定義したデータ処理ルールに基づいて前記ソースデータまたは前記ソースデータの格納情報を即時に行う方式または周期的に行う方式で処理する請求項８または１２に記載のフレームワーク提供装置。
【請求項１４】
前記データ管理政策モジュールは、
前記データ分配ルールを登録及び検索できるユーザインターフェースを提供し、前記分散型データストアがキー・バリュー分散型データストアである場合、前記データ分配ルールは前記加工データを均等に格納できるキー値生成ルールである請求項８に記載のフレームワーク提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大容量のデータを処理するためのシステムに関するものであって、より詳しくは、処理しようとする様々な種類のデータをユーザの定義に基づいて収集、格納、処理、管理する機能を構成できる柔軟性と、データを効率的に処理できる管理機能を提供するためのフレームワーク提供装置及びそのデータ処理方法に関する。
【背景技術】
【０００２】
最近、スマートフォンの拡散と共にモノのインターネット技術の発展に伴うセンサを適用した情報技術の底辺拡大で、情報システムにおける収集、処理、格納、管理、使用されるデジタルデータが急増している。一例として、製薬と医薬品流通産業の場合、医薬品の不法流通と偽造医薬品の流通を防止するためにバーコードを利用した医薬品管理を超えて、ＲＦＩＤ技術を用いた個別医薬品に対する識別及び管理を推進しながら、医薬品の製造と流通過程で様々な業務処理に因って発生するデータの量が爆発的に増加するものと予想される。
【０００３】
また、モノのインターネット技術が拡散すると、大量のセンサデータが発生し、これを活用した様々なサービスが登場するものと予想されるところ、センサデータの多様性と新規センサ装置の増加、ユーザのニーズの変化などに因り、サービスが頻繁に変更される環境では、一つの一括した処理方式の適用が困難であるという問題がある。
【０００４】
上記のような背景から、大量のデータを効率的に収集、格納、処理するための様々な技術が登場しているが、ユーザのニーズの変化とデータの多様性の面でユーザ定義に応じたデータの収集、格納、処理機能を柔軟に構成することができ、データ規模の面で複数のデータソースから発生する大量のデータを効率的に管理するための方法が必要である。特に、特定産業分野または業務分野に従属されて長期間持続され、大量に発生して累積される環境では、多数の利害関係者が、該当データへの様々なニーズを反映しなければならない場合、これを効果的に支援するためのフレームワークが、特に重要な要素として必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した従来技術の問題点を解決するために、様々な種類のデータに対して、ユーザ定義による収集、格納、処理、管理、検索などの機能を構成することによって、可変的なユーザのニーズと任意のデータ変更に対し柔軟に対応できるフレームワーク提供装置及びそのデータ処理方法を提供することを目的とする。
【０００６】
本発明の他の目的は、様々な種類のデータとそのデータの増加速度を予測できない環境において、大容量のデータを、分散されたストアに特定の領域に偏らないよう格納して管理することができ、エラーが発生しても、サービス要求を満たすことのできるフレームワーク提供装置及びそのデータ処理方法を提供することである。
【０００７】
本発明の目的は、上記した目的に制限されておらず、言及されていないまた他の目的は、以下の記載から当業者に明確に理解することができるだろう。
【課題を解決するための手段】
【０００８】
上述した本発明の目的を達成するための本発明の一面によるデータ処理方法は、大容量の順次収集データを処理するためのフレームワーク提供装置でのデータ処理方法において、外部のデータ提供装置から収集されたソースデータに対してユーザ定義基盤の前処理を行なうステップと、前記ソースデータをユーザが定義した格納ルールに基づいて分散型データストアに格納するステップと、ユーザが定義したデータ処理ルールに基づいて前記ソースデータまたは前記ソースデータの格納情報を処理して加工データを生成するステップと、前記加工データを前記分散型データストアに分配して格納するためのデータ分配ルールを登録するステップと、及び前記データ分配ルールに基づいて前記加工データを前記分散型データストアに分配して格納するステップと、を有する。
【０００９】
また、本発明の一面によるデータ処理方法は、前記分散型データストアに格納された前記ソースデータまたは前記加工データにユーザ検索がある場合、前記ユーザが定義した格納ルールまたは前記データ分配ルールを参照して、前記ソースデータまたは前記加工データをユーザ端末に転送するステップをさらに有する。
【００１０】
一実施形態として、前記ユーザ定義基盤の前処理を行なうステップは、ユーザインターフェースを介して登録される外部システム連動機能とデータの前処理機能に基づいてデータ収集プロセスを生成するステップを有する。
【００１１】
一実施形態として、前記分散型データストアに格納するステップは、ユーザインターフェースを介して登録されるユーザが定義したソースデータ格納ルールに基づいてソースデータ格納プロセスを生成するステップを有する。
【００１２】
一実施形態として、前記加工データを生成するステップは、ユーザインターフェースを介して登録されたユーザ定義基盤データ処理機能と、前記加工データ格納ルールに基づいて少なくとも一つ以上のソースデータ処理プロセスを生成するステップを有する。
【００１３】
一実施形態として、前記データ分配ルールを登録するステップは、前記分散型データストアがキー・バリュー（ｋｅｙ−ｖａｌｕｅ）分散型データストアである場合、前記加工データを均等に格納できるキー値生成ルールを登録するステップを有する。
【００１４】
本発明の他の実施形態に係るデータ処理方法は、ユーザインターフェースを介して登録される外部システムの連動機能とデータの前処理機能に基づいてデータ収集プロセスを生成するステップと、ユーザインターフェースを介して登録されるユーザが定義したソースデータ格納ルールに基づいてソースデータ格納プロセスを生成するステップと、ユーザインターフェースを介して登録されたユーザ定義基盤のデータ処理機能と、前記加工データ格納ルールに基づいて少なくとも一つ以上のソースデータ処理プロセスを生成するステップと、前記加工データ処理を前記分散型データストアに分配して格納するためのデータ分配ルールを登録し、前記データ分配ルールに基づいて加工データ分配プロセスを生成するステップと、及び前記それぞれのプロセス間の関係設定によってユーザ定義基盤データを処理するための統合プロセスを生成するステップを有する。
【００１５】
一方、本発明の目的を達成するための本発明の他面によるフレームワーク提供装置は、大容量の順次収集データを処理するためのフレームワークを提供するプログラムコード（ｃｏｄｅ）が格納された不揮発性メモリと、前記プログラムコードを行なう少なくとも一つのプロセッサを有する。
【００１６】
ここで、前記フレームワークは、外部のデータ提供装置から収集されたソースデータに対し、ユーザ定義基盤の前処理を行なうデータ収集モジュールと、前記ソースデータをユーザが定義した格納ルールに基づいて、分散型データストアに格納するデータ格納モジュールと、ユーザが定義したデータ処理ルールに基づいて前記ソースデータまたは前記ソースデータの格納情報を処理して加工データを生成するデータ処理モジュールと、前記加工データを前記分散型データストアに分散して格納するためのデータ分配ルールを登録するデータ管理政策モジュールを提供することを特徴とする。
【００１７】
一実施形態として、前記データ収集モジュールは、外部システム連動機能とデータ解析を含むユーザ定義基盤の前処理機能を登録できるユーザインターフェースを提供する。
【００１８】
一実施形態として、前記データ格納モジュールは、ユーザ定義によるソースデータ格納ルールを登録できるユーザインターフェースを提供する。
【００１９】
一実施形態として、前記データ格納モジュールは、前記ソースデータから必要なデータの抽出作業または前記ソースデータへの加工作業が必要な場合、前記データ処理モジュールを登録し、前記データ処理モジュールで、ユーザが定義したデータ処理ルール基づいて前記ソースデータを前記データ処理モジュールに転送したり、前記ソースデータの格納情報を通知する。
【００２０】
一実施形態として、前記データ処理モジュールは、前記ユーザが定義したデータ処理ルールと前記加工データ格納ルールを登録できるユーザインターフェースを提供する。
【００２１】
一実施形態として、前記データ処理モジュールは、ユーザが定義したデータ処理ルールに基づいて前記ソースデータまたは前記ソースデータの格納情報を即時に行なう方式または周期的に行なう方式で処理する。
【００２２】
一実施形態として、前記データ管理政策モジュールは、前記データ分配ルールを登録及び検索するためのユーザインターフェースを提供し、前記分散型データストアがキー・バリュー分散型データストアである場合、前記データ分配ルールは、前記加工データを均等に格納できるキー値生成ルールであることを特徴とする。
【発明の効果】
【００２３】
本発明によると、複数の利害関係者が関与する業務順次に応じて大量に発生して収集される様々な種類のデータに対して、収集、格納、処理、検索、管理機能をユーザの定義に基づいて構成することができ、必要に応じて装置を追加して格納と処理能力を増強させることのできるフレームワークを提供することで、任意で変化したり増加するユーザのニーズとデータに対して、柔軟かつ効率的に対応し、コストを最小限に抑えることができる。特に、時間の経過につれて、データが急増するものと予想される環境では、高い拡張性と可用性を持つフレームワークを提供することによって、大量のデータを効率的に管理し、多数の利害関係者を満たすサービスを提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る大容量の順次収集データを処理するためのフレームワーク提供装置のフレームワークの構成を示す図である。
【図２】本発明の実施形態に係る大容量の順次収集データを処理するためのフレームワーク提供装置を活用したシステムの一例を示す図である。
【図３】本発明の実施形態に係る大容量の順次収集データを処理するためのフレームワーク提供装置を活用したシステムの他の例を示す図である。
【図４】本発明の実施形態に基づいて分散型ストアのデータ格納スペースを拡張する一例を示す図である。
【図５ａ】本発明の実施形態に基づいてキー・バリュー分散型ストアでのユーザ定義基盤データの格納方式を説明するための図である。
【図５ｂ】本発明の実施形態に基づいてキー・バリュー分散型ストアでのユーザ定義基盤データの格納方式を説明するための図である。
【図６ａ】キー・バリュー分散型ストアにデータが分散されて格納された状況を比較して説明するための図である。
【図６ｂ】キー・バリュー分散型ストアにデータが分散されて格納された状況を比較して説明するための図である。
【図７】本発明の実施形態に係るフレームワーク提供装置でのデータ処理方法を示す図である。
【発明の実施のための最良の形態】
【００２５】
本発明の利点及び特徴、そしてそれらを達成する方法は添付される図面と共に詳細に後述されている実施形態を参照すれば明確になるだろう。しかし、本発明は、以下に開示される実施形態に限定されるのではなく、多様な形態で実装されるものであり、単に本実施形態は、本発明の開示が完全になるようにし、本発明の属する技術分野における通常の知識を持つ者に発明の範疇を完全に知らせるために提供されるもので、本発明は、請求項の範疇によって定義されるだけである。なお、本明細書において使用される用語は、実施形態を説明するためのものであって本発明を制限するものではない。本明細書で、単数形は文句で特に言及しない限り、複数形も含む。
【００２６】
以下、本発明の好ましい実施形態を添付された図面を参照して詳細に説明する。まず、各図面の構成要素に参照符号を付加するにおいて、同一の構成要素に対しては、たとえ他の図面上に表示されても、同一の符号を持つことに留意されたい。また、本発明を説明するに当たり、関連した公知の構成または機能に対する具体的な説明が本発明の要旨を曖昧にすると判断される場合には、その詳細な説明は省略する。
【００２７】
本発明に係るフレームワーク提供装置は、大容量の順次収集データを処理するためのフレームワークを提供するプログラムコードが格納された不揮発性メモリと、前記プログラムコードを実行する少なくとも一つのプロセッサを含む。ここで、フレームワークを提供する装置は、外部のデータ提供装置、分散型データストア、ユーザ端末間でのデータの収集、処理及び/または加工、検索などの役割を行なうサーバ装置であり得る。
【００２８】
本発明に係るフレームワーク提供装置において、前記プログラムコードの実行は、一つの「タスク」または「プロセス」単位で処理することができ、前記プログラムコードの実行結果、大容量の順次収集データを処理するためのフレームワークが生成される。図１には本発明の実施形態に係る大容量の順次収集データを処理するためのフレームワーク提供装置から提供されるフレームワークの構成が示されている。
【００２９】
図１を参照すると、本発明の実施形態に係る大容量の業務順次収集データ処理フレームワークは、データ収集モジュール１０１、データ格納モジュール１０２、データ処理モジュール１０４、データ管理政策モジュール１０５、モジュール構成管理者１０６、データサービス提供者１０７を有する。
【００３０】
データ収集モジュール１０１は、様々な種類のデータを提供する外部データ提供システムと連動してデータを収集し、収集されたデータ（以下、ソースデータ）に対して、ユーザ定義基盤の前処理を行なう。前処理過程を経たソースデータはデータ格納モジュール１０２に転送される。
【００３１】
データ収集モジュール１０１は、外部データ提供システム連動機能とデータ解析などの使用者定義基盤の前処理機能を登録できるユーザインターフェースを提供する。
【００３２】
これにより、外部のデータ提供システムとの連動方式が変更されても、ユーザはデータ格納モジュール１０２を変更することなくデータ収集モジュール１０１の外部データ提供システム連動機能のみを変更することによって、外部変更に対応することができる。
【００３３】
データ収集モジュール１０１は、Ｐｕｌｌ方式とＰｕｓｈ方式で動作するが、Ｐｕｌｌ方式は、外部データ提供システムにデータ要求を周期的に行なってデータを収集する方式であり、Ｐｕｓｈ方式は、データ受信待機状態で外部データ提供システムからデータを転送すると、これを収集する方式を言う。
【００３４】
データ格納モジュール１０２は、データ収集モジュール１０１から転送されたデータのソースを分散型ストア１０３に格納する機能と、ユーザ定義に基づいたソースデータ格納ルールを登録できるインターフェースを提供する。ユーザは、データ格納モジュール１０２を利用して、分散型ストア１０３にソースデータを格納し、維持、管理することによって、今後新たなサービスの提供や既存のサービスの変更が必要な状況においてもスムーズに対応することができ、データ処理結果のエラー検証にも活用することができる。また、ユーザは、データ格納モジュール１０２に転送されたソースデータから必要なデータの抽出作業、またはソースデータの加工作業が必要な場合、データ格納モジュール１０２にデータ処理モジュール１０４を登録することができる。データ格納モジュール１０２は、自身に登録されたデータ処理モジュール１０４が存在する場合、そのデータ処理モジュール１０４のデータ処理方式に応じて、該当ソースデータを即時転送したり、分散型ストア１０３に格納されたソースデータの格納情報（データ提供者、データ発生時刻、データ格納経路など）を通知する。
【００３５】
一方、分散型ストア１０３は、データ格納モジュール１０２から格納要求を受けたソースデータとデータ処理モジュール１０４によって発生された加工データを格納し管理する機能を提供する。分散型ストア１０３は、データを格納できる複数の情報機器を直接またはネットワークに接続して構成し、必要に応じて装置を単に追加するだけで、データ格納スペースと処理能力を向上させることができる。
【００３６】
図４は、本発明で述べたフレームワークを構成する分散型ストア４０１のデータ格納スペースが不足した状況で、格納スペースを拡張するステップに関するものである。図４ａは、複数の分散ノード（４０２−１、４０２−２・・・、４０２−ｎ）で構成された分散型ストア４０１を構築した環境を示している。図４ｂは、データ量が急増する状況において、新しい分散ノード（４０２−ｎ＋１）を分散型ストア４０１に追加することによって、データ格納スペースを拡張した実施形態を示す。
【００３７】
図１に示されたデータ処理モジュール１０４は、データ格納モジュール１０２から転送または通知されたデータを、ユーザが定義したデータ処理ルールに基づいて処理し、その処理結果として生成された加工データを分散型ストア１０３に格納する機能を提供する。
【００３８】
データ処理モジュール１０４は、ユーザ定義基盤データ処理機能と加工データ格納ルールを登録できるユーザインターフェースを提供する。データ処理モジュール１０４に登録されたユーザ定義基盤データ処理ルールは、ユーザの設定に応じて、周期的に行う方式と即時に行う方式で動作することができる。
【００３９】
ここで、周期的に行う方式は、一定の時間間隔でユーザ定義基盤データ処理機能を行い、即時に行う方式は、データを転送または通知されてから即時にユーザ定義基盤データ処理機能を行なう。
【００４０】
データ処理モジュール１０４は、ユーザ定義基盤データ処理機能を行なった結果、生成された加工データを分散型ストア１０３に格納するに当たり、分散型ストア１０３の特定領域にデータが集中して格納されることを防止するために、データ管理政策モジュール１０５から提供する加工データ分配ルール情報を利用して加工データを格納する。以下、データ管理政策モジュール１０５について詳細に説明する。
【００４１】
データ管理政策モジュール１０５は、データ処理モジュール１０４から発生された加工データが分散型ストア１０３の特定の領域に偏って格納されることによって、分散型ストア１０３の性能が低下することを防止するために、加工データを分散型ストア１０３の全領域に均等に格納するためのデータ分配ルールを登録し検索できるユーザインターフェースを提供する。分散型ストア１０３の実施形態のうちＫｅｙ−Ｖａｌｕｅ分散型ストアの場合、データのｋｅｙ値によってデータの配分が行われるので、ユーザは、データを均等に格納できるｋｅｙ値生成ルールをデータ管理政策モジュール１０５に登録することによって、分散型ストア１０３の性能低下を防止することができる。
【００４２】
以下、図５を参照して、Ｋｅｙ−Ｖａｌｕｅ分散型ストアでｋｅｙ値生成ルールに基づいてデータを格納する方式の一例を見てみる。図５は、本発明の実施形態によってキー・バリュー分散型ストアでユーザ定義基盤データの格納方式を説明するための図である。
【００４３】
図５ａのテーブル５０１は、流通イベントのｋｅｙ値を、発生時刻、流通イベントＩＤの順で構成した一例であって、最近発生した流通イベントがテーブルの端部分に格納される。図５ｂのテーブル５０２は流通イベントのｋｅｙ値を流通イベントＩＤ、発生時刻の順で構成した一例であって、流通イベントが流通イベントＩＤ単位で群集されて格納される。
【００４４】
図６は、図５ａのテーブル５０１と図５ｂのテーブル５０２の一例によって、流通イベントデータがＫｅｙ−Ｖａｌｕｅ分散型ストア６０１内に分配されて格納された状況を比較したもので、Ｋｅｙ−Ｖａｌｕｅ分散型ストア６０１は複数の分散ノード６０２で構成され、大量の流通イベントデータは複数の分散ノード６０２のデータ格納領域６０３に分配されて格納される。
【００４５】
図６ａの場合、最近発生した流通イベントデータが特定のデータ領域６０３に偏って格納されることによって、特定の分散ノード６０２に流通イベント格納作業への負荷が集中されてＫｅｙ−Ｖａｌｕｅ分散型ストア６０１の全体的な性能が低下する反面、図６ｂの場合には、最近発生した流通イベントデータが、複数の分散ノード６０２に分配されて格納されることによって流通イベント格納作業への負荷を分散させることができる。
【００４６】
一方、図１に示されたモジュール構成管理者１０６は、データ収集モジュール１０１、データストアモジュール１０２、データ処理モジュール１０４、データ管理政策モジュール１０５間の関係設定によって、ユーザ定義基盤データ処理ステップを設定、生成、検索、管理できる機能を提供する。
【００４７】
データサービス提供者１０７は、モジュール構成管理者１０６によって生成されたユーザ定義基盤データの処理ステップを行なった結果であって、分散型ストア１０３に格納されたデータを利用したデータサービスを提供する。
【００４８】
例えば、データサービス提供者１０７は、データサービスを提供するに当たり、必要なデータの効率的検索のためにデータ管理政策モジュール１０５に登録されたデータ分配ルール情報を活用してデータサービスを提供する。
【００４９】
以下、図２を参照して本発明の実施形態に係る大容量の順次収集データを処理するためのフレームワーク提供装置を活用したシステムの一例を見てみる。
【００５０】
図２は、本発明で説明したフレームワーク提供装置を活用したシステムの一例を示す概念図であり、センサネットワーク２５１から発生されるセンサデータを活用したセンサ情報検索サービスと、物流／流通ネットワーク２５２から発生される流通イベントデータを活用した流通情報検索サービスに関するものである。
【００５１】
まず、図１に示されたフレームワークを利用してセンサ情報検索サービスを提供しようとするユーザは、センサデータ処理プロセス２１０とセンサ情報検索サービス２２０を生成することができる。
【００５２】
ユーザは、フレームワークを利用してセンサデータ収集モジュール２１１、センサデータ格納モジュール２１２、センサデータ加工モジュール２１３、時系列パターン抽出モジュール２１４、センサデータ管理政策モジュール２１５、時系列パターン管理政策モジュール２１６を生成し、図１のモジュール構成管理１０６を利用して生成されたモジュール間の関係を設定して、センサデータ処理プロセス２１０を構成することができる。
【００５３】
一方、図２における「モジュール」は、図１のフレームワークを介してユーザが生成した中間プログラムまたは中間プロセスとして一つに一括して特定の機能を行なう他のプログラムとしても再利用できる形となっていることを意味する。このような複数の「モジュール」集合への関係設定によって、センサデータ処理プロセスまたは流通イベント処理プロセスのような最終プロセスが生成される。
【００５４】
さらに図２に戻って、ユーザは、図１のデータ収集モジュール１０１から提供される外部データ提供システム連動機能とデータ前処理機能を登録できるユーザインターフェースを利用して、センサネットワーク連動機能とセンサデータ前処理機能を登録することによって、センサデータ収集モジュール２１１を生成することができる。
【００５５】
また、ユーザは、図１のデータ格納モジュール１０２から提供されるソースデータ格納ルール登録ユーザインターフェースを利用して、センサデータ格納ルールを登録することによって、センサデータ格納モジュール２１２を生成することができる。
【００５６】
また、ユーザは、図１のデータ処理モジュール１０４から提供されるユーザ定義基盤データ処理機能と加工データ格納ルールを登録できるユーザインターフェースを利用して、センサデータ加工機能とセンサデータ格納ルールを登録することによって、センサデータ加工モジュール２１３を生成し、時系列パターン抽出機能と、時系列パターン格納ルールを登録することによって、時系列パターン抽出モジュール２１４を生成することができる。
【００５７】
また、ユーザは、センサデータ加工機能の場合、センサネットワークから収集されたセンサデータに対し即時処理が必要なため、センサデータ加工モジュール２１３を即時に行う方式に設定し、時系列パターン抽出機能の場合、一定時間収集されセンサデータに対する処理が要求される作業であるため、時系列パターン抽出モジュール２１４を周期的に行う方式に設定することができる。
【００５８】
また、ユーザは、図１のデータ管理政策モジュール１０５から提供されるデータ分配ルール登録ユーザインターフェースを利用して、センサデータ分配ルールを登録することによって、センサデータ管理政策モジュール２１５を生成し、時系列パターンデータ分配ルールを登録することによって、時系列パターン管理政策モジュール２１６を生成することができる。
【００５９】
また、ユーザは、図１のデータサービス提供者１０７から提供されるデータ管理政策モジュール１０５と分散型ストア１０３アクセス機能を利用して、センサデータ統計検索サービス２２１と、時系列パターン検索サービス２２２を生成することができる。
【００６０】
センサデータ統計検索サービス２２１は、センサデータ統計検索要求に対してセンサデータ管理政策モジュール２１５に登録されたセンサデータ分配ルール情報を利用して、該当検索条件を満たすセンサデータの格納領域を判別し、その領域内のセンサデータに対する統計処理によってセンサ統計検索要求を効率的に処理することができる。
【００６１】
時系列パターン検索サービス２２２は、時系列パターン検索要求に対して、時系列パターン管理政策モジュール２１６に登録された時系列パターンデータ分配ルール情報を利用して、該当検索条件を満たす時系列パターン格納領域を判別し、時系列パターン検索要求を効率的に処理することができる。
【００６２】
また、ユーザは、今後、新しい種類のセンサデータの収集が必要な場合、センサデータ収集モジュール２１１のセンサデータ前処理機能と、センサデータ格納モジュール２１２のセンサデータ格納ルールの変更によって、センサデータ処理プロセス２１０を変更及び拡張することができ、センサデータを活用した新しい情報検索サービスが必要な場合は、該当サービスのためのデータ処理モジュール、データ管理政策、データサービス提供者をフレームワーク内に追加することによって、センサ情報検索サービス２２０を拡張することができる。
【００６３】
一方で、図１に示されたフレームワークを利用して流通情報検索サービスを提供しようとするユーザは、流通イベント処理プロセス２３０と流通情報検索サービス２４０を生成することができる。
【００６４】
ユーザは、流通イベント収集モジュール２３１、流通イベント格納モジュール２３２、流通イベント加工モジュール２３３、流通履歴抽出モジュール２３４、流通イベント管理政策モジュール２３５、流通履歴管理政策モジュール２３６を生成し、図１のモジュール構成管理者１０６を利用して生成されたモジュールの関係を設定して流通イベント処理プロセスを構成する。
【００６５】
ユーザは、図１のデータ収集モジュール１０１ から提供される外部システム連動機能とデータ前処理機能登録インターフェースを利用して、物流／流通ネットワークから流通イベントを収集するためのＨＴＴＰサーバ機能とＸＭＬ形式の流通イベントメッセージに対する前処理機能を登録することによって、流通イベント収集モジュール２３１を生成することができる。
【００６６】
また、ユーザは、図１のデータ格納モジュール１０２から提供されるソースデータ格納ルール登録インターフェースを利用して、流通イベント格納ルールを登録することによって、流通イベント格納モジュール２３２を生成することができる。
【００６７】
また、ユーザは、図１のデータ処理モジュール１０４から提供されるユーザ定義基盤データ処理機能と加工データ格納ルール登録インターフェースを利用して、流通イベント加工機能と流通イベント格納ルールを登録することによって、流通イベント加工モジュール２３３、流通履歴抽出機能と流通履歴格納ルールを登録することにより、流通履歴抽出モジュール２３４を生成することができる。また、ユーザは、流通イベント処理機能と流通履歴抽出機能が、リアルタイムでの処理が要求されるため、流通イベント加工モジュール２３３と流通履歴抽出モジュール２３４のデータ処理方式を即時に行う方式に設定する。
【００６８】
また、ユーザは、図１のデータ管理政策モジュール１０５から提供されるデータ分配ルール登録インターフェースを利用して、流通イベント分配ルールを登録することによって流通イベント管理政策モジュール２３５、流通履歴分配ルールを登録することにより流通履歴管理政策モジュール２３６を生成することができる。
【００６９】
また、ユーザは、図１のデータサービス提供者１０７から提供されるデータ管理政策モジュール１０５と分散型ストア１０３アクセス機能を利用して流通イベント検索サービス２４１と流通履歴検索サービス２４２を生成することができる。流通イベント検索サービス２４１は流通イベント検索要求に対して流通イベント管理政策モジュール２３５に登録された流通イベント分配ルール情報を利用して、該当条件を満たす流通イベントの格納領域を判別し、該当領域での流通イベント検索によって流通イベント検索要求を効率的に処理することができる。流通履歴検索サービス２４２は、特定商品への流通履歴検索要求に対し流通履歴管理政策モジュール２３６に登録された流通履歴分配ルール情報を利用して、該当商品の履歴データが格納された領域を判別し、流通履歴検索要求に対して迅速に応答することができる。
【００７０】
また、ユーザは、今後、各物流倉庫に保管中の商品への在庫情報検索サービスが必要な場合は、該当サービスのためのデータ処理モジュール、データ管理政策モジュール、データサービス提供者を生成し、既存の流通イベント格納モジュール２３２から流通イベントが転送されることによって在庫情報検索サービスを提供する。
【００７１】
一方、本発明に係るフレームワーク提供装置は、フレームワークを利用して様々な分野でデータを効率的に処理できる方法を提供することができる。
【００７２】
図３には本発明で説明したフレームワークを利用して物流／流通ネットワーク３０２で商品の流通過程で発生する流通イベントデータを収集、処理、検索機能を提供する物流／流通データ共有システム３０１の様々な実施形態が示される。
【００７３】
物流／流通データ共有システム３０１は、商品の製造から販売までの流通の全過程で発生する流通イベントを多数の物流／流通の参加者が共有できる環境を提供することによって、様々な種類のアプリケーションシステムを構築することができる。図３の医薬品流通履歴追跡システム３０３は、物流／流通データ共有システム３０１から医薬品に対する流通イベントが提供され、医薬品の流通状況をリアルタイムでモニタリングすることにより、違法医薬品が流通される事故を未然に防止することができる。図３の在庫管理システム３０４は、物流／流通データ共有システム３０１から各物流／流通拠点で商品の入出庫数量が提供され、各商品の在庫状況を把握することによって、在庫切れまたは過剰問題が発生する前に在庫管理計画を策定することができる。図３の有効期限管理システム３０５は、物流／流通データ共有システム３０１から食品に対する流通イベントが提供され、有効期限が切れた食品が流通されて消費者の健康を害する問題を防ぐことができる。図３の違法取引追跡システム３０６は、物流／流通データ共有システム３０１から商品の取引データが提供され、商品に対する不正取引状況を追跡することができる。
【００７４】
以下、図７を参照して本発明の実施形態に係るフレームワーク提供装置で行なわれるデータ処理方法について詳細に説明する。データの処理は、ユーザ定義によって生成された中間プロセスによりそれぞれ行われ、フレームワークは中間プロセスを生成できるようにするユーザインターフェースをユーザに提供する。
【００７５】
具体的に説明すると、本発明の実施形態に係るフレームワーク提供装置は、ユーザインターフェースを介して登録される外部システム連動機能とデータ前処理機能に基づいて、データ収集プロセスを生成し、ユーザインターフェースを介して登録されたユーザが定義したソースデータ格納ルールに基づいて、ソースデータ格納プロセスを生成する。
【００７６】
また、フレームワーク提供装置は、ユーザインタフェースを介して登録されたユーザ定義基盤データ処理機能と前記加工データ格納ルールに基づいて、少なくとも一つ以上のソースデータ処理プロセスを生成し、前記加工データを、前記分散型データストアに分配して格納するためのデータ分配ルールを登録し、前記データ分配ルールに基づいて加工データ分配プロセスを生成する。
【００７７】
最後に、フレームワーク提供装置は、前記それぞれのプロセス間の関係設定によって、ユーザ定義基盤データを処理するための統合プロセスを生成してデータを処理する。
【００７８】
図７を参照すると、まず、データ収集モジュール１０１は、様々な種類のデータを提供する外部データ提供システムと連動してデータを収集し、収集されたデータ（以下、ソースデータ）に対して、ユーザ定義基盤の前処理を行なう。前処理過程を経たソースデータは、データ格納モジュール１０２に転送される（Ｓ１０）。
【００７９】
そして、データ格納モジュール１０２は、データ収集モジュール１０１から転送されたデータのソースを分散型ストア１０３に格納する（Ｓ２０）。この時、データ格納モジュール１０２は、ユーザ定義によるソースデータ格納ルールに基づいて、ソースデータを格納し、維持、管理することによって、今後新たなサービスの提供や既存のサービスの変更が必要な状況においてもスムーズに対応することができ、データ処理結果のエラー検証にも活用することができる。
【００８０】
以下、データ処理モジュール１０４は、データ格納モジュール１０２から転送または通知されたデータを、ユーザが定義したデータ処理ルールに基づいて処理し、その処理結果として生成された加工データを分散型ストア１０３に格納する機能を提供する（Ｓ３０）。
【００８１】
一方、データ管理政策モジュール１０５は、データ処理モジュール１０４から発生された加工データが分散型ストア１０３の特定領域に偏って格納されることによって、分散型ストア１０３の性能が低下する問題を防止するために、加工データを分散型ストア１０３の全領域に均等に格納するためのデータ分配ルールを登録して検索できるユーザインタフェースを提供する（Ｓ４０）。ユーザインターフェースを介して加工データを分散格納するためのデータ分配ルールが登録されると、データ処理モジュール１０４は、前記データ分配ルールに基づいて加工データを分散型ストア１０３に分配して格納する（Ｓ５０）。
【００８２】
以降、データサービス提供者１０７から前記分散型ストア１０３に格納されたソースデータまたは加工データに対する検索要求がある場合、データサービス提供者１０７は、データサービスを提供するに当たり必要なデータの効率的な検索のためにデータ管理政策モジュール１０５に登録されたデータ分配ルール情報を活用してデータサービスをユーザに提供する（Ｓ６０）。
【００８３】
一方、前述した本発明に係るフレームワーク提供装置でのデータ処理方法は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして実装されるのが可能になる。コンピュータが読み取り可能な記録媒体としては、コンピュータシステムによって解読できるデータが格納された全ての種類の記録媒体を含む。例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気テープ、磁気ディスク、フラッシュメモリ、光データ記憶装置などがある。また、コンピュータで読み取り可能な記録媒体は、コンピュータネットワークに接続されたコンピュータシステムに分散され、分散方式で読み取り可能なコードとして格納され、行なわれる。
【００８４】
本発明の属する技術分野において通常の知識を持つ者は、本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形で実施できるということが分かる。従って、上述した実施形態は全ての面で例示的なものであって限定的なものではないものと理解しなければならない。本発明の保護範囲は、上記の詳細な説明よりは、後述する特許請求の範囲によって示され、特許請求の範囲及びその均等概念から導き出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈しなければならない。
【図１】
2015106406.tif 000003
【図２】
2015106406.tif 000004
【図３】
2015106406.tif 000005
【図４】
2015106406.tif 000006
【図５】
2015106406.tif 000007
【図６】
2015106406.tif 000008
【図７】
2015106406.tif 000009