(57)【要約】データ処理方法が、本発明において開示される。処理対象データが現在のシステム時間ウィンドウにおいて受信されるときに、処理対象データに対応するシステム時間ウィンドウが、処理対象データのデータ時間に基づいて判断される。データ時間が、現在のシステム時間ウィンドウの範囲内にある場合、同期時間ポイントよりも早いシステム受信時間を有する処理対象データは、記憶され、同期時間ポイントよりも遅いシステム受信時間を有する処理対象データは、即時処理される。データ時間が、前のシステム時間ウィンドウの範囲内にある場合、終了時間ポイントよりも早いシステム受信時間を有する処理対象データは、即時処理され、終了時間ポイントよりも遅いシステム受信時間を有する処理対象データは、破棄される。
2019501458.tif 000002
【特許請求の範囲】
【請求項１】
データ統計システムに適用されるデータ処理方法であって、前記データ統計システムの各システム時間ウィンドウが、終了時間ポイント及び同期時間ポイントで予め構成され、前記終了時間ポイントが、前記同期時間ポイントよりも早く、かつ前記各システム時間ウィンドウの開始時間ポイントよりも遅く、前記方法が、
処理対象データが現在のシステム時間ウィンドウにおいて受信されるときに、前記処理対象データに対応するシステム時間ウィンドウを前記処理対象データのデータ時間に基づいて判断することと、
それぞれのデータ時間が、前記現在のシステム時間ウィンドウの範囲内にある場合に、前記同期時間ポイントよりも早いシステム受信時間を有する処理対象データの１つを記憶すること、及び前記同期時間ポイントよりも遅いシステム受信時間を有する処理対象データの１つを即時処理することと、
それぞれのデータ時間が、前のシステム時間ウィンドウの範囲内にある場合に、前記終了時間ポイントよりも早いシステム受信時間を有する処理対象データの１つを即時処理すること、及び前記終了時間ポイントよりも遅いシステム受信時間を有する処理対象データの１つを破棄することと、を含む、前記方法。
【請求項２】
前記処理対象データに対応する前記システム時間ウィンドウを前記処理対象データの前記データ時間に基づいて判断することが、
データ時間ウィンドウにおいて、前記処理対象データのタイムスタンプに基づいて前記処理対象データの前記データ時間を取得することと、
前記データ時間が前記現在のシステム時間ウィンドウの開始時間ポイントよりも遅いかどうかを判断することと、
肯定の場合に、前記処理対象データが、前記現在のシステム時間ウィンドウの前記範囲内に入ると判断することと、
否定の場合に、前記処理対象データが、前記前のシステム時間ウィンドウの前記範囲内に入ると判断することと、を含む、請求項１に記載の方法。
【請求項３】
前記データ統計システムのシステム時間が、前記終了時間ポイントに到達するときに、それぞれのデータ時間が前記前のシステム時間ウィンドウの前記範囲内に入る前記処理対象データの処理結果を出力すること、及び前記前のシステム時間ウィンドウに対応するデータ時間ウィンドウを終了することをさらに含む、請求項１に記載の方法。
【請求項４】
前記データ統計システムのシステム時間が、前記同期時間ポイントに到達するときに、前記同期時間ポイントの前に記憶され、データ時間が前記現在のシステム時間ウィンドウの前記範囲内にある、処理対象データを処理すること、及び処理結果を出力することをさらに含む、請求項１に記載の方法。
【請求項５】
前記終了時間ポイントが、前記システム時間と前記データ時間との間の時間差に基づいて設定され、前記同期時間ポイントが、前記時間ウィンドウを終了するのに消費される時間、及び前記データ統計システム内の前記デバイスの時間クロック間の差に基づいて設定される、請求項１〜４のうちのいずれか１項に記載の方法。
【請求項６】
データ統計システムにおいて使用されるデータ処理装置であって、前記データ統計システムの各システム時間ウィンドウが、終了時間ポイント及び同期時間ポイントで予め構成され、前記終了時間ポイントが、前記同期時間ポイントよりも早く、かつ前記各システム時間ウィンドウの開始時間ポイントよりも遅く、前記装置が、
処理対象データが現在のシステム時間ウィンドウにおいて受信されるときに、前記処理対象データに対応するシステム時間ウィンドウを前記処理対象データのデータ時間に基づいて判断するために使用される、判断と、
前記データ時間が、前記現在のシステム時間ウィンドウの範囲内にある場合に、前記同期時間ポイントよりも早いシステム受信時間を有する処理対象データを記憶し、前記同期時間ポイントよりも遅いシステム受信時間を有する処理対象データを即時処理するために使用される、第１の処理モジュールと、
前記データ時間が、前のシステム時間ウィンドウの範囲内にある場合に、前記終了時間ポイントよりも早いシステム受信時間を有する処理対象データを即時処理し、前記終了時間ポイントよりも遅いシステム受信時間を有する処理対象データを破棄するために使用される、第２の処理モジュールと、を備える、前記装置。
【請求項７】
前記判断モジュールが、
データ時間ウィンドウにおいて、前記処理対象データのタイムスタンプに基づいて前記処理対象データの前記データ時間を取得し、
前記データ時間が前記現在のシステム時間ウィンドウの開始時間ポイントよりも遅いかどうかを判断し、
肯定の場合に、前記処理対象データが、前記現在のシステム時間ウィンドウの前記範囲内に入ると判断し、
否定の場合に、前記処理対象データが、前記前のシステム時間ウィンドウの前記範囲内に入ると判断するために使用される、請求項６に記載の装置。
【請求項８】
前記データ統計システムのシステム時間が、前記終了時間ポイントに到達するときに、それぞれのデータ時間が前記前のシステム時間ウィンドウの前記範囲内に入る前記処理対象データの処理結果を出力し、前記前のシステム時間ウィンドウに対応するデータ時間ウィンドウを終了するために使用される、第１の出力モジュールをさらに備える、請求項６に記載の装置。
【請求項９】
前記データ統計システムのシステム時間が、前記同期時間ポイントに到達するときに、前記同期時間ポイントの前に記憶され、データ時間が前記現在のシステム時間ウィンドウの前記範囲内にある、処理対象データを処理し、処理結果を出力するために使用される、第２の出力モジュールをさらに備える、請求項６に記載の装置。
【請求項１０】
前記終了時間ポイントが、前記システム時間と前記データ時間との間の時間差に基づいて設定され、前記同期時間ポイントが、前記時間ウィンドウを終了するのに消費される時間、及び前記データ統計システム内の前記デバイスの時間クロック間の差に基づいて設定される、請求項６〜９のうちのいずれか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信の技術分野に関し、特に、データ処理方法及び装置に関する。
【背景技術】
【０００２】
新たなデータ処理方法として、ストリームコンピューティングは、動的に生成されるデータについてのリアルタイム計算を実行し、時間内に結果を返すことが可能である。現在、ストリームコンピューティングは、金融銀行取引のアプリケーション、インターネットのアプリケーション、及びモノのインターネットのアプリケーションなどの分野において広く使用されるようになってきており、主に、定義された時間間隔内にデータに対して統計を行うため、即ち、予め定義された時間ウィンドウにおいてデータに対して統計を行うために使用される。
【０００３】
既存技術では、ストリームコンピューティングは、２種類の時間ウィンドウ、「システム時間ウィンドウ」及び「データ時間ウィンドウ」を有し、それぞれの特徴及び欠点は、以下の通りである。
【０００４】
（１）システム時間ウィンドウ
システム時間ウィンドウでは、データ生成側のデータに対し、システム時間に基づいて統計が実行される。データの統計時間は、まず、予め定義された時間間隔に基づいて複数のシステム時間ウィンドウに分割され、次いで、システム時間ウィンドウの統計結果が出力される。処理が、システム時間ウィンドウに従ってデータに対し実行されるだけであるとしても、生成側から統計側まで、データについてある一定のレイテンシが存在する。システム時間ウィンドウ内に処理されるデータは、通常、実際のプロセスにおいて予め定義された時間間隔内に生成側によって生成されるデータと同一ではなく、したがって、ストリームコンピューティングの結果に影響を与える。
【０００５】
（２）データ時間ウィンドウ
データ時間ウィンドウでは、データ生成側のデータに対し、データ時間に基づいて統計が実行される。実際の統計プロセスでは、データ生成側のデバイスの時間クロックの完全同期の失敗、及びデータ収集及び送信プロセスの速度の影響に起因して、統計側がデータを受信するデータ時間が、データ時間の順序に厳密に従わない場合がある。それによって、データの順序混乱の問題が、データ時間ウィンドウに基づく統計結果において発生することがある。実際の統計プロセスでは、現在のデータ時間ウィンドウの境界にあるいくつかのデータが、別のデータ時間ウィンドウ内に渡る状況が、非常に容易に発生し、これにより、ストリームコンピューティングの結果に影響を与える。
【０００６】
一旦データの順序混乱の状況が発生すると、現在の時間ウィンドウのデータ全てが統計側に到達されることが保証される場合にのみ、ストリームコンピューティングの正確性が、保証され得る。したがって、既存の実際の統計プロセスでは、統計側によって受信されるデータのデータ時間が、データ時間ウィンドウを超え、予め定義された値に到達するとき、または統計側によって受信される次のデータ時間ウィンドウが、予め定義された値に到達するときにのみ、現在のデータ時間ウィンドウが、終了される。
【０００７】
本出願を実施するプロセスにおいて、発明者は、既存技術に存在する以下の問題に留意する。
【０００８】
（１）ストリームコンピューティングのデータは、通常不安定である。統計項目のデータ量が比較的小さく、次のデータ時間ウィンドウのデータが、依然として統計側に到達しておらず、現在のデータ時間ウィンドウの統計結果が時間内に出力されないとき、データ統計における遅延が生じ、よって、ストリームコンピューティングの結果が影響を受ける。
【０００９】
（２）同一レベルにあるストリームコンピューティングのコンピューティングユニットは、概して多数であり、並行である。同一レベルのコンピューティングユニットの統計結果が、順番に出力される必要があるとき、異なるコンピューティングユニットのデータのデータ時間が同期されない状況が発生し、ストリームコンピューティングの結果に影響を及ぼす。
【００１０】
このように、既存技術が、ストリームコンピューティングについてリアルタイムでデータ統計を行うとき、データ統計が完全であることが保証されつつ、統計データが時間内に出力されることができず、統計データは、同時に、グローバル同期されることができない。したがって、データ処理結果の正確性に影響を与える。
【発明の概要】
【００１１】
本発明は、データ統計システムの各システム時間ウィンドウについて終了時間ポイント及び同期時間ポイントを予め設定することによって、統計データの完全性及び統計データのリアルタイム処理を同時に確実にすることができない問題を解決するためのデータ処理方法を提供する。
【００１２】
方法は、データ統計システムに適用される。データ統計システムの各システム時間ウィンドウが、終了時間ポイント及び同期時間ポイントで予め構成される。終了時間ポイントは、同期時間ポイントよりも早く、かつ各システム時間ウィンドウの開始時間ポイントよりも遅い。方法は、処理対象データが現在のシステム時間ウィンドウにおいて受信されるときに、処理対象データに対応するシステム時間ウィンドウを処理対象データのデータ時間に基づいて判断することと、データ時間が、現在のシステム時間ウィンドウの範囲内にある場合に、同期時間ポイントよりも早いシステム受信時間を有する処理対象データを記憶すること、及び同期時間ポイントよりも遅いシステム受信時間を有する処理対象データを即時処理することと、データ時間が、前のシステム時間ウィンドウの範囲内にある場合に、終了時間ポイントよりも早いシステム受信時間を有する処理対象データを即時処理すること、及び終了時間ポイントよりも遅いシステム受信時間を有する処理対象データを破棄することと、を含む。
【００１３】
好ましくは、処理対象データに対応するシステム時間ウィンドウを処理対象データのデータ時間に基づいて判断することが、データ時間ウィンドウにおいて、処理対象データのタイムスタンプに基づいて処理対象データのデータ時間を取得することと、データ時間が現在のシステム時間ウィンドウの開始時間ポイントよりも遅いかどうかを判断することと、肯定の場合に、処理対象データが、現在のシステム時間ウィンドウの範囲内に入ると判断することと、否定の場合に、処理対象データが、前のシステム時間ウィンドウの範囲内に入ると判断することと、を含む。
【００１４】
好ましくは、方法は、データ統計システムのシステム時間が、終了時間ポイントに到達するときに、それぞれのデータ時間が前のシステム時間ウィンドウの範囲内に入る処理対象データの処理結果を出力すること、及び前のシステム時間ウィンドウに対応するデータ時間ウィンドウを終了することを、さらに含む。
【００１５】
好ましくは、方法は、データ統計システムのシステム時間が、同期時間ポイントに到達するときに、同期時間ポイントの前に記憶され、そのデータ時間が現在のシステム時間ウィンドウの範囲内にある、処理対象データを処理すること、及びその処理結果を出力することを、さらに含む。
【００１６】
好ましくは、終了時間ポイントが、システム時間とデータ時間との間の時間差に基づいて設定され、同期時間ポイントが、時間ウィンドウを終了するのに消費される時間、及びデータ統計システム内のデバイスの時間クロック間の差に基づいて設定される。
【００１７】
これに対応して、本出願は、データ処理装置をさらに提供する。装置は、データ統計システムにおいて使用される。データ統計システムの各システム時間ウィンドウが、終了時間ポイント及び同期時間ポイントで予め構成される。終了時間ポイントは、同期時間ポイントよりも早く、かつ各システム時間ウィンドウの開始時間ポイントよりも遅い。装置は、処理対象データが現在のシステム時間ウィンドウにおいて受信されるときに、処理対象データに対応するシステム時間ウィンドウを処理対象データのデータ時間に基づいて判断するために使用される、判断と、データ時間が、現在のシステム時間ウィンドウの範囲内にある場合に、同期時間ポイントよりも早いシステム受信時間を有する処理対象データを記憶し、同期時間ポイントよりも遅いシステム受信時間を有する処理対象データを即時処理するために使用される、第１の処理モジュールと、データ時間が、前のシステム時間ウィンドウの範囲内にある場合に、終了時間ポイントよりも早いシステム受信時間を有する処理対象データを即時処理し、終了時間ポイントよりも遅いシステム受信時間を有する処理対象データを破棄するために使用される、第２の処理モジュールと、を含む。
【００１８】
好ましくは、判断モジュールは、データ時間ウィンドウにおいて、処理対象データのタイムスタンプに基づいて処理対象データのデータ時間を取得し、データ時間が現在のシステム時間ウィンドウの開始時間ポイントよりも遅いかどうかを判断し、肯定の場合に、処理対象データが、現在のシステム時間ウィンドウの範囲内に入ると判断し、否定の場合に、処理対象データが、前のシステム時間ウィンドウの範囲内に入ると判断するために使用される。
【００１９】
好ましくは、装置は、データ統計システムのシステム時間が、終了時間ポイントに到達するときに、それぞれのデータ時間が前のシステム時間ウィンドウの範囲内に入る処理対象データの処理結果を出力し、前のシステム時間ウィンドウに対応するデータ時間ウィンドウを終了するために使用される、第１の出力モジュールをさらに含む。
【００２０】
好ましくは、装置は、データ統計システムのシステム時間が、同期時間ポイントに到達するときに、同期時間ポイントの前に記憶され、そのデータ時間が現在のシステム時間ウィンドウの範囲内にある、処理対象データを処理し、その処理結果を出力するために使用される、第２の出力モジュールをさらに含む。
【００２１】
好ましくは、終了時間ポイントが、システム時間とデータ時間との間の時間差に基づいて設定され、同期時間ポイントが、時間ウィンドウを終了するのに消費される時間、及びデータ統計システム内のデバイスの時間クロック間の差に基づいて設定される。
【００２２】
このように、本出願の技術的解決法を用いることによって、計算結果を完全にリアルタイムで出力する必要があるストリームコンピューティングのプロセスにおいて、統計データは、データ統計システムの各システム時間ウィンドウについて終了時間ポイント及び同期時間ポイントを予め設定することにより、グローバルに同期される。これによって、その完全性を確保しつつ、リアルタイムでデータ統計を行うことを確実にすることができ、よって、データ処理結果の正確性及び適時性が向上する。
【図面の簡単な説明】
【００２３】
【図１】本出願によって提供されるデータ処理方法のフローチャートである。
【図２】本出願の特定の実施形態によって提供されるデータ処理方法のフローチャートである。
【図３】本出願によって提供されるデータ処理装置の概略図である。
【発明を実施するための形態】
【００２４】
既存技術における問題の観点から、本出願は、データ処理方法を提供する。データ処理方法は、様々なシステム時間ウィンドウの終了時間ポイント及び同期時間ポイントを予め設定し、終了時間ポイント及び同期時間ポイントをノードとして使用することによって、区分的方式で処理対象データの処理及び出力を実行し、それによって、データ処理結果の正確性及び適時性を効果的に向上させる。
【００２５】
終了時間ポイントは、前のシステム時間ウィンドウに対応するデータ時間ウィンドウを終了する時間であり、現在のシステム時間ウィンドウに対応するデータ時間ウィンドウの同期の開始時間としても機能している。同期時間ポイントは、現在の時間ウィンドウに対応するデータ時間ウィンドウの同期の終了時間である。したがって、終了時間ポイント及び同期時間ポイントは、ノードとして使用され、システム時間ウィンドウを異なる処理及び出力段階に区画する。それによって、処理結果出力の適時性を考慮しつつ、データ処理の完全性を確実にすることができる。
【００２６】
本出願の好適な実施形態では、終了時間ポイントは、システム時間とデータ時間との間の時間差に基づいて設定される。同期時間ポイントは、時間ウィンドウを終了するのに消費される時間、及びデータ統計システム内のデバイスの時間クロック間の差に基づいて設定される。
【００２７】
例えば、データ統計システムは、０〜１分のシステム時間ウィンドウ以内に、対応するデバイスによって生成される全てのデータを処理する必要があり、それは、データ時間ウィンドウのタイムスタンプを１０：０４として有する全てのデータに対応すると仮定される。実際の統計プロセスにおいて、タイムスタンプが１０：０４のデータの最後の部分が、１〜２分のシステム時間ウィンドウの１分１０秒に到着し得る場合に、０〜１分のシステム時間ウィンドウに対応する全ての処理対象データが、データ統計システムに完全に到着し得ることを確実にするために、１分１１秒が、終了時間ポイントであるように設定される。０〜１分のシステム時間ウィンドウの時間消費と、システム内のデバイス間の時間差との合計が２秒である場合、１分１３秒が、同期時間ポイントであるように設定される。受信され、１〜２分のシステム時間ウィンドウに対応する処理対象データは、この時間セグメントにおいてグローバルに同期される。
【００２８】
図１は、本出願によって提供されるデータ処理方法のフローチャートを示す。方法は、データ統計システムに適用される。データ統計システムの各システム時間ウィンドウが、終了時間ポイント及び同期時間ポイントで予め構成される。終了時間ポイントは、同期時間ポイントよりも早く、各システム時間ウィンドウの開始時間ポイントよりも遅い。方法は、以下の動作を含む。
【００２９】
Ｓ１０１：処理対象データが、現在のシステム時間ウィンドウにおいて受信されるとき、処理対象データに対応するシステム時間ウィンドウは、処理対象データのデータ時間に基づいて判断される。
【００３０】
実際の適用シナリオでは、データ生成側のデバイスの時間クロック間の差、及びデータ送信プロセスの速度の影響に起因して、データ統計システムによって受信される処理対象データの異なる部分のデータ時間は、データ時間の順序の昇順に厳密に従わない場合がある。したがって、前のシステム時間ウィンドウにおける処理対象であるデータが、現在のシステム時間ウィンドウ内に渡る状況が発生し得る。言い換えると、現在のシステム時間ウィンドウにおいて受信される処理対象データのいくつかの部分が、前のシステム時間ウィンドウにおける処理対象データに対応し得る。これは、前のシステム時間ウィンドウにおけるデータの完全性に影響するだけでなく、現在のシステム時間ウィンドウにおけるデータの処理に対する干渉を引き起こす。
【００３１】
例えば、データ統計システムは、０〜１分のシステム時間ウィンドウ以内に、対応するデバイスによって生成される全てのデータを処理する必要があり、それは、１０：０４のタイムスタンプを有するデータ時間ウィンドウの全てのデータに対応すると仮定される。実際の統計プロセスでは、１０：０４のタイムスタンプを有するデータのいくつかは、１〜２分のシステム時間ウィンドウにおいて到着することしかできない。これは、０〜１分のシステム時間ウィンドウのデータ処理の完全性に影響するだけでなく、１〜２分のシステム時間ウィンドウのデータ処理に対する干渉を引き起こす。
【００３２】
したがって、計算結果が処理対象データの順序混乱により影響を受けることを回避するために、本出願の好適な実施形態では、処理対象データが、現在のシステム時間ウィンドウにおいて受信されるとき、処理対象データに対応するシステム時間ウィンドウの判断が、処理対象データのデータ時間に基づいて行われる必要がある。判断のプロセスの詳細は、以下の通りである。
【００３３】
ａ）データ時間ウィンドウにおいて、処理対象データのタイムスタンプに基づいて処理対象データのデータ時間を取得する。
ｂ）データ時間が現在のシステム時間ウィンドウの開始時間ポイントよりも遅いかどうかを判断する。
ｃ）肯定の場合に、処理対象データが、現在のシステム時間ウィンドウの範囲内に入ると判断する。
ｄ）否定の場合に、処理対象データが、前のシステム時間ウィンドウの範囲内に入ると判断する。
【００３４】
上述のような処理対象データのタイムスタンプは、本出願の好適な実施形態において提供される単なる一例であることに留意すべきである。これに基づいて、本出願がさらなる適用分野における使用に適することを可能にするために、処理対象データのデータ時間を表すために他の形態が選択されてもよい。これらの変更全てが、本発明の保護範囲に属する。
【００３５】
Ｓ１０２：データ時間が、現在のシステム時間ウィンドウの範囲内にある場合、処理対象であり、同期時間ポイント前のシステム受信時間を有するデータは、記憶され、処理対象であり、同期時間ポイント後のシステム受信時間を有するデータは、即時処理される。
【００３６】
具体的には、受信されるものが、現在のシステム時間ウィンドウに対応する処理対象データである場合に、同期時間ポイントが、処理対象データを別々に処理するための分割ポイントとして使用される。
【００３７】
同期時間ポイント前に、データ統計システムは、現在のシステム時間ウィンドウの範囲内にあるそれぞれのデータ時間を有する処理対象データを処理及び出力する必要があるだけでなく、現在のシステム時間ウィンドウの範囲内にあるそれぞれのデータ時間を有する処理対象の出力データを、グローバルに同期させる必要がある。統計及び計算の効率性を考慮し、統計及び計算プロセスにおける混乱を回避すると、処理対象であり、同期時間ポイントよりも早いシステム受信時間を有するデータのみが、したがって、記憶される。
【００３８】
同期時間ポイントの後、前のシステム時間ウィンドウに対応するデータ時間ウィンドウが終了し、現在のシステム時間ウィンドウの範囲内の処理対象データのグローバル同期が完了してから、処理対象であり、同期時間ポイントより遅いシステム受信時間を有するデータが、即時処理される。
【００３９】
Ｓ１０３：データ時間が、前のシステム時間ウィンドウの範囲内にある場合、処理対象であり、終了時間ポイント前のシステム受信時間を有するデータは、即時処理され、処理対象であり、終了時間ポイント後のシステム受信時間を有するデータは、破棄される。
【００４０】
具体的には、受信されるものが、前のシステム時間ウィンドウに対応する処理対象データである場合に、処理対象データは、分割ポイントとして終了時間ポイントを用いて別々に処理される。
【００４１】
終了時間ポイント前に、生成側のデバイスにおける時間クロック差、及びデータ送信プロセスの速度の影響に起因して、前のシステム時間ウィンドウに対応し、現在のシステム時間ウィンドウにおいてのみデータ統計システムに到着するいくつかの処理対象データが存在し得る。データのこれらの部分は、前のシステム時間ウィンドウのデータ処理の完全性及び正確性を確保することにおいて重要な役割を有する。したがって、処理対象であり、終了時間ポイント前のシステム受信時間を有するデータが、即時処理される。
【００４２】
終了時間ポイント後、前のシステム時間ウィンドウに対応するデータ時間ウィンドウが終了してから、その時にデータ統計システムに到着する処理対象データが、処理対象であり、現在のシステム時間ウィンドウの範囲内にあるデータ時間を有するデータのグローバル同期に影響を与えることとなり、処理対象であり、現在のシステム時間ウィンドウの範囲内のデータ時間を有するデータの統計及び計算プロセスに、混乱をなお引き起こし得る。したがって、処理対象であり、終了時間ポイント後の時間システム受信時間を有するデータは、破棄される。
【００４３】
本出願の好適な実施形態では、終了時間ポイント及び同期時間ポイントは、処理結果の出力ノードとして別々に使用される。
【００４４】
具体的には、データ統計システムのシステム時間が、終了時間ポイントに到達するとき、処理対象であり、前のシステム時間ウィンドウの範囲内にそれぞれのデータ時間を有するデータの処理結果が、出力され、前のシステム時間ウィンドウに対応するデータ時間ウィンドウが終了される。
【００４５】
本出願の好適な実施形態では、データ統計システムのシステム時間が、同期時間ポイントに到達するとき、同期時間ポイント前に記憶され、現在のシステム時間ウィンドウの範囲内にそれぞれのデータ時間を有する処理対象データが処理され、その処理結果が出力される。
【００４６】
このように、本出願の技術的解決法を使用することにより、データ統計システムの各システム時間ウィンドウが、終了時間ポイント及び同期時間ポイントで予め構成される。終了時間ポイント及び同期時間ポイントは、ノードとして別々に使用され、処理対象データは、終了時間ポイント及び同期時間ポイントをノードとして使用するセクションによって処理及び出力される。さらに、処理対象データのグローバル同期プロセスが追加される。したがって、データ統計の処理は、その完全性が保証され得る前提で、適時であり、それによって、データ処理結果の正確性及び適時性が向上する。
【００４７】
本発明の技術的概念をさらに説明するために、本出願の技術的解決法が、図２に示すような特定の適用シナリオと併せて説明される。
【００４８】
統計がストリームコンピューティングのデータについて行われるとき、いくつかのデータが、前のデータ時間ウィンドウの境界から別のデータ時間ウィンドウに渡る状況が、システム時間とデータのデータ時間との差に起因して容易に発生し、それによって、ストリームコンピューティングの結果が影響を受ける。システム時間とデータのデータ時間との差は、通常あまり大きくないため、前のデータ時間ウィンドウの境界にあるいくつかのデータは、概して、隣接するデータ時間ウィンドウ（即ち、その次のデータ時間ウィンドウ）にまたがるだけである。現在のデータ時間ウィンドウに対応する少量のデータが、隣接しないデータ時間ウィンドウ（即ち、次のデータ時間ウィンドウの後のデータ時間ウィンドウ）にまたがる場合、この、またがるデータは、対応するデータ時間ウィンドウのデータ処理ノードに到達するときに破棄され得る。ストリームコンピューティングでは、この状況が発生する可能性は、非常に低い。さらに、この状況が発生する場合であっても、非常に少量のデータを破棄するように選択することは、現在のデータ時間ウィンドウのデータの統計処理結果に影響を与えないであろう。
【００４９】
したがって、特定の適用シナリオでは、リアルタイムに完全な方式で計算結果を出力する必要があるストリームコンピューティングのプロセスに対して、データ処理方法が提案される。方法では、データ時間ウィンドウが、データ統計のための時間基準として使用され、システム時間ウィンドウが、データ時間ウィンドウの終了及びグローバル同期のための基準として使用される。
【００５０】
方法は、各システム時間ウィンドウについて終了時間ポイント及び同期時間ポイントを予め設定する。終了時間ポイントは、システム時間とデータ時間との間の時間差に基づいて設定され、同期時間ポイントは、データ統計システム内のデバイスの時間クロック間の差に基づいて設定される。
【００５１】
具体的には、本適用シナリオは、前のシステム時間ウィンドウとして０〜１を使用し、現在のシステム時間ウィンドウとして１〜２を使用する。前のシステム時間ウィンドウは、終了時間ポイントｃｔ０及び同期時間ポイントｓｔ０で予め構成され、現在のシステム時間ウィンドウは、終了時間ポイントｃｔ１及び同期時間ポイントｓｔ１で予め構成される。
【００５２】
第１の動作：１〜ｃｔ１において、データ統計システムは、処理対象データの部分を受信し、処理対象データの部分のそれぞれのデータ時間に基づいて判断を行い、それぞれのデータ時間が１〜２の現在のシステム時間ウィンドウの範囲内に入る場合に、処理対象データの１部分を記憶し、データ時間が０〜１の前のシステム時間ウィンドウの範囲内に入る場合に、処理対象データの部分を即時処理し、出力する。
【００５３】
具体的には、この時間セグメントにおいて受信される処理対象データの部分は、０〜１の前のシステム時間ウィンドウに対応するデータの部分（複数可）、及び１〜２の現在のシステム時間ウィンドウに対応するデータの部分（複数可）を有し得る。処理対象データの１部分が、０〜１の前のシステム時間ウィンドウに対応する場合、この部分のデータは、即時に処理され、出力される。処理対象データの１部分が、１〜２の現在のシステム時間ウィンドウに対応する場合、この部分のデータは、記憶されるだけであり、処理されない。
【００５４】
第２の動作：時間ｃｔ１において、０〜１の前のシステム時間ウィンドウの範囲内に入るそれぞれのデータ時間を有する、処理対象データの全ての部分の処理結果が、出力され、前のシステム時間ウィンドウに対応するデータ時間ウィンドウが終了される。
【００５５】
具体的には、時間ｃｔ１に到達するときに、０〜１の前のシステム時間ウィンドウに対応する処理対象データは、もはや記憶されない。
【００５６】
第３の動作：ｃｔ１〜ｓｔ１において、処理対象データの１部分が受信される。処理対象データの１部分のデータ時間に基づいて、判断が行われる。データ時間が、１〜２の現在のシステム時間ウィンドウの範囲内にある場合、処理対象データのその部分は記憶され、記憶された処理対象データは、グローバルに同期される。データ時間が、０〜１の前のシステム時間ウィンドウの範囲内にある場合、処理対象データのその部分は、破棄される。
【００５７】
具体的には、この時間セグメントにおいて受信される処理対象データは、０〜１の前のシステム時間ウィンドウに対応するデータ、及び１〜２の現在のシステム時間ウィンドウに対応するデータを有し得る。処理対象データの１部分が、０〜１の前のシステム時間ウィンドウに対応する場合、その部分の処理対象データは、破棄される。処理対象データの１部分が、１〜２の現在のシステム時間ウィンドウに対応する場合、その部分の処理対象データは、グローバル同期を実行するために記憶され、処理されない。
【００５８】
第４の動作：ｓｔ１〜２において、処理対象データが受信及び処理され、１〜ｃｔ１において記憶されたデータの処理結果が、リアルタイムで出力される。
【００５９】
具体的には、この時間セグメントにおいて受信される処理対象データは、１〜２の現在のシステム時間ウィンドウに対応するデータを有する。処理は、受信済みの処理対象データ、及び１〜ｓｔ１の時間セグメントにおいて以前に記憶され、１〜２の現在のシステム時間ウィンドウの範囲内に入るデータ時間を有する処理対象データに対して実行される。その処理結果は、リアルタイムで出力される。上記特定の適用シナリオの技術的解決法では、計算結果をリアルタイムに完全な方式で出力することが必要なストリームコンピューティングのプロセスにおいて、各システム時間ウィンドウについて終了時間ポイント及び同期時間ポイントを予め設定することにより、グローバル同期が、統計データについて実行される。これは、その完全性が確保されるという前提で、データ統計を時間内に実行することができ、したがって、データ処理結果の正確性及び適時性が向上する。
【００６０】
上記特定の適用シナリオの内容は、本出願の好適な実施形態の単なる一例であることに、ここで留意すべきである。さらなる適用分野が、また、それに基づいて含まれてもよく、それによって、本技術的解決法がより広範な適用を有するようになる。これらの改善の全てが、本発明の保護範囲に属する。
【００６１】
上記の技術目標を達成するために、本出願は、データ処理装置をさらに提供する。図３に示すように、装置は、データ統計システムにおいて使用される。データ統計システムにおける各システム時間ウィンドウが、終了時間ポイント及び同期時間ポイントで予め構成される。同一のシステム時間ウィンドウの終了時間ポイントは、同期時間ポイントの前、及び開始時間ポイントの後に位置する。装置は、処理対象データが現在のシステム時間ウィンドウにおいて受信されるときに、処理対象データに対応するシステム時間ウィンドウを処理対象データのデータ時間に基づいて判断するために使用される、判断モジュールと、データ時間が、現在のシステム時間ウィンドウの範囲内にある場合に、同期時間ポイントよりも早いシステム受信時間を有する処理対象データを記憶し、同期時間ポイントよりも遅いシステム受信時間を有する処理対象データを即時処理するために使用される、第１の処理モジュールと、データ時間が、前のシステム時間ウィンドウの範囲内にある場合に、終了時間ポイントよりも早いシステム受信時間を有する処理対象データを即時処理し、終了時間ポイントよりも遅いシステム受信時間を有する処理対象データを破棄するために使用される、第２の処理モジュールと、を含む。
【００６２】
特定の適用シナリオでは、判断モジュールは、データ時間ウィンドウにおいて、処理対象データのタイムスタンプに基づいて処理対象データのデータ時間を取得し、データ時間が現在のシステム時間ウィンドウの開始時間ポイントよりも遅いかどうかを判断し、肯定の場合に、処理対象データが、現在のシステム時間ウィンドウの範囲内に入ると判断し、否定の場合に、処理対象データが、前のシステム時間ウィンドウの範囲内に入ると判断するために使用される。
【００６３】
特定の適用シナリオでは、装置は、データ統計システムのシステム時間が、終了時間ポイントに到達するときに、それぞれのデータ時間が前のシステム時間ウィンドウの範囲内に入る処理対象データの処理結果を出力し、前のシステム時間ウィンドウに対応するデータ時間ウィンドウを終了するために使用される、第１の出力モジュールをさらに含む。
【００６４】
特定の適用シナリオでは、装置は、データ統計システムのシステム時間が、同期時間ポイントに到達するときに、同期時間ポイントの前に記憶され、そのデータ時間が現在のシステム時間ウィンドウの範囲内にある、処理対象データを処理し、その処理結果を出力するために使用される、第２の出力モジュールをさらに含む。
【００６５】
特定の適用シナリオでは、終了時間ポイントが、システム時間とデータ時間との間の時間差に基づいて設定され、同期時間ポイントが、時間ウィンドウを終了するのに消費される時間、及びデータ統計システム内のデバイスの時間クロック間の差に基づいて設定される。
【００６６】
上記実施形態の説明を通して、当業者は、本発明が、ハードウェアを通して実施されてもよく、またはソフトウェア及び汎用のハードウェアプラットフォームを用いても実施されてもよいことを、明確に理解し得る。この理解に基づいて、本発明の技術的解決法は、ソフトウェア製品の形態で表されてもよい。ソフトウェア製品は、不揮発性記憶媒体（ＣＤ−ＲＯＭ、フラスコドライブ、移動可能ドライブなどであってもよい）に記憶されてもよく、コンピューティングデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであってもよい）に、本発明の様々な実施態様シナリオにおいて説明される方法を実行させる命令を含む。
【００６７】
当業者は、添付図面は、単に好適な実施態様シナリオの概略図であると理解し得る。添付図面中のモジュールまたはプロセスは、本発明によって必ずしも必要とされなくともよい。
【００６８】
当業者は、実施態様シナリオ中の装置（複数可）内のモジュールが、実施態様シナリオの説明に従って実施態様シナリオの装置（複数可）間に分散されてもよく、または、即時の実施態様シナリオとは異なる１つもしくは複数の装置内に位置されるように対応して変更されてもよいことを、理解し得る。上記実施態様シナリオ中のモジュールは、単一モジュールとして結合されてもよく、複数のサブモジュールにさらに分割されてもよい。
【００６９】
本発明の上記連続番号は、単に説明のために使用され、実施態様シナリオの品質を表すものではない。
【００７０】
本発明のいくつかの特定の実施態様シナリオが、説明されている。しかしながら、本発明は、これらに限定されない。当業者が想到し得るいかなる変更も、また、本発明の保護範囲によって包含されるべきである。
【図１】
2019501458.tif 000003
【図２】
2019501458.tif 000004
【図３】
2019501458.tif 000005
【国際調査報告】
2019501458.tif 000006
2019501458.tif 000007
2019501458.tif 000008
2019501458.tif 000009