(57)【特許請求の範囲】
【請求項１】
データ処理装置によって実行されるデータ処理方法であって、
収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るステップと、
前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するステップと、
前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するステップと、を含む
データ処理方法。
【請求項２】
前記収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るステップは、
前記クラスタにおける各ノードが収集対象データを読み取るように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得するステップと、
前記収集対象データサンプルを評価し、品質評価レポートを取得するステップと、
前記品質評価レポート及び前記クラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを適応させ、前記クラスタにおける各ノードの収集タスクを割り当てるステップと、を含み、
前記品質評価レポートは、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む
請求項１に記載のデータ処理方法。
【請求項３】
前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するステップは、
前記クラスタにおける各ノードが対応する収集タスクに基づいて、前記収集パターンでデータ収集を行うように制御するステップと、
前記クラスタにおける各ノードが前記データ処理モデルに基づいて収集されたデータを処理するように制御し、処理後のデータを取得するステップと、を含む
請求項１に記載のデータ処理方法。
【請求項４】
前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するステップは、
予め設定のデータ正規化モデルに基づいて、処理後のデータに対してデータ正規化を行って、一括融合後のデータを得るステップと、
予め設定のデータ統合モデルに基づいて、処理後のデータに対してデータ統合を行って、一括融合後のデータを得るステップと、
予め設定のデータモデリングモデルに基づいて、処理後のデータに対してデータモデリングを行って、一括融合後のデータを得るステップと、のうちの少なくとも１つを含む
請求項１に記載のデータ処理方法。
【請求項５】
前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得した後、
前記一括融合後のデータを分類記憶するステップをさらに含む
請求項１〜４のいずれか１項に記載のデータ処理方法。
【請求項６】
前記収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得る前に、
データ収集インターフェースを設定するステップをさらに含み、
前記収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うステップは、
前記データ収集インターフェースを介して収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うステップを含み、
前記クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御するステップは、
クラスタにおける各ノードが前記データ収集インターフェースを介してデータ収集を行うように制御し、クラスタにおける各ノードが収集されたデータに対してデータ処理を行うように制御するステップを含む
請求項１に記載のデータ処理方法。
【請求項７】
前記データ収集インターフェースを設定するステップは、
データ収集インターフェース設定パラメーターを取得するステップと、
前記設定パラメーターに基づいて、前記データ収集インターフェースの接続テストを行うステップと、
前記接続テストが成功した場合に、前記設定パラメーターが含まれているデータ収集インターフェース設定ファイルをクラスタにおける他のノードに配信し、前記クラスタにおける各ノードを設定し、前記クラスタにおける各ノードが前記データ収集インターフェースに接続するように制御するステップと、
前記接続テストが成功しなかった場合に、データ収集インターフェース設定パラメーターを取得するステップへ進むステップと、を含む
請求項６に記載のデータ処理方法。
【請求項８】
収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るように構成されるアダプタモジュールと、
前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するように構成されるデータ処理モジュールと、
前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するように構成される一括融合モジュールと、を備える
データ処理装置。
【請求項９】
前記アダプタモジュールは、
前記クラスタにおける各ノードが収集対象データを読み取るように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得するように構成されるサンプル収集ユニットと、
収集対象データサンプルを評価し、品質評価レポートを取得するように構成されるデータ評価ユニットと、
前記品質評価レポート及び前記クラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを適応させ、前記クラスタにおける各ノードの収集タスクを割り当てるように構成されるアダプタユニットと、を備え、
前記品質評価レポートは、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む
請求項８に記載のデータ処理装置。
【請求項１０】
前記データ処理モジュールは、
前記クラスタにおける各ノードが対応する収集タスクに基づいて、前記収集パターンでデータ収集を行うように制御するように構成されるデータ収集ユニットと、
前記クラスタにおける各ノードが前記データ処理モデルに基づいて前記収集されたデータを処理するように制御し、処理後のデータを取得するように構成されるデータ処理ユニットと、を備える
請求項８に記載のデータ処理装置。
【請求項１１】
前記一括融合モジュールは、データ取得ユニットと、データ正規化ユニット、データ統合ユニット、データモデリングユニットのうちの１つ又は複数のユニットと、を備え、
前記データ正規化ユニットは、予め設定のデータ正規化モデルに基づいて、処理後のデータに対してデータ正規化を行うように構成され、
前記データ統合ユニットは、予め設定のデータ統合モデルに基づいて、処理後のデータに対してデータ統合を行うように構成され、
前記データモデリングユニットは、予め設定のデータモデリングモデルに基づいて、処理後のデータに対してデータモデリングを行うように構成され、
前記データ取得ユニットは、一括融合後のデータを取得するように構成される
請求項８に記載のデータ処理装置。
【請求項１２】
前記データ処理装置は、前記一括融合後のデータを分類記憶する分類記憶モジュールをさらに備える
請求項８〜１１のいずれか１項に記載のデータ処理装置。
【請求項１３】
前記データ処理装置は、データ収集インターフェースを設定するインターフェース設定モジュールをさらに備え、
前記アダプタモジュールにより収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うことは、前記アダプタモジュールにより前記データ収集インターフェースを介して収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うことを含み、
前記データ処理モジュールによりクラスタにおける各ノードがデータ収集及びデータ処理を行うように制御することは、前記データ処理モジュールによりクラスタにおける各ノードが前記データ収集インターフェースを介してデータ収集を行うように制御し、クラスタにおける各ノードが収集されたデータに対してデータ処理を行うように制御することを含む
請求項８に記載のデータ処理装置。
【請求項１４】
前記インターフェース設定モジュールは、
データ収集インターフェース設定パラメーターを取得するように構成されるパラメーター取得ユニットと、
前記設定パラメーターに基づいて、前記データ収集インターフェースの接続テストを行うように構成される接続テストユニットと、
前記接続テストが成功した場合に、前記設定パラメーターが含まれているデータ収集インターフェース設定ファイルをクラスタにおける他のノードに配信し、前記クラスタにおける各ノードを設定し、前記クラスタにおける各ノードが前記データ収集インターフェースに接続するように制御するように構成されるファイル配信ユニットと、を備え、
前記パラメーター取得ユニットは、さらに、前記接続テストが成功しなかった場合に、前記データ収集インターフェース設定パラメーターを取得するように構成される
請求項１３に記載のデータ処理装置。
【請求項１５】
アダプタプロセッサー、データプロセッサー及びデータ一括融合プロセッサーを備えるデータ処理システムであって、
前記アダプタプロセッサーは、収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るように構成され、
前記データプロセッサーは、前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するように構成され、
前記データ一括融合プロセッサーは、前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するように構成される
データ処理システム。
【請求項１６】
データ収集インターフェースを設定するように構成されるデータ収集インターフェースアダプタと、
前記一括融合後のデータを分類記憶するように構成されるデータ分類メモリと、
システムマネージャと、をさらに備え、
前記システムマネージャは、
データ収集インターフェース設定ファイル、データ収集インターフェースの接続テスト結果、収集対象データサンプル、品質評価レポート及びクラスタにおける全てのノードの負荷状態を管理するように構成されるデータ管理モジュールと、
前記収集対象データサンプル、データ収集、データ処理、データ一括融合及びデータ記憶、クラスタリソース消費状態を管理し、前記クラスタにおける全てのノードの負荷バランスを制御するように構成されるリソース管理モジュールと、
データ収集インターフェース設定テンプレート、データ評価テンプレート、データ収集テンプレート、データ処理モデル、データ正規化モデル、データ統合モデル及びデータモデリングモデルを管理するように構成されるモデル管理モジュールと、
データ収集インターフェースの設定、収集対象データサンプルの読み取り、データ評価、データ処理、データ一括融合及びデータ記憶プロセスを監視し、データ収集インターフェースの設定、収集対象データサンプルの読み取り、データ評価、データ処理、データ一括融合及びデータ記憶プロセスにおける完了状態、中間エラー及び異常を記録して処理するように構成されるプロセス監視モジュールと、を備える
請求項１５に記載のデータ処理システム。
【請求項１７】
プロセッサーに実行されることにより、請求項１から請求項７のいずれか１項に記載のデータ処理方法を実現することを特徴とするプログラム。
【請求項１８】
請求項１７に記載のプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピューター情報処理分野に関するものの、これに限定されず、特にデータ処理方法、装置及びシステム、プログラムならびに記録媒体に関する。
【背景技術】
【０００２】
データは、今日の各業界及びビジネス機能分野に浸透して、重要な生産要素となっており、ビッグデータの時代が既に到来した。ビッグデータの爆発的な増加は、大容量、多様性及び高増速の面で、現代の企業のデータ処理及び分析能力を検証するとともに、企業により豊かでより深く及びより正確に商業的行動を洞察するたくさんの機会を提供する。現在、最も重要な現実は、ビッグデータに対して処理及び分析を行うことであり、処理及び分析によってこそ、たくさんのインテリジェントで深くて価値のある情報を取得することができる。
【０００３】
従来のデータと比較すると、ビッグデータは、データ量が多く（Ｖｏｌｕｍｅ）、種類が多く（Ｖａｒｉｅｔｙ）、時効性が高く（Ｖｅｌｏｃｉｔｙ）、価値密度が低く（Ｖａｌｕｅ）、及びデータオンライン（Ｏｎｌｉｎｅ）で表される４Ｖ＋１Ｏの特徴を呈する。従来技術における通常のビッグデータ処理ツールは、従来のＥＴＬ（Ｅｘｔｒａｃｔ−Ｔｒａｎｓｆｏｒｍ−Ｌｏａｄ、抽出、変換、ロード）ツール及びＨａｄｏｏｐ（Ｈａｄｏｏｐ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｆｉｌｅ  Ｓｙｓｔｅｍ、分散ファイルシステム）に基づくビッグデータ収集ツールの２種類がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビッグデータ処理の高効率性及び融合の統合度に対するユーザの要求がますます高まっている。しかし、従来技術における通常のビッグデータ処理ツールは、ビッグデータのようなマルチソース、異種、大容量のデータを処理する面で欠けており、データ処理プロセスにおいて人為的関与度が高く、データ処理が不精細で、効率が低く、且つ、異なるデータに対して一括融合を行っていないので、統合度が高くなく、取得される最終的なデータ利用価値及び実用性が高くない。
【０００５】
以下は、本文で詳細に説明している主題の概要である。本概要は、特許請求の範囲を限定するものではない。
【０００６】
本発明の実施例によれば、ビッグデータ処理効率が低く、融合度が低い技術問題を解決できる。
【課題を解決するための手段】
【０００７】
したがって、本発明の実施例によれば、データ処理方法が提供され、前記データ処理方法は、
収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るステップと、
前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するステップと、
前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するステップと、を含む。
【０００８】
選択的に、前記収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るステップは、
前記クラスタにおける各ノードが収集対象データを読み取るように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得するステップと、
前記収集対象データサンプルを評価し、品質評価レポートを取得するステップと、
前記品質評価レポート及び前記クラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを適応させ（Ａｄａｐｔ）、前記クラスタにおける各ノードの収集タスクを割り当てるステップと、を含み、
前記品質評価レポートは、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【０００９】
選択的に、前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するステップは、
前記クラスタにおける各ノードが対応する収集タスクに基づいて、前記収集パターンでデータ収集を行うように制御するステップと、
前記クラスタにおける各ノードが前記データ処理モデルに基づいて収集されたデータを処理するように制御し、処理後のデータを取得するステップと、を含む。
【００１０】
選択的に、前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するステップは、
予め設定のデータ正規化モデルに基づいて、処理後のデータに対してデータ正規化を行って、一括融合後のデータを得るステップと、予め設定のデータ統合モデルに基づいて、処理後のデータに対してデータ統合を行って、一括融合後のデータを得るステップと、予め設定のデータモデリングモデルに基づいて、処理後のデータに対してデータモデリングを行って、一括融合後のデータを得るステップと、のうちの少なくとも１つを含む。
【００１１】
選択的に、前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得した後、前記方法は、
前記一括融合後のデータを分類記憶するステップをさらに含む。
【００１２】
選択的に、前記収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得る前に、前記方法は、
データ収集インターフェースを設定するステップをさらに含み、
前記収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うステップは、
前記データ収集インターフェースを介して収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うステップを含み、
前記クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御するステップは、
クラスタにおける各ノードが前記データ収集インターフェースを介してデータ収集を行うように制御し、クラスタにおける各ノードが収集されたデータに対してデータ処理を行うように制御するステップを含む。
【００１３】
選択的に、前記データ収集インターフェースを設定するステップは、
データ収集インターフェース設定パラメーターを取得するステップと、
前記設定パラメーターに基づいて、前記データ収集インターフェースの接続テストを行うステップと、
前記接続テストが成功した場合に、前記設定パラメーターが含まれているデータ収集インターフェース設定ファイルをクラスタにおける他のノードに配信し、前記クラスタにおける各ノードを設定し、前記クラスタにおける各ノードが前記データ収集インターフェースに接続するように制御するステップと、
前記接続テストが成功しなかった場合に、データ収集インターフェース設定パラメーターを取得するステップへ進むステップと、を含む。
【００１４】
また、本発明の実施例によれば、データ処理装置がさらに提供され、前記装置は、
収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るアダプタモジュールと、
前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するデータ処理モジュールと、
前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得する一括融合モジュールと、を備える。
【００１５】
選択的に、前記アダプタモジュールは、
前記クラスタにおける各ノードが収集対象データを読み取るように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得するように構成されるサンプル収集ユニットと、
収集対象データサンプルを評価し、品質評価レポートを取得するように構成されるデータ評価ユニットと、
前記品質評価レポート及び前記クラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを適応させ、前記クラスタにおける各ノードの収集タスクを割り当てるように構成されるアダプタユニットと、を備え、
前記品質評価レポートは、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【００１６】
選択的に、前記データ処理モジュールは、
前記クラスタにおける各ノードが対応する収集タスクに基づいて、前記収集パターンでデータ収集を行うように制御するように構成されるデータ収集ユニットと、
前記クラスタにおける各ノードが前記データ処理モデルに基づいて前記収集されたデータを処理するように制御し、処理後のデータを取得するように構成されるデータ処理ユニットと、を備える。
【００１７】
選択的に、前記一括融合モジュールは、データ取得ユニットと、データ正規化ユニット、データ統合ユニット、データモデリングユニットのうちの１つ又は複数のユニットと、を備え、
前記データ正規化ユニットは、予め設定のデータ正規化モデル（Ｄａｔａ  ｎｏｒｍａｌｉｚａｔｉｏｎ  ｍｏｄｅｌ）に基づいて、処理後のデータに対してデータ正規化を行うように構成され、
前記データ統合ユニットは、予め設定のデータ統合モデル（Ｄａｔａ  ｉｎｔｅｇｒａｔｉｏｎ  ｍｏｄｅｌ）に基づいて、処理後のデータに対してデータ統合を行うように構成され、
前記データモデリングユニットは、予め設定のデータモデリングモデル（Ｄａｔａ  ｍｏｄｅｌｉｎｇ  ｍｏｄｅｌ）に基づいて、処理後のデータに対してデータモデリングを行うように構成され、
前記データ取得ユニットは、一括融合後のデータを取得するように構成される。
【００１８】
選択的に、前記データ処理装置は、前記一括融合後のデータを分類記憶する分類記憶モジュールをさらに備える。
【００１９】
選択的に、前記データ処理装置は、データ収集インターフェースを設定するインターフェース設定モジュールをさらに備え、
前記アダプタモジュールにより収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うことは、前記アダプタモジュールにより前記データ収集インターフェースを介して収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うことを含み、
前記データ処理モジュールによりクラスタにおける各ノードがデータ収集及びデータ処理を行うように制御することは、前記データ処理モジュールによりクラスタにおける各ノードが前記データ収集インターフェースを介してデータ収集を行うように制御し、クラスタにおける各ノードが収集されたデータに対してデータ処理を行うように制御することを含む。
【００２０】
選択的に、前記インターフェース設定モジュールは、
データ収集インターフェース設定パラメーターを取得するように構成されるパラメーター取得ユニットと、
前記設定パラメーターに基づいて、前記データ収集インターフェースの接続テストを行うように構成される接続テストユニットと、
前記接続テストが成功した場合に、前記設定パラメーターが含まれているデータ収集インターフェース設定ファイルをクラスタにおける他のノードに配信し、前記クラスタにおける各ノードを設定し、前記クラスタにおける各ノードが前記データ収集インターフェースに接続するように制御するように構成されるファイル配信ユニットと、を備え、
前記パラメーター取得ユニットは、さらに、前記接続テストが成功しなかった場合に、前記データ収集インターフェース設定パラメーターを取得するように構成される。
【００２１】
また、本発明の実施例によれば、データ処理システムがさらに提供され、前記システムは、アダプタプロセッサー、データプロセッサー及びデータ一括融合プロセッサーを備え、
前記アダプタプロセッサーは、収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るように構成され、
前記データプロセッサーは、前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するように構成され、
前記データ一括融合プロセッサーは、前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するように構成される。
【００２２】
選択的に、前記データ処理システムは、
データ収集インターフェースを設定するように構成されるデータ収集インターフェースアダプタと、
前記一括融合後のデータを分類記憶するように構成されるデータ分類メモリと、
システムマネージャと、をさらに備え、
前記システムマネージャは、
前記データ収集インターフェース設定ファイル、データ収集インターフェースの接続テスト結果、収集対象データサンプル、品質評価レポート及びクラスタにおける全てのノードの負荷状態を管理するように構成されるデータ管理モジュールと、
前記収集対象データサンプル、データ収集、データ処理、データ一括融合及びデータ記憶、クラスタリソース消費状態を管理し、前記クラスタにおける全てのノードの負荷バランスを制御するように構成されるリソース管理モジュールと、
データ収集インターフェース設定テンプレート、データ評価テンプレート、データ収集テンプレート、データ処理モデル、データ正規化モデル、データ統合モデル及びデータモデリングモデルを管理するように構成されるモデル管理モジュールと、
データ収集インターフェースの設定、収集対象データサンプルの読み取り、データ評価、データ処理、データ一括融合及びデータ記憶プロセスを監視し、データ収集インターフェースの設定、収集対象データサンプルの読み取り、データ評価、データ処理、データ一括融合及びデータ記憶プロセスにおける完了状態、中間エラー及び異常を記録して処理するように構成されるプロセス監視モジュールと、を備える。
本発明の別の実施例によれば、プログラムが提供され、前記プログラムは、プロセッサーに実行されることにより、上記のデータ処理方法を実現することを特徴とする。
本発明の別の実施例によれば、記録媒体が提供され、前記記録媒体には、上記のプログラムが記録されている。
【発明の効果】
【００２３】
本発明の実施例によれば、異種データに対してサンプルに基づいて分析を行い、データ収集パターン及びデータ処理モデルを自動に適応させ、データを収集してデータ処理を行って、クラスタにおける全てのノードの負荷バランスを調整し、内部連関性のある様々な異種データに対して一括融合を行うことによって、従来技術におけるビッグデータ処理効率が低く、融合度が低い問題を有効に解決し、データ処理効率及びデータ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、ビッグデータ分析及び価値発掘のためにデータ品質保障を提供する。
【００２４】
図面及び詳細な説明を読んで理解した後で、他の態様が分かる。
【図面の簡単な説明】
【００２５】
【図１】データ処理方法の第１の実施例のフローを示す模式図である。
【図２】データ処理方法の第２の実施例のフローを示す模式図である。
【図３】データ処理方法の第３の実施例のフローを示す模式図である。
【図４】データ処理方法の第４の実施例のフローを示す模式図である。
【図５】データ処理方法の第５の実施例のフローを示す模式図である。
【図６】データ処理方法の第６の実施例のフローを示す模式図である。
【図７】データ処理方法の第７の実施例のフローを示す模式図である。
【図８】データ処理装置の第１の実施例の機能モジュールを示す模式図である。
【図９】データ処理装置の第２の実施例の機能モジュールを示す模式図である。
【図１０】データ処理装置の第３の実施例の機能モジュールを示す模式図である。
【図１１】データ処理装置の第４の実施例の機能モジュールを示す模式図である。
【図１２】データ処理装置の第５の実施例の機能モジュールを示す模式図である。
【図１３】データ処理装置の第６の実施例の機能モジュールを示す模式図である。
【図１４】データ処理装置の第７の実施例の機能モジュールを示す模式図である。
【図１５】データ処理システムの第１の実施例の構成を示す模式図である。
【図１６】データ処理システムの第２の実施例の構成を示す模式図である。
【発明を実施するための形態】
【００２６】
本発明の実施例に係る主な解決手段は、データ収集インターフェースを介して収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得て、前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得し、前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得することである。
【００２７】
従来技術のデータ処理プロセスにおいて人為的関与度が高く、データ処理が精細でなく、効率が低く、また、分散で内部関連性のあるデータに対しても一括融合を行っていないので、融合度が高くなく、取得される最終的なデータの利用価値及び実用性が高くなくなる。
【００２８】
本発明の実施例は、データ収集パターン及び処理タイプを自動に適応させ、マルチソース異種大容量データに対して一括融合を行うことによって、データ処理効率及びデータ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、ビッグデータ分析及び価値発掘のためにデータ品質保障を提供できる解決手段を提供する。
【００２９】
図１を参照して、データ処理方法の第１の実施例によれば、データ処理方法が提供され、前記データ処理方法は、下記のステップを含む。
【００３０】
ステップＳ１０：収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得る。
【００３１】
収集対象データサンプルの収集プロセスにおける各ノードのリソース負荷状態を把握するために、クラスタにおける各ノードが収集対象データを収集するように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得し、収集対象データサンプルは、所定数の収集対象データを含み、クラスタにおける全てのノードの負荷状態は、データ収集プロセスにおける各ノードのデータ収集レート、性能、応答状態、負荷能力を含む。
【００３２】
収集対象データサンプルに対して前処理を行い、収集対象データの基本品質属性を検出して判定し、品質評価レポートを取得する。
【００３３】
品質評価レポート及びクラスタにおける全てのノードの負荷状態に基づいて、データ収集パターンを決定し、データ処理モデルを適応させ、クラスタにおける各ノードの収集タスクを割り当てる。
【００３４】
異なるデータタイプに応じて異なるデータ収集パターンを適応させ、異なるデータ収集パターンは、全量、増量、非リアルタイム、リアルタイムを含み、例えば、動的ストリーミングデータには増量リアルタイム収集パターンを適応させ、構造化データには全量非リアルタイム収集パターンを適応させ、半構造化データ及び非構造化データには全量非リアルタイム収集パターンを適応させ、データ収集パターンは、他の収集パターンであってもよく、実際の必要に応じて柔軟に設定できる。
【００３５】
異なるデータタイプに応じてデータ処理モデルを適応させ、例えば、ストリーミングデータ、バッチデータ、構造化データ、半構造化データ及び非構造化データのような異なるデータタイプに対して異なるデータ処理を行い、プリセットデータ処理モデルは、ストリーミングデータ、非構造化画像データ、非構造化音声映像データ、非構造化テキストデータ、半構造化データ、構造化データの処理に適用され、直接に適応して呼び出すことができ、モデルの多重化及び補正をサポートする。
【００３６】
データ処理モデルは、動的ストリーミングデータのデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類のための順次処理ステップと、構造化データのデータ抽出、異常クリーニングのための順次処理ステップと、半構造化データ及び非構造化データのデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出のための順次処理ステップと、を含む。なお、データ処理モデルを直接に適応させてもよく、データ処理モデルを微調整して使用してもよく、或いは、実際の処理の必要に応じて、データ処理ステップ及びモデルを柔軟にセットしてもよい。
【００３７】
クラスタにおける各ノードの収集タスクを割り当てることによって、クラスタにおける各ノードの負荷状態に対する動的な調整を実現し、システムにおける全てのノードの負荷が不均衡な現象を解消又は減少し、データ収集及びデータ処理効率を向上させる。
【００３８】
ステップＳ２０：前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得する。
【００３９】
クラスタにおける各ノードが割り当てられた対応する収集タスクに基づいて（即ち、各ノードが割り当てられた自ノードの収集タスクに基づいて）、適応された収集パターンでデータ収集を行うように制御して、収集されたデータを取得する。例えば、動的ストリーミングデータは増量リアルタイム収集パターンでデータ収集を行い、構造化データは全量非リアルタイム収集パターンでデータ収集を行い、半構造化データ及び非構造化データは全量非リアルタイム収集パターンでデータ収集を行う。
【００４０】
クラスタにおける各ノードが適応されたデータ処理モデルで自ノードが収集したデータに対してそれぞれデータ処理を行うように制御することで、様々な異なる異種データに対して自体のデータ特性に従って対応する収集及び処理を行うことを実現し、処理後のデータを取得する。例えば、データ処理モデルに基づいて動的ストリーミングデータに対してデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類の処理ステップを順次行い、データ処理モデルに基づいて構造化データに対してデータ抽出、異常クリーニングの処理ステップを順次行い、データ処理モデルに基づいて半構造化データ及び非構造化データに対してデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出の処理ステップを順次行う。
【００４１】
ステップＳ３０：前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得する。
【００４２】
収集及び処理後のデータに対してデータ正規化、データ統合、データモデリングを行い、ここで、データ正規化及びデータ統合は、内部連関性のあるデータに対して一括フォーマット正規化及び有効な統合を行い、データモデリングは、データモデル設計、データインデックス構築機能を提供し、このようにして、分散で内部連関性のある様々なデータを関連付けて、一括融合後のデータを取得できる。
【００４３】
本実施例では、異種データに対してサンプルに基づいて分析を行い、データ収集パターン及びデータ処理モデルを自動に適応させ、データを収集してデータ処理を行って、クラスタにおける全てのノードの負荷バランスを調整し、内部連関性のある様々な異種データに対して一括融合を行うことによって、従来技術におけるビッグデータ処理効率が低く、融合度が低い問題を有効に解決し、データ処理効率及びデータ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、ビッグデータ分析及び価値発掘のためにデータ品質保障を提供する。
【００４４】
選択的に、図２を参照して、データ処理方法の第２の実施例によれば、データ処理方法が提供され、上記の図１に示す実施例に基づき、ステップＳ１０は、下記のステップを含む。
【００４５】
ステップＳ１１：前記クラスタにおける各ノードが収集対象データを読み取るように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得する。
【００４６】
クラスタにおける各ノードが所定数の収集対象データを収集するように制御し、収集対象データサンプル及びデータ収集プロセスにおけるクラスタにおける全てのノードの負荷状態を取得し、収集対象データサンプルは、所定数の収集対象データを含み、クラスタにおける全てのノードの負荷状態は、データ収集プロセスにおける各ノードのデータ収集レート、性能、応答状態、負荷能力を含む。
【００４７】
ステップＳ１２：前記収集対象データサンプルを評価し、品質評価レポートを取得し、前記品質評価レポートは、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【００４８】
クラスタにおける各ノードが収集した収集対象データサンプルに対してそれぞれデータ品質評価を行うように制御し、前記データ品質評価は、クラスタにおける各ノードが収集した収集対象データサンプルのデータタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。そして、クラスタにおける各ノードデータ品質評価のデータを集計して最終的な品質評価レポートとして整理し、最終的な品質評価レポートは、最終的な収集対象データサンプルに対するデータ基本品質属性の検出及び判定であり、最終的な収集対象データサンプルのデータタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【００４９】
或いは、クラスタにおける各ノードが収集した収集対象データサンプルを取得し、収集された収集対象データサンプルを集計し、集計後の収集対象データサンプルに対してデータ基本品質属性の検出及び判定を行って、品質評価レポートを取得し、前記品質評価レポートは、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【００５０】
ステップＳ１３：前記品質評価レポート及び前記クラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを適応させ、前記クラスタにおける各ノードの収集タスクを割り当てる。
【００５１】
品質評価レポート中のデータタイプ及びデータ伝送レートに基づいてデータ収集パターンを適応させ、品質評価レポート中のデータコード、データ冗長率、データスパース性に基づいてデータ処理モデルを適応させ、品質評価レポート中のデータ伝送速度及びクラスタにおける全てのノードの負荷状態に基づいてクラスタにおける各ノードの収集タスクを割り当てる。
【００５２】
本実施例では、収集対象データサンプルを取得し、収集対象データサンプルに対する前処理によって、品質評価レポート及びクラスタにおける全てのノードの負荷状態を得て、品質評価レポート及びクラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを自動に適応させることで、様々な動的ストリーミングデータ、静的構造化データ、半構造化データ及び非構造化データのような様々な異種データが自体のデータ特性に従って、より合理的で有効なデータ収集及びデータ処理を行うことを実現し、クラスタにおける各ノードが対応する収集タスクに基づいてデータ収集を行うように、収集タスクを合理的に割り当てることで、クラスタにおける全てのノードの負荷バランスを実現し、クラスタ処理能力を向上させる。
【００５３】
選択的に、図３を参照して、データ処理方法の第３の実施例によれば、データ処理方法が提供され、上記の図１に示す実施例に基づき、ステップＳ２０は、下記のステップを含む。
【００５４】
ステップＳ２１：前記クラスタにおける各ノードが対応する収集タスクに基づいて、前記収集パターンでデータ収集を行うように制御する。
【００５５】
クラスタにおける各ノードが割り当てられた対応する収集タスクに基づいて、適応された収集パターンでデータ収集を行うように制御し、収集されたデータを取得する。例えば、動的ストリーミングデータは増量リアルタイム収集パターンでデータ収集を行ってバッファリングし、構造化データは全量非リアルタイム収集パターンでデータ収集を行い、半構造化データ及び非構造化データは全量非リアルタイム収集パターンでデータ収集を行い、非構造化データは、テキストデータ、音声データ、映像データ、画像データに細分化され、異なるタイプの非構造化データの収集方法は異なり、例えば、テキストデータはテキストデータ収集を行い、音声データは音声データ収集を行い、映像データは映像データ収集を行い、画像データは画像データ収集を行う。
【００５６】
ステップＳ２２：前記クラスタにおける各ノードが前記データ処理モデルに基づいて収集されたデータを処理するように制御し、処理後のデータを取得する。
【００５７】
クラスタにおける各ノードが適応されたデータ処理モデルに基づいて自ノードが収集したデータに対してそれぞれデータ処理を行うように制御することで、データ処理を完了し、処理後のデータを取得する。例えば、データ処理モデルに基づいて動的ストリーミングデータに対してデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類の処理ステップを順次行い、データ処理モデルに基づいて構造化データに対してデータ処理モデルに基づいてデータ抽出、異常クリーニングの処理ステップを順次行い、データ処理モデルに基づいて半構造化データ及び非構造化データに対してデータ処理モデルに基づいてデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出の処理ステップを順次行う。非構造化データは、テキストデータ、音声データ、映像データ、画像データに細分化され、異なるタイプの非構造化データの処理方法は異なり、例えば、データ処理モデルに基づいて、テキストデータに対しては、テキストデータ収集、テキスト構造及びコード解析、重複及びロジック異常クリーニング、中国語の単語分割、特徴抽出の処理ステップを行う。
【００５８】
データ処理プロセスにおいて生成された中間データ、メタデータ及びデータ処理後の結果データに対して、異なる収集パターンに応じて適当な記憶媒体を選択してデータ記憶及びバッファリングを行い、即ち、収集対象データの元データのデータ抽出、データ解析及び異常クリーニングが行われた後の結果データ、データ分割が行われた後の結果データ、特徴抽出が行われた後の結果データは、分散ファイルシステム又は分散データベースに記憶され、増量ストリーミングデータの中間データは、メモリデータベースを用いてバッファリングし、結果データは、まずファイルバッファリングを行ってから分散データベースに記憶される。
【００５９】
本実施例では、異なるデータタイプ応じて、自動に適当なデータ収集パターンを用いてデータ収集を行い、適応されたデータ処理モデルに基づいて、異なるタイプのデータに対して特定のデータ処理を行うことで、様々な異種データ自体のデータ特性に基づいて、適切に指向性のあるデータ収集及び処理を自動に行うことを実現し、データ処理効率及び処理後のデータ品質を向上し、処理前のデータが処理されて操作可能な一括データになるようにさせて、データ融合に便利である。
【００６０】
選択的に、図４を参照して、データ処理方法の第４の実施例によれば、データ処理方法が提供され、上記の図１に示す実施例に基づき、ステップＳ３０は、下記のステップを含む。
【００６１】
ステップＳ３１：予め設定のデータ正規化モデルに基づいて、処理後のデータに対してデータ正規化を行う。
【００６２】
予め設定のデータ正規化モデルに基づいて、処理後の異なるデータに対して一括データ正規化を行って、正規化された一括データを取得する。前記一括データ正規化は、一括フォーマット変換、一括符号化、データ補正及び欠落充填を含む。
【００６３】
ステップＳ３２：予め設定のデータ統合モデルに基づいて、処理後のデータに対してデータ統合を行う。
【００６４】
予め設定のデータ統合モデルに基づいて、処理後の異なるデータ又はデータ正規化後のデータに対してデータ統合を行って、一括で一般的な基本的なデータセットを形成する。前記データ統合は、データ関連付け、データ合成、データグループ化、データ集計を含む。
【００６５】
ステップＳ３３：予め設定のデータモデリングモデルに基づいて、処理後のデータに対してデータモデリングを行う。
【００６６】
後続のよりレベルの高いデータ分析、データ発掘の基本的なデータ支援を形成するために、予め設定のデータモデリングモデルに基づいて、処理後の異なるデータ、データ正規化後のデータ、又は、データ統合後のデータに対してモデル設計、インデックス構築を行う。
【００６７】
以上のステップＳ３１、Ｓ３２及びＳ３３に対しては、そのうちのいずれか１つのステップを実行してもよく、或いは、いずれか複数のステップを実行してもよい。
【００６８】
ステップＳ３４：一括融合後のデータを得る。
【００６９】
処理後のデータに対して、データ処理後の状況に応じて、データ正規化の一括融合操作、データ統合の一括融合操作、データモデリングの一括融合操作のうちの１つ又は複数の操作を行い、最後に一括融合後のデータを取得する。ここで、データ正規化、データ統合及びデータモデリングを順次行って一括融合を完了してもよく、データ正規化、データ統合を順次行って一括融合を完了してもよく、或いは、他の一括融合操作を行って一括融合を完了してもよく、実際の一括融合の必要に応じてデータ正規化、データ統合、又はデータモデリングの一括融合操作を行うことができる。
【００７０】
本実施例では、処理後のデータに対してデータ正規化、データ統合、データモデリングの一括融合操作を行うことで、分散で内部連関性のある各異種データに対する自動な関連付けを実現し、データ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、後続のビッグデータ分析、データ価値発掘のために基本的なデータ支援及びデータ品質保証を提供する。
【００７１】
選択的に、図５を参照して、データ処理方法の第５の実施例によれば、データ処理方法が提供され、上記の図１〜図４に示すいずれかの実施例（本実施例では、図１を例とする）に基づき、ステップＳ３０の後、前記方法は、下記のステップをさらに含む。
【００７２】
ステップＳ４０：前記一括融合後のデータを分類記憶する。
【００７３】
異なるタイプのデータに対して分類記憶を行い、一括融合後のデータを分散データウェアハウスに記憶し、特定のデータを専用データベースに記憶する。例えば、交通、気象等の時空間データを時空間データベースに記憶し、ソーシャルネットワーク等のイメージデータをイメージデータベースに記憶する。また、収集された半構造化データ、非構造化データの元データを分散ファイルシステムに記憶し、収集された構造化データの元データを分散データベースに記憶し、半構造化データ及び非構造化データの処理後のデータを分散データベースに記憶し、ストリーミングデータの処理はリアルタイムデータベースで行う。
【００７４】
本実施例では、データ収集パターン及びデータ処理モデルを自動に適応させ、データ処理モデルに基づいて収集されたデータを処理し、処理後のデータに対して一括融合を行い、一括融合後のデータを分類記憶することで、後続データのビッグデータの分類照会及び分析処理が便利になり、最終的なデータの実用性及び呼び出し利便性を向上させる。
【００７５】
選択的に、図６を参照して、データ処理方法の第６の実施例によれば、データ処理方法が提供され、上記の図１に示す実施例に基づき、ステップＳ１０の前に、前記方法は、下記のステップをさらに含む。
【００７６】
ステップＳ５０：データ収集インターフェースを設定する。
【００７７】
異なるデータソースのデータ収集インターフェースに対して一括設定を行い、設定に対して接続テストを行い、接続に成功した後に、設定ファイルの一括配信を行い、クラスタにおける各ノードが異なるデータソースのデータ収集インターフェースに接続するように制御し、設定が成功したデータ収集インターフェースを介してデータ収集を行い、接続テストが失敗した場合に、再びデータ収集インターフェースの設定を行う。
【００７８】
ステップＳ１０における収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うステップは、前記データ収集インターフェースを介して収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うステップを含む。
【００７９】
収集対象データサンプルの収集プロセスにおける各ノードのリソース負荷状態を把握するために、クラスタにおける各ノードがデータ収集インターフェースを介して収集対象データを収集するように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得する。収集対象データサンプルは、所定数の収集対象データを含み、全てのノードの負荷状態は、データ収集プロセスにおける各ノードのデータ収集レート、性能、応答状態、負荷能力を含む。
【００８０】
収集対象データサンプルに対して前処理を行い、収集対象データの基本品質属性を検出して判定し、品質評価レポートを取得する。
【００８１】
ステップＳ２０におけるクラスタにおける各ノードがデータ収集及びデータ処理を行うように制御するステップは、クラスタにおける各ノードが前記データ収集インターフェースを介してデータ収集を行うように制御し、クラスタにおける各ノードが収集されたデータに対してデータ処理を行うように制御するステップを含む。
【００８２】
クラスタにおける各ノードが割り当てられた対応する収集タスクに基づいて、適応された収集パターンでデータ収集インターフェースを介してデータ収集を行うように制御して、収集されたデータを取得する。例えば、動的ストリーミングデータはデータ収集インターフェーを介して増量リアルタイム収集パターンでデータ収集を行い、構造化データはデータ収集インターフェースを介して全量非リアルタイム収集パターンでデータ収集を行い、半構造化データ及び非構造化データはデータ収集インターフェースを介して全量非リアルタイム収集パターンでデータ収集を行う。
【００８３】
クラスタにおける各ノードが適応されたデータ処理モデルで自ノードが収集したデータに対してそれぞれデータ処理を行うように制御することで、様々な異なる異種データが自体のデータ特性に従って対応する収集及び処理を行うことを実現する。例えば、データ処理モデルに基づいて、動的ストリーミングデータに対してデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類の処理ステップを順次行い、データ処理モデルに基づいて、構造化データ順次に対してデータ抽出、異常クリーニングの処理ステップを順次行い、データ処理モデルに基づいて、半構造化データ及び非構造化データに対してデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出の処理ステップを順次行う。
【００８４】
本実施例では、データ収集インターフェースを一括設定し、静的、動的、構造化、半構造化、非構造化の異種データ収集インターフェースの設定を兼ねて、マルチソースデータの収集時におけるデータ収集インターフェースの一括設定を実現し、マルチソース異種データの収集のために準備を整え、したがって、クラスタにおける各ノードがデータ収集インターフェースを介してマルチソース異種データを収集するように制御でき、データ収集レートを向上させる。
【００８５】
選択的に、図７を参照して、データ処理方法の第７の実施例によれば、データ処理方法が提供され、上記の図６に示す実施例に基づき、ステップＳ５０は、下記のステップを含む。
【００８６】
ステップＳ５１：データ収集インターフェース設定パラメーターを取得する。
【００８７】
ユーザが選択できるように、ユーザにプリセットされたインターフェース設定テンプレートを提供し、ユーザが選択したインターフェース設定テンプレートに基づいて、テンプレート中の設定パラメーターを取得し、或いは、
ユーザにプリセットされたインターフェース設定テンプレートを提供し、ユーザがインターフェース設定テンプレートを選択した後に、実際の状況に応じて、テンプレート中の設定パラメーターを変更でき、或いは、
ユーザがデータ収集インターフェース設定パラメーターをカスタムでセットし、実際の必要に応じて柔軟に設定でき、
前記プリセットされたインターフェース設定テンプレートは、ファイルシステムインターフェース設定テンプレート、データベースインターフェース設定テンプレート及びネットワークインターフェース設定テンプレートを含む。
【００８８】
データ収集インターフェース設定パラメーターは、例えば、ネットワークアドレス、ポート番号及び経路のようなデータ収集インターフェースのキーインターフェースパラメーターを含む。
【００８９】
ステップＳ５２：前記設定パラメーターに基づいて、前記データ収集インターフェースの接続テストを行う。
【００９０】
取得されたデータ収集インターフェース設定パラメーターに基づいて、クラスタにおけるマスタノードがデータ収集インターフェースに接続するように制御し、取得された設定パラメーターに基づいて、データ収集インターフェースに成功的に接続できるか否かをテストする。取得された設定パラメーターに基づいてデータ収集インターフェースに成功的に接続された場合に、接続テストが成功し、取得された設定パラメーターに基づいてデータ収集インターフェースに成功的に接続されなかった場合に、接続テストが成功しない。
【００９１】
ステップＳ５３：前記接続テストが成功した場合に、前記設定パラメーターが含まれているデータ収集インターフェース設定ファイルをクラスタにおける他のノードに配信し、前記クラスタにおける各ノードを設定し、前記クラスタにおける各ノードが前記データ収集インターフェースに接続するように制御し、前記接続テストが成功しなかった場合に、ステップＳ５１へ進む。
【００９２】
接続テストが成功した場合に、取得されたデータ収集インターフェース設定パラメーターをデータ収集インターフェースの設定ファイルとして固定化し、設定ファイルをクラスタにおける他のノードに配信し、クラスタにおける各ノードが取得されたデータ収集インターフェース設定パラメーターに基づいてデータ収集インターフェースに接続するように制御する。
【００９３】
接続テストが成功しなかった場合に、ユーザにデータ収集インターフェースに成功的に接続されなかったことを通知し、ユーザによりインターフェース設定テンプレートを交換し、或いは、テンプレート中のデータ収集インターフェース設定パラメーターを変更し、或いは、データ収集インターフェース設定パラメーターをカスタムで設定し、再びデータ収集インターフェース設定パラメーターを取得する。
【００９４】
本実施例では、データ収集インターフェースに接続するために、データ収集インターフェース設定パラメーターを取得し、接続テストを行って、正確で利用可能なデータ収集インターフェース設定パラメーターを取得することで、データ収集インターフェースの設定を完了し、マルチソースデータ収集インターフェースに対する一括自動化設定及び接続を実現し、データ収集のために準備及び支援を整え、データ収集及び処理効率を向上させる。
【００９５】
図８を参照して、データ処理装置の第１の実施例によれば、データ処理装置が提供され、前記データ処理装置は、アダプタモジュール１００、データ処理モジュール２００及び一括融合モジュール３００を備える。
【００９６】
アダプタモジュール１００は、収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るように構成される。
【００９７】
収集対象データサンプル収集プロセスにおける各ノードのリソース負荷状態を把握するために、アダプタモジュール１００は、クラスタにおける各ノードが収集対象データを収集するように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得し、収集対象データサンプルは、所定数の収集対象データを含み、クラスタにおける全てのノードの負荷状態は、データ収集プロセスにおける各ノードのデータ収集レート、性能、応答状態、負荷能力を含む。
【００９８】
アダプタモジュール１００は、収集対象データサンプルに対して前処理を行い、収集対象データの基本品質属性を検出して判定し、品質評価レポートを取得する。
【００９９】
品質評価レポート及びクラスタにおける全てのノードの負荷状態に基づいて、アダプタモジュール１００は、データ収集パターンを決定し、データ処理モデルを適応させ、クラスタにおける各ノードの収集タスクを割り当てる。
【０１００】
異なるデータタイプに応じて異なるデータ収集パターンを適応させ、異なるデータ収集パターンは、全量、増量、非リアルタイム、リアルタイムを含み、例えば、動的ストリーミングデータには増量リアルタイム収集パターンを適応させ、構造化データには全量非リアルタイム収集パターンを適応させ、半構造化データ及び非構造化データには全量非リアルタイム収集パターンを適応させ、データ収集パターンは、他の収集パターンであってもよく、実際の必要に応じて柔軟に設定できる。
【０１０１】
異なるデータタイプに応じてデータ処理モデルを適応させ、例えば、ストリーミングデータ、バッチデータ、構造化データ、半構造化データ及び非構造化データのような異なるデータタイプに対して異なるデータ処理を行い、プリセットデータ処理モデルは、ストリーミングデータ、非構造化画像データ、非構造化音声映像データ、非構造化テキストデータ、半構造化データ、構造化データの処理に適用され、直接に適応して呼び出すことができ、モデルの多重化及び補正をサポートする。
【０１０２】
データ処理モデルは、動的ストリーミングデータのデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類のための順次処理と、構造化データのデータ抽出、異常クリーニングのための順次処理と、半構造化データ及び非構造化データのデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出のための順次処理と、を含む。なお、データ処理モデルを直接に適応させてもよく、データ処理モデルを微調整して使用してもよく、或いは、具体的な処理の必要に応じて、データ処理及びモデルを柔軟にセットしてもよい。
【０１０３】
クラスタにおける各ノードの収集タスクを割り当てることによって、クラスタにおける各ノードの負荷状態に対する動的な調整を実現し、システムにおける全てのノードの負荷が不均衡な現象を解消又は減少し、データ収集及びデータ処理効率を向上させる。
【０１０４】
データ処理モジュール２００は、前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するように構成される。
【０１０５】
データ処理モジュール２００は、クラスタにおける各ノードが割り当てられた対応する収集タスクに基づいて、適応された収集パターンでデータ収集を行うように制御して、収集されたデータを取得する。例えば、動的ストリーミングデータは増量リアルタイム収集パターンでデータ収集を行い、構造化データは全量非リアルタイム収集パターンでデータ収集を行い、半構造化データ及び非構造化データは全量非リアルタイム収集パターンでデータ収集を行う。
【０１０６】
データ処理モジュール２００は、クラスタにおける各ノードが適応されたデータ処理モデルで自ノードが収集したデータに対してデータ処理を行うように制御することで、様々な異なる異種データが自体のデータ特性に従って対応する収集及び処理を行うことを実現し、処理後のデータを取得する。例えば、データ処理モデルに基づいて、動的ストリーミングデータに対してデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類の処理を順次行い、データ処理モデルに基づいて、構造化データに対してデータ抽出、異常クリーニングの処理を順次行い、データ処理モデルに基づいて、半構造化データ及び非構造化データに対してデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出の処理を順次行う。
【０１０７】
一括融合モジュール３００は、前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するように構成される。
【０１０８】
一括融合モジュール３００は、収集及び処理後のデータに対してデータ正規化、データ統合、データモデリングを行い、ここで、データ正規化及びデータ統合は、内部連関性のあるデータに対して行い、データモデリングは、データモデル設計、データインデックス構築機能を提供し、分散で内部連関性のある様々なデータを関連付けて、一括融合後のデータを取得する。
【０１０９】
本実施例では、アダプタモジュール１００は、異種データに対してサンプルに基づいて分析し、データ収集パターン及びデータ処理モデルを自動に適応させ、データ処理モジュール２００は、データを収集してデータを処理し、クラスタにおける全てのノードの負荷バランスを調整し、一括融合モジュール３００は、内部連関性のある様々な異種データに対して一括融合を行うことで、従来技術におけるビッグデータ処理効率が低く、融合度が低い問題を有効に解決し、データ処理効率及びデータ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、ビッグデータ分析及び価値発掘のためにデータ品質保障を提供する。
【０１１０】
選択的に、図９を参照して、データ処理装置の第２の実施例によれば、データ処理装置が提供され、上記の図８に示す実施例に基づき、アダプタモジュール１００は、サンプル収集ユニット１１０、データ評価ユニット１２０及びアダプタユニット１３０を備える。
【０１１１】
サンプル収集ユニット１１０は、前記クラスタにおける各ノードが収集対象データを読み取るように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得するように構成される。
【０１１２】
サンプル収集ユニット１１０は、クラスタにおける各ノードが所定数の収集対象データを収集するように制御し、収集対象データサンプル及びデータ収集プロセスにおけるクラスタにおける全てのノードの負荷状態を取得し、収集対象データサンプルは、所定数の収集対象データを含み、クラスタにおける全てのノードの負荷状態は、データ収集プロセスにおける各ノードのデータ収集レート、性能、応答状態、負荷能力を含む。
【０１１３】
データ評価ユニット１２０は、収集対象データサンプルを評価し、品質評価レポートを取得するように構成され、前記品質評価レポートは、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【０１１４】
データ評価ユニット１２０は、クラスタにおける各ノードが収集した収集対象データサンプルに対してそれぞれデータ品質評価を行うように制御し、前記データ品質は、クラスタにおける各ノードが収集した収集対象データサンプルのデータタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。そして、データ評価ユニット１２０は、クラスタにおける全てのノードのデータ品質評価データを集計して最終的な品質評価レポートとして整理し、最終的な品質評価レポートは、最終的な収集対象データサンプルのデータ基本品質属性に対する検出及び判定であり、前記データ基本品質属性は、最終的な収集対象データサンプルのデータタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【０１１５】
或いは、データ評価ユニット１２０は、クラスタにおける各ノードが収集した収集対象データサンプルを取得し、収集された収集対象データサンプルを集計し、集計後の収集対象データサンプルに対してデータ基本品質属性の検出及び判定を行って、品質評価レポートを取得し、前記データ基本品質属性は、データタイプ、データコード、データ冗長率、データスパース性及びデータ伝送速度を含む。
【０１１６】
アダプタユニット１３０は、前記品質評価レポート及び前記クラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを適応させ、前記クラスタにおける各ノードの収集タスクを割り当てるように構成される。
【０１１７】
アダプタユニット１３０は、品質評価レポート中のデータタイプ及びデータ伝送レートに基づいてデータ収集パターンを適応させ、品質評価レポート中のデータコード、データ冗長率、データスパース性に基づいてデータ処理モデルを適応させ、品質評価レポート中のデータ伝送速度及びクラスタにおける全てのノードの負荷状態に基づいてクラスタにおける各ノードの収集タスクを割り当てる。
【０１１８】
本実施例では、サンプル収集ユニット１１０は、収集対象データサンプルを取得し、データ評価ユニット１２０は、収集対象データサンプルに対する前処理によって、品質評価レポート及びクラスタにおける全てのノードの負荷状態を得て、アダプタユニット１３０は、品質評価レポート及びクラスタにおける全てのノードの負荷状態に基づいて、データ収集パターン及びデータ処理モデルを自動に適応させることで、様々な動的ストリーミングデータ、静的構造化データ、半構造化データ及び非構造化データのような様々な異種データが自体のデータ特性に従って、より合理的で有効なデータ収集及びデータ処理を行うことを実現し、クラスタにおける各ノードが対応する収集タスクに基づいてデータ収集を行うように、収集タスクを合理的に割り当てることで、クラスタにおける全てのノードの負荷バランスを実現し、クラスタ処理能力を向上させる。
【０１１９】
選択的に、図１０を参照して、データ処理装置の第３の実施例によれば、データ処理装置が提供され、上記の図８に示す実施例に基づき、データ処理モジュール２００は、データ収集ユニット２１０及びデータ処理ユニット２２０を備える。
【０１２０】
データ収集ユニット２１０は、前記クラスタにおける各ノードが対応する収集タスクに基づいて、前記収集パターンでデータ収集を行うように制御するように構成される。
【０１２１】
データ収集ユニット２１０は、クラスタにおける各ノードが割り当てられた対応する自ノードの収集タスクに基づいて、適応された収集パターンでデータ収集を行うように制御し、収集されたデータを取得する。例えば、動的ストリーミングデータは増量リアルタイム収集パターンでデータ収集及びバッファリングを行い、構造化データは全量非リアルタイム収集パターンでデータ収集を行い、半構造化データ及び非構造化データは全量非リアルタイム収集パターンでデータ収集を行い、非構造化データは、テキストデータ、音声データ、映像データ、画像データに細分化され、異なるタイプの非構造化データの収集方法は異なり、例えば、テキストデータはテキストデータ収集を行い、音声データは音声データ収集を行い、映像データは映像データ収集を行い、画像データは画像データ収集を行う。
【０１２２】
データ処理ユニット２２０は、前記クラスタにおける各ノードが前記データ処理モデルに基づいて前記収集されたデータを処理するように制御し、処理後のデータを取得するように構成される。
【０１２３】
データ処理ユニット２２０は、クラスタにおける各ノードが適応されたデータ処理モデルに基づいて、自ノードが収集したデータに対してそれぞれデータ処理を行うように制御することで、データ処理を完了し、処理後のデータを取得する。例えば、データ処理モデルに基づいて、動的ストリーミングデータに対してデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類の処理ステップを順次行い、データ処理モデルに基づいて、構造化データに対してデータ処理モデルに基づいてデータ抽出、異常クリーニングの処理ステップを順次行い、データ処理モデルに基づいて、半構造化データ及び非構造化データに対してデータ処理モデルに基づいてデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出の処理ステップを順次行う。非構造化データは、テキストデータ、音声データ、映像データ、画像データに細分化され、異なるタイプの非構造化データの処理方法は異なり、例えば、データ処理モデルに基づいて、テキストデータに対しては、テキストデータ収集、テキスト構造及びコード解析、重複及びロジック異常クリーニング、中国語の単語分割、特徴抽出の処理を行う。
【０１２４】
データ処理プロセスにおいて生成された中間データ、メタデータ及びデータ処理後の結果データに対して、データ処理ユニット２２０は、異なる収集パターンに応じて適当な記憶媒体を選択してデータ記憶及びバッファリングを行い、即ち、収集対象データの元データのデータ抽出、データ解析及び異常クリーニングが行われた後の結果データ、データ分割が行われた後の結果データ、特徴抽出が行われた後の結果データは、分散ファイルシステム又は分散データベースに記憶され、増量ストリーミングデータの中間データは、メモリデータベースを用いてバッファリングし、結果データは、まずファイルバッファリングを行ってから分散データベースに記憶される。
【０１２５】
本実施例では、データ収集ユニット２１０は、異なるデータタイプに応じて、自動に適当なデータ収集パターンを用いてデータ収集を行い、データ処理ユニット２２０は、適応されたデータ処理モデルに基づいて、異なるタイプのデータに対して特定のデータ処理を行うことで、様々な異種データ自体のデータ特性に基づいて、適切に指向性のあるデータ収集及び処理を自動に行うことを実現し、データ処理効率及び処理後のデータ品質を向上し、処理前のデータが処理されて操作可能な一括データになるようにさせて、データ融合に便利である。
【０１２６】
選択的に、図１１を参照して、データ処理装置の第４の実施例によれば、データ処理装置が提供され、上記の図８に示す実施例に基づき、一括融合モジュール３００は、データ取得ユニット３４０と、データ正規化ユニット３１０、データ統合ユニット３２０、データモデリングユニット３３０のうちの１つ又は複数のユニットと、を備える。
【０１２７】
データ正規化ユニット３１０は、予め設定のデータ正規化モデルに基づいて、処理後のデータに対してデータ正規化を行うように構成される。
【０１２８】
予め設定のデータ正規化モデルに基づいて、データ正規化ユニット３１０は、処理後の異なるデータに対して一括データ正規化を行って、正規化された一括データを取得する。前記一括データ正規化は、一括フォーマット変換、一括符号化、データ補正及び欠落充填を含む。
【０１２９】
データ統合ユニット３２０は、予め設定のデータ統合モデルに基づいて、処理後のデータに対してデータ統合を行うように構成される。
【０１３０】
予め設定のデータ統合モデルに基づいて、データ統合ユニット３２０は、処理後の異なるデータ又はデータ正規化後のデータに対してデータ統合を行って、一括で一般的な基本的なデータセットを形成する。前記データ統合は、データ関連付け、データ合成、データグループ化、データ集計を含む。
【０１３１】
データモデリングユニット３３０は、予め設定のデータモデリングモデルに基づいて、処理後のデータに対してデータモデリングを行うように構成される。
【０１３２】
後続のよりレベルの高いデータ分析、データ発掘の基本的なデータ支援を形成するために、予め設定のデータモデリングモデルに基づいて、データモデリングユニット３３０は、処理後の異なるデータ、データ正規化後のデータ、又は、データ統合後のデータに対してモデル設計、インデックス構築を行う。
【０１３３】
データ取得ユニット３４０は、一括融合後のデータを取得するように構成される。
【０１３４】
処理後のデータに対して、データ処理後の状況に応じて、データ取得ユニット３４０は、データ正規化ユニット３１０がデータ正規化の一括融合操作を行い、データ統合ユニット３２０がデータ統合の一括融合操作を行い、データモデリングユニット３３０がデータモデリングの一括融合操作を行うように制御して、データ取得ユニット３４０により一括融合後のデータを取得する。ここで、データ正規化、データ統合及びデータモデリングを順次行って一括融合を完了してもよく、データ正規化、データ統合を順次行って一括融合を完了してもよく、或いは、他の一括融合操作を行って一括融合を完了してもよく、実際の一括融合の必要に応じて、データ正規化、データ統合、又はデータモデリングの一括融合操作を行うことができる。
【０１３５】
本実施例では、データ取得ユニット３４０は、データ正規化ユニット３１０、データ統合ユニット３２０及びデータモデリングユニット３３０が処理後のデータに対して一括融合を行うように制御することで、分散で内部連関性のある様々な異種データに対する自動な関連付けを実現し、データ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、後続のビッグデータ分析、データ価値発掘のために基本的なデータ支援及びデータ品質保証を提供する。
【０１３６】
選択的に、図１２を参照して、データ処理装置の第５の実施例によれば、データ処理装置が提供され、上記の図８〜図１１に示すいずれかの実施例（本実施例では、図８を例とする）に基づき、前記データ処理装置は、分類記憶モジュール４００をさらに備える。
【０１３７】
分類記憶モジュール４００は、前記一括融合後のデータを分類記憶するように構成される。
【０１３８】
分類記憶モジュール４００は、異なるタイプのデータを分類記憶し、一括融合後のデータを分散データウェアハウスに記憶し、特定のデータを専用データベースに記憶する。例えば、分類記憶モジュール４００は、交通、気象等の時空間データを時空間データベースに記憶し、分類記憶モジュール４００は、ソーシャルネットワーク等のイメージデータをイメージデータベースに記憶する。分類記憶モジュール４００は、収集された半構造化データ、非構造化データの元データを分散ファイルシステムに記憶し、分類記憶モジュール４００は、収集された構造化データの元データを分散データベースに記憶し、分類記憶モジュール４００は、半構造化データ及び非構造化データを処理後のデータを分散データベースに記憶し、分類記憶モジュール４００は、ストリーミングデータの処理をリアルタイムデータベースで行う。
【０１３９】
本実施例では、アダプタモジュール１００は、データ収集パターン及びデータ処理モデルを自動に適応させ、データ処理モジュール２００は、データ処理モデルに基づいて収集されたデータを処理し、一括融合モジュール３００は、処理後のデータに対して一括融合を行い、分類記憶モジュール４００は、一括融合後のデータを分類記憶することで、後続データのビッグデータの分類照会及び分析処理が便利になり、最終的なデータの実用性及び呼び出し利便性を向上させる。
【０１４０】
選択的に、図１３を参照して、データ処理装置の第６の実施例によれば、データ処理装置が提供され、上記の図８に示す実施例に基づき、前記データ処理装置は、インターフェース設定モジュール５００をさらに備える。
【０１４１】
インターフェース設定モジュール５００は、データ収集インターフェースを設定するように構成される。
【０１４２】
インターフェース設定モジュール５００は、異なるデータソースのデータ収集インターフェースに対して一括設定を行い、設定に対して接続テストを行い、接続が成功した後に、インターフェース設定モジュール５００は、設定ファイルの一括配信を行い、クラスタにおける各ノードが異なるデータソースのデータ収集インターフェースに接続するように制御し、接続テストが失敗した場合に、インターフェース設定モジュール５００は、再びデータ収集インターフェースの設定を行う。
【０１４３】
前記アダプタモジュール１００により収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うことは、前記アダプタモジュール１００により前記データ収集インターフェースを介して収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行うことを含む。
【０１４４】
収集対象データサンプルの収集プロセスにおける各ノードのリソース負荷状態を把握するために、アダプタモジュール１００は、クラスタにおける各ノードがデータ収集インターフェースを介して収集対象データを収集するように制御し、収集対象データサンプル及びクラスタにおける全てのノードの負荷状態を取得する。収集対象データサンプルは、所定数の収集対象データを含み、クラスタにおける全てのノードの負荷状態は、データ収集プロセスにおける各ノードのデータ収集レート、性能、応答状態、負荷能力を含む。
【０１４５】
アダプタモジュール１００は、収集対象データサンプルに対して前処理を行い、収集対象データの基本品質属性を検出して判定し、品質評価レポートを取得する。
【０１４６】
前記データ処理モジュール２００によりクラスタにおける各ノードがデータ収集及びデータ処理を行うように制御することは、前記データ処理モジュール２００によりクラスタにおける各ノードが前記データ収集インターフェースを介してデータ収集を行うように制御し、クラスタにおける各ノードが収集されたデータに対してデータ処理を行うように制御することを含む。
【０１４７】
データ処理モジュール２００は、クラスタにおける各ノードが割り当てられた対応する収集タスクに基づいて、適応された収集パターンでデータ収集インターフェースを介してデータ収集を行うように制御し、収集されたデータを取得する。例えば、動的ストリーミングデータはデータ収集インターフェーを介して増量リアルタイム収集パターンでデータ収集を行い、構造化データはデータ収集インターフェースを介して全量非リアルタイム収集パターンでデータ収集を行い、半構造化データ及び非構造化データはデータ収集インターフェースを介して全量非リアルタイム収集パターンでデータ収集を行う。
【０１４８】
データ処理モジュール２００は、クラスタにおける各ノードが適応されたデータ処理モデルで自ノードが収集したデータに対してデータ処理を行うように制御することで、様々な異なる異種データに対して自体のデータ特性に従って対応する収集及び処理を行うことを実現する。例えば、データ処理モデルに基づいて、動的ストリーミングデータに対してデータ抽出、データフィルタリング、データ関連付け、データ変換、データ分類の処理を順次行い、データ処理モデルに基づいて、構造化データに対してデータ抽出、異常クリーニングの処理を順次行い、データ処理モデルに基づいて、半構造化データ及び非構造化データに対してデータ抽出、データ解析、異常クリーニング、データ分割、特徴抽出の処理を順次行う。
【０１４９】
本実施例では、インターフェース設定モジュール５００は、データ収集インターフェースを一括設定し、静的、動的、構造化、半構造化、非構造化の異種データ収集インターフェースの設定を兼ねて、マルチソースデータ収集時におけるデータ収集インターフェースの一括設定を実現し、マルチソース異種データの収集のために準備を整え、したがって、アダプタモジュール１００及びデータ処理モジュール２００は、クラスタにおける全てのノードがデータ収集インターフェースを介してマルチソース異種データを収集するように制御でき、データ収集レートを向上させる。
【０１５０】
選択的に、図１４を参照して、データ処理装置の第７の実施例によれば、データ処理装置が提供され、上記の図１３に示す実施例に基づき、インターフェース設定モジュール５００は、パラメーター取得ユニット５１０、接続テストユニット５２０及びファイル配信ユニット５３０を備える。
【０１５１】
パラメーター取得ユニット５１０は、データ収集インターフェース設定パラメーターを取得するように構成される。
【０１５２】
パラメーター取得ユニット５１０は、ユーザが選択できるように、ユーザにプリセットされたインターフェース設定テンプレートを提供し、ユーザが選択したインターフェース設定テンプレートに基づいて、テンプレート中の設定パラメーターを取得し、或いは、
パラメーター取得ユニット５１０は、ユーザにプリセットされたインターフェース設定テンプレートを提供し、ユーザがインターフェース設定テンプレートを選択した後に、実際の状況に応じて、テンプレート中の設定パラメーターを変更でき、或いは、
ユーザがデータ収集インターフェース設定パラメーターをカスタムでセットし、パラメーター取得ユニット５１０は、ユーザがカスタムでセットしたデータ収集インターフェース設定パラメーターを取得し、
前記プリセットされたインターフェース設定テンプレートは、ファイルシステムインターフェース設定テンプレート、データベースインターフェース設定テンプレート及びネットワークインターフェース設定テンプレートを含む。
【０１５３】
データ収集インターフェース設定パラメーターは、例えば、ネットワークアドレス、ポート番号及び経路のようなデータ収集インターフェースのキーインターフェースパラメーターを含む。
【０１５４】
接続テストユニット５２０は、前記設定パラメーターに基づいて、前記データ収集インターフェースの接続テストを行うように構成される。
【０１５５】
接続テストユニット５２０は、取得したデータ収集インターフェース設定パラメーターに基づいて、クラスタにおけるマスタノードがデータ収集インターフェースに接続するように制御し、取得した設定パラメーターに基づいてデータ収集インターフェースに成功的に接続できるか否かをテストし、取得した設定パラメーターに基づいてデータ収集インターフェースに成功的に接続した場合に、接続テストユニット５２０は接続テストが成功したことを確認し、取得した設定パラメーターに基づいてデータ収集インターフェースに成功的に接続されなかった場合に、接続テストユニット５２０は接続テストが成功しなかったことを確認する。
【０１５６】
ファイル配信ユニット５３０は、前記接続テストが成功した場合に、前記設定パラメーターが含まれているデータ収集インターフェース設定ファイルをクラスタにおける他のノードに配信し、前記クラスタにおける各ノードを設定し、前記クラスタにおける各ノードが前記データ収集インターフェースに接続するように制御するように構成される。
【０１５７】
接続テストが成功した場合に、ファイル配信ユニット５３０は、取得したデータ収集インターフェース設定パラメーターをデータ収集インターフェースの設定ファイルとして固定化し、設定ファイルをクラスタにおける他のノードに配信し、クラスタにおける各ノードが取得したデータ収集インターフェース設定パラメーターに基づいてデータ収集インターフェースに接続するように制御する。
【０１５８】
前記パラメーター取得ユニット５１０は、さらに、前記接続テストが成功しなかった場合に、前記データ収集インターフェース設定パラメーターを取得するように構成される。
【０１５９】
接続テストが成功しなかった場合に、パラメーター取得ユニット５１０は、ユーザにデータ収集インターフェースに成功的に接続されなかったことを通知し、ユーザによりインターフェース設定テンプレートを交換し、或いは、テンプレート中のデータ収集インターフェース設定パラメーターを変更し、或いは、データ収集インターフェース設定パラメーターをカスタムで設定し、パラメーター取得ユニット５１０は再びデータ収集インターフェース設定パラメーターを取得する。
【０１６０】
本実施例では、パラメーター取得ユニット５１０によりデータ収集インターフェース設定パラメーターを取得し、接続テストユニット５２０により接続テストを行って、正確で利用可能なデータ収集インターフェース設定パラメーターを取得し、ファイル配信ユニット５３０によりデータ収集インターフェースに接続することで、データ収集インターフェースの設定を完了し、マルチソースデータ収集インターフェースに対する一括自動化設定及び接続を実現し、データ収集のために準備及び支援を整え、データ収集及び処理効率を向上させる。
【０１６１】
図１５を参照して、データ処理システムの第１の実施例によれば、データ処理システムが提供され、前記システムは、アダプタプロセッサーＡ、データプロセッサーＢ及びデータ一括融合プロセッサーＣを備える。
【０１６２】
アダプタプロセッサーＡは、収集対象データサンプルを取得し、前記収集対象データサンプルに対して前処理を行って、データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクを得るように構成される。
【０１６３】
アダプタプロセッサーＡは、サンプル収集モジュールＡ１、データ評価モジュールＡ２及びアダプタモジュールＡ３を備える。
【０１６４】
サンプル収集モジュールＡ１は、収集対象データサンプルを取得するように構成され、データ評価モジュールＡ２は、前記収集対象データサンプルに対して前処理を行うように構成され、アダプタモジュールＡ３は、データ収集パターン及びデータ処理モデルを適応させ、クラスタにおける各ノードの収集タスクを割り当てるように構成される。
【０１６５】
データプロセッサーＢは、前記データ収集パターン、データ処理モデル及びクラスタにおける各ノードの収集タスクに基づいて、クラスタにおける各ノードがデータ収集及びデータ処理を行うように制御し、処理後のデータを取得するように構成される。
【０１６６】
データプロセッサーＢは、データ収集モジュールＢ１及びデータ処理モジュールＢ２を備える。
【０１６７】
データ収集モジュールＢ１は、適応されたデータ収集パターン及びクラスタにおける各ノードの収集タスクに基づいてデータを収集するように構成され、データ処理モジュールＢ２は、適応されたデータ処理モデルに基づいて収集されたデータに対してデータ処理を行い、処理後のデータを取得するように構成される。
【０１６８】
データ一括融合プロセッサーＣは、前記処理後のデータに対して一括融合を行い、一括融合後のデータを取得するように構成される。
【０１６９】
データ一括融合プロセッサーＣは、データ正規化モジュールＣ１、データ統合モジュールＣ２、データモデリングモジュールＣ３及びデータ取得モジュールＣ４を備える。
【０１７０】
データ正規化モジュールＣ１は、予め設定のデータ正規化モデルに基づいて、処理後のデータに対してデータ正規化を行うように構成され、データ統合モジュールＣ２は、予め設定のデータ統合モデルに基づいて、処理後のデータに対してデータ統合を行うように構成され、データモデリングモジュールＣ３は、予め設定のデータモデリングモデルに基づいて、処理後のデータに対してデータモデリングを行うように構成され、データ取得モジュールＣ４は、正規化モジュールＣ１、データ統合モジュールＣ２及びデータモデリングモジュールＣ３に基づいてデータ一括融合を行うように制御し、一括融合後のデータを取得するように構成される。
【０１７１】
本実施例では、アダプタプロセッサーＡが異種データに対してサンプルに基づいて分析し、データ収集パターン及びデータ処理モデルを自動に適応させ、データプロセッサーＢがデータを収集してデータを処理し、クラスタにおける全てのノードの負荷バランスを調整し、データ一括融合プロセッサーＣが内部連関性のある様々な異種データに対して一括融合を行うことによって、従来技術におけるビッグデータ処理効率が低く、融合度が低い問題を有効に解決し、データ処理効率及びデータ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、ビッグデータ分析及び価値発掘のためにデータ品質保障を提供する。
【０１７２】
選択的に、図１６を参照して、データ処理システムの第２の実施例によれば、データ処理システムが提供され、上記の図１５に示す実施例に基づき、前記システムは、データ収集インターフェースアダプタＤ、データ分類メモリＥ及びシステムマネージャＦをさらに備える。
【０１７３】
データ収集インターフェースアダプタＤは、データ収集インターフェースを設定するように構成される。
【０１７４】
データ収集インターフェースアダプタＤは、パラメーター取得モジュールＤ１、接続テストモジュールＤ２及びファイル配信モジュールＤ３を備える。
【０１７５】
パラメーター取得モジュールＤ１は、データ収集インターフェース設定パラメーターを取得するように構成され、接続テストモジュールＤ２は、取得したデータ収集インターフェース設定パラメーターに基づいて、データ収集インターフェースに接続できるか否かをテストするように構成され、ファイル配信モジュールＤ３は、接続テストが成功した場合に、前記設定パラメーターが含まれているデータ収集インターフェース設定ファイルをクラスタにおける他のノードに配信し、前記クラスタにおける全てのノードを設定し、前記クラスタにおける全てのノードがデータ収集インターフェースに接続するように制御するように構成される。
【０１７６】
データ分類メモリＥは、前記一括融合後のデータを分類記憶するように構成される。
【０１７７】
データ分類メモリＥは、分散ファイルシステムＥ１、分散データベースＥ２、分散データウェアハウスＥ３及び専用データベースＥ４を備える。
【０１７８】
データ分類メモリＥは、一括融合後のデータを分散データウェアハウスＥ３に記憶し、特定のデータを専用データベースＥ４に記憶する。例えば、交通、気象等の時空間データを専用データベースＥ４に記憶し、ソーシャルネットワーク等のイメージデータを専用データベースＥ４に記憶する。
【０１７９】
データ分類メモリＥは収集された半構造化データ、非構造化データの元データを分散ファイルシステムＥ１に記憶し、収集された構造化データの元データを分散データベースＥ２に記憶し、半構造化データ及び非構造化データを処理後のデータを分散データベースＥ２に記憶し、ストリーミングデータの処理を専用データベースＥ４で行う。
【０１８０】
システムマネージャＦは、データ管理モジュールＦ１、リソース管理モジュールＦ２、モデル管理モジュールＦ３及びプロセス監視モジュールＦ４を備える。
【０１８１】
データ管理モジュールＦ１は、前記データ収集インターフェース設定ファイル、データ収集インターフェースの接続テスト結果、収集対象データサンプル、品質評価レポート及びクラスタにおける全てのノードの負荷状態を管理するように構成される。
【０１８２】
データ管理モジュールＦ１は、データ収集インターフェース設定ファイルを記憶して配信し、データ収集インターフェースの接続テスト結果を記憶してユーザにフィードバックし、収集対象データサンプルを記憶又はバッファリングし、収集対象データサンプルを評価し、品質評価レポートを取得して記憶し、クラスタにおける全てのノードの負荷状態を取得して記憶し、他のモジュール照会や呼び出しに便利である。
【０１８３】
リソース管理モジュールＦ２は、前記収集対象データサンプル、データ収集、データ処理、データ一括融合及びデータ記憶、クラスタリソース消費状態を管理し、前記クラスタにおける全てのノードの負荷バランスを制御するように構成される。
【０１８４】
リソース管理モジュールＦ２は、収集対象データサンプルの収集プロセス、データ品質の評価プロセス、データ収集プロセス、データ処理プロセス、データ一括融合プロセス及びデータ記憶プロセスにおけるクラスタリソースの消費状態に基づいて、クラスタにおける全てのノードの負荷バランスを制御するように構成される。
【０１８５】
モデル管理モジュールＦ３は、データ収集インターフェース設定テンプレート、データ評価テンプレート、データ収集テンプレート、データ処理モデル、データ正規化モデル、データ統合モデル及びデータモデリングモデルを管理するように構成される。
【０１８６】
モデル管理モジュールＦ３は、データ収集インターフェース設定テンプレートの記憶及び変更、データ評価テンプレートの管理、データ収集テンプレートの記憶、適応、呼び出し及び変更、データ処理モデルの記憶、適応、呼び出し及び変更、データ正規化モデルの記憶及び呼び出し、データ統合モデルの記憶及び呼び出し、データモデリングモデルの構築、記憶及び呼び出しを管理するように構成される。
【０１８７】
プロセス監視モジュールＦ４は、データ収集インターフェースの設定、収集対象データサンプルの読み取り、データ評価、データ処理、データ一括融合及びデータ記憶プロセスを監視し、データ収集インターフェースの設定、収集対象データサンプルの読み取り、データ評価、データ処理、データ一括融合及びデータ記憶プロセスにおける完了状態、中間エラー及び異常を記録して処理するように構成される。
【０１８８】
プロセス監視モジュールＦ４は、データ処理システムの各モジュールの運転状態、リソース使用状態を監視し、データ処理システムの各モジュールの運転時のエラー、異常を記録して処理するように構成される。
【０１８９】
本実施例では、システムマネージャＦは、アダプタプロセッサーＡ、データプロセッサーＢ、データ一括融合プロセッサーＣ、データ収集インターフェースアダプタＤ及びデータ分類メモリＥの運転状態、データ処理状態及び負荷状態を監視し、各モジュールの運転に対してプロセス制御を行い、データ処理システムにおける各種類のデータを集中的に管理することで、マルチソースデータインターフェースの一括設定、異種データ収集方法及び処理モデルの自動適応、異種データに対する一括融合及び分類記憶を実現し、データ処理効率及び融合度を向上し、最終的なデータの利用価値及び実用性を向上し、ビッグデータ分析及び価値発掘のためにデータ品質保障を提供する。
【０１９０】
以上は、本発明の選択可能な実施例にすぎず、本発明の明細書及び図面の内容に基づいてなされた等価構成又は等価フローの変換、又は、他の関連の技術分野に直接又は間接に運用されるものは、いずれも同様に本発明の特許請求の範囲内に含まれる。
【０１９１】
当業者であれば、上記方法の全部又は一部のステップが、プログラムが関連なハードウェア（例えば、プロセッサー）を指令することにより完成されることができ、上記プログラムが、例えば、読み取り専用メモリ（ＲＯＭ）、磁気ディスク又は光ディスク等のコンピューター読み取り可能な記録媒体に記憶されることができることは理解できる。選択的に、上記実施例の全部又は一部のステップは、１つ又は複数の集積回路を用いて実現することもできる。相応的に、上記実施例の各モジュール／ユニットは、集積回路によって対応する機能を実現するように、ハードウェアによって実現してもよく、或いは、プロセッサーによりメモリに記憶されたプログラム／命令を実行することで対応する機能を実現するように、ソフトウェア機能モジュールによって実現してもよい。本発明の実施例は、任意の特定の形態のハードウェア及びソフトウェアの組み合わせに限定されない。
【産業上の利用可能性】
【０１９２】
本発明の実施例によれば、異種データに対してサンプルに基づいて分析を行い、データ収集パターン及びデータ処理モデルを自動に適応させ、データを収集してデータ処理を行って、クラスタにおける全てのノードの負荷バランスを調整し、内部連関性のある様々な異種データに対して一括融合を行うことによって、従来技術におけるビッグデータ処理効率が低く、融合度が低い問題を有効に解決し、データ処理効率及びデータ融合度を向上し、最終的なデータの利用価値及び実用性を向上し、ビッグデータ分析及び価値発掘のためにデータ品質保障を提供する。
【図１】
0006659820.tif 000002
【図２】
0006659820.tif 000003
【図３】
0006659820.tif 000004
【図４】
0006659820.tif 000005
【図５】
0006659820.tif 000006
【図６】
0006659820.tif 000007
【図７】
0006659820.tif 000008
【図８】
0006659820.tif 000009
【図９】
0006659820.tif 000010
【図１０】
0006659820.tif 000011
【図１１】
0006659820.tif 000012
【図１２】
0006659820.tif 000013
【図１３】
0006659820.tif 000014
【図１４】
0006659820.tif 000015
【図１５】
0006659820.tif 000016
【図１６】
0006659820.tif 000017