(57)【要約】  並列処理基盤と、分散配置された系列データを管理する分散系列データ管理部を備える系列データ分散処理システムであって、  前記並列処理基盤は、計算機器毎に、系列データの内一つの順序性ラベルに対応する一つの値を複数の順序性ラベルでブロック化したデータブロックと、データブロックに対して処理を行うデータブロック処理サーバと、データブロック処理サーバの結果を処理するブロック処理集約サーバとを備え、  前記分散系列データ管理部はデータブロックを管理するための分散情報管理データベースを備え、その分散情報管理データベースには、データブロックの順序性ラベルの範囲を示す順序ラベル範囲と、データブロックの値名に対応する系列ＩＤと、データブロックを配置した前記計算機器を特定するメタ情報とで構成された管理データを保持する。
2015001596.tif 000002
【特許請求の範囲】
【請求項１】
順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う系列データ並列分析基盤であって、
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成されるデータ処理を並列に行う並列処理基盤と、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部を具備し、
前記並列処理基盤は、
前記計算機器毎に少なくとも一つ以上の前記系列データの内一つの順序性ラベルに対応する一つの値を複数の順序性ラベルでブロック化したデータブロックと、
前記計算機器毎に少なくとも一つ以上の前記データブロックに対して処理を行うデータブロック処理サーバと、
前記計算機器毎に少なくとも一つ以上の前記データブロック処理サーバの結果を処理するブロック処理集約サーバとを具備し、
前記分散系列データ管理部は、
前記系列データを前記系列データ並列分析基盤に保持するためのデータ読込部と、
前記系列データを前記系列データ並列分析基盤にから取得するためのデータ選択部と、
前記データブロックを管理するための分散情報管理データベースを具備し、
前記分散情報管理データベースには、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とで構成された管理データを保持すること
を特徴とする系列データ並列分析基盤。
【請求項２】
前記分散系列データ管理部には、前記データブロックを保持する前記計算機器を決定する分散先決定部を具備することを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項３】
前記分散先決定部は、前記順序ラベル範囲が同一乃至半分以上共有している前記データブロックを、前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項４】
前記分散先決定部は、前記系列ＩＤが同一乃前記データブロックを、
前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項５】
前記分散先決定部は、前記計算機器の記録装置の占有容量が最も少ない前記計算機器に決定することを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項６】
前記分散先決定部は、前記データブロックを保持する前記計算機器を周期的に決定することを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項７】
前記データブロックがファイル形式であることを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項８】
前記データブロックがサーバであることを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項９】
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成される並列処理基盤を用い、順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う並列分散処理方法であって、
前記並列処理基盤の前記計算機器毎に、少なくとも一つ以上の前記系列データの内一つの順序性ラベルに対応する一つの値を複数の順序性ラベルでブロック化したデータブロックと、少なくとも一つ以上の前記データブロックに対して処理を行うデータブロック処理サーバと、少なくとも一つ以上の前記データブロック処理サーバの結果を処理するブロック処理集約サーバとを準備し、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部に、前記データブロックを管理するための分散情報管理データベースとして、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とを保持管理することを特徴とする系列データの並列分散処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の分散した計算機を用いて大量の系列データを並列に処理する並列分散処理方法、及び、計算機システムに関する。
【背景技術】
【０００２】
近年、大量のデータを分析・処理することで、これまで得られなかった知見を発見し活用していく、ビックデータ処理が注目されている。ビッグデータの内、例えば装置等のセンサデータなどは、所謂、系列データと呼ばれるデータの様態である。系列データとは、複数のデータ項目について各々値が設定された複数のデータが、所定の順序性ラベルの値に従って並べられたデータの集合である。【０００３】
このように大量のデータを分析するニーズは存在するものの、既存の分散分析システムでは、処理内容毎にシステムを設計する必要があり、システム構成のコストが高かった。【０００４】
これに対し、特許文献１及び非特許文献１に示すように分析処理を簡便に実装する基盤技術として、MapReduceフレームワークが知られている。MapReduceフレームワークとは、データの分析処理を、データストアから所望のデータを抽出する、抽出処理（Map処理）と抽出されたデータを利用しやすい形態や統計情報などに加工する集約処理（Reduce処理）との二段階で記述するプログラミングモデルである。これにより、MapReduceフレームワークの実行エンジンは分析アプリケーションの処理の分割単位を決定し、並列処理を制御することが可能となる。【０００５】
しかしながら、これまで、MapReduceフレームワークは元来Webにおける検索システムなど、主に非構造・順序性のないデータに対しての処理を記述することを目的にしており、系列データに対してはMapReduceフレームワークによる処理能力向上が見込めなかった。例えば、抽出処理は、多くの基盤で同時に複数のタスクとして実施されるため、処理の高速化に大きく寄与するが、その結果出力は非順序で行われるため、移動平均やフーリエ変換など、系列データに一般的に適用される分析手法の適用が困難であった。【０００６】
これらの処理をMapReduceフレームワークで記述する場合は、集約処理で実施することになるが、集約処理においては処理に係る基盤数を増大させることが困難であり、十分な高速化が得られなかった。【０００７】
これに対し、例えば非特許文献２に示すように集約処理においてストリーム処理基盤を利用することで、高速化する手法が知られている。しかし、ストリーム処理基盤を用いた場合においても、抽出処理において全データが抽出されるまでの待ち時間が発生し、抽出したデータを直接ネットワーク等で別のサーバに送信するなど、通信の負荷が高くなるなどの問題があった。さらに、結果の書き出し処理においては、系列データの場合、集約処理の結果、十分にデータ量が削減できるとは限らず、大量のデータを再配置等する必要があり、通信や処理の負荷の増大や、速度の低下を招いていた。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公開第２００８／００８６４４２号明細書
【非特許文献】
【０００９】
【非特許文献１】「MapReduce: Simplified Data Processing on Large Clusters」 Jeffrey Dean, Sanjay Ghemawat, Google, Inc. OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December 6, 2004.
【非特許文献２】「SCOPE: parallel databases meet MapReduce」Jingren Zhou，Nicolas Bruno，Ming-Chuan Wu，Per-Ake Larson，Ronnie Chaiken，Darren Shakib，Microsoft Corp., The VLDB Journal
【発明の概要】
【発明が解決しようとする課題】
【００１０】
MapReduceフレームワークを使用しない分散分析システムでは、柔軟にデータ処理を記述できなかった。【００１１】
一方、MapReduceフレームワークを活用した従来のシステム構成では、計算機器台数に応じた処理向上（スケーラビリティ)が得られていなかった。また、MapReduceフレームワークを活用した従来のシステム構成では、元データを１次加工し、２次加工する際、１次加工データを高速に保存できなかった。 
【課題を解決するための手段】
【００１２】
本願において開示される発明の代表的な一例を示せば以下の通りである。【００１３】
すなわち、順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う系列データ並列分析基盤あるいは分散処理システムであって、
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成されるデータ処理を並列に行う並列処理基盤と、前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部とを具備し、
前記並列処理基盤は、前記計算機器毎に少なくとも一つ以上の前記系列データの内一つの順序性ラベルに対応する一つの値を複数の順序性ラベルでブロック化したデータブロックと、前記計算機器毎に少なくとも一つ以上の前記データブロックに対して処理を行うデータブロック処理サーバと、前記計算機器毎に少なくとも一つ以上の前記データブロック処理サーバの結果を処理するブロック処理集約サーバとを具備し、
前記分散系列データ管理部は、前記系列データを前記系列データ並列分析基盤に保持するためのデータ読込部と、前記系列データを前記系列データ並列分析基盤にから取得するためのデータ選択部と、前記データブロックを管理するための分散情報管理データベースを具備し、前記分散情報管理データベースには、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報と、で構成された管理データを保持することを特徴とする。
【発明の効果】
【００１４】
上記構成の系列データ並列分析基盤あるいは分散処理システムによれば、系列データに対しても柔軟に分散処理を記述可能となる。また、系列データに対してもスケーラビリティのあるデータストア及び処理基盤を実現可能となる。更に、
データストアに保存されている元データを加工し、新たにデータを生成する場合に、新たなデータを高速に保存することが可能となる。 
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態の系列データ並列分析基盤の概要を示した説明図である。
【図２】本発明の第１の実施の形態の系列データの概要を示した説明図である。
【図３】本発明の第１の実施の形態の系列データ並列ストアの構成を示した説明図である。
【図４】本発明の第１の実施の形態の並列処理基盤の構成を示した説明図である。
【図５】本発明の第１の実施の形態の系列データ並列分析基盤の構成を示したブロック図である。
【図６】本発明の第１の実施の形態の系列データ並列分析処理の手順を示したフローチャートである。
【図７】本発明の第１の実施の形態の系列データ並列ストアのデータ選択の手順を示したフローチャートである。
【図８】本発明の第１の実施の形態の系列データ並列ストアのデータ登録の手順を示したフローチャートである。
【図９】本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。
【図１０】本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。
【図１１】本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。
【図１２】本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。
【図１３】本発明の第１の実施の形態の系列データ並列ストアのＭａｐ処理中におけるデータ登録の手順を示したフローチャートである。
【図１４】本発明の第１の実施の形態の実施効果を示した説明図である。
【図１５】本発明の第２の実施の形態を示したブロック図である。
【図１６】本発明の第２の実施の形態の系列データ並列分析処理の手順を示したフローチャートである。
【図１７】本発明の第２の実施の形態の系列データ並列ストアのデータ選択の手順を示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
図１には本発明における系列データ並列分析基盤１０２の概要を示す。系列データ並列分析基盤１０２は系列データ１０１を入力、蓄積する系列データ並列ストア１０３と系列データ並列ストア１０３のデータを利用して分散分析を行う並列分析基盤１０４とから構成される。並列分析基盤１０４にはユーザ１０６が処理指示を行い、その結果を系列データ並列ストア１０３か分析結果データ１０５として出力することができる。ユーザ１０６は、人間であってもよいし、別のシステムやプログラム等であってもよい。
【００１７】
このように構成することで、逐次的に系列データ１０１を蓄積することができ、さらに並列分析基盤を利用して蓄積された系列データ１０１に対して、ユーザ１０６の任意のタイミングで分析を行うことができる。
【００１８】
図２には系列データの構成を示す。系列データは、1つ以上のデータブロック２０３から構成され、一つのデータブロック２０３は順序を示す順序性ラベル２０１と1つ以上の値２０２とから構成される。順序性ラベルには、一般的には数値や日時が利用されるが、その他、順序性が定義可能な、例えばａ、ｂ、ｃなどの記号などでもよい。
【００１９】
図３には一般的な系列データカラムストア３０１の構成を示す。系列データカラムストア３０１系列データ１０１を読み込むデータ読込部３０３とデータを格納するデータベース３０２とデータを取得するデータ選択部とから構成されている。データベース３０２には系列データ１０１が順序ラベル範囲３０３と系列ＩＤ３０４と値ブロック３０５の所謂、カラムストアの形式で格納されている。データ選択部に対して、ユーザ１０６が指示・操作を与えることで、データを取得できる構成である。
【００２０】
このようにすることで、ユーザ１０６が所望の順序ラベル範囲３０３と系列ＩＤ３０４に対して、その順序性ラベルと値の集合を高速に取得することが可能となり、さらに値ブロックに圧縮技術を適用することで蓄積している系列データ１０１の容量を削減することが可能となる。
【００２１】
図４には一般的な並列処理基盤１０４の構成を示す。並列処理基盤１０４は、処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータを管理するデータブロック管理サーバ４０２とデータブロック２０３を処理するデータブロック処理サーバ４０３とデータブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４から構成されている。データブロック処理サーバ４０３及びブロック処理集約サーバ４０４は一つ以上存在し、データブロック処理サーバ４０３及びブロック処理集約サーバ４０４を同一の機器上に設置するようにしてもよい。ユーザ１０６は、ジョブ・タスク管理サーバ４０１に対して、指示・操作を行い、処理の結果を取得することができる。このようにすることで、様々なデータに対する分散分析処理を柔軟にかつ、少ない工数で記述することが可能となる。
【００２２】
図５には、本発明第一の実施例における系列データ並列分析基盤１０２の構成を示す。処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータブロック５０９とデータブロック５０９を処理するデータブロック処理サーバ４０３とデータブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４と分散データ管理部５０１から構成されている。
【００２３】
分散データ管理部５０１は、データ読込部５０２とデータ選択部５０３と分散先決定部５０４とデータ検索部５０５とデータ入出力部５０６と分散情報管理データベース５０７から構成されている。分散情報管理データベース５０７は順序ラベル範囲３０３と系列ＩＤ３０４とメタ情報５０８から構成されている。メタ情報５０８にはデータブロック５０９が実際に保持されているサーバの情報を格納しており、データブロック５０９は複数のサーバに重複してデータを設置してもよく、その場合にはメタ情報５０８に複数のデータ保持サーバの情報が格納されている。
【００２４】
本構成は、図３に示した系列データカラムストア３０１と図４に示した並列処理基盤１０４を組み合わせた構成を基本としているが、データブロックについては分散情報管理データベース５０７には保持せず、データブロック処理サーバ４０３と同一または、データブロック処理サーバ４０３が容易にデータ取得可能な機器にデータブロック５０９を保持している点が特徴である。データブロック５０９は図３における値ブロック３０５をファイル化したものを利用することができる。
【００２５】
このような構成とすることで、系列データ１０１を複数のサーバ・機器等に保持することができ、データ蓄積における保持容量の増大や、機器類等を増設することによる保持容量の拡大を容易にすることができると共に、データが増大した場合においても機器類を増大させることで分析処理能力も向上させることが可能となる。
【００２６】
以下、系列データ並列分析基盤１０２の基本動作を図６乃至図１１のフローチャート図を用いて説明する。
【００２７】
図６には系列データ並列分析基盤１０２における分散分析の実行の方法を示す。最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４と処理内容を記述したプログラムが含まれている（Ｓｔｅｐ  １）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ  ２）。
【００２８】
並列処理基盤１０４は、ジョブ・タスク管理サーバ４０１において、分散情報管理データベースから得られたデータブロック５０９の情報に基づいて、同時に抽出処理を行うデータブロックを選択し、一つのチャンクとする。この際、データブロックと抽出処理を行うサーバは同一の機器であることが望ましいが、異なる機器であってもよい。異なる機器である場合には、その機器から例えばssh, scpなどの手段でデータブロック５０９のデータを取得することができる（Ｓｔｅｐ  ３）。ジョブ・タスク管理サーバ４０１は、チャンク毎に抽出処理タスクを生成し、データブロック処理サーバ４０３に抽出処理タスクを指示する（Ｓｔｅｐ  ４）。
【００２９】
データブロック処理サーバ４０３は、チャンクから順序性ラベルにおける順序に従って、データを取得し、Ｓｔｅｐ  １で指定された処理内容を記述したプログラムに従って、抽出処理を行う。抽出処理においては、処理結果のデータは、データブロック５０９における値に対応する順序性ラベルとは別の順序性ラベル（以下、ｋｅｙと呼ぶ）が付与された、値（以下、ｖａｌｕｅと呼ぶ）の形式をとる。ｋｅｙは前述のデータブロック５０９における順序性ラベルと同一であってもよく、ｋｅｙに指定されるラベルは重複していてもよい（Ｓｔｅｐ  ５）。抽出処理の結果は、ブロック処理集約サーバ４０４に送信される（Ｓｔｅｐ  ６）。
【００３０】
送信されたデータは、ブロック処理集約サーバ４０４においてｋｅｙによってソートされる（Ｓｔｅｐ  ７）。ブロック処理集約サーバ４０４では、同一のｋｅｙを持つ値毎に集約処理が行われる（Ｓｔｅｐ  ８）。最後に集約処理の結果を出力して分析処理は終了である。この際、出力先として、任意のファイル（例えばタブ区切りテキストやＸＭＬファイル）であってもよいし、分散系列データ管理部５０１にデータを登録してもよいし、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡しを行ってもよい（Ｓｔｅｐ  ９）
このようにすると、データブロックの順序ラベル範囲３０３を適切。に指定することで、Ｓｔｅｐ  ５における抽出処理で、データの順序性が保証されるため、例えば移動平均やフーリエ変換などの順序性に基づいて行われる処理が、抽出処理において記述できる。
【００３１】
一般的に、集約処理は抽出処理よりも少ないサーバ数、タスク数で実行されるため、抽出処理において順序性に基づいて行われる処理が記述可能となることは、処理の高速化やＳｔｅｐ  ６における処理結果の送信量を削減することが可能となり、低負荷で高速な分散分析が、系列データ１０１に対しても実現できる。
【００３２】
図７には系列データ並列分析基盤１０２におけるデータ選択の方法を示す。
【００３３】
最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４とが含まれている（Ｓｔｅｐ  １１）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ  １２）。データブロックの内のデータを、例えばssh、scpなどの通信手段でデータ入出力部５０６とデータ検索部５０５を介して分散系列データ選択部に送信する（Ｓｔｅｐ  １３）。データ選択部では、ユーザ１０６の所望の形式となるように、データを、ファイル（例えばタブ区切りテキストやＸＭＬファイル）や、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡し可能な形式に変換したうえで出力を行って終了となる（Ｓｔｅｐ  １４）。このようにすることで、並列処理基盤１０４を介さずにデータを入手することが可能となる。
【００３４】
図８には系列データ並列分析基盤１０２におけるデータ登録の方法を示す。
【００３５】
最初に、ユーザ１０６からの処理実行要求がデータ読込部５０２を介して系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる系列データ１０１と登録に使用する系列ＩＤ３０４とが含まれている（Ｓｔｅｐ  ２１）。次に、データ読込部では、例えば、バイナリ・タブ区切りテキスト・ＸＭＬなどの形式で入力された系列データ１０１を系列ＩＤ３０４とあらかじめ設定された順序ラベル範囲３０３で分割を行う（Ｓｔｅｐ  ２２）。
【００３６】
Ｓｔｅｐ  ２２で分割されたデータをブロック化する。例えば、圧縮技術を適用することでデータを削減したブロックを生成することができる（Ｓｔｅｐ  ２３）。分散先決定部５０４に具備されている分散先決定方法に従って、どのサーバ・機器にデータブロック５０９を保持するかを決定する。この際、可用性を考慮して複数のサーバ・機器を選択することができる（Ｓｔｅｐ  ２４）。Ｓｔｅｐ  ２４までに得られた順序ラベル範囲３０３と系列ＩＤ３０４と分散先サーバ・機器の情報を含むメタ情報とを分散情報管理データベース５０７に登録を行う（Ｓｔｅｐ  ２５）。最後に、データ入出力部５０６を介して、サーバ・機器等にデータブロック５０９を配置して終了となる（Ｓｔｅｐ  ２６）。
【００３７】
このように構成することで、ユーザ１０６がカスタマイズ可能か形式で分散先を決定可能なデータ登録が可能となる。
【００３８】
図９には分散先決定方法の一例を示す。図９に示す方法は、一般的にラウンドロビンと呼ばれる決定手法である。本方法は、分散先サーバ・機器の情報を保持したリストと、リストの内一つの分散先を示す分散先リストポインタを具備している。
【００３９】
最初に、決定数を０とする（Ｓｔｅｐ  ３１）。データブロック５０９毎に、分散先リストポインタが示しているサーバ・機器を分散先として指定する（Ｓｔｅｐ  ３２）。Ｓｔｅｐ  ３３にて分散先リストポインタがリスト上の最後の分散先でないと判明したときは、分散先リストポインタは一つリスト上で移動する（Ｓｔｅｐ  ３４）。Ｓｔｅｐ  ３３にて分散先リストポインタがリスト上で最後の分散先を指示している場合はリストの先頭に移動する（Ｓｔｅｐ  ３５）。次に決定数を一つ増加させる（Ｓｔｅｐ  ３６）。以上の処理（Ｓｔｅｐ  ３２からＳｔｅｐ  ３６まで）を、決定数があらかじめ設定された多重度となるまで繰り返し、処理を終了する（Ｓｔｅｐ  ３７）。このようにすることで、特定のサーバ・機器に偏ることがなくデータブロック５０９を分散配置することが可能となる。
【００４０】
図１０には分散先決定方法の一例を示す。図１０に示す方法は、各サーバ・機器の使用記憶容量を均等化する決定手法である。本方法は、分散先リストと分散先リストの使用記憶容量を取得する手段を具備している。
【００４１】
最初に、決定数を０とする。（Ｓｔｅｐ  ４１）。各サーバ・機器の使用記憶容量を取得し最も使用容量が少ないサーバ・機器を分散先に決定する（Ｓｔｅｐ  ４２）。次に、決定数を一つ増加させる（Ｓｔｅｐ  ４３）。以上の動作（Ｓｔｅｐ  ４２からＳｔｅｐ  ４３まで）を決定数があらかじめ設定された多重度となるまで繰り返し、終了する（Ｓｔｅｐ  ４４）。このようにすることで、各サーバ・機器の使用記憶容量を均等化することが可能となる。
【００４２】
図１１には分散先決定方法の一例を示す。図１１に示す方法は、系列ＩＤ３０４毎に分散先を指定する決定手法である。本方法は、分散先リストと分散先リストと系列ＩＤ３０４の紐付けを行う関数ｆを具備している。
【００４３】
最初に、決定数を０とする（Ｓｔｅｐ  ５１）。データブロック５０９毎に、関数ｆを実行する（Ｓｔｅｐ  ５２）。関数ｆの値に対応する分散先リストが示しているサーバ・機器を分散先として指定する（Ｓｔｅｐ  ５３）。決定数を一つ増加させる（Ｓｔｅｐ  ５４）。以上の動作（Ｓｔｅｐ  ５２からＳｔｅｐ  ５４まで）を決定数があらかじめ設定された多重度となるまで繰り返し、終了する（Ｓｔｅｐ  ５５）。関数ｆとしては、例えばハッシュ関数や、剰余算などが利用でき、引数には、系列ＩＤ３０４や系列ＩＤ３０４を数値化したものを使用することができる。この際、分散先リストにサーバ等が追加、削除された場合において、ある系列ＩＤ３０４に紐付くサーバ等が削除されていない場合においては、旧来と同じサーバ等が得られるような関数ｆとする。
【００４４】
このようにすることで、複数の系列ＩＤ３０４に対し、同じ順序ラベル範囲３０３での分散処理が行われる場合において、効率的に複数の基盤で分散処理タスクを実行することが可能となる。
【００４５】
図１２には分散先決定方法の一例を示す。図１２に示す方法は、順序ラベル範囲３０３毎に分散先を指定する決定手法である。本方法は、分散先リストと分散先リストと順序ラベル範囲３０３の紐付けを行う関数ｇを具備している。
【００４６】
最初に、決定数を０とする（Ｓｔｅｐ  ６１）。データブロック５０９毎に、関数ｇを実行する（Ｓｔｅｐ  ６２）。次に、関数ｇの値に対応する分散先リストが示しているサーバ・機器を分散先として指定する（Ｓｔｅｐ  ６３）。次に、決定数を一つ増加させる（Ｓｔｅｐ  ６４）。以上の動作（Ｓｔｅｐ  ６２からＳｔｅｐ  ６４まで）を決定数があらかじめ設定された多重度となるまで繰り返し、終了する。（Ｓｔｅｐ  ６５）。関数ｇとしては、例えばハッシュ関数や、剰余算などが利用でき、引数には、順序ラベル範囲３０３や順序ラベル範囲３０３を数値化したものを使用することができる。この際、分散先リストにサーバ等が追加、削除された場合において、ある順序ラベル範囲３０３に紐付くサーバ等が削除されていない場合においては、旧来と同じサーバ等が得られるような関数ｇとする。
【００４７】
このようにすることで、複数の順序ラベル範囲３０３に対し、同じ系列ＩＤ３０４での分散処理が行われる場合において、効率的に複数の基盤で分散処理タスクを実行することが可能となる。
【００４８】
図１３には系列データ並列分析基盤１０２における抽出処理中におけるデータブロックの登録の方法を示す。
【００４９】
最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４とデータブロック登録時の系列ＩＤ３０４と分散配置先情報と処理内容を記述したプログラムが含まれている（Ｓｔｅｐ  ７１）。次に処理実行要求に含まれる、処理対象の順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得すると共に、分散先決定部を介してあらかじめデータブロック５０９の登録先となるサーバ・機器等を決定し、その情報をデータ登録時の方法と同様に分散情報管理データベースに登録を行う（Ｓｔｅｐ  ７２）。並列処理基盤１０４は、ジョブ・タスク管理サーバ４０１において、分散情報管理データベースから得られたデータブロック５０９の情報に基づいて、同時に抽出処理を行うデータブロックを選択し、一つのチャンクとする。この際、データブロックと抽出処理を行うサーバは同一の機器であることが望ましいが、異なる機器であってもよい。異なる機器である場合には、その機器から例えばssh, scpなどの手段でデータブロック５０９のデータを取得することができる（Ｓｔｅｐ  ７３）。
【００５０】
ジョブ・タスク管理サーバ４０１は、チャンク毎に抽出処理タスクを生成し、データブロック処理サーバ４０３に抽出処理タスクを指示する（Ｓｔｅｐ  ７４）。データブロック処理サーバ４０３は、チャンクから順序性ラベルにおける順序に従って、データを取得し、Ｓｔｅｐ  ７１で指定された処理内容を記述したプログラムに従って、抽出処理を行う（Ｓｔｅｐ７５）。抽出処理においてデータブロックの登録を行う場合は、抽出処理タスクの対象となっているチャンクと同一の時間範囲と、Ｓｔｅｐ  ７１で指定された系列ＩＤ３０４で抽出処理結果のデータをデータブロック５０９の形状に変換し、Ｓｔｅｐ  ７２で決定されたサーバ・機器等に書き出しを行って終了となる（Ｓｔｅｐ  ７６）。この際、データブロックの配置には、ｓｓｈ、ｓｃｐなどの通信手段を用いてもよいが、分散配置先のサーバ・機器等は、抽出処理となるべく同一のサーバ・機器等となるように設定することで、通信量を削減することができる。
【００５１】
このようにすると、一度集約処理をしてからデータ登録をする場合に対して、集約処理のためのデータ送信・書き出しや、集約処理後のデータ送信・書き出しを削減することができ、システムの負荷を軽減することが可能となり、システムの動作の高速化を実現することが可能となる。
【００５２】
図１４には、系列データ並列分析基盤１０２と既存の分散分析基盤を使用した場合の、移動平均を計算した場合の処理時間比較を示す。システムの機器構成は同一のものを使用し、データブロック処理サーバとブロック処理集約サーバ はどちらも５台サーバを利用した。
【００５３】
どちらの場合も、計算時間のうち３０秒程度は、並列処理基盤の初期設定に時間を要しており、その他が実際に分析処理に係る時間である。本実施例の場合、既存技術と比較しておよそ５倍程度高速化しており、これはデータブロック処理サーバ中で移動平均の計算を実施可能であるためである。以上のように、系列データ１０１に対する様々な分析処理を柔軟に記述可能であり、データ量の増大に合わせて、機器を増加させることで、データ蓄積可能な領域と、分析処理を行う計算機能力を向上させることが可能な、系列データ並列分析基盤を構成することができる。
【００５４】
（第二の実施例）
第二の実施例は、第一の実施例に対し、データブロックをファイルで直接保持するのではなく、データブロックサーバ１５０１に格納して保持する点が異なる。図１５には、本発明第二の実施例における系列データ並列分析基盤１０２の構成を示す。
【００５５】
処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータブロックサーバ１５０１とデータブロックサーバ１５０１から提供されるデータブロック５０９を処理するデータブロック処理サーバ４０３と、データブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４と、分散データ管理部５０１から構成されている。
【００５６】
分散データ管理部５０１は、データ読込部５０２とデータ選択部５０３と分散先決定部５０４とデータ検索部５０５とデータ入出力部５０６と分散情報管理データベース５０７から構成されている。分散情報管理データベース５０７は順序ラベル範囲３０３と系列ＩＤ３０４とメタ情報５０８から構成されている。メタ情報５０８にはデータブロック５０９が実際に保持されているデータブロックサーバ１５０１の情報を格納しており、データブロック５０９は複数のサーバデータブロックサーバ１５０１に重複してデータを設置してもよく、その場合にはメタ情報５０８に複数のデータブロックサーバ１５０１の情報が格納されている。
【００５７】
本構成は、図３に示した系列データカラムストア３０１と図４に示した並列処理基盤１０４を組み合わせた構成を基本としているが、データブロック５０９については分散情報管理データベース５０７には保持せず、データブロック処理サーバ４０３と同一または、データブロック処理サーバ４０３が容易にデータ取得可能な機器にデータブロックサーバ１５０１を保持している点が特徴である。データブロック５０９は図３における値ブロック３０５をファイル化したものを利用することができ、データブロック５０９はデータブロックサーバ１５０１に保持されている。
【００５８】
このような構成とすることで、系列データ１０１を複数のサーバ・機器等に保持することができ、データ蓄積における保持容量の増大や、機器類等を増設することによる保持容量の拡大を容易にすることができると共に、データが増大した場合においても機器類を増大させることで分析処理能力も向上させることが可能となる。
【００５９】
以下、系列データ並列分析基盤１０２の基本動作を図６乃至図１１のフローチャート図を用いて説明する。
【００６０】
図１６には系列データ並列分析基盤１０２における分散分析の実行の方法を示す。
【００６１】
最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４と処理内容を記述したプログラムが含まれている（Ｓｔｅｐ  ８１）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ  ８２）。
【００６２】
並列処理基盤１０４は、ジョブ・タスク管理サーバ４０１において、分散情報管理データベースから得られたデータブロック５０９の情報に基づいて、同時に抽出処理を行うデータブロックを選択し、一つのチャンクとする（Ｓｔｅｐ  ８３）。この際、データブロックサーバ１５０１が存在する機器と抽出処理を行う機器は同一の機器であることが望ましいが、異なる機器であってもよい。異なる機器である場合には、その機器から例えばssh, scpなどの手段でデータブロック５０９のデータを取得することができる。
【００６３】
次に、ジョブ・タスク管理サーバ４０１は、チャンク毎に抽出処理タスクを生成し、データブロック処理サーバ４０３に抽出処理タスクを指示する（Ｓｔｅｐ  ８４）。データブロック処理サーバ４０３は、チャンクから順序性ラベルにおける順序に従って、データを取得し、Ｓｔｅｐ  ８１で指定された処理内容を記述したプログラムに従って、抽出処理を行う。抽出処理においては、処理結果のデータは、データブロック５０９における値に対応する順序性ラベルとは別の順序性ラベル（以下、ｋｅｙと呼ぶ）が付与された、値（以下、ｖａｌｕｅと呼ぶ）の形式をとる。ｋｅｙは前述のデータブロック５０９における順序性ラベルと同一であってもよく、ｋｅｙに指定されるラベルは重複していてもよい（Ｓｔｅｐ  ８５）。
【００６４】
次に、抽出処理の結果は、ブロック処理集約サーバ４０４に送信される（Ｓｔｅｐ  ８６）。送信されたデータは、ブロック処理集約サーバ４０４においてｋｅｙによってソートされる（Ｓｔｅｐ  ８７）。ブロック処理集約サーバ４０４では、同一のｋｅｙを持つ値毎に集約処理が行われる（Ｓｔｅｐ  ８）。
【００６５】
最後に集約処理の結果を出力して分析処理は終了である。この際、出力先として、任意のファイル（例えばタブ区切りテキストやＸＭＬファイル）であってもよいし、分散系列データ管理部５０１にデータを登録してもよいし、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡しを行ってもよい（Ｓｔｅｐ  ８９）。
【００６６】
このようにすると、データブロックの順序ラベル範囲３０３を適切に指定することで、Ｓｔｅｐ  ８５における抽出処理で、データの順序性が保証されるため、例えば移動平均やフーリエ変換などの順序性に基づいて行われる処理が、抽出処理において記述できる。
【００６７】
一般的に、集約処理は抽出処理よりも少ないサーバ数、タスク数で実行されるため、抽出処理において順序性に基づいて行われる処理が記述可能となることは、処理の高速化やＳｔｅｐ  ６における処理結果の送信量を削減することが可能となり、低負荷で高速な分散分析が、系列データ１０１に対しても実現できる。
【００６８】
図１７には系列データ並列分析基盤１０２におけるデータ選択の方法を示す。
【００６９】
最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４とが含まれている（Ｓｔｅｐ  ９１）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ  ９２）。データブロックの内のデータを、例えばssh、scpなどの通信手段でデータブロックサーバ１５０１とデータ入出力部５０６とデータ検索部５０５を介して分散系列データ選択部に送信する（Ｓｔｅｐ  ９３）。データ選択部では、ユーザ１０６の所望の形式となるように、データを、ファイル（例えばタブ区切りテキストやＸＭＬファイル）や、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡し可能な形式に変換したうえで出力を行って終了となる（Ｓｔｅｐ  ９４）。このようにすることで、並列処理基盤１０４を介さずにデータを入手することが可能となる。
【符号の説明】
【００７０】
１０１  系列データ
１０２  系列データ並列分析基盤
１０３  系列データ並列ストア
１０４  並列分散基盤
１０５  分析結果データ
１０６  ユーザ
２０１  順序性ラベル
２０２  値
２０３  データブロック
３０１  データ読込部
３０２  データベース
３０３  順序性ラベル範囲
３０４  系列ＩＤ
３０５  値ブロック
３０６  データ選択部
４０１  ジョブ・タスク管理サーバ
４０２  データブロック管理サーバ
４０３  データブロック処理サーバ
４０４  ブロック処理集約サーバ
５０１  分散系列データ管理部
５０２  データ読込部
５０３  データ選択部
５０４  分散先決定部
５０５  データ検索部
５０６  データ入出力部
５０７  分散情報管理データベース
５０８  メタ情報
５０９  データブロック
１５０１  データブロックサーバ
【図１】
2015001596.tif 000003
【図２】
2015001596.tif 000004
【図３】
2015001596.tif 000005
【図４】
2015001596.tif 000006
【図５】
2015001596.tif 000007
【図６】
2015001596.tif 000008
【図７】
2015001596.tif 000009
【図８】
2015001596.tif 000010
【図９】
2015001596.tif 000011
【図１０】
2015001596.tif 000012
【図１１】
2015001596.tif 000013
【図１２】
2015001596.tif 000014
【図１３】
2015001596.tif 000015
【図１４】
2015001596.tif 000016
【図１５】
2015001596.tif 000017
【図１６】
2015001596.tif 000018
【図１７】
2015001596.tif 000019
【手続補正書】
【提出日】平成27年11月20日(2015.11.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
図１には本発明における系列データ並列分析基盤１０２の概要を示す。系列データ並列分析基盤１０２は系列データ１０１を入力、蓄積する系列データ並列ストア１０３と系列データ並列ストア１０３のデータを利用して分散分析を行う並列処理基盤１０４とから構成される。並列処理基盤１０４にはユーザ１０６が処理指示を行い、その結果を系列データ並列ストア１０３か分析結果データ１０５として出力することができる。ユーザ１０６は、人間であってもよいし、別のシステムやプログラム等であってもよい。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
図３には一般的な系列データカラムストア３０１の構成を示す。系列データカラムストア３０１系列データ１０１を読み込むデータ読込部３０７とデータを格納するデータベース３０２とデータを取得するデータ選択部とから構成されている。データベース３０２には系列データ１０１が順序ラベル範囲３０３と系列ＩＤ３０４と値ブロック３０５の所謂、カラムストアの形式で格納されている。データ選択部に対して、ユーザ１０６が指示・操作を与えることで、データを取得できる構成である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
図５には、本発明第一の実施例における系列データ並列分析基盤１０２の構成を示す。処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータブロック５０９とデータブロック５０９を処理するデータブロック処理サーバ４０３とデータブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４と分散系列データ管理部５０１から構成されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
分散系列データ管理部５０１は、データ読込部５０２とデータ選択部５０３と分散先決定部５０４とデータ検索部５０５とデータ入出力部５０６と分散情報管理データベース５０７から構成されている。分散情報管理データベース５０７は順序ラベル範囲３０３と系列ＩＤ３０４とメタ情報５０８から構成されている。メタ情報５０８にはデータブロック５０９が実際に保持されているサーバの情報を格納しており、データブロック５０９は複数のサーバに重複してデータを設置してもよく、その場合にはメタ情報５０８に複数のデータ保持サーバの情報が格納されている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータブロックサーバ１５０１とデータブロックサーバ１５０１から提供されるデータブロック５０９を処理するデータブロック処理サーバ４０３と、データブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４と、分散系列データ管理部５０１から構成されている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
分散系列データ管理部５０１は、データ読込部５０２とデータ選択部５０３と分散先決定部５０４とデータ検索部５０５とデータ入出力部５０６と分散情報管理データベース５０７から構成されている。分散情報管理データベース５０７は順序ラベル範囲３０３と系列ＩＤ３０４とメタ情報５０８から構成されている。メタ情報５０８にはデータブロック５０９が実際に保持されているデータブロックサーバ１５０１の情報を格納しており、データブロック５０９は複数のデータブロックサーバ１５０１に重複してデータを設置してもよく、その場合にはメタ情報５０８に複数のデータブロックサーバ１５０１の情報が格納されている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
１０１  系列データ
１０２  系列データ並列分析基盤
１０３  系列データ並列ストア
１０４  並列処理基盤
１０５  分析結果データ
１０６  ユーザ
２０１  順序性ラベル
２０２  値
２０３  データブロック
３０１  系列データカラムストア
３０２  データベース
３０３  順序性ラベル範囲
３０４  系列ＩＤ
３０５  値ブロック
３０６  データ選択部
３０７  データ読込部
４０１  ジョブ・タスク管理サーバ
４０２  データブロック管理サーバ
４０３  データブロック処理サーバ
４０４  ブロック処理集約サーバ
５０１  分散系列データ管理部
５０２  データ読込部
５０３  データ選択部
５０４  分散先決定部
５０５  データ検索部
５０６  データ入出力部
５０７  分散情報管理データベース
５０８  メタ情報
５０９  データブロック
１５０１  データブロックサーバ
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う系列データ並列分析基盤であって、
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成されるデータ処理を並列に行う並列処理基盤と、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部を具備し、
前記並列処理基盤は、
前記計算機器毎に少なくとも一つ以上の前記系列データの内一つの順序性ラベルに対応する一つの値を複数の順序性ラベルでブロック化したデータブロックと、
前記計算機器毎に少なくとも一つ以上の前記データブロックに対して処理を行うデータブロック処理サーバと、
前記計算機器毎に少なくとも一つ以上の前記データブロック処理サーバの結果を処理するブロック処理集約サーバとを具備し、
前記分散系列データ管理部は、
前記系列データを前記系列データ並列分析基盤に保持するためのデータ読込部と、
前記系列データを前記系列データ並列分析基盤にから取得するためのデータ選択部と、
前記データブロックを管理するための分散情報管理データベースを具備し、
前記分散情報管理データベースには、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とで構成された管理データを保持すること
を特徴とする系列データ並列分析基盤。
【請求項２】
前記分散系列データ管理部には、前記データブロックを保持する前記計算機器を決定する分散先決定部を具備することを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項３】
前記分散先決定部は、前記順序ラベル範囲が同一乃至半分以上共有している前記データブロックを、前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項４】
前記分散先決定部は、前記系列ＩＤが同一乃前記データブロックを、
前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項５】
前記分散先決定部は、前記計算機器の記録装置の占有容量が最も少ない前記計算機器に決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項６】
前記分散先決定部は、前記データブロックを保持する前記計算機器を周期的に決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項７】
前記データブロックがファイル形式であることを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項８】
前記データブロックがサーバであることを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項９】
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成される並列処理基盤を用い、順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う並列分散処理方法であって、
前記並列処理基盤の前記計算機器毎に、少なくとも一つ以上の前記系列データの内一つの順序性ラベルに対応する一つの値を複数の順序性ラベルでブロック化したデータブロックと、少なくとも一つ以上の前記データブロックに対して処理を行うデータブロック処理サーバと、少なくとも一つ以上の前記データブロック処理サーバの結果を処理するブロック処理集約サーバとを準備し、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部に、前記データブロックを管理するための分散情報管理データベースとして、前記データブロックの前記順序性ラベルの  範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とを保持管理することを特徴とする系列データの並列分散処理方法。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2015001596.tif 000020
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2015001596.tif 000021
【手続補正書】
【提出日】平成28年11月9日(2016.11.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う系列データ並列分析基盤であって、
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成されるデータ処理を並列に行う並列処理基盤と、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部を具備し、
前記並列処理基盤は、
前記計算機器毎に、前記系列データの内複数の順序性ラベルそれぞれに対応付けられた値を含むように構成された少なくとも一つ以上のデータブロックと、
前記計算機器毎に、前記データブロックに対して処理を行う、少なくとも一つ以上のデータブロック処理サーバと、
前記計算機器毎に、前記データブロック処理サーバの結果を処理する少なくとも一つ以上のブロック処理集約サーバとを具備し、
前記分散系列データ管理部は、
前記系列データを前記系列データ並列分析基盤に保持するためのデータ読込部と、
前記系列データを前記系列データ並列分析基盤にから取得するためのデータ選択部と、
前記データブロックを管理するための分散情報管理データベースを具備し、
前記分散情報管理データベースには、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とで構成された管理データを保持すること
を特徴とする系列データ並列分析基盤。
【請求項２】
前記分散系列データ管理部には、前記データブロックを保持する前記計算機器を決定する分散先決定部を具備することを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項３】
前記分散先決定部は、前記順序ラベル範囲が同一の前記データブロックを、前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項４】
前記分散先決定部は、前記系列ＩＤが同一の前記データブロックを、
前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項５】
前記分散先決定部は、前記計算機器の記録装置の占有容量が最も少ない前記計算機器に決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項６】
前記分散先決定部は、前記データブロックを保持する前記計算機器を周期的に決定することを特徴とする請求項２記載の系列データ並列分析基盤。
【請求項７】
前記データブロックがファイル形式であることを特徴とする請求項１記載の系列データ並列分析基盤。
【請求項８】
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成される並列処理基盤を用い、順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う並列分散処理方法であって、
前記並列処理基盤の前記計算機器毎に、前記系列データの内複数の順序性ラベルそれぞれに対応付けられた値を含むように構成された少なくとも一つ以上のデータブロックと、前記データブロックに対して処理を行う少なくとも一つ以上のデータブロック処理サーバと、前記データブロック処理サーバの結果を処理する少なくとも一つ以上のブロック処理集約サーバとを準備し、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部に、前記データブロックを管理するための分散情報管理データベースとして、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とを保持管理することを特徴とする系列データの並列分散処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
すなわち、順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う系列データ並列分析基盤あるいは分散処理システムであって、
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成されるデータ処理を並列に行う並列処理基盤と、前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部とを具備し、
前記並列処理基盤は、前記計算機器毎に、前記系列データの内複数の順序性ラベルそれぞれに対応付けられた値を含むように構成された少なくとも一つ以上のデータブロックと、前記計算機器毎に、前記データブロックに対して処理を行う、少なくとも一つ以上のデータブロック処理サーバと、前記計算機器毎に、前記データブロック処理サーバの結果を処理する少なくとも一つ以上のブロック処理集約サーバとを具備し、
前記分散系列データ管理部は、前記系列データを前記系列データ並列分析基盤に保持するためのデータ読込部と、前記系列データを前記系列データ並列分析基盤にから取得するためのデータ選択部と、前記データブロックを管理するための分散情報管理データベースを具備し、前記分散情報管理データベースには、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報と、で構成された管理データを保持することを特徴とする。
【国際調査報告】
2015001596.tif 000022
2015001596.tif 000023