(57)【特許請求の範囲】
【請求項１】
分布関数のサンプルデータを複数格納する第１のデータベースに対し、データを管理するデータ管理システムであって、
前記サンプルデータの部分集合である概略分布データを格納する第２のデータベースと、
前記概略分布データを作成する概略データ作成部と、
前記概略分布データから前記分布関数の近似関数を推定する関数推定部と、
検索条件を含む要求であって、前記第１のデータベースに格納された前記サンプルデータに対する要求である検索要求を受け付ける要求受付部と、
前記検索条件に基づいて、前記概略分布データに対する検索を行う概略検索部と、を有し、
前記要求受付部は、前記概略検索部の検索結果に基づいて、前記第１のデータベースに格納された前記サンプルデータから前記検索要求に対する候補を選択し、前記候補となるサンプルデータが前記検索条件を満たすかを判定し、
前記概略データ作成部および前記関数推定部が、前記概略分布データに含まれる前記サンプルデータの前記近似関数に対する誤差が所定の閾値以下になるまで、前記概略分布データに含まれる前記サンプルデータを増加させて前記近似関数を推定する演算を繰り返すことによって、前記概略分布データを作成することを特徴とする、データ管理システム。
【請求項２】
請求項１において、
前記第２のデータベースを構成する記憶媒体は、前記第１のデータベースを構成する記憶媒体よりも、検索速度が速い記憶媒体であることを特徴とする、データ管理システム。
【請求項３】
請求項１において、
前記関数推定部は、前記近似関数を推定する際に、前記サンプルデータに含まれる複数の関数値の重み付き和を用いることを特徴とするデータ管理システム。
【請求項４】
請求項１において、
前記関数推定部は、前記近似関数を推定する際に、線形近似を用いることを特徴とするデータ管理システム。
【請求項５】
請求項１において、
前記関数推定部は、前記近似関数を推定する際に、カーネル回帰分析法を用いることを特徴とするデータ管理システム。
【請求項６】
請求項１において、
前記データ管理システムは、前記第１のデータベースをさらに有することを特徴とするデータ管理システム。
【請求項７】
請求項１において、
前記検索条件には、前記サンプルデータを分類するための複数の区間が含まれ、
前記概略データ作成部および前記関数推定部は、前記サンプルデータに前記近似関数を用いた場合に異なる前記区間に分類されるものが含まれる場合には、前記誤差が前記所定の閾値以下ではないと判断することを特徴とするデータ管理システム。
【請求項８】
請求項７において、
前記複数の区間のそれぞれは、異なる色に対応付けられていることを特徴とするデータ管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ管理システムに関する。より具体的には、科学計算や計測結果のデータを管理するシステムに関する。
【背景技術】
【０００２】
気流や水流の流体方程式、量子力学の波動方程式、電磁場の方程式など、空間的に分布する物理量の変化を記述する方程式を数値的に解くことで予測や推定を行う技術が、一般的に知られている。その際、多く用いられるのが、有限要素法と呼ばれる、空間を小さな要素に分割して方程式を解く方式である。その計算結果は、各要素に物理量の時系列が対応づいたデータとなる。また、材料等の実験においては、ある素材に添加する元素の量や、加工過程の温度等のパラメータを変えながら試料を作成し、実際にその素材の材料特性（電気伝導率や温度特性など）を計測することが行われている。この計算結果も、前記有限要素法の計算結果と同様に、多変量の空間（添加元素の量や加工過程のパラメータ）に対して、物理量（温度特性など）が対応づいたデータとなる。
【０００３】
これらのデータを検索可能な状態で多数蓄積しておくことで、必要に応じて参照することができる。これにより、たとえば計算や実験そのものには長い時間がかかる場合であっても、その結果を短時間で取得して予測等ができる。
【０００４】
特許文献１には、大気中の物質拡散を計算した結果を仕分けしてデータベースに格納する技術が開示されている。一般的に、拡散の方程式を数値的に解くのには長い時間を要するために、その結果が必要になってからでは計算が間に合わないという問題があるが、特許文献１に記載の技術を用いることにより、計算結果が必要になった時点で、データベースに格納された計算結果を、適時予測等に使うことができる。
【０００５】
また、特許文献２には、多数のシミュレーション結果を組み合わせて、より精度のよい推定結果を得る技術が開示されている。これにより、計算結果を特定できるほどの実績情報がない場合でも、現時点で入手可能な範囲での予測結果を取得できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2013-096874
【特許文献２】WO2014/020747
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１ないし特許文献２に記載の技術を用いたシステムでは、大量に得られる計算結果を全てデータベースに格納して、検索可能な状態を維持しなければならない。ここで、計算や計測の結果は次々と得られるのが常であり、データもそれにともない増大を続ける。したがって、時間の経過とともにデータ量が増え続け、その管理にかかるコストや検索性能の低下が問題となる。ゆえに、何らかの形でデータ量を削減する手段が必要である。しかし、単にデータベースから削除すると検索の対象とならなくなり、過去データの活用がしにくくなってしまう。
【課題を解決するための手段】
【０００８】
本願発明における課題を解決するための手段のうち代表的なものを例示すれば、分布関数のサンプルデータを複数格納する第１のデータベースに対し、データを管理するデータ管理システムであって、サンプルデータの部分集合である概略分布データを格納する第２のデータベースと、概略分布データを作成する概略データ作成部と、概略分布データから分布関数の近似関数を推定する関数推定部と、検索条件を含む要求であって、第１のデータベースに格納されたサンプルデータに対する要求である検索要求を受け付ける要求受付部と、検索条件に基づいて、概略分布データに対する検索を行う概略検索部と、を有し、要求受付部は、概略検索部の検索結果に基づいて、第１のデータベースに格納されたサンプルデータから検索要求に対する候補を選択し、候補となるサンプルデータが検索条件を満たすかを判定し、概略データ作成部および関数推定部が、概略分布データに含まれるサンプルデータの近似関数に対する誤差が所定の閾値以下になるまで、概略分布データに含まれるサンプルデータを増加させて近似関数を推定する演算を繰り返すことによって、概略分布データを作成することを特徴とする。
【発明の効果】
【０００９】
本発明の効果のうち代表的なものを例示すれば、データベースにおいて、より検索性能の低下を抑制しつつ、検索対象となるデータを削減する技術を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施例1の論理システム構成図
【図２】実施例1の物理的実装例
【図３】実施例1の使用手順の例
【図４】実施例1のデータ投入手順のフロー
【図５】実施例1のデータ受付処理のフロー
【図６】実施例1にてデータ投入システムから分布データ管理システムに送付される分布データの例
【図７】実施例1の分布データベースの例
【図８】実施例1の初期データ決定処理のフロー
【図９】実施例1の近似関数算定処理のフロー
【図１０】実施例1の近似関数算定処理の模式図
【図１１】実施例1の近似精度評価処理
【図１２】実施例1の概略分布データベースの例
【図１３】実施例1のデータ検索手順
【図１４】実施例1の検索要求
【図１５】実施例1の概略検索の概念図
【図１６】実施例２の論理システム構成図
【図１７】実施例２の近似関数算定処理
【図１８】実施例２の近似関数算定処理の模式図
【図１９】実施例２の概略分布データベースの例
【図２０】実施例２の概略検索の概念図
【図２１】実施例３の情報提示画面の例
【図２２】実施例３の条件データの記述方法の例
【図２３】実施例３の近似精度評価処理
【発明を実施するための形態】
【実施例１】
【００１１】
図１に、本実施例に係るデータベースシステムの構成の一例を示す。本システムは、データ投入システム(101)、データ活用システム(102)、分布データ管理システム(100)を有する。
【００１２】
データ投入システム(101)は、方程式を数値的に解いた結果など、分布に類する物理量(たとえば、洪水の浸水深と流速、降雨量、量子力学における波動関数、電磁波の強さなど)を算出ないし観測した結果（以降、分布データと呼ぶ）を分布データ管理システム(100)に投入するシステムである。データ活用システム(102)は、過去に作成された分布データを活用することで、科学技術計算や設計等をよりよく行うことを支援するシステムであり、たとえば、すでに過去に誰かが行った計算条件での計算結果を取得したり、過去の類似事例とそれに関連づく情報（たとえば洪水とそのときの被害総額）を確認したりするなど、過去の事例情報を提示することで、効率的な計画策定等に寄与するシステムである。
【００１３】
分布データ管理システム(100)は、データ投入システム(101)から送付される分布データを蓄積しており、データ活用システム(102)の求めに応じてそれを配信する機能を持つシステムである。分布データ管理システム(100)は、データ投入システム(101)からの分布データを受け取るデータ受付部(103)、分布データを概略化する概略データ作成部(104)、分布データの近似関数を計算する関数推定部(107)、分布データを格納する分布データベース(108)、概略化されたデータを格納する概略分布データベース(109)、データ活用システム(102)から検索要求を受ける検索要求受付部(105)、概略分布データベース(109)から検索を行う概略検索部(106)を有する。ここで、分布データベース(108)および概略分布データベース(109)は、公知のリレーショナルデータベースを用いて実装することができる。
【００１４】
図２に実施例１の物理的実装例を示す。データ投入システム(101)、データ活用システム(102)、分布データ管理システム(100)はそれぞれ、演算性能を持ったプロセッサ(205)、高速に読み書きが可能な揮発性一時記憶領域であるＤＲＡＭ(208)、ＨＤＤやフラッシュメモリなどを利用した永続的な記憶領域である記憶装置(207)、通信を行うためのネットワークインタフェースカードであるＮＩＣ(206)、演算結果を表示するモニタ(209)を備えている。図１で説明した分布データ管理システム(100)の各部は、記憶装置(207)に記録されたプログラムをプロセッサ(205)が実行することによって実現できる。
【００１５】
図３を用いて、本実施例に係るデータベースシステムの使用手順について説明する。本システムの利用手順は、大きく２つの手順からなる。第一の手順はデータ投入手順(301)、第二の手順はデータ検索手順(302)である。
【００１６】
データ投入手順(301)は、分布データ管理システム(100)に分布データを投入する手順である。データ投入システム(101)は、利用者の指示に従い分布データを分布データ管理システム(100)に投入する。分布データ管理システム(100)のデータ受付部(103)は、この分布データを受け取り、分布データベース(108)に投入する。さらにデータ受付部(103)は概略データ作成部(104)にこの分布データを送付する。概略データ作成部(104)は、受け取った分布データの一部を関数推定部(107)に送付して、分布データを近似する関数の情報を受け取る。もし、その結果の精度が不十分な場合、分布データの一部をさらに追加して関数推定部(107)に送付し、十分な精度が得られるまで繰り返す。結果として、分布データをどの程度用いれば、十分な精度で近似が可能かわかるので、分布データ全体を十分高精度に再現できる分量の分布データのみを概略分布データとして、概略データベース(109)に投入する。
【００１７】
次に、データ検索手順(302)は、分布データ管理システム(100)から、必要な分布データを取得する手順である。データ活用システム(102)は、利用者の指示に従い、分布データ管理システム(100)に対して検索要求を送付する。分布データ管理システム(100)の検索要求受付部(103)は、この検索要求を受け取り概略検索部(106)に送付する。概略検索部(106)は、この検索要求をもとに概略データベース(109)より概略的に検索を行い、分布データのうち検索結果になりうる候補を絞り込む。検索要求受付部(105)は、この絞込みの結果を受け取り、それを元に分布データベース(108)を照会して、検索要求に対応する分布データを取得し、それをデータ活用システム(102)へと返送する。
【００１８】
図４を用いて、データ投入手順(301)について詳しく説明する。最初に、データ投入システム(101)からデータ受付部(103)が分布データを受け取ると、データ受付処理(401)が実行される。図５に、このデータ受付処理(401)を詳しく示す。データ受付処理(401)では、まず受け取った分布データを読み取り(501)、しかるのち、分布データベース(108)にデータが投入される(502)。
【００１９】
図６に、受け取る分布データの一例を示す。分布データは、当該分布を計算ないし計測されたときの条件が記述された条件データ(601)と、その結果を示すサンプルデータ(602)からなる。条件データ(601)には、パラメータ名(603)と値(604)が対応付けて格納されており、それらを用いることでその物理量が得られた条件や、それに関連する情報（データの名称や、作成者、データ作成時期など）を得ることができる。この条件データ(601)には許容誤差(605)が含まれており、これを参照することで、物理量にどの程度の誤差が含まれうるかを特定することができる。サンプルデータ(602)とは、ある分布関数について、当該物理量(関数値)が得られた条件を意味する分布引数(607)と関数値(606)が対応付けられて格納されたデータの組である。ここで、分布引数(607)と関数値(606)は、その網羅性と連続性に特徴がある。たとえば、分布引数「座標・時刻」と物理量「浸水深」や、分布引数「材料の成分（鉄の割合、アルミニウムの割合、・・・）」と物理量「電気伝導率」など、分布引数(607)と関数値(606)の関係は網羅的に与えられ、かつ、分布引数(607)が十分近い（類似した）条件では関数値(606)の値も近くなる。なお、関数値(606)に格納される値は、物理量に限定されるものではない。関数値(606)には、例えば「偏差値」や「画素の輝度値の平均」のような特徴量を格納することも可能である。
【００２０】
図７に、この分布データを保管する分布データベース(108)のデータ構造を示す。分布データベース(108)には、条件データ(601)に関する情報が格納されるマスタデータ(701)と、サンプルデータ(602)の情報が格納されるサンプルデータ(702)が格納されている。これらは、条件データ(601)およびサンプルデータ(602)の情報をほとんどそのまま格納するが、分布ID(704)が付与される点が異なる。分布ID(704)は分布データ管理システム(100)がこれまでに受け取った分布データを識別するために付与される識別子であり、通し番号や投入時刻などを用いることができる。なお、本例では分布データはすべて共通の形式等で受け付けられることを前提としたが、条件データ(601)やサンプルデータ(602)に前処理を行ってから格納することもできる。たとえば、座標系を統一したり、パラメータの表現形式を変更したりするなど、異なった形式の分布データを受け取り可能とし、本処理において、分布データ同士で相互に情報が利用可能なように補正が行われてもよい。
【００２１】
図４のデータ投入手順(301)の説明に戻る。データ受付処理(401)が終了したら、次にデータの概略化が開始される。最初に、概略データ作成部(104)は、前段階として初期データ決定処理(402)によって、最もデータを概略化した場合のデータを構築する。
【００２２】
図８にこの所期データ構築処理(402)を示す。まず、各分布引数の上下限を得るために、図６のサンプルデータの分布引数(607)について、それぞれ最大値、最小値を求める(801)。次に、その最大値、最小値の組に近いデータをサンプルデータ(602)の中から選択し、概略分布データの初期値とする。ここで、分布引数(607)は複数存在するので、それらの最大、最小の組み合わせそれぞれについて、選択が行われる。例えば、（x座標の最大、y座標の最大、時刻の最大）、（x座標の最大、y座標の最大、時刻の最小）、（x座標の最大、y座標の最小、時刻の最大）、（x座標の最小、y座標の最大、時刻の最大）、（x座標の最大、y座標の最小、時刻の最小）、（x座標の最小、y座標の最小、時刻の最大）、（x座標の最小、y座標の最大、時刻の最小）、（x座標の最小、y座標の最小、時刻の最小）などである。これらの組に対して、ユークリッド距離（差の二乗和の平方根）などの基準にもとづき、サンプルデータ(602)のうち近いものをそれぞれ選択する。これらは、関数近似を行う際の初期条件となるものであり、関数近似の方法に合わせてより少ないものが選択されるようにしてもよい。
【００２３】
再び図４のデータ投入手順(301)の説明に戻る。初期データ決定処理(402)が終了したら、概略分布データの作成が開始される。概略分布データは、サンプルデータ(602)の部分集合であり、許容誤差(605)の誤差範囲で近似が可能な最小限のデータである。概略分布データの作成は、関数推定部(107)の近似関数算定処理(403)と、概略データ作成部(104)の近似精度評価処理(404)の条件付繰り返し処理によって行われる。
【００２４】
まず、近似関数算定処理(403)について、図９を用いて説明する。実施例１では、公知の区分線形近似によって近似関数を計算する。まず、公知のドロネー単体分割（与えられた点群を頂点とした最小単位の多面体による領域分割）を実行する。しかるのち、結果として得られるドロネー単体の集合を出力する(902)。
【００２５】
図１０に、この手順に関して、２次元平面の場合の模式図を示す。1001に示すように、分布データは２次元平面上に配置された多数の点にそれぞれ関数値が割り当てられた(1002)データである。２次元平面を分割する最小単位は三角形であるので、点間を交差しないように線分で結び、三角形を構築し、それをもって領域を分割する(1003)。この結果得られる三角形の集合が処理結果となるドロネー単体の集合に相当する。1004にクローズアップされているのが、三角形の内部の点についての関数値（物理量）の推定方法である。1004では例えば、点αの関数値を推定する場合を例示する。まず、点αの（ｘ、ｙ）座標が特定されると、点αが（ｘ、ｙ）平面（1003）において、どの三角形の内部に位置するかを求めることが出来る。ここでは、点αは三角形Aの内部に位置する。次に、三角形Aの各頂点の関数値（1004ではｚ軸の値として表記。ここでは、1.1, 1.6および2.8）に基づいて、公知の内分点に関する重み付き和を行うことにより、点（ｘ、ｙ）における関数値を推定することが出来る。このように点αの（ｘ、ｙ）座標から点αの関数値を推定する関数を、近似関数と称する。この例において、近似関数は、「ドロネー三角形分割」と「三角形の内分点に関する重み付き和」の組み合わせであるが、この組み合わせに限定されるものではなく、任意の点αを囲む多角形が特定されれば、当該多角形の各頂点の関数値の重み付き和によって、点αの関数値を推定することが可能である。これについては、対象が二次元平面でなかった場合も本質的に同様であり、多面体を構成する辺を意味するベクトルの重み付き和で内部の位置を示すようにすれば、その重みをもとにした線形結合（重み付き和）で内部の関数値が計算可能である。
【００２６】
次に、近似精度評価処理(404)について図１１を用いて説明する。近似精度評価処理(404)では、まずサンプルデータ(602)のすべてのデータについて、近似関数との誤差を評価する。実施例１では対応するドロネー三角形の内分点を用いてデータと近似関数のそれぞれの関数値を比較し、その差の絶対値を誤差とする。この評価は繰り返し比較を行い、その中で最も誤差の大きかったデータを最大誤差データ、そのときの誤差を最大誤差として記録する。次に、最大誤差が、閾値以上であるかを評価する(1102)。この閾値としては、条件データ(601)に含まれる許容誤差(605)を用いる。すなわち、この分布データが何の物理量を意味しておりどの程度の誤差を含みうるかを、データ投入システム(101)から指定してもらい、それを用いる。もし、誤差が閾値を超えていた場合、この近似関数は近似として不十分であることを意味する。よって、この近似精度評価処理の結果を精度不十分と結論づけて、概略分布データに最大誤差データを追加して、再度、関数推定部(107)の近似関数算定処理(403)に差し戻す。もし、誤差が閾値を超えていない場合、概略分布データがすべてのサンプルデータを閾値以下の誤差で再現できるデータであるとして、概略分布データベース(109)に格納する。すなわち、概略分布データベース(109)が格納する概略分布データは、分布データベース(108)が格納するサンプルデータの部分集合であり、特に、近似関数に対する最大誤差が閾値を超えないような部分集合である。
【００２７】
図１２にこの概略分布データベース(109)の一例を示す。概略分布データベース(109)は、概略分布データの一覧を管理するマスタデータ(1201)、近似関数に関する情報を含む近似関数データ(1202)、概略分布データを格納する概略分布データ(1203)を有する。マスタデータ(1201)は、分布データベース(108)のマスタデータ(701)に含まれる分布ID(704)と対応する分布ID(1204)を用いてデータを管理しており、分布ID(1204)に近似方式(1205)などが関連づけて保存されている。近似関数データ(1202)は近似関数算定処理(403)の結果を再現するのに必要なデータである。実施例１では、x,y,tの三変数空間での分布をあつかうため、ドロネー単体は４面体となり、頂点は４つである。したがって、点ID列(1206)には４つの点のIDが格納される。この点のIDは、概略分布データ(1203)の点ID(1207)と対応しており、例えば、点ID列が(1,2,3,4)の行が存在することは、概略分布データのうち点IDが1の行、2の行、3の行、4の行、それぞれのx,y,tの座標値4対によって構築される4面体がドロネー単体であることを意味する。このように、点ID(1207)を相互参照することで四面体を再現することができ、ひいては分布の推定ができる。
【００２８】
以上の手順により、データ投入手順(301)が終了し、全サンプルデータを格納する分布データベース(108)と概略分布データベース(109)とが対応づくように管理された。
【００２９】
次に、データ検索手順(302)について、図１３を用いて説明する。最初に、データ活用システム(101)から検索要求受付部(103)が検索要求を受け取る。この検索要求のデータ構造を図１４に示す。検索要求には、マスタデータ(701)に関する設定条件と、分布引数の範囲（実施例１では、x,y,tの範囲指定）を示す分布引数条件、関数値の上限および下限を示す関数値上下限が含まれている。この検索要求1401は、概略検索部(106)に引き渡され、概略検索に用いられる(1301)。この概略検索の原理について、図１５の概念図を用いて説明する。この図は、理解を容易にするために、y,tの軸は省略し、横軸をxと縦軸を物理量として2次元でプロットしたものである。図中、白円(1501)は分布データベース(108)に含まれているデータを意味し、黒円(1502)は概略分布データ(1203)にも格納されているデータを意味する。また、実線(1503)は近似関数のグラフである。近似関数は概略分布データ(1203)の情報と近似関数データ(1202)のみを用いて再現できるものであり、マスタデータ(1201)に格納されている許容誤差の幅を持つ誤差範囲(1504)内にすべてのサンプルデータが存在することが保証される。この条件下で、検索要求(1401)に含まれる分布引数条件および関数値上下限にもとづき検索を行うとすると、分布引数条件の位置に関数値上下限の幅を持たせた範囲のデータを取得することを意味し、それは検索条件(1505)にて示されるような範囲（白菱形の位置が分布引数条件、実線矢印が関数値上下限）での検索を行うことに相当する。この検索では、まず分布引数条件の引数で近似関数の関数値を計算(1004に示すように)する。その結果は、近似関数の線(1503)上で、検索条件(1505)と同じ分布引数条件に相当する位置の点(1506)となる。これと検索条件(1505)の判定を行うと近似の誤差のために本来検索結果に含むべき結果がヒットできないことがあるため、検索条件(1505)に許容誤差分だけ加算して検索を行う。つまり、点(1506)が上限＋誤差から下限-誤差の範囲(点線矢印の範囲)にある場合に、概略検索の結果に含むことにする。真のサンプルデータは必ず誤差範囲(1504)の内部にあるため、上記の検索によってサンプルデータが検索条件(1505)に適合する場合には、必ず概略検索の結果に含まれる。ただし、この検索結果の中には検索条件(1505)に適合しないものも含まれる。そこで、検索要求受付部(105)は、概略検索の結果を受け取ると含まれる概略分布の分布ID(1204)を用いて、分布データベース(108)のサンプルデータ(702)を検索取得し(1303))、実際に当該分布が検索条件(1505)に適合するかを判定する(1304)。この1304の判定は、サンプルデータ(702)を直接検索する場合に比べると、判定をすべきデータが十分少なくなっているため、高速である。そして、この1304の判定に適合した分布データが、検索要求受付部(105)がデータ活用システム(102)に返すデータとなる。なお、1304の判定結果、当該分布が検索条件に適合しなかった場合は、サンプルデータ(602)に条件を満たすデータが存在しないことを意味するため、検索要求受付部(105)は、その旨をデータ活用システム(102)に返す。
【００３０】
以上の構成により、投入された分布データのデータ量を削減した概略分布データを構築するとともに、検索時には概略分布データを用いて絞り込んだ後に、範囲を限定してデータ削減前の分布データを検索することによって、より多くの分布データを高速に検索できるようになる。
【実施例２】
【００３１】
図１６にデータ管理システムの実施例２の構成の一例を示す。本システムは、データ投入システム(101)、データ活用システム(102)、分布データ管理システム(1601)、および分布データ管理サーバ(1602)からなる。分布データ管理システム(1601)と分布データ管理サーバ(1602)はネットワーク(1603)で接続されている。分布データベース(108)は分布データ管理サーバ(1602)をもっており、分布データ管理システム(1601)に投入された分布データはネットワーク(1603)を経由して分布データ管理サーバ(1602)に送付される。分布データ管理サーバ(1602)は、公知の分散データベースや、磁気テープメディア等、十分安価で大きな容量を準備できる一方で、データ検索のアクセス速度が低い記憶媒体を用いてデータを保存している。高価でアクセス速度の速い記憶媒体は概略分布データベース(109)に用いることに限定するため、安価なシステムで検索が高速に行えるという利点がある。
【００３２】
実施例２における近似関数推定部1604は、公知のカーネル法を用いた分布推定を行う点に特徴がある。図１７に実施例２における近似関数算定処理を示す。まず、データの相関構造の評価を行う(1701)。これは具体的にはデータの共分散の計算を意味する。図１８にこの計算の模式図を示す。このグラフの横軸は、データの分布引数の多次元空間内の距離（たとえば、各次元の差の二乗和の平方根）である。縦軸は、関数値の差を意味する。この近似関数の推定では、関数値の関連性はその分布引数の距離によって定まり、その距離が近いものほど似ており、かつ、その距離と関数値の関係自体は、全体で一定の構造をもつすなわち同じ関数(以降、カーネル関数とよぶ)に従う、ということを前提においている。サンプルデータ(602)のデータそれぞれについて、分布引数間の距離と関数値の相関を求めてプロットしたのが図中の黒円(1801)である。図中の曲線(1802)が示すように、この黒円(1801)の分布に適合するようにカーネル関数のパラメータを決定することができる。ここで、ある分布引数vが与えられたとき、その分布引数と周囲のサンプルデータ(602)の距離を求めることで、分布引数vにおける関数値をカーネル関数にもとづき計算することができる。この計算方法は公知のものが多数知られているが、いずれも、サンプルデータ(602)に対して距離に基づく重みをつけて計算される、重み付き平均の計算に帰着される。したがって、SQL等の単純な検索用言語を用いても関数値の計算が可能であり、結果として複雑な手順を踏むことなく概略データの検索が可能であるという利点がある。
【００３３】
図１９に、実施例２の概略分布データベースの例を示す。概略分布データベースは、マスタデータ(1901)と概略分布データ(1902)からなる。マスタデータ(1901)は、実施例１と同様に分布データベース(108)のマスタデータ(701)に含まれる分布ID(704)と対応する分布IDを用いてデータを管理している。前記の通り、実施例２のカーネル関数にもとづく近似方式では、カーネル関数の近似形式（ガウス分布、多項式など）(1903)と、そのパラメータ(1904)だけがあれば、それを用いた概略分布データ(1902)のデータの重み付き平均で関数値が推定できる。
【００３４】
図２０にこの原理を用いた概略検索の概念図を示す。この図は、図１５と同様に、理解を容易にするために、y,tの軸は省略し、横軸をxと縦軸を関数値として２次元でプロットしたものである。図１５と同様に、白円(2001)は分布データベース(108)に含まれているデータを意味し、黒円(2002)は概略分布データ(1902)にも格納されているデータを意味する。また、実線(2003)は近似関数のグラフである。この近似関数も、概略分布データ(1902)の情報とマスタデータ(1901)の情報のみを用いて再現できるものであり、マスタデータ(1901)に格納されている許容誤差の幅を持つ誤差範囲(2004)内にすべてのサンプルデータが存在することが保証される。この条件下で、検索要求(1401)に含まれる分布引数条件および関数値上下限にもとづき検索を行うとすると、同様に検索条件(2005)にて示されるような範囲（白菱形の位置が分布引数条件、実線矢印が関数値上下限）での検索を行うことに相当する。この検索では、まず分布引数条件の引数で近似関数の関数値を計算する。この計算は、前記の通り、パラメータをマスタデータ(1901)のパラメータ(1940)で設定したカーネル関数を用いて、概略分布データ(1902)に重み付け平均した結果であり、近似関数の線(2003)上で、検索条件(2005)と同じ分布引数条件に相当する位置の点(2006)となる。ここで、検索条件(2005)に許容誤差を加算して点(2006)が上限＋誤差から下限-誤差の範囲にある場合に、概略検索の結果に含むことにする。概略検索の結果は、実施例１と同様に検索条件(2005)に適合しないものも含まれるため、分布データベース(108)のサンプルデータ(702)をもとに正確な判定を行う。
【００３５】
この実施形態により、分布引数が多数ある（多次元）のデータに対しても、より近似関数が正確に計算でき、結果としてより多くのデータ量が削減できる。また、概略検索の処理が単純になるため、SQL等の平易な言語のみで概略検索の処理が実装できるため、リレーショナルデータベースシステムに対して直接的に概略検索を求めることができ、ひいては、概略検索の処理におけるデータ読み出しなどの処理がリレーショナルデータベースシステムに一元化されることによる高速化が期待できる。
【実施例３】
【００３６】
実施例３は、データ活用システム(102)が分布の可視化を行い、データ投入システム(101)がデータを投入する際にそれを前提とした概略分布データベース(109)が構築される例である。図２１に、実施例３におけるデータ活用システム(102)の分布の情報提示画面の例を示す。この画面(2101)上には分布が関数値に応じた色で色分けされて表示される(2102)。この色分けのルール（関数値がどの値の範囲のときどの色が使われるか。以降、カラーマップと呼ぶ）もまた画面上に表示されており(2103)、色により分布の大まかな傾向を一目で把握することができる。実施例３での概略分布データベース(109)は、この分布の表示が変わらないように構築される点が特徴である。したがって、この画像を生成するためのデータとしてより分布データベース(108)よりもデータ量の少ない概略分布データベース(109)だけを用いても、表示される結果そのものは変わらずにすむ、という利点がある。また、データ活用システム(102)を操作してカーソル(2104)を動かし、指定された地点の関数値を直接的に表示するウインドウ(2105)が開く機能を備える場合など、必要な場合に限って分布データベース(108)を用い正確な値を参照することもできる。
【００３７】
この機能のため、実施例３での許容誤差はカラーマップによって段階的に決定される。図２２に、許容誤差の記述方法の例を示す。実施例３ではデータ投入システム(101)から指定される条件データ(601)の持つ許容誤差パラメータ(2201)はこのカラーマップの段階の区間をもって指定される。この例では、”(- 0.5),(0.5 - 1.0),(1.0 - 1.5),(1.5-2.0),(2.0 -)”という文字列を用いている。この文字列による表現では”()”が区間を表し、その内部にある数値が区間の上下限を現している。具体的には、関数値が(関数値＜0.5)の場合は色１、(0.5≦関数値＜1.0)の場合は色２、(1.0≦関数値＜1.5)の場合は色３、(1.5≦関数値＜2.0)の場合は色４、(2.0≦関数値)の場合は色５、に割り振られることを意味する(色１〜５はそれぞれ異なる色)。また、それを格納する分布データベース(109)のマスタデータ(701)がもつ許容誤差パラメータ(2202)もそれに準じた形式で格納される。ここで、区間をどの程度の幅で区切るべきかは、関数値の意味する物理量によって異なるため（例えば、気温であれば５度刻みで区切るのが妥当である、等）、この許容誤差パラメータ(2201)は外部から指定されることとなる。
【００３８】
図２３に、このような許容誤差パラメータを用いた場合の近似精度評価処理の例を示す。この処理手順は、図１１に示されたもののうち、近似関数の誤差の評価がカラーマップの区間が変わってしまうか否かの評価(2301)になる点、および、(2302)の処理終了の判定がカラーマップの区間が変わったものの有無になっている点が異なる。すなわち、本実施例においては、あるサンプルデータについて「誤差が閾値以下」になったかどうかを、当該サンプルデータを近似関数で近似した場合に分類される「カラーマップが同一」であるかを用いて判定している。すなわち、(2302)において別の色にマップされるデータが存在した場合には、近似関数が近似として不十分であることを意味する。よって、この近似精度評価処理の結果を精度不十分と結論づけて、概略分布データに最大誤差データを追加して、再度、関数推定部(107)の近似関数算定処理(403)に差し戻す。
【００３９】
このように、実施例３に係るデータ管理システムは、検索条件にサンプルデータを分類するための複数の区間(2201)が含まれ、概略データ作成部および関数推定部が、サンプルデータに近似関数を用いた場合に異なる区間に分類されるものが含まれる場合に、誤差が所定の閾値以下ではないと判断する(2302)ことを特徴とする。この実施例３の近似精度評価処理によって、カラーマップの再現性を保てる限界まで、検索対象となるデータ量を削減できる。なお、本実施例では可視化の例として色分けを用いて、複数の区間のそれぞれが異なる色に対応付けられた例を説明したが、ハッチングパターンの変更等、他の可視化方法でも同様であることは言うまでもない。
【００４０】
この実施例３の実施形態によれば、データ活用システム(102)の利用者から見た結果にはなんら影響を与えることなく、必要となるデータの量を削減し、より高速に可視化が行えるようになる。
【符号の説明】
【００４１】
100 分布データ管理システム
101 データ投入システム 
102 データ活用システム 
103 データ受付部
104 概略データ作成部
105 検索要求受付部
106 概略検索部
107 関数推定部
108 分布データベース 
109 概略分布データベース
205 プロセッサ
206 ＮＩＣ
207 記憶装置
208 ＤＲＡＭ
209 モニタ
210 入力装置
301 データ投入手順
302 データ検索手順
401 データ受付処理
402 初期データ決定処理
403 近似関数算定処理
404 近似精度評価処理
601 条件データ
602 サンプルデータ
701 マスタデータ
702 サンプルデータ
1201 マスタデータ
1202 近似関数データ
1203 概略分布データ
1401 検索要求
1601 分布データ管理システム
1602 分布データ管理サーバ
1603 ネットワーク
1604 近似関数推定部
1901 マスタデータ
1902 概略分布データ。
【図１】
0006581842.tif 000002
【図２】
0006581842.tif 000003
【図３】
0006581842.tif 000004
【図４】
0006581842.tif 000005
【図５】
0006581842.tif 000006
【図６】
0006581842.tif 000007
【図７】
0006581842.tif 000008
【図８】
0006581842.tif 000009
【図９】
0006581842.tif 000010
【図１０】
0006581842.tif 000011
【図１１】
0006581842.tif 000012
【図１２】
0006581842.tif 000013
【図１３】
0006581842.tif 000014
【図１４】
0006581842.tif 000015
【図１５】
0006581842.tif 000016
【図１６】
0006581842.tif 000017
【図１７】
0006581842.tif 000018
【図１８】
0006581842.tif 000019
【図１９】
0006581842.tif 000020
【図２０】
0006581842.tif 000021
【図２１】
0006581842.tif 000022
【図２２】
0006581842.tif 000023
【図２３】
0006581842.tif 000024