(57)【要約】【課題】データ間の変遷を容易に判定すること。【解決手段】レコード・周辺情報記憶部が、複数のデータそれぞれの特性及びデータ間の関連性を記憶する。教師データ記憶部が、変遷が生じたか否かを示す変遷情報が付与されたデータ対の情報を記憶する。連続レコード対抽出部が、特性及び関連性に基づいて、特性及び関連性が類似したデータ対を抽出する。レコード対分類部が、抽出された複数のデータ対を、データ対が有する特性及び関連性が類似し、かつ、変遷情報が付与されたデータ対を含むクラスタに分類する。変遷情報統合モデル学習部が、分類されたクラスタごとに、変遷情報が付与されたデータ対を用いて変遷が生じたか否かを判定するための変遷情報統合モデルを生成する。レコード変遷情報判定部が、クラスタごとに、生成された変遷情報統合モデルを用いてクラスタに含まれるデータ対に変遷が生じたか否かを判定する。【選択図】        図１
2013101555.tif 000002
【特許請求の範囲】
【請求項１】
連続的な特性を有する複数のデータを記憶する記憶装置と、
前記記憶装置に記憶された前記複数のデータにおいて、連続するデータ間で時間的又は空間的移り変わりに伴う変化である変遷が生じたか否かを判定する判定装置とを備えたデータ判定システムであって、
前記判定装置は、
前記複数のデータそれぞれの特性及び当該複数のデータ間の関連性を記憶する周辺情報記憶部と、
前記変遷が生じたか否かを示す変遷情報が付与されたデータ対の情報を記憶する変遷情報記憶部と、
前記周辺情報記憶部に記憶された特性及び関連性に基づいて、特性及び関連性が類似したデータ対を前記記憶装置から抽出する抽出部と、
前記抽出部によって抽出された複数のデータ対を、データ対が有する特性及び関連性が類似し、かつ、前記変遷情報が付与されたデータ対を含む部分集合に分類する分類部と、
前記分類部によって分類された部分集合ごとに、当該部分集合に含まれる変遷情報が付与されたデータ対を用いて変遷が生じたか否かを判定するための判定基準を生成する生成部と、
前記部分集合ごとに、前記生成部によって生成された判定基準を用いて当該部分集合に含まれるデータ対に変遷が生じたか否かを判定する判定部と、
を備えたことを特徴とするデータ判定システム。
【請求項２】
前記分類部は、前記データ対に含まれる２つのデータそれぞれにおいて共通する特性及び関連性を抽出し、前記２つのデータそれぞれから前記共通する特性及び関連性に対する意味的な繋がり方のパターン及び当該パターンの数を抽出し、抽出したパターン及び数を用いて、前記データ対からの前記共通する特性及び関連性に対する意味的な繋がり方のパターン及び当該パターンの数の和を算出することで、前記共通する特性及び関連性を意味論に基づくベクトル値に変換し、当該ベクトル値を用いて、前記データ対の特性及び関連性が類似しているか否かを判定することを特徴とする請求項１に記載のデータ判定システム。
【請求項３】
前記生成部は、前記変遷情報が付与されたデータ対における前記意味論に基づくベクトル値を用いた機械学習手法により前記判定基準を生成することを特徴とする請求項２に記載のデータ判定システム。
【請求項４】
前記判定部は、前記部分集合に含まれるデータ対それぞれの前記意味論に基づくベクトル値と、前記生成部によって生成された判定基準とを比較することで、前記データ対に変遷が生じたか否かを判定することを特徴とする請求項２又は３に記載のデータ判定システム。
【請求項５】
前記判定部は、前記生成部が前記判定基準の生成に用いた機械学習手法に基づいて、前記データ対に変遷が生じたか否かを判定することを特徴とする請求項３又は４に記載のデータ判定システム。
【請求項６】
前記分類部は、任意の条件を用いて前記データ対が有する特性及び関連性を選択し、選択した特性及び関連性に基づいて、前記共通する特性及び関連性を意味論に基づくベクトル値に変換することを特徴とする２〜５のいずれか一つに記載のデータ判定システム。
【請求項７】
連続的な特性を有する複数のデータを記憶するデータ記憶部と、
前記複数のデータそれぞれの特性及び当該複数のデータ間の関連性を記憶する周辺情報記憶部と、
前記複数のデータにおいて、連続するデータ間で時間的移り変わり又は空間的移り変わりに伴う変化である変遷が生じたか否かを示す変遷情報が付与されたデータ対の情報を記憶する変遷情報記憶部と、
前記周辺情報記憶部に記憶された特性及び関連性に基づいて、特性及び関連性が類似したデータ対を前記記憶装置から抽出する抽出部と、
前記抽出部によって抽出された複数のデータ対を、データ対が有する特性及び関連性が類似し、かつ、前記変遷情報が付与されたデータ対を含む部分集合に分類する分類部と、
前記分類部によって分類された部分集合ごとに、当該部分集合に含まれる変遷情報が付与されたデータ対を用いて変遷が生じたか否かを判定するための判定基準を生成する生成部と、
前記部分集合ごとに、前記生成部によって生成された判定基準を用いて当該部分集合に含まれるデータ対に変遷が生じたか否かを判定する判定部と、
を備えたことを特徴とするデータ判定装置。
【請求項８】
データ判定システムで実行されるデータ判定方法であって、
前記データ判定システムは、連続的な特性を有する複数のデータを記憶する記憶装置と、連続するデータ間で時間的移り変わり又は空間的移り変わりに伴う変化である変遷が生じたか否かを判定する判定装置とを備え、
前記判定装置が、前記複数のデータそれぞれの特性及び当該複数のデータ間の関連性を記憶する周辺情報記憶部を参照して、特性及び関連性が類似したデータ対を前記記憶装置から抽出する抽出工程と、
前記複数のデータにおいて、連続するデータ間で時間的移り変わり又は空間的移り変わりに伴う変化である変遷が生じたか否かを示す変遷情報が付与されたデータ対の情報を記憶する変遷情報記憶部を参照して、前記抽出工程によって抽出された複数のデータ対を、データ対が有する特性及び関連性が類似し、かつ、前記変遷情報が付与されたデータ対を含む部分集合に分類する分類工程と、
前記分類工程によって分類された部分集合ごとに、当該部分集合に含まれる変遷情報が付与されたデータ対を用いて変遷が生じたか否かを判定するための判定基準を生成する生成工程と、
前記部分集合ごとに、前記生成工程によって生成された判定基準を用いて当該部分集合に含まれるデータ対に変遷が生じたか否かを判定する判定肯定と、
を含んだことを特徴とするデータ判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、データ判定システム、データ判定装置及びデータ判定方法に関する。
【背景技術】
【０００２】
従来、企業内の様々なデータソースからの情報を統合して分析することによって、企業経営や、社内情報の素早い検索に役立てるＢＩ（Business  Intelligence）が注目を集めている。ＢＩは、業務システムなどから蓄積される膨大なデータを、蓄積、分析、加工することで、ビジネスにおける意思決定の高度化及び迅速化を可能にする。
【０００３】
ここで、企業などの多くの組織内では、一連の業務は一定の期間や空間で区切られて実行されることが多い。例えば、一連の業務は、年度ごとや地域ごとなどに区切られて実行される。このような一連の業務は、時間的な変遷（例えば、年度の経過）に伴い名称変更などが多く生じるが、このような変更情報が適切に管理されていない場合が多い。このような場合、一連の業務に関する情報を連携させることができないため、これらの情報をトレースしたり、変化の傾向を可視化したりすることができない。
【０００４】
このような一連の業務に関する情報を有機的に利用するために、データクレンジング技術が知られている。例えば、データクレンジング技術の一例としては、同一性に基づいてデータをマージする手法が知られている。このデータをマージする手法は、人手で作成されたドメインの知識に基づいて否定的な制約を設け、データをマージする際に、矛盾を発見しながら適切な同一性を有するデータをマージする手法である。
【０００５】
また、データクレンジング技術の他の例としては、属性値の文字列類似度とＳＶＭ（Support  Vector  Machine）用いる手法が知られている。ＳＶＭを用いる手法は、データの同一性判定において、複数の文字列比較関数とデータが表現されるテーブルのカラムに対し、それぞれのカラムの文字列に対してどの文字列比較関数と閾値の値を設定すべきかをＳＶＭを用いて学習するアプローチを取る。
【０００６】
さらに、上述したような異なる複数のデータソースから得られた情報を統一的に扱う枠組みとして、グラフ表現できるデータモデルであるＲＤＦ（Resource  Description  Framework）を用いたセマンティック（semantic）Ｗｅｂ技術も注目されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】S. E. Whang, et al., “Generic entity resolution with negative rules,” In VLDB, Vol. 18, pp. 1261-1277, 2009.
【非特許文献２】S. Chaudhuri, et al., “Example-driven Design of Efficient Record Matching Queries,” In VLDB, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、データ間の変遷を容易に判定することができない場合があった。具体的には、企業のデータは極度にドメイン特化されているため、上述した従来技術では、スキーマを入念に調査したボトムアップ的な個別対応が求められことから、データ間の変遷を容易に判定することができない。
【０００９】
例えば、同一性に基づいてデータをマージする手法は、データの直接のプロパティに関する情報は用いているものの、様々なデータソースの意味論的な繋がりを対象としていない事前に与えられた知識に基づくトップダウンな手法であるため、人手でドメインの知識に基づく制約を作成する必要があり、人手の負荷が大きく、データ間の変遷を容易に判定することができない。
【００１０】
また、例えば、属性値の文字列類似度とＳＶＭを用いる手法は、情報のプロパティの略記、誤記、欠損に対応する手法であり、名称の変化など、プロパティの文字列が全く変更してしまうようなデータには対応していない。また、属性値の文字列類似度とＳＶＭを用いる手法は、データの直接のプロパティに関する情報は用いているものの、様々なデータソースの意味論的な繋がりを対象としていない。さらに、属性値の文字列類似度とＳＶＭを用いる手法は、データを比較するテーブルカラムを人手で設定する必要があり、データの内容を人間が理解する必要があるため負荷が大きい。これらのことから、属性値の文字列類似度とＳＶＭを用いる手法においても、データ間の変遷を容易に判定することができない。
【００１１】
そこで、本願に係る技術は、上述した従来技術の問題に鑑みてなされたものであって、データ間の変遷を容易に判定することを可能にするデータ判定システム、データ判定装置及びデータ判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、本願のシステムは、連続的な特性を有する複数のデータを記憶する記憶装置と、前記記憶装置に記憶された前記複数のデータにおいて、連続するデータ間で時間的移り変わり又は空間的移り変わりに伴う変化である変遷が生じたか否かを判定する判定装置とを備えたデータ判定システムであって、前記判定装置は、前記複数のデータそれぞれの特性及び当該複数のデータ間の関連性を記憶する周辺情報記憶部と、前記変遷が生じたか否かを示す変遷情報が付与されたデータ対の情報を記憶する変遷情報記憶部と、前記周辺情報記憶部に記憶された特性及び関連性に基づいて、特性及び関連性が類似したデータ対を前記記憶装置から抽出する抽出部と、前記抽出部によって抽出された複数のデータ対を、データ対が有する特性及び関連性が類似し、かつ、前記変遷情報が付与されたデータ対を含む部分集合に分類する分類部と、前記分類部によって分類された部分集合ごとに、当該部分集合に含まれる変遷情報が付与されたデータ対を用いて変遷が生じたか否かを判定するための判定基準を生成する生成部と、前記部分集合ごとに、前記生成部によって生成された判定基準を用いて当該部分集合に含まれるデータ対に変遷が生じたか否かを判定する判定部とを備える。
【発明の効果】
【００１３】
本願のシステムは、データ間の変遷を容易に判定することを可能にする。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施例１に係るデータ判定システムの構成の一例を示す図である。
【図２】図２は、実施例１に係る記憶装置によって記憶される情報を説明するための図である。
【図３】図３は、実施例１に係るレコード・周辺情報記憶部によって記憶される情報の一例を説明するための図である。
【図４】図４は、実施例１に係るデータセット内レコード連結部による処理の例１を説明するための図である。
【図５】図５は、実施例１に係るデータセット内レコード連結部による処理の例２を説明するための図である。
【図６】図６は、実施例１に係る連続レコード対抽出部によって抽出されるレコード対の一例を示す図である。
【図７】図７は、実施例１に係るレコード対分類部に入力されるレコード対の一例を示す図である。
【図８】図８は、実施例１に係るレコード対分類部における第１の処理の処理結果を示す図である。
【図９】図９は、実施例１に係るレコード対分類部における第２の処理の処理結果を示す図である。
【図１０】図１０は、実施例１に係るレコード対分類部における第３の処理の処理結果を示す図である。
【図１１】図１１は、実施例１に係るレコード対分類部において出力される特徴変数の一例を示す図である。
【図１２】図１２は、実施例１に係るレコード対分類部によるクラスタリング処理の一例を示す図である。
【図１３】図１３は、実施例１に係る変遷情報統合モデル学習部によって用いられる特徴変数の一例を示す図である。
【図１４】図１４は、実施例１に係るレコード変遷情報判定部による処理結果の一例を示す図である。
【図１５Ａ】図１５Ａは、実施例１に係るデータ判定システムによる処理の手順を示すシーケンス図である。
【図１５Ｂ】図１５Ｂは、実施例１に係るデータ判定システムによる処理の手順を示すシーケンス図である。
【図１５Ｃ】図１５Ｃは、実施例１に係るデータ判定システムによる処理の手順を示すシーケンス図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、本願の開示するデータ判定システム、データ判定装置及びデータ判定方法の実施例を詳細に説明する。なお、本願のデータ判定システム、データ判定装置及びデータ判定方法は、以下の実施例により限定されるものではない。
【実施例１】
【００１６】
［実施例１に係るデータ判定システムの構成］
以下では、まず、実施例１に係るデータ判定システムの構成について説明する。図１は、実施例１に係るデータ判定システム１の構成の一例を示す図である。図１に示すように、実施例１に係るデータ判定システム１は、判定装置１００と記憶装置２００とを備える。
【００１７】
記憶装置２００は、例えば、ハードディスク、光ディスクなどの記憶装置であり、連続的な特性を有するデータを記憶する。具体的には、記憶装置２００は、図示しない端末などによって時間的又は空間的に連続して発行された複数のデータセットを記憶する。図２は、実施例１に係る記憶装置２００によって記憶される情報を説明するための図である。例えば、記憶装置２００は、図２の（Ａ）の「２００３年度発行のデータ」に示すように、年度ごとに発行されたデータセットを記憶する。
【００１８】
一例を挙げると、図２の（Ａ）に示すように、記憶装置２００は、「２００３年度発行のデータ」の一つとして、「２００３年度論文．ｘｌｓ」を記憶する。「２００３年度論文．ｘｌｓ」は、図２の（Ａ）に示すように、「タイトル：Ｃ技術の動向、著者：山田太郎、投稿日：２００３年５月１日、受理日：２００３年８月１日」といったメタデータがレコードに関連付けられている。ここで、年度ごとにデータセットを記憶する場合には、記憶装置２００は、新たなメタデータ「データ年度：２００３」が付与されたレコードを記憶する。なお、上述するレコードとは、データセットに含まれる個々のデータを意味する。
【００１９】
また、記憶装置２００は、連続して発行されるデータセットの発行期間としては、「年度」以外に、「半期」、「四半期」、「月」などの単位で発行されるデータセットも記憶する。また、記憶装置２００は、発行期間の異なる複数のレコードを、期間単位を合わせて管理することも可能である。例えば、記憶装置２００は、最も短い期間単位でレコードを管理する。図２の（Ｂ）に示すように、発行期間が異なるプロジェクトＤＢと、外部投稿ＤＢと、社員ＤＢとを管理する場合には、記憶装置２００は、社員ＤＢの発行期間に合わせて、プロジェクトＤＢのレコード及び外部投稿ＤＢのレコードをコピーするようにする。このとき、記憶装置２００は、社員ＤＢのレコードだけではなく、プロジェクトＤＢ及び外部投稿ＤＢのコピーされたレコードに対しても連続性を示す情報を付与して管理する。
【００２０】
また、記憶装置２００は、空間的に連続するデータセットとして、都道府県などを単位にデータセットを記憶する。かかる場合、例えば、隣接する東京都と神奈川県とで発行されたデータを連続するデータセットとして記憶する。
【００２１】
記憶装置２００によって記憶されるデータは、データベース化されたものであってもいいし、スプレッドシート等のファイルであってもよい。また、図１においては、記憶装置２００のみが図示されているが、本願の開示するデータ判定システムは、これに限定されるものではなく、記憶装置を有するものであればどのようなものでもよい。例えば、データベースサーバや、ユーザ端末などであってもよい。
【００２２】
判定装置１００は、図１に示すように、Ｉ／Ｆ（Interface）部１０と、入力部２０と、表示部３０と、記憶部４０と、制御部５０とを備え、記憶装置２００と接続される。そして、判定装置１００は、記憶装置２００によって記憶された連続的な特性を有するデータセットに含まれるレコード間に時間的・空間的移り変わりに伴う変化である変遷があるか否かを判定して、変遷があるレコード間に変遷を示すメタデータを付与する。
【００２３】
一例を挙げると、判定装置１００は、名称の異なるある年度のデータセットに含まれるプロジェクトのレコードと翌年度のデータセットに含まれるプロジェクトのレコードとの間に変遷の関係があるか否か（例えば、一連のプロジェクトに関するデータであるか否か）を判定して、レコード間に変遷を示すメタデータを付与する。さらに、判定装置１００は、入力部２０を介してユーザから入力された検索キーワードに関するデータを表示部３０に表示する。なお、判定装置１００は、例えば、ＰＣ（Personal Computer）、ワークステーション又はデータ判定用の専用装置である。
【００２４】
Ｉ／Ｆ部１０は、制御部５０と、入力部２０、表示部３０及び記憶部４０との間での各種情報のやり取りを制御する。入力部２０は、例えば、キーボードやマウスなどであり、ユーザによる種々の情報の入力処理を受付ける。一例を挙げると、入力部２０は、ユーザによる変遷の判定処理開始の入力処理を受付ける。表示部３０は、例えば、ディスプレイなどであり、ユーザに対して処理結果を表示出力する。一例を挙げると、表示部３０は、ユーザによって入力部２０から入力された変遷の判定処理の処理結果を表示出力する。
【００２５】
記憶部４０は、図１に示すように、レコード・周辺情報記憶部４１と、教師データ記憶部４２とを有する。記憶部４０は、例えば、ハードディスク、光ディスクなどの記憶装置、または、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子である。
【００２６】
レコード・周辺情報記憶部４１は、記憶装置２００によって記憶された複数のデータそれぞれの特性及び当該複数のデータ間の関連性を記憶する。具体的には、レコード・周辺情報記憶部４１は、レコードごとに、当該レコードの種類を示す属性情報と、当該レコードの特徴を示すメタデータと、当該レコードが連続性においてどの位置のレコードであるかを示す連続情報とを関連付けて記憶する。また、以下では、属性情報を単に属性と記載する場合がある。また、レコード・周辺情報記憶部４１は、後述する制御部５０による処理結果を記憶する。
【００２７】
ここで、レコード・周辺情報記憶部４１によって記憶される情報の詳細について説明する。図３は、実施例１に係るレコード・周辺情報記憶部４１によって記憶される情報の一例を説明するための図である。図３においては、また、図３においては、図３の（Ａ）が、ＲＤＦを用いたグラフ表現により情報を記憶する場合について示す。また、図３の（Ｂ）が、スプレッドシートにより情報を記憶する場合について示す。
【００２８】
例えば、ＲＤＦを用いたグラフ表現により情報を記憶する場合には、レコード・周辺情報記憶部４１は、図３の（Ａ）に示すように、グラフ構造を有する情報を記憶する。すなわち、レコード・周辺情報記憶部４１は、図３の(Ａ)に示すように、ラベル付き有向グラフデータを記憶する。例えば、レコード・周辺情報記憶部４１は、図３の（Ａ）に示すように、レコードの実体を示すノードと、レコードの属性を示すノード（レコードからｒｄｆ：ｔｙｐｅラベルで結ばれたノード）と、メタデータを示す複数のノード（矩形のノード）とを有するラベル付き有向グラフデータを記憶する。各ノードは、ＲＤＦの仕様に基づいてリソース（resource）、クラス（class）、リテラル（literal）と称される。
【００２９】
例えば、レコード・周辺情報記憶部４１は、図３の（Ａ）に示すように、特徴メタデータ（リテラル）である「ＩＤ：１０２」、「Ｎａｍｅ：鈴木二郎」、「Ｐｈｏｎｅ：８０９」及び「年度：２００３」が結ばれた「属性：社員」のレコードと、特徴メタデータである「ＩＤ：７０１」、「Ｎａｍｅ：組織Ｄ」及び「年度：２００３」が結ばれた「属性：組織」のレコードとが関連メタデータの「Ｏｒｇ」及び「Ｌｅａｄｅｒ」により結ばれたグラフ構造を記憶する。
【００３０】
また、例えば、スプレッドシートにより情報を記憶する場合には、レコード・周辺情報記憶部４１は、図３の（Ｂ）に示すように、２００３年度のデータセットとして、属性ごとにテーブルを設け、各行をレコード、各列をメタデータとした情報を記憶する。一例を挙げると、レコード・周辺情報記憶部４１は、図３の（Ｂ）に示すように、「属性：社員」のテーブルに、レコードのメタデータ「ＩＤ：１０１」、「Ｎａｍｅ：山田一郎」、「Ｐｈｏｎｅ：７０４」、「Ｏｒｇ：７０１」及び「年度：２００３」が格納された情報を記憶する。ここで、図３の（Ｂ）に示す「年度」が連続情報に相当する。同様に、レコード・周辺情報記憶部４１は、「属性：社員」のテーブルに、レコードのメタデータ「ＩＤ：１０２」、「Ｎａｍｅ：鈴木二郎」、「Ｐｈｏｎｅ：８０９」、「Ｏｒｇ：７０１」及び「年度：２００３」が格納された情報を記憶する。
【００３１】
ここで、レコード・周辺情報記憶部４１に記憶される情報は、属性間のレコードについても関連付けられる。例えば、図３の（Ｂ）に示すように、レコード・周辺情報記憶部４１に記憶される情報では、「属性：社員」の「メタデータ：Ｏｒｇ」を外部キーとして、「属性：組織」の「メタデータ：ＩＤ」が関連付けられる。すなわち、図３の（Ｂ）に示すように、「属性：組織」の「ＩＤ：７０１」が、「属性：社員」の「Ｏｒｇ：７０１」に格納される。同様に、「属性：組織」の「メタデータ：Ｌｅａｄｅｒ」を外部キーとして、「属性：社員」の「メタデータ：ＩＤ」が関連付けられる。すなわち、図３の（Ｂ）に示すように、「属性：社員」の「ＩＤ：１０２」が、「属性：組織」の「Ｌｅａｄｅｒ：１０２」に格納される。
【００３２】
上述したように、各レコードは、自身の特徴を示すメタデータと、レコード間を関連付けるメタデータとを有する。以下では、例えば、図３の（Ｂ）に示す「ＩＤ」、「Ｎａｍｅ」、「Ｐｈｏｎｅ」、「年度」などの自身の特徴を示すメタデータを特徴メタデータと記す。また、例えば、図３の（Ｂ）に示す「Ｏｒｇ」及び「Ｌｅａｄｅｒ」などのレコード間を関連付けるメタデータを関連メタデータと記す。なお、ＩＤは、各属性におけるレコードを一意に識別するための識別子であり、各レコードがレコード・周辺情報記憶部４１に格納される際にシーケンシャルに付与される。
【００３３】
図１に戻って、教師データ記憶部４２は、変遷が生じたか否かを示す変遷情報が付与されたレコード対の情報を記憶する。具体的には、教師データ記憶部４２は、変遷情報を持つレコード対の情報と、変遷情報を持たないレコード対の情報を記憶する。例えば、教師データ記憶部４２は、２つのリソースのＵＲＩ（Uniform  Resource  Identifier）又は一意に示すＩＤと、変遷情報を２値で表現したラベルとを３つ組のテーブルで記憶する。ここで、ラベルとしては、例えば、変遷情報を持つ教師データの場合に「+１」、変遷情報を持たない教師データの場合に「-１」を付与する。なお、ラベルの値は「TRUE」、「FALSE」など、２値で表現できるものであればどのようなものでも適用可能である。また、教師データ記憶部４２の初期状態は、１つまたは複数の連続的な特性を持つリソースのＵＲＩの対と、それに対する変遷情報を持つか否かを示したラベルを保持した状態である。
【００３４】
制御部５０は、図１に示すように、レコード収集部５１と、データセット内レコード連結部５２と、連続レコード対抽出部５３と、レコード対分類部５４と、変遷情報統合モデル学習部５５と、レコード変遷情報判定部５６とを有する。制御部５０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などの電子回路やＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などの集積回路である。
【００３５】
レコード収集部５１は、Ｉ／Ｆ部１０を介して、記憶装置２００から連続的な特性を有する複数のデータを収集する。具体的には、レコード収集部５１は、時間的又は空間的に連続して発行され、記憶装置２００によって記憶された複数のデータセットを収集する。例えば、レコード収集部５１は、記憶装置２００によって記憶された年度ごとに発行されたデータセットに含まれる各レコードを収集する。なお、レコード収集部５１によるレコードの収集のタイミングは、管理者によって任意に決定することができる。例えば、記憶装置２００に新たなデータセットが格納されるたびに収集する場合であってもよいし、定期的に収集する場合であってもよい。
【００３６】
データセット内レコード連結部５２は、記憶装置２００によって記憶された連続的な特性を有する複数のデータごとに、当該データの種類を示す属性情報と、当該データの特徴を示す特徴情報と、連続的な特性における当該データの位置づけを示す連続情報とを関連付ける。具体的には、データセット内レコード連結部５２は、レコード収集部５１によって収集された複数のレコードごとに、属性情報と、メタデータと、連続性を示す連続情報との関連を示す情報を生成して、レコード・周辺情報記憶部４１に格納する。図４は、実施例１に係るデータセット内レコード連結部５２による処理の例１を説明するための図である。
【００３７】
例えば、データセット内レコード連結部５２は、図４に示すように、レコード収集部５１によって収集された２００３年度のレコードについて、属性情報と、メタデータと、連続情報との関連を示すＲＤＦのグラフ構造を生成してレコード・周辺情報記憶部４１に格納する。一例を挙げると、データセット内レコード連結部５２は、まず、図４に示すように、レコード収集部５１によって収集されたレコード「＃２００３  研究プロジェクトＡ」について、レコードと属性「ｐｒｏｊｅｃｔ：プロジェクト」とをｒｄｆ：ｔｙｐｅラベルで結び、さらに、レコードと特徴メタデータとを、「ｐｒｏｊｅｃｔ：プロジェクト名」や、「ｐｒｏｊｅｃｔ：データ年度」などのラベルで結ぶ。
【００３８】
さらに、データセット内レコード連結部５２は、同一年度内で関連付けられているレコード間を関連メタデータのラベルにより連結する。例えば、データセット内レコード連結部５２は、図４に示すように、「データ年度」が「２００３年度」であるレコード「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｐｒｏｊｅｃｔ  ＃２００３＿研究プロジェクトＡ」と「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｐｅｒｓｏｎ  ＃２００３＿山田太郎」とを関連メタデータ「Ｐｒｏｊｅｃｔ：責任者」により連結する。ここで、データセット内レコード連結部５２は、年度に依存しない情報には年度情報を連結しない。例えば、データセット内レコード連結部５２は、「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｗｏｒｄ  ＃Ａ技術」や、「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｗｏｒｄ  ＃Ｂ技術」などには年度情報を連結しない。そして、データセット内レコード連結部５２は、属性情報、特徴メタデータ、レコード間を連結したグラフ構造をレコード・周辺情報記憶部４１に格納する。
【００３９】
なお、データセット内レコード連結部５２は、図４に示すグラフ構造だけではなく、ＸＭＬ形式でデータにより各レコードの関連を示す情報を生成することも可能である。図５は、実施例１に係るデータセット内レコード連結部５２による処理の例２を説明するための図である。図５においては、２００３年度データをＲＤＦ／ＸＭＬ形式データで表現した例を示す。
【００４０】
例えば、データセット内レコード連結部５２は、図５に示すように、レコード「研究プロジェクトＡ、責任者：山田太郎、プロジェクトＩＤ：２００３０１Ａ、技術キーワード：Ａ技術、Ｂ技術」の関連をＸＭＬ形式で表現した情報を生成する。同様に、データセット内レコード連結部５２は、図５に示すように、レコード「山田太郎、社員ＩＤ：Ｘ１２３４５６、役職：部長、生年月日：１９５５／０１／０１」の関連をＸＭＬ形式で表現した情報を生成する。
【００４１】
図１に戻って、連続レコード対抽出部５３は、周辺情報記憶部によって記憶された特性及び関連性に基づいて、特性及び関連性が類似したデータ対を記憶装置２００から抽出する。具体的には、連続レコード対抽出部５３は、共通の周辺情報を有する連続的なレコード対を全て抽出する。図６は、実施例１に係る連続レコード対抽出部５３によって抽出されるレコード対の一例を示す図である。例えば、連続レコード対抽出部５３は、図６に示すように、年度を跨いで名称が「プロジェクトＸ」から「プロジェクトＹ」に変更したレコード「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｐｒｏｊｅｃｔ  ＃２００６＿プロジェクトＸ」と、「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｐｒｏｊｅｃｔ  ＃２００７＿プロジェクトＹ」とを、レコード対として抽出する。
【００４２】
ここで、連続レコード対抽出部５３は、周辺情報の意味（繋がり方）を考慮するために、各レコードに連結された情報に共通の周辺情報を含む２つのレコードをレコード対として抽出する。例えば、連続レコード対抽出部５３は、図６に示すように、周辺情報として「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｗｏｒｄ  ＃セマンティックＷｅｂ」、「鈴木一郎」、「佐藤次郎」が共通して連結されていることから、「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｐｒｏｊｅｃｔ  ＃２００６＿プロジェクトＸ」と、「ｈｔｔｐ：／／ｎｔｔ．ｃｏ．ｊｐ／ｐｒｏｊｅｃｔ  ＃２００７＿プロジェクトＹ」とを、レコード対として抽出する。
【００４３】
図１に戻って、レコード対分類部５４は、連続レコード対抽出部５３によって抽出された複数のデータ対を、データ対が有する特性及び関連性が類似し、かつ、前記変遷情報が付与されたデータ対を含む部分集合に分類する。ここで、レコード対分類部５４は、データ対に含まれる２つのデータそれぞれにおいて共通する特性及び関連性を抽出し、前記２つのデータそれぞれから前記共通する特性及び関連性に対する意味的な繋がり方のパターン及び当該パターンの数を抽出し、抽出したパターン及び数を用いて、前記データ対からの前記共通する特性及び関連性に対する意味的な繋がり方のパターン及び当該パターンの数の和を算出することで、前記共通する特性及び関連性を意味論に基づくベクトル値に変換し、当該ベクトル値を用いて、前記データ対の特性及び関連性が類似しているか否かを判定する。
【００４４】
以下、レコード対分類部５４によって実行される意味論に基づくレコード対の特徴抽出の詳細について説明する。ここで、レコード対分類部５４は、意味論に基づくレコード対の特徴抽出を行うために、意味論に基づく特徴ベクトル作成機能が適用されている。特徴ベクトル作成機能は、連続的な特性を有するレコード対と、各レコードに対する周辺情報を入力とし、そのリソースの対の特徴を表現したベクトル値を出力とするものである。そして、この特徴ベクトル作成機能は、後述する変遷情報統合モデル学習部５５及びレコード変遷情報判定部５６にも適用されている。そこで、まず、レコード対分類部５４、変遷情報統合モデル学習部５５及びレコード変遷情報判定部５６それぞれに適用されている特徴ベクトル作成機能について説明する。なお、以下では、レコード対分類部５４にて実行される特徴ベクトルの生成を一例に説明する。
【００４５】
図７は、実施例１に係るレコード対分類部５４に入力されるレコード対の一例を示す図である。すなわち、図７に示すレコード対は、連続レコード対抽出部５３によって抽出されたレコード対である。ここで、図７においては、レコード「ｎ１」とレコード「ｎ２」とが特徴を抽出するレコード対（リソース対）、すなわち、変遷の関係にあるか否かが判定されるレコード対を示す。また、図７においては、「ｖ１」〜「ｖ１５」が「ｎ１」又は「ｎ２」に対する周辺情報としてのリソースを示す。また、図７においては、「Ｌ１」〜「Ｌ５」が「ｎ１」又は「ｎ２」に対する周辺情報としてのリテラルを示す。
【００４６】
なお、レコード対分類部５４における特徴ベクトル作成においては、任意の条件を用いて前記データ対が有する特性及び関連性を選択し、選択した特性及び関連性に基づいて、前記共通する特性及び関連性を意味論に基づくベクトル値に変換する。すなわち、レコード対分類部５４における特徴ベクトル作成においては、レコードの周辺情報について、必ずしもレコード・周辺情報記憶部４１の元データをそのまま取得するわけでは無く、取得するデータ・メタデータを制限することができる。例えば、レコード対分類部５４における特徴ベクトル作成においては、レコードから取得する周辺情報への最大経路長を制限したり、あるプロパティの取得を禁止ししたり、レコードから周辺情報までの経路上に入方向・出方向の変化の軸となるリソースの個数を制限したりすることができる。
【００４７】
図７に示すレコード対が入力されると、レコード対分類部５４においては、特徴ベクトル作成機能により以下の処理が実行される。特徴ベクトル作成機能は、まず、共通の周辺情報を抽出し、各レコードから抽出した共通の周辺情報への意味的な繋がり方のパターン及び個数を列挙する。図８は、実施例１に係るレコード対分類部５４における第１の処理の処理結果を示す図である。
【００４８】
例えば、特徴ベクトル作成機能は、図７に示すレコード対が入力されると、「ｎ１」及び「ｎ２」に共通する周辺情報として、「Ｌ１」、「Ｌ２」及び「Ｌ３」を抽出する。そして、特徴ベクトル作成機能は、抽出したリテラル「Ｌ１」、「Ｌ２」及び「Ｌ３」について、レコード「ｎ１」及び「ｎ２」それぞれからの意味的な繋がり方と、その個数を列挙する。例えば、特徴ベクトル作成機能は、図８に示すように、「Ｌ１」に対する「ｎ１」からの繋がり方として「組織：所属：氏名」を「１つ」列挙し、「Ｌ１」に対する「ｎ２」からの繋がり方として「組織：所属：氏名」を「１つ」列挙する。これは、図７に示す「ｎ１」から「Ｖ１」、「Ｖ２」を経由した場合の属性の繋がり方を示す。
【００４９】
同様に、特徴ベクトル作成機能は、「Ｌ２」に対する「ｎ１」からの繋がり方として「組織：所属：氏名」を「１つ」、「プロジェクト：著者：氏名」を「１つ」、それを組み合わせた「組織：所属：氏名 ＆ プロジェクト：著者：氏名」を「１つ」列挙する。また、特徴ベクトル作成機能は、「Ｌ２」に対する「ｎ２」からの繋がり方として「組織：所属：氏名」を「１つ」列挙する。さらに、特徴ベクトル作成機能は、「Ｌ３」に対する「ｎ１」からの繋がり方として「プロジェクト：著者：氏名」を「２つ」列挙し、「Ｌ３」に対する「ｎ２」からの繋がり方として「組織：所属：氏名」を「１つ」、「プロジェクト：著者：氏名」を「３つ」、それを組み合わせた「組織：所属：氏名 ＆ プロジェクト：著者：氏名」を「３つ」列挙する。なお、上記した２つのパスを組み合わせた繋がり方（例えば、組織：所属：氏名 ＆ プロジェクト：著者：氏名）は、グラフ上の意味論を考慮したものである。
【００５０】
次に、特徴ベクトル作成機能は、列挙した各レコードの繋がり方とその数を用いて、レコード対から共通する周辺情報への意味的な繋がり方のパターンと、その数を列挙する。図９は、実施例１に係るレコード対分類部５４における第２の処理の処理結果を示す図である。図９においては、図８に示す処理結果を用いて行なった第２の処理の処理結果を示す。
【００５１】
例えば、特徴ベクトル作成機能は、図９に示すように、対となるレコードから、共通のリテラルに到達する意味論のパターンを計数する。例えば、特徴ベクトル作成機能は、図９に示すように、「Ｌ１」に対する「ｎ１」及び「ｎ２」それぞれからの繋がり方として「組織：所属：氏名」*「組織：所属：氏名」を「１つ」計数する。同様に、特徴ベクトル作成機能は、図９に示すように、「Ｌ２」に対する「ｎ１」及び「ｎ２」それぞれからの繋がり方として「組織：所属：氏名」*「組織：所属：氏名」を「１つ」、「プロジェクト：著者：氏名」*「組織：所属：氏名」という繋がり方を「１つ」、「組織：所属：氏名 ＆ プロジェクト：著者：氏名」*「組織：所属：氏名」という繋がり方を「１つ」計数する。
【００５２】
さらに、特徴ベクトル作成機能は、図９に示すように、「Ｌ３」に対する「ｎ１」及び「ｎ２」それぞれからの繋がり方として「プロジェクト：著者：氏名」*「組織：所属：氏名」を「２つ」、「プロジェクト：著者：氏名」*「プロジェクト：著者：氏名」という繋がり方を「６つ」、「プロジェクト：著者：氏名」*「組織：所属：氏名 ＆ プロジェクト：著者：氏名」という繋がり方を「６つ」計数する。
【００５３】
そして、特徴ベクトル作成機能は、意味的な繋がり方のパターンごとに個数の和を算出することで、レコード対における関連性を意味論に基づくベクトル値に変換する。図１０は、実施例１に係るレコード対分類部５４における第３の処理の処理結果を示す図である。図１０においては、図１０の（Ａ）が図９に示す処理結果を示し、図１０の（Ｂ）が図９の処理結果を用いて行なった第３の処理の処理結果を示す。
【００５４】
例えば、特徴ベクトル作成機能は、図１０の（Ａ）に示す繋がり方のパターンのうち同一のものを抽出し、その数の和を算出する。その結果、図１０の（Ｂ）に示すように、特徴ベクトル作成機能は、「組織：所属：氏名」*「組織：所属：氏名」が「２つ」、「組織：所属：氏名 ＆ プロジェクト：著者：氏名」*「組織：所属：氏名」が「１つ」、「プロジェクト：著者：氏名」*「組織：所属：氏名」が「３つ」、「プロジェクト：著者：氏名」*「プロジェクト：著者：氏名」が「６つ」、「プロジェクト：著者：氏名」*「組織：所属：氏名 ＆ プロジェクト：著者：氏名」が「６つ」となる処理結果を算出する。
【００５５】
ここで、特徴ベクトル作成機能は、意味論（繋がり方のパターン）ごとに数を対応付けた特徴変数を出力する。図１１は、実施例１に係るレコード対分類部５４において出力される特徴変数の一例を示す図である。例えば、特徴ベクトル作成機能は、図１１に示すように、「レコード対ｎ１とｎ２の特徴変数ｙ12＝（ｇ1：２、ｇ2：１、ｇ3：３、ｇ4：６、ｇ5：６、ｇ6：０、・・・、ｇn：０）」とする特徴変数を出力する。なお、図１１の「ｇn」は、各意味論を示す。例えば、「ｇ1」は、「組織：所属：氏名」*「組織：所属：氏名」を示す。
【００５６】
レコード対分類部５４は、特徴ベクトル作成機能により、連続レコード対抽出部５３によって抽出された全てのレコード対に対して上述した処理を実行して、すべてのレコード対を特徴変数に変換する。そして、レコード対分類部５４は、教師データ記憶部４２によって記憶された変遷情報が付与されたレコード対の情報を参照して、特徴変数に変換したレコード対のうち、変遷情報が付加されたレコード対と同一のレコード対に対して、教師データであることを示すラベルを付与する。なお、教師データとは、変遷の関係にあるか否かを判定するため事例データを意味する。
【００５７】
さらに、レコード対分類部５４は、ラベルの付加処理を行った後の全ての特徴変数を用いて、データ対を１つ又は複数のクラスタに分類する。例えば、レコード対分類部５４は、特徴変数に対して、ｋ−ｍｅａｎｓ法や、ウォード法などのクラスタリング手法を適用することで、データ対をクラスタに分類する。図１２は、実施例１に係るレコード対分類部５４によるクラスタリング処理の一例を示す図である。ここで、図１２においては、ｋ−ｍｅａｎｓ法によるクラスタリングの一例を示す。なお、図１２においては、２次元上に特徴変数ごとのプロットが示されているが、実際には、多次元空間に特徴変数がプロットされている。また、次元数は、意味論数（繋がり方の全パターン数）と同一である。
【００５８】
例えば、レコード対分類部５４は、図１２の（Ａ）に示すように、変換した全ての特徴変数を多次元空間の座標に配置する。そして、レコード対分類部５４は、各点にランダムにクラスタを割り当て、クラスタの重心を計算する。そして、レコード対分類部５４は、各点を、一番近い重心のクラスタに変更する。ここで、レコード対分類部５４は、変化がなくなるまで、上記した処理を繰り返し実行して、図１２の（Ｂ）に示すように、特徴変数をクラスタリングすることで、データ対をクラスタに分類する。
【００５９】
さらに、レコード対分類部５４は、クラスタリング処理を実行した後、各クラスタに教師データが含まれているか否かを判定する。ここで、クラスタに教師データが含まれていない場合には、レコード対分類部５４は、教師データを含まないクラスタを近傍のクラスタと連結する。すなわち、レコード対分類部５４は、すべてのクラスタに教師データが含まれるように、クラスタリングを実行する。
【００６０】
そして、レコード対分類部５４は、クラスタリングの実行後、各クラスタに含まれるデータ対（判定データ対、教師データ）に分類されたクラスタを一意に特定するためのラベルを付与する。なお、クラスタ数は、装置の管理者によって１以上の整数に任意に設定される。また、クラスタ数を事前に指定しないクラスタリング手法を採用する場合であってもよい。なお、上述したレコート対分類部５４においては、意味論に基づく特徴ベクトル作成機能に限らず、例えば、周辺リテラルの単語頻度ベクトルなどの他の特徴ベクトルが用いられる場合であってもよい。
【００６１】
図１に戻って、変遷情報統合モデル学習部５５は、レコード対分類部５４によって分類されたクラスタごとに、当該クラスタに含まれる変遷情報が付与されたデータ対を用いて変遷が生じたか否かを判定するための判定基準を生成する。具体的には、変遷情報統合モデル学習部５５は、教師データ（変遷情報が付与されたデータ対）における意味論に基づくベクトル値を用いた機械学習手法により変遷情報統合モデルを生成する。図１３は、実施例１に係る変遷情報統合モデル学習部５５によって用いられる特徴変数の一例を示す図である。図１３においては、１つのクラスタにおける特徴変数の集合を示す。
【００６２】
例えば、変遷情報統合モデル学習部５５は、図１３に示すように、上述した意味論に基づく特徴ベクトル作成機能により、教師データを特徴変数に変換し、それぞれの特徴変数（ｇ1〜ｇn）に変遷判別ラベル（ｃ）を付加した特徴変数を用いた機械学習手法により変遷情報統合モデルを生成する。ここで、変遷情報統合モデル学習部５５は、機械学習手法として、任意の手法を用いることが可能であり、例えば、ＳＶＭや、決定木などを用いる。
【００６３】
図１に戻って、レコード変遷情報判定部５６は、クラスタごとに、変遷情報統合モデル学習部５５によって生成された変遷情報統合モデルを用いて当該クラスタに含まれるレコード対に変遷が生じたか否かを判定する。具体的には、レコード変遷情報判定部５６は、上述した意味論に基づく特徴ベクトル作成機能により、クラスタに含まれるレコード対それぞれを特徴変数に変換する。そして、レコード変遷情報判定部５６は、クラスタに含まれるレコード対それぞれの意味論に基づくベクトル値と、変遷情報統合モデル学習部５５によって生成された変遷情報統合モデルとを比較することで、レコード対に変遷が生じたか否かを判定する。ここで、レコード変遷情報判定部５６は、変遷情報統合モデル学習部５５が変遷情報統合モデルの生成に用いた機械学習手法に基づいて、レコード対に変遷が生じたか否かを判定する。
【００６４】
図１４は、実施例１に係るレコード変遷情報判定部５６による処理結果の一例を示す図である。図１４においては、図７に示すレコード対に対して判定処理を行った結果の一例を示す。例えば、レコード変遷情報判定部５６は、図１４の（Ａ）に示すレコード「ｎ１」と「ｎ２」とが変遷した情報であるか否かを判定する。そして、「ｎ１」と「ｎ２」とが変遷した情報であると判定した場合には、レコード変遷情報判定部５６は、図１４の（Ｂ）に示すように、判定を行ったレコード間に変遷を示すメタデータを付加して、レコード・周辺情報記憶部４１に格納する。なお、レコード変遷情報判定部５６は、「ｎ１」と「ｎ２」とが変遷した情報であることを示す変遷情報を教師データ記憶部４２にも格納する。
【００６５】
上述したように、本実施例に係るデータ判定システム１は、データソース間の意味論的な繋がりを用いた機械学習手法により変遷の判定を行っていることから、データ間の変遷を容易に判定することを可能にする。これは、ドメイン知識に基づく判定規則を人手で与えることで、人手の負荷を大きくするという従来技術とは大きく異なる。さらに、本実施例に係るデータ判定システム１は、比較するデータのスキーマを調整する必要がある、或いは、データの属性値の変化が生じるようなデータの変遷情報の判定には対応できないという従来技術とも大きく異なる。
【００６６】
［実施例１に係るデータ判定システムによる処理の手順］
次に、実施例１に係るデータ判定システム１による処理の手順について、図１５Ａ〜１５Ｃを用いて説明する。図１５Ａ〜１５Ｃは、実施例１に係るデータ判定システム１による処理の手順を示すシーケンス図である。なお、図１５Ａ〜１５Ｃに示す処理は、図１５Ａ、図１５Ｂ、図１５Ｃの順番で実行される。
【００６７】
図１５Ａに示すように、実施例１に係るデータ判定システム１においては、連続レコード対抽出部５３が、レコード・周辺情報記憶部４１から連続データとなるレコードの対を全て抽出し（ステップＳ１０１）、抽出した全てのレコード対をレコード対分類部５４に送信する（ステップＳ１０２）。
【００６８】
レコード対分類部５４は、レコード対を受信すると、受信したレコード対それぞれを特徴変数に変換し（ステップＳ１０３）、教師データ記憶部４２から全ての教師データを抽出して（ステップＳ１０４）、受信したレコード対のうち、教師データにラベルを付与する（ステップＳ１０５）。
【００６９】
そして、レコード対分類部５４は、特徴変数に基づいて、レコード対のクラスタリングを実行し（ステップＳ１０６）、教師データが含まれないクラスタがあるか否かを判定する（ステップＳ１０７）。ここで、教師データが含まれないクラスタがある場合には（ステップＳ１０７肯定）、レコード対分類部５４は、教師データが含まれないクラスタを近傍のクラスタと連結する（ステップＳ１０８）。
【００７０】
教師データが含まれないクラスタがない場合（ステップＳ１０７否定）、クラスタを連結した後、レコード対分類部５４は、レコード対にクラスタのラベルを付与する（ステップ Ｓ１０９）。そして、レコード対分類部５４は、クラスタ情報付教師データを変遷情報統合モデル学習部５５に送信し（ステップＳ１１０）、クラスタ情報付判定レコード対をレコード変遷情報判定部５６に送信する（ステップＳ１１１）。
【００７１】
変遷情報統合モデル学習部５５は、クラスタ情報付教師データを受信すると、図１５Ｂに示すように、受信したクラスタ情報付教師データのレコード対からクラスタｋに関する全ての教師データを抽出し（ステップＳ１１２）、抽出した全ての教師データのレコード対をそれぞれ特徴変数に変換する（ステップＳ１１３）。そして、変遷情報統合モデル学習部５５は、変換した特徴変数に正解データ又は不正解データのラベルを付与する（ステップＳ１１４）。
【００７２】
その後、変遷情報統合モデル学習部５５は、特徴変数から変遷情報統合モデルを生成し（ステップＳ１１５）、生成した変遷情報統合モデルをレコード変遷情報判定部５６に送信する（ステップＳ１１６）。
【００７３】
レコード変遷情報判定部５６は、クラスタ情報付判定レコード対を受信すると、図１５Ｃに示すように、受信したクラスタ情報付判定レコード対から、クラスタｋに関するレコード対を抽出し（ステップＳ１１７）、抽出したレコード対を特徴変数に変換し（ステップＳ１１８）、変遷情報統合モデルを受信する（ステップＳ１１９）。
【００７４】
その後、レコード変遷情報判定部５６は、レコード対に対して変遷情報統合モデルを適用し、変遷情報があるか否かを判定する（ステップＳ１２０）。すなわち、レコード変遷情報判定部５６は、レコード対が変遷の関係にあるか否かを判定する（ステップＳ１２１）。ここで、変遷の関係にある場合には（ステップＳ１２１肯定）、レコード変遷情報判定部５６は、変遷情報を登録して（ステップＳ１２２）、全てのレコードの組み合わせを選択したか否かを判定する（ステップＳ１２３）。一方、変遷の関係にない場合には（ステップＳ１２１否定）、レコード変遷情報判定部５６は、全てのレコードの組み合わせを選択したか否かを判定する（ステップＳ１２３）。
【００７５】
ここで、全てのレコードの組み合わせを選択していない場合には（ステップＳ１２３否定）、レコード変遷情報判定部５６は、ステップＳ１１８に戻って、レコード対を特徴変数に変換する。一方、全てのレコードの組み合わせを選択した場合には（ステップＳ１２３肯定）、レコード変遷情報判定部５６は、全てのクラスタについて判定したか否かを判定する（ステップＳ１２４）。
【００７６】
ここで、全てのクラスタについて判定していない場合には（ステップＳ１２４否定）、ステップＳ１１２に戻って、変遷情報統合モデル学習部５５が、未判定のクラスタに関する全ての教師データを抽出する。一方、全てのクラスタについて判定した場合には（ステップＳ１２４肯定）、実施例１に係るデータ判定システムは処理を終了する。
【００７７】
［実施例１の効果］
上述したように、実施例１によれば、レコード・周辺情報記憶部４１が、複数のデータそれぞれの特性及び当該複数のデータ間の関連性を記憶する。そして、教師データ記憶部４２が、変遷が生じたか否かを示す変遷情報が付与されたデータ対の情報を記憶する。そして、連続レコード対抽出部５３が、レコード・周辺情報記憶部４１に記憶された特性及び関連性に基づいて、特性及び関連性が類似したデータ対を抽出する。そして、レコード対分類部５４が、連続レコード対抽出部５３によって抽出された複数のデータ対を、データ対が有する特性及び関連性が類似し、かつ、変遷情報が付与されたデータ対を含むクラスタに分類する。そして、変遷情報統合モデル学習部５５が、レコード対分類部５４によって分類されたクラスタごとに、当該クラスタに含まれる変遷情報が付与されたデータ対を用いて変遷が生じたか否かを判定するための変遷情報統合モデルを生成する。そして、レコード変遷情報判定部５６が、クラスタごとに、変遷情報統合モデル学習部５５によって生成された変遷情報統合モデルを用いて当該クラスタに含まれるデータ対に変遷が生じたか否かを判定する。従って、実施例１に係るデータ判定システム１は、教師データとして変遷の事例をベースとし、かつ、変遷の事例は客観的事実に基づき、複雑な規則などを生成する必要がないため、人手の負荷を小さい方法でデータ対の変遷を判定することができ、データ間の変遷を容易に判定することを可能にする。さらに、実施例１に係るデータ判定システム１は、各レコードの周辺情報を判定の根拠とすることができ、情報の属性値の変化を伴うものの変遷についても判定することを可能にする。
【００７８】
また、実施例１によれば、レコード対分類部５４は、データ対に含まれる２つのデータそれぞれにおいて共通する特性及び関連性を抽出し、２つのデータそれぞれから共通する特性及び関連性に対する意味的な繋がり方のパターン及び当該パターンの数を抽出し、抽出したパターン及び数を用いて、データ対からの共通する特性及び関連性に対する意味的な繋がり方のパターン及び当該パターンの数の和を算出することで、共通する特性及び関連性を意味論に基づくベクトル値に変換し、当該ベクトル値を用いて、前記データ対の特性及び関連性が類似しているか否かを判定する。従って、実施例１に係るデータ判定システム１は、教師データとして変遷の事例を与えると共に、リテラルだけでなく、意味論的に考慮する必要性の高い周辺情報に対して共通性を見ることで、単なる分野やドメインの分類を超えた同義性の判定を可能にする。
【００７９】
また、実施例１によれば、変遷情報統合モデル学習部５５は、変遷情報が付与されたデータ対における意味論に基づくベクトル値を用いた機械学習手法により変遷情報統合モデルを生成する。従って、実施例１に係るデータ判定システム１は、レコード対に対する周辺情報として共通なリテラル又はレコードを抽出し、それがレコードに対してどのような意味を持っているかが、機械学習で変数化することができ、レコード対の周辺情報の関係を意味論に基づいて表現することを可能にする。
【００８０】
また、実施例１によれば、レコード変遷情報判定部５６は、クラスタに含まれるデータ対それぞれの意味論に基づくベクトル値と、変遷情報統合モデル学習部５５によって生成された変遷情報統合モデルとを比較することで、データ対に変遷が生じたか否かを判定する。従って、実施例１に係るデータ判定システム１は、単なる分野やドメインの分類を超えた同義性の判定をより容易に実施することを可能にする。
【００８１】
また、実施例１によれば、レコード変遷情報判定部５６は、変遷情報統合モデル学習部５５が変遷情報統合モデルの生成に用いた機械学習手法に基づいて、データ対に変遷が生じたか否かを判定する。従って、実施例１に係るデータ判定システム１は、教師データとして変遷の事例をベースとすることを可能にする。
【００８２】
また、実施例１によれば、レコード対分類部５４は、任意の条件を用いてデータ対が有する特性及び関連性を選択し、選択した特性及び関連性に基づいて、共通する特性及び関連性を意味論に基づくベクトル値に変換する。従って、実施例１に係るデータ判定システムは、周辺情報を柔軟に利用することができ、判定精度をより向上させることを可能にする。
【実施例２】
【００８３】
これまで実施例１を説明したが、本願の技術はこれらの実施例１に限定されるものではない。すなわち、これらの実施例は、その他の様々な形態で実施されることが可能であり、種々の省略、置き換え、変更を行うことができる。
【００８４】
また、例えば、各装置の分散・統合の具体的形態（例えば、図１の形態）は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合することができる。一例を挙げると、上述したレコード対分類部５４では、クラスタリングを実行する機能に、意味論に基づく特徴ベクトル作成機能や、周辺リテラルの単語頻度ベクトル作成機能などの特徴変数への変換機能を適用するように説明したが、例えば、特徴ベクトル作成機能とクラスタリング機能とを統合してレコード対分類部５４とする場合であってもよい。一方、レコード・周辺情報記憶部４１を、レコードを記憶するレコード記憶部と周辺情報を記憶する周辺情報記憶部の２つの記憶部としてもよい。
【００８５】
また、制御部５０を判定装置の外部装置としてネットワーク経由で接続するようにしてもよく、或いは、連続レコード対抽出部５３、レコード対分類部５４を別の装置がそれぞれ有し、ネットワークに接続されて協働することで、上述した判定装置１００の機能を実現するようにしてもよい。
【００８６】
また、上述した実施例では、外部の記憶装置２００から連続データを収集するデータ判定システムについて説明したが、記憶装置２００を内蔵することで、１台の装置で上述したデータ判定システムの機能を実現するようにしてもよい。
【００８７】
これらの実施例やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００８８】
１  データ判定システム
１０  Ｉ／Ｆ部
２０  入力部
３０  表示部
４０  記憶部
４１  レコード・周辺情報記憶部
４２  教師データ記憶部
５０  制御部
５１  レコード収集部
５２  データセット内レコード連結部
５３  連続レコード対抽出部
５４  レコード対分類部
５５  変遷情報統合モデル学習部
５６  レコード変遷情報判定部
１００  判定装置
２００  記憶装置
【図１】
2013101555.tif 000003
【図２】
2013101555.tif 000004
【図３】
2013101555.tif 000005
【図４】
2013101555.tif 000006
【図５】
2013101555.tif 000007
【図６】
2013101555.tif 000008
【図７】
2013101555.tif 000009
【図８】
2013101555.tif 000010
【図９】
2013101555.tif 000011
【図１０】
2013101555.tif 000012
【図１１】
2013101555.tif 000013
【図１２】
2013101555.tif 000014
【図１３】
2013101555.tif 000015
【図１４】
2013101555.tif 000016
【図１５Ａ】
2013101555.tif 000017
【図１５Ｂ】
2013101555.tif 000018
【図１５Ｃ】
2013101555.tif 000019