(57)【要約】  データ処理装置は、処理対象のデータテーブルと、条件付関数従属性ルールリストを入力するデータ入力手段と、条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定する特定手段と、特定された条件付関数従属性ルールのペアについて、条件部適合数と、前提部一致数と、従属性一致数と、従属性矛盾数の少なくとも一つを用いて統合可能性を算出する算出手段と、統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力する情報提示手段と、を備える。
2013035680.tif 000002
【特許請求の範囲】
【請求項１】
処理対象のデータテーブルと、条件付関数従属性ルールリストを入力するデータ入力手段と、
前記条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定する特定手段と、
前記特定された条件付関数従属性ルールのペアについて、条件部適合数と、前提部一致数と、従属性一致数と、従属性矛盾数の少なくとも一つを用いて統合可能性を算出する算出手段と、
前記統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを前記処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力する情報提示手段と、
を備えることを特徴とするデータ処理装置。
【請求項２】
前記算出手段は、前記特定された条件付関数従属性ルールのペアについて、シソーラスを参照して統合可能性を算出する手段をさらに備える、
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記特定手段は、前記条件付関数従属性ルールリストのうち、前記処理対象のデータテーブルのデータに対して複数タプルによるルール違反がある条件付関数従属性ルールと、前記ルール違反がある条件付関数従属性ルールと同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定する、
ことを特徴とする請求項１又は２に記載のデータ処理装置。
【請求項４】
処理対象のデータテーブルと、条件付関数従属性ルールリストを入力し、
前記条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定し、
前記特定された条件付関数従属性ルールのペアについて、条件部適合数と、前提部一致数と、従属性一致数と、従属性矛盾数の少なくとも一つを用いて統合可能性を算出し、
前記算出された統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを前記処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力する、
ことを特徴とする条件付関数従属性ルール統合方法。
【請求項５】
前記特定された条件付関数従属性ルールのペアについて、シソーラスを参照して統合可能性を算出する、
ことを特徴とする請求項４に記載の条件付関数従属性ルール統合方法。
【請求項６】
前記条件付関数従属性ルールリストのうち、前記処理対象のデータテーブルのデータに対して複数タプルによるルール違反がある条件付関数従属性ルールと、前記ルール違反がある条件付関数従属性ルールと同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを前記統合可能性の算出対象として特定する、
ことを特徴とする請求項４又は５に記載の条件付関数従属性ルール統合方法。
【請求項７】
コンピュータに、
処理対象のデータテーブルと、条件付関数従属性ルールリストを入力するデータ入力処理、
前記条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定する特定処理、
前記特定された条件付関数従属性ルールのペアについて、条件部適合数と、前提部一致数と、従属性一致数と、従属性矛盾数の少なくとも一つを用いて統合可能性を算出する算出処理、
前記算出された統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを前記処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力する情報提示処理、
を実行させることを特徴とするプログラム。
【請求項８】
前記算出処理は、前記特定された条件付関数従属性ルールのペアについて、シソーラスを参照して統合可能性を算出する処理をさらに備える、
ことを特徴とする請求項７に記載のプログラム。
【請求項９】
前記特定処理は、前記条件付関数従属性ルールリストのうち、前記処理対象のデータテーブルのデータに対して複数タプルによるルール違反がある条件付関数従属性ルールと、前記ルール違反がある条件付関数従属性ルールと同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定する、
ことを特徴とする請求項７又は８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、条件付関数従属性ルールを用いたデータ分析処理やデータクレンジング処理を行うデータ処理技術に関する。
【背景技術】
【０００２】
条件付関数従属性ルールを用いて不整合なデータを整合化するデータクレンジングシステムが考案されている。条件付関数従属性ルールとは、データ属性間の従属性を表す関数従属性が条件によって指定されたタプル集合について成立することを表すルールであり、条件部、前提部、帰結部への属性値指定からなる。条件部は、データの部分集合（タプル集合）を指定し、属性Ｘ１、属性Ｘ１の属性値ｘ１を用いて「Ｘ１＝ｘ１」などと表せる。前提部には、属性のみが指定され「Ｘ２＝−」などと表せる。帰結部には２種類あり、属性と属性値の指定からなるもの（例えば下記ルール１）と、属性のみの指定のもの（例えば下記ルール２）があり、それぞれ「Ｙ＝ｙ」「Ｙ＝−」などと表せる。なお、帰結部に属性値指定がある場合には、前提部は省略することができる。また、条件部、前提部、帰結部は、複数の属性とその属性値指定からなることもある。以下にルールの例を示す。【０００３】
ルール１：  Ｘ１→Ｙ（ｘ１ || ｙ）
ルール２：  Ｘ１Ｘ２→Ｙ（ｘ１, − || −）【０００４】
ルール１は、条件部に当てはまるタプル集合において、帰結部が指定された値となることを表す。つまり、条件Ｘ１＝ｘ１を満たすタプル集合の全てのタプルにおいて、ｔ［Ｙ］＝ｙとなる。また、ルール２は、条件部に当てはまるタプル集合において、前提部と帰結部で指定された属性間に従属性があることを表す。つまり、条件Ｘ１＝ｘ１を満たすタプル集合の中から任意のタプルペアｔ１, ｔ２を取ったとき、ｔ１［Ｘ２］＝ｔ２［Ｘ２］であればｔ１［Ｙ］＝ｔ２［Ｙ］となる。【０００５】
このような条件付関数従属性ルールを用いたデータクレンジングシステムでは、クレンジング対象となるデータテーブルについて条件付関数従属性ルールリストを参照して、ルールに違反するタプルを抽出する。条件付関数従属性ルールリストは、クレンジング対象データテーブルにおいて成り立つ条件付関数従属性ルール群が設定されており、専門家等により作成される。データクレンジングシステムは、ルールに違反するタプルをユーザに提示して修正を受け付ける。【０００６】
条件付関数従属性ルールを用いたデータベース分析システムが、非特許文献１、非特許文献２に例示されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Gao Cong, Wenfei Fan, Floris Geerts, Xibei Jia, Shuai Ma, ImprovingData Quality: Consistency and Accuracy, In Proceedings of the 33rd InternationalConference on Very Large Data Bases (VLDB), 2007, pp315-326.
【非特許文献２】Wenfei Fan, Floris Geerts, and Xibei Jia, Semandaq: A Data QualitySystem Based on Conditional Functional Dependencies, In VLDB (Very LargeDataBases)'08, (demo), PVLDB 1(2), pp. 1460-1463, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のような条件付関数従属性ルールのうち、帰結部に属性のみが指定されたルールへの違反（例えば、ルール２について、条件Ｘ１＝ｘ１を満たすタプルで、ｔ１［Ｘ２］＝ｔ２［Ｘ２］であるがｔ１［Ｙ］＝ｔ２［Ｙ］とはならない場合）を、複数タプルによる違反（Multi-tuple violation）と呼ぶ。この複数タプルによる違反があった場合、条件部に適合したタプル集合等をユーザに提示するが、矛盾する値を持つタプル数が同じ、または大きな差が無い場合には、提示された情報のみで修正を決定することは困難であった。【０００９】
例えば、ルール：ＸＹ→Ｚ（ｘ１, − || −）への違反があった場合に、条件部に適合したタプル集合を提示したとき、帰結部属性Ｚの値がTrueのタプルが２つ、Falseのタプルが２つであった場合、帰結部属性Ｚの値をTrueとすべきか、Falseとすべきか判断することは困難である。【００１０】
本発明は、上記問題点に鑑みてなされたもので、条件付関数従属性ルールが適用されるデータタプルについて、複数タプルによる違反を解消するために参考となる情報を提示することができるデータ処理装置、条件付関数従属性ルール統合方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、処理対象のデータテーブルと、条件付関数従属性ルールリストを入力するデータ入力手段と、前記条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定する特定手段と、前記特定された条件付関数従属性ルールのペアについて、条件部の適合数と、前提部の一致数と、従属性一致数と、従属性矛盾数の少なくとも一つを用いて統合可能性を算出する算出手段と、前記算出された統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを前記処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力する情報提示手段とを備えることを特徴とするデータ処理装置である。【００１２】
本発明は、処理対象のデータテーブルと、条件付関数従属性ルールリストを入力し、前記条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定し、前記特定された条件付関数従属性ルールのペアについて、条件部の適合数と、前提部の一致数と、従属性一致数と、従属性矛盾数の少なくとも一つを用いて統合可能性を算出し、前記算出された統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを前記処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力することを特徴とする条件付関数従属性ルール統合方法である。【００１３】
本発明は、コンピュータに、処理対象のデータテーブルと、条件付関数従属性ルールリストを入力するデータ入力処理、前記条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定する特定処理、前記特定された条件付関数従属性ルールのペアについて、条件部の適合数と、前提部の一致数と、従属性一致数と、従属性矛盾数の少なくとも一つを用いて統合可能性を算出する算出処理、前記算出された統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを前記処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力する情報提示処理、を実行させることを特徴とするプログラムである。
【発明の効果】
【００１４】
本発明によれば、条件付関数従属性ルールが適用されるデータタプルについて、複数タプルによる違反を解消するために参考となる情報を提示することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は本発明の概要図である。
【図２】図２は第１の実施形態に係るデータクレンジング装置の機能構成図である。
【図３】図３はデータクレンジング装置の動作を説明するためのフローチャートである。
【図４】図４はデータ入力部に入力されるデータテーブルを例示する図である。
【図５】図５はデータ入力部に入力される条件付関数従属性ルールリストを例示する図である。
【図６】図６はプログラム難読化装置の動作を説明するためのフローチャートである。
【図７】図７は情報提示部により提示される参考情報を例示する図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。
【００１７】
本発明の概要図を図１に示す。本発明は、データ入力手段１０１と、ルール統合手段１０２と、統合可能性算出手段１０３と、情報提示手段１０４を備える。データ入力手段１０１は、条件付関数従属性ルールリストのデータと処理対象データテーブルとユーザ指定パラメタを入力する。
【００１８】
データ入力手段１０１は、処理対象のデータテーブルと条件付関数従属性ルールリストを入力する。条件付関数従属性ルールとは、データ属性間の従属性を表す関数従属性が条件によって指定されたタプル集合について成立することを表すルールであり、条件部、前提部、帰結部への属性値又は属性指定からなる。データ入力手段ルール統合手段１０２は、条件付関数従属性ルールリストから、同一の属性集合を条件部と前提部と帰結部に持つ条件付関数従属性ルールのペアを特定し、統合可能性算出手段１０３より算出された統合可能性に基づいてルール統合を行う。統合可能性算出手段１０３は、ルール統合手段１０２により特定された条件付関数従属性ルールのペアについて、条件部適合数と前提部一致数と従属性一致数と従属性矛盾数の少なくとも一つを用いた算出式に基づいて統合可能性を算出する。情報提示手段１０４は、統合可能性に基づいて統合された条件付関数従属性ルールに関係するデータタプルを処理対象データテーブルから抽出し、抽出したデータタプルに関する情報を出力する。
【００１９】
（第１の実施形態）
次に、本発明の第１の実施形態として、条件付関数従属性ルールを用いて不整合なデータを整合化するためのデータクレンジング装置について説明する。本実施形態に係るデータクレンジング装置は、例えば、ＣＰＵ（中央処理装置）と、モニタと、キーボードやマウス等の入力装置と、ハードディスク等の記憶装置等を備えるコンピュータから構成される。このコンピュータはインターネットやＬＡＮ等のネットワークを介してデータベースや他のコンピュータに接続されてもよい。
【００２０】
本データクレンジング装置の機能構成図を図２に示す。図示されるように、データクレンジング装置は、データ入力部２０１と、修正対象データタプル抽出部２０２と、ルール統合部２０３と、統合可能性算出部２０４と、情報提示部２０５と、を備える。
【００２１】
データ入力部２０１は、クレンジング処理対象のデータテーブルと、条件付関数従属性ルールリストのデータを入力する。入力データとして、ユーザ指定のパラメタをさらに入力してもよい。入力データは、データ入力部２０１が、ネットワークを介して他のデータベースやコンピュータから受信してもよく、入力装置から入力されてもよく、記録媒体に格納されたデータを読み込んでもよい。
【００２２】
修正対象データタプル抽出部２０２は、入力されたデータテーブルと条件付関数従属性ルールリストに基づいて、ルール違反となるデータを検出して抽出する。検出対象のルール違反は、複数タプルによる違反（Multi-tuple violation）を含む。例えば、Ｘ１Ｘ２→Ｙ（ｘ１,−||−）のルールがルールリストに登録されている場合において、条件Ｘ１＝ｘ１を満たすタプル集合の中から任意のタプルペアｔ１,ｔ２を取ったとき、ｔ１［Ｘ２］＝ｔ２［Ｘ２］であるがｔ１［Ｙ］＝ｔ２［Ｙ］とならないデータタプルがあった場合は、複数タプルによる違反と判断し、該当するデータタプルを抽出する。
【００２３】
ルール統合部２０３は、修正対象データタプル抽出部２０２により、複数タプルによる違反が検出された条件付関数従属性ルールと、条件属性と前提属性と帰結属性の属性集合が同一である全てのルールを条件付関数従属性ルールリストから抽出し、複数タプルによる違反があった条件付関数従属性ルールと、抽出された条件付関数従属性ルールのペアの全てを統合可能性算出部２０４へ送る。また、ルール統合部２０３は、統合可能性算出部２０４により各ルールペアについて算出された統合可能性スコアを取得し、統合可能性スコアが予め指定された閾値以上であるペアがあった場合、そのルールペアを統合する。
【００２４】
統合可能性算出部２０４は、ルール統合部２０３から供給された条件付関数従属性ルールのペアについて、所定の算出式に従って統合可能性スコアを算出し、算出結果をルール統合部２０３に返す。
【００２５】
２つのルールＲｉ, Ｒｊの統合可能性スコアＨの算出式の一例を式１に示す。なお、２つの２つのルールを（Ｒｉ：ＸＹ→Ａ｜｜ｘ１，−，−）,（Ｒｊ：ＸＹ→Ａ｜｜ｘ２，−，−）とし、Ｒｉ、Ｒｊの条件部を満たすタプル集合をそれぞれＳｉ、Ｓｊとする。
【００２６】
Ｈ（Ｒｉ, Ｒｊ）＝Ｋ／Ｉ＋αＬ／Ｋ−βＭ／Ｋ・・・（式１）
（α，βはユーザ指定のパラメタ）
【００２７】
ここで、条件部適合数Ｉは、ルールＲｉとルールＲｊのいずれかに条件部がマッチするタプル数（｜Ｓｉ∪Ｓｊ｜）を示す。前提部一致数Ｋは、Ｓｉ，Ｓｊからそれぞれ１つずつタプルを取って得たタプルペアの中で、前提部属性値が一致しているものの数を示す。従属性一致数Ｌは、Ｓｉ，Ｓｊからそれぞれ１つずつタプルを取って得たタプルペアの中で、前提部属性値、帰結部属性値がともに一致している数を示す。従属性矛盾数Ｍは、Ｓｉ，Ｓｊからそれぞれ１つずつタプルを取って得たタプルペアの中で、前提部属性値が一致しているが、帰結部属性値が一致していない数を示す。
【００２８】
なお、各データタプルにデータの来歴（Provenance）に関する情報に基づいて、確信度が付与されている場合がある。この場合、この値を用いて、ルールＲｉと統合すべきルールＲｊを得ることができる。ルールＲｊの算出式の例を式２に示す。なお、タプル確信度の総和Ｎｉは、帰結部属性の値の中で、ルールＲｉにマッチするタプルに付与された確信度の総和を示す。
【００２９】
Ｒｊ＝argmax_j Ｈ（Ｒｉ, Ｒｊ）* Ｎｊ  ・・・（式２）
【００３０】
情報提示部２０５は、複数タプルによる違反があったデータタプルやそのデータタプルに関する集計結果等を出力してユーザに提示する。また、提示した情報について、値の修正入力や、提示したデータに対する参考情報のリクエストの入力等を受け付ける。また、情報提示部２０５は、ルール統合部２０３により統合された条件付関数従属性ルールと、統合された条件付関数従属性ルールに関係する情報を提示する。具体的には、統合された条件付関数従属性ルールに関係する（条件部が適合する）データタプルを処理対象データテーブルから抽出し、このタプル集合や、前提部と帰結部の値頻度等の集計結果を出力してユーザに提示する。ユーザは提示された集計結果を参考に、複数タプルによる違反があったデータタプルについて適正な値を入力する等のクレンジング処理を行うことができる。
【００３１】
次に、図３のフローチャートを参照して本実施形態に係るデータクレンジング装置の動作について説明する。
【００３２】
データクレンジング装置のデータ入力部２０１は、処理対象のデータテーブルと条件付関数従属性ルール集合（ルールリスト）を入力データとして受信する（ステップＡ１）。
【００３３】
修正対象データタプル抽出部２０２は、入力されたデータテーブルと条件付関数従属性ルールリストについて、複数タプルによる違反を含むルール違反を検出する。情報提示部２０５は、検出された複数タプルによる違反があったデータタプルやそのデータタプルに関する集計結果等を出力してユーザに提示し、値の修正入力や、提示したデータに対する参考情報のリクエストの入力を受け付けてもよい。ルール統合部２０３は、複数タプルによる違反が検出された条件付関数従属性ルールと、条件属性、前提属性、帰結属性の属性集合が同一である全てのルールを条件付関数従属性ルールリストから抽出し、違反があった条件付関数従属性ルールと、抽出した条件付関数従属性ルールのペアを生成し、全てのペアを統合可能性算出部２０４へ送る（ステップＡ２）。
【００３４】
統合可能性算出部２０４は、ルールペアについて、統合可能性スコアを算出し、算出したスコアが、予め指定された閾値を越えたルールペアについて条件属性値の統合（ルール統合）を行う（ステップＡ３）。
【００３５】
情報提示部２０５は、統合後の条件付関数従属性ルールに関係するタプルとその値の頻度集計結果を生成し、参考情報として出力してユーザに提示する（ステップＡ４）。
【００３６】
次に、図４に例示するデータテーブルと図５に例示する条件付関数従属性ルールリストが本データクレンジング装置に入力された場合の処理動作について具体的に説明する。
【００３７】
まず、ステップＡ１に従って、図４に示すデータテーブルと図５に示す条件付関数従属性ルールリストがデータ入力部２０１に入力される。この例では、修正対象データタプル抽出部２０２が、図５に示す条件付関数従属性ルールのうち、ルール２について複数タプルによる違反を検出する。情報提示部２０５は、検出された複数タプルによる違反に該当するタプル集合とそのタプルについての集計結果の情報を出力してユーザに提示する。提示される情報の一例を図６に示す。
【００３８】
ステップＡ２では、ルール統合部２０３は、複数タプルによる違反が検出されたルール２と、条件属性、前提属性、帰結属性の属性集合が同一であるルール３をルールリストから抽出し、ルール２とルール３のペアを生成する。
【００３９】
ステップＡ３では、統合可能性算出部２０４は、ルール２とルール３について統合可能性スコアを算出し、算出したスコアが閾値を超えた場合、これらのルールを統合する。ここでは、算出したスコアが閾値を超えたとし、これらのルールを統合することとする。
【００４０】
ステップＡ４では、情報提示部２０５は、ルール３をルール２と統合可能なルールとして、ルール３に該当するタプル群と、統合後のルール（ルール２とルール３を統合したルール）についての集計結果を参考情報としてユーザに提示する。提示される参考情報を図７に例示する。
【００４１】
以上説明したように、第１の実施形態によれば、複数の条件付関数従属性ルールを統合することにより、条件部に適合していないタプルでも、値修正の参考とすべきデータとして提示することができる。
【００４２】
（第２の実施形態）
第２の実施形態では、属性値が登録されているシソーラスを参照して、統合可能性スコアを算出する。以下、第２の実施形態に係るデータクレンジング装置について、第１の実施形態との相違点を中心に説明する。
【００４３】
第２の実施形態に係るデータクレンジング装置は第１の実施形態と同様の構成を有するが（図２参照）、統合可能性算出部２０４は、シソーラスを参照して、統合可能性スコアを算出する機能をさらに備える。シソーラスは単同義語や類義語の単語を同一グループとしてまとめたものである。シソーラスのデータはクレンジング装置が備える記憶部に記憶されていてもよく、クレンジング装置とネットワークを介して接続された他の記憶装置等に記憶されていてもよい。
【００４４】
２つの条件属性値ｘ１，ｘ２の統合可能性スコアＰは、次のようにして得ることができる。
【００４５】
Ｐ（ｘ１，ｘ２）：１（ｘ１、ｘ２が同一グループに属している場合）
０（ｘ１、ｘ２が同一グループに属していない場合）
【００４６】
そして、２つの条件付関数従属性ルールＲｉ, Ｒｊの統合可能スコアＨは、条件部に指定されている属性値間の統合可能性スコアＰの総和として次式に示すようにして算出できる。
【００４７】
Ｈ（Ｒｉ，Ｒｊ）＝ΣＰ（ｘｉｋ, ｘｊｋ）
ｘｉｋ、ｘｊｋは、Ｒｉ，Ｒｊのｋ番目の条件属性
ｋ∈全ての条件属性
【００４８】
第２の実施形態に係るデータクレンジング装置の処理動作は、図３に示すフローチャートとほぼ同じであるが、ステップＡ３において、統合可能性算出部２０４は、受け取ったルールペアについてシソーラスを参照し、条件属性値が同一グループに登録されているかどうかに基づいて統合可能性スコアを算出する。
【００４９】
例えば、統合可能性算出部２０４が、２つのルール（Ｒｉ：ＸＹ→Ａ｜｜ｘ１，−，−）,（Ｒｊ：ＸＹ→Ａ｜｜ｘ２，−，−）を受け取った場合、これらの条件属性値ｘ１、ｘ２について、統合可能性スコアＰを算出する。ｘ１、ｘ２が同義語や類義語の関係にある場合、ｘ１、ｘ２はシソーラスにおいて同一グループに登録されているため、上記算出式よりＰ（ｘ１，ｘ２）＝１となる。そして、上記算出式によりＨ（Ｒｉ，Ｒｊ）＝１と算出される。また、ｘ１、ｘ２が同義語や類義語の関係にない場合、ｘ１、ｘ２はシソーラスにおいて同一グループに登録されていないため、Ｐ（ｘ１，ｘ２）＝０となる。そして、Ｈ（Ｒｉ，Ｒｊ）＝０と算出される。
【００５０】
以上説明したように、第２の実施形態によれば、同義語や類義語に関するシソーラスに基づいて条件属性値の統合を行うことができるので、より精度の高いルール統合を実現できる。
【００５１】
本発明によれば、条件付関数従属性を用いたデータクレンジング処理に適用できる。また、統合されたルールはデータの要約として利用することも適用可
能である。
【００５２】
なお、上記説明では、修正対象データタプル抽出部２０２により複数タプルによる違反が検出された条件付関数従属性ルールと、条件属性、前提属性、帰結属性の属性集合が同一である全てのルールを条件付関数従属性ルールリストから抽出し、違反があった条件付関数従属性ルールと、抽出された条件付関数従属性ルールのペアの全てについて統合可能性スコアを算出するようにしているが、これに限定されず、条件属性、前提属性、帰結属性の属性集合が同一であるルールペアの全てについて統合可能性スコアを算出し、算出結果を全てユーザに提示してもよい。
【００５３】
上述した本発明の実施形態に係るデータクレンジング装置のデータ入力部２０１と、修正対象データタプル抽出部２０２と、ルール統合部２０３と、統合可能性算出部２０４と、情報提示部２０５は、クレンジング装置のＣＰＵ（Central Processing Unit）が記憶部に格納された動作プログラム等を読み出して実行することにより実現されてもよく、また、ハードウェアで構成されてもよい。上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することもできる。
【００５４】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
この出願は、２０１１年９月５日に出願された日本出願特願２０１１−１９２５３１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００５５】
１０１    データ入力手段
１０２    ルール統合手段
１０３    統合可能性算出手段
１０４    情報提示手段
２０１    データ入力部
２０２    修正対象データタプル抽出部
２０３    ルール統合部
２０４    統合可能性算出部
２０５    情報提示部
【図１】
2013035680.tif 000003
【図２】
2013035680.tif 000004
【図３】
2013035680.tif 000005
【図４】
2013035680.tif 000006
【図５】
2013035680.tif 000007
【図６】
2013035680.tif 000008
【図７】
2013035680.tif 000009
【国際調査報告】
2013035680.tif 000010
2013035680.tif 000011
2013035680.tif 000012
2013035680.tif 000013