"項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置であって、前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定する教師例設定部と、前記教師例設定部によって設定された教師データの評価に使用する2個のレコードを1組としたチェックポイントを設定するチェックポイント設定部と、前記チェックポイント設定部によって設定されたチェックポイントについて、前記教師例設定部によって設定された第1の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、前記教師例設定部によって設定された第2の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する評価部とを有することを特徴とする情報照合装置。前記評価部は、前記評価された評価結果を解釈して前記教師データに反映する反映部を有することを特徴とする請求項1に記載の情報照合装置。前記評価部は、予め判定結果の期待値がわかっている複数のチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合と、前記第2の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合との変化を求めることを特徴とする請求項1または請求項2に記載の情報照合装置。前記評価部は、複数のチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果毎のチェックポイント数と、前記第2の教師データにおける判定基準を用いた判定結果毎のチェックポイント数との変化を求めることを特徴とする請求項1または請求項2に記載の情報照合装置。前記評価部は、予め判定結果の期待値がわかっているチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果が一致するか否かと、前記第2の教師データにおける判定基準を用いた判定結果が一致するか否かとの変化を求めることを特徴とする請求項1または請求項2に記載の情報照合装置。項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置に、前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、該設定した教師データの評価に使用する2個のレコードを1組としたチェックポイントを設定し、該設定したチェックポイントについて、該設定した第1の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、該設定した第2の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する処理を実行させる情報照合プログラム。項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置に実行させる情報照合方法であって、前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、該設定した教師データの評価に使用する2個のレコードを1組としたチェックポイントを設定し、該設定したチェックポイントについて、該設定した第1の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、該設定した第2の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価することを特徴とする情報照合方法。まず、従来の名寄せ機能について、図10~図12を参照しながら説明する。図10は、名寄せ機能の動作を説明する図である。図10に示すように、名寄せ機能を実現する名寄せ処理は、名寄せ元のレコードJ1について、名寄せ先のレコードMM1~Mnとの照合を行い、名寄せを実行する。名寄せ処理は、名寄せ元のレコードJ1および名寄せ先のレコードM1の各名寄せ対象の項目名寄せ対象項目という。の値について、予め名寄せ対象項目毎に規定されている評価関数を適用して照合を行う。ここでは、名寄せ対象項目が氏名、住所および生年月日であるものとし、名寄せ処理は、名寄せ対象項目のうち氏名をfa、住所をfb、生年月日をfcとする各評価関数を適用して照合を行う。そして、名寄せ処理は、照合の結果として導出される各名寄せ対象項目の評価値に名寄せ対象項目毎の重み付けを行い、得られた各値を加算することによって、総合評価値を導出する。さらに、名寄せ処理は、名寄せ元のレコードJ1に対する残り全ての名寄せ先のレコードM2~Mnについて、総合評価値を導出する。名寄せ処理は、これら名寄せ元のレコードJ1および名寄せ先のレコードM1~Mnの組についての総合評価値を含む名寄せ候補集合を作成する。そして、名寄せ処理は、予め規定された閾値に基づいて、名寄せ候補集合に属するレコードの組について名寄せに関する判定を行う。例えば、名寄せ処理は、完全に一致していると判定されたレコードの組をWhite、完全に一致していないと判定されたレコードの組をBlackとして自動判定を行い、名寄せ結果に出力する。名寄せ処理は、自動判定できない組をGrayとして候補リストに出力する。そして、候補リストに出力された組の判定が人により任せられる。なお、人による設定が必要な名寄せ定義として、名寄せ対象項目の選定、評価関数の選定、重みおよび閾値の設定がある。次に、名寄せ処理の具体例について、図11および図12を参照しながら説明する。図11は、名寄せ定義のデータ構造の一例を示す図であり、図11Aが、名寄せ定義の内容を示し、図11Bが、名寄せ定義の具体例を示す。図12は、名寄せの具体例を説明する図である。図11Aに示すように、名寄せ定義は、名寄せ方法d1、名寄せ元指定d2、名寄せ先指定d3、名寄せ対象項目指定d4および閾値d5を対応付けて定義される。名寄せ方法d1には、名寄せの方法が指定される。例えば、名寄せの方法には、1つのレコード集合を対象として集合内のレコード間の総当りで名寄せを行い、一致しているレコードを検出して重複するレコードを除去する自己名寄せがある。自己名寄せは、名寄せ元と名寄せ先が同じ集合なので、その構造レコードの項目も同じであるという特徴を有する。また、名寄せの方法には、名寄せ元および名寄せ先として異なるレコード集合を対象として名寄せ元レコードと名寄せ先レコードの組み合わせによる名寄せを行い、一致しているレコードを検出して該当するレコード間の関連付けを行う他者名寄せがある。他者名寄せは、名寄せ元と名寄せ先が異なる集合なので、一般的にその構造レコードの項目が異なるという特徴を有する。名寄せ元指定d2には、名寄せ元のデータベース名等のアクセス情報および名寄せ元のレコードの項目が指定される。名寄せ先指定d3には、名寄せ先のデータベース名等のアクセス情報および名寄せ先のレコードの項目が指定される。名寄せ対象項目指定d4には、名寄せ対象項目が名寄せ元の項目と名寄せ先の項目の組み合わせとして指定され、名寄せ対象項目毎に適用される評価関数および重みが指定される。閾値d5には、White判定用の上位の閾値およびBlack判定用の下位の閾値が指定される。図11Bに示すように、例えば、名寄せ方法d1には、自己名寄せが指定されている。名寄せ元指定d2のアクセス情報には、顧客表が指定され、名寄せ元指定d2のレコード情報には、IDidentification、氏名、郵便番号、住所および生年月日の項目が指定されている。なお、名寄せ先指定d3は、名寄せ方法が自己名寄せの場合には、名寄せ元の情報と同様であるので定義が不要となる。名寄せ対象項目指定d4には、名寄せ対象項目を氏名:氏名、郵便番号:郵便番号、住所:住所および生年月日:生年月日として指定されている。これは、名寄せ元の項目:名寄せ先の項目の組として名寄せ対象項目を指定しており、名寄せ方法が自己名寄せの場合には、同じレコード構成なので一般的に同じ項目名となる。この名寄せ対象項目に対して、適用する評価関数と重みを指定する。例えば名寄せ対象項目が氏名:氏名の場合には、評価関数に編集距離、重みに0.3が指定されている。名寄せ対象項目が郵便番号:郵便番号の場合には、評価関数に完全一致、重みに0.2が指定されている。閾値d5には、上位の閾値に0.72、下位の閾値に0.26が指定されている。以下では、同じ項目名を対とする名寄せ対象項目について、1つの項目名で表現することとする。例えば、名寄せ対象項目氏名:氏名を名寄せ対象項目氏名と表現する。なお、編集距離とは、名寄せ元と名寄せ先との名寄せ対象項目の値の照合において名寄せ先の値を名寄せ元の値に変形させる際の最小編集回数を距離として表す評価関数である。例えば、変形不要の場合には1.0を返し、全ての変形が必要な場合には0を返し、一部の変形で良い場合には変形回数に応じて0から1.0までの値を返す。また、完全一致とは、名寄せ元と名寄せ先との名寄せ対象項目の値の照合において2つの値が完全に一致するか否かを表す評価関数である。2つの値が完全に一致する場合には1.0を返し、それ以外は0を返す。なお、評価関数には、これらのみならず、名寄せ元の値について隣り合うN文字が名寄せ先の値に含まれる度合いを評価するN-gram等がある。図12では、図11で定義された名寄せ処理の一部として、名寄せ元の1件のレコードM1に対する名寄せ先との名寄せ処理の途中経過と結果を示す。名寄せ先の顧客表Mには、例えば200万件のレコードが格納されている。そして、名寄せ処理は、これら各レコードを名寄せ先として名寄せ元のレコードM1との間で照合を行う。例えば、名寄せ処理は、照合の途中結果として、名寄せ元のレコードM1および名寄せ先のレコードM1~M6の組毎に、評価関数の適用結果、重み付け結果および総合評価値を対応付けて出力する。そして、名寄せ処理は、照合後に、名寄せ元のレコードM1および名寄せ先のレコードM1~M6の組毎に、名寄せに関する判定をし、判定結果を出力する。次に、機械学習器に相当する学習器による名寄せ機能について、図13を参照しながら説明する。図13は、学習器による名寄せを説明する図である。図13に示すように、名寄せ機能を実現する名寄せ処理は、教師あり学習を実現する学習器を備える。学習器は、正しい判定結果となるレコード対の例を示す教師データである教師例を取得し、取得した教師例を用いて名寄せ処理で使用される判定基準を学習する。この判定基準が、名寄せ対象項目毎の重みおよび名寄せ対象レコードの判定に適用される閾値となる。そして、名寄せ処理は、名寄せ元のレコードについて、名寄せ先のレコードとの間で照合し、学習器により得られた判定基準を用いて名寄せに関する判定をして判定結果を出力する。このとき、名寄せ処理は、名寄せに関して自動判定できない組を候補リストに出力し、人による判定に任せる。そして、候補リストに出力された組について、人による判定に応じて教師例が適切にフィードバックされることで、名寄せ処理は、教師あり学習により高い精度の判定を実現する。しかしながら、従来の学習器による名寄せ処理では、教師例の妥当性や教師例間の矛盾を検証する手段がないので、適切な教師例を作成し、教師例への適切なフィードバックをすることが困難であった。また、従来の学習器による名寄せ処理では、誤った学習を評価する手段がないので、名寄せに関する判定結果の品質の悪化を防止することが困難であった。すなわち、学習器が、誤った教師例による誤った学習誤学習をしたり、偏った教師例を大量に追加されることにより偏った教師例による誤った学習過学習をしたりした場合に、名寄せに関する判定結果の正しさが悪化したことを検出することができない。この結果、名寄せに関する判定結果の品質の悪化を防止することが困難であった。1つの側面では、教師あり学習による名寄せにおいて、適切な教師例を作成することを可能とし、さらに適切な教師例へのフィードバックを可能とし、名寄せに関する判定結果の品質の悪化を防止することを目的とする。第1の案では、情報照合装置は、項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置であって、前記判定で用いられる判定基準を学習する教師あり学習方式の機械学習器に教師データを設定する教師例設定部と、前記教師例設定部によって設定された教師データの評価に使用する2個のレコードを1組としたチェックポイントを設定するチェックポイント設定部と、前記チェックポイント設定部によって設定されたチェックポイントについて、前記教師例設定部によって設定された第1の教師データに基づく学習結果として導出した判定基準を用いた名寄せ判定結果と、前記教師例設定部によって設定された第2の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する評価部とを備える。教師あり学習による名寄せにおいて、適切な教師データを作成することを可能とし、教師データへのフィードバック等による名寄せに関する判定結果の品質の悪化を防止することができる。以下に、本願の開示する情報照合装置、情報照合方法および情報照合プログラムの実施例を図面に基づいて詳細に説明する。以下の実施例では、情報照合装置に教師あり学習を行う学習器としてサポートベクトルマシンSVMを採用した場合について説明することとし、実施例の説明に先立って、SVMを用いた名寄せの技術について説明を行う。なお、実施例によりこの発明が限定されるものではない。[SVMを用いた名寄せの技術]図14は、学習による照合を説明する図である。図14に示すように、学習部SVM100は、名寄せ対象項目毎の評価関数fa~fcの結果評価値を素成として教師例s0による学習を行い、識別面を求めることによって、素性とした各評価値に対する重みa1~a3と総合評価値に対する判定に用いる閾値v0を導出する。SVM100は、導出した重みa1~a3および閾値v0を学習結果として出力する。そして、名寄せ処理は、名寄せ元Jについて、名寄せ先Mとの間の学習結果を使用した名寄せを行う。すなわち、名寄せ処理は、名寄せ対象項目毎に学習結果として出力された重みa1~a3を使用した照合を行い、照合の結果得られた判定対象となる総合評価値を学習で導出した識別面との距離として計算し、総合評価値に対して閾値による判定を行う。なお、識別面については、後述するものとする。次に、SVM100による学習について、より詳細に説明する。図15は、SVMによる学習について説明する図である。図15に示すように、一致すると判定すべきレコードの組を正例の教師例、不一致と判定すべきレコードの組を負例の教師例とした教師例集合がSVM100に入力される。そして、SVM100は、入力された教師例集合に属する教師例を用いて名寄せ元Jおよび名寄せ先Mの名寄せ対象項目の値を評価関数fa~fcにより評価し、評価で得られた結果評価値に対する判定の際に当該教師例として予め与えられた判定結果正例=White,負例=Blackと一致するような判定を実現する判定基準を導出する。導出された判定基準は、名寄せ対象項目毎の重みa1~a3、識別面s0および閾値v0となる。SVM100が重みa1~a3や閾値v0を導出し、人による重みや閾値の設定を不要とする。この結果、名寄せ機能では、教師例を基準とした名寄せを行うことが可能となる。なお、人による設定が必要な名寄せ定義として、名寄せ対象項目の選定、評価関数の選定、教師例の選定がある。次に、学習による名寄せの処理手順について、図16を参照しながら説明する。図16は、学習による名寄せの処理手順を示すフローチャートである。まず、人例えばユーザが名寄せ対象項目と名寄せ対象項目毎の評価関数を設定するステップS100。そして、ユーザが、初期学習用の教師例を作成するステップS101。すなわち、ユーザは、正例となる教師例および負例となる教師例を作成する。続いて、SVM100が、作成された教師例を用いて学習し、重みと閾値を導出するステップS102。そして、SVM100は、導出した重みと閾値を学習結果として名寄せ処理に設定するステップS103。続いて、名寄せ処理は、設定された重みと閾値に従って名寄せを行うステップS104。そして、名寄せ処理は、名寄せ結果を示す総合評価値について、設定された閾値による判定を行うステップS105。閾値による判定が不一致である場合にはステップS105;Black、名寄せ処理は、名寄せ結果をBlackとして出力するステップS106。閾値による判定が一致である場合にはステップS105;White、名寄せ処理は、ステップS108に移行する。閾値による判定が判定不能である場合にはステップS105;Gray、名寄せ処理は、ユーザに判断を任せるステップS107。ユーザによる判断が不一致である場合にはステップS107;Black、ユーザは、名寄せ結果をBlackとすべく、ステップS106に移行する。一方、ユーザによる判断が一致である場合にはステップS107;White、名寄せ処理は、ステップS108に移行する。ここで、人による判定処理において教師例へのフィードバックが必要と判断した場合には、ユーザは、名寄せ結果をフィードバックすべく、ステップS101に移行する。この際、不一致Blackと判断した組は負例の教師例に、一致Whiteと判断した組は正例の教師例に登録する。続いて、ユーザが、一致すると判定された名寄せ結果を検証するステップS108。そして、ユーザは、一致すると判定された名寄せ結果が妥当であるか否かを判断するステップS109。名寄せ結果が妥当でないと判定された場合にはステップS109;No、名寄せ対象項目、評価関数または教師例を修正すべく、ステップS100またはステップS101に移行する。一方、名寄せ結果が妥当であると判定された場合にはステップS109;Yes、名寄せ先等に名寄せ結果が反映されるステップS110。なお、Blackと判定した組の出力が不要な場合には、ステップS106は省略可能である。次に、SVMを例とした学習のモデルについて説明する。まず、学習のモデルの説明に必要となる前提について説明する。名寄せ対象となるレコードの組について、名寄せ対象項目毎の評価関数の算出結果を素性xとしてベクトルx1、、xdとし、特徴ベクトルというものとする。例えば、名寄せ対象項目が氏名、郵便番号、住所および生年月日の4項目であり、評価関数が氏名をfa、住所をfb、郵便番号をfc、生年月日をfdとする。すると、この例では、dが4となり、特徴ベクトルはfaによる評価値、fbによる評価値、fcによる評価値、fdによる評価値となる。ここで、特徴ベクトルXTをx1、、xdとした場合、識別面gxは式1のように定義される。なお、Wは、重みベクトルを示し、w1、、wdの各素性に対する重みにより構成されるベクトルで表わされる。また、bは、定数項を示す。また、学習用のサンプルデータ教師例として、次の情報が与えられる。なお、Ziは、各教師例の特徴ベクトルであり、名寄せの照合の組み合わせ集合Rnの要素である。yiは、名寄せの判定結果であり、例えば正例の場合は1、負例の場合は-1を値とする。すなわち、名寄せの判定結果として同じとみなすWhite判定場合には、正例として1を定義し、名寄せの判定結果として異なるとみなすBlack判定場合には、負例として-1を定義する。このような前提のもと、学習のモデルにおける学習は、複数の教師例が与えられたとき、gx=0を満たす点の集合を超平面とした識別面を求めることを意味する。すなわち、学習は、d次元空間に分布する教師例について予め指定された正または負の判定結果となるように分離識別するためのd-1次元の超平面として識別面を導出するために、識別面gxの重みベクトルwi1≦i≦dと定数項bを導出する。図17は、学習のモデルSVMの例を説明する図である。図17Aに示すように、学習を行うSVMは、正例の教師例と負例の教師例が与えられたとき、各教師例の特徴ベクトルをd次元空間にプロットする。図17は2次元の図なので、名寄せ対象項目が2件の場合を示している。そして、SVMは、各教師例の正負と一致するように教師例を識別するための識別面s1を求めるのである。ここで、識別面により近い有効な教師例をサポートベクタという。SVMは、識別面とサポートベクタとのユークリッド空間上の最小距離マージンを最大化するようなサポートベクタの選定と超平面の導出を行うことによって、より確実に各教師例の正負を分離できる識別面を導出する。図17Bに示すように、SVMは、識別面とサポートベクタとのマージンmを最大化するように、負のサポートベクタv1および正のサポートベクタv2の選定を行い、識別面s2の導出を行う。具体的には、マージンmの最大化とは、総合評価値が1=WTXbのとき、特徴ベクトルXを最大化する重みWを求めるという意味である。bが0であると仮定すると、xは、1/Wとなる。したがって、特徴ベクトルXを最大化するためには、重みWを最小化することとなる。具体的には図17Aよりも図17Bの方がマージンmが大きいので、SVMは図17Bのような識別面を導出することになる。なお、SVMがマージンを最大化するように識別面を導出する際、教師例が線形分離可能とならない場合もある。すなわち、教師例が自己の正負と一致しないような場合である。このような場合であっても、SVMは、多少の識別誤りを許容し、識別誤りを最小化しつつ、マージンを最大化するように識別面を導出する方法ソフトマージンという。を採用する。上述したように、SVMによる学習によって、学習結果として識別面および最大化したマージンが得られる。この学習結果を利用して、名寄せ対象のレコードの組の特徴ベクトルについて、名寄せの評価を行うことができる。図18は、学習の効果を説明する図である。図18に示すように、学習は、マージンを最大化するように、WXb=0となる識別面s3を導出し、WXb=-1となる負側の限界面およびWXb=1となる正側の限界面を選定する。特徴ベクトルXと重みW及び定数bとから算出される総合評価値は、当該特徴ベクトルと識別面s3との最小距離として-∞~∞の値で表されることとなり、正側の限界面に接する教師データであるサポートベクタ正の総合評価値は1となり、負側の限界面に接する教師データであるサポートベクタ負の総合評価値は-1となる。したがって、名寄せ処理では、学習結果である重みW及び定数bを使用して教師データとは異なる名寄せ対象のレコードの組の特徴ベクトルの総合評価値を算出すると図18の○印や◇印、算出した総合評価値によってWhite、BlackまたはGrayを判定することができる。この性質を汎化と呼び、SVMの大きな特徴である。即ち、総合評価値が1より大きい場合にWhiteと判定し、総合評価値が-1より小さい-∞の方向になる場合にBlackと判定し、総合評価値の絶対値は1より小さい場合にGrayと判定することによって、教師例に即した判定を実現できる。また、上述の総合評価値は特徴ベクトルXと重みW及び定数bとから算出され、閾値は上限閾値=WXb=1、下限閾値=WXb=-1で固定値であるものとしてSVMの原理を説明しているが、定数項bを右辺に移動することによって、上限閾値=WX=1-b、下限閾値=WX=-1-bとして閾値を可変値にすることもでき、この場合の総合評価値はWXとして算出でき、上限閾値=1-b、下限閾値=-1-bとして算出できる。以下に示す実施例では、SVMによる学習を利用した情報照合装置、情報照合方法および情報照合プログラムについて説明する。[実施例に係る情報照合装置の構成]図1は、実施例に係る情報照合装置の構成を示す機能ブロック図である。情報照合装置1は、項目に対応する値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する装置である。図1に示すように、情報照合装置1は、記憶部11および制御部12を有する。記憶部11は、名寄せ元DB111、名寄せ先DB112、名寄せ定義113、教師例114、チェックポイント115および評価結果116を有する。なお、記憶部11は、例えば、RAMRandomAccessMemory、フラッシュメモリflashmemory等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。名寄せ元DB111は、名寄せするレコード名寄せ元レコードを複数記憶するDBdatabaseである。名寄せ先DB112は、名寄せ相手となるレコード名寄せ先レコードを複数記憶するDBである。なお、名寄せ元DB111および名寄せ先DB112は、項目が完全に一致している場合であっても、項目が一部一致である場合であっても、項目が完全に一致していなくても一部の項目に関連性がある場合であっても良い。また、名寄せ元DB111および名寄せ先DB112が同じ情報を有するDBであっても良いし、1つのDBであっても良い。さらに、名寄せ元DB111は必ずしもDBDatabaseである必要はなく、レコードを順次取り出す機能を有すればXMLやCSVファイル等でも良い。同様に名寄せ先DB112は必ずしもDBDatabaseである必要はなく、レコードを順次取り出す機能とキーIDによる検索機能を有すればXMLやCSVファイル等でも良い。教師例114は、予め名寄せの結果が自明である名寄せ元レコードおよび名寄せ先レコードを1組とした教師データであり、名寄せ結果が一致することを示す正例の教師例と名寄せ結果が不一致であることを示す負例の教師例がある。また、最新の教師例新教師例だけでなく、比較評価に必要な過去の教師例旧教師例も記憶される。チェックポイント115は、教師例114の評価に使用するサンプルとして名寄せ元レコードと名寄せ先レコードを1組にして定義される。なお、名寄せ定義113および評価結果116については、後述する。制御部12は、教師あり学習によって導出される学習結果を用いて、当該学習で用いられる教師例の評価に使用するチェックポイントについて、名寄せに関する評価を行う。そして、制御部12は、この評価結果の変化を監視し、学習結果の良し悪しを評価する。ここで、制御部12で実行される学習結果評価処理の原理について、図2を参照して説明する。図2は、実施例に係る学習結果評価処理の原理を説明する図である。図2に示すように、制御部12が実行する学習結果評価処理は、特定したWhiteのチェックポイントP1について、1つの教師例旧教師例を用いて学習された学習結果を使って判定した名寄せの判定結果を算出する。また、学習結果評価処理は、同じチェックポイントP1について、旧教師例と異なる教師例である新教師例を用いて再学習された学習結果を使って判定した名寄せの判定結果を算出する。再学習によって識別面及びマージン領域正負の限界面が変化するので、同じチェックポイントP1についての総合評価値及び判定も変化している。そして、学習結果評価処理は、WhiteのチェックポイントP1について、旧教師例における判定結果を示すWhiteから新教師例における判定結果を示すGrayに変化したので、悪い変化であると判断する。すなわち、学習結果評価処理は、旧教師例を用いて学習された学習結果より新教師例を用いて学習された学習結果が悪いものと評価する。また、制御部12が実行する学習結果評価処理は、特定したBlackのチェックポイントP2について、1つの教師例旧教師例を用いて学習された学習結果を使って判定した名寄せの判定結果を算出する。また、学習結果評価処理は、同じチェックポイントP2について、旧教師例と異なる教師例である新教師例を用いて再学習された学習結果を使って判定した名寄せの判定結果を算出する。そして、学習結果評価処理は、BlackのチェックポイントP2について、旧教師例および新教師例における判定結果がどちらともBlackであるものの、総合評価値が-3から-2に、識別面に近づく方向へ変化したので、悪い変化であると判断する。すなわち、学習結果評価処理は、旧教師例を用いて学習された学習結果より新教師例を用いて学習された学習結果が悪いものと評価する。このように、学習結果評価処理は、チェックポイントについて、新旧教師例に関する各判定結果の変化を監視し、良い方向へ変化したか悪い方向へ変化したかを判断し、新教師例および新教師例による学習結果の良し悪しを評価する。図1に戻って、制御部12は、教師例設定部121、学習部122、チェックポイント設定部124、評価指標設定部123、学習結果評価部125および評価結果反映部126を有する。なお、制御部12は、例えば、ASICApplicationSpecificIntegratedCircuitやFPGAFieldProgrammableGateArray等の集積回路またはCPUCentralProcessingUnitやMPUMicroProcessingUnit等の電子回路である。教師例設定部121は、名寄せ結果の判定で用いられる判定基準を学習する機械学習器に教師例を設定する。本実施例では、機械学習器が、後述する学習部122に相当し、SVMとなる。教師例設定部121は、後述する学習結果評価部125による評価対象となる教師例を教師例114から取得し、取得した複数の教師例を学習部122に設定する。学習部122は、教師例設定部121から教師例を取得し、取得した教師例を用いて名寄せ処理で使用される判定基準を学習する。この判定基準が、名寄せ対象項目毎の重みおよび名寄せ対象の判定に適用される閾値となる。また、学習部122は、学習した判定基準を学習結果として導出する。評価指標設定部123は、教師例の評価に用いられる評価手法を評価指標として設定する。かかる評価指標とは、評価をするために使用される評価対象の値対象値、導出する評価目標目標値および対象値から目標値を導出する手順導出手順の3つの要素を含む評価手法を規定する。ここで、評価指標の具体例について、図3を参照して説明する。図3は、実施例に係る評価指標の具体例を説明する図である。図3では、項番h0毎に、評価指標名称h1、対象値h2、目標値h3および導出手順h4が対応付けられる。尚、評価指標毎の実施例は実施例に係る学習結果評価処理の手順として後述する。例えば、項番h0が1の場合、評価指標名称h1を判定結果の正解率とする。これは、平均的な判定結果の正しさを評価するための評価指標である。この場合は、チェックポイントについての名寄せの判定結果White、Gray,Blackを対象値h2とする。そして、導出手順h4に基づいて、この判定結果とチェックポイントを設定したときにチェックポイント毎に予め設定した名寄せ結果の期待値との違いを検出し、正しい判定が行われたチェックポイントの割合を算出することによって、目標値h3となる新旧の判定結果の正解率を算出する。また、項番h0が2の場合、評価指標名称h1を識別面の変化とする。これは、識別面の変化の正しさを限界面付近のチェックポイントの判定結果によって評価するための評価指標である。この場合は、チェックポイントについての名寄せの判定結果を対象値h2とする。そして、導出手順h4に基づいて、判定結果White、Gray,Blackについて新旧教師例によるそれぞれの学習結果を使って判定された判定結果の変化量を統計的に算出することによって、目標値h3となる新旧の判定結果の変化を算出する。また、項番h0が3の場合、評価指標名称h1を重要ポイントの判定とする。これは、特に重要なチェックポイントについて、常に期待値と一致していることを確認するための評価指標である。この場合は、確実に特定の判定結果となるべき重要なチェックポイントについて、その特定チェックポイントの名寄せの判定結果を対象値h2とする。そして、導出手順h4に基づいて、新旧教師例によるそれぞれの学習結果を使って判定された判定結果White、Gray,Blackが予め定めた判定結果と一致するか否かについての判定結果を目標値h3として算出する。また、項番h0が4の場合、評価指標名称h1を判定結果の個別変化傾向とする。これは、個々のチェックポイントについて、その新旧教師例による判定結果の変化を捉えるための評価指標である。この場合は、個々のチェックポイントについての名寄せの判定結果を対象値h2とする。そして、導出手順h4に基づいて、新旧教師例によるそれぞれの学習結果を使って判定された判定結果について、目標値h3となる判定結果の個別変化傾向を算出する。すなわち、導出手順h4は、旧教師例による判定結果から新教師例による判定結果への判定結果の変化を求める。また、項番h0が5の場合、評価指標名称h1を総合評価値動向とする。これは、個々のチェックポイントについて、その新旧教師例による判定結果の変化をより詳細に捕らえるための評価指標である。この場合は、個々のチェックポイントについての名寄せの判定結果の総合評価値を対象値h2とする。そして、導出手順h4に基づいて、新旧教師例によるそれぞれの学習結果を使って算出された総合評価値について、目標値h3となる総合評価値の差分を算出する。また、項番h0が6の場合、評価指標名称h1を総合評価値の最高値とする。これは、その新旧教師例によるマージンの変化を総合評価値の最高値の変化として数値で捕らえるための評価指標である。この場合は、チェックポイントについての名寄せの判定結果の総合評価値を対象値h2とする。そして、導出手順h4に基づいて、新旧教師例によるそれぞれの学習結果を使って判定された判定結果の総合評価値の最高値について、目標値h3となる総合評価値の最高値の変化を算出する。例えば、項番h0が7の場合、評価指標名称h1を重み動向とする。この場合は、新旧教師例による学習結果重みを対象値h2とする。そして、導出手順h4に基づいて、新旧教師例によるそれぞれの学習結果重みについて、目標値h3となる重みの差分を算出し、差分の大きい重みを検出する。なお、対象値h2から目標値h3を導出する導出手順h4は、評価実行部132によって実行される。図1に戻って、チェックポイント設定部124は、教師例の評価に使用するチェックポイントを、評価指標設定部123によって設定された評価指標に基づいて設定する。すなわち、チェックポイント設定部124は、学習部122によって学習した判定基準の評価および判定基準を導出する際に用いられた教師例の評価に使用するチェックポイントであって評価指標に適したチェックポイントを設定する。具体的には、チェックポイント設定部124は、評価指標設定部123によって設定された評価指標に適したチェックポイントを記憶部11に記憶されているチェックポイント115から取得し、取得したチェックポイントを後述する学習結果評価部125に設定する。例えば、評価指標が項番1判定結果の正解率の場合、正解率を正確に算出するために、チェックポイント設定部124は、ランダムにサンプリングされたチェックポイントであって判定結果が明確に判定可能なチェックポイントを設定する。例えば、評価指標が項番2識別面の変化の場合、チェックポイント設定部124は、先行する旧教師例から学習して得られる識別面限界面のサポートベクタ付近にあるチェックポイントを設定する。例えば、評価指標が項番3重要ポイントの判定の場合、チェックポイント設定部124は、確実に特定の判定結果となる必要があるレコードの組をチェックポイントとして設定する。例えば、評価指標が項番4判定結果の個別変化傾向の場合、チェックポイント設定部124は、先行する旧教師例による学習結果を使って判定された判定結果の総合評価値がランダムとなるようにサンプリングされたチェックポイントを設定する。例えば、評価指標が項番5総合評価値動向の場合も、チェックポイント設定部124は前述した判定結果の個別変化傾向の場合と同様にチェックポイントを設定する。例えば、評価指標が項番6総合評価値の最高値の場合、チェックポイント設定部124は、先行する旧教師例による学習結果を使って判定された判定結果の総合評価値が大きいレコードの組のチェックポイントを設定する。例えば、評価指標が項番7重み動向の場合、チェックポイントは使用しないので、チェックポイント設定部124は動作しない。なお、チェックポイント設定部124は、どの評価指標であっても、チェックポイントの作成コストを削減するために、教師例114の中からチェックポイントを設定するようにしても良い。学習結果評価部125は、教師例設定部121によって設定された旧教師例における学習結果と、教師例設定部121によって設定された新教師例における学習結果を用いた判定結果の変化を求める。さらに、学習結果評価部125は、名寄せ部131および評価実行部132を有する。名寄せ部131は、チェックポイントについて、学習部122により学習して得られた学習結果を使って名寄せを行い、判定結果を算出する。具体的には、名寄せ部131は、チェックポイント設定部124によって設定されたチェックポイントについて、学習部122により旧教師例を用いて学習された旧学習結果および名寄せ定義113を使って、名寄せを行い、判定結果を算出する。また、名寄せ部131は、同じチェックポイントについて、学習部122により新教師例を用いて学習された新学習結果および名寄せ定義113を使って名寄せを行い、判定結果を算出する。なお、判定結果には、同じとみなすWhite判定、異なるとみなすBlack判定、判定不能とみなすGray判定のほか、総合評価値が含まれる。評価実行部132は、評価指標設定部123によって設定された評価指標の対象値を名寄せ部131から取得し、取得した対象値に評価指標に対応した導出手順を適用して、評価指標の目標値を算出する。また、評価実行部132は、算出した評価指標の目標値を評価結果116に格納する。なお、評価結果116には、評価指標毎に規定された目標値が評価に使用した教師例やチェックポイント等の関連情報と対応付けて格納される。例えば、評価指標として項番1判定結果の正解率が設定された場合、評価実行部132は、予め同一であるか否かの名寄せ結果がわかっている複数のチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部132は、複数のチェックポイントについて、それぞれ予めわかっている名寄せ結果の期待値と旧教師例による判定結果とを比較し、比較した結果に基づいて旧教師例による正解率を算出し、目標値とする。また、評価実行部132は、複数のチェックポイントについて、それぞれ予めわかっている名寄せ結果の期待値と新教師例による判定結果とを比較し、比較した結果に基づいて新教師例による正解率を算出し、目標値とする。そして、評価実行部132は、算出した新旧それぞれの目標値を評価結果116に格納する。例えば、評価指標として項番2識別面の変化が設定された場合、評価実行部132は、複数のチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部132は、複数のチェックポイントについて、旧教師例による判定結果毎のチェックポイント数および新教師例による判定結果毎のチェックポイント数を算出し、目標値とする。すなわち、評価実行部132は、White判定となったチェックポイント数、Black判定となったチェックポイント数およびGray判定となったチェックポイント数を新旧教師例毎に算出した結果を目標値とする。そして、評価実行部132は、算出した新旧それぞれの目標値を評価結果116に格納する。例えば、評価指標として項番3重要ポイントの判定が設定された場合、評価実行部132は、予め判定結果の期待値がわかっているチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部132は、旧教師例による判定結果および新教師例による判定結果をそれぞれチェックポイント毎の期待値と比較し、正常であるか否かを判定し、判定した結果を目標値とする。そして、評価実行部132は、算出した目標値を評価結果116に格納する。例えば、評価指標として項番4判定結果の個別変化傾向が設定された場合、評価実行部132は、個々のチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部132は、旧教師例による判定結果と新教師例による判定結果が変化しているチェックポイントを求め、求めたチェックポイントの判定結果の変化を目標値とする。そして、評価実行部132は、算出した目標値を評価結果116に格納する。例えば、評価指標として項番5総合評価値動向が設定された場合、評価実行部132は、個別のチェックポイントについて、新教師例による判定結果の総合評価値および旧教師例による判定結果の総合評価値を対象値として取得する。また、評価実行部132は、取得した新旧教師例による判定結果の総合評価値の差分を算出し、算出した結果を目標値とする。そして、評価実行部132は、算出した目標値を評価結果116に格納する。例えば、評価指標として項番6総合評価値の最高値が設定された場合、評価実行部132は、個別のチェックポイントについて、新教師例による判定結果の総合評価値および旧教師例による判定結果の総合評価値を対象値として取得する。また、評価実行部132は、取得した新教師例による判定結果の総合評価値から最高値を求め、旧教師例による判定結果の総合評価値から最高値を求める。そして、評価実行部132は、求めた各最高値の差分を算出し、算出した結果を目標値とする。そして、評価実行部132は、算出した目標値を評価結果116に格納する。例えば、評価指標として項番7重み動向が設定された場合、評価実行部132は、新教師例による学習結果重みと旧教師例による学習結果重みとを名寄せ対象項目毎に対応付けて対象値として取得する。また、評価実行部132は、取得した新旧教師例による学習結果の重みの変化量を名寄せ対象項目毎に算出する。そして、評価実行部132は、算出した各変化量のうち、差分の大きい変化量を目標値とする。そして、評価実行部132は、目標値をと併せて対応する重みを評価結果116に格納する。なお、対象値や目標値とする学習結果重みは、名寄せ対象項目の全項目を対象としても良いし、一部の項目を対象としても良い。評価結果反映部126は、評価実行部132によって導出された評価指標に対する旧教師例の目標値と新教師例の目標値とに基づいて、旧教師例の目標値に対して新教師例の目標値が良い変化となっているか悪い変化となっているかを判定する。すなわち、評価結果反映部126は、新教師例が旧教師例より良くなったか悪くなったかを判定する。言い換えれば、評価結果反映部126は、新教師例による学習結果が旧教師例による学習結果より良くなったか悪くなったかを判定する。ここで、評価指標毎の判定指針および判定後の反映指針について、図4を参照して説明する。図4は、評価指標毎の評価結果反映の具体例を説明する図である。図4では、項番k0毎に、評価指標名称k1、判定指針k2および判定後の反映指針k3が対応付けられる。評価指標名称k1は、図3の評価指標名称h1と同じく評価指標の名称を示す。判定指針k2は、新旧教師例の目標値の変化から新教師例の良し悪しを判定する指針を示す。判定後の反映指針k3は、判定後、判定の結果に基づいて新教師例に反映する指針を示す。なお、判定後の反映指針k3で示される指針は、人例えばユーザによって行われるものである。例えば、項番1、評価指標名称k1が判定結果の正解率の場合、評価結果反映部126は、旧教師例の目標値である正解率および新教師例の目標値である正解率を比較し、新教師例の正解率が上がれば良い変化○と判定する。一方、評価結果反映部126は、新教師例の正解率が下がれば悪い変化×と判定する。判定後、ユーザが、新教師例による学習結果を使って判定した判定結果のうち不正解となったチェックポイントを選択し、新教師例に存在し、旧教師例と異なる教師例の中で、選択したチェックポイントとの距離が近い教師例のうち当該チェックポイントの期待値と異なる判定結果となる教師例を探索する。そして、ユーザは、探索した教師例を新教師例から削除する。例えば、項番2、評価指標名称k1が識別面の変化の場合、評価結果反映部126は、旧教師例の目標値である判定結果毎のチェックポイント数および新教師例の目標値である判定結果毎のチェックポイント数を判定結果毎に比較する。そして、評価結果反映部126は、変化が大きい判定結果のパターンについて、この判定結果となったチェックポイントを参照し、良い変化○であるか悪い変化×であるかを判定する。判定後、ユーザが、悪い変化である場合の該当パターンについて、このパターンにおける判定結果となったチェックポイントを選択する。そして、新教師例に存在し、旧教師例と異なる教師例の中で、選択したチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、ユーザは、探索した教師例を新教師例から削除する。例えば、項番3、評価指標名称k1が重要ポイントの判定の場合、評価結果反映部126は、チェックポイントについて、旧教師例の目標値である、判定結果の正常か否かおよび新教師例の目標値である、判定結果の正常か否かを取得する。そして、評価結果反映部126は、判定が変化したチェックポイント毎に、良い変化○であるか悪い変化×であるかを判定する。判定後、ユーザが、悪い変化である場合のチェックポイントについて、新教師例に存在し、旧教師例と異なる教師例の中で、このチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、探索した教師例を新教師例から削除する。例えば、項番4、評価指標名称k1が判定結果の個別変化傾向の場合、評価結果反映部126は、個々のチェックポイントについて、目標値である旧教師例および新教師例の判定結果の変化を取得する。そして、評価結果反映部126は、判定結果の変化したチェックポイント毎に、良い変化○であるか悪い変化×であるかを判定する。判定後、ユーザが、悪い変化である場合のチェックポイントについて、新教師例に存在し、旧教師例と異なる教師例の中で、このチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、探索した教師例を新教師例から削除する。例えば、項番5、評価指標名称k1が総合評価値動向の場合、評価結果反映部126は、目標値である新旧教師例による判定結果の総合評価値の差分変化量を取得する。そして、評価結果反映部126は、変化量が大きいチェックポイントについて、良い変化○であるか悪い変化×であるかを判定する。判定後、ユーザが、悪い変化である場合のチェックポイントについて、新教師例に存在し、旧教師例と異なる教師例の中でこのチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、探索した教師例を新教師例から削除する。例えば、項番6、評価指標名称k1が総合評価値の最高値の場合、評価結果反映部126は、目標値である新旧教師例による総合評価値の最高値の差分を取得する。そして、評価結果反映部126は、取得した差分に基づいて、新教師例による総合評価値の最高値が旧教師例のものより高くなれば新教師例の矛盾が解消された良い変化○、低くなれば新教師例の矛盾が増加した悪い変化×であると判定する。判定後、悪い変化である場合、ユーザが、新教師例に存在し、旧教師例と異なる教師例について検出し、検出した教師例と他の教師例との間で矛盾が無いか確認する。矛盾が有る教師例は新教師例から削除する。ここで矛盾の有無の確認とは、例えば同一または性質が近いレコード対について正例と負例の両方に教師例が存在するか否かを確認することにより実施できる。例えば、項番7、評価指標名称k1が重み動向の場合、評価結果反映部126は、目標値である新旧教師例による名寄せ対象項目毎の学習結果重みの変化量を取得する。そして、評価結果反映部126は、名寄せ対象項目毎の重みがユーザの感覚と合う方向に変化すれば良い変化○、ユーザの感覚と異なる方向に変化すれば悪い変化×であると判定する。この判定は人が行っても良いし、予め人によって予測された重みと比較してその差により判定しても良い。判定後、悪い変化である場合、ユーザが、新教師例に存在し、旧教師例と異なる教師例について検出して見直しを行う。次に、学習結果評価部125による学習結果評価の動作について、図5を参照して説明する。図5は、実施例に係る学習結果評価部の学習結果評価の動作を説明する図である。図5に示すように、名寄せ部131は、チェックポイントP3を取得し、取得したチェックポイントP3における名寄せ元レコードJ3および名寄せ先レコードM3の各名寄せ対象項目の値について、名寄せ対象項目毎に規定されている評価関数を適用して照合を行う。ここでは、各名寄せ対象項目が郵便番号、住所および氏名であるものとし、名寄せ部131は、名寄せ定義113に基づいて、名寄せ対象項目のうち郵便番号を評価関数A、住所を評価関数B、氏名を評価関数Cとする各評価関数を適用する。名寄せ部131は、名寄せ定義113と、学習部122により旧教師例toldを用いて学習された旧学習結果goldとを取得する。旧学習結果goldには、名寄せ対象項目毎の旧重みooldと旧閾値soldが設定される。そして、名寄せ部131は、照合の結果、各評価関数を適用して得られた各値に名寄せ対象項目毎の旧重みooldを乗じて得られた各旧評価値を加算することによって、旧総合評価値voldを導出する。そして、名寄せ部131は、導出した旧総合評価値voldに関して、旧閾値soldに基づいて、名寄せに関する判定を行い、旧判定結果roldを途中経過と併せて評価実行部132に出力する。また、名寄せ部131は、学習部122により新教師例tnewを用いて学習された新学習結果gnewを取得する。新学習結果gnewには、名寄せ対象項目毎の新重みonewと新閾値snewが設定される。そして、名寄せ部131は、照合の結果、各評価関数を適用して得られた各値に名寄せ対象項目毎の新重みonewを乗じて得られた各新評価値を加算することによって、新総合評価値vnewを導出する。そして、名寄せ部131は、導出した新総合評価値vnewに関して、新閾値snewに基づいて、名寄せに関する判定を行い、新判定結果rnewを途中経過と併せて評価実行部132に出力する。そして、評価実行部132は、新判定結果rnewおよび旧判定結果roldまたは、各途中経過である新総合評価値vnewおよび旧総合評価値vold等を対象値として用いて、評価指標設定部123により設定された評価指標Hに応じた評価を実行する。すなわち、評価実行部132は、評価指標Hにおける対象値新判定結果rnew、旧判定結果rold新総合評価値vnew、旧総合評価値vold等を名寄せ部131から取得し、取得した対象値に評価指標Hに対応した導出手順を適用して、評価指標Hの目標値を算出する。そして、評価実行部132は、算出した評価指標Hの目標値を評価結果反映部126に出力する。この結果、評価結果反映部126は、チェックポイントP3について、旧判定結果roldと新判定結果rnewとの変化、または旧総合評価値voldと新総合評価値vnewとの変化等を監視し、良い方向へ変化したか悪い方向へ変化したかを判定し、新学習結果gnewおよび新教師例tnewの良し悪しを判定する。そして、評価結果反映部126は、この判定の結果、新教師例tnewにフィードバックしたり、チェックポイントP3に反映したりする。[実施例に係る学習結果評価処理の手順]次に、実施例に係る学習結果評価処理の手順を、図6Aを参照しながら説明する。図6Aは、実施例に係る学習結果評価処理の手順を示すフローチャートである。まず、制御部12は、名寄せ定義113を読み込んで、名寄せ機能や学習機能等の各機能の環境を設定するステップS11。そして、評価実行部132は、評価指標設定部123の出力である評価指標を読み込んで設定するステップS12。この評価指標は、評価をするために使用される評価対象の値対象値、導出する目標値および対象値から目標値を導出する導出手順の3つの要素を含む。そして、名寄せ部131は、チェックポイント設定部124の出力であるチェックポイントを読み込んで設定するステップS13。そして、学習部122は、教師例設定部121から新旧教師例を取得し、取得した新旧教師例による学習を行い、新旧学習結果を名寄せ部131に出力するステップS14。続いて、名寄せ部131は、チェックポイントを1組選択するステップS15。そして、名寄せ部131は、選択したチェックポイントの評価を、旧学習結果を使用して行い、評価指標の旧対象値を取得するステップS16。また、名寄せ部131は、選択したチェックポイントの評価を、新学習結果を使用して行い、評価指標の新対象値を取得するステップS17。そして、評価実行部132は、評価指標の導出手順にしたがって、新旧対象値から目標値を導出して評価結果116に記録するステップS18。そして、名寄せ部131は、残りのチェックポイントが有るか否かを判定するステップS19。残りのチェックポイントが有ると判定された場合ステップS19;Yes、名寄せ部131は、残りのチェックポイントに関する評価を実施すべくステップS15に移行する。一方、残りのチェックポイントが無いと判定された場合ステップS19;No、評価実行部132は、評価指標に応じて、記録した目標値の全体を集計して評価結果116に記録するステップS20。[実施例に係る評価結果反映処理の手順]引き続き、実施例に係る評価結果反映処理の手順を、図6Bを参照しながら説明する。図6Bは、実施例に係る評価結果反映処理の手順を示すフローチャートである。まず、評価結果反映部126は評価指標を確認しステップS31、評価実行部132によって記録された評価指標に対する評価結果116を取得するステップS32。次に評価結果反映部126は、評価指標の判定指針k2に従って、取得した評価結果に基づいて、旧教師例の目標値に対して新教師例の目標値が良い変化となっているか悪い変化となっているかを判定するステップS33。良い変化となっている場合ステップS34;正常○、評価結果反映部126は処理を終了する。一方、悪い変化となっている場合ステップS34;異常×、評価結果反映部126は新教師例に存在し、新旧教師例間で異なる教師例を抽出しステップS35、評価指標の判定後の反映指針k3に従って抽出した教師例の中から異常の原因である教師例を探すステップS36。そして原因として特定した教師例を新教師例から削除するステップS37。ここでステップS36およびステップS37の処理は人の判断を伴って人が行っても良い。最後に、原因を削除した教師例を新教師例として再度学習結果の評価を行い、正しく修正されていることを確認してステップS38、評価結果の反映処理を終了する。[実施例に係る近くの教師例探索処理]さらに、図6BのステップS36で使用できる特定のチェックポイントの近くの教師例探索処理の手順を、図6Cを参照しながら説明する。図6Cは、実施例に係る近くの教師例探索処理の手順を示すフローチャートである。最初に、対象となるチェックポイントを1組特定しステップS41、特定したチェックポイントについて、新教師例に基づく学習結果を使用した名寄せ処理を行い、その名寄せ処理の途中経過を記録するステップS42。ここで途中経過の記録とは、対象項目に評価関数を適用して求めた値に重みを乗じた評価値を記録する。そして、探索対象となる教師例の全てを特定しステップS43、特定した教師例の全てについて新教師例に基づく学習結果を使用した名寄せ処理を行い、その名寄せ処理の途中経過を記録するステップS44。つぎに、ステップS42で記録したチェックポイントの途中経過と、ステップS44で記録した教師例の途中経過との照合を行い、距離を算出するステップS45。この照合は、全ての名寄せ対象項目について、重み付けされた評価値について差をそれぞれ求め、その差を加算することで距離を算出する。最後に、S45で求めた中で、最も距離の近い教師例を探索結果として出力してステップS46、探索処理を終了する。ここで、評価指標毎の学習結果評価と評価結果反映の具体例を、図7A~図7Gを参照しながら説明する。図7A~図7Fにおいて、●はWhiteを名寄せ判定の期待値とするチェックポイント、◆はBlackを名寄せ判定の期待値とするチェックポイントを示す。また、三角印は名寄せ判定の期待値を使用しない評価指標におけるチェックポイントを示す。図7Aは、評価指標が項番1判定結果の正解率の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部132は、予めユーザによる判定がされたチェックポイントであってランダムに設定されたチェックポイントについて、名寄せの判定結果の正解率を目標値として算出する。図7Aの例では、White、Blackともに5件のチェックポイントが設定されている。そして、評価実行部132は、旧教師例による名寄せの判定結果が全て正しく判定されているので、正解率を100と算出する。加えて、評価実行部132は、新教師例による名寄せの判定結果がWhiteの正解3件、Blackの正解4件なので、全体の正解率を7件/10件=70と算出する。さらに、評価結果反映部126は、新教師例の正解率が旧教師例の正解率より下がっているので、悪い変化×と判定する。この後、ユーザが、例えば、新教師例による名寄せの判定結果が不正解となったチェックポイントを選択し、選択したチェックポイントとの距離が近い新教師例に存在し旧教師例と異なる教師例のうち当該チェックポイントの期待値と異なる判定となっている新教師例を削除する。具体的には上位のGray識別面より側のGrayエリアに存在する負例、または下位のGray識別面より-側のGrayエリアに存在する正例、の教師例の中で新教師例で追加された教師例を確認して削除する。図7Bは、評価指標が項番2識別面の変化の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部132は、総合評価値が識別面限界面のサポートベクター付近のチェックポイントについて、名寄せの判定結果の変化を目標値として算出することにより、識別面の変化を敏感に捉える。図7Bの例では、White、Blackともに限界面付近の5件のチェックポイントが設定される。そして、評価実行部132は、旧教師例による名寄せの判定結果がWhiteのチェックポイントが3件、Grayのチェックポイントが3件、Blackのチェックポイントが4件と算出する。加えて、評価実行部132は、新教師例による名寄せの判定結果がWhiteのチェックポイントが3件、Grayのチェックポイントが5件、Blackのチェックポイントが2件と算出する。そして、評価実行部132は、判定結果の変化をWhiteの変化が0件、Grayの変化が2件、Blackの変化が-2件と算出する。さらに、評価結果反映部126は、Grayの数が多くなったので、悪い変化×と判定する。つまり、新教師例による名寄せの判定結果の場合、下位方向に識別面が移動し限界面も広がって、Grayが広がった結果としてBlackも減少していることがわかる。この後、ユーザが、悪い変化であるGrayとBlackとの境界面について、変動したチェックポイント図7Bの新教師例による名寄せ結果の○印のチェックポイントを選択する。つぎに、選択したチェックポイントとの距離が近く、新教師例に存在し、旧教師例と異なる教師例のうち当該チェックポイントの判定と異なる判定となっている新教師例を削除する。具体的には上位のGray識別面より側のGrayエリアに存在する負例、または下位のGray識別面より-側のGrayエリアに存在する正例の教師例の中から新教師例で追加された教師例を確認して削除する。この例の場合は、後者の下位のみで良い。図7Cは、評価指標が項番3重要ポイントの判定の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部132は、確実に特定の判定結果となる必要があるチェックポイントについて、名寄せの判定結果が正常であるか否かを目標値として算出する。図7Cの例では、White、Blackともに2件のチェックポイントが設定される。そして、評価実行部132は、旧教師例による名寄せの判定結果について、正常であると判定する。加えて、評価実行部132は、新教師例による名寄せの判定結果について、Whiteのチェックポイントが1件Gray判定となっているので、このチェックポイントを異常であると判定する。さらに、評価結果反映部126は、異常であると判定されたチェックポイントについて、悪い変化×と判定する。この後、ユーザが、例えば、悪い変化と判定されたチェックポイントに近い原因と推定される新教師例を削除する。図7Dは、評価指標が項番4判定結果の個別変化傾向の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部132は、旧教師例による総合評価値がランダムになるように選定されたチェックポイントについて、新旧教師例による判定結果の変化傾向を目標値とする。図7Dの例では、評価実行部132は、チェックポイント4がWhiteからGrayに変化しており、チェックポイント7がBlackからGrayに変化していると判定する。この場合には、ユーザが、例えば、変化した4および7のチェックポイントについて、それぞれの変化が良い変化○であるか悪い変化×であるかを判断する。そして、悪い変化の場合には、ユーザが、悪い変化となったチェックポイントの付近の新教師例を削除する。なお、複数のチェックポイントについて判定結果が異なる場合には、ユーザは、旧教師例による判定結果の総合評価値でソートし、判定White/Gray/Blackの境界に近似するチェックポイントだけをチェックするようにしても良い。図7Eは、評価指標が項番5総合評価値動向の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部132は、旧教師例による総合評価値がランダムになるように設定されたチェックポイントについて、新旧教師例による判定結果の総合評価値の差分を目標値とする。この評価指標では、前述した評価指標判定結果の個別変化傾向に異常がある場合に、評価実行部132が、閾値の影響を排除して総合評価値の変化を判定するので、より詳細な原因調査を行うことができる。図7Eの例では、識別面から遠いチェックポイントについて例えば1のように2倍弱の数値で評価が識別面側に傾いていることが解り、45については、変化量が0.5ポイントであることが解る。図7Fは、評価指標が項番6総合評価値の最高値の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部132は、旧教師例による総合評価値が最高値となるチェックポイントについて、新旧教師例による総合評価値の最高値の変化を目標値とする。図7Fの例では、評価実行部132は、旧教師例による総合評価値の最高値を8.2、新教師例による総合評価値の最高値を4.2と求め、求めた最高値の差分を-4.0と算出する。さらに、評価結果反映部126は、新教師例による総合評価値の最高値が旧教師例によるものより低くなったので、悪い変化×と判定する。この結果、新教師例対して実施した修正旧教師例との差分に矛盾を生じる原因がある可能性があることがわかるので、ユーザが、例えば、新教師例にあって旧教師例にない教師例のレコード対について、見直しを行う。図7Gは、評価指標が項番7重み動向の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、チェックポイントに関係なく行うことができ、評価実行部132は、新旧教師例による学習を実行した結果として導出される各名寄せ対象項目の重みについて、新旧教師例の比較を行い、名寄せ対象項目毎の重みの差分を目標値とする。図7Gの例では、名寄せ対象項目を10項目とし、評価実行部132は、新旧教師例による学習結果として導出された各名寄せ対象項目に対する重みから重みの変化量を算出する。さらに、評価結果反映部126は、変化量が大きい名寄せ対象項目である会社名i1、会社名カナi2、郵便番号i7および住所i8を選択する。そして、評価結果反映部126は、選択した名寄せ対象項目のうち、会社名i1および会社名カナi2の変化量の符号が逆転し且つ会社名i1の重みより会社名カナi2の重みの方が高く、ユーザの感覚と異なる方向に変化しているので悪い変化×と判定する。この結果、ユーザが、例えば、新教師例にあって旧教師例にない教師例のレコード対について、見直しを行う。[実施例の効果]上記実施例によれば、情報照合装置1が、名寄せの判定で用いられる判定基準を学習する教師あり学習方式の機械学習器として構成される学習部122に教師例を設定する。そして、情報照合装置1が、教師例の評価に使用する2個のレコードを1組としたチェックポイントを設定する。そして、情報照合装置1が、設定したチェックポイントについて、設定した旧教師例における学習結果を用いた旧判定結果と、新教師例における学習結果を用いた新判定結果との変化を求め、求めた変化に基づいて新教師例を評価する。かかる構成によれば、情報照合装置1は、チェックポイントについて、新旧教師例における新旧の学習結果を用いた新旧判定結果の変化を求め、求めた変化に基づいて新教師例を評価することとしたので、新教師例の妥当性や教師例間の矛盾を評価することができる。この結果、情報照合装置1は、この評価に基づいて、適切な教師例を作成することができる。また、情報照合装置1は、教師例の妥当性を評価できるので、誤った教師例による誤った学習誤学習をしたり、偏った教師例による偏った学習過学習をしたりすることによる判定結果の品質の悪化を防止することができる。この結果、情報照合装置1は、名寄せの判定結果の安定性を担保することができ、ひいては名寄せに関わるコストの削減を図ることができる。また、上記実施例によれば、評価結果反映部126は、学習結果評価部125によって評価された評価結果を解釈して新教師例に反映することとした。かかる構成によれば、評価結果反映部126は、反映された新教師例によって学習結果を良い方向に向かわせることを担保できる。また、上記実施例によれば、評価実行部132は、予め判定結果の期待値がわかっている複数のチェックポイントについて、旧教師例における学習結果を用いた判定結果の正解率と、新教師例における学習結果を用いた判定結果の正解率との変化を求める。かかる構成によれば、評価実行部132は、旧教師例における正解率と新教師例における正解率との変化によって、良い変化であるか悪い変化であるかを判定できるので、平均的な新教師例の妥当性を確実に評価できる。また、上記実施例によれば、評価実行部132は、限界面付近の複数のチェックポイントについて、旧教師例における学習結果を用いた判定結果毎のチェックポイント数と、新教師例における学習結果を用いた判定結果毎のチェックポイント数との変化を求める。かかる構成によれば、評価実行部132は、判定結果毎のチェックポイント数の変化によってWhite方向およびBlack方向のいずれの方向に判定結果が移動しているかわかるので、識別面や限界面の変化を敏感に捉えることができる。また、上記実施例によれば、評価実行部132は、予め判定結果の期待値がわかっている重要なチェックポイントについて、旧教師例における学習結果を用いた判定結果が期待値と一致するか否かを求める。そして、評価実行部132は、予め判定結果の期待値がわかっているチェックポイントについて、新教師例における学習結果を用いた判定結果が期待値と一致するか否かを求める。そして、評価実行部132は、当該チェックポイントについて、新旧教師例における判定結果の変化を求める。かかる構成によれば、評価実行部132は、重要な個々のチェックポイントについて新旧教師例における判定結果が正常であるか否かがわかるので、新教師例の妥当性を確実に評価でき、併せて重要なチェックポイントの評価結果を保証することができる。また、上記実施例によれば、評価実行部132は、旧教師例による総合評価値がランダムになるように選定された個別のチェックポイントについて、旧教師例における学習結果を用いた判定結果と、新教師例における学習結果を用いた判定結果との変化を求める。かかる構成によれば、評価実行部132は、旧教師例による総合評価値の全領域に分布する個々のチェックポイントについて、その新旧教師例による判定結果の変化傾向を捉えることができ、併せて新旧教師例で判定結果に悪い変化のあったチェックポイントが具体的にわかるので、このチェックポイント近辺の新教師例を考慮すべき教師例の候補として絞り込むことができる。また、上記実施例によれば、評価実行部132は、旧教師例による総合評価値がランダムになるように選定された個別のチェックポイントについて、旧教師例における学習結果を用いた判定結果である総合評価値と、新教師例における学習結果を用いた判定結果である総合評価値との変化を求める。かかる構成によれば、評価実行部132は、閾値の影響を排除した総合評価値の変化によって、より詳細な変化の原因を調査することを助けることができる。また、上記実施例によれば、評価実行部132は、旧教師例における学習結果を用いた判定結果である総合評価値の最大値と、新教師例における学習結果を用いた判定結果である総合評価値の最大値との変化を求める。かかる構成によれば、評価実行部132は、新旧教師例における総合評価値の最大値の変化を求めることで、間接的に学習結果のマージンの大きさを検出することができ、新旧教師例の差分の教師例に矛盾を生じる原因があるか否かの可能性とその程度をみつけることができる。また、上記実施例によれば、評価実行部132は、旧教師例における判定に用いる学習結果の重みと、新教師例における判定に用いる学習結果の重みとの変化を求める。かかる構成によれば、評価実行部132は、新旧教師例における学習結果の重みの変化を求めることで、学習結果として導出した重みが人の感覚と一致することを確認することができる。また、上記実施例によれば、チェックポイント設定部124は、チェックポイントを予め正例および負例として記憶されている教師例114の中から選択して設定することもできる。かかる構成によれば、チェックポイント設定部124は、正例の教師例をWhiteを判定の期待値とするチェックポイントとして設定し、負例の教師例をBlackを判定の期待値とするチェックポイントとして設定することにより、チェックポイントを容易に選択して設定することができる。[プログラム等]なお、情報照合装置1は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置に、上記した記憶部11、制御部12等の各機能を搭載することによって実現することができる。また、図示した情報照合装置1の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、情報照合装置1の分散統合の具体的態様は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散統合して構成することができる。例えば、学習結果評価部125および評価結果反映部126を1個の部として統合しても良い。一方、評価結果反映部126を、新旧教師例による評価結果から新教師例の良し悪しを判定する判定部と新教師例の良し悪しの判定を新教師例に反映する反映部とに分散しても良い。また、名寄せ先DB112や名寄せ元DB111等の各種DBを情報照合装置1の外部装置としてネットワーク経由で接続するようにしても良い。また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。そこで、以下では、図8を用いて、図1に示した情報照合装置1の制御部12と同様の機能を有する情報照合プログラムを実行するコンピュータの一例を説明する。図8は、情報照合プログラムを実行するコンピュータを示す図である。図8に示すように、コンピュータ1000は、RAM1010と、ネットワークインタフェース装置1020と、HDD1030と、CPU1040、媒体読取装置1050及びバス1060とを有する。RAM1010、ネットワークインタフェース装置1020、HDD1030、CPU1040、媒体読取装置1050は、バス1060によって接続されている。そして、HDD1030には、図1に示した制御部12と同様の機能を有する情報照合プログラム1031が記憶される。また、HDD1030には、図1に示した名寄せ先DB112、名寄せ元DB111、名寄せ定義113、教師例114、チェックポイント115および評価結果116に対応する情報照合関連情報1032が記憶される。そして、CPU1040が情報照合プログラム1031をHDD1030から読み出してRAM1010に展開することにより、情報照合プログラム1031は、情報照合プロセス1011として機能するようになる。そして、情報照合プロセス1011は、情報照合関連情報1032から読み出した情報等を適宜RAM1010上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。媒体読取装置1050は、情報照合プログラム1031や情報照合関連情報1032がHDD1030に格納されていない場合であっても情報照合プログラム1031や情報照合関連情報1032を記憶する媒体等から情報照合プログラム1031や情報照合関連情報1032を読み取る。媒体読取装置1050には、例えばCD-ROMや光ディスク装置がある。また、ネットワークインタフェース装置1020は、外部装置とネットワーク経由で接続する装置であり、有線、無線に対応するものである。なお、上記の情報照合プログラム1031や情報照合関連情報1032は、必ずしもHDD1030に格納されている必要はなく、CD-ROM等の媒体読取装置1050に記憶されたこのプログラムやデータを、コンピュータ1000が読み出して実行するようにしても良い。また、公衆回線、インターネット、LAN、WANWideAreaNetwork等を介してコンピュータ1000に接続される他のコンピュータまたはサーバ等にこのプログラムやデータを記憶させておいても良い。この場合には、コンピュータ1000がネットワークインタフェース装置1020を介してこれらからプログラムやデータを読み出して実行する。以上の実施例に係る実施形態に関し、さらに以下の付記を開示する。付記1項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置であって、前記判定で用いられる判定基準を学習する機械学習器に教師データを設定する教師例設定部と、前記教師例設定部によって設定された教師データの評価に使用する2個のレコードを1組としたチェックポイントを設定するチェックポイント設定部と、前記チェックポイント設定部によって設定されたチェックポイントについて、前記教師例設定部によって設定された第1の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、前記教師例設定部によって設定された第2の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する評価部とを有することを特徴とする情報照合装置。付記2前記評価部は、前記評価された評価結果を解釈して前記教師データに反映する反映部を有することを特徴とする付記1に記載の情報照合装置。付記3前記評価部は、予め判定結果の期待値がわかっている複数のチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合と、前記第2の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合との変化を求めることを特徴とする付記1または付記2に記載の情報照合装置。付記4前記評価部は、複数のチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果毎のチェックポイント数と、前記第2の教師データにおける判定基準を用いた判定結果毎のチェックポイント数との変化を求めることを特徴とする付記1または付記2に記載の情報照合装置。付記5前記評価部は、予め判定結果の期待値がわかっているチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果が一致するか否かと、前記第2の教師データにおける判定基準を用いた判定結果が一致するか否かとの変化を求めることを特徴とする付記1または付記2に記載の情報照合装置。付記6前記評価部は、個別のチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果と、前記第2の教師データにおける判定基準を用いた判定結果との変化を求めることを特徴とする付記1または付記2に記載の情報照合装置。付記7前記評価部は、個別のチェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果である同一性を判断する度合いと、前記第2の教師データにおける判定基準を用いた判定結果である同一性を判断する度合いとの変化を求めることを特徴とする付記1または付記2に記載の情報照合装置。付記8前記評価部は、チェックポイントについて、前記第1の教師データにおける判定基準を用いた判定結果である前記度合いの最大と、前記第2の教師データにおける判定基準を用いた判定結果である前記度合いの最大との変化を求めることを特徴とする付記1または付記2に記載の情報照合装置。付記9前記評価部は、前記第1の教師データにおける前記判定に用いる判定基準と、前記教師例設定部によって設定された第2の教師データにおける前記判定に用いる判定基準との変化を求めることを特徴とする付記1または付記2に記載の情報照合装置。付記10前記チェックポイント設定部は、前記チェックポイントを前記教師データの中から選択して設定することを特徴とする付記1から付記8のいずれか1つに記載の情報照合装置。付記11項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置に、前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、該設定した教師データの評価に使用する2個のレコードを1組としたチェックポイントを設定し、該設定したチェックポイントについて、該設定した第1の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、該設定した第2の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する処理を実行させる情報照合プログラム。付記12項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置に実行させる情報照合方法であって、前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、該設定した教師データの評価に使用する2個のレコードを1組としたチェックポイントを設定し、該設定したチェックポイントについて、該設定した第1の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、該設定した第2の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価することを特徴とする情報照合方法。"