(57)【特許請求の範囲】
【請求項１】
項目に対応した値の集合から構成される複数のレコードについて、レコード間の関係性を判定する情報照合装置であって、
前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定する教師データ設定部と、
前記教師データ設定部によって設定された教師データの評価に使用する、２個のレコードを１組としたチェックポイントを選択するチェックポイント選択部と、
前記チェックポイント選択部によって選択されたチェックポイントについて、前記教師データ設定部によって設定された第１の教師データに基づく判定基準を用いた判定結果と、前記教師データ設定部によって設定された第２の教師データに基づく判定基準を用いた判定結果との差異を求め、求めた前記差異に基づいて前記教師データを評価する評価部と
を有することを特徴とする情報照合装置。 
【請求項２】
前記関係性は、レコード間の同一性、類似性、関連性の少なくともいずれかを含むことを特徴とする請求項１に記載の情報照合装置。
【請求項３】
前記チェックポイントは予め前記判定結果の期待値がわかっているものであり、前記評価部は、前記判定結果の差異に基づいて、導出手順が対応付けられた複数の評価指標から選択された一つの前記評価指標により前記教師データを評価することを特徴とする請求項１または請求項２に記載の情報照合装置。
【請求項４】
前記評価部は、
前記評価された評価結果を解釈して前記教師データに反映する反映部を有することを特徴とする請求項１〜請求項３のいずれか一つに記載の情報照合装置。 
【請求項５】
前記反映部は、前記評価された評価結果を解釈して異なる複数の前記評価結果に対応した異なる複数の反映指針から選択された一の前記反映指針により前記教師データに反映することを特徴とする請求項４に記載の情報照合装置。
【請求項６】
前記評価部は、
予め判定結果の期待値がわかっている複数のチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合と、前記第２の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合との変化を求めることを特徴とする請求項１〜請求項５のいずれか一つに記載の情報照合装置。 
【請求項７】
前記評価部は、
複数のチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果毎のチェックポイント数と、前記第２の教師データにおける判定基準を用いた判定結果毎のチェックポイント数との変化を求めることを特徴とする請求項１〜請求項５のいずれか一つに記載の情報照合装置。 
【請求項８】
前記評価部は、
予め判定結果の期待値がわかっているチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果が一致するか否かと、前記第２の教師データにおける判定基準を用いた判定結果が一致するか否かとの変化を求めることを特徴とする請求項１〜請求項５のいずれか一つに記載の情報照合装置。 
【請求項９】
項目に対応した値の集合から構成される複数のレコードについて、レコード間の関係性を判定する情報照合装置に、
前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、
該設定した教師データの評価に使用する、２個のレコードを１組としたチェックポイントを選択し、
該選択したチェックポイントについて、該設定した第１の教師データに基づく判定基準を用いた判定結果と、該設定した第２の教師データに基づく判定基準を用いた判定結果との差異を求め、求めた前記差異に基づいて前記教師データを評価する
処理を実行させる情報照合プログラム。 
【請求項１０】
項目に対応した値の集合から構成される複数のレコードについて、レコード間の関係性を判定する情報照合装置に実行させる情報照合方法であって、
前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、
該設定した教師データの評価に使用する、２個のレコードを１組としたチェックポイントを選択し、
該選択したチェックポイントについて、該設定した第１の教師データに基づく判定基準を用いた判定結果と、該設定した第２の教師データに基づく判定基準を用いた判定結果との差異を求め、求めた前記差異に基づいて前記教師データを評価する
ことを特徴とする情報照合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報照合装置、情報照合方法および情報照合プログラムに関する。
【背景技術】
【０００２】
近年、様々な分野において、教師あり学習が利用されている。教師あり学習とは、ラベルが付いたデータを教師データとして機械学習器に学習させたうえで、テストデータのラベルを予測する学習方式をいう。教師あり学習の機械学習器として、サポートベクターマシン（ＳＶＭ）が知られている。
【０００３】
例えば、医療分野では医療画像の診断に適用する技術が開示されており、教師データ群に基づいて異常陰影のカテゴリと正常陰影のカテゴリのそれぞれにおいて、サポートベクトル（ＳＶ）となる教師データが求められる。そして、サポートベクトルとされた教師データに基づいてマージン領域を最大とする識別関数が算出されＳＶＭが構築される。このとき、ＳＶとされた教師データが適切なＳＶであるか否かが判別され、不適切なＳＶであると判別された場合は当該不適切なＳＶとされた教師データが削除されて再度ＳＶおよび識別関数が算出される。
【０００４】
ところで、値の集合から構成されるレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する機能として名寄せ機能がある。名寄せ機能では、例えば、名寄せするレコードの集合を名寄せ元、名寄せ相手となるレコードの集合を名寄せ先と称する。図９は、名寄せ機能を説明する図である。図９に示すように、名寄せ機能を実現する名寄せ処理は、名寄せ元と同じレコード、名寄せ元と類似するレコードまたは名寄せ元と関連するレコードを名寄せ先から検出し、検出結果を名寄せ結果として出力する。この名寄せ機能に関して、教師あり学習を応用した名寄せの技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１９８９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
まず、従来の名寄せ機能について、図１０〜図１２を参照しながら説明する。図１０は、名寄せ機能の動作を説明する図である。図１０に示すように、名寄せ機能を実現する名寄せ処理は、名寄せ元のレコードＪ１について、名寄せ先のレコードＭ（Ｍ１〜Ｍｎ）との照合を行い、名寄せを実行する。
【０００７】
名寄せ処理は、名寄せ元のレコードＪ１および名寄せ先のレコードＭ１の各名寄せ対象の項目（「名寄せ対象項目」という。）の値について、予め名寄せ対象項目毎に規定されている評価関数を適用して照合を行う。ここでは、名寄せ対象項目が氏名、住所および生年月日であるものとし、名寄せ処理は、名寄せ対象項目のうち氏名をｆａ（）、住所をｆｂ（）、生年月日をｆｃ（）とする各評価関数を適用して照合を行う。そして、名寄せ処理は、照合の結果として導出される各名寄せ対象項目の評価値に名寄せ対象項目毎の重み付けを行い、得られた各値を加算することによって、総合評価値を導出する。さらに、名寄せ処理は、名寄せ元のレコードＪ１に対する残り全ての名寄せ先のレコードＭ２〜Ｍｎについて、総合評価値を導出する。名寄せ処理は、これら名寄せ元のレコードＪ１および名寄せ先のレコードＭ１〜Ｍｎの組についての総合評価値を含む名寄せ候補集合を作成する。
【０００８】
そして、名寄せ処理は、予め規定された閾値に基づいて、名寄せ候補集合に属するレコードの組について名寄せに関する判定を行う。例えば、名寄せ処理は、完全に一致していると判定されたレコードの組を「Ｗｈｉｔｅ」、完全に一致していないと判定されたレコードの組を「Ｂｌａｃｋ」として自動判定を行い、名寄せ結果に出力する。名寄せ処理は、自動判定できない組を「Ｇｒａｙ」として候補リストに出力する。そして、候補リストに出力された組の判定が人により任せられる。なお、人による設定が必要な名寄せ定義として、名寄せ対象項目の選定、評価関数の選定、重みおよび閾値の設定がある。
【０００９】
次に、名寄せ処理の具体例について、図１１および図１２を参照しながら説明する。図１１は、名寄せ定義のデータ構造の一例を示す図であり、図１１（Ａ）が、名寄せ定義の内容を示し、図１１（Ｂ）が、名寄せ定義の具体例を示す。図１２は、名寄せの具体例を説明する図である。
【００１０】
図１１（Ａ）に示すように、名寄せ定義は、名寄せ方法ｄ１、名寄せ元指定ｄ２、名寄せ先指定ｄ３、名寄せ対象項目指定ｄ４および閾値ｄ５を対応付けて定義される。名寄せ方法ｄ１には、名寄せの方法が指定される。例えば、名寄せの方法には、１つのレコード集合を対象として集合内のレコード間の総当りで名寄せを行い、一致しているレコードを検出して重複するレコードを除去する「自己名寄せ」がある。自己名寄せは、名寄せ元と名寄せ先が同じ集合なので、その構造（レコードの項目）も同じであるという特徴を有する。また、名寄せの方法には、名寄せ元および名寄せ先として異なるレコード集合を対象として名寄せ元レコードと名寄せ先レコードの組み合わせによる名寄せを行い、一致しているレコードを検出して該当するレコード間の関連付けを行う「他者名寄せ」がある。他者名寄せは、名寄せ元と名寄せ先が異なる集合なので、一般的にその構造（レコードの項目）が異なるという特徴を有する。名寄せ元指定ｄ２には、名寄せ元のデータベース名等のアクセス情報および名寄せ元のレコードの項目が指定される。名寄せ先指定ｄ３には、名寄せ先のデータベース名等のアクセス情報および名寄せ先のレコードの項目が指定される。名寄せ対象項目指定ｄ４には、名寄せ対象項目が名寄せ元の項目と名寄せ先の項目の組み合わせとして指定され、名寄せ対象項目毎に適用される評価関数および重みが指定される。閾値ｄ５には、Ｗｈｉｔｅ判定用の上位の閾値およびＢｌａｃｋ判定用の下位の閾値が指定される。
【００１１】
図１１（Ｂ）に示すように、例えば、名寄せ方法ｄ１には、「自己名寄せ」が指定されている。名寄せ元指定ｄ２のアクセス情報には、「顧客表」が指定され、名寄せ元指定ｄ２のレコード情報には、ＩＤ（identification）、氏名、郵便番号、住所および生年月日の項目が指定されている。なお、名寄せ先指定ｄ３は、名寄せ方法が「自己名寄せ」の場合には、名寄せ元の情報と同様であるので定義が不要となる。名寄せ対象項目指定ｄ４には、名寄せ対象項目を氏名：氏名、郵便番号：郵便番号、住所：住所および生年月日：生年月日として指定されている。これは、名寄せ元の項目：名寄せ先の項目の組として名寄せ対象項目を指定しており、名寄せ方法が「自己名寄せ」の場合には、同じレコード構成なので一般的に同じ項目名となる。この名寄せ対象項目に対して、適用する評価関数と重みを指定する。例えば名寄せ対象項目が氏名：氏名の場合には、評価関数に「編集距離」、重みに０．３が指定されている。名寄せ対象項目が郵便番号：郵便番号の場合には、評価関数に「完全一致」、重みに０．２が指定されている。閾値ｄ５には、上位の閾値に０．７２、下位の閾値に０．２６が指定されている。以下では、同じ項目名を対とする名寄せ対象項目について、１つの項目名で表現することとする。例えば、「名寄せ対象項目氏名：氏名」を「名寄せ対象項目氏名」と表現する。なお、「編集距離」とは、名寄せ元と名寄せ先との名寄せ対象項目の値の照合において名寄せ先の値を名寄せ元の値に変形させる際の最小編集回数を距離として表す評価関数である。例えば、変形不要の場合には１．０を返し、全ての変形が必要な場合には０を返し、一部の変形で良い場合には変形回数に応じて０から１．０までの値を返す。また、「完全一致」とは、名寄せ元と名寄せ先との名寄せ対象項目の値の照合において２つの値が完全に一致するか否かを表す評価関数である。２つの値が完全に一致する場合には１．０を返し、それ以外は０を返す。なお、評価関数には、これらのみならず、名寄せ元の値について隣り合うＮ文字が名寄せ先の値に含まれる度合いを評価する「Ｎ−ｇｒａｍ」等がある。
【００１２】
図１２では、図１１で定義された名寄せ処理の一部として、名寄せ元の１件のレコードＭ１に対する名寄せ先との名寄せ処理の途中経過と結果を示す。名寄せ先の顧客表Ｍには、例えば２００万件のレコードが格納されている。そして、名寄せ処理は、これら各レコードを名寄せ先として名寄せ元のレコードＭ１との間で照合を行う。例えば、名寄せ処理は、照合の途中結果として、名寄せ元のレコードＭ１および名寄せ先のレコードＭ１〜Ｍ６の組毎に、評価関数の適用結果、重み付け結果および総合評価値を対応付けて出力する。そして、名寄せ処理は、照合後に、名寄せ元のレコードＭ１および名寄せ先のレコードＭ１〜Ｍ６の組毎に、名寄せに関する判定をし、判定結果を出力する。
【００１３】
次に、機械学習器に相当する学習器による名寄せ機能について、図１３を参照しながら説明する。図１３は、学習器による名寄せを説明する図である。図１３に示すように、名寄せ機能を実現する名寄せ処理は、教師あり学習を実現する学習器を備える。学習器は、正しい判定結果となるレコード対の例を示す教師データである教師例を取得し、取得した教師例を用いて名寄せ処理で使用される判定基準を学習する。この判定基準が、名寄せ対象項目毎の重みおよび名寄せ対象レコードの判定に適用される閾値となる。
【００１４】
そして、名寄せ処理は、名寄せ元のレコードについて、名寄せ先のレコードとの間で照合し、学習器により得られた判定基準を用いて名寄せに関する判定をして判定結果を出力する。このとき、名寄せ処理は、名寄せに関して自動判定できない組を候補リストに出力し、人による判定に任せる。そして、候補リストに出力された組について、人による判定に応じて教師例が適切にフィードバックされることで、名寄せ処理は、教師あり学習により高い精度の判定を実現する。
【００１５】
しかしながら、従来の学習器による名寄せ処理では、教師例の妥当性や教師例間の矛盾を検証する手段がないので、適切な教師例を作成し、教師例への適切なフィードバックをすることが困難であった。
【００１６】
また、従来の学習器による名寄せ処理では、誤った学習を評価する手段がないので、名寄せに関する判定結果の品質の悪化を防止することが困難であった。すなわち、学習器が、誤った教師例による誤った学習（誤学習）をしたり、偏った教師例を大量に追加されることにより偏った教師例による誤った学習（過学習）をしたりした場合に、名寄せに関する判定結果の正しさが悪化したことを検出することができない。この結果、名寄せに関する判定結果の品質の悪化を防止することが困難であった。
【００１７】
１つの側面では、教師あり学習による名寄せにおいて、適切な教師例を作成することを可能とし、さらに適切な教師例へのフィードバックを可能とし、名寄せに関する判定結果の品質の悪化を防止することを目的とする。
【課題を解決するための手段】
【００１８】
第１の案では、情報照合装置は、項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置であって、前記判定で用いられる判定基準を学習する教師あり学習方式の機械学習器に教師データを設定する教師例設定部と、前記教師例設定部によって設定された教師データの評価に使用する２個のレコードを１組としたチェックポイントを設定するチェックポイント設定部と、前記チェックポイント設定部によって設定されたチェックポイントについて、前記教師例設定部によって設定された第１の教師データに基づく学習結果として導出した判定基準を用いた名寄せ判定結果と、前記教師例設定部によって設定された第２の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する評価部とを備える。
【発明の効果】
【００１９】
教師あり学習による名寄せにおいて、適切な教師データを作成することを可能とし、教師データへのフィードバック等による名寄せに関する判定結果の品質の悪化を防止することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、実施例に係る情報照合装置の構成を示す機能ブロック図である。
【図２】図２は、実施例に係る学習結果評価処理の原理を説明する図である。
【図３】図３は、実施例に係る評価指標の具体例を説明する図である。
【図４】図４は、評価指標毎の評価結果反映の具体例を説明する図である。
【図５】図５は、実施例に係る学習結果評価部の学習結果評価の動作を説明する図である。
【図６Ａ】図６Ａは、実施例に係る学習結果評価処理の手順を示すフローチャートである。
【図６Ｂ】図６Ｂは、実施例に係る評価結果反映処理の手順を示すフローチャートである。
【図６Ｃ】図６Ｃは、実施例に係る近くの教師例探索処理の手順を示すフローチャートである。
【図７Ａ】図７Ａは、評価指標が項番「１」「判定結果の正解率」の場合の評価結果反映の具体例を説明する図である。
【図７Ｂ】図７Ｂは、評価指標が項番「２」「識別面の変化」の場合の評価結果反映の具体例を説明する図である。
【図７Ｃ】図７Ｃは、評価指標が項番「３」「重要ポイントの判定」の場合の評価結果反映の具体例を説明する図である。
【図７Ｄ】図７Ｄは、評価指標が項番「４」「判定結果の個別変化傾向」の場合の評価結果反映の具体例を説明する図である。
【図７Ｅ】図７Ｅは、評価指標が項番「５」「総合評価値動向」の場合の評価結果反映の具体例を説明する図である。
【図７Ｆ】図７Ｆは、評価指標が項番「６」「総合評価値の最高値」の場合の評価結果反映の具体例を説明する図である。
【図７Ｇ】図７Ｇは、評価指標が項番「７」「重み動向」の場合の評価結果反映の具体例を説明する図である。
【図８】図８は、情報照合プログラムを実行するコンピュータを示す図である。
【図９】図９は、名寄せ機能を説明する図である。
【図１０】図１０は、名寄せ機能の動作を説明する図である。
【図１１】図１１は、名寄せ定義のデータ構造の一例を示す図である。
【図１２】図１２は、名寄せの具体例を説明する図である。
【図１３】図１３は、学習器による名寄せを説明する図である。
【図１４】図１４は、学習による照合を説明する図である。
【図１５】図１５は、ＳＶＭによる学習について説明する図である。
【図１６】図１６は、学習による名寄せの処理手順を示すフローチャートである。
【図１７】図１７は、学習のモデル（ＳＶＭの例）を説明する図である。
【図１８】図１８は、学習の効果を説明する図である。
【発明を実施するための形態】
【００２１】
以下に、本願の開示する情報照合装置、情報照合方法および情報照合プログラムの実施例を図面に基づいて詳細に説明する。以下の実施例では、情報照合装置に教師あり学習を行う学習器としてサポートベクトルマシン（ＳＶＭ）を採用した場合について説明することとし、実施例の説明に先立って、ＳＶＭを用いた名寄せの技術について説明を行う。なお、実施例によりこの発明が限定されるものではない。
【００２２】
［ＳＶＭを用いた名寄せの技術］
図１４は、学習による照合を説明する図である。図１４に示すように、学習部（ＳＶＭ）１００は、名寄せ対象項目毎の評価関数ｆａ〜ｆｃの結果（評価値）を素成として教師例ｓ０による学習を行い、識別面を求めることによって、素性とした各評価値に対する重みａ１〜ａ３と総合評価値に対する判定に用いる閾値ｖ０を導出する。ＳＶＭ１００は、導出した重みａ１〜ａ３および閾値ｖ０を学習結果として出力する。そして、名寄せ処理は、名寄せ元Ｊについて、名寄せ先Ｍとの間の学習結果を使用した名寄せを行う。すなわち、名寄せ処理は、名寄せ対象項目毎に学習結果として出力された重みａ１〜ａ３を使用した照合を行い、照合の結果得られた判定対象となる総合評価値を学習で導出した識別面との距離として計算し、総合評価値に対して閾値による判定を行う。なお、識別面については、後述するものとする。
【００２３】
次に、ＳＶＭ１００による学習について、より詳細に説明する。図１５は、ＳＶＭによる学習について説明する図である。図１５に示すように、一致すると判定すべきレコードの組を正例の教師例、不一致と判定すべきレコードの組を負例の教師例とした教師例集合がＳＶＭ１００に入力される。そして、ＳＶＭ１００は、入力された教師例集合に属する教師例を用いて名寄せ元Ｊおよび名寄せ先Ｍの名寄せ対象項目の値を評価関数ｆａ〜ｆｃにより評価し、評価で得られた結果（評価値）に対する判定の際に当該教師例として予め与えられた判定結果（正例＝Ｗｈｉｔｅ，負例＝Ｂｌａｃｋ）と一致するような判定を実現する判定基準を導出する。導出された判定基準は、名寄せ対象項目毎の重みａ１〜ａ３、識別面ｓ０および閾値ｖ０となる。ＳＶＭ１００が重みａ１〜ａ３や閾値ｖ０を導出し、人による重みや閾値の設定を不要とする。この結果、名寄せ機能では、教師例を基準とした名寄せを行うことが可能となる。なお、人による設定が必要な名寄せ定義として、名寄せ対象項目の選定、評価関数の選定、教師例の選定がある。
【００２４】
次に、学習による名寄せの処理手順について、図１６を参照しながら説明する。図１６は、学習による名寄せの処理手順を示すフローチャートである。
【００２５】
まず、人（例えばユーザ）が名寄せ対象項目と名寄せ対象項目毎の評価関数を設定する（ステップＳ１００）。そして、ユーザが、初期学習用の教師例を作成する（ステップＳ１０１）。すなわち、ユーザは、正例となる教師例および負例となる教師例を作成する。
【００２６】
続いて、ＳＶＭ１００が、作成された教師例を用いて学習し、重みと閾値を導出する（ステップＳ１０２）。そして、ＳＶＭ１００は、導出した重みと閾値を学習結果として名寄せ処理に設定する（ステップＳ１０３）。
【００２７】
続いて、名寄せ処理は、設定された重みと閾値に従って名寄せを行う（ステップＳ１０４）。そして、名寄せ処理は、名寄せ結果を示す総合評価値について、設定された閾値による判定を行う（ステップＳ１０５）。閾値による判定が不一致である場合には（ステップＳ１０５；Ｂｌａｃｋ）、名寄せ処理は、名寄せ結果をＢｌａｃｋとして出力する（ステップＳ１０６）。閾値による判定が一致である場合には（ステップＳ１０５；Ｗｈｉｔｅ）、名寄せ処理は、ステップＳ１０８に移行する。
【００２８】
閾値による判定が判定不能である場合には（ステップＳ１０５；Ｇｒａｙ）、名寄せ処理は、ユーザに判断を任せる（ステップＳ１０７）。ユーザによる判断が不一致である場合には（ステップＳ１０７；Ｂｌａｃｋ）、ユーザは、名寄せ結果をＢｌａｃｋとすべく、ステップＳ１０６に移行する。一方、ユーザによる判断が一致である場合には（ステップＳ１０７；Ｗｈｉｔｅ）、名寄せ処理は、ステップＳ１０８に移行する。ここで、人による判定処理(ステップＳ１０７)において教師例へのフィードバックが必要と判断した場合には、ユーザは、名寄せ結果をフィードバックすべく、ステップＳ１０１に移行する。この際、不一致（Ｂｌａｃｋ）と判断した組は負例の教師例に、一致（Ｗｈｉｔｅ）と判断した組は正例の教師例に登録する。
【００２９】
続いて、ユーザが、一致すると判定された名寄せ結果を検証する（ステップＳ１０８）。そして、ユーザは、一致すると判定された名寄せ結果が妥当であるか否かを判断する（ステップＳ１０９）。名寄せ結果が妥当でないと判定された場合には（ステップＳ１０９；Ｎｏ）、名寄せ対象項目、評価関数または教師例を修正すべく、ステップＳ１００またはステップＳ１０１に移行する。一方、名寄せ結果が妥当であると判定された場合には（ステップＳ１０９；Ｙｅｓ）、名寄せ先等に名寄せ結果が反映される（ステップＳ１１０）。なお、Ｂｌａｃｋと判定した組の出力が不要な場合には、ステップＳ１０６は省略可能である。
【００３０】
次に、ＳＶＭを例とした学習のモデルについて説明する。まず、学習のモデルの説明に必要となる前提について説明する。名寄せ対象となるレコードの組について、名寄せ対象項目毎の評価関数の算出結果を素性ｘとしてベクトル（ｘ１、・・、ｘｄ）とし、「特徴ベクトル」というものとする。例えば、名寄せ対象項目が氏名、郵便番号、住所および生年月日の４項目であり、評価関数が氏名をｆａ（）、住所をｆｂ（）、郵便番号をｆｃ（）、生年月日をｆｄ（）とする。すると、この例では、ｄが「４」となり、特徴ベクトルは（ｆａ（）による評価値、ｆｂ（）による評価値、ｆｃ（）による評価値、ｆｄ（）による評価値）となる。
【００３１】
ここで、特徴ベクトルＸＴを（ｘ１、・・、ｘｄ）とした場合、識別面ｇ（ｘ）は式１のように定義される。
【数１】
0005640774.tif 000002
なお、Ｗは、重みベクトルを示し、（ｗ１、・・、ｗｄ）の各素性に対する重みにより構成されるベクトルで表わされる。また、ｂは、定数項を示す。
【００３２】
また、学習用のサンプルデータ（教師例）として、次の情報が与えられる。
【数２】
0005640774.tif 000003
なお、Ｚｉは、各教師例の特徴ベクトルであり、名寄せの照合の組み合わせ集合Ｒｎの要素である。ｙｉは、名寄せの判定結果であり、例えば正例の場合は＋１、負例の場合は−１を値とする。すなわち、名寄せの判定結果として同じとみなす（Ｗｈｉｔｅ判定）場合には、正例として＋１を定義し、名寄せの判定結果として異なるとみなす（Ｂｌａｃｋ判定）場合には、負例として−１を定義する。
【００３３】
このような前提のもと、学習のモデルにおける学習は、複数の教師例が与えられたとき、ｇ（ｘ）＝０を満たす点の集合を超平面とした識別面を求めることを意味する。すなわち、学習は、ｄ次元空間に分布する教師例について予め指定された正または負の判定結果となるように分離（識別）するためのｄ−１次元の超平面として識別面を導出するために、識別面ｇ（ｘ）の重みベクトルｗｉ（１≦ｉ≦ｄ）と定数項ｂを導出する。
【００３４】
図１７は、学習のモデル（ＳＶＭの例）を説明する図である。図１７（Ａ）に示すように、学習を行うＳＶＭは、正例の教師例と負例の教師例が与えられたとき、各教師例の特徴ベクトルをｄ次元空間にプロットする。（図１７は２次元の図なので、名寄せ対象項目が２件の場合を示している。）そして、ＳＶＭは、各教師例の正負と一致するように教師例を識別するための識別面ｓ１を求めるのである。ここで、識別面により近い有効な教師例を「サポートベクタ」という。ＳＶＭは、識別面とサポートベクタとのユークリッド空間上の最小距離（マージン）を最大化するようなサポートベクタの選定と超平面の導出を行うことによって、より確実に各教師例の正負を分離できる識別面を導出する。
【００３５】
図１７（Ｂ）に示すように、ＳＶＭは、識別面とサポートベクタとのマージンｍを最大化するように、負のサポートベクタｖ１および正のサポートベクタｖ２の選定を行い、識別面ｓ２の導出を行う。具体的には、マージンｍの最大化とは、総合評価値が１（＝ＷＴ・Ｘ＋ｂ）のとき、特徴ベクトルＸを最大化する重みＷを求めるという意味である。ｂが０であると仮定すると、ｘは、１／Ｗとなる。したがって、特徴ベクトルＸを最大化するためには、重みＷを最小化することとなる。具体的には図１７（Ａ）よりも図１７（Ｂ）の方がマージンｍが大きいので、ＳＶＭは図１７（Ｂ）のような識別面を導出することになる。
【００３６】
なお、ＳＶＭがマージンを最大化するように識別面を導出する際、教師例が線形分離可能とならない場合もある。すなわち、教師例が自己の正負と一致しないような場合である。このような場合であっても、ＳＶＭは、多少の識別誤りを許容し、識別誤りを最小化しつつ、マージンを最大化するように識別面を導出する方法（「ソフトマージン」という。）を採用する。
【００３７】
上述したように、ＳＶＭによる学習によって、学習結果として識別面および最大化したマージンが得られる。この学習結果を利用して、名寄せ対象のレコードの組の特徴ベクトルについて、名寄せの評価を行うことができる。図１８は、学習の効果を説明する図である。図１８に示すように、学習は、マージンを最大化するように、Ｗ・Ｘ＋ｂ＝０となる識別面ｓ３を導出し、Ｗ・Ｘ＋ｂ＝−１となる負側の限界面およびＷ・Ｘ＋ｂ＝１となる正側の限界面を選定する。特徴ベクトルＸと重みＷ及び定数ｂとから算出される総合評価値は、当該特徴ベクトルと識別面ｓ３との最小距離として−∞〜＋∞の値で表されることとなり、正側の限界面に接する教師データであるサポートベクタ（正）の総合評価値は＋１となり、負側の限界面に接する教師データであるサポートベクタ（負）の総合評価値は−１となる。したがって、名寄せ処理では、学習結果である重みＷ及び定数ｂを使用して教師データとは異なる名寄せ対象のレコードの組の特徴ベクトルの総合評価値を算出すると（図１８の○印や◇印）、算出した総合評価値によってＷｈｉｔｅ、ＢｌａｃｋまたはＧｒａｙを判定することができる。この性質を汎化と呼び、ＳＶＭの大きな特徴である。
即ち、総合評価値が＋１より大きい場合にＷｈｉｔｅと判定し、総合評価値が−１より小さい（−∞の方向になる）場合にＢｌａｃｋと判定し、総合評価値の絶対値は１より小さい場合にＧｒａｙと判定することによって、教師例に即した判定を実現できる。
【００３８】
また、上述の総合評価値は特徴ベクトルＸと重みＷ及び定数ｂとから算出され、閾値は上限閾値＝Ｗ・Ｘ＋ｂ＝＋１、下限閾値＝Ｗ・Ｘ＋ｂ＝−１で固定値であるものとしてＳＶＭの原理を説明しているが、定数項ｂを右辺に移動することによって、上限閾値＝Ｗ・Ｘ＝＋１−ｂ、下限閾値＝Ｗ・Ｘ＝−１−ｂとして閾値を可変値にすることもでき、この場合の総合評価値はＷ・Ｘとして算出でき、上限閾値＝＋１−ｂ、下限閾値＝−１−ｂとして算出できる。
【００３９】
以下に示す実施例では、ＳＶＭによる学習を利用した情報照合装置、情報照合方法および情報照合プログラムについて説明する。
【実施例】
【００４０】
［実施例に係る情報照合装置の構成］
図１は、実施例に係る情報照合装置の構成を示す機能ブロック図である。情報照合装置１は、項目に対応する値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する装置である。図１に示すように、情報照合装置１は、記憶部１１および制御部１２を有する。
【００４１】
記憶部１１は、名寄せ元ＤＢ１１１、名寄せ先ＤＢ１１２、名寄せ定義１１３、教師例１１４、チェックポイント１１５および評価結果１１６を有する。なお、記憶部１１は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（flash  memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。
【００４２】
名寄せ元ＤＢ１１１は、名寄せするレコード（名寄せ元レコード）を複数記憶するＤＢ（database）である。名寄せ先ＤＢ１１２は、名寄せ相手となるレコード（名寄せ先レコード）を複数記憶するＤＢである。なお、名寄せ元ＤＢ１１１および名寄せ先ＤＢ１１２は、項目が完全に一致している場合であっても、項目が一部一致である場合であっても、項目が完全に一致していなくても一部の項目に関連性がある場合であっても良い。また、名寄せ元ＤＢ１１１および名寄せ先ＤＢ１１２が同じ情報を有するＤＢであっても良いし、１つのＤＢであっても良い。さらに、名寄せ元ＤＢ１１１は必ずしもＤＢ（Ｄａｔａｂａｓｅ）である必要はなく、レコードを順次取り出す機能を有すればＸＭＬやＣＳＶファイル等でも良い。同様に名寄せ先ＤＢ１１２は必ずしもＤＢ（Ｄａｔａｂａｓｅ）である必要はなく、レコードを順次取り出す機能とキー（ＩＤ）による検索機能を有すればＸＭＬやＣＳＶファイル等でも良い。
【００４３】
教師例１１４は、予め名寄せの結果が自明である名寄せ元レコードおよび名寄せ先レコードを１組とした教師データであり、名寄せ結果が一致することを示す正例の教師例と名寄せ結果が不一致であることを示す負例の教師例がある。また、最新の教師例（新教師例）だけでなく、比較評価に必要な過去の教師例（旧教師例）も記憶される。
【００４４】
チェックポイント１１５は、教師例１１４の評価に使用するサンプルとして名寄せ元レコードと名寄せ先レコードを１組にして定義される。なお、名寄せ定義１１３および評価結果１１６については、後述する。
【００４５】
制御部１２は、教師あり学習によって導出される学習結果を用いて、当該学習で用いられる教師例の評価に使用するチェックポイントについて、名寄せに関する評価を行う。そして、制御部１２は、この評価結果の変化を監視し、学習結果の良し悪しを評価する。
【００４６】
ここで、制御部１２で実行される学習結果評価処理の原理について、図２を参照して説明する。図２は、実施例に係る学習結果評価処理の原理を説明する図である。図２に示すように、制御部１２が実行する学習結果評価処理は、特定したＷｈｉｔｅのチェックポイントＰ１について、１つの教師例（旧教師例）を用いて学習された学習結果を使って判定した名寄せの判定結果を算出する。また、学習結果評価処理は、同じチェックポイントＰ１について、旧教師例と異なる教師例である新教師例を用いて再学習された学習結果を使って判定した名寄せの判定結果を算出する。再学習によって識別面及びマージン領域（正負の限界面）が変化するので、同じチェックポイントＰ１についての総合評価値及び判定も変化している。そして、学習結果評価処理は、ＷｈｉｔｅのチェックポイントＰ１について、旧教師例における判定結果を示す「Ｗｈｉｔｅ」から新教師例における判定結果を示す「Ｇｒａｙ」に変化したので、悪い変化であると判断する。すなわち、学習結果評価処理は、旧教師例を用いて学習された学習結果より新教師例を用いて学習された学習結果が悪いものと評価する。
【００４７】
また、制御部１２が実行する学習結果評価処理は、特定したＢｌａｃｋのチェックポイントＰ２について、１つの教師例（旧教師例）を用いて学習された学習結果を使って判定した名寄せの判定結果を算出する。また、学習結果評価処理は、同じチェックポイントＰ２について、旧教師例と異なる教師例である新教師例を用いて再学習された学習結果を使って判定した名寄せの判定結果を算出する。そして、学習結果評価処理は、ＢｌａｃｋのチェックポイントＰ２について、旧教師例および新教師例における判定結果がどちらとも「Ｂｌａｃｋ」であるものの、総合評価値が「−３」から「−２」に、識別面に近づく方向へ変化したので、悪い変化であると判断する。すなわち、学習結果評価処理は、旧教師例を用いて学習された学習結果より新教師例を用いて学習された学習結果が悪いものと評価する。このように、学習結果評価処理は、チェックポイントについて、新旧教師例に関する各判定結果の変化を監視し、良い方向へ変化したか悪い方向へ変化したかを判断し、新教師例および新教師例による学習結果の良し悪しを評価する。
【００４８】
図１に戻って、制御部１２は、教師例設定部１２１、学習部１２２、チェックポイント設定部１２４、評価指標設定部１２３、学習結果評価部１２５および評価結果反映部１２６を有する。なお、制御部１２は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路またはＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等の電子回路である。
【００４９】
教師例設定部１２１は、名寄せ結果の判定で用いられる判定基準を学習する機械学習器に教師例を設定する。本実施例では、機械学習器が、後述する学習部１２２に相当し、ＳＶＭとなる。教師例設定部１２１は、後述する学習結果評価部１２５による評価対象となる教師例を教師例１１４から取得し、取得した複数の教師例を学習部１２２に設定する。
【００５０】
学習部１２２は、教師例設定部１２１から教師例を取得し、取得した教師例を用いて名寄せ処理で使用される判定基準を学習する。この判定基準が、名寄せ対象項目毎の重みおよび名寄せ対象の判定に適用される閾値となる。また、学習部１２２は、学習した判定基準を学習結果として導出する。
【００５１】
評価指標設定部１２３は、教師例の評価に用いられる評価手法を評価指標として設定する。かかる評価指標とは、評価をするために使用される評価対象の値（対象値）、導出する評価目標（目標値）および対象値から目標値を導出する手順（導出手順）の３つの要素を含む評価手法を規定する。ここで、評価指標の具体例について、図３を参照して説明する。図３は、実施例に係る評価指標の具体例を説明する図である。図３では、項番ｈ０毎に、評価指標名称ｈ１、対象値ｈ２、目標値ｈ３および導出手順ｈ４が対応付けられる。尚、評価指標毎の実施例は「実施例に係る学習結果評価処理の手順」として後述する。
【００５２】
例えば、項番ｈ０が「１」の場合、評価指標名称ｈ１を「判定結果の正解率」とする。これは、平均的な判定結果の正しさを評価するための評価指標である。この場合は、チェックポイントについての名寄せの判定結果（Ｗｈｉｔｅ、Ｇｒａｙ，Ｂｌａｃｋ）を対象値ｈ２とする。そして、導出手順ｈ４に基づいて、この判定結果とチェックポイントを設定したときにチェックポイント毎に予め設定した名寄せ結果の期待値との違いを検出し、正しい判定が行われたチェックポイントの割合を算出することによって、目標値ｈ３となる新旧の「判定結果の正解率」を算出する。
【００５３】
また、項番ｈ０が「２」の場合、評価指標名称ｈ１を「識別面の変化」とする。これは、識別面の変化の正しさを限界面付近のチェックポイントの判定結果によって評価するための評価指標である。この場合は、チェックポイントについての名寄せの判定結果を対象値ｈ２とする。そして、導出手順ｈ４に基づいて、判定結果（Ｗｈｉｔｅ、Ｇｒａｙ，Ｂｌａｃｋ）について新旧教師例によるそれぞれの学習結果を使って判定された判定結果の変化量を統計的に算出することによって、目標値ｈ３となる新旧の「判定結果の変化」を算出する。
【００５４】
また、項番ｈ０が「３」の場合、評価指標名称ｈ１を「重要ポイントの判定」とする。これは、特に重要なチェックポイントについて、常に期待値と一致していることを確認するための評価指標である。この場合は、確実に特定の判定結果となるべき重要なチェックポイントについて、その特定チェックポイントの名寄せの判定結果を対象値ｈ２とする。そして、導出手順ｈ４に基づいて、新旧教師例によるそれぞれの学習結果を使って判定された判定結果（Ｗｈｉｔｅ、Ｇｒａｙ，Ｂｌａｃｋ）が予め定めた判定結果と一致するか否かについての「判定結果」を目標値ｈ３として算出する。
【００５５】
また、項番ｈ０が「４」の場合、評価指標名称ｈ１を「判定結果の個別変化傾向」とする。これは、個々のチェックポイントについて、その新旧教師例による判定結果の変化を捉えるための評価指標である。この場合は、個々のチェックポイントについての名寄せの判定結果を対象値ｈ２とする。そして、導出手順ｈ４に基づいて、新旧教師例によるそれぞれの学習結果を使って判定された判定結果について、目標値ｈ３となる「判定結果の個別変化傾向」を算出する。すなわち、導出手順ｈ４は、旧教師例による判定結果から新教師例による判定結果への判定結果の変化を求める。
【００５６】
また、項番ｈ０が「５」の場合、評価指標名称ｈ１を「総合評価値動向」とする。これは、個々のチェックポイントについて、その新旧教師例による判定結果の変化をより詳細に捕らえるための評価指標である。この場合は、個々のチェックポイントについての名寄せの判定結果の総合評価値を対象値ｈ２とする。そして、導出手順ｈ４に基づいて、新旧教師例によるそれぞれの学習結果を使って算出された総合評価値について、目標値ｈ３となる「総合評価値の差分」を算出する。
【００５７】
また、項番ｈ０が「６」の場合、評価指標名称ｈ１を「総合評価値の最高値」とする。これは、その新旧教師例によるマージンの変化を総合評価値の最高値の変化として数値で捕らえるための評価指標である。この場合は、チェックポイントについての名寄せの判定結果の総合評価値を対象値ｈ２とする。そして、導出手順ｈ４に基づいて、新旧教師例によるそれぞれの学習結果を使って判定された判定結果の総合評価値の最高値について、目標値ｈ３となる「総合評価値の最高値の変化」を算出する。
【００５８】
例えば、項番ｈ０が「７」の場合、評価指標名称ｈ１を「重み動向」とする。この場合は、新旧教師例による学習結果（重み）を対象値ｈ２とする。そして、導出手順ｈ４に基づいて、新旧教師例によるそれぞれの学習結果（重み）について、目標値ｈ３となる「重みの差分」を算出し、差分の大きい重みを検出する。なお、対象値ｈ２から目標値ｈ３を導出する導出手順ｈ４は、評価実行部１３２によって実行される。
【００５９】
図１に戻って、チェックポイント設定部１２４は、教師例の評価に使用するチェックポイントを、評価指標設定部１２３によって設定された評価指標に基づいて設定する。すなわち、チェックポイント設定部１２４は、学習部１２２によって学習した判定基準の評価および判定基準を導出する際に用いられた教師例の評価に使用するチェックポイントであって評価指標に適したチェックポイントを設定する。具体的には、チェックポイント設定部１２４は、評価指標設定部１２３によって設定された評価指標に適したチェックポイントを記憶部１１に記憶されているチェックポイント１１５から取得し、取得したチェックポイントを後述する学習結果評価部１２５に設定する。
【００６０】
例えば、評価指標が項番「１」「判定結果の正解率」の場合、正解率を正確に算出するために、チェックポイント設定部１２４は、ランダムにサンプリングされたチェックポイントであって判定結果が明確に判定可能なチェックポイントを設定する。例えば、評価指標が項番「２」「識別面の変化」の場合、チェックポイント設定部１２４は、先行する旧教師例から学習して得られる識別面（限界面）のサポートベクタ付近にあるチェックポイントを設定する。
【００６１】
例えば、評価指標が項番「３」「重要ポイントの判定」の場合、チェックポイント設定部１２４は、確実に特定の判定結果となる必要があるレコードの組をチェックポイントとして設定する。例えば、評価指標が項番「４」「判定結果の個別変化傾向」の場合、チェックポイント設定部１２４は、先行する旧教師例による学習結果を使って判定された判定結果の総合評価値がランダムとなるようにサンプリングされたチェックポイントを設定する。
【００６２】
例えば、評価指標が項番「５」「総合評価値動向」の場合も、チェックポイント設定部１２４は前述した「判定結果の個別変化傾向」の場合と同様にチェックポイントを設定する。例えば、評価指標が項番「６」「総合評価値の最高値」の場合、チェックポイント設定部１２４は、先行する旧教師例による学習結果を使って判定された判定結果の総合評価値が大きいレコードの組のチェックポイントを設定する。例えば、評価指標が項番「７」「重み動向」の場合、チェックポイントは使用しないので、チェックポイント設定部１２４は動作しない。なお、チェックポイント設定部１２４は、どの評価指標であっても、チェックポイントの作成コストを削減するために、教師例１１４の中からチェックポイントを設定するようにしても良い。
【００６３】
学習結果評価部１２５は、教師例設定部１２１によって設定された旧教師例における学習結果と、教師例設定部１２１によって設定された新教師例における学習結果を用いた判定結果の変化を求める。さらに、学習結果評価部１２５は、名寄せ部１３１および評価実行部１３２を有する。
【００６４】
名寄せ部１３１は、チェックポイントについて、学習部１２２により学習して得られた学習結果を使って名寄せを行い、判定結果を算出する。具体的には、名寄せ部１３１は、チェックポイント設定部１２４によって設定されたチェックポイントについて、学習部１２２により旧教師例を用いて学習された旧学習結果および名寄せ定義１１３を使って、名寄せを行い、判定結果を算出する。また、名寄せ部１３１は、同じチェックポイントについて、学習部１２２により新教師例を用いて学習された新学習結果および名寄せ定義１１３を使って名寄せを行い、判定結果を算出する。なお、判定結果には、同じとみなすＷｈｉｔｅ判定、異なるとみなすＢｌａｃｋ判定、判定不能とみなすＧｒａｙ判定のほか、総合評価値が含まれる。
【００６５】
評価実行部１３２は、評価指標設定部１２３によって設定された評価指標の対象値を名寄せ部１３１から取得し、取得した対象値に評価指標に対応した導出手順を適用して、評価指標の目標値を算出する。また、評価実行部１３２は、算出した評価指標の目標値を評価結果１１６に格納する。なお、評価結果１１６には、評価指標毎に規定された目標値が評価に使用した教師例やチェックポイント等の関連情報と対応付けて格納される。
【００６６】
例えば、評価指標として項番「１」「判定結果の正解率」が設定された場合、評価実行部１３２は、予め同一であるか否かの名寄せ結果がわかっている複数のチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部１３２は、複数のチェックポイントについて、それぞれ予めわかっている名寄せ結果の期待値と旧教師例による判定結果とを比較し、比較した結果に基づいて旧教師例による正解率を算出し、目標値とする。また、評価実行部１３２は、複数のチェックポイントについて、それぞれ予めわかっている名寄せ結果の期待値と新教師例による判定結果とを比較し、比較した結果に基づいて新教師例による正解率を算出し、目標値とする。そして、評価実行部１３２は、算出した新旧それぞれの目標値を評価結果１１６に格納する。
【００６７】
例えば、評価指標として項番「２」「識別面の変化」が設定された場合、評価実行部１３２は、複数のチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部１３２は、複数のチェックポイントについて、旧教師例による判定結果毎のチェックポイント数および新教師例による判定結果毎のチェックポイント数を算出し、目標値とする。すなわち、評価実行部１３２は、Ｗｈｉｔｅ判定となったチェックポイント数、Ｂｌａｃｋ判定となったチェックポイント数およびＧｒａｙ判定となったチェックポイント数を新旧教師例毎に算出した結果を目標値とする。そして、評価実行部１３２は、算出した新旧それぞれの目標値を評価結果１１６に格納する。
【００６８】
例えば、評価指標として項番「３」「重要ポイントの判定」が設定された場合、評価実行部１３２は、予め判定結果の期待値がわかっているチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部１３２は、旧教師例による判定結果および新教師例による判定結果をそれぞれチェックポイント毎の期待値と比較し、正常であるか否かを判定し、判定した結果を目標値とする。そして、評価実行部１３２は、算出した目標値を評価結果１１６に格納する。
【００６９】
例えば、評価指標として項番「４」「判定結果の個別変化傾向」が設定された場合、評価実行部１３２は、個々のチェックポイントについて、新教師例による判定結果および旧教師例による判定結果を対象値として取得する。また、評価実行部１３２は、旧教師例による判定結果と新教師例による判定結果が変化しているチェックポイントを求め、求めたチェックポイントの判定結果の変化を目標値とする。そして、評価実行部１３２は、算出した目標値を評価結果１１６に格納する。
【００７０】
例えば、評価指標として項番「５」「総合評価値動向」が設定された場合、評価実行部１３２は、個別のチェックポイントについて、新教師例による判定結果の総合評価値および旧教師例による判定結果の総合評価値を対象値として取得する。また、評価実行部１３２は、取得した新旧教師例による判定結果の総合評価値の差分を算出し、算出した結果を目標値とする。そして、評価実行部１３２は、算出した目標値を評価結果１１６に格納する。
【００７１】
例えば、評価指標として項番「６」「総合評価値の最高値」が設定された場合、評価実行部１３２は、個別のチェックポイントについて、新教師例による判定結果の総合評価値および旧教師例による判定結果の総合評価値を対象値として取得する。また、評価実行部１３２は、取得した新教師例による判定結果の総合評価値から最高値を求め、旧教師例による判定結果の総合評価値から最高値を求める。そして、評価実行部１３２は、求めた各最高値の差分を算出し、算出した結果を目標値とする。そして、評価実行部１３２は、算出した目標値を評価結果１１６に格納する。
【００７２】
例えば、評価指標として項番「７」「重み動向」が設定された場合、評価実行部１３２は、新教師例による学習結果（重み）と旧教師例による学習結果（重み）とを名寄せ対象項目毎に対応付けて対象値として取得する。また、評価実行部１３２は、取得した新旧教師例による学習結果の重みの変化量を名寄せ対象項目毎に算出する。そして、評価実行部１３２は、算出した各変化量のうち、差分の大きい変化量を目標値とする。そして、評価実行部１３２は、目標値をと併せて対応する重みを評価結果１１６に格納する。なお、対象値や目標値とする学習結果（重み）は、名寄せ対象項目の全項目を対象としても良いし、一部の項目を対象としても良い。
【００７３】
評価結果反映部１２６は、評価実行部１３２によって導出された評価指標に対する旧教師例の目標値と新教師例の目標値とに基づいて、旧教師例の目標値に対して新教師例の目標値が良い変化となっているか悪い変化となっているかを判定する。すなわち、評価結果反映部１２６は、新教師例が旧教師例より良くなったか悪くなったかを判定する。言い換えれば、評価結果反映部１２６は、新教師例による学習結果が旧教師例による学習結果より良くなったか悪くなったかを判定する。ここで、評価指標毎の判定指針および判定後の反映指針について、図４を参照して説明する。図４は、評価指標毎の評価結果反映の具体例を説明する図である。図４では、項番ｋ０毎に、評価指標名称ｋ１、判定指針ｋ２および判定後の反映指針ｋ３が対応付けられる。評価指標名称ｋ１は、図３の評価指標名称ｈ１と同じく評価指標の名称を示す。判定指針ｋ２は、新旧教師例の目標値の変化から新教師例の良し悪しを判定する指針を示す。判定後の反映指針ｋ３は、判定後、判定の結果に基づいて新教師例に反映する指針を示す。なお、判定後の反映指針ｋ３で示される指針は、人（例えばユーザ）によって行われるものである。
【００７４】
例えば、項番「１」、評価指標名称ｋ１が「判定結果の正解率」の場合、評価結果反映部１２６は、旧教師例の目標値である正解率および新教師例の目標値である正解率を比較し、新教師例の正解率が上がれば良い変化（○）と判定する。一方、評価結果反映部１２６は、新教師例の正解率が下がれば悪い変化（×）と判定する。判定後、ユーザが、新教師例による学習結果を使って判定した判定結果のうち不正解となったチェックポイントを選択し、新教師例に存在し、旧教師例と異なる教師例の中で、選択したチェックポイントとの距離が近い教師例のうち当該チェックポイントの期待値と異なる判定結果となる教師例を探索する。そして、ユーザは、探索した教師例を新教師例から削除する。
【００７５】
例えば、項番「２」、評価指標名称ｋ１が「識別面の変化」の場合、評価結果反映部１２６は、旧教師例の目標値である判定結果毎のチェックポイント数および新教師例の目標値である判定結果毎のチェックポイント数を判定結果毎に比較する。そして、評価結果反映部１２６は、変化が大きい判定結果のパターンについて、この判定結果となったチェックポイントを参照し、良い変化（○）であるか悪い変化（×）であるかを判定する。判定後、ユーザが、悪い変化である場合の該当パターンについて、このパターンにおける判定結果となったチェックポイントを選択する。そして、新教師例に存在し、旧教師例と異なる教師例の中で、選択したチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、ユーザは、探索した教師例を新教師例から削除する。
【００７６】
例えば、項番「３」、評価指標名称ｋ１が「重要ポイントの判定」の場合、評価結果反映部１２６は、チェックポイントについて、旧教師例の目標値である、判定結果の正常か否かおよび新教師例の目標値である、判定結果の正常か否かを取得する。そして、評価結果反映部１２６は、判定が変化したチェックポイント毎に、良い変化（○）であるか悪い変化（×）であるかを判定する。判定後、ユーザが、悪い変化である場合のチェックポイントについて、新教師例に存在し、旧教師例と異なる教師例の中で、このチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、探索した教師例を新教師例から削除する。
【００７７】
例えば、項番「４」、評価指標名称ｋ１が「判定結果の個別変化傾向」の場合、評価結果反映部１２６は、個々のチェックポイントについて、目標値である旧教師例および新教師例の判定結果の変化を取得する。そして、評価結果反映部１２６は、判定結果の変化したチェックポイント毎に、良い変化（○）であるか悪い変化（×）であるかを判定する。判定後、ユーザが、悪い変化である場合のチェックポイントについて、新教師例に存在し、旧教師例と異なる教師例の中で、このチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、探索した教師例を新教師例から削除する。
【００７８】
例えば、項番「５」、評価指標名称ｋ１が「総合評価値動向」の場合、評価結果反映部１２６は、目標値である新旧教師例による判定結果の総合評価値の差分（変化量）を取得する。そして、評価結果反映部１２６は、変化量が大きいチェックポイントについて、良い変化（○）であるか悪い変化（×）であるかを判定する。判定後、ユーザが、悪い変化である場合のチェックポイントについて、新教師例に存在し、旧教師例と異なる教師例の中でこのチェックポイントとの距離が近い教師例のうち当該チェックポイントと異なる判定結果となる教師例を探索し、探索した教師例を新教師例から削除する。
【００７９】
例えば、項番「６」、評価指標名称ｋ１が「総合評価値の最高値」の場合、評価結果反映部１２６は、目標値である新旧教師例による総合評価値の最高値の差分を取得する。そして、評価結果反映部１２６は、取得した差分に基づいて、新教師例による総合評価値の最高値が旧教師例のものより高くなれば新教師例の矛盾が解消された良い変化（○）、低くなれば新教師例の矛盾が増加した悪い変化（×）であると判定する。判定後、悪い変化である場合、ユーザが、新教師例に存在し、旧教師例と異なる教師例について検出し、検出した教師例と他の教師例との間で矛盾が無いか確認する。矛盾が有る教師例は新教師例から削除する。ここで矛盾の有無の確認とは、例えば同一または性質が近いレコード対について正例と負例の両方に教師例が存在するか否かを確認することにより実施できる。
【００８０】
例えば、項番「７」、評価指標名称ｋ１が「重み動向」の場合、評価結果反映部１２６は、目標値である新旧教師例による名寄せ対象項目毎の学習結果（重み）の変化量を取得する。そして、評価結果反映部１２６は、名寄せ対象項目毎の重みがユーザの感覚と合う方向に変化すれば良い変化（○）、ユーザの感覚と異なる方向に変化すれば悪い変化（×）であると判定する。この判定は人が行っても良いし、予め人によって予測された重みと比較してその差により判定しても良い。判定後、悪い変化である場合、ユーザが、新教師例に存在し、旧教師例と異なる教師例について検出して見直しを行う。
【００８１】
次に、学習結果評価部１２５による学習結果評価の動作について、図５を参照して説明する。図５は、実施例に係る学習結果評価部の学習結果評価の動作を説明する図である。図５に示すように、名寄せ部１３１は、チェックポイントＰ３を取得し、取得したチェックポイントＰ３における名寄せ元レコードＪ３および名寄せ先レコードＭ３の各名寄せ対象項目の値について、名寄せ対象項目毎に規定されている評価関数を適用して照合を行う。ここでは、各名寄せ対象項目が郵便番号、住所および氏名であるものとし、名寄せ部１３１は、名寄せ定義１１３に基づいて、名寄せ対象項目のうち郵便番号を評価関数Ａ、住所を評価関数Ｂ、氏名を評価関数Ｃとする各評価関数を適用する。
【００８２】
名寄せ部１３１は、名寄せ定義１１３と、学習部１２２により旧教師例ｔｏｌｄを用いて学習された旧学習結果ｇｏｌｄとを取得する。旧学習結果ｇｏｌｄには、名寄せ対象項目毎の旧重みｏｏｌｄと旧閾値ｓｏｌｄが設定される。そして、名寄せ部１３１は、照合の結果、各評価関数を適用して得られた各値に名寄せ対象項目毎の旧重みｏｏｌｄを乗じて得られた各旧評価値を加算することによって、旧総合評価値ｖｏｌｄを導出する。そして、名寄せ部１３１は、導出した旧総合評価値ｖｏｌｄに関して、旧閾値ｓｏｌｄに基づいて、名寄せに関する判定を行い、旧判定結果ｒｏｌｄを途中経過と併せて評価実行部１３２に出力する。
【００８３】
また、名寄せ部１３１は、学習部１２２により新教師例ｔｎｅｗを用いて学習された新学習結果ｇｎｅｗを取得する。新学習結果ｇｎｅｗには、名寄せ対象項目毎の新重みｏｎｅｗと新閾値ｓｎｅｗが設定される。そして、名寄せ部１３１は、照合の結果、各評価関数を適用して得られた各値に名寄せ対象項目毎の新重みｏｎｅｗを乗じて得られた各新評価値を加算することによって、新総合評価値ｖｎｅｗを導出する。そして、名寄せ部１３１は、導出した新総合評価値ｖｎｅｗに関して、新閾値ｓｎｅｗに基づいて、名寄せに関する判定を行い、新判定結果ｒｎｅｗを途中経過と併せて評価実行部１３２に出力する。
【００８４】
そして、評価実行部１３２は、新判定結果ｒｎｅｗおよび旧判定結果ｒｏｌｄまたは、各途中経過である新総合評価値ｖｎｅｗおよび旧総合評価値ｖｏｌｄ等を対象値として用いて、評価指標設定部１２３により設定された評価指標Ｈに応じた評価を実行する。すなわち、評価実行部１３２は、評価指標Ｈにおける対象値（新判定結果ｒｎｅｗ、旧判定結果ｒｏｌｄ新総合評価値ｖｎｅｗ、旧総合評価値ｖｏｌｄ等）を名寄せ部１３１から取得し、取得した対象値に評価指標Ｈに対応した導出手順を適用して、評価指標Ｈの目標値を算出する。そして、評価実行部１３２は、算出した評価指標Ｈの目標値を評価結果反映部１２６に出力する。
【００８５】
この結果、評価結果反映部１２６は、チェックポイントＰ３について、旧判定結果ｒｏｌｄと新判定結果ｒｎｅｗとの変化、または旧総合評価値ｖｏｌｄと新総合評価値ｖｎｅｗとの変化等を監視し、良い方向へ変化したか悪い方向へ変化したかを判定し、新学習結果ｇｎｅｗおよび新教師例ｔｎｅｗの良し悪しを判定する。そして、評価結果反映部１２６は、この判定の結果、新教師例ｔｎｅｗにフィードバックしたり、チェックポイントＰ３に反映したりする。
【００８６】
［実施例に係る学習結果評価処理の手順］
次に、実施例に係る学習結果評価処理の手順を、図６Ａを参照しながら説明する。図６Ａは、実施例に係る学習結果評価処理の手順を示すフローチャートである。
【００８７】
まず、制御部１２は、名寄せ定義１１３を読み込んで、名寄せ機能や学習機能等の各機能の環境を設定する（ステップＳ１１）。そして、評価実行部１３２は、評価指標設定部１２３の出力である評価指標を読み込んで設定する（ステップＳ１２）。この評価指標は、評価をするために使用される評価対象の値（対象値）、導出する目標値および対象値から目標値を導出する導出手順の３つの要素を含む。
【００８８】
そして、名寄せ部１３１は、チェックポイント設定部１２４の出力であるチェックポイントを読み込んで設定する（ステップＳ１３）。そして、学習部１２２は、教師例設定部１２１から新旧教師例を取得し、取得した新旧教師例による学習を行い、新旧学習結果を名寄せ部１３１に出力する（ステップＳ１４）。
【００８９】
続いて、名寄せ部１３１は、チェックポイントを１組選択する（ステップＳ１５）。そして、名寄せ部１３１は、選択したチェックポイントの評価を、旧学習結果を使用して行い、評価指標の旧対象値を取得する（ステップＳ１６）。また、名寄せ部１３１は、選択したチェックポイントの評価を、新学習結果を使用して行い、評価指標の新対象値を取得する（ステップＳ１７）。
【００９０】
そして、評価実行部１３２は、評価指標の導出手順にしたがって、新旧対象値から目標値を導出して評価結果１１６に記録する（ステップＳ１８）。そして、名寄せ部１３１は、残りのチェックポイントが有るか否かを判定する（ステップＳ１９）。残りのチェックポイントが有ると判定された場合（ステップＳ１９；Ｙｅｓ）、名寄せ部１３１は、残りのチェックポイントに関する評価を実施すべくステップＳ１５に移行する。一方、残りのチェックポイントが無いと判定された場合（ステップＳ１９；Ｎｏ）、評価実行部１３２は、評価指標に応じて、記録した目標値の全体を集計して評価結果１１６に記録する（ステップＳ２０）。
【００９１】
［実施例に係る評価結果反映処理の手順］
引き続き、実施例に係る評価結果反映処理の手順を、図６Ｂを参照しながら説明する。図６Ｂは、実施例に係る評価結果反映処理の手順を示すフローチャートである。
【００９２】
まず、評価結果反映部１２６は評価指標を確認し（ステップＳ３１）、評価実行部１３２によって記録された評価指標に対する評価結果１１６を取得する（ステップＳ３２）。次に評価結果反映部１２６は、評価指標の判定指針（ｋ２）に従って、取得した評価結果に基づいて、旧教師例の目標値に対して新教師例の目標値が良い変化となっているか悪い変化となっているかを判定する（ステップＳ３３）。
【００９３】
良い変化となっている場合（ステップＳ３４；正常（○））、評価結果反映部１２６は処理を終了する。一方、悪い変化となっている場合（ステップＳ３４；異常（×））、評価結果反映部１２６は新教師例に存在し、新旧教師例間で異なる教師例を抽出し（ステップＳ３５）、評価指標の判定後の反映指針（ｋ３）に従って抽出した教師例の中から異常の原因である教師例を探す（ステップＳ３６）。そして原因として特定した教師例を新教師例から削除する（ステップＳ３７）。ここでステップＳ３６およびステップＳ３７の処理は人の判断を伴って人が行っても良い。
【００９４】
最後に、原因を削除した教師例を新教師例として再度学習結果の評価を行い、正しく修正されていることを確認して（ステップＳ３８）、評価結果の反映処理を終了する。
【００９５】
［実施例に係る近くの教師例探索処理］
さらに、図６ＢのステップＳ３６で使用できる特定のチェックポイントの近くの教師例探索処理の手順を、図６Ｃを参照しながら説明する。図６Ｃは、実施例に係る近くの教師例探索処理の手順を示すフローチャートである。
【００９６】
最初に、対象となるチェックポイントを１組特定し（ステップＳ４１）、特定したチェックポイントについて、新教師例に基づく学習結果を使用した名寄せ処理を行い、その名寄せ処理の途中経過を記録する（ステップＳ４２）。ここで途中経過の記録とは、対象項目に評価関数を適用して求めた値に重みを乗じた評価値を記録する。
【００９７】
そして、探索対象となる教師例の全てを特定し（ステップＳ４３）、特定した教師例の全てについて新教師例に基づく学習結果を使用した名寄せ処理を行い、その名寄せ処理の途中経過を記録する（ステップＳ４４）。つぎに、ステップＳ４２で記録したチェックポイントの途中経過と、ステップＳ４４で記録した教師例の途中経過との照合を行い、距離を算出する（ステップＳ４５）。この照合は、全ての名寄せ対象項目について、重み付けされた評価値について差をそれぞれ求め、その差を加算することで距離を算出する。
【００９８】
最後に、Ｓ４５で求めた中で、最も距離の近い教師例を探索結果として出力して（ステップＳ４６）、探索処理を終了する。
【００９９】
ここで、評価指標毎の学習結果評価と評価結果反映の具体例を、図７Ａ〜図７Ｇを参照しながら説明する。図７Ａ〜図７Ｆにおいて、●はＷｈｉｔｅを名寄せ判定の期待値とするチェックポイント、◆はＢｌａｃｋを名寄せ判定の期待値とするチェックポイントを示す。また、三角印は名寄せ判定の期待値を使用しない評価指標におけるチェックポイントを示す。
【０１００】
図７Ａは、評価指標が項番「１」「判定結果の正解率」の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部１３２は、予めユーザによる判定がされたチェックポイントであってランダムに設定されたチェックポイントについて、名寄せの判定結果の正解率を目標値として算出する。図７Ａの例では、Ｗｈｉｔｅ、Ｂｌａｃｋともに５件のチェックポイントが設定されている。そして、評価実行部１３２は、旧教師例による名寄せの判定結果が全て正しく判定されているので、正解率を１００％と算出する。加えて、評価実行部１３２は、新教師例による名寄せの判定結果がＷｈｉｔｅの正解３件、Ｂｌａｃｋの正解４件なので、全体の正解率を７件／１０件＝７０％と算出する。さらに、評価結果反映部１２６は、新教師例の正解率が旧教師例の正解率より下がっているので、悪い変化（×）と判定する。
【０１０１】
この後、ユーザが、例えば、新教師例による名寄せの判定結果が不正解となったチェックポイントを選択し、選択したチェックポイントとの距離が近い新教師例に存在し旧教師例と異なる教師例のうち当該チェックポイントの期待値と異なる判定となっている新教師例を削除する。具体的には上位のＧｒａｙ（識別面より＋側のＧｒａｙ）エリアに存在する負例、または下位のＧｒａｙ（識別面より−側のＧｒａｙ）エリアに存在する正例、の教師例の中で新教師例で追加された教師例を確認して削除する。
【０１０２】
図７Ｂは、評価指標が項番「２」「識別面の変化」の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部１３２は、総合評価値が識別面（限界面）のサポートベクター付近のチェックポイントについて、名寄せの判定結果の変化を目標値として算出することにより、識別面の変化を敏感に捉える。図７Ｂの例では、Ｗｈｉｔｅ、Ｂｌａｃｋともに限界面付近の５件のチェックポイントが設定される。そして、評価実行部１３２は、旧教師例による名寄せの判定結果がＷｈｉｔｅのチェックポイントが３件、Ｇｒａｙのチェックポイントが３件、Ｂｌａｃｋのチェックポイントが４件と算出する。加えて、評価実行部１３２は、新教師例による名寄せの判定結果がＷｈｉｔｅのチェックポイントが３件、Ｇｒａｙのチェックポイントが５件、Ｂｌａｃｋのチェックポイントが２件と算出する。そして、評価実行部１３２は、判定結果の変化をＷｈｉｔｅの変化が０件、Ｇｒａｙの変化が＋２件、Ｂｌａｃｋの変化が−２件と算出する。さらに、評価結果反映部１２６は、Ｇｒａｙの数が多くなったので、悪い変化（×）と判定する。つまり、新教師例による名寄せの判定結果の場合、下位方向に識別面が移動し（限界面も広がって）、Ｇｒａｙが広がった結果としてＢｌａｃｋも減少していることがわかる。
【０１０３】
この後、ユーザが、悪い変化であるＧｒａｙとＢｌａｃｋとの境界面について、変動したチェックポイント（図７Ｂの新教師例による名寄せ結果の○印のチェックポイント）を選択する。つぎに、選択したチェックポイントとの距離が近く、新教師例に存在し、旧教師例と異なる教師例のうち当該チェックポイントの判定と異なる判定となっている新教師例を削除する。具体的には上位のＧｒａｙ（識別面より＋側のＧｒａｙ）エリアに存在する負例、または下位のＧｒａｙ（識別面より−側のＧｒａｙ）エリアに存在する正例の教師例の中から新教師例で追加された教師例を確認して削除する。この例の場合は、後者の下位のみで良い。
【０１０４】
図７Ｃは、評価指標が項番「３」「重要ポイントの判定」の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部１３２は、確実に特定の判定結果となる必要があるチェックポイントについて、名寄せの判定結果が正常であるか否かを目標値として算出する。図７Ｃの例では、Ｗｈｉｔｅ、Ｂｌａｃｋともに２件のチェックポイントが設定される。そして、評価実行部１３２は、旧教師例による名寄せの判定結果について、正常であると判定する。加えて、評価実行部１３２は、新教師例による名寄せの判定結果について、Ｗｈｉｔｅのチェックポイントが１件Ｇｒａｙ判定となっているので、このチェックポイントを異常であると判定する。さらに、評価結果反映部１２６は、異常であると判定されたチェックポイントについて、悪い変化（×）と判定する。この後、ユーザが、例えば、悪い変化と判定されたチェックポイントに近い（原因と推定される）新教師例を削除する。
【０１０５】
図７Ｄは、評価指標が項番「４」「判定結果の個別変化傾向」の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部１３２は、旧教師例による総合評価値がランダムになるように選定されたチェックポイントについて、新旧教師例による判定結果の変化傾向を目標値とする。図７Ｄの例では、評価実行部１３２は、チェックポイント（４）がＷｈｉｔｅからＧｒａｙに変化しており、チェックポイント（７）がＢｌａｃｋからＧｒａｙに変化していると判定する。この場合には、ユーザが、例えば、変化した（４）および（７）のチェックポイントについて、それぞれの変化が良い変化（○）であるか悪い変化（×）であるかを判断する。そして、悪い変化の場合には、ユーザが、悪い変化となったチェックポイントの付近の新教師例を削除する。なお、複数のチェックポイントについて判定結果が異なる場合には、ユーザは、旧教師例による判定結果の総合評価値でソートし、判定（Ｗｈｉｔｅ／Ｇｒａｙ／Ｂｌａｃｋ）の境界に近似するチェックポイントだけをチェックするようにしても良い。
【０１０６】
図７Ｅは、評価指標が項番「５」「総合評価値動向」の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部１３２は、旧教師例による総合評価値がランダムになるように設定されたチェックポイントについて、新旧教師例による判定結果の総合評価値の差分を目標値とする。この評価指標では、前述した評価指標「判定結果の個別変化傾向」に異常がある場合に、評価実行部１３２が、閾値の影響を排除して総合評価値の変化を判定するので、より詳細な原因調査を行うことができる。図７Ｅの例では、識別面から遠いチェックポイントについて例えば（１）のように２倍弱の数値で評価が識別面側に傾いていることが解り、（４）（５）については、変化量が０．５ポイントであることが解る。
【０１０７】
図７Ｆは、評価指標が項番「６」「総合評価値の最高値」の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、評価実行部１３２は、旧教師例による総合評価値が最高値となるチェックポイントについて、新旧教師例による総合評価値の最高値の変化を目標値とする。図７Ｆの例では、評価実行部１３２は、旧教師例による総合評価値の最高値を８．２、新教師例による総合評価値の最高値を４．２と求め、求めた最高値の差分を−４．０と算出する。さらに、評価結果反映部１２６は、新教師例による総合評価値の最高値が旧教師例によるものより低くなったので、悪い変化（×）と判定する。この結果、新教師例対して実施した修正（旧教師例との差分）に矛盾を生じる原因がある可能性があることがわかるので、ユーザが、例えば、新教師例にあって旧教師例にない教師例のレコード対について、見直しを行う。
【０１０８】
図７Ｇは、評価指標が項番「７」「重み動向」の場合の評価結果反映の具体例を説明する図である。かかる評価指標では、チェックポイントに関係なく行うことができ、評価実行部１３２は、新旧教師例による学習を実行した結果として導出される各名寄せ対象項目の「重み」について、新旧教師例の比較を行い、名寄せ対象項目毎の重みの差分を目標値とする。図７Ｇの例では、名寄せ対象項目を１０項目とし、評価実行部１３２は、新旧教師例による学習結果として導出された各名寄せ対象項目に対する重みから重みの変化量を算出する。さらに、評価結果反映部１２６は、変化量が大きい名寄せ対象項目である会社名（ｉ１）、会社名カナ（ｉ２）、郵便番号（ｉ７）および住所（ｉ８）を選択する。そして、評価結果反映部１２６は、選択した名寄せ対象項目のうち、会社名（ｉ１）および会社名カナ（ｉ２）の変化量の符号が逆転し且つ会社名（ｉ１）の重みより会社名カナ（ｉ２）の重みの方が高く、ユーザの感覚と異なる方向に変化しているので悪い変化（×）と判定する。この結果、ユーザが、例えば、新教師例にあって旧教師例にない教師例のレコード対について、見直しを行う。
【０１０９】
［実施例の効果］
上記実施例によれば、情報照合装置１が、名寄せの判定で用いられる判定基準を学習する教師あり学習方式の機械学習器として構成される学習部１２２に教師例を設定する。そして、情報照合装置１が、教師例の評価に使用する２個のレコードを１組としたチェックポイントを設定する。そして、情報照合装置１が、設定したチェックポイントについて、設定した旧教師例における学習結果を用いた旧判定結果と、新教師例における学習結果を用いた新判定結果との変化を求め、求めた変化に基づいて新教師例を評価する。
【０１１０】
かかる構成によれば、情報照合装置１は、チェックポイントについて、新旧教師例における新旧の学習結果を用いた新旧判定結果の変化を求め、求めた変化に基づいて新教師例を評価することとしたので、新教師例の妥当性や教師例間の矛盾を評価することができる。この結果、情報照合装置１は、この評価に基づいて、適切な教師例を作成することができる。また、情報照合装置１は、教師例の妥当性を評価できるので、誤った教師例による誤った学習（誤学習）をしたり、偏った教師例による偏った学習（過学習）をしたりすることによる判定結果の品質の悪化を防止することができる。この結果、情報照合装置１は、名寄せの判定結果の安定性を担保することができ、ひいては名寄せに関わるコストの削減を図ることができる。
【０１１１】
また、上記実施例によれば、評価結果反映部１２６は、学習結果評価部１２５によって評価された評価結果を解釈して新教師例に反映することとした。かかる構成によれば、評価結果反映部１２６は、反映された新教師例によって学習結果を良い方向に向かわせることを担保できる。
【０１１２】
また、上記実施例によれば、評価実行部１３２は、予め判定結果の期待値がわかっている複数のチェックポイントについて、旧教師例における学習結果を用いた判定結果の正解率と、新教師例における学習結果を用いた判定結果の正解率との変化を求める。かかる構成によれば、評価実行部１３２は、旧教師例における正解率と新教師例における正解率との変化によって、良い変化であるか悪い変化であるかを判定できるので、平均的な新教師例の妥当性を確実に評価できる。
【０１１３】
また、上記実施例によれば、評価実行部１３２は、限界面付近の複数のチェックポイントについて、旧教師例における学習結果を用いた判定結果毎のチェックポイント数と、新教師例における学習結果を用いた判定結果毎のチェックポイント数との変化を求める。かかる構成によれば、評価実行部１３２は、判定結果毎のチェックポイント数の変化によってＷｈｉｔｅ方向およびＢｌａｃｋ方向のいずれの方向に判定結果が移動しているかわかるので、識別面や限界面の変化を敏感に捉えることができる。
【０１１４】
また、上記実施例によれば、評価実行部１３２は、予め判定結果の期待値がわかっている重要なチェックポイントについて、旧教師例における学習結果を用いた判定結果が期待値と一致するか否かを求める。そして、評価実行部１３２は、予め判定結果の期待値がわかっているチェックポイントについて、新教師例における学習結果を用いた判定結果が期待値と一致するか否かを求める。そして、評価実行部１３２は、当該チェックポイントについて、新旧教師例における判定結果の変化を求める。かかる構成によれば、評価実行部１３２は、重要な個々のチェックポイントについて新旧教師例における判定結果が正常であるか否かがわかるので、新教師例の妥当性を確実に評価でき、併せて重要なチェックポイントの評価結果を保証することができる。
【０１１５】
また、上記実施例によれば、評価実行部１３２は、旧教師例による総合評価値がランダムになるように選定された個別のチェックポイントについて、旧教師例における学習結果を用いた判定結果と、新教師例における学習結果を用いた判定結果との変化を求める。かかる構成によれば、評価実行部１３２は、旧教師例による総合評価値の全領域に分布する個々のチェックポイントについて、その新旧教師例による判定結果の変化傾向を捉えることができ、併せて新旧教師例で判定結果に悪い変化のあったチェックポイントが具体的にわかるので、このチェックポイント近辺の新教師例を考慮すべき教師例の候補として絞り込むことができる。
【０１１６】
また、上記実施例によれば、評価実行部１３２は、旧教師例による総合評価値がランダムになるように選定された個別のチェックポイントについて、旧教師例における学習結果を用いた判定結果である総合評価値と、新教師例における学習結果を用いた判定結果である総合評価値との変化を求める。かかる構成によれば、評価実行部１３２は、閾値の影響を排除した総合評価値の変化によって、より詳細な変化の原因を調査することを助けることができる。
【０１１７】
また、上記実施例によれば、評価実行部１３２は、旧教師例における学習結果を用いた判定結果である総合評価値の最大値と、新教師例における学習結果を用いた判定結果である総合評価値の最大値との変化を求める。かかる構成によれば、評価実行部１３２は、新旧教師例における総合評価値の最大値の変化を求めることで、間接的に学習結果のマージンの大きさを検出することができ、新旧教師例の差分の教師例に矛盾を生じる原因があるか否かの可能性とその程度をみつけることができる。
【０１１８】
また、上記実施例によれば、評価実行部１３２は、旧教師例における判定に用いる学習結果の重みと、新教師例における判定に用いる学習結果の重みとの変化を求める。かかる構成によれば、評価実行部１３２は、新旧教師例における学習結果の重みの変化を求めることで、学習結果として導出した重みが人の感覚と一致することを確認することができる。
【０１１９】
また、上記実施例によれば、チェックポイント設定部１２４は、チェックポイントを予め正例および負例として記憶されている教師例１１４の中から選択して設定することもできる。かかる構成によれば、チェックポイント設定部１２４は、正例の教師例をＷｈｉｔｅを判定の期待値とするチェックポイントとして設定し、負例の教師例をＢｌａｃｋを判定の期待値とするチェックポイントとして設定することにより、チェックポイントを容易に選択して設定することができる。
【０１２０】
［プログラム等］
なお、情報照合装置１は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置に、上記した記憶部１１、制御部１２等の各機能を搭載することによって実現することができる。
【０１２１】
また、図示した情報照合装置１の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、情報照合装置１の分散・統合の具体的態様は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、学習結果評価部１２５および評価結果反映部１２６を１個の部として統合しても良い。一方、評価結果反映部１２６を、新旧教師例による評価結果から新教師例の良し悪しを判定する判定部と新教師例の良し悪しの判定を新教師例に反映する反映部とに分散しても良い。また、名寄せ先ＤＢ１１２や名寄せ元ＤＢ１１１等の各種ＤＢを情報照合装置１の外部装置としてネットワーク経由で接続するようにしても良い。
【０１２２】
また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。そこで、以下では、図８を用いて、図１に示した情報照合装置１の制御部１２と同様の機能を有する情報照合プログラムを実行するコンピュータの一例を説明する。
【０１２３】
図８は、情報照合プログラムを実行するコンピュータを示す図である。図８に示すように、コンピュータ１０００は、ＲＡＭ１０１０と、ネットワークインタフェース装置１０２０と、ＨＤＤ１０３０と、ＣＰＵ１０４０、媒体読取装置１０５０及びバス１０６０とを有する。ＲＡＭ１０１０、ネットワークインタフェース装置１０２０、ＨＤＤ１０３０、ＣＰＵ１０４０、媒体読取装置１０５０は、バス１０６０によって接続されている。
【０１２４】
そして、ＨＤＤ１０３０には、図１に示した制御部１２と同様の機能を有する情報照合プログラム１０３１が記憶される。また、ＨＤＤ１０３０には、図１に示した名寄せ先ＤＢ１１２、名寄せ元ＤＢ１１１、名寄せ定義１１３、教師例１１４、チェックポイント１１５および評価結果１１６に対応する情報照合関連情報１０３２が記憶される。
【０１２５】
そして、ＣＰＵ１０４０が情報照合プログラム１０３１をＨＤＤ１０３０から読み出してＲＡＭ１０１０に展開することにより、情報照合プログラム１０３１は、情報照合プロセス１０１１として機能するようになる。そして、情報照合プロセス１０１１は、情報照合関連情報１０３２から読み出した情報等を適宜ＲＡＭ１０１０上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。
【０１２６】
媒体読取装置１０５０は、情報照合プログラム１０３１や情報照合関連情報１０３２がＨＤＤ１０３０に格納されていない場合であっても情報照合プログラム１０３１や情報照合関連情報１０３２を記憶する媒体等から情報照合プログラム１０３１や情報照合関連情報１０３２を読み取る。媒体読取装置１０５０には、例えばＣＤ−ＲＯＭや光ディスク装置がある。また、ネットワークインタフェース装置１０２０は、外部装置とネットワーク経由で接続する装置であり、有線、無線に対応するものである。
【０１２７】
なお、上記の情報照合プログラム１０３１や情報照合関連情報１０３２は、必ずしもＨＤＤ１０３０に格納されている必要はなく、ＣＤ−ＲＯＭ等の媒体読取装置１０５０に記憶されたこのプログラムやデータを、コンピュータ１０００が読み出して実行するようにしても良い。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮ（Wide  Area  Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムやデータを記憶させておいても良い。この場合には、コンピュータ１０００がネットワークインタフェース装置１０２０を介してこれらからプログラムやデータを読み出して実行する。
【０１２８】
以上の実施例に係る実施形態に関し、さらに以下の付記を開示する。
【０１２９】
（付記１）項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置であって、
前記判定で用いられる判定基準を学習する機械学習器に教師データを設定する教師例設定部と、
前記教師例設定部によって設定された教師データの評価に使用する２個のレコードを１組としたチェックポイントを設定するチェックポイント設定部と、
前記チェックポイント設定部によって設定されたチェックポイントについて、前記教師例設定部によって設定された第１の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、前記教師例設定部によって設定された第２の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する評価部と
を有することを特徴とする情報照合装置。
【０１３０】
（付記２）前記評価部は、
前記評価された評価結果を解釈して前記教師データに反映する反映部を有することを特徴とする付記１に記載の情報照合装置。
【０１３１】
（付記３）前記評価部は、
予め判定結果の期待値がわかっている複数のチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合と、前記第２の教師データにおける判定基準を用いた判定結果について、期待値と同一であるチェックポイントの割合との変化を求めることを特徴とする付記１または付記２に記載の情報照合装置。
【０１３２】
（付記４）前記評価部は、
複数のチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果毎のチェックポイント数と、前記第２の教師データにおける判定基準を用いた判定結果毎のチェックポイント数との変化を求めることを特徴とする付記１または付記２に記載の情報照合装置。
【０１３３】
（付記５）前記評価部は、
予め判定結果の期待値がわかっているチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果が一致するか否かと、前記第２の教師データにおける判定基準を用いた判定結果が一致するか否かとの変化を求めることを特徴とする付記１または付記２に記載の情報照合装置。
【０１３４】
（付記６）前記評価部は、
個別のチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果と、前記第２の教師データにおける判定基準を用いた判定結果との変化を求めることを特徴とする付記１または付記２に記載の情報照合装置。
【０１３５】
（付記７）前記評価部は、
個別のチェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果である同一性を判断する度合いと、前記第２の教師データにおける判定基準を用いた判定結果である同一性を判断する度合いとの変化を求めることを特徴とする付記１または付記２に記載の情報照合装置。
【０１３６】
（付記８）前記評価部は、
チェックポイントについて、前記第１の教師データにおける判定基準を用いた判定結果である前記度合いの最大と、前記第２の教師データにおける判定基準を用いた判定結果である前記度合いの最大との変化を求めることを特徴とする付記１または付記２に記載の情報照合装置。
【０１３７】
（付記９）前記評価部は、
前記第１の教師データにおける前記判定に用いる判定基準と、前記教師例設定部によって設定された第２の教師データにおける前記判定に用いる判定基準との変化を求めることを特徴とする付記１または付記２に記載の情報照合装置。
【０１３８】
（付記１０）前記チェックポイント設定部は、
前記チェックポイントを前記教師データの中から選択して設定することを特徴とする付記１から付記８のいずれか１つに記載の情報照合装置。
【０１３９】
（付記１１）項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置に、
前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、
該設定した教師データの評価に使用する２個のレコードを１組としたチェックポイントを設定し、
該設定したチェックポイントについて、該設定した第１の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、該設定した第２の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する
処理を実行させる情報照合プログラム。
【０１４０】
（付記１２）項目に対応した値の集合から構成される複数のレコードについて、レコード間を照合し、レコード間の同一性、類似性および関連性を判定する情報照合装置に実行させる情報照合方法であって、
前記判定で用いられる判定基準を学習する教師あり学習の機械学習器に教師データを設定し、
該設定した教師データの評価に使用する２個のレコードを１組としたチェックポイントを設定し、
該設定したチェックポイントについて、該設定した第１の教師データに基づく学習結果として導出した判定基準を用いた判定結果と、該設定した第２の教師データに基づく学習結果として導出した判定基準を用いた判定結果との変化を求め、求めた変化に基づいて前記教師データを評価する
ことを特徴とする情報照合方法。
【符号の説明】
【０１４１】
１  情報照合装置
１１  記憶部
１２  制御部
１１１  名寄せ元ＤＢ
１１２  名寄せ先ＤＢ
１１３  名寄せ定義
１１４  教師例
１１５  チェックポイント
１１６  評価結果
１２１  教師例設定部
１２２  学習部
１２３  評価指標設定部
１２４  チェックポイント設定部
１２５  学習結果評価部
１２６  評価結果反映部
１３１  名寄せ部
１３２  評価実行部
【図１】
0005640774.tif 000004
【図２】
0005640774.tif 000005
【図３】
0005640774.tif 000006
【図４】
0005640774.tif 000007
【図５】
0005640774.tif 000008
【図６Ａ】
0005640774.tif 000009
【図６Ｂ】
0005640774.tif 000010
【図６Ｃ】
0005640774.tif 000011
【図７Ａ】
0005640774.tif 000012
【図７Ｂ】
0005640774.tif 000013
【図７Ｃ】
0005640774.tif 000014
【図７Ｄ】
0005640774.tif 000015
【図７Ｅ】
0005640774.tif 000016
【図７Ｆ】
0005640774.tif 000017
【図７Ｇ】
0005640774.tif 000018
【図８】
0005640774.tif 000019
【図９】
0005640774.tif 000020
【図１０】
0005640774.tif 000021
【図１１】
0005640774.tif 000022
【図１２】
0005640774.tif 000023
【図１３】
0005640774.tif 000024
【図１４】
0005640774.tif 000025
【図１５】
0005640774.tif 000026
【図１６】
0005640774.tif 000027
【図１７】
0005640774.tif 000028
【図１８】
0005640774.tif 000029