(57)【特許請求の範囲】
【請求項１】
評価のための文字画像データを入力するステップ（ａ）、前記ステップ（ａ）により入力された文字画像データを複数の認識手段により文字認識させるステップ（ｂ）、統合手段により前記複数の認識手段による認識結果を複数の統合方法によって統合させるステップ（ｃ）、統合性能評価手段により前記複数の統合方法によって統合後の認識結果に基づいて前記複数の統合方法の統合性能の優劣を評価するステップ（ｄ）を有し、
前記ステップ（ｄ）において、前記複数の統合方法によって統合後の認識結果について、統合方法別に、カテゴリ毎の正解数及び認識対象カテゴリ全体の正解総数を求め、前記カテゴリ毎の正解数を比較することにより各統合方法のカテゴリ毎の統合性能の優劣を評価するとともに、前記認識対象カテゴリ全体の正解総数を比較することにより各統合方法の認識対象カテゴリ全体に対する統合性能の優劣を評価することを特徴する統合性能評価方法。
【請求項２】
評価のための文字画像データを入力するステップ（ａ）、前記ステップ（ａ）により入力された文字画像データを複数の認識手段により文字認識させるステップ（ｂ）、統合手段により前記複数の認識手段による認識結果を複数の統合方法によって統合させるステップ（ｃ）、統合性能評価手段により前記複数の統合方法によって統合後の認識結果に基づいて前記複数の統合方法の統合性能の優劣を評価するステップ（ｄ）を有し、
前記ステップ（ｄ）において、前記複数の統合方法によって統合後の認識結果について、統合方法別に、カテゴリ毎の第ｉ候補（ｉ＝１，２，．．．，ｎ）までの正解数及び認識対象カテゴリ全体の第ｉ候補までの正解総数を求め、前記カテゴリ毎の第ｉ候補までの正解数を比較することにより各統合方法のカテゴリ毎の第ｉ候補までの統合性能の優劣を評価するとともに、前記認識対象カテゴリ全体の第ｉ候補までの正解総数を比較することにより各統合方法の認識対象カテゴリ全体に対する第ｉ候補までの統合性能の優劣を評価することを特徴とする統合性能評価方法。
【請求項３】
評価のための文字画像データを入力するステップ（ａ）、前記ステップ（ａ）により入力された文字画像データを複数の認識手段により文字認識させるステップ（ｂ）、統合手段により前記複数の認識手段による認識結果を複数の統合方法によって統合させるステップ（ｃ）、統合性能評価手段により前記複数の統合方法によって統合後の認識結果に基づいて前記複数の統合方法の統合性能の優劣を評価するステップ（ｄ）を有し、
前記ステップ（ｄ）において、前記複数の統合方法によって統合後の認識結果について、統合方法別に認識対象カテゴリ全体の第１候補の距離値の統計処理によって第１候補の距離値がある値ｄｐ以下となるデータ数が全データ数のｐパーセントとなるような該値ｄｐを決定し、統合方法別にカテゴリ毎の第１候補の距離値が前記ｄｐ以下となった正解数及び認識対象カテゴリ全体の第１候補の距離値が前記ｄｐ以下となった正解数総数を求め、前記カテゴリ毎の正解数を比較することにより各統合方法のカテゴリ毎の統合性能の優劣を評価するとともに、前記認識対象カテゴリ全体の正解総数を比較することにより各統合方法の認識対象カテゴリ全体に対する統合性能の優劣を評価することを特徴とする統合性能評価方法。
【請求項４】
請求項１，２又は３記載の各ステップのための手段を具備することを特徴とする統合性能評価システム。
【請求項５】
請求項１、２又は３記載の各ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータが読み取り可能な情報記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の認識手段による認識結果を統合して最終的な認識結果を得る文字認識技術に係り、特に、複数の認識手段による認識結果の統合方法の性能評価に関する。
【０００２】
【従来の技術】
文字認識システムの認識精度の向上(正解率の向上並びに拒否率及び誤認率の低減)を達成する手法として、例えばＬ．Ｘu  et  al，”Ｍethods  of  Ｃombining  Ｍultiple  Ｃlassifiers  and  Ｔheir  Ａpplications  to  Ｈandwriting  Ｒecognition”，IEEE  TRANSACTIONS  ON  SYSTEMS,  MAN,  AND  CYBERNETICS,  VOL.２２，NO.３，MAY/JUNE  1992や特開平７−１６０８２２公報などに述べられているように、異種類の複数の認識手段の認識結果を統合することによって最終的な認識結果を得る方式が知られている。
【０００３】
【発明が解決しようとする課題】
統合の方法やその効果については上記論文などに詳しく論じられているが、統合の結果をどう評価すべきか、評価の基準を何にするかについて十分に論じた公知文献は見あたらない。統合方法の比較、改善のためには、統合性能を客観的に評価することが重要である。
よって、本発明の目的は、複数の認識手段による認識結果の統合方法の優劣を客観的に評価するための手段を提供することにある。
【０００４】
【課題を解決するための手段】
請求項１記載の発明は、評価のための文字画像データを入力するステップ（ａ）、前記ステップ（ａ）により入力された文字画像データを複数の認識手段により文字認識させるステップ（ｂ）、統合手段により前記複数の認識手段による認識結果を複数の統合方法によって統合させるステップ（ｃ）、統合性能評価手段により前記複数の統合方法によって統合後の認識結果に基づいて前記複数の統合方法の統合性能の優劣を評価するステップ（ｄ）を有し、
前記ステップ（ｄ）において、前記複数の統合方法によって統合後の認識結果について、統合方法別に、カテゴリ毎の正解数及び認識対象カテゴリ全体の正解総数を求め、前記カテゴリ毎の正解数を比較することにより各統合方法のカテゴリ毎の統合性能の優劣を評価するとともに、前記認識対象カテゴリ全体の正解総数を比較することにより各統合方法の認識対象カテゴリ全体に対する統合性能の優劣を評価することを特徴する統合性能評価方法である。
【０００５】
請求項２の発明は、評価のための文字画像データを入力するステップ（ａ）、前記ステップ（ａ）により入力された文字画像データを複数の認識手段により文字認識させるステップ（ｂ）、統合手段により前記複数の認識手段による認識結果を複数の統合方法によって統合させるステップ（ｃ）、統合性能評価手段により前記複数の統合方法によって統合後の認識結果に基づいて前記複数の統合方法の統合性能の優劣を評価するステップ（ｄ）を有し、
前記ステップ（ｄ）において、前記複数の統合方法によって統合後の認識結果について、統合方法別に、カテゴリ毎の第ｉ候補（ｉ＝１，２，．．．，ｎ）までの正解数及び認識対象カテゴリ全体の第ｉ候補までの正解総数を求め、前記カテゴリ毎の第ｉ候補までの正解数を比較することにより各統合方法のカテゴリ毎の第ｉ候補までの統合性能の優劣を評価するとともに、前記認識対象カテゴリ全体の第ｉ候補までの正解総数を比較することにより各統合方法の認識対象カテゴリ全体に対する第ｉ候補までの統合性能の優劣を評価することを特徴とする統合性能評価方法である。
【０００６】
請求項３の発明は、評価のための文字画像データを入力するステップ（ａ）、前記ステップ（ａ）により入力された文字画像データを複数の認識手段により文字認識させるステップ（ｂ）、統合手段により前記複数の認識手段による認識結果を複数の統合方法によって統合させるステップ（ｃ）、統合性能評価手段により前記複数の統合方法によって統合後の認識結果に基づいて前記複数の統合方法の統合性能の優劣を評価するステップ（ｄ）を有し、
前記ステップ（ｄ）において、前記複数の統合方法によって統合後の認識結果について、統合方法別に認識対象カテゴリ全体の第１候補の距離値の統計処理によって第１候補の距離値がある値ｄｐ以下となるデータ数が全データ数のｐパーセントとなるような該値ｄｐを決定し、統合方法別にカテゴリ毎の第１候補の距離値が前記ｄｐ以下となった正解数及び認識対象カテゴリ全体の第１候補の距離値が前記ｄｐ以下となった正解数総数を求め、前記カテゴリ毎の正解数を比較することにより各統合方法のカテゴリ毎の統合性能の優劣を評価するとともに、前記認識対象カテゴリ全体の正解総数を比較することにより各統合方法の認識対象カテゴリ全体に対する統合性能の優劣を評価することを特徴とする統合性能評価方法である。
【０００７】
請求項４の発明は、請求項１，２又は３記載の各ステップのための手段を具備することを特徴とする統合性能評価システムである。
【０００８】
請求項５の発明は、請求項１、２又は３記載の各ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータが読み取り可能な情報記録媒体である。
【０００９】
【発明の実施の形態】
図１は、本発明による統合性能評価のためのシステム構成及び処理フローを示す図である。図１において、評価用の文字画像データが文字画像データ入力手段１００により入力される（ステップＳ１）。評価用の文字画像データは予め評価用データファイル１０２として用意されてもよく、この場合は、この評価用データファイル１０２から評価用文字画像データを入力することになる。あるいは、評価用の文字が記入されたテスト原稿をイメージスキャナなどによって読み取り、読み取りイメージから個々の文字画像を切り出して入力する方法でもよい。
【００１０】
入力された文字画像データは認識手段１０４，１０６によって文字認識され、それぞれの認識結果はメモリ１０８，１１０に一時的に保存される（ステップＳ２）。認識手段１０４，１０６は認識アルゴリズムや辞書構造などが相違するものである。各認識手段１０４，１０６による認識結果は、統合手段１１２，１１４によって異なった統合方法により統合され、それぞれの統合結果はメモリ１１６，１１８に一時的に保存される（ステップＳ３）。ここでは図面及び説明を簡単にするため、認識手段と統合手段の個数は２個としているが、３個以上でもよい。認識手段１０４，１０６として様々な種類のものが用いられるので、以下においては認識手段１０４をＭｉ、認識手段１０６をＭｊと表記する。また、統合手段１１２，１１４としても様々な統合方法のものが用いられるので、以下において統合手段１１６の統合方法をＩＧｕ、統合手段１１８の統合方法をＩＧｖと表記する。
必要な統合結果データが蓄積されると、そのデータに基づいて統合性能評価手段１２０により各統合方法ＩＧｕ，ＩＧｖの性能が評価され、評価結果はメモリ１２２に一時的に保存される（ステップＳ４）。この評価結果は必要な時に出力手段１２４によって出力される（ステップＳ５）。
【００１１】
このような統合性能評価システムは、例えば図２に示すＣＰＵ２００、メモリ２０２、補助記憶装置２０４、フロッピーディスクなどの情報記録媒体２０６の読み書きのためのドライブ２０８、入力インターフェース２１０、出力インターフェース２１２などをバス２１４で接続したようなコンピュータ上でソフトウエアを利用して実現することが可能である。この場合、図１に示したステップＳ１〜Ｓ５を実行するための評価処理プログラムが補助記憶装置２０４に保存されており、必要な時にメモリ２０２にロードされてＣＰＵ２００により実行される。この評価処理プログラムは、例えば情報記録媒体２０６からドライブ２０８によって読み込まれ、補助記憶装置２０４に格納される。また、認識手段Ｍｉ，Ｍｊとしての認識処理プログラムと辞書も補助記憶装置２０４に保存されており、必要な時にメモリ２０２にロードされる。統合手段１１２，１１４すなわち統合方法ＩＧｕ，ＩＧｖによる統合処理のためのプログラムも補助記憶装置２０４に保存されており、必要な時にメモリ２０２にロードされる。なお、統合処理のためのプログラム及び／又は認識処理プログラムは、評価処理プログラムと一体化することも可能である。文字画像データは、例えば補助記憶装置２０４に格納された評価用データファイル１０２からメモリ２０２に読み込まれ、あるいは入力インターフェイス２１０を介して外部から入力される。図１に示した各メモリ１０８，１１０，１１６，１１８として、メモリ２０２又は補助記憶装置２０４の一部領域が割り当てられる。
【００１２】
認識手段Ｍｉ，Ｍｊは認識結果の出力形態によって「単一候補を出力するタイプ」、「順序付き候補列を出力するタイプ」、「距離付き候補列を出力するタイプ」の３種類に分けられる。「単一候補を出力するタイプ」の認識手段とは、認識結果として一つの候補のコードを出力するものである。「順序付き候補列を出力するタイプ」の認識手段は、複数の候補のコードを第１候補、第２候補、．．．、第ｎ候補というように順序付けして出力するものである。「距離付き候補列を出力するタイプ」の認識手段は、順序付けられた複数の候補のコードとともに、各候補の標準パターン又はテンプレートとの距離値を出力するものである。
【００１３】
このような３種類の認識手段の組合せに対応して、統合方法ＩＧｕ，ＩＧｖも、その入力形態によって「単一候補を出力するタイプの認識手段の認識結果を統合するタイプ」、「順序付き候補列を出力するタイプの認識手段の認識結果を統合するタイプ」、「距離付き候補列を出力するタイプの認識手段の認識結果を統合するタイプ」、「単一候補を出力するタイプの認識手段と順序付き候補列を出力するタイプの認識手段の認識結果を統合するタイプ」、「単一候補を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の認識結果を統合するタイプ」、「順序付き候補列を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の認識結果を統合するタイプ」の６種類に分けられる。また、統合方法は、統合結果つまり統合された認識結果の出力形態によって、認識手段と同様な３つのタイプに分かれる。
【００１４】
ここで、以下の説明中に用いる表記方法に関して説明する。評価用データの中で、認識手段ＭｋによりカテゴリＣと認識されたデータの集合をＶ(k,C)と表し、このデータ集合中の正解データの集合をＶＣ(k,C)と、誤認データの集合をＶＳ(k,C)と表す。また、認識手段Ｍｉ，Ｍｊの認識結果を統合方法ＩＧｋで統合した場合に、カテゴリＣと認識されたデータの集合をＶ(k,(i,j),C)と表し、そのデータ集合中の正解データの集合をＶＣ(k,(i,j),C)、その正解データの数を｜ＶＣ(k,(i,j),C)｜と表す。
【００１５】
次に、統合方法の統合結果の出力形態別に分けて、統合性能評価手段１２０における処理内容について説明する。
＜統合方法ＩＧｕ，ＩＧｖが単一候補を出力するタイプ（１）の場合＞
この場合の統合性能評価手段１２０の処理フローの一例を図３に示す。認識手段Ｍｉ，Ｍｊは単一候補を出力するタイプであるとする。なお、単一候補を出力するタイプの認識手段と順序付き候補列を出力するタイプの認識手段の組合せ、単一候補を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の組合せ、順序付き候補列を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の組合せ、のいずれの場合にも同様の性能評価処理が可能である。
【００１６】
ループＡのステップ３０１で、統合方法ＩＧｕ，ＩＧｖそれぞれによる統合結果において、注目した一つのカテゴリＣの正解数、つまり注目カテゴリＣが候補となったデータ中の正解データの数｜ＶＣ(u,(i,j),C)｜、｜ＶＣ(v,(i,j),C)｜を求める。ステップ３０２で、この正解数を比較し、統合方法ＩＧｕ，ＩＧｖの注目カテゴリに関する優劣を評価する。つまり｜ＶＣ(u,(i,j),C)｜＞｜ＶＣ(v,(i,j),C)｜ならば注目カテゴリに関して統合方法ＩＧｕが統合方法ＩＧｖより優れていると評価され、正解数の大小関係が逆ならば優劣は逆に評価される。この評価結果はメモリ１２２に保存される。またステップ３０３で、統合方法ＩＧｕ，ＩＧｖそれぞれの正解総数Σ｜ＶＣ(u,(i,j),C)｜、Σ｜ＶＣ(v,(i,j),C)｜（初めに０に初期化されている）に、注目カテゴリの正解数｜ＶＣ(u,(i,j),C)｜、｜ＶＣ(v,(i,j),C)｜をそれぞれ加算する。注目カテゴリを次々に変えながら同様の処理を繰り返す。全部のカテゴリについて処理が終わった段階でループＡを終了し、ステップ３０４に進む。
【００１７】
ステップ３０４では、統合方法ＩＧｕ，ＩＧｖそれぞれの正解総数Σ｜ＶＣ(u,(i,j),C)｜、Σ｜ＶＣ(v,(i,j),C)｜を比較し、認識対象となる全カテゴリに対する総合的な性能の優劣を評価する。すなわち、Σ｜ＶＣ(u,(i,j),C)｜＞Σ｜ＶＣ(v,(i,j),C)｜ならば統合方法ＩＧｕが統合方法ＩＧｖより総合的性能が優れていると評価され、大小関係が逆ならば統合方法ＩＧｖが統合方法ＩＧｕより総合的性能が優れていると評価される。この評価結果もメモリ１２２に保存される。
【００１８】
なお、あるカテゴリに関する理想的な統合方法とは、認識手段Ｍｉ，Ｍｊそれぞれにより正しく認識できたデータが、統合後にすべて正しく認識できる場合である。つまり、理想的な統合方法ＩＧｋの正解データの集合ＶＣ(k,(i,j),C)が、認識手段Ｍｉ，Ｍｊの正解データの集合ＶＣ(i,C)、ＶＣ(j,C)の和集合である場合である。
【００１９】
＜統合方法ＩＧｕ，ＩＧｖが順序付き候補列を出力するタイプ（２）の場合＞
この場合の統合性能評価手段１２０の処理フローの一例を図４に示す。認識手段Ｍｉ，Ｍｊは順序付き候補を出力するタイプであるとする。この場合における理想的な統合方法も、統合方法がタイプ（１）の場合と同様に考えればよい。なお、単一候補を出力するタイプの認識手段と順序付き候補列を出力するタイプの認識手段の組合せ、単一候補を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の組合せ、順序付き候補列を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の組合せ、のいずれの場合にも同様の統合性能評価処理が可能である。
【００２０】
ループＢのステップ４０１で、統合方法ＩＧｕ，ＩＧｖそれぞれによる統合結果において、注目した一つのカテゴリＣの正解数、つまり注目カテゴリＣが候補となったデータ中の正解データの数を求める。ただし、統合結果として順序付き候補列が得られているため、第１候補までの正解数｜ＶＣ1(u,(i,j),C)｜，｜ＶＣ1(v,(i,j),C)｜、第２候補までの正解数｜ＶＣ2(u,(i,j),C)｜，｜ＶＣ2(v,(i,j),C)｜、．．．、第ｎ候補までの正解数｜ＶＣn(u,(i,j),C)｜｜ＶＣn(v,(i,j),C)｜をそれぞれ求める。第１候補までの正解数とは第１候補での正解データ数であり、第２候補までの正解数とは、第１候補での正解データ数に第２候補での正解データ数を加えた値である。同様に、第ｎ候補までの正解数とは、第（ｎ−１）候補までの正解データ数に第ｎ候補での正解データ数を加えた値である。
【００２１】
ステップ４０２で、統合方法ＩＧｕ，ＩＧｖの間で第１候補までの正解数の比較、第２候補までの正解数の比較、．．．、第ｎ候補までの正解数の比較を行い、注目カテゴリに関する優劣を評価する。つまり、注目カテゴリに関し統合方法ＩＧｕの第１候補までの正解数が統合方法ＩＧｖの第１候補までの正解数より多ければ、注目カテゴリに関し第１候補まで、統合方法ＩＧｕが統合方法ＩＧｖより優れていると評価され、正解数の大小関係が逆ならば優劣は逆に評価される。同様に、統合方法ＩＧｕの第ｎ候補までの正解数が統合方法ＩＧｖの第ｎ候補までの正解数より多ければ、注目カテゴリに関し第ｎ候補まで統合方法ＩＧｕが統合方法ＩＧｖより優れていると評価される。この評価結果はメモリ１２２に保存される。
【００２２】
また、ステップ４０３で、統合方法ＩＧｕ，ＩＧｖそれぞれの第１候補までの正解数、第２候補までの正解数、．．．、第ｎ候補までの正解数が、統合方法ＩＧｕ，ＩＧｖの第１候補までの正解総数Σ｜ＶＣ1(u,(i,j),C)｜、Σ｜ＶＣ(v,(i,j),C)｜、第２候補までの正解総数Σ｜ＶＣ2(u,(i,j),C)｜、Σ｜ＶＣ2(v,(i,j),C)｜、．．．、第ｎ候補までの正解総数Σ｜ＶＣn(u,(i,j),C)｜、Σ｜ＶＣn(v,(i,j),C)｜（いずれの正解総数も０に初期化されている）にそれぞれ加算される。
【００２３】
注目カテゴリを次々に変えながら同様の処理を繰り返す。全部のカテゴリについて処理が終わった段階でループＢを終了し、ステップ４０４に進む。ステップ４０４では、統合方法ＩＧｕ，ＩＧｖそれぞれの正解総数を比較し、認識対象となる全カテゴリに対する総合的な性能の優劣を評価する。すなわち、Σ｜ＶＣ1(u,(i,j),C)｜＞Σ｜ＶＣ1(v,(i,j),C)｜ならば第１候補まで統合方法ＩＧｕが統合方法ＩＧｖより総合的性能が優れていると評価され、大小関係が逆ならば逆に評価される。Σ｜ＶＣ2(u,(i,j),C)｜＞Σ｜ＶＣ2(v,(i,j),C)｜ならば第２候補まで統合方法ＩＧｕが統合方法ＩＧｖより総合的性能が優れていると評価され、同様にΣ｜ＶＣn(u,(i,j),C)｜＞Σ｜ＶＣn(v,(i,j),C)｜ならば第ｎ候補まで統合方法ＩＧｕが統合方法ＩＧｖより総合的性能が優れていると評価される。このような評価結果もメモリ１２２に保存される。
＜統合方法ＩＧｕ，ＩＧｖが距離付き候補列を出力するタイプ（３）の場合＞
【００２４】
この場合の統合性能評価手段１２０の処理フローの一例を図５に示す。認識手段Ｍｉ，Ｍｊは距離付き候補列を出力するタイプであるとする。なお、単一候補を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の組合せ、順序付き候補列を出力するタイプの認識手段と距離付き候補列を出力するタイプの認識手段の組合せ、のいずれの場合にも同様の統合性能評価処理が可能である。
【００２５】
ループＣの処理内容は図４中のループＢの処理内容と同じであり、統合方法ＩＧｕ，ＩＧｖの間で第１候補の正解数の比較、第２候補までの正解数の比較、．．．、第ｎ候補までの正解数の比較を行い、注目カテゴリに関する優劣を評価し、また、統合方法ＩＧｕ，ＩＧｖそれぞれの第１候補までの正解総数Σ｜ＶＣ1(u,(i,j),C)｜、Σ｜ＶＣ(v,(i,j),C)｜、第２候補までの正解総数Σ｜ＶＣ2(u,(i,j),C)｜、Σ｜ＶＣ2(v,(i,j),C)｜、．．．、第ｎ候補までの正解総数Σ｜ＶＣn(u,(i,j),C)｜、Σ｜ＶＣn(v,(i,j),C)｜を求める。ステップ５０４は、図４中のステップ４０４と同じ処理内容であり、統合方法ＩＧｕ，ＩＧｖの第１候補までの正解総数の比較による総合的性能の優劣評価、第２候補までの正解総数の比較による総合的性能の優劣評価、．．．、第ｎ候補までの正解総数の比較による総合的性能の優劣評価を行う。
【００２６】
ステップ５０５において、データ数のある任意のパーセンテージｐ（０＜ｐ＜１００）を設定し、統合方法ＩＧｕ，ＩＧｖそれぞれについて、統合結果の第１候補の距離値の統計処理を行い、第１候補の距離値がｄｐ以下となったデータ数が全データ数のｐ％となる、そのような値ｄｐを求める。
【００２７】
ループＤにおいて、ステップ５０６で、統合方法ＩＧｕ，ＩＧｖそれぞれについて、注目カテゴリが第１候補となった、距離値がｄｐ以下のデータ中の正解数を求める。次のステップ５０７において、前ステップ５０６で各統合方法ＩＧｕ，ＩＧｖについて求めた正解数を比較する。この比較で、例えば統合方法ＩＧｕの正解数が統合方法ＩＧｖの正解数より多ければ、注目カテゴリに関し、統合方法ＩＧｕは統合方法ＩＧｖより距離のパーセンテージｐで優れていると評価される。この評価結果もメモリ１２２に保存される。次のステップ５０８で、前ステップ５０６により求められた統合方法ＩＧｕ，ＩＧｖそれぞれの正解数が、それぞれの正解総数（予め０に初期化されている）に加算される。注目カテゴリを変えながら同様の処理を繰り返し、全てのカテゴリを処理するとループＤを終了しステップ５０９に進む。
【００２８】
ステップ５０９では、ステップ５０８によって得られた各統合方法ＩＧｕ，ＩＧｖの正解総数を比較する。この比較で、例えば統合方法ＩＧｕの正解総数が統合方法ＩＧｖの正解総数より多ければ、認識対象の全カテゴリについて、統合方法ＩＧｕは統合方法ＩＧｖより距離のパーセンテージｐで優れていると評価される。この評価結果もメモリ１２２に保存される。
【００２９】
【発明の効果】
以上に説明した如く、本発明によれば、複数の認識手段の認識結果に対する統合方法の性能を客観的に評価することが可能になる。カテゴリ別の性能評価と認識対象カテゴリ全体に対する性能評価が可能になる。単一候補を出力するタイプの統合方法、順序付き候補列を出力するタイプの統合方法、及び、距離付き候補列を出力するタイプの統合方法のそれぞれに応じた性能評価が可能になる。このような性能評価を一般的なコンピュータを利用して実施できる、等々の効果を得られるものであり、本発明は統合方法の改良、ひいては文字認識システムの認識精度の向上に大きく寄与する。
【図面の簡単な説明】
【図１】  本発明による統合性能評価のためのシステム構成及び処理フローを示す図である。
【図２】  本発明による統合性能評価のためのコンピュータの一例を示す概略ブロック図である。
【図３】  単一候補を出力するタイプの統合方法に対する性能評価処理の一例を示すフローチャートである。
【図４】  順序付き候補列を出力するタイプの統合方法に対する性能評価処理の一例を示すフローチャートである。
【図５】  距離付き候補列を出力するタイプの統合方法に対する性能評価処理の一例を示すフローチャートである。
【符号の説明】
１００  文字画像データ入力手段
１０２  評価用データファイル
１０４，１０６  認識手段（Ｍｉ，Ｍｊ）
１０８，１１０  認識結果保存用メモリ
１１２，１１４  統合手段（統合方法ＩＧｕ，ＩＧｖ）
１１６，１１８  統合結果保存用メモリ
１２０  統合性能評価手段
１２２  評価結果保存用メモリ
１２４  出力手段
２００  ＣＰＵ
２０２  メモリ
２０４  補助記憶装置
２０６  情報記録媒体
２０８  ドライブ
２１０  入力インターフェイス
２１２  出力インターフェイス
２１４  バス
【図１】
0003812779.tif 000002
【図２】
0003812779.tif 000003
【図３】
0003812779.tif 000004
【図４】
0003812779.tif 000005
【図５】
0003812779.tif 000006