(57)【要約】【課題】すべての入力についての判定手段の判定結果の正解不正解を別の方法で判定することでその判定手段の正解率を求める方式よりも、より低いコストでその判定手段の正解率を求める。【解決手段】突合部１４は、入力に対する第１及び第２判定部１２ａ及び１２ｂの判定結果が一致する場合、その判定結果を装置の最終的な判定結果（正解）として出力し、両方の判定結果が正解であった旨を記録する。それら判定結果が不一致の場合、判定部１６によるその入力の判定結果を装置の最終的な判定結果として出力する。突合部１８Ａは第１判定部１２ａの判定結果が判定部１６の判定結果と一致する場合は第１判定部１２ａが正解であった旨を記録する。突合部１８Ｂはこれと同様の処理を第２判定部１２ｂの判定結果について行う。正解率算出部２２は、各突合部１４、１８Ａ及び１８Ｂの記録した情報に基づき、第１及び第２判定部１２ａ及び１２ｂの正解率を求める。【選択図】図１
2019164600.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる方法で入力についての判定を行い、前記入力についての判定結果を求める複数の判定手段と、
前記複数の判定手段の判定結果のうち所定割合以上が一致する場合に、前記所定割合以上で一致した判定結果を出力する第１出力手段と、
前記第１出力手段で前記所定割合以上の一致が見られなかった場合に、前記入力についての最終的な判定結果を出力する第２出力手段と、
前記複数の判定手段のうちの注目する判定手段について、当該注目する判定手段の判定結果が前記第１出力手段の前記所定割合以上で一致した判定結果に該当する場合、又は前記第２出力手段が出力する前記判定結果と一致する場合に、当該注目する判定手段の判定結果が正解であるものとして、前記注目する判定手段の正解率を計算する正解率計算手段と、
を含む情報処理装置。
【請求項２】
前記複数の判定手段は、第１判定手段と第２判定手段からなる２つの判定手段であり、
前記正解率計算手段は、前記第１判定手段及び前記第２判定手段をそれぞれ前記注目する判定手段とすることで、前記第１判定手段と前記第２判定手段の正解率を計算する、
請求項１に記載の情報処理装置。
【請求項３】
前記第１判定手段と、前記第２出力手段での前記判定を行う手段とが同じ特性を持つ場合に、前記第１判定手段と前記第２出力手段の正解率が同じ値であるとして、前記第１判定手段と前記第２判定手段の正解率を用いて、前記第１出力手段と前記第２出力手段とからなるシステムの正解率を計算する手段、を更に含む請求項２に記載の情報処理装置。
【請求項４】
前記注目する判定手段の正解率が、当該判定手段に対して予め設定されている閾値を下回った場合に警告を発する手段、を更に含む請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
コンピュータを、
それぞれ異なる方法で入力についての判定を行い、前記入力についての判定結果を求める複数の判定手段、
前記複数の判定手段の判定結果のうち所定割合以上が一致する場合に、前記所定割合以上で一致した判定結果を出力する第１出力手段、
前記第１出力手段で前記所定割合以上の一致が見られなかった場合に、前記入力についての最終的な判定結果を出力する第２出力手段、
前記複数の判定手段のうちの注目する判定手段について、当該注目する判定手段の判定結果が前記第１出力手段の前記所定割合以上で一致した判定結果に該当する場合、又は前記第２出力手段が出力する前記判定結果と一致する場合に、当該注目する判定手段の判定結果が正解であるものとして、前記注目する判定手段の正解率を計算する正解率計算手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
特許文献１に開示された方法は、入力された帳票上の画像に対し文字認識を行ない、その文字認識結果としての類似度を得て、この得られた類似度とあらかじめ登録された当該文字認識に要求する確信度とを比較し、この比較の結果に基づき文字認識結果に対し人手によるベリファイ処理を必要としない出力を行なうか、あるいは、上記比較の結果に基づき文字認識結果に対し文字認識候補の選択肢を提示して人手によるベリファイ処理を促す出力を行なうか、あるいは、上記比較の結果に基づき文字認識結果に対し人手による新規入力および確定を提示して手入力処理を促す出力を行なう。
【０００３】
特許文献２に開示された方法は、旧版の文字認識ソフトウェアから新版の文字認識ソフトウェアに変更するに際し、旧版ソフトウェアから新版ソフトウェアへの移行時における期間、実システムにおいて、新版及び旧版の双方のソフトウェアにより文字の認識を行う。その結果、新版及び旧版双方のソフトウェアの認識精度に関する情報を統計的に収集し、両者の認識精度を比較する。そして新版の精度が旧版の精度よりも高い場合に、新版ソフトウェアの導入を確定するようにするものである。一方、旧版ソフトウェアの認識精度の方が良かった場合には、新版ソフトウェアへの全面的な変更は行わず、旧版及び新版双方のソフトウェアの良い所を用いて並行的に運用することもできる。
【０００４】
特許文献３に開示された方法は、入力原稿より文字情報をＯＣＲで読み取り、認識処理部で認識処理する。オペレータによって入力原稿上の文字情報をキーボードよりキー入力させ、キー入力された文字データと文字認識された認識データとをＣＰＵで比較し、誤りの可能性があるキー入力データの部分をＣＲＴ１５にて異常表示させることで、ベリファイ入力を行う構成とする。たとえばキー入力された文字データが入力原稿と一致し、認識データに誤りがあると判断される文字データ、および認識データだけでなくキー入力された文字データにも誤りがあると判断される文字データを反転（しろ抜き）により異常表示し、入力ミスの可能性が高い入力データを自動的に検出できる。
【０００５】
特許文献４に開示された装置は、データの記入されたフォーム（帳票）を電子画像フォームとして読み取る画像読取手段と、読み取った電子画像フォームを性質の異なる、すなわち、誤認識を共通にしない或いは共通にすることの少ない２種類（以上）のＯＣＲエンジンでＯＣＲ認識するＯＣＲ認識手段と、認識結果が一致した文字は自動的にデータベースへ保存し、一致しない文字及び一致してもいずれか一方のＯＣＲエンジンの認識の信頼性の低い文字は確認修正後にデータベースへ保存するデータベース保存手段と、を備える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３４６０８０号公報
【特許文献２】特開２００４−１７１３２６号公報
【特許文献３】特開平０５−２７４４６７号公報
【特許文献４】特開２０１０−０７３２０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
判定手段により入力を判定する場合において、その判定手段の判定の正解率を求めるには、例えば、各入力についての判定手段による判定結果を、より判定精度が高い方法（例えば人間によるチェック）で正解か否か判定し、それら入力の全てに対する正解の判定結果の割合を求める方法がある。しかし、その判定精度の高い方法での判定は、判定手段の判定よりも高コストである。そうでなければ、判定手段の代わりにその判定精度の高い方法を最初から用いればよいからである。したがって、全入力について、その方法による判定を行うのは、コスト的な負担が大きい。
【０００８】
本発明は、すべての入力について判定手段の判定結果の正解不正解を別の方法で判定することでその判定手段の正解率を求める方式よりも、より低いコストでその判定手段の正解率を求めることを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に係る発明は、それぞれ異なる方法で入力についての判定を行い、前記入力についての判定結果を求める複数の判定手段と、前記複数の判定手段の判定結果のうち所定割合以上が一致する場合に、前記所定割合以上で一致した判定結果を出力する第１出力手段と、前記第１出力手段で前記所定割合以上の一致が見られなかった場合に、前記入力についての最終的な判定結果を出力する第２出力手段と、前記複数の判定手段のうちの注目する判定手段について、当該注目する判定手段の判定結果が前記第１出力手段の前記所定割合以上で一致した判定結果に該当する場合、又は前記第２出力手段が出力する前記判定結果と一致する場合に、当該注目する判定手段の判定結果が正解であるものとして、前記注目する判定手段の正解率を計算する正解率計算手段と、を含む情報処理装置である。
【００１０】
請求項２に係る発明は、前記複数の判定手段は、第１判定手段と第２判定手段からなる２つの判定手段であり、前記正解率計算手段は、前記第１判定手段及び前記第２判定手段をそれぞれ前記注目する判定手段とすることで、前記第１判定手段と前記第２判定手段の正解率を計算する、請求項１に記載の情報処理装置である。
【００１１】
請求項３に係る発明は、前記第１判定手段と、前記第２出力手段での前記判定を行う手段とが同じ特性を持つ場合に、前記第１判定手段と前記第２出力手段の正解率が同じ値であるとして、前記第１判定手段と前記第２判定手段の正解率を用いて、前記第１出力手段と前記第２出力手段とからなるシステムの正解率を計算する手段、を更に含む請求項２に記載の情報処理装置である。
【００１２】
請求項４に係る発明は、前記注目する判定手段の正解率が、当該判定手段に対して予め設定されている閾値を下回った場合に警告を発する手段、を更に含む請求項１〜３のいずれか１項に記載の情報処理装置である。
【００１３】
請求項５に係る発明は、コンピュータを、それぞれ異なる方法で入力についての判定を行い、前記入力についての判定結果を求める複数の判定手段、前記複数の判定手段の判定結果のうち所定割合以上が一致する場合に、前記所定割合以上で一致した判定結果を出力する第１出力手段、前記第１出力手段で前記所定割合以上の一致が見られなかった場合に、前記入力についての最終的な判定結果を出力する第２出力手段、前記複数の判定手段のうちの注目する判定手段について、当該注目する判定手段の判定結果が前記第１出力手段の前記所定割合以上で一致した判定結果に該当する場合、又は前記第２出力手段が出力する前記判定結果と一致する場合に、当該注目する判定手段の判定結果が正解であるものとして、前記注目する判定手段の正解率を計算する正解率計算手段、として機能させるためのプログラムである。
【発明の効果】
【００１４】
請求項１、２又は５に係る発明によれば、すべての入力について判定手段の判定結果の正解不正解を別の方法で判定することでその判定手段の正解率を求める方式よりも、より低いコストでその判定手段の正解率を求めることができる。
【００１５】
請求項３に係る発明によれば、第１出力手段と第２出力手段とからなるシステムの正解率を求めることができる。
【００１６】
請求項４に係る発明によれば、いずれかの判定手段の正解率の低下に関して警告を発することができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態の情報処理装置の機能構成を例示する図である。
【図２】実施形態の情報処理装置の機能構成の別の例を示す図である。
【図３】実施形態の情報処理装置の機能構成の更に別の例を示す図である。
【図４】報告部を更に備える情報処理装置を例示する図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を説明する。
【００１９】
一つの実施形態では、情報処理装置は、入力データに対して異なる２つの判定手段で判定を行い、それら２つの判定手段の判定結果が一致する場合には、その判定結果をその装置の最終的な判定結果として出力する。２つの判定手段の判定結果が不一致の場合には、それら２つの判定手段とは別の第３の判定手段で判定を行い、この判定の結果を当該装置の最終的な判定結果として出力する。第３の判定手段は、過去の統計情報等からみて正解率が最初の２つの判定手段以上であると期待される判定手段である。
【００２０】
それら３つの判定手段は、同じ入力データに対して同種の判定を行う。「判定」の処理内容は特に限定されない。例えば、入力データの内容を認識する処理は「判定」の一例である。例えばＯＣＲ（光学文字認識）等の文字認識処理や、画像認識処理がその例である。また、入力データを複数のカテゴリに分類する処理も「判定」の一例である。
【００２１】
この情報処理装置は、正解が予め分かっている学習用のデータセットを用いずに、実地の入力データ群に対する判定の結果を用いて、判定手段又は情報処理装置全体の正解率を計算する仕組み（後述する正解率算出部２２）を有する。
【００２２】
図１に、このような情報処理装置の機能構成を例示する。
【００２３】
第１判定部１２ａは、第１の判定方法で入力データを判定し、第１の判定結果を出力する。第２判定部１２ｂは、第１の判定方法とは異なる第２の判定方法でその入力データを判定し、第２の判定結果を出力する。第１の判定方法と第２の判定方法とは、互いに異質の判定方法であってもよいし、同質ではあるが具体的な処理内容が異なるものであってもよい。なお、この明細書で例に挙げる第１判定部１２ａ及び第２判定部１２ｂを初めとする各判定部の中には、実質的な判定を人間が行うものが含まれていてもよい。
【００２４】
「判定」が文字認識である場合、例えば、第１の判定方法としてある特定のＯＣＲエンジンを用い、第２の判定方法として入力データ（画像データ）を人に見せて文字列内容を判定させる方法を用いてもよい。これは異質な判定方法の例である。また例えば、第１の判定方法としてある特定の第１のＯＣＲエンジンを用い、第２の判定方法として第１のＯＣＲエンジンとは異なるアルゴリズムを用いる第２のＯＣＲエンジンを用いてもよい。これは、同質だが具体的な処理内容が異なる判定方法の例である。同様に、第１及び第２の判定方法として、２人の異なる人に判定させてもよく、これも同質だが具体的な処理方法が異なる例である。
【００２５】
突合部（Ｘ）１４は、第１判定部１２ａ及び第２判定部１２ｂから入力された第１の判定結果と第２の判定結果とを突き合わせて（すなわち照合して）、両者が合致（すなわち一致）するか否（非合致）かを判定する。両者が合致する場合、突合部１４は、その合致した判定結果を当該情報処理装置の最終的な判定結果として出力する。両者が非合致の場合、突合部１４は、判定部１６に対し、その入力データに対する判定を行わせる。また突合部１４は、その突き合わせの結果である突合結果（すなわち「合致」か「非合致」かを示す値）Ｘを、蓄積部２０へと蓄積する。突合結果Ｘの値は、合致が非合致かを示す二値の値である。以下では、一例として、計算の便宜のために、突合結果Ｘの値は合致の場合は「１」、非合致の場合は「０」とする（後述する突合部１８Ａ及び１８Ｂの場合も同様）。蓄積部２０に蓄積する突合結果Ｘには、入力データの識別情報ｉ（例えば各入力データに順に付与される通し番号）が対応付けられており、どの入力データに対応する突合結果であるかが識別可能となっている。
【００２６】
判定部１６は、突合部１４からの上記非合致の場合のトリガを受けると、その入力データに対して、上記第１及び第２の判定方法のいずれとも異なる第３の判定方法により判定を行う。第３の判定方法は、第１及び第２の判定方法のいずれとも異質な判定方法であってもよい。また、第３の判定方法は、第１又は第２の判定方法の一方又は両方と同質であるが具体的な処理内容は異なる判定方法であってもよい。「判定」が文字認識である場合を例にとると、例えば、第１の判定方法があるＯＣＲエンジンを用いるものであり、第２の判定方法が人による判定である場合に、第３の判定方法として別の人による判定を用いてもよい。また、第１、第２、第３の判定方法として、互いに異なるＯＣＲエンジンを用いてもよい。なお、いずれの場合も、第３の判定方法としては、統計的にみて正解率が第１及び第２の判定方法の正解率以上であると期待されるものを用いる。
【００２７】
突合部１４での突き合わせの結果が非合致の場合、判定部１６の第３の判定方法による判定結果が、入力データに対する当該情報処理装置の最終的な判定結果として出力される。
【００２８】
判定部１６は、判定部１２ａ及び１２ｂと並行に、同じ入力データについて常に判定を行ってもよいが、突合部１４の判定結果が非合致の場合にのみ判定を行うようにしてもよい。これにより、判定部１６の判定のためのコストが低減される。
【００２９】
以上に説明した第１及び第２判定部１２ａ及び１２ｂ、突合部１４、並びに判定部１６が、この情報処理装置における入力データに対する判定を行う判定機構の部分である。
【００３０】
一方、以下に説明する突合部１８Ａ及び１８Ｂ、蓄積部２０及び正解率算出部２２は、上記判定機構が行った判定の結果を多数蓄積し、蓄積した情報に基づいて、第１及び第２判定部１２ａ及び１２ｂの各々の判定の正解率、及び判定部１６の正解率を求める。判定機構が行う判定処理が文字認識の場合、正解率は、文字認識の認識率である。
【００３１】
すなわち、まず突合部１８Ａは、第１判定部１２ａの判定結果と判定部１６の判定結果を突き合わせ、その突き合わせの結果（突合結果Ａ）を、入力データの識別情報ｉと対応付けて蓄積部２０に蓄積する。突合部１８Ｂは、第２判定部１２ａの判定結果と判定部１６の判定結果を突き合わせ、その突き合わせの結果（突合結果Ｂ）を、入力データの識別情報ｉと対応付けて蓄積部２０に蓄積する。
【００３２】
蓄積部２０には、入力データｉごとに、突合部１４、１８Ａ、１８Ｂによる３つの突合結果Ｘi、Ａi、Ｂiが蓄積される。
【００３３】
正解率算出部２２は、蓄積部２０に蓄積されている突合結果Ｘi、Ａi、Ｂiを用いて、第１判定部１２ａ、第２判定部１２ｂ、及び情報処理装置全体の正解率を算出する。
【００３４】
正解率算出部２２による正解率の算出方法を説明する。まず、第１判定部１２ａの正解率αと、第２判定部１２ｂの正解率βの算出方法を説明する。
【００３５】
この算出方法は、以下の２つの前提（ａ）、（ｂ）及び（ｃ）に基づいて正解率α及びβを計算する。
（ａ）突合部１４の突合結果Ｘが「合致」の場合、第１判定部１２ａ及び第２判定部１２ｂの判定結果は共に正解である。
（ｂ）突合部１８Ａの突合結果Ａが「合致」の場合、第１判定部１２ａの判定結果が正解である。
（ｃ）突合部１８Ｂの突合結果Ｂが「合致」の場合、第２判定部１２ｂの判定結果が正解である。
【００３６】
すなわち、ここでは、第１判定部１２ａの判定結果は、第２判定部１２ｂ又は判定部１６の判定結果と合致する場合に正解であり、第２判定部１２ｂの判定結果は、第１判定部１２ａ又は判定部１６の判定結果と合致する場合に正解であるとみなして、正解率α及びβを求める。これらの前提に基づいて、正解率算出部２２は、次式（１）に従って正解率α及びβを算出する。
【数１】
2019164600.tif 000003
【００３７】
ここで、ｉは入力データの識別情報である通し番号であり、Ｎは入力データの総数である。また「Ｐ｜Ｑ」は、Ｐ又はＱが１であれば値が１となり、Ｐ及びＱの両方が０であれば値が０となる演算である。
【００３８】
なお、突合部１４の突合結果が「合致」の場合、判定部１６に判定を行わせないようにしてもよい。この場合、判定部１６の判定結果が得られないので、これを用いる突合部１８Ａ及び１８Ｂの突合結果は共に「０」となるようにしてもよい。このようにした場合、正解率算出部２２は、上述の式（１）の代わりに、次の式（２）により正解率を計算してもよい。
【数２】
2019164600.tif 000004
【００３９】
次に、この情報処理装置の判定機構（すなわち第１及び第２判定部１２ａ及び１２ｂと判定部１６）全体としての正解率を求める処理について説明する。ここでは、判定部１６が、第１判定部１２ａ及び第２判定部１２ｂのうちいずれか一方と同じ特性を持つものとする。同じ特性を持つ２つの判定部は、統計的に正解率が等しいとみなすことができる。
【００４０】
ここでは、一例として、判定部１６は第１判定部１２ａと同じ特性を持つものとする。例えば、文字認識を行う場合において、第１判定部１２ａと判定部１２が、人に入力データの画像を提示し、その画像から読み取った文字列の入力を受け付けるものであり、第２判定部１２ｂがＯＣＲエンジンであるとする。
【００４１】
判定機構全体としての正解率（すなわち認識率）をγとする。第１判定部１２ａ及び第２判定部１２ｂの正解率α及びβは、上述の方法で既に計算済みであるとする。この例では、上述の通り、判定部１６は、入力データの数が十分多い場合、第１判定部１２ａと同じ正解率αを持つとみなすことができる。したがって、正解率算出部２２は、正解率γを次式により計算することができる。
【数３】
2019164600.tif 000005
【００４２】
より詳しく説明すると、判定機構全体としての正解となるケースは、（ａ）第１判定部１２ａが正解、かつ、第２判定部１２ｂが正解となるケースと、（ｂ）これ以外かつ判定部１６が正解となるケースの２つである。（ａ）のケースが生じる確率はαβ、（ｂ）のケースが生じる確率は、上記（ａ）以外の確率（１−αβ）と判定部１６が正解となる確率αの積（１−αβ）αなので、（ａ）と（ｂ）の確率の和が最終的な正解率γとなる。
以上に説明したように、図１に示す情報処理装置は、入力データに対する判定結果を多数蓄積したものを用いることで、第１判定部１２ａ及び第２判定部１２ｂの正解率α及びβを算出すると共に、第１判定部１２ａと判定部１６の特性が同じ場合には、情報処理装置内の判定機構全体としての正解率γを算出する。
【００４３】
図１の例では、突合部１４の突き合わせの対象となる第１段階の判定部の数が２つであったが、これはあくまで一例にすぎず、第１段階の判定部の数は３以上であってもよい。図２に、第１、第２及び第３判定部１２ａ、１２ｂ及び１２ｃを含む情報処理装置の構成を例示する。図２の例では、突合部１４は、第１、第２及び第３判定部１２ａ、１２ｂ及び１２ｃからそれぞれ入力データｉについての判定結果を受け取る。そして、それら３つの判定結果が所定の（すなわち予め定めた）合致条件を満たす場合に、その判定結果を当該情報処理装置の最終的な判定結果として出力すると共に、突合結果Ｘiとして「合致」を示す値を蓄積部２０に蓄積する。合致条件としては、「それら３つの判定結果が一致する」という条件を用いてもよいし、「それら３つの判定結果のうち過半数、すなわち２つ以上、が一致する」という条件を用いてもよい。また、それら３つの判定結果が合致条件を満たさない場合、突合部１４は、判定部１６にトリガを送ると共に、突合結果Ｘiとして「非合致」を示す値を蓄積部２０に蓄積する。トリガを受け取った判定部１６は、入力データｉについての判定を行い、その判定の結果を、最終的な判定結果として出力する。
【００４４】
また、図２の情報処理装置は、突合部１８Ａ及び１８Ｂの他に、突合部１８Ｃを有する。突合部１８Ｃは、第３判定部１２ｃの判定結果と判定部１６の判定結果を突き合わせ、その突き合わせの結果（すなわち突合結果Ｃi）を蓄積部２０に蓄積する。
【００４５】
図２の例でも、図１の例と同様の方法で、第１、第２及び第３判定部１２ａ、１２ｂ及び１２ｃの正解率を求めることができる。
図１及び図２の構成を一般化したものを図３に示す。図３に示す情報処理装置は、突合部１４の突き合わせの対象となる第１段階の判定部の数がＭ個（Ｍは２以上の整数）である。すなわち、判定部１、２、３、・・・ｊ、・・・、Ｍがそれぞれ入力データに対する判定を行い、その判定結果を突合部１４に入力する。突合部１４は、それらＭ個の判定部からのＭ個の判定結果を互いに照合し、それらが合致条件を満たすかどうかを判定する。合致条件は、それらＭ個の判定結果のうち所定割合以上のものが互いに一致することである。以下では、Ｍ個に対する所定割合の個数をＺ個とする。Ｚは２以上Ｍ以下の整数である。一つの例では、ＺはＭの過半数となる整数である。合致条件を満たす判定結果が見つかった場合、突合部１４は、その判定結果を情報処理装置の最終的な判定結果として出力する。この場合、その最終的な判定結果を正解とし、これと一致しない各判定部の判定結果は不正解とする。なお、Ｍ＝２の場合、すなわち判定部１２の数が２つであるシステムの場合、Ｍ個の判定結果のうち所定割合以上のものが互いに一致するという合致条件は、それら２つの判定部１２の判定結果が一致するという条件となる。
【００４６】
なお、ＺがＭの１／２以下である場合、Ｍ個の判定結果の中にＺ個以上一致するものが複数存在する場合がある。この場合、突合部１４は、それらＺ個以上一致した判定結果のうち、一致した数が最大のものを情報処理装置の最終的な判定結果（すなわち正解）とし、他のものを不正解とする。
【００４７】
突合部１４は、判定部ｊごとに、入力データｉについての突合結果Ｐijを求め、これを蓄積部２０に蓄積する。判定部ｊについての突合結果Ｐijは、当該判定部ｊの入力データｊについての判定結果が、突合部１４での合致条件を満たす判定結果であればＰij＝１であり、そうでなければＰij＝０である。すなわち、合致条件が満たす判定結果がなかった場合、又は判定部ｊの判定結果が突合部１４の出力する最終的な判定結果（正解）に一致しない場合は、Ｐij＝０である。
【００４８】
突合部１４で合致条件を満たす判定結果が見つからなかった場合、第２段階の判定部Ｙが入力データｉについての判定を行い、その判定結果が当該情報処理装置の最終的な判定結果として出力する。
【００４９】
突合部ｊ（ｊは１以上Ｍ以下の整数）は、入力データｉについて、それぞれ対応する第１段階の判定部ｊの判定結果と第２段階の判定部Ｙの判定結果との一致・不一致を示す突合結果Ｑij（一致の場合は値が１、不一致の場合は値が０）を生成し、蓄積部２０に蓄積する。なお、突合部１４で合致条件を満たす判定結果が見つかった場合は、Ｑijはすべてのｊについて０とする。
【００５０】
正解率算出部２２は、第１段階の各判定部ｊの正解率Ｒjを、次式により計算する。
【数４】
2019164600.tif 000006
【００５１】
次に、変形例を説明する。図４に示す情報処理装置は、図１の情報処理装置に対して報告部２４を追加したものである。正解率算出部２２は、１日、１週間、１ヶ月などといった予め定められた期間ごとに、その期間内の判定に応じて突合部１４、１８Ａ及び１８Ｂが蓄積部２０に蓄積した突合結果Ｘi、Ａi、Ｂiを用いて、第１判定部１２ａ、第２判定部１２ｂ、及び情報処理装置全体の正解率を算出し、算出した正解率を報告部２４に通知する。報告部２４は、通知されたそれら正解率の情報を、画面表示、印刷出力、予め登録された管理者に対する電子メールでの通知等の方法で、この情報処理装置のユーザに報告する。また報告部２４は、第１判定部１２ａ、第２判定部１２ｂ、及び情報処理装置全体の正解率のそれぞれについての警告要否判定用の閾値を有しており、正解率算出部２２から通知された各正解率をそれぞれ対応する閾値と比較する。そして、第１判定部１２ａ、第２判定部１２ｂ、及び情報処理装置全体の各正解率のうち，対応する閾値を下回ったものがあれば、その旨を示す警告情報を画面表示、印刷出力、予め登録された管理者に対する電子メールでの通知等の方法で、この情報処理装置のユーザに知らせる。
【００５２】
これにより例えば第１段階の判定部のいずれか（第１判定部１２ａ、第２判定部１２ｂ、また第３判定部１２ｃ等）にＯＣＲエンジンを用いている場合、ユーザはＯＣＲエンジンの正解率が閾値を下回ったことを知り、ＯＣＲ処理のパラメータを変更したり、ＯＣＲエンジンに追加学習を行わせたり、帳票デザインを変更したりするなどの対処をとる。また、ＯＣＲ等による文字認識の対象となる帳票に対して記入を行っている記入者が変わった等の影響を知ることができる。
【００５３】
以上に例示した情報処理装置は、一つの例ではハードウェアの論理回路として構成可能である。また、別の例として、この情報処理装置は、例えば、内蔵されるコンピュータにそれらシステムまたは装置内の各機能モジュールの機能を表すプログラムを実行させることにより実現してもよい。ここで、コンピュータは、例えば、ハードウェアとして、ＣＰＵ等のプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、ＨＤＤ（ハードディスクドライブ）を制御するＨＤＤコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバスを介して接続された回路構成を有する。また、そのバスに対し、例えばＩ／Ｏインタフェース経由で、ＣＤやＤＶＤなどの可搬型ディスク記録媒体に対する読み取り及び／又は書き込みのためのディスクドライブ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び／又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク等の通信手段経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。また、情報処理装置は、ソフトウェアとハードウェアの組合せで構成されてもよい。
【符号の説明】
【００５４】
１２ａ，１２ｂ，１２ｃ  判定部、１４  突合部、１６  判定部、１８Ａ，１８Ｂ，１８Ｃ  突合部、２０  蓄積部、２２  正解率算出部、２４  報告部。
【図１】
2019164600.tif 000007
【図２】
2019164600.tif 000008
【図３】
2019164600.tif 000009
【図４】
2019164600.tif 000010