(57)【要約】【課題】入力に対する判定手段の判定結果を複数の後段処理のうち選択されたものに処理させるシステムに対して、それら後段処理を選ぶための、その判定結果の判定確度の区間を区切る閾値として、蓄積されている過去の判定結果の情報を反映した閾値を決定する。【解決手段】Ｎ個の後段処理は、前段にある文字認識部（判定手段の例）の認識確度（判定確度に対応）の異なる区間に対応付けられる。過去の文字認識で得られた認識確度と正誤情報（その認識が正解か否かを示す情報）とのペアを多数、学習用データとして入力する。認識確度が高い区間から順に、認識確度が当該区間に属する各学習用データの正誤情報から求められる認識の正解率が、その区間に対応する判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する。【選択図】図５
2019159374.tif 000002
【特許請求の範囲】
【請求項１】
入力に対して判定を行う判定手段と、
前記入力に対する前記判定手段の判定確度を算出する算出手段と、
前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段と、
前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段と、
を含む判定システムのために、前記判定確度についての前記区間を区切る閾値を決定する情報処理装置であって、
前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段と、
前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段と、
を含む情報処理装置。
【請求項２】
前記各区間に対応する前記判定手段の目標認識率は、前記判定確度が高い区間ほど高い値であり、
前記決定手段は、前記目標認識率が高い区間から順に、各区間を規定する前記閾値を決定する、請求項１に記載の情報処理装置。
【請求項３】
前記判定確度が高い区間に対応する前記後段処理手段ほど、前記判定結果を用いて前記出力を生成するための方法としてコストがより低い方法を用いており、
前記決定手段は、前記コストが低い区間から順に、各区間を規定する前記閾値を決定する、請求項１又は２に記載の情報処理装置。
【請求項４】
前記判定確度が最も高い区間に対応する前記後段処理手段は、前記判定手段の判定結果をそのまま前記出力とするものであり、
前記判定確度が最も高い区間に対応する前記後段処理手段についての前記目標正解率として、前記判定システムに対して設定された目標正解率を用いる、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記複数の後段処理手段には、前記判定手段の判定結果を用いずに前記入力に対する出力を生成する第２種の後段処理手段が含まれ、前記第２種の後段処理手段は、前記区間のうち判定確度が最も低い区間に対応付けられる、請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記第２種の後段処理手段に対応する前記目標正解率は０である、請求項５に記載の情報処理装置。
【請求項７】
前記複数の後段処理手段は、前記判定手段の判定結果をそのまま前記出力とする第１の後段処理手段と、前記判定手段の判定結果を用いずに前記入力に対する人による判定結果に基づき前記出力を生成する第２の後段処理手段と、前記判定手段の判定結果と前記入力に対する人による判定結果との突き合わせにより前記出力を生成する第３の後段処理手段と、からなり、
前記第１の後段処理手段についての前記目標正解率として、前記判定システムに対して設定された目標正解率を用い、前記第２の後段処理手段についての前記目標正解率として０を用い、前記第３の後段処理手段についての前記目標正解率を、前記人の正解率と前記判定手段の正解率とから求める、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項８】
前記取得手段は、判定確度と正誤情報との組の代わりに、判定確度と、判定確度の最大値から当該判定確度までの範囲内の各判定確度に対応する前記正誤情報の累積結果の情報と、の組を取得し、
前記決定手段は、前記各判定確度に対応する前記累積結果の情報を用いて、前記閾値を決定しようとする区間の正解率を求める、請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
入力に対して判定を行う判定手段と、
前記入力に対する前記判定手段の判定確度を算出する算出手段と、
前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段と、
前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段と、
を含む判定システムのために、前記判定確度についての前記区間を区切る閾値を決定する情報処理装置としてコンピュータを機能させるためのプログラムであって、前記コンピュータを、
前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段、
前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段、
として機能させるためのプログラム。
【請求項１０】
入力に対して判定を行う判定手段と、
前記入力に対する前記判定手段の判定確度を算出する算出手段と、
前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段と、
前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段と、
前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段と、
前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段と、
を含む情報処理装置。
【請求項１１】
コンピュータを、
入力に対して判定を行う判定手段、
前記入力に対する前記判定手段の判定確度を算出する算出手段、
前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段、
前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段、
前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段、
前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
特許文献１に開示された方法は、入力された帳票上の画像に対し文字認識を行ない、その文字認識結果としての類似度を得て、この得られた類似度とあらかじめ登録された当該文字認識に要求する確信度とを比較し、この比較の結果に基づき文字認識結果に対し人手によるベリファイ処理を必要としない出力を行なうか、あるいは、上記比較の結果に基づき文字認識結果に対し文字認識候補の選択肢を提示して人手によるベリファイ処理を促す出力を行なうか、あるいは、上記比較の結果に基づき文字認識結果に対し人手による新規入力および確定を提示して手入力処理を促す出力を行なう。
【０００３】
特許文献２に開示された文字認識装置は、手書き入力された文字の座標点列を認識して認識候補文字群を出力する文字認識手段と、文字認識手段より出力される判定対象認識候補文字群の信頼度を算出するための特徴量として、手書き入力された文字の座標点列の平均筆記速度を算出する特徴抽出手段と、特徴抽出手段からの特徴量と、サンプルデータの統計的傾向とに基づいて、判定対象認識候補文字群の信頼度を算出する信頼度算出手段と、信頼度算出手段からの信頼度に基づいて判定対象認識候補文字群の後処理を制御する後処理制御手段とを有する。
【０００４】
特許文献３に開示された方法は、入力された文書画像から論理要素を抽出し、抽出された論理要素が文字列領域であるかを識別し、識別された文字列領域を文字認識し、認識結果の確信度がしきい値以上であるときテキストとして表示し、しきい値未満であるとき部分画像として表示する。
【０００５】
特許文献４に開示された情報処理装置の分類手段は、文字認識対象を３種類のいずれかに分類し、抽出手段は、前記分類手段によって第１の種類に分類された場合に、前記文字認識対象の文字認識結果を抽出し、第１の制御手段は、前記分類手段によって第２の種類に分類された場合に、前記文字認識対象の文字認識結果を抽出し、該文字認識対象を人手で入力させるように制御し、第２の制御手段は、前記分類手段によって第３の種類に分類された場合に、前記文字認識対象を複数人の人手で入力させるように制御する。
【０００６】
特許文献５〜１０には、文字認識の認識確度についての様々な算出方式が示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−３４６０８０号公報
【特許文献２】特開２００３−２９６６６１号公報
【特許文献３】特開２０００−２５９８４７号公報
【特許文献４】特開２０１６−２１２８１２号公報
【特許文献５】特開平５−４０８５３号公報
【特許文献６】特開平５−２０５００号公報
【特許文献７】特開平５−２９０１６９公報
【特許文献８】特開平８−１０１８８０号公報
【特許文献９】特開平９−１３４４１０号公報
【特許文献１０】特開平９−２５９２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
入力に対して判定を行い、複数の後段処理のうち、判定結果の判定確度に属する区間に対応する後段処理にその判定結果を処理させるシステムでは、それら区間を区切る閾値を設定する必要がある。それら閾値は、蓄積されている過去の判定結果の情報を反映したものであることが望まれる。しかし、そのような閾値を定める装置や方法は従来提案されていない。
【課題を解決するための手段】
【０００９】
請求項１に係る発明は、入力に対して判定を行う判定手段と、前記入力に対する前記判定手段の判定確度を算出する算出手段と、前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段と、前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段と、を含む判定システムのために、前記判定確度についての前記区間を区切る閾値を決定する情報処理装置であって、前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段と、前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段と、を含む情報処理装置である。
【００１０】
請求項２に係る発明は、前記各区間に対応する前記判定手段の目標認識率は、前記判定確度が高い区間ほど高い値であり、前記決定手段は、前記目標認識率が高い区間から順に、各区間を規定する前記閾値を決定する、請求項１に記載の情報処理装置である。
【００１１】
請求項３に係る発明は、前記判定確度が高い区間に対応する前記後段処理手段ほど、前記判定結果を用いて前記出力を生成するための方法としてコストがより低い方法を用いており、前記決定手段は、前記コストが低い区間から順に、各区間を規定する前記閾値を決定する、請求項１又は２に記載の情報処理装置である。
【００１２】
請求項４に係る発明は、前記判定確度が最も高い区間に対応する前記後段処理手段は、前記判定手段の判定結果をそのまま前記出力とするものであり、前記判定確度が最も高い区間に対応する前記後段処理手段についての前記目標正解率として、前記判定システムに対して設定された目標正解率を用いる、請求項１〜３のいずれか１項に記載の情報処理装置である。
【００１３】
請求項５に係る発明は、前記複数の後段処理手段には、前記判定手段の判定結果を用いずに前記入力に対する出力を生成する第２種の後段処理手段が含まれ、前記第２種の後段処理手段は、前記区間のうち判定確度が最も低い区間に対応付けられる、請求項１〜４のいずれか１項に記載の情報処理装置である。
【００１４】
請求項６に係る発明は、前記第２種の後段処理手段に対応する前記目標正解率は０である、請求項５に記載の情報処理装置である。
【００１５】
請求項７に係る発明は、前記複数の後段処理手段は、前記判定手段の判定結果をそのまま前記出力とする第１の後段処理手段と、前記判定手段の判定結果を用いずに前記入力に対する人による判定結果に基づき前記出力を生成する第２の後段処理手段と、前記判定手段の判定結果と前記入力に対する人による判定結果との突き合わせにより前記出力を生成する第３の後段処理手段と、からなり、前記第１の後段処理手段についての前記目標正解率として、前記判定システムに対して設定された目標正解率を用い、前記第２の後段処理手段についての前記目標正解率として０を用い、前記第３の後段処理手段についての前記目標正解率を、前記人の正解率と前記判定手段の正解率とから求める、請求項１〜３のいずれか１項に記載の情報処理装置である。
【００１６】
請求項８に係る発明は、前記取得手段は、判定確度と正誤情報との組の代わりに、判定確度と、判定確度の最大値から当該判定確度までの範囲内の各判定確度に対応する前記正誤情報の累積結果の情報と、の組を取得し、前記決定手段は、前記各判定確度に対応する前記累積結果の情報を用いて、前記閾値を決定しようとする区間の正解率を求める、請求項１〜７のいずれか１項に記載の情報処理装置である。
【００１７】
請求項９に係る発明は、入力に対して判定を行う判定手段と、前記入力に対する前記判定手段の判定確度を算出する算出手段と、前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段と、前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段と、を含む判定システムのために、前記判定確度についての前記区間を区切る閾値を決定する情報処理装置としてコンピュータを機能させるためのプログラムであって、前記コンピュータを、前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段、前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段、として機能させるためのプログラムである。
【００１８】
請求項１０に係る発明は、入力に対して判定を行う判定手段と、前記入力に対する前記判定手段の判定確度を算出する算出手段と、前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段と、前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段と、前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段と、前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段と、を含む情報処理装置である。
【００１９】
請求項１１に係る発明は、コンピュータを、入力に対して判定を行う判定手段、前記入力に対する前記判定手段の判定確度を算出する算出手段、前記判定手段の判定結果に対して後段処理を行うことで前記入力に対する出力を生成可能であり、前記出力の生成における前記判定手段の判定結果に対する依存度合いが互いに異なる複数の後段処理手段であって、前記判定確度が取り得る範囲を１以上の閾値で区切った区間ごとに対してそれぞれ対応づけられた複数の後段処理手段、前記算出手段が算出した判定確度が属する区間に対応する前記後段処理手段に、前記入力に対する出力の生成を行わせるように制御する制御手段、前記判定手段に対する過去の入力の各々について、当該入力に対する前記判定確度と、当該入力に対する前記判定手段の判定結果が正解か不正解かを示す正誤情報との組の集合を取得する取得手段、前記取得手段が取得した前記集合を用いて、判定確度が高い区間から順に、当該区間に属する前記組の集合から求められる前記判定手段の正解率が、その区間に対応する前記判定手段の目標正解率を満たすよう当該区間を規定する前記閾値を決定する決定手段、として機能させるためのプログラムである。
【発明の効果】
【００２０】
請求項１、２、４、５、６、９、１０又は１１に係る発明によれば、複数の後段処理に対応する、認識確度についての複数の区間を区切る閾値として、蓄積されている過去の判定結果の情報を反映した閾値を決定することができる。
【００２１】
請求項３に係る発明によれば、この発明を用いない場合と比べて、判定システム全体としての判定のためのコストを低減することができる。
【００２２】
請求項７に係る発明によれば、各区間の目標正解率を自動的に決定することができる。
【００２３】
請求項８に係る発明によれば、閾値を決定する際に正誤情報の累積結果の情報を算出しなくてよい。
【図面の簡単な説明】
【００２４】
【図１】実施形態の閾値設定処理装置が適用される判定システムの例を示す図である。
【図２】閾値設定処理装置に入力される学習用データを説明するための図である。
【図３】閾値設定処理装置の機能構成を例示する図である。
【図４】閾値算出部の処理手順を例示する図である。
【図５】閾値算出部が行う処理を説明するための図である。
【図６】閾値算出部の処理の進み方を説明するための図である。
【図７】閾値算出部における閾値決定処理の詳細な手順を例示する図である。
【図８】判定システムの具体例の主要部を例示する図である。
【発明を実施するための形態】
【００２５】
図１に、本発明に係る情報処理装置の一実施形態である閾値設定処理装置２０と、これを用いる判定システムの例を示す。
【００２６】
この判定システムは、入力される画像データ（「入力画像データ」）に含まれる文字列を、ＯＣＲ１０とＮ個の後段処理部１８−１、１８−２、・・・、１８−Ｎ（Ｎは２以上の整数。以下、相互に区別の必要がない場合は後段処理部１８と総称）により判定する。
【００２７】
ＯＣＲ１０は、入力画像データに対して公知のＯＣＲ（光学文字認識）処理を行うことで、その入力画像データ内に含まれる文字列を認識する。ＯＣＲ１０は、入力画像データから認識した文字列を示すテキストコードと認識確度との組を出力する。認識確度は、認識結果のテキストコードがその入力画像データに含まれる文字列（手書きの場合もある）を正しく表している確からしさを示す度合いである。認識確度が高いほど、認識結果のテキストコードが正解である（すなわち入力画像データ中の文字列を正しく表している）可能性が高い。認識結果が正解である可能性を以下では、認識率又は正解率と呼ぶ。ＯＣＲ１０は、入力画像データについての異なる複数の認識結果を、認識確度が高い順に、認識確度と対応付けて出力してもよい。なお、ＯＣＲ１０が文字認識を行う単位（すなわち認識結果を出力する単位）は、特に限定されず、例えば、文字単位、行又は列（横書き又は縦書き）単位、ページ単位、文書単位等のいずれであってもよい。
【００２８】
なお、ＯＣＲ１０が用いる文字認識の手法や認識確度の算出方法は特に限定されず、特許文献５〜１０に例示したものを始めとする従来手法や今後開発される手法のうちいずれを用いてもよい。
【００２９】
Ｎ個の後段処理部１８の各々は、原則的には、ＯＣＲ１０による認識結果のテキストコードを受け取り、そのテキストコードと、０個以上の他の手段による入力画像データ中の文字列の認識結果とを用いて、当該後段処理部１８の最終的な文字認識結果を決定する。例えば、ＯＣＲ１０の認識結果と、「他の手段」の認識結果の中から、所定の（すなわち予め定められた）規則に従って、１つの認識結果を選択して最終的な文字認識結果として出力する。「他の手段」として何を用いる（他の手段を用いない場合もある）かや、出力する認識結果を選択するための規則は、後段処理部１８ごとに定められている。後段処理部１８が文字認識に用いる「他の手段」としては、人、本システムの外部にある文字認識サービス等がある。この外部の文字認識サービスとしては、例えば平均的な認識率（正解率）がＯＣＲ１０より高いと期待されるが、利用のためにコストがかかる（ＯＣＲ１０の利用コストが０とみなせる場合）か、又は利用コストがＯＣＲ１０よりも高いものを用いる。なお、Ｎ個の後段処理部１８の中には、ＯＣＲ１０の認識結果をまったく用いないものが含まれていてもよい。
【００３０】
Ｎ個の後段処理部１８には、１、２、３、・・・、Ｎの順に順序が規定されており、この順序の番号の数字が大きいほどに、ＯＣＲ１０への依存度が高い。より厳密には、順序番号が大きくなるに従ってＯＣＲ１０への依存度が単調増加する。また、順序番号が大きい後段処理部１８ほど、当該後段処理部１８の処理に必要なコスト（最終的に金額に換算される費用のこと）が低い。より厳密には、順序番号が大きくなるにつれて、処理のコストが単調減少する。
【００３１】
例えば、順序が最後の後段処理部１８−Ｎ（以下煩雑さを避けるため後段処理部１８−Ｋのことを「後段処理Ｋ」とも呼ぶ。Ｋは１からＮまでの整数）として、後述する図８の「後段処理３」のように、ＯＣＲ１０の文字認識結果のテキストコードをそのまま最終的な文字認識結果として出力するものを用いてもよい。この例の後段処理Ｎは、最終的な文字認識結果の決定のためにＯＣＲ１０の認識結果のみを用い、「他の手段」は用いないため、ＯＣＲ１０への依存度はいわば１００％である。また、この例の後段処理Ｎは、ＯＣＲ１０以外に文字認識を担当する手段を用いないので、ＯＣＲ１０以外の文字認識のための追加のコストは０である。
【００３２】
また、順序が最初の後段処理部１８−１（「後段処理１」）は、ＯＣＲ１０の認識結果を用いず、１以上の「他の手段」の文字認識結果のみから最終的な認識結果を決定するものであってもよい。この例の後段処理ＮのＯＣＲ１０への依存度はいわば０％である。後段処理Ｎとしては、後述する図８の「後段処理１」のように、２人が入力画像データを見て認識し、入力した文字列同士が一致した場合にはその文字列を最終的な認識結果とし、一致しなかった場合には別の人による文字認識の結果を最終的な認識結果とするものを用いてもよい。この場合、最小でも２人、最大では３人の人を要するため、処理のための所要コストは高い。
【００３３】
また、例えば、後述する図８に例示した「後段処理２」のように、ＯＣＲ１０の認識結果と、第１の人が同じ入力画像データを見て入力した認識結果の文字列とが一致する場合にはその認識結果を最終的な認識結果として採用し、一致しない場合には第２の人がその同じ入力画像データを見て入力した認識結果を最終的な認識結果として採用する後段処理部１８（後段処理Ａと呼ぶ）を用いてもよい。この後段処理ＡのＯＣＲ１０への依存度及びコストは、前に例示したＯＣＲ１０の認識結果をそのまま最終的な認識結果に採用する後段処理Ｎと、前述のＯＣＲ１０をまったく用いない後段処理部１との間になる。
【００３４】
また、後段処理部１８の１つとして、例えば、前述の後段処理Ａにおいて第１の人の代わりに外部のより高度な（そしてより高コストな）文字認識システムを用いるもの（後段処理Ｂと呼ぶ）を用いてもよい。この後段処理部１８は、ＯＣＲ１０の認識結果と外部の文字認識システムの認識結果とが一致する場合にはその認識結果を最終的な認識結果として採用し、一致しない場合には人が同じ入力画像データを見て入力した認識結果を最終的な認識結果として採用する。後段処理Ｂは、ＯＣＲ１０の認識結果を後段処理Ａと同じ方法で用いるので、後段処理ＢのＯＣＲ１０への依存度は、後段処理Ａのそれと同等であるとみなしてよい。一般に、人にかかるコストは、コンピュータによる文字認識システムのコストよりも高いので、後段処理Ｂは後段処理Ａよりもコストが低い。このため、この後段処理Ｂの順番は後段処理Ａよりも後の順番（数字が大きい）となる。
【００３５】
また、例えば、入力画像データとＯＣＲ１０の認識結果とを人に提示し、その人がＯＣＲ１０の認識結果が正しいと判断した場合にはその旨を示す簡単な入力（例えば正解ボタンの押下）を受け付け、誤っていると判断した場合にはその人の認識結果の文字列の入力を最終的な認識結果として受け付ける後段処理部１８（後段処理Ｃと呼ぶ）を用いてもよい。この後段処理Ｃは、「他の手段」をまったく用いない上述の後段処理Ｎの例よりは高コストであるが、上述した後段処理ＡやＢより低コストである（「他の手段」が１人の人だけなので）。また、後段処理ＡやＢよりもＯＣＲ１０以外に最終的な認識結果の決定に関与する手段が少ないという意味で、ＯＣＲ１０への依存度は後段処理ＡやＢよりも高いといえる。したがって、後段処理Ｃの順番は、「他の手段」をまったく用いない上述の後段処理Ｎの例と、後段処理Ａとの間である。
【００３６】
また、この後段処理Ｃのバリエーションとして、ＯＣＲ１０が同じ入力画像データから認識した複数の認識結果候補を認識確度の高い順にいくつか人に提示し、それら候補の中に正解があればその人は単にその正解を選ぶという簡単な操作を行い、正解がなければその人が認識した文字列を入力するという後段処理Ｄを用いてもよい。後段処理Ｄは、人の入力の手間が少なくなる分、時間あたりに処理できる数が増えるため、時間あたりのコストは後段処理Ｃよりも低くなると期待される。このため、後段処理Ｄは後段処理Ｃより順番が後になる。
【００３７】
本実施形態では、ＯＣＲ１０が求める認識確度をＮ個の区間に分け、Ｎ個の後段処理部１８に対して、順位の順に１つずつ区間を対応付ける。すなわち、順位が高い後段処理部１８ほど、高い認識確度の区間が対応付けられる。そして、判定システムは、入力画像データについての最終的な文字認識結果を検定するために、これらＮ個の順位付けされた後段処理部１８のうち、ＯＣＲ１０が出力したその入力画像データについての認識確度が属する区間に対応付けられた後段処理部１８を選択し、動作させる。選択されていない後段処理部１８は動作させない。
【００３８】
図１に示す閾値ＤＢ１４は、これらＮ個の区間を区切る（Ｎ−１）個の閾値を保持する。閾値比較処理部１２は、ＯＣＲ１０が、出力する認識結果のテキストコードについて求めた認識確度を、それら（Ｎ−１）個の閾値と比較し、その認識結果がＮ個の区間のいずれに属するかを判定する。この判定の結果は、その区間を示す１からＮまでのいずれかの番号であり、この番号はその区間に対応する後段処理部１８を特定する情報として機能する。分離処理部１６は、閾値比較処理部１２が出力する区間番号を受け取り、Ｎ個の後段処理部１８のうち、その区間番号に対応する後段処理部１８を選択的に有効化する。有効化された後段処理部１８は、入力される情報（ＯＣＲ１０の認識結果、入力画像データ等）を用いて、その入力画像データに対する最終的な文字認識結果を決定して出力する。他の後段処理部１８は動作しない。統合処理部１９は、Ｎ個の後段処理部１８のうち、閾値比較処理部１２から得た区間番号に対応する後段処理部１８の出力を、その入力画像データに対するこの判定システムの文字認識結果として出力する。統合処理部１９は、他の後段処理部１８の出力は（仮にあったとしても）破棄する。
【００３９】
閾値ＤＢ１４に保持される閾値群は、閾値設定処理装置２０により設定される。閾値設定処理装置２０は、多数の学習用データを処理することで（Ｎ−１）個の閾値を決定する。学習用データとしては、図２に例示するように、過去にＯＣＲ１０が行ったＭ回（非常に多い回数）の文字認識の各々についての、認識確度の値と、その文字認識の結果が正解、誤りのいずれであったかを示す正誤情報とのペアを用いる。認識確度の値は、ＯＣＲ１０が出力した値を記録しておけばよい。また、正誤情報は、その文字認識の結果が正解であるか誤りであるかを示す二値の値である。以下の説明では、正誤情報は、正解の場合に「１」、誤りの場合に「０」となる情報とする。あくまで一例であるが、ＯＣＲ１０の認識結果の正誤を人が確認し、正誤情報を入力すればよい。
【００４０】
閾値設定処理装置２０が行う閾値設定処理のポイントは以下である。
（１）認識確度と正誤情報のペアを相当数、学習用データとして入力する。
（２）後段処理１〜Ｎの各々に、その後段処理部１８が用いる認識結果のテキストコードに求められる目標認識率を設定する。後段処理のＮの数字が大きいほど、目標認識率は高く設定する。
（３）後段処理Ｎから順に後段処理１に向かって、各後段処理Ｋ（１≦Ｋ≦Ｎ）の目標認識率を達成できる閾値を算出していく。
【００４１】
閾値設定処理装置２０は、学習用データ入力部２２、累積データ算出部２４、目標認識率設定部２６、閾値算出部２８を含む。
【００４２】
学習用データ入力部２２は、Ｍ個の学習用データ（認識確度と正誤情報のペア）を入力し、それらＭ個の学習用データを認識確度の順にソートする。
【００４３】
累積データ算出部２４は、ソートした学習用データを用いて、１番目の学習用データから各順番の学習用データまでの間の累積正解数を算出する。詳細は後述する。
【００４４】
目標認識率設定部２６は、後段処理１〜Ｎのそれぞれに対して目標認識率を設定する。後段処理Ｋの目標認識率は、その後段処理Ｋが満たすべき認識率である。一つの例では、この設定は、ユーザが行う。また、後述する図８の例では、目標認識率を自動設定できる。
【００４５】
閾値算出部２８は、累積データ算出部２４が算出した累積正解数と、目標認識率設定部が設定した各後段処理の目標認識率に基づいて、各後段処理に対応する認識確度の区間を区切る（Ｎ−１）個の閾値を算出する。
【００４６】
閾値算出部２８が行う閾値算出の方法を、図４〜図７を参照して説明する。
【００４７】
認識確度Ｘの取り得る範囲をＮ個の区間に区分するには、（Ｎ−１）個の閾値を決定する必要がある。ここで設定するＮ個の閾値を、Ｔ1，Ｔ2，・・・・，ＴN-1とする。認識確度Ｘの取り得る範囲は０から１までの実数としても、一般性は失われないので、以下の例ではそのように規定する。また、区間（後段処理）の番号をＫとする。
【００４８】
閾値算出部２８は、図４に例示する閾値算出手順を実行する。この手順では、まず閾値の両端をＴ0＝０、ＴN＝１に設定し、閾値インデクスＪKの初期値Ｊ0を０に設定する（Ｓ１０）。この例では、ＴK＝Ｘjとなるときのインデクスｊを、ｊ＝ＪN-Kと表す。つまり、以下に説明する手順は、閾値ＴKを求めるために、閾値インデクスＪN-Kを求めるアルゴリズムと捉えることができる。なお、Ｘjは、ｊ番目の学習用データの認識確度である。ただし１≦ｊ≦Ｍ。また後述するようにｉ＞ｊならばＸi≦Ｘjとなるようにソートされているとする。
【００４９】
次に、各区間Ｋについての目標認識率ＹKを設定する（Ｓ１２）。この目標認識率ＹKは、当該区間Ｋに対応する後段処理ＫのためにＯＣＲ１０が達成すべき目標となる認識率（すなわち文字認識の正解率）である。ここでは、区間Ｋの番号が大きくなるほど、目標認識率ＹKは高くなるように設定する。その理由は以下の通りである。
【００５０】
すなわち、図１に例示した判定システムは、入力画像データに対して後段処理１〜Ｎのいずれかを選択し、その選択された後段処理Ｋがその入力画像データに含まれる文字列についての、当該判定システムとしての最終的な認識結果を出力する。判定システム全体として要求される一定の認識率を満たす（すなわちそれ以上の認識率を平均として出す）必要があるので、選択された後段処理Ｋはその一定の認識率を満たす必要がある。後段処理Ｋは、ＯＣＲ１０の認識結果を他の手段による認識結果と組み合わせることで、後段処理Ｋとしての認識結果を求める。ここで、前述のように、番号Ｋが大きくなるほど、ＯＣＲ１０の認識結果に対する後段処理Ｋの依存度は高くなる。したがって、後段処理Ｋとしての認識率が判定システムに要求される認識率を満たすようにするには、Ｋが大きくなるほど、ＯＣＲ１０の認識率が高くする必要がある。このため、ＯＣＲ１０の目標認識率ＹKは、Ｋが大きくなるほど高くなるように設定する。
【００５１】
Ｓ１２での目標認識率ＹKの設定は、例えばユーザが行う。また、目標認識率ＹKを自動的に算出する例を後で説明する。
【００５２】
次に、閾値算出部２８は、学習用データを認識確度の降順にソートする（Ｓ１４）。前述のように個々の学習用データは、認識確度Ｘと正誤情報Ｆのペアである。そして、認識確度Ｘの降順にソートした学習用データ群では、ｉ＞ｊならばＸi≦Ｘjという関係が成り立つ。すなわち、インデクスｊの値が大きくなるにつれて、学習用データｊ内の認識確度Ｘjは単調減少する。予め学習用データを認識確度でソートしておくことによって、後述する累積正解数Ｓ（ｉ）の算出が高速になる。また、予め累積正解数Ｓ（ｉ）を算出しておくことによって、閾値算出処理が高速になる（毎回所望の後段処理に入る学習用データ数を加算する必要がなくなる）。
【００５３】
このソートの後の、各学習用データｊ内の認識確度Ｘj、閾値インデクスＪK及び閾値ＴKと、各区間（後段処理）Ｋとの関係を、図５に模式的に示す。図５に示すように、後段処理Ｋが適用される区間Ｋは、認識確度ＸがＴK-1以上ＴK未満の区間である。この区間Ｋに設定された目標認識率の値がＹKである。各学習用データｊの認識確度Ｘjは、インデクスｊが大きくなるにつれて値が小さくなる。学習用データの個数をＭとすると、ＸMが学習用データの集合の中での認識確度の最小値である。また、定義より、ｊ= ＪN-Kであるときの認識確度Ｘjが、閾値ＴKとなる。
【００５４】
図４の手順では、図５に示すように、Ｋ＝Ｎから順にＫが小さくなる方向に閾値ＴKを決定していくが、これは言い換えれば、閾値インデクスＪmを、ｍが０から大きくなる向きに決定していくことでもある。
【００５５】
図４の手順の説明に戻る。Ｓ１４の後、閾値算出部２８は、インデクスｉごとに、図示の式（１）を用いて、累積正解数Ｓ（ｉ）を計算する（Ｓ１６）。すなわち、累積正解数Ｓ（ｉ）は、各学習用データｊ内の正誤情報Ｆj（正解の場合１、不正解の場合０）を、ｊが１からｉまで総和したものである。
【００５６】
次に閾値算出部２８は、閾値ＴKのインデクスＫをＮ（＝後段処理の総数）に初期化する（Ｓ１８）。
【００５７】
次に、閾値算出部２８は、閾値ＴK-1を決定するための処理を実行する（Ｓ２０）。最初のループで処理する区間Ｎは、上限の閾値ＴNは１に決められており、Ｓ２０ではその区間Ｎの下限の閾値ＴN-1を決定する。Ｓ２０の処理の詳細な例は、後で図７を参照して説明する。
【００５８】
閾値ＴK-1の決定が終わると、閾値算出部２８は、インデクスＫを１減らし（Ｓ２２）、その結果Ｋが１に到達したかどうかを判定する（Ｓ２４）。Ｋが１でない場合（すなわちＫが２以上である場合）は、まだすべての閾値の決定が完了していないので、Ｓ２０に戻って閾値ＴK-1の決定を行う。Ｋが１に到達した場合、求めるべきすべての閾値Ｔ1〜ＴN-1の決定が完了したことを意味するので、図４の処理は終了する。
【００５９】
次に、図７を参照して、閾値ＴK-1を決定するための処理（Ｓ２０）の詳細な手順を例示する。
【００６０】
この手順を開始する時点では、閾値ＴN，ＴN-1，ＴN-2，・・・，ＴKは決定済みである。
【００６１】
この手順では、まず閾値算出部２８は、累積正解数Ｓ（ｊ）のインデクスｊをＭ（すなわち学習用データの総数）に初期化する（Ｓ２０２）。
【００６２】
次に閾値算出部２８は、図示の式（２）が成立するか否かを判定する（Ｓ２０４）。図５を参照して説明すると、Ｓ（ＪN-K）は、認識確度の最大値Ｘ1を含む学習用データ内の正誤情報Ｆ1から、既に決定済みの閾値ＴKの閾値インデクスＪN-K（＝j(K)とする）に対応する認識確度Ｘj(K)を含む学習用データ内の正誤情報Ｆj(K)までの総和である。一方、Ｓ（ｊ）は、正誤情報Ｆ1から、閾値インデクスＪN-Kよりも大きいインデクスｊに対応する正誤情報Ｆjまでの総和である。これらの差（Ｓ（ｊ）−Ｓ（ＪN-K））は、ＪN-Kからｊまでの区間の正解の総数であり、これを（ｊ−ＪN-K）で除すると、その区間でのＯＣＲ１０の正解率が得られる。
【００６３】
この正解率が現在の閾値決定処理の対象である区間Ｋの目標認識率ＹK以上であれば、ＪN-Kからｊまでの区間は、その区間Ｋについての目標認識率の条件を満たしている（Ｓ２０４の判定結果がＹｅｓ）。この場合閾値算出部２８は、このときのｊに対応する認識確度Ｘjを、その区間Ｋの認識確度の下限を規定する閾値ＴK-1として採用する（Ｓ２０６）。また、このとき、そのｊをその閾値ＴK-1に対応する閾値インデクスＪN-K+1として記憶する。
【００６４】
Ｓ２０４の判定結果がＮｏの場合、閾値算出部２８は、インデクスｊを１減らし（Ｓ２０８）、減らした結果の新たなインデクスｊが区間Ｋの上限に対応する閾値インデクスＪN-Kに達したかどうかを判定する（Ｓ２１０）。この判定の結果がＮｏの場合、閾値算出部２８は、Ｓ２０４に戻り、その新たなインデクスｊについて式（２）を評価する。
【００６５】
式（２）の評価は、最大値Ｍから順にインデクスｊを１ずつ減らしながら（Ｓ２０８）繰り返し行われ、ｊがＪN-Kに達すると（Ｓ２１０の判定結果がＹｅｓ）、区間Ｋに入り得る認識確度Ｘが存在しないということになる。この場合、閾値算出部２８は、その区間Ｋに対応する後段処理Ｋを無効化する（Ｓ２１２）。すなわち、この閾値設定処理で設定された閾値群を用いて判定システムが実行する実際の入力画像データについての判定処理では、その後段処理Ｋは用いられない。
【００６６】
このように、図７の手順では、最大値Ｍから順にインデクスｊが小さくなる方向に評価を進めるので、この手順により決定される区間Ｋは、目標認識率ＹKを満たす最大幅の区間となる。図４の手順は、対応する認識確度Ｘ（別の観点では対応する目標認識率ＹK）が高い区間Ｋから順にその区間Ｋの区切り（下限の閾値ＴK-1）を決定していくので、認識確度Ｘが高い区間Ｋから順に目標認識率ＹKを満たす最大幅の区間が確保されていくことになる。例えば、図６の例では、まず、対応する認識確度が最も高い後段処理Ｎの区間Ｎが目標認識率ＹNを満たす範囲で最大幅となるように区間Ｎの下限の閾値ＴN-1が決定され、次に区間（Ｎ−１）が目標認識率ＹN-1を満たす範囲で最大幅となるように閾値ＴN-2が決定される。このような決定処理が、対応する認識確度が最低の区間１の上限の閾値（すなわちの区間２の下限の閾値）Ｔ1を決定するところまで繰り返される。
【００６７】
認識確度（又は目標認識率ＹK）が高い区間Ｋに対応する後段処理Ｋほど、ＯＣＲ１０への依存度が高い、すなわちＯＣＲ１０よりコストが掛かる１以上の「他の手段」への依存度が低いので、図４の手順では、コストが低い後段処理Ｋから順に、目標認識率ＹKを満たす最大幅の区間が確保されていくので、入力画像データの処理時にコストが低い後段処理Ｋが選ばれやすくなり、判定システム全体としての処理コストが低減される（与えられた学習用データ群のもとでは理論上コストが最小化される）。
【００６８】
以上、本実施形態の閾値設定処理装置２０の構成及び動作について説明した。次に、図８を参照して、具体的な後段処理部１８を３つ（後段処理１〜３）備える判定システムの具体例に即して、各後段処理部１８に対応する区間の目標認識率を自動的に決定する例を示す。
【００６９】
図８には、この具体例の判定システムのうちの後段処理部１８−１、１８−２、１８−３と、それに対して認識結果を供給するＯＣＲ１０と、分離処理部１６とを示す。図８には、更にその判定システムに対して人の操作者による入力画像データを提供する人手入力装置３０−１、３０−２、３０−３（相互に区別する必要がない場合は人手入力装置３０と総称）を示す。
【００７０】
人手入力装置３０は、文字認識の対象となる入力画像データを画面に表示し、人である操作者からその入力画像データに含まれる文字列の認識結果の入力を受け付け、受け付けた認識結果の文字列を、後段処理部１８−１、１８−２、１８−３に送信する。人手入力装置３０は、例えば、判定システムに対してインターネットを介して接続された、各操作者のパーソナルコンピュータ上のアプリケーションソフトウエアである。
【００７１】
後段処理部１８−３（後段処理３）は、３つの後段処理部１８のうち認識確度（別の観点では目標認識率）が最も高い区間に対応するものであり、この例ではＯＣＲ１０の認識結果を受け取り、その認識結果をそのまま自分の認識結果として出力する。
【００７２】
後段処理部１８−２（後段処理２）は、３つの後段処理部１８のうち認識確度が真ん中の区間に対応するものである。後段処理部１８−２には、ＯＣＲ１０の認識結果に加え、人手入力装置３０−１及び３０−２から各操作者の認識結果の文字列が入力される。後段処理部１８−２は、ＯＣＲ１０の求めた認識確度に応じて分離処理部１６から選択されると、人手入力装置３０−１に対して入力画像データを供給し、人手入力装置３０−１の操作者がその入力画像データの認識結果として入力した文字列（テキストコード）を取得する。そして、ＯＣＲ１０から得た認識結果と人手入力装置３０−１から得た認識結果とを突き合わせ、それら両者が一致する場合には、その一致する認識結果を当該後段処理部１８−２の認識結果として出力する。一方、それら両者が不一致の場合は、後段処理部１８−２は、別の人手入力装置３０−２に対してその入力画像データを供給し、人手入力装置３０−２の操作者がその入力画像データの認識結果として入力した文字列を取得し、その文字列を後段処理部１８−２の認識結果として出力する。この場合、人手入力装置３０−２の操作者は、人手入力装置３０−１の操作者よりも入力画像データ内の文字列の認識の正確さが高いと想定される人（例えば過去の成績がよい人）としてもよい。
【００７３】
後段処理部１８−３（後段処理３）は、３つの後段処理部１８のうち認識確度が最低の区間に対応するものである。後段処理部１８−３は、ＯＣＲ１０の認識結果を用いず、人手入力装置３０−１、３０−２、３０−３に対して各々の操作者が入力した認識結果を用いて、後段処理部１８−２と同様の処理を行う。すなわち、後段処理部１８−３は、ＯＣＲ１０の求めた認識確度に応じて分離処理部１６から選択されると、人手入力装置３０−１及び３０−３に対して入力画像データを供給し、人手入力装置３０−１及び３０−３の各々の操作者がその入力画像データの認識結果として入力した文字列を取得する。そして、それら２つの人手入力装置３０−１及び３０−３から得た認識結果同士を突き合わせ、それら両者が一致する場合には、その一致する認識結果を当該後段処理部１８−３の認識結果として出力する。一方、それら両者が不一致の場合、後段処理部１８−２は、別の人手入力装置３０−２に対してその入力画像データを供給し、人手入力装置３０−２の操作者がその入力画像データの認識結果として入力した文字列を取得し、その文字列を後段処理部１８−２の認識結果として出力する。この場合、人手入力装置３０−２の操作者は、人手入力装置３０−１及び３０−３の各々の操作者よりも入力画像データ内の文字列の認識の正確さが高いと想定される人としてもよい。
【００７４】
このような３つの後段処理部１８−１、１８−２、１８−３に対応付けられる認識確度の３つの区間１、２、３は、２つの閾値Ｔ1及びＴ2に（Ｔ1＜Ｔ2）より区切られる。分離処理部１６は、ＯＣＲ１０出力する認識確度ＸがＴ1未満であれば後段処理部１８−１を選択し、Ｔ1以上Ｔ2未満であれば後段処理部１８−２を選択し、Ｔ2以上であれば後段処理部１８−３を選択する。
【００７５】
閾値設定処理装置２０は、３つの後段処理部１８−１、１８−２、１８−３に対応する区間１（Ｔ1＞Ｘ）、区間２（Ｔ2＞Ｘ≧Ｔ1）、区間３（Ｘ≧Ｔ2）の各々に対応するＯＣＲ１０の目標認識率Ｙ1、Ｙ2、Ｙ3を次のようにして計算する。
【００７６】
まず、判定システムの目標認識率（つまり判定システムの最終的な出力の正解率の目標値）をＲとする。後段処理部１８−１は、ＯＣＲ１０の認識結果をまったく用いないので、ＯＣＲ１０の認識率は０でもよい。そこで、閾値設定処理装置２０は、目標認識率Ｙ1＝０とする。後段処理部１８−１自体は、人手入力装置３０−１、３０−２、３０−３の各々の操作者を適切に選ぶことで判定システムの目標認識率Ｒを満たす。
【００７７】
一方、後段処理部１８−３は、ＯＣＲ１０の認識結果をそのまま自身の出力として使うので、目標認識率Ｙ3＝Ｒである。
【００７８】
残る後段処理部１８−２については、以下のようにしてＯＣＲ１０の目標認識率Ｙ2を算出する。
【００７９】
まず、人がデータエントリ（すなわち入力画像データに含まれる文字列を認識し、人手入力装置３０に入力する処理）するときのエラー率をλとする。言い換えれば、人のデータエントリの正解率（認識率）は、（１−λ）である。一方、ＯＣＲ１０の認識結果のエラー率をωとする。すなわち、ＯＣＲ１０の正解率（認識率）は（１−ω）である。後段処理部１８−２によるＯＣＲ１０と人の認識結果の突き合わせ処理のエラー率の概算値はλωとなる。後段処理部１８−２が判定システムの目標認識率Ｒを満たす必要があることを考え合わせると、
λω＝（１−Ｒ）
が成り立つ。したがって、後段処理部１８−２が選ばれる場合のＯＣＲ１０の目標認識率Ｙ2は（１−ω）に等しいと考えてよいので、最終的にＹ2は、既知である人のエラー率λと判定システムの目標認識率Ｒから次のように計算される。
Ｙ2＝１−ω＝１−（１−Ｒ）／λ
【００８０】
閾値設定処理装置２０は、この式に従って閾値Ｙ2を計算すればよい。
【００８１】
以上に説明した実施形態は、本発明の具現化のあくまで一例に過ぎない。
【００８２】
以上の例では、閾値の決定において累積正解数Ｓ（ｊ）を用いたが、この代わりに累積エラー数を用いてもよい。エラー数は、Ｆj＝０の学習用データの数である。また、累積正解数Ｓ（ｊ）（またはエラー数）の代わりに、累積正解数をサンプル数で割った累積正解率（認識率）を用いても、累積正解数を用いる場合と同様の処理が可能である。また、各区間Ｋがその上限または下限の閾値ＴK又はＴK-1を含むか否かは、上に例示したものに限らず、適宜定めればよい。
【００８３】
また、上記実施形態では、閾値設定処理装置２０には、認識確度Ｘと正誤情報Ｆのペアである学習用データが入力されたが、これは一例に過ぎない。この代わりに、正誤情報Ｆを、対応する認識確度Ｘの小さい順又は大きい順に注目する認識確度Ｘjまで累積することで得られる累積結果の情報を予め計算しておき、その情報とその認識確度Ｘjとのペアを学習用データとして閾値設定処理装置２０に入力してもよい。ここで累積結果の情報としては、上述した累積正解数、累積エラー数、累積正解率、累積エラー率等のいずれを用いてもよい。
【００８４】
また、上記実施形態では、判定システムは、入力画像データ中の文字列を認識するものであったが、文字認識以外にも、入力されたデータの内容を判定してその判定結果を出力する判定システム全般に、上記実施形態の手法が適用可能である。すなわち、本発明の適用対象となる判定システムは、入力されたデータの内容を判定する一次判定手段（ＯＣＲ１０に相当）と、その一次判定手段の判定結果と０以上の他の判定手段（例えば人間や一次判定手段より高精度だが高コストの判定手段）の判定結果を組み合わせてそのデータの内容の判定結果を求める複数の後段処理部とを含むものでよい。この判定システム、一次判定手段の判定結果についての判定確度（文字認識の場合の認識確度に相当）を求める手段を有し、この判定確度に応じて、複数の後段処理部のいずれを用いるかを決定する。すなわち、各後段処理部には、それぞれ異なる判定確度の区間が対応付けられ、一次判定手段の判定の判定確度が属する区間に対応する後段処理部が選択的に動作する。
【００８５】
以上に例示した判定システム及び閾値設定処理装置２０は、一つの例ではハードウエアの論理回路として構成可能である。また、別の例として、判定システム及び閾値設定処理装置２０は、例えば、内蔵されるコンピュータにそれらシステムまたは装置内の各機能モジュールの機能を表すプログラムを実行させることにより実現してもよい。ここで、コンピュータは、例えば、ハードウエアとして、ＣＰＵ等のプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、ＨＤＤ（ハードディスクドライブ）を制御するＨＤＤコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバスを介して接続された回路構成を有する。また、そのバスに対し、例えばＩ／Ｏインタフェース経由で、ＣＤやＤＶＤなどの可搬型ディスク記録媒体に対する読み取り及び／又は書き込みのためのディスクドライブ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び／又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク等の通信手段経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。また、判定システム及び閾値設定処理装置２０は、ソフトウエアとハードウエアの組合せで構成されてもよい。
【符号の説明】
【００８６】
１０  ＯＣＲ、１２  閾値比較処理部、１４  閾値ＤＢ、１６  分離処理部、１８  後段処理部、１９  統合処理部、２０  閾値設定処理装置、２２  学習用データ入力部、２４  累積データ算出部、２６  目標認識率設定部、２８  閾値算出部、３０  人手入力装置。
【図１】
2019159374.tif 000003
【図２】
2019159374.tif 000004
【図３】
2019159374.tif 000005
【図４】
2019159374.tif 000006
【図５】
2019159374.tif 000007
【図６】
2019159374.tif 000008
【図７】
2019159374.tif 000009
【図８】
2019159374.tif 000010