(57)【特許請求の範囲】
【請求項１】
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得する取得部と、
認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる非互換率の許容値を取得する許容値取得部と、
前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを生成する生成部と
を備える情報処理装置。
【請求項２】
前記結果データに基づき、一の認識方式の認識結果が正であり他の認識方式の認識結果が誤である場合に、各認識方式の指標値の組み合わせが現れる第１確率を算出する第１確率算出部
を備える請求項１に記載の情報処理装置。
【請求項３】
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得し、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる変化率の許容値を取得し、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを読み出す読み出し部と、
複数の認識方式により得られた認識結果及び指標値を取得する指標値取得部と、
取得した各認識方式の指標値及び前記選択テーブルを参照し、認識方式を選択する選択部と、
選択部により選択した認識方式に係る認識結果を出力する出力部と
を備える情報処理装置。
【請求項４】
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得し、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる変化率の許容値を取得し、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを読み出し、
複数の認識方式により得られた認識結果及び指標値を取得し、
取得した各認識方式の指標値及び前記選択テーブルを参照し、認識方式を選択し、
選択した認識方式に係る認識結果を出力する
処理をコンピュータに実行させる情報処理方法。
【請求項５】
コンピュータに、
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得し、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる変化率の許容値を取得し、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを読み出し、
複数の認識方式により得られた認識結果及び指標値を取得し、
取得した各認識方式の指標値及び前記選択テーブルを参照し、認識方式を選択し、
選択した認識方式に係る認識結果を出力する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、取得した画像データ等に対し複数の認識方式を適用し、認識結果の確からしさを示す指標値が高い方の認識方式の結果を利用する認識システムが提案されている（例えば特許文献１から３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１５５８０３号公報
【特許文献２】特開平１１−２８２９６４号公報
【特許文献３】特開平１０−２４０９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では指標値に依存しているため、認識正答率及び非互換性が十分でないという問題があった。
【０００５】
一つの側面では、複数の認識方式を採用した場合でも、認識正答率及び非互換性を向上させることが可能な情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願に開示する情報処理装置は、テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得する取得部と、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる非互換率の許容値を取得する許容値取得部と、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを生成する生成部とを備える。
【発明の効果】
【０００７】
一つの側面では、認識正答率及び非互換性を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報処理システムの概要を示す説明図である。
【図２】コンピュータのハードウェア群を示すブロック図である。
【図３】結果ファイルのレコードレイアウトを示す説明図である。
【図４】正誤ファイルのレコードレイアウトを示す説明図である。
【図５】正答率及び非互換率を示す説明図である。
【図６】正答指標値の組を示すグラフである。
【図７】指標値が高い認識方式を選択した際のイメージを示す説明図である。
【図８】選択方式を変更した際のイメージを示す説明図である。
【図９】認識方式の選択方式に対する、正答率及び非互換率の変化を示すグラフである。
【図１０】最適な選択方法の概念を示すイメージ図である。
【図１１】各認識方式の指標値の組み合わせに対する第１確率を示す説明図である。
【図１２】各認識方式の指標値の組み合わせに対する第２確率を示す説明図である。
【図１３】各指標値の組み合わせに対する除算値を示す説明図である。
【図１４】候補選択テーブル、非互換率及び正答率を示す説明図である。
【図１５】本実施形態に係る選択テーブルと他の選択テーブルとの対比を示す説明図である。
【図１６】結果取得処理の手順を示すフローチャートである。
【図１７】選択テーブルの選択処理手順を示すフローチャートである。
【図１８】選択テーブルの選択処理手順を示すフローチャートである。
【図１９】認識処理の手順を示すフローチャートである。
【図２０】３以上の認識方式を用いる場合の処理内容を示す説明図である。
【図２１】認識処理の手順を示す説明図である。
【図２２】グループ決定処理の手順を示すフローチャートである。
【図２３】グループ選択処理の手順を示すフローチャートである。
【図２４】認識処理の手順を示すフローチャートである。
【図２５】推定確率を示す説明図である。
【図２６】正答指標値の推定確率を示す説明図である。
【図２７】選択可能なグループと選択確率を示す説明図である。
【図２８】認識方式の合成を示す説明図である。
【図２９】認識方式の生成処理手順を示すフローチャートである。
【図３０】テーブル生成処理の手順を示すフローチャートである。
【図３１】上述した形態のコンピュータの動作を示す機能ブロック図である。
【図３２】実施の形態６に係るコンピュータのハードウェア群を示すブロック図である。
【発明を実施するための形態】
【０００９】
実施の形態１
以下実施の形態を、図面を参照して説明する。図１は情報処理システムの概要を示す説明図である。情報処理システムは、情報処理装置１、及び、データ取得装置２等を含む。情報処理装置１及びデータ取得装置２は有線または無線で接続されている。情報処理装置１はサーバコンピュータ、パーソナルコンピュータ、携帯電話、スマートフォン、ゲーム機またはＰＤＡ（Personal Digital Assistant）等である。以下では情報処理装置１をコンピュータ１と読み替えて説明する。
【００１０】
データ取得装置２は例えば、計測対象物の各種データを取得する装置またはセンサ等でありカメラ、マイク、加速度センサ、温度センサ、スキャナ、光度センサ等である。なお、データ取得装置２は、コンピュータ１と一体化されていても良い。本実施形態では一例としてカメラを用い、自動車ナンバープレートに示された文字を認識する形態を説明する。以下ではデータ取得装置２をカメラ２という。
【００１１】
カメラ２から取り込まれた画像データはコンピュータ１へ出力される。コンピュータ１にはナンバープレートに対する複数の認識方式が用意されている。本実施形態では旧認識方式と、新認識方式の２つが存在するものとして説明する。コンピュータ１は、旧認識方式を適用し、認識結果及び認識結果の確からしさを示す指標値を出力する。指標値は例えば０から１の値であり、数値が大きくなるほど、正確であるものとして説明する。
【００１２】
コンピュータ１は同様に新認識方式を適用して、認識結果及び認識結果の確からしさを示す指標値を出力する。コンピュータ１には、旧認識方式の指標値と、新認識方式の指標値との組み合わせにおいて、何れの認識方式を選択するかを示す選択テーブル１５１が用意されている。コンピュータ１は、選択テーブル１５１及び新旧の指標値を参照し、いずれかの認識方式を選択する。コンピュータ１は選択された認識方式に係る認識結果を出力する。以下では、テストデータを用いて選択テーブル１５１を生成する処理について詳述する。
【００１３】
図２はコンピュータ１のハードウェア群を示すブロック図である。コンピュータ１は制御部としてのＣＰＵ１１、ＲＡＭ１２、入力部１３、表示部１４、記憶部１５、通信部１６、時計部１８及び画像取込部１９等を含む。ＣＰＵ１１は、バス１７を介してハードウェア各部と接続されている。ＣＰＵ１１は記憶部１５に記憶された制御プログラム１５Ｐに従いハードウェア各部を制御する。またＣＰＵ１１は、制御プログラム１５Ｐ内の新旧認識方式に係るプログラムを実行し、ナンバープレートに対する文字認識を行う。ＲＡＭ１２は例えばＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等である。ＲＡＭ１２は、記憶部としても機能し、ＣＰＵ１１による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
【００１４】
入力部１３はマウスまたはキーボード、マウスまたはタッチパネル等の入力デバイスであり、受け付けた操作情報をＣＰＵ１１へ出力する。表示部１４は液晶ディスプレイまたは有機ＥＬ（electroluminescence）ディスプレイ等であり、ＣＰＵ１１の指示に従い各種情報を表示する。通信部１６は通信モジュールであり、図示しない他のコンピュータとの間でインターネット等の通信網Ｎを介して、情報の送受信を行う。
【００１５】
時計部１８は日時をＣＰＵ１１へ出力する。画像取込部１９はカメラ２から出力される画像データを取り込む。画像取込部１９は取り込んだ画像をＣＰＵ１１へ出力する。ＣＰＵ１１は、画像データをＲＡＭ１２に記憶し、ナンバープレートの新旧の認識方式プログラムを実行して、認識処理を行う。記憶部１５はハードディスクまたは大容量メモリであり、制御プログラム１５Ｐ、選択テーブル１５１、結果ファイル１５２及び正誤ファイル１５３等を記憶している。なお、実施形態では選択テーブル１５１等を記憶部１５に記憶する例を挙げたがこれに限るものではない。ＲＡＭ１２に記憶するほか、図示しない他のＤＢサーバ内に記憶するようにしても良い。この場合、ＣＰＵ１１は、ＳＱＬ(Structured Query Language)を用いて選択テーブル１５１に対し、情報の読み出し及び書き込みを行う。
【００１６】
図３は結果ファイル１５２のレコードレイアウトを示す説明図である。結果ファイル１５２は、テストＩＤフィールドに加え、新旧認識方式について、認識結果フィールド、正誤フィールド、指標値フィールド等を含む。テストＩＤフィールドには、テストデータにおける計測対象物を特定するための固有の識別情報（以下、テストＩＤという）が記憶されている。本実施形態では計測対象物であるナンバープレート毎にテストＩＤが付与されている。
【００１７】
認識結果フィールドには、新旧認識方式により算出された認識結果が記憶されている。正誤フィールドには、認識結果が正しいことを示す正、認識結果が誤りであることを示す誤の情報が記憶されている。指標値フィールドには、新旧認識方式プログラムが出力した認識結果の確からしさを示す指標値が記憶されている。図３の例では説明を容易にするために指標値を粗視化すべく、高、低の２つの値を指標値として記憶している。
【００１８】
ＣＰＵ１１は、画像取込部１９からテスト用の画像データを取り込む。なお、テスト用の画像データは通信部１６を介してダウンロードするようにしても良い。ユーザは、テストデータにおける各ナンバープレートの正確な番号を予め把握しているものとする。ＣＰＵ１１は、旧認識方式プログラムを実行し、テストデータに対する認識結果及び指標値を結果ファイル１５２に記憶する。ユーザは認識結果が正しい場合、入力部１３から正を示す情報を入力する。ユーザは結果認識が誤りであると判断した場合、入力部１３から誤を示す情報を入力する。ＣＰＵ１１は、入力部１３から入力された正誤の情報を結果ファイル１５２に記憶する。
【００１９】
同様に、ＣＰＵ１１は、新認識方式プログラムを実行し、テストデータに対する認識結果及び指標値を結果ファイル１５２に記憶する。ユーザは認識結果が正しい場合、入力部１３から正を示す情報を入力する。ユーザは結果認識が誤りであると判断した場合、入力部１３から誤を示す情報を入力する。ＣＰＵ１１は、入力部１３から入力された正誤の情報を結果ファイル１５２に記憶する。
【００２０】
図４は正誤ファイル１５３のレコードレイアウトを示す説明図である。正誤ファイル１５３は、旧認識方式の正答数及び誤答数と、新認識方式の正答数及び誤答数とを記憶している。図４の例は１００件のテストデータについて新旧の認識方式を用いて認識処理を行った結果を示している。ＣＰＵ１１は、結果ファイル１５２の正誤フィールドの情報を参照し、正誤ファイル１５３に情報を記憶する。図４の例では、旧認識方式及び新認識方式共に正答となる件数は８５件である。
【００２１】
旧認識方式では正答であったが、新認識方式では誤答となった件数は５件である。旧認識方式では誤答であったが、新認識方式では正答となった件数は７件である。旧認識方式及び新認識方式共に誤答となった件数は３件である。ＣＰＵ１１は、正誤ファイル１５３を参照し、旧認識方式の正答率、新認識方式の正答率、及び、認識方式を旧から新へ切り替えることにより、切り替え前後で認識結果が正から誤となる数に基づき算出される非互換率を算出する。
【００２２】
図５は正答率及び非互換率を示す説明図である。ＣＰＵ１１は、正誤ファイル１５３を参照し、旧認識方式及び新認識方式共に正答となる件数８５件と、旧認識方式では正答であったが新認識方式では誤答となった件数５件とを加算する。ＣＰＵ１１は、加算した値を総件数１００件で除し、１００を乗ずることで、旧認識方式の正答率９０％を算出する。同様に、ＣＰＵ１１は、正誤ファイル１５３を参照し、旧認識方式及び新認識方式共に正答となる件数は８５件と、旧認識方式では誤答であったが新認識方式では正答となった件数７件とを加算する。ＣＰＵ１１は、加算した値を総件数１００件で除し、１００を乗ずることで、新認識方式の正答率９２％を算出する。
【００２３】
ＣＰＵ１１は、旧認識方式では正答であったが新認識方式では誤答となった件数５件を、旧認識方式で正答となった９０件で除し、１００を乗ずることで非互換率５．６％を算出する。図４の例では、新認識方式では正答率が２％向上しているものの、非互換率が５．６％にも上ることが分かる。このまま新認識方式に切り替えれば、５．６％の事例が認識できなくなるということとなる。
【００２４】
図６は正答指標値の組を示すグラフである。横軸は旧認識方式の正答指標値を示し、縦軸は新認識方式の正答指標値を示す。多数のデータに対し、新旧認識方式の両方を適用して、得られる指標値の組を２次元の点として描画した物である。図６においては、新旧認識方式の双方で誤答となった事例を×、新認識方式のみで正答となった事例は△、旧認識方式のみで正答となった事例を○、新旧認識方式の双方で正答となった事例を◎で示す。図６から、指標値が共に高い右上付近では新旧認識方式の双方が正答となる事例が多いことが理解できる。また旧認識方式の指標値が高く、新認識方式の指標値が低い右下付近では旧認識方式のみで正答となる事例が多いことが理解できる。逆に新認識方式の指標値が高く、旧認識方式の指標値が低い左上付近では新認識方式のみで正答となる事例が多いことも理解できる。
【００２５】
図７は指標値が高い認識方式を選択した際のイメージを示す説明図である。最も単純な選択方式として、指標値が高い方を選ぶ方法を採用した場合、グラフ左上半分の事例については、新認識方式の認識結果が選ばれる。また、グラフ右下半分の事例については，旧認識方式の認識結果が選ばれることになる。当該選択方式では、グラフ中央付近の○で表される事例が非互換事例となる。すなわち、旧認識方式では認識できていたにもかかわらず、本選択方式では認識できなくなる。
【００２６】
図８は選択方式を変更した際のイメージを示す説明図である。図８の例では、指標値の選択方法を若干変更している。このように、指標値の選択方法を適宜変更することで、新旧認識方式の双方を利用しても、正答率を改善しつつ非互換率を０にすることができる。
【００２７】
図９は、認識方式の選択方式に対する、正答率及び非互換率の変化を示すグラフである。横軸は選択方式を示し、原点は常に旧認識方式を選択することを示す。横軸正方向に増加するにつれ新認識方式を選択する割合が増加することを示している。横軸正方向の最大値が常に新認識方式を選択することを示す。縦軸は正答率及び非互換率を示し、単位は％である。図９におけるグラフにおいて実線が正答率を示し、点線が非互換率を示す。
【００２８】
図８から明らかなように、指標値の選択方法を変えた場合、非互換率及び正答率は図９の如く変化する。常に旧認識方式を選択する場合、非互換率は０であるが、正答率は旧方式の正答率のままであり、あまり高くない。新認識方式を選択する割合が増えるにつれて、非互換率及び正答率は次第に大きくなっていく。指標値が高い方を選択する付近にて、正答率は最大となる。
【００２９】
図１０は最適な選択方法の概念を示すイメージ図である。ＣＰＵ１１は、入力部１３から予め、非互換率の許容値の入力を受け付ける。ＣＰＵ１１は、入力された許容値をＲＡＭ１２に記憶する。許容値は設計に応じて定めればよいが、例えば１％である。選択方法、非互換率及び正答率の関係が既知である場合、図１０に示す如く、非互換率の許容値の範囲内で正答率が最大となるような最適な選択方法を求めることができる。図１０の例では左側の部分が非互換率の許容値の範囲内であり、正答率のカーブが最大となる位置が最適な選択方法ということになる。
【００３０】
続いて、新認識方式の指標値と旧認識方式の指標値との組み合わせにおいて、何れの認識方式を選択するかを示す選択テーブル１５１の生成処理について説明する。以下、選択テーブル１５１の値を適宜ｄ（u,v）と表現する。ここで、uは旧認識方式の指標値であり、ｖは新認識方式の指標値である。本実施形態では説明を容易にするために、ｄ（u,v）が０または１のいずれかであるものとして説明する。０の場合は、常に旧認識方式の認識結果を選択する。１の場合は、常に新方式の認識結果を選択する。
【００３１】
なお、ｄが０から１の値を取る場合、ＣＰＵ１１は、０以上１未満の一様な擬似乱数を生成する。ＣＰＵ１１は、生成した擬似乱数が、ｄ（u,v）より小さい場合、新認識方式の認識結果を選択する。生成した擬似乱数がｄ（u,v）以上の場合、旧認識方式の認識結果を選択する。
【００３２】
ＣＰＵ１１は、テストデータを用いて以下の確率を推定する。ここで、Ｘ、Ｙは正答Ｃまたは誤答Ｗを示す。
P(X)：旧認識方式がXする確率
P(Y|X)：旧認識方式がX する場合に、新認識方式がYする確率
P(u, v|X, Y )：旧認識方式がX で新認識方式がY する場合に正答指標値がu, v となる確率
【００３３】
これらの確率の推定は、テストデータでこれらの事象が発生する割合を求めることで行う。例えば、１００件のテストデータについて、旧認識方式が正答したものが８０件であった場合には、旧認識方式が正答する確率P(C) = 0.8と推定される
【００３４】
選択方法は、正答指標値がu, v の場合に、新認識方式の認識結果を選択する確率d(u, v) で規定される。ここで，d(u, v)は０以上１以下である。従って、すべてのu, v の組み合わせに対してd(u, v) を定めれば選択方法が決定される。d(u, v) が仮に与えられたとすると、そのときの非互換率は式１により表され、正答率は式２により表される。
【００３５】
【数１】
0006350048.tif 000002
（式１）
【００３６】
【数２】
0006350048.tif 000003
（式２）
【００３７】
非互換率及び正答率が式１及び式２で表される理由を簡単に述べる。非互換率は、旧認識方式が正答する場合に選択結果が誤答になる確率である。これは、新認識方式が誤答でかつ正答指標値の選択で新認識方式を選択した場合にのみ起こる。新認識方式が誤答になる確率はP(W|C) である。正答指標値は様々な値u, vを排他的に取り、その発生確率がP(u, v|C,W) で選択確率がd(u, v) であることから、非互換率が式１で表されることが分かる。
【００３８】
一方、正答率の確率は、旧認識方式が正答である場合と旧認識方式が誤答である場合の確率の和で表される。旧認識方式が正答である場合に，選択結果が誤答になるのは新認識方式が誤答で新認識方式を選択する場合に限られるため、その確率は非互換率に等しい。従って、旧認識方式が正答である場合の正答率は１から非互換率を引いた値となる。また、旧認識方式が誤答である場合に選択結果が正答になるのは新認識方式が正答で新認識方式を選択する場合に限られるため、その確率は式３で表される。これより正答率が式２で表現されることが理解できる。
【００３９】
【数３】
0006350048.tif 000004
（式３）
【００４０】
非互換率が許容値以下で正答率を最大にする最適な選択方法は以下のように決定される。d(u, v) を未知数として、非互換率が許容値以下、かつ、正答率が最大となる最適化問題を解く。本実施形態では、式の形で最適化問題を解くことができる。これには，統計学で良く用いられるネイマン・ピアソンの補題を拡張した定理を用いる。
【００４１】
n 個の変数x1, : : : , xn に対して，式４に示す制約条件の下で、式５に示す目的関数を最大化する問題を考える。
【００４２】
【数４】
0006350048.tif 000005
（式４）
【００４３】
【数５】
0006350048.tif 000006
（式５）
【００４４】
ここで，ai, b は非負の定数，ci は定数である。制約条件を満たし目的関数を最大にするx1, : : : , xn の組の１つx*1, : : : , x*n は以下で与えられる。
【００４５】
1. ci < 0 となるi に対してはx*i = 0 と定める。
2. そうでなくai = 0 となるi に対してはx*i = 1 と定める。
3. 残りの変数を改めてx1, : : : , xn と表す。もし，b > a1 + : : : + an ならば、残りのi に対してすべてx*i = 1 と定める。
4. それ以外の場合には，ci/ai が広義単調減少となるように番号を付け変えて（すなわちc1/a1≧ c2/a2 ・・・）、b = a1 +・・・+ am-1 + γam を満たすm とγを取る。
【００４６】
【数６】
0006350048.tif 000007
【００４７】
【数７】
0006350048.tif 000008
（式６）
【００４８】
【数８】
0006350048.tif 000009
（式７）
【００４９】
上記の定理の証明は以下の通りである。第１の場合についてはxi = 0 がf の値を増大させずにg を最大にすることから自明である。第２の場合については、xi の値がf の値に影響を与えないで、xi = 1 がg を最大にすることから明らかである。
【００５０】
【数９】
0006350048.tif 000010
【００５１】
【数１０】
0006350048.tif 000011
（式８）
【００５２】
上記の定理を最適選択方法の決定に適用する。例外的な第１〜第３の場合を除外して考えると、最適選択方法は式９で表される。
【００５３】
【数１１】
0006350048.tif 000012
（式９）
【００５４】
ただし，k （以下、場合により基準値という）はこのときの非互換率が許容値に一致するように選ぶ。なお，非互換率を許容値に一致させるために、対応する項の比がk に等しくなる１つのd(u, v) で確率的な選択を必要とする場合がある。続いて、最適な選択方法について、具体例を用いて説明する。図１１は各認識方式の指標値の組み合わせに対する第１確率を示す説明図である。図１２は各認識方式の指標値の組み合わせに対する第２確率を示す説明図である。指標値は高低の２値とする。テストデータから推定した確率を図１１及び図１２に示す。P(C) = 0.8、P(W) = 0.2、 P(W|C) = 0.125,P(C|W) = 0.5とする。P(C) は 旧認識方式が正答する確率（第４確率）であり、P(W) は旧認識方式が誤答する確率（第５確率）である。P(W|C) は旧認識方式が正答である場合に、新認識方式が誤答する確率（第３確率）である。P(C|W) は旧認識方式が誤答である場合に、新認識方式が正答する確率（第６確率）である。
【００５５】
図１１の縦欄は旧認識方式の指標値uが低または高、横欄は新認識方式の指標値vが低または高であることを示す。P(u, v|C, W )は旧認識方式が正答であり新認識方式が誤答である場合に，正答指標値の組み合わせが現れる確率（第１確率）である。図１１の例では、u, v共に低となる確率は0.04、uが高でvが低となる確率は0.91、uが低でvが高となる確率は0.01、u, v共に高となる確率は0.04である。
【００５６】
図１２の縦欄は旧認識方式の指標値uが低または高、横欄は新認識方式の指標値vが低または高であることを示す。P(u, v|W,C )は旧認識方式が誤答であり新認識方式が正答である場合に，正答指標値の組み合わせが現れる確率（第２確率）である。図１２の例では、u, v共に低となる確率は0.08、uが高でvが低となる確率は0.02、uが低でvが高となる確率は0.70、u, v共に高となる確率は0.20である。
【００５７】
図１３は各指標値の組み合わせに対する除算値を示す説明図である。ＣＰＵ１１は、第２確率を第１確率で除して、新旧認識方式の指標値の組み合わせに対する除算値を算出する。図１３の例では、u, v共に低の場合除算値は２、uが高でvが低の場合の除算値は２／９１、uが低でvが高の場合の除算値は７０、u, v共に高の場合の除算値は５である。
【００５８】
ＣＰＵ１１は、除算値に基づき式９におけるkの値を決定する。ＣＰＵ１１は、４つの除算値に基づき２／９１、２、５、７０、及び、無限大（または７０より大きい）の５つのkを決定する。図１４は候補選択テーブル、非互換率及び正答率を示す説明図である。各kに対応する候補選択テーブルｄは図１４に示すとおりである。
【００５９】
kが無限大の場合、各指標値に対するテーブルｄの各値は全て０となる。この場合、全ての場合において、旧認識方式を選択することとなる。kが７０の場合、各指標値に対するテーブルｄの各値は、uが低、vが高の場合に、１となり、他は全て０となる。kが５の場合、各指標値に対するテーブルｄの各値は、uが低、vが高、及び、uが高、vが高の場合に、１となり、他は全て０となる。kが２の場合、uが高、vが低の場合に、０となり、他は全て１となる。kが２／９１の場合、全て１となる。この場合全ての場合において新認識方式を選択する。
【００６０】
ＣＰＵ１１は、式１、第１確率、第３確率及び各候補選択テーブルを参照し、各ｋに対する非互換率を算出する。kが無限大の場合、非互換率は０、kが７０の場合、非互換率は0.00125、kが５の場合、非互換率は0.00625となる。kが２の場合、非互換率は0.01125、kが２／９１の場合、非互換率は0.125となる。
【００６１】
続いてＣＰＵ１１は、式２、第１確率〜第６確率、及び各候補選択テーブルを参照し、各kに対する正答率を算出する。kが無限大の場合、正答率は0.8、kが７０の場合、正答率は0.869、kが５の場合、正答率は0.885となる。kが２の場合、正答率は0.889、kが２／９１の場合、正答率0.8となる。
【００６２】
ＣＰＵ１１は、予め記憶部１５に記憶した許容値0.00625を読み出す。ＣＰＵ１１は、当該許容値の範囲内で最良の正答率を有する選択テーブル１５１を抽出する。図１４の例では正答率0.8、0.869、0.885の中で最高の値を有する0.885に対応するテーブルが選択される。すなわちkが５の場合のテーブルが最終的に選択される。
【００６３】
図１５は本実施形態に係る選択テーブル１５１と他の選択テーブルとの対比を示す説明図である。上段が本実施形態で選択された選択テーブル１５１に基づく選択方式を示す。uが低、vが高、及び、uが高、vが高の場合に、新認識方式を選択し、その他は旧認識方式を選択する。この場合、非互換率は0.625%であり、正答率は88.5%となる。なお、図１５においては正答率に100を乗じて％で表している。
【００６４】
一方、uが低であれば、新認識方式、それ以外は旧認識方式を選択するという単純な方式では、正答率は87.3%に過ぎない。なお、確率的な選択を用いる場合、上記の非互換率以外の任意の許容値に対しても最適な選択方法を得ることができる。例えば、許容値が1%の場合、(u,v)が(低、高)、(高、高)の場合１、(低低)を3/4の確率とすることで、非互換率0.01, 正答率0.888を得ることができる。
【００６５】
以上のハードウェア群において各種ソフトウェア処理を、フローチャートを用いて説明する。図１６は結果取得処理の手順を示すフローチャートである。ＣＰＵ１１は、テストデータを用いて、旧認識方式による認識結果及び指標値をテストＩＤに対応付けて結果ファイル１５２に記憶する（ステップＳ１６１）。ＣＰＵ１１は、入力部１３からテストＩＤに対応する旧認識方式の認識結果に対する正誤を受け付ける。ＣＰＵ１１は、受け付けた正誤の情報を参照し、テストＩＤに対応付けて旧認識方式による正誤を結果ファイル１５２に記憶する（ステップＳ１６２）。
【００６６】
ＣＰＵ１１は、テストデータを用いて、新認識方式による認識結果及び指標値をテストＩＤに対応付けて結果ファイル１５２に記憶する（ステップＳ１６３）。ＣＰＵ１１は、入力部１３からテストＩＤに対応する新認識方式の認識結果に対する正誤を受け付ける。ＣＰＵ１１は、受け付けた正誤の情報を参照し、テストＩＤに対応付けて新認識方式による正誤を結果ファイル１５２に記憶する（ステップＳ１６４）。
【００６７】
ＣＰＵ１１は、指標値の許容値を入力部１３から受け付ける（ステップＳ１６５）。ＣＰＵ１１は、記憶部１５に受け付けた許容値を記憶する（ステップＳ１６６）。ＣＰＵ１１は、新旧認識方式の正誤に基づき正誤ファイル１５３を生成する（ステップＳ１６７）。
【００６８】
図１７及び図１８は選択テーブル１５１の選択処理手順を示すフローチャートである。ＣＰＵ１１は、旧認識方式の認識結果が正であり、新認識方式の認識結果が誤である場合に、各認識方式の指標値の組み合わせが現れる第１確率を算出する（ステップＳ１７１）。ＣＰＵ１１は、旧認識方式の認識結果が誤であり、新認識方式の認識結果が正である場合に、各認識方式の指標値の組み合わせが現れる第２確率を算出する（ステップＳ１７２）。
【００６９】
ＣＰＵ１１は、算出した第２確率を第１確率で除して、各認識方式の指標値の組み合わせに対する除算値を算出する（ステップＳ１７３）。ＣＰＵ１１は、各認識方式の指標値の組み合わせに対する除算値を参照し、複数の基準値（k）を決定する（ステップＳ１７４）。本実施形態では全除算値及び無限大とする基準値を決定する。ＣＰＵ１１は、基準値と除算値の大小を比較して、候補選択テーブルを生成する（ステップＳ１７５）。例えば、特定の指標値の組み合わせについて除算値が基準値より小さい場合、当該組み合わせに係る指標値については、旧認識方式を選択する旨の情報を記憶する。逆に特定の指標値の組み合わせについて除算値が基準値以上の場合、当該組み合わせに係る指標値については、新認識方式を選択する旨の情報を記憶する。
【００７０】
ＣＰＵ１１は、全ての基準値についての候補選択テーブルを生成したか否かを判断する（ステップＳ１７６）。ＣＰＵ１１は、全ての基準値についての候補選択テーブルを生成していないと判断した場合（ステップＳ１７６でＮＯ）、処理をステップＳ１７５に戻す。ＣＰＵ１１は、全ての基準値についての候補選択テーブルを生成したと判断した場合（ステップＳ１７６でＹＥＳ）、処理をステップＳ１７７へ移行させる。
【００７１】
ＣＰＵ１１は、旧認識方式の認識結果が正であり、新認識方式の認識結果が誤である第３確率を算出する（ステップＳ１７７）。ＣＰＵ１１は、第３確率、第１確率及び候補選択テーブルに基づき、各候補選択テーブルに対応する非互換率を算出する（ステップＳ１７８）。具体的には、記憶部１５から式１を読み出し、式１に第３確率、第１確率、候補選択テーブルの値を入力することにより、各候補選択テーブルの非互換率を算出する。ＣＰＵ１１は、旧認識方式の認識結果が正である第４確率を算出する（ステップＳ１７９）。ＣＰＵ１１は、旧認識方式の認識結果が誤である第５確率を算出する（ステップＳ１８１）。
【００７２】
ＣＰＵ１１は、旧認識方式の認識結果が誤であり、新認識方式の認識結果が正である第６確率を算出する（ステップＳ１８２）。ＣＰＵ１１は、記憶部１５に記憶した式２を読み出す。ＣＰＵ１１は、式２に、第１確率〜第６確率、及び、候補選択テーブルの各値を代入し、各候補選択テーブルに対する正答率を算出する（ステップＳ１８３）。ＣＰＵ１１は、許容値以下の非互換率を有する正答率を抽出する（ステップＳ１８４）。ＣＰＵ１１は、最大の正答率を有する選択テーブル１５１を抽出する（ステップＳ１８５）。
【００７３】
ＣＰＵ１１は、抽出した選択テーブル１５１を記憶部１５に記憶する（ステップＳ１８６）。ＣＰＵ１１は、選択テーブル１５１に対応する正答率及び非互換率を表示部１４に出力する（ステップＳ１８７）。これにより、新旧認識方式を併用した場合でも、高い精度を確保することができる。また第１確率から第６確率を用いて非互換率及び正答率を算出し、これらの値をユーザに提供することも可能となる。
【００７４】
実施の形態２
実施の形態２は生成した選択テーブル１５１を用いて新旧認識方式を用いて運用する形態に関する。図１９は認識処理の手順を示すフローチャートである。ＣＰＵ１１は、ステップＳ１８５で選択した選択テーブル１５１を読み出す（ステップＳ１９１）。ＣＰＵ１１は、画像取込部１９から画像データを取り込む（ステップＳ１９２）。ＣＰＵ１１は、新旧認識方式を用いて認識処理を行う（ステップＳ１９３）。ＣＰＵ１１は、新旧認識方式による認識結果及び指標値を取得する（ステップＳ１９４）。
【００７５】
ＣＰＵ１１は、新旧認識方式の指標値及び選択テーブル１５１を参照し、認識方式を選択する（ステップＳ１９５）。ＣＰＵ１１は、選択した認識方式に係る認識結果を出力する（ステップＳ１９６）。ＣＰＵ１１は、認識ＩＤを生成し、生成した認識ＩＤに対応付けて認識結果を記憶部１５に記憶する（ステップＳ１９７）。これにより、選択テーブル１５１を活用して新たな画像データに対しても、新旧認識方式による精度の高い計測が可能となる。なお、実施の形態２は実施の形態１で用いたコンピュータ１とは異なる他のコンピュータで実施しても良い。この場合、他のコンピュータは実施の形態１で導出した選択テーブル１５１を参照し、新旧認識方式を実行することとなる。
【００７６】
本実施の形態２は以上の如きであり、その他は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【００７７】
実施の形態３
実施の形態３は認識方式が３以上の形態に関する。図２０は３以上の認識方式を用いる場合の処理内容を示す説明図である。本実施形態では、認識処理を行う３つ以上の方式を組み合わせて用いる。この場合、全体として複数の認識結果が存在する場合でも、認識結果が一致する方式が現れることがある。そこで、図２０に示すように、ＣＰＵ１１は、認識結果が一致する方式をグループにまとめる。図２０は、認識方式（以下、適宜方式と省略する）１、方式２、方式３の３つの方式が存在する例を示す。方式１の認識結果はＡ、方式２の認識結果もＡ、方式３の認識結果はＢであったとする。この場合、グループ１は、認識結果がＡのグループであり、方式１及び方式２が当該グループに属する。一方グループ２は、認識結果がＢの方式３が属することとなる。
【００７８】
図２１は認識処理の手順を示す説明図である。ＣＰＵ１１は、テストデータに係る画像データを読み込む。ＣＰＵ１１は、取り込んだ画像データに対し、複数の認識方式を適用する。ＣＰＵ１１は、認識結果を参照し、結果ファイル１５２に、各認識方式の認識結果、正誤、及び、指標値を記憶する。図２１の例ではｎ種の方式が存在する例を示している。ＣＰＵ１１は、指標値u1, : : : , un をまとめて１つのベクトルu で表す。ＣＰＵ１１は、認識結果が一致する方式を１つのグループにまとめ、グループの集合Sを生成する。ＣＰＵ１１は、確率d(G|S, u) でグループG を選択する。最終的に、ＣＰＵ１１は、選択したグループに係る認識結果を出力する。以下詳細を説明する。
【００７９】
ＣＰＵ１１は、テストデータを用いて、どのグループの認識結果を選ぶべきかを記載したテーブルｄを生成する。ＣＰＵ１１は、テストデータを用いて以下の確率を算出する。ここで、X は正答C 、または、誤答W を示す。
P(X) 旧方式がX する確率
P(S|X) 旧方式がX する場合に、グループ集合がS になる確率
P(u|C, S) 旧方式が正答でグループ集合がS の場合に、指標値がu となる確率
P(G|W, S) 旧方式が誤答でグループ集合がS の場合に、グループG が正答する確率
P(u|W, S,G) 旧方式が誤答でグループ集合がS でグループG が正答する場合に、指標値がu となる確率
【００８０】
選択方法は、グループ集合S で正答指標値u におけるグループG の選択確率d(G|S, u) で規定される。
【００８１】
【数１２】
0006350048.tif 000013
【００８２】
従って，すべてのS, G, u の組み合わせに対してd(G|S, u) を定めれば選択方法は決定される。d(G|S, u) が仮に与えられたとすると，実施形態１と同様に、そのときの非互換率は式１０で、正答率は式１１で表される。ここで，G1 は旧方式が属するグループを表す。また、ΣS は、すべてのグループ集合S に対して和を取ることを表す。同様に、ΣG≠G1 は、G1以外のすべてのグループG に対して和を取ることを表す。
【００８３】
【数１３】
0006350048.tif 000014
（式１０）
【００８４】
【数１４】
0006350048.tif 000015
（式１１）
【００８５】
非互換率が許容値以下で正答率を最大にする最適な選択方法は、d(G|S, u) を未知数として、非互換率が許容値以下、かつ、正答率が最大となる最適化問題を解くことで得られる。本実施形態では、当該最適化問題は線形計画問題で表される。線形計画問題は、線形計画法を用いて高速に解くことができる。従って、最適選択方法の決定も線形計画法によって高速に行うことができる。
【００８６】
図２２はグループ決定処理の手順を示すフローチャートである。ＣＰＵ１１は、テストデータを用いて、複数の認識方式による認識結果及び指標値をテストＩＤに対応付けて結果ファイル１５２に記憶する（ステップＳ２２１）。ＣＰＵ１１は、入力部１３からテストＩＤに対応する各認識方式の認識結果に対する正誤を受け付ける。ＣＰＵ１１は、受け付けた正誤の情報を参照し、テストＩＤに対応付けて各認識方式による正誤を結果ファイル１５２に記憶する（ステップＳ２２２）。
【００８７】
ＣＰＵ１１は、認識結果に応じてグループにまとめ、グループの集合Ｓを生成する（ステップＳ２２３）。ＣＰＵ１１は、指標値の許容値を入力部１３から受け付ける（ステップＳ２２４）。ＣＰＵ１１は、記憶部１５に受け付けた許容値を記憶する（ステップＳ２２５）。
【００８８】
図２３はグループ選択処理の手順を示すフローチャートである。ＣＰＵ１１は、結果ファイル１５２を参照し、旧方式が正の場合に、グループ集合がS になる確率P(S|C) を算出する（ステップＳ２３１）。ＣＰＵ１１は、旧方式が正でグループ集合がS の場合に、指標値がu となる確率P(u|C, S)を算出する（ステップＳ２３２）。ＣＰＵ１１は、旧方式が正の確率P(C)を算出する（ステップＳ２３３）。
【００８９】
ＣＰＵ１１は、旧方式が誤の確率P(W)を算出する（ステップＳ２３４）。ＣＰＵ１１は、旧方式が誤の場合に、グループ集合がSになる確率P(S|W)を算出する（ステップＳ２３５）。ＣＰＵ１１は、旧方式が誤でグループ集合がS の場合に、グループG が正の確率P(G|W, S)を算出する（ステップＳ２３６）。ＣＰＵ１１は、旧方式が誤でグループ集合がS でグループG が正の場合に、指標値がu となる確率P(u|W, S,G)を算出する（ステップＳ２３７）。ＣＰＵ１１は、式１０及び式１１を参照し、d(G|S, u) を未知数として、非互換率が許容値以下、かつ正答率が最大となる最適化問題を解いて、テーブル（第２選択テーブル）を生成する（ステップＳ２３８）。
【００９０】
図２４は認識処理の手順を示すフローチャートである。ＣＰＵ１１は、ステップＳ２３８で生成した選択テーブルを読み出す（ステップＳ２４１）。ＣＰＵ１１は、画像取込部１９から画像データを取り込む（ステップＳ２４２）。ＣＰＵ１１は、各認識方式を用いて認識処理を行う（ステップＳ２４３）。ＣＰＵ１１は、各認識方式による認識結果及び指標値を取得する（ステップＳ２４４）。
【００９１】
ＣＰＵ１１は、一致する認識結果を１つのグループGにまとめグループの集合Sを生成する（ステップＳ２４５）。ＣＰＵ１１は、指標値、グループの集合S及びテーブルを参照し、選択確率を読み出す（ステップＳ２４６）。ＣＰＵ１１は、選択確率に応じて選択されたグループを抽出する（ステップＳ２４７）。ＣＰＵ１１は、抽出したグループに係る認識結果を出力する（ステップＳ２４８）。ＣＰＵ１１は、認識ＩＤに対応付けて認識結果を記憶部１５に記憶する（ステップＳ２４９）。
【００９２】
なお、指標値については適宜粗視化しても良い。高、低のみならず、３段階以上に丸めても良い。また、指標値をグループ毎にまとめ、例えばグループ内の最大値または平均値を用いても良い。さらには、指標値を使用しない（正答指標値を１段階に丸めることと等価）方法であっても良い。テストデータを用いた関係推定において、グループによる正答率の偏り、例えば要素数の多いグループは正答になりやすいといった傾向がすべて取り込まれるため、正答指標値を使用しなくても正答率の最大化を行うことができる。
【００９３】
最適選択方式を算出する例を以下に示す。認識方式数n は３、指標値は高低の２値とする（以下では１、０と表記とする）。また，複数方式が誤答である場合に、それらの認識結果が偶然、一致することは起こらないと仮定する。最初に、テストデータを用いて確率を推定する。各テストデータにおいて、３つの認識方式のうち、どの方式が正答を与えたか（方式正誤状態と呼ぶ）を調べ、それぞれの方式正誤状態に分類されるテストデータの割合を算出する。この割合を方式正誤状態の推定確率とする。
【００９４】
図２５は推定確率を示す説明図である。図２５においては、誤答を０、正答を１で表している。図２５には、各方式正誤状態で取り得るグループ集合も併せて記載している。例えば、０番の方式正誤状態では、３つの方式がすべて誤答であるので、仮定からそれらの認識結果はみな異なるため、３つのグループに分かれる。３番の方式正誤状態では、方式１が誤答，方式２と方式３が正答であるので、２つのグループ(1)、(2, 3)に分かれる。他の方式正誤状態も同様である。
【００９５】
本算出例では、各方式正誤状態で取り得るグループ集合は１つであるが、一般には複数のグループ集合を取り得る。推定確率p0, : : : , p7 は、０から１までの値を取る。また、テストデータは、８種類の方式正誤状態のいずれかに分類されるので、p0 からp7 まで足すと１になる。
【００９６】
次に、８通りの各方式正誤状態に分類されたテストデータを、指標値が何であったかで細分類する。指標値は３つの認識方式がそれぞれ０か１を出力する。方式１、方式２、方式３の順番で並べた場合、組み合わせは(0, 0, 0), (0, 0, 1), (0, 1, 0), (0, 1, 1), (1, 0, 0), (1, 0, 1), (1, 1, 0), (1, 1, 1)の８通りとなる。以下では説明を容易にするために、これらを０から７までの整数で表す。それぞれの指標値を取るテストデータの割合を指標値の推定確率とする。ただし、ここでは、各方式正誤状態に分類されたテストデータの個数に対する割合を求める。このため、各方式正誤状態における条件付き確率となる。
【００９７】
図２６は正答指標値の推定確率を示す説明図である。推定確率は０から１までの値を取る。確率の推定方法から、図２６の確率を横方向に足すといずれも１になることが分かる。式で表せば，i = 0, : : : , 7 に対して、Σu qi,u = 1 である。テストデータから推定した図２５及び図２６の確率を用いれば、最適選択方法の算出に必要な確率は以下のように表される。
【００９８】
P(X):
旧方式が誤答する確率P(0) = p0 + p1 + p2 + p3
旧方式が正答する確率P(1) = p4 + p5 + p6 + p7
【００９９】
P(S|X):
旧方式が誤答する場合に，グループ集合が(1), (2), (3) になる確率P((1), (2), (3)|0) =(p0 + p1 + p2)/P(0)
旧方式が誤答する場合に，グループ集合が(1), (2, 3) になる確率P((1), (2, 3)|0) = p3/P(0)
旧方式が正答する場合に，グループ集合が(1), (2), (3) になる確率P((1), (2), (3)|1) =p4/P(1)
旧方式が正答する場合に，グループ集合が(1, 3), (2)) になる確率P((1, 3), (2)|1) = p5/P(1)
旧方式が正答する場合に，グループ集合が(1, 2), (3) になる確率P((1, 2), (3)|1) = p6/P(1)
旧方式が正答する場合に，グループ集合が(1, 2, 3) になる確率P((1, 2, 3)|1) = p7/P(1)
それ以外のグループ集合S になる確率は0
【０１００】
P(u|C, S):
旧方式が正答でグループ集合が(1), (2), (3) の場合に，正答指標値がu になる確率P(u|1, (1), (2), (3)) = q4,u
旧方式が正答でグループ集合が(1, 3), (2) の場合に，正答指標値がu になる確率P(u|1, (1, 3), (2)) = q5,u
旧方式が正答でグループ集合が(1, 2), (3) の場合に，正答指標値がu になる確率P(u|1, (1, 2), (3)) = q6,u
旧方式が正答でグループ集合が(1, 2, 3) の場合に，正答指標値がu になる確率P(u|1, (1, 2, 3)) = q7,u
【０１０１】
P(G|W, S):
旧方式が誤答でグループ集合が(1), (2), (3) の場合に，グループ(3) が正答する確率P((3)|0, (1), (2), (3)) = p1/(p0 + p1 + p2)
旧方式が誤答でグループ集合が(1), (2), (3) の場合に，グループ(2) が正答する確率P((2)|0, (1), (2), (3)) = p2/(p0 + p1 + p2)
旧方式が誤答でグループ集合が(1), (2, 3) の場合に，グループ(2, 3) が正答する確率P((2, 3)|0, (1), (2, 3)) = 1
【０１０２】
P(u|W, S,G):
旧方式が誤答でグループ集合が(1), (2), (3) でグループ(3) が正答する場合に，正答指標値がu になる確率P(u|0, (1), (2), (3), (3)) = q1,u
旧方式が誤答でグループ集合が(1), (2), (3) でグループ(2) が正答する場合に，正答指標値がu になる確率P(u|0, (1), (2), (3), (2)) = q2,u
旧方式が誤答でグループ集合が(1), (2, 3) でグループ(2, 3) が正答する場合に，正答指標値がu になる確率P(u|0, (1), (2, 3), (2, 3)) = q3,u
【０１０３】
次に、選択方法について検討する。選択方法は、グループ集合S と正答指標値u が与えられたときのグループG の選択確率d(G|S, u) で規定される。図２７は選択可能なグループと選択確率を示す説明図である。
【０１０４】
図２７におけるd1,u, d2,u, d3,u, d’1,u, d1,3,u, d1,2,u が求めるべき選択確率であり、０以上１以下の値を取る必要がある。グループ集合の中のどれか１つのグループを選択するため、選択可能なグループにおける選択確率の和は1 になる。この制約を用いて未知数の数を減らすことができる。また、d1,u + d2,u + d3,u = 1 が成り立つ必要がある。与えられた選択確率に対する非互換率は式１２で表され、正答率は、式１３で表される。
【０１０５】
【数１５】
0006350048.tif 000016
（式１２）
【０１０６】
【数１６】
0006350048.tif 000017
（式１３）
【０１０７】
最適選択方法は、式１２及び式１３において、非互換率を許容値以下とし、正答率を最大にするようなd1,u, d2,u, d3,u, d’1,u, d1,3,u, d1,2,uである。本算出例では、式の形で最適選択方法を求めることができる。まず，d1,3,u とd1,2,u は非互換率の式で非正の係数が掛かった形でしか用いられていないことに注目する。
【０１０８】
従って、d1,3,u = 1, d1,2,u = 1 が非互換率を最小に正答率を最大にする。次に，d’1,u は正答率の式で非正の係数が掛かった形でしか用いられていないことに注目する。従って、d’1,u = 0が正答率を最大にする。
【０１０９】
【数１７】
0006350048.tif 000018
【０１１０】
【数１８】
0006350048.tif 000019
【０１１１】
【数１９】
0006350048.tif 000020
【０１１２】
これにより得られた値を非互換率及び正答率の式に代入することにより式１４及び式１５を得ることができる。
【０１１３】
【数２０】
0006350048.tif 000021
（式１４）      
【０１１４】
【数２１】
0006350048.tif 000022
（式１５）
【０１１５】
ここで、xu = 1 - d1,u と置くと、最適選択方法を与えるd1,u の計算に式４から式８に示す定理を適用することができる。例外的な第１〜第３の場合を除外して考えた場合、最適選択方法を与えるd1,u は式１６で表される。
【０１１６】
【数２２】
0006350048.tif 000023
（式１６）
【０１１７】
ただし、k はこのときの非互換率が許容値に一致するように選ぶ。d1,u からd3,u, d2,u が計算できるため、最適選択方法を与えるd1,u, d2,u, d3,u, d’1,u, d1,3,u, d1,2,u を全て算出することが可能となる。これにより認識方式が３以上であっても、複数の認識方式を用いることで高精度の認識結果を得ることが可能となる。
【０１１８】
本実施の形態３は以上の如きであり、その他は実施の形態１及び実施の形態２と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【０１１９】
実施の形態４
実施の形態４は認識方式についての異なる形態に関する。認識方式が複数の過程により実行される場合、一の認識方式の一部の過程を、他の認識方式の一部の過程に置き換えることで、さらに異なる認識方式としても良い。
【０１２０】
図２８は認識方式の合成を示す説明図である。本実施形態では認識処理は車番検出、文字検出及び文字認識の３つの段階を含む。車番検出は画像データからナンバープレートを検出する処理である。文字検出はナンバープレート上の文字を抽出する処理である。文字認識は抽出した文字を認識する処理である。方式１は実施の形態１で述べた旧認識処理であり、旧車番検出、旧文字検出及び旧文字認識である。方式８は実施の形態１で述べた新認識処理であり、新車番検出、新文字検出及び新文字認識である。
【０１２１】
ＣＰＵ１１は、これら３つの処理を適宜新旧認識方式で組み替えて新たな認識方式を生成する。ＣＰＵ１１は、旧車番検出、旧文字検出及び新文字認識を組み合わせて方式２を生成する。ＣＰＵ１１は、他の組み合わせに係る方式を適宜生成する。
【０１２２】
図２９は認識方式の生成処理手順を示すフローチャートである。ＣＰＵ１１は、各認識方式を構成する複数の認識処理を、記憶部１５から読み出す（ステップＳ２９１）。ＣＰＵ１１は、読み出した認識処理を参照し、認識処理の一部を変更して新たな認識方式を生成する（ステップＳ２９２）。ＣＰＵ１１は、全ての認識処理の組み合わせについて処理を終了したか否かを判断する（ステップＳ２９３）。ＣＰＵ１１は、処理を終了していないと判断した場合（ステップＳ２９３でＮＯ）、処理をステップＳ２９２に戻す。ＣＰＵ１１は、全ての組み合わせについて処理を終了したと判断した場合（ステップＳ２９３でＹＥＳ）、一連の処理を終了する。これにより、認識方式が少ない場合でも、適宜内部処理を組み替えることで数多くの方式を生成できる。また数多くの方式に対し、実施の形態３で述べた処理を適用することが可能となる。
【０１２３】
本実施の形態４は以上の如きであり、その他は実施の形態１から実施の形態３と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【０１２４】
実施の形態５
実施の形態５は、認識方式の出力として不答（認識できない）を許す形態に関する。認識方式の出力として不答を認めることが望ましい状況として、例えば車番認識を用いた駐車場管理システムにおいて、１台の車に対して複数回の撮影が可能な場合が挙げられる。認識結果が誤答である場合、登録車が不許可になる問題が発生する。しかし、認識結果が不答の場合には再撮影または再認識すれば、若干の遅延は起こるものの登録車が不許可になる可能性を低減することができる。
【０１２５】
認識方式の出力として不答を認める場合、１つのデータに対する認識結果は、正答、誤答または不答のいずれか１つに分類される。正答に分類されるデータの割合が正答率であり、実施の形態例１〜４で認識精度を表す性能指標として用いた。同様に、誤答に分類されるデータの割合を誤答率、不答に分類されるデータの割合を不答率という。正答率、誤答率、不答率は、０から１までの数であり、３つを加えると１になる。
【０１２６】
これら３つの性能指標に関して、正答率が高く、誤答率と不答率が低いほど良好な認識精度となる。誤答率と不答率はともに低いことが望ましいが、両方を同時に最小化することは難しい。従って、本実施形態では、認識精度の性能指標として、λを非負の定数として、誤答率 +λ×不答率を用いる。以下では、これを誤り損失という。λは、誤答と不答の影響の大きさを表すパラメータである。認識システムによって誤答と不答の影響は異なるので、それを考慮したλの値が与えられると仮定する。例えば、誤答が不答の２倍くらいの影響がある認識システムでは、λ＝０．５とすれば良い。
【０１２７】
同様に、互換性についても不答を考慮した性能指標を導入する。旧方式で正答であったデータの集まりに対して認識結果が誤答となる割合を条件誤答率、認識結果が不答となる割合を条件不答率という。実施の形態１〜４で互換性の性能指標として用いた非互換率は、条件誤答率（あるいは条件誤答率と条件不答率の和）に等しい。
【０１２８】
認識精度の性能指標の誤り損失と同様に、μを非負の定数として、条件誤答率 + μ×条件不答率を互換性の性能指標として用いる。以下ではこれを非互換損失という。μは、誤答と不答の影響の大きさを表すパラメータである。例えばμ=λとしてもよいが、両者を異なる値に取ることも可能である。上記の性能指標を用い、最適な選択方法とは非互換損失を許容値以下にして誤り損失を最小にするような選択方法と定める。
【０１２９】
ＣＰＵ１１は、どのグループの認識結果を選ぶべきかを記載したテーブルｄを生成する。以下、詳細を説明する。最初にテストデータを用いて以下の確率を推定する。ここで、X は正答C、誤答W、不答N のいずれかを表す。
【０１３０】
P(X) 旧方式がX する確率
P(S|X) 旧方式がX する場合に、グループ集合がS になる確率
P(u|C, S) 旧方式が正答でグループ集合がS の場合に、指標値がu となる確率
P(G|X, S) 旧方式がXでグループ集合がS の場合に、グループG が正答する確率
ただしG0 の場合は正答グループがない確率を表す
P(u|X, S,G) 旧方式がXでグループ集合がS でグループG が正答する場合に、指標値がu となる確率
ただしG0 の場合は正答グループがない確率を表す
【０１３１】
選択方法は、グループ集合S で正答指標値u におけるグループG の選択確率d(G|S, u) で規定される。
【０１３２】
【数２３】
0006350048.tif 000024
【０１３３】
従って、すべてのS、 G, u の組み合わせに対してd(G|S, u) を定めれば選択方法は決定される。d(G|S, u) が仮に与えられたとすると、実施の形態３と同様に、そのときの非互換損失は式１７で表すことができる。また誤り損失は式１８で表すことができる。ここで、G0 は不答に対応するグループ、G1 は旧方式が属するグループを表す。
【０１３４】
【数２４】
0006350048.tif 000025
（式１７）
【０１３５】
【数２５】
0006350048.tif 000026
（式１８）
【０１３６】
ＣＰＵ１１は、d(G|S, u)を未知数として、非互換率損失を許容値以下にして、誤り損失を最小にする最適化問題を、線形計画法を用いて算出する。以降の処理は実施の形態３で述べたとおりであるので詳細な説明は省略する。
【０１３７】
図３０はテーブル生成処理の手順を示すフローチャートである。なお、実施の形態３と共通する部分は適宜詳細な説明を省略する。ＣＰＵ１１は、λ及びμの値を記憶部１５から読み出す（ステップＳ３０１）。またＣＰＵ１１は、非互換率損失の許容値を記憶部１５から読み出す。ＣＰＵ１１は、ステップＳ２３１〜Ｓ２３７で説明した処理を実行する（ステップＳ３０２〜Ｓ３０８）。
【０１３８】
ＣＰＵ１１は、P(N)、すなわち旧方式が不答の確率を算出する（ステップＳ３０９）。ＣＰＵ１１は、P(S|N)、すなわち旧方式が不答の場合、グループ集合がSになる確率を算出する（ステップＳ３１０）。ＣＰＵ１１は、P(G|N,S)、すなわち旧方式が不答でグループ集合がSの場合にグループＧが正の確率を算出する（ステップＳ３１１）。ＣＰＵ１１は、P(u|N,S,G)、すなわち、旧方式が不答でグループ集合がSでグループＧが正の場合に、指標値がｕとなる確率を算出する（ステップＳ３１２）。ＣＰＵ１１は、式１７及び式１８を参照し、d(G|S, u)を未知数として、非互換率損失が許容値以下にして、かつ、誤り損失が最小となる最適化問題を解いて、テーブル（第３選択テーブル）を生成する（ステップＳ３１３）。これにより、認識結果に不答が含まれる場合でも、精度良く認識することが可能となる。
【０１３９】
本実施の形態５は以上の如きであり、その他は実施の形態１から実施の形態４と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【０１４０】
実施の形態６
図３１は上述した形態のコンピュータ１の動作を示す機能ブロック図である。ＣＰＵ１１が制御プログラム１５Ｐを実行することにより、コンピュータ１は以下のように動作する。取得部３１１はテストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得する。許容値取得部３１２は、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる非互換率の許容値を取得する。生成部３１３は、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブル１５１を生成する。第１確率算出部３１４は、前記結果データに基づき、旧認識方式の認識結果が正であり新認識方式の認識結果が誤である場合に、各認識方式の指標値の組み合わせが現れる第１確率を算出する。
【０１４１】
コンピュータ１は、また以下のように動作する。読み出し部３１５は、テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得し、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる変化率の許容値を取得し、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブル１５１を読み出す。指標値取得部３１６は、複数の認識方式により得られた認識結果及び指標値を取得する。選択部３１７は、取得した各認識方式の指標値及び前記選択テーブル１５１を参照し、認識方式を選択する。出力部３１８は、選択部３１７により選択した認識方式に係る認識結果を出力する。
【０１４２】
図３２は実施の形態６に係るコンピュータ１のハードウェア群を示すブロック図である。コンピュータ１を動作させるためのプログラムは、ディスクドライブ等の読み取り部１０ＡにCD-ROM、DVD（Digital Versatile Disc）ディスク、メモリーカード、またはUSB(Universal Serial Bus)メモリ等の可搬型記録媒体１Ａを読み取らせて記憶部１５に記憶しても良い。また当該プログラムを記憶したフラッシュメモリ等の半導体メモリ１Ｂをコンピュータ１内に実装しても良い。さらに、当該プログラムは、インターネット等の通信網Ｎを介して接続される他のサーバコンピュータ（図示せず）からダウンロードすることも可能である。以下に、その内容を説明する。
【０１４３】
図３２に示すコンピュータ１は、上述した各種ソフトウェア処理を実行するプログラムを、可搬型記録媒体１Ａまたは半導体メモリ１Ｂから読み取り、或いは、通信網を介して他のサーバコンピュータ（図示せず）からダウンロードする。当該プログラムは、制御プログラム１５Ｐとしてインストールされ、ＲＡＭ１２にロードして実行される。これにより、上述したコンピュータ１として機能する。
【０１４４】
本実施の形態６は以上の如きであり、その他は実施の形態１から５と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【０１４５】
以上の実施の形態１乃至６を含む実施形態に関し、さらに以下の付記を開示する。
【０１４６】
（付記１）
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得する取得部と、
認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる非互換率の許容値を取得する許容値取得部と、
前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを生成する生成部と
を備える情報処理装置。
（付記２）
前記結果データに基づき、一の認識方式の認識結果が正であり他の認識方式の認識結果が誤である場合に、各認識方式の指標値の組み合わせが現れる第１確率を算出する第１確率算出部
を備える付記１に記載の情報処理装置。
（付記３）
前記結果データに基づき、一の認識方式の認識結果が誤であり他の認識方式の認識結果が正である場合に、各認識方式の指標値の組み合わせが現れる第２確率を算出する第２確率算出部
を備える付記２に記載の情報処理装置。
（付記４）
前記第２確率を前記第１確率で除して、各認識方式の指標値の組み合わせに対する除算値を算出する除算値算出部と、
各除算値に基づき、候補となる候補選択テーブルを生成する候補生成部と
を備える付記３に記載の情報処理装置。
（付記５）
一の認識方式の認識結果が正であり他の認識方式の認識結果が誤である第３確率を算出する第３確率算出部と、
前記第３確率、前記第１確率及び前記候補選択テーブルに基づき、各候補選択テーブルに対応する非互換率を算出する非互換率算出部と
を備える付記４に記載の情報処理装置。
（付記６）
一の認識方式の認識結果が正である第４確率を算出する第４確率算出部と、
一の認識方式の認識結果が誤である第５確率を算出する第５確率算出部と、
一の認識方式の認識結果が誤であり他の認識方式の認識結果が正である第６確率を算出する第６確率算出部と、
第１確率乃至第６確率、及び前記候補選択テーブルに基づき、各候補選択テーブルに対応する正答率を算出する正答率算出部と
を備える付記５に記載の情報処理装置。
（付記７）
候補選択テーブルから、算出した非互換率が許容値以下であり、かつ、正答率が最良となる選択テーブルを抽出する抽出部と
を備える付記６に記載の情報処理装置。
（付記８）
認識方式が３以上の場合、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各認識方式の認識結果に基づき分類されるグループの集合毎に、集合内のいずれのグループを選択するかを示す第２選択テーブルを生成する第２生成部
を備える付記１から７のいずれか一つに記載の情報処理装置。
（付記９）
２つの認識方式が複数の段階により処理されている場合に、一の認識方式の複数の段階の一部を他の認識方式の一部へ変更することにより、新たな認識方式を生成する方式生成部
を備える付記８に記載の情報処理装置。
（付記１０）
前記結果データに基づき、認識結果が誤りとなる誤答率及び認識結果を出力しない不答率に基づく誤り損失を算出する損失算出部と、
前記結果データに基づき、認識方式を切り替えることにより切り替え前後で認識結果が正から認識結果を出力しない不答となる数に基づき定まる条件不答率と、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる非互換率とに基づき算出される非互換損失を算出する非互換損失算出部と、
認識方式が３以上の場合、前記結果データを参照し、非互換損失の許容値の範囲内で前記誤り損失が最小となるように、各認識方式の認識結果に基づき分類されるグループの集合毎に、集合内のいずれのグループを選択するかを示す第３選択テーブルを生成する第３生成部と
を備える付記１から８のいずれか一つに記載の情報処理装置。
（付記１１）
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得し、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる変化率の許容値を取得し、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを読み出す読み出し部と、
複数の認識方式により得られた認識結果及び指標値を取得する指標値取得部と、
取得した各認識方式の指標値及び前記選択テーブルを参照し、認識方式を選択する選択部と、
選択部により選択した認識方式に係る認識結果を出力する出力部と
を備える情報処理装置。
（付記１２）
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得し、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる変化率の許容値を取得し、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを読み出し、
複数の認識方式により得られた認識結果及び指標値を取得し、
取得した各認識方式の指標値及び前記選択テーブルを参照し、認識方式を選択し、
選択した認識方式に係る認識結果を出力する
処理をコンピュータに実行させる情報処理方法。
（付記１３）
コンピュータに、
テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得し、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる変化率の許容値を取得し、前記結果データを参照し、前記許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを読み出し、
複数の認識方式により得られた認識結果及び指標値を取得し、
取得した各認識方式の指標値及び前記選択テーブルを参照し、認識方式を選択し、
選択した認識方式に係る認識結果を出力する
処理を実行させるプログラム。
【符号の説明】
【０１４７】
１      コンピュータ
１Ａ    可搬型記録媒体
１Ｂ    半導体メモリ
２      カメラ
１０Ａ  読み取り部
１１    ＣＰＵ
１２    ＲＡＭ
１３    入力部
１４    表示部
１５    記憶部
１５Ｐ  制御プログラム
１６    通信部
１８    時計部
１９    画像取込部
１５１  選択テーブル
１５２  結果ファイル
１５３  正誤ファイル
３１１  取得部
３１２  許容値取得部
３１３  生成部
３１４  第１確率算出部
３１５  読み出し部
３１６  指標値取得部
３１７  選択部
３１８  出力部
【図１】
0006350048.tif 000027
【図２】
0006350048.tif 000028
【図３】
0006350048.tif 000029
【図４】
0006350048.tif 000030
【図５】
0006350048.tif 000031
【図６】
0006350048.tif 000032
【図７】
0006350048.tif 000033
【図８】
0006350048.tif 000034
【図９】
0006350048.tif 000035
【図１０】
0006350048.tif 000036
【図１１】
0006350048.tif 000037
【図１２】
0006350048.tif 000038
【図１３】
0006350048.tif 000039
【図１４】
0006350048.tif 000040
【図１５】
0006350048.tif 000041
【図１６】
0006350048.tif 000042
【図１７】
0006350048.tif 000043
【図１８】
0006350048.tif 000044
【図１９】
0006350048.tif 000045
【図２０】
0006350048.tif 000046
【図２１】
0006350048.tif 000047
【図２２】
0006350048.tif 000048
【図２３】
0006350048.tif 000049
【図２４】
0006350048.tif 000050
【図２５】
0006350048.tif 000051
【図２６】
0006350048.tif 000052
【図２７】
0006350048.tif 000053
【図２８】
0006350048.tif 000054
【図２９】
0006350048.tif 000055
【図３０】
0006350048.tif 000056
【図３１】
0006350048.tif 000057
【図３２】
0006350048.tif 000058