(57)【特許請求の範囲】
【請求項１】
処理対象の画像データから文字画像である可能性があると判定されて切出された文字候補画像から、それぞれ異なる複数の画像特性に基づく特徴量を順次抽出する複数段の抽出手段と、
前記複数段の抽出手段とそれぞれ対応して設けられ、対応する抽出手段により抽出された特徴量に基づいて当該文字候補画像が文字画像である可能性または非文字画像である可能性を示す識別値を算出する算出手段と、前記算出手段により算出された識別値をそれぞれ画像特性毎に予め設定されたしきい値と比較する比較手段とを備え、前記比較手段における比較結果に基づいて当該文字候補画像が文字画像であるか非文字画像であるかまたは、文字画像であるか非文字画像であるか不明な不明画像であるかを識別する複数段の識別手段と、
前記複数段の識別手段のうちの少なくとも１つの識別手段により、当該文字候補画像が文字画像または非文字画像であると識別された場合、当該文字候補画像を文字画像または非文字画像であると判定する判定手段とを有し、
前記複数段の抽出手段は、それぞれ、前段の識別手段において当該文字候補画像が不明画像であると識別された場合に、設定された画像特性に基づく特徴量を抽出する文字画像識別装置。
【請求項２】
前記複数段の識別手段は、それぞれ、前段の識別手段における識別値と、現段の算出手段により算出された識別値を加算する加算手段をさらに備えた請求項１記載の文字画像識別装置。
【請求項３】
前記算出手段は、当該特徴量に対する複数の文字画像および非文字画像の頻度分布に基づいて予め算出された識別関数を用いて、特徴量から識別値を算出する備えた請求項１または２記載の文字画像識別装置。
【請求項４】
前記複数段の識別手段は、文字候補画像が文字画像か非文字画像であるかを識別する識別能力が高い識別手段ほど前段に配置されている請求項１から３のいずれか１項記載の文字画像識別装置。
【請求項５】
処理対象の画像データから文字画像である可能性があると判定されて切出された文字候補画像から、それぞれ異なる複数の画像特性に基づく特徴量を抽出するステップと、
抽出された特徴量に基づいて当該文字候補画像が文字画像である可能性または非文字画像である可能性を示す識別値を算出するステップと、
算出された識別値をそれぞれ画像特性毎に予め設定されたしきい値と比較するステップと、
しきい値との比較結果に基づいて当該文字候補画像が文字画像であるか非文字画像であるかまたは、文字画像であるか非文字画像であるか不明な不明画像であるかを識別するステップと、
当該文字候補画像が文字画像または非文字画像であると識別された場合、当該文字候補画像を文字画像または非文字画像であると判定し、当該文字候補画像が不明画像であると識別された場合には、特徴量を抽出するステップ、識別値を算出するステップおよびしきい値と比較するステップ、文字候補画像を識別するステップを再度繰り返すステップと、
を有する文字画像識別方法。
【請求項６】
処理対象の画像データから文字画像である可能性があると判定されて切出された文字候補画像から、それぞれ異なる複数の画像特性に基づく特徴量を抽出するステップと、
抽出された特徴量に基づいて当該文字候補画像が文字画像である可能性または非文字画像である可能性を示す識別値を算出するステップと、
算出された識別値をそれぞれ画像特性毎に予め設定されたしきい値と比較するステップと、
しきい値との比較結果に基づいて当該文字候補画像が文字画像であるか非文字画像であるかまたは、文字画像であるか非文字画像であるか不明な不明画像であるかを識別するステップと、
当該文字候補画像が文字画像または非文字画像であると識別された場合、当該文字候補画像を文字画像または非文字画像であると判定し、当該文字候補画像が不明画像であると識別された場合には、特徴量を抽出するステップ、識別値を算出するステップおよびしきい値と比較するステップ、文字候補画像を識別するステップを再度繰り返すステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字画像識別装置、文字画像識別方法およびプログラムに関する。
【背景技術】
【０００２】
非特許文献１には、Haar-Like特徴と呼ばれる濃淡パターンを用いて、形状、サイズ、対象画像上でパターンを適用する位置が異なるとともに、各パターンの出力値を入力として所定の識別値を出力する複数の識別器（一般に弱識別器と呼ばれる）を構成し、これらの複数の弱識別器から顔の輝度の濃淡を表すのに適した弱識別器を選択して、それら複数の弱識別器をカスケード接続した識別器（一般に強識別器と呼ばれる）で顔識別を行う方法が開示されている。
【０００３】
また顔識別以外のオブジェクト識別技術に関しては、特許文献１および特許文献２に開示されている方法がある。
【０００４】
特許文献１には、パターンの認識判定において、判定対象から抽出したｎ次元特徴量に対してそれぞれ上限／下限閾値により規定される区間を設け、認識対象から抽出した特徴量が全ての次元の区間内に入るか否かに基づいて、認識対象のパターンが特定のカテゴリーに含まれるか否かを判定するパターン学習方法が開示されている。
【０００５】
特許文献２には、パターン認識システムにおいて、入力パターンに対して一意な閾値を設定するのではなく、入力パターン毎に標準パターンとの類似度分布に基づいたしきい値を設定して、標準パターン群から入力パターンと整合するパターンを絞り込むようにしたパタン認識システムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０６−１２４３４９号公報
【特許文献２】特開平１１−１２０２９１号公報
【非特許文献】
【０００７】
【非特許文献１】Paul Viola, Michael Jones, 「Rapid Object Detection using a Boosted Cascade of Simple Features.」IEEE CVPR, 2001.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、切り出された文字候補画像が文字画像か非文字画像であるかを短時間で識別することが可能な文字画像識別装置、文字画像識別方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００９】
［文字画像識別装置］
請求項１に係る本発明は、処理対象の画像データから文字画像である可能性があると判定されて切出された文字候補画像から、それぞれ異なる複数の画像特性に基づく特徴量を順次抽出する複数段の抽出手段と、
前記複数段の抽出手段とそれぞれ対応して設けられ、対応する抽出手段により抽出された特徴量に基づいて当該文字候補画像が文字画像である可能性または非文字画像である可能性を示す識別値を算出する算出手段と、前記算出手段により算出された識別値をそれぞれ画像特性毎に予め設定されたしきい値と比較する比較手段とを備え、前記比較手段における比較結果に基づいて当該文字候補画像が文字画像であるか非文字画像であるかまたは、文字画像であるか非文字画像であるか不明な不明画像であるかを識別する複数段の識別手段と、
前記複数段の識別手段のうちの少なくとも１つの識別手段により、当該文字候補画像が文字画像または非文字画像であると識別された場合、当該文字候補画像を文字画像または非文字画像であると判定する判定手段とを有し、
前記複数段の抽出手段は、それぞれ、前段の識別手段において当該文字候補画像が不明画像であると識別された場合に、設定された画像特性に基づく特徴量を抽出する文字画像識別装置である。
【００１１】
請求項２に係る本発明は、前記複数段の識別手段が、それぞれ、前段の識別手段における識別値と、現段の算出手段により算出された識別値を加算する加算手段をさらに備えた請求項１記載の文字画像識別装置である。
【００１２】
請求項３に係る本発明は、前記算出手段が、当該特徴量に対する複数の文字画像および非文字画像の頻度分布に基づいて予め算出された識別関数を用いて、特徴量から識別値を算出する備えた請求項１または２記載の文字画像識別装置である。
【００１３】
請求項４に係る本発明は、前記複数段の識別手段が、文字候補画像が文字画像か非文字画像であるかを識別する識別能力が高い識別手段ほど前段に配置されている請求項１から３のいずれか１項記載の文字画像識別装置である。
【００１４】
［文字画像識別方法］
請求項５に係る本発明は、処理対象の画像データから文字画像である可能性があると判定されて切出された文字候補画像から、それぞれ異なる複数の画像特性に基づく特徴量を抽出するステップと、
抽出された特徴量に基づいて当該文字候補画像が文字画像である可能性または非文字画像である可能性を示す識別値を算出するステップと、
算出された識別値をそれぞれ画像特性毎に予め設定されたしきい値と比較するステップと、
しきい値との比較結果に基づいて当該文字候補画像が文字画像であるか非文字画像であるかまたは、文字画像であるか非文字画像であるか不明な不明画像であるかを識別するステップと、
当該文字候補画像が文字画像または非文字画像であると識別された場合、当該文字候補画像を文字画像または非文字画像であると判定し、当該文字候補画像が不明画像であると識別された場合には、特徴量を抽出するステップ、識別値を算出するステップおよびしきい値と比較するステップ、文字候補画像を識別するステップを再度繰り返すステップとを有する文字画像識別方法である。
【００１５】
［プログラム］
請求項６に係る本発明は、処理対象の画像データから文字画像である可能性があると判定されて切出された文字候補画像から、それぞれ異なる複数の画像特性に基づく特徴量を抽出するステップと、
抽出された特徴量に基づいて当該文字候補画像が文字画像である可能性または非文字画像である可能性を示す識別値を算出するステップと、
算出された識別値をそれぞれ画像特性毎に予め設定されたしきい値と比較するステップと、
しきい値との比較結果に基づいて当該文字候補画像が文字画像であるか非文字画像であるかまたは、文字画像であるか非文字画像であるか不明な不明画像であるかを識別するステップと、
当該文字候補画像が文字画像または非文字画像であると識別された場合、当該文字候補画像を文字画像または非文字画像であると判定し、当該文字候補画像が不明画像であると識別された場合には、特徴量を抽出するステップ、識別値を算出するステップおよびしきい値と比較するステップ、文字候補画像を識別するステップを再度繰り返すステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１６】
請求項１に係る本発明によれば、切り出された文字候補画像が文字画像か非文字画像であるかを、本構成を有しない場合と比較して、短時間で識別することが可能な文字画像識別装置を提供することができる。
【００１８】
請求項２に係る本発明によれば、請求項１に係る本発明により得られる効果に加えて、前段までの識別結果を加味した識別処理を行うことが可能な文字画像識別装置を提供することができる。
【００１９】
請求項３に係る本発明によれば、請求項１または２に係る本発明により得られる効果に加えて、識別関数による計算により容易に識別値を算出することが可能な文字画像識別装置を提供することができる。
【００２０】
請求項４に係る本発明によれば、複数段の識別手段のうち早い段階で文字候補画像が文字画像か非文字画像かを判定することが可能な文字画像識別装置を提供することができる。
【００２１】
請求項５に係る本発明によれば、切り出された文字候補画像が文字画像か非文字画像であるかを、本構成を有しない場合と比較して、短時間で識別することが可能な文字画像識別方法を提供することができる。
【００２２】
請求項６に係る本発明によれば、切り出された文字候補画像が文字画像か非文字画像であるかを、本構成を有しない場合と比較して、短時間で識別することが可能なプログラムを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施形態における文字画像識別装置１０のハードウェア構成を示すブロック図である。
【図２】本発明の第１の実施形態における文字画像識別装置１０の機能構成を示すブロック図である。
【図３】画像サイズ規格化部２２における画像サイズ規格化の一例を説明した図である。
【図４】特徴量抽出器３１1〜３１Nの具体的な一例を説明する図である。
【図５】黒画素密度に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図６】黒画素周囲長に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図７】平均ラン長特徴量に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図８】最大ラン長に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図９】複雑度に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図１０】連結成分数に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図１１】水平白黒変化点数に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図１２】垂直白黒変化点数に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。
【図１３】文字識別器３２1〜３２Nの構成を説明するための図である。
【図１４】文字識別器３２1〜３２Nにおける識別値算出部４１1〜４１Nの動作を説明するための図である。
【図１５】識別関数の設定方法を説明するための図である。
【図１６】比較器４２1〜４２Nの動作を説明するための図である。
【図１７】最終段において１つのしきい値ｔｈＮのみを用いる場合の比較器４２Nの動作を説明するための図である。
【図１８】しきい値の設定方法を説明するための図である。
【図１９】別の頻度分布においてしきい値の設定方法を説明するための図である。
【図２０】さらに別の頻度分布においてしきい値の設定方法を説明するための図である。
【図２１】本発明の第１の実施形態の文字画像識別装置１０における識別動作を説明するためのフローチャートである。
【図２２】本発明の第２の実施形態における文字画像識別装置１０ａの機能構成を示すブロック図である。
【図２３】本発明の第２の実施形態の文字画像識別装置１０ａにおける文字識別器１３２1〜１３２Nの構成を説明するための図である。
【発明を実施するための形態】
【００２４】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１は本発明の第１の実施形態の文字画像識別装置１０のハードウェア構成を示す図である。
【００２５】
本実施形態の文字画像識別装置１０は、図１に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワークを介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。
【００２６】
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された文字画像識別プログラムに基づいて所定の処理を実行して、文字画像識別装置１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された文字画像識別装置プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。
【００２７】
図２は、上記の文字画像識別プログラムが実行されることにより実現される文字画像識別装置１０の機能構成を示すブロック図である。
【００２８】
本実施形態の文字画像識別装置１０は、図２に示されるように、文字候補画像切出部２１と、画像サイズ規格化部２２と、Ｎ個の特徴量抽出器３１1〜３１Nと、文字識別器３２1〜３２Nと、判定器２４とを備えている。
【００２９】
以下、「特徴量抽出器３１1〜３１N」など、複数存在しうる構成部分のいずれかを特定せずに示す場合には、単に「特徴量抽出器３１」のように略記する場合がある。
【００３０】
本実施形態の文字画像識別装置１０は、２値化された画像データ、文字認識を目的とした文字切出し処理を前提として、文字画像らしき画像であるとして切出された画像（以下、文字候補画像と呼ぶ。）が文字画像か非文字画像かを識別する。
【００３１】
文字候補画像切出部２１は、処理対象の画像データから文字画像である可能性があると判定された領域の画像を文字候補画像として切出す。
【００３２】
文字切出し技術に関しては、様々な方法が提案されており、本実施形態ではそのうちどれか１つの方法を用いればよい。例えば以下のような文献に開示されている技術が存在する。
特開平５−１１４０４７号公報
特開平４−１００１８９号公報
特開平４−９２９９２号公報
特開平４−６８４８１号公報
特開平９−５４８１４号公報
特開平９−１８５６８１号公報における段落[００２１]に記載の文字の境界候補抽出方式
特開平５−１２８３０８号公報における段落[０００５]に記載の文字切り出し位置決定方式
なお、当然ながら文字候補画像を切り出し可能な技術であれば、上記の文献に開示された方法以外の方法を用いてもよい。
【００３３】
画像サイズ規格化部２２は、文字候補画像切出部２１により切出された文字候補画像の大きさを、特徴量抽出器３１1〜３１Nならびに文字識別期３２1〜３２Nの処理に必要な所定のサイズに規格化する。
【００３４】
図３は画像サイズ規格化部２２における画像サイズ規格化の一例を説明した図である。文書画像を２値化して文字切出し技術で切出される文字候補画像は、文書画像中に含まれる多様な文字サイズ、不正な文字切出し位置、さらには文書画像中に含まれる写真や線画領域の不正切出しなどの影響でさまざまな大きさとなる。例えば図３（Ａ）は異なる文字サイズ、図３（Ｂ）は不正な切出し位置、図３（Ｃ）は写真や線画領域の不正切出しの例である。画像サイズ規格化部２２はこのようなさまざまな大きさで入力される文字候補画像を、図３（Ａ）、図３（Ｂ）、図３（Ｃ）で示すように一様な大きさに規格化する。規格化するサイズは例えば６４×６４画素サイズなどである。もちろん正方形サイズに規格化するだけに限らず、同サイズに規格化するのであれば長方形になるように規格化してもよい。
【００３５】
特徴量抽出器３１1〜３１Nは、複数段に構成され、画像サイズ規格化部２２により規格化された文字候補画像から、それぞれ異なる複数の画像特性に基づく特徴量を順次抽出する。
【００３６】
なお、文字識別器３２1〜３２Nも複数段に構成されており、特徴量抽出器３１1〜３１Nと文字識別器３２1〜３２Nは、それぞれ１対１で対応して設けられている。そのため、１つの特徴量抽出器３１と１つの文字識別器３２の組により１つの段が構成されているものとして説明する。例えば、特徴量抽出器３１1や文字識別器３２1は、特徴量抽出器３１2および文字識別器３２2の前段に構成されており、特徴量抽出器３１3や文字識別器３２3は、特徴量抽出器３１2および文字識別器３２2の後段に構成されている。
【００３７】
図４は特徴量抽出器３１1〜３１Nの具体的な一例を説明する図である。図４に示すように、例えば文字識別器３２1が識別判断に黒画素密度を用いる場合、その特徴量を抽出する特徴量抽出器３１1は黒画素密度抽出器３１1として機能し、文字候補画像から特徴量として下記の式（１）で示す黒画素密度Ｄｂを算出して文字識別器３２1に出力する。
【００３８】
Ｄｂ＝文字候補画像中の黒画素数／文字候補画像面積  ・・・・・  （１）
【００３９】
また、文字識別器３２2が識別判断に黒画素周囲長を用いる場合、同様にその特徴量を抽出する特徴量抽出器３１2は黒画素周囲長抽出器３１2として機能し、文字候補画像から特徴量として黒画素周囲長Ｌａを算出して文字識別器３２2に出力する。
【００４０】
同様に、文字識別器３２3〜３２6が、それぞれ識別判断に０度方向黒画素平均ラン長、４５度方向黒画素平均ラン長、９０度方向黒画素平均ラン長、１３５度方向黒画素平均ラン長を用いる場合、特徴量抽出器３１3〜３１6は、それぞれ、０度方向黒画素平均ラン長抽出器３１3、４５度方向黒画素平均ラン長抽出器３１4、９０度方向黒画素平均ラン長抽出器３１5、１３５度方向黒画素平均ラン長抽出器３１6として機能する。
【００４１】
そして、この場合には、０度方向黒画素平均ラン長抽出器３１3は特徴量として０度方向黒画素平均ラン長Ｌ0を文字識別器３２3に出力し、４５度方向黒画素平均ラン長抽出器３１4は特徴量として４５度方向黒画素平均ラン長Ｌ45を文字識別器３２4に出力する。また、９０度方向黒画素平均ラン長抽出器３１5は特徴量として９０度方向黒画素平均ラン長Ｌ90を文字識別器３２5に出力し、１３５度方向黒画素平均ラン長抽出器３１6は特徴量として１３５度方向黒画素平均ラン長Ｌ135を文字識別器３２6に出力する。
【００４２】
以上説明したように、特徴量抽出器３１は文字識別器３２が識別判断に用いる画像特性に基づく特徴量の数だけ構成されている。
【００４３】
したがって、特徴量抽出器３１は図４に示したような特徴量を抽出するものだけに限定されるものではなく、入力される２値化された文字候補画像からさまざまな特徴量を抽出するよう構成することが可能である。例えば以下に示すような特徴量抽出器を適用することが可能である。
【００４４】
（１）最大ラン長抽出器（０度、４５度、９０度、１３５度の各方向）
（２）複雑度抽出器
（３）連結成分数抽出器５３
（４）０度方向（水平方向）黒白変化点数抽出器
（５）９０度方向（垂直方向）黒白変化点数抽出器
【００４５】
ここで、（１）最大ラン長抽出器は、各方向独立の特徴量抽出器であり、各方向の最大ラン長を算出する。
【００４６】
（２）複雑度抽出器は、複雑度を算出する。複雑度Ｃは、例えば以下の式（２）で算出される。
Ｃ＝（周囲長）2 ／黒画素数        ・・・・・  （２）
【００４７】
（３）連結成分抽出器は、文字候補画像中の独立した連結成分数を算出する。例えば、文字「あ」なら１、文字「い」なら２である。
【００４８】
（４）０度方向黒白変化点抽出器は、例えば文字候補画像中における０度方向（水平方向あるいは主走査方向）の黒画素から白画素へ変わる回数の総和を算出する。
【００４９】
（５）９０度方向黒白変化点抽出器は、例えば文字候補画像中における９０度方向（垂直方向あるいは副走査方向）の黒画素から白画素へ変わる回数の総和を算出する。
【００５０】
以上説明したように、特徴量抽出器３１は２値化された文字候補画像から複数の画像特性の異なる特徴量を抽出するが、抽出される各特徴量の値の範囲（値域）は異なるので、例えば抽出される実数値の特徴量ｘに対して、（０≦ｘ≦１２７）の範囲や（０≦ｘ≦１）の範囲で値の正規化を行い、値域を揃えて各特徴量抽出器３１により出力される特徴量を同様に扱えるようにする。
【００５１】
ここまで特徴量抽出器３１で抽出される特徴量の具体例を説明してきたが、ここで特徴量抽出器３１においてどのような特徴量を文字識別のための特徴量として利用するかについて説明する。
【００５２】
図５、図６、図７は、上記で説明した黒画素密度、黒画素周囲長、平均ラン長に対する文字画像ならびに非文字画像の頻度分布の具体例を表した図である。ここで図５、図６、図７において、横軸は各特徴量を（０≦ｘ≦１２７）の範囲で正規化した値を表し、縦軸は文字画像ならびに非文字画像の個数に相当する値であり、文字画像総数をＮ、非文字画像総数をＭとした場合に、文字画像から抽出した特徴量なら１／２Ｎ、非文字画像から抽出した特徴量なら１／２Ｍを個数の計数単位として表している。
【００５３】
図５、図６、図７を参照すると分かるように、黒画素密度、黒画素周囲長、平均ラン長のいずれの特徴量においても、文字画像と非文字画像とでは異なる頻度分布を表していることが分かる。つまり文字画像分布と非文字画像分布は異なる分布の山を有しており、これら特徴量に対して所定の閾値を用いることで文字、非文字を識別可能であることが分かる。
【００５４】
さらに同様に、これまでに説明した別の特徴量である最大ラン長、複雑度、連結成分数、水平白黒変化点数、垂直白黒変化点数についても、図８〜図１２に文字ならびに非文字画像の頻度分布の具体例を示すように、文字画像と非文字画像とでは異なる頻度分布を表しているが分かる。
【００５５】
つまり、文字候補画像が文字画像か非文字画像であるかを判定する際には、文字画像ならびに非文字画像の頻度分布が異なる分布を表すような特徴量を選択するようにして、それらの特徴量を抽出する複数の特徴量抽出器３１を構成するようにするとよい。
【００５６】
また、各文字識別器３２1〜３２Nは、上述したように、それぞれ異なる画像特性に基づく特徴量に基づいて、文字候補画像が文字画像であるか非文字画像であるかの文字画像識別を行う。
【００５７】
そして、判定器２４は、Ｎ個の文字識別器３２1〜３２Nのうちの少なくとも１つの文字識別器により、文字候補画像が文字画像または非文字画像であると識別された場合、その文字候補画像を文字画像または非文字画像であると最終的に判定する。
【００５８】
次に、この文字識別器３２1〜３２Nの構成を図１３を参照して説明する。
図１３に示されるように、文字識別器３２1は、識別値算出部４１1と、比較器４２1とから構成されている。また、文字識別器３２2は、識別値算出部４１2と、比較器４２2と、加算器４３2とから構成されている。同様に、文字識別器３２3〜３２Nは、それぞれ、識別値算出部４１3〜４１Nと、比較器４２3〜４２Nと、加算器４３3と〜４３Nとから構成されている。
【００５９】
識別値算出部４１1〜４１Nは、対応する特徴量抽出器３１1〜３１Nから抽出された特徴量に基づいて、識別値ｙ１〜ｙＮをそれぞれ算出して出力する。この識別値ｙ１〜ｙＮは、当該文字候補画像が文字画像である可能性または非文字画像である可能性を示す値であり、詳細については後述する。
【００６０】
加算器４３3と〜４３Nは、それぞれ、前段の文字識別器３２1〜３２N-1の比較器４２1〜４２N-1に入力される識別値Ｙ１〜Ｙ（Ｎ−１）と、同じ文字識別器３２2〜３２N内に設けられている現段の識別値算出部４１2〜４１Nにより算出された識別値ｙ２〜ｙＮとをそれぞれ加算して、識別値Ｙ２〜ＹＮとして比較器４２2〜４２Nに出力する。
【００６１】
なお、先頭の文字識別器３２1においては、前段の文字識別器は存在しないため、識別値算出部４１1において算出された識別値ｙ１がそのまま識別値Ｙ１として比較器４２1に出力される。
【００６２】
つまり、ある比較器４２に入力される識別値は、それよりも前段における全ての識別値を累積した値となり、例えば、比較器４２2に入力される識別値Ｙ２は、ｙ１とｙ２を加算した値であり、比較器４２3に入力される識別値Ｙ３は、ｙ１、ｙ２、ｙ３を加算した値となっている。
【００６３】
そして、比較器４２1〜４２Nは、それぞれ、入力された識別値Ｙ１〜ＹＮを、それぞれ画像特性毎に予め設定されたしきい値と比較する。その結果、文字識別器３２1〜３２Nは、この比較器４２1〜４２Nにおける比較結果により、文字候補画像を３通りに識別する。つまり、文字識別器３２1〜３２Nは、文字候補画像が、文字画像か、非文字画像か、不明画像かを識別する。ここで文字画像もしくは非文字画像と識別された場合には、識別結果を出力して現文字候補画像に対する識別動作はここで終了する。なお、比較器４２1〜４２N-1において、文字候補画像が文字画像か非文字画像であるか不明であると判定された場合、その結果は次段の特徴量抽出器３２2〜３２Nに通知される。
【００６４】
そして、特徴量抽出器３２2〜３２Nは、前段の文字識別処理において文字候補画像が文字画像であるか否かが不明である場合に初めて、文字候補画像から設定された特徴量を抽出する。
【００６５】
つまり、文字識別器３２1〜３２Nは、順次文字候補画像の識別処理を行って文字候補画像が文字画像か否か、または不明であるかの識別を行い、現段での識別処理において不明である場合に次段での識別処理が行われる。
【００６６】
ただし、最終段の文字識別器３２Nでは、文字画像か非文字画像であるか不明と識別された画像に対して、文字画像識別装置１０の用途、要求精度などを考慮して文字画像と識別するように動作させてもよいし、非文字画像と識別するように動作させてもよい。
【００６７】
このように各文字識別器３２1〜３２Nでは、前段の文字識別器３２において不明であると判定された場合にのみ、後段の文字識別器３２において識別動作が行われる。そして、文字識別器３２1〜３２Nでは、ある段階で文字画像か否かが確定すると、その時点で識別処理を終了する。つまり、本実施形態の文字画像識別装置１０では、入力された文字候補画像に対して、識別が容易な文字候補画像に関しては文字／非文字の判断をできるだけ前段の文字識別器３２で確定し、識別が難しい文字候補画像に関しては多くの文字識別器３２の判断に基づいて識別を行うように動作する。
【００６８】
次に、文字識別器３２1〜３２Nにおける識別値算出部４１1〜４１Nの動作を図１４を参照して説明する。
図１４は識別値算出部４１1〜４１Nの動作を模式的に表したものである。図１４に示すように、識別値算出部４１1〜４１Nは特徴量抽出器３１i（ｉ＝１〜Ｎ）からの出力ｘｉを入力し、識別値算出部４１1〜４１N毎に設定された識別関数ｆ（ｘ）にしたがって識別値ｙｉを出力する。ここで識別関数ｆ（ｘ）は以下の式（３）で表される１入力１出力関数である。
【００６９】
ｙ＝ｆ（ｘ）                    ・・・・（３）
【００７０】
つまり特徴量抽出器３１iからの出力である特徴量ｘｉに対して、式（３）にしたがって一意に識別値ｙｉが出力される。
【００７１】
ここである特定の特徴量抽出器３１から抽出される特徴量に対する文字画像ならびに非文字画像の分布が図１５（Ａ）で表されるような場合を考える。例えば、先に説明した図５〜図９および図１１に具体例を示した黒画素密度、黒画素周囲長、平均ラン長、最大ラン長、複雑度、および水平白黒変化点数の場合である。
【００７２】
図１５（Ａ）に示すような分布はあらかじめ多数の文字画像および非文字画像に対して特定の特徴量を抽出して、抽出した特徴量に対する文字および非文字画像のヒストグラムを生成することで得られる。図１５（Ａ）で示す例では特徴量ｘは（０≦ｘ≦１２７）で値の正規化が行われている。このような分布が得られる前提において各識別値算出部４１iに設定されている識別関数ｙ＝ｆ（ｘ）は以下の式（４）で表される関数で設定する。
【００７３】
ｙ＝（文字画像分布（ｘ）−非文字画像分布（ｘ））÷（文字画像分布（ｘ）＋非文字画像分布（ｘ））・・・（４）
【００７４】
なお、この式（４）において文字画像分布（ｘ）とは特徴量ｘに対応する文字画像の個数であり、非文字画像分布（ｘ）とは特徴量ｘに対応する非文字画像の個数である。
【００７５】
このようにして設定された識別関数ｆ（ｘ）を図示したものを図１５（Ｂ）に示す。図１５（Ｂ）で示すように式（４）で設定される識別関数ｙ＝ｆ（ｘ）は特徴量ｘ（０≦ｘ≦１２７）の範囲で、値域（−１≦ｙ≦１）を取る関数であり、図７において文字画像分布の下限値ｘ０、非文字画像分布の上限値ｘ１とすると、識別値ｙの値は下記の式のようになる。
ｙ＝  １  （ｘ＞ｘ１）
＝−１  （ｘ＜ｘ０）
【００７６】
このように図１５（Ｂ）に示すような識別関数ｙ＝ｆ（ｘ）を設定することで特徴量抽出器３１iからの出力される特徴量に対して一意の識別値ｙｉが得られる。
【００７７】
次に、識別値算出部４１iから出力された識別値ｙｉに基づく識別処理の詳細について説明する。
【００７８】
比較器４２1〜４２Nでは、識別値算出部４１1〜４１Nから出力され加算器４３2〜４３Nにより足し合わされた識別値ｙ１〜ｙＮに対して複数のしきい値、具体的には２つのしきい値ｔｈ（Ｌ）、ｔｈ（Ｈ）を用いて文字候補画像が文字画像か、非文字画像か、あるいは文字画像が非文字画像であるかを識別できない不明画像なのかの３通りの判断を行う。なお２つのしきい値ｔｈ（Ｌ）、ｔｈ（Ｈ）は、文字候補画像の識別処理とは別にあらかじめ設定しておくことが望ましい。
【００７９】
具体的には、図１６に示すように、比較器４２1〜４２Nには、それぞれ値の異なる２つのしきい値ｔｈ（Ｌ）、ｔｈ（Ｈ）が設定されており、ｔｈ（Ｌ）＜ｔｈ（Ｈ）となっている。そして、例えば比較器４２1に設定されている２つのしきい値のうち値の大きな方をｔｈ１（Ｈ）として表記し、値の小さい方をｔｈ１（Ｌ）として表記する。
【００８０】
そして、比較器４２1〜４２Nは、入力された識別値Ｙｉと、２つのしきい値ｔｈｉ（Ｌ）、ｔｈｉ（Ｈ）とを比較することにより、文字候補画像が文字画像であるか非文字画像であるか、あるいは不明であるかを識別する。
【００８１】
具体的には、比較器４２1〜４２Nは、入力された識別値Ｙｉと上述した２つのしきい値ｔｈｉ（Ｌ）、ｔｈｉ（Ｈ）を用いて以下のように文字候補画像を３タイプに識別する。（ｉ＝１〜Ｎ）
文字画像      （ｔｈｉ（Ｈ）≦Ｙｉ）
非文字画像    （Ｙｉ≦ｔｈｉ（Ｌ））
不明画像      （ｔｈｉ（Ｌ）＜Ｙｉ＜ｔｈｉ（Ｈ））
【００８２】
なお、最終段の文字識別器３２Nでの識別結果は「非文字」、「文字」の２通りになるように、図１７に示すように、比較器４２Nにおいて用いられるしきい値を、しきい値ｔｈＮの１つだけ設定するように構成して「非文字」および「文字」のいずれかに必ず識別されるようにしてもよい。
【００８３】
次に、上述したしきい値ｔｈ（Ｌ）、ｔｈ（Ｈ）の設定方法について説明する。
【００８４】
２つのしきい値ｔｈ（Ｌ）、ｔｈ（Ｈ）それぞれは各識別値算出部４１毎に設定された識別関数ｙ＝ｆ（ｘ）に基づいて決定される。図１８にしきい値の設定の具体的な一例を示す。図１８（Ｂ）に示す具体例では、特徴量ｘ２および特徴量ｘ３における識別関数ｙ＝ｆ（ｘ）の出力値を、それぞれしきい値ｔｈ（Ｌ）およびｔｈ（Ｈ）として設定している。ここで特徴量ｘ２および特徴量ｘ３の決定方法の具体例としては、例えば、文字画像分布における下位５％の個数を含む境界特徴量を特徴量ｘ２とし、非文字画像分布における上位５％の個数を含む境界特徴量を特徴量ｘ３とするような方法が挙げられる。ただし、このような方法に限定されるものではなく文字画像識別装置１０の用途、または要求精度などにより境界特徴量ｘ２およびｘ３の決定方法は変更されてもよい。
【００８５】
また簡単な決定方法としては、下記のように特徴量ｘ２を文字画像分布の下限値、特徴量ｘ３を非文字画像分布の上限値としてもよい。
ｘ２＝ｘ０
ｘ３＝ｘ１
【００８６】
図１８に示したしきい値設定の具体的な一例は、ある特定の特徴量に対する文字画像および非文字画像の分布が図１８（Ａ）で表されるような場合を前提としての例であったが、特徴量に対する文字画像および非文字画像の分布は図１８（Ａ）で表されるような場合だけではない。
【００８７】
そのため、文字画像および非文字画像の分布が図１８（Ａ）とは異なる場合にしきい値を設定する具体的な方法を図１９を参照して説明する。
図１９（Ａ）は、例えば図１０に示した連結成分数を特徴量とした場合の、文字ならびに非文字画像の頻度分布の場合である。図１９（Ａ）では、文字画像分布が値の大きい特徴量の範囲に局在分布しており、さらに文字画像分布が非文字画像分布にほぼ包含されている。ここでｘ０は文字画像分布の下限値である。
【００８８】
図１９（Ｂ）は、図１９（Ａ）に示した文字および非文字画像分布に対して、上記の式（４）で表される関数により設定される識別関数と、設定されるしきい値ｔｈ（Ｌ）およびｔｈ（Ｈ）を図示したものである。図１９（Ｂ）に図示されたしきい値ｔｈ（Ｌ）およびｔｈ（Ｈ）の設定方法は、しきい値ｔｈ（Ｌ）においては、例えば文字画像分布における上位および下位５％の個数を含む境界特徴量ｘ１およびｘ２を決定し、その境界特徴量ｘ１、ｘ２に対する関数値をしきい値ｔｈ（Ｌ）およびしきい値ｔｈ（Ｈ）とする。また簡単な決定方法としては、下記のように特徴量ｘ２を文字画像分布の下限値、特徴量ｘ３を特徴量最大値としてもよい。
ｘ１＝ｘ０
ｘ２＝１２７
【００８９】
さらに図２０（Ａ）に別の特徴量に対する具体例について説明する。図２０（Ａ）は、例えば図１２に具体例を示した垂直白黒変化点数を特徴量とした場合の、文字ならびに非文字画像の頻度分布の場合である。図２０（Ａ）では、文字画像分布と非文字画像分布は異なる分布であるが、非文字画像分布が値の小さい特徴量の範囲に局在分布している。ここでｘ０およびｘ１はそれぞれ非文字画像分布の上限値、文字画像分布の上限値である。
【００９０】
図２０（Ｂ）は、図２０（Ａ）に示した文字および非文字画像分布に対して、上記の式（４）で表される関数により設定される識別関数と、設定されるしきい値ｔｈ（Ｌ）およびｔｈ（Ｈ）を図示したものである。図２０（Ｂ）に図示されたしきい値ｔｈ（Ｌ）およびｔｈ（Ｈ）の設定方法は、しきい値ｔｈ（Ｌ）においては、例えば文字画像分布における下位５％の個数を含む境界特徴量ｘ２を、しきい値ｔｈ（Ｈ）においては、非文字画像分布における上位５％の個数を含む境界特徴量ｘ３を決定し、その境界特徴量ｘ２、ｘ３に対する関数値をしきい値ｔｈ（Ｌ）およびしきい値ｔｈ（Ｈ）とする。また簡単な決定方法としては、下記のように特徴量ｘ２を特徴量最小値、特徴量ｘ３を非文字分布上限値としてもよい。
ｘ２＝０
ｘ３＝ｘ０
【００９１】
このように図１８（Ａ）で示した文字、非文字画像分布とは別の分布の場合である図１９（Ａ）および図２０（Ａ）の具体例においても図１８（Ｂ）と同様の設定方法でしきい値ｔｈ（Ｌ）およびｔｈ（Ｈ）の設定が可能である。つまりある特定の特徴量に対する文字、非文字分布がどのような分布であっても上記と同様な方法でしきい値ｔｈ（Ｌ）およびｔｈ（Ｈ）を設定できる。
【００９２】
次に、本実施形態の文字画像識別装置１０における識別動作を図２１に示すフローチャートを参照して詳細に説明する。
【００９３】
先ず、特徴量抽出器３１1では、文字候補画像から特徴量ｘ（１）を抽出する（ステップＳ１０１）。すると、文字識別器３２1では、識別値算出部４１1により、抽出された特徴量ｘ（１）に基づく識別値ｙ１が算出される（ステップＳ１０２）。
【００９４】
すると、文字識別器３２1では、比較器４２1により、算出された識別値ｙ１と、予め設定されているしきい値ｔｈ１（Ｌ）、ｔｈ１（Ｈ）との比較が行われる（ステップＳ１０３、Ｓ１０４）。
【００９５】
この比較器４２1における比較により、識別値ｙ１がｔｈ１（Ｌ）以下の場合には（ステップＳ１０３においてｙｅｓ）、判定結果は非文字であるとされ識別処理は終了する（ステップＳ２０３）。また、識別値ｙ１がｔｈ１（Ｈ）以上の場合には（ステップＳ１０４においてｙｅｓ）、判定結果は文字であるとされ識別処理は終了する（ステップＳ２０４）。
【００９６】
識別値ｙ１がｔｈ１（Ｌ）よりも大きくｔｈ１（Ｈ）よりも小さいと判定された場合には、判定結果は不明であるとして、比較器４２1から次段の特徴量抽出器３２2に対してその旨が通知される（ステップＳ１０３、Ｓ１０４においてもともにｎｏ）。
【００９７】
その結果、特徴量抽出器３１2では、文字候補画像から特徴量ｘ（２）が抽出され（ステップＳ１０５）、文字識別器３２2では、識別値算出部４１2により、抽出された特徴量ｘ（２）に基づく識別値ｙ２が算出される。そして、加算器４３2により識別値ｙ１（Ｙ１）と識別値ｙ２が加算されて識別値Ｙ２が算出される（ステップＳ１０６）。
【００９８】
そして、文字識別器３２2では、比較器４２2により、算出された識別値Ｙ２と、予め設定されているしきい値ｔｈ２（Ｌ）、ｔｈ２（Ｈ）との比較が行われる（ステップＳ１０７、Ｓ１０８）。
【００９９】
この比較器４２2における比較により、識別値Ｙ２がｔｈ２（Ｌ）以下の場合には（ステップＳ１０７においてｙｅｓ）、判定結果は非文字であるとされ識別処理は終了する（ステップＳ２０３）。また、識別値Ｙ２がｔｈ２（Ｈ）以上の場合には（ステップＳ１０８においてｙｅｓ）、判定結果は文字であるとされ識別処理は終了する（ステップＳ２０４）。
【０１００】
識別値Ｙ２がｔｈ２（Ｌ）よりも大きくｔｈ２（Ｈ）よりも小さいと判定された場合には、判定結果は不明であるとして、比較器４２2から次段の特徴量抽出器３２3に対してその旨が通知される（ステップＳ１０７、Ｓ１０８においてもともにno）。このようにしてステップＳ１０９以下においても同様の処理が繰り返される。
【０１０１】
なおこの繰り返し処理において、文字識別器３２2〜３２Nには加算器４３2〜４３Nが設けられていることにより、現段での識別値と前段まで算出された識別値の和（例えば比較器４２3ではＹ３＝ｙ１＋ｙ２＋ｙ３）としきい値との比較が行われることになる。
【０１０２】
最後に、文字識別器３２Nにおいて、算出された識別値ＹＮとしきい値ｔｈＮとが比較されて（ステップＳ２０２）、最終的に判定結果が「非文字」であるか（ステップＳ２０３）、「文字」であるか（ステップＳ２０４）が確定する。
【０１０３】
次に、文字識別器３２1〜３２Nの構成順序について説明する。上記において説明してきたように、本実施形態における文字画像識別装置１０では、できる限り前段の文字識別器３２で「文字」、「非文字」と識別するように動作させるために、文字識別器３２1〜３２Nの構成順序は文字／非文字識別能力が高い順とする。つまり、識別能力が高い文字識別器３２ほど前段に配置されるような構成とする。ここで言う文字／非文字識別能力が高い文字識別器３２とは、設定された識別関数としきい値による誤識別率が最も低い文字識別器３２であり、誤識別率は例えば各文字識別器３２毎に文字／非文字を含んだ同じ文字候補画像群を識別させてその誤識別した画像数を計数し、この誤識別した画像数を総文字候補画像数で除することで得られる。
【０１０４】
また文字識別器３２で用いるしきい値に関しても、より前段の文字識別器３２においては文字／非文字を高い精度で識別するために、たとえば図１８（Ｂ）でのしきい値設定の説明において文字画像分布の下限値、非文字画像の上限値を用いる場合（ｘ２＝ｘ０、ｘ３＝ｘ１）のように、より精度が高い識別が期待されるしきい値を設定するようにする。
【０１０５】
[第２の実施形態]
次に、本発明の第２の実施形態の文字画像識別装置について説明する。
【０１０６】
上記の第１の実施形態では、文字識別器３２2〜３２Nにおける識別処理において、前段までの各文字識別器３２1〜３２N-1からの識別値と現段の文字識別器３２からの識別値との和を識別処理に用いていたが、本発明はこのような構成に限定されるものではない。
【０１０７】
本実施形態の文字画像識別装置１０ａの構成を図２２、図２３を参照して説明する。
本実施形態の文字画像識別装置１０ａは、図２に示した第１の実施形態の文字画像識別装置１０に対して、文字識別器３２1〜３２Nを文字識別器１３２1〜１３２Nに置き換えた構成となっている。
【０１０８】
本実施形態における文字識別器１３２1〜１３２Nでは、図２３を参照すると分かるように、前段の識別値を順次加算していくための加算器が設けられていない。よって、本実施形態における文字識別器１３２1〜１３２Nでは、識別値算出部４１1〜４１Nにより算出された識別値ｙ１〜ｙＮと、予め設定されているしきい値ｔｈ（Ｌ）、ｔｈ（Ｈ）との比較が行われる。
【０１０９】
本実施形態のように文字識別器１３２1〜１３２Nを構成した場合でも、文字識別処理の動作は第１の実施形態の動作と同様であり、図２１に示したフローチャートにおいて、ステップＳ１０６、Ｓ２０１等におけるＹ２、ＹＮ等をｙ２、ｙｎと置き換えるだけでよい。
【０１１０】
[変形例]
上記実施形態では、文字候補画像が文字画像であるか非文字画像であるかを識別する場合を用いて説明したが、本発明はこれに限定されるものではなく、顔識別処理のように識別対象画像がある特定のパターンと合致するか否かを識別するような場合でも同様に適用することができるものである。
【符号の説明】
【０１１１】
１０    文字画像識別装置
１１    ＣＰＵ
１２    メモリ
１３    記憶装置
１４    通信インタフェース（ＩＦ）
１５    ユーザインタフェース（ＵＩ）装置
１６    制御バス
２１    文字候補画像切出部
２２    画像サイズ規格化部
２４    判定器
３１1〜３１N    特徴量抽出器
３２1〜３２N    文字識別器
４１1〜４１N    識別値算出部
４２1〜４２N    比較器
４３2〜４３N    加算器
１３２1〜１３２N    文字識別器
【図１】
0005660294.tif 000002
【図２】
0005660294.tif 000003
【図３】
0005660294.tif 000004
【図４】
0005660294.tif 000005
【図５】
0005660294.tif 000006
【図６】
0005660294.tif 000007
【図７】
0005660294.tif 000008
【図８】
0005660294.tif 000009
【図９】
0005660294.tif 000010
【図１０】
0005660294.tif 000011
【図１１】
0005660294.tif 000012
【図１２】
0005660294.tif 000013
【図１３】
0005660294.tif 000014
【図１４】
0005660294.tif 000015
【図１５】
0005660294.tif 000016
【図１６】
0005660294.tif 000017
【図１７】
0005660294.tif 000018
【図１８】
0005660294.tif 000019
【図１９】
0005660294.tif 000020
【図２０】
0005660294.tif 000021
【図２１】
0005660294.tif 000022
【図２２】
0005660294.tif 000023
【図２３】
0005660294.tif 000024