(57)【要約】【課題】  文字認識において、認識精度を向上させる。【解決手段】  画像中の文字を認識する文字認識装置１２であって、入力した画像を走査しながら局所画像を切り出して特徴を抽出し、特徴と辞書に登録された文字の特徴との類似度に基づいて文字候補を決定する第一段文字認識手段２１、文字候補及び画像に基づいて文字候補の変形度合いを推定する変形推定手段２２、変形度合いに基づいて画像から補正後局所画像を切り出す変形補正手段２３、補正後局所画像を走査しながら局所画像を切り出して特徴を抽出し、特徴と辞書に登録された文字の特徴との類似度、及び文字候補に基づいて新文字候補を決定する文字再認識手段２４、を有する文字認識装置１２。【選択図】  図２
2006235817.tif 000002
【特許請求の範囲】
【請求項１】
画像中の文字を認識する文字認識装置であって、
入力した画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度に基づいて文字候補を決定する第一段文字認識手段と、
前記文字候補及び前記画像に基づいて前記文字候補の変形度合いを推定する変形推定手段と、
前記変形度合いに基づいて前記画像から補正後局所画像を切り出す変形補正手段と、
前記補正後局所画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度、及び前記文字候補に基づいて新文字候補を決定する文字再認識手段と、を有することを特徴とする文字認識装置。
【請求項２】
前記変形度合いは、アンフィン変換のパラメータであることを特徴とする請求項１に記載の文字認識装置。
【請求項３】
前記文字再認識手段では、前記第一段文字認識手段及び当該文字再認識手段で類似度が高いと判断した文字候補を認識結果とすることを特徴とする請求項１又は２に記載の文字認識装置。
【請求項４】
画像中の文字を認識する文字認識装置における文字認識方法であって、
第一段文字認識手段が、入力した画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度に基づいて文字候補を決定する第一段文字認識ステップと、
変形推定手段が、前記文字候補及び前記画像に基づいて前記文字候補の変形度合いを推定する変形推定ステップと、
変形補正手段が、前記変形度合いに基づいて前記画像から補正後局所画像を切り出す変形補正ステップと、
文字再認識手段が、前記補正後局所画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度、及び前記文字候補に基づいて新文字候補を決定する文字再認識ステップと、を有することを特徴とする文字認識方法。
【請求項５】
前記変形度合いは、アンフィン変換のパラメータであることを特徴とする請求項４に記載の文字認識方法。
【請求項６】
前記文字再認識ステップでは、前記第一段文字認識ステップ及び当該文字再認識ステップで類似度が高いと判断した文字候補を認識結果とすることを特徴とする請求項４又は５に記載の文字認識方法。
【請求項７】
上記請求項１〜６いずれかに記載の文字認識装置又は文字認識方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字列を画像として撮影し、その文字列を識別する画像識別技術に関するものである。具体的な産業応用システムとして、例えば看板の日本語翻訳システムなどが挙げられる。
【背景技術】
【０００２】
景観に存在する文字列識別は、一般的には文字列位置特定、文字領域特定、２値化、文字識別という４ステップを経る。しかし、このような技術では、照明変動や複雑な背景などの影響によって、文字列位置特定、文字領域特定、２値化がうまくいかず、文字列識別精度が低いという問題があった。
【０００３】
このような問題を解決するために、景観に存在する文字列識別技術として、全画面探索、文字候補絞込み、言語モデルによる文字列推定、という３ステップを経る方法がある(例えば、非特許文献１参照。)。
【非特許文献１】草地良規、伊藤直己、鈴木章、荒川賢一、「画像インデクシングを目的としたテキスト領域不要の景観中文字認識」、電子情報通信学会  信学技報  ＰＲＭＵ２００４−８９、（２００４−１０）、ｐ.３７−４２
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記方法では、特徴の定義及び識別アルゴリズムに限界があり、識別精度が十分ではなかった。特に、撮像方向による文字の変形が識別精度に大きく影響を与えることがわかっている。また、背景部分での文字候補が多く残ってしまい、言語モデルによる文字列推定がうまく働かないという課題があった。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、上記課題を解決した文字認識技術を提供することにある。
【課題を解決するための手段】
【０００６】
そこで、上記課題を解決するために、請求項１に記載の発明は、画像中の文字を認識する文字認識装置であって、入力した画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度に基づいて文字候補を決定する第一段文字認識手段と、前記文字候補及び前記画像に基づいて前記文字候補の変形度合いを推定する変形推定手段と、前記変形度合いに基づいて前記画像から補正後局所画像を切り出す変形補正手段と、前記補正後局所画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度、及び前記文字候補に基づいて新文字候補を決定する文字再認識手段と、を有することを特徴とする。
【０００７】
また、請求項２に記載の発明は、前記変形度合いは、アンフィン変換のパラメータであることを特徴とする。
【０００８】
また、請求項３に記載の発明は、前記文字再認識手段では、前記第一段文字認識手段及び当該文字再認識手段で類似度が高いと判断した文字候補を認識結果とすることを特徴とする。
【０００９】
また、請求項４に記載の発明は、画像中の文字を認識する文字認識装置における文字認識方法であって、第一段文字認識手段が、入力した画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度に基づいて文字候補を決定する第一段文字認識ステップと、変形推定手段が、前記文字候補及び前記画像に基づいて前記文字候補の変形度合いを推定する変形推定ステップと、変形補正手段が、前記変形度合いに基づいて前記画像から補正後局所画像を切り出す変形補正ステップと、文字再認識手段が、前記補正後局所画像を走査しながら局所画像を切り出して特徴を抽出し、当該特徴と辞書に登録された文字の特徴との類似度、及び前記文字候補に基づいて新文字候補を決定する文字再認識ステップと、を有することを特徴とする。
【００１０】
また、請求項５に記載の発明は、前記変形度合いは、アンフィン変換のパラメータであることを特徴とする。
【００１１】
また、請求項６に記載の発明は、前記文字再認識ステップでは、前記第一段文字認識ステップ及び当該文字再認識ステップで類似度が高いと判断した文字候補を認識結果とすることを特徴とする。
【００１２】
また、請求項７に記載の発明は、上記請求項１〜６いずれかに記載の文字認識装置又は文字認識方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。
【００１３】
請求項１〜７に記載の発明では、文字候補の変形度合いを推定し、変形を補正してから類似度を再算出することにより、識別精度が向上する。
【００１４】
請求項３及び６に記載の発明では、文字候補をさらに絞り込むことが可能となる。
【発明の効果】
【００１５】
請求項１〜７に記載の発明によれば、文字認識において、認識精度を向上させることが可能となる。
【００１６】
また、請求項３及び６によれば、文字候補のさらなる絞込みを行うことで、背景部分の文字候補を削減することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態について図面を用いて説明する。
【００１８】
まず図１を用いて、文字認識装置を文字列翻訳システムに適用した例を説明する。文字列翻訳システムは、カメラ付きＰＤＡなどの携帯端末１１、文字認識装置１２、文字列推定装置１３、及び翻訳装置１４から構成される。
【００１９】
本文字列翻訳システムにおいて、ユーザは携帯端末１１にて画像を撮影し、文字認識装置１２に送付する。文字認識装置１２は画像から文字候補を抽出して文字列推定装置１３に送付する。文字列推定装置１３は文字候補から文字列を推定して翻訳装置１４に送付する。翻訳装置１４は文字列を翻訳して翻訳結果を携帯端末１１に送付し、ユーザはこの翻訳結果を閲覧できる。このように本文字列翻訳システムにより、ユーザは撮影した文字列の画像を基に、その文字列の翻訳結果を見ることが可能となる。
【００２０】
ここで図２を用いて、文字認識装置１２の構成を説明する。図２に示すように、文字認識装置１２は、第一段文字認識手段２１、変形推定手段２２、変形補正手段２３、及び文字再認識手段から構成される。
【００２１】
第一段文字認識手段２１は、画像から文字候補を抽出する手段であり、例えば、「画像インデクシングを目的としたテキスト領域不要の景観中文字認識」、電子情報通信学会  信学技報  ＰＲＭＵ２００４−８９（２００４−１０）、ｐ.３７−４２、に記載の方法により実現できる。
【００２２】
ここで、第一段文字認識手段２１について、例を挙げて説明する。この第一段文字認識手段２１では、大きさの異なる文字に対応するために、複数解像度画像を生成し、位置をずらしながら、定められた大きさの画像を切り出し、粗密検索を行う。この結果をインデクスとして利用する。画像検索では、キーワードが入力されると、インデクスから該当する文字のみを抽出して規則性を判定し、規則的と判定された画像を結果として出力する。
【００２３】
ここで、粗密探索はパターン学習、及びパターン識別より構成される。以下に、パターン学習、及びパターン識別について説明する。
【００２４】
(パターン学習)
パターン学習は、特徴抽出、カテゴリの階層構造の作成、幾何学変形によるパターン生成、及び辞書生成の４つの段階から構成される。
【００２５】
特徴抽出では、文字を正面から撮影した原パターン(ｗ×ｗとする)を用意し、特徴を抽出する。特徴は、加重方向指数ヒストグラム特徴(ＷＤＣＨ)を利用する。ＷＤＣＨはＯＣＲに用いられ、２値画像を対象としていたが、グレー画像に容易に拡張可能である。以下にアルゴリズムの概要を示す。ただし、Ｍ、Ｎは正定数である。
１：原パターンから、ソーベルオペレータを用いて微分の値及び方向を求める。
２：微分の方向をＭ方向に量子化する。
３：原パターンをＮ×Ｎのグリッドに分割する。
４：各グリッドの各Ｍ方向で、微分値の大きさを加算する。
５：Ｎ×Ｎ×Ｍの特徴ベクトルと考え、ノルムを正規化する。
【００２６】
ＷＤＣＨは、微分値をベースとしているため、明るさ変動の影響を受けにくい。また、グリッド内の微分値の和を用いることにより、フォントによる変形などの形状の微小変動を吸収することができる。
【００２７】
カテゴリの階層構造の作成では、特徴ベクトルの類似性から各カテゴリをクラスタリングし、階層構造を作成する。各ノードは、複数のカテゴリが含まれる。最下層のノードでは、単体のカテゴリのみが含まれる。
【００２８】
幾何学変形によるパターン生成では、各カテゴリに対し、視点の変動に伴う文字の変形パターンを生成する。原パターンを回転、垂直スキュー、水平スキュー、縦横比、及び拡大縮小の５パラメータのアフィン変換により幾何学変形する。生成されたパターンの大きさは、原パターンよりも大きくなる場合があるが、現パターンの窓サイズ内の部分パターンのみを用いて特徴を抽出し、この特徴ベクトルを辞書生成に用いる。
【００２９】
辞書生成では、以下の手順で各ノードの辞書を作成する。
【００３０】
第１段階として、特徴圧縮を行う。まず、各階層において、特徴を圧縮する。幾何変形パターンを含む全特徴ベクトルを主成分分析し、上位の固有値を有する固有ベクトルを用いて圧縮する。この圧縮特徴ベクトルをｆ(ｃ，ｒ，ｐ)と表す。ただし、ｃはカテゴリ、ｒは圧縮率、ｐは変形パラメータである。
【００３１】
第２段階として、各ノードでの辞書生成を行う。各ノードのカテゴリ集合をＣとすると、ｆ(Ｃ，ｒ，ｐ)のベクトルを主成分分析し、部分空間Ｅｄ(Ｃ，ｒ)を求める。ただし、ｄは部分空間の次元数であり、寄与率により求めるが、システムにより定められる整数である。
【００３２】
各階層の圧縮率は、下層に向かうに従い低く設定することで粗密探索を実現する。上層では、精度は低いが、高速な識別を行い、下層では、低速であるが高精度な識別を実行する。
【００３３】
(パターン識別)
複数解像度画像全面に位置を動かしながら、大きさＷ×Ｗの小領域を切り出し、パターン識別を行う。パターン識別では、階層構造において複数のルートを辿りながら、粗密探索を実行する。以下にアルゴリズムの概要を示す。
１．特徴抽出：各解像度画像全面に対し位置を変化させつつ、領域を切り出して特徴を抽出する。すべての切り出し領域の特徴をあらかじめ算出しておく。
２．初期化：木構造のルートノードを出発点とする。
３．候補ノードの設定：すべての切り出し領域に、候補ノードとして第一階層のノードをセットする。各切り出し領域に対して、４〜６を繰り返す。
４．圧縮：下層の圧縮率を用いて切り出し領域の特徴を圧縮する。これをＩ’(ｒ)と表す。
５．投影距離計算：以下の式に従い、候補ノードＣの部分空間を用いて投影距離Ｌ(Ｃ)を求める。
【００３４】
【数１】
2006235817.tif 000003
【００３５】
ただし、Ｄは部分空間次元である。
６．スクリーニング：上記の距離値から、各候補ノードの順位を計算する。この距離及び順位の閾値から、候補ノードを更新する。
７．ピーク検出：すべての切り出し領域の各候補ノードについて、３次元(縦、横、解像度)の空間的な連結性を算出し、セグメントを求める。各セグメント内の距離値の最小ピークを有する候補ノードのみを残す。その他の候補ノードは削除する。
８．局所領域でのスクリーニング：同一解像度のピークの集合各々に対して以下の処理を行う。まず空間をブロック分割し、各ブロック内に含まれるピークを距離値によってソートして、上位から一定個数以内だけ採用する。その後、ブロック分割の位置を水平／垂直に半ブロックずらして同じ処理を行う。
９．同一候補文字のピーク統合：同一候補文字を持つ２つのピークを取り出して中心座標と解像度が互いに近ければ距離値の小さい方に統合する処理を、統合するピークの対が存在しなくなるまで繰り返す。
１０．候補ノードの更新：候補ノードの下層に接続されたノードを新しい候補ノードとして登録する。
１１．終了判定：最下層に辿り着いていれば残った候補ノードをインデクスとして出力して終了、その他であれば上記４に戻る。インデクスのフォーマットは(カテゴリ名、位置、大きさ、類似度)である。
【００３６】
上記７の空間的な連結性は３次元だけでなく２次元(縦、横)等も考えられる。また、上記７〜９は、処理量削減のための処理であり、精度及び処理量のトレードオフとなる。すべての階層で行う必要はなく、定められた階層のみでおこなえばよい。
【００３７】
(画像検索)
画像検索では、キーワードが文字列として入力されるとパターン識別で得たインデクスの中からパターンが空間的に規則的に配置された個所を探索し、そのような個所が存在するインデクスを有する画像を検索結果として出力する。パターンの空間的な配置の規則として、ここでは、
(１)パターンの大きさがほぼそろっていること
(２)ピッチがほぼ一定であること
(３)ピッチの大きさが個別のパターンの大きさに対して相対的に一定の範囲内に収まっていること
(４)パターンの並ぶ順序が入力された文字列の順序と一致し、かつパターンの並ぶ方向と水平方向又は垂直方向との角度の差が一定の範囲内であることを用いる。
【００３８】
この場合の探索アルゴリズムでは、入力文字列を構成する順方向の任意の２個の文字の組み合わせがインデクスの中で存在する個所をすべて探し、これらの個所で仮想的な入力文字列の開始位置の２次元座標、及び文字送りを表す２次元のベクトルの値を算出し、これらのパラメータで構成される投票空間に投票を行う。ただし、投票の際には、その組み合わせが上記(１)、(３)、(４)の規則に反しないか否かをチェックし、反すると判定した場合には投票を行わない。そして最後に、投票空間の中からスコアが閾値以上の個所の有無を探索する。
【００３９】
このアルゴリズムでは、投票の際に処理対象となる候補文字は２つのカテゴリだけに限定するため偽の候補文字を多く含むインデクスに対しても高速な処理が可能となり、かつ投票処理の特性により部分的な正解の欠落に対してロバスト性を有することになる。
【００４０】
このようにして第一段文字認識手段２１は画像から文字候補(候補カテゴリ、位置、大きさ、類似度)を決定する。
【００４１】
変形推定手段２２は、文字候補（候補カテゴリ、位置、大きさ、類似度）及び画像から、各位置・大きさにおける文字の変形度合いを推定する。これは、例えば、「サポートベクトル回帰による３次元物体の姿勢推定」、電子情報通信学会  信学技報  ＰＲＭＵ２００４−９１（２００４−１０）、に記載のパラメータ推定方法により実現できる。
【００４２】
具体的には、パラメータとしてカメラのヨー角、ピッチ角、及びロール角を対象にしているが、文字の変形パラメータとしては、アフィン変換のパラメータ（縦伸縮、横伸縮、縦スキュー、横スキュー、回転）などを対象にするのがよいと考えられる。また、パラメータ推定関数の学習には、数種類の文字フォントを人工的に変形させて利用すればよい。
【００４３】
このようにして得られた変形パラメータ推定関数は各文字カテゴリに対し導出される。したがって、パラメータ推定においては、文字候補（候補カテゴリ、位置、大きさ、類似度）のプロパティである「候補カテゴリ」に対応する変形パラメータ推定関数を呼び出し、変形パラメータ値を算出すればよい。また、このとき変形パラメータ推定関数に入力すべき特徴ベクトルは、文字候補（候補カテゴリ、位置、大きさ、類似度）のプロパティである「位置、大きさ」で特定される局所画像から抽出される。この際の特徴量は、第一段文字認識手段２１と同じ特徴を用いてもよいし、異なる特徴、例えば画像を構成する各画素を要素とした特徴量などを利用してもよい。
【００４４】
以上の方法により各文字候補（候補カテゴリ、位置、大きさ、類似度）から変形パラメータを推定できる。このうち、同じ位置・大きさのものは、これらのパラメータ値の平均値を計算し、その位置・大きさに対し唯一の変形パラメータにまとめる。この結果を、変形度合い（位置、大きさ）として出力する。
【００４５】
変形補正手段２３では、変形度合い（位置、大きさ）に基づいて、対応する変形補正後局所画像を入力画像より切り出す。
【００４６】
ここで、入力画像から変形補正後局所画像が切り出される様子を図３に示す。変形補正後局所画像は、文字の変形が補正された状態になるように切り出される。たとえば変形パラメータがアフィン変換ならば、そのアフィン変換の逆変換を画像にかけて切り出すことで、変形補正後局所画像を得ることができる。その結果を、補正後局所画像（位置、大きさ）として出力する。
【００４７】
文字再認識手段２４では、補正後局所画像（位置、大きさ）に対して第一段文字認識手段２１と同様の処理を行い、類似度を算出する。この類似度を、第一段文字認識手段２１から受信した対応する文字候補(候補カテゴリ、位置、大きさ、類似度)の新たな類似度として、これを新文字候補として出力する。
【００４８】
このとき、各位置・大きさにおいて、新文字候補の類似度順位がＮ位以内に含まれ、かつ第一段文字認識手段２１における認識結果の類似度順位がＭ位以内に含まれているものだけを認識結果として出力することが可能である。これにより、第一段文字認識手段２１及び文字再認識手段２４の両方で類似度順位が高い文字候補を残すこととなり、さらなる文字候補の絞込みを行うことができる。このＮ、Ｍは予め決められるパラメータであり、Ｎの値とＭの値とは同じでもよいし。異なっていてもよい。
【００４９】
なお、上記実施形態において、文字認識装置２１は、例えば、文字認識装置２１を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とする第一段文字認識処理、変形推定処理、変形補正処理、及び文字再認識処理などをアプリケーションプログラムとして搭載することができる。
【００５０】
また、必要とする第一段文字認識処理、変形推定処理、変形補正処理、文字再認識処理などで行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００５１】
また、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等がある。
【図面の簡単な説明】
【００５２】
【図１】文字認識装置を用いた文字列翻訳システム。
【図２】文字認識装置の構成図。
【図３】変形補正後局所画像切り出しの説明図。
【符号の説明】
【００５３】
１１…携帯端末
１２…文字認識装置
１３…文字列推定装置
１４…翻訳装置
２１…第一段文字認識装置
２２…変形推定手段
２３…変形補正手段
２４…文字再認識手段
【図１】
2006235817.tif 000004
【図２】
2006235817.tif 000005
【図３】
2006235817.tif 000006