(57)【特許請求の範囲】
【請求項１】
画像のテキスト領域を検出するためのテキスト検出方法であって、
入力画像からコンポーネントを生成するコンポーネント生成ステップと、
類似性要件を満たす前記コンポーネントをグループ化してコンポーネントグループを形成するコンポーネントグループ化ステップと、
ひとつのコンポーネントグループにおける少なくとも二つの隣接するコンポーネントを含むコンポーネント接続を抽出するコンポーネント接続抽出ステップと、
全てのコンポーネント接続の特徴を取得する特徴取得ステップと、
前記特徴取得ステップにおいて取得された、ひとつのコンポーネントグループにおけるコンポーネント接続の前記特徴と、該コンポーネントグループとは異なる他のコンポーネントグループにおけるコンポーネント接続の前記特徴と、に基づいて、前記コンポーネントグループをテキストグループと非テキストグループとに分類するコンポーネントグループ分類ステップと、
前記テキストグループに基づいてテキスト領域を生成するテキスト領域生成ステップと、を含む方法。
【請求項２】
前記特徴は、前記全てのコンポーネント接続の候補特徴のうちの少なくともひとつの値の分布から取得される請求項１に記載の方法。
【請求項３】
前記コンポーネントグループ分類ステップはさらに各コンポーネント接続のテキスト信頼値を算出するテキスト信頼値算出ステップを含み、前記コンポーネントグループ分類ステップは前記テキスト信頼値に基づいて、前記コンポーネントグループをテキストグループまたは非テキストグループに分類する請求項１または２に記載の方法。
【請求項４】
前記コンポーネントグループ分類ステップはさらに、
コンポーネント接続の前記テキスト信頼値を、前記特徴取得ステップにおいて取得された前記特徴にしたがって調整するテキスト信頼値調整ステップを含み、
前記コンポーネントグループ分類ステップは、コンポーネントグループのテキスト信頼値であって該グループにおける全てのコンポーネント接続の調整されたテキスト信頼値から取得されるテキスト信頼値、に基づいて、前記コンポーネントグループをテキストグループまたは非テキストグループに分類する請求項３に記載の方法。
【請求項５】
前記分布のヒストグラムビンの値が所定のしきい値よりも大きい場合に、前記特徴が前記特徴取得ステップにおいて取得される請求項２に記載の方法。
【請求項６】
前記分布の最上位のヒストグラムビンにおけるコンポーネント接続の平均文字尤度が他のどのヒストグラムビンにおけるコンポーネント接続の平均文字尤度よりも大きい場合に、前記特徴が前記特徴取得ステップにおいて取得される請求項２に記載の方法。
【請求項７】
前記分布の最上位のヒストグラムビンと前記分布の二番目のヒストグラムビンとの値の比が所定のしきい値よりも大きい場合に、前記特徴が前記特徴取得ステップにおいて取得される請求項２に記載の方法。
【請求項８】
前記全てのコンポーネント接続の前記候補特徴は、所定の特徴または選択された特徴の集合である請求項２に記載の方法。
【請求項９】
前記全てのコンポーネント接続の前記候補特徴は以下のうちの少なくともひとつである請求項２に記載の方法。
（１）コンポーネント接続の方向、
（２）コンポーネントの平均前景色、
（３）コンポーネントの平均背景色、
（４）平均境界コントラスト、および
（５）前記コンポーネント接続における二つのコンポーネントの間の距離。
【請求項１０】
前記選択された特徴は、最上位のヒストグラムビンと二番目のヒストグラムビンとの値の比の最大値を有するものである請求項８に記載の方法。
【請求項１１】
前記コンポーネント接続の前記テキスト信頼値は、前記コンポーネント接続から抽出され、かつ、テキストコンポーネントと非テキストコンポーネントとの事前訓練された分類器によって取得された特徴の集合によって算出される請求項３に記載の方法。
【請求項１２】
コンポーネントグループの前記テキスト信頼値は、そのなかの全てのコンポーネント接続の平均テキスト信頼値として算出される請求項４に記載の方法。
【請求項１３】
コンポーネントグループの前記テキスト信頼値は、そのなかの全てのコンポーネント接続の平均テキスト信頼値とグループレベル特徴に基づいて決定されたテキスト信頼値との重み付け値として算出される請求項４に記載の方法。
【請求項１４】
前記グループレベル特徴は以下のうちの少なくともひとつである請求項１３に記載の方法。
（１）前記グループ内のコンポーネントの分散、
（２）コンポーネントのサイズ、色またはストローク幅、
（３）前記グループにおけるコンポーネントの空間配置。
【請求項１５】
画像のテキスト領域を検出するためのテキスト検出装置であって、
入力画像からコンポーネントを生成するよう構成されたコンポーネント生成部と、
類似性要件を満たす前記コンポーネントをグループ化してコンポーネントグループを形成するよう構成されたコンポーネントグループ化部と、
ひとつのコンポーネントグループにおける少なくとも二つの隣接するコンポーネントを含むコンポーネント接続を抽出し、全てのコンポーネント接続の特徴を取得し、取得された、ひとつのコンポーネントグループにおけるコンポーネント接続の前記特徴と、該コンポーネントグループとは異なる他のコンポーネントグループにおけるコンポーネント接続の前記特徴と、に基づいて、前記コンポーネントグループをテキストグループと非テキストグループとに分類するよう構成されたコンポーネントグループ分類部と、
前記テキストグループに基づいてテキスト領域を生成するよう構成されたテキスト領域生成部と、を備える装置。
【請求項１６】
前記特徴は、前記全てのコンポーネント接続の候補特徴のうちの少なくともひとつの値の分布から取得される請求項１５に記載の装置。
【請求項１７】
前記コンポーネントグループ分類部はさらに各コンポーネント接続のテキスト信頼値を算出するよう構成され、前記コンポーネントグループ分類部は前記テキスト信頼値に基づいて、前記コンポーネントグループをテキストグループまたは非テキストグループに分類する請求項１５または１６に記載の装置。
【請求項１８】
前記コンポーネントグループ分類部はさらに、コンポーネント接続の前記テキスト信頼値を、前記取得された特徴にしたがって調整するよう構成され、コンポーネントグループのテキスト信頼値であって該グループにおける全てのコンポーネント接続の調整されたテキスト信頼値から取得されるテキスト信頼値、に基づいて、前記コンポーネントグループをテキストグループまたは非テキストグループに分類する請求項１７に記載の装置。
【請求項１９】
請求項１から１４のいずれか一項に記載のテキスト検出方法を用いて入力画像または入力動画からテキスト領域を検出することと、前記検出されたテキスト領域からテキストを抽出することと、抽出されたテキストを認識してテキスト情報を取得することと、を含むテキスト情報抽出方法。
【請求項２０】
請求項１から１４のいずれか一項に記載のテキスト検出方法を用いて入力動画から前記テキスト領域を検出する際、前記入力動画において前記テキストを追跡することをさらに含む請求項１９に記載の方法。
【請求項２１】
入力画像または入力動画からテキスト領域を検出するよう構成された、請求項１５から１８のいずれか一項に記載のテキスト検出装置と、検出されたテキスト領域からテキストを抽出するよう構成された抽出装置と、抽出されたテキストを認識することでテキスト情報を取得するよう構成された認識装置と、を備えるテキスト情報抽出システム。
【請求項２２】
前記テキスト検出装置が前記入力動画から前記テキスト領域を検出するよう構成される場合、前記システムはさらに前記入力動画において前記テキストを追跡するよう構成された追跡装置を備える請求項２１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は主として、しかしながら非排他的に、コンピュータビジョン、画像処理および画像理解に関し、特にテキスト検出方法および装置に関する。
【背景技術】
【０００２】
自然風景画像や動画フレーム内のテキストは、視覚的コンテンツの理解や取得のために重要な情報を有する。画像において、特に自然画像や動画フレームにおいてテキストを検出することは、視覚障害者用または外国人用のコンピュータ化された補助器や画像および動画の自動取得や都市環境におけるロボットナビゲーションなどの多くのコンピュータビジョンアプリケーションにとって決定的である。
【０００３】
それにもかかわらず、自然風景におけるテキスト検出は困難な主題である。主な挑戦は、異なるフォントやサイズやスキュー角や歪みなどを伴う種々のテキストにある。不均一な照明や反射、悪い照明条件、複雑な背景などの環境ファクタがさらなる複雑さを追加する。
【０００４】
関連文献では、自然風景においてテキスト領域を検出するためのテキスト検出方法は、画像から個別化されたコンポーネントを生成するステップと、ある規則に基づいてコンポーネントをグループ化することでコンポーネントグループを生成するステップと、次いでコンポーネントグループを検証することで非テキストグループを除去し、残ったテキストグループを用いてテキスト領域（例えば、テキストライン、語）を回復するステップと、に主に従う。
【０００５】
コンポーネントグループ化が通常さらなる検証を必要とするのには主に二つの理由がある。第１に、テキストグループと似た知覚構成をたまたま持つ非テキストコンポーネントによって構成されるノイズコンポーネントグループが存在する。例えば、空間的に近く、かつ、外観が似ている複数の非テキストコンポーネントもまた一緒にグループ化され、かつ保存されうる。第２に、複数ラインまたは複数方向テキストが自然風景に共通して見られるので、テキストコンポーネントをいかに正しくグループ化するか、はテキスト領域検出性能にとって非常に重要である。コンポーネントグループ化ステップの間、レイアウトパターンを判定するために、より少ない証拠に対応して複数の仮定が保存される。上述の解析に基づいて、公開文書におけるいくつかのテキスト検出方法はさらにグループ検証ステップを含む。そこでは、コンポーネントグループが解析され、テキストグループおよび非テキストグループとして分類され、テキストグループのみを用いてテキスト領域（例えば、テキストライン、語）が復元され、一方で非テキストグループは除去されるであろう。
【０００６】
例えば、中華人民共和国特許出願第１０３０７７３８９号および特許出願第１０４１８２７４４２９号の両方は、グループレベル特徴および分類器に基づいてどのようにコンポーネントグループを検証するかを開示した。グループレベル特徴は通常、二つの観点、すなわち規則性および文字尤度、からグループを記述する。前者は、グループに属するコンポーネントの、サイズ、色、ギャップおよびストローク幅の点での分散と、グループにおけるコンポーネントの空間配置と、を含む。グループにおけるコンポーネントの文字尤度は、通常、文字分類器によって測定され、次いでその値はグループ内部に統合される。これらのグループレベル特徴を、テキスト分類器の入力特徴ベクトルとして、またはカスケード規則として、用いることができる。その特徴に基づいてグループのテキスト信頼値が算出され、テキスト信頼度が高いグループが保存される。しかしながら、性能は特徴と分類器で用いられる訓練サンプルとに依存している。高い規則性を持つ非テキストグループを拒否することは難しく、また訓練サンプルとは異なるテキストグループを受け入れることも難しい。
【０００７】
さらなる例として、米国特許第８３２０６７４号および第６５６３９４９号の両方は、認識結果に基づいていかにコンポーネントグループを検証するかを開示した。コンポーネントグループはＯＣＲエンジンによって認識され、低い認識信頼度を伴うグループは拒否される。複数ラインまたは複数方向テキストなどの複雑なレイアウトのケースについて、言語モデルを満たすグループが保存される。しかしながら、性能は認識エンジンおよび言語モデルに非常に関連する。また、特にコンポーネント量が多い場合、グループ内の全てのコンポーネントを認識するのには時間がかかる。
【０００８】
実際、認識結果をグループのひとつの特別な特徴として見なす場合、二種類の従来技術は統合されうる。それらのひとつの共通した短所は、各グループが別個に評価されることである。すなわち、画像のグローバル情報は無視される。
【０００９】
参考文献
後述の詳細な説明において、以下の文献が参照される。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】L.Neumann and J. Matas, "On combining multiple segmentations in scene text recognition", International Conference on Document Analysis and Recognition (ICDAR), pp 523 - 527, 2013.
【非特許文献２】Xu-cheng Yin, Xuwang Y., Kaizhu H., Hongwei Hao, "Robust text detection in natural scene images", IEEE Trans. on Pattern Analysis and Machine Intellignece, Vol. 36, No. 5, 2014.
【非特許文献３】Boris Epshtein, Eyal Ofek, Yonatan Wexler, "Detecting text in natural scenes with stroke width transform", Computer Vision and Pattern Recognition, IEEE Computer Society Conference on, pp. 2963-2970, 2010.
【非特許文献４】J. Matas, O. Chum, M. Urban and T. Pajdla, "Robust wide baseline stereo from maximally stable extremal regions", Proc. of British Machine Vision Conference, pp. 384-396, 2002.
【非特許文献５】Chang C C, Lin.CJ.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology (TIST, 2003, 2(3):389-396.
【００１１】
用語の説明
以下の用語は本書にたびたび現れ、後述の詳細な説明において定義される。
コンポーネントは、画像内のピクセルの集合であって、同様な色やストローク幅やグレースケールを伴い、空間的に接続されるピクセルの集合を指す。
テキストコンポーネントは文字の基本的要素を指す。
コンポーネントグループは、同様の外観を有し、かつ、直線的に並んだコンポーネントの集合を指す。
コンポーネント接続は、ひとつのコンポーネントグループ内の少なくとも二つの隣接するコンポーネントを含むコンポーネント集合を指す。
テキストグループは、テキストコンポーネントからなるコンポーネントグループを指す。
テキスト領域は、テキストグループのバウンディングボックスまたは四辺形を指し、テキスト検出の出力である。
グローバルプライム特徴は、ひとつの画像における、テキストグループの大抵のコンポーネント接続によって共有される共通特徴を指す。通常、それは選択されたコンテキスト情報であり、例えば約９０度の方向である。
【発明の概要】
【００１２】
したがって、画像における、特に自然風景画像におけるテキスト検出の性能を改善するための、新規なテキスト検出方法および装置が本開示で提案される。本発明のある態様によると、入力画像からコンポーネントを生成するコンポーネント生成ステップと、類似性要件を満たすコンポーネントをグループ化してコンポーネントグループを形成するコンポーネントグループ化ステップと、ひとつのコンポーネントグループにおける少なくとも二つの隣接するコンポーネントを含むコンポーネント接続を抽出するコンポーネント接続抽出ステップと、  全てのコンポーネント接続の特徴を取得する特徴取得ステップと、特徴取得ステップにおいて取得された特徴に基づいて、コンポーネントグループをテキストグループと非テキストグループとに分類するコンポーネントグループ分類ステップと、テキストグループに基づいてテキスト領域を生成するテキスト領域生成ステップと、を含む方法が提供される。
【００１３】
本発明の主たる新規性は、コンポーネントグループ分類に存する。ひとつの画像のテキストのグローバルプライム特徴は抽出され、コンポーネントグループ分類において用いられる。単体で用いられるグローバル情報またはグループレベル特徴と組み合わされたグローバル情報は、テキスト検出の確度を改善することが期待されている。グローバルプライム特徴はいくつかの特徴から自動的に選択され、したがって、異なるシーンに適合可能である。
【００１４】
本発明は、自然風景画像のなかのテキスト領域を見つけるために用いられる。それは、元の画像ファイルを入力として取得し、出力として多くの矩形（テキストグループのバウンディングボックス）の集合を生成する。それを従来技術と比べると、本発明によって、同程度の時間的コストで、精度および再現性の両方を改善できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態を実行するコンピュータシステムのハードウエア構成を示すブロック図である。
【図２】テキスト検出装置の構成を示すブロック図である。
【図３】テキスト検出装置によって行われるテキスト検出方法を示すフローチャートである。
【図４】本発明の実施の形態に係るコンポーネントグループを分類する方法を示すフローチャートである。
【図５Ａ】図５Ａから図５Ｃは、本発明の実施の形態に係る候補テキストコンポーネントの生成の説明例を示す。
【図５Ｂ】図５Ａから図５Ｃは、本発明の実施の形態に係る候補テキストコンポーネントの生成の説明例を示す。
【図５Ｃ】図５Ａから図５Ｃは、本発明の実施の形態に係る候補テキストコンポーネントの生成の説明例を示す。
【図６】本発明の実施の形態に係るコンポーネントグループ化結果の説明例を示す。
【図７】本発明の実施の形態に係るグローバルプライム特徴を取得する方法を示すフローチャートである。
【図８】本発明の実施の形態に係るコンポーネント接続の方向のグローバル分布を取得する方法を示すフローチャートである。
【図９】コンポーネント接続の方向のグローバル分布の説明例を示す。
【図１０】グローバルプライム特徴の取得の説明例を示す。
【図１１】グローバルプライム特徴抽出において特徴を選択する方法を示すフローチャートである。
【図１２】所定の特徴に基づいてグローバルプライム特徴を取得する方法を示すフローチャートである。
【図１３Ａ】図１３Ａおよび図１３Ｂは、本発明の実施の形態に係るテキスト領域の生成の説明例を示す。
【図１３Ｂ】図１３Ａおよび図１３Ｂは、本発明の実施の形態に係るテキスト領域の生成の説明例を示す。
【図１４】本発明の実施の形態に係るテキスト情報抽出方法を示すフローチャートである。
【図１５】本発明の実施の形態に係るテキスト情報抽出システムを示すブロック図である。
【発明を実施するための形態】
【００１６】
上でリストされた図面を参照し、本セクションは特定の実施の形態ならびにその詳細な構成および動作を説明する。以下で説明される実施の形態は説明のみを目的とし、限定を目的としないものであることに注意されたい。したがって、実施の形態は本発明の範囲を限定せず、本発明の範囲内において種々の形態に変更可能である。当業者であれば、本明細書の教示に照らし、本明細書で説明される例示的実施の形態には多くの均等物が存在することを認識するであろう。
【００１７】
図１は、本発明の実施の形態を実行するコンピュータシステムのハードウエア構成を示すブロック図である。
【００１８】
図１に示されるように、システムは、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、システムバス１０４、入力デバイス１０５、出力デバイス１０６、およびドライブ１０７を含むコンピュータ１００を少なくとも備える。例えば、コンピュータ１００は画像認識デバイスであってもよい。コンピュータ１００はひとつまたは複数のコンピュータを含んでもよく、複数のコンピュータはそれぞれがコンピュータ１００の対応する機能を個々に実装してもよいことに注意されたい。
【００１９】
ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に保持されるプログラムにしがたい、全体の処理を実行する。ＲＡＭ１０２は、ＣＰＵ１０１が本発明の実施の形態などの種々の処理を実行する場合に一時保持領域として用いられる。
【００２０】
入力デバイス１０５は、ユーザがコンピュータ１００に種々のインストラクションを発行することを可能とするものであり、撮像デバイス（例えば、スキャナ、デジタルカメラ）やユーザ入力インタフェースやネットワークインタフェースを含む。
【００２１】
出力デバイス１０６は、ユーザが本発明のテキスト検出等を出力することを可能とするものであり、出力周辺インタフェースや表示デバイス（例えば、モニタ、ＣＲＴ、液晶ディスプレイ、またはグラフィックコントローラ）やプリンタを含む。
【００２２】
ドライバ１０７は、ハードディスクやメモリカードや光学ディスク（例えば、ＣＤ−ＲＯＭやＤＶＤＲＯＭ）などの保持媒体を駆動するために使用される。例えば、画像データまたはテキスト検出処理を行うためのプログラムが保持媒体に保持され、ドライバ１０７によって駆動される。
【００２３】
システムバス１０４は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、入力デバイス１０５、出力デバイス１０６、およびドライバ１０７を接続する。システムバス１０４上でデータが通信される。本明細書で用いられる場合、「接続される（connected）」という用語は、ひとつ以上の媒介を通じて間接的にまたは直接的に、論理的にまたは物理的に接続されることを意味する。
【００２４】
総じて、本発明のテキスト検出の入力は全ての種類の画像である。例えば、デジタルカメラやデジタルビデオカメラやセンサや走査デバイス（例えば、スキャナや多機能デバイス）などの撮像デバイスによって、画像を得ることができる。
【００２５】
図１に示されるシステムは単なる例であって、そのアプリケーションや利用を含む本発明を限定する意図は全くない。例えば、テキスト検出処理を行うためのプログラムが活性化されると、ＣＰＵ１０１は、図３から図４、図７から図８、図１１から図１２および図１４で説明されるステップなどの本発明で開示される全てのステップを実行することによって、入力デバイス１０５から入力画像を取得し、コンポーネントを抽出し、コンポーネントを検証し、テキスト領域を生成する。その後、ＣＰＵ１０１はシステムバス１０４を通じて、出力デバイス１０６にその結果を送る。その結果はＲＡＭ１０２に格納されてもよい。ネットワークインタフェースを介して、その結果をリモートコンピュータに送り、他のアプリケーションの用に供してもよい。
【００２６】
さらに、図２および図１５に示される装置などの、本発明の装置の各部、デバイス、コンポーネントおよび／またはアセンブリを実行することが可能であり、それらはソフトウエア、ハードウエア、ファームウエアまたはそれらの任意の組み合わせを通じてテキスト検出を実行するよう構成される。
【００２７】
図２は、テキスト検出装置の構成を示すブロック図である。図３は、図２に示されるテキスト検出装置によって行われるテキスト検出方法を示すフローチャートである。ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に保持されるプログラムおよび画像データを用いて、本発明の方法を実行する。
【００２８】
図２に示されるように、本明細書では、テキスト検出装置２００は、画像入力部２０１と、コンポーネント生成部２０２と、コンポーネントグループ化部２０３と、コンポーネントグループ分類部２０４と、テキスト領域生成部２０５と、テキスト領域出力部２０６と、を備える。
【００２９】
画像入力部２０１は、撮像デバイス２０７によって取得された自然風景画像を取得するよう、またはテキスト検出装置２００のために保持デバイス（例えば、ハードディスク）に保持される自然風景画像を取得するよう構成される。取得された画像は入力画像として見られ、例えば図５Ａに示される。
【００３０】
コンポーネント生成部２０２は、入力画像から候補テキストコンポーネントの集合を生成するよう構成され、それは図３のＳ３０１で説明される。
【００３１】
ステップＳ３０１では、コンポーネント生成部２０２は候補テキストコンポーネントの集合を生成する。コンポーネントは、通常、同様な色（非特許文献１）もしくは同様なグレースケール（非特許文献２）もしくは同様なストローク幅（非特許文献３）を伴う、または空間的に接続されたピクセルの集合である。コンポーネントの生成において、カラークラスタリングや適応二値化や形態的処理などのいくつかの方法を用いてもよい。本発明の例示的な実施の形態によると、コンポーネントは最大安定極値的領域（Maximally Stable Extremal Region、ＭＳＥＲ）（非特許文献４）に基づいて、グレースケール画像から生成される。図５Ｂに示されるように、コンポーネントは濃い灰色の矩形としてラベルされる。例えば、コンポーネント５０１および５０２は濃い灰色の矩形としてラベルされる。
【００３２】
より良い結果のために、コンポーネントの生成の後にコンポーネントのフィルタリングを適用し、明らかに非テキストのコンポーネントを除去する。コンポーネントのフィルタリングにおいて共通して用いられる特徴は、コンポーネントのサイズ、コンポーネントのアスペクト比、そのバウンディングボックス内におけるコンポーネントピクセルの占有比であるコンポーネントの密度、コンポーネントのストローク幅の統計的特徴、コンポーネント領域から抽出されたテクスチャ特徴（例えば、ウェーブレット、ガボール（Gabor）、ＬＢＰ）、を含む。これらの特徴は、階層的フィルタとして用いられてもよく、または学習分類器への入力として用いられてもよい。本発明の例示的な実施の形態によると、サポートベクトルマシーン（以下、「ＳＶＭ」）分類器（非特許文献５）を用いてテキストコンポーネントと非テキストコンポーネントとを区別する。図５Ｃに示されるように、いくつかの非テキストコンポーネントはコンポーネントのフィルタリングの後に除去される。例えば、コンポーネント５０１および５０２は、それらが非テキストコンポーネントであるが故に除去される。
【００３３】
コンポーネントグループ化部２０３は、コンポーネントをグループ化するよう構成され、これは図３のステップＳ３０２で説明される。
【００３４】
ステップＳ３０２では、コンポーネントグループ化部２０３は、類似性要件を満たす候補テキストコンポーネントを一緒に接続してコンポーネントグループを構築する。二つのコンポーネント間の類似性を記述する特徴値は、距離特徴、差分特徴および比特徴を含み、それらは例えば空間距離、グレースケール差分、色の差、境界コントラスト差、バウンディングボックスの高さの比、幅の比、ストローク幅の比、を含む。距離特徴の値は、コンポーネントの中心間の正規化されたユークリッド距離によって算出される。差分特徴の全ての値は、差分の絶対値を平均値で除すことによって算出される。比特徴の全ての値は、指定されたプロパティの最大値を指定されたプロパティの最小値で除すことによって算出される。コンポーネントがいずれのグループにも属しない場合、それらはノイズコンポーネントと判断され、除去される。
【００３５】
図６は、本発明の実施の形態に係るコンポーネントグループ化結果の説明例を示す。図６に示されるテキストコンポーネントは線によって接続され、テキストコンポーネントグループを構築するものとして見ることができる。しかしながら、期待される真のテキストグループの他に、図６に示される異なるテキストラインにある文字によって構成されるグループなどの、真のテキストグループを横断するグループが存在する。また、非テキストコンポーネントにより構成されるグループが依然としていくつか存在する。例えば、図６に示される窓の非テキストコンポーネントは、線で結ばれ、非テキストコンポーネントグループを構築する。別の例では、図６に示される窓および信号機の非テキストコンポーネントは、線で結ばれ、別の非テキストコンポーネントグループを構築する。したがって、コンポーネントグループ分類が必要である。
【００３６】
コンポーネントグループ分類部２０４は、全てのコンポーネント接続の少なくともひとつの候補特徴の値の分布から取得された特徴に基づいて、コンポーネントグループを分類するよう構成される。本発明の例示的な実施の形態によると、全てのコンポーネント接続の少なくともひとつの候補特徴の値の分布から取得された特徴は、図３のステップＳ３０３で説明されるグローバルプライム特徴であってもよい。本明細書において、グローバルプライム特徴は、テキストグループの大抵のコンポーネント接続によって共有される共通特徴を指す。通常、それは選択されたコンテキスト情報であり、例えば約９０度の方向である。
【００３７】
ステップＳ３０３において、コンポーネントグループ分類部２０４はまずグローバルプライム特徴を取得し、次いで図４で説明されるようにグローバルプライム特徴を用いてコンポーネントグループをテキストグループと非テキストグループとに分類する。
【００３８】
本発明の実施の形態に係るコンポーネントグループを分類する方法であってステップＳ３０３で実行される方法を示すフローチャートである図４を参照する。
【００３９】
ステップＳ４０１では、コンポーネントグループ分類部２０４はコンポーネントグループからコンポーネント接続を抽出する。このステップでは、コンポーネントグループはコンポーネント接続の集合として見られるので、本発明の例示的な実施の形態によると、ひとつのコンポーネントグループ内の二つの隣接するコンポーネントがひとつのコンポーネント接続として抽出される。本明細書において、コンポーネント接続は、ひとつのコンポーネントグループ内の少なくとも二つの隣接するコンポーネントを含むコンポーネント集合を指す。
【００４０】
ステップＳ４０２において、コンポーネントグループ分類部２０４は、各コンポーネント接続のテキスト信頼度を算出する。各コンポーネント接続のテキスト信頼値は、色の類似性（例えば、グレースケール差、色の差）やサイズの類似性や方向や空間距離や境界コントラスト差やバウンディングボックス高さ比や幅比やストローク幅比などの、コンポーネント接続から抽出される特徴の集合によって、算出される。
【００４１】
本発明の例示的な実施の形態によると、コンポーネント接続のテキスト信頼値は、テキストコンポーネントおよび非テキストコンポーネントの事前訓練された分類器によって取得されてもよい。事前訓練された分類器は、正負のサンプルに基づいて訓練される。正のサンプルは、ひとつのコンポーネントグループ内の二つの隣接するコンポーネントからなるコンポーネント接続である。負のサンプルは、グループ内のひとつのコンポーネントと、そのグループ外（例えば、他のグループ内またはノイズコンポーネント）のひとつのコンポーネントと、からなるコンポーネント接続である。二値分類器（例えば、ＳＶＭ）を用いてコンポーネント接続を分類し、次いで出力スコアはさらにテキスト信頼値に変換される。
【００４２】
ステップＳ４０３では、コンポーネントグループ分類部２０４は全てのコンポーネント接続のグローバルプライム特徴を取得する。コンポーネント接続およびそのテキスト信頼値に基づいて、グローバルプライム特徴は、図７に示されるような特徴の集合から自動で選択された特徴または図１２に示されるような所定の特徴にしたがい取得される。
【００４３】
図７を参照すると、そこに示されるのは、ステップＳ４０３で実行されるグローバルプライム特徴を取得するための方法を示すフローチャートである。
【００４４】
ステップＳ７０１では、コンポーネント接続と、そのテキスト信頼値と、コンポーネント接続の候補特徴の集合と、を取得した後、コンポーネントグループ分類部２０４は候補特徴の集合における特徴ｉの値の分布を取得する。本実施の形態では、特徴ｉの値の分布は、グローバル分布と称される。候補特徴ｉは、コンポーネント接続の方向、コンポーネントの平均前景色、コンポーネントの平均背景色、平均境界コントラストまたはコンポーネント接続内の二つのコンポーネント間の距離などを含む。本明細書において、例えば図８において、コンポーネント接続の方向を特徴ｉとすることで方向のグローバル分布を取得することが説明される。
【００４５】
図８を参照すると、そこに示されるのは、ステップＳ７０１で実行されるコンポーネント接続の方向のグローバル分布を取得するための方法を示すフローチャートである。
【００４６】
ステップＳ８０１において、コンポーネントグループ分類部２０４はコンポーネント接続から方向特徴を抽出することで、コンポーネント接続の方向を取得する。
【００４７】
ステップＳ８０２において、コンポーネントグループ分類部２０４は、ひとつの画像における全てのコンポーネント接続に基づいて、方向特徴のテキスト信頼度重み付けヒストグラムを取得する。本発明の例示的な実施の形態によると、各方向において、ヒストグラムの値（ｙ軸）は、コンポーネント接続の特徴ｉの各値であってステップＳ４０２において算出されたそれらのテキスト信頼値によって重み付けされた特徴ｉの各値の頻度を表す。各方向におけるヒストグラム値は例えば図９に示され、方向の範囲は［０、１８０］度である。
【００４８】
ステップＳ８０３において、コンポーネントグループ分類部２０４は図９に示されるようにスライド窓を用いて最上位のヒストグラムビンを見つける。分布はさらに幅「Ｄ」を伴う「Ｎ」個のビンへと定量化される。本発明の例示的な実施の形態によると、定量化誤差のグローバルプライム特徴への影響を最小化するために、幅「Ｄ」のスライド窓が用いられる。スライド中、窓の中のヒストグラム値（ｙ軸）が合計されて記録され、図９に示されるように最高値を有する窓が最上位のヒストグラムビンとされ、他のビンはそれに応じて決定される。
【００４９】
ステップＳ８０４において、コンポーネントグループ分類部２０４は最上位のヒストグラムビンに基づいてヒストグラムを定量化する。ヒストグラムは正規化され、その結果、分布の全てのビンのヒストグラム値（ｙ軸）の合計は１となる。ひとつの画像のグループ内のコンポーネント接続の特徴ｉの全ての値はひとつのグローバル分布に寄与する。
【００５０】
ステップＳ７０２では、コンポーネントグループ分類部２０４はグローバル分布に基づいて、グローバルプライム特徴を選択する。図１０に示されるように、例えば、本明細書において、グローバル分布をＨ＝｛ｈｉ、ｉ＝０、１、…Ｎ｝と表記する。ここで、
「Ｎ」は、分布内のビンの数である。
ｈｔｏｐは分布の最上位のヒストグラムビンである。
ｈｓｅｃは分布の二番目のヒストグラムビンである。
ｆｔｏｐはｘ軸での最上位ビンの中心値である。
「ＣＬ」はコンポーネントの文字尤度の略である。単一のコンポーネントのＣＬは、ＳＶＭ分類器などの文字分類器によって得られる。一方、ビンの「ＣＬ」は、ビンのコンポーネント接続に含まれる全てのコンポーネントの平均スコアとして定義される。
【００５１】
コンポーネント接続の分布の濃度が所定のしきい値よりも大きい場合に、コンポーネント接続の分布から得られる特徴が選択される。本発明の例示的な実施の形態によると、コンポーネント接続のグローバル分布が以下の条件のうちのひとつを満たす場合に、グローバルプライム特徴が選択される。
１．分布の最上位のヒストグラムビンｈｔｏｐが所定の第１しきい値よりも大きい。
２．分布の最上位のヒストグラムビンにおけるコンポーネント接続の平均文字尤度ＣＬ（ｈｔｏｐ）が他のどのビンの
【数１】
0006377214.tif 000002
よりも大きい。
３．分布の最上位のヒストグラムビンと分布の二番目のヒストグラムビンとの値の比ｈｔｏｐ／ｈｓｅｃが所定の第２しきい値よりも大きい。
【００５２】
図１０は、本発明の実施の形態に係るグローバルプライム特徴を取得することの例を示す。分布が上述の要件のうちのひとつを満たす場合、ｆｔｏｐはグローバルプライム特徴である。
【００５３】
ステップＳ７０３では、コンポーネントグループ分類部２０４は全ての特徴が処理されたか否かを判定する。他の特徴が残っている場合、処理はステップＳ７０１に戻り、候補特徴の集合の中の他の特徴のグローバル分布を取得する。そうでなければ、処理はステップＳ７０４に進んでもよい。
【００５４】
ステップＳ７０４では、コンポーネントグループ分類部２０４は、最も重要なグローバルプライム特徴を伴う特徴を選択する。異なる特徴のグローバルプライム特徴が比較され、最も重要なグローバルプライム特徴を伴う特徴が選択される。
【００５５】
本発明の例示的な実施の形態によると、図１１は、グローバルプライム特徴抽出において特徴を選択する方法であってステップＳ７０４で実行される方法を示すフローチャートである。
【００５６】
ステップＳ１１０１において、異なる特徴のグローバル分布は変わりうるので、グローバルプライム特徴は特徴に関連するであることは注意されるべきである。本発明の例示的な実施の形態によると、グローバルプライム特徴を取得するために用いられる特徴は以下の特徴のうちの少なくともひとつであってもよい。方向、コンポーネントの色（例えば、平均前景色、平均背景色）、コンポーネント接続内の二つのコンポーネントの間の距離、平均境界コントラスト。
【００５７】
ステップＳ１１０２では、コンポーネントグループ分類部２０４は異なる特徴のグローバル分布に基づいて、グローバルプライム特徴を選択する。本明細書において、ステップＳ１１０３で示されるようにグローバルプライム特徴が存在する場合、特徴を選択するための方法はｈｔｏｐ／ｈｓｅｃの値に基づく。比が大きいほど、グローバルプライム特徴はより重要となる。したがって、最も大きな比ｈｔｏｐ／ｈｓｅｃを伴う特徴がグローバルプライム特徴として選択されるであろう。すなわち、コンポーネントグループ分類部２０４は、ステップＳ１１０４に示されるように、ｈｔｏｐ／ｈｓｅｃの最大値を伴うグローバル分布を選択する。
【００５８】
候補特徴をひとつずつ処理した後、異なる特徴にしたがうグローバルプライム特徴が比較され、ステップＳ７０４に示されるように最も重要なグローバルプライム特徴を伴う特徴が選択される。したがって、ステップＳ４０３の出力は選択された特徴にしたがうグローバルプライム特徴である。
【００５９】
図１２は、所定の特徴に基づいてグローバルプライム特徴を取得する別の方法を示すフローチャートである。
【００６０】
図１２を参照すると、例えばナンバープレート認識において所定の特徴を取得した後、テキストグループは基本的に水平方向に沿っており、したがってコンポーネント接続の方向が所定の特徴として用いられる。他の例で、道路標識認識では、多くの場合、テキストおよび周囲の色は一様であり、したがってそれが所定の特徴として用いられる。所定の特徴がコンポーネント接続の方向である場合、コンポーネントグループ分類部２０４は、ステップＳ１２０１およびステップＳ１２０２で示されるように、ステップＳ７０１およびステップＳ７０２で説明された方法と同じ方法を用いて、特徴のグローバル分布を取得し、グローバル分布に基づいてグローバルプライム特徴を選択する。
【００６１】
したがって、ステップＳ４０３の出力は所定の特徴にしたがうグローバルプライム特徴である。
【００６２】
特定の画像について、グローバルプライム特徴の例は以下の通りである。テキストグループ内の大抵のコンポーネント接続は同様な方向に沿ったものであり、その方向は［−１５、１５］度に属する。または、テキストグループ内の大抵のコンポーネント接続は同様の色／グレースケールのものであり、黒色値またはグレースケール値は［０、３０］に属する。
【００６３】
ステップＳ４０４において、コンポーネントグループ分類部２０４は、コンポーネント接続のテキスト信頼度を調整する。コンポーネント接続のテキスト信頼値は、ステップＳ４０３で抽出されたグローバルプライム特徴に基づいて調整される。グローバルプライム特徴にしたがうコンポーネント接続は増やされ、一方グローバルプライム特徴にしたがわないコンポーネント接続は減らされる。コンポーネント接続のテキスト信頼値を調整することによって調整処理が実行される。
【００６４】
ステップＳ７０１またはステップＳ１２０１で取得されたグローバル分布は既に正規化されているので、それは所定の特徴の確率分布として扱われ、コンポーネント接続のテキスト信頼値は確率的推論に基づいて調整される。
【００６５】
コンポーネント接続がグローバルプライム特徴にしたがう確率をｈｔｏｐとすると、コンポーネント接続のテキスト信頼値はグローバルプライム特徴からのその偏差にしたがって調整されるべきである。正規化された偏差は
【数２】
0006377214.tif 000003
と表される。ここで、
ｆｃｕｒは現在のコンポーネント接続の特徴値である。
「Ｄ」は特徴分布のビン幅である。
【００６６】
例えば、グローバルプライム特徴が方向についてのものであり、ｆｔｏｐがｘ軸での最上位ビンの中心であって９０度とし、ｆｃｕｒが現在のコンポーネント接続の方向であって１０度とするとき、二つの間の偏差は８０度である。
【００６７】
コンポーネント接続がグローバルプライム特徴にしたがわない確率を１−ｈｔｏｐとすると、コンポーネント接続のテキスト信頼値は変えられるべきではない。
【００６８】
上述の二つのケースをまとめると、コンポーネント接続のテキスト信頼値は以下の様に調整される。
【数３】
0006377214.tif 000004
ここで、
ＴＣｏｒｇは、現在のコンポーネント接続の元のテキスト信頼値であり、ステップＳ４０２においてコンポーネント接続分類器によって提供される。
ＴＣａｄｊは現在のコンポーネント接続の調整されたテキスト信頼値である。
「ｗ」は、上述の二つのケースを統合する調整ファクタである。
βは調整パラメータである。
ｃは補償パラメータである。
【００６９】
コンポーネントグループ分類において、画像内のコンポーネント接続のグローバルプライム特徴が抽出され、ローカル情報（グループレベル特徴）と組み合わされると見ることができよう。
【００７０】
ステップＳ４０５において、コンポーネントグループ分類部２０４はコンポーネントグループをテキストグループまたは非テキストグループに分類する。コンポーネントグループは、グループのテキスト信頼値に基づいて、テキストグループと非テキストグループとに分類される。非テキストグループは除去され、一方、テキストグループはテキスト領域を復元するために残される。一方で、コンポーネントグループのテキスト信頼値ＴＣｇは、そのなかのコンポーネント接続の平均テキスト信頼値である。ＴＣａｄｊｉは、グループ内のｉ番目のコンポーネント接続の調整されたテキスト信頼値であり、ステップＳ４０４で取得される。
【数４】
0006377214.tif 000005
ここで、Ｍはグループ内のコンポーネント接続の量である。
【００７１】
一方、グループ内のコンポーネントの、サイズ、色、およびストローク幅の点での分散やグループ内のコンポーネントの空間配置などのグループレベル特徴を抽出することで、グループの別のテキスト信頼値を測定し、これはＴＣｆと表される。したがって、グループの最終的なテキスト信頼値はそれら二つの重み付け和として定義される。
ＴＣ＝ωＴＣｇ＋（１−ω）ＴＣｆ
ここで、０≦ω≦１
【００７２】
ω＝０の場合、グループ分類においてグループレベル特徴のみが用いられる。これは、グループレベル特徴および分類器に基づいてコンポーネントグループをいかに検証するかを開示する従来技術と同じである。
【００７３】
ω＝１の場合、グローバルプライム特徴情報のみが用いられ、これは上述の最初の例である。０＜ω＜１の場合、グローバルプライム特徴はグループ分類においてグループレベル特徴と統合され、これは上述の別の例である。
【００７４】
所定値よりも高いテキスト信頼度を伴うコンポーネントグループはテキストグループとして判定されて残り、そうでなければ除去される。
【００７５】
図１３Ａおよび図１３Ｂは、本発明の実施の形態に係るテキスト領域の生成の例を示す。
【００７６】
図１３Ａに示される通り、コンポーネントグループ分類の後、ノイズコンポーネントグループ（例えば、図６に示されるような、窓や信号機によって構築される非テキストコンポーネントグループ）および偽コンポーネントグループ（例えば、図６に示されるような、異なるテキストラインの文字によって構成されるテキストコンポーネントグループ）はステップＳ３０３の後に除去される。グローバルプライム特徴によってテキストグループと非テキストグループとの区別が拡大されることを理解することができる。したがって、コンポーネントグループ分類の最終的な結果はよい効果である。
【００７７】
テキスト領域生成部２０５は、残ったテキストグループに基づいてテキスト領域を生成するよう構成され、これは図３のステップＳ３０４で説明される。
【００７８】
ステップＳ３０４では、テキスト領域生成部２０５は残ったコンポーネントグループをテキスト領域に変換する。テキスト領域は、通常、グループのコンポーネントの矩形とグループのテキストラインとに基づいて生成される。このステップのひとつの例示的な実装は以下の通りである。
【００７９】
第１に、グループ内の全てのコンポーネントの中心の最小二乗回帰によりテキストラインが得られる。
次いで、テキストラインの平行シフトによって上限ラインを決定することで、グループ内のコンポーネントの極上点をカバーする。そして、同様に下限ラインを決める。
最後に、グループ内の最も左のコンポーネントおよび最も右のコンポーネントの矩形により左限ラインおよび右限ラインを決める。
【００８０】
図１３Ｂに示されるように、検出されたテキスト領域は生成されたテキスト領域の例である。
【００８１】
テキスト領域出力部２０６は、情報抽出や情報認識などのさらなる画像処理のために、テキスト領域の結果を出力デバイス１０６（例えば、画像認識デバイス）に出力するよう構成される。
【００８２】
グループ分類において、画像内のテキストのグローバルプライム特徴が抽出され、ローカル情報（グループレベル特徴）と組み合わされる。グローバルプライム特徴は、特徴の分布に基づいて選択される。したがって、本発明は、さまざまな風景に適合可能である。
【００８３】
図１４は、本発明の実施の形態に係るテキスト情報抽出方法を示す。本発明は、カメラで撮った画像や動画からテキスト情報を自動的に抽出する際に使用可能である。図１４に示されるように、ブロック１４０１では、入力画像または入力動画からのテキスト領域は、図３−図１３を参照して説明されたテキスト検出方法にしたがうテキスト検出方法を用いて検出される。
【００８４】
ブロック１４０２では、検出されたテキスト領域からテキストが抽出される。オプションで、入力動画からテキスト領域を検出する場合、入力動画のテキストはブロック１４０４に示されるように追跡される。
【００８５】
ブロック１４０３では、抽出されたテキストに対してテキスト認識を行うことで、テキスト情報を取得する。
【００８６】
図１５は、本発明の実施の形態に係るテキスト情報抽出システムを示すブロック図である。
【００８７】
図１５を参照すると、本発明の実施の形態に係るテキスト情報抽出システム１５００のブロック図が示される。システム１５００は、図１４を参照して説明された方法を実装するために用いられる。
【００８８】
図１５に示されるように、システム１５００は、テキスト検出装置１５０１と、抽出装置１５０２と、認識装置１５０３と、を備える。
【００８９】
テキスト検出装置１５０１は、入力画像または入力動画からテキスト領域を検出するよう構成され、図２に関して説明された装置２００と同じものである。
【００９０】
抽出装置１５０２は検出されたテキスト領域からテキストを抽出するよう構成される。
認識装置１５０３は、抽出されたテキストを認識することでテキスト情報を取得するよう構成される。
【００９１】
オプションで、システム１５００はさらに追跡装置１５０４を備える。追跡装置１５０４は、テキスト検出装置１５０１が入力動画からテキスト領域を検出するよう構成される場合、入力動画においてテキストを追跡するよう構成される。
【００９２】
図２および図１５に関して上述された各部および装置は種々のステップを実装するための例示的なおよび／または好適なモジュールであることは理解されるであろう。モジュールは、ハードウエアユニット（プロセッサや特定用途向け集積回路など）および／またはソフトウエアモジュール（コンピュータプログラムなど）である。上では網羅的に種々のステップを実装するためのモジュールを説明したわけではない。しかしながら、所定の処理を実行するステップがある場合には、同じ処理を実装するための対応する機能モジュールまたはユニット（ハードウエアおよび／またはソフトウエアにより実装される）が存在する。上述のおよび後述のステップの組み合わせおよびこれらのステップに対応するユニットは、それらを構成要素とする技術的解が完全で適用可能である限り、本発明の開示に含まれる。
【図１】
0006377214.tif 000006
【図２】
0006377214.tif 000007
【図３】
0006377214.tif 000008
【図４】
0006377214.tif 000009
【図５Ａ】
0006377214.tif 000010
【図５Ｂ】
0006377214.tif 000011
【図５Ｃ】
0006377214.tif 000012
【図６】
0006377214.tif 000013
【図７】
0006377214.tif 000014
【図８】
0006377214.tif 000015
【図９】
0006377214.tif 000016
【図１０】
0006377214.tif 000017
【図１１】
0006377214.tif 000018
【図１２】
0006377214.tif 000019
【図１３Ａ】
0006377214.tif 000020
【図１３Ｂ】
0006377214.tif 000021
【図１４】
0006377214.tif 000022
【図１５】
0006377214.tif 000023