(57)【要約】【課題】  デジタルカメラ等で撮像した画像から文字を漏れなく読み取ろうとすると、画像全体を解析対象とするため、画像サイズが大きくなると処理時間が急激に増加してしまう。【解決手段】  画像処理装置は、入力画像から特徴領域を検出する検出手段と、検出された前記特徴領域の位置及び大きさに基づいて、前記入力画像における第一探索範囲と、前記第一探索範囲と異なる第二探索範囲を決定する決定手段と、前記第二探索範囲を所定の縮小率で縮小処理する縮小手段と、前記第一探索範囲の画像及び縮小処理された前記第二探索範囲の縮小画像に対して、それぞれを構成する画素ごとのデータを用いて文字領域を抽出する抽出手段と、を有することにより、文字領域抽出漏れを抑制し、処理時間を短縮することができる。【選択図】  図６
2016053763.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から特徴領域を検出する検出手段と、
検出された前記特徴領域の位置及び大きさに基づいて、前記入力画像における第一探索範囲と、前記第一探索範囲と異なる第二探索範囲を決定する決定手段と、
前記第二探索範囲を所定の縮小率で縮小処理する縮小手段と、
前記第一探索範囲の画像及び縮小処理された前記第二探索範囲の縮小画像に対して、それぞれを構成する画素ごとのデータを用いて文字領域を抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記縮小手段は、前記第一探索範囲を縮小処理し、前記抽出手段は、縮小処理された前記第一探索範囲及び前記第二探索範囲のそれぞれの縮小画像に対して、文字領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二探索範囲から抽出された前記文字領域の縦横比が所定値より小さいかを判断する判断手段と、前記判断手段によって前記文字領域の縦横比が所定値より小さいと判断された場合、前記第二探索範囲を拡張する拡張手段と、を有し、前記抽出手段は拡張された前記第二探索範囲に対して文字領域を抽出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記拡張手段は、抽出された前記文字領域の文字行の向きに、前記文字領域に接している第一探索範囲に向かって前記文字領域を拡張することによって、前記第二探索範囲を拡張することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記拡張手段は、前記文字領域の縦横比を少なくとも前記所定値になるまで拡張することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記特徴領域及び所定の高さ又は幅で拡張した前記第一探索範囲を、前記入力画像から除いて第二探索範囲を決定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記抽出手段は、縮小処理された前記第一探索範囲及び前記第二探索範囲のそれぞれから並列に文字領域を抽出することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記縮小手段による前記第一探索範囲の縮小処理の縮小率は、前記検出手段によって検出された前記特徴領域の大きさ、及び前記抽出手段によって抽出可能な前記文字領域の大きさに基づいて計算されることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記第二縮小手段による前記第二探索範囲の縮小処理の縮小率は、前記抽出手段によって抽出する前記文字領域の大きさ、及び前記抽出手段によって抽出可能な前記文字領域の大きさに基づいて計算されることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記入力画像の画素数から、前記入力画像全体に対して文字領域を抽出する処理時間を取得する取得手段をさらに有し、前記取得手段によって取得された前記処理時間は所定値以内であれば、前記抽出手段は前記入力画像全体に対して文字領域を抽出する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記特徴領域は顔領域であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記特徴領域はマーカー領域であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１３】
入力画像から特徴領域を検出する検出工程と、
検出された前記特徴領域の位置及び大きさに基づいて、前記入力画像における第一探索範囲と、前記第一探索範囲と異なる第二探索範囲を決定する決定工程と、
前記第二探索範囲を所定の縮小率で縮小処理する縮小工程と、
前記第一探索範囲の画像及び縮小処理された前記第二探索範囲の縮小画像に対して、それぞれを構成する画素ごとのデータを用いて文字領域を抽出する抽出工程と、
を有することを特徴とする画像処理方法。
【請求項１４】
入力画像から特徴領域を検出する検出ステップと、
検出された前記特徴領域の位置及び大きさに基づいて、前記入力画像における第一探索範囲と、前記第一探索範囲と異なる第二探索範囲を決定する決定ステップと、
前記第二探索範囲を所定の縮小率で縮小処理する縮小ステップと、
前記第一探索範囲の画像及び縮小処理された前記第二探索範囲の縮小画像に対して、それぞれを構成する画素ごとのデータを用いて文字領域を抽出する抽出ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から文字を抽出する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
撮像された画像を解析して情報を取り出すことで、大量の画像の取り扱いを容易にすることが試みられている。例えば、類似画像検索や画像解析により、撮像された被写体を特定する手法が実用化されつつある。あるいは、観光地において撮像された記念写真に名所等の名称が記載された碑や看板が写っていれば、文字認識により撮像場所が特定可能になる。
【０００３】
そこで、撮像された画像から文字領域を検出し文字認識することで、文字情報を取り出す手法が開示されている（例えば非特許文献１、非特許文献２）。しかしながら、一様でない背景を持つ撮像画像から文字領域を抽出することは容易ではないため、非特許文献１ではストロークの幅に着目し文字領域を特定するようにした。また非特許文献２では、画素塊抽出の手法のひとつであるＭＳＥＲ（Ｍａｘｉｍａｌｌｙ  Ｓｔａｂｌｅ  Ｅｘｔｒｅｍａｌ  Ｒｅｇｉｏｎｓ）を使用して抽出した画素塊から文字画素塊を選別するようにした。ＭＳＥＲにより、撮像画像から生成した多数の二値画像から、安定的に存在する画素を画素塊として取り出すことができる。
【０００４】
また、撮像条件を限定しない画像から、精度よく注目領域を取り出すことは、注目すべき被写体以外が写り込んでいたり、注目すべき領域の大きさが写真によって異なったりするため困難であった。そこで、解析する領域を画像内の一部に限定する手法として特許文献１及び特許文献２が開示されている。
【０００５】
特許文献１では、画像内から注目領域である顔領域を検出し、更に顔の位置から胴体領域を検出し、顔および胴体を除いた領域からランドマークが写ったオブジェクト領域を抽出するようにした。特許文献２では、顔や手といった被写体の部位を検出し、顔や手および顔と手の間を制限領域として設定し、注目領域のうち制限領域を除いた領域から特徴量を抽出するようにした。
【０００６】
また、写真により異なる注目領域の大きさを一定の大きさにする手法として特許文献３が開示されている。
【０００７】
特許文献３では、顔検出の識別器にかける前に、撮像画像から顔と推定される領域の大きさを検出し、あらかじめ定めた値と比較し拡大・縮小率を算出するようにした。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−６５１５６
【特許文献２】特開２０１２−５３６０６
【特許文献３】特開２００８−１９１７６０
【非特許文献】
【０００９】
【非特許文献１】Ｅｐｓｈｔｅｉｎ他、「Ｄｅｔｅｃｔｉｎｇ  ｔｅｘｔ  ｉｎ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ  ｗｉｔｈ  ｓｔｒｏｋｅ  ｗｉｄｔｈ  ｔｒａｎｓｆｏｒｍ」、ＣＶＰＲ  ２０１０  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、２９６３−２９７０
【非特許文献２】Ｍｅｒｉｎｏ−Ｇｒａｃｉａ他、「Ａ  ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｅｖｉｃｅ  ｆｏｒ  ｒｅｃｏｇｎｉｚｉｎｇ  ｔｅｘｔ  ｉｎ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ」、ＣＢＤＡＲ  ２０１１  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ４ｔｈ  ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃａｍｅｒａ−Ｂａｓｅｄ  Ｄｏｃｕｍｅｎｔ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎ、２９−４１
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、先行技術では、画像から解析の対象となる領域を漏れなく高速に取り出すことは出来ない。すなわち、注目領域（以下、特徴領域とも記載する。）の検出精度が十分でなければ、解析すべき領域が特徴領域もしくは特徴領域から導かれた領域に含まれず、解析漏れが生ずるという課題があった。
【００１１】
マラソン大会の例では、参加者の帽子、サングラス、仮装等の影響で顔検出の精度が大きく左右されるため、特徴領域としての顔領域を正しく検出できない場合がある。解析の対象となるゼッケン番号を漏れなく取り出そうとすると、画像全体を解析する必要があった。その結果、解析に要する時間が増加する課題があった。特に、解析精度を高めるため、画像全体から隈なくゼッケン番号領域を探すように構成すると、処理中の画像の画素数が増加するにつれ、処理時間が大幅に増加する課題があった。
【００１２】
本発明は上記の問題に鑑みてなされたものであり、文字領域の抽出漏れを抑制し、抽出処理の処理時間を短縮することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
かかる課題を解決するため、本発明に係る画像処理装置は、以下の構成を備える。すなわち、画像処理装置は、入力画像から特徴領域を検出する検出手段と、検出された前記特徴領域の位置及び大きさに基づいて、前記入力画像における第一探索範囲と、前記第一探索範囲と異なる第二探索範囲を決定する決定手段と、前記第二探索範囲を所定の縮小率で縮小処理する縮小手段と、前記第一探索範囲の画像及び縮小処理された前記第二探索範囲の縮小画像に対して、それぞれを構成する画素ごとのデータを用いて文字領域を抽出する抽出手段と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、第一探索範囲と第二探索範囲の両方で文字領域を抽出することによって文字領域の抽出漏れを抑制し、第二探索範囲を縮小処理して文字領域の抽出処理を行うことによって抽出処理の処理時間を短縮できる効果がある。
【図面の簡単な説明】
【００１５】
【図１】画像処理装置のハードウエア構成、及び機能構成を示すブロック図
【図２】画像処理装置の処理対象の一例を示す画像
【図３】第１の実施形態における画像から文字情報を読み取る処理の流れを説明するフローチャート
【図４】第１の実施形態における文字領域の抽出処理の流れを説明するフローチャート
【図５】第１の実施形態における画像の大きさと文字領域の抽出処理の処理時間の関係を示すグラフ
【図６】第１の実施形態における文字領域の詳細な抽出処理の流れを説明するフローチャート
【図７】第１の実施形態における顔検出の結果と探索範囲を示す図
【図８】第１の実施形態における探索範囲の縮小後の画像を示す図
【図９】第１の実施形態におけるマスク範囲および拡張した探索範囲を示す図
【図１０】第２の実施形態における文字領域の詳細な抽出処理の流れを説明するフローチャート
【図１１】ゼッケンにマーカーが印刷された例を示す図
【発明を実施するための形態】
【００１６】
以下、本発明を実施する好適な形態について図面を用いて説明する。
【００１７】
（第１の実施形態）
図１（ａ）は、第１の実施形態の画像処理装置のハードウエア構成の例である。１０２は本装置の処理を行うＣＰＵであり、１０３は制御プログラムを格納するＲＯＭ、１０４は処理中のデータ等を一時記憶するＲＡＭ、１０５は磁気ディスク等の外部記憶装置である。ＲＯＭ１０３には、後述するフローチャートに示す本装置の処理プログラムが格納されていてもよい。なお、ＣＰＵ１０２は複数あっても良い。
【００１８】
１０６はネットワークインターフェースであり、ＬＡＮやＷＡＮと接続し、遠隔地の装置と通信を行う。１０８は本装置の操作を行うキーボード等の操作部、１０７は本装置の状態や作業者への情報を表示する表示部である。タッチパネル液晶モニターのように、操作部１０８と表示部１０７が一体となっていてもよい。
【００１９】
後述するフローチャートに示す本装置の処理プログラムは、外部記憶装置１０５に記憶したものや、ネットワークインターフェース１０６を介して外部から供給されたものを、ＣＰＵ１０２の制御の元、ＲＡＭ１０４に展開するように構成されていてもよい。
【００２０】
これら各構成要素はシステムバス１０１上に配置される。
【００２１】
なお、本実施形態の画像処理装置のハードウエア構成として、汎用コンピュータを用いてもよい。
【００２２】
図１（ｂ）は、第１の実施形態の画像処理装置の機能構成の例を示すブロック図である。画像処理装置に非図示の画像入力部から画像処理の対象となる画像が取り込まれたとする。顔領域検出部１１２は、特徴領域として顔領域を検出する。探索範囲決定部１１３は、検出された顔領域から文字領域を含む可能性が高い範囲を探索範囲として決定する。探索範囲決定部１１３は、処理対象の画像に応じて複数の探索範囲を決定することができる。
【００２３】
決定された探索範囲に対して、画像縮小部１１４が画像縮小処理を行ってから、画像解析部１１５が解析処理を行う。画像解析部１１５には文字領域抽出部１１６と文字認識部１１７が含まれている。文字領域抽出部１１６は、探索範囲から文字領域を抽出する。文字領域抽出部１１６は一つに限らず、複数あっても良い。文字認識部１１７は、文字領域から文字を読み取る。画像解析部１１５で解析して得られた文字情報を画像処理した画像に紐付けてメモリ又は記憶装置に記憶する。
【００２４】
図２は、図１の画像処理装置が処理する画像の一例である、一般競技者が参加する市民マラソンやロードレースを撮像した画像である。撮像された画像はデータ又は印刷された写真の形式で希望者に提供するために、画像情報からゼッケン番号で検索可能となっている必要がある。本実施形態の画像処理装置を用いて、図２に例示する画像に写っている参加者のゼッケン番号を読み取り、その画像に紐付けて記録しておくことができる。
【００２５】
次に、本実施形態で画像処理装置が実行する、画像から文字情報を読み取る処理の概要を、図３のフローチャートを使用して説明する。
【００２６】
ステップＳ３０１で非図示の画像入力部が処理を行う画像を入力し、ＲＡＭ１０４に記憶する。ステップＳ３０２において、文字領域抽出部１１６は入力された画像から文字領域を抽出する。ステップＳ３０３では、文字認識部１１７はステップＳ３０２で抽出された文字領域の画像に対し文字認識を実行する。その結果、画像内のすべての文字画像は文字コードに変換され、文字情報として読取る。ステップＳ３０４において、文字認識結果である文字コードを入力画像のメタデータとして付与し記憶する。メタデータが付与された画像は外部記憶装置１０５に保存する。
【００２７】
ステップＳ３０２の文字領域の抽出処理は画像全体を画素単位で解析し画素塊を検出して文字領域を抽出する処理である。背景技術で例示した、画像全体を画素単位で解析し画素塊を検出していく手法は、抽出漏れ等の精度低下を防ぐことが出来る半面、解析処理時間が増加する傾向にある。
【００２８】
例えば、非特許文献２で用いた画素塊抽出の手法ＭＳＥＲは、画像中の輝度値が近い所を１つの領域にまとめていく手法である。この方法では、それぞれの画素の近傍で、輝度値が近い所を連結する。輝度値が近い所を求めるために、複数の画素値（閾値）で２値化処理を行い、複数の２値画像を作る。２値化は全ての画素を対象にするため、一辺がｎ倍になれば、ｎ＾２倍（ｎの２乗倍）の画素を探索することになる。
【００２９】
そのため、探索範囲の１辺が長くなると、探索範囲内の画素へのアクセスが累乗倍に増加し、結果的に処理時間も累乗倍となる。非特許文献２のＭＳＥＲを画像全体に適用して画素塊抽出をした場合、図５に示すように、画像の１辺（長辺）の画素数に対し、画素へのアクセスが累乗倍に増加し、結果的に解析処理時間も累乗倍となる。なお、画像の長辺と短辺の比は３対２と仮定している。本実施形態では、画像の長辺と短辺の所定比率に対して、図５に示す画像の長辺の画素数と処理時間の関係を予めメモリ又は記憶装置に保持し、新たに処理する画像の長辺の画素数から解析処理の予測時間を取得する処理時間取得部（非図示）を備える。また、図５に示した以外に、画像の長辺の画像数と処理時間の関係以外に、画像全体の画素数と処理時間の関係を予め用意してメモリ又は記憶装置に保持し、同様に処理時間を取得することもできる。
【００３０】
次に、文字領域の抽出精度を維持しながら、処理時間を短縮する本実施形態の処理について説明する。本実施形態は、文字領域が存在する可能性の高い範囲を決定し、その範囲内を適切な縮小率で画像を縮小処理して文字領域の抽出処理を行う。文字領域の存在する可能性の高い範囲以外の画像部分にも文字領域が存在する可能性があるため、文字領域の抽出漏れが少なくなるように、入力画像から文字領域の存在する可能性の高い範囲を除いた画像部分についても文字領域を探索する。或いは、入力画像から文字領域の存在する可能性の高い範囲及び文字領域が存在する可能性のない領域を除いた画像部分について文字領域を探索する。
【００３１】
このように、画素単位の解析による画素塊生成を実施して、文字領域の抽出処理を実施するように構成した。その流れを図６のフローチャートを使用して説明する。図６のフローチャートは、図２で示したマラソン大会又はロードレースを撮像して得られた画像を処理対象とし、文字領域としてゼッケン番号の領域を抽出するものである。
【００３２】
図６のフローチャートの説明に先立ち、ステップＳ３０２において文字領域抽出部１１６が画素単位の解析によって画素塊を生成して、文字領域を抽出する処理の概要を、図４のフローチャートを使用して詳細に説明する。
【００３３】
ステップＳ４０１で入力された画像から画素塊を生成する。画素塊の生成は、例えば画像を２値化し、黒画素を抽出する等で実現できる。非特許文献２のＭＳＥＲを用いれば、複数のレベルで２値化した複数の２値画像に存在する安定的な画素塊を取り出すことで、ノイズを低減した画素塊が抽出可能である。
【００３４】
しかしながら、この時点では、文字以外の画素塊も含んでいるため、ステップＳ４０２では、ステップＳ４０１で得られた画素塊から、文字である可能性が高い画素塊を判別する。文字画素塊であるかどうかの判別の一形態として、機械学習を用いることができる。これは、画素塊の大きさや密度等を特徴量として抽出し、文字画素塊か否かを識別できるようにあらかじめ特徴量を学習した識別器を用いて実施するものである。ステップＳ４０１で得られた全ての画素塊に対し識別を実施し、ステップＳ４０２で文字領域内の画素塊と判定された以外の画素塊は非文字とみなし、ステップＳ４０３で処理対象から除外する。
【００３５】
次に、ステップＳ４０４において、文字画素塊として選択された画素塊を、その位置関係を用いてまとめていく。例えば、画素塊の幅の２分の１以下の間隔の隣接画素塊を同一グループとする、等である。判定のための値は、隣接画素塊間から統計的に求めればよい。また、ステップＳ４０３で除外された画素塊においても、同一グループと判断された画素塊間に存在する場合は、当該グループの画素塊としてよい。これにより、文字の一部を構成する複数の画素塊が一つのグループとしてまとまり、文字領域候補となる。
【００３６】
ステップＳ４０５では、ステップＳ４０４で得られた画素塊のグループの背景部を解析し、グルーピングされた画素塊が同一文字領域の画素塊であるか否か等を判定する。文字領域の背景はほぼ均一もしくは緩やかに変化していると仮定し、画素塊の外接四辺形を設定し、該四辺形内の画素塊である前景とそれ以外の画素である背景の輝度の平均値や分散値等を求め、求めた値が基準を満たすかどうかで判断する。基準値は、あらかじめ実際の画像を測定して決定しておく。例えば、前景と背景の平均輝度の差が１０以上であるとか、背景画素の輝度の分散値が７０以下である等である。
【００３７】
これまでの処理で得られた画素塊グループおよびその背景部の情報から、ステップＳ４０６において抽出する文字領域を決定する。この処理ステップにおいて、グルーピングされた画素塊同士をさらに結合したり、不要な画素塊を削除したりすることで、最終的に抽出する文字領域が確定する。なお、説明した処理方法は文字領域の抽出処理の一例であり、図４の方法に限るものではない。
【００３８】
図４で説明したステップＳ３０２の文字領域抽出の処理方法を用いた本実施形態について、図６のフローチャートを使用して詳細に説明する。
【００３９】
ステップＳ６０１において、入力画像の画素数があらかじめ設定した閾値以下かどうか判断する。閾値より小さい画像であれば、非図示の取得手段が例えば図５から取得した処理時間が所定値以内であるため、特徴領域としての顔領域の抽出や縮小処理等を実施せず、ステップＳ６１５で画像全体から文字領域であるゼッケン番号の領域を抽出する。入力画像の画素数の閾値から処理時間を取得するために、処理時間と画素数（処理量）の関係からあらかじめ算出しておく。例えば、処理時間を所定値のＴ秒以内としたい場合、解析処理時間の所定値Ｔ秒となる長辺の画素数を図５のグラフの値を保持した記憶装置から取得し、その画素数Ｐｔを閾値とする。長辺の画素数がＰｔ以下なら、画像全体からゼッケン番号領域を抽出しても、所定値Ｔ秒以内に処理を終えることができる。
【００４０】
ステップＳ６０１で画素数の閾値を超える画像が入力されたら、ステップＳ６０２において顔領域検出部１１２が顔検出を行う。顔検出方法については従来の技術を用いて実施可能である。ステップＳ６０２で顔が検出されたか否かによりステップＳ６０３で処理の流れが分岐される。ステップＳ６０２で顔が検出されない場合でも、ゼッケン番号が写っている可能性はあるので、ゼッケン番号領域抽出の解析処理を行う必要がある。
【００４１】
特徴領域として顔領域が検出されなかった場合、ステップＳ６１４において、画像縮小部１１４があらかじめ決められた方法で縮小率を算出し、画像全体を縮小処理した後、ステップＳ６１５に進む。縮小率は、抽出しようとするゼッケン番号（文字領域）の大きさに対して、抽出精度が低下しない範囲で算出される。
【００４２】
まず、抽出しようとするゼッケン番号（文字領域）の大きさは直接に決めてもよい、又は次の方法によって決めてもよい。被写体である参加者の画像に対する最小の占有割合をあらかじめ決定する。画像の縦横比及びゼッケン番号の縦横比が一定であると仮定して、画像における被写体の占有割合として画像の長辺の大きさに対して被写体（参加者）の幅が２０％以上の被写体を解析の対象として抽出したいとする。
【００４３】
被写体の幅に対して文字領域（ゼッケン番号）の長辺の大きさが平均４０％とすると、画像の長辺に対して長辺の占める割合が８％以上の文字領域を解析の対象として抽出することになる。ここで、長辺の画素数が３５００画素の画像を例に計算すると、長辺の画素数が２８０画素以上のゼッケン番号が抽出対象となる。
【００４４】
次に、ゼッケン番号を抽出するために、例えば文字領域の長辺が８０画素以上あれば抽出精度が確保される場合は、ゼッケン番号の抽出精度が低下しない範囲での最小の縮小率を求めると、縮小率は約２９％となる。この縮小率は処理する画像の大きさによって変わる、例えば、画像の長辺の画素数が４５００画素であれば、上記のように計算すると、縮小率は約２２％となる。すなわち、大きい画像ほど、縮小率をより小さくできるので、処理時間の短縮効果が大きい。
【００４５】
ステップＳ６０２で顔が検出された場合、ステップＳ６０４に進む。図７において、顔領域検出部１１２により顔領域７０１と７０２が検出された様子を示す。なお、向かって左手の参加者の顔領域検出は失敗している。
【００４６】
ステップＳ６０４では、探索範囲決定部１１３は、検出された顔領域の大きさと位置からゼッケン番号を含む文字領域の大きさと位置を推定し、第一探索範囲を決定する。平均的な顔の大きさとゼッケン番号の大きさは既知の情報であるので、顔領域の位置と大きさから、ゼッケンが存在する可能性の高い範囲を設定出来る。例えば、顔領域の幅の２倍の幅をゼッケン番号が存在する範囲の幅とし、顔領域の下から顔領域の高さの３倍の範囲までを第一探索範囲とする。複数の顔領域が検出された場合、それぞれの顔領域に対して第一探索範囲を決定する。図７において、第一探索範囲７０３と７０４が決定した様子を示す。第一探索範囲では、ユニフォームや肌などの占める割合が大きくなり、画素塊のノイズは比較的に少ない。そのために、第一探索範囲以外の領域と比較して、画素塊のノイズ除去処理の時間を短縮できる。
【００４７】
第一探索範囲を決定した後に、顔領域及び第一探索範囲を含まない第二探索範囲を決定する。入力画像から顔領域及び第一探索範囲をマスク処理して除いた範囲を第二探索範囲とする方法がある。
【００４８】
また、処理時間をさらに短縮するために、第一探索範囲及び第二探索範囲をより小さくすることができる。例えば、顔領域の下から顔領域の幅の２倍の幅と顔領域の高さの２倍高さの範囲を第一探索範囲として、第一探索範囲をより小さくすることができる。一方、入力画像から、顔領域及び顔領域の下から顔領域の幅の２倍の幅と顔領域の高さの５倍の高さの範囲をマスク処理して除いて第二探索範囲とする。これにより、第二探索範囲をより小さい範囲とすることができる。
【００４９】
即ち、文字領域が存在する可能性の高い第一探索範囲をより正確に特定すると同時に、第二探索範囲から文字領域が存在する可能性の非常に低い領域を除くことによって、処理する画像のサイズ（画素数）を小さくすることができる。
【００５０】
ステップＳ６０５において、画像縮小部１１４がそれぞれの第一探索範囲７０３と７０４の縮小率を決定する。文字抽出精度が低下しない文字領域（ゼッケン番号）の大きさをＲＯＭ１０３又は外部記憶装置１０５からあらかじめ取得する。ステップＳ６０２で検出された各顔領域の大きさから文字領域（ゼッケン番号）の大きさを推定し、あらかじめ取得した文字領域の大きさと顔領域から推定した文字領域の大きさから縮小率を決定する。例えば、顔領域の幅をＷとし、文字領域の幅が５０画素以上あれば文字抽出精度が低下しないならば、縮小率は５０／Ｗとなる。
【００５１】
このように第一探索範囲の縮小率を決めることによって、大きさの異なる第一探索範囲７０３と７０４に対して、文字抽出精度が低下しない縮小率がそれぞれ求まる。第一探索範囲７０３と７０４をそれぞれの縮小率で縮小処理して、文字領域の抽出精度が低下せずに処理時間を短縮して文字領域を抽出することができる。
【００５２】
また、入力画像から第一探索範囲及顔領域を除いた部分からも漏れがないようにゼッケン番号を抽出する、入力画像から第一探索範囲及び顔領域を除いた第二探索範囲についても縮小率を決定する。第二探索範囲の縮小率は第一探索範囲の縮小率を参照して決めることができる。例えば、顔領域が１つのみ検出された場合は、第二探索範囲の縮小率を第一探索範囲の縮小率と同一値とする。また、顔領域が複数検出された場合は最も大きい顔領域から決定した第一探索範囲の縮小率と同じ値にしても良い。また、複数の第一探索範囲の縮小率を用いて算出しても良い。
【００５３】
あるいは、ステップＳ６１４で説明した方法を用いて、抽出しようとするゼッケン番号（文字領域）の大きさから、抽出精度が低下しない縮小率を求めて、第二探索範囲の縮小率とするようにしてもよい。
【００５４】
例えば、長辺の画素数が３２０画素以上のゼッケン番号を抽出しようとする場合、ゼッケン番号を抽出するために必要となる長辺の画素数が８０画素とすれば、第二探索範囲の最小の縮小率は２５％である。第二探索範囲を第二探索範囲の縮小率で縮小処理してから、文字領域を抽出するので、抽出精度が低下しない範囲で、第二探索範囲において所望の大きさ以上のゼッケン番号の抽出処理時間を短縮することができる。
【００５５】
上述したように、第一探索範囲及び第二探索範囲に対して、文字領域の抽出漏れを抑制しながら、独立にそれぞれの最小の縮小率で縮小処理して文字領域を抽出する。そのために、画像全体を縮小する場合の最小の縮小率で画像全体を縮小処理して文字領域を抽出するより、抽出処理の処理時間を短縮することができる。
【００５６】
ステップＳ６０６で、画像縮小部１１４は、ステップＳ６０４で決定した第一探索範囲に対し、ステップＳ６０５で決定した縮小率で第一探索範囲の画像を縮小し、ステップＳ６０７で縮小後の部分画像からゼッケン番号領域を抽出する。ステップＳ６０８により全ての第一探索範囲からゼッケン番号領域を抽出したか判断し、全ての第一探索範囲に対する抽出処理が終わればステップＳ６０９に進む。図８はステップＳ６０６における縮小画像を示したものである。図８（ａ）は第一探索範囲７０３の元画像であり、（ｃ）は縮小後の画像である。同様に（ｂ）は第一探索範囲７０４の元画像であり、（ｄ）は縮小後の画像である。縮小後のゼッケン番号の文字は、抽出精度が低下しない範囲の大きさでほぼ同じ大きさになる。
【００５７】
ステップＳ６０９では、ステップＳ６０５で決定した縮小率で第二探索範囲を縮小し、ステップＳ６１０では、探索済みの顔領域及び第一探索範囲をマスクする。縮小後の画像に対してマスク済みの様子を図９の（ａ）に示す。即ち、元の画像から顔領域及び第一探索範囲を除いた範囲が第二探索範囲である。
【００５８】
ステップＳ６１１において、マスク済みの範囲を解析せずに第二探索範囲の縮小画像からゼッケン番号の領域を抽出する。ステップＳ６１２において、非図示の判断手段は、第二探索範囲から得られたゼッケン番号領域がマスク範囲に掛かっているかを判断する。例えば文字領域（ゼッケン番号の領域）が第一探索範囲に接する位置にあって、且つ文字領域の幅と高さとの比率（縦横比、幅／高さ）が所定値より小さいかどうかによって判断される。この場合は、文字領域の一部である部分領域しか抽出処理されていないので、全てのゼッケン番号を抽出できない可能性が高い。
【００５９】
文字領域（ゼッケン番号の領域）がマスク範囲に掛かっていると判断された場合、抽出された文字領域（ゼッケン番号の領域）の一部が第一探索範囲にあるが、マスク処理によって抽出できなかった文字（ゼッケン番号）が隠れている可能性がある。ステップＳ６１３において、第二探索範囲を拡張し、ゼッケン番号の領域抽出を継続する。拡張する向きは既に抽出された文字から文字行の向きを推定し、推定された文字行の向きに、接している第一探索範囲に向かって第二探索範囲を拡張する。あるいは、参加者のゼッケン番号はほぼ水平であるとみなし、水平方向に第一探索範囲に向かって第二探索範囲を拡張してもよい。文字領域の縦横比が少なくとも所定値になるように文字領域を拡張した様子を図９の（ｂ）に示す。この結果、画像上の全てのゼッケン番号の領域を抽出することができる。
【００６０】
図６では、第一探索範囲に対するステップＳ６０６からステップＳ６０８までの処理が終わってから、第二探索範囲に対するステップＳ６０９以降の処理を行うように説明されているが、これに限定する必要はない。第一探索範囲と第二探索範囲が決定された後に、第一探索範囲に対する処理と第二探索範囲に対する処理が並列的に行われても良い。複数の文字領域抽出部１１６が複数のＣＰＵ１０２を用いて並列的に処理することによって、画像全体の処理時間を大幅に短縮できる。
【００６１】
また、図６では、第一探索範囲と第二探索範囲をそれぞれ縮小処理して文字領域を抽出処理する方法について説明したが、入力画像における第一探索範囲の大きさ（画像のサイズ）に応じて、第一探索範囲を縮小処理しなくても良い。例えば、入力画像における第一探索範囲の大きさは図７の第一探索範囲７０４のように小さい場合は、縮小率が大きい（縮小処理前後の画像サイズの変化は小さい）ので、第一探索範囲を縮小処理しなくてもよい。
【００６２】
以上説明したように、画素数が多い画像に対し、文字領域の抽出処理を実施する範囲を分割するとともに、精度が低下しない範囲で画像を縮小することによって処理時間を減らすことが可能となる。また、文字領域であるゼッケン番号領域を出来る限り分割しないように探索範囲を設定し、精度低下が生じない範囲で画像を縮小し、各分割画像を縮小することで処理時間を大幅に短縮する効果がある。
【００６３】
（第２の実施形態）
以下、第２の実施形態を説明する。第２の実施形態の画像処理装置の構成図は前述の第１の実施形態と同一であるので説明を省略する。
【００６４】
本実施形態で画像処理装置が実行する、画像から文字情報を読み取る処理の流れを、図１０のフローチャートを使用して説明する。なお、第１の実施形態と同一な処理ステップについては説明を省略する。
【００６５】
ステップＳ１００１において、入力画像の画素数があらかじめ設定した閾値以下かどうか判断する。閾値を超えた場合、ステップＳ１００２乃至ステップＳ１００５の処理ステップについては第１の実施形態と同様で、第一探索範囲と第二探索範囲を決定し、画像分割された第一探索範囲と第二探索範囲の部分画像毎に縮小率を決定する。
【００６６】
ステップＳ１００６において、部分画像の縮小処理及び、縮小された部分画像からゼッケン番号領域の抽出処理の演算量を、部分画像で実施した場合と分割せず画像全体の縮小画像で実施した場合の両方で算出し比較する。画像を分割して処理した場合の演算量が少ない場合、すなわち処理時間短縮の効果がある場合、ステップＳ１００７に進む。
【００６７】
ステップＳ１００７乃至ステップＳ１０１３の処理ステップは第１の実施形態と同様であり、第一探索範囲及び第二探索範囲からゼッケン番号領域を抽出する。
【００６８】
ステップＳ１００６において、処理時間短縮の効果がない場合、ステップＳ１０１５に進み、あらかじめ決められた方法で縮小率を算出後、入力画像全体を縮小する。なお、縮小率の算出方法は第１の実施形態で説明した図６のステップＳ６１４の算出方法と同様である。ステップＳ１０１６において、入力画像全体からゼッケン番号領域を抽出する。
【００６９】
なお、ステップＳ１００１で入力画像の画素数が閾値以下の場合、あるいは、ステップＳ１０１３でマスク範囲にゼッケン番号領域が掛かる場合の処理は第１の実施形態と同様である。
【００７０】
以上説明したように、本発明によれば、処理時間短縮効果を評価後、部分画像で処理を行うように構成することで、より高速な処理ステップが選択される効果がある。
【００７１】
（第３の実施形態）
上記実施形態では顔検出とゼッケン番号の例を用いて説明したが、特徴領域として顔領域を検出することに限定される必要はない。本実施形態は、特徴領域の検出として顔領域の検出ではなく、マーカー領域を検出することによって、第一探索範囲を決定し、第一探索範囲から文字領域であるゼッケン番号領域を検出する。マーカー領域の検出は顔領域検出部１１２の替わりに非図示のマーカー領域検出部を用いて従来のマーカー検出方法によって実施することができる。
【００７２】
マーカーは、図１１（ａ）又は（ｂ）に示すようにゼッケンの左上の角部に印刷された特定のパターンであるが、マーカーの位置及び形状はこれに限定する必要はない。マーカーの位置とゼッケン番号の相対位置が事前に分かっていれば良い。マーカーのパターンの形状と大きさは決まっているので、マーカーの位置と大きさから、ゼッケン番号を含む可能性の高い第一探索範囲を決定する。そして、第一探索範囲を決定した後に、第１実施形態と同様の方法によって、第二探索範囲を決定する。
【００７３】
（第４の実施形態）
上記実施形態はゼッケン番号を検知する例を用いて説明したが、自動車のナンバープレートの登録番号を検知する場合にも適用できる。その場合の特徴領域として自動車のロゴマーク又は自動車のヘッドライトを検出して、検出された特徴領域の位置と大きさからナンバープレートの登録番号を含む可能性の高い第一探索範囲を決定する。その他の処理は上記実施形態と同様である。
【００７４】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
１０１  システムバス
１０２  ＣＰＵ
１０３  ＲＯＭ
１０４  ＲＡＭ
１０５  外部記憶装置
１０６  ネットワークインターフェース
１０７  表示部
１０８  操作部
【図１】
2016053763.tif 000003
【図２】
2016053763.tif 000004
【図３】
2016053763.tif 000005
【図４】
2016053763.tif 000006
【図５】
2016053763.tif 000007
【図６】
2016053763.tif 000008
【図７】
2016053763.tif 000009
【図８】
2016053763.tif 000010
【図９】
2016053763.tif 000011
【図１０】
2016053763.tif 000012
【図１１】
2016053763.tif 000013