(57)【特許請求の範囲】
【請求項１】
カラーの入力画像より特徴量を抽出し、抽出した特徴量と辞書特徴量とのマッチング処理により該入力画像中のカラーの特定画像の有無を判断するカラー画像検出方法において、該特定画像の縁部に現われる特定の縁色の検出を該入力画像に対して行ない、該縁色が検出された位置から特徴量の抽出を開始することを特徴とするカラー画像検出方法。
【請求項２】
カラーの入力画像より特徴量を抽出し、抽出した特徴量と辞書特徴量とのマッチング処理により該入力画像中のカラーの特定画像の有無を判断するカラー画像検出方法において、該特定画像の縁部に現われる特定の縁色の検出を該入力画像に対して行ない、該縁色が検出された位置から特徴量の抽出を開始し、該縁色が検出されなくなった位置で特徴量の抽出を終了することを特徴とするカラー画像検出方法。
【請求項３】
カラーの入力画像より特徴量を抽出し、抽出した特徴量と辞書特徴量とのマッチング処理により該入力画像中のカラーの特定画像の有無を判断するカラー画像検出方法において、該特定画像の縁部に現われる特定の縁色の検出を該入力画像に対して行い、該縁色が検出された位置から特徴量の抽出を開始し、該縁色が検出されなくなった位置で特徴量の抽出を終了し、それまでに抽出された特徴量を用いてマッチング処理を行なうことを特徴とするカラー画像検出方法。
【請求項４】
カラーの入力画像より特徴量を抽出し、抽出した特徴量と辞書特徴量とのマッチング処理により該入力画像中のカラーの特定画像の有無を判断するカラー画像検出装置において、該特定画像の縁部に現われる特定の縁色の検出を該入力画像に対して行なう手段と、該縁色が検出された位置から特徴量の抽出を開始する手段を有することを特徴とするカラー画像検出装置。
【請求項５】
カラーの入力画像より特徴量を抽出し、抽出した特徴量と辞書特徴量とのマッチング処理により該入力画像中のカラーの特定画像の有無を判断するカラー画像検出装置において、該特定画像の縁部に現われる特定の縁色の検出を該入力画像に対して行なう手段と、該縁色が検出された位置から特徴量の抽出を開始し、該縁色が検出されなくなった位置で特徴量の抽出を終了する手段を有することを特徴とするカラー画像検出装置。
【請求項６】
カラーの入力画像より特徴量を抽出し、抽出した特徴量と辞書特徴量とのマッチング処理により該入力画像中のカラーの特定画像の有無を判断するカラー画像検出装置において、該特定画像の縁部に現われる特定の縁色の検出を該入力画像に対して行なう手段と、該縁色が検出された位置から特徴量の抽出を開始し、該縁色が検出されなくなった位置で特徴量の抽出を終了する手段と、抽出された特徴量を用いてマッチング処理を行なうことを特徴とするカラー画像検出装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、カラースキャナ等によって入力されたカラー画像中の特定画像を検出する技術に関する。本発明は、画像認識システム、画像データベースシステム、カラーコピー機、カラープリンタ等、画像を扱う広範な分野に利用できる。
【０００２】
【従来の技術】
この種の画像検出に関連し、画素のサンプリングを行ない、サンプルの色空間上の分布を特徴量として抽出し、それが検出したい特定画像（絵柄）の色空間上での分布中に含まれるか否かを調べることによって、特定画像の領域を抽出する方法が提案されている（特開平４−１８０３４８号）。
【０００３】
【発明が解決しようとする課題】
しかし、この方法を、入力画像中に特定の画像が含まれているか否かを検出する目的に応用した場合、色空間中での広がりが目的の特定画像のものと重なるようなノイズ画像の影響を受け易く、高い検出精度を達成することが困難なことが多い。
【０００４】
本発明は、カラー画像中の特定の画像の有無を検出する場合に、ノイズ画像の影響を受け難くして検出精度を向上させる手段、並びに検出処理の効率を向上させる手段を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するための本発明の一つの主要な特徴は、カラー画像中の特定画像を検出する場合において、目的とする特定画像の縁部に出現する特定の色（縁色）の検出を行なって特定画像の存在する範囲を推定することにより、特徴量抽出の処理対象範囲を制御し、あるいは、抽出した特徴量と辞書として用意された特定画像の特徴量とのマッチング処理を実行するタイミングを制御することである。
【０００６】
本発明のもう一つの主要な特徴は、特徴量抽出処理により得られた特徴量に基づいて、特徴量のマッチング処理を実行するタイミングを制御することである。このタイミング制御は、単独で採用されるか、あるいは上記の縁色検出による特徴抽出処理対象範囲の制御と組み合わせて採用される。
【０００７】
本発明の上記の特徴及び他の特徴は、後記実施例に関連した説明中で明らかにする。
【０００８】
【作用】
ノイズ画像の影響を避けるためには、目的の特定画像が存在する範囲のみについて特徴量を抽出することが望ましい。本発明によれば、縁色検出によって画像検出用特徴量の抽出範囲を適正化し、目的とする特定画像以外のノイズ画像による影響の少ない特徴量を抽出することができるため、ノイズ画像が存在する場合にも特定画像の高精度の検出が可能となる。特に、後記実施例に関連して詳細に説明するように、入力画像を縦横に分割し特徴量抽出範囲を細かく制御することにより、ノイズ画像の影響を大幅に減らし極めて高い検出精度を達成できる。
【０００９】
また、通常、特徴量抽出処理が特定画像の存在する領域の最後まで進んだ段階で、抽出した特徴量と、予め辞書として用意された特定画像の特徴量との類似度が最高となり、特徴量抽出処理がさらに進行すると、ノイズ画像による余分な特徴量が追加されるために、類似度が悪化してくる。したがって、特徴量のマッチング処理を実行するタイミングが不適切であると、特定画像の検出に失敗する危険がある。このような不都合を回避するため、特徴量のマッチング処理を短い間隔で頻繁に繰り返す方法も考えられるが、これでは処理効率の悪化を招いてしまう。
【００１０】
本発明によれば、縁色検出の結果、あるいは、特徴抽出処理によって抽出された特徴量の値に基づき、マッチング処理の実行タイミングを適正化し、検出精度を悪化させることなく効率的な処理を実現できる。特に、このマッチング処理の実行タイミングの制御と縁色検出による特徴量抽出処理範囲の制御とを組み合わせることによって、極めて優れた検出精度と処理効率とを同時に実現できる。
【００１１】
なお、本発明の上記作用及び他の作用については、後記実施例に関連して明らかにする。
【００１２】
【実施例】
以下、本発明を様々な実施例によって具体的に説明する。
【００１３】
＜実施例１＞
本実施例に係る装置構成の一例を図１に示す。なお、この装置構成は、後記の他のいくつかの実施例に対して同様に適用できるため、それら各実施例の説明においても図１を援用する。
【００１４】
図１において、画像入力部１は原稿をスキャンし原稿上の画像をＲＧＢのカラーデータとして読み込み、これを画像メモリ６に格納する部分である。縁色検出部２は、画像メモリ６内の入力画像のカラーデータと、縁色辞書５に格納されている目的の特定画像の縁部に現われる色（縁色）のテーブルとを参照し、入力画像より目的とした特定画像の縁色を検出する部分であり、縁色を検出した場合に制御部９へ検出信号を送る。特徴抽出部３は、制御部９からの信号に応じて入力画像から検出のための特徴量を抽出し、これを特徴量メモリ７に格納する部分である。特徴量辞書８は１つ以上の特定画像の特徴量を格納している部分である。マッチング部４は、制御部９からの信号に応じて、特徴量メモリ７に得られた特徴量と特徴量辞書８に保存されている特定画像の特徴量との相違度を求める部分である。制御部９は、装置の動作制御を司る部分である。
【００１５】
本実施例で処理する入力画像として、図２に示す画像を想定する（カラー画像であるが、作図の都合から白黒画像として示されている）。図２に示す画像中には３つのオブジェクトＡ，Ｂ，Ｃが含まれているが、その中のオブジェクトＢが本実施例で検出しようとしている特定画像である。
【００１６】
本実施例では、入力画像を１ライン単位で処理する。ただし、連続した複数ラインの塊（行ブロック）を単位として処理することも可能であるが、このことは後記の他の実施例についても同様である。
【００１７】
まず、縁色検出部２において、画像メモリ６より入力画像（図２）のＲＧＢカラーデータを１ラインずつ読み込み、検出しようとしている特定画像の縁部に出現する特定の縁色（縁色辞書５内のテーブルに格納されている）の検出判定を行なう。その縁色を検出したときには、その旨の検出信号を制御部９へ送る。制御部９は、この検出信号を受けると特徴抽出部３を起動し、当該ラインより特徴抽出を開始させる。
【００１８】
ここで想定している図２の入力画像においては、１０３番ラインで最初に縁色が検出され、縁色検出部２より検出信号が出されるので、このラインから特徴抽出部３が特徴抽出を開始する。したがって、１０２番ライン以前（図２では上側）のラインに、検出対象としている特定画像中に含まれる色（目的としている特定画像以外のノイズ）が含まれていたとしても、それは無視され、特徴抽出によって抽出される特徴量に対して悪影響を及ぼすことはない。
【００１９】
特徴抽出部３では、入力画像の１０３番ライン以降の各ラインのＲＧＢデータを画像メモリ６より読み込み、マッチングに用いるための特徴量を抽出する。本実施例では、１次元の特徴量であるＲ色度ヒストグラムを抽出する。具体的には、各画素のＲ色度を計算し、各Ｒ色度の画素数をカウントして特徴量メモリ７に蓄積する。各画素のＲ色度ｒは
ｒ＝２５６×Ｒ／（Ｒ＋Ｇ＋Ｂ）
によって計算される。
【００２０】
なお、本実施例及び後記各実施例においては、画像検出のための特徴量としてＲ色度ヒストグラムを用いるが、Ｒ，Ｇ，Ｂそれぞれの１次元色度ヒストグラムあるいは多次元色度ヒストグラムや彩度、明度など、カラー画像の検出に用いられる一般的な特徴量を用いることができる。ただし、量的な特徴量である必要があり、構造解析的な特徴量であってはならない。
【００２１】
さて、図２に示したオブジェクトＡ，Ｂ，Ｃは、図３に示したＲ色度ヒストグラムを持つものとする。そして、特徴抽出部３によって１０３番ラインから３３０番ライン（画像の最後のライン）まで処理した結果、図４に示したＲ色度ヒストグラムが抽出されたとする。
【００２２】
最後の３３０番ラインの処理を終わると、特徴抽出部３より制御部９へ処理終了信号が送られる。制御部９は、この終了信号を受けると、マッチング部４を起動する。
【００２３】
マッチング部４は、起動されると、特徴量メモリ７内に得られた入力画像のＲ色度ヒストグラムと、特徴量辞書８に保存されている、検出しようとしている特定画像（オブジェクトＢ）の特徴量との相違度を算出し、その値が予め定められた閾値より小さい場合に、目的の特定画像を検出したと判断する。なお、相違度に代えて類似度を算出し、それが所定の閾値より大きいときに特定画像を検出したと判断するようにしてもよいことは当然である。
【００２４】
本実施例では、Ｒ色度ヒストグラム間の差分の絶対値の総和を相違度として求める。図５は、この相違度算出の説明図であり、上段はマッチング対象の２つのＲ色度ヒストグラム、下段は両ヒストグラム間の差分のヒストグラムを示している。相違度の閾値を５００とし、相違度≦５００のときに特定画像を検出したと判断するものとすると、図５に付記されているように相違度は４６１（画素）であるので、入力画像中のオブジェクトＢが目的の特定画像として検出されることになる。
【００２５】
なお、仮に縁色検出を行なわず、入力画像の全体を特徴抽出対象範囲として特徴量を抽出したうえで同様のマッチングを行なった場合、相違度は７２２（画素）となるので、特定画像の検出を失敗する。これは、入力画像全体について特徴抽出を行なうことによって、目的としている特定画像の領域以外のノイズ成分の影響を受けるためである。
【００２６】
本実施例によれば、そのようなノイズ成分による悪影響を減らし、画像検出精度を上げることができる。また、目的の画像領域より前の領域に対する無用な特徴量抽出処理を避けることができるので、処理効率の面でも有利である。
【００２７】
＜実施例２＞
図１に示す装置構成を前提に本実施例を説明するが、装置構成は適宜変更してよい。本実施例においても前記実施例１と同様、処理する入力画像として図２に示す画像を想定し、特定画像としてオブジェクトＢを検出するものとする。また、本実施例においても入力画像を１ライン単位で処理し、画像検出のための特徴量としてＲ色度ヒストグラムを用いることも同様である。以下、処理内容を説明する。
【００２８】
縁色検出部２において、画像メモリ６より入力画像（図２）のＲＧＢカラーデータを１ラインずつ読み込み、検出しようとしている特定画像の縁部に存在する特定の縁色（縁色辞書５内のテーブルに格納されている）の検出判定を行なう。その縁色を検出したときには、検出信号を制御部９へ送る。制御部９は、この検出信号を受けると特徴抽出部３を起動する。ここまでは前記実施例１と同様である。
【００２９】
しかし本実施例においては、縁色検出部２は、最初に縁色を検出したライン以降の各ラインに関しても、縁色の検出の有無を示す信号を制御部９へ送る。制御部９は、特徴抽出部３を起動後、縁色検出部２からの信号に基づき、縁色検出の対象である現在のライン上で縁色が検出されず、その直前のライン上で縁色が検出されているときに特徴抽出部の特徴抽出処理を終了させ、マッチング部４を起動する。つまり、目的としている特定画像の縁色が最初に検出されたラインから縁色が最後に検出されたラインまでを一つの区間として、その区間内の特徴抽出を行なわせ、かつ該区間の終わりでマッチング処理を起動する。換言すれば、本実施例においては、縁色検出の結果によって、特徴量抽出処理の対象範囲の制御とマッチング処理実行タイミングの制御とを行なっている。
【００３０】
一つの区間に関するマッチング処理が終了すると、次のラインより同様の一連の動作を開始させる。
【００３１】
図２の入力画像の場合、１０３番ラインから２０８番ラインまでは各ラインで縁色が検出され、その次の２０９番ラインでは縁色が検出されなくなる。したがって、１０３番ラインの縁色検出処理を終了した時点で制御部９は特徴抽出部３を起動させ、２０９番ラインの縁色検出が終了した時点で特徴抽出処理を終了させ、同時にマッチング部４を起動する。したがって、１０３番ラインから２０８番ラインまでの帯状区間についてのＲ色度ヒストグラムが特徴量メモリ７に得られ、これについてマッチング部４によるマッチング処理が行なわれる。
【００３２】
図６は、当該帯状区間のマッチングの説明図である。図６において、上段右に示したヒストグラムは入力画像の当該帯状区間より抽出されたＲ色度ヒストグラム、上段左に示したヒストグラムは特徴量辞書８に保存されている目的の特定画像（オブジェクトＢ）のＲ色度ヒストグラムである。両ヒストグラムの差分ヒストグラムは図６の下段に示すようになる。したがって、差分ヒストグラムの絶対値の総和である相違度は０となり、これは予め定められた閾値５００以下であるので、特定画像が検出されたと判断されることになる。
【００３３】
このように、目的とする特定画像の縁色が検出された区間に限って特徴量を抽出し、抽出した特徴量と辞書特徴量とのマッチングを行なうため、前記実施例１に比べ一層、ノイズによる悪影響を受けにくくなるので、より高精度の画像検出が可能になる。また、無用な区間についての特徴量抽出処理が廃除されるので、その分だけ特徴量抽出処理時間が短縮され、処理効率の向上につながる。
【００３４】
さて、マッチング部４においてマッチング処理を終了して処理終了信号を出すと、制御部９より特徴抽出部３に対して特徴量メモリ初期化指示が出される。この指示を受けると、特徴抽出部３は特徴量メモリ７を初期化する。
【００３５】
この初期化の後、制御部９は縁色検出部２より縁色検出信号が出ると特徴抽出部３を起動し、縁色が検出されないラインが出現すると、特徴抽出処理を終了させ、マッチング部４を起動するという一連の動作のための制御を行なう。
【００３６】
図２に示した入力画像の場合、２０９番ラインから同様の処理が再開されることになるが、当該ラインから最終ラインまで縁色は表われないので、特徴抽出部３及びマッチング部４は再度起動されることはない。
【００３７】
なお、目的の特定画像が入力画像中に含まれているか否かのみを判断できればよい用途であれば、入力画像のある区間で目的の特定画像を最初に検出した段階で処理を終了させ、再起動は行なわない。つまり、図２の入力画像の場合、２０８番ラインでのマッチング処理を終わった段階で処理を終了することになる。ただし、この段階で目的の特定画像を検出できなかった場合は、処理を再開することになる。
【００３８】
ここでは、１つの区間に関するマッチング処理を終了した段階で特徴量メモリ７を初期化したが、初期化しないで処理を再起動することもできる。初期化を行なうか否かに関して、図７を参照して説明する。なお、マッチング処理において特徴量の相違度でなく類似度を用いるものとするが、これはあくまで便宜上である。
【００３９】
図７の縦軸は処理位置もしくは処理経過時間であり、横軸は抽出した特徴量と辞書特徴量との類似度である。実線は初期化を行なった場合の類似度カーブ、破線は初期化を行なわなかった場合の類似度カーブである。
【００４０】
まず、初期化を行なった場合について説明する。本来なら、Ｔ２のタイミングでマッチング処理が起動されれば特定画像が検出される場合に、起動のタイミングがＴ１にずれると、特定画像の検出を失敗してしまう。そして、それ以降に目的の特定画像が存在しないと、結局、入力画像に特定画像が含まれないと判断されてしまう。つまり、初期化を行なった場合の弱点は、マッチング処理の起動タイミングのずれによって、検出漏れが起こり易いということである。しかし、ノイズによる特徴量の累積による悪影響は避けられる。
【００４１】
他方、初期化を行なわない場合、例えばＴ２、Ｔ３，Ｔ４の各タイミングでマッチング処理を起動しても、目的の特定画像を検出できる。つまり、初期化を行なわないと、初期化を行なった場合に比べて特定画像の検出漏れが起きにくいという利点がある。その反面、ノイズによる特徴量の累積によって目的の特定画像に似た特徴量となって、目的の特定画像が存在しないにもかかわらず誤って検出される危険が増加する。
【００４２】
このように、初期化を行なう方式と初期化を行なわない方式とは一長一短があるので、画像検出の目的ないし用途によって、どちらか最適な方式を選択するとよい。つまり、誤検出が許されない用途には誤検出の起きにくい初期化を行なう方式を選び、検出漏れを絶対に避けたい用途には検出漏れの少ない初期化を行なわない方式を選ぶ。
【００４３】
よって、本実施例の変形として、マッチング処理終了段階で特徴量メモリ７を初期化しない実施例がある。
【００４４】
＜実施例３＞
本実施例は、図１の装置構成と図８に示す入力画像を想定して説明する。この入力画像にはＡ，Ｂ，Ｃ，Ｄの４個のオブジェクトが含まれているが、本実施例で特定画像として検出しようとしているオブジェクトをＢとする。
【００４５】
本実施例の処理は、前記実施例２と類似しているが、入力画像を図９に示すように、縦方向（処理の進む方向つまりラインの方向に対して垂直な方向）に領域１（１列目から５９列まで）、領域２（６０列目から１１９列目まで）、領域３（１２０列目から１７９列目まで）、領域４（１８０列目から２３９列目まで）の４領域に分割し、領域毎に処理を行なう点が前記実施例２と相違する。以下、図９を参照しながら、処理を順を追って説明する。
【００４６】
縁部検出部２は入力画像の１ライン目より縁色検出を行なうが、前記実施例２と違い、各領域別に各ライン上での縁色の有無を確認し、縁色の検出／不検出と領域番号及びライン番号を示す信号を制御部９へ送出する。ここで想定している入力画像の場合、最初に１０３番ラインにおいて領域２で縁色が検出されるので、＜領域２／１０３番ライン／検出＞の信号が縁色検出部２より出される。
【００４７】
制御部９は、この信号を受けると、領域２について特徴抽出を開始させるために＜領域２／特徴抽出開始＞信号を特徴抽出部３へ送る。この信号を受けた特徴抽出部３は、１０３番ラインより領域２について特徴抽出処理、つまり各Ｒ色度の画素数カウント処理を開始する。特徴抽出処理そのものは、１ライン全体ではなく指定された領域を対象とすることを別にすれば、前記各実施例と同様であり、各時点のＲ色度ヒストグラムは特徴量メモリ７上に保存される。
【００４８】
１０４番ラインから１２７番ラインまでの各ラインにおいて、領域２で縁色が検出されるで、これら各ラインでの領域２における縁色検出を示す信号が縁色検出部２より出される。
【００４９】
１１５番ラインにおいて、縁色検出部２は領域３でも縁色を検出するので、それを表わす＜領域３／１１５番ライン／検出＞信号を出す。この信号を受けた制御部９は、＜領域３／特徴抽出開始＞の信号を特徴抽出部３へ送る。特徴抽出部４では、この信号を受けて１１５番ラインより領域３についての特徴抽出を開始する。このラインでは領域２についても特徴抽出を行なうので、領域２と領域３の２領域が同時に特徴抽出の対象となるということである。
【００５０】
領域３については、１１６番ラインから２０７番ラインまでの各ラインでも縁色が検出されるので、これら各ラインでの領域３における縁色検出を示す信号が縁色検出部２より出される。
【００５１】
１２６番ラインで、領域４においても縁色が検出されるので、＜領域４／１２６番ライン／検出＞の信号が縁色検出部２から出され、制御部９より特徴抽出部３へ＜領域４／特徴抽出開始＞の信号が送られる。したがって、特徴抽出部３は１２６番ラインで領域４についての特徴抽出を開始する。
【００５２】
領域４については、１２６番ラインから２０８番ラインまでの各ラインで縁色が検出されるので、各ラインでの領域４における縁色検出を示す信号が縁色検出部２より出される。
【００５３】
さて、領域２については、１２８番ラインで縁色が検出されなくなり、＜領域２／１２８番ライン／不検出＞の信号が縁色検出部２より出される。直前の１２７番ラインでは領域２における縁色検出の信号が出ていたので、制御部２は＜領域２／特徴抽出終了＞の信号を特徴抽出部３へ送る。この信号を受けて特徴抽出部３は、領域２についての特徴抽出処理を終了し、これから処理しようとする１２８番ラインからは領域２を特徴抽出処理の対象から外す。したがって、１２８番ラインからは領域３と領域４の２領域が特徴抽出処理の対象となる。
【００５４】
２０８番ラインの領域３で縁色が検出されなくなり、＜領域３／２０８番ライン／不検出＞の信号が縁色検出部２より出る。直前ラインでは領域３において縁色が検出されていたので、制御部９は＜領域３／特徴抽出終了＞の信号を特徴抽出部３へ送る。したがって、特徴抽出部３は２０８番ラインからは領域３についての特徴抽出を行なわない。
【００５５】
２０９番ラインになると、領域４でも縁色が検出されなくなり、＜領域４／２０９番ライン／不検出＞の信号が出る。制御部９は＜領域４／特徴抽出終了＞信号を出し、領域４についても特徴抽出を終了させる。かくして、図１０に網掛けして示したようなオブジェクトＢを囲む領域の特徴量つまりＲ色度ヒストグラムが特徴量メモリ７上に得られる。
【００５６】
このようにして、すべての領域について特徴抽出処理が終了した状態になると、制御部９はマッチング部４を起動する。マッチング部４は、前記実施例２と同様に、特徴量メモリ７に得られたＲ色度ヒストグラムと、特徴量辞書８に保存されている特定画像のＲ色度ヒストグラムとの相違度を計算し、相違度が閾値以下であるか、それを超えているからによって、特定画像の検出／不検出の判断を行なうことになる。この例では、この時点のマッチング処理によって、目的の特定画像が検出されたと判断されるはずである。
【００５７】
特定画像の有無だけを判断することが目的の場合には、検出判定の段階で処理を終了させ、不検出の場合には処理を続ける。特定画像の個数も検出しようとする場合には、検出判定をした場合にも処理を続ける。
【００５８】
ここで、処理を続ける場合について説明する。マッチング処理を終了すると、制御部９は特徴抽出部３によって特徴量メモリ７を初期化させた後、いずれかの領域で再び縁色が検出されると、同様の制御により特徴量抽出処理を再開させる。そして、いずれかの領域で縁色が検出された後、いずれの領域でも縁色が検出されなくなった段階で、マッチング処理を起動する。以下同様の処理の繰り返しとなる。
【００５９】
以上説明したように、本実施例によれば、特徴量抽出処理の対象範囲を前記実施例２よりもさらに絞り込むため、ノイズによる悪影響を一層減らし、検出精度を向上させることができる。
【００６０】
なお、ここまでの説明では、ある領域で縁色が検出され特徴量抽出が始まってから、いずれの領域でも縁色が検出されなくなって特徴抽出が終了した時点で（図１０における２０８番ラインの処理後の時点で）マッチング処理を起動した。このようなタイミング制御方式の場合、ある領域における特徴量抽出範囲がノイズ画像の影響によって不適切に広がるような場合、マッチング処理が起動される時点において、当該ノイズ画像の特徴量の集積により、抽出された特徴量と辞書特徴量との相違度が増大し（類似度が減少し）、その結果、検出漏れが起きることがある。
【００６１】
このような検出漏れを防ぐには、各領域毎に特徴抽出処理が終了した時点（図１０において、領域２の１２７番ライン、領域３の２０７番ライン、領域４の２０８番ラインの処理を終わった各時点）で逐一、マッチング処理を行なわせると有効である。つまり、特定の領域の特徴量抽出範囲がノイズ画像のために不適切に広がる場合でも、他の領域の特徴量抽出処理の終了がトリガーとなったマッチングが行なわれるため、いずれかのタイミングで目的の特定画像が検出される可能性が高くなるからである。
【００６２】
＜実施例４＞
本実施例においても、図１の装置構成と図８に示した入力画像を想定し、また、特定画像として検出するオブジェクトをＢとする。
【００６３】
本実施例にあっては、図１１に示すように、入力画像を縦方向（処理の進む方向に対して垂直な方向）の複数の列領域に分割し、かつ、横方向（処理の進む方向）の複数の行領域に分割し、縦横の分割境界で囲まれたブロックの単位で処理する。縦横の分割間隔は、目的とする特定画像であるオブジェクトＢの最大幅（ここでは１４０画素）の２分の１（ここでは７０画素）とする。このような分割間隔を選ぶのは、目的の特定画像の大きさより許される範囲内で、可能な限り処理領域を大きくとることによって、処理負担の軽減をはかるためである。以下、処理内容を説明する。
【００６４】
縁色検出部２は、各ラインにおいて、縁色の検出を、ライン全体ではなく、各ブロック毎に行ない、各ブロックでの縁色の検出／不検出並びにブロックの列領域番号及び行領域番号を示す信号を各ライン毎に制御部９へ送る。なお、あるブロック内で最初に縁色が検出された後は、当該ブロックについては縁色検出は不要であるので、処理量を減らすため、当該ブロック内の最初に縁色を検出した画素以外の残りの画素については縁色検出を行なわない。
【００６５】
想定している入力画像（図８）の場合、最初に縁色が検出されるのは行領域２、列領域２，３の２ブロックであるので、これら２ブロックにおける縁色検出を示す＜行領域２／列領域２／縁色検出＞の信号と＜行領域２／列領域３／縁色検出＞の信号が、それぞれ１０３番ラインと１１５番ラインで制御部９へ送られる。この信号を受けた制御部９は、特徴抽出部３によって当該２ブロックの特徴量を抽出させる。
【００６６】
次に行領域３、列領域２，３の２ブロックで縁色が検出され、それを示す＜行領域３／列領域２／縁色検出＞の信号と＜行領域３／列領域３／縁色検出＞の信号が、１２７番ラインと１２６番ラインでそれぞれ縁色検出部２より制御部９へ送られる。そこで、制御部９は、当該２ブロックの特徴抽出処理を特徴抽出部３に行なわせる。
【００６７】
次の行領域４のいずれのブロックにおいても縁色が検出されないので、＜行領域４／列領域１〜４／縁色不検出＞の信号が縁色検出部２から制御部９へ送られる。
【００６８】
制御部９は、縁色が検出された行領域の次の行領域で縁色が検出されない場合には、当該次の行領域で特徴抽出処理を終了させ、マッチング部４を起動する。想定している入力画像の場合、行領域４でマッチング部４が起動されることになる。この時に特徴量メモリ７には、図１２に網掛けして示すオブジェクトＢを囲む領域の特徴量（ここではＲ色度ヒストグラム）が得られている。
【００６９】
マッチング部４は、前記実施例２と同様に特徴量メモリ７に得られた特徴量と、特徴量辞書８中の特定画像の特徴量との相違度を計算し、相違度が閾値以下であれば特定画像を検出したと判断する。
【００７０】
図１３は、このマッチングの説明図である。図１３の上段左は特徴量辞書８中の特定画像（オブジェクトＢ）のＲ色度ヒストグラム、上段右は入力画像より抽出されたＲ色度ヒストグラム、下段は両ヒストグラムの差分ヒストグラムである。したがって、図１３の下部に示すように、差分ヒストグラムの絶対値の総和である相違度は１０６となり、これは閾値５００以下であるので、オブジェクトＢが検出されることになる。
【００７１】
このマッチング処理が終了すると、制御部９は前記実施例４と同様、特徴量メモリ７の初期化を特徴抽出部３に行なわせる。また、この後にいずれかの行領域で縁色が検出されると、前述と同様な特徴抽出処理を再起動する。
【００７２】
本実施例によれば、入力画像を縦横に分割したブロックを単位として、特徴量抽出の範囲を制御するため、前記各実施例に比べ、ノイズ画像の影響をさらに減らして検出精度を高めることができる。
【００７３】
なお、マッチング処理を行なうタイミングについては、各行，列領域毎に特徴抽出処理が終了した時点で逐一、マッチング処理を行なわせてもよい。このようにする目的ないし利点は、前記実施例３に関連して説明したように、ノイズ画像の影響による検出漏れを減らすことである。
【００７４】
＜実施例５＞
本実施例に係る装置構成の一例を図１４に示す。図１４において、図１中の符号と同一の符号は対応部分を示す。１０は連結領域抽出部、１１は領域情報メモリであり、これらは図１の装置構成には存在しなかった部分である。
【００７５】
図１５は本実施例で想定する入力画像を示す。この入力画像はＡ，Ｂ，Ｃ，Ｅの４つのオブジェクトを含むが、本実施例で特定画像として検出しようとするオブジェクトをＢとする。以下、処理内容を説明する。
【００７６】
本実施例では、前記実施例４と同様に入力画像を縦横に領域分割して処理を行なう。ただし、本実施例においては領域連結（後述）を行なうので、前記実施例のように領域分割の間隔を特定画像の最大幅によって規制する必要はなく、十分に小さな間隔で細かく分割することができる。本実施例では、図１６に示すように、入力画像を列領域１〜９、行領域１〜１２に分割するものとする。以下、処理内容を説明する。
【００７７】
まず、縁色検出部２で、全領域について縁色の検出を行ない、その情報を領域情報メモリ１１に保存する。この処理が終了すると、制御部９は連結領域抽出部１０を起動する。
【００７８】
起動された連結領域抽出部１０は、領域情報メモリ１１上の各領域毎の縁色検出情報を参照し、特徴抽出の対象となる領域（特徴抽出領域）を前記実施例５と同様のアルゴリズムにより判定し、４連結（上下左右）に連結する特徴抽出領域を抽出し、その結果を領域情報メモリ１１に保存する。
【００７９】
想定している入力画像の場合、図１６から理解されるように、行領域５では列領域４，５，６の各ブロックで縁色が検出されるので、これらブロックを特徴抽出領域と判定し、その情報を領域情報メモリ１１に保存する。
【００８０】
次の行領域６では、列領域１，２，５，６，７，８の各ブロックにおいて縁色が検出される。列領域１，２は行領域６のブロックで初めて縁色が検出されたので、行領域６・列領域１，２のブロックは特徴抽出領域と判定される。列領域４は、直前の行領域５で縁色が検出されたが、行領域６では縁色が不検出であるので、行領域６・列領域４のブロックは特徴抽出領域とは判定しない。しかし、列領域５，６は現在の行領域６でも縁色が検出されたので、引き続き特徴抽出領域と判定される。列領域７，８は、現在の行領域６で初めて縁色が検出されたので、行領域６・列領域７，８のブロックは特徴抽出領域となる。このような判定結果は、領域情報メモリ１１に保存される。
【００８１】
同様の処理を全ての領域について行ない、特徴抽出領域と判定されたブロックの４連結の領域を抽出する。その結果、図１６に網掛けした領域として示した連結領域１と連結領域２の２領域が抽出される。
【００８２】
連結領域抽出部１０は、以上の処理が終了すると、抽出した連結領域の情報を制御部９へ送る。想定している入力画像の場合、＜連結領域１：領域数１４：領域（行領域，列領域）＝（５，４），（５，５），（５，６），（６，５），（６，６），（６，７），（６，８），（７，６），（７，７），（７，８），（８，７），（８，８），（９，７），（９，８）＞の情報と、＜連結領域２：領域数６：領域（行領域，列領域）＝（６，１），（６，２），（７，１），（７，２），（８，１），（８，２）＞の情報が、制御部９へ送られることになる。
【００８３】
制御部９では、受け取った連結領域の情報に基づき、各連結領域毎に処理を行なう。想定している入力画像の場合、まず特徴抽出部３を起動して連結領域１の特徴抽出処理を行なわせる。ここでは、前記各実施例と同様にＲ色度ヒストグラムを特徴量として用いるものとする。
【００８４】
この特徴抽出処理が終了すると、制御部９はマッチング部４を起動する。マッチング部４は、特徴量メモリ７に得られている連結領域１の特徴量と、特徴量辞書８中の特定画像の特徴量との相違度を計算し、閾値以下であれば特定画像を検出したと判断する。連結領域１については、前記実施例２の場合と同様、相違度は０（画素数）であるので、特定画像であるオブジェクトＢが検出される。
【００８５】
このようにして連結領域１についての処理が終了すると、制御部９は特徴抽出部３を起動して次の処理領域である連結領域２の特徴抽出を行なわせる。この際には、特徴抽出部３は連結領域２の特徴抽出処理に先立って特徴量メモリ７を初期化することにより、連結領域２の特徴量のみが特徴量メモリ７に保存させるようにする。
【００８６】
特徴量の抽出処理を終了すると、制御部９はマッチング部４を起動して、連結領域２に関する特徴量のマッチング処理を行なわせる。図１７は、このマッチング処理の説明図である。図１７の上段左は特徴量辞書８中の特定画像（オブジェクトＢ）のＲ色度ヒストグラム、上段右は連結領域２より抽出されたＲ色度ヒストグラム、また下段は両ヒストグラムの差分ヒストグラムである。差分ヒストグラムの絶対値の総和である相違度は５３５となり、これは閾値の５００より大きいため、連結領域２においては目的の特定画像が検出されないと判断される。
【００８７】
なお、特定画像の個数を考慮する必要がなければ、先に処理した連結領域１において特定画像を検出した段階で、処理を終了させることもできる。
【００８８】
以上の説明から理解されるように、本実施例によれば、入力画像を細かく分割してブロックサイズを小さくすることによって、特徴量抽出領域を目的の特定画像の領域に接近させることができるため、ノイズの影響を大幅に減らし高精度の検出が可能になる。
【００８９】
＜実施例６＞
本実施例に係る装置構成は図１に示すものと同様でよい。また、前記実施例１と同様に、処理する入力画像として図２に示す画像を想定し、特定画像としてオブジェクトＢを検出するものとする。マッチングのための特徴量としてＲ色度ヒストグラムを用いることも同様である。しかし、本実施例は、縁色検出部２を利用しないことと、マッチングの起動タイミングの制御に関連した動作が前記実施例１と異なる。以下、この相違点について説明する。
【００９０】
特徴抽出部３は、入力画像の先頭ラインより、各Ｒ色度の画素数をカウントしてＲ色度のヒストグラムを作成する処理を実行する。そして、入力画像の２０ライン目から４０ライン毎に（６０ライン目，１００ライン目，１４０ライン目，１８０ライン目，．．．）、その時点で得られたＲ色度ヒストグラムの”特定のＲ色度”に対するヒストグラム値が”特定の閾値”を超えているか判定する。この”特定のＲ色度”と”特定の閾値”は、特定画像毎に予め特徴量辞書８に保存されている。
【００９１】
ここでは、”特定のＲ色度”が３０から４０の範囲であり、”特定の閾値”が４５０（画素数）であるものとする。また、入力画像より１００ライン目、１４０ライン目、１８０ライン目、２２０ライン目の各ラインの処理を終了した時点でそれぞれ図１８に示すＲ色度ヒストグラムが得られるものとする。
【００９２】
そうすると、１００ライン目、１４０ライン目、及び１８０ライン目の各時点では、特徴量メモリ７上のＲ色度ヒストグラムのＲ色度３０〜４０に対するヒストグラム値は閾値である４５０以下であるので、特徴抽出部３は処理を続行することになる。
【００９３】
しかし、２２０ライン目の時点では、Ｒ色度３０〜４０に対するヒストグラム値が４９９で、これは閾値４５０を超えているので、特徴抽出部３は特徴抽出処理を終了して終了信号を出す。制御部９は、この終了信号を受けると、マッチング部４を起動する。マッチング部４は、特徴量メモリ７に得られた特徴量、つまり２２０ライン目までの区間より抽出されたＲ色度ヒストグラムと、特徴量辞書８上の目的としている特定画像のＲ色度ヒストグラムとの相違度（差分ヒストグラムの絶対値の総和）を計算し、この相違度が目的の特定画像に対応した閾値（ここでは５００）以下ならば目的の特定画像を検出したと判断する。
【００９４】
図１９は、このマッチングの説明図である。この図に示すように、相違度は４６１となり、これは閾値の５００以下であるので、特定画像（オブジェクトＢ）が検出されることになる。
【００９５】
本実施例の利点について以下に説明する。図２０に示すように、目的の特定画像が含まれている入力画像の上から下へ向かって特徴量を抽出していくと、一般に目的の特定画像の最後（又はその近傍）で辞書特徴量との類似度が最高（相違度が最低）になり、その後は、ノイズによる余分な特徴量が追加されることによって、類似度は悪化してくる。このように、特徴量の類似度が処理位置によって変化する性質があるため、検出精度を上げるには、特徴量の類似度が最高になった時点でマッチング処理を起動すればよい。それより起動タイミングが遅くなると、例えば、入力画像の最後まで特徴抽出処理を終了した時点でマッチング処理を起動すると（入力画像全体の特徴量とのマッチングを行なうことになる）、ノイズの影響によって良好な検出精度を期待できない（前記従来技術の場合に相当する）。
【００９６】
そのような最適なタイミングでのマッチング処理の起動を実現する方法として第一に考えられる方法は、マッチング処理を短い間隔で頻繁に起動することであるが、処理時間が増加して処理速度の低下を招くという不利益を伴う。
【００９７】
本実施例は、そのような不利益のない、マッチング処理の起動タイミングを制御する方法を提供するものである。すなわち、本実施例では、目的とする特定画像によく現われる特徴量（前記の特定のＲ色度のヒストグラム値）と、抽出された特徴量の該当値との比較（一種の大分類）によって、マッチング処理の最適な起動タイミングを判断することによって検出精度の向上をはかり、かつ、無駄なマッチング処理による処理速度の低下を防止できる。
【００９８】
なお、特徴量として用いられるＲ色度のヒストグラムは処理が進むにつれて値が大きくなるが、目的とする特定画像の性質によっては、処理が進むにつれて値が小さくなる特徴量（例えばＲ色度の逆数のヒストグラム）を用いるほうが適する場合がある。このような特徴量を用いる場合には、マッチング処理起動判定用特徴量が特定値より小さくなったときに、マッチング処理を起動すると判定すればよい。要するに、マッチング処理判定用特徴量が適当な値（範囲）になったときに、マッチング処理を起動するということである。このことは、後記実施例７乃至実施例１０においても同様である。
【００９９】
＜実施例７＞
本実施例は前記実施例６の一変形であって、基本的には前記実施例６と同様であるので、相違点についてのみ以下に説明する。
【０１００】
前記実施例６においては、２０ライン目から４０ライン毎に、入力画像より抽出したＲ色度ヒストグラムの、特定画像毎に予め決められた特定Ｒ色度のヒストグラム値が、特定画像毎に決められた閾値を超えた場合に、マッチング処理を行なう。したがって、この判定を行なうための特定Ｒ色度と閾値の情報を特定画像毎に特徴量辞書８（または他の記憶手段）上に保存しておく必要がある。本実施例によれば、このような情報を保存する必要がなくなり、その分だけ記憶領域を減らすことができるという利点がある。
【０１０１】
すなわち、本実施例によれば、特徴量辞書８に格納されている目的の特定画像のＲ色度ヒストグラムにおいて、最も大きい値をとるＲ色度と次に大きい値をとるＲ色度のヒストグラム値に関して、２０ライン目から４０ライン毎に、抽出されたＲ色度ヒストグラムの値と辞書のＲ色度ヒストグラムの値とを比較する。そして、入力画像より抽出された当該各Ｒ色度のヒストグラム値がともに、辞書の当該各Ｒ色度のヒストグラム値の８０％相当値を超えた時に、マッチング処理を起動する。
【０１０２】
具体的に説明すると、特徴量辞書８中の目的としている特定画像（オブジェクトＢ）のＲ色度ヒストグラム（図６）では、Ｒ色度３０〜４０で最大の値４９９をとり、Ｒ色度５０〜６０で次に大きい値５３をとる。したがって、入力画像より抽出されたＲ色度ヒストグラムのＲ色度３０〜４０の値が８０％相当値である３９９を超え、かつ、Ｒ色度４０〜５０の値が８０％相当値である４２を超えた時点で、マッチング処理を行なう。
【０１０３】
想定している入力画像の場合、図１８から分かるように、前記条件を満足するのは２２０ライン目まで特徴抽出を行なった時点であるので、ここでマッチング処理を行なう。したがって、前記実施例６と同じ結果となる。
【０１０４】
＜実施例８＞
本実施例は前記実施例６の一変形であるので、前記実施例６との相違点のみを以下に説明する。
【０１０５】
前記実施例６においては、入力画像の２０ライン目から４０ライン毎に、抽出した特徴量に関してマッチング処理の起動を行なうか否かを判定した。しかし、入力画像の先頭からの距離が、目的としている特定画像の最小幅より小さい間は、例えマッチングを行なっても特定画像が検出される可能性は低いので、この範囲においてマッチングを行なうか否かの判定及びマッチング処理を行なっても無駄になることが多い。
【０１０６】
このような無駄を排除するため、本実施例においては、目的としている特定画像（オブジェクトＢ）の最小幅が５１画素であるので、６０ライン目から４０ライン毎に、マッチング処理を起動するか否かの判定を行なう。
【０１０７】
＜実施例９＞
本実施例は、前記実施例１と前記実施例６乃至前記実施例８のいずれかとの組み合わせに相当するものである。装置構成は前記実施例１と同様でよい。
【０１０８】
本実施例においては、前記実施例１と同様に、縁色検出を行ない、縁色が検出されたライン以下について特徴量抽出処理を行なう。しかし前記実施例１と異なって、マッチング処理の起動タイミングを前記実施例６、前記実施例７又は前記実施例８と同様の方法で制御する。すなわち、特徴量抽出処理を開始したラインより、例えば４０ライン毎に、抽出したＲ色度ヒストグラムの特定のＲ色度のヒストグラム値を調べることによって、マッチング処理の起動タイミングを判断する。これ以外は前記実施例１、前記実施例６乃至前記実施例８と同様である。
【０１０９】
本実施例によれば、目的の特定画像の縁色が検出されるラインより前の領域を特徴量抽出の対象から除外することにより、その領域内に存在するノイズ画像の影響を排除することができるとともに、最適なタイミングでマッチング処理を起動することによって検出精度の向上をはかり、かつ、無駄なマッチング処理による処理速度の低下を防止できる。
【０１１０】
＜実施例１０＞
本実施例は、前記実施例２と前記実施例６乃至前記実施例８のいずれかとの組み合わせに相当するものである。装置構成は前記実施例１と同様でよい。
【０１１１】
本実施例においては、縁色検出を行ない、縁色が検出されたラインの連続区間について特徴量抽出処理を行なうことは前記実施例２と同様である。しかし前記実施例２と異なって、マッチング処理の起動タイミングを前記実施例６、前記実施例７又は前記実施例８と同様の方法で制御する。すなわち、縁色が検出されたラインの連続区間毎に、特徴量抽出処理を開始したラインより、例えば４０ライン毎に、抽出したＲ色度ヒストグラムの特定のＲ色度のヒストグラム値を調べることによって、マッチング処理の起動タイミングを判断する。これ以外は前記実施例２、前記実施例６乃至前記実施例８と同様である。
【０１１２】
本実施例によれば、目的の特定画像の縁色が検出される区間内に限って特徴量抽出を行なうため、ノイズ画像の影響を排除することができるとともに、最適なタイミングでマッチング処理を起動することによって検出精度の向上をはかり、かつ、無駄なマッチング処理による処理速度の低下を防止できる。
【０１１３】
【発明の効果】
以上、詳細に説明したように、本発明によれば以下の如き効果を得られる。
【０１１４】
特定の画像にあっては、その縁部に特定の色（縁色）が出現する。この縁色を検出することによって、特定画像が存在する範囲を推定することができる。請求項１、２又は５、６記載の発明によれば、目的の特定画像の存在する範囲以外に存在するノイズ画像の影響を減らした又は排除した特徴量を抽出することにより、入力画像中にノイズ画像が混在していても特定画像の有無を高精度に検出することができるようになる。
【０１１５】
また、請求項３又は７記載の発明によれば、特徴量抽出処理により抽出された特徴量と辞書特徴量との類似度が最高になる、特定画像の存在する領域の終わりあたりで、マッチング処理を実行させることができるため、ノイズ画像が混在する場合でも高精度の検出が可能になるとともに、無用なマッチング処理を排除して処理効率を上げることができる。
【０１１６】
ある特定の画像の特徴量抽出処理を行なって得られる特徴量の値は、ある範囲内の値をとることが一般に認められる。そして、特定画像の最後のあたりで辞書特徴量との類似度が最高になる。請求項４又は８記載の発明によれば、最適なタイミングでマッチング処理を実行させることができ、高い検出精度を得れるとともに、無駄なマッチング処理を排除して処理効率を上げることができる。
【図面の簡単な説明】
【図１】本発明を実施するための装置構成の一例を示すブロック図である。
【図２】入力画像の一例を示す図である。
【図３】図２の入力画像中のオブジェクトＡ，Ｂ，ＣのＲ色度ヒストグラムを示す図である。
【図４】実施例１において抽出されるＲ色度ヒストグラムを示す図である。
【図５】実施例１に関するマッチング処理の説明図である。
【図６】実施例２に関するマッチング処理の説明図である。
【図７】特徴量メモリの初期化に関する説明図である。
【図８】入力画像の一例を示す図である。
【図９】実施例３に関する領域分割の説明図である。
【図１０】実施例３に関する特徴量抽出領域の説明図である。
【図１１】実施例４に関する領域分割の説明図である。
【図１２】実施例４に関する特徴量抽出領域の説明図である。
【図１３】実施例４に関するマッチング処理の説明図である。
【図１４】実施例５に係る装置構成の一例を示すブロック図である。
【図１５】入力画像の一例を示す図である。
【図１６】実施例５に関する領域分割の説明図である。
【図１７】実施例５に関するマッチング処理の説明図である。
【図１８】実施例６に関するＲ色度ヒストグラムを示す図である。
【図１９】実施例６に関するマッチング処理の説明図である。
【図２０】マッチング処理タイミングの説明図である。
【符号の説明】
１  画像入力部
２  縁色検出部
３  特徴抽出部
４  マッチング部
５  縁色辞書
６  画像メモリ
７  特徴量メモリ
８  特徴量辞書
９  制御部
１０  連結領域抽出部
１１  領域情報メモリ
【図１】
0003560255.tif 000002
【図２】
0003560255.tif 000003
【図３】
0003560255.tif 000004
【図４】
0003560255.tif 000005
【図５】
0003560255.tif 000006
【図６】
0003560255.tif 000007
【図７】
0003560255.tif 000008
【図８】
0003560255.tif 000009
【図９】
0003560255.tif 000010
【図１０】
0003560255.tif 000011
【図１１】
0003560255.tif 000012
【図１２】
0003560255.tif 000013
【図１３】
0003560255.tif 000014
【図１４】
0003560255.tif 000015
【図１５】
0003560255.tif 000016
【図１６】
0003560255.tif 000017
【図１７】
0003560255.tif 000018
【図１８】
0003560255.tif 000019
【図１９】
0003560255.tif 000020
【図２０】
0003560255.tif 000021