(57)【要約】    【課題】      検出精度を低下させることなく対象物検出の高速化を可能にする対象物検出装置及びその方法を提供すること。    【解決手段】  対象物の検出過程に、対象物識別部４５が対象物を識別する過程の前段階として、対象物周辺領域識別部４３が対象物の周辺領域を識別する過程を設け、対象物周辺領域識別部４３が対象物の存在する可能性の高い領域を粗く検出した後に、対象物識別部４５がその領域内のみについて対象物の画像が存在するか否かを精査するようにした。その結果、対象物周辺領域識別部４３が高速に探し出した対象物画像の周辺領域にサーチ範囲を限定して、対象物識別部４５が対象物の画像をサーチするため、対象物検出装置１０全体の対象物検出処理の処理量を低減し、高速化することができる。  【選択図】      図１
2005215899.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる検出対象物の画像領域を検出する対象物検出装置であって、
第１の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出する対象物周辺領域検出手段と、
第２の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出する対象物検出手段と、
を具備することを特徴とする対象物検出装置。
【請求項２】
前記第１の検出フィルタは、オフセットさせた前記検出対象物の画像を含む画像サンプルから抽出する前記検出対象物の特徴パターンであることを特徴とする請求項１記載の対象物検出装置。
【請求項３】
前記第１の検出フィルタは、前記検出対象物が人の顔である場合に、前記検出対象物の特徴パターンとして、
目と眉とを含む領域に対応する第１の矩形領域と、
前記第１の矩形領域の下方に位置し、頬と鼻とを含む領域に対応する第２の矩形領域と、
を具備し、
前記第１の矩形領域及び前記第２の矩形領域の大きさと、
前記第１の矩形領域及び前記第２の矩形領域の位置と、
前記検出対象物が含まれる画像に、両矩形領域を適用した時の両領域内の輝度の関係と、
をパラメータとして定義されることを特徴とする請求項１又は請求項２記載の対象物検出装置。
【請求項４】
前記検出対象物が含まれる前記画像内で、前記第１の検出フィルタを適用する領域を指定する領域指定手段を具備し、
前記領域指定手段は、前記画像サンプルのオフセット量に対応した間隔で、前記領域を指定することを特徴とする請求項１から請求項３のいずれか一項に記載の対象物検出装置。
【請求項５】
画像に含まれる検出対象物の画像領域を検出する対象物検出方法であって、
第１の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、
第２の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、
を具備することを特徴とする対象物検出方法。
【請求項６】
画像に含まれる検出対象物の画像領域を検出するためのプログラムであって、
第１の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、
第２の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、
をコンピュータに実行させることを特徴とする対象物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれる対象物を検出する対象物検出装置及びその方法に関する。
【背景技術】
【０００２】
人物の顔を対象物とした対象物検出装置が、特許文献１に示されている。従来の対象物検出装置においては、図８に示すように、対象物の画像を検出するフィルタとして機能する領域モデルを当てはめる被照合局所領域を設定し、この被照合局所領域の位置を入力画像の全体にわたって順次指定して移動させる。そして、指定した被照合局所領域ごとに輝度正規化を行い、エッジ検出等の画像処理を行う。さらに、画像処理された画像に対して顔の領域モデルを当てはめる領域モデル内の各判定要素取得領域の特徴量を抽出し、各被照合局所領域ごとに顔画像か否かの判定を行い、顔の検出を行う。
【０００３】
また、人物の顔を対象物とした対象物検出装置において利用される対象物検出の方法が、非特許文献１に示されている。従来の対象物検出方法においては、対象物の特徴パターン（以下、対象物特徴パターンという。）を抽出してフィルタを形成し、このフィルタを用いて画像中から対象物を検出する。
【特許文献１】特開平１１−３０６３４８号公報
【非特許文献１】SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION - MODELING, LEARNING, COMPUTING, AND SAMPLING VANCOUVER, CANADA, JULY 13, 2001.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の対象物検出装置及び対象物検出方法においては、上記フィルタの移動を順次行うことなどに起因して、その処理量が膨大となり、処理能力の高くない演算処理装置では、高速な対象物検出を行うことができないという問題がある。
【０００５】
本発明は、かかる点に鑑みてなされたものであり、検出精度を低下させることなく対象物検出の高速化を図ることができる対象物検出装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の対象物検出装置は、画像に含まれる検出対象物の画像領域を検出する対象物検出装置であって、第１の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出する対象物周辺領域検出手段と、第２の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出する対象物検出手段と、を具備する構成を採る。
【０００７】
この構成によれば、第１の検出フィルタで検出対象物周辺の画像領域を把握し、その後に第２の検出フィルタを利用して、第１の検出フィルタで検出したその画像領域の中のみで対象物の画像を検出するので、対象物検出処理の処理量を低減し、高速化を図ることができる。
【０００８】
本発明の対象物検出装置は、上記構成において、前記第１の検出フィルタは、オフセットさせた前記検出対象物の画像を含む画像サンプルから抽出する前記検出対象物の特徴パターンである構成を採る。
【０００９】
この構成によれば、第１の検出フィルタがオフセットさせた検出対象物の画像を含む画像サンプルから抽出する検出対象物の特徴パターンであるので、第１の検出フィルタは検出対象物の画像からオフセットの分だけずれた場所にあっても検出対象物の画像の周辺であることを識別できるため、一度にオフセット分だけ広い範囲を検出することができる。
【００１０】
本発明の対象物検出装置は、上記構成において、前記第１の検出フィルタは、前記検出対象物が人の顔である場合に、前記検出対象物の特徴パターンとして、目と眉とを含む領域に対応する第１の矩形領域と、前記第１の矩形領域の下方に位置し、頬と鼻とを含む領域に対応する第２の矩形領域と、を具備し、前記第１の矩形領域及び前記第２の矩形領域の大きさと、前記第１の矩形領域及び前記第２の矩形領域の位置と、前記検出対象物が含まれる画像に、両矩形領域を適用した時の両領域内の輝度の関係と、をパラメータとして定義される構成を採る。
【００１１】
この構成によれば、検出対象物である人の顔の特徴点を踏まえつつ、両領域に対応する画像の輝度の関係により、識別する画像が検出対象物である人の顔の画像であるか否かを識別するので、複雑な処理を伴うことなく検出対象物の画像の周辺領域を検出することができる。
【００１２】
本発明の対象物検出装置は、上記構成において、前記検出対象物が含まれる前記画像内で、前記第１の検出フィルタを適用する領域を指定する領域指定手段を具備し、前記領域指定手段は、前記画像サンプルのオフセット量に対応した間隔で、前記領域を指定する構成を採る。
【００１３】
この構成によれば、領域指定手段が、検出対象物の特徴パターンを抽出する画像サンプルのオフセット量に対応した間隔で、第１の検出フィルタを適用する領域を指定するので、検出対象物の周辺画像領域の検出にかかる処理量を低減することができる。その結果、対象物の画像の検出を高速に行うことができる。
【００１４】
本発明の対象物検出方法は、画像に含まれる検出対象物の画像領域を検出する対象物検出方法であって、第１の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、第２の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、を具備するようにした。
【００１５】
この方法によれば、第１の検出フィルタで検出対象物の周辺画像領域を把握し、その後に第２の検出フィルタを利用して、第１の検出フィルタでとらえたその画像領域の中のみで対象物の画像を検出するので、対象物の画像を検出する処理の処理量を低減し、高速化を図ることができる。
【００１６】
本発明の対象物検出プログラムは、画像に含まれる検出対象物の画像領域を検出するためのプログラムであって、第１の検出フィルタを用いて、前記検出対象物の周辺画像領域を検出するステップと、第２の検出フィルタを用いて、検出された前記検出対象物の周辺画像領域のみについて、前記検出対象物の画像を検出するステップと、をコンピュータに実行させる構成を採る。
【００１７】
この構成によれば、第１の検出フィルタで検出対象物の周辺画像領域を把握し、その後に第２の検出フィルタを利用して、第１の検出フィルタでとらえたその画像領域の中のみで対象物の画像を検出するので、対象物の画像を検出する処理の処理量を低減し、高速化を図ることができる。
【発明の効果】
【００１８】
本発明によれば、検出精度を低下させることなく対象物検出処理の処理量を低減し、高速化を図ることができる対象物検出装置及びその方法を提供することができる。
【発明を実施するための最良の形態】
【００１９】
本発明の骨子は、対象物の検出過程に対象物を識別する過程の前段階として対象物の周辺領域を識別する過程を設け、対象物が存在する可能性の高い領域を粗く検出した後にその領域内のみについて対象物が存在するか否かを精査することである。
【００２０】
以下、本発明の一実施の形態について図面を参照して詳細に説明する。
【００２１】
図１は、本発明の一実施の形態に係る対象物検出装置１０の構成を示すブロック図である。
【００２２】
図１に示すように対象物検出装置１０は、オンライン実行環境系とオフライン実行環境系の２つの系を備えている。この対象物検出装置１０は、オフライン実行環境系で機能の異なる２つのフィルタを用意し、オンライン実行環境系でまず第１のフィルタで検出対象物周辺の画像領域（以下、対象物周辺領域という。）を粗く把握し、その後に第２のフィルタを利用して、第１のフィルタでとらえたその画像領域の中で対象物画像があるか否かを精査し、対象物を検出するものである。
【００２３】
対象物検出装置１０のオフライン実行環境系は、対象物周辺領域画像格納部２１と、対象物周辺領域特徴計算部２２と、対象物周辺領域特徴辞書２３と、対象物画像格納部３１と、対象物特徴計算部３２と、対象物特徴辞書３３とを有する。
【００２４】
対象物検出装置１０のオンライン実行環境系は、画像入力部４１と、周辺領域検出用ウィンドウ指定部４２と、対象物周辺領域識別部４３と、対象物検出用ウィンドウ指定部４４と、対象物識別部４５と、検出結果出力部４６とを有する。
【００２５】
まず、オフライン実行環境系について説明する。
【００２６】
対象物周辺領域画像格納部２１は、対象物周辺領域の識別に用いられる周辺領域特徴パターンを抽出するためのサンプル画像を格納している。
【００２７】
図２は、対象物周辺領域画像格納部２１が格納するサンプル画像の一例を示した図である。なお、図２には、対象物が人の顔である時のサンプル画像を示している。
【００２８】
図２に示す中央の画像は、人の顔を正面から撮影して目尻を基準とした顔の内側だけを抽出したものである。この中央の画像は、決められた枠に顔がフィットするように、人為的に加工が施されたものである。
【００２９】
左右の列の画像は、中央の列の画像に対して各々１ピクセルずつ左右にずらした、すなわちオフセットを左右方向に施したものである。また、上下の行の画像は、中央の行の画像に対して各々左右に５度ずつ傾けたものである。
【００３０】
図２に示したサンプル画像は、次のように用意される。まず、上述のように中央の画像を用意し、次に、この中央の画像を加工して、左右に１ピクセルずつオフセットさせた画像を作成する。これで、中央の行にある画像が全て用意される。次に、この中央の行の画像を左右に５度ずつ傾けることにより、上下の行の画像も用意される。
【００３１】
なお、対象物周辺領域画像格納部２１は、このようなサンプル画像を異なる多数の人に関して用意する。また、図２においては、１人について９つの画像サンプルを用意しているが、この数に限定されるものではない。
【００３２】
左右のオフセットの大きさは、周辺領域検出用ウィンドウ指定部４２が指定するウィンドウの移動のさせ方に影響を与える。具体的には、図２に示した例のように１ピクセルずつオフセットを施すと、後述する周辺領域検出用ウィンドウ指定部４２が指定するウィンドウをオフセット量に対応する間隔（１ピクセルオフセットさせた場合は、少なくとも２ピクセル）で移動させても、後述する対象物周辺領域識別部４３が実際に対象物の映像が存在する周辺領域を見逃す確率は高くならない。
【００３３】
対象物周辺領域特徴計算部２２は、対象物周辺領域画像格納部２１に格納されているサンプル画像を基に、確率的、統計的に検出対象物である人の顔の周辺領域特徴パターンを計算により抽出し、対象物周辺領域特徴辞書２３に出力する。なお、この周辺領域特徴パターンの抽出については後述する。
【００３４】
対象物周辺領域特徴辞書２３は、対象物周辺領域特徴計算部２２が出力した周辺領域特徴パターンを記憶する。この周辺領域特徴パターンは、対象物周辺領域識別部４３が対象物周辺領域を識別する時に用いるフィルタとして利用される。
【００３５】
対象物画像格納部３１は、対象物の識別に用いる対象物特徴パターンを抽出するためのサンプル画像を格納している。
【００３６】
図３は、対象物画像格納部３１が格納するサンプル画像の一例を示した図である。なお、図３には、対象物が人の顔である時のサンプル画像を示している。
【００３７】
図３に示す中央の画像は、人の顔を正面から撮影して目尻を基準とした顔の内側だけを抽出したものである。この中央の画像は、決められた枠に顔がフィットするように、人為的に加工が施されたものである。
【００３８】
上下の画像は、中央の画像を左右に５度ずつ傾けたものである。この上下の画像についても、目尻を基準とした顔の内側だけを抽出している。このような傾けたサンプル画像は、対象物が多少傾いていても、対象物識別部４５が対象物を識別できる対象物検出フィルタを形成するために用意されている。
【００３９】
対象物特徴計算部３２は、対象物画像格納部３１に格納されているサンプル画像を基に、確率的、統計的に検出対象物である人の顔の対象物特徴パターンを計算して抽出し、対象物特徴辞書に出力する。なお、この対象物特徴パターンの抽出については、後述する。
【００４０】
対象物特徴辞書３３は、対象物特徴計算部３２が抽出して出力した対象物特徴パターンを記憶する。この対象物特徴パターンは、対象物識別部４５が対象物を識別する時に用いる対象物検出フィルタとして利用される。
【００４１】
次に、オンライン実行環境系について説明する。
【００４２】
画像入力部４１は、カメラなどの撮像手段により撮像した検出対象物を含む映像を周辺領域検出用ウィンドウ指定部４２に出力する。
【００４３】
周辺領域検出用ウィンドウ指定部４２は、所定の大きさを持つ初期ウィンドウを、対象物周辺領域画像格納部２１が格納するサンプル画像のオフセット量に応じたピクセル間隔で飛び飛びに移動させながら、画像入力部４１により入力された画像の全領域を指定し、指定した領域の画像情報である部分領域画像情報を対象周辺領域識別部４３に出力する。このとき、指定した領域の画像入力部４１が撮像した画像における位置情報と対応づけて出力する。
【００４４】
周辺領域検出用ウィンドウ指定部４２は、初期ウィンドウを用いて画像の全領域を指定し終わると、ウィンドウの大きさを所定の比率で拡大して、初期ウィンドウで行った処理と同様の処理を繰り返す。この処理は、画像全領域の大きさより、ウィンドウが大きくならない範囲で繰り返される。
【００４５】
この周辺領域検出用ウィンドウ指定部４２が初期ウィンドウを用いて行う処理を図４に示した。図４に示すように、周辺領域検出用ウィンドウ指定部４２は、まず画像領域内のスタートの位置に初期ウィンドウを置き、随時右方向に初期ウィンドウを、上記オフセット量に応じたピクセル間隔（ここでは、３ピクセル間隔）で移動させて、画像全領域をスキャンする。初期ウィンドウが右端まで来ると、周辺領域検出用ウィンドウ指定部４２は、初期ウィンドウを左端に戻すが、今度は初期ウィンドウを少し上にずらして右方向へ同様に移動させる。
【００４６】
これを繰り返して、図４中のストップの位置まで初期ウィンドウがくると、周辺領域検出用ウィンドウ指定部４２は、ウィンドウを所定の比率で拡大して、その拡大したウィンドウをスタート位置に置き、初期ウィンドウで行った処理と同様の処理を行う。上述のように、周辺領域検出用ウィンドウ指定部４２は、画像全領域の大きさより、ウィンドウが大きくならない範囲で、この処理を繰り返す。
【００４７】
なお、周辺領域検出用ウィンドウ指定部４２がウィンドウをずらす間隔を１ピクセルとする場合に、後述する対象物周辺領域識別部４３は、最も正確に対象物の周辺領域を識別することができる。しかし、対象物周辺領域画像格納部２１に格納されている画像サンプルにＮピクセル分左右にオフセットさせた画像が含まれている場合には、対象物の画像からＮピクセルずれた位置にウィンドウがあっても対象物周辺領域識別部４３がその位置を対象物周辺領域と識別するので、対象物周辺領域識別部４３があたかも左右にＮピクセルずつ、あわせて２Ｎピクセル広い範囲をカバーして識別しているのと同等の効果が得られる。このため、周辺領域検出用ウィンドウ指定部４２は、ウィンドウを少なくとも２Ｎピクセルずつ左右方向にずらすことができる。なお、対象物の画像の左右どちらかで対象物の周辺領域を識別できることでよければ、２Ｎ＋１ピクセルとしてもよい。また、周辺領域検出用ウィンドウ指定部４２がこのように左右方向に複数ピクセルごとにウィンドウを移動させても、対象物周辺領域識別部４３の実際に対象物の映像が存在する周辺領域を見逃す確率は高くならない。
【００４８】
対象物周辺領域識別部４３は、対象物周辺領域特徴辞書２３に格納されているフィルタ（すなわち、対象物の周辺の領域であることを識別するために用いるフィルタ）を用いて、周辺領域検出用ウィンドウ指定部４２から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行う。
【００４９】
対象物周辺領域識別部４３は、識別を行う前にフィルタの大きさを部分領域画像情報が表す画像の大きさ、すなわち周辺領域検出用ウィンドウ指定部４２がその部分領域画像情報を指定した時のウィンドウの大きさに合わせて、適宜拡大を行う。
【００５０】
対象物周辺領域識別部４３は、識別結果が対象物の周辺領域であることを示す時には、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部４４に出力する。このとき、部分領域画像情報と対応づけた画像入力部４１が撮像した画像における位置情報も一緒に出力する。なお、この識別方法については、後述する。
【００５１】
対象物検出用ウィンドウ指定部４４は、所定の大きさを持つ対象物検出初期ウィンドウを移動させながら、対象物周辺領域識別部４３が対象物の周辺領域であると識別した周辺領域画像情報で表される画像の全領域を指定し、指定した領域の画像情報である周辺領域部分画像情報を対象物識別部４５に出力する。
【００５２】
このとき、部分領域画像情報と対応づけた画像入力部４１が撮像した画像における位置情報及び対象物検出用ウィンドウ指定部４４が指定した領域の周辺領域画像情報で表される画像における位置を表す周辺領域位置情報も一緒に出力する。
【００５３】
対象物検出用ウィンドウ指定部４４は、対象物検出初期ウィンドウを用いて周辺領域画像情報で表される画像の全領域を指定し終わると、ウィンドウの大きさを所定の比率で拡大して、対象物検出初期ウィンドウで行った処理と同様の処理を繰り返す。この処理は、周辺領域画像情報で表される画像全領域の大きさより、ウィンドウが大きくならない範囲でこの処理を繰り返される。
【００５４】
対象物識別部４５は、対象物特徴辞書３３に格納されている対象物フィルタを用いて、対象物検出用ウィンドウ指定部４４から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行う。
【００５５】
対象物識別部４５は、識別を行う前に対象物フィルタの大きさを周辺領域部分画像情報が表す画像の大きさ、すなわち対象物検出用ウィンドウ指定部４４がその周辺領域部分画像情報を指定した時の対象物検出ウィンドウの大きさに合わせて、適宜拡大を行う。
【００５６】
対象物識別部４５は、識別結果が対象物の画像であることを示す時には、その周辺領域部分画像情報を対象物画像情報として、検出結果出力部に出力する。このとき、部分領域画像情報と対応づけた画像入力部４１が撮像した画像における位置情報及び周辺領域部分画像情報に対応する周辺領域位置情報も一緒に出力する。なお、この識別方法については後述する。
【００５７】
検出結果出力部４６は、画像入力部が撮像した映像の上に、対象物識別部４５が対象物の画像であるとして識別した時の対象物フィルタの外郭を、位置情報及び周辺領域位置情報から定まる位置に表示する。この対象物フィルタの外郭によって、対象物として識別した画像の領域を認識することができる。
【００５８】
次に、対象物周辺領域特徴計算部２２が検出対象物である人の顔の周辺領域特徴パターンを抽出する方法について説明する。
【００５９】
まず、周辺領域特徴パターンを抽出するためには、検出対象物である人の顔の特徴点を考察する必要がある。顔の特徴として着目すべき点は、目と眉が含まれる横長の矩形領域が暗く、その下の頬と鼻を含む横長の矩形領域が明るいという傾向である。この横長の矩形領域の大きさを規定して、横長の矩形領域がそれぞれ持つ平均輝度値の差を特徴量として抽出することができれば、これを周辺領域特徴パターン（両横長矩形領域の位置・大きさ及び平均輝度差）、すなわちフィルタとして、識別する画像が検出対象物である人の顔の画像であるか否かを識別することが可能となる。
【００６０】
上記の傾向に着目して、対象物周辺領域画像格納部２１が格納するサンプル画像の外枠と同じ大きさの矩形（以下、外枠矩形という。）内に、上記顔の特徴点を反映した２つの横長矩形領域を規定したものを図５に示す。ここでは、外枠矩形が２０×２０ピクセルの大きさを持つものとする。
【００６１】
図５において、外枠矩形の左下の頂点を原点とした縦軸をＹ軸、横軸をＸ軸とする直交座標系を用いて、２つの横長矩形領域を規定している。なお、図５中で下側に位置する横長矩形領域を第１矩形領域、上側に位置する横長矩形領域を第２矩形領域とする。
【００６２】
第１矩形領域は、その左下の点の座標を（Ｘ１，Ｙ１）とし、縦Ｎ１、横Ｍ１の大きさを持つ矩形であるとして、パラメータを規定する。また、第２矩形領域の左下の点の座標を（Ｘ２，Ｙ２）とし、縦Ｎ２、横Ｍ２の大きさを持つ矩形であるとして、パラメータを規定する。
【００６３】
なお、顔の左右の対称性を考慮すると、Ｘ１×２＋Ｍ１＝２０、Ｘ２×２＋Ｍ２＝２０の関係式が成り立つ。この対象性の考慮により、第１矩形領域と第２矩形領域が採りうる形態の数を減らすことができるので、以下で説明する計算の時間を削減することができる。
【００６４】
まず、上記のパラメータで規定される２つの横長矩形領域のすべての組み合わせの各々について、画像サンプルに含まれる真画像サンプル（顔の画像サンプルで左右にオフセットさせたものを含む）と偽画像サンプル（顔以外の画像サンプル）とを最もよく分離することができる２つの横長矩形領域の平均輝度差を求める。
【００６５】
ここでいう「最もよく分離することができる」とは、真画像サンプルの画像を顔の画像であると正確に識別し、偽画像サンプルの画像を顔の画像であると誤って識別しないことである。なお、ここで使用する真画像サンプルの画像は、図２に示したような対象物周辺領域画像格納部２１が格納するサンプル画像（オフセットさせた画像を含む。）である。
【００６６】
このようにして、２つの横長矩形領域のすべての組み合わせの各々についての最も適切な両横長矩形領域の平均輝度差（最適平均輝度差という。）を求めることができる。そして、２つの横長矩形領域のすべての組み合わせの各々に、各々の最適平均輝度差を適用して、真画像サンプル（顔の画像サンプルで左右にオフセットさせたものを含む。）と偽画像サンプル（顔以外の画像サンプル）との分離を試み、最もよく分離することができる２つの横長矩形領域の組み合わせを人の顔の周辺領域特徴パターンとする。この組み合わせの最適平均輝度差は、対象物周辺領域識別部４３が顔周辺領域か否かを識別する際に用いるしきい値となる。
【００６７】
なお、ここでは、両横長矩形領域の平均輝度差を利用するケースについて説明したが、これに限定されるものではなく、両横長矩形領域の輝度比など両横長矩形領域の輝度の関係を利用することができる。
【００６８】
対象物周辺領域特徴計算部２２は、この周辺領域特徴パターンを対象物周辺領域特徴辞書に出力する。このような方法で得られた周辺領域特徴パターンの両横長矩形領域の位置・大きさに関する一例を図６に示す。この周辺領域特徴パターンは、どのようなサンプルを用意するかによって多少相違が生じるが、その形態の傾向は共通する。
【００６９】
なお、対象物特徴計算部３２が行う検出対象物の対象物特徴パターン計算方法については、従来の技術をそのまま利用することができる。例えば、上述の背景技術の欄で触れた特許文献１のような対象物特徴パターンの抽出方法をそのまま利用することができる。
【００７０】
次に、対象物周辺領域識別部４３が行う対象物の周辺領域であるか否かの識別方法について説明する。
【００７１】
対象物周辺領域識別部４３は、周辺領域検出用ウィンドウ指定部４２から入力される部分領域画像情報が表す画像に、上述の対象物周辺領域特徴計算部２２により求められた対象物の周辺領域特徴パターンをフィルタとして適用し、２つの横長矩形領域に対応する画像の平均輝度差を算出し、その特徴パターンに対応するしきい値と比較する。
【００７２】
比較の結果、平均輝度差がしきい値より大きい時には、対象物周辺領域識別部４３は、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部４４に出力する。
【００７３】
なお、対象物識別部４５が行う対象物検出用ウィンドウ指定部４４から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別方法は、使用するフィルタが相違するのみで、基本的に対象物周辺領域識別部４３が行う対象物の周辺領域であるか否かの識別方法と同様である。
【００７４】
次に、対象物検出装置１０のオンライン実行環境系における処理動作の流れについて図７を参照して説明する。
【００７５】
図７は、オンライン実行環境系における処理動作の流れを示したフロー図である。
【００７６】
まず、ＳＴ７０１で、画像入力処理を行う。すなわち、画像入力部４１は、撮像した検出対象物を含む映像を周辺領域検出用ウィンドウ指定部４２へ入力する。
【００７７】
そして、ＳＴ７０２で、対象物周辺領域の識別処理を行う。
【００７８】
すなわち、周辺領域検出用ウィンドウ指定部４２は、所定の大きさを持つ初期ウィンドウを少しずつ移動させながら、画像入力部４１により入力された画像の全領域を指定し、指定した領域の画像情報である部分領域画像情報を対象物周辺領域識別部４３に出力する。
【００７９】
対象物周辺領域識別部４３は、対象物周辺領域特徴辞書２３に格納されているフィルタを用いて、周辺領域検出用ウィンドウ指定部４２から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行う。
【００８０】
そして、識別結果が対象物の周辺領域であることを示す時には、対象物周辺領域識別部４３は、その部分領域画像情報を周辺領域画像情報として、対象物検出用ウィンドウ指定部４４に出力する。
【００８１】
次に、ＳＴ７０３で、対象物画像の識別処理を行う。
【００８２】
すなわち、対象物検出用ウィンドウ指定部４４は、所定の大きさを持つ対象物検出初期ウィンドウを移動させながら、対象物周辺領域識別部４３が対象物の周辺領域であると識別した周辺領域画像情報で表される画像の全領域を指定し、指定した領域の周辺領域部分画像情報を対象物識別部４５に出力する。
【００８３】
対象物識別部４５は、対象物特徴辞書３３に格納されている対象物フィルタを用いて、対象物検出用ウィンドウ指定部４４から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行う。
【００８４】
次に、ＳＴ７０４で、対象物領域の特定処理を行う。
【００８５】
すなわち、対象物識別部４５は、識別結果が対象物の画像であることを示す時には、その周辺領域部分画像情報を対象物画像情報として、検出結果出力部に出力する。
【００８６】
そして、検出結果出力部４６は、画像入力部が撮像した映像の上に、対象物識別部４５が対象物の画像であるとして識別した時の対象物フィルタの外郭を表示して対象物の画像を特定する。この対象物フィルタの外郭によって、対象物として識別した画像の領域を認識することができる。
【００８７】
以上のように本実施の形態によれば、オフセットさせた画像を含む画像サンプルから対象物周辺領域特徴計算部２２が抽出した周辺領域特徴パターンをフィルタとして用いて、対象物周辺領域識別部４３が周辺領域検出用ウィンドウ指定部４２から入力される部分領域画像情報が表す画像が、対象物の周辺領域の画像であるか否かの識別を行うので、周辺領域検出用ウィンドウ指定部４２はオフセットの大きさに対応する間隔ごとにスキャンすることができるため、高速に対象物画像の周辺領域を探し出すことができる。
【００８８】
また、対象物周辺領域識別部４３によって探し出された対象物画像の周辺領域のみについて、対象物識別部４５が対象物検出用ウィンドウ指定部４４から入力される周辺領域部分画像情報が表す画像が対象物の画像であるか否かの識別を行うので、対象物識別部４５が対象物の画像を探し出す領域が限定されるため、高速に対象物の画像を探し出すことができる。この結果、対象物検出装置１０全体の対象物検出処理の処理量を低減し、高速化することができる。
【００８９】
換言すれば、対象物の検出過程に、対象物識別部４５が対象物を識別する過程の前段階として、対象物周辺領域識別部４３が対象物の周辺領域を識別する過程を設け、対象物周辺領域識別部４３が対象物の存在する可能性の高い領域を粗く検出した後に、対象物識別部４５がその領域内のみについて対象物の画像が存在するか否かを精査するようにしたので、対象物周辺領域識別部４３が高速に探し出した対象物画像の周辺領域にサーチ範囲を限定して、対象物識別部４５が対象物の画像をサーチするため、対象物検出装置１０全体の対象物検出処理の処理量を低減し、高速化することができる。
【００９０】
また、対象物の検出過程を対象物周辺領域識別部４３が対象物の周辺領域を粗く検出する過程と対象物識別部４５がその領域内のみについて対象物の画像が存在するか否かを精査する過程の２段階としたので、対象物周辺領域識別部４３による対象物の周辺領域の検出を粗くしても、対象物の画像が存在するか否かを精査する過程の１段階のみにより対象物の画像を検出する従来の検出装置に比べて、検出に係る時間が短い上に、検出精度は同程度期待することができる。
【産業上の利用可能性】
【００９１】
本発明は、検出精度を低下させることなく対象物検出処理の処理量を低減し、高速化を図ることができる対象物検出装置及びその方法として有用である。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施の形態に係る対象物検出装置の構成を示すブロック図
【図２】対象物周辺領域画像格納部が格納するサンプル画像の一例を示した図
【図３】対象物画像格納部が格納するサンプル画像の一例を示した図
【図４】ウィンドウ指定部が初期ウィンドウを用いて行う処理を説明するための図
【図５】外枠矩形内に顔の特徴点を反映した２つの横長矩形領域を規定した図
【図６】周辺領域特徴パターンの両横長矩形領域の位置・大きさに関する一例を示した図
【図７】オンライン実行環境系における処理動作の流れを示したフロー図
【図８】従来の対象物検出装置における対象物検出のためのフィルタのスキャニングを説明するための図
【符号の説明】
【００９３】
１０  対象物検出装置
２１  対象物周辺領域画像格納部
２２  対象物周辺領域特徴計算部
２３  対象物周辺領域特徴辞書
３１  対象物画像格納部
３２  対象物特徴計算部
３３  対象物特徴辞書
４１  画像入力部
４２  周辺領域検出用ウィンドウ指定部
４３  対象物周辺領域識別部
４４  対象物検出用ウィンドウ指定部
４５  対象物識別部
４６  検出結果出力部
【図１】
2005215899.tif 000003
【図２】
2005215899.tif 000004
【図３】
2005215899.tif 000005
【図４】
2005215899.tif 000006
【図５】
2005215899.tif 000007
【図６】
2005215899.tif 000008
【図７】
2005215899.tif 000009
【図８】
2005215899.tif 000010