(57)【要約】【課題】人物の顔などの特定画像を高精度に発見することのできる特定画像発見方法を提供する。【解決手段】図６の上図に示されるような顔の探索を行なう矩形領域に対して、垂直方向加算投影ベクトルを計算する。そして、図６の下図に示されるような得られた垂直方向加算投影ベクトルと、予め記憶されている基準垂直方向加算投影ベクトルとを比較することで、当該矩形領域が両目部分であるか否かの判断を行ない、顔を発見する。【選択図】　　　　図６
2004046566.tif 000002
【特許請求の範囲】
【請求項１】
取得した画像の少なくとも部分領域について加算投影ベクトルを計算する計算ステップと、
前記計算された加算投影ベクトルと、基準加算投影ベクトルとを比較して、前記画像中に特定画像が含まれるか否かを判定する判定ステップとを備える、特定画像発見方法。
【請求項２】
取得した画像の少なくとも部分領域について、第１の方向の加算投影ベクトルを計算する第１の計算ステップと、
前記画像の少なくとも部分領域について、前記第１の方向とは異なる第２の方向の加算投影ベクトルを計算する第２の計算ステップと、
前記計算された第１の方向の加算投影ベクトルと、前記計算された第２の方向の加算投影ベクトルとに基づいて、前記画像中に特定画像が含まれているか否かを判定する判定ステップとを備える、特定画像発見方法。
【請求項３】
前記判定ステップは、複数の部分領域について前記判定を行なう、請求項１または２に記載の特定画像発見方法。
【請求項４】
前記計算した加算投影ベクトルの補正を行なう補正ステップをさらに備える、請求項１〜３のいずれかに記載の特定画像発見方法。
【請求項５】
前記補正ステップは、前記計算した加算投影ベクトルをグラフ化した際のグラフの変化の大きさの幅を正規化する補正と、前記グラフの重心位置を正規化する補正と、前記グラフの近似直線の傾きを正規化する補正とのうちの、少なくとも１つの補正を行なう、請求項４に記載の特定画像発見方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は特定画像、例えば人物の顔画像、の発見方法に関する。特に、本発明は高精度に特定画像を発見することのできる特定画像発見方法に関する。
【０００２】
【従来の技術】
画像中から、顔領域を抽出する顔発見方法に関して、従来より様々な方法が提案されている。
【０００３】
例えば、特開平１０−２２２６７８号公報においては、顔の特徴量を主成分分析してからさらに判別分析を行なうことによって顔を発見する物体検出装置について開示している。また、特開２０００−８２１４７号公報においては、両目の左右対称性に着目したヒトの顔を検出する方法が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特開平１０−２２２６７８号公報において開示されている物体検出装置が行なう顔の発見方法では、処理が複雑であるため、演算時間が大きいという問題があった。
【０００５】
また、上述の特開２０００−８２１４７号公報において開示されているヒトの顔を検出する方法では、ロー角方向に傾いた顔を発見することが困難であるという問題があった。
【０００６】
本発明はこれらの問題に鑑みてなされたものであって、高精度に特定画像を発見することのできる特定画像発見方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、特定画像発見方法は、取得した画像の少なくとも部分領域について加算投影ベクトルを計算する計算ステップと、計算された加算投影ベクトルと、基準加算投影ベクトルとを比較して、画像中に特定画像が含まれるか否かを判定する判定ステップとを備える。
【０００８】
本発明の他の局面に従うと、特定画像発見方法は、取得した画像の少なくとも部分領域について、第１の方向の加算投影ベクトルを計算する第１の計算ステップと、画像の少なくとも部分領域について、第１の方向とは異なる第２の方向の加算投影ベクトルを計算する第２の計算ステップと、計算された第１の方向の加算投影ベクトルと、計算された第２の方向の加算投影ベクトルとに基づいて、画像中に特定画像が含まれるか否かを判定する判定ステップとを備える。ここで、第１の方向の加算投影ベクトルを計算するための領域と、第２の方向の加算投影ベクトルを計算するための領域とは同じ領域であってもよく、一部が共通した領域であってもよく、互いに異なる領域であってもよい。また、前述の判定ステップにおいては、各加算投影ベクトルを基準となる加算投影ベクトルと比較することによって判定を行なうことが望ましい。
【０００９】
また、上述の判定ステップは、複数の部分領域について前述の判定を行なうことが望ましい。
【００１０】
また、特定画像発見方法は、計算した加算投影ベクトルの補正を行なう補正ステップをさらに備えることが望ましい。
【００１１】
また、上述の補正ステップは、計算した加算投影ベクトルをグラフ化した際のグラフの変化の大きさの幅を正規化する補正と、グラフの重心位置を正規化する補正と、グラフの近似直線の傾きを正規化する補正とのうちの、少なくとも１つの補正を行なうことが望ましい。
【００１２】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００１３】
［第１の実施の形態］
図１は、第１の実施の形態における画像処理システムの構成の具体例を示す図である。図１を参照して、本実施の形態における画像処理システムは、画像を取得するカメラ２と、カメラ２から入力された画像の処理を行なうパーソナルコンピュータ等のコンピュータ（以下、ＰＣと言う）１とから構成される。
【００１４】
さらに図１を参照して、ＰＣ１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１によって制御され、カメラＩ／Ｆ（インタフェース）１０７（画像キャプチャ部とも言われる）を介してカメラ２から入力された画像の処理を行なう。ＣＰＵ１０１で実行されるプログラムは、記憶部であるＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０２またはＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３に記憶される。そして、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０４は、ＣＰＵ１０１でプログラムが実行される際の一時的な作業領域となる。また、ＲＡＭ１０４は、以下の処理で一時的な記憶領域となるバッファともなる。ユーザは、キーボードやマウス等の入力部（Ｉｎｐｕｔ　Ｕｎｉｔ）１０５から情報や指示を入力する。また、カメラ２から受付けた画像やその処理結果等はディスプレイ１０６に表示される。なお、図１に示される構成は一般的なパーソナルコンピュータの構成であって、ＰＣ１の構成は図１に示される構成に限定されない。また、カメラ２は、画像を取得してＰＣ１に入力する手段を備える一般的な装置であって、ビデオ等のその他の装置であっても構わない。
【００１５】
このような画像処理システムにおいては、以下の画像処理が実行され、カメラ２で取得した画像から顔領域を抽出する。図２は、本実施の形態における画像処理システムにおいて実行される処理を示すフローチャートであって、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されているプログラムを読込んで、ＲＡＭ１０４上で実行することによって実現される。
【００１６】
図２を参照して、ＰＣ１のＣＰＵ１０１は、カメラＩ／Ｆ１０７を介してカメラ２から入力された画像の解像度を変換する（Ｓ１−１）。そして、入力された画像のピラミッド画像を作成する。ピラミッド画像とは、入力された画像の縦および横のサイズを、一定の比率で順次縮小（拡大）した複数の画像のことを指す。図３にその具体例を示す。ピラミッド画像の個数については、見つけたい顔の大きさの範囲に依存し、例えば縮小率１／１．２、最小ピラミッド画像サイズ５０×５０画素等に予め設定しておくことができる。また、ステップＳ１−１で行なわれるピラミッド画像の作成時の解像度の変換は、Ｂｉ−Ｌｉｎｅａｒの変換手法等の既存の手法を用いることで行なわれる。
【００１７】
そして、ステップＳ１−１において作成した全てのピラミッド画像に対して、画像サイズが大きい（あるいは小さい）画像から順番に顔の探索を行なう（Ｓ１−２）。
【００１８】
まず、選択されたピラミッド画像に対して、顔を探索すべき領域が未だ残っているか否かを判断する（Ｓ１−３）。そして、残っている場合は（Ｓ１−３でＹｅｓ）、顔の探索を実行する。
【００１９】
顔の探索は、選択されたピラミッド画像に対して１画素ずつ行なう。図４に、ここでの顔の探索順序の具体例を示す。図４を参照して、選択されたピラミッド画像の左上から右方向に１画素ずつスキャンを行ない、右端までスキャンが完了すると、左端に戻って１画素下に下がり、再び右方向に１画素ずつスキャンを行なう。このスキャン方法を選択されたピラミッド画像の右下まで繰返す。
【００２０】
顔の探索方法の具体例については、図５に示す。すなわち、図５を参照して、探索する画素を左上とした１６×８画素の矩形領域に対して垂直方向加算投影ベクトルＥＶを計算することで顔の探索を行なう（Ｓ１−４）。垂直方向加算投影ベクトルＥＶは、矩形領域の各列（８画素）の画素値を加算した１６個の要素をもつ１６次元のベクトルのことである。そして、このようにして得られた垂直方向加算投影ベクトルＥＶと、予め記憶されている基準垂直方向加算投影ベクトルＢＥＶとを比較することで、当該矩形領域が両目部分であるか否かの判断を行なう（Ｓ１−５）。
【００２１】
ステップＳ１−５では、当該矩形領域の垂直方向加算投影ベクトルＥＶと、基準垂直方向加算投影ベクトルＢＥＶとの相違度ＥＤを計算する。相違度ＥＤは、以下の式（１）によって算出される。
【００２２】
【数１】
2004046566.tif 000003
【００２３】
そして、上述の式（１）で算出された相違度ＥＤが、所定のしきい値よりも小さい場合に、ステップＳ１−５では当該矩形領域が両目部分であると判断する。
【００２４】
さらに、当該矩形領域が両目部分である場合（Ｓ１−５でＹｅｓ）、両目であると判断された矩形領域を含む顔領域を、バッファに一時記憶する（Ｓ１−６）。ステップＳ１−６で記憶する顔領域は、例えば両目部分であると判断した矩形領域１６×８画素領域と、その下部分に当たる１６×８画素領域とを合わせた、１６×１６画素領域とすることができる。
【００２５】
上述のステップＳ１−３〜Ｓ１−６の処理を、ステップＳ１−１で作成した全てのピラミッド画像に対して実行し（Ｓ１−２でＮｏ）、バッファに一時記憶されている顔領域を出力する（Ｓ１−７）。
【００２６】
以上で、画像処理システムでの第１の実施の形態における画像処理を終了する。本実施の形態における画像処理システムで上述の処理が実行されることで、カメラ２から入力された画像に含まれる大小さまざまな顔が発見され、出力される。すなわち、本実施の形態の画像処理システムでは、ピラミッド画像が作成され、全サイズのピラミッド画像において上述の処理が行なわれることで、各サイズのピラミッド画像に含まれるさまざまなサイズの顔が発見される。
【００２７】
また、上述のように、本実施の形態における画像処理システムが、顔の探索を行なう矩形領域を垂直方向に加算投影する処理を行なうことで、正面を向いた顔のみでなく、ロー角あるいはヨー角方向に傾いた顔も、ロバストに発見することが可能である。また、基準ベクトルとの差を評価することで顔であるか否かの判断を行なうので、ベクトルの主成分分析や判別分析を用いて判断する方法に較べて非常に高速に処理を行なうことが可能である。
【００２８】
具体的には、上述のステップＳ１−４において探索を行なう矩形領域の垂直方向加算投影ベクトルＥＶを算出することで、図６の（ａ）〜（ｃ）の上図に示される入力画像から、図６の（ａ）〜（ｃ）の下図に示されるような垂直方向加算投影ベクトルＥＶを得る。そして、これらの垂直方向加算投影ベクトルＥＶを、図７に示される基準垂直方向加算投影ベクトルＢＥＶと比較する。基準垂直方向加算投影ベクトルＢＥＶは、図７の上図に示されるような正面を向いた顔の両目を含む矩形領域から得られる、図７の下図に示されるような垂直方向加算投影ベクトルＥＶが該当する。このように、本実施の形態における画像処理システムが、横方向に並ぶ両目を検出する場合に矩形領域を垂直方向に加算投影する処理を実行することによって、図６に示すようにロー角あるいはヨー角方向に傾いた顔も発見することができる。
【００２９】
なお、相違度ＥＤの計算方法として、上述の式（１）に示される方法以外の方法を採用することもできる。例えば、ＤＰ（Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ）マッチング法等を用いることもできる。この方法は、グラフの伸縮を考慮したマッチング法であるため、ヨー角方向に傾いた顔であって探索領域内で偏った状態であっても両目を検出することが可能である。そのため、図４に示されるように１画素ずつ全ての画素をスキャンして顔の探索を行なうことなく、数画素ずつ飛ばしながらスキャンして顔の探索を行なうことができる。
【００３０】
また、顔を発見するために検索する顔の部位は両目に限定されずその他の部位であってもよい。具体的には図８および図９に示されるように、鼻および口を探索することで顔を発見することもできる。すなわち、図８の（ａ），（ｂ）の上図に示されるような探索する１６×８画素の矩形領域から、図８の（ａ），（ｂ）の下図に示されるような垂直方向加算投影ベクトルＥＶを計算する。そして、図９の上図に示されるような基準となる鼻および口を含む矩形領域から得られる、図９の下図に示されるような垂直方向加算投影ベクトルである基準垂直方向加算投影ベクトルＢＥＶと比較することによって、鼻および口を探索することができる。この方法によっても、上述と同様に、図８に示すようなロー角あるいはヨー角方向に傾いた顔もロバストに発見することができる。
【００３１】
また、垂直方向加算投影ベクトルＥＶを用いる替わりに、水平方向加算ベクトルを用いて、同様にして顔全体を発見することもできる。すなわち、図１０の（ａ），（ｂ）の右図に示されるような探索する１６×１６の矩形領域から、図１０の（ａ），（ｂ）の左図に示されるような水平方向加算投影ベクトルを得る。そして、図１１の右図に示されるような基準となる顔全体を含む矩形領域から得られる、図１１の左図に示されるようなの水平方向加算投影ベクトルと比較することによって、顔全体を検索することができる。この方法によっても、上述と同様に、図１０に示すようなロー角あるいはヨー角方向に傾いた顔も、ロバストに発見することができる。
【００３２】
なお、本実施の形態においては、カメラ２から入力した画像をそのまま用いて上述の処理を行なって顔を発見するものとして説明したが、入力した画像のエッジ画像を用いても同様の処理を行なって同様に顔を発見することができる。
【００３３】
また、上述の説明においては、探索する画素を左上とした１６×８画素の矩形領域に対して垂直方向加算投影ベクトル（あるいは水平方向加算投影ベクトル）を計算して顔の発見を行なうものとしているが、顔の探索を行なう矩形領域のサイズは上述のサイズに限定されるものではない。また、顔の探索を行なう矩形領域は探索する画素を左上とした矩形領域に限定されるものではない。なお、これらのことは、以下の説明においても同様である。
【００３４】
［第２の実施の形態］
次に、第２の実施の形態では、図１に示される画像処理システムにおいて、図１２に示される処理が実行される。図１２を参照して、第２の実施の形態のＰＣ１のＣＰＵ１０１は、上述の第１の実施の形態における処理と同様に、入力された画像の解像度を変換してピラミッド画像を作成し（Ｓ２−１）、作成した全てのピラミッド画像に対して順番に顔の探索を行なう（Ｓ２−２）。すなわち、選択したピラミッド画像に顔を探索すべき領域が未だ残っている場合には（Ｓ２−３でＹｅｓ）、顔の探索を行なう領域に対して垂直方向加算投影ベクトルＥＶを計算する（Ｓ２−４）。
【００３５】
以上の処理は、上述の第１の実施の形態における処理と同様であるため、ここでは詳細な説明を繰返さない。さらに、本実施の形態においては、ステップＳ２−４で計算した垂直方向加算投影ベクトルＥＶの正規化を行なう（Ｓ２−５）。
【００３６】
ここで、ステップＳ２−５で行なう正規化について具体的に説明する。すなわち、図１３の（ａ），（ｂ）に示されるように、同一人物の画像であって照明条件が異なる状態で撮影された画像が入力された場合について具体的に説明する。このとき、各々の顔画像の両目部分の矩形領域から得られる垂直方向加算投影ベクトルＥＶをグラフ化すると、図１３の（ａ−１），（ｂ−１）に示されるように異なったグラフとなる。このため、予め記憶されている基準垂直方向加算投影ベクトルＢＥＶが明るい照明条件での画像に基づいたものである場合には、図１３の（ｂ−１）に示される暗い照明条件での垂直方向加算投影ベクトルＥＶとの差がしきい値よりも大きくなり、図１３の（ｂ）に示される顔を発見することが困難となる。
【００３７】
ステップＳ２−５では、上述のように照明条件が異なった場合であっても照明条件にロバストに顔を発見するために、垂直方向加算投影ベクトルＥＶの正規化を行なう。また、正規化は、上述のような照明条件に限らず、撮影時のフィルムや天候や被写体自身の色等を要因とする色条件にもロバストに顔を発見するためにも有効である。
【００３８】
第１の正規化として、得られた垂直方向加算投影ベクトルＥＶのグラフの高さの正規化を行なう。すなわち、垂直方向加算投影ベクトルＥＶのグラフの高さを、基準垂直方向加算投影ベクトルＢＥＶのグラフの高さ（１）と等しくなるように、以下の式（２）を用いて、最大値ＥＶｍａｘとＥＶｍｉｎとの幅を１とする正規化を行なう。
【００３９】
【数２】
2004046566.tif 000004
【００４０】
上述の第１の正規化を行なうと、図１３の（ａ−２）および（ｂ−２）に示される如く、垂直方向加算投影ベクトルＥＶのグラフの高さが１に正規化される。
【００４１】
次に、第２の正規化として、得られた垂直方向加算投影ベクトルＥＶのグラフの重心位置の正規化を行なう。すなわち、垂直方向加算投影ベクトルＥＶのグラフの重心ＥＶ’ａｖｅが、予め重心位置の正規化を行なっている基準垂直方向加算投影ベクトルＢＥＶのグラフの重心ＲＢＥＶａｖｅと位置が同じになるように、以下の式（３）を用いて正規化を行なう。
【００４２】
【数３】
2004046566.tif 000005
【００４３】
上述の第２の正規化を行なうと、図１３の（ａ−３）および（ｂ−３）に示される如く、垂直方向加算投影ベクトルＥＶのグラフの重心位置と、基準垂直方向加算投影ベクトルＢＥＶのグラフの重心位置とが同じになるように正規化される。
【００４４】
そして、このようにして得られた、正規化された垂直方向加算投影ベクトルＥＶと、予め記憶されている基準垂直方向加算投影ベクトルＢＥＶとの相違度ＥＤを、以下の式（４）を用いて計算する。
【００４５】
【数４】
2004046566.tif 000006
【００４６】
第１の実施の形態と同様に、上述の式（４）で算出された相違度ＥＤが、所定のしきい値よりも小さい場合に、ステップＳ２−６では当該矩形領域が両目部分であると判断する（Ｓ２−６）。さらに、当該矩形領域が両目部分である場合（Ｓ２−６でＹｅｓ）、両目部分であると判断された矩形領域を含む顔領域を、バッファに一時記憶する（Ｓ２−７）。そして、上述のステップＳ２−３〜Ｓ２−７の処理を、ステップＳ２−１で作成した全てのピラミッド画像に対して実行し（Ｓ２−２でＮｏ）、バッファに一時記憶されている顔領域を出力する（Ｓ２−８）。
【００４７】
以上で、画像処理システムでの第２の実施の形態における画像処理を終了する。本実施の形態における画像処理システムで上述の処理が実行されることで、屋外のような照明条件が安定していない場所で得られた画像であっても、また、撮影時のフィルムや天候や被写体自身の色等を要因として色条件が安定していない画像であっても、垂直方向加算投影ベクトルが正規化されることによって、両目部分が確実に検出され、顔が確実に発見される。
【００４８】
さらに、本実施の画像処理システムにおいては、図１４の上図に示されるような、斜めから照射された光によって顔の一部分に陰がついた画像が入力された場合でも、ロバストに顔を検出することができる。具体的には、上述の垂直方向加算投影ベクトルの正規化を行なう前に、図１４の（ａ）に示されるように、入力画像から得られた垂直方向加算投影ベクトルＥＶの曲線のグラフに、最小二乗法等を用いて近似曲線を求める。そして、図１４の（ｂ）に示されるように、その傾きを補正する処理を行なう。その後、上述の処理を行なうことで、斜めから照射された光によって顔の一部分に陰がついた場合であっても、ロバストに顔を検出することができる。
【００４９】
［第３の実施の形態］
次に、第３の実施の形態では、図１に示される画像処理システムにおいて、図１５に示される処理が実行される。図１５を参照して、第３の実施の形態のＰＣ１のＣＰＵ１０１は、上述の第１の実施の形態および第２の実施の形態における処理と同様に、入力された画像の解像度を変換してピラミッド画像を作成し（Ｓ３−１）、作成した全てのピラミッド画像に対して順番に顔の探索を行なう（Ｓ３−２）。すなわち、選択したピラミッド画像に顔を探索すべき領域が未だ残っている場合には（Ｓ３−３でＹｅｓ）、顔の探索を行なう領域に対して垂直方向加算投影ベクトルＥＶを計算する（Ｓ３−４）。さらに、第２の実施の形態と同様にして、ステップＳ３−４で計算した垂直方向加算投影ベクトルＥＶの正規化を行なう（Ｓ３−５）。そして、得られた正規化された垂直方向加算投影ベクトルＥＶと、予め記憶されている基準垂直方向加算投影ベクトルＢＥＶとの相違度ＥＤを計算して、当該矩形領域が両目部分であるか否かの判断を行なう（Ｓ３−６）。
【００５０】
以上の処理は、上述の第１の実施の形態および第２の実施の形態における処理と同様であるため、ここでは詳細な説明を繰返さない。さらに、本実施の形態においては、ステップＳ３−６で両目部分であると判断された矩形領域の下部分が、鼻および口部分であるか否かを判定する。具体的には、図１６に示すように、両目部分であると判断された矩形領域の下であって、前記矩形領域とは異なる１６×８画素の矩形領域が、鼻および口部分であるか否かを判定する。そこで、さらに上述の前記矩形領域とは異なる矩形領域に対して、垂直方向加算投影ベクトルＮＶを計算する（Ｓ３−７）。そして、上述の処理と同様に、計算された垂直方向加算投影ベクトルＮＶを正規化し（Ｓ３−８）、予め記憶されている基準垂直方向加算投影ベクトルＲＢＮＶとの相違度ＮＤを計算して当該矩形領域が鼻および口部分であるか否かを判定する（Ｓ３−９）。
【００５１】
ステップＳ３−９で当該矩形領域が鼻および口部分であると判定されると（Ｓ３−９でＹｅｓ）、ステップＳ３−６で両目部分であると判定された矩形領域１６×８画素領域と、ステップＳ３−９で鼻および口部分であると判定された矩形領域１６×８画素領域とを合わせた領域１６×１６画素領域が、顔部分であるか否かをさらに判定する。そのために、上述の１６×１６画素領域に対して水平方向加算投影ベクトルＦＶを計算する（Ｓ３−１０）。そして、上述の処理と同様に、計算された水平方向加算投影ベクトルＦＶを正規化し（Ｓ３−１１）、予め記憶されている基準水平方向加算投影ベクトルＲＢＦＶとの相違度ＦＤを計算して当該矩形領域が顔部分であるか否かを判定する（Ｓ３−１２）。さらに、当該領域が顔部分である場合（Ｓ３−１２でＹｅｓ）、顔部分であると判断された領域を、バッファに一時記憶する（Ｓ３−１３）。そして、上述のステップＳ３−３〜Ｓ３−１３の処理を、ステップＳ３−１で作成した全てのピラミッド画像に対して実行し（Ｓ３−２でＮｏ）、バッファに一時記憶されている顔領域を出力する（Ｓ３−１４）。
【００５２】
以上で、画像処理システムでの第３の実施の形態における画像処理を終了する。上述のように、本実施の形態における画像処理システムでは、両目部分をまず見つけてから、その部位の下に鼻および口があるか否かを判定して、さらに全体が顔であるか否かを判定するといった３段階の判定を行なう。このように多段階の判定を行なうことによって、確実に顔を発見することができ、顔でない部分を誤って発見してしまう不具合を解消することができる。そのため、非常に高精度な顔発見を実現することができる。
【００５３】
なお、上述の処理においては、３段階の判定を行なう場合について述べたが、２段階の判定を行なうことによっても高精度の顔発見を行なうことができることは言うまでもない。また、鼻および口部分を１つの部位として判定を行なった例を上述に示したが、鼻と口とを別々の部位として、例えば、両目、鼻、口、および顔部分の４段階での判定を行なって顔を発見する方法であっても構わない。さらに、本実施の形態においては入力された画像から顔を発見する処理を行なう画像処理システムについて説明したが、発見する対象は顔に限定されず、予めその形態や特徴を把握することのできる所定の画像（例えば製品の画像等）を発見する処理を行なうこともできる。また、基準投影加算ベクトルとの比較をより高精度に行なうことによって、単に顔の発見のみならず、特定の顔の発見を行なうこともできる。
【００５４】
また、以上において、カメラ２から動画像を取得したＰＣ１において上述の顔発見の処理が実行されるものとして説明を行なったが、カメラ２が上述の顔発見の処理を実行するためのプログラムを記憶して処理能力を有するＣＰＵを備える場合、あるいは上述の処理を実行するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を有している場合には、カメラ２が上述の顔発見の処理を実行してもよい。
【００５５】
さらに、上述の画像処理システムにおいて行なわれる顔発見方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００５６】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００５７】
また、上述した本発明のある局面に従えば、発明の他の構成例として、以下のものが考えられる。
（１）取得した画像の少なくとも部分領域について加算投影ベクトルを計算する計算手段と、計算された加算投影ベクトルと、基準加算投影ベクトルとを比較して、画像中に特定画像が含まれるか否かを判定する判定手段とを備える、特定画像発見装置。
（２）取得した画像の少なくとも部分領域について加算投影ベクトルを計算する計算ステップと、計算された加算投影ベクトルと、基準加算投影ベクトルとを比較して、画像中に特定画像が含まれるか否かを判定する判定ステップとをコンピュータに実行させる、特定画像発見プログラム。
（３）上記（２）に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【００５８】
なお、上述の本発明の他の局面に従った、あるいは別の側面に従った、特定画像発見装置、特定画像発見プログラム、および該プログラムを記録したコンピュータ読取り可能な記録媒体といった構成例も考えられる。
【００５９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】第１の実施の形態における画像処理システムの構成の具体例を示す図である。
【図２】第１の実施の形態における画像処理システムにおいて実行される処理を示すフローチャートである。
【図３】ピラミッド画像の具体例を示す図である。
【図４】顔の探索順序の具体例を示す図である。
【図５】顔の探索方法の具体例を示す図である。
【図６】入力される顔画像と垂直方向加算投影ベクトルＥＶとの具体例を示す図である。
【図７】基準垂直方向加算投影ベクトルＢＥＶの具体例を示す図である。
【図８】入力される顔画像と垂直方向加算投影ベクトルＥＶとの具体例を示す図である。
【図９】基準垂直方向加算投影ベクトルＢＥＶの具体例を示す図である。
【図１０】入力される顔画像と水平方向加算投影ベクトルとの具体例を示す図である。
【図１１】基準となる顔全体を含む矩形領域の水平方向加算投影ベクトルの具体例を示す図である。
【図１２】第２の実施の形態における画像処理システムにおいて実行される処理を示すフローチャートである。
【図１３】同一人物の画像であって照明条件が異なる状態で撮影された画像が入力された場合の処理の具体的を示す図である。
【図１４】斜めから照射された光によって顔の一部分に陰がついた画像が入力された場合の処理の具体的を示す図である。
【図１５】第３の実施の形態における画像処理システムにおいて実行される処理を示すフローチャートである。
【図１６】鼻および口部分であるか否かを判定する領域の具体例を示す図である。
【符号の説明】
１　ＰＣ、２　カメラ、１０１　ＣＰＵ、１０２　ＨＤＤ、１０３　ＲＯＭ、１０４　ＲＡＭ、１０５　入力部、１０６　ディスプレイ、１０７　カメラＩ／Ｆ。
【図１】
2004046566.tif 000007
【図２】
2004046566.tif 000008
【図３】
2004046566.tif 000009
【図４】
2004046566.tif 000010
【図５】
2004046566.tif 000011
【図６】
2004046566.tif 000012
【図７】
2004046566.tif 000013
【図８】
2004046566.tif 000014
【図９】
2004046566.tif 000015
【図１０】
2004046566.tif 000016
【図１１】
2004046566.tif 000017
【図１２】
2004046566.tif 000018
【図１３】
2004046566.tif 000019
【図１４】
2004046566.tif 000020
【図１５】
2004046566.tif 000021
【図１６】
2004046566.tif 000022