(57)【要約】【課題】連続的な結果が出力できるようにして利用分野を拡大できる画像処理装置を提供する。【解決手段】所与の画像データから、互いに異なる複数の検出処理によって対象物を検出し、当該複数の検出処理の各々によって検出された対象物の検出結果の差に基づいて、対象物の所定基準位置からの傾きを推定する画像処理装置である。【選択図】図１
2007241477.tif 000002
【特許請求の範囲】
【請求項１】
所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段と、
前記複数の検出手段の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定する傾き推定手段と、
を含み、
前記推定された傾きを表す情報を所定処理に供することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記対象物は、人物の顔であることを特徴とする画像処理装置。
【請求項３】
所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段を用い、
前記複数の検出手段の各々によって検出された対象物の検出結果の差を特定する工程と、
前記特定された差から対象物の所定基準位置からの傾きを推定する工程と、
を実行し前記推定された傾きを表す情報を所定処理に供することを特徴とする画像処理方法。
【請求項４】
コンピュータに、
所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手順を実行させ、
前記複数の検出手順の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定させて、当該推定された傾きを表す情報を出力させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像データから、顔などの対象物の傾きを検出する画像処理装置に関する。
【背景技術】
【０００２】
近年、動画像や静止画像の中から顔の領域を検出する技術が実用化されつつある。こうした現状の下、さらに検出した顔の向きや視線の方向を特定して、撮像された人物の注目している方向を検出することで、種々の制御や、マーケティング情報を獲得しようとする要望が高まっている。
【０００３】
なお、動画像や静止画像中から検出された顔の画像について、所定の顔の向きごと（例えば１５度ごと）のサンプルの画像データ（テンプレート）を用い、このテンプレートと撮像された画像とをマッチングすることで顔の向きを推定する技術が開発されている（例えば特許文献１）
【特許文献１】特開２００３−１４１５５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、テンプレートとのマッチング処理を行うために、テンプレートに登録されている顔の向きごとの角度から推定結果を得るため、離散的な結果が得られるに過ぎず、利用分野が限られてしまうという問題点があった。
【０００５】
本発明は上記実情に鑑みて為されたもので、連続的な結果が出力できるようにして利用分野を拡大できる画像処理装置を提供することを、その目的の一つとする。
【０００６】
また、本発明の別の目的の一つは、顔の向きを推定する際の照明の変化に対するロバスト性を高めることにある。
【課題を解決するための手段】
【０００７】
上記従来例の問題点を解決するための本発明は、画像処理装置であって、所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段と、前記複数の検出手段の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定する傾き推定手段と、を含み、前記推定された傾きを表す情報を所定処理に供することを特徴としている。ここで前記対象物は、人物の顔であってもよい。
【０００８】
また、本発明の一態様に係る画像処理方法は、所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手段を用い、前記複数の検出手段の各々によって検出された対象物の検出結果の差を特定する工程と、前記特定された差から対象物の所定基準位置からの傾きを推定する工程と、を実行し、前記推定された傾きを表す情報を所定処理に供することを特徴としている。
【０００９】
さらに本発明の別の態様に係るプログラムは、コンピュータに、所与の画像データから、互いに異なる検出処理によって対象物を検出する複数の検出手順を実行させ、前記複数の検出手順の各々によって検出された対象物の検出結果の差に基づいて、前記対象物の所定基準位置からの傾きを推定させて、当該推定された傾きを表す情報を出力させることを特徴としている。
【発明を実施するための最良の形態】
【００１０】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図１に例示するように、撮像部１１、制御部１２、記憶部１３、及び出力部１４を含んで構成される。
【００１１】
撮像部１１は、ＣＣＤ等の撮像素子を含み、撮像素子にて撮像した画像のデータを制御部１２に出力する。制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１３に格納されているプログラムに従って動作する。この制御部１２は、撮像部１１から入力される画像データを処理の対象として、互いに異なる複数の検出処理によって対象物を検出し、各検出処理の結果の差に基づいて、対象物の所定基準位置からの傾きを推定する処理を行う。この処理については後に詳しく述べる。
【００１２】
記憶部１３は、ＲＡＭやＲＯＭ等の記憶素子やハードディスク等を含んで構成される。この記憶部１３には、制御部１２によって実行されるプログラムが格納されている。また、この記憶部１３は、制御部１２のワークメモリとしても動作する。
【００１３】
出力部１４は、制御部１２が推定した対象物の傾きの情報を出力する。この出力部１４は、例えばディスプレイ装置であり、対象物の傾きの情報を表示出力する。また、別の例では、この出力部１４は、データロガーであり、制御部１２が対象物の傾きの推定結果を出力するごとに、そのタイミングで、図示しない時計部（カレンダチップなど）から日時の情報を取得し、当該日時の情報と推定結果を表す情報とを記憶部１３に蓄積して格納する。
【００１４】
ここで本実施の形態の制御部１２の具体的な処理の内容について説明する。本実施の形態の制御部１２は、撮像部１１にて撮像された画像データから対象物として、人物の顔部分を検出し、その人物の顔が、撮像部１１に対して正面向きを基準位置として、左右方向へどの程度傾いているか（首を振っているか）を検出する。
【００１５】
具体的な例として、制御部１２の実行する処理により、本実施の形態の画像処理装置は、機能的に、図２に示すように、画像変換部２１と、第１顔特定処理部２２と、第２顔特定処理部２３と、傾き判定部２４とを含んで構成される。
【００１６】
画像変換部２１は、撮像部１１から入力される画像データを処理対象として、当該画像データをグレイスケールの画像データに変換して、第１顔特定処理部２２に出力する。またこの画像変換部２１は、処理対象となった画像データを色相の成分を含む色空間の画像データ（色相データ）に変換して、第２顔特定処理部２３に出力する。
【００１７】
なお、本実施の形態では、第１顔特定処理部２２が対象物の輪郭ないし、対象物上の特徴部分の輪郭に基づいて対象物を検出するのに対し、第２顔特定処理部２３は、対象物の色によって対象物を検出する。
【００１８】
つまり、第１顔特定処理部２２は、グレイスケールの画像データから明暗のパターンを用いて顔部分を特定する処理を実行する。この処理は、予めサンプルとなる顔画像を学習して得られたデータベースを用い、画像データ中の顔部分を認識するパターンマッチングの方法を採用し得る。ここでは、たとえば、Rotation Invariant NeuralNetwork-Based Face Detection, H.A. Rowley, S. Baluja, and T. Kanade,Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1998, pp.38-44などを用いればよい。
【００１９】
また第１顔特定処理部２２は、認識した顔部分の画像からさらに所定の顔部品（目、鼻、口など）に関わる座標の情報を出力する。この座標の情報としては、例えば両目の中間点などがある。第１顔特定処理部２２は、この座標の情報を第１基準点情報として傾き判定部２４に出力する。
【００２０】
なお、第１顔特定処理部２２が、顔部分や、顔部品の位置を検出する方法は、パターンマッチングの手法を用いる方法に限られず、第１顔特定処理部２２は、画素の濃淡値の縦、横、右斜め、左斜めといった四方向のエッジ勾配の情報を用いる、四方向面特徴を用いた検出方法を用いて、顔部分や顔部品などの位置を検出することとしてもよい。
【００２１】
さらに、第１顔特定処理部２２は、顔領域の基準点として、上述のように顔部品に基づく位置に代えて、顔部分に外接する矩形領域の座標情報を用い、当該矩形領域内の所定位置（例えば矩形領域内の中心座標、または矩形領域の上辺から矩形領域高さの１／４の位置で、かつ左右の中心位置など）を基準点として定め、当該基準点を表す第１基準点情報を傾き判定部２４に出力してもよい。
【００２２】
第２顔特定処理部２３は、画像変換部２１が出力する色相データのうち、予め顔部分の色相（肌色の色相）として定められている色相となっている部分を特定する。具体的な処理の例は次のようになる。すなわち、予め複数の人物の顔画像から得られた肌の色の情報から、肌の色とされる色相のヒストグラム（肌色ヒストグラム）を生成して記憶部１３に格納しておく。そして色相データの各画素について、当該画素の色相に対応する肌色ヒストグラムにおける頻度値を関連づける。そして色相データに対応する頻度値のマップを得る。この頻度値のマップは、肌色らしさを表す２次元のマップとなる。次に、頻度値のマップのうち、予め定めたしきい値以上の頻度値となっている領域を顔領域として抽出する。また、この抽出した顔領域から、肌色の重心（頻度値を、座標値（ベクトル値）に乗じて得たベクトル値を総和し、総和に係る画素数で除したベクトル値）を演算し、その演算結果を、第２基準点情報として傾き判定部２４に出力する。
【００２３】
なお、ここでは肌色ヒストグラムを予め生成しておく場合を例としたが、肌の色の個人差が大きいことに配慮し、第１顔特定処理部２２にて特定した顔部分に対応する画素値（色相データの画素値）を用いて肌色ヒストグラムを生成してもよい。この場合、第１顔特定処理部２２における顔検出の精度に配慮して、検出した顔部分の輪郭線を所定画素数ずつ外側（顔から外側）へ拡張して、当該拡張した領域に対応する画素値を用いて肌色ヒストグラムを生成してもよい。
【００２４】
傾き判定部２４は、第１顔特定処理部２２が出力する第１基準点情報と、第２顔特定処理部２３が出力する第２基準点情報とを用いて撮像された人物の顔の向きを判定する。すなわちここでは第１顔特定処理部２２が顔そのものや、顔部品の輪郭から定められる第１基準点情報を出力し、第２顔特定処理部２３が顔の色に基づく顔の中心の座標を表す第２基準点情報を出力している。
【００２５】
そこで傾き判定部２４は、これら第１基準点情報が表す座標と、第２基準点情報が表す座標との差（相対情報）を用いて傾きを演算する。すなわち、目の間の中心位置Ｐは例えば図３に示すように首の角度が左右方向に変化したときに、当該首の向きの方向へ移動するのに対し、顔の色の重心Ｑは、その水平方向の位置は、顔が正面（撮像部１１の方向）を向いているときには、目の間の中心位置の水平方向の位置と大きく変わらないが、首が左右に振れるに従って、目の間の中心位置から水平方向にずれていくと推定される。
【００２６】
同様に、首の方向が上下方向に変化したときにも、これら第１基準点情報と第２基準点情報とが表す各座標位置の垂直方向のずれも併せて変化することになると推定される。
【００２７】
そこで、本実施の形態では、予め顔の傾き（例えば左右方向角度）と、上記相対情報との相関関数を実験的に得ておく。この相関関数は、複数のサンプルについて測定した結果を多項式で近似し、その多項式の係数を最小自乗法で最適化する方法によって得てもよいし、ニューラルネットワークなどの機械学習の方式を用いてもよい。
【００２８】
例えば、第１基準点情報と第２基準点情報とが表す各座標位置の水平方向の差（左右方向の相対情報）に対する左右方向の顔の傾きを表す角度の値とを実験的に定めた例を図４に示す。図４においては、実際に顔の角度を５度ごとに変えたときの左右方向の相対情報を、複数のサンプルを用いて測定し、各角度での平均値を塗りつぶした四角で表し、各角度での測定結果の分散から推定される誤差範囲をバーで表す。また、これらの情報を直線で近似した結果を、実線で示している。なお、直線で近似するのではなく、より高次の多項式で近似し、または折れ線で近似して相関関数を得てもよい。
【００２９】
傾き判定部２４は、第１顔特定処理部２２が出力する第１基準点情報と、第２顔特定処理部２３が出力する第２基準点情報との差を演算し、当該演算で得られた相対情報に対応する傾き角度の値を実験的に得られた相関関数によって求める。そして、当該求めた傾き角度の値を出力する。
【００３０】
なお相対情報を演算する際は、例えば第１基準点情報と第２基準点情報との水平方向の座標値の差から得られる首の左右方向の傾きを表す相対情報（水平相対情報）と、第１基準点情報と第２基準点情報との垂直方向の座標値の差から得られる首の上下方向の傾きを表す相対情報（垂直相対情報）とを個別に演算し、これらの水平相対情報と垂直相対情報とのそれぞれについて予め実験的に得ておいた相関関数（それぞれ水平相関関数、垂直相関関数と呼ぶ）を用いて、水平方向の顔の傾き（首振りの角度）と、垂直方向の顔の傾きとを個別に求めてもよい。
【００３１】
本実施の形態によると、撮像部１１にて人物が撮像されると、制御部１２が、その顔のうち、特徴部分である２つの目の輪郭を検出し、左目と右目の中心点の座標を表す第１基準点情報を生成し、また、予め定められた肌色ヒストグラムを用いて、肌色の重心位置を検出して、当該重心位置を表す第２基準点情報を生成する。そして、これら第１基準点情報と第２基準点情報とがそれぞれ表す座標位置の差（相対情報）を生成する。
【００３２】
また制御部１２は、予め相対情報と、顔の角度の情報とを関連づける相関関数を実験的に決定して記憶しており、この相関関数を用いて、生成した相対情報に対応する顔の角度の情報を取得する。そして、当該取得した顔の角度の情報を出力する。
【００３３】
これにより例えば、店舗内の商品陳列棚に撮像部１１を配置しておけば、陳列された商品の位置との関係によって顧客がどの商品に注目したかを知ることができる。本実施の形態では、連続的な角度の値が検出されるため、どの商品に注目しているかの検出の精度を向上できる。また、本実施の形態のように顔の角度の検出に用いる場合、照明の向きが変化しても、顔の角度を安定的に検出でき、ロバスト性を向上できる。
【００３４】
また、実際のセールスの結果をＰＯＳ（ポイントオブセールス）などから取得して比較することで、注目しているが売れていない商品や、注目はされないが売れている商品などといった分類をすることもできる。
【００３５】
さらに、顔の画像から例えば四方向面特徴から得られる顔部品間の相対位置から人物の性別や年齢といった属性を判定して、検出結果に併せて記録することで、どのような性別、年齢層の人物がどのような商品に注目するかなどの統計処理に供することができる。
【００３６】
なお、ここまでの説明では、対象物として人物の顔を例として説明したが、例えば自動車の向きなども同様にして推定することができる。例えば、画像データのエッジから車の輪郭を取得するとともに、別途、ヘッドライトの位置を検出し、これらの輪郭とヘッドライトの位置との検出結果の差から車の進行方向を推定するなどの処理を行うことができる。
【００３７】
本実施の形態によると、複数の検出方法による検出結果間の関係と、対象物の傾きとの間に相関があることに着目して、相関関係を表す相関関数を推定して当該相関関数によって対象物の傾きを推定するので、傾きを連続的な値として検出でき、利用分野を拡大できる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。
【図３】本発明の実施の形態に係る画像処理装置が検出する基準情報間の差と、顔の向きとの関係を例示する説明図である。
【図４】本発明の実施の形態に係る画像処理装置が傾きの検出に用いる相関関数の例を表す説明図である。
【符号の説明】
【００３９】
１１  撮像部、１２  制御部、１３  記憶部、１４  出力部、２１  画像変換部、２２  第１顔特定処理部、２３  第２顔特定処理部、２４  傾き判定部。
【図１】
2007241477.tif 000003
【図２】
2007241477.tif 000004
【図３】
2007241477.tif 000005
【図４】
2007241477.tif 000006