(57)【要約】【課題】従来、顔の向きを推定するためには、様々な顔向き方向のテンプレートとの類似度を比較することで顔向きを推定するため、様々な顔向き画像での類似度の比較が必要なためであり、テンプレートは用いる顔データの色や顔の形状の違いや、顔以外の領域の輝度などの影響を受けやすかった。【解決手段】画像中の顔の向きを推定する顔向き推定装置において、画像を取り込む画像入力手段と、前記画像入力手段が取り込んだ画像中の顔の向きを変換する画像処理を施し、顔向き変換顔を作成する顔向き変換手段と、前記顔向き変換顔の顔の向きを評価し、前記画像中の顔の向きを推定する特定方向顔向き評価手段とを備えて構成される。【選択図】　図１
2004094491.tif 000002
【特許請求の範囲】
【請求項１】
画像中の顔の向きを推定する顔向き推定装置において、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段と、
を備えることを特徴とする顔向き推定装置。
【請求項２】
請求項１に記載の顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、
前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする顔向き推定装置。
【請求項３】
請求項１に記載の顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、
前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、
前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、
顔向き変換顔を作成することを特徴とする顔向き推定装置。
【請求項４】
請求項１〜３のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、
複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と上記特定方向平均顔との類似度により特定方向顔向き評価を行うことを特徴とする顔向き推定装置。
【請求項５】
請求項１〜４のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを推定する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする顔向き推定装置。
【請求項６】
請求項５に記載の顔向き推定装置において、
前記正面顔向き評価手段は、
前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする顔向き推定装置。
【請求項７】
請求項６に記載の顔向き推定装置において、
前記正面顔向き評価手段は、
人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする顔向き推定装置。
【請求項８】
請求項１〜４のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする顔向き推定装置。
【請求項９】
請求項１〜８のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、
人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする顔向き推定装置。
【請求項１０】
請求項９に記載の顔向き推定装置において、
前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする顔向き推定装置。
【請求項１１】
請求項９に記載の顔向き推定装置において、
前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする顔向き推定装置。
【請求項１２】
請求項９〜１１のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする顔向き推定装置。
【請求項１３】
請求項１２に記載の顔向き推定装置において、
前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする顔向き推定装置。
【請求項１４】
請求項１２に記載の顔向き推定装置において、
前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする顔向き推定装置。
【請求項１５】
請求項９〜１１のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする顔向き推定装置。
【請求項１６】
請求項１５に記載の顔向き変換手段において、
画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする顔向き推定装置。
【請求項１７】
請求項１〜１６のいずれか一項に記載の顔向き推定装置において、
前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。
【請求項１８】
請求項１７に記載の顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の９種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする顔向き推定装置。
【請求項１９】
請求項１７、１８のいずれか一項に記載の顔向き推定装置において、
前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。
【請求項２０】
画像中の顔の向きを推定する顔向き推定方法において、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
を含むことを特徴とする顔向き推定方法。
【請求項２１】
画像中の顔の向きを推定する顔向き推定プログラムにおいて、
画像中の顔の向きを変換する画像処理を施しすことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
をコンピュータに実行させることを特徴とする顔向き推定プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された画像中の顔が向いている方向を推定する顔の向き推定装置およびその方法、並びに、顔の向き推定プログラム（以下、顔の向き推定方式と記載する）に関するものである。
【０００２】
【従来の技術】
従来、この種の技術として、特開２００１−２９１１０８号公報、特開平１１−２８１６６１号公報に記載の方式が知られている。特開２００１−２９１１０８号公報に記載の記載のブロック図を図２０に示す。この手法では、予め複数人の正面顔データを取得して平均顔を作成し、平均顔を３Ｄモデルに張り合わせて任意の角度回転させた画像を生成して、入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔の向きを推定するように構成されている。
【０００３】
また、特開１１−２８１６６１号公報記載の手法では、肌色を抽出することで、両目および口の位置と顔幅を検出し、それらの位置関係から顔の向きを推定する。
【０００４】
【発明が解決しようとする課題】
これらの従来技術の第１の問題点は、正面方向など特殊な方向の特徴を利用することが困難で、全ての顔向き方向で同等の類似度計算を行う必要があることであり、顔向き方向の評価にテンプレートを生成する必要があることである。
【０００５】
その理由は、様々な顔向き方向のテンプレートとの類似度を比較することで入力画像の顔向きを推定するため、様々な顔向き画像での類似度の比較が必要なためであり、テンプレートは用いる顔データの人種（白人・黒人・黄色人種）による色や顔の形状の違いや、顔以外の領域（背景部分）の輝度などの影響を受けやすいことである。
【０００６】
本発明は、このような事情に鑑みてなされたもので、顔向き方向を精度よく検出する顔の向き推定方式を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明では以下の特徴により、上記の目的を達成している。
【０００８】
画像中の顔の向きを推定する顔向き推定装置において、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段とを備える。
【０００９】
また、前記顔向き推定装置において、顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする。
【００１０】
また、前記顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、
前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、
前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、
顔向き変換顔を作成することを特徴とする。
【００１１】
また、前記顔向き推定装置において、前記特定方向顔向き判定手段は、複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と上記特定方向平均顔との類似度により特定方向顔向き評価を行うことを特徴とする。
【００１２】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする。
【００１３】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする。
【００１４】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする。
【００１５】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする。
【００１６】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする。
【００１７】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１８】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１９】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする。
【００２０】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする。
【００２１】
また、前記顔向き推定装置において、前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする。
【００２２】
また、前記顔向き推定装置において、前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする。
【００２３】
また、前記顔向き変換手段において、画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする。
【００２４】
また、前記顔向き推定装置において、前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする。
【００２５】
また、前記顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の９種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする。
【００２６】
また、前記顔向き推定装置において、前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする。
【００２７】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定方法において、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
を含むことを特徴とする。
【００２８】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定プログラムにおいて、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
をコンピュータに実行させることを特徴とする。
【００２９】
【発明の実施の形態】
以下、本発明の一実施形態による顔向き推定装置を図面を参照して説明する。
【００３０】
まず、本発明における顔向き推定の原理を説明する。
【００３１】
なお、顔の向きを表す方向の尺度として、カメラ等の撮像媒体に対して被撮影者から見て右を向いている場合は＋で、左側を向いている場合は−、上を向いている場合は＋、下を向いている場合は−の角度を用いることとする。特に明記しない場合、φは左右方向、θは上下方向の角度を表すものとする。γ、ψはφ，θの組み合わせで表される３次元方向とする。
【００３２】
例えば、正面以外の方向を向いている顔に対し−ψ分の顔向き変換を施したとき、変換後の顔が正面顔であれば、変換前の顔はψの方向を向いていることとなる。一般的に、γ以外の方向を向いている顔に対しγ−ψ分の顔向き変換を施したとき、変換後の顔がγの方向を向いた顔であれば、変換前の顔はψの方向を向いていることとなる。
【００３３】
この顔向き変換の方法としては、入力画像中の顔に顔立体形状モデルを当てはめて方向変換を行う方法などが用いられる。
【００３４】
顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルである。レンジファインダ等の計測器を用い、複数人物の顔形状を計測し、その平均を用いることで作成することができる。
【００３５】
顔立体形状モデルに関しては、特開２０００−３２２５７７号公報「画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体」に詳しい。
【００３６】
しかし、このようなモデルを当てはめる方法では、入力画像中の顔向き方向および顔の位置が既知であることが要求される。
【００３７】
このため、本発明では、変換前の顔向き方向をψと仮定し、ψ方向を向いた人物顔モデルを作成し、そのモデルをγ方向へ（γ−ψ）の方向変換を行うことで、γの方向の顔向き変換をおこなうこととする。
【００３８】
補正後の顔向き方向の角度γとしては、任意の角度について行っても良いが、以下では特にγ（φ，θ）＝（０，０）度の場合、つまり正面顔への顔向き変換について説明する。
【００３９】
上記の顔向き変換方法の動作について、図２に示す横に＋３０度を向いた顔を含んだ入力画像を例に説明する。
【００４０】
ここでは、θ＝０として顔向き方向を横に限定して説明するが、縦向き方向の変化に対しても角度（φ，θ）の組み合わせが増えるのみで原理的には変らないため同様の処理で行うことができる。
【００４１】
まず、入力画像の顔の向きは未知であるため、顔の向きをφ＝−２０度と仮定する。この場合、図３に示すような−２０度傾いた顔立体形状モデルを用意する。図４のように、顔の特徴点として得られた両目の位置を利用してこのモデルと入力顔画像の位置あわせを行う。図１８に示したように、入力画像の画素Ｐを顔立体形状モデルに平行投影する。この処理を画像上の全ての画素Ｐに対して行うことをマッピングと呼ぶ。次に、入力画像をマッピングした顔モデルが正面を向くように＋２０度変換を行い、平行投影により顔向き変換顔画像を生成する。しかし、＋３０度を向いた顔を−２０度向いた顔と誤って仮定しているため、正しいマッピングを行えず、得られる変換後の顔は正面顔とはならない。
【００４２】
続いて、図２の入力顔画像の向きを＋３０度と仮定した場合では、得られた両目の位置を利用し、図６の＋３０度傾いた顔立体形状モデルに入力顔画像を図７に示すように位置合わせすることができる。そして、図１９に示すようにマッピングした顔モデルが正面を向くように−３０度変換を行い、平行投影により顔向き変換顔画像を生成する。この場合、変換後の顔は正面顔となり、正面顔評価により正面顔と判定されることで＋３０度の仮定が正しいかの判定を行える。
【００４３】
このように、入力画像の顔向きをφと設定し、φを向いた顔立体形状モデルに入力顔画像をマッピングし、−φ変換を行い作成される顔向き変換顔が正面顔であれば、入力画像の顔向きがφとなり、入力画像中の顔の向きを判定することができる。つまり、入力画像中の顔向き方向の判定精度を顔向き変換後の顔の特定方向顔向き顔との類似度として評価することができるため、例えば、特定の方向として正面とすると、人物の正面顔の特徴を利用した評価を行えることが特徴となる。
【００４４】
なお、上記の説明ではマッピングでの位置合わせに用いる顔の特徴点として、両目の位置を用いて説明したが、図５に示すように両目以外にも、口の両端、鼻の両穴、両眉の両端の位置を用いることもできる。以下、特徴点として両目の位置を用いることとして説明を行う。
【００４５】
（構成の説明）
次に、本発明の実施の形態について図面を参照して詳細に説明する。ここでは以下、特定方向を正面として説明する。
【００４６】
図１を参照すると、本発明の実施の形態は画像入力手段１と、顔向き変換手段２と、特定方向顔向き評価手段３と、顔向き出力手段４とを含む。
【００４７】
画像入力手段１では、顔が写っている画像をデジタル情報として取得する。取得方法としては、デジタルカメラ、ビデオカメラ等の撮像デバイスを用いても、写真などをスキャナにより取り込んでもよい。
【００４８】
顔向き変換手段２では、入力された画像中の顔向きを別の方向に変換する処理を施す。例えば、入力された顔画像に対し、顔向き方向をφと仮定し、（γ−φ）角度分変換する画像処理を施す。顔向き変換手段２は、例えば、図示しない記憶装置などに保存された顔立体形状モデルを参照することにより、φ方向を向いた顔モデルをγ方向顔へ変換する画像処理を施すことで実現できる。なおこの場合、例えば、＋９０度から−９０度の１度毎に顔立体形状モデルを記憶装置に保存しておく。特定方向顔向き評価手段３では、変換後の顔向きが特定方向を向いているかの評価を行う。前例では、変換された顔向きがγ方向を向いた顔かの評価を行う。顔向き変換手段２および特定方向顔向き評価手段３はループ構成であり、様々な顔向きにおける評価を行う。
【００４９】
顔向き出力手段４では、特定方向顔向き評価手段３での評価を用いて、特定方向の顔向き変換を行った変換量を求め、入力画像における顔向きを計算し、出力する。
【００５０】
（動作の説明）
以下、図８に示すフローチャートを用いて第一の実施形態における顔向き推定の動作を説明する。画像入力手段１では、画像を取得し（ステップＡ１）、
取得した画像の両目の位置を抽出し、それぞれ（Ｅｒ，Ｅｌ）とする（ステップＡ２）。両目の位置の取得方法については、ユーザーが手動で与えても、特開平１１−２８１６６１号公報のように肌色領域内を目のテンプレートマッチングにより自動で抽出しても構わない。
【００５１】
なお、画像によって顔の位置や大きさが異なると処理が複雑になるため、左右対称な特徴点（両目）の間隔距離を用いて、大きさを揃える処理を行う。入力画像中の左右対称な顔の特徴点として、ここでは両目の位置を用いることとするが口の両端や鼻の穴の位置などを用いても構わない。例えば、２５６ｘ２５６画素サイズの画像に対し、両目の位置を被撮像者の右目の座標を（９７，１００）、左目の座標を（１６０，１００）にするように画像を幾何学変換（平行移動・縮小拡大・回転）操作で行うことができる。
【００５２】
顔向き変換手段２では、入力手段１で得られた両目の位置を利用して、顔立体形状モデルにより顔向きを変更する。ただし、入力画像中の顔の向きが未知であるため、顔の向きをφと仮定し、入力画像の顔向きと最も類似するφ方向を向いた顔立体形状モデルを以下のステップで抽出する。
【００５３】
まず、ある探索角φに対し、φ度向きの顔立体形状モデルを生成する（ステップＡ３）。この顔立体形状モデルへと入力画像の顔の位置合わせを行い、顔立体形状モデルにマッピングする（ステップＡ４）。そして、０度（正面）へ−φ度の向き補正（ステップＡ５）を行う。
【００５４】
特定方向顔向き評価手段３では、顔向き補正後の顔の正面らしさ表す評価尺度として正面顔度を計算する（ステップＡ６）。
【００５５】
正面顔度の計算方法としては、予め一人または複数人の正面画像から正面を向いた人物の顔テンプレートを作成しておき、このテンプレートと補正画像との輝度値の差分の絶対値をとることで類似度を計算することができる。計算方法としては、式（１）に示すように原画像とテンプレート画像との差の絶対値を総画素数で割ったものの総和を正面顔度Ｓ１とする方法を用いる。
【００５６】
【数１】
2004094491.tif 000003
【００５７】
ただし、Ｆ（ｘ，ｙ）、Ｔ（ｘ，ｙ）はそれぞれ入力画像およびテンプレート画像の座標（ｘ，ｙ）における輝度値を表す関数であり、Ｘｍａｘ，Ｙｍａｘはそれぞれ画像の横および縦幅を表す定数である。
【００５８】
顔の向きの探索角φが設定角度内かの判定を行う（ステップ７）。とり得る範囲としては真横より前向きの顔の向きが推定角度の対象となるため、設定角度は−９０度から＋９０度となるが、顔向きの角度が予め限定されている場合は、限定角度内で探索を行うと良い。探索角度が範囲内の場合は、探索角度を新たに仮定し、ステップ３，４，５，６の処理を繰り返す（ステップＡ８）。
【００５９】
新たに仮定する角度は前回の探索角度を１度増やしたものとする。顔向き推定角度の精度を上げたい場合は増やす幅を細かく、精度を落しても顔向き推定処理の速度をあげたい場合では、増やす幅を粗くすると良い。
【００６０】
顔向き出力手段４では、設定角度内の探索終了後に、最も正面顔度が高くなる変換を行った顔向き角度を出力することで、顔向き推定を行う（ステップＡ９）。
【００６１】
上記では顔向き方向が横向き方向のみの場合について説明したが、縦方向を加えた場合については、図９に示すフローチャートを用いて本発明の動作の説明を行う。
【００６２】
図９において、上下方向の角度θを制御するステップＡ１７、Ａ１８を設けたことと、Ａ３に代わり上下方向の角度θにも対応した３Ｄモデル作成ステップＡ１３を設けたこと、Ａ９に代わり上下方向の角度θにも対応した顔向き方向出力ステップＡ１９を設けたこと以外は図８と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６３】
顔向き変換手段２では、探索範囲内の（φ，θ）の全ての組み合わせをについて３Ｄモデルを生成する（図９ステップＡ１３）。
【００６４】
特定方向顔向き評価手段３では、正面顔度を計算することで、最も正面顔度の高い（φ，θ）を出力することで顔向き推定を行う（ステップＡ１９）。
【００６５】
上記の設定角度範囲内を全て探索する方法以外では、評価値があるしきい値を超えた場合に、ループ処理を打ち切りその角度を出力する方法を用いても良い。
【００６６】
（発明の他の実施の形態）
（第２の実施形態）
次に、第２の実施形態を図１０を参照して詳細に説明する。図１０は本発明の第２の実施形態による顔向き推定の主要部構成を示すフローチャート図である。
【００６７】
図１０において、第２の実施形態による顔向き推定の主要部は左右対称度を計算するステップＡ２６を設けた以外は図８に示す第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６８】
人物の正面顔はほぼ左右対称となるため、左右対称性を計ることで正面顔度を計算することができる。正面顔の左右対称性を利用する正面顔度評価方法では、顔テンプレートを予め作成する必要がないことや、自分自身の顔のみを用いて計算するため、各個人により異なる肌の色・顔の形に影響を受けずに計算を行える。
特定方向顔向き評価手段３では、計算方法として式（２）に示すように、左右反転させた画像と原画像との比較により左右対称の度合いにより正面顔度Ｓ２を計算する。これにより横向き方向の顔の向きφを推定する。（ステップＡ２６）
本方法を用いて横向き方向φを最初に推定したのち、図９に示した方法を用いて上下方向の向きθを推定することも可能である。
【００６９】
【数２】
2004094491.tif 000004
【００７０】
（第３の実施形態）
次に、第３の実施形態を図１０を参照して詳細に説明する。以上の説明では、変換後の角度を０度、つまり正面としたが、正面以外の角度を利用してもよく、図１１のように、例えば真横の９０度としてもよい。つまりこの場合では、入力画像の顔向きをφと仮定し、φ傾いた顔立体形状モデルに入力顔画像をマッピングし、（９０−φ）度変換を行った際に顔向き変換顔が真横顔であれば、入力画像の顔向きがφと判定できる。
【００７１】
図１２は本発明の第３の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１２において、本発明の第３の実施形態による顔向き推定方法の主要部は顔モデルを真横へ向き補正するステップＡ３５と顔向き変換顔の真横顔らしさ表す真横顔類似度を計算するステップＡ３６とを設けた以外は図８に示す第１の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７２】
（第４の実施形態）
次に、第４の実施形態を図１３を参照して詳細に説明する。
【００７３】
いままでの説明では、入力画像中の顔向き（φ，θ）を求めるために、ループによる探索をおこなったが、並列に処理することもできる。図１３は本発明の第４の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１３において、第４の実施形態による顔向き推定方法の主要部は図９に示す本発明の第一の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７４】
様々な探索角度での正面顔度評価は、様々な角度での補正画像を並列に作成し、その中から最良の角度を抽出する。例えば、−９０度から＋９０度までの５度おきの角度に対しての処理を並列に行い、最も高い正面顔度を持つ角度を出力する。
【００７５】
（第５の実施形態）
次に、第５の実施形態を図１４を参照して詳細に説明する。第５の実施形態は、第１の実施形態における顔立体形状モデルとして、楕円体モデルを用いる。本発明の第１〜４の実施形態は上記説明では、顔立体形状モデルを用いて顔向変換を行ったが、顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルであるため、情報量が多く、顔向き変換処理も複雑となり、大型コンピュータ以外では処理時間がかかり有効とならない場合がある。
【００７６】
このような場合では、簡略化した顔立体モデルを用いると良い。簡略化顔立体モデルとしては、図１４に示すような楕円体を用いる。図１４の＋印で示したように、楕円体の表面上に両目の位置を定義し顔立体モデルとする。これにより、処理時間を短縮することが出来る。
【００７７】
（第６の実施形態）
次に、第６の実施形態を詳細に説明する。
【００７８】
本発明の第６の実施形態は、第１〜５の実施形態における顔立体形状モデルによる顔向き変換手段に代わり、イメージ・ワーピングを用いた顔向き変換を行うことを特徴とする。
【００７９】
ワーピングとは人の顏が動物の顔へ移行するような例で言えば、目の位置や、顔の輪郭を対応づけすることにより、画素の色だけでなく形全体が対応づけられた場所へと移動するようにワープさせる画像処理である。これにより、顔の向き変換は、物理的な立体モデルを用なくとも、画像の変換パラメータを学習画像により学習させることで行える。
【００８０】
例えば、人物Ａの正面向きの顔画像をＩｍｇＡ０、人物Ａの＋３０度向きの顔画像をＩｍｇＡ３０とした際に、ＩｍｇＡ０の画素がＩｍｇＡ３０のどの画素に対応しているかを示す変換パラメータは、オプティカルフローに代表される変換ベクトルで表すことができ、この変換ベクトルを
【００８１】
【数３】
2004094491.tif 000005
【００８２】
とする。このとき、人物Ｂの正面向きの顔画像をＩｍｇＢ０、ＩｍｇＡ０の画素がＩｍｇＢ０のどの画素に対応しているかを示す変換ベクトルを
【００８３】
【数４】
2004094491.tif 000006
【００８４】
とすると、人物Ｂの＋３０度向きの顔画像ＩｍｇＢ３０は、ＩｍｇＡ０を
【００８５】
【数５】
2004094491.tif 000007
【００８６】
変換することで求めることができる。
【００８７】
この変換パラメータの推定および変換画像の合成については、Ｄ．　Ｂｅｙｍｅｒ，　Ａ．　Ｓｈａｓｈｕａ，　ａｎｄ　Ｔ．　Ｐｏｇｇｉｏ，　Ｅｘａｍｐｌｅ　Ｂａｓｅｄ　Ｉｍａｇｅ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｓｙｎｔｈｅｓｉｓ，　Ａ．Ｉ．Ｍｅｍｏ　１４３１，　ＭＩＴ，　１９９３に詳しい。
【００８８】
（第７の実施形態）
次に、第７の実施形態を詳細に説明する。
【００８９】
本発明の第７の実施形態は、第１〜６の実施形態における顔向き推定方向の出力を特定方向のカテゴリーとして出力することを特徴とする。
【００９０】
第１〜６の実施形態では、顔向き推定方向の出力を角度（φ，θ）として出力しているが、正確な顔向き推定が必要なく、ラフな顔向きのみでよい用途では、顔向き方向をおおまかなカテゴリーに分類し、そのカテゴリーを出力することもできる。
【００９１】
例えば、顔向き方向を正面・上・下・右・右上・右下・左・左上・左下の９つのカテゴリーに分類し、出力するとよい。カテゴリーへの分類方法としては、推定方向の角度（φ，θ）を以下のようなしきい値処理により行う。
正面：　−５＜＝φ＜＝＋５　かつ　−５＜＝θ＜＝＋５
上：　　−５＜φ＜＋５　かつ　＋５＜θ
下：　　−５＜φ＜＋５　かつ　θ＜−５
右：　　φ＜−５　かつ　−５＜θ＜＋５
右上：　φ＜−５　かつ　＋５＜θ
右下：　φ＜−５　かつ　θ＜−５
左：　　＋５＜φ　かつ　−５＜θ＜＋５
左上：　＋５＜φ　かつ　＋５＜θ
左下：　＋５＜φ　かつ　θ＜−５
また、９つのカテゴリーを代表する角度（φ，θ）に対し正面顔度をそれぞれ計算し、最も高い正面顔度をもつカテゴリーを出力させると、正面顔度の計算回数がカテゴリー数となるため、計算コストを減少させることができる。上記の例では、代表方向の角度（φ，θ）として例えば、
正面：　（０，０）
上：　　（０，＋１０）
下：　　（０，−１０）
右：　　（−１０，０）
右上：　（−１０，＋１０）
右下：　（−１０，−１０）
左：　　（＋１０，０）
左上：　（＋１０，＋１０）
左下：　（＋１０，−１０）
の９通りの組み合わせ例を選び、これらのみを用いて顔向き方向のカテゴリー分類を行うことができる。
【００９２】
（第８及び第９の実施形態）
次に、第８，９の実施形態を図１６および図１７を参照して詳細に説明する。図１６，１７はそれぞれ第８および第９の実施形態による顔向き推定装置の主要部構成を示すブロック図である。
【００９３】
図１６，１７において、第８および第９の実施形態による顔向き推定装置の主要部は照明変動除去手段１０，１１を設けた以外は図１に示す本発明の第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００９４】
また、同一構成要素の動作は本発明の第１の実施形態による顔向き推定装置の主要部と同様である。本発明の第８および第９の実施形態は、入力画像中の顔が照明方向の影響を受けている場合に用いる。
【００９５】
照明方向の影響とは、図１５に示すように、顔の向きに関わらず、照明光源の方向や光源の強度の違いにより、顔の明るさが異なるため、同一方向を向いた顔であっても輝度値が異なることを言う。
照明変動除去は、顔画像（Ｘｍａｘ，Ｙｍａｘ）の画素をＸｍａｘ×Ｙｍａｘ次元のベクトル
【００９６】
【数６】
2004094491.tif 000008
【００９７】
とみなして作られる画像空間による方法を用いる。
【００９８】
ある顔向きにおける様々な照明変動を受けたＮ個の顔画像ベクトル
【００９９】
【数７】
2004094491.tif 000009
【０１００】
が張る照明変動空間は、画像空間において凸錐体をなしている。この照明変動空間の大部分は、低次元の線形空間に含まれているため、入力画像における照明変動の成分はこれらの低次元の線形空間で近似できることが知られている。
【０１０１】
そこで、照明変動成分を表す空間の基底ベクトルを主成分分析を用いて求める。式（３）に示すように、画像ベクトル
【０１０２】
【数８】
2004094491.tif 000010
【０１０３】
を並べて作成される行列Ｓの共分散行列Ｖを求め、Ｖの固有値σｉが大きい順に固有ベクトル
【０１０４】
【数９】
2004094491.tif 000011
【０１０５】
をＭ個求める。
【０１０６】
【数１０】
2004094491.tif 000012
【０１０７】
【数１１】
2004094491.tif 000013
【０１０８】
は照明変動下での平均的な顔成分を表しているため、入力画像の顔画像ベクトルに含まれる照明変動成分は、Ｍ−１個の固有ベクトル
【０１０９】
【数１２】
2004094491.tif 000014
【０１１０】
を用いて近似することができる。つまり、
【０１１１】
【数１３】
2004094491.tif 000015
【０１１２】
が照明変動成分を表す空間の基底ベクトルとなる。入力画像の顔画像ベクトルを、固有ベクトル
【０１１３】
【数１４】
2004094491.tif 000016
【０１１４】
に射影したベクトル
【０１１５】
【数１５】
2004094491.tif 000017
【０１１６】
が入力画像中の照明変動を表しており、入力画像から照明変動成分
【０１１７】
【数１６】
2004094491.tif 000018
【０１１８】
を差し引くことで照明変動を除去することができる。詳しくは、「照明条件と姿勢の両者の自動補正による顔照合」電子情報通信学会信学技報ＰＲＭＵ２００１−１６２　ｐｐ．５９−６４を参照のこと。
【０１１９】
上記の照明変動除去処理を、想定される顔向き範囲の様々な顔向き画像に対して予め行っておくことで、任意の入力画像の顔向きに対し、照明変動除去を行うことができる。
【０１２０】
次に、第８の実施形態を図１６を参照して詳細に説明する。図１６に示す実施形態が図１に示す第１の実施形態と異なる点は、任意顔向きでの照明変動除去手段１０を設けた点である。任意顔向きでの照明変動除去手段１０は、画像入力手段１で取得した顔画像における照明変動除去を行う。
【０１２１】
入力画像の照明変動成分を除去した上で顔向き変更および顔向き評価を行うことで顔向き判定を行う。
【０１２２】
次に、第９の実施形態を図１７を参照して詳細に説明する。
【０１２３】
図１７に示す実施形態が図１に示す第１の実施形態と異なる点は、特定顔向きでの照明変動除去手段１１を設けた点である。特定顔向きでの照明変動除去手段１１は、顔向き変換手段２で特定方向へ顔向き変換した顔画像における照明変動除去を行う。このため、図１６に示した実施形態のように任意の顔向きに対する照明変動除去が不要となり、特定の顔向きγに対して照明変動除去を行うだけで済む。
【０１２４】
以上、本願発明を説明したが、本実施の形態で開示した機能手段をコンピュータで実行可能なプログラムによって、本願発明を実施することも可能である。この場合、第１の実施の形態においては、顔向き変換手段２、特定方向顔向き変換手段３等をコンピュータによって実現するプログラムを作成し、コンピュータに備えるＣＰＵ等によって当該プログラムを実行することによって、本願発明が実現可能である。
【０１２５】
【発明の効果】
第１の効果は、正面顔の左右対称性など、特定の顔向き方向に特化した特長を用いて顔向き評価を行うことができることである。
【０１２６】
このため、正面顔では、左右対称性を評価することでテンプレートを用いずに顔向き評価を行うことができる。その理由は、変換後の顔が特定方向の顔の特徴を最も満足する顔向き変換パラメータを探索することで顔向き推定を行うためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】＋３０度の方向を向いた入力顔画像を示す図である。
【図３】−２０度の顔立体形状モデルの正面へ変換を示す図である。
【図４】−２０度の顔立体形状モデルに入力画像をマッピングした図である。
【図５】顔の特徴点を示す図であり、左から両目、両口の端、鼻の穴、両眉の両端を示す図である。
【図６】＋３０度の顔立体形状モデルの正面へ変換を示す図である。
【図７】＋３０度の顔立体形状モデルに入力画像をマッピングした図である。
【図８】本発明の動作を説明するためのフローチャートである。
【図９】本発明の動作を説明するためのフローチャートである。
【図１０】本発明の第２の実施の動作を説明するためのフローチャートである。
【図１１】＋３０度の顔立体形状モデルの真横へ変換を示す図である。
【図１２】本発明の第３の実施の動作を説明するためのフローチャートである。
【図１３】本発明の第５の実施の動作を説明するためのフローチャートである。
【図１４】楕円体を用いた顔立体形状モデルを示す図である。
【図１５】照明変動を受けた画像の例を示す図である。
【図１６】本発明の第８の実施の形態のブロック図である。
【図１７】本発明の第９の実施の形態のブロック図である。
【図１８】マッピングを用いた顔向き方向変換の例を示す図である。
【図１９】マッピングを用いた顔向き方向変換の例を示す図である。
【図２０】従来技術を説明するブロック図である。
【符号の説明】
１　　　　　　画像入力装置
２　　　　　　顔向き変更手段
３　　　　　　特定方向顔向き評価手段
４　　　　　　顔向き出力手段
１０　　　　　任意顔向きでの照明変動除去手段
１１　　　　　特定顔向きでの照明変動除去手段
【図１】
2004094491.tif 000019
【図２】
2004094491.tif 000020
【図３】
2004094491.tif 000021
【図４】
2004094491.tif 000022
【図５】
2004094491.tif 000023
【図６】
2004094491.tif 000024
【図７】
2004094491.tif 000025
【図８】
2004094491.tif 000026
【図９】
2004094491.tif 000027
【図１０】
2004094491.tif 000028
【図１１】
2004094491.tif 000029
【図１２】
2004094491.tif 000030
【図１３】
2004094491.tif 000031
【図１４】
2004094491.tif 000032
【図１５】
2004094491.tif 000033
【図１６】
2004094491.tif 000034
【図１７】
2004094491.tif 000035
【図１８】
2004094491.tif 000036
【図１９】
2004094491.tif 000037
【図２０】
2004094491.tif 000038