(57)【特許請求の範囲】
【請求項１】
複数フレームからなる時系列画像に映った対象の向きを検出するために各フレームの画像で前記対象が占める領域を検出する画像処理装置であって、
前記時系列画像の各フレームの画像について、解像度の異なる複数の画像を階層的に生成する階層化手段と、
前記階層化手段によって生成された解像度の異なる各解像度の画像の各画素において位相を計算する位相計算手段と、
各解像度の画像について前記複数のフレーム間での位相差を検出する位相差計算手段と、
前記位相差に基づいて各画素の動きを推定する動き推定手段と、
前記動きに対して該当する画素の数の分布を表すヒストグラムを求める分布計算部と、
前記ヒストグラムのピークに対応する動きを前記対象の動きとして推定する対象動き推定手段と、
前記対象の動きに相当する領域を前記対象の候補領域として抽出する候補領域抽出手段と、
前記候補領域に含まれる各画素の座標の平均および分散に基づいて上記時系列画像の各時点において前記対象の占める領域の中心および範囲を決定する対象領域決定手段と、
を具備する画像処理装置。
【請求項２】
複数フレームからなる時系列画像に映った対象の向きを検出するために各フレームの画像で前記対象が占める領域を検出する画像処理装置であって、
前記時系列画像の各フレームの画像について、解像度の異なる複数の画像を階層的に生成する階層化手段と、
前記階層化手段によって生成された解像度の異なる各解像度の画像の各画素において位相を計算する位相計算手段と、
各解像度の画像について前記複数のフレーム間での位相差を検出する位相差計算手段と、
前記位相差に基づいて各画素の動きを推定する動き推定手段と、
前記位相差に基づいて各画素の動きの信頼度を計算する信頼度計算手段と、
前記動きに対して該当する画素における前記信頼度の和の分布を表すヒストグラムを求める分布計算部と、
前記ヒストグラムのピークに対応する動きを前記対象の動きとして推定する対象動き推定手段と、
前記対象の動きに相当する領域を前記対象の候補領域として抽出する候補領域抽出手段と、
前記候補領域に含まれる各画素の座標の平均および分散に基づいて上記時系列画像の各時点において前記対象の占める領域の中心および範囲を決定する対象領域決定手段と、
を具備する画像処理装置。
【請求項３】
複数フレームからなる時系列画像に映った対象の向きを検出するために各フレームの画像で前記対象が占める領域を検出する画像処理装置が行う画像処理方法であって、
前記時系列画像の各フレームの画像について、解像度の異なる複数の画像を階層的に生成する階層化ステップと、
前記階層化ステップで生成された解像度の異なる各解像度の画像の各画素において位相を計算する位相計算ステップと、
各解像度の画像について前記複数のフレーム間での位相差を検出する位相差計算ステップと、
前記位相差に基づいて各画素の動きを推定する動き推定ステップと、
前記動きに対して該当する画素の数の分布を表すヒストグラムを求める分布計算ステップと、
前記ヒストグラムのピークに対応する動きを前記対象の動きとして推定する対象動き推定ステップと、
前記対象の動きに相当する領域を前記対象の候補領域として抽出する候補領域抽出ステップと、
前記候補領域に含まれる各画素の座標の平均および分散に基づいて上記時系列画像の各時点において前記対象の占める領域の中心および範囲を決定する対象領域決定ステップと、
を具備する画像処理方法。
【請求項４】
複数フレームからなる時系列画像に映った対象の向きを検出するために各フレームの画像で前記対象が占める領域を検出する画像処理装置が行う画像処理方法であって、
前記時系列画像の各フレームの画像について、解像度の異なる複数の画像を階層的に生成する階層化ステップと、
前記階層化ステップで生成された解像度の異なる各解像度の画像の各画素において位相を計算する位相計算ステップと、
各解像度の画像について前記複数のフレーム間での位相差を検出する位相差計算ステップと、
前記位相差に基づいて各画素の動きを推定する動き推定ステップと、
前記位相差に基づいて各画素の動きの信頼度を計算する信頼度計算ステップと、
前記動きに対して該当する画素における前記信頼度の和の分布を表すヒストグラムを求める分布計算ステップと、
前記ヒストグラムのピークに対応する動きを前記対象の動きとして推定する対象動き推定ステップと、
前記対象の動きに相当する領域を前記対象の候補領域として抽出する候補領域抽出ステップと、
前記候補領域に含まれる各画素の座標の平均および分散に基づいて上記時系列画像の各時点において前記対象の占める領域の中心および範囲を決定する対象領域決定ステップと、
を具備する画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像中の人物の顔画像の顔領域を切り出し、高精度の顔向き計算を行なう時系列画像処理装置及び方法に関する。
【０００２】
【従来の技術】
顔画像による顔向き計算は、２次元顔画像からその人物の顔がどちらを向いているかを求める技術であり、様々な分野で利用可能である。しかしながら、カメラで撮影した画像中の顔画像を用いてその顔の向いている方向（顔向き）をコンピュータを利用してリアルタイムで自動的に求めることはコンピュータビジョン分野の最先端技術をもってしても未解決の問題であり、顔向き計算の応用分野はまだ顕在化しているとは言えない。
【０００３】
ここで顔向き計算技術が実用レベルに到達すれば、乗り物の運転者、展示物の観客、コンソール端末の操作者、ゲーム端末の操作者などに対して顔向き計算技術が応用可能である。乗り物の運転者に対しては、顔向き計算により運転に支障となる脇見を検知して警報を鳴らせたり、顔向きに応じて安全運行のための適切な情報を提示することができる。また  展示物の観客に対しては、顔向き計算により観客の注目している展示を見極めて、その展示に関する情報を自動提示することができる。コンソール端末の操作者に対しては、顔向き計算により操作しようとしている表示窓を特定してカーソルを移動させて業務効率を高めることができる。ゲーム端末の操作者に対しては、顔向き計算によりゲーム環境の視点を変更したり、シューティングの狙いを定めたり、首振り動作を用いて登場人物とのコミュニケーションに役立てたりすることができる。
【０００４】
先行する顔向き計算方法には、大きく分けて２通りの方法がある。第１の方法は、目鼻口などの顔の特徴点を検出してそれらの画像座標を用いて幾何学的に向きを計算する方法（特願２００１−３３５６６６、出願明細書参照）であり、第２の方法は、向き毎の顔画像パターンをそのまま或いは次元圧縮してテンプレートとし、顔全体のパターンマッチングにより最もマッチしたテンプレートに対応する向きを顔の向きと判定する方法（特願２００１−３３５６６３、出願明細書参照）である。
【０００５】
第１の従来方法は特徴点の座標が正確に求まりさえすれば顔向きも正確に計算できる精密な方法だが、目鼻口などの顔の特徴点の検出の成功が前提となる。また第２の従来方法は、特徴点の座標を求める必要が無いため、特徴点トラッキングの失敗による破綻は無く頑健な手法であるが、予め所定の向きの顔画像データを撮影して向き毎のテンプレートを作成しておく必要がある。
【０００６】
第１の方法における特徴点検出や、第２の方法におけるテンプレート作成など、顔向き計算の手法に共通することは、画像中からの顔領域の正しい抽出が前処理として必要であることである。
【０００７】
しかしながら、画像中からの顔領域の抽出には決定的に有効な方法が存在するわけではない。例えば肌色情報を用いたり、スネークという動的輪郭モデルを用いる方法があるが、肌色の検出は照明条件や個人差の影響を受け易く、また、スネークは計算時間が膨大なことが欠点である。また、顔画像のパターンを辞書テンプレートとして保持しておき、類似するパターンを画像中から見つけ出す方法が広く用いられているが、撮像系や照明環境の違い等から動作が安定する保証はない。
【０００８】
【発明が解決しようとする課題】
上述したように、顔向き計算方法の従来技術における問題には、前処理として必要な画像中からの顔領域抽出の安定性があった。
【０００９】
本発明は上記のような点に鑑みなされたもので、われわれは顔向き計算にあたって用いられる顔領域検出の技術として、運動物体である顔の領域を特に時系列画像から画像間の動き情報に基づいて安定に抽出することのできる動画像処理装置及び動画像処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、複数フレームからなる時系列画像を取り込む画像取り込み手段と、この画像取り込み手段によって取り込まれた時系列画像の複数フレームの画像から画像間での各画素の動きを検出する動き検出手段と、この動き検出手段によって検出された上記時系列画像の各画素の動きから画像に含まれる対象の領域の候補を抽出する候補領域抽出手段と、その抽出された候補領域に含まれる各画素の座標に関する統計解析演算を行うことにより、上記時系列画像の各時点において対象の占める領域を決定する対象領域決定手段と、この対象領域決定手段により決定された領域の画像を用いて対象の向きを検出する向き決定手段とを具備したことを特徴とする時系列画像処理装置を提供する。
【００１１】
また本発明は、複数フレームからなる時系列画像を取り込む画像取り込みステップと、この画像取り込みステップによって取り込まれた時系列画像の複数フレームの画像から画像間での各画素の動きを検出する動き検出ステップと、この動き検出ステップによって検出された上記時系列画像の各画素の動きから画像に含まれる対象の領域の候補を抽出する候補領域抽出ステップと、その抽出された候補領域に含まれる各画素の座標に関する統計解析演算を行うことにより、上記時系列画像の各時点において対象の占める領域を決定する対象領域決定ステップと、この対象領域決定ステップにより決定された領域の画像を用いて対象の向きを検出する向き決定ステップとを具備したことを特徴とする時系列画像処理方法を提供する。
【００１２】
すなわち、本発明は、人物顔などの動きのある対象を含むシーンの撮影により時系列的に得られる画像から、画像間での各画素の動きを検出するとともに、各画素の動きからシーンに含まれる対象の領域の候補を抽出し、候補の領域に含まれる各画素の座標の分布に関して統計解析を施すことにより、画像中に対象の占める領域を決定し、決定された領域の画像を用いて人物の顔向きを検出するものである。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１４】
図１に、本発明の基本的な構成例を示す。画像取込み部０は、対象を含む時系列画像を取り込むカメラなどにより構成される。画像取り込み部０により得られた動画像系列から、顔領域特定部１により顔の領域を特定し、この特定された領域を顔向き検出部２における顔向の計算に利用する。
【００１５】
顔領域特定部１は、図２に示すように画像間動き検出部１２、候補領域抽出部１３、対象領域決定部１４から構成される。画像間動き検出部１２では、時系列画像の各画素の動きを検出する。候補領域抽出部１３では、対象の動きの分布と動きの信頼度から対象の動きを推定し、同様の動きを持った領域を対象領域の候補として特定する。 最後に、対象領域決定部１４により、対象領域の候補に含まれる画像中の座標に関して統計解析を行うことで対象領域を決定する。
【００１６】
図３に、画像間動き検出部１２の詳細な構成例を示す。画像間動き検出部１２では、画像取り込み部０により取り込まれた画像の各画素における２フレーム間の動きを画像の位相差から求める。画像階層化部２１において、入力画像を基準として解像度の粗い画像を順々に生成し、例えば４段階の解像度を持つ画像ピラミッドを生成する。例えば入力画像のサイズが２５６×２５６（画素）であれば、これを基にスムージングとサブサンプリング（１／２画素間引き）を繰り返すことにより、順に１２８×１２８、６４×６４などのサイズを持つ画像が生成でき、４段階の場合、最上位の画像サイズは３２×３２となる。
【００１７】
次に、位相計算部２２において、階層構造を持ったこれらの画像の各段において、画像中の各画素における位相を計算する。局所的な位相は一般的な周波数変換を利用して求めることができるが、Ｇａｂｏｒフィルタをはじめとする複素フィルタによっても等価な計算を効率的に行えることが知られており、フィルタの設計次第で様々に近似的な計算を行う方法が考えられる。
【００１８】
ここでは特に、少ない演算量で水平方向の動きを検出する目的に適した複素フィルタを用いた位相計算の具体例を示す。顔の動きの構成要素としては水平方向の成分が支配的であることから、顔領域の特定にあたっては、水平方向の動きの検出が有効である。
【００１９】
この際、複素フィルタには虚部と実部の対に各々一次微分フィルタｄ１と二次微分フィルタｄ２を割り当て、一次微分フィルタｄ１には（１、０、−１）、二次微分フィルタｄ２には（１、０、−２、０、１）などのフィルタ係数を用いる。これらのフィルタと入力画像Ｉとの座標（ｘ，ｙ）における畳み込みの出力Ｖ（ｘ，ｙ）は
【００２０】
【数１】
0004039659.tif 000002
【００２１】
のように複素表示でき、その位相は
【００２２】
【数２】
0004039659.tif 000003
【００２３】
となる。
【００２４】
次に、動き計算部２３において、上記の位相に基づいた動き推定を行う。空間的な動きは、信号の周波数を介して周波数領域における位相差に比例するため、座標（ｘ，ｙ）で、ｋ番目のフレームと直前の（ｋ−１）番目のフレームとの間の動きＭ（ｘ，ｙ）は
【００２５】
【数３】
0004039659.tif 000004
【００２６】
と記述できる。ここにＶk（ｘ，ｙ）およびＶk-1（ｘ，ｙ）は各々フレームｋとフレームｋ−１における位相を、ω（ｘ，ｙ）はその座標における周波数を表す。周波数は位相Ｖk（ｘ，ｙ）を空間的に微分することで
【００２７】
【数４】
0004039659.tif 000005
【００２８】
のように計算できる。あるいは複素フィルタの中心周波数による表現も可能であり、上記フィルターに関してはω（ｘ，ｙ）=π／２となる。計算できる動きの大きさの上限は複素フィルターのサイズによって決まり、上記の設計では２画素が最大であるが、前記画像階層化部２１で生成された解像度の異なる画像を入力とした段階的な計算により、大きな動きに対応することが出来る。
【００２９】
また、動き値評価部２４では、上記により推定された動きの信頼度を計算する。位相計算部２２におけるフィルター出力Ｖ（ｘ，ｙ）のパワーを｜Ｖ（ｘ，ｙ）｜とし、信頼度Ｃ（ｘ，ｙ）を次のように定義する。
【００３０】
【数５】
0004039659.tif 000006
【００３１】
この定義式は、フィルタリングの出力が大きい程、またフレーム間で比較されている座標における出力の値が近い程、高い値をもつことから、推定された動きＭ（ｘ，ｙ）の信頼度の指標として利用することが出来る。
【００３２】
図４に、前記候補領域検出部１３の詳細な構成例を示す。前記動き計算部２３によれば、入力画像の各画素（ｘ，ｙ）において動きがＭ（ｘ，ｙ）として得られる。動き分布作成部３１では、画像中の動きＭ（ｘ，ｙ）の分布ヒストグラムを作成する。基本的には得られた動きを量子化し、動きの量に対応する画素数をカウントすることで動き分布のヒストグラムが作成できる。
【００３３】
動き値評価部２４によれば各画素における動きＭ（ｘ，ｙ）に関する信頼度Ｃ（ｘ，ｙ）が計算されるため、動き分布作成部３１ではこれを利用し、動きの量に対して該当する画素における信頼度の和の分布をヒストグラム化する。
【００３４】
次に、対象動き推定部３２では、動き分布作成部３１で得られている動き分布のヒストグラムから、入力画像に含まれる対象(ここでは顔を指す)の動きを推定する。固定カメラによって顔の画像を撮影する場合、初期条件として静止した背景を仮定すると、対象に動きがなければ画像中のあらゆる画素の動きは零となることから、ヒストグラムでは唯一のピークが動き零の位置に存在することになる。対象に動きが発生すると、その動きの量に対応して別のピークがヒストグラムに現れる。
【００３５】
図６に動き分布ヒストグラムの例をグラフで示す。従ってピークの位置Ｍｐから対象の動きの量を推定することが出来る。候補領域特定部３３では対象動き推定部３２で推定された対象の動きＭｐに基づいて対象の候補領域を特定する。つまり、入力画像の中から、動き計算部２３によって計算された動きＭ（ｘ，ｙ）が、対象の動きＭｐに近い画素を候補領域として特定する。ここで、対象の動きが止まりＭｐ＝０となったときは、動きがないという事実を利用し、前フレームで特定された候補領域を現フレームにおける候補領域とする。これにより、各画素においてＭ（ｘ，ｙ）＝０であると同時にＭｐ＝０となる状況で、全画素が候補領域となる状況を回避することができる。
【００３６】
図５に、前記対象領域決定部１４の詳細な構成例を示す。座標分布作成部４１では前記候補領域特定部３３において特定された候補領域に含まれる画素の座標の分布を作成する。入力画像の水平方向の各座標ｘに対して候補領域に特定されている画素数を垂直方向にカウントし、その和をＮｈ（ｘ）とおく。同様に、入力画像の垂直方向の各座標ｙに対して候補領域に特定されている画素数を水平方向にカウントし、その和をＮｖ（ｙ）とおく。この結果、対象領域に含まれる画素の座標の水平・垂直各方向に見た分布が得られる。
【００３７】
最後に、座標統計解析部４２は、前記座標分布作成部４１において得られた候補領域の座標の分布に正規分布をあてはめることにより対象の領域を決定する。水平方向には、分布Ｎｈ（ｘ）に関する解析により平均μｘ、分散σｘを求め、μｘを対象領域の中心、σｘをその広がりの指標とする。垂直方向の分布Ｎｖ（ｙ）についても同様に平均μｙ、分散σｙを求めす。これらより対象領域を、中心を（μｘ，μｙ）、水平、垂直方向の広がりを各々σｘ，σｙとする領域として決定する。
【００３８】
顔領域特定部１により特定された領域を、顔向き検出部２における顔向の計算に利用する。顔向き検出部２では、大きく分けて２通りの方法で顔向の計算を行うことができる。例えば、所定の方向からの顔向き毎にテンプレートを作成する方法では、顔領域中の顔向き毎の顔画像パターンをあらかじめ収集した上で、顔画像をそのまま或いは次元圧縮してテンプレートとし，顔全体のパターンマッチングにより最もマッチしたテンプレートに対応する向きを顔の向きと判定する。この方法では、顔向き計算をパターン分類問題として扱い、顔向きの結果を離散値で出力する。
【００３９】
また一方、特徴点のテンプレートマッチによる顔向き推定では、まず顔領域における目、鼻、口などの顔の特徴点を数フレームにわたって抽出し、それらの画像座標を解析することで特徴点群の立体的な配置を顔のモデルとして獲得する。その上で、各入力画像において特徴点の座標を求めることにより、顔のモデルとの比較から顔向きを幾何学的な連続値で計算する。
【００４０】
なお、本発明は上記実施例で記載した内容に限定されるものではない。例えば、座標分布作成部４１において、候補領域に含まれる画素の座標の分布を作成する際に画素数をカウントしているが、各画素につき１をカウントする以外に他の量をカウントしてもよい。例として、各画素における動きＭ（ｘ，ｙ）に関する信頼度Ｃ（ｘ，ｙ）が適用できる。あるいは、候補領域に含まれると判断された画素の間にもＭ（ｘ，ｙ）の値がＭｐと近いほどカウントする量に重み付けを行うことにより、座標統計解析部４２における正規分布のあてはめを、より安定したものにすることができる。
【００４１】
また、顔領域特定部１は顔向き検出部２の前処理として単独で利用するのみでなく、顔向き検出部２によって得られる顔向きの情報をフィードバックして用いることによる性能の向上も考えられ、さらには顔画像の辞書パターンとの照合など、従来法との適切な組合せを含む変形により改良が可能である。
【００４２】
一方、顔領域特定部１に含まれる一連の処理において対象は顔に限定されず、固定カメラの捉えた映像から、一般に動きのある対象の領域を決定する目的に応用することもできる。このように、本発明は部分的な要素処理の置き換えや他手法との組合せなどにより様々な拡張が可能である。
【００４３】
【発明の効果】
本発明によれば、動きを伴った顔などの対象を含むシーンの撮影により時系列的に得られる画像を入力に、画像間の各画素の動きから対象の領域の候補を抽出し、候補に含まれる各画素の座標の分布に統計解析を施すことによって、対象の領域を安定に抽出することのできる動画像処理装置及び動画像処理方法を提供することが可能となり、画像情報に基づいた顔向き計算になどの技術の実現に、大きく貢献する。
【図面の簡単な説明】
【図１】  本発明の基本的な構成を示すブロック図
【図２】  上記図１の顔領域特定部の詳細な構成を示すブロック図
【図３】  上記図２の画像間動き検出部の詳細な構成例を示すブロック図
【図４】  上記図２の候補領域抽出部の詳細な構成を示すブロック図
【図５】  上記図２の対象領域決定部の詳細な構成を示すブロック図
【図６】  上記図３の対象動き推定部３２における動き分布ヒストグラムの例を示すグラフ図
【符号の説明】
０  画像取り込部
１  顔領域特定部
２  顔向き検出部
１２  画像間動き検出部
１３  候補領域抽出部
１４  対象領域決定部
２１  画像階層化部
２２  位相計算部
２３  動き計算部
２４  動き値評価部
３１  動き分布作成部
３２  対象動き推定部
３３  候補領域特定部
４１  座標分布作成部
４２  座標統計解析部
【図１】
0004039659.tif 000007
【図２】
0004039659.tif 000008
【図３】
0004039659.tif 000009
【図４】
0004039659.tif 000010
【図５】
0004039659.tif 000011
【図６】
0004039659.tif 000012