(57)【要約】  顔画像の立体判定における誤判定を低減する画像処理装置、方法及びプログラムを提供する。画像処理装置は、異なる複数の時刻に取得した画像のうち一の時刻の画像に含まれる顔画像の状態が、立体判定を行う条件を満たす準備状態であるか否かを判定する準備判定部１２と、前記一の時刻の画像と異なる他の時刻の画像に含まれる顔画像の状態が、前記準備状態から変化した開始状態であるか否かを判定する開始判定部１３と、前記開始状態であると判定した場合に、前記取得した画像に含まれる顔画像の前記立体判定を行う第１の立体判定部１４と、を有する。
2010134200.tif 000002
【特許請求の範囲】
【請求項１】
異なる複数の時刻に取得した画像のうち一の時刻の画像に含まれる顔画像の状態が、立体判定を行う条件を満たす準備状態であるか否かを判定する準備判定部と、
前記一の時刻の画像と異なる他の時刻の画像に含まれる顔画像の状態が、前記準備状態から変化した開始状態であるか否かを判定する開始判定部と、
前記開始状態であると判定した場合に、前記取得した画像に含まれる顔画像の前記立体判定を行う第１の立体判定部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記準備状態は、前記取得した画像中で前記顔画像が静止している状態であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記開始判定部は、前記準備状態にある顔画像に対して顔画像に動きがある場合に、前記開始状態であると判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記準備状態は、顔画像中の、顔の大きさ、顔の向き及び顔の動き量が設定範囲内にあることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の立体判定部と異なる一以上の第２の立体判定部と、
前記第１の立体判定部及び前記第２の立体判定部のうち、一の立体判定部が前記顔画像を立体であると判定した場合に、前記顔画像を立体であると判定する統合判定部を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
準備判定部が、異なる複数の時刻に取得した画像のうち一の時刻の画像に含まれる顔画像の状態が、立体判定を行う条件を満たす準備状態であるか否かを判定し、
開始判定部が、前記一の時刻の画像と異なる他の時刻の画像に含まれる顔画像の状態が、前記準備状態から変化した開始状態であるか否かを判定し、
第１の立体判定部が、前記開始状態であると判定した場合に、前記取得した画像に含まれる顔画像の前記立体判定を行うことを特徴とする画像処理方法。
【請求項７】
コンピュータを、
異なる複数の時刻に取得した画像のうち一の時刻の画像に含まれる顔画像の状態が、立体判定を行う条件を満たす準備状態であるか否かを判定する準備判定部と、
前記一の時刻の画像と異なる他の時刻の画像に含まれる顔画像の状態が、前記準備状態から変化した開始状態であるか否かを判定する開始判定部と、
前記開始状態であると判定した場合に、前記取得した画像に含まれる顔画像の前記立体判定を行う第１の立体判定部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関する。
【背景技術】
【０００２】
従来から、取得した顔画像を用いてなりすましを判定する技術がある。【０００３】
特開２００６−３３０９３６号公報（特許文献１）は、複数フレームの画像から抽出した、目領域、及び、口領域が同じ動きをする顔の画像を、写真画像等によるなりすまし画像と判定する顔認証技術を開示している。【０００４】
特開２００７−３０４８０１号公報（特許文献２）は、撮影した顔の向きが異なる２つの顔画像から顔特徴点を検出し、顔特徴点が形作る形状が立体物であるか否かを判定する技術を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３３０９３６号公報
【特許文献２】特開２００７−３０４８０１号公報
【非特許文献】
【０００６】
【非特許文献１】「静止画顔認証のための自動顔特徴点検出」，  湯浅  他、電子情報通信学会研究報告，  ＰＲＭＵ２００６−２２２，  ｐｐ．５−１０，  Ｆｅｂ．  ２００７．
【非特許文献２】Ｃ．  Ｔｏｍａｓｉ  ａｎｄ  Ｔ．  Ｋａｎａｄｅ，  “Ｓｈａｐｅ  ａｎｄ  ｍｏｔｉｏｎ  ｆｒｏｍ  ｉｍａｇｅ  ｓｔｒｅａｍｓ  ｕｎｄｅｒ  ｏｒｔｈｏｇｒａｐｈｙ：  ａ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ｖｏｌ．  ９，  ｎｏ．  ２，  ｐｐ．１３７−１５４，  １９９２．
【非特許文献３】徐剛、辻三郎著、３次元ビジョン（共立出版、１９９８年）  ｐｐ．２２
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術では、２次元的な情報のみを利用しているため、写真か立体物かを原理的に区別することは難しかった。また、特許文献２の技術では、撮影した顔画像の位置や人物の姿勢などによっては、顔特徴点が形作る形状が立体物でないと誤判定されることがあった。【０００８】
本発明は、上記の背景に鑑みてなされたものであり、顔画像の立体判定における誤判定を低減することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る画像処理装置は、異なる複数の時刻に取得した画像のうち一の時刻の画像に含まれる顔画像の状態が、立体判定を行う条件を満たす準備状態であるか否かを判定する準備判定部と、前記一の時刻の画像と異なる他の時刻の画像に含まれる顔画像の状態が、前記準備状態から変化した開始状態であるか否かを判定する開始判定部と、前記開始状態であると判定した場合に、前記取得した画像に含まれる顔画像の前記立体判定を行う第１の立体判定部と、を備える。
【発明の効果】
【００１０】
本発明によれば、顔画像の立体判定における誤判定を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】画像処理装置の動作を示すフローチャートを示す図。
【図３】第２の実施形態に係る画像処理装置の構成を示すブロック図。
【図４】コンピュータのハードウェア構成を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を添付図面を参照して説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置１０の構成を示すブロック図である。
【００１４】
準備判定部１２は、後述する画像入力部５５から異なる複数の時刻に取得した複数の画像のうち一の時刻における画像に含まれている顔画像の状態が、立体判定を行う条件を満たしているか否かを判定する。準備判定部１２は、一の時刻の画像と異なる他の時刻の画像に含まれる顔画像の状態が、準備状態であるか否かを判定する。準備判定部１２は、例えば、以下の３つの条件のすべてを満たす場合に「準備状態である」と判定すればよいが、本発明はこれに限定されず、以下の３つの条件の少なくとも１つ満たすものであってもよい。
【００１５】
条件１：顔の大きさが設定範囲内にある。
条件２：顔の向きが正面を含む設定範囲内にある。
条件３：顔の動き量が設定範囲内にある（静止している）。
【００１６】
準備判定部１２は、準備状態であるか否かを判定するために、画像入力部５５で取得した画像から顔特徴点を検出する。準備判定部１２は、例えば、非特許文献１に開示されている方法を用いて特徴点を検出することができる。準備判定部１２が、特徴点を用いて、条件１から条件３の判定を行う処理について、以下説明する。
【００１７】
条件１の判定では、例えば、検出された特徴点のうち、例えば瞳の中心点の間の距離を測定し、その距離が予め設定された範囲内にあるか否かを判定する。
【００１８】
条件２の判定では、例えば、検出された特徴点を使用して顔の向きを測定し、その向きが画像入力部５５に対する正面の向きに近いかどうかで判定を行なう。顔の向きの測定には、例えば特開２００３−１４１５５１号公報に開示された方法を用いることができる。
【００１９】
ここで、３次元形状は非特許文献２に開示された因子分解法を用いて入力動画から求めてもよいし、予め準備した標準的な形状モデルを用いてもよい。本実施形態においては、標準顔形状を用いる場合を例示的に示す。
【００２０】
次にカメラ運動行列から顔向きの角度を求める。カメラ運動行列はスケールを除けば回転行列に対応し、回転行列がわかれば３方向の回転を求めることができる。しかしながら、カメラ運動行列は３×２の行列であり、３×３の回転行列を求めるには回転行列の補完が必要である。
【００２１】
回転行列は３×３の正方行列で表現され、９つの成分を持つ。回転行列の自由度は３であり、一部の成分が与えられれば残りの成分も一意的に決められる場合がある。その場合は初等計算により全ての成分を求めることができる。
【００２２】
回転行列の上２行の６つの成分が誤差を含んだ状態で与えられたときに、残りの最下行の３個の成分を補完して完全な回転行列を求めるには、次の（１）から（４）の処理を行う。
【００２３】
（１）第１行と第２行の行ベクトルを、それぞれ方向を変えずにノルムが１になるように修正する。
（２）第１行の行ベクトルと第２行の行ベクトルの内積が０になるようにそれぞれのベクトルの長さを変えずに方向だけを修正する。このとき、２つのベクトルの平均ベクトルの方向が変わらないようにする。
【００２４】
（３）上２行の６つの成分を用いて、回転行列と等価な４元数を計算する。回転行列と４元数との関係式は、例えば、非特許文献３に説明されており、その関係式を用いて初等計算で４元数を求めることができる。
（４）求めた４元数から、再度、回転行列と４元数との関係式を用いて、回転行列の最下行の成分を計算して求める。このようにして３×３の回転行列が求まれば、それから３軸の回転角を求めることができる。
【００２５】
３つの回転角をそれぞれ左右、上下、傾きとすると、判定条件としては、それぞれの角度が予め設定されたしきい値より小さいとすればよい。しきい値としては例えば１５度などとする。条件３の判定には、例えば、特徴点の動き量の平均値、最大値などが予め設定された動き量より小さい場合に、静止していると判定する。動き量は例えば前のフレームからの差を用いる。
【００２６】
準備判定において、条件を満たさない場合には、その条件を対象者に提示してもよい。例えば顔の大きさが予め設定されたサイズよりも小さい場合には、「顔が小さすぎます」と状態を提示してもよいし、「カメラに近づいてください」など、条件を満たす行動を促すものを提示してもよい。提示方法は、ディスプレイに文字として表示する、音声で提示する、ＬＥＤなどの光の変化で提示するといった方法ある。また、条件を満たさない場合のみでなく、条件を満たした場合に、その結果を提示してもよい。例えば「準備完了」などと提示してもよい。また、条件が複数ある場合には、それぞれについて準備ができているかどうかを個別に提示してもよい。
【００２７】
以上が、準備判定部１２により実行される処理である。
【００２８】
開始判定部１３は、準備判定部１２により判定された画像と異なる時刻の画像において、顔画像の状態の変化があることを判定する。より詳細には、検出された特徴点の動き量が設定値より大きい場合に「開始状態である」とする。また「開始状態であると判定すること」を「開始判定」という。ここで、動き量は、準備判定が完了した時点の特徴点の座標と、判定する時点の特徴点の座標との差である。
【００２９】
開始判定において、条件を満たさない場合には、動きを促すような提示を示してもよい。また、一定時間経過しても条件が満たされない場合は再度準備判定に戻るのが望ましい。
【００３０】
立体判定部１４は、取得した画像中の対象物が立体であることを判定する。立体判定部１４は、例えば、特許文献２に開示の方法を用いるとよい。特許文献２では、撮影した顔向きの異なる２つの顔画像に対して顔特徴点を検出し、顔特徴点が形作る形状が平面的であるか３次元的であるかを判定する。このとき、２つの顔画像には、準備判定できた状態の顔画像と、開始判定できた状態の顔画像を用いればよい。また、顔特徴点は、準備判定部１２、開始判定部１３がすでに検出したものを用いることが可能である。
【００３１】
提示部５６は、準備判定部１２が、入力された顔画像がなりすまし判定に適した状態ではないと判定した場合に、なりすまし判定に適していない旨のメッセージを提示する。提示部５６は、また、新たな顔画像の入力を求めるメッセージを提示してもよい。このメッセージにより、顔認証を行う操作者が、図示しない撮像部に対して条件を満たす顔画像を入力するようにすることができる。
【００３２】
提示部５６は、また、開始判定部１３に入力された顔画像が、準備判定された顔画像に対する動きがない場合に、立体判定に適していない旨のメッセージを提示する。提示部５６は、また、新たな顔画像の入力を求めるメッセージを提示してもよい。このメッセージにより、顔認証を行う操作者が、図示しない撮像部に対して条件を満たす顔画像を入力するようにすることができる。
【００３３】
なお、提示部５６は、メッセージを表示部に表示する他に、音声又は光等により、顔認証を行う操作者に対する提示を行ってもよい。
【００３４】
図２は、画像処理装置１０の動作を示すフローチャートである。図２のステップＳ１０１では、後述する画像入力部５５が、時系列の画像を逐次入力する。ステップＳ１０２では、準備判定部１２が、画像入力部５５から入力された時系列の画像中の顔画像に対し、準備判定を行う。準備判定ができた場合には、ステップＳ１０４に進み、準備判定ができない場合には、ステップＳ１０３に進む。
【００３５】
ステップＳ１０３では、提示部５６が、なりすまし判定に適していない旨のメッセージ等を提示する。ステップＳ１０３の処理の後、ステップＳ１０２に戻って処理を繰り返す。
【００３６】
ステップＳ１０４では、開始判定部１３が、準備判定された顔画像と異なる時刻の顔画像に対し、開始判定を行う。開始判定ができた場合には、ステップＳ１０７に進み、開始判定ができない場合には、ステップＳ１０５に進む。
【００３７】
ステップＳ１０５では、提示部５６が、立体判定に適していない旨のメッセージ等を提示する。ステップＳ１０６では、画像入力部５５から、新たな時刻の画像が入力され、ステップＳ１０４に戻って処理を繰り返す。
【００３８】
ステップＳ１０７では、立体判定部１４が、立体判定を行う。立体判定がなされた場合には、処理を終了する。一方、立体判定がなされなかった場合には、ステップＳ１０８に進み、新たな画像を取得する。ステップＳ１０８の後、ステップＳ１０７に進み、処理を繰り返す。
【００３９】
なお、ステップＳ１０７で立体判定がなされなかった場合には、ステップＳ１０１に戻って処理を繰り返してもよい。
【００４０】
本実施形態に係る画像処理装置１０によれば、準備判定部１２により、対象者がなりすまし判定に適する状態にあることを判定し、さらに開始判定部１３により、準備状態からの変化があることを判定することで、後続の立体判定部１４において判定に適した状態を取得することができ、なりすまし判定における誤判定を低減することが可能となる。
【００４１】
（第２の実施形態）
図３は、本発明の第２の実施形態に係る画像処理装置２０の構成を示すブロック図である。画像処理装置２０は、第１の実施形態の画像処理装置１０の構成に加えて、第２の立体判定部、及び、統合判定部を備えている。
【００４２】
第１の実施形態においては、単一の立体判定部１４により、なりすまし判定を行う。本実施形態では性質の異なる複数の方式を組み合わせることにより、さらに精度を向上させる。
【００４３】
画像処理装置２０において、画像入力部５５、準備判定部２２、開始判定部２３、及び、提示部５６の処理は、画像処理装置１０の画像入力部５５、準備判定部１２、開始判定部１３、及び、提示部５６の処理と同様である。これらの判定が満たされた場合に、第１の立体判定部２４、第２の立体判定部２５において、それぞれ立体判定の処理を行なう。
【００４４】
例えば第１の立体判定部２４では第１の実施形態と同様の方法により判定する。
【００４５】
また、第２の立体判定部２５では、例えば顔の正規化画像の変化検知による方法を用いる。顔の正規化画像は、検出された特徴点の座標を用いて、顔画像を一定の大きさや向きにそろえたものである。例えば、瞳の中心２点と鼻孔中点の３点の座標を用いてアフィン変換により正規化を行なう。このような正規化を行なうと、対象が写真の場合には、どのような撮影方法によっても同じような正規化画像が得られるが、実際の人間の顔の場合には向きの変動や照明の変動により、正規化画像に変化が得られる。
【００４６】
そこで、それらの正規化画像を複数取得し、それらの平均画像とそれぞれの正規化画像との類似度度合を例えば正規化相関により求め、その類似度合が設定値を超えれば立体であると判定する。このとき、平均画像を準備判定時の平均画像とすると、より安定した平均画像が得られる。
【００４７】
統合判定部２６は、第１および第２の立体判定部におけるフレーム毎の判定結果から総合的に判定を行なう。第１の立体判定部２４と第２の立体判定部２５とでは判定に用いる方法が異なる。例えば、上記の例では、第１の立体判定部２４は特徴点座標の位置関係により判定を行い、第２の立体判定部２５では正規化画像の変動による立体判定を行う。このため、入力される顔画像によって、何れか一方が早く判定できたり、何れか一方のみが判定可能であったりする場合がある。
【００４８】
そこで、統合判定部２６は、何れか一の立体判定部で立体であると判定された場合に、顔画像の顔が立体である旨の判定結果を出力する。また、どちらも立体であると判定されないフレームが一定期間続いた場合には立体でないと判定する。
【００４９】
このように、第２の実施形態に係る画像処理装置２０によれば、２種類の異なる立体判定部により、それぞれの欠点を補うことで、いずれか一方では判定できなかったなりすましを判定することが可能となり、なりすまし判定における誤判定を低減することが可能となる。また、判定のタイミングが早い方の立体判定部の判定結果が出た時点で判定結果を出力することにより、単一の立体判定部を用いる場合より短い時間で判定することができ、ユーザの待ち時間が短くなる。
【００５０】
次に、図４は、本発明の実施の形態に係る画像処理装置を有するコンピュータのハードウェア構成を示す図である。
【００５１】
画像入力部５５は、時系列画像を逐次的に入力するように構成されている。入力される画像は、時系列画像の他に、例えば、２つ以上の時刻に撮像された画像が、それぞれ入力されてもよい。ＣＰＵ５１は、コンピュータの各部を制御する。ＲＯＭ５２及びＲＡＭ５３などの記憶装置は、プログラムやデータ等を記憶する。通信Ｉ／Ｆ５４は、ネットワークに通信可能に接続される。バス６１は、コンピュータの各部を通信可能に接続する。
ＣＰＵ５１は、ＲＯＭ５２等の記憶媒体に格納されたプログラムを読み出して実行する。これにより、上述した本発明の実施の形態に係る画像処理装置の各部の機能が、コンピュータにより実現される。
【００５２】
画像処理装置で実行されるプログラムは、ＲＯＭ５２等に組み込まれて提供されうる。
【００５３】
画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータ読み取り可能な記録媒体に記録して提供されうる。
【００５４】
また、画像処理装置で実行されるプログラムは、インターネット等のネットワークに接続された記憶媒体に格納されて、ネットワーク等の伝送媒体を経由して提供されてもよい。
【００５５】
第１の実施形態及び第２の実施形態では、動き判定に特徴点の動き量を用いたが、これに限るものではない。例えば準備判定の条件２の判定のために求めた顔向きの変化量を求めてもよい。この場合、顔向きの回転方向として、立体判定に有効な左右や上下の角度を使うのが望ましい。
【００５６】
準備判定部１２及び準備判定部２２が判定する際の条件は、上記実施形態に限られるものではない。その他の条件、例えば、画像がぼけているかどうかを判定し、ぼけていないことを条件としてもよい。
【００５７】
第２の実施形態における立体判定部の数は２個に限定されるものではない。それ以上であってもよい。また、第１、第２の実施形態における立体判定部はこれらに限るものではなく、他の方法であってもよい。また、立体判定に代えて、生体判定を行う手段であってもよい。
【００５８】
第２の実施形態における第２の立体判定部２５においては、正規化画像として３点によるアフィン変換を用いたがそれに限るものではない。位置、大きさ、向きのいずれかが正規化できるものであればよい。
【００５９】
第２の実施形態では、第１の立体判定部２４、及び、第２の立体判定部２５の何れかが立体であると判定すれば、統合判定部２６が立体であると判定していたが、それに限るものではない。他の判定方法でもよい。例えば、それぞれの判定部において、立体らしさのスコアをフレーム毎に出力し、それらの値から総合的に判定してもよい。例えばスコアの和が予め設定されたしきい値を超えた場合に、立体であると判定すればよい。
【００６０】
準備判定部１２及び準備判定部２２において、顔の大きさ、向き、動き量は顔特徴点を用いた方法でなくてもよい。例えば顔領域を検出することにより、求めてもよい。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６２】
１２   準備判定部
１３   開始判定部
１４   立体判定部
【図１】
2010134200.tif 000003
【図２】
2010134200.tif 000004
【図３】
2010134200.tif 000005
【図４】
2010134200.tif 000006
【国際調査報告】
2010134200.tif 000007
2010134200.tif 000008
2010134200.tif 000009
2010134200.tif 000010