(57)【要約】【課題】検知対象の人物について、異なる顔向きの顔画像を追加取得して、照合精度を向上することを可能にした顔画像照合装置を提供する。【解決手段】顔画像照合装置１０は、監視領域の人物を撮影した監視画像を取得する撮像手段１００と、監視画像から顔画像を作成する顔検出手段２１１と、予め検知対象となる人物の参照顔画像及びその参照顔画像における顔の向きを記憶した記憶手段２２０と、顔画像と参照顔画像が同一人物によるものか否かを照合する照合手段２１３と、照合手段２１３による判定結果に対応する出力をする出力手段３００とを有する。さらに顔画像照合装置１０は、顔画像から顔の向きを検出する顔向き検出手段２１２と、顔画像と同一人物によるものと判定され、かつ、同一人物と判定された参照顔画像の顔の向きと顔画像の顔の向きが異なっている場合、その顔画像を検知対象となる人物の参照顔画像として追加する登録手段２１４とを有する。【選択図】図１
2009245338.tif 000002
【特許請求の範囲】
【請求項１】
監視領域の人物を撮影した監視画像を取得する撮像手段と、
前記監視画像から顔画像を作成する顔検出手段と、
予め検知対象となる人物の参照顔画像及び当該参照顔画像における顔の向きを記憶した記憶手段と、
前記顔画像と前記参照顔画像が同一人物によるものか否かを照合する照合手段と、
前記照合手段により、前記顔画像と前記参照顔画像が同一人物によるものと判定された場合、その判定結果に対応する出力をする出力手段とを有する顔画像照合装置であって、
前記顔画像から、顔の向きを検出する顔向き検出手段と、
前記照合手段により、前記顔画像と前記参照顔画像が同一人物によるものと判定され、かつ、該同一人物と判定された参照顔画像の顔の向きと前記顔画像の顔の向きが異なっている場合、前記顔画像を前記検知対象となる人物の参照顔画像として前記記憶手段に追加する登録手段と、
を有することを特徴とする顔画像照合装置。
【請求項２】
前記記憶手段は、前記検知対象となる人物に対応して参照顔画像を複数記憶し、かつ、該複数の参照顔画像における前記検知対象となる人物の顔の向きは互いに異なっており、
前記登録手段は、前記顔画像の顔の向きが、前記顔画像と同一人物によるものと判定された参照顔画像と対応する前記複数の参照顔画像の何れに対しても異なっている場合、前記顔画像を前記検知対象となる人物の参照顔画像として追加する、請求項１に記載の顔画像照合装置。
【請求項３】
前記記憶手段は、人間の顔の３次元形状を表す３次元形状モデルを予め記憶し、
前記顔向き検出手段は、前記３次元形状モデルの顔の向きを前記顔画像の特徴点位置にあわせて調整したときの前記３次元形状モデルの顔の向きを、前記顔画像の顔の向きとして検出する、請求項１または２に記載の顔画像照合装置。
【請求項４】
さらに、予め記憶した人間の顔の３次元形状を表す３次元形状モデルに前記参照顔画像を合成して前記検知対象となる人物の３次元顔画像を作成する３次元顔画像作成手段を有し、
前記照合手段は、前記３次元顔画像の顔の向きを前記顔画像とあわせて両者を照合することで前記参照顔画像と前記顔画像とが同一人物によるものか照合する、請求項１〜３の何れか一項に記載の顔画像照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像照合装置に関し、特に、照合に成功した顔画像を追加登録する顔画像照合装置に関する。
【背景技術】
【０００２】
従来、監視カメラなどで撮影した監視画像を、店員や保安員などの監視者が監視して、店舗内において万引きや暴力などの不正行為を行おうとする不審行為者を監視する監視方法が広く知られている。このような監視方法では、監視者の目視によって監視を行うので、監視者の負担が大きい。また、過去に上記のような不正行為を行ったことがあるなど、何等かの理由で要注意とされている要監視対象者が、監視画像中に写っている場合において、その要監視対象者を監視画像から検出しようとすると、監視者の能力または負荷状態に応じてその検出精度が大きく異なってしまう。
そこで、監視画像から自動的に不審人物などを検知して、その旨を外部に喚起する店内監視システムが開発されている（特許文献１を参照）。係る店内監視システムでは、過去に不正行為を行ったことのある人物の顔画像を予め登録しておく。そして、その店内監視システムは、監視画像から抽出された顔画像と予め登録された顔画像を照合して、一致すると判定すると、その旨を警報装置を通じて店員や保安員に報知する。
【０００３】
【特許文献１】特開２００７−３０６４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、顔画像同士の照合を精度良く実施するためには、顔画像に写っている顔の向きが同じ方向を向いていることが望ましい。互いに異なる方向を向いた顔が写った顔画像を用いて照合処理を行うと、目、鼻、口などの顔の特徴的な部位の顔画像上の形状及び位置が異なっているために、照合精度が低下するおそれがある。加えて、顔の向きによっては顔画像中に見えない特徴的な部位があることもあり、照合精度が一層低下するおそれがある。しかしながら、店舗内などでは、人物の顔の向きは常に一定方向を向いているわけではないので、監視カメラで、決まった方向から撮影した顔画像を安定的に得ることは困難である。また、照合対象となる人物が善意の人物であれば、予め依頼することで多方向からの顔画像を撮影して登録することもできるが、要監視対象者については、事前に登録用の様々な画像撮影を行える可能性が低く、予め多数の方向から撮影した顔画像を準備することも困難である。
【０００５】
そこで、本発明の目的は、検知対象の人物について、異なる顔向きの顔画像を追加取得して、照合精度を向上することを可能にした顔画像照合装置を提供することにある。
【課題を解決するための手段】
【０００６】
かかる課題を解決するための本発明は、監視領域の人物を撮影した監視画像を取得する撮像手段と、監視画像から顔画像を作成する顔検出手段と、予め検知対象となる人物の参照顔画像及びその参照顔画像における顔の向きを記憶した記憶手段と、顔画像と参照顔画像が同一人物によるものか否かを照合する照合手段と、照合手段により、顔画像と参照顔画像が同一人物によるものと判定された場合、その判定結果に対応する出力をする出力手段とを有する顔画像照合装置を提供する。出力手段は、判定結果を他の処理にて利用可能とするため、判定結果を識別する情報や顔画像などの判定に用いられた情報、判定された人物や場所、時間情報等判定結果に対応する情報を記憶手段などに出力する出力インターフェースや判定結果に対応する情報を外部に出力する送信手段または報知手段であってよい。係る顔画像照合装置は、顔画像から、顔の向きを検出する顔向き検出手段と、照合手段により、顔画像と参照顔画像が同一人物によるものと判定され、かつ、同一人物と判定された参照顔画像の顔の向きと顔画像の顔の向きが異なっている場合、その顔画像を検知対象となる人物の参照顔画像として記憶手段に追加する登録手段とを有する。
かかる構成により、検知対象の人物について、既に得られている照合用の参照顔画像の顔向きと異なる顔画像が取得された場合に、その顔画像を追加登録し、以後の照合に用いることで、検知対象の人物について様々な方向から撮影された参照顔画像が増えていくので、照合時に顔向きが近い参照顔画像と照合される可能性が高まり、照合精度が向上するという効果を奏する。
【０００７】
また本発明に係る顔画像照合装置において、記憶手段は、検知対象となる人物に対応して参照顔画像を複数記憶し、かつ、それら複数の参照顔画像における検知対象となる人物の顔の向きは互いに異なっており、登録手段は、顔画像の顔の向きが、顔画像と同一人物によるものと判定された参照顔画像と対応する複数の参照顔画像の何れに対しても異なっている場合、その顔画像を検知対象となる人物の参照顔画像として追加することが好ましい。
かかる構成により、既に得られている複数の照合用の参照顔画像の何れとも顔向きが異なる顔画像が取得された場合に、その顔画像を追加登録し、以後の照合に用いるので、様々な顔向きの参照顔画像が追加登録され、一層の照合精度向上が図れるという効果を奏する。
【０００８】
さらに本発明に係る顔画像照合装置において、記憶手段は、人間の顔の３次元形状を表す３次元形状モデルを予め記憶し、顔向き検出手段は、３次元形状モデルの顔の向きを顔画像の特徴点位置にあわせて調整したときの３次元形状モデルの顔の向きを、顔画像の顔の向きとして検出することが好ましい。
かかる構成により、人間の顔の３次元形状に基づき顔の向きを求めるので、顔画像における顔の向きが精度よく検出できるという効果を奏する。
【０００９】
さらに本発明に係る顔画像照合装置は、予め記憶した人間の顔の３次元形状を表す３次元形状モデルに参照顔画像を合成して検知対象となる人物の３次元顔画像を作成する３次元顔画像作成手段を有し、照合手段は、３次元顔画像の顔の向きを顔画像とあわせて両者を照合することで参照顔画像と顔画像とが同一人物によるものか照合することが好ましい。
かかる構成により、検知対象の人物について、３次元顔画像を作成するのに用いた参照顔画像の顔向きと異なる顔画像が取得された場合に、その顔画像からも３次元顔画像を作成し、以後の照合に用いることで、既に得られている参照顔画像では見えない部分が照合に悪影響を与える可能性が減少し、照合精度が向上するという効果を奏する。
【発明の効果】
【００１０】
本発明に係る顔画像照合装置は、検知対象の人物について、異なる顔向きの顔画像を追加取得して、その追加取得した顔画像も以後の照合の際に使用することにより、照合精度を向上できるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下、本発明に係る顔画像照合装置の実施の形態について図を参照しつつ説明する。
本発明を適用した顔画像照合装置は、要監視対象者の参照顔画像を少なくとも一つ予め記憶し、その参照顔画像と監視カメラにより監視領域を撮影した監視画像から抽出した顔画像とを照合する。そして係る顔画像照合装置は、照合に成功した場合、監視画像から抽出した顔画像も、要監視対象者の参照顔画像の一つとして追加登録し、次回照合時には、その追加登録した顔画像も照合に利用することで、照合精度の向上を図るものである。特に、係る顔画像照合装置は、既に登録されている参照顔画像に写っている顔の向きと、追加登録しようとする顔画像に写っている顔の向きが異なっている場合にのみ、追加登録を実行することで、同じような顔の向きの参照顔画像の数が増えて照合処理に要する計算量及び参照顔画像の記憶に要する記憶容量が無制限に増大することを防止しつつ、様々な方向を向いた参照顔画像のデータベースを作成する。
【００１２】
図１は、本発明を適用した顔画像照合装置１０の概略構成を示す。図１に示すように、顔画像照合装置１０は、撮像部１００、画像処理部２００及び報知部３００を有する。以下、顔画像照合装置１０の各部について詳細に説明する。
【００１３】
撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、100msec）ごとに取得する。撮像部１００は、画像処理部２００と接続され、取得した監視画像を画像処理部２００へ渡す。
【００１４】
画像処理部２００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部２００は、撮像部１００から受け取った監視画像に基づいて、要監視対象者を検知する。そのために、画像処理部２００は、照合部２１０と記憶部２２０とを有する。さらに、照合部２１０は、顔検出手段２１１、顔向き検出手段２１２、照合手段２１３及び登録手段２１４を有する。
このうち、照合部２１０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部２１０の各手段について詳細に説明する。
【００１５】
顔検出手段２１１は、撮像部１００から受け取った各監視画像から、人物の顔が写っている領域である顔領域を抽出する。そのために、顔検出手段２１１は、例えば、監視画像上の部分領域から１以上の特徴量を算出し、その特徴量が、人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として抽出する。具体的には、顔検出手段２１１は、例えば、Sobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして特徴量は、例えば、その部分領域内における得られたエッジ画素の方向分布、またはそのエッジ近傍の画素の輝度分布などとすることができる。また、予め、人物の顔を撮影した複数の画像から、人物の顔に対応するエッジ画素の方向分布やエッジ近傍の輝度分布などの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
【００１６】
あるいは、顔検出手段２１１は、予め準備した頭部のテンプレートを用いて監視画像とのテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、顔領域として抽出するようにしてもよい。
顔領域を抽出するためのさらに別の方法として、顔検出手段２１１は、監視画像からエッジを抽出したエッジ画像を作成する。そして顔検出手段２１１は、そのエッジ画像から、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、頭部領域として抽出することができる。この場合において、顔検出手段２１１は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。さらにまた、顔検出手段２１１は、上記と同様のパターンマッチングを行って、監視画像から人物が写っている領域に相当する人物領域を検出し、その人物領域中から頭部に相当する領域を顔領域として抽出してもよい。
【００１７】
顔検出手段２１１は、顔領域を抽出すると、監視画像からその領域を切り出した顔画像を作成する。また、顔検出手段２１１は、抽出した顔領域が複数存在する場合に、他の顔領域と識別するために用いる顔画像識別子を割り当てる。顔検出手段２１１は、得られた顔画像及び対応する顔画像識別子を、照合部２１０の他の手段で利用できるように記憶部２２０に記憶する。なお、顔画像識別子は、顔領域ごとに異なる値が設定される。
【００１８】
顔向き検出手段２１２は、顔画像における人物の顔向きを検出する。
図２に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系（Ｘ,Ｙ,Ｚ）では、原点Ｏは顔向きの検出対象となる人物の顔画像から抽出した顔特徴点の重心に設定される。なお、顔特徴点については後述する。Ｘ軸は、原点Ｏを通り、顔の正中線に沿った垂直軸として設定される。Ｙ軸は、原点Ｏを通り、顔を左右に横断する方向の水平軸として設定される。Ｚ軸は、顔を前後に横断する方向の水平軸として設定される。
この座標系において、人物の顔向きは、人物が撮像部１００を直視した状態（すなわち、人物が顔の正面を撮像部１００に向けており、Ｚ軸が撮像部１００と顔を結ぶ直線となる状態）を顔向きの基準となる正対状態とした場合のヨー角ψ、ピッチ角θ及びロール角φの組（ψ,θ,φ）で表される。ヨー角ψは、正対状態における人物の顔向きに対する、左右方向の回転角（すなわち、Ｘ軸を回転中心とした、ＹＺ平面内での回転角）を表す。またピッチ角θは、正対状態における人物の顔向きに対する、上下方向の回転角（すなわち、Ｙ軸を回転中心とした、ＸＺ平面内での回転角）を表す。またロール角φは、正対状態における人物の顔向きに対する、Ｚ軸を回転中心とした時計回りの回転角を表す。以下では、ヨー角ψ、ピッチ角θ及びロール角φを、ラジアン単位で表し、それぞれ、右向き方向、下向き方向、時計回り方向を正とする。
【００１９】
顔向き検出手段２１２は、まず、顔画像から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出手段２１２は、抽出した顔特徴点の種別と顔画像上の位置情報（例えば、顔画像の左上端部を原点とする２次元座標値）を算出する。例えば、顔向き検出手段２１２は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出手段２１２は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出手段２１２は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔向き検出手段２１２は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔向き検出手段２１２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、顔画像にガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出手段２１２は、顔の各部位に相当するテンプレートと顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。
【００２０】
顔特徴点が抽出されると、顔向き検出手段２１２は、各顔特徴点の２次元的な分布を調べて、顔向きを検出する。
図３を参照しつつ、顔の向きと顔特徴点の関係について説明する。図３（ａ）は、対象人物が撮像部１００の方を向いている場合（すなわち、正対状態である場合）の対象人物の顔画像３１０を示す。一方、図３（ｂ）は、対象人物が撮像部１００に対して顔を背けている場合の対象人物の顔画像３３０を示す。図３（ａ）に示すように、対象人物が撮像部１００に対して顔の正面を向けている場合、鼻の頂点である鼻尖点３１１は、顔の正中線３２０上に存在する。また、左右の目尻３１２、３１３、左右の口角点３１４、３１５なども観察することができる。
一方、図３（ｂ）に示すように、対象人物が撮像部１００に対して顔を背けている場合、鼻尖点３３１は、眼や口に対して突出しているので、ヨー角ψが大きくなるほど、正中線３４０から離れていく。さらに、左右の目尻３３２、３３３、左右の口角点３３４、３３５については、対象人物が顔を回転させていくと、そのうち隠れて見えなくなる。例えば図３（ｂ）に示すよりも、対象人物がもう少し顔を右側へ回転させると、右の目尻３３３あるいは右の口角点３３５は顔画像３３０上に写らず、それらの顔特徴点を検出不可能となる。このように、顔の正中線に対する鼻尖点の位置や、検出できない顔特徴点の種別から、撮像部１００に対する対象人物の顔の向きを調べることができる。
【００２１】
そこで、顔向き検出手段２１２は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして顔向き検出手段２１２は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。また顔向き検出手段２１２は、正中線の方向及び正中線から鼻尖点までの距離と、顔の向きとの関係を予め調べ、その関係を表すルックアップテーブルを予め記憶部２２０に記憶しておく。そして顔向き検出手段２１２は、ルックアップテーブルを参照して、求めた正中線の方向及び正中線から鼻尖点までの距離に対応する顔の向きを求める。
【００２２】
また顔向き検出手段２１２は、抽出された顔特徴点と、人物の顔の３次元モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを検出してもよい。この場合、人の頭部の標準的な形状を模した３次元形状モデル（例えば、ワイヤーフレームモデルあるいはサーフェイスモデルにより表される）を予め準備し、記憶部２２０に記憶しておく。またその３次元形状モデルの両目尻、鼻尖点、口点といった３Ｄ顔特徴点の位置も記憶部２２０に記憶しておく。
顔向き検出手段２１２は、顔画像から顔特徴点が抽出されると、３次元形状モデルについて、所定の回転量、並進量または拡大／縮小率にしたがってその顔向きを調整し、撮像部１００の結像光学系の像面と平行な面に仮想的に投影して、その面上における３Ｄ顔特徴点の位置を求める。そして顔向き検出手段２１２は、顔画像から抽出された各顔特徴点と、投影された３Ｄ顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出手段２１２は、回転量、並進量または拡大／縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの３次元形状モデルの顔の向きを求める。そして顔向き検出手段２１２は、その３次元形状モデルの顔の向きから、上記のヨー角ψ、ピッチ角θ及びロール角φの組（ψ,θ,φ）を求めることができる。
なお、顔向き検出手段２１２は、顔画像から抽出された各顔特徴点を３次元空間内へ投影した後、３次元形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるよう、３次元形状モデルに回転、並進、拡大／縮小などの処理を行って、その３次元形状モデルの顔の向きを決定してもよい。
【００２３】
さらに、顔向き検出手段２１２は、多数の人物の顔画像を平均化した顔画像を用い、特徴点によらずに顔向きを検出してもよい。すなわち、ヨー角ψ、ピッチ角θ及びロール角φを様々に変化させた２次元の平均顔画像を用意しておき、監視画像から作成された顔画像に最も類似する平均顔画像に対応するヨー角ψ、ピッチ角θ及びロール角φを、監視画像から作成された顔画像の顔向きとしてもよい。
顔向き検出手段２１２は、顔の向きを表すヨー角ψ、ピッチ角θ及びロール角φの値をそれぞれ求めると、それらを顔向き情報として対応する顔画像に関連付けて、記憶部２２０に記憶する。
【００２４】
照合手段２１３は、顔画像と記憶部２２０から読み込んだ各参照顔画像とを照合する。各参照顔画像は、顔画像照合装置１０において事前あるいは追加登録された要監視対象者の顔画像であり、互いに顔の向きが異なる。
図４に、照合に使用する、参照顔画像のデータベースの模式図を示す。図４に示すように、参照顔画像データベース４００は、要監視対象者を他の要監視対象者と識別するための登録者識別子４１０と、照合に使用する１または複数の参照顔画像を含む顔データ４２０と、その要監視対象者の３次元顔モデル４４０とを含む。このうち、顔データ４２０は、互いに顔の向きが異なる参照顔画像を含む。例えば、図４において、登録者識別子の値が"001"に対応する要監視対象者の顔データに含まれる各参照顔画像４２１、４２２、４２３は、ヨー角ψが２０度ずつ異なっている。また各参照顔画像には、それぞれその参照顔画像の顔向きを表す顔向き情報４３１、４３２、４３３が関連付けられている。なお図４の例では、簡単化のために、顔向き情報はヨー角ψ（すなわち、左右方向の回転角）のみを示しているが、実際には、ヨー角ψ、ピッチ角θ及びロール角φの組として表される。３次元顔モデル４４０は、人間の頭部の３次元形状を表した３次元形状モデルと参照顔画像とで特徴点の位置合わせをした上で、３次元形状モデルに対して参照顔画像をマッピングして作成される。３次元顔モデルは各参照顔画像毎に作成されてよく、また各参照顔画像の特徴点位置をあわせて平均化した画像をマッピングして作成されてもよい。この３次元顔モデルは、撮像部１００から入力される顔画像の照合などに用いることができ、その詳細については後述する。
【００２５】
照合手段２１３は、照合処理として、公知の様々な照合方法を用いることができる。例えば、照合手段２１３は、顔画像と参照顔画像のパターンマッチングを行う。そして照合手段２１３は、顔画像に含まれる顔領域内の各画素と参照顔画像の対応画素の輝度値の差の二乗和を、顔画像の顔領域に含まれる画素数で割って正規化した値の逆数を一致度として求める。照合手段２１３は、各参照顔画像について求めた一致度のうち、最も高い一致度が所定の基準値を超える場合、その顔画像に写っている人物を、一致度が最も高い値を有する参照顔画像に対応する要監視対象者であると判断する。一方、照合手段２１３は、何れの一致度も所定の基準値を超えない場合、顔画像に写っている人物はいずれの要監視対象者でもないと判断する。
照合手段２１３は、顔画像に対応する人物が何れかの要監視対象者であると判断したとき、その旨を表す信号を報知部３００へ出力する。また照合手段２１３は、顔向き検出手段２１２及び登録手段２１４にも、照合に成功した旨及び照合に成功した参照顔画像に対応する登録者識別子を通知する。
【００２６】
登録手段２１４は、照合に用いた顔画像を、必要に応じて参照顔画像データベースに追加登録する。
ここで、図５を参照しつつ、参照顔画像データベースに、照合に用いた顔画像を追加登録する必要性について説明する。図５に示すように、初期状態の参照顔画像データベース５１０には、要監視対象者の参照顔画像として、右向きの顔画像５１１と正面向きの顔画像５１２のみが登録されているとする。この場合において、撮像部１００により撮影された監視画像から、その要監視対象者が少しだけ左方向を向いた顔画像５０１が得られたとする。照合手段２１３は、参照顔画像データベース５１０に含まれる参照顔画像５１１、５１２を用いて顔画像５０１と照合すると、少しだけ左向きの顔画像５０１と正面向きの参照顔画像５１２とは、照合に成功する可能性が高い。これは、両顔画像の顔向きの差が小さく、目、鼻、口などの特徴的な部位の位置のずれも少ないためである。
【００２７】
しかしその後、顔画像５０１よりも、さらに左方向に顔を向けた顔画像５０２が得られた場合、照合手段２１３は、参照顔画像５１１、５１２を用いて顔画像５０２と照合すると、顔画像５０１と照合する上記の場合よりも照合に失敗する可能性が高い。これは、顔画像５０２の顔向きと、参照顔画像５１１、５１２の顔向きの差が大きく、顔の特徴的な部位の位置が、顔画像５０２と両参照顔画像５１１、５１２において大きく異なり、また顔画像の輪郭形状の差も大きくなるためである。
そこで、先の照合において、照合に成功した顔画像５０１を参照顔画像データベース５１０に追加登録して、更新した参照顔画像データベース５２０を作成しておく。そして顔画像５０２が得られたときに、照合手段２１３は、参照顔画像データベース５２０を用いて照合処理を行うようにする。この場合、顔画像５０１も参照顔画像として顔画像５０２との照合に使用されることになる。そして、参照顔画像５０１は、顔画像５０２と同様に左方向を向いているので、両顔画像における顔の特徴的な部位の位置のずれも小さい。そのため、照合手段２１３は、顔画像５０２に写っている顔を顔画像５０１に写っている顔と一致すると判断し、照合に成功する可能性が高くなる。
このように、照合に成功した顔画像の顔向きが参照顔画像と異なる場合に、この顔画像を参照顔画像データベースに追加登録することにより、どのような顔の向きの顔画像が得られても、その顔画像と顔向きの差が小さい参照顔画像を照合に利用できる可能性が高くなるので、照合精度を向上することができる。
【００２８】
そこで、登録手段２１４は、照合手段２１３から照合に成功した旨の通知を受けると、照合に成功した要監視対象者の登録者識別子（以下、IDαとする）に対応する全ての参照顔画像と、その照合に用いた顔画像との顔向きの差を調べる。そしてその要監視対象者についての何れの参照顔画像に対しても顔向きの差が所定量以上となる場合、登録手段２１４は、照合に用いた顔画像を、その登録者識別子IDαに対応する参照顔画像として参照顔画像データベースに追加登録する。このように、既登録の参照顔画像と顔向きが所定量以上異なる顔画像のみを参照顔画像データベースに追加登録することにより、照合精度の向上に寄与する顔画像のみを追加できるので、照合精度を向上させつつ、照合に要する計算処理量及び参照顔画像データベースの記憶に必要な記憶容量が無制限に増大することを防止できる。
【００２９】
登録手段２１４は、下記の計算式により、登録者識別子IDαに対応する各参照顔画像と、追加登録しようとする顔画像の顔向きの差δiを算出する。
【数１】
2009245338.tif 000003
ここでψ(i)ref、θ(i)ref、φ(i)refは、それぞれ、登録者識別子IDαについて登録されているＮ枚の参照顔画像のうち、i番目(1≦i≦N)の参照顔画像に写っている顔の向きを表すヨー角、ピッチ角、ロール角である。また、ψinp、θinp、φinpは、それぞれ、追加登録しようとする顔画像に写っている顔の向きを表すヨー角、ピッチ角、ロール角である。
登録手段２１４は、（１）式を用いて算出した全てのδi(i=1,2,...,N)が、所定の閾値Th1以上のとき、その顔画像を登録者識別子IDαに対応する要監視対象者の参照顔画像として、参照顔画像データベースに追加登録する。また登録手段２１４は、その顔画像の顔向き情報も、参照顔画像データベースに記録する。
【００３０】
なお、閾値Th1は、予め適切な値を定めておけばよい。例えば、閾値Th1を、0.35（ヨー角、ピッチ角、ロール角の角度差の合計が約２０度に相当）に設定することができる。あるいは、実験またはシミュレーションなどにより、閾値Th1を決定してもよい。例えば、同一人物の顔の向きを様々に変更した複数の顔画像を作成し、それら顔画像を互いに照合したときに一致すると判定される精度が許容限度（例えば、一致と判定される率が90％）以下となるときの、それら顔画像の顔向きの差の平均値またはその２倍を閾値Th1とすることができる。
【００３１】
記憶部２２０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部２２０には、顔画像照合装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部２２０は、照合に使用される参照顔画像データベースを記憶する。この参照顔画像データベースは、上記のように適宜更新される。さらに記憶部２２０は、参照顔画像データベースに登録されている各要監視対象者の名前、年齢、不審行動履歴などの属性情報を、対応する要監視対象者の登録識別子と関連付けて記憶してもよい。さらに記憶部２２０は、顔画像照合装置１０の動作中、上記の顔画像、顔向き情報などを顔画像識別子と関連付けて記憶する。
【００３２】
報知部３００は、本発明の出力手段として機能し、画像処理部２００と接続され、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置、スピーカまたは振動装置などを有する。そして報知部３００は、画像処理部２００の照合部２１０が要監視対象者を検知したとき、その旨を示すメッセージを表示したり、警報を発することにより、監視者に報知する。さらに報知部３００は、要監視対象者の顔画像または属性情報を表示するようにしてもよい。
なお報知部３００は、公衆通信回線または構内ローカルエリアネットワークなどを介して画像処理部２００と接続され、画像処理部２００と別個に配置された監視装置でもよい。
【００３３】
以下、図６に示したフローチャートを参照しつつ、本発明を適用した顔画像照合装置１０の動作を説明する。なお、以下に説明する動作のフローは、画像処理部２００を構成するマイクロプロセッサ上で動作し、顔画像照合装置１０全体を制御する制御部（図示せず）により制御される。
最初に、顔画像照合装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部２００の照合部２１０へ送る（ステップＳ１００）。次に、照合部２１０の顔検出手段２１１は、取得された監視画像から、人物の顔が写っている顔領域を検出し、その顔領域を監視画像から切り出して顔画像を作成する（ステップＳ１１０）。次に、画像処理部２００は、一つ以上の顔領域が検出されたか否か判定する（ステップＳ１２０）。顔領域が全く検出されなかった場合、顔画像照合装置１０は処理を終了する。
【００３４】
一方、ステップＳ１２０において、一つ以上の顔領域が検出され、顔画像が作成された場合、照合部２１０は、作成された顔画像の中から、着目する顔画像を設定する（ステップＳ１３０）。そして照合部２１０の照合手段２１３は、着目顔画像と記憶部２２０に記憶されている参照顔画像データベースに含まれる各参照顔画像とを照合し、着目顔画像と同一人物と判定できる参照顔画像があるか否か判定する（ステップＳ１４０）。そして何れの参照顔画像も着目顔画像と照合一致しなかった場合、照合部２１０は、その着目顔画像に対する照合処理を終了し、制御をステップＳ２００へ進める。一方、ステップＳ１４０において、着目顔画像と照合一致する参照顔画像が存在する場合（すなわち、照合に成功した場合）、照合手段２１３は、着目顔画像の人物（以下着目者という）を当該着目顔画像と照合一致する参照顔画像に対応する要監視対象者と特定し、報知部３００を介して要監視対象者を検知したことを報知する（ステップＳ１５０）。
【００３５】
その後、照合部２１０の顔向き検出手段２１２は、その着目顔画像から抽出した顔特徴量の分布に基づいて、その着目顔画像における着目者の顔の向きを検出する。顔向き検出手段２１２は、検出した着目者の顔の向きを、顔向き情報として着目顔画像に関連付けて記憶部２２０に記憶する（ステップＳ１６０）。続いて、照合部２１０の登録手段２１４は、着目顔画像の顔向きと、照合一致すると判定された要監視対象者の各参照顔画像との顔向きの差δiを求める（ステップＳ１７０）。そして登録手段２１４は、算出した全ての顔向きの差δiが、所定の閾値Th1以上であるか否かを判定する（ステップＳ１８０）。登録手段２１４は、算出した全ての顔向きの差δi(i=1,2,...,N)が、所定の閾値Th1以上のとき、その着目顔画像を、その要監視対象者の参照顔画像として、参照顔画像データベースに追加登録する（ステップＳ１９０）。一方、ステップＳ１８０において、算出した顔向きの差δiの何れか一つでも閾値Th1未満となる場合、登録手段２１４は、参照顔画像データベースを更新しない。
【００３６】
その後、照合部２１０は、監視画像から作成された顔画像のうち、着目されていない顔画像が残っているか否か判定する（ステップＳ２００）。そして着目されていない顔画像が残っている場合、照合部２１０は、制御をステップＳ１３０へ戻し、未だ着目されていない顔画像の中から、着目する顔画像を設定し、ステップＳ１４０〜Ｓ２００の処理を繰り返す。
一方、ステップＳ２００において、着目されていない顔画像が残っていない場合、顔画像照合装置１０は処理を終了する。
顔画像照合装置１０は、上記の処理を、一定の時間間隔で繰り返す。
【００３７】
以上説明してきたように、本発明を適用した顔画像照合装置１０は、監視画像から作成した顔画像のうち、照合に成功した顔画像を、参照顔画像として照合用の参照顔画像データベースに追加登録することで、様々な顔の向きの参照顔画像を登録することができる。そして係る顔画像照合装置１０は、追加登録された参照顔画像も照合に利用することで、高い照合精度を得ることができる。特に、係る顔画像照合装置は、既に登録されている参照顔画像に写っている顔の向きと、追加登録しようとする顔画像に写っている顔の向きが異なっている場合にのみ、追加登録を実行することで、照合処理に要する計算量及び参照顔画像データベースの記憶に要する記憶容量が無制限に増大することを防止しつつ、照合精度の向上を図ることができる。
【００３８】
以上、説明した実施形態では様々な顔向きの参照顔画像を登録して照合に用いる例について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、上述した実施形態の別の態様として、要監視対象者の３次元顔モデル（すなわち、３次元顔画像）を利用して照合を行う構成としてもよい。この場合、照合部２１０は、予め記憶した標準的な頭部の３次元形状モデルと監視画像から切り出した顔画像から、要監視対象者の３次元顔モデルを作成する３次元顔モデル作成手段（すなわち、３次元顔画像作成手段）をさらに有する。このような３次元顔モデルを作成するために、３次元顔モデル作成手段は、例えば、特開２００３−６６４５号公報に開示された方法を用いることができる。具体的には、３次元顔モデル作成手段は、監視画像から取得した対象者の顔画像から、目、鼻などの特徴的な部位を抽出し、その部位を上記の３次元形状モデルの対応部位と位置合わせしてマッピングすることにより、対象者の顔に対応した３次元顔モデルを作成する。
【００３９】
また別の方法として、３次元顔モデル作成手段は、予め複数の３次元形状モデルを準備しておき、そのうち最も適切な３次元形状モデルを選択して、対象者の３次元顔モデルを作成してもよい。この場合において、３次元顔モデル作成手段は、最も適切な３次元形状モデルを選択するために、上記のように顔画像から顔向きを検出するとともに、公知の光源方向推定手法により顔画像から光源方向を推定し、検出された顔向きに調節した各３次元形状モデルに対し、推定された光源方向を適用して、投影陰影画像を作成する。そして、３次元顔モデル作成手段は、作成した投影陰影画像のうち、顔画像と輝度分布が最も一致するものを選択し、選択した投影陰影画像に対応する３次元形状モデルを最も適切な形状として選択する。そして３次元顔モデル作成手段は、選択した３次元形状モデル上に顔画像を位置合わせしてマッピングすることにより、対象者の顔に対応した３次元顔モデルを作成する。
【００４０】
また、参照顔画像データベースに、対象者について、異なる方向から撮影された（すなわち、顔の向きが互いに異なる）参照顔画像が複数登録されており、これらから新たに３次元顔モデルを作成する場合、３次元顔モデル作成手段は、それら複数の参照顔画像及び対応する顔向き情報から、対応する顔特徴点の位置が一致するように各顔特徴点の表面高さを決定して、複数の参照顔画像から一の顔画像を生成し、これをマッピングして３次元顔モデルを作成してもよい。なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落していることもある。そこで、顔画像をマッピングした３次元顔モデルに顔の情報やテクスチャの欠落部分が生じる場合、３次元顔モデル作成手段は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理（例えば、スプライン補間、線形補間）を行って、欠落部分の画素の輝度値を算出する。あるいは、３次元顔モデル作成手段は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。
【００４１】
３次元顔モデル作成手段は、以上説明したように、着目する要監視対象者の３次元顔モデルが存在しない場合、その要監視対象者の３次元顔モデルを作成する。また、既登録の３次元顔モデルが、オクルージョンの有る箇所を、他の部位の情報を用いて補間して作成されている場合、３次元顔モデル作成手段は、オクルージョンのない顔画像が新たに得られた時に３次元顔モデルを作成してもよい。そして３次元顔モデル作成手段は、作成した３次元顔モデルを、対応する要監視対象者に関連付けて参照顔画像データベースに記憶する。
【００４２】
また３次元顔モデル作成手段は、着目する要監視対象者の３次元顔モデルが既に登録されている場合に、その３次元顔モデル作成に使用された顔画像と顔向きの異なる顔画像が参照顔画像データベースに追加登録される際、その追加登録される顔画像を用いて新たに要監視対象者の３次元顔モデルを作成し、参照顔画像データベースに追加登録してもよい。このように、顔向きの異なる顔画像毎に対応して複数の３次元顔モデルを参照顔画像データベースに格納しておくことにより、一つの３次元顔モデルにおいて顔の情報の一部が欠けていたとしても、他の３次元顔モデルがその欠けている部分の情報を有する可能性が高くなる。なお、３次元顔モデル作成手段は、追加登録する３次元顔モデルを作成する場合、上記の手順にしたがって追加登録される顔画像と予め記憶した３次元形状モデルを合成してその３次元顔モデルを作成する。あるいは、３次元顔モデル作成手段は、既に登録されている３次元顔モデルの一部（特に、既登録の３次元顔モデルにおいて情報が欠落している部分）または全てに対し、追加登録される顔画像をマッピングすることにより、追加登録する３次元顔モデルを作成してもよい。この場合、既に登録されている３次元顔モデルと、追加登録される顔画像を予め記憶した３次元形状モデルに合成した３次元顔モデルとを、３次元空間状で顔特徴点で位置合わせして平均化し、一つの３次元顔モデルを得ることができる。また、既に登録されている３次元顔モデルにマッピングされている顔画像と追加登録される顔画像とを２次元空間上で顔特徴点で位置合わせして平均化し、これを予め記憶した３次元形状モデルにマッピングすることで、複数の顔画像を反映した一つの３次元顔モデルを得てもよい。
【００４３】
また、この場合、顔向き検出手段２１２が照合処理に先立ち監視画像から得られた顔画像の顔向きを検出し、照合手段２１３は、参照顔画像データベースに登録されている３次元顔モデルの顔向きを、監視画像から得られた顔画像に写っている人物の顔向きに合わせて調整し、その調整された３次元顔モデルを２次元に投影することにより照合用の参照顔画像を作成して、照合に使用してもよい。上述の実施形態で説明した入力される顔画像と予め登録された参照顔画像とを照合する例では、顔向きが相違して同一人物と判定できない場合であっても、本態様によれば監視カメラから入力される顔画像の顔向きに対応して、予め記憶した要監視対象者の３次元顔モデルを回転させることで顔向きの相違を吸収し、両画像の顔向きを揃えて同一人物であるか否かを照合することができる。また、一人の要監視対象者につき、複数の３次元顔モデルが参照顔画像データベースに登録されている場合、照合手段２１３は、それら複数の３次元顔モデルのうちの基準となる顔向き（すなわち、３次元顔モデルの作成に使用された（マッピングされた）顔画像に写っている人物の顔の向き）が入力された顔画像に写っている人物の顔向きに最も近いものを選択して利用するようにしてもよい。これにより、その顔画像に写っている顔の情報が、照合に使用する３次元顔モデルにおいて欠落している可能性を軽減できるので、照合精度を高くすることができる。このように、複数の３次元顔モデルから適切なものを選択して使用することにより、照合用の参照顔画像を作成する場合、参照顔画像データベースには、２次元の参照顔画像を格納せず、これら参照顔画像の顔向き情報と３次元顔モデルのみを格納してもよい。
なお、顔向きを検出する具体的な手段については、顔向き検出手段２１２において説明した３次元形状モデルの顔向きを顔画像に写った人物の顔向きと一致させる手順と同様のものを利用することができる。
【００４４】
以上説明した別の態様によれば、３次元顔モデルで照合することで顔向きの相違をある程度吸収しつつ、登録済みの顔画像に対して顔向きの異なる新たな顔画像を追加登録することにより、照合可能な顔向きの範囲を拡大させて照合精度を向上させることができる。具体的には、例えば、右斜め前方から撮像した顔画像から３次元顔モデルを作成して照合用に記憶した場合、監視カメラから入力された正面向きの顔画像とは同一人物か否か判定できても、左斜め前方から撮像した顔画像とは同一人物か否か判定できない可能性があるが、新たに正面向きの顔画像を登録して３次元顔モデルを作成することで照合可能な顔向きの範囲を拡大できるのである。
【００４５】
以上に、本発明の好適な実施形態について説明した。しかし本発明は、当業者が本発明の範囲内で上記の実施形態を変形可能なことはもちろんである。
例えば、記憶部２２０は、顔画像の取得時の照明条件または対象者の表情の違いに対応して、正確に照合できるように、参照顔画像データベースは、一人の要監視対象者につき、照明条件、表情を変えた複数の参照顔画像を保持していてもよい。
【００４６】
また、照合手段２１３は、監視画像から得られた顔画像と参照顔画像データベースに記憶された複数の参照顔画像との照合を行う際、その複数の参照顔画像のうち、顔向き検出手段２１２により、その顔画像と最も顔向きの差が小さいと判断された参照顔画像とのみ照合を行うようにしてもよい。この場合、顔向きの差は、上記の（１）式を用いて計算できるので、簡単な処理で最も顔向きの差の小さい参照顔画像を特定できる。そのため、照合を行う対象となる参照顔画像を、照合に成功する確率が高いと考えられる顔向きのものに特定することで、照合処理に要する計算時間を短縮することができる。
【００４７】
また、登録手段２１４は、顔画像と各参照顔画像との顔向きの差δiを算出するにあたり、（１）式のヨー角、ピッチ角、ロール角に異なる重み付けをしてもよい。例えば、（１）式のピッチ角を表す項に適当な正数（例えば2.0）、同様にヨー角を表す項に適当な正数（例えば1.0）、ロール角を表す項に適当な正数（例えば1.0）という重みを乗算して顔向きの差δiを求めることができる。
これは、例えば、撮像部１００をオフィルビルの廊下の天井に、下向きに俯角を付けて設置した場合、廊下を歩く人物の顔向きは、画面の上方に写る場合（カメラから遠い位置）と画面の下方に写る場合（カメラに近い位置）とでは、ピッチ角は大きく変化する一方、ヨー角とロール角については大きくは変化しないと考えられるためである。即ち、ピッチ角を重視することで、顔画像と各参照顔画像とのピッチ角の差が小さくても、顔向きの差δiが所定の閾値Th1を上回り、参照顔画像データベースに追加され易くなり、ピッチ角についてのバリエーションが確保されるため、照合に成功し易くなるという効果がある。
【００４８】
さらに、上記の実施形態では、本発明を、要監視対象者を検知する用途に用いた。しかし本発明は、上記の用途に限定されるものではない。例えば、本発明を、事前に登録された利用者にのみ、所定箇所の通行を許可するアクセスコントロールシステムあるいは出入管理システムに適用してもよい。この場合、本発明を適用したアクセスコントロールシステムでは、記憶部２２０の参照顔画像データベースには、利用者の参照顔画像が登録される。そして、報知部３００の代わりに、所定箇所に設けられたドアあるいはゲートの開放を制限するための電気錠が接続される。係るアクセスコントロールシステムは、上記の実施形態と同様に、監視カメラから取得した顔画像と、参照顔画像データベースに登録された参照顔画像とを照合する。そして係るアクセスコントロールシステムは、その顔画像が、何れかの参照顔画像と一致すると判定した場合、電気錠を一定時間の間解錠するように制御する。なお、顔画像の追加登録に関しては、上記の実施形態と同様の手順により実行される。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００４９】
【図１】本発明を適用した顔画像照合装置の概略構成図である。
【図２】対象人物の顔の向きを規定する座標系を示す図である。
【図３】（ａ）は、対象人物が撮像部の方を向いている場合の対象人物の顔画像の概略図であり、（ｂ）は、対象人物が撮像部に対して顔を背けている場合の対象人物の顔画像の概略図である。
【図４】参照顔画像データベースの模式図である。
【図５】本発明を適用した顔画像照合装置における、参照顔画像データベースと顔画像の関係を示す図である。
【図６】本発明を適用した顔画像照合装置の動作を示すフローチャートである。
【符号の説明】
【００５０】
１０    顔画像照合装置
１００    撮像部
２００    画像処理部
２１０    照合部
２１１    顔検出手段
２１２    顔向き検出手段
２１３    照合手段
２１４    登録手段
２２０    記憶部
３００    報知部
【図１】
2009245338.tif 000004
【図２】
2009245338.tif 000005
【図３】
2009245338.tif 000006
【図４】
2009245338.tif 000007
【図５】
2009245338.tif 000008
【図６】
2009245338.tif 000009