(57)【特許請求の範囲】
【請求項１】
与えられた顔画像に対して、アスペクト比を固定した正規化を行うことにより、第１の正規化画像を生成する第１の正規化手段と、
前記第１の正規化手段によって生成された前記第１の正規化画像から、顔の照合に用いる特徴を含む特徴画像を生成する特徴抽出手段と、
前記特徴抽出手段によって生成された前記特徴画像に対して、アスペクト比を可変にした正規化を行うことにより、第２の正規化画像を生成する第２の正規化手段と、
前記特徴抽出手段によって生成された前記特徴画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第１の照合結果を算出する第１の照合手段と、
前記第２の正規化手段によって生成された前記第２の正規化画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第２の照合結果を算出する第２の照合手段と、
前記第１の照合手段によって算出された前記第１の照合結果と、前記第２の照合手段によって算出された前記第２の照合結果とに基づいて、２つの画像の顔を同一人物のものであるか否かを判定する判定手段と、
を有する顔画像照合装置。
【請求項２】
前記第１の正規化手段によって行われる前記アスペクト比を固定した正規化は、前記顔画像に対して拡大または縮小と回転により、２箇所の位置を所定の基準位置に一致させる処理である、
請求項１に記載の顔画像照合装置。
【請求項３】
前記第２の正規化手段によって行われる前記アスペクト比を可変にした正規化は、３箇所以上の位置と所定の基準位置とのずれに関する２乗誤差を最小とするアフィン変換である、
請求項１または２に記載の下位画像照合装置。
【請求項４】
前記第１の正規化手段によって行われる前記アスペクト比を固定した正規化は、両目の位置を所定の基準位置に一致させる処理である、
請求項１から３のいずれか１項に記載の顔画像照合装置。
【請求項５】
前記第２の正規化手段によって行われる前記アスペクト比を可変にした正規化は、両目および口の位置を所定の基準位置に一致させる処理である、
請求項１から４のいずれか１項に記載の顔画像照合装置。
【請求項６】
前記特徴抽出手段はＧａｂｏｒ特徴を有する特徴画像を生成する、
請求項１から５のいずれか１項に記載の顔画像照合装置。
【請求項７】
前記特徴抽出手段は輝度勾配のヒストグラムを特徴とする特徴画像を生成する、
請求項１から５のいずれか１項に記載の顔画像照合装置。
【請求項８】
前記第１の照合手段と前記第２の照合手段の少なくとも一方は、２つの画像の特徴の値を部分空間に射影し、該部分空間における特徴の距離を、照合結果を表す照合スコアとする、
請求項１から７のいずれか１項に記載の顔画像照合装置。
【請求項９】
第１の正規化手段が、与えられた顔画像に対して、アスペクト比を固定した正規化を行うことにより、第１の正規化画像を生成し、
特徴抽出手段が、前記第１の正規化手段によって生成された前記第１の正規化画像から、顔の照合に用いる特徴を含む特徴画像を生成し、
第２の正規化手段が、前記特徴抽出手段によって生成された前記特徴画像に対して、アスペクト比を可変にした正規化を行うことにより、第２の正規化画像を生成し、
第１の照合手段が、前記特徴抽出手段によって生成された前記特徴画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第１の照合結果を算出し、
第２の照合手段が、前記第２の正規化手段によって生成された前記第２の正規化画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第２の照合結果を算出し、
判定手段が、前記第１の照合手段によって算出された前記第１の照合結果と、前記第２の照合手段によって算出された前記第２の照合結果とに基づいて、２つの画像の顔を同一人物のものであるか否かを判定する、
顔画像照合方法。
【請求項１０】
与えられた顔画像に対して、アスペクト比を固定した正規化を行うことにより、第１の正規化画像を生成する手順と、
前記第１の正規化画像から、顔の照合に用いる特徴を含む特徴画像を生成する手順と、
前記特徴画像に対して、アスペクト比を可変にした正規化を行うことにより、第２の正規化画像を生成する手順と、
前記特徴画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第１の照合結果を算出する手順と、
前記第２の正規化画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第２の照合結果を算出する手順と、
前記第１の照合結果と前記第２の照合結果とに基づいて、２つの画像の顔を同一人物のものであるか否かを判定する手順と、
をコンピュータに実行させるための顔画像照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理によって顔の照合を行う技術に関する。
【背景技術】
【０００２】
顔を正面から撮影した２つの画像の人物が同一人物であるか、他人であるかの判定を画像処理によって行う顔照合の技術がある。【０００３】
通常、顔照合を行うときには、まず、２枚の画像に撮影されている人物を比較できるように、人物の位置と大きさをそろえる正規化処理が行われる。そして、正規化処理が行われた画像から顔に関する特徴を抽出し、その特徴に基づいて２つの画像を照合する。照合の手法としては、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ、非特許文献１参照）やＬＤＡ（Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ、非特許文献２参照）などがある。このような手順で行われる顔照合においては、２つの画像における顔の位置および大きさをそろえる正規化処理が非常に重要である。【０００４】
正規化処理の１つの手法として、画像を単純に拡大したり、縮小したり、回転したりすることにより左右の目の位置を合わせるものがある。また、正規化処理の他の手法として、目、口の左端や右端、鼻の穴など、顔のさまざまなパーツ（以下、顔パーツという）を検出し、それら顔パーツの位置のずれが最小限となるように、アフィン変換や、それより複雑な非線形変換を行うものがある。【０００５】
前者の正規化処理は、単純な拡大、縮小、回転により目の位置を合わせるだけなので、アスペクト比は変化せず、顔の形状に歪みが生じない。そこで以下、前者の正規化処理をアスペクト比固定の正規化ということにする。例えば、非特許文献４では、目の位置を用いた正規化処理が採用されている。【０００６】
また、後者の正規化処理は、アフィン変換や複雑な非線形処理を行うので、アスペクト比が変化し、顔の形状に歪みが生じる。そこで以下、後者の正規化処理をアスペクト比可変の正規化ということにする。例えば非特許文献３では、両目の位置と鼻の下の位置が一定になるように正規化を実施している。そのためアスペクト比が変化する場合がある。また、特許文献１には、照合の対象となる画像における顔の特徴点の位置を、正規化によって、標準顔画像の特徴点の位置と一致させてから画像を照合するとともに、特徴点の変位量も顔照合に用いる技術が開示されている。【０００７】
なお、扱う画像が顔を斜めから撮影したものである場合、例えば、その画像から正面画像を復元しておくことで、上述したような正面の顔画像を照合するための技術に利用することができる（非特許文献４参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−１６１７９１号公報
【非特許文献】
【０００９】
【非特許文献１】Ｍ．Ａ．Ｔｕｒｋ  ａｎｄ  Ａ．Ｐ．Ｐｅｎｔｌａｎｄ，“Ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ｅｉｇｅｎｆａｃｅｓ，”Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  ＣＶＰＲ，  ｐｐ．５８６−５９１，  Ｊｕｎｅ，  １９９１．
【非特許文献２】Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ，  Ｊ．Ｐ．Ｈｅｓｐａｎｈａ，  ａｎｄ  Ｄ．Ｊ．Ｋｒｅｇｍａｎ，“Ｅｉｇｅｎｆａｃｅｓ  ｖｓ．  Ｆｉｓｈｅｒｆａｃｅｓ：  Ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ｃｌａｓｓ  ｓｐｅｃｉｆｉｃ  ｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎ，”ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌ．  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌ．，  ＶＯｌ．  １９，  ｐｐ．７１１−７２０，  Ｍａｙ  １９９７
【非特許文献３】黒住隆行、固有空間法と重判別分析による顔画像の個人性と表情の解析、北陸先端技術大学院大学  情報科学研究科  修士論文  ｐｐ１０−１３、１９９９
【非特許文献４】中野渡祥裕、山崎龍二、山田伸、森村淳、向き・照明変動にロバストな顔照合、Ｐａｎａｓｏｎｉｃ  Ｔｅｃｈｎｉｃａｌ  Ｊｏｕｒｎａｌ  Ｖｏｌ．５４、Ｎｏ  ４，  Ｊａｎ．２００９
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したアスペクト比固定の正規化では、照合する２つの画像における顔パーツの位置が一致しない場合があった。そして、顔パーツの位置が一致しないことにより照合の性能が低下する場合があった。【００１１】
例えば、同一人物であっても表情の変化や姿勢の微小な変化によって顔パーツの位置が変動する。そして、そのような表情や姿勢の変化による顔パーツの位置のずれのために同一人物が他人と判定されることが考えられる。また、顔パーツ自体の形状が異なる他人同士であっても、顔パーツの位置にずれによって、その形状の違いが認識されず、正確な判定がされないことも考えられる。【００１２】
図１は、２つの画像に対してアスペクト比固定の正規化を行った場合の画像変化の具体例を示す図である。この例ではＡさんの顔画像とＢさんの顔画像を正規化している。正規化は、画像の拡大、縮小、および回転により、左目の位置が（Ｌｘ，Ｌｙ）となり、右目の位置が（Ｒｘ、Ｒｙ）となるように行われる。図１の例では、ＡさんとＢさんとで口の位置そのものがずれている。そのため口の形状の違いが顔照合の結果に適切に反映されない可能性がある。【００１３】
一方、上述したアスペクト比可変の正規化では、表情の変化などで生じうる顔パーツの位置の変動は吸収される。しかしながら、顔パーツの位置を修正してしまうため、各顔パーツの位置関係の情報を顔照合に利用することができない。例えば、目の間隔が目と口の間隔に比べて広めであるとか、顔が面長であるとか、といった顔パーツの位置関係が利用されない。また、アスペクト比可変の正規化では、上述したように顔の形状に歪みが生じる。その結果、照合の性能が低下することが考えられる。【００１４】
例えば非特許文献３では、両目の位置と鼻の下の位置が所定の座標になるように正規化を実施する。例えば、両目の間隔が広めであり、目の位置と鼻の下の距離が短めである顔が、正規化によって、実際よりも面長な顔に変換される。アスペクト比可変の正規化によって顔パーツ同士の比較は容易になるが、面長ではないという情報は失われる。【００１５】
図２は、２つの画像に対してアスペクト比可変の正規化を行った場合の画像変化の具体例を示す図である。この例でもＡさんの顔画像とＢさんの顔画像を正規化している。正規化は、左目の位置が（Ｌｘ，Ｌｙ）となり、右目の位置が（Ｒｘ、Ｒｙ）となり、更に口の位置が（Ｍｘ，Ｍｙ）となるように行われる。図２の例では、Ａさんの口の位置とＢさんの口の位置が一致しているので、口の形状の違いは顔照合に反映される。しかしながら、両目の距離と目と口の距離との比率は顔照合の結果に反映されない。また、正規化によって例えば口の形状にも歪みが生じる可能性がある。そのゆがみによって顔照合の性能が低下する恐れもある。【００１６】
特許文献１に記載された技術は、特徴点を変位させて正規化した画像を照合するとともに、特徴点の変位量も顔照合に用いるものである。そのため顔パーツの形状と位置関係の両方が顔照合に反映されるが、もとの画像そのものに近い、アスペクト比を固定した画像による照合が行われない。そのため、例えば口の位置などのような特徴点の変位量が大きい場合は、口などの顔パーツ同士の比較がゆがみの無い状態では行えないため、照合性能が低下する。【００１７】
本発明の目的は、顔パーツの配置および顔パーツの形状を適切に反映した顔照合を行うための技術を提供することである。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明の顔画像照合装置は、
与えられた顔画像に対して、アスペクト比を固定した正規化を行うことにより、第１の正規化画像を生成する第１の正規化手段と、
前記第１の正規化手段によって生成された前記第１の正規化画像から、顔の照合に用いる特徴を含む特徴画像を生成する特徴抽出手段と、
前記特徴抽出手段によって生成された前記特徴画像に対して、アスペクト比を可変にした正規化を行うことにより、第２の正規化画像を生成する第２の正規化手段と、
前記特徴抽出手段によって生成された前記特徴画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第１の照合結果を算出する第１の照合手段と、
前記第２の正規化手段によって生成された前記第２の正規化画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第２の照合結果を算出する第２の照合手段と、
前記第１の照合手段によって算出された前記第１の照合結果と、前記第２の照合手段によって算出された前記第２の照合結果とに基づいて、２つの画像の顔を同一人物のものであるか否かを判定する判定手段と、
を有している。【００１９】
本発明の顔画像照合方法は、
第１の正規化手段が、与えられた顔画像に対して、アスペクト比を固定した正規化を行うことにより、第１の正規化画像を生成し、
特徴抽出手段が、前記第１の正規化手段によって生成された前記第１の正規化画像から、顔の照合に用いる特徴を含む特徴画像を生成し、
第２の正規化手段が、前記特徴抽出手段によって生成された前記特徴画像に対して、アスペクト比を可変にした正規化を行うことにより、第２の正規化画像を生成し、
第１の照合手段が、前記特徴抽出手段によって生成された前記特徴画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第１の照合結果を算出し、
第２の照合手段が、前記第２の正規化手段によって生成された前記第２の正規化画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第２の照合結果を算出し、
判定手段が、前記第１の照合手段によって算出された前記第１の照合結果と、前記第２の照合手段によって算出された前記第２の照合結果とに基づいて、２つの画像の顔を同一人物のものであるか否かを判定するものである。【００２０】
本発明の顔画像照合プログラムは、
与えられた顔画像に対して、アスペクト比を固定した正規化を行うことにより、第１の正規化画像を生成する手順と、
前記第１の正規化画像から、顔の照合に用いる特徴を含む特徴画像を生成する手順と、
前記特徴画像に対して、アスペクト比を可変にした正規化を行うことにより、第２の正規化画像を生成する手順と、
前記特徴画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第１の照合結果を算出する手順と、
前記第２の正規化画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標である第２の照合結果を算出する手順と、
前記第１の照合結果と前記第２の照合結果とに基づいて、２つの画像の顔を同一人物のものであるか否かを判定する手順と、
をコンピュータに実行させるためのプログラムである。
【図面の簡単な説明】
【００２１】
【図１】２つの画像に対してアスペクト比固定の正規化を行った場合の画像変化の具体例を示す図である。
【図２】２つの画像に対してアスペクト比可変の正規化を行った場合の画像変化の具体例を示す図である。
【図３】本実施形態の顔画像照合装置の構成を示すブロック図である。
【図４】本実施形態による顔画像照合装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２２】
本発明を実施するための形態について図面を参照して詳細に説明する。
【００２３】
図３は、本実施形態の顔画像照合装置の構成を示すブロック図である。図３を参照すると、顔画像照合装置１０は、アスペクト比固定正規化部１１、特徴抽出部１２、アスペクト比可変正規化部１３、データ照合部１４，１５、および判定部１６を有している。
【００２４】
アスペクト比固定正規化部１１は、通信回線、記憶媒体、内部のメモリ等から与えられた顔画像に対して、拡大、縮小、および拡大を組み合わせた、アスペクト比を固定した正規化を行うことにより、アスペクト比固定の正規化画像を生成する。
【００２５】
入力する画像には、例えば、ユーザーが顔領域を指定して切り出した顔画像を用いればよい。あるいは、顔を含む画像から画像処理によって検出した顔画像を、入力する画像に用いてもよい。画像処理によって顔画像を検出する方法としては、例えば、文献（Ｐ．Ｖｉｏｌａ  ａｎｄ  Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ，”Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００１．）に記載された手法がある。
【００２６】
また、ここでは一例として、入力された２つの顔画像に含まれている人物を照合するものとする。したがって、アスペクト比固定正規化部１１は、２つの顔画像に対してアスペクト比固定の正規化を行う。なお、一方の顔画像を基準画像として、予め正規化や特徴抽出等の加工がされた状態で登録しておき、その基準画像と照合する顔画像だけを後から入力するものとしてもよい。
【００２７】
アスペクト比固定正規化部１１では、一例として、図１に示したように、左目の位置が（Ｌｘ，Ｌｙ）となり、右目の位置が（Ｒｘ、Ｒｙ）となるように、顔画像を回転および拡大あるいは縮小すればよい。
【００２８】
ここでは、一方の顔画像を正規化した正規化画像における座標（ｘ，ｙ）の画素値をｆ１（ｘ，ｙ）とし、他方の顔画像を正規化した正規化画像における座標（ｘ，ｙ）の画素値をｆ２（ｘ，ｙ）とする。画素値としてはモノクロ階調値あるいはカラーＲＧＢ値を用いればよい。
【００２９】
特徴抽出部１２は、アスペクト比固定正規化部１１によって生成されたアクペクト比固定の正規化画像から顔の照合に用いる特徴を抽出し、抽出した特徴による特徴画像を生成する。
【００３０】
特徴抽出部１２は、アスペクト比固定正規化部１１で正規化を実施した２つの顔画像の画素値ｆ１（ｘ，ｙ）及びｆ２（ｘ，ｙ）のそれぞれから、顔画像に有用な特徴から構成される画像ｇ１（ｘ，ｙ）、ｇ２（ｘ，ｙ）を算出する。特徴および特徴画像については様々な算出手法があるが、どのような手法を用いてもよい。
【００３１】
例えば、入力画像がモノクロ画像である場合、Ｇａｂｏｒｆａｃｅと呼ばれる方法で、予め定めたＫ個のＧａｂｏｒフィルタＧｉ（ｉ＝１，，，Ｋ）を用いて、もとの顔画像に対して畳み込みを行って得られる畳み込み結果であるＧａｂｏｒ特徴からなる特徴画像としてもよい。これを具体的に数式で表すと、式（１）および式（２）のように表すことができる。なお、これらの数式において、＊は畳み込み演算を表す演算子である。Ｇａｂｏｒｆａｃｅの手法は、例えば文献（Ｐ．Ｙａｎｇ，  Ｓ．Ｓｈａｎ，  Ｗ．Ｇａｏ，  Ｓ．  Ｌｉ  ａｎｄ  Ｄ．Ｚｈａｎｇ，“Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｕｓｉｎｇ  Ａｄａ−Ｂｏｏｓｔｅｄ  Ｇａｂｏｒ  Ｆｅａｔｕｒｅｓ，”  Ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  ｔｈｅ  ６ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｔｉｏｎ，  ｐｐ３５６−３６１，  ２００４．）に記載されている。
【００３２】
g1(x,y)=[(G1*f1)(x,y),(G2*f1)(x,y),,,,(Gk*f1)(x,y)]      （１）
g2(x,y)=[(G1*f2)(x,y),(G2*f2)(x,y),,,,(Gk*f2)(x,y)]      （２）
また、例えば、入力画像がカラー画像である場合、まず入力画像をモノクロ画像に変換してから上述した処理を行ってもよいし、三原色のそれぞれについて個々に上述した処理を行い、３倍の大きさのベクトルとして表現してもよい。
【００３３】
また、Ｇａｂｏｒｆａｃｅではなく他の畳み込みの手法を用いて特徴画像を算出することにしてもよい。さらには入力画像をそのまま特徴画像として用いてもよい。入力画像をそのまま特徴画像として用いる場合、特徴画像を表す数式は式（３）および式（４）のようになる。
【００３４】
g1(x,y)=f1(x,y)    （３）
g2(x,y)=f2(x,y)    （４）
更に他の手法として、画像内の輝度の勾配方向を計算して各位置のそれぞれ毎に方向のヒストグラムを算出し、そのヒストグラムを特徴として用いてもよい。勾配方向のヒストグラムを特徴とする手法は、例えば、文献（Ｎ．Ｄａｌａｌ  ａｎｄ  Ｂ．Ｔｒｉｇｇｓ，“Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ，”  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００５．）に記載されている。
【００３５】
アスペクト比可変正規化部１３は、特徴抽出部１２によって生成された特徴画像に対して、アスペクト比を可変にした正規化を行うことにより、アスペクト比可変の正規化画像を生成する。その際、アスペクト比可変正規化部１３は、２つの特徴画像ｇ１（ｘ，ｙ）、ｇ２（ｘ，ｙ）に対し、目、鼻、口など３つ以上の顔パーツの位置が一致するように画像のアスペクト比を変化させ、顔の形状をゆがめて位置あわせを実施する。
【００３６】
例えば、位置を合わせるべき顔パーツの位置の２乗誤差が最小となるようなアフィン変換パラメータを算出し、アフィン変換によって画像を変換する。より具体的には、例えば、左右の目の位置がそれぞれ（Ｌｘ、Ｌｙ）、（Ｒｘ、Ｒｙ）となり、口の位置が（Ｍｘ、Ｍｙ）となるよう、位置の２乗誤差が最小になるようにアフィン変換のパラメータを推定し、そのアフィン変換パラメータを用いて画像を変換する。
【００３７】
また、アフィン変換は線形変換であるが、線形変換ではなく更に高次の変換方法を用いてもよい。また、画像を複数の領域に分割し、領域毎に変換を行うような手法を採用してもよい。
【００３８】
顔パーツとしては、両目と口の他に、口の両端点や鼻の下や鼻の穴、耳の位置や目の両端などを利用してもよい。画像における顔パーツの位置は、入力された画像をユーザーが目視で確認して予め設定しておくことにしてもよく、あるいは、画像処理によって顔パーツを検出して設定することにしてもよい。画像処理の手法としては、例えば、上述した文献（Ｐ．Ｖｉｏｌａ  ａｎｄ  Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ，”Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００１．）に記載されている手法を、顔ではなく顔パーツに適用すればよい。
【００３９】
データ照合部１４は、特徴抽出部１２によって生成された特徴画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標であるアスペクト比固定の照合スコアを算出する。
【００４０】
データ照合部１５は、アスペクト比可変正規化部１３によって生成されたアスペクト比可変の正規化画像を用いて、２つの画像の顔が同一人物のものであるか否かの指標であるアスペクト比可変の照合スコアを算出する。
【００４１】
データ照合部１４，１５における照合スコア算出方法として様々な方法を採用できるが、例えばＰＣＡやＬＤＡを用いた方法を採用すればよい。ＰＣＡやＬＤＡを用いる例では、ＰＣＡやＬＤＡによって予め特徴空間の部分空間を求めておき、２つの画像の特徴をそれぞれ部分空間に射影し、射影した２つの特徴の距離あるいは２つの特徴の正規化相関値を照合スコアの値とすればよい。ＰＣＡは非特許文献１に記載されており、ＬＤＡは非特許文献２に記載されている。
【００４２】
判定部１６は、データ照合部１４によって算出されたアスペクト比固定の照合スコアと、データ照合部１５によって算出されたアスペクト比可変の照合スコアとに基づいて、２つの画像の顔を同一人物のものであるか否かを判定する。２つの照合スコアを基に２つの画像の人物が同一であるか否かを判定する方法としては様々な方法が考えられる。
【００４３】
具体例として、判定部１６は、データ照合部１４，１５で得られた２つの照合スコアの平均値を算出し、その平均値が予め定めた閾値より大きければ同一人物であり、平均値が閾値以下であれば同一人物でないと判定することにしてもよい。また、照合スコアの算出方法によって、その平均値が予め定めた閾値より小さければ同一人物であり、平均値が閾値以上であれば同一人物でないと判定することにしてもよい。
【００４４】
また他の例として、平均値の代わりに最大値あるいは最小値を用いてもよい。また、更に他の例として、平均値の代わりに、予め定められた重み値によって算出した重みつき線形和の値を用いてもよい。
【００４５】
判定部１６による最終的な判定結果は例えばディスプレイにテキストで表示することにしてもよい。また、同一人物でないと判定されたときにブザーを発することにしてもよい。また、同一人物と判定されたときと、同一人物でないと判定されたときとで異なる音を発することにしてもよい。
【００４６】
図４は、本実施形態による顔画像照合装置の動作を示すフローチャートである。照合を行いたい２つの顔画像が入力されると（ステップ１０１）、アスペクト比固定正規化部１１が、それらの画像に対してアスペクト比を固定した正規化の処理を実施する（ステップ１０２）。この処理により、ｆ１（ｘ，ｙ）及びｆ２（ｘ，ｙ）で表される２つの顔画像が得られる。
【００４７】
次に、特徴抽出部１２が、アスペクト比固定正規化部１１によって正規化された２枚の顔画像ｆ１（ｘ，ｙ）とｆ２（ｘ，ｙ）のそれぞれに対して特徴抽出の処理を実施する（ステップ１０３）。この処理により、特徴画像ｇ１（ｘ，ｙ）及びｇ２（ｘ，ｙ）がられる。
【００４８】
次に、データ照合部１４が、特徴抽出部１２によって得られた２つの特徴画像ｇ１（ｘ，ｙ）、ｇ２（ｘ，ｙ）を用いて照合処理を実施する（ステップ１０４）。この照合処理により、アスペクト比を固定して正規化した画像から得られる、２つの画像の人物が同一であるか否かの指標である照合スコア値ａが得られる。例えばＬＤＡによる照合処理であれば、ＬＤＡによって求められる低次元空間にデータｇ１、ｇ２をそれぞれ投影し、それらの距離を計算し、その距離の値をスコア値とすればよい。
【００４９】
次に、アスペクト比可変正規化部１３が、特徴抽出部１２で得られた特徴画像ｇ１（ｘ，ｙ）及びｇ２（ｘ，ｙ）のそれぞれに対して、アスペクト比を可変にして顔パーツの位置を合わせるような正規化の処理を実施する（ステップ１０５）。この正規化の処理により、アスペクト比が可変の正規化が行われた画像ｈ１（ｘ，ｙ）及びｈ２（ｘ，ｙ）が得られる。
【００５０】
次に、データ照合１５が、アスペクト比可変正規化部１３によって得られたデータｈ１（ｘ，ｙ）、ｈ２（ｘ，ｙ）を用いて照合処理を実施する（ステップ１０６）。この照合処理によって、アスペクト比を可変として正規化した画像から得られる、２つの画像の人物が同一であるか否かの指標である照合スコア値ｂが得られる。例えばＬＤＡによる照合処理であれば、ＬＤＡによって求められる低次元空間にデータｈ１、ｈ２をそれぞれ投影し、それらの距離を計算し、その距離の値をスコア値とすればよい。
【００５１】
次に、判定部１６が、データ照合部１４及びデータ照合部１５で得られた２つの照合スコア値ａ、ｂを統合した照合スコア値ｍを算出し、その照合スコア値ｍに基づいて、２つの画像の人物が同一であるか否か判定し（ステップ１０７）、その判定結果を出力する（ステップ１０８）。例えば、照合スコア値ｃが予め定められた閾値ｃより大きいか否かによって判断を行えばよい。
【００５２】
照合スコア値ｍの算出方法としては例えばｍ＝ａ＋ｂとすればよい。また、他の例として、ｍ＝ｍａｘ（ａ，ｂ）またはｍ＝ｍｉｎ（ａ，ｂ）としてもよい。更に他の例として、ａとｂを重みづけ加算した重み付き線形和を照合スコア値ｍとしてもよい。
【００５３】
例えば、データ照合部１４，１５がＬＤＡを用いて算出した距離を照合スコアとして計算する場合、照合スコアが小さい程、同一人物である可能性が高いことになる。その場合、ｍ＝ａ＋ｂによって算出された照合スコア値ｍが予め定めた閾値ｃよりも小さければ同一人物であると判断し、ｍが閾値ｃ以上であれば同一人物で無いと判断すればよい。
【００５４】
以上説明したように、本実施形態によれば、２つの顔画像の人物が同一であるか否か判定するとき、アスペクト比を固定して正規化した画像による照合の結果と、アスペクト比を可変にして正規化した画像による照合の結果の両方を用いて判定を行うので、顔パーツの配置および顔パーツの形状を適切に反映した顔照合を行うことができる。
【００５５】
また、本実施形態によれば、まずアスペクト比固定の正規化を行い、アスペクト比可変の正規化を行う前に特徴抽出を行うので、単純に２つの方法で別々に正規化を行うのに比べて計算量が削減される。
【００５６】
また、本実施形態によれば、まずアスペクト比固定の正規化を行い、アスペクト比可変の正規化を行う前に特徴抽出を行って特徴画像を作成し、前記特徴画像に対してアスペクト比可変の正規化を行うため、アスペクト比可変の正規化の後にも、顔パーツに対する特徴量はアスペクト比可変の正規化以前の画像から抽出したものであるために、ゆがみの影響を受けず、その結果、高精度の照合が実現できる。
【００５７】
なお、上述した実施形態の顔画像照合装置は、装置を構成する各部の処理手順を規定したソフトウェアプログラムをコンピュータに実行させることにより実現することもできる。
【００５８】
以上、本発明の実施形態について述べてきたが、本発明は、この実施形態だけに限定されるものではなく、本発明の技術思想の範囲内において、実施形態の一部の構成を変更してもよい。
【００５９】
この出願は、２００９年１１月２５日に出願された日本出願特願２００９−２６７７６７を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
【図１】
0005644773.tif 000002
【図２】
0005644773.tif 000003
【図３】
0005644773.tif 000004
【図４】
0005644773.tif 000005