(57)【特許請求の範囲】
【請求項１】
利用者の顔と、当該顔との関係で定まる場所に位置する物体と、を撮像した画像の入力を受け付ける受付部と、
前記画像から顔領域を検出する検出部と、
前記顔領域との関係で定まる領域であって前記場所に対応する物体領域を、前記画像に設定する設定部と、
利用者を識別する識別情報と、当該利用者の顔の顔特徴量と、当該利用者の照合に用いられる物体の物体特徴量とを、対応付けて記憶する利用者情報記憶部と、
前記顔領域から顔特徴量を抽出して前記利用者情報記憶部に記憶されている顔特徴量と照合する顔照合部と、
前記物体領域から物体特徴量を抽出して前記利用者情報記憶部に記憶されている物体特徴量と照合する物体照合部と、
前記顔特徴量の照合結果と前記物体特徴量の照合結果との少なくともいずれかを用いて前記利用者の照合結果を算出する算出部と、
を備え、
前記物体特徴量は、前記物体を撮像した画像の画像特徴を表現するベクトルであり、
前記物体照合部は、前記物体領域から前記物体領域以下の大きさの画像を複数抽出し、抽出した前記複数の画像それぞれから前記物体特徴量を抽出して前記利用者情報記憶部に記憶されている前記物体特徴量と照合する照合装置。
【請求項２】
前記物体領域が設定された前記画像を表示部に表示する表示制御部を更に備える請求項１に記載の照合装置。
【請求項３】
前記設定部は、前記顔領域の位置及び大きさから前記物体領域を決定し、前記画像に設定する請求項１又は２に記載の照合装置。
【請求項４】
前記物体照合部は、前記物体領域から抽出した前記物体特徴量を、前記利用者情報記憶部に記憶されている物体特徴量のうち前記顔照合部による照合結果が上位予め定められた数の顔特徴量に対応付けられた物体特徴量と照合する請求項１〜３のいずれか１つに記載の照合装置。
【請求項５】
前記物体照合部は、前記物体領域から抽出した前記物体特徴量を、前記利用者情報記憶部に記憶されている物体特徴量のうち前記顔照合部による照合結果が閾値以上の顔特徴量に対応付けられた物体特徴量と照合する請求項１〜３のいずれか１つに記載の照合装置。
【請求項６】
前記設定部は、前記物体領域を複数決定して、前記画像に設定し、
前記物体照合部は、前記画像に設定された前記物体領域それぞれから物体特徴量を抽出して前記利用者情報記憶部に記憶されている物体特徴量と照合する請求項１〜５のいずれか１つに記載の照合装置。
【請求項７】
前記設定部は、前記複数の物体領域のうち前記画像内に収まる物体領域を前記画像に設定する請求項６に記載の照合装置。
【請求項８】
受付部が、利用者の顔と、当該顔との関係で定まる場所に位置する物体と、を撮像した画像の入力を受け付ける受付ステップと、
検出部が、前記画像から顔領域を検出する検出ステップと、
設定部が、前記顔領域との関係で定まる領域であって前記場所に対応する物体領域を、前記画像に設定する設定ステップと、
顔照合部が、前記顔領域から顔特徴量を抽出して、利用者を識別する識別情報と当該利用者の顔の顔特徴量と当該利用者の照合に用いられる物体の物体特徴量とを対応付けて記憶する利用者情報記憶部に記憶されている顔特徴量と照合する顔照合ステップと、
物体照合部が、前記物体領域から物体特徴量を抽出して前記利用者情報記憶部に記憶されている物体特徴量と照合する物体照合ステップと、
算出部が、前記顔特徴量の照合結果と前記物体特徴量の照合結果との少なくともいずれかを用いて前記利用者の照合結果を算出する算出ステップと、
を含み、
前記物体特徴量は、前記物体を撮像した画像の画像特徴を表現するベクトルであり、
前記物体照合ステップでは、前記物体領域から前記物体領域以下の大きさの画像を複数抽出し、抽出した前記複数の画像それぞれから前記物体特徴量を抽出して前記利用者情報記憶部に記憶されている前記物体特徴量と照合する照合方法。
【請求項９】
利用者の顔と、当該顔との関係で定まる場所に位置する物体と、を撮像した画像の入力を受け付ける受付ステップと、
前記画像から顔領域を検出する検出ステップと、
前記顔領域との関係で定まる領域であって前記場所に対応する物体領域を、前記画像に設定する設定ステップと、
前記顔領域から顔特徴量を抽出して、利用者を識別する識別情報と当該利用者の顔の顔特徴量と当該利用者の照合に用いられる物体の物体特徴量とを対応付けて記憶する利用者情報記憶部に記憶されている顔特徴量と照合する顔照合ステップと、
前記物体領域から物体特徴量を抽出して前記利用者情報記憶部に記憶されている物体特徴量と照合する物体照合ステップと、
前記顔特徴量の照合結果と前記物体特徴量の照合結果との少なくともいずれかを用いて前記利用者の照合結果を算出する算出ステップと、
をコンピュータに実行させ、
前記物体特徴量は、前記物体を撮像した画像の画像特徴を表現するベクトルであり、
前記物体照合ステップでは、前記物体領域から前記物体領域以下の大きさの画像を複数抽出し、抽出した前記複数の画像それぞれから前記物体特徴量を抽出して前記利用者情報記憶部に記憶されている前記物体特徴量と照合する照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、照合装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、利用者照合において、セキュリティを高めるため、顔照合に加え当該顔照合と異なる照合を用いる技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９９８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述したような従来技術において、顔照合と異なる照合に物体照合を採用する場合、物体照合では、照合対象となる物体の自動認識が一般的に困難であるため、照合対象となる物体の位置を利用者に指示させる必要があり、利便性に欠けるという問題がある。本発明が解決しようとする課題は、利用者照合におけるセキュリティ及び利便性を高めることができる照合装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の照合装置は、受付部と、検出部と、設定部と、利用者情報記憶部と、顔照合部と、物体照合部と、算出部と、を備える。受付部は、利用者の顔と、当該顔との関係で定まる場所に位置する物体と、を撮像した画像の入力を受け付ける。検出部は、前記画像から顔領域を検出する。設定部は、前記顔領域との関係で定まる領域であって前記場所に対応する物体領域を、前記画像に設定する。利用者情報記憶部は、利用者を識別する識別情報と、当該利用者の顔の顔特徴量と、当該利用者の照合に用いられる物体の物体特徴量とを、対応付けて記憶する。顔照合部は、前記顔領域から顔特徴量を抽出して前記利用者情報記憶部に記憶されている顔特徴量と照合する。物体照合部は、前記物体領域から物体特徴量を抽出して前記利用者情報記憶部に記憶されている物体特徴量と照合する。算出部は、前記顔特徴量の照合結果と前記物体特徴量の照合結果との少なくともいずれかを用いて前記利用者の照合結果を算出する。前記物体特徴量は、前記物体を撮像した画像の画像特徴を表現するベクトルである。前記物体照合部は、前記物体領域から前記物体領域以下の大きさの画像を複数抽出し、抽出した前記複数の画像それぞれから前記物体特徴量を抽出して前記利用者情報記憶部に記憶されている前記物体特徴量と照合する。
【図面の簡単な説明】
【０００６】
【図１】本実施形態の照合装置の例を示す構成図。
【図２】本実施形態の物体領域の例を示す図。
【図３】本実施形態の利用者情報記憶部に記憶されている情報の例を示す図。
【図４】本実施形態の顔照合部の例を示す構成図。
【図５】本実施形態の物体照合部の例を示す構成図。
【図６】本実施形態の照合処理例を示すフローチャート。
【図７】本実施形態の顔照合処理例を示すフローチャート。
【図８】本実施形態の物体照合処理例を示すフローチャート。
【図９】変形例の利用者情報記憶部に記憶されている情報の例を示す図。
【図１０】本実施形態及び各変形例の照合装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照しながら、実施形態を詳細に説明する。
【０００８】
図１は、本実施形態の照合装置１００の一例を示す構成図である。図１に示すように、認識装置１００は、撮像部１０２と、受付部１０４と、検出部１０６と、設定部１０８と、表示制御部１１０と、表示部１１２と、利用者情報記憶部１１４と、顔照合部１１６と、物体照合部１１８と、算出部１２０と、出力部１２２とを、備える。
【０００９】
撮像部１０２は、例えば、カメラなどの撮像装置により実現できる。受付部１０４、検出部１０６、設定部１０８、表示制御部１１０、顔照合部１１６、物体照合部１１８、及び算出部１２０は、例えば、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated  Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。表示部１１２は、例えば、液晶ディスプレイなどの表示装置により実現できる。利用者情報記憶部１１４は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、ＲＯＭ（Read  Only  Memory）、メモリカードなどの磁気的、光学的、又は電気的に記憶可能な記憶装置の少なくともいずれかにより実現できる。出力部１２２は、例えばデータ出力用のインタフェースなどにより実現できる。
【００１０】
撮像部１０２は、画像を順次撮像し、受付部１０４に入力する。本実施形態では、撮像部１０２は、照合対象の利用者を撮像することを想定しており、具体的には、利用者の顔を撮像し、その後、利用者の顔と当該顔との関係で定まる場所に位置する物体とを撮像することを想定している。利用者の顔との関係で定まる場所については後述する。物体は、利用者の照合に用いられる物体であり、例えば、ＩＤカードなど利用者が所有可能な物体であればどのようなものであってもよい。
【００１１】
受付部１０４は、撮像部１０２により撮像された画像の入力を順次受け付ける。具体的には、受付部１０４は、利用者の顔を撮像した画像や、利用者の顔と当該顔との関係で定まる場所に位置する物体とを撮像した画像などの入力を受け付ける。
【００１２】
検出部１０６は、受付部１０４により受け付けられた画像から利用者の顔の領域である顔領域を検出する。具体的には、検出部１０６は、特開２００６−２６８８２５号公報に開示された手法を用いて、受付部１０４により受け付けられた画像から顔領域を検出する。但し、顔領域の検出手法はこれに限定されず、検出部１０６は、例えば、１以上の顔画像を用いて、受付部１０４により受け付けられた画像とテンプレートマッチングを行い、受付部１０４により受け付けられた画像の領域のうち予め定めた閾値を超えた領域を顔領域とするようにしてもよい。
【００１３】
本実施形態では、顔領域は、矩形領域であり、矩形領域の左上の点の座標（ｘ１，ｙ１）と矩形領域の右下の点の座標（ｘ２，ｙ２）とのペアで表すものとする。ここでは、画像の横方向がｘ軸、画像の縦方向がｙ軸であるものとする。但し、顔領域はこれに限定されるものではなく、例えば、顔領域を円領域とし、円領域の中心点の座標及び半径の長さで表してもよいし、顔領域を楕円領域とし、楕円領域の中心点、長軸、及び短軸の座標で表してもよいし、顔領域を多角形領域とし、多角形領域の各頂点の座標で表してもよい。
【００１４】
なお検出部１０６は、受付部１０４により受け付けられた画像から顔領域を検出できなかった場合、当該画像の表示を表示制御部１１０に指示する。
【００１５】
設定部１０８は、検出部１０６により検出された顔領域との関係で定まる領域であって、利用者の顔との関係で定まる場所に対応する物体領域を、検出部１０６により顔領域が検出された画像に設定する。具体的には、設定部１０８は、検出部１０６により検出された顔領域の位置及び大きさから物体領域を決定し、検出部１０６により顔領域が検出された画像に設定する。
【００１６】
本実施形態では、物体領域は、顔領域同様、矩形領域であり、矩形領域の左上の点の座標（ｘ１’，ｙ１’）と矩形領域の右下の点の座標（ｘ２’，ｙ２’）とのペアで表すものとする。ｘ１’、ｙ１’、ｘ２’、ｙ２’は、顔領域の左上の点の座標（ｘ１，ｙ１）及び右下の点の座標（ｘ２，ｙ２）の１次式で表すことができ、それぞれ、数式（１）〜（４）で表される。
【００１７】
ｘ１’＝ａｘ１＋ｂｙ１＋ｃｘ２＋ｄｙ２＋ｅ      …（１）
【００１８】
ｙ１’＝ｆｘ１＋ｇｙ１＋ｈｘ２＋ｉｙ２＋ｊ      …（２）
【００１９】
ｘ２’＝ｋｘ１＋ｌｙ１＋ｍｘ２＋ｎｙ２＋ｏ      …（３）
【００２０】
ｙ２’＝ｐｘ１＋ｑｙ１＋ｒｘ２＋ｓｙ２＋ｔ      …（４）
【００２１】
ここで、ａ〜ｔは係数である。
【００２２】
図２は、本実施形態の物体領域の一例を示す図である。図２に示す例では、画像２００において、顔領域２０１の下に物体領域２０２が設定されている。
【００２３】
なお設定部１０８は、物体領域を設定した画像の表示を表示制御部１１０に指示する。
【００２４】
表示制御部１１０は、撮像部１０２から入力される画像を順次表示部１１２に表示する。具体的には、表示制御部１１０は、検出部１０６又は設定部１０８から画像の表示が指示されると、指示された画像を表示部１１２に表示する。
【００２５】
これにより、検出部１０６により顔領域が検出されている場合、利用者の顔及び物体領域を含む画像が表示部１１２に表示されるので、利用者の顔との関係で定まる場所であって照合対象の物体を位置させる場所を利用者に把握させるとともに、当該場所に照合対象の物体を位置させるよう利用者に促すことができる。このため、物体領域は、顔領域との関係で定まる領域であって利用者の顔との関係で定まる場所に対応する領域となる。
【００２６】
利用者情報記憶部１１４は、利用者を識別する識別情報と、当該利用者の顔の顔特徴量と、当該利用者の照合に用いられる物体の物体特徴量とを、対応付けて記憶する。
【００２７】
図３は、本実施形態の利用者情報記憶部１１４に記憶されている情報の一例を示す図である。図３に示す例では、利用者情報記憶部１１４は、利用者のＩＤ毎に、当該利用者の顔特徴量及び物体特徴量を対応付けたテーブルを記憶している。ここで、顔特徴量、物体特徴量は、それぞれ、事前に当該利用者の顔、物体から抽出した特徴量であり、本実施形態では、顔特徴量は、顔画像を構成する各領域の輝度値を並べたベクトルを１に正規化したものであり、物体特徴量は、物体画像を構成する各領域の輝度値を並べたベクトルを１に正規化したものであるものとするが、これに限定されるものではない。
【００２８】
顔照合部１１６は、検出部１０６により検出された顔領域から顔特徴量を抽出して利用者情報記憶部１１４に記憶されている顔特徴量と照合する。
【００２９】
図４は、本実施形態の顔照合部１１６の一例を示す構成図である。図４に示すように、顔照合部１１６は、顔画像抽出部１３２と、顔特徴量抽出部１３４と、顔類似度算出部１３６とを、含む。
【００３０】
顔画像抽出部１３２は、設定部１０８により物体領域が設定された画像から、検出部１０６により検出された顔領域を抽出し、顔画像とする。具体的には、顔領域は、矩形領域であり、矩形領域の左上の点の座標が（ｘ１，ｙ１）、矩形領域の右下の点の座標が（ｘ２，ｙ２）であるため、顔画像抽出部１３２は、設定部１０８により物体領域が設定された画像から、（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ１，ｙ２）、（ｘ２，ｙ２）の４点を頂点とする顔画像を抽出する。なお顔画像抽出部１３２は、検出部１０６により検出された顔領域を用いて、設定部１０８により物体領域が設定された画像から、顔の特徴点を検出し、検出した特徴点を用いて正規化した画像を顔画像とするようにしてもよい。
【００３１】
顔特徴量抽出部１３４は、顔画像抽出部１３２により抽出された顔画像の特徴量である顔特徴量を抽出する。本実施形態では、顔特徴量抽出部１３４は、顔画像を構成する各領域の輝度値を並べたベクトルを１に正規化することで、顔特徴量とする。但し、顔特徴量はこれに限定されず、顔特徴量抽出部１３４は、顔画像にソーベルフィルタやガボールフィルタを掛け、これにより得た画像を構成する各領域の輝度値を並べたベクトルを顔特徴量としてもよい。また顔特徴量抽出部１３４は、上述したベクトルに白色化変換などの線型変換を施したものを顔特徴量としてもよい。
【００３２】
顔類似度算出部１３６は、顔特徴量抽出部１３４により抽出された顔特徴量と利用者情報記憶部１１４に記憶されている各顔特徴量との類似度である顔類似度を算出する。本実施形態では、顔類似度は、０〜１までの値を取り、１に近いほど両顔特徴量が近いことを示すものとするが、これに限定されるものではない。例えば、顔類似度算出部１３６は、顔特徴量同士の内積を顔類似度とし、数式（５）を用いて、算出する。本実施形態では、いずれの顔特徴量も長さ１のベクトルであるため、顔特徴量同士の内積は、単純類似度となる。
【００３３】
顔類似度＝ｓ１ｔ１＋ｓ２ｔ２＋…＋ｓＮｔＮ      …（５）
【００３４】
ｓ１、…、ｓＮは、顔特徴量抽出部１３４により抽出された顔特徴量を表し、ｔ１、…、ｔＮは、利用者情報記憶部１１４に記憶されている顔特徴量を表す。Ｎは、２以上の整数である。
【００３５】
但し、顔類似度は、ベクトルの内積に限定されず、ベクトルの距離であってもよい。
【００３６】
物体照合部１１８は、設定部１０８により設定された物体領域から物体特徴量を抽出して利用者情報記憶部１１４に記憶されている物体特徴量と照合する。
【００３７】
図５は、本実施形態の物体照合部１１８の一例を示す構成図である。図５に示すように、物体照合部１１８は、物体画像抽出部１４２と、物体特徴量抽出部１４４と、物体類似度算出部１４６とを、含む。
【００３８】
物体画像抽出部１４２は、設定部１０８により物体領域が設定された画像から、当該物体領域を抽出し、物体画像とする。具体的には、物体領域は、矩形領域であり、矩形領域の左上の点の座標が（ｘ１’，ｙ１’）、矩形領域の右下の点の座標が（ｘ２’，ｙ２’）であるため、物体画像抽出部１４２は、設定部１０８により物体領域が設定された画像から、（ｘ１’，ｙ１’）、（ｘ２’，ｙ１’）、（ｘ１’，ｙ２’）、（ｘ２’，ｙ２’）の４点を頂点とする物体画像を抽出する。
【００３９】
なお物体画像抽出部１４２は、物体領域から複数の物体画像を抽出してもよい。例えば、物体画像抽出部１４２は、物体領域を、幅ｗ（０＜ｗ＜ｘ２’−ｘ１’）、高さｈ（０＜ｈ＜ｙ２’−ｙ１’）の複数の領域に分割し、分割した各領域を物体画像とし抽出してもよい。
【００４０】
物体特徴量抽出部１４４は、物体画像抽出部１４２により抽出された物体画像の特徴量である物体特徴量を抽出する。本実施形態では、物体特徴量抽出部１４４は、物体画像を構成する各領域の輝度値を並べたベクトルを１に正規化することで、物体特徴量とする。但し、物体特徴量はこれに限定されず、物体特徴量抽出部１４４は、物体画像にソーベルフィルタやガボールフィルタを掛け、これにより得た画像を構成する各領域の輝度値を並べたベクトルを物体特徴量としてもよい。また物体特徴量抽出部１４４は、上述したベクトルに白色化変換などの線型変換を施したものを物体特徴量としてもよい。なお物体特徴量抽出部１４４は、物体画像抽出部１４２により複数の物体画像が抽出された場合、各物体画像から物体特徴量を抽出する。
【００４１】
物体類似度算出部１４６は、物体特徴量抽出部１４４により抽出された物体特徴量と利用者情報記憶部１１４に記憶されている物体特徴量との類似度である物体類似度を算出する。本実施形態では、物体類似度は、０〜１までの値を取り、１に近いほど両物体特徴量が近いことを示すものとするが、これに限定されるものではない。例えば、物体類似度算出部１４６は、物体特徴量同士の内積を物体類似度とし、数式（６）を用いて、算出する。本実施形態では、いずれの物体特徴量も長さ１のベクトルであるため、物体特徴量同士の内積は、単純類似度となる。
【００４２】
物体類似度＝ｕ１ｖ１＋ｕ２ｖ２＋…＋ｕＭｖＭ      …（６）
【００４３】
ｕ１、…、ｕＭは、物体特徴量抽出部１４４により抽出された物体特徴量を表し、ｖ１、…、ｖＭは、利用者情報記憶部１１４に記憶されている物体特徴量を表す。Ｍは、２以上の整数である。
【００４４】
但し、物体類似度は、ベクトルの内積に限定されず、ベクトルの距離であってもよい。
【００４５】
算出部１２０は、顔特徴量の照合結果と物体特徴量の照合結果との少なくともいずれかを用いて利用者の照合結果を算出する。具体的には、算出部１２０は、顔照合部１１６及び物体照合部１１８により利用者のＩＤ毎に顔類似度及び物体類似度が算出されているので、ＩＤが一致する顔類似度及び物体類似度の和又は平均を利用者の類似度である利用者類似度として算出する。但し、算出部１２０は、ＩＤが一致する顔類似度及び物体類似度のうち値の大きい方の類似度を利用者類似度としてもよい。そして算出部１２０は、値が最も大きい利用者類似度及びそのＩＤを利用者の照合結果とする。但し、算出部１２０は、予め閾値を設定しておき、閾値以上の利用者類似度及びそのＩＤを利用者の照合結果としてもよい。この場合、閾値以上の利用者類似度が存在しなければ、照合結果は照合失敗となる。なお算出部１２０は、全ての利用者類似度及びそのＩＤを利用者の照合結果としてもよい。
【００４６】
出力部１２２は、算出部１２０により算出された利用者の照合結果を出力する。
【００４７】
図６は、本実施形態の照合装置１００で行われる照合処理の手順の流れの一例を示すフローチャートである。なお、図６のフローチャートに示す処理は、撮像部１０２から画像が入力される毎に行われる。
【００４８】
まず、受付部１０４は、撮像部１０２により撮像された画像の入力を受け付ける（ステップＳ１００）。
【００４９】
続いて、検出部１０６は、受付部１０４により受け付けられた画像から顔領域を検出する（ステップＳ１０２）。
【００５０】
検出部１０６により画像から顔領域が検出されなかった場合（ステップＳ１０２でＮｏ）、表示制御部１１０は、当該画像を表示部１１２に表示する（ステップＳ１０４）。
【００５１】
一方、検出部１０６により画像から顔領域が検出された場合（ステップＳ１０２でＹｅｓ）、設定部１０８は、検出部１０６により顔領域が検出された画像に物体領域を設定する（ステップＳ１０６）。
【００５２】
続いて、表示制御部１１０は、設定部１０８により物体領域が設定された画像を表示部１１２に表示する（ステップＳ１０８）。
【００５３】
続いて、顔照合部１１６は、検出部１０６により検出された顔領域から顔特徴量を抽出して利用者情報記憶部１１４に記憶されている顔特徴量と照合する（ステップＳ１１０）。
【００５４】
続いて、物体照合部１１８は、設定部１０８により設定された物体領域から物体特徴量を抽出して利用者情報記憶部１１４に記憶されている物体特徴量と照合する（ステップＳ１１２）。
【００５５】
続いて、算出部１２０は、顔特徴量の照合結果と物体特徴量の照合結果との少なくともいずれかを用いて利用者の照合結果を算出する（ステップＳ１１４）。
【００５６】
続いて、出力部１２２は、算出部１２０により算出された利用者の照合結果を出力する（ステップＳ１１６）。
【００５７】
図７は、図６のフローチャートのステップＳ１１０に示す顔照合処理の手順の流れの一例を示すフローチャートである。
【００５８】
まず、顔画像抽出部１３２は、設定部１０８により物体領域が設定された画像から、検出部１０６により検出された顔領域を抽出し、顔画像とする（ステップＳ２００）。
【００５９】
続いて、顔特徴量抽出部１３４は、顔画像抽出部１３２により抽出された顔画像の顔特徴量を抽出する（ステップＳ２０２）。
【００６０】
続いて、顔類似度算出部１３６は、利用者情報記憶部１１４から未処理の顔特徴量を取得し、顔特徴量抽出部１３４により抽出された顔特徴量との顔類似度を算出する（ステップＳ２０４）。
【００６１】
続いて、顔類似度算出部１３６は、利用者情報記憶部１１４に未処理の顔特徴量が残っている場合（ステップＳ２０６でＹｅｓ）、ステップＳ２０４に戻り、利用者情報記憶部１１４に記憶されている全ての顔特徴量を処理している場合（ステップＳ２０６でＮｏ）、顔照合を終了する。
【００６２】
図８は、図６のフローチャートのステップＳ１１２に示す物体照合処理の手順の流れの一例を示すフローチャートである。
【００６３】
まず、物体画像抽出部１４２は、設定部１０８により物体領域が設定された画像から、当該物体領域を抽出し、物体画像とする（ステップＳ３００）。
【００６４】
続いて、物体特徴量抽出部１４４は、物体画像抽出部１４２により抽出された物体画像の物体特徴量を抽出する（ステップＳ３０２）。
【００６５】
続いて、物体類似度算出部１４６は、利用者情報記憶部１１４から未処理の物体特徴量を取得し、物体特徴量抽出部１４４により抽出された物体特徴量との物体類似度を算出する（ステップＳ３０４）。
【００６６】
続いて、物体類似度算出部１４６は、利用者情報記憶部１１４に未処理の物体特徴量が残っている場合（ステップＳ３０６でＹｅｓ）、ステップＳ３０４に戻り、利用者情報記憶部１１４に記憶されている全ての物体特徴量を処理している場合（ステップＳ３０６でＮｏ）、物体照合を終了する。
【００６７】
以上のように本実施形態では、顔領域を利用して物体照合を行う物体領域を画像中に設定し、顔領域に対して顔照合を行い、物体領域に対して物体照合を行う。このため本実施形態によれば、照合対象の物体の位置を利用者に指示させずに物体照合を行うことができ、利用者照合におけるセキュリティ及び利便性を高めることができる。
【００６８】
また本実施形態によれば、物体領域が設定された画像が表示されるので、照合対象の物体を位置させる場所を知らない利用者に対しても、当該場所を把握させるとともに、当該場所に照合対象の物体を位置させることを促すことができる。
【００６９】
（変形例１）
上記実施形態では、物体照合部１１８が、物体領域から抽出した物体特徴量を利用者情報記憶部１１４に記憶されている全ての物体特徴量と照合する例について説明したが、利用者情報記憶部１１４に記憶されている一部の物体特徴量と照合するようにしてもよい。このようにすれば、利用者照合に要する時間を短縮できる。
【００７０】
例えば、物体照合部１１８は、物体領域から抽出した物体特徴量を、利用者情報記憶部１１４に記憶されている物体特徴量のうち顔照合部１１６による照合結果が上位予め定められた数の顔特徴量に対応付けられた物体特徴量と照合するようにしてもよい。
【００７１】
また例えば、物体照合部１１８は、物体領域から抽出した物体特徴量を、利用者情報記憶部１１４に記憶されている物体特徴量のうち顔照合部１１６による照合結果が閾値以上の顔特徴量に対応付けられた物体特徴量と照合するようにしてもよい。
【００７２】
この場合、算出部１２０は、物体特徴量が算出されていないＩＤの利用者類似度については０とする。
【００７３】
（変形例２）
顔照合部１１６（顔特徴量抽出部１３４）は、上記実施形態で説明した手法と異なる手法で顔特徴量を抽出してもよい。例えば、顔照合部１１６は、特開２００６−２２１４７９号公報に開示された手法を用いて、顔特徴量を抽出してもよい。
【００７４】
（変形例３）
上記実施形態では、物体特徴量が輝度値を表現するベクトルである例について説明したが、物体特徴量は、輝度勾配方向の共起頻度、エッジ方向とエッジに直交する方向の色変化の共起頻度、色変化の頻度、及び色の頻度に基づくベクトルの少なくともいずれかなどの画像特徴を表現するベクトルであってもよい。
【００７５】
（変形例４）
上記実施形態では、設定部１０８は、検出部１０６により顔領域が検出された画像に１つの物体領域を設定する例について説明したが、複数の物体領域を設定するようにしてもよい。例えば、図２に示す例では、設定部１０８は、顔領域の下に物体領域を設定したが、顔領域の上、下、左、及び右の少なくともいずれかに物体領域を設定するようにしてもよい。
【００７６】
また、設定部１０８は、複数の物体領域のうち画像内に収まる物体領域を画像に設定するようにしてもよい。例えば設定部１０８は、複数の物体領域それぞれに優先度をふり、優先度の高い順に物体領域が画像内に収まるか否かを判定し、画像内に収まる場合に当該物体領域を画像に設定する。設定部１０８は、物体領域を画像に設定した時点で処理を終了してもよいし、全ての物体領域が画像内に収まるか否かを判定するまで処理を継続してもよい。なお、物体領域が画像に設定されなかった場合、照合は行われず、利用者の照合結果として照合失敗が出力部１２２から出力される。
【００７７】
物体照合部１１８は、画像に設定された複数の物体領域それぞれから物体特徴量を抽出し、利用者情報記憶部１１４に記憶されている物体特徴量毎に、当該物体特徴量と抽出した複数の物体特徴量それぞれとを照合する。そして物体照合部１１８は、照合することで得た複数の物体類似度のうち最も類似度の高い物体類似度を、当該物体特徴量との物体類似度に採用する。
【００７８】
また例えば、図９に示すように、利用者情報記憶部１１４に記憶されているテーブルに物体領域のタイプを加え、物体照合部１１８は、利用者情報記憶部１１４に記憶されている物体特徴量毎に、当該物体特徴量と複数の物体領域のうちタイプが示す物体領域から抽出された物体特徴量とを照合するようにしてもよい。なお、図９に示す例では、例えば、ＴＹＰＥ１が顔領域の下の物体領域を示し、ＴＹＰＥ２が顔領域の右の物体領域を示す。
【００７９】
（変形例５）
上記実施形態では、顔照合部１１６が顔照合を行った後に物体照合部１１８が物体照合を行う例について説明したが、照合順序はこれに限定されず、物体照合部１１８が物体照合を行った後に顔照合部１１６が顔照合を行ってもよいし、顔照合部１１６による顔照合と物体照合部１１８による物体照合とを並列に行わせるようにしてもよい。
【００８０】
（ハードウェア構成）
図１０は、上記実施形態及び変形例の照合装置１００のハードウェア構成の一例を示すブロック図である。図１０に示すように、上記実施形態及び変形例の照合装置１００は、ＣＰＵ９０２と、ＲＡＭ９０４と、顔及び物体を照合する照合プログラムなどを記憶するＲＯＭ９０４と、利用者情報などを記憶するＨＤＤ９０８と、ＨＤＤ９０８とのインタフェースであるＩ／Ｆ９１０と、画像入力用のインタフェースであるＩ／Ｆ９１２と、マウスやキーボードなどの入力装置９１４と、入力装置９１４とのインタフェースであるＩ／Ｆ９１６と、ディスプレイなどの表示装置９１８と、表示装置９１８とのインタフェースであるＩ／Ｆ９２０と、バス９２２とを、備えており、通常のコンピュータを利用したハードウェア構成となっている。なおＣＰＵ９０２、ＲＯＭ９０４、ＲＡＭ９０６、Ｉ／Ｆ９１０、Ｉ／Ｆ９１２、Ｉ／Ｆ９１６、及びＩ／Ｆ９２０は、バス９２２を介して互いに接続されている。
【００８１】
上記実施形態及び変形例の照合装置１００では、ＣＰＵ９０２が、ＲＯＭ９０４から照合プログラムをＲＡＭ９０６上に読み出して実行することにより、上記各部がコンピュータ上で実現される。そして上記実施形態及び変形例の照合装置１００では、ＣＰＵ９０２が、ＨＤＤ９０８に記憶されている利用者情報などを用いて、Ｉ／Ｆ９１２から入力される画像に含まれる顔及び物体を照合する。
【００８２】
なお、照合プログラムはＨＤＤ９０８に記憶されていてもよい。また、照合プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、照合プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、照合プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、利用者情報を、ＲＯＭ９０４に記憶してもよい。
【００８３】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。
【００８４】
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
【００８５】
以上のように、上記実施形態及び変形例によれば、利用者照合におけるセキュリティ及び利便性を高めることができる。
【符号の説明】
【００８６】
１００  照合装置
１０２  撮像部
１０４  受付部
１０６  検出部
１０８  設定部
１１０  表示制御部
１１２  表示部
１１４  利用者情報記憶部
１１６  顔照合部
１１８  物体照合部
１２０  算出部
１２２  出力部
１３２  顔画像抽出部
１３４  顔特徴量抽出部
１３６  顔類似度算出部
１４２  物体画像抽出部
１４４  物体特徴量抽出部
１４６  物体類似度算出部
【図１】
0005649601.tif 000002
【図２】
0005649601.tif 000003
【図３】
0005649601.tif 000004
【図４】
0005649601.tif 000005
【図５】
0005649601.tif 000006
【図６】
0005649601.tif 000007
【図７】
0005649601.tif 000008
【図８】
0005649601.tif 000009
【図９】
0005649601.tif 000010
【図１０】
0005649601.tif 000011