(57)【要約】【課題】取り込んだ情報についての処理について、取り込む情報について予め定められている基準条件からのずれを参照した処理ができるようにする。【解決手段】取り込まれた所定情報について、当該所定情報について、取り込み時の条件として予め定められている基準条件からのずれに応じて、前記所定情報の信頼度情報を生成する信頼度生成手段１４と、信頼度生成手段で生成された所定情報の信頼度情報を、取り込まれた所定情報に対応して記憶する記憶手段１０とを備える。【選択図】図１
2008117333.tif 000002
【特許請求の範囲】
【請求項１】
所定情報を取り込む取り込み手段と、
前記取り込まれた所定情報について、当該所定情報について予め定められている基準条件からのずれに応じた前記所定情報の信頼度情報を生成する信頼度生成手段と、
前記信頼度生成手段で生成された前記所定情報の信頼度情報を、前記取り込まれた所定情報に対応して記憶する記憶手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記取り込む所定情報は、人の顔画像であって、前記基準条件は、前記顔画像に関する条件である
ことを特徴とする情報処理装置。
【請求項３】
請求項２に記載の情報処理装置において、
前記基準条件は、前記顔画像を識別するために定められている条件である
ことを特徴とする情報処理装置。
【請求項４】
請求項１に記載の情報処理装置において、
前記記憶手段は、所定個の前記所定情報を格納可能であって、
前記所定個の前記所定情報が格納された後、新たな所定情報が取り込まれたときには、前記記憶手段に記憶されている前記信頼度情報と、新たな所定情報について生成された前記信頼度情報とを比較して、前記信頼度情報により信頼度が低い所定情報を廃棄して、信頼度が高い所定情報のみを格納する
ことを特徴とする情報処理装置。
【請求項５】
個人を識別するための識別要素から抽出された特徴データから生成した前記識別すべき個人の識別用辞書データを、前記個人を特定するための個人特定情報に対応させて記憶する辞書データ記憶部と、
取り込まれた個人の識別要素から抽出された特徴データと、前記辞書データ記憶部の前記識別用辞書データとを比較して、前記取り込まれた識別要素を持つ個人を識別する識別手段と、
前記取り込まれた前記識別要素について、取り込む当該識別要素について予め定められている基準条件からのずれに応じて、信頼度の情報を生成する信頼度生成手段と、
前記識別すべき個人のそれぞれについて、前記信頼度生成手段で生成された前記取り込まれた前記識別要素の信頼度の情報と、前記取り込まれた前記識別要素のデータまたは前記識別要素から抽出された前記特徴データとを、複数、前記個人特定情報に対応させて記憶する辞書データ生成用情報記憶部と、
前記識別すべき個人のそれぞれについての前記識別用辞書データを、前記辞書データ生成用情報記憶部に前記個人特定情報に対応して、複数、記憶されている各個人の前記識別要素のデータまたは前記識別要素から抽出された特徴データおよび前記信頼度の情報を用いて生成・更新するものであって、前記信頼度の情報に基づく重み付けをそれぞれ対応する前記特徴データに対して行なって、前記識別用辞書データを生成・更新する辞書データ生成・更新手段と、
を備えることを特徴とする個人識別装置。
【請求項６】
請求項５に記載の個人識別装置において、
前記識別すべき個人の前記識別要素は、人の顔画像であって、前記基準条件は、前記顔画像を識別するために定められている条件である
ことを特徴とする個人識別装置。
【請求項７】
請求項６に記載の個人識別装置において、
前記基準条件は、前記人の顔画像の画像データサイズ、前記顔画像の向き、前記顔画像の傾きのうちの少なくとも一つについて、予め定められた条件である
ことを特徴とする個人識別装置。
【請求項８】
信頼度生成手段と、記憶手段とを備える情報処理装置による情報処理方法であって、
前記信頼度生成手段が、取り込まれた所定情報について、当該所定情報について、取り込み時の条件として予め定められている基準条件からのずれに応じて、前記所定情報の信頼度情報を生成する信頼度生成工程と、
前記記憶手段が、前記信頼度生成工程で生成された前記所定情報の信頼度情報を、前記取り込まれた所定情報に対応して記憶する記憶工程と、
を備えることを特徴とする情報処理方法。
【請求項９】
個人を識別するための識別要素から抽出された特徴データから生成した前記識別すべき個人の識別用辞書データを、前記個人を特定するための個人特定情報に対応させて記憶する辞書データ記憶部と、
取り込まれた個人の識別要素から抽出された特徴データと、前記辞書データ記憶部の前記識別用辞書データとを比較して、前記取り込まれた識別要素を持つ個人を識別する識別手段と、
前記識別用辞書データを生成・更新する辞書データ生成・更新手段と、
信頼度生成手段と、
辞書データ生成用情報記憶手段と、
を備える個人識別装置における辞書データ生成・更新方法であって、
前記信頼度生成手段が、前記取り込まれた前記識別要素について、取り込む当該識別要素について予め定められている基準条件からのずれに応じて、信頼度の情報を生成する信頼度生成工程と、
前記辞書データ生成用情報記憶手段が、前記識別すべき個人のそれぞれについて、前記信頼度生成工程で生成された前記取り込まれた前記識別要素の信頼度の情報と、前記取り込まれた前記識別要素のデータまたは前記識別要素から抽出された前記特徴データとを、複数、前記個人特定情報に対応させて辞書データ生成用情報記憶部に記憶する辞書データ生成用情報記憶工程と、
前記辞書データ生成・更新手段が、前記識別すべき個人のそれぞれについての前記識別用辞書データを、前記辞書データ生成用情報記憶部に前記個人特定情報に対応して、複数、記憶されている各個人の前記識別要素のデータまたは前記識別要素から抽出された特徴データおよび前記信頼度の情報を用いて生成・更新するものであって、前記信頼度の情報に基づく重み付けをそれぞれ対応する前記特徴データに対して行なって、前記識別用辞書データを生成・更新する辞書データ生成・更新工程と、
を備えることを特徴とする個人識別装置における辞書データ生成・更新方法。
【請求項１０】
個人を識別するための識別要素から抽出された特徴データから生成した前記識別すべき個人の識別用辞書データを、前記個人を特定するための個人特定情報に対応させて記憶する辞書データ記憶部と、
取り込まれた個人の識別要素から抽出された特徴データと、前記辞書データ記憶部の前記識別用辞書データとを比較して、前記取り込まれた個人を識別する識別手段と、
を備える個人識別装置が具備するコンピュータに、
前記取り込まれた前記識別要素について、取り込む当該識別要素について予め定められている基準条件からのずれを検出する検出手段、
前記検出手段で検出されたずれに応じて、信頼度の情報を生成する信頼度生成手段、
前記信頼度生成手段で生成された前記取り込まれた前記識別要素の信頼度の情報と、前記取り込まれた前記識別要素のデータまたは前記識別要素から抽出された前記特徴データとを、前記識別すべき個人のそれぞれの前記個人特定情報に対応させて、複数、記憶する辞書データ生成用情報記憶手段、
前記個人特定情報のそれぞれに対応された記憶されている前記識別用辞書データを、前記個人特定情報のそれぞれに対応して記憶されている前記複数の前記識別要素データまたは前記識別要素から抽出された特徴データおよび前記信頼度の情報を用いて生成・更新するものであって、前記信頼度の情報に基づく重み付けを、それぞれ対応する前記特徴データに対して行なって、前記識別用辞書データを生成・更新する辞書データ生成・更新手段、
として機能させるための辞書データ生成・更新プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、取り込んだ情報の信頼度を確認することができる情報処理装置および情報処理方法に関する。また、この発明は、例えば顔画像などを用いて個人識別する場合に使用して好適な個人識別装置および個人識別装置における辞書データ生成・更新方法に関する。
【背景技術】
【０００２】
例えば、辞書データとして、識別すべき複数の人の顔、声、指紋、などの識別要素の特徴データを予め保存しておき、取り込まれた識別すべき個人の上記識別要素の特徴データと、辞書データとして記憶されている識別要素の特徴データとを比較することにより、取り込まれた個人の識別要素が誰の識別要素であるかを識別するようにする個人識別手法が知られている。
【０００３】
この個人識別手法において、識別要素として顔画像を例に取ると、辞書データは、前記識別しようとする個人の顔画像を取り込んで、その顔画像から抽出した特徴データを用いて生成する。この場合において、一般には、識別要素としての顔画像の取り込み時の撮像条件や顔の向きなどの取り込み誤差を平均化するために、同じ個人について複数の顔画像を取り込んで、特徴データを平均化したものを当該個人の識別用の辞書データとして記憶するようにする（特許文献１（特開２００３−２７１９５８号公報）参照）。
【０００４】
そして、通常は、新たに各個人毎の顔画像の識別が行なわれたときに、識別された個人の顔画像の特徴データを辞書データに反映させることで、各個人用の顔画像の辞書データの更新を行なうようにしている。
【０００５】
この場合に、従来は、取り込んだ各顔画像は、すべて等しい重みを持つものとして、辞書データの生成および更新をするようにしている。
【０００６】
上記の特許文献は、次の通りである。
【特許文献１】特開２００３−２７１９５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、顔画像の識別においては、顔画像の大きさが例えば縦×横＝６４×６４画素以上の大きさであること、顔画像は正面を向いていること、両目が水平に並んでいること、などの識別すべき画像としての基準条件を満足していることが必要である。
【０００８】
しかしながら、実際には、取り込んだ顔画像が、上記の基準条件をすべて満足している状態となっているわけではない。
【０００９】
顔画像の識別処理に当たっては、前記基準条件を満足していないときには、当該基準条件をできるだけ満足するように、画像データ補間処理や画像回転処理などの画像補正処理を取り込んだ顔画像の画像データに対して施すことにより、顔識別処理を可能にしている。
【００１０】
そして、従来は、取り込んだ顔画像について個人識別することができた場合には、その顔画像の特徴データを、有効な特徴データとしてすべて等しい重みを持つものとして、辞書データの生成および更新している。すなわち、従来は、上述のように基準条件を満足していない顔画像の特徴データと、基準条件を満足する顔画像の特徴データとを、同じ重みのデータとして取り扱って、辞書データの生成および更新している。
【００１１】
このように、取り込んだ顔画像が識別できた場合に、その特徴データを、すべて同じ重みで使用して、各個人用の顔画像の辞書データの作成および更新を行った場合には、作成または更新した辞書データの正確性が損なわれてしまうおそれがある。
【００１２】
上述のようなことは、顔画像の辞書データの生成や更新に限らず、取り込む画像について予め定められている基準条件が存在しているにもかかわらず、取り込んだ画像について同じ重みを持って処理を行なうすべての場合に存在する。
【００１３】
以上のことは、取り込む個人の識別要素としての情報が、顔画像ではなく、指紋や虹彩,その他の識別要素の場合についても言える。また、顔画像や指紋などの場合の画像情報に限らず、声紋などの識別要素である場合における音声情報についても同様のことが言える。
【００１４】
この発明は、上述の点にかんがみ、取り込んだ情報についての処理について、取り込む情報について予め定められている基準条件からのずれを参照した処理ができるようにすることを目的とする。
【００１５】
また、より詳細には、取り込む情報について予め定められている基準条件を参照した処理を行なうことにより、顔画像などの識別要素を用いて個人識別を行なう場合に使用する辞書データとして、より正確な辞書データの作成および／または更新を可能にすることを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、請求項１の発明は、
所定情報を取り込む取り込み手段と、
前記取り込まれた所定情報について、当該所定情報について予め定められている基準条件からのずれに応じた前記所定情報の信頼度情報を生成する信頼度生成手段と、
前記信頼度生成手段で生成された前記所定情報の信頼度情報を、前記取り込まれた所定情報に対応して記憶する記憶手段と、
を備えることを特徴とする情報処理装置を提供する。
【００１７】
この請求項１の発明によれば、取り込む所定情報について予め定められている基準条件からのずれに応じて生成された当該所定情報の信頼度が記憶されているので、その記憶されている所定情報の信頼度を用いて、信頼度の高い所定情報を抽出したり、信頼度の高い所定情報のデータのみを用いたりすることができる。
【００１８】
また、請求項５の発明は、
個人を識別するための識別要素から抽出された特徴データから生成した前記識別すべき個人の識別用辞書データを、前記個人を特定するための個人特定情報に対応させて記憶する辞書データ記憶部と、
取り込まれた個人の識別要素から抽出された特徴データと、前記辞書データ記憶部の前記識別用辞書データとを比較して、前記取り込まれた識別要素を持つ個人を識別する識別手段と、
前記取り込まれた前記識別要素について、取り込む当該識別要素について予め定められている基準条件からのずれに応じて、信頼度の情報を生成する信頼度生成手段と、
前記識別すべき個人のそれぞれについて、前記信頼度生成手段で生成された前記取り込まれた前記識別要素の信頼度の情報と、前記取り込まれた前記識別要素のデータまたは前記識別要素から抽出された前記特徴データとを、複数、前記個人特定情報に対応させて記憶する辞書データ生成用情報記憶部と、
前記識別すべき個人のそれぞれについての前記識別用辞書データを、前記辞書データ生成用情報記憶部に前記個人特定情報に対応して、複数、記憶されている各個人の前記識別要素のデータまたは前記識別要素から抽出された特徴データおよび前記信頼度の情報を用いて生成・更新するものであって、前記信頼度の情報に基づく重み付けをそれぞれ対応する前記特徴データに対して行なって、前記識別用辞書データを生成・更新する辞書データ生成・更新手段と、
を備えることを特徴とする個人識別装置を提供する。
【００１９】
この請求項５の発明によれば、取り込む個人の識別要素について予め定められている基準条件からのずれに応じて生成された信頼度に応じた重みを当該識別要素の特徴データに対して付加して辞書データを生成することができるので、辞書データの正確度を高めることができ、個人の識別精度を向上させることができる。
【発明の効果】
【００２０】
請求項１の発明によれば、取り込む所定情報について予め定められている基準条件からのずれに応じて生成された所定情報の信頼度が記憶されているので、その記憶されている所定情報の信頼度を用いて、信頼度の高い所定情報を抽出したり、信頼度の高い所定情報のデータのみを用いたりすることができる。
【００２１】
また、請求項５の発明によれば、辞書データの正確度を高めることができ、個人の識別精度を向上させることができる個人識別装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、この発明による情報処理装置および個人識別装置の実施形態を、顔画像を識別要素として個人識別する識別装置に適用した場合を例に、図を参照しながら説明する。
【００２３】
図１は、この実施形態の顔画像による個人識別装置の構成例を示すブロック図である。この図１の例は、例えばパーソナルコンピュータに、顔画像による個人識別装置を構成した場合の例であり、ブロックで示したものの一部は、ソフトウエア構成とすることもできるものである。
【００２４】
図１に示すように、この実施形態の顔画像による個人識別装置は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１に対してシステムバス２を介して、プログラム等が記憶されているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３と、ワークエリア用のＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４と、操作部インターフェース５と、ディスプレイインターフェース７６と、画像データ入力インターフェース７とが接続されている。
【００２５】
操作部インターフェース５には、キーボードやマウスなどの操作入力部８が接続されている。また、ディスプレイインターフェース６には、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ；液晶ディスプレイ）などからなるディスプレイ９が接続されている。
【００２６】
画像データ入力インターフェース７は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インターフェースを備える撮像カメラ等の画像出力装置からの画像データを受け取る場合には、ＵＳＢ端子およびＵＳＢインターフェースからなる。
【００２７】
また、画像データ入力インターフェース７は、画像データが格納されたカード型メモリからの画像データを受け取る場合には、当該カード型メモリが装填されるメモリリーダで構成される。
【００２８】
また、画像データ入力インターフェース７は、画像データが格納された光ディスクからの画像データを受け取る場合には、当該光ディスクからの画像データの読み出しが可能な光ディスクドライブで構成される。
【００２９】
なお、画像データ入力インターフェース７は、画像データのみでなく、画像データに付随する、例えば撮像時刻の情報、撮像条件などからなる情報（例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅ    ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）形式の情報など）も取り込むものである。
【００３０】
また、この実施形態においては、システムバス２には、顔識別用辞書データベース１０と、顔識別用画像処理部１１と、顔識別処理部１２と、表示情報生成部１３と、スコア算出部１４と、辞書データ生成・更新部１５とが接続されている。
【００３１】
顔識別用辞書データベース１０は、例えばハードディスク装置などの記憶装置の全部あるいは一部の記憶エリアが用いられて構成されている。この実施形態では、この顔識別用辞書データベース１０には、顔画像による個人識別すべく登録された複数の個人Ｐｉ（ｉ＝１，２，・・・以下同じ。ｉは個人番号に対応する）のそれぞれについての個人辞書データＤｉが、それぞれの個人を特定するための個人特定情報（個人識別ＩＤ等）と対応付けられて記憶保持されている。なお、以下の説明において、「顔識別」は、「顔画像による個人識別」と同義である。
【００３２】
この実施形態では、一人当たりの個人辞書データＤｉは、図２に示すように、顔識別用辞書データＦＲＤｉと、１個以上のｎ個（ｎ＝１，２，・・・，Ｎ）の辞書データ生成用情報ＤＰＩｉ，ｎとからなり、個人特定情報に対応付けられて記憶保持されている。個人特定情報としては、この実施形態では、個人名（氏名）が登録される。個人特定情報としては、個人名（氏名）に限らず、個人識別番号や記号、その他、個人情報を用いるようにしても良いし、それらの個人を特定するための情報の組み合わせを用いるようにしても良い。
【００３３】
この実施形態では、個人辞書データＤｉは、一人当たりとして、最大Ｎ個、例えば４０個の辞書データ生成用情報が、蓄積可能とされている。これは、辞書データベースとして使用する記憶容量を考慮したものである。そして、この実施形態では、個人辞書データＤｉとして蓄積されるデータは、後述する総合スコアを参照して、総合スコアの高いもののみを残す（すなわち、格納する）ようにして、蓄積する個人辞書データＤｉは更新するようにする。
【００３４】
辞書データ生成用情報ＤＰＩｉ，ｎは、顔識別対象である一人の個人Ｐｉについて、この例では異なる時点で取り込まれたｎ個（ｎ＝１〜Ｎ、最大Ｎ個）の顔画像についての情報からなるもので、この実施形態では、図２に示すように、時刻の情報Ｔｉ，ｎと、取り込まれた顔画像の特徴データＶｉ，ｎと、取り込まれた顔画像の信頼度を示す値としての総合スコアＳＯｉ，ｎ（その算出方法は後で詳述する）と、このスコアＳＯｉ，ｎに基づいて生成された重み係数Ｗｉ，ｎとが、この辞書データ生成用情報ＤＰＩｉ，ｎに含まれる。
【００３５】
時刻の情報Ｔｉ，ｎは、画像データに前述したＥｘｉｆ情報として撮像時刻が含まれている場合には、その撮像時刻が用いられる。もしも、撮像時刻が含まれていない場合には、図示は省略するが、ＣＰＵ１は、ユーザに対し、撮影時刻の情報が存在しないので撮影時刻の入力をするように促すメッセージを、ディスプレイ９に表示し、このメッセージに対応してユーザが入力する撮像時刻の情報を取り込まれた画像データに対応させて取得するようにする。なお、そのようなことをせずに、撮像時刻の情報の代わりに、画像データの取り込み時の時刻を用いるようにしても良い。
【００３６】
顔識別用辞書データＦＲＤｉは、ｉ番の個人Ｐｉについての辞書データ生成用情報ＤＰＩｉ，ｎの一部として記憶される顔画像についての特徴データ（特徴ベクトル）を用いて生成・更新される特徴データ（特徴ベクトル）であり、顔識別すべく取り込まれた顔画像についての顔識別処理の際に用いられる当該個人Ｐｉについての辞書データである。
【００３７】
この実施形態では、各個人Ｐｉの顔識別用辞書データＦＲＤｉは、後述するように、当該個人Ｐｉに対応付けられて顔識別用辞書データベース１０に格納されている辞書データ生成用情報ＤＰＩｉ，ｎのそれぞれの特徴データ（特徴ベクトル）を、その特徴データについての重み係数によりそれぞれ重み付けし、その重み付けしたものを用いて、後述のようにして生成する。
【００３８】
顔識別用画像処理部１１は、図３に示すように、画像データ入力インターフェース７を通じて取り込んだ原画の画像データから、顔検出および目検出を行い、検出した両目の位置が水平になるように、目の位置に合わせて顔画像の回転をする。目の位置に合わせて顔画像を回転するのは、後述のように、顔識別においては、正面を向いた顔画像であって、両目が水平になっている顔画像を基準にしているからである。
【００３９】
そして、さらに、顔識別用画像処理部１１では、顔画像を識別するための特徴部位（例えば眉、目、鼻、口など）の特徴データを抽出するための特徴点プロット（特徴点サンプリング）を行い、当該取り込まれた顔画像Ｆinについての特徴データとしての特徴ベクトルＶinを取得する。ここで、特徴ベクトルＶinは、複数種の特徴量を変数とする関数からなるものである。
【００４０】
なお、顔識別用画像処理部１１における顔検出、目検出、特徴ベクトルＶinの算出などの処理に関しては、特許文献２（特開２００６−７２７７０号公報）、特許文献３（特開２００５−４４３３０号公報）、非特許文献（佐部浩太郎、日台健一、“ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習”、第１０回画像センシングシンポジウム講演論文集、ｐｐ．５４７-５５２,２００４年６月）などに詳しく記載されているので、ここでは省略することとする。
【００４１】
顔識別用画像処理部１１は、取り込まれた顔画像Ｆinについて取得した特徴データとしての特徴ベクトルＶinを、顔識別処理部１２に供給する。また、顔識別用画像処理部１１は、顔検出結果の顔画像データ、目検出結果のデータなどをスコア算出部１５に供給する。この例においては、スコア算出部１５に供給される顔検出結果の顔画像データには、検出できた顔画像の画像データサイズが付加される。ここで、顔画像の画像データサイズは、顔検出結果の顔画像の縦方向のピクセル数（画素数）と、顔画像の横方向のピクセル数（画素数）とからなる。
【００４２】
また、顔識別用画像処理部１１において、顔検出や目検出ができなかった場合、または、顔検出や目検出ができても、特徴ベクトルの算出ができなかった場合には、その旨を顔識別処理部１２や表示情報生成部１３に送るようにする。
【００４３】
顔識別処理部１２は、顔識別用画像処理部１１からの取り込まれた画像から取得された顔画像Ｆinの特徴データとしての特徴ベクトルＶinを受けて、この特徴ベクトルＶinと、顔識別用辞書データベース１０に格納されている複数の個人の顔識別用辞書データ（特徴ベクトル）ＦＲＤｉとを比較して照合し、一致していると判定することができる顔識別用辞書データＦＲＤｉを検出するようにする。
【００４４】
そして、顔識別処理部１２は、一致していると判定することができる顔識別用辞書データＦＲＤｉが検出できたときには、その旨と、検出できた顔識別用辞書データＦＲＤｉに対応する個人特定情報、この例では、個人の氏名とを、表示情報生成部１３に送る。
【００４５】
また、顔識別処理部１２は、一致していると判定することができる顔識別用辞書データＦＲＤｉが検出できなかったときには、その旨を、表示情報生成部１３に送る。
【００４６】
なお、顔識別処理部１２は、顔識別用画像処理部１１から、顔検出や目検出ができなかった旨、または、顔検出や目検出ができても、特徴ベクトルの算出ができなかった旨の通知を受けたときには、上述した顔識別処理は実行しない。
【００４７】
表示情報生成部１３は、顔識別処理部１２から、顔識別ができた旨および顔識別結果として個人特定情報としての個人の氏名を受け取ったときには、図４に示すような、顔識別結果をユーザに確認させるための顔識別結果確認画面の表示情報を生成し、ディスプレイインターフェース６を通じてディスプレイ９の画面に表示させるようにする。
【００４８】
図４に示すように、この顔識別結果確認画面には、取り込んだ顔画像Ｆinの表示画像２１が表示されると共に、顔識別結果が正しいかどうかをユーザに問い合わせるメッセージ「この人は、「○○○○」さんですか？」の表示２２と、当該問い合わせメッセージ２２に対する回答のボタンアイコン２３，２４とが表示される。問い合わせメッセージ２２のうちの、「○○○○」の部分には、顔識別結果の氏名が表示される。
【００４９】
図４の例では、顔識別処理部１２では、取り込まれた顔画像の特徴データは、「田中太郎」さんの個人辞書データＤｉの顔画像の特徴データ（顔識別用辞書データＦＲＤｉ）と一致したと判定したので、問い合わせメッセージ２２の「○○○○」の部分には、「田中太郎」が表示されている。
【００５０】
回答のボタンアイコン２３は、肯定の回答用であり、また、回答のボタンアイコン２４は、否定の回答用である。
【００５１】
図４の画面において、ユーザが、操作入力部８を用いて肯定の回答用のボタンアイコン２３をクリックしたときには、表示情報生成部１３は、顔識別結果の氏名の情報を辞書データ生成・更新部１５に供給し、取り込んだ顔画像を用いた辞書データの生成または更新処理を開始するように指示する。辞書データ生成・更新部１５は、後述するように、受け取った氏名で特定される個人特定情報に対応して顔識別用辞書データベース１０に記憶されている個人辞書データＤｉの生成・更新処理を行なう。
【００５２】
また、図４の画面において、ユーザが、操作入力部８を用いて否定の回答用のボタンアイコン２４をクリックしたときには、表示情報生成部１３は、図５に示すような、顔識別結果が不正解であることをユーザに報知する顔識別結果不正解画面の表示情報を生成し、ディスプレイインターフェース６を通じてディスプレイ９の画面に表示させるようにする。
【００５３】
この顔識別結果不正解画面には、図５に示すように、取り込んだ顔画像Ｆinの表示画像２１と、当該取り込んだ顔画像Ｆinが誰の顔画像であるか、氏名を入力するように促すメッセージ２５を表示する。ユーザは、このメッセージ２５中の氏名入力欄２６に、表示画像２１として表示されている個人の氏名を入力するようにする。
【００５４】
このユーザによる氏名の入力を受け付けると、表示情報生成部１３は、その入力された氏名の情報を、辞書データ生成・更新部１５に供給し、取り込んだ顔画像Ｆinを用いた辞書データの生成または更新処理を開始するように指示する。辞書データ生成・更新部１５は、後述するように、受け取った氏名からなる個人特定情報に対応して顔識別用辞書データベース１０に記憶されている個人辞書データＤｉの生成・更新処理を行なう必要があるかどうかを、後述する総合スコアに基づいて判別し、その判別の結果、生成・更新を行なう必要があると判別したときには、実際に当該個人辞書データＤｉの生成・更新処理を実行する。
【００５５】
なお、氏名入力欄２６に氏名の入力がなされずに、ユーザから顔識別の処理の終了が指示されたときには、表示情報生成部１３からは、氏名の情報が伝達されず、辞書更新をしない旨の通知が辞書データ生成・更新部１５に通知される。したがって、辞書データ生成・更新部１５は、辞書データの生成・更新は行なわない。
【００５６】
また、表示情報生成部１３は、顔識別処理部１２から、顔識別結果として辞書データベース１０中に、取り込まれた顔画像と一致する個人辞書データがない旨の通知を受け取ったときには、図６に示すような、顔識別結果として「一致無し」をユーザに報知させるための顔識別結果一致無し画面の表示情報を生成し、ディスプレイインターフェース６を通じてディスプレイ９の画面に表示させるようにする。
【００５７】
この顔識別結果一致無し画面には、図６に示すように、取り込んだ顔画像Ｆinの表示画像２１と、当該取り込んだ顔画像Ｆinが誰の顔画像であるか、氏名を入力するように促すメッセージ２７を表示する。ユーザは、このメッセージ２７中の氏名入力欄２８に、表示画像２１として表示されている個人の氏名を入力するようにする。
【００５８】
このユーザによる氏名の入力を受け付けると、表示情報生成部１３は、その入力された氏名の情報を、辞書データ生成・更新部１５に供給し、取り込んだ顔画像を用いた辞書データの生成または更新処理を開始するように指示する。辞書データ生成・更新部１５は、後述するように、受け取った氏名を個人特定情報とする個人辞書データＤｉの生成・更新処理を行なう必要があるかどうかを、後述する総合スコアに基づいて判別し、生成・更新する必要があると判別したときには、実際に当該個人辞書データＤｉの生成・更新処理を実行する。
【００５９】
なお、氏名入力欄２８に氏名の入力がなされずに、ユーザから顔識別の処理の終了が指示されたときには、表示情報生成部１３からは、氏名の情報が伝達されず、辞書更新をしない旨の通知が辞書データ生成・更新部１５に通知される。したがって、辞書データ生成・更新部１５は、辞書データの生成・更新は行なわない。
【００６０】
また、表示情報生成部１３は、顔識別用画像処理部１１から、顔検出や目検出、最終的には、特徴ベクトルの算出ができなかった旨の通知を受けたときには、図７に示すような、照合不能通知画面の表示情報を生成し、ディスプレイインターフェース６を通じてディスプレイ９の画面に表示させるようにする。
【００６１】
この照合不能通知画面には、図７に示すように、取り込まれた顔画像は、辞書の更新には用いられない旨のメッセージ２９が表示される。そして、表示情報生成部１３は、辞書更新をしない旨の通知を辞書データ生成・更新部１５に通知する。
【００６２】
スコア算出部１４は、この例では、顔識別用画像処理部１１からの顔検出結果のデータおよび目検出結果のデータを受け取って、画像データ入力インターフェース７を通じて取り込まれた画像から抽出された顔画像について、顔識別を行なう上での信頼度（信頼性）の度合いの情報であるスコアの算出を行なう。顔識別用画像処理部１１から、顔検出や目検出、最終的には、特徴ベクトルの算出ができなかった旨の通知を受けたときには、スコア算出部１４は、取り込まれた顔画像についてのスコアの算出処理は行なわない。
【００６３】
この実施形態では、スコア算出部１４は、取り込まれた顔画像についての、顔識別を行なう上での信頼度の度合いの情報であるスコアは、顔識別用の顔画像の基準条件からのずれを検出することに基づいて算出する。
【００６４】
ここで、顔識別用の顔画像の基準条件は、この例では、
（Ａ）顔画像のデータは、少なくとも横方向および縦方向に所定画素数を含むこと。この実施形態では、例えば、横×縦＝６４画素×６４画素以上のデータサイズの顔画像データであること
（Ｂ）顔が正面に正対していること（正面を向いていること）
（Ｃ）両目が水平に一直線上に並んでいること
をあげることができる。
【００６５】
以上の基準条件に基づき、この実施形態では、取り込んだ顔画像の特徴データについて、４個のスコアＳａ，Ｓｂ，Ｓｃ，Ｓｄを算出するようにする。そして、この実施形態では、これら算出した４個のスコアＳａ，Ｓｂ，Ｓｃ，Ｓｄから、取り込んだ顔画像の特徴データについて総合スコアＳＯを算出するようにする。なお、スコアＳａ，Ｓｂ，Ｓｃ，Ｓｄのそれぞれの値は、「０」〜「１」で表され、スコアの値が「０」のときには信頼性がないことを意味し、スコアの値が「１」に近づくにつれ、より信頼性が高くなり、スコアの値が「１」のときには信頼性が十分に高いことを意味している。
【００６６】
［スコアＳａ；顔画像のデータサイズ］
４個のスコアのうちのスコアＳａは、取り込まれた画像から検出された顔画像のデータサイズに関するものである。
【００６７】
顔識別用の顔画像の基準条件（Ａ）から、顔識別に必要な顔画像の最小データサイズを、ＭＩＮ＿ＳＩＺＥとし、顔識別処理が十二分に実施可能な顔画像のデータサイズＭＡＸ＿ＳＩＺＥとしたとき、この実施形態では、このスコアＳａは、取り込んだ顔画像のデータサイズＸａに対して、図８に示すような関係の値として算出される。
【００６８】
すなわち、
Ｘａ＜ＭＩＮ＿ＳＩＺＥのときには、Ｓａ＝０である。  
ＭＩＮ＿ＳＩＺＥ≦Ｘａ≦ＭＡＸ＿ＳＩＺＥのときには、Ｓａ＝ｋ・Ｘａである。ただし、ｋは、ｋ＞０である比例定数である。  
ＭＡＸ＿ＳＩＺＥ＜Ｘａのときには、Ｓａ＝１である。
【００６９】
ここで、この実施形態では、ＭＩＮ＿ＳＩＺＥは、例えば、横×縦＝６４画素×６４画素のデータサイズに等しく選定されている。また、ＭＡＸ＿ＳＩＺＥは、６４画素×６４画素のデータサイズよりは大きく、かつ、顔画像の識別が十二分に行なえるデータサイズである。
【００７０】
ここで、取り込まれた顔画像のデータサイズとは、画像データ入力インターフェース７を通じて取り込まれた元画像から検出された顔画像のデータサイズであって、顔識別用画像処理部１１でデータ補間処理などを施した後の顔画像のデータサイズではない。
【００７１】
顔識別用画像処理部１１では、顔識別処理用の顔画像データとしては、前述した最小のデータサイズ、この例では、横×縦＝６４画素×６４画素以上のデータサイズが必要であるので、検出された顔画像のデータサイズがこれよりも小さい場合には、データ補間処理を行って、最小のデータサイズ以上の顔画像のデータサイズとして、特徴ベクトルの検出を試みるようにしている。また、前述した両目の水平方向の位置を補正するために、検出した顔画像を回転するようにするが、その際にも、画素データの補間処理を伴う場合がある。このような補間処理をした顔画像であっても、特徴ベクトルを抽出することができれば、顔識別が可能となる場合があるのである。
【００７２】
上述したスコアＳａは、以上のような顔識別用画像処理部１１での画素補間処理を行なう前の顔画像のデータサイズについての信頼度の度合いの情報である。
【００７３】
この実施形態では、顔画像のデータサイズＸａがＭＩＮ＿ＳＩＺＥよりも小さい場合には、顔識別用の特徴ベクトルの信頼度は殆どないと判断し、Ｓａ＝０とする。また、顔画像のデータサイズＸａがＭＡＸ＿ＳＩＺＥよりも大きい場合には、顔識別用の特徴ベクトルの信頼度は非常に高いと判断し、Ｓａ＝１とする。また、顔画像のデータサイズＸａが、ＭＩＮ＿ＳＩＺＥよりも大きく、ＭＡＸ＿ＳＩＺＥよりも小さい場合には、顔識別用の特徴ベクトルの信頼度はデータサイズＸａの大きさに応じた（比例する）ものと判断し、スコアＳａは、データサイズＸａに比例した値とするものである。
【００７４】
なお、図８の例では、顔画像のデータサイズＸａが、ＭＩＮ＿ＳＩＺＥよりも大きく、ＭＡＸ＿ＳＩＺＥよりも小さい場合には、顔識別用の特徴ベクトルの信頼度としてのスコアＳａは、データサイズＸａの大きさにリニア（線形）に比例するものとしたが、データサイズＸａの大きさに対して、ノンリニア（非線形）に変化、例えばＸａの２乗に応じた値とするものとしても、もちろんよい。
【００７５】
［スコアＳｂ；顔画像の正面正対状態からのずれ（顔の向き）の閾値］
前述したように、顔識別用の顔画像は、正面に正対している状態が基準である。そして、一般的には、所定の許容範囲を超えて、顔画像の向きが正面正対状態からずれている場合には、当該顔画像についての特徴ベクトルの算出は不可能とされている。そこで、この実施形態では、この顔画像の正面正対状態からのずれに基づいて、スコアＳｂを算出する。
【００７６】
ここで、このスコアＳｂは、顔画像についての特徴ベクトルの算出が可能か否かに基づく信頼度の度合いを表すものである。
【００７７】
顔の向き（角度）について想定される変化の方向は、図９に示すように、顔の正面方向から背面方向に貫くように想定された回転軸３１を中心した回転方向であるロール（roll）方向と、このロール方向についての回転軸３１に対して、水平方向に直交する回転軸３２を中心とした回転方向であるピッチ（pitch）方向と、ロール方向についての回転軸３１に対して、垂直方向に直交する回転軸３３を中心とした回転方向であるヨー（yaw）方向との３方向である。
【００７８】
上記３方向のうち、ロール方向に関しては、顔識別用画像処理部１１において、両目の位置を水平方向に揃えるように画像を回転して補正して、顔識別処理をするので、この実施形態では、このスコアＳｂの算出については考慮しない。
【００７９】
この実施形態では、ピッチ方向と、ヨー方向との２方向についてのみを考慮して、スコアＳｂを算出する。この実施形態では、ピッチ方向とヨー方向のいずれかについて、顔画像についての特徴ベクトルの算出ができない程度に、顔画像の向きが正面生態状態からずれているときには、スコアＳｂ＝０とする。また、ピッチ方向とヨー方向の両方について、顔画像の向きの正面生態状態からのずれ量が、顔画像についての特徴ベクトルの算出ができる範囲内の場合には、スコアＳｂ＝１とする。
【００８０】
この実施形態では、ピッチ方向の正面正対状態からの顔画像の向きのずれの角度を、Ａpitchとし、ヨー方向の正面正対状態からの顔画像の向きのずれの角度を、Ａyawとしたとき、顔画像についての特徴ベクトルの算出ができる範囲内は、例えば、
−１５度≦Ａpitch≦＋１５度  
−１５度≦Ａyaw≦＋１５度
とされている。
【００８１】
そこで、この実施形態では、
−１５度≦Ａpitch≦＋１５度、かつ、−１５度≦Ａyaw≦＋１５度
を満足するときには、スコアＳｂ＝１とする。上記角度条件を満足しないときには、スコアＳｂ＝０とする。
【００８２】
［スコアＳｃ；ロール方向のずれ量］
スコアＳｃは、スコアＳｂでは考慮しなかったロール方向のずれ量に応じた顔識別上の顔画像の信頼度の度合いである。したがって、スコア算出部１４には、ロール方向の回転補正がなされる前の、検出された顔画像が供給される。
【００８３】
この実施形態では、ロール方向のずれ量は、図１０に示すように、回転補正する前の顔画像において、パーツ検出処理により検出された左右両目の間の垂直方向の距離（両目が水平方向に一直線上に並んでいる状態からのずれであって、左目の垂直方向の位置と、右目の垂直方向の位置との距離）Ｘｃとして算出する。
【００８４】
すなわち、検出された両目が、図１０（Ａ）に示すように、水平方向に一直線に並んでいる場合には、両目の間の垂直方向の距離Ｘｃは、Ｘｃ＝０である。そして、図１０（Ｂ），（Ｃ）に示すように、検出された顔画像がロール方向に回転していた場合、その回転量の大きさが大きいほど、検出された両目の間の垂直方向の距離Ｘｃは、大きくなる。
【００８５】
スコアＳｃは、両目が水平方向に一直線に並んでいるとき、すなわち、両目の間の垂直方向の距離Ｘｃ＝０の場合に、一番大きく、Ｓｃ＝１とする。そして、両目の間の垂直方向の距離Ｘｃが大きくなればなるほど、スコアＳｃの値は小さくなって、０に近くなる。この実施形態では、このスコアＳｃは、図１１に示すように、両目の間の垂直方向の距離Ｘｃを変数としたガウス分布関数に従った値をとるように構成されている。
【００８６】
図１２に、スコアＳｃの算出式を（式１）として示す。この図１２に示す（式１）において、ｂは、両目の間の垂直方向の距離ＸｃがＸｃ＝０のときにＳｃ＝１となる値、δは標準偏差、μは平均値、であり、これらの値は、実際の多数個の顔画像サンプルを用いて、統計解析で求められるものである。
【００８７】
［スコアＳｄ；許容範囲内におけるヨー方向のずれ量］
前述したスコアＳｂの算出においては、顔画像の正面正対状態からのヨー方向のずれ量が許容範囲内であれば、ピッチ方向のずれ量も許容範囲内であるという条件の下、スコアＳｂ＝１として、信頼度の度合いは同じとした。
【００８８】
このスコアＳｄは、顔画像の正面正対状態からのヨー方向のずれ量が許容範囲内であっても、より詳細に、取り込んだ顔画像の顔識別上での信頼度の度合いを表す値である。
【００８９】
この実施形態では、顔画像の正面正対状態からのヨー方向のずれ量は、図１３に示すように、顔画像の中心線４１（目、鼻、口などを無視して顔画像の輪郭４０のみについて考えた場合に、前述したヨー方向の回転軸３３（図９参照）に平行な線であって、少なくとも目の位置における、顔画像の輪郭４０の水平方向の中央位置を通る線）と、検出された両目の間隔の中点位置４２との距離Ｘｄとして算出する。
【００９０】
なお、両目の間隔の中点位置４２は、ロール方向の回転補正がなされた顔画像であっても、また、回転補正がなされる前の顔画像であっても、同じ位置になる。この実施形態では、スコア算出部１４では、ロール方向の回転補正がなされる前の顔画像から、距離Ｘｄが求められる。
【００９１】
図１３（Ａ）に示すように、検出された両目の間隔の中点位置４２が、顔画像の中心線４１上にあれば、Ｘｄ＝０であって、顔画像は正面正対状態であると考えられるので、より精度の良い特徴ベクトルが抽出することができると考えられ、スコアＳｄは、Ｓｄ＝１とする。
【００９２】
そして、図１３（Ｂ），（Ｃ）に示すように、検出された両目の間隔の中点位置４２と、顔画像の中心線４１との距離Ｘｄが大きくなるにつれて、スコアＳｄの値は、小さくなって０に近づく。この実施形態では、このスコアＳｄは、図１４に示すように、検出された両目の間隔の中点位置４２と、顔画像の中心線４１との距離Ｘｄを変数としたガウス分布関数に従った値をとるように構成されている。
【００９３】
図１５に、スコアＳｄの算出式を（式２）として示す。この図１５に示す（式２）において、ｃは、検出された両目の間隔の中点位置４２と顔画像の中心線４１との距離Ｘｄ＝０のときにＳｄ＝１となる値、δは標準偏差、μは平均値、であり、これらの値は、実際の多数個の顔画像サンプルを用いて、統計解析で求められるものである。
【００９４】
［総合スコア］
この実施形態では、以上説明した４個のスコアＳａ，Ｓｂ，Ｓｃ，Ｓｄから、スコア算出部１４は、以下に示す（式３）を用いて総合スコアＳＯを算出する。ここで、スコア算出部１４で算出するのは、新たに取り込んだ顔画像のデータについての総合スコアであるので、当該スコア算出部１４で算出された総合スコアは、ＳＯｎｅｗと記述することとする。
【００９５】
ＳＯｎｅｗ＝Ｓａ×Ｓｂ×Ｓｃ×Ｓｄ    ・・・（式３）。
【００９６】
なお、（式３）は、総合スコアＳＯｎｅｗの算出方法の一例であり、その他種々の算出方法を用いることができる。例えば、
ＳＯｎｅｗ＝Ｓａ＋Ｓｂ＋Ｓｃ＋Ｓｄ    ・・・（式４）
として総合スコアＳＯｎｅｗを求めても良い。
【００９７】
また、４個のスコアＳａ，Ｓｂ，Ｓｃ，Ｓｄのそれぞれについて、重み係数ｋａ，ｋｂ，ｋｃ，ｋｄを定め、
ＳＯｎｅｗ＝ｋａ・Ｓａ×ｋｂ・Ｓｂ×ｋｃ・Ｓｃ×ｋｄ・Ｓｄ    ・・・（式５）
として総合スコアＳＯｎｅｗを求めても良いし、また、
ＳＯｎｅｗ＝ｋａ・Ｓａ＋ｋｂ・Ｓｂ＋ｋｃ・Ｓｃ＋ｋｄ・Ｓｄ    ・・・（式６）
として総合スコアＳＯｎｅｗを求めても良い。
【００９８】
［顔画像の特徴ベクトルの重み係数Ｗ］
総合スコアＳＯをそのまま顔画像識別用辞書データＦＲＤｉの更新に用いても良いが、この実施形態では、総合スコアＳＯから、顔画像の特徴ベクトルについての重み係数Ｗを求め、この重み係数Ｗを用いた顔画像識別用辞書データＦＲＤｉの更新処理を行なう。
【００９９】
そこで、この実施形態では、スコア算出部１４は、総合スコアＳＯｎｅｗから、新たに取り込んだ顔画像の特徴ベクトルについての重み係数Ｗｎｅｗを算出する。
【０１００】
この実施形態では、重み係数Ｗｎｅｗは、総合スコアＳＯｎｅｗに線形に比例するものとして生成するようにする。すなわち、比例定数をｋとしたとき、
Ｗｎｅｗ＝ｋ・ＳＯｎｅｗ    ・・・（式７）
として、重み係数Ｗｎｅｗを算出する。ｋ＝１のときには、重み係数Ｗｎｅｗとして、総合スコアＳＯｎｅｗをそのまま用いるものとなる。
【０１０１】
なお、重み係数Ｗｎｅｗの算出方法は、上記（式７）による方法に限られるものではなく、重み係数Ｗｎｅｗは、総合スコアＳＯｎｅｗの値に非線形に対応する、例えば
Ｗｎｅｗ＝ｋ・（ＳＯｎｅｗ）２    ・・・（式８）
として、重み係数Ｗｎｅｗを算出するようにしてもよい。
【０１０２】
また、総合スコアＳＯｎｅｗが、予め設定した第１の閾値以下のときには、重み係数Ｗｎｅｗ＝０とすると共に、総合スコアＳＯｎｅｗが、前記第１の閾値より大きいときには、上記（式７）や（式８）により算出するようにしても良い。
【０１０３】
さらに、総合スコアＳＯｎｅｗが、予め設定した第１の閾値以下のときには、重み係数Ｗｎｅｗ＝０とすると共に、予め設定した第２の閾値（第２の閾値は第１の閾値よりも大きい）よりも大きいときには、Ｗｎｅｗ＝１とし、そして、総合スコアＳＯｎｅｗが、第１の閾値よりも大きく、第２の閾値よりも小さい範囲においては、上記（式７）や（式８）により算出するようにしても良い。
【０１０４】
以上のようにして、スコア算出部１４は、取り込んだ顔画像毎に総合スコアＳＯｎｅｗを算出し、その総合スコアＳＯｎｅｗに基づいて重み係数Ｗｎｅｗを算出する。そして、算出した総合スコアＳＯｎｅｗおよび重み係数Ｗｎｅｗを、辞書データ生成・更新部１５に渡すようにする。
【０１０５】
［顔識別用辞書データＦＲＤｉの更新］
辞書データ生成・更新部１５は、この実施形態では、顔識別処理部１３での識別結果に基づいて個人特定情報が特定されたとき、当該個人特定情報に対応する個人辞書データＤｉの辞書データ生成用情報ＤＰＩｉ，ｎを更新し、その更新した辞書データ生成用情報ＤＰＩｉ，ｎを用いて、当該個人特定情報に対応する個人辞書データＤｉの顔識別用辞書データＦＲＤｉを更新する。
【０１０６】
すなわち、顔識別用辞書データベース１０に、新たに取り込んだ顔画像を持つ個人Ｐｉの個人辞書データＤｉとして既に蓄えられている辞書データ生成用情報ＤＰＩｉ，ｎの総合スコアＳＯｉ，ｎのそれぞれと、新たに取り込んだ顔画像についての総合スコアＳＯｎｅｗとを比較して、顔識別用辞書データベース１０中に格納されている辞書データ生成用情報ＤＰＩｉ，ｎの総合スコアＳＯｉ，ｎの中に、新たに取り込んだ顔画像についての総合スコアＳＯｎｅｗよりも小さいものがあるかどうか、つまり、新たに取り込んだ顔画像についての総合スコアＳＯｎｅｗが、顔識別用辞書データベース１０中に格納されている辞書データ生成用情報ＤＰＩｉ，ｎのいずれかよりも大きいかどうかを判別する。
【０１０７】
そして、辞書データ生成・更新部１５は、新たに取り込んだ顔画像についての総合スコアＳＯｎｅｗが、顔識別用辞書データベース１０中に格納されている辞書データ生成用情報ＤＰＩｉ，ｎのいずれかよりも大きいと判別したときには、個人辞書データＤｉの顔識別用辞書データＦＲＤｉの更新を行なうようにする。
【０１０８】
この顔識別用辞書データＦＲＤｉの更新時には、辞書データ生成・更新部１５は、顔識別用辞書データベース１０中の当該個人辞書データＤｉに格納されている辞書データ生成用情報ＤＰＩｉ，ｎのうちの一番総合スコアＳＯｉ，ｎが小さいデータを削除する。そして、辞書データ生成・更新部１５は、新たに取り込んだ顔画像についての特徴ベクトルおよび時刻データ、重み係数Ｗｎｅｗ、総合スコアＳＯｎｅｗなどを、削除した辞書データ生成用情報ＤＰＩｉ，ｎの代わりの個人辞書データとして、顔識別用辞書データベース１０に取り込む。
【０１０９】
そして、顔識別用辞書データＦＲＤｉの更新を、図１６の（式９）に示す算出式により実行する。すなわち、辞書データ生成・更新部１５は、Ｎ個の辞書データ生成用情報ＤＰＩｉ，１〜ＤＰＩｉ，Ｎのそれぞれに含まれる特徴ベクトルＶｉ，ｎと、対応する重み係数Ｗｉ，ｎとを掛け算した結果の総和を、Ｎ個の重み係数の総和で除算したものとして、更新した顔識別用辞書データＦＲＤｉを得るようにする。
【０１１０】
この顔識別用辞書データＦＲＤｉ（特徴ベクトルに対応）は、従来は、図１６の（式１０）に示すように、Ｎ個の辞書データ生成用情報ＤＰＩｉ，１〜ＤＰＩｉ，Ｎに含まれる特徴ベクトルの総和を、個数Ｎで除算した単純平均により求めていたものに比べて、Ｎ個の辞書データ生成用情報ＤＰＩｉ，１〜ＤＰＩｉ，Ｎの総合スコアに応じた重み係数を用いた値となり、顔識別用辞書データＦＲＤｉの精度が向上する。
【０１１１】
そして、Ｎ個の辞書データ生成用情報ＤＰＩｉ，１〜ＤＰＩｉ，Ｎとしては、常に、総合スコアが高いものが顔識別用辞書データベース１０に残るようにしているので、顔識別用辞書データＦＲＤｉは、より高精度のものに更新されることとなる。
【０１１２】
新たに取り込んだ顔画像についての総合スコアＳＯｎｅｗが、顔識別用辞書データベース１０中に格納されている辞書データ生成用情報ＤＰＩｉ，ｎのいずれよりも小さいと判別したときには、個人辞書データＤｉの顔識別用辞書データＦＲＤｉの更新は行なわない。新たに取り込んだ顔画像についての特徴ベクトルの総合スコアＳＯｎｅｗを用いた更新を行なうと、顔識別用辞書データＦＲＤｉの精度が悪くなってしまうからである。
【０１１３】
なお、顔識別用辞書データベース１０に、個人辞書データＤｉとして辞書データ生成用情報ＤＰＩｉ，ｎが、Ｎ個以下しか存在しないときには、辞書データ生成・更新部１５は、新たに取り込んだ顔画像のデータについての総合スコアＳＯｎｅｗと、顔識別用辞書データベース１０に格納されている辞書データ生成用情報ＤＰＩｉ，ｎとの比較は行なわずに、新たに取り込んだ顔画像についての特徴ベクトル、取得時刻情報、算出された総合スコアＳＯｎｅｗ、重み係数Ｗｎｅｗなどを、最新の辞書データ生成用情報ＤＰＩｉ，ｎとして顔識別用辞書データベース１０に格納し、顔識別用辞書データＦＲＤｉの生成・更新処理を実行する。その場合における顔識別用辞書データＦＲＤｉの生成の際には、辞書データ生成・更新部１５は、前記（式９）におけるＮの代わりに、顔識別用辞書データベース１０に当該個人辞書データＤｉとして格納されている辞書データ生成用情報ＤＰＩｉ，ｎの個数を用いて、顔識別用辞書データＦＲＤｉの生成・更新処理を実行する。
【０１１４】
そして、顔識別用辞書データベース１０に、個人辞書データＤｉとして辞書データ生成用情報ＤＰＩｉ，ｎが、Ｎ個格納されたときから、辞書データ生成・更新部１５は、上述した、新たに取り込んだ顔画像についての総合スコアＳＯｎｅｗと、格納されている辞書データ生成用情報ＤＰＩｉ，ｎのそれぞれの総合スコアＳＯｉ，ｎとの比較を行なって、総合スコアのより高いものを用いた顔識別用辞書データＦＲＤｉの更新をするようにする。
【０１１５】
なお、以上説明した図１のブロック構成において、顔識別用画像処理部１１、顔識別処理部１２、表示情報生成部１３、スコア算出部１４、辞書データ生成・更新部１５の各部は、ハードウエアの構成としてもよいし、ＣＰＵ１が、ＲＯＭ３に格納されたソフトウエアプログラムに基づいて、ＲＡＭ４をワークエリアとして用いてソフトウエア処理を実行するソフトウエア機能部として構成しても良い。
【０１１６】
また、上述の構成では、辞書データ生成用情報ＤＰＩｉ，ｎとしては、特徴ベクトルと、時刻情報と、総合スコアと、重み係数を少なくとも含むものとしたが、重み係数は、保存せずに、後で、保存した総合スコアから算出するようにしてもよい。
【０１１７】
また、特徴ベクトルの代わりに、取り込んだ顔画像の情報を保存しておき、その保存した顔画像の情報から特徴ベクトルを抽出し直すようにしてもよい。総合スコアと、重み係数も、保存した顔画像の情報から算出しなおすようにしても良い。その場合に、辞書データ生成用情報ＤＰＩｉ，ｎには、少なくとも顔画像の情報を含むようにすれば良い。
【０１１８】
［図１の顔画像識別装置における処理動作］
［顔識別処理］
次に、上述の構成の顔画像識別装置における顔識別の処理動作、取り込んだ顔画像の特徴データについてのスコア算出動作および顔識別用辞書データの生成・更新処理動作について説明する。
【０１１９】
図１７およびその続きである図１８は、顔識別処理動作の一例を説明するためのフローチャートである。この図１７および図１８を用いて説明する処理動作は、ＣＰＵ１の制御の下に、画像データ入力インターフェース部７、顔識別用画像処理部１１、顔識別処理部１２、表示情報生成部１３の各部が実行するものである。
【０１２０】
なお、ＣＰＵ１が、ＲＯＭ３に格納されたソフトウエアプログラムに基づいてＲＡＭ４をワークエリアとして用いて、上記各部の処理をソフトウエア処理として実行するように構成して上記各部を省略しても良いことは、前述した通りである。
【０１２１】
まず、ＣＰＵ１は、画像データ入力インターフェース７を通じて、顔画像を含む画像データおよびそれに付随するＥｘｉｆ情報を含む情報を取り込み、顔識別用画像処理部１１に転送する（ステップＳ１０１）。
【０１２２】
顔識別用画像処理部１１は、ＣＰＵ１からの制御開始指示に基づき、受け取った画像データから、前述したように、顔画像、目検出、検出した目の位置に基づく顔回転処理を行ない、特徴点プロットしたデータから特徴ベクトルを生成するようにする（ステップＳ１０２）。このとき、画像データに付随するＥｘｉｆ情報から撮像時刻の情報を抽出して保持するようにする。
【０１２３】
そして、顔識別用画像処理部１１は、特徴ベクトルの生成に成功したときには、その旨の情報と生成した特徴ベクトルを出力し、顔画像の画像データサイズが小さすぎたりして特徴ベクトルの生成に失敗したときには、特徴ベクトルの生成を失敗した旨の情報を出力する。
【０１２４】
ＣＰＵ１は、顔識別用画像処理部１１からの情報により、取り込まれた顔画像の特徴ベクトルの生成に成功したか否かを判別する（ステップＳ１０３）。そして、顔識別用画像処理部１１から顔画像の特徴ベクトルの生成に失敗した旨の情報が出力されていて、特徴ベクトルの生成に失敗したと判別したときには、その情報を表示情報生成部１３に転送する。
【０１２５】
表示情報生成部１３は、この顔画像の特徴ベクトルの生成に失敗した旨の情報を受け取ると、図７に示した照合不能通知画面の表示情報を生成し、出力する。ＣＰＵ１は、この照合不能通知画面の表示情報をディスプレイインターフェース６を通じてディスプレイ９に送って、図７に示したように、取り込まれた顔画像を用いては照合が不能であり、かつ、辞書に利用しない旨のメッセージ２９を表示する（ステップＳ１０４）。
【０１２６】
また、ＣＰＵ１は、ステップＳ１０３で、顔識別用画像処理部１１から顔画像の特徴ベクトルの生成に成功した旨の情報と、生成された特徴ベクトルとが出力されていると判別したときには、当該成功した旨の情報と、生成された特徴ベクトルが顔識別処理部１２に転送される。
【０１２７】
顔識別処理部１２では、受け取った取り込まれた顔画像の特徴ベクトルにより、顔識別用辞書データベース１０の顔識別用辞書データＦＲＤｉを検索し、一致していると判断できる顔識別用辞書データＦＲＤｉを探す。そして、顔識別処理部１２は、一致していると判断できる顔識別用辞書データＦＲＤｉを検出したときには、その旨の情報と、当該一致したと判断した顔識別用辞書データＦＲＤｉに対応する個人特定情報、この例では、個人の氏名の情報を出力し、一致していると判断できる顔識別用辞書データＦＲＤｉを検出できなかったときには、その旨の情報を出力する（ステップＳ１０５）。
【０１２８】
ＣＰＵ１は、顔識別処理部１２からの出力を受けて、一致していると判断できる顔識別用辞書データＦＲＤｉが検出されたか否か判別し（ステップＳ１０６）、一致していると判断できる顔識別用辞書データＦＲＤｉが検出されたと判別したときには、顔識別処理部１２から受けた、一致しているとされた顔識別用辞書データＦＲＤｉに対応する個人特定情報としての個人の氏名の情報を、顔識別ができた旨の情報と共に、表示情報生成部１３に転送する。
【０１２９】
表示情報生成部１３は、顔識別ができた旨の情報と、個人の氏名の情報を受け取ると、図４に示すような、顔識別結果をユーザに確認させるための顔識別結果確認画面の表示情報を生成し、出力する。ＣＰＵ１は、この顔識別結果確画面の表示情報を、ディスプレイインターフェース６を通じてディスプレイ９に送って、図４に示したような、顔識別結果が正しいかどうかをユーザに問い合わせるメッセージ２２を表示する（ステップＳ１０７）。
【０１３０】
そして、ＣＰＵ１は、ユーザによる図４の画面を通じての確認操作入力を待ち、当該確認操作入力が顔識別の照合結果が正解であるか否か判別する（ステップＳ１０８）。そして、ＣＰＵ１は、ユーザによる確認操作入力が、照合結果は「正解」であることを示すものであると判別したときには、顔識別用辞書データベース１０の更新ルーチンを実行するようにする（ステップＳ１０９）。この顔識別用辞書データベース１０の更新ルーチンの詳細については、後述する。
【０１３１】
また、ステップＳ１０８で、ユーザによる確認操作入力が、照合結果は「不正解」であることを示すものであると判別したときには、そのことを示す情報を表示情報生成部１３に送る。すると、表示情報生成部１３は、図５に示したような顔識別結果不正解画面の表示情報を生成し、出力するので、ＣＰＵ１は、その表示情報をディスプレイインターフェース６を通じてディスプレイ９に送り、図５に示した取り込んだ顔画像が誰の顔画像であるか、氏名を入力するようにユーザに促すメッセージ２５を表示する（図１８のステップＳ１１１）。
【０１３２】
そして、ＣＰＵ１は、このメッセージ２５中の氏名入力欄２６へのユーザによる氏名の入力を待ち（ステップＳ１１２）、氏名の入力を受け付けたと判別したときには、顔識別用辞書データベース１０に、当該入力された氏名の個人辞書データＤｉがあるか否か判別する（ステップＳ１１３）。そして、入力された氏名の個人辞書データＤｉがあると判別したときには、ステップＳ１０９に飛んで、顔識別用辞書データベース１０の更新ルーチンを実行するようにする。
【０１３３】
また、ステップＳ１１３で、入力された氏名の個人辞書データＤｉが、顔識別用辞書データベース１０に存在しないと判別したときには、ＣＰＵ１は、入力された氏名を個人特定情報として、これに対応させた個人辞書データＤｉを、顔識別用辞書データベース１０に保存して新規登録する（ステップＳ１１４）。ここで、新規登録する個人辞書データＤｉには、図２に示したように、取り込んだ顔画像の特徴ベクトル、撮影時刻の情報、前述した総合スコア、重み係数などの情報を含む。また、初めて取り込んだ顔画像の特徴ベクトルは、一つだけであるので、そのまま顔識別用辞書データとしても登録される。
【０１３４】
なお、この顔識別用辞書データベース１０への個人辞書データＤｉの新規登録は、後述する顔識別用辞書データベース１０の更新処理の一部の処理として実行することができる。
【０１３５】
次に、ステップＳ１０６で、取り込んだ顔画像の特徴ベクトルと一致していると判断できる顔識別用辞書データＦＲＤｉが検出されなかったと判別したときには、ＣＰＵ１は、その旨の情報を表示情報生成部１３に送る。表示情報生成部１３は、一致していると判断できる顔識別用辞書データＦＲＤｉが検出されなかった旨の情報を受け取ると、図６に示すような、顔識別結果として「一致無し」をユーザに報知させるための顔識別結果一致無し画面の表示情報を生成し、出力する。ＣＰＵ１は、その表示情報をディスプレイインターフェース６を通じてディスプレイ９に送り、図６に示した取り込んだ顔画像が誰の顔画像であるか、氏名を入力するようにユーザに促すメッセージ２７を表示する（図１８のステップＳ１１５）。
【０１３６】
そして、ＣＰＵ１は、このメッセージ２７中の氏名入力欄２８へのユーザによる氏名の入力を待ち（ステップＳ１１６）、氏名の入力を受け付けたと判別したときには、入力された氏名を個人特定情報として、これに対応させた個人辞書データＤｉを、顔識別用辞書データベース１０に保存して新規登録する（ステップＳ１１４）。
【０１３７】
［顔識別用辞書データベースの更新処理］
次に、図１７のステップＳ１０９の顔識別用辞書データベースの更新処理を説明する。図１９は、この顔識別用辞書データベースの更新処理の一例のフローチャートである。この図１９の各処理ステップは、この実施形態では、スコア算出部１４と、辞書データ生成・更新部１５とが、ＣＰＵ１の制御にしたがって実行するものである。なお、ＣＰＵ１が、ＲＯＭ３に格納されたソフトウエアプログラムに基づいてＲＡＭ４をワークエリアとして用いて、上記各部の処理をソフトウエア処理として実行するように構成して、上記各部を省略しても良いことは、前述した通りである。
【０１３８】
まず、ＣＰＵ１は、スコア算出部１４に総合スコアＳＯｎｅｗの算出開始指示を出す。これを受けたスコア算出部１４は、前述したようにして、総合スコアＳＯｎｅｗおよび重み係数Ｗｎｅｗを算出し、その算出結果を出力する（ステップＳ２０１）。この総合スコアＳＯｎｅｗおよび重み係数Ｗｎｅｗの算出処理の詳細な流れについては、後で詳述する。ＣＰＵ１は、この総合スコアＳＯｎｅｗおよび重み係数Ｗｎｅｗを、辞書データ生成・更新部１５に転送する。
【０１３９】
なお、この実施形態のように、スコア算出部１４をハードウエアとして独立して持つ場合には、顔識別用画像処理部１１で、特徴ベクトルの生成が成功したときには、検出した顔画像データと、目検出出力などを、スコア算出部１４で受け取り、その時点から総合スコアＳＯｎｅｗおよび重み係数Ｗｎｅｗの算出処理を、顔識別処理と平行して行なっておくようにしてもよい。その場合には、辞書データベース１０の更新タイミングでは、スコア算出部１４で、既に総合スコアＳＯｎｅｗおよび重み係数Ｗｎｅｗが算出済みであって、それらがワークエリアＲＡＭ４に保存されているので、ステップＳ２０１では、ＣＰＵ１は、ワークエリアＲＡＭ４に保存されているそれら総合スコアＳＯｎｅｗおよび重み係数Ｗｎｅｗを読み出して、辞書データ生成・更新部１５に転送するようにする。
【０１４０】
辞書データ生成・更新部１５は、ステップＳ２０１で算出された（得られた）取り込んだ顔画像の特徴ベクトルについての総合スコアＳＯｎｅｗの値が、ＳＯｎｅｗ＝０であるか否か判別し（ステップＳ２０２）、ＳＯｎｅｗ＝０であれば、その旨をＣＰＵ１に知らせる。ＣＰＵ１は、この通知を受けて、取り込んだ顔画像の特徴ベクトルは辞書データの更新には使用できない信頼性の無い特徴ベクトルであると判断して、そのままこの処理ルーチンを終了する。
【０１４１】
また、ステップＳ２０２で、ＳＯｎｅｗ＝０ではないと判別したときには、辞書データ生成・更新部１５は、照合結果として正解とされた照合対象者、あるいは、図５または図６の画面においてユーザにより氏名が入力された照合対象者の辞書データ生成用情報ＤＰＩｉ，ｎとしては、蓄積可能個数として最大であるＮ個が、既に蓄積済みであるか否か判別する（ステップＳ２０３）。
【０１４２】
Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎが蓄積済みではないと判別したときには、辞書データ生成・更新部１５は、取り込んだ顔画像についての特徴ベクトル、時刻情報、総合スコアＳＯｎｅｗ、重み係数Ｗｎｅｗなどを、照合対象者（照合結果として正解とされた照合対象者と、図５または図６の画面においてユーザにより氏名が入力された照合対象者の両方を含む。以下同じ）の新たな辞書データ生成用情報ＤＰＩｉ，ｎとして、顔識別用辞書データベース１０に追加する（ステップＳ２０４）。
【０１４３】
そして、辞書データ生成・更新部１５は、当該照合対象者の顔識別用辞書データＦＲＤｉを、前述した（式９）により生成して、更新する（ステップＳ２０８）。なお、このときには、辞書データ生成用情報ＤＰＩｉ，ｎはＮ個以下であるので、（式９）においては、Ｎの代わりに、辞書データ生成用情報ＤＰＩｉ，ｎとして保存されている数が用いられて、演算が行なわれることになる。
【０１４４】
そして、ステップＳ２０３で、Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎが蓄積済みであると判別したときには、辞書データ生成・更新部１５は、照合対象者のＮ個の辞書データ生成用情報ＤＰＩｉ，ｎの総合スコアＳＯｉ，ｎを順次に読み出して、新たに取り込んだ顔画像について算出した総合スコアＳＯｎｅｗと比較する（ステップＳ２０５）。
【０１４５】
そして、辞書データ生成・更新部１５は、Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎのそれぞれの総合スコアＳＯｉ，ｎのうちに、取り込んだ顔画像についての総合スコアＳＯｎｅｗよりも小さい値のものがあるか否か判別し（ステップＳ２０６）、なければ、辞書データの更新の必要はないとして、このままこの処理ルーチンを終了する。
【０１４６】
また、ステップＳ２０６で、Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎのそれぞれの総合スコアＳＯｉ，ｎの中に、取り込んだ顔画像についての総合スコアＳＯｎｅｗよりも小さい値のものがあると判別したときには、辞書データ生成・更新部１５は、Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎの中で、総合スコアＳＯｉ，ｎが最小であるものを検出し、その検出した総合スコアＳＯｉ，ｎが最小である辞書データ生成用情報ＤＰＩｉ，ｎの蓄積内容と、総合スコアＳＯｎｅｗである顔画像についての特徴ベクトル、時刻情報、総合スコア、重み係数などからなる辞書データ生成用情報と同一内容とを入れ替える（ステップＳ２０７）。
【０１４７】
そして、ステップＳ２０７での入れ替えにより、Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎの内容が変わったことから、それらのＮ個の辞書データ生成用情報ＤＰＩｉ，ｎの重み係数と、特徴ベクトルとを用いて、前述した（式９）に基づく演算を行なって、当該照合対象者についての顔識別用辞書データＦＲＤｉの更新処理を実行する（ステップＳ２０８）。
【０１４８】
以上で、この辞書データベースの更新処理ルーチンを終了する。
【０１４９】
［スコア算出処理］
次に、スコア算出部１４における総合スコアおよび重み係数の算出処理について説明する。図２０およびその続きである図２１は、スコア算出部１４における総合スコアおよび重み係数の算出処理の流れの一例を示すフローチャートである。
【０１５０】
すなわち、スコア算出部１４は、顔識別用画像処理部１１から受け取った顔検出データサイズＸａを検出し（ステップＳ３０１）、検出した顔画像のデータサイズＸａが、予め設定されている顔画像の最小データサイズＭＩＮ＿ＳＩＺＥより小さいか否か判別する（ステップＳ３０２）。
【０１５１】
そして、スコア算出部１４は、顔画像のデータサイズＸａが最小データサイズＭＩＮ＿ＳＩＺＥよりも小さいと判別したときには、顔画像のデータサイズＸａに基づくスコアＳａ値を、図８に示したように、Ｓａ＝０とする（ステップＳ３０３）。
【０１５２】
また、顔画像のデータサイズＸａが最小データサイズＭＩＮ＿ＳＩＺＥよりも小さくはないと判別したときには、スコア算出部１４は、顔画像のデータサイズＸａが、予め定めた十二分な顔画像のデータサイズＭＡＸ＿ＳＩＺＥよりも大きいか否か判別する（ステップＳ３０４）。
【０１５３】
また、スコア算出部１４は、ステップＳ３０４で、顔画像のデータサイズＸａが、予め定めた十二分なデータサイズＭＡＸ＿ＳＩＺＥよりも大きいと判別したときには、スコアＳａの値を、図８に示したように、Ｓａ＝１とする（ステップＳ３０５）。
【０１５４】
そして、ステップＳ３０４で、顔画像のデータサイズＸａが、予め定めた十二分なデータサイズＭＡＸ＿ＳＩＺＥよりも小さいと判別したときには、スコア算出部１４は、スコアＳａは、図８に示したように、検出された顔画像のデータサイズＸａに応じた値とする（ステップＳ３０６）。
【０１５５】
次に、スコア算出部１４は、取り込んだ顔画像の顔の向き（顔の角度）を検出する（ステップＳ３０７）。そして、スコア算出部１４は、ヨー方向の正面正対状態からの顔画像の向きのずれの角度Ａyawおよびピッチ方向の正面正対状態からの顔画像の向きのずれの角度Ａpitchを検出し（ステップＳ３０７）、それらの角度ＡyawおよびＡpitchが、共に前述した許容範囲内であるか、つまり、
−１５度≦Ａyaw≦＋１５度
かつ
−１５度≦Ａpitch≦＋１５度  
であるか否か判別する（ステップＳ３０８）。
【０１５６】
そして、スコア算出部１４は、ステップＳ３０８で、角度Ａyawおよび角度Ａpitchの両方が、前記許容範囲になっていると判別したときには、顔の角度が許容範囲にあるかどうかについてのスコアＳｂの値を、Ｓｂ＝１とする（ステップＳ３０９）。
【０１５７】
また、スコア算出部１４は、ステップＳ３０８で、角度Ａyawおよび角度Ａpitchの両方あるいは一方が、前記許容範囲になっていないと判別したときには、前記スコアＳｂの値を、Ｓｂ＝０とする（ステップＳ３１０）。
【０１５８】
そして、ステップＳ３０９またはステップＳ３１０の次には、図２１のステップＳ３１１に進み、スコア算出部１４は、図１０を用いて説明したように、パーツ検出処理により検出された左右両目の水平からずれ、つまり、前述した左右両目の間の垂直方向の距離Ｘｃを検出する。
【０１５９】
そして、スコア算出部１４は、検出した距離Ｘｃが、Ｘｃ＝０であって、両目が水平に並んでいるか否か判別し（ステップＳ３１２）、水平に並んでいると判別したときには、スコアＳｃの値を、Ｓｃ＝１とする（ステップＳ３１３）。また、ステップＳ３１２で、水平に並んでいないと判別したときには、スコア算出部１４は、前述したガウス分布関数にしたがったスコアＳｃの算出式である（式１）（図１２参照）に基づいて、スコアＳｃの値を算出する（ステップＳ３１４）。
【０１６０】
次に、ステップＳ３１３またはステップＳ３１４の次には、ステップＳ３１５に進み、スコア算出部１４は、図１３を用いて説明したように、顔画像の中心線４１と、両目の間隔の中点位置４２との距離Ｘｄを検出する（ステップＳ３１５）。
【０１６１】
そして、スコア算出部１４は、検出した距離Ｘｄが、Ｘｄ＝０であって、顔画像が正面正対状態であるか否か判別し（ステップＳ３１６）、顔画像が正面正対状態であると判別したときには、スコアＳｄの値を、Ｓｄ＝１とする（ステップＳ３１７）。また、ステップＳ３１６で、顔画像が正面正対状態ではないと判別したときには、スコア算出部１４は、前述したガウス分布関数にしたがったスコアＳｄの算出式である（式２）（図１４参照）に基づいて、スコアＳｄの値を算出する（ステップＳ３１８）。
【０１６２】
そして、ステップＳ３１３またはステップＳ３１４の次には、ステップＳ３１５に進み、スコア算出部１４は、前述したようにして、算出したスコアＳａ，Ｓｂ，Ｓｃ，Ｓｄを用いて、総合スコアＳＯｎｅｗを算出すると共に、算出した総合スコアＳＯｎｅｗから、重み係数Ｗｎｅｗを算出する（ステップＳ３１９）。以上で、スコア算出部１４でのスコア算出処理を終了する。
【０１６３】
なお、以上の説明では、個人識別を行なった後には、当該個人識別に続いて、取り込んだ新たな顔画像を用いた顔識別用辞書データの更新を行なうようにしたが、新たに取り込んだ顔画像のデータあるいは特徴ベクトルと、時刻情報と、総合スコアと、重み係数とを一時記憶しておき、個人識別時点の後の時点において、顔識別用辞書データの更新を行うようにしても良い。
【０１６４】
また、総合スコアと、重み係数とは、一時記憶部や個人辞書データ記憶部に、両方とも記憶するのではなく、どちらか一方を記憶するようにしても良い。重み係数を記憶するようにする場合には、辞書データを更新するか否かの判定も、総合スコアではなく、重み係数を用いるようにしても良い。
【０１６５】
［実施形態の効果］
以上説明したように、上述の実施形態においては、各個人Ｐｉの個人辞書データＤｉ中の、最大Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎのそれぞれには、顔画像の特徴ベクトルについての信頼度を表す総合スコアＳＯｉ，ｎを記憶するようにしているので、新たに取り込んだ顔画像の特徴ベクトルについての信頼度を表す総合スコアＳＯｎｅｗと、記憶しているＮ個の顔画像の特徴ベクトルの総合スコアＳＯｉ，ｎ（ｎ＝１〜Ｎ）とを比較することで、新たに取り込んだ顔画像の特徴ベクトルが、顔識別用辞書データを更新するために有効であるかどうかを判定することができる。
【０１６６】
そして、比較の結果、新たに取り込んだ顔画像の特徴ベクトルについての総合スコアＳＯｎｅｗが、個人Ｐｉの個人辞書データＤｉ中のＮ個の辞書データ生成用情報ＤＰＩｉ，ｎのいずれかよりも大きいときには、最も、総合スコアＳＯｉ，ｎの低いものを削除して、その代わりに新たな顔画像の特徴ベクトルなど、辞書データ生成用情報と同じ内容のデータを保存することにより、常に、総合スコアの値が高く、信頼性の高いデータのみを、各個人のＮ個の辞書データ生成用情報として保存しておくことができる。
【０１６７】
そして、その信頼性の高いＮ個の辞書データ生成用情報ＤＰＩｉ，ｎのみを用いて顔識別用辞書データＦＲＤｉを更新するようにすることにより、顔識別用辞書データＦＲＤｉも、常に精度の高い辞書データとすることができる。
【０１６８】
さらに、上述の実施形態では、顔識別用辞書データＦＲＤｉの更新演算においては、Ｎ個の辞書データ生成用情報ＤＰＩｉ，ｎのそれぞれの特徴ベクトルの単純平均を取るのではなく、それぞれの特徴ベクトルに、対応する総合スコアに基づく重み係数を乗算したものの総和を、重み係数の総和で除算するようにしたので、それぞれの特徴ベクトルは、その信頼度に応じて顔識別用辞書データＦＲＤｉの生成に寄与するようになるので、さらに高精度の辞書データを得ることができる。
【０１６９】
［他の実施形態］
以上は、この発明を顔識別処理装置に適用した場合であるが、この発明の適用範囲は、このような装置の場合に限らないことは言うまでもない。
【０１７０】
例えば、個人識別処理の場合において、人の声、指紋、虹彩、静脈などを識別要素として個人を識別する場合においても、それぞれそれらの識別要素を取り込むときの１または複数の基準条件からのずれに基づいて、１または複数個のスコアを算出する。そして、算出したスコアが複数個、あるときには、その複数個のスコアを用いて総合スコアを算出する。
【０１７１】
そして、上述の実施形態と同様に、スコアまたは総合スコアに基づいて、辞書データ生成用情報として保存する複数個のデータを選択したり、識別用辞書データの更新をしたりするようにすることができる。
【０１７２】
また、この発明は、個人識別処理にのみ適用されるものではない。例えば、証明写真を自動機械により撮影する場合において、正面正対、目が水平、などの基準条件を定めておき、ユーザに提供する写真枚数以上である所定枚数以上を撮影し、その所定枚数以上の撮像画像の中から、基準条件からのずれに基づいて算出した総合スコアの高い、信頼性の高い複数枚の写真のみを、ユーザに提供する写真とするような場合にも、適用できる。
【０１７３】
また、多数の人の集合写真を撮影する場合において、複数枚を撮影し、例えば、赤目となっている人がいないという基準条件に基づいてスコアを算出し、そのスコアを、撮像画像と共に記憶しておくで、その記憶した撮像画像の中から、スコアの高い写真を選択するようにすることで、品質の良い集合写真を提供することができる。
【０１７４】
また、パーソナルコンピュータに複数枚の写真画像を取り込んで、アルバムなどとして保存する場合において、例えば、取り込んだ写真画像をメモリに記憶する際、取り込む画像について、例えば、人の顔が映っている画像である、高周波数成分が多い（輪郭がはっきりしている）画像である、などの基準条件を定め、その基準条件からのずれからスコアまたは総合スコアを算出し、そのスコアまたは総合スコアを、写真画像に対応させて記憶するようにする。
【０１７５】
このようにすれば、スコアまたは総合スコアの高いもの順に、写真画像を並べるなど、基準条件に近い画像を優先して表示するようにすることができる。この発明は、この場合にも適用可能である。
【図面の簡単な説明】
【０１７６】
【図１】この発明による個人識別装置の実施形態のハードウエア構成例を示すブロック図である。
【図２】この発明の実施形態における顔識別用辞書データベースの格納内容の例を説明するための図である。
【図３】この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。
【図４】この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。
【図５】この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。
【図６】この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。
【図７】この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。
【図８】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図９】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図１０】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図１１】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図１２】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図１３】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図１４】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図１５】この発明による個人識別装置の実施形態における顔画像について算出するスコアの一つを説明するための図である。
【図１６】この発明による個人識別装置の実施形態における顔識別用辞書データの算出方法の一例を説明するために用いる図である。
【図１７】この発明による個人識別装置の実施形態における顔識別処理の流れを説明するためのフローチャートの一部を示す図である。
【図１８】この発明による個人識別装置の実施形態における顔識別処理の流れを説明するためのフローチャートの一部を示す図である。
【図１９】この発明による個人識別装置の実施形態における顔識別用辞書データの更新処理の流れを説明するためのフローチャートを示す図である。
【図２０】この発明による個人識別装置の実施形態におけるスコア算出処理の流れを説明するためのフローチャートの一部を示す図である。
【図２１】この発明による個人識別装置の実施形態におけるスコア算出処理の流れを説明するためのフローチャートの一部を示す図である。
【符号の説明】
【０１７７】
１０…顔識別用辞書データベース、１１…顔識別用画像処理部、１２…顔識別処理部、１４…スコア算出部、１５…辞書データ生成・更新部
【図１】
2008117333.tif 000003
【図２】
2008117333.tif 000004
【図３】
2008117333.tif 000005
【図４】
2008117333.tif 000006
【図５】
2008117333.tif 000007
【図６】
2008117333.tif 000008
【図７】
2008117333.tif 000009
【図８】
2008117333.tif 000010
【図９】
2008117333.tif 000011
【図１０】
2008117333.tif 000012
【図１１】
2008117333.tif 000013
【図１２】
2008117333.tif 000014
【図１３】
2008117333.tif 000015
【図１４】
2008117333.tif 000016
【図１５】
2008117333.tif 000017
【図１６】
2008117333.tif 000018
【図１７】
2008117333.tif 000019
【図１８】
2008117333.tif 000020
【図１９】
2008117333.tif 000021
【図２０】
2008117333.tif 000022
【図２１】
2008117333.tif 000023