(57)【要約】【課題】顔画像情報を用いた利用者の認証を行う電子機器であって、認証画像の登録及び認証動作を楽しみながら行うことができる電子機器を提供する。【解決手段】撮像部５を介して入力した顔画像データを、不揮発性メモリ４の照合用データと比較し、使用者の認証を行う。電子機器１００は、キャラクタを模擬して表示部６に表示する機能を有する。また、認証の正解率を向上させるために使用者の新しい顔画像の撮影が必要かつ可能であるかどうかの判断を行う取得開始判断機能を有し、必要かつ可能であると判断されたときに、キャラクタ画像を表示部６に表示し、照合用データの取得を開始するかどうか使用者に通知する。また、照合処理を行う場合、キャラクタ画像を表示部６に表示させる。【選択図】図１
2005102190.tif 000002
【特許請求の範囲】
【請求項１】
使用者を認証して適正な使用者かどうかを判定する機能を有する使用者認証機能付き電子機器であって、
使用者の顔画像を撮影可能な撮像手段と、
適正な使用者の顔を表す照合用データを記憶する照合画像記憶手段と、
前記照合用データの取得処理、及び前記撮像手段によって撮影された入力画像データと前記照合用データとの照合処理を含む使用者認証処理を行う認証処理手段と、
新しい照合用データの取得が必要であるかどうかの必要性判断処理、及び必要な照合用データの元になる顔画像の撮影が可能かどうかの可能性判断処理を行う取得開始判断手段と、
キャラクタを模擬するキャラクタ模擬手段と、
前記キャラクタ模擬手段が模擬する前記キャラクタの画像の表示が可能な表示手段とを備え、
前記認証処理手段は、前記必要性判断処理及び前記可能性判断処理の結果から、前記新しい照合用データの取得が必要であり、かつ、前記必要な照合用データの元になる顔画像の撮影が可能である場合に、キャラクタ画像を前記表示手段に表示して、前記取得処理を開始するかどうか使用者に通知するものである電子機器。
【請求項２】
請求項１記載の電子機器であって、
前記認証処理手段は、前記取得処理時及び前記照合処理時に、前記キャラクタ画像を前記表示手段に表示させて、ユーザに応答する処理を含むものである電子機器。
【請求項３】
請求項１又は２記載の電子機器であって、
前記照合用データは、顔の部位毎の部分領域画像データ又は顔の部位毎の特徴データを含み、
前記認証処理手段の前記照合処理は、前記入力画像データから抽出した顔の部位毎の画像データと前記照合用データとの類似度の算出を含む電子機器。
【請求項４】
請求項１ないし３のいずれか１項記載の電子機器であって、
前記照合用データは、撮影日時又は撮影場所が異なる複数の撮影画像データから作成されたものである電子機器。
【請求項５】
請求項４記載の電子機器であって、
前記認証処理手段の前記取得処理は、予め定めた撮影日時又は撮影場所での適正な使用者の顔画像の撮影支援処理を含む電子機器。
【請求項６】
請求項１ないし５のいずれか１項記載の電子機器であって、
前記必要性判断処理又は前記可能性判断処理は、日時又は撮影場所の情報を使った判断である電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者認証機能付き電子機器であって、使用者の顔画像による認証処理を行う電子機器に関する。
【背景技術】
【０００２】
携帯電話機等の電子機器を、利用者本人以外の人物が使用できないように使用制限する場合、本人認証を行う。本人認証方法としては、パスワードによるものや、人体の特徴を示す指紋、声紋、虹彩等のバイオメトリック情報を利用するものが知られている。
【０００３】
携帯電話機に指紋を利用した本人認証技術を適用したものが、特許文献１に記載されている。また、認証用のバイオメトリック情報として顔画像を利用するものが、特許文献２に記載されている。
【０００４】
しかし、指紋、声紋、虹彩等を利用する場合、それらの情報を入力するために手段としてかなり高精度のものが必要であり、コストアップにつながる。バイオメトリック情報として顔画像を利用する場合、携帯電話機に設けられるようなカメラを入力手段として利用できるが、顔画像によって確実な本人認証を行うためには、複数の照合用画像の登録が必要である。すなわち、認証のために撮影される顔画像は、撮影場所、時間等によって異なるので、予め複数の条件で撮影しておくことが重要である。このような複数の顔画像の登録は、利用者にとって負担であるとともに、どの程度登録すれば充分であるかの判断も困難である。
【０００５】
一方、パスワードによる本人認証は、手軽に採用できるが、利用者にとって面白味に欠ける。
【０００６】
また、楽しみながら不正使用の防止をするものとしては、特許文献３に、ペット飼育ゲームが所定の状態になったことを条件として、電話機能を停止させるようにした携帯電話機が記載されている。この携帯電話機は、ペット飼育ゲームが所定の状態になるまで一定の時間経過が必要であり、その間のセキュリティが問題である。なお、ペット等の仮想的なキャラクタとの間でコミュニケーションを行う電子機器としては、特許文献３の他に特許文献４及び特許文献５に記載されたものが提案されている。
【０００７】
【特許文献１】特開２００２−４４７２７号公報
【特許文献２】特開２００２−２６１９１４号公報
【特許文献３】特開２００３−１６９１３２号公報
【特許文献４】国際公開第００／５３２８１号パンフレット
【特許文献５】特開２００１−５１９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記事情に鑑みなされたもので、顔画像情報を用いた利用者の認証を行う電子機器であって、認証画像の登録及び認証動作を楽しみながら行うことができる電子機器を提供することを目的とする
【課題を解決するための手段】
【０００９】
本発明の電子機器は、使用者を認証して適正な使用者かどうかを判定する機能を有する使用者認証機能付き電子機器であって、使用者の顔画像を撮影可能な撮像手段と、適正な使用者の顔画像データである照合用データを記憶する照合画像記憶手段と、前記照合用データの取得処理、及び前記撮像手段によって撮影された入力画像データと前記照合用データとの照合処理を含む使用者認証処理を行う認証処理手段と、新しい照合用データの取得が必要であるかどうかの必要性判断処理、及び必要な照合用データの元になる顔画像の撮影が可能かどうかの可能性判断処理を行う取得開始判断手段と、キャラクタを模擬するキャラクタ模擬手段と、前記キャラクタ模擬手段が模擬する前記キャラクタの画像の表示が可能な表示手段とを備え、前記認証処理手段は、前記必要性判断処理及び前記可能性判断処理の結果から、前記新しい照合用データの取得が必要であり、かつ、前記必要な照合用データの元になる顔画像の撮影が可能である場合に、キャラクタ画像を前記表示手段に表示して、前記取得処理を開始するかどうか使用者に通知するものである。本発明によれば、キャラクタとのコミュニケーションを楽しみながら使用者の照合用データの取得処理がなされる。また、照合の正解率の向上が期待できる場合に新しい照合用データの取得が必要であると判断するように、必要性判断処理の判断基準を設定しておくことで、ユーザが意識しなくても自然に照合の正解率を向上させることができる。したがって、使用者の照合用データの取得処理、つまり顔画像の登録処理を行う際の煩わしさを軽減することができる。
【００１０】
本発明の電子機器は、前記認証処理手段が、前記記憶処理時及び前記照合処理時に、前記キャラクタ画像を前記表示手段に表示させて、ユーザに応答する処理を含むものである。本発明によれば、仮想的なキャラクタとのコミュニケーションを楽しみながら使用者の認証処理がなされる。また、照合用データの取得処理も、同様に仮想的なキャラクタとのコミュニケーションを楽しみながら行うことができる。したがって、使用者の認証をする際の煩わしさを軽減することができる。
【００１１】
本発明の電子機器は、前記照合用データが、顔の部位毎の部分領域画像データ又は顔の部位毎の特徴データを含み、前記認証処理手段の前記照合処理は、前記入力画像データから抽出した顔の部位毎の画像データと前記照合データとの類似度の算出を含むものを含む。本発明によれば、撮影手段で顔を撮影するだけで照合処理がなされるので、ユーザにとって難しい操作をせずに照合を行うことができる。
【００１２】
本発明の電子機器は、前記照合用データが、撮影日時又は撮影場所が異なる複数の撮影画像データから作成されたものである。本発明によれば、照合用データを撮影条件に応じて体系的に記憶させるので、顔画像による使用者の認証精度を向上させることができる。
【００１３】
本発明の電子機器は、前記認証処理手段の前記取得処理が、予め定めた撮影日時又は撮影場所での適正な使用者の顔画像の撮影支援処理を含むものを含む。本発明によれば、撮影条件毎の照合用データを効率的に記憶させることができる。
【００１４】
本発明の電子機器は、前記必要性判断処理又は前記可能性判断処理が、日時又は撮影場所の情報を使った判断であることを特徴とする。本発明によれば、複数の撮影日時、撮影場所で適正な利用者の顔画像を撮影できるので、使用者の認証精度を向上させることができる。
【発明の効果】
【００１５】
本発明によれば、顔画像情報を用いた利用者の認証を行う電子機器であって、認証画像の登録及び認証動作を楽しみながら行うことができる電子機器を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を用いて説明する。この実施の形態では、適用する電子機器がカメラ付き携帯電話機であるが、適用対象はカメラ付き携帯電話機に限らず、撮像手段を備える電子機器であればよい。
【００１７】
図１は、本発明の実施の形態の電子機器であるカメラ付き携帯電話機の概略構成を示す図である。図１のカメラ付き携帯電話機１００は、制御部１、ＲＯＭ２、ＲＡＭ３、不揮発性メモリ４、撮像部５、表示部６、操作部７、内部バス１０、通信部２０、アンテナ２１、音声処理部３０、マイクロホン３１、スピーカ３２を含む。
【００１８】
制御部１は、携帯電話機１００全体の動作を制御するものであり、所定のプログラムを実行するプロセッサ（図示せず）を主体に構成される。制御部１は、携帯電話機１００の各要素相互間の内部バス１０を介したデータや命令の授受の制御を行う。また、制御部１は、撮像部５で撮影された使用者の顔画像データと、不揮発性メモリ４に記憶された適正な使用者の顔画像データを用いた認証処理機能を有する。さらに、使用者の新しい顔画像データの撮影が必要かつ可能であるかどうかの判断を行う取得開始判断機能を有する。また、仮想的なキャラクタを模擬する機能を有する。仮想的なキャラクタを模擬する機能は、育成ゲーム機能の実現と同様の方法で実現できるので、詳細な説明は省略する。キャラクタの行動を模擬した画像を出力する場合は、表示部６を介して出力し、キャラクタの行動を模擬した音声を出力する場合は、音声処理部３０、スピーカ３２を介して出力する。
【００１９】
ＲＯＭ２は、制御部１を構成するプロセッサによって実行されるプログラムや携帯電話機１００で利用する各種データを記憶する。ＲＡＭ３は、データを一時的に記憶するメモリであり、制御部１による各種処理を実行する際のワークメモリとしても利用される。
不揮発性メモリ４は、例えばＥＥＰＲＯＭで構成され、後述する適正使用者の顔画像データである照合用データ、キャラクタの行動を模擬した画像を出力する場合の画像データ等を記憶するとともに、利用者がカメラ付き携帯電話機１００を利用する際の各種データファイル用としても利用される。
【００２０】
撮像部５は、レンズ等の光学系、撮像素子、画像処理部（いずれも図示せず）等を含み、撮影画像信号に基づくデジタル画像データを出力するものである。撮像部５は、従来からのカメラ付き携帯電話機に設けられるものと同様のものであり、通常の撮影モード時の動作も同様である。すなわち、撮影モード時のスルー画像は表示部６に表示され、操作部７のシャッターボタンを操作すると、その時の撮影画像信号に基づくデジタル画像データがＲＡＭ３に一時的に保持され、操作部７から保存を支持すると、不揮発性メモリ４に記憶される。なお、このような撮影動作を行うカメラ付き携帯電話機は周知であるので、詳細な説明は省略する。
【００２１】
撮像部５は、不揮発性メモリに記憶される照合用データの取得に利用される。また、携帯電話機１００の使用者の認証時の顔画像データの取得にも利用される。このような認証処理に利用する場合には、表示部６の表示画面を見ながら操作する場合が多いので、撮像部５のレンズは、表示部６の表示面側に向けられているのが好ましい。撮像部５を複数設け、そのうちの１つを表示部６の表示面側撮影用としたり、撮像部５の撮影方向を可変とし、認証処理時に表示部６の表示面側を撮影方向とすることにより、実現できる。
【００２２】
表示部６は、携帯電話機１００の各種情報を表示するもので、表示を行う液晶表示パネルとこの液晶表示パネルを駆動する表示制御回路（いずれも図示せず）とから構成される。
【００２３】
操作部７は、利用者が携帯電話機１００を操作するための指令やデータの入力するためのものであり、電話番号や各種データを入力するためのテンキー、各種のファンクションキー等を含む。これらのキーは、動作モードによって異なる機能を有し、通常の撮影モード時のシャッターボタンやズームボタンの機能、後述する認証処理時の画像撮影及び各種データの入力キーとしても機能する。また、制御部１によって模擬される仮想的なキャラクタとのコミュニケーションを行うためのデータ入力にも利用される。
【００２４】
アンテナ２１と接続された通信部２０は、外部との無線通信を行うもので、送信データを搬送波に乗せてアンテナ２１から送信し、またアンテナ２１で受信した受信データを復調するものである。復調したデータが音声データである場合は、音声処理部３０に送られ、その他のデータである場合は、制御部１の制御により、内部バス１０を介して制御部１、ＲＡＭ３、不揮発性メモリ４等に送られる。また、送信データは、音声処理部３０から直接又は他の要素から内部バス１０を介して入力される。
【００２５】
音声処理部３０は、マイクロホン３１から入力された音声信号をデジタルデータに変換し、送信データとして通信部２０へ出力するとともに、通信部２０から出力された受信データ（音声データ）をアナログ音声信号に変換し、スピーカ３２へ出力するものである。
また、マイクロホン３１からの音声信号に基づくデジタルデータを、内部バス１０を介して制御部１等に送るとともに、内部バス１０介して入力されるデジタルデータを音声信号に変換し、スピーカ３２に出力することも可能である。
【００２６】
次に、図１のカメラ付き携帯電話機１００の動作について説明する。この携帯電話機１００は、音声による通話を行うだけでなく、撮像部５を利用するカメラ機能、通信部２０を利用するデータ通信機能を有する。これらの機能は、操作部７の所定のキーを操作することにより、選択的に動作可能である。なお、音声通話機能、カメラ機能、データ通信機能は、従来のものと同様であるので、説明を省略する。また、携帯電話機１００は、使用者認証機能を備えており、適正な使用者以外は使用制限をすることが可能となっている。
使用制限は、携帯電話機１００のすべての機能について制限してもよいし、一部のみの機能について制限してもよい。適正な使用者であるかどうかは、使用者の顔画像の比較により行うとともに、パスワードの入力によっても行う。
【００２７】
使用者の顔画像の比較による認証には、適正な使用者の顔画像データを使用するので、まず、不揮発性メモリ４に記憶される照合用データについて説明する。照合用データは、携帯電話機１００の適正な使用者が、少なくとも１枚の自分の顔画像を撮像部５で撮影し、その画像データ又は特徴データを予め記憶させておくものである。
【００２８】
照合用データは、例えば、個別顔情報と平均顔情報を含む。個別顔情報は、撮影した顔画像１枚毎のデータを、図２に示すような項目毎に分析したデータである。例えば、目、鼻、口、耳、眉等についてはそれらの頂点座標を、輪郭については輪郭線上の複数の点座標と、髪型については髪領域とそれ以外の領域を２値で区別したデータを、照合用データとして利用することが可能である。また、要素配置データとしては、目、鼻、口等の代表的な要素の相対位置データを照合用データとして記憶する。なお、目、鼻、口、耳、眉等については、頂点座標ではなく、縮小した画像を照合用データにしてもよい。例えば目であれば、目を含むように目周辺の画像を切出して縮小した画像を照合用データとしてもよい。
【００２９】
照合用データは、使用者の認証時に撮影されて取得される顔画像データと個別に比較され、類似度が算出されるものである。適正な使用者であるかどうかを判定するためには、撮影日時や撮影場所が異なる複数の顔画像を記憶しておくのが好ましい。図３に、撮影日時と撮影場所の設定区分の一例を示す。これらの区分の組み合わせ毎に１又は複数枚の顔画像データあるいは特徴データを記憶しておくと、撮影条件、使用者の顔の状態等にかかわらず、確実に適正な使用者かどうかの判別が期待できる。
【００３０】
なお、顔画像データによる認証は、適正使用者の照合用データを複数区分で複数枚記憶させたあとに、利用可能とするのが好ましいが、１枚だけの記憶後に利用可能としてもよい。また、撮影日時と撮影場所の設定区分の組み合わせによる顔画像の撮影を、所定の種類だけ行うことによって初めて顔画像認証が有効になるようにすると、認証のための顔画像撮影自体をゲーム感覚で楽しみながら行うことができる。
【００３１】
平均顔情報は、複数枚の適正使用者の顔画像データを図２に示す項目毎に分析し、それらの項目毎のデータを複数の顔画像データについて平均したものである。したがって、適正使用者の平均的な顔画像の特徴を示す。
【００３２】
続いて、携帯電話機１００の動作について図４ないし図６を用いて説明する。図４は、使用者が操作部７の操作を行った場合の概略動作フローを示す図である。図４の動作は、制御部１のプログラムによって制御される。携帯電話機１００は、通話機能を除く機能について適正な使用者以外の使用を制限する機能を有し、適正な使用者がどうかの認証は、使用者の顔画像データの入力、又はパスワードの入力によって行うものととして説明する。
【００３３】
操作部７の操作が行われると、その操作が通話処理についての操作かどうかを判断する（ステップＳ４０１）。すなわち、通話受信に対する着信操作であるか通話発信のための操作であるかどうかを判断する。通話操作でないと判断された場合、携帯電話機１００が機能制限モードであるか、すなわち適正な使用者以外の使用を制限するモードに設定されているかどうかを判断する（ステップＳ４０２）。
【００３４】
機能制限モードに設定されている場合は、顔画像による使用者認証が可能どうかを判断する（ステップＳ４０３）。このステップでは、例えば、照合用データが、図３に示す撮影日時と撮影場所の設定区分の所定数の組み合わせについて、不揮発性メモリ４に記憶されているかどうかを判断する。なお、このような判断は必ずしも必須ではなく、不揮発性メモリ４に少なくとも１枚の照合用データが記憶されている場合には、使用者認証が可能としてもよい。
【００３５】
顔画像による使用者認証が可能な場合、ステップＳ４０４で、使用者の顔画像の撮影を行い、撮影した顔画像データを入力する。顔画像の撮影に際しては、認証のための画像撮影が必要なこと、及び撮影の方法等を示す情報を表示するように、仮想的キャラクタの行動を模擬した画像を表示部６に表示させてもよい。合わせて、音声情報をスピーカ３２から出力してもよい。
【００３６】
図７に、その場合の表示例を示す。図７の例では、制御部１が模擬するキャラクタが猫であり、操作部７の操作が行われるまでは、図７（ａ）に示すように、寝ていたり、勝手に遊んでいる画像が表示される。顔画像による認証処理が必要な場合は、図７（ｂ）に示すように正面を向いて質問等をする。
【００３７】
そして、「Ｘ（適正使用者の名前）さんじゃないと使えないんだけど、君はＸさん？」のように問い合わせ、使用者が所定のキー（例えば、「確定」キー）を操作して、Ｘである旨の応答をすると、「確かめるから、顔を見せて？」と応答し、撮像部５による顔画像撮影状態に移行する。顔画像の撮影状態に移行するときには、撮影すべき構図を図７（ｃ）のように表示させてもよい。
【００３８】
使用者がシャッターボタンを操作して使用者の顔画像を撮影し、画像データがＲＡＭ３に記憶されると、ステップＳ４０５では、ＲＡＭ３に記憶された画像データと不揮発性メモリ４に記憶された照合用データとの照合処理を行い、撮影され、入力された顔画像データが適正な使用者の顔画像データであるかどうかを判断する。照合処理及び適正な使用者であるかの判断については、後述する。
【００３９】
入力された顔画像データが適正な使用者本人の顔画像であると判断されると（ステップＳ４０６）、「確かにＸさんだね。使っていいよ。」等の応答を行い、不揮発性メモリ４に記憶された照合用データの更新を行う（ステップＳ４０７）。この更新処理はスキップすることも可能であり、記憶されていない撮影日時や撮影場所での顔画像である場合のみ行ってもよい。
【００４０】
なお、制御部１によって模擬されるキャラクタは、猫などの現実の生物を模擬したものでも、想像上の生物を模擬したものでも、ロボット等の無生物を模擬したものでもよい。  このようなキャラクタを模擬した画像を表示する技術は、各種ゲーム装置において周知であるので説明を省略する。また、キャラクタからのメッセージを文字によって表示するだけでなく、音声によって出力させてもよい。
【００４１】
ステップＳ４０８では、操作部７に応じた各種処理が可能となっているので、使用者は任意の処理を行わせることができる。機能制限モードの設定及び解除も操作可能である。  また、この状態で、携帯電話機１００は、必要に応じて照合用データの記憶処理を行う（ステップＳ４０９）。ステップＳ４０９の記憶処理については後述する。
【００４２】
次いで、ステップ４１０で、携帯電話機１００の終了操作がされたかどうかを判断し、終了である場合は、終了し、そうでない場合は、ステップＳ４０８へ戻る。
【００４３】
ステップＳ４０６で、入力された顔画像データが適正な使用者本人の顔画像でないと判断されると、パスワードの入力を促す表示がされる。例えば、「本当にＸさん？Ｘさんならパスワードを入力して」のような指示が表示される。
【００４４】
パスワードが入力されると（ステップＳ４１１）、パスワードの照合処理が行われ（ステップＳ４１２）、適正な使用者であるかどうかが判断される。なお、照合すべきパスワードは、予め設定され、不揮発性メモリ４に記憶させておく。
【００４５】
パスワードの照合結果、パスワードの入力者が適正な使用者本人であると判断されると（ステップＳ４０６）、「本当にＸさんだったんだね。使っていいよ。」等の応答を行い、ステップＳ４０８に移行する。また、適正な使用者でないと判断された場合は、ステップＳ４１４でエラー処理を行う。このステップでは、例えば、「目元が違うからＸさんじゃないね。使用できないよ。」等の応答を行い、勝手な行動の表示画面に移行する。
【００４６】
ステップＳ４０２で、携帯電話機１００が機能制限モードに設定されていないと判断された場合は、ステップＳ４０８に移行し、操作部７の操作を待つ。また、ステップＳ４０１で、操作部７の操作が通話処理についての操作であると判断された場合は、ステップＳ４１６で通話終了操作を検出するまで、通話処理を行う（ステップＳ４１５）。
【００４７】
次に、ステップＳ４０４の顔画像データの照合処理について、図５の概略フロー図を用いて説明する。ステップＳ５０１では、ＲＡＭ３に記憶された顔画像データから、顔部位毎の画像データを抽出する。抽出する項目は、図２に示した項目である。そして、照合用データと項目毎に比較し、項目毎の類似度を求める（ステップＳ５０２）。ステップＳ５０３では、項目毎の類似度に基づき、顔画像を撮影した使用者が適正な使用者である確からしさを示すマッチングスコアを演算する。
【００４８】
照合用データとの比較に際しては、個別顔情報と比較する。そして、ほぼ一致する項目（類似度が閾値以上になる）の数を求め、その数をマッチングスコアとする。いずれかの個別顔情報との類似度に基づくマッチングスコアが大きい場合には、適正な使用者であると判断する。
【００４９】
個別顔情報との比較で充分高いマッチングスコアが得られない場合には、複数枚の適正な使用者の顔画像データの項目毎の分析結果の平均値である平均顔情報との比較を行う。  そして、項目毎の類似度の荷重平均をマッチングスコアとする。マッチングスコアが大きい場合に適正な使用者であると判断する点は、個別顔情報の場合と同様であるが、全ての項目の類似度が所定値以上であるとの条件を付加してもよい。
【００５０】
なお、以上の照合処理基準は一例であり、要求する本人認証の精度等によって適宜変更可能である。例えば、先に平均顔情報との比較を行ってもよいし、個別顔情報との比較と平均顔情報との比較の両方を行い、両方から得られるマッチングスコアが所定値以上の場合に適正な使用者であると判断するようにしてもよい。
【００５１】
また、照合用データの統計量を使って比較してもよい。例えば、照合用データが顔の部位毎の縮小画像を含むように構成しておく。このとき一つの顔の一つの部位の縮小画像の各画素の濃度値を並べてｎ次元の縦ベクトルｘを作ることができる。ｐ枚（ただしｐはｎより小さい）の顔の同一部位の縮小画像を不揮発メモリ４から読み出し、縮小画像の各画素の濃度値からなるベクトルｘｆ（ｆは１以上ｐ以下の自然数）を作る。このｘｆの平均ベクトルｍを求めておいてから、ｐ個のベクトル（ｘｆ−ｍ）の分散共分散行列Σの固有ベクトルｌｆを算出する。行列Σの固有ベクトルとは、固有値をλ、単位行列をＩと表記したときに、
（Σ−λｊI）ｌｊ＝0
を満足するベクトルであり、固有ベクトルｌｊと固有値λｊは、ヤコビ法などを用いて算出できることが知られている。さらに、固有ベクトルを並べたｐ行ｐ列の行列A=（ｌ１、ｌ２、・・・・、ｌｐ）の転置行列Aｔと、照合用データの縮小画像の各画素の濃度値の平均からのずれを並べたｎ行ｐ列の行列X＝（ｘ１−ｍ、ｘ２−ｍ、・・・、ｘｐ−ｍ）の転置行列Xｔを作り、２つの転置行列をかけたｐ行ｎ列の行列AｔXｔを求め、AｔXｔの各行のノルムが１になるように正規化した行列を変換行列Ｂとする。ここで、変換行列Ｂの各行は、上記行列Ｘを構成する列ベクトル（ｘｆ−ｍ）（ｆは１以上ｐ以下の自然数）の主成分方向を意味している。次に、ＲＡＭ３に記憶された顔画像データの顔部位の縮小画像の各画素の濃度値からなるベクトルｙを作る。このベクトルｙと、同一部位の照合用データであるベクトルｘｆ（ｆは１以上ｐ以下の自然数）の平均ベクトルｍとの間の差（ｙ−ｍ）を算出する。そして、この差（ｙ−ｍ）に左から変換行列Ｂをかけてさらに左から上記変換行列の転置行列ＢｔをかけたベクトルＢｔＢ（ｙ−ｍ）を求める。これは、ＲＡＭ３に記憶された顔画像データの一つの顔部位を表すベクトル（ｙ−ｍ）を、上記行列Ｘを構成する列ベクトル（ｘｆ−ｍ）（ｆは１以上ｐ以下の自然数）の張る空間に射影する処理に相当する。そして、ベクトル（ＢｔＢ（ｙ−ｍ）−（ｙ−ｍ））のノルムを計算する。このノルムは射影時の垂線の長さに等しく、照合用データの顔部位とＲＡＭ３に記憶された顔画像データの顔部位の類似度として使うことができる。
【００５２】
続いて、ステップＳ４０９の照合用データの記憶処理について、図６の概略フロー図を用いて説明する。ステップＳ６０１では、照合用データの記憶が必要かどうかを判断する。図４のステップＳ４０３で顔画像による認証が可能でないと判断された場合は、照合用データの記憶が必要と判断する。顔画像による認証が可能であると判断した場合でも、撮影日時と撮影場所の設定区分の区分の組み合わせ（図３参照）について照合用データの記憶が充分でない場合には、照合用データの記憶が必要であると判断する。なお、照合結果のログをとっておき、認証の正解率が低い場合に、照合用データの記憶が必要であると判断してもよい。
【００５３】
次いで、ステップＳ６０２では、必要な顔画像の撮影が可能かどうかを判断する。例えば、休日の日中の照合用データを必要とするが、携帯電話機１００内の時計手段（図示せず）が、平日又は夜間を示している場合は、必要な照合用データの取得が不可能なので、画像の撮影を行わない。なお、顔画像の撮影が可能であるという判断が、必要以上の頻繁に発生しないようにするために、使用者に撮影可能な状態かどうかを問い合わせてから一定時間以上経過していなければ、強制的に「必要な顔画像の撮影が不可能である」と判断してもよい。
【００５４】
必要な顔画像の撮影が可能な場合は、ステップＳ６０３で使用者が撮影可能な状態かどうかを問い合わせる。この問い合わせは、仮想的キャラクタの行動を模擬した画像を表示部６に表示させることによって行う。図４のステップＳ４０９は、通話処理以外の処理を行っている状態なので、使用者の操作の合間に仮想的キャラクタに顔画像の撮影をしたい旨の応答をさせることは、簡単にできる。
【００５５】
なお、図３に示す撮影日時と撮影場所の判断は、携帯電話機１００に設けた時計手段（図示せず）等によって行う。また、屋外か室内かの判断は、撮像手段が検出する照度やユーザが指定した設定等によって行うことができる。ユーザが指定した設定の例としては、ホワイトバランス（電球、晴天、曇天）やフラッシュのＯＮ／ＯＦＦがある。携帯電話機１００で判断が不可能な場合あるいは不正確な場合は、ステップＳ６０３で問い合わせを行って判断する。
【００５６】
ステップＳ６０３で、仮想的キャラクタは、例えば、「今、Ｘさんの顔を撮影したいんだけど、大丈夫？」、「今、外にいるのなら、顔を撮影したいんだけど、いい？」等の問い合わせを行う。
【００５７】
ステップＳ６０４で撮影可能の操作を検出する（撮影可能の応答は、操作部７の確定キー等によって行う。）と、ステップＳ６０５で、顔画像の撮影状態に移行する。このとき、撮影ガイドの提示を行ってもよい。撮影ガイドの提示は、例えば、ステップＳ４０４と同様の表示であってよい（図７（ｃ）参照）。なお、顔画像の撮影状態に移行する直前に、パスワードの入力を促し、パスワードによって適正な使用者であるかどうか判断する処理を行ってもよい。
【００５８】
使用者がシャッターボタンを操作して使用者の顔画像を撮影すると、ＲＡＭ３が顔画像データを記憶し、図２に示すような項目毎に分析し、分析結果を不揮発性メモリ４に記憶する（ステップＳ６０６）。そして、ステップＳ６０７で複数枚の顔画像の撮影が必要かどうかを判断し、必要な場合は、ステップＳ６０３に戻って繰り返す。
【産業上の利用可能性】
【００５９】
本発明は、顔画像情報を用いた利用者の認証を行う電子機器等に利用可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態のカメラ付き携帯電話機の概略構成を示す図
【図２】本発明の実施の形態のカメラ付き携帯電話機の照合用データの項目例を示す図
【図３】本発明の実施の形態のカメラ付き携帯電話機の照合用データの撮影日時と撮影場所の設定区分の一例を示す図
【図４】本発明の実施の形態のカメラ付き携帯電話機の操作部の操作を行った場合の概略動作フローを示す図
【図５】本発明の実施の形態のカメラ付き携帯電話機の顔画像データの照合処理の概略フローを示す図
【図６】本発明の実施の形態のカメラ付き携帯電話機の照合用データの記憶処理の概略フローを示す図
【図７】本発明の実施の形態のカメラ付き携帯電話機において、操作部の操作に応じた応答を行う場合の表示部の表示例を示す図
【符号の説明】
【００６１】
１・・・制御部
２・・・ＲＯＭ
３・・・ＲＡＭ
４・・・不揮発性メモリ
５・・・撮像部
６・・・表示部
７・・・操作部
１０・・・内部バス
２０・・・通信部
２１・・・アンテナ
３０・・・音声処理部
３１・・・マイクロホン
３２・・・スピーカ
１００・・・カメラ付き携帯電話機
【図１】
2005102190.tif 000003
【図２】
2005102190.tif 000004
【図３】
2005102190.tif 000005
【図４】
2005102190.tif 000006
【図５】
2005102190.tif 000007
【図６】
2005102190.tif 000008
【図７】
2005102190.tif 000009