(57)【特許請求の範囲】
【請求項１】
ユーザの認証を行う装置であって、
前記ユーザを撮影する複数のカメラと、
前記ユーザの顔を照射するよう設置された照明手段と、
前記カメラの画像出力から前記ユーザの顔の向きを検出する検出手段と、
前記検出された顔向きに応じて、前記画像出力の顔画像を正面と正面以外の顔画像に選別する手段と、
前記ユーザを正面および正面以外から撮影した照合用顔画像のデータベースと、
前記正面および正面以外の顔画像の各々を前記照合用顔画像のデータベースに記憶されている対応する正面または正面以外の照合用顔画像と同じサイズおよび位置の顔画像に調整する正規化手段と、
前記正規化された正面および正面以外の顔画像の各々の重みベクトルを抽出し、各重みベクトルを前記照合用顔画像のデータベースに記憶されている対応する正面または正面以外の照合用顔画像の顔クラスと比較照合し、前記ユーザを識別する識別手段と、を備える認証装置。
【請求項２】
前記正規化手段により正規化された画像の各々から予め定めた画像領域を抽出する抽出手段と、
前記予め定めた画像領域の基準データを格納する成否判断データベースと、
前記抽出された画像領域の各々を対応する前記基準データと照合し、前記正規化手段による正規化の成否を判定する成否判定手段と、を備える請求項１に記載の認証装置。
【請求項３】
前記顔向き検出手段は、
予め定めた１つまたは複数の顔の特徴部分の基準画像および該基準画像に対応する３次元座標を格納している特徴点データベースを含み、該３次元座標が該顔の特徴部分にそれぞれ関連付けられ、
前記特徴部分の基準画像をテンプレートにして前記カメラの画像出力から該特徴部分の基準画像に対応する画像領域を抽出する抽出手段と、
前記抽出された画像領域に基づいて、前記抽出された画像領域の３次元座標を求める手段と、
前記求められた画像領域の３次元座標と前記基準画像に対応する３次元座標から前記ユーザの顔の向きを検出する手段と、を含む請求項１に記載の認証装置。
【請求項４】
前記照明手段が前記ユーザの顔を赤外光で照射する請求項１に記載の認証装置。
【請求項５】
前記識別手段は、前記画像出力からの顔画像に対応する顔画像が前記照合用顔画像のデータベースに存在するか否かを判断する手段を含み、
前記画像出力からの顔画像に対応する顔画像が前記照合用データベースに存在することに応答して、前記ユーザを登録済みユーザと判断し、
前記画像出力からの顔画像に対応する顔画像が前記照合用データベースに存在しないことに応答して、前記ユーザを未登録ユーザと判断する請求項１に記載の認証装置。
【請求項６】
前記認証装置は、前記登録済みユーザそれぞれに関連付けられた複数の環境設定データを記憶する環境設定データベースと、
前記環境設定データに応じて自動車の環境を設定する環境設定手段と、を含み、
前記ユーザが登録済みユーザと判断されたときに、自動車の運転を許可し、前記環境設定データベースから前記登録済みユーザに関する環境設定データを読み取り、該登録済みユーザに関する環境設定データに応じて自動車の環境を設定することを含む請求項５に記載の認証装置。
【請求項７】
前記認証装置は、ユーザの身分を証明する身分証明手段を認証する認証手段を含み、
前記ユーザが未登録ユーザと判断されたときに、前記身分証明手段の提示を前記ユーザに要求し、
前記認証手段で該身分証明手段が認証されることに応答して該ユーザに自動車の使用許可を与え、
前記ユーザにより前記身分証明手段が提示されなかったことおよび前記認証手段で該身分証明手段が認証されなかったことに応答して該ユーザによる自動車の使用を禁止する請求項５に記載の認証装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ヒューマン・インターフェース一般に関連し、より具体的には、画像認識を利用した個人認証システムに関する。
【０００２】
【従来の技術】
個々の人間を識別する個人認証システムは、セキュリティを必要とする様々な場面に利用することができる。そのような個人認証システムで用いられる認識手法の１つに、人間の顔画像から個人を識別する顔認識を利用する手法がある。
【０００３】
人間の顔画像を利用する顔認識では、顔にマーキングを付けたり、手動による特徴抽出を行ってから顔認識を実行する手法などが提案されてきたが、近年、完全に非接触な全自動の顔認識手法が提案されている。そのような完全に非接触な全自動の顔認識手法の多くは、テンプレート・マッチングなどによる特徴抽出の後で顔画像を正規化し、その正規化画像を顔データベースと照合する。顔データベースとの照合に使用することができるアルゴリズムには、正規化相互相関、固有空間法、ニューラル・ネットワーク（ＮＮ）などがあり、そのようなアルゴリズムの結果に基づいて個人認証がなされる。
【０００４】
従来技術の顔認識手法は、あらかじめ記憶された顔データ（顔画像、顔テンプレートなど）に基づいて照合を実行するので、その記憶された顔データとは異なる顔の位置、向き、傾きなどの変化に非常に弱い欠点がある。例えば、顔認識で使用される顔データベースに記憶された顔データが正面を向いた顔のテンプレートである場合、その顔テンプレートとは異なる状態の顔画像（例えば斜めを向いた顔画像）を正確に認識することは困難である。そのため、従来技術の顔認識システムは、異なる状態の顔画像に対処するために認識処理前に顔画像の正規化処理を実行するのが一般的である。
【０００５】
この正規化処理を実行した場合、入力画像の顔が所定の顔データ形式（所定の顔のサイズ、顔の位置、顔の傾き、および画像の明度）にされるので、顔の認識率は向上するが、従来技術の顔認識は、基本的に入力画像中の人間の顔向き自体を検出する機能を備えていないので、横向きの顔画像の場合、認識率の低下は避けられない。したがって、従来技術の顔認識を実行する場合、対象となるユーザは、カメラに対して常に所定の方向を向くよう意識しなければならず、ユーザの負担を増加させていた。
【０００６】
入力画像から人間の顔の向きを検出する従来技術としては、特開平１１−６３９２７号公報、特開２０００−１１３１８６号公報などがある。さらに松本ほかによる「顔・視線計測システムの開発と動作認識への応用」（第５回ロボティクス・シンポジア、２０００／３／２６、２７）の論文では、入力画像から人間の顔向きだけでなく視線方向も検出し、入力画像からリアルタイムに顔向きと視線方向を追従するシステムが開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、これらの従来の手法は、いずれも人間の顔向きまたは視線方向を検出するもので、個々の人間を識別する顔認識は実現されていない。
【０００８】
したがって、本発明は、対象となるユーザの顔の向きを自動的に検出し、その顔の向きに応じた顔認識を実行して個人認証を行う個人認証装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、この発明の認証装置は、ユーザを撮影する１つまたは複数のカメラと、前記ユーザの顔を照射するよう設置された照明手段と、前記カメラの画像出力から前記ユーザの顔の向きを検出する検出手段と、前記検出された顔向きに応じて、前記画像出力の顔画像を正面と正面以外の顔画像に選別する手段と、前記ユーザを正面から撮影した照合用顔画像のデータベースと、前記選別手段により選別された前記正面を向いた顔画像を前記照合用顔画像のデータベースの顔画像と照合し、前記ユーザを識別する識別手段と、を備えるという構成をとる。
【００１０】
この発明によると、カメラにより撮影されたユーザの顔画像から正面を向いた顔画像だけを選択して照合することが可能になる。これにより従来技術の個人認証装置と比較して高精度に個々の人間を識別することができる。
【００１１】
この発明の１つの形態によると、前記認証装置は、前記検出されたユーザの顔画像を、前記照合用顔画像のデータベースに記憶されている顔画像と同じサイズおよび位置の顔画像に調整する正規化手段を備え、前記識別手段は、該正規化された画像を該照合用顔画像のデータベースの顔画像と照合し、該ユーザを識別するよう構成される。
【００１２】
この形態によると、顔画像を顔の位置およびサイズに応じて正規化することが可能であり、カメラにより撮影された顔画像が、照合用顔画像のデータベースに記憶されている顔画像と同じサイズおよび位置にされるので、個人認証装置の認識精度を高めることができる。
【００１３】
この発明の１つの形態によると、前記認証装置は、前記正規化手段により正規化された画像から予め定めた画像領域を抽出する抽出手段と、該予め定めた画像領域の基準データを格納する成否判断データベースと、該抽出された画像領域を該基準データと照合し、該正規化手段による正規化の成否を判定する成否判定手段と、を備えるよう構成される。
【００１４】
この形態によると、正規化手段によって正規化画像が正しく正規化されているかどうかを確認することができる。したがって、個人認証装置に含まれる識別手段のエラーを低減することが可能になり、安定に動作する個人認証装置を提供することができる。
【００１５】
この発明の１つの形態によると、前記認証装置は、前記ユーザを複数の顔向きのそれぞれから撮影した顔向き別の照合用顔画像のデータベースを備え、前記識別手段は、該ユーザの検出された顔向きに応じた前記顔向き別の照合用顔画像と該ユーザの横向きの顔画像とを照合し、該ユーザを識別するよう構成される。
【００１６】
この形態によると、カメラにより撮影された顔画像の顔向きに応じて、個人認証することが可能になる。したがって、ユーザが顔向きを意識することなしに個人認証を実行する個人認証装置を提供することが可能になる。
【００１７】
この発明の１つの形態によると、前記個人認証装置の前記顔向き検出手段は、予め定めた１つまたは複数の顔の特徴部分の基準画像および該基準画像に対応する３次元座標を格納している特徴点データベースを含み、該３次元座標が顔の特徴部分にそれぞれ関連付けられ、該特徴部分の基準画像をテンプレートにして前記カメラの画像出力から該特徴部分の基準画像に対応する画像領域を抽出する抽出手段と、該抽出された画像領域に基づいて、該抽出された画像領域の３次元座標を求める手段と、該求められた画像領域の３次元座標と該基準画像に対応する３次元座標から前記ユーザの顔の向きを検出する手段と、を含むよう構成される。
【００１８】
この形態によると、顔向き検出手段は、３次元的にユーザの顔向きを検出することが可能になり、これにより、個人認証装置は、３次元的な顔向きに基づいてユーザの顔画像の正規化と識別を処理することができる。
【００１９】
この発明の１つの形態によると、前記個人認証装置の前記照明手段は、前記ユーザの顔を赤外光で照射するよう構成される。
【００２０】
この形態によると、赤外光を照明として使用することにより、可視光を使用して得られる画像と比較して、ユーザの周囲の照明変動に対して影響の少ない画像が得られ、さらにユーザの瞳孔を明瞭に抽出することが可能になる。
【００２１】
この発明の１つの形態によると、前記認証装置の前記識別手段は、前記画像出力からの顔画像に対応する顔画像が前記照合用顔画像のデータベースに存在するか否かを判断する手段を含み、前記画像出力からの顔画像に対応する顔画像が前記照合用データベースに存在することに応答して、前記ユーザを登録済みユーザと判断し、前記画像出力からの顔画像に対応する顔画像が前記照合用データベースに存在しないことに応答して、前記ユーザを未登録ユーザと判断するよう構成される。
【００２２】
この形態によると、ユーザがデータベースに登録済みか未登録かが判断され、そのユーザの属性に応じてそれぞれ異なる処理を実行することが可能になる。
【００２３】
この発明の１つの形態によると、前記認証装置は、前記登録済みユーザそれぞれに関連付けられた複数の環境設定データを記憶する環境設定データベースと、前記環境設定データに応じて自動車の環境を設定する環境設定手段と、を含み、前記ユーザが登録済みユーザと判断されたときに、自動車の運転を許可し、前記環境設定データベースから前記登録済みユーザに関する環境設定データを読み取り、該登録済みユーザに関する環境設定データに応じて自動車の環境を設定するよう構成される。
【００２４】
この形態によると、ユーザが登録済みユーザである場合に、各ミラーの角度、シート・ポジションなどの環境設定を個々のユーザに応じて自動的に調整することが可能になる。
【００２５】
この発明の１つの形態によると、前記認証装置は、ユーザの身分を証明する身分証明手段を認証する認証手段を含み、前記ユーザが未登録ユーザと判断されたときに、前記身分証明手段の提示を前記ユーザに要求し、前記認証手段で該身分証明手段が認証されることに応答して該ユーザに自動車の使用許可を与え、前記ユーザにより前記身分証明手段が提示されなかったことおよび前記認証手段で該身分証明手段が認証されなかったことに応答して該ユーザによる自動車の使用を禁止するよう構成される。
【００２６】
この形態によると、鍵、カード鍵、パスワードなどの身分証明手段によって未登録ユーザを管理することが可能になる。本発明の個人認証装置は、これらの身分証明手段がユーザによって正しく提示されなければ、自動車の使用を禁止することができる。
【００２７】
【発明の実施の形態】
次に本発明の実施例を図面を参照して説明する。図１は、本発明による個人認証装置を備えた自動車の１つの実施形態を示す。図１の自動車は、画像入力部１、サイドミラー２、ルームミラー３、制御装置５、赤外線照射部６を備える。この実施形態では、運転席にいるドライバーの顔画像が画像入力部１により撮影され、その撮影された画像から運転席にいるドライバーが認識される。認識されたドライバーがその自動車のデータベースに予め登録された人物であれば、制御装置５は、その人物に応じた環境設定（ミラーの角度、ドライビング・シートのポジションなど）を参照して、アクチュエータにそれぞれ連結されたサイドミラー２、ルームミラー３などを調整する。
【００２８】
図２は、本実施例における個人認証システムを備えた自動車の機能ブロック図を示す。この機能ブロック図には、画像入力部１、赤外線照射部６、顔向き・視線検出部１１、顔特徴抽出部１３、個人識別部１５、環境設定部１７、データベース１９、サイドミラー・アクチュエータ２１、バックミラー・アクチュエータ２３、シート・アクチュエータ２５が含まれる。
【００２９】
個々のドライバーの情報は、データベース１９に予め登録されている。登録されているドライバー情報は、個々のドライバーの顔のデータ、個々のドライバーに対応する環境設定情報などである。顔のデータは、画像入力部１で撮影された入力画像との照合のために個人識別部１５によって使用される。環境設定情報には、個々のドライバー応じた各ミラーの角度、シート・ポジションなどの設定値が含まれる。本発明による個人認証システムによって運転席にいるドライバーが特定された場合、環境設定部１７は、その登録された設定値を参照して、個々のドライバーのためにサイドミラー・アクチュエータ２１、バックミラー・アクチュエータ２３、シート・アクチュエータ２５を制御する。
【００３０】
この実施形態における自動車は、図２に示す各機能ブロックを使用して２種類の動作モードを処理する。第１の動作モードは、顔向き・視線検出部１１が実行する顔向き・視線検出モードであり、このモードは、ドライバーの存在を検出して顔向きと視線方向の状態を連続的に検出する。第２の動作モードは、個人認証モードであり、このモードは、顔向き・視線検出モードで検出されたドライバーを特定して、そのドライバーに合わせた環境設定を実行する。
【００３１】
図１に示す自動車は、通常、顔向き・視線検出モードで動作しており、ドライバーが運転席にいるかどうかを監視し、ドライバーが運転席にいる場合、ドライバーの顔向きと視線方向を常に監視している。自動車は、監視された顔向きと視線方向に基づいてドライバーの状態を判断し、それに応じた処理を実行することができる。
【００３２】
個人認証モードは、ドライバーが車内に乗り込むのと同時に開始される。個人認証モードが起動された場合、自動車は、顔向き・視線検出モードで得られた顔向きに基づいて顔認識を実行し、運転席にいるドライバーを特定する。ドライバーが特定された場合には、そのドライバーに合わせた環境設定（ミラーの角度、シート位置の調整）が実行される。顔認識でドライバーが特定されなかった場合には、運転席にいる人間がデータベース１９に未登録のドライバーである可能性が大きいので、未登録者に応じたシーケンスが処理される。
【００３３】
どちらの動作モードも画像入力部１で撮影された画像を使用する。以下に図を参照して、本実施例で使用される画像入力部１と赤外照射部６を説明する。
【００３４】
本実施例では、車内の照明変動による画像の劣化を低減するために、赤外線照射部６を使用する。したがって、赤外線照射部６は、近赤外光をドライバーの顔に照射するようドライバーの前面に設置される。
【００３５】
近赤外光を照明として使用する第１の理由は、照明変動に対するロバスト性を向上させることにある。一般に自動車などの車内の明るさは、屋内外、または日中や夜間などの環境変化によって大きく変動する。また、一方向から強い可視光がドライバーの顔に当たる場合には、ドライバーの顔面上に陰影のグラデーションが発生する。このような照明の変動や陰影のグラデーションは、画像認識の精度を著しく悪化させる。したがって、本実施例では、ドライバーの正面から赤外線照射部６により近赤外光を照射して、その近赤外光で画像を撮影することによって、周囲からの可視光による顔面上の陰影のグラデーションを低減する。これにより、本実施例は、可視光を使用して得られる画像と比較して照明変化による影響を受けにくい利点があり、顔認識の精度を向上させることができる。
【００３６】
近赤外光を使用する第２の理由は、ドライバーの瞳孔を明瞭に抽出することが可能な点にある。ドライバーの瞳の位置は、視線方向を検出するために使用されので、瞳を明瞭に撮像することは重要である。また、ドライバー識別の際の正規化処理において、瞳は基準座標として用いることができるので、瞳を明瞭に撮像することは、正規化精度の向上、すなわち認識精度の向上につながる。
【００３７】
図３は、画像入力部１の実施例を示す。この実施例では、撮影対象を立体視するために、従来技術のステレオ法を利用する。したがって、画像入力部１は、ドライバーの前方に設置された２台のビデオカメラ（４１、４２）を備える。２台のビデオカメラは、ステレオ視でドライバーの顔を撮影することができるよう所定の位置に固定される。前述したように照明として近赤外光を使用するので、これらのビデオカメラは、近赤外光以外の波長の可視光を遮断する可視光遮断フィルタ４３などで波長帯域をそれぞれ制限される。各ビデオカメラは、カメラ・コントロール・ユニット（４５、４６）を介してそれぞれ制御される。各カメラ・コントロール・ユニットは、外部同期信号線を通じて接続され、この同期信号によって左右のビデオカメラの同期がとられる。本発明の個人認証システムは、この様にして撮影された画像を入力画像として使用することによって、２次元的な物体認識だけでなく、３次元的な物体認識を処理することができる。
【００３８】
図３に示すように、画像入力部１で撮影された画像は、従来の画像処理ボード４７を介して様々に処理されてもよい。例えば、図３の画像処理ボード４７は、ＮＴＳＣ方式のビデオ信号の入力ポートとして機能するだけでなく、画像を蓄積するメモリおよび複雑な画像処理を実行するハードウェア回路を備え、一般的な画像処理アルゴリズムを高速に実行することができる。例えばハードウェア回路による画像処理アルゴリズムには、斜方投影機構、ハフ変換、２値画像マッチングフィルタ、アフィン変換（画像の回転、拡大、縮小）などの処理が含まれる。この様な画像処理ボード４７の使用は、画像処理ボード４７が画像処理の一部を担うことによってＥＣＵの演算を緩和し、高速な画像処理を可能にする。本発明の個人認証システムは、ＥＣＵにより画像処理ボード４７を制御して画像入力部１により撮影された画像の処理を行い、図２に示す各機能ブロックの機能を実現する。
【００３９】
以下に各動作モードの処理を詳細に説明する。
【００４０】
図２に示すように顔向き・視線検出部１１は、初期探索部２７、顔向き検出部２９、視線検出部３１を含み、顔向き・視線検出モードを実行する。この顔向き・視線検出部１１は、図４と図５は、顔向き・視線検出部１１が処理する顔向き・視線検出モードの全体的なフロー図を示す。顔向き・視線検出モードでは、初期探索部２７、顔向き検出部２９、視線検出部３１がそれぞれ関連して動作し、連続的に撮影される左右の入力画像から顔向きと視線方向をリアルタイムで検出することができる。
【００４１】
図４は、初期探索部２７の処理のフロー図を示す。顔向き検出部２９の処理は、図５のステップ１１１からステップ１１７で示され、視線検出部３１の処理は、図５のステップ１２１からステップ１２５で示される。顔向き・視線検出モードにおける顔向きと視線方向のリアルタイム検出は、図５に示すステップ１１１からステップ１２５のループ処理により実現される。図４に示す初期探索部２７は、顔向き・視線検出モードの開始直後の最初の初期化とリアルタイムでの顔向き・視線方向検出のエラー回復のために使用される。
【００４２】
図４を参照して初期探索部２７の処理を説明する。初期探索部２７は、入力された画像から人間の顔が撮影されている画像領域をおおまかに探索する。ここでの処理は、顔向き検出部２９のための前処理ともいえる。初期探索部２７が、顔向き検出部２９の処理の前に、入力画像から顔が撮影されている領域をおおまかに探索することにより、顔向き検出部２９は、入力画像中の顔の詳細な解析を高速に実行することができる。
【００４３】
最初に、ステップ１０１で画像入力部１から左右のビデオカメラの画像が入力される。次にステップ１０３で、入力画像全体から人間の顔が撮影されている領域がおおまかに探索される。これは、予め記憶された初期探索用テンプレート５１を使用して２次元テンプレート・マッチングで実行される。
【００４４】
初期探索用テンプレート５１の例を図６に示す。初期探索用テンプレート５９に使用される画像は、正面を向いた人間の顔を部分的に切り取った画像であり、この部分的画像には目、鼻、口などの人間の顔の特徴的な領域が１つのテンプレートとして含まれている。この初期探索用テンプレート５１は、テンプレート・マッチングでの処理速度を高めるために、予め低解像度化されており、さらに照明変動の影響を低減するために微分画像にされている。このテンプレートは、複数のサンプルから作成され予め記憶されている。
【００４５】
ステップ１０３での探索は、２次元的なテンプレート・マッチングであるので、右ビデオカメラの画像かまたは左ビデオカメラの画像のどちらかが使用される。以下では、右ビデオカメラの画像を使用したテンプレート・マッチングの例を述べる。
【００４６】
右ビデオカメラの画像を使用したテンプレート・マッチングの場合、右画像に対して初期探索用テンプレート５１を使用したテンプレート・マッチングが実行され、ここでマッチした右画像内の領域が入力画像中の顔の候補となる。この顔候補をテンプレートとして、同様のテンプレート・マッチングが左画像に対して実行され、そのステレオ・マッチングの結果から顔候補の３次元的な位置が求められる（ステップ１０５）。
【００４７】
ステップ１０７において、これらの処理結果が評価され、入力画像から顔領域が検出されたかどうか判断がなされる。入力画像から顔領域が見つかったと判断された場合、顔向き検出部２９の処理に移る（ステップ１０９）。初期探索部２７で顔領域が見つからなかった場合、新しい入力画像を使用して一連の処理が繰り返される。初期探索部２７は、人間の顔が画像入力部１によって撮影されるまで、この一連の処理を繰り返す。
【００４８】
次に図５を参照して顔向き検出部２９と視線検出部３１の処理を説明する。先に述べたように、顔向き・視線検出モードは、ドライバーの顔向き、視線方向をリアルタイムで検出するために、図５に示すステップ１１１からステップ１２５のループを繰り返す。顔向き検出部２９は、予め定めた特徴点を入力画像から抽出し、それらの特徴点から顔の３次元位置と顔の向きを求めることができる。視線検出部３１は、顔向き検出部２９で得られた特徴点と顔向きに基づき、入力画像から顔の視線方向を検出する。
【００４９】
顔向き検出部２９は、ステップ１１１で、入力画像からテンプレート・マッチングにより顔の特徴点を探索する。この探索に使用されるテンプレートは、データベースに予め記憶された３次元顔特徴点モデル５３からの画像を使用する。図７に３次元顔特徴点モデル５３の例を示す。
【００５０】
本実施例における３次元顔特徴点モデル５３は、正面を向いた人間の顔の特徴的な部分を画像から局所的に切り取った部分的画像（８１〜９１）から生成される。例えば顔特徴点の画像は、図７に示すように、左の目尻８１、左の目頭８３、右の目尻８７、右の目頭８５、口の左端８９、口の右端９１などのように、予め用意された顔画像から局所的に切り取られて生成される。これらの部分的画像のそれぞれは、その画像内で撮影されている対象物（この例では、左右の目尻と目頭、口の両端）の３次元位置を表す３次元座標に関連付けられ、データベースに記憶されている。本明細書では、これらの３次元座標を有した顔特徴領域の部分的画像を顔特徴点と呼び、これらの複数の顔特徴点から生成される顔モデルを３次元顔特徴点モデル５３と呼ぶ。これらの３次元顔特徴点モデル５３は、複数のサンプルから生成されデータベースに予め記憶されている。
【００５１】
ステップ１１１で、顔向き検出部２９は、３次元顔特徴点モデル５３に対応する画像領域を入力画像から探索する。これは、３次元顔特徴点モデル５３の各特徴点の画像をテンプレートとし、入力画像に対して２次元マッチングを行うことにより実行される。このマッチングは、右ビデオカメラの画像と左ビデオカメラの画像のどちらを使用しても構わないが、本実施例では、右ビデオカメラの画像を使用する。ステップ１１１の探索の結果、入力画像で撮影されている顔の左右の目頭と目尻、口の両端の６個の画像が得られる。
【００５２】
ステップ１１３では、ステップ１１１の探索から得られた各特徴点の画像をテンプレートとして、入力画像の左画像に対してステレオ・マッチングが実行される。これにより、３次元顔特徴点モデル５３の各特徴点に対応する入力画像の各特徴点の３次元座標が求められる。
【００５３】
この実施例の場合、探索された入力画像中の顔の左右の目尻と目頭、口の両端の画像をテンプレートにして、ステレオ・マッチングが実行される。このステレオ・マッチングの結果、ドライバーの顔の左右の目尻と目頭、口の両端の３次元座標がそれぞれ得られる。したがって、これらの入力画像の特徴点の３次元座標から運転席にいるドライバーの顔の３次元位置を求めることができる。
【００５４】
入力画像の各特徴点に関する３次元座標が求められた後で、ステップ１１５で予め定めた判断基準に基づいて特徴点の抽出が成功したかどうかがチェックされる。このステップ１１５で、もし入力画像から各特徴点が見つからなかったと判断された場合には、初期探索部２７に戻り、新たな入力画像から顔が撮影されている領域を探索する。
【００５５】
ステップ１１５で入力画像から各特徴点が見つかったと判断された場合、ステップ１１７で３次元顔特徴点モデル５３を使用して３次元モデル・フィッティングが実行され、顔の向きが検出される。以下ではこの３次元モデル・フィッティングを説明する。
【００５６】
先に述べたように、予め記憶されている３次元顔特徴点モデル５３は、正面を向いた顔の特徴点から生成されている。それに対して入力画像で撮影されている顔は、必ずしも正面を向いているとは限らない。したがって、ステップ１１３で得られた入力画像の各特徴点（観測点）の３次元座標は、正面を向いた３次元顔特徴点モデル５３の各特徴点の３次元座標から任意の角度と変位だけずれを有している。したがって、正面を向いた３次元顔特徴点モデル５３を任意に回転、変位させたときに、入力画像の各特徴点と一致する角度と変位が入力画像中の顔の向きと位置に相当する。
【００５７】
入力画像の各特徴点に３次元顔特徴点モデル５３をフィッティングする場合、フィッティング誤差Ｅは、下記の式で表される。
【数１】
0004675492.tif 000002
ここで、Ｎが特徴点の数であり、ｘｉがモデル内の各特徴点の３次元座標であり、ｙｉが入力画像からの各特徴点の３次元座標を表す。ωｉは、各特徴点に関する重み付け係数であり、入力画像から特徴点の３次元位置を求めたときのステレオ・マッチングにおける相関値を利用する。この相関値を利用することによって、それぞれの特徴点の信頼度を考慮することができる。回転行列は、Ｒ（φ，θ，ψ）であり、位置ベクトルは、ｔ（ｘ，ｙ，ｚ）で表され、これらが、この式における変数となる。
【００５８】
したがって、上記の式におけるフィッティング誤差Ｅを最小にする回転行列Ｒと位置ベクトルｔを求めれば、入力画像の顔向きと顔位置が求められる。この演算は、最小二乗法または仮想バネモデルを使用したフィッティング手法などを利用することによって実行される。
【００５９】
図７に示すステップ１２１から１２５で、視線検出部３１は、顔向き検出部２９で得られた特徴点と顔向きに基づき、入力画像から顔の視線方向を検出する。この際、眼球は、３次元的な球でモデル化され、その球の中心位置が回転中心とされる。この３次元眼モデルは、顔モデルに対する眼球の３次元的な相対位置、眼球の半径、虹彩の半径をパラメータとする。図８に視線方向を求める方法の概略を示す。
【００６０】
ステップ１２１で、眼球の３次元的な中心位置６１が、顔向き検出部２９の検出結果に基づいて求められる。眼の中心位置６１を求めるためのオフセット・ベクトルは、左右の目の両端の特徴点（５５、５７）を結ぶ直線の中点から眼の中心位置６１に向かう３次元ベクトルとして予め定められている（図８の（１））。したがって、そのオフセット・ベクトル、眼球の半径、顔の位置、顔の向きを使用して眼球の中心位置６１を求めることができる（図８の（２））。
【００６１】
眼球上の瞳の中心位置５９は、既に目の両端の位置（５５、５７）が入力画像の特徴点として求められているので、その両端の領域でハフ変換を実行することにより容易に得られる（ステップ１２３）。視線方向は、眼球の中心位置６１と瞳の中心位置５９とを結ぶ３次元ベクトル（視線ベクトル）として求められる（ステップ１２５）。
【００６２】
本実施例では、入力画像として左右の画像を使用したので、右画像、左画像それぞれに対して視線ベクトルを求めることができる。さらに、両眼に関して視線ベクトルを求めることができるので、合計４つの視線ベクトルが求められる。本実施例では、この４つの視線ベクトルの平均ベクトルを入力画像の視線方向として使用する。
【００６３】
ステップ１２５で、入力画像中の顔の視線方向が検出された後で、ステップ１１１に戻り、新たな入力画像を使用して一連の処理が繰り返される。この繰り返しの結果、ドライバーの顔向き、顔位置、視線方向の連続的な追従をリアルタイムで実行することが可能になる。
【００６４】
次に個人認証モードに関して説明する。個人認証モードは、顔向き・視線検出モードで検出されたドライバーの顔を、データベースに登録された顔データと照合してドライバーを特定する。ドライバーが特定された場合、個人認証モードは、そのドライバーに応じた環境設定（ミラーの角度、シート位置など）を実行する。図２の機能ブロック図に示すように、個人認証モードは、入力画像の特徴を抽出する顔特徴抽出部１３と、顔特徴抽出部１３の処理結果に基づいてドライバーを比較照合する個人識別部１５と、個人識別部１５の結果に応じて環境設定を処理する環境設定部１７を使用して実行される。顔向き・視線検出モードの場合、左右両方の画像を使用して処理を実行したが、個人認証モードの場合、左右の画像のどちらか１つを使用して処理が実行される。
【００６５】
顔特徴抽出部１３は、正面顔特徴抽出部３３、横顔特徴抽出部３５を含み、入力画像におけるドライバー１０の顔の向きに応じた処理を実行する。画像入力部１からの入力画像に撮影されているドライバー１０の顔向きが顔向き・視線検出部１１により既に検出されているので、顔特徴抽出部１３は、入力画像中の顔の向きに応じた処理を実行することができる。以下に顔特徴抽出部１３の処理の概要を説明する。
【００６６】
顔特徴抽出部１３の処理の１つは、顔向き・視線検出部１１から入力された画像の正規化処理である。この正規化処理は、顔認識の精度を向上させるために入力画像中の顔を所定の顔データ形式（所定の顔のサイズ、顔の位置、顔の傾き、および画像の明度）に変換する。ここで、「顔の傾き」とは、顔画像の回転のことである。より具体的に説明すると、顔特徴抽出部１３で入力される画像中の顔は、任意の顔向きをして傾いている。例えば、図９ａに示すように、入力画像中の顔は、正面を向いているが画像中で傾いていたり、図９ｃに示すように横向きで傾いていたりする。正規化処理は、画像平面上で入力画像を回転することによって画像中の「顔の傾き」を補正する。例えば、図９ａの場合では、画像中の顔の傾きは、ｘ軸とｙ軸との交点を回転中心とし、その画像を角度αだけ回転することによって補正することができる（図９ｂ）。図９ｃの場合でも同様にして、画像中の顔の傾きは、ｘ軸とｙ軸との交点を回転中心とし、画像を角度αだけ回転することにより補正することができる。本明細書では、画像平面上の回転により補正される顔の角度を「顔の傾き」として参照する。したがって、本明細書では、図９ｃのように顔が上を向いている場合でも「横向き」として参照され、また顔が下を向いているような場合も同様に「横向き」として参照される。
【００６７】
顔特徴抽出部１３のもう１つの処理は、顔画像中の顔向きの選別処理である。この選別処理では、入力画像は、顔の向きに応じて「正面向き」と「横向き」に選別される。この処理は、顔向き・視線検出部１１によって検出された顔向きに基づいて選別される。本明細書では、正面とは、顔向き・視線検出モードで得られた顔向きがあらかじめ定めた範囲内にある場合を言う。そのような範囲は、正面顔認識で使用される顔認識手法の認識可能範囲に応じて定められる。したがって、あらかじめ定めた範囲以外の顔向きは、横向きであると判断される。
【００６８】
さらに、顔特徴抽出部１３は、個人識別部１５のために入力画像の特徴抽出処理を実行する。ここで実行される特徴抽出処理は、正面顔認識または横顔認識で使用される顔認識手法に応じて様々である。例えば、顔認識手法に固有空間法を使用する場合では、この特徴抽出処理によって正規化済みの入力画像がベクトル化され、そのベクトルから入力画像の特徴を表す重みベクトルが算出される。ここで得られた重みベクトル（特徴成分）が個人識別部１５に送られ、データベース１９に記憶された顔データと比較照合され、個々のドライバーが特定される。
【００６９】
図１０は、個人認証モードの全体的なフローを示す。例えばドライバーが車内に乗り込むことにより個人認証モードが開始されると、ステップ３０１で、顔向き・視線検出モードでの検出結果が特徴抽出部１３に入力される。ここで特徴抽出部１３に入力されるデータは、画像入力部１によって撮影された画像と、その画像中のドライバーの顔向き、顔位置、視線方向のデータなどである。先に述べたように、入力画像は左右どちらの画像を使用してもよい。
【００７０】
ステップ３０３で、特徴抽出部１３は、顔向きに応じた分岐処理を実行する。本発明における個人認証システムは、それぞれの顔向きで異なる顔認識の手法を使用することができるので、高精度に顔認識を実行することができる。
【００７１】
例えば、個人認証システムは、正面を向いた顔の場合には固有空間法を使用し、横を向いた顔の場合には３次元モデルのマッチングで顔認識をそれぞれ実行することができる。したがって、本発明によれば入力画像の顔向きに応じて最適な顔認識手法を選択することができる。
【００７２】
個人認証システムで使用することができる顔認識手法は、固有空間法、テンプレート・マッチング、Gabor Waveletによる手法、ＮＮなどである。本発明による個人認証システムは、ステップ３０１で顔向き、視線方向、顔特徴点などの情報を既に得ている。したがって、これらの基本情報と正規化処理とをうまく組み合わせて顔認識を実行すれば、いずれの顔認識手法を使用しても、精度良く個々のドライバーを識別することが可能である。
【００７３】
ステップ３０３における顔向きの判断では、正面とは、顔向き・視線検出モードで得られた顔向きがあらかじめ定めた範囲内にある場合を言う。そのような範囲は、正面顔認識で使用される顔認識手法の認識可能範囲に応じて定められる。したがって、あらかじめ定めた範囲以外の顔向きは、横向きであると判断される。
【００７４】
ステップ３０３で入力画像の顔向きが正面を向いていると判断された場合、正面顔特徴抽出部３３は、正面に対する正規化処理と特徴抽出処理を実行する。入力画像の顔向きが横向きであると判断された場合、横顔特徴抽出部３３が、その顔向きに応じた正規化処理と特徴抽出処理を実行する。ステップ３０３での判断に応じて、正規化処理、特徴抽出処理、比較照合の処理が分岐されるので、最初に正面に対する正規化処理、特徴抽出処理、比較照合に関して説明し、その後で横向きに対する正規化処理、特徴抽出処理、比較照合を説明する。
【００７５】
ステップ３０５で、正面顔特徴抽出部３３は、入力画像を所定の顔の形式（顔のサイズ、顔の位置、顔の傾き）に変換する。すなわち、予めデータベースに記憶された顔画像のサイズ、位置、傾きと同じになるよう、入力画像の顔のサイズ、位置、傾きを正規化する。さらに画像全体の明度も予め定めた値に整えられる。
【００７６】
本実施例では、個人識別部１５の顔認識手法は、固有空間法を使用する。ステップ３０５の正規化処理も画像平面上での１次変換として実行される。顔向き・視線検出モードにより求めた特徴点を使用すれば、入力画像における顔のサイズ、位置、傾きなどが容易に求められるので、この処理は、従来技術と比較して高精度に正規化を行うことができる。
【００７７】
この正面に対する正規化処理の１つの実施形態では、左右の瞳の中心を結ぶ直線の中点を基準に、左右の瞳が水平かつ距離が一定値となるようアフィン変換が実行される。本発明による個人認証システムでは近赤外画像が使用されるので、瞳を明瞭に抽出することが可能であり、正規化を高精度に実行することができる。
【００７８】
ステップ３０７で入力画像の正規化が正確に実行されたかどうかがチェックされる。これは、正規化画像からあらかじめ定めた領域を切り出し、予めデータベースに記憶されている成否判断用のテンプレートと照合することによって実行される。
【００７９】
例えば、この成否判断を右眼のテンプレートを使用して実行する場合を説明する。この場合、成否判断用テンプレートは、所定の顔認識の形式（顔のサイズ、顔の位置、顔の傾き）の画像から右眼を中心として、一定の大きさで切り出され生成される。この成否判断用テンプレートは、十分な人数分のサンプルから作成され、典型的な眼のテンプレートとして使用される。作成された成否判断用テンプレートは、成否判断用のデータベースに予め記憶されている。
【００８０】
ステップ３０５で入力画像が正確に正規化された場合、正規化画像中の眼は、常に所定の位置に所定の大きさで存在するはずである。したがって、成否判断用テンプレートに対応する領域を正規化画像から切り出して成否判断用テンプレートと照合すれば、正規化の成否を判断することができる。もし正規化が成功していれば、切り出した画像と成否判断用テンプレートとの相関値は高い値であり、正規化が失敗していれば、相関値は低い値を示す。したがって、予め判断基準となる相関値のしきい値を定めておくことにより、正規化の成否を判断することができる。ここでは、正規化の成否判断を簡単に説明するために右目だけで説明したが、複数の特徴的な領域を成否判断用テンプレートにし、これら複数の成否判断用テンプレートを使用することによって、より正確な正規化の成否判断を実行することができる。
【００８１】
ステップ３０７で正面に対する顔向きの正規化が成功したと判断された場合、ステップ３０８で正面顔特徴抽出部３３は、個人識別部１５の比較照合のための特徴抽出処理を実行する。ステップ３０７で正面に対する顔向きの正規化が失敗したと判断された場合には、ステップ３０１に戻り、新たな入力画像を使用して一連の処理が再び繰り返される。
【００８２】
先に述べたように、この実施例における正面に対する顔認識が固有空間法を使用するので、ステップ３０８の特徴抽出処理とステップ３０９の比較照合の処理も固有空間法に応じた態様で実施される。以下に固有空間法を使用するステップ３０８と３０９の処理の概要を説明する。
【００８３】
認識対象とされる個々のドライバーの正面向きの顔画像は、データベースに予め記憶されている。固有空間法では、そのデータベースに登録された顔画像から固有ベクトルが生成される。個々のドライバーの顔を固有空間上で表す顔クラスは、データベース１９に記憶された個々のドライバーの顔を固有空間に射影することにより生成される。固有空間法を使用した正面顔認識では、この顔クラスと正規化された画像の特徴が比較照合され、この結果から個々のドライバーが特定される。
【００８４】
したがって、ステップ３０８で、正面顔特徴抽出部３３は、正規化画像を固有顔空間に射影し、正規化画像の特徴を重みベクトルとして抽出する。より具体的に説明すると、最初に、正規化された入力画像が画像ベクトル化される。例えば、正規化された入力画像がｎ×ｎピクセルからなる画像であれば、その画像から個々のピクセル値を成分とするｎ２次元ベクトル（１行、Ｎ２列）が生成される。次に、この画像ベクトルが固有顔空間に射影され、重みベクトルが生成される。例えばＭ個の固有ベクトルがデータベース１９に記憶されている場合、画像ベクトルがＭ次元の固有空間に射影され、Ｍ個のベクトル成分を有する重みベクトルが生成される。Ｍが画像ベクトルの次元数Ｎ２に対して十分小さければ、重みベクトルは、元の画像に撮影されている顔の特徴を有しながら元の画像ベクトルより小さな次元のベクトルになる。この様にして生成された重みベクトルは、個人識別部１５に送られる。
【００８５】
ステップ３０９で、個人識別部１５は、正規化画像から得られた重みベクトルを個々のドライバーの顔クラスと比較照合する。この比較照合の１実施形態では、各ドライバーの顔クラスと重みベクトルとの固有顔空間上での距離がそれぞれ求められ、この求められた距離の大小に基づいて画像中のドライバーが判断される。
【００８６】
次に、ステップ３１７で、個人識別部１５は、正規化画像に対応する顔クラスが比較照合（ステップ３０９）により見つかったかどうかを判断する。正規化画像中の顔がデータベース１９に登録されている人物の顔であれば、ステップ３０９の比較照合によってその人物に対応する顔クラスが見つかる。しかしながら、正規化画像中の顔がデータベース１９に登録されていない人物の顔の場合、その人物に対応する顔クラスが見つからない。したがって、もし、比較照合で対応する顔クラスが見つからなければ、ステップ３２１に進み、未登録者用シーケンスを実行する。比較照合で対応する顔クラスが見つかった場合には、運転席にいるドライバーが決定され、ステップ３１９の登録者用シーケンスが処理される。登録者用シーケンスと未登録者用シーケンスは、後で詳細に説明する。
【００８７】
この様な固有空間法による顔認識は、射影時の変換パラメータ（重み成分）の数に応じて演算量を低減することができるので、入力画像の画素数分の演算を必要とする正規化相関の手法と比較して、高速な処理を実現することができる。
【００８８】
次に横向きに対する正規化処理と顔認識を説明する。図１０に示すように、横向きに対する正規化処理と顔認識の処理のフローは、基本的には正面に対する処理（ステップ３０５から３０９）と同様のフローである。しかしながら、ステップ３０３で顔向きに応じて分岐処理が実行されるので、横向きの顔に対して実行される正規化処理と顔認識自体は、正面顔に対する処理とは異なる手法を用いることもできる。
【００８９】
横向きに対する顔認識の実施形態には、大きく分けて２種類の実施形態を使用することができ、それに応じて正規化処理も異なる。第１の実施形態は、個々のドライバーの顔向き別画像からデータベースを予め作成しておき、検出された顔向きに応じてそれらの顔向き別データベースを使用し、顔認識を実行する実施形態である。この場合、正規化処理は、入力画像から検出された顔向きに応じて実行される。
【００９０】
例えば、図９ｄに示すように、正規化処理における顔の位置決めの基準点（すなわち図中のｘ軸とｙ軸の交点）は、顔向きに応じて様々である。したがって、横向きの入力画像を正規化する場合、画像中の顔向きに応じて、顔の位置決めの基準点を変えなければならない。このため、横顔特徴抽出部３５は、顔向き・視線検出部１１で検出された顔向きに応じて正規化処理を実行する。この場合、正規化の成否判断も、顔向きに応じて異なるテンプレートを使用して実行される。これらの正規化処理および正規化の成否判断は、顔向き別に処理されることを除いて、正面に対する顔画像と同様の処理で実行される。横向きに対する比較照合では、顔向き別に撮影された顔画像の顔向き別データベースに基づいて、比較照合が実行される。
【００９１】
横向きに対する顔認識のもう１つの実施形態では、入力画像から３次元顔モデルが生成され、その３次元顔モデルを使用して正規化処理が実行される。この場合、入力画像から予め定めた特徴点が抽出され、その特徴点から入力画像の３次元顔モデルが生成される。ここで生成された３次元顔モデルは、入力画像が撮影されたときの顔向きで生成された顔モデルである。したがって、顔向き・視線検出部１１により得られた顔向きに応じてこの顔モデルを回転すれば、正面を向いた入力画像の顔モデルが得られる。この実施形態では、入力画像からの３次元顔モデルの生成とそのモデルの回転処理が、ステップ３１１の正規化処理に相当する。回転後の正規化画像は、正面を向いた顔画像と同様に処理することができるので、正規化処理の成否判断は、正面を向いた顔の正規化処理の成否判断と同様に処理される。この実施形態における顔認識は、従来技術の正面を向いた顔認識手法（例えば固有空間法）を利用して実現することができる。
【００９２】
横向きに対する比較照合が実行された後のステップ３１７で、個人識別部１５は、対応する顔クラスが比較照合により見つかったかどうかを判断する。ステップ３１９またはステップ３２１は、ステップ３１７の判断に応じて処理される。
【００９３】
次に、ステップ３１９の登録者用シーケンスの実施例を説明する。図１１は、登録者用シーケンスの処理のフロー図を示す。先に述べたようにステップ３１７において運転席にいるドライバーが決定された場合、個人識別部１５は、ステップ３２３で、運転席にいるドライバーに自動車の運転許可を与える。この許可により自動車がドライバーにより操作可能になる。ステップ３２５で、個人識別部１５は、決定されたドライバーに対応する環境設定データをデータベース１９から読み取り、そのデータを環境設定部１７に送る。ステップ３２７で、環境設定部１７は、その環境設定データに応じて、各アクチュエータを制御してミラーの角度、シート位置を設定する。
【００９４】
図１２は、未登録者用シーケンスの実施例の処理のフロー図を示す。先に述べたようにステップ３１７において運転席のドライバーの顔がデータベースに記憶されていない未登録者の顔であれば、個人識別部１５は、ドライバーに対して管理者による自動車の使用許可を要求する。ここで管理者とは、例えば、その自動車の所有者、その自動車の管理責任者など、その自動車の使用に対して責任を有する人間である。管理者は、自動車に対して身分を証明する任意の手段を有する。例えば、そのような身分証明手段は、鍵、カード鍵、パスワードなどのセキュリティを確保することが可能な手段である。未登録のドライバーが本発明による自動車を運転しようとする場合、自動車により管理者の使用許可証明が要求される。その場合、未登録のドライバーまたは管理者は、身分証明手段により使用許可を自動車に証明しなければならない。身分証明手段が自動車に提示されなければ、個人識別部１５は、ステップ３３５で未登録ドライバーが管理者によって自動車の使用を許可されていないと判断し、ドライバーによる自動車の操作を禁止する。身分証明手段が自動車に提示された場合、個人識別部１５は、未登録のドライバーが新規に登録を希望するドライバーであるかどうかを判断する。したがって、運転席にいる人間が新規に登録を希望するドライバーである場合、ステップ３４１で任意の手段を介してドライバーの新規登録を実行する。運転席にいる人間が新規登録を希望していなければ、単に一時的に管理者から自動車の使用許可を受けたドライバーであるので、ステップ３３９で一時的なドライバーとしての制約つきで自動車の操作を許可する。
【００９５】
上記の実施例では、本発明による個人認証装置を備えた自動車の例を説明してきたが、本発明は、自動車での個人認証に限定されるものではなく、他の分野にも応用することが可能である。
【００９６】
図１３は、本発明の個人認証装置のコンピュータへの応用例である。図１３では、画像入力部１が画像処理ボード４７を介しコンピュータ４０１に接続されて個人認証装置を構成している。コンピュータ４０１は、モニタ４０２、キーボード４０３、マウス４０４などのユーザインターフェースを接続した汎用コンピュータである。例えばコンピュータは、「Ｌｉｎｕｘ」として知られるＯＳを使用して動作する。この例では、あるユーザがこのコンピュータ４０１を使用する場合、コンピュータ４０１に接続された画像入力部１が自動的にそのユーザの顔画像を撮影し、それらの画像から個人認証を実行する。個人認証が成功した場合にだけ、このコンピュータ４０１の使用が許可され、そのユーザがコンピュータ４０１を使用することが可能になる。このような個人認証は、先に述べた顔向き・視線検出部１１、特徴抽出部１３、個人識別部１５などの機能ブロックをコンピュータ４０１で実行することによって実現することが可能である。
【００９７】
この様に本発明は、上記の実施例だけに限定されるものではなく、多くの分野に応用することが可能である。
【００９８】
【発明の効果】
この発明によると、個人認証装置がユーザの顔向きを検出する機能を含むので、その顔向きに応じた顔認識を実行することができ、従来技術の顔認識と比較して個人認証の精度を改善することが可能である。
【図面の簡単な説明】
【図１】  本発明による個人認証装置を備えた自動車の１つの実施形態。
【図２】  本実施例における個人認証システムを備えた自動車の機能ブロック図。
【図３】  画像入力部の実施例を示す図。
【図４】  初期探索部の処理のフロー図。
【図５】  顔向き検出部と視線検出部の処理のフロー図。
【図６】  初期探索用テンプレートの例を示す図。
【図７】  ３次元顔特徴点モデルの例を示す図。
【図８】  視線方向を求める方法の概略図。
【図９】  正規化により顔の傾きを補正する例を示す図。
【図１０】  個人認証モードの全体的なフロー図。
【図１１】  登録者用シーケンスの処理のフロー図。
【図１２】  未登録者用シーケンスの処理のフロー図。
【図１３】  本実施例における個人認証システムを備えるコンピュータを示す図。
【符号の説明】
１          画像入力部
６          赤外線照射部
１０        ユーザ
１１        顔向き・視線検出部
１３        特徴抽出部
１５        個人識別部
１７        環境設定部
１９        データベース
【図１】
0004675492.tif 000003
【図２】
0004675492.tif 000004
【図３】
0004675492.tif 000005
【図４】
0004675492.tif 000006
【図５】
0004675492.tif 000007
【図６】
0004675492.tif 000008
【図７】
0004675492.tif 000009
【図８】
0004675492.tif 000010
【図９】
0004675492.tif 000011
【図１０】
0004675492.tif 000012
【図１１】
0004675492.tif 000013
【図１２】
0004675492.tif 000014
【図１３】
0004675492.tif 000015