(57)【要約】【課題】カメラの撮影方向を自動的に調整し、異なる角度からの画像を取り込み、迅速かつ正確に認識できる顔の認識システムを提供する。【解決手段】画像撮影モジュールと、画像撮影モジュールの撮影方向を制御する撮影方向制御モジュールと、取り込んだ頭部画像から該ユーザーの顔の特徴を検出し、該顔の特徴を認識する顔画像処理モジュールとによってシステムを構成する。該顔画像処理モジュールは少なくとも、複数の顔画像を参考、比較用として保存し、保存された顔面画像を予め数学的不変量スペースに転換し、不変量フェースの形式で保存する保存モジュールと、顔画像から複数の顔特徴を検出し、それぞれの該顔特徴を不変量スペースに転換して不変量ベクターを形成する顔特徴検出モジュールと、該顔特徴の不変量ベクターと、該保存モジュールに保存された不変量フェースと比較して類似の程度を計算し、得られた類似の程度に基づいて認識の信頼度指数を出力する該顔認識モジュールとを含む。【選択図】　図２
2004005014.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも画像撮影モジュールと、撮影方向制御モジュールと、保存モジュールと、顔検出モジュールと、顔特徴検出モジュールと、顔認識モジュールとを含んでなり、ユーザーの顔をリアルタイムで認識する顔認識システムにおいて、
該画像撮影モジュールは画像を撮影して取り込むために用いられ、
該撮影方向制御モジュールは、該画像撮影モジュールにカップリングし、ユーザーの頭部画像を取り込むために該画像撮影モジュールの撮影方向を制御し、
該保存モジュールは、複数の顔の画像を参考、比較用として保存し、該保存した顔画像は予め数学的不変量スペースに転換して不変量フェースの形式で該保存モジュールに保存し、
該顔検出モジュールは、該画像撮影モジュールにカップリングして頭部画像から顔の位置を検出し、
該顔特徴モジュールは、該顔検出モジュールにカップリングし、顔画像から複数の顔特徴を検出するとともに、それぞれの該顔特徴を不変量スペースに転換して不変量ベクターとし、
該顔認識モジュールは、該顔特徴の不変量ベクター及び該保存モジュールに保存された不変量フェースの類似性を計算するとともに、該類似性に基づいて認識の信頼度指数を出力することを特徴とする顔認識システム。
【請求項２】
前記撮影方向制御モジュールは、モータと、撮影方向調整モジュールとを含んでなり、
該モータは、該画像撮影モジュールにカップリングして該画像撮影モジュールを画像の撮影方向に駆動し、
該撮影方向調整モジュールは、該モーターにカップリングしてモータの回転角度を調整することを特徴とする請求項１記載の顔認識システム。
【請求項３】
少なくとも、画像撮影モジュールと、撮影方向制御モジュールと、顔画像処理モジュールを含み、ユーザーの顔をリアルタイムで認識する顔認識システムにおいて、
該画像撮影モジュールは画像を撮影して取り込むために用いられ、
該撮影方向制御モジュールは、該画像撮影モジュールにカップリングし、ユーザーの頭部画像を取り込むために該画像撮影モジュールの撮影方向を制御し、
該顔画像処理モジュールは、該画像撮影モジュールにカップリングし、該画像撮影モジュールが取り込んだユーザーの頭部画像から、該ユーザーの顔の特徴を検出するとともに、該顔の特徴に対して認識を行うことを特徴とする顔認識システム。
【請求項４】
前記撮影方向制御モジュールは、モータと、撮影方向調整モジュールとを含んでなり、
該モータは、該画像撮影モジュールにカップリングして該画像撮影モジュールを画像の撮影方向に駆動し、
該撮影方向調整モジュールは、該モーターにカップリングしてモータの回転角度を調整することを特徴とする請求項３記載の顔認識システム。
【請求項５】
前記顔画像処理モジュールは、少なくとも、保存モジュールと、顔検出モジュールと、顔認識モジュールとを含んでなり、
該保存モジュールは、複数の顔の画像を参考、比較用として保存し、該保存した顔画像は予め数学的不変量スペースに転換して不変量フェースの形式で該保存モジュールに保存し、
該顔検出モジュールは、該画像撮影モジュールにカップリングして頭部画像から顔の位置を検出し、
該顔特徴モジュールは、該顔検出モジュールにカップリングし、顔画像から複数の顔特徴を検出するとともに、それぞれの該顔特徴を不変量スペースに転換して不変量ベクターとし、
該顔認識モジュールは、該顔特徴の不変量ベクター及び該保存モジュールに保存された不変量フェースの類似性を計算するとともに、該類似性に基づいて認識の信頼度指数を出力することを特徴とする顔認識システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は顔認識システムに関し、特に画像取り込み方向の調整機能を具えたリアルタイム顔認識システムに関する。
【０００２】
【従来の技術】
情報化社会がますます高度化するにつれて、情報の機密保持はますます重要になっている。情報の機密保持を確保するためには、無関係な者が情報に近づかないようにプロテクトすることが必要である。このような状況において、個人認識システムは、現在情報に近づいてもかまわない者と、近づいてはならない者とを隔離させるための常用される手段の一つとなっている。
【０００３】
目下、最も普遍的に使用されている個人認識システムには、パスワードを利用した個人を認識するものがある。情報に近づく権利を有する者は、いずれも１セットのパスワードを有する。即ち、一定の権限の範囲内で該パスワードを使用して、何らかの情報に近づくことができる。但し、かかるパスワードは、容易に人に知られ、かつ盗用されやすいため、安全係数の高い新規な個人認識方法が、次々と開発されている。
【０００４】
目下、既に開発された識別システムとしには、指紋、音声、アイリス、顔などの識別システムがある。その内目、鼻、口元、顔の輪郭など特定の特徴を現すポイントによって認識を行う顔認識システムは、ユーザー端末に一台のカメラを設け、システムのソフトウェアを組み合わせるだけで操作できるため、指紋、音声、もしくはアイリスなどの認識方法に比して設備のコストが低く、操作が容易である。このためますます多くのユーザーに使用されている。
【０００５】
従来のリアルタイム顔認識システムは、台湾特許、出願番号第８９１１５１９２号を参考にすることができる。該特許には、ユーザーの顔を利用して認識を行うシステムが開示される。図１は該特許の顔認識システムの構造を表わすブロック図である。図１によれば、該顔認識システム（２）は、ビデオカメラ（４）と、コンピューター（６）とを含んでなる。該コンピューター（６）は、ビデオモジュール（８）と、顔検出モジュール（ｆａｃｅ　ｄｅｔｅｃｔｉｏｎ　ｍｏｄｕｌｅ）（１０）と、顔特徴検出モジュール（ｆａｃｉａｌ　ｆｅａｔｕｒｅ　ｄｅｔｅｃｔｉｏｎｍｏｄｕｌｅ）（１２）と、参考用データベース（１６）と、及び入力／出力モジュール（１８）とによってなる。
【０００６】
通常、該ビデオカメラ（４）は、コンピューター（６）の上部、もしくは近接する位置に設けられてユーザーの頭部の画像を取り込み、該コンピューター（６）によって画像処理、及びデータベースの管理を行う。
【０００７】
また、ビデオモジュール（８）は、ビデオカメラ（４）によって撮影したユーザーの頭部画像を受信し、該参考用データベース（１６）は、複数の顔画像を参考、比較用に保存する。保存された顔画像は、予め数学的不変量スペース（ｉｎｖａｒｉａｎｔ　ｓｐａｃｅ）に転換され、不変量フェース（ｉｎｖａｒｉａｎｔ　ｆａｃｅｓ）の形式で該参考用データベース（１６）に保存される。また、顔検出モジュール（１０）は、該ビデオモジュール（８）にカップリングして、前記頭部画像から顔の領域を検出する。そして顔特徴検出モジュール（１２）は、該等日画像の顔の領域中から複数の顔の特徴を検出し、且つそれぞれの顔の特徴を不変量スペースに転換して、不変量ベクター　（ｉｎｖａｒｉａｎｔ　ｖｅｃｔｏｒ）を形成する。
【０００８】
顔認識モジュール（１４）は、該顔の特徴の不変量ベクターと、参考用データベース（１６）に保存された不変量フェースの類似の程度を計算し、且つ該類似の程度に基づいて認識の信頼度指数を出力する。前記入力／出力モジュール（１８）は、例えば、マウス、モニター、電動ドアのロック装置、カード読み取り装置、キーボードなどの複数の入力、又は出力装置にカップリングし、使用者に顔認識システムを起動する操作（例えば、カードを読み取り機に挿入してスライドさせる）を提供し、また顔認識の結果を出力する（電動ドアのロックを解除する）。
【０００９】
但し、前記リアルタイム顔認識システムも含めた従来のリアルタイム顔認識システムは、いずれも次に掲げる問題点を具える。
【００１０】
即ち、ビデオカメラのレンズが固定されていて、任意に角度の調整などを行うことができない。よって、ユーザーが顔をカメラのレンズに向けないと、ビデオカメラは顔の画像を取り込むことができない。言い換えれば、ユーザーは顔の画像がビデオカメラによって取り込まれるようにするために、顔の正面がビデオカメラのレンズに向いているか注意しなければならない。しかるに、身長が高すぎるか、又は低すぎるユーザーの場合、往々にして腰をかがめたり、膝を曲げたりするか、又はつま先だったり、首を伸ばしたりして、顔の画像がビデオカメラに撮影されるようにしなければならず、極めて不便である。このため、かかる欠点を解決できる顔認識システムの開発が待たれている。
【００１１】
【発明が解決しようとする課題】
この発明は、従来の顔認識システムにおける上述の欠点を改善するため完成されたものであって、即ち、ビデオカメラの撮影方向を自動的に調整することによって、異なる角度からの画像を取り込み、迅速かつ正確に認識できる顔の認識システムを提供することを課題とする。
【００１２】
【課題を解決するための手段】
そこで、本発明者は従来の技術に見られる欠点に鑑みて鋭意研究を重ねた結果、
画像を撮影する画像撮影モジュールと、該画像撮影モジュールにカップリングし、ユーザーの頭部の画像を取り込むために画像撮影モジュールの画像取り込みの方向を制御する撮影方向制御モジュールと、画像撮影モジュールにカップリングし、該画像撮影モジュールが取り込んだユーザーの頭部画像から該ユーザーの顔の特徴を検出するとともに、該顔の特徴に対して認識を行う顔画像処理モジュールとを具えるシステムの構造によって課題を解決できる点に着目し、かかる知見に基づいて本発明を完成させた。
【００１３】
即ち、前記画像撮影モジュールは、ビデオカメラとビデオドライバー（ｖｉｄｅｏ　ｄｒｉｖｅｒ）とによってなり、取り込んだ頭部画像のＲＧＢ（赤色・緑色・青色）に基づく基本データーを得る。該撮方向制御モジュールは、モータと、撮影方向調整モジュールとを含んでなり、該モータは画像撮影モジュールにカップリングして、該画像撮影モジュールを画像の撮影方向に駆動する。該撮影方向調整モジュールは、該モーターにカップリングしてモータの回転角度を調整する。
【００１４】
また、該顔画像処理モジュールは、少なくとも保存モジュールと、顔特徴検出モジュールと、顔認識モジュールとを含んでなり、該保存モジュールは、複数の顔画像を参考、比較用として保存するとともに、保存された顔面画像を予め数学的不変量スペースに転換し、不変量フェースの形式で保存する。該顔特徴検出モジュールは、該画像撮影モジュールにカップリングして頭部画像の中から顔の画像の位置を検出する顔画像検出モジュールと、前記顔画像検出モジュールにカップリングし、顔画像から複数の顔特徴を検出するとともに、それぞれの該顔特徴を不変量スペースに転換して不変量ベクターを形成する。また、該顔認識モジュールは、該顔特徴の不変量ベクターと、該保存モジュールに保存された不変量フェースと比較して類似の程度を計算し、得られた類似の程度に基づいて認識の信頼度指数を出力する。
【００１５】
また、該保存モジュールは、不変量フェースデータベース（ｉｎｖａｒｉａｎｔ　ｆａｃｅ　ｄａｔａｂａｓｅ）と不変量顔特徴データベース（ｉｎｖａｒｉａｎｔ　ｆａｃｉａｌ　ｆｅａｔｕｒｅｓ　ｄａｔａ　ｂａｃｅ）を含んでなる。該顔特徴の不変量ベクター及び保存された不変量フェースの類似性を計算するステップは、不変量アダマール変換法（ｉｎｖａｒｉａｎｔ　Ｈａｄａｍａｒｄ　Ｔｒａｎｓｆｏｒｍ　ａｌｇｏｒｉｔｈｍ）、もしくは不変量主要成分分析法によって完成する。
【００１６】
また、該顔面検出モジュールは、入力モジュールによって駆動され、該入力モジュールは、該顔認識システムに接続するマウス、電動ドアのロック、カード読み取り装置、もしくはキーボードなどから任意に選択される。
【００１７】
以下、この発明について具体的に説明する。
請求項１に記載する顔の認識システムは、少なくとも画像撮影モジュールと、撮影方向制御モジュールと、保存モジュールと、顔検出モジュールと、顔特徴検出モジュールと、顔認識モジュールとを含んでなり、ユーザーの顔をリアルタイムで認識する顔認識システムであって、該画像撮影モジュールは画像を撮影して取り込むために用いられ、該撮影方向制御モジュールは、該画像撮影モジュールにカップリングし、ユーザーの頭部画像を取り込むために該画像撮影モジュールの撮影方向を制御し、該保存モジュールは、複数の顔の画像を参考、比較用として保存し、該保存した顔画像は予め数学的不変量スペースに転換して不変量フェースの形式で該保存モジュールに保存する。また、該顔検出モジュールは、該画像撮影モジュールにカップリングして頭部画像から顔の位置を検出し、該顔特徴モジュールは、該顔検出モジュールにカップリングし、顔画像から複数の顔特徴を検出するとともに、それぞれの該顔特徴を不変量スペースに転換して不変量ベクターとし、該顔認識モジュールは、該顔特徴の不変量ベクター及び該保存モジュールに保存された不変量フェースの類似性を計算するとともに、該類似性に基づいて認識の信頼度指数を出力する。
【００１８】
請求項２に記載する顔認識システムは、請求項１における撮影方向制御モジュールがモータと、撮影方向調整モジュールとを含んでなり、該モータは、該画像撮影モジュールにカップリングして該画像撮影モジュールを画像の撮影方向に駆動し、該撮影方向調整モジュールは、該モーターにカップリングしてモータの回転角度を調整する。
【００１９】
請求項３に記載の顔認識システムは、少なくとも、画像撮影モジュールと、撮影方向制御モジュールと、顔画像処理モジュールを含み、ユーザーの顔をリアルタイムで認識する顔認識システムであって、該画像撮影モジュールは画像を撮影して取り込むために用いられ、該撮影方向制御モジュールは、該画像撮影モジュールにカップリングし、ユーザーの頭部画像を取り込むために該画像撮影モジュールの撮影方向を制御し、該顔画像処理モジュールは、該画像撮影モジュールにカップリングし、該画像撮影モジュールが取り込んだユーザーの頭部画像から、該ユーザーの顔の特徴を検出するとともに、該顔の特徴に対して認識を行う。
【００２０】
請求項４に記載する顔認識システムは、請求項３における撮影方向制御モジュールが、モータと、撮影方向調整モジュールとを含んでなり、該モータは、該画像撮影モジュールにカップリングして該画像撮影モジュールを画像の撮影方向に駆動し、該撮影方向調整モジュールは、該モーターにカップリングしてモータの回転角度を調整する。
【００２１】
請求項５に記載する顔認識システムは、請求項３における顔画像処理モジュールが少なくとも、保存モジュールと、顔検出モジュールと、顔認識モジュールとを含んでなり、該保存モジュールは、複数の顔の画像を参考、比較用として保存し、該保存した顔画像は予め数学的不変量スペースに転換して不変量フェースの形式で該保存モジュールに保存し、該顔検出モジュールは、該画像撮影モジュールにカップリングしって頭部画像から顔の位置を検出し、該顔特徴モジュールは、該顔検出モジュールにカップリングし、顔画像から複数の顔特徴を検出するとともに、それぞれの該顔特徴を不変量スペースに転換して不変量ベクターとし、該顔認識モジュールは、該顔特徴の不変量ベクター及び該保存モジュールに保存された不変量フェースの類似性を計算するとともに、該類似性に基づいて認識の信頼度指数を出力する。
【００２２】
【発明の実施の形態】
この発明は、リアルタイムで顔認識を行う顔認識システムに関し、該システムは、少なくとも画像撮影モジュールと、撮影方向制御モジュールと、保存モジュールと、顔検出モジュールと、顔特徴検出モジュールと、顔認識モジュールとを含んでなり、ビデオカメラの撮影方向を自動的に調整することによって、異なる角度からの画像を取り込み、迅速かつ正確に認識することができる。
かかる顔の認識システムについて、その構造、特徴、及び効果を詳述するために、具体的な実施例を挙げ、図示を参照にして如何に説明する。
【００２３】
【実施例】
図２は、この発明による顔認識システム構造を表わすブロック図である。図示によれば、この発明による顔認識システムは、少なくとも、画像撮影モジュール（２４）と、撮影方向制御モジュールと（２５）と、顔画像処理モジュール（２６）とを含んでなり、該画像撮影モジュール（２４）は画像を撮影するために用いられ、該撮影方向制御モジュール（２５）は該画像撮影モジュール（２４）にカップリングし、ユーザーの頭部の画像を取り込むために画像撮影モジュールの画像取り込みの方向を制御する。また該顔画像処理モジュール（２６）は、画像撮影モジュール（２４）にカップリングし、該画像撮影モジュール（２４）が取り込んだユーザーの頭部画像から該ユーザーの顔の特徴を検出するとともに、該顔の特徴に対して認識を行う。
【００２４】
該記画像撮影モジュール（２４）は、ビデオカメラとビデオドライバー（ｖｉｄｅｏ　ｄｒｉｖｅｒ）とによってなり、頭部画像を取り込んでＲＧＢ（赤色・緑色・青色）の基本データを得る。該撮影方向制御モジュール（２５）は、画像撮影モジュール（２４）にカップリングして、該画像撮影モジュール（２４）を画像の撮影方向に駆動するモータ（例えばステップモーター）（２５ｂ）と、該モーター（２５ｂ）にカップリングし、モータ（２５ｂ）の回転角度を調整する撮影方向調整モジュール（２５ａ）とを含んでなる。
【００２５】
また、顔画像処理モジュール（２６）の好ましい実施形態としては、中華民国特許・出願第８９１１５１９２号に開示されるコンピューター機能を応用したシステム構成が挙げられる。即ち、好ましくは該顔画像処理モジュール（２６）は、ビデオモジュール（２８）と、顔検出モジュール（３０）と、顔特徴検出モジュール（３２）と、顔識別モジュール（３４）と、保存モジュール（３６）と、及び出力／入力モジュール（３８）とを含み構成される。
【００２６】
該ビデオモジュール（２８）は、画像撮影モジュール（２４）にカップリングして、画像撮影モジュール（２４）が取り込んだユーザーの頭部画像信号を受信する。該保存モジュール（３６）は、不変量フェースデータベース（Ｉｎｖａｒｉａｎｔ　ｆａｃｅ　ｄａｔａｂａｓｅ）と、不変量顔特徴データベース（Ｉｎｖａｒｉａｎｔ　ｆａｃｉａｌ　ｆｅａｔｕｒｅｓ　ｄａｔａｂａｓｅ）とによってなり、複数の顔画像を参考、比較用として保存する。即ち、保存モジュール（３６）に保存された顔画像は、予め数学的不変量スペース（Ｉｎｖａｒｉａｎｔ　ｓｐａｃｅ）に転換され、不変量フェース（Ｉｎｖａｒｉａｎｔ　ｆａｃｅｓ）の形式で該保存モジュール（３６）に保存される。
【００２７】
該顔検出モジュール（３０）は、ビデオモジュール（２８）にカップリングし、該頭部画像から顔の領域を検出する。その検出のプロセスは、先ず頭部画像から顔領域に属する可能性のあるすべてのオブジェクトを検査した上で、不変量アダマール変換法（ＩｎｖａｒｉａｎｔＨａｄａｍａｒｄ　Ｔｒａｎｓｆｏｒｍ　ａｌｇｏｒｉｔｈｍ）、もしくは不変量主要成分分析法によって、顔面領域に属する可能性が最も高いオブジェクトを計算によって得る。
【００２８】
また、該顔特徴検出モジュール（３２）は、該顔検出モジュール（３０）と、保存モジュール（３６）にカップリングし、該顔領域から複数の顔面特徴を検出するとともに、それぞれの顔特徴を不変量スペースに転換し、不変量ベクター（ｉｎｖａｒｉａｎｔ　ｖｅｃｔｏｒ）を形成する。該顔特徴には、目・鼻・口・目尻の皺などの特徴が含まれる。
【００２９】
該顔識別モジュール（３４）は、該顔特徴検出モジュール（３２）及び保存モジュール（３６）にカップリングし、検出した顔特徴を不変量フェースデータベースに保存したの顔特徴と比較し、該顔特徴の不変量ベクターと、保存モジュール（３６）に保存された不変量フェースとの類似の程度とを計算し、該類似の程度に基づいて認識の信頼度指数を出力する。
【００３０】
該入力／出力モジュール（３８）は、例えばマウス、モニター、電動ドアのロック装置、カード読み取り装置、もしくはキーボードなどの複数の入力又は出力装置カップリングし、使用者に顔認識システムを起動する操作（例えば、カードを読み取り機に挿入してスライドさせる）を提供し、また顔認識の結果を出力する（例えば電動ドアのロックを解除する）。
【００３１】
当然のことながら、この発明の顔認識システムは、実際に運用する前に、予めトレーニングのプロセスを実行する。該トレーニングのプロセスは、台湾特許・出願第８９１１５１９２号に開示されている。但し、かかるプロセスは、この発明の要点ではないので、ここでは説明を省略する。該トレーニング・プロセスに関しては、接該先行技術である中華民国特許・出願８９１１５１９２号の内容を直接参考にすることができる。
【００３２】
この発明による顔認識システムは、先ず撮影方向制御モジュール（２５）を利用して画像撮影モジュール（２４）の撮影方向を制御してユーザーの頭部画像を取り込む。これ以降の画像撮影モジュール（２４）によって取り込んだ画像を顔画像処理モジュール（２６）で処理するプロセスについては、前記台湾特許・出願第８９１１５１９２号に開示されるコンピューターを応用したプロセスと同様にすることができる。
【００３３】
以上は、この発明の好ましい実施例であって、この発明の実施の範囲を限定するものではない。よって、当業者のなし得る修正、もしくは変更であって、この発明の精神の下においてなされ、この発明に対して均等の効果を有する変更、もしくは修正は、いずれもこの発明の特許請求の範囲に含まれるものとする。
【００３４】
【発明の効果】
この発明による顔認識システムは、ビデオカメラの撮影方向を自動的に調整することによって、異なる角度からの画像を取り込み、迅速かつ正確に認識できる効果を具える。即ち、体型の異なるそれぞれのユーザーに対して応用することができ、ユーザーがビデオカメラに対して顔を正面の位置に向けるように特に注意する必要がなく、使用上便利である。
【図面の簡単な説明】
【図１】従来の顔認識システムの構造を示すブロック図である。
【図２】この本発明による顔認識システムの構造を示すブロック図である。
【符号の説明】
２、２２　　　　　　顔認識システム
４　　　　　　　　　ビデオカメラ
６　　　　　　　　　コンピューター
２４　　　　　　　　画像撮影モジュール
２５　　　　　　　　撮影方向制御モジュール
２５ａ　　　　　　　撮影方向調整モジュール
２５ｂ　　　　　　　モータ
２６　　　　　　　　顔画像処理モジュール
８、２８　　　　　　ビデオモジュール
１０、３０　　　　　顔検出モジュール
１２、３２　　　　　顔特徴検出モジュール
１４、３４　　　　　顔識別モジュール
１６　　　　　　　　参考用データベース
３６　　　　　　　　保存モジュール
１８、３８　　　　　出力／入力モジュー
【図１】
2004005014.tif 000003
【図２】
2004005014.tif 000004