(57)【要約】【課題】二段階式の顔モデル製作方法及びそれを応用した顔識別方法を提供する。【解決手段】本発明は二段階式の顔モデル製作方法及びそれを応用した顔識別方法であって、前記に段階顔モデル製作方法は、まず、データベース中に、複数の登録人員それぞれの隠れマルコフ顔モデルを構築して、第一段階の快速検索に必要とするモデルを構成する。また、各登録人員に対し、HMM顔モデルを利用し、データベース中から、複数の相似する人員の顔イメージを検索し、更に、多種光源、多種視角、多種表情等の予設顔イメージを加えて、専属のサポ&#8722;トベクターマシン顔モデルを構築し、第二段階の精密な照合モデルを構成する。二段階式の顔モデルにより識別を実行する時、データベース中の個人のHMMモデルにより、快速に受測者に最も相似する複数個の可能人員を探して、これらの相似する人員のSVMモデルにより第二段階の正確な照合を実行する。故に、本発明は、快速、且つ、正確な顔識別方法が提供できる。【選択図】図２
2005092854.tif 000002
【特許請求の範囲】
【請求項１】
二段階式の顔モデル製作方法であって、
データベース中に複数の登録人員それぞれの隠れマルコフHMM顔モデルを構築して、第一段階の快速検索モデルを提供する工程と、
前記の各登録人員に対し、前記HMM顔モデルを利用し、前記データベース中から、複数の相似する人員の顔イメージを探し出して訓練用の負のサンプルとして、前記登録人員の専属のSVM顔モデルを構築し、第二段階の精密な照合モデルを提供する工程と、
からなることを特徴とする方法。
【請求項２】
前記第二段階の精密な照合モデルを製作する時、更に、多種光源、多種視角、多種表情等の予設顔イメージを加えて、前記相似する者の顔イメージと共に、前記SVM顔モデルの運算に必要な負のサンプルとすることを特徴とする請求項１に記載の方法。  
【請求項３】
前記の各登録人員の相似者は、顔イメージが前記登録人員のHMMモデル中運算された、相似確率が高い者であることを特徴とする請求項１に記載の方法。
【請求項４】
前記の各登録人員の身分登録工程に応用されることを特徴とする請求項１に記載の方法。
【請求項５】
前記第一段階の快速検索モデルを構築する方法は、更に、
前記登録人員の顔イメージを検索する工程と、
前記の各登録人員の顔イメージの数値特徴を抽出する工程と、
前記の各登録人員の顔イメージの数値特徴に基づいて、サンプリングを実行して、対応するHMM及びSVM顔モデルを構築すると共に、それらを前記データベース中に保存する工程と、
からなることを特徴とする請求項１に記載の方法。
【請求項６】
二段階式の顔モデルを応用した顔識別方法であって、前記二段階顔モデルは、データベース中に構築された複数の登録人員のHMMモデル、及び、前記の各登録人員が、前記データベース中から、相似する人員の顔イメージにより訓練される専属のSVMモデルで、前記顔識別方法は、
受測者が顔識別を実行する時、前記データベース中の、前記各登録人員のHMMモデルにより、前記受測者の顔イメージと最も相似する複数の可能人員を快速に検索して、第一段階の快速検索工程を完成する工程と、
前記可能人員のSVMモデルにより、ひとつひとつ正確に、前記受測者が、前記可能人員中に存在するかどうかを判断して、第二段階の正確な照合工程を実行して、前記受測者の顔識別を完成する工程と、
からなることを特徴とする方法。  
【請求項７】
前記の各登録人員のためにあつらえたSVMモデルは、前記相似する人員の顔イメージ、及び、多種光源、多種視角、多種表情等の予設顔イメージと共に、必要な訓練用の負サンプルとして得られることを特徴とする請求項６に記載の方法。
【請求項８】
前記受測者が身分登録を完了したかどうかを判断するのに用いられることを特徴とする請求項６に記載の方法。  
【請求項９】
前記第二段階の正確な照合工程が完了した後、前記受測者が前記可能人員中に存在しないと判断される場合、警告情報を発することを特徴とする請求項６に記載の方法。
【請求項１０】
二段階式の顔モデルを応用した顔識別方法であって、前記二段階顔モデルは、データベース中に構築された複数の登録人員のHMM顔モデル、及び、前記の各登録人員が、その他の相似する人員の顔イメージにより訓練される専属のSVM顔モデルで、前記顔識別方法は、
A、前記受測者が身分を入力する場合、工程Bを実行し、そうでなければ工程C及び工程Dを実行する工程と、
B、前記データベース中から、前記受測者が入力した前記身分に対応するSVM顔モデルを選出して、前記SVM顔モデルにより、直接、前記受測者の身分が前記データベース中に存在するかどうかを判断し、前記受測者の顔識別を完成する工程と、
C、前記データベース中、前記の各登録人員のHMM顔モデルにより、快速に、前記受測者の顔イメージと最も相似する複数の可能人員を探し出して、第一段階の快速検索工程を完成する工程と、
D、前記可能人員のSVM顔モデルにより、前記受測者が前記可能人員中に存在するかどうかを判断して、第二段階の正確な照合工程を完成し、前記受測者の顔識別を完成する工程と、
からなることを特徴とする方法。
【請求項１１】
前記の各登録人員のためにあつらえたSVMモデルは、前記相似する人員の顔イメージ、及び、多種光源、多種視角、多種表情等の予設顔イメージと共に、必要な訓練用の負サンプルとして得られることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記受測者が身分登録を完了したかどうかを判断するのに用いられることを特徴とする請求項１０に記載の方法。  
【請求項１３】
前記受測者の顔識別が完了した後、前記受測者が前記データベース中に存在しないと判断される場合、警告情報を発することを特徴とする請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔モデル製作方法および識別方法に関するものであって、特に、二段階式の顔モデル製作方法及びそれを応用した顔識別方法に関するものである。
【背景技術】
【０００２】
顔識別は、近来、注目されている識別方法の一つである。顔識別は非接触式の識別方法であり、且つ、複製されにくく、費用もかからず、記録追跡が可能であるという特性を有するため、接触式の識別方法と比較すると、衛生的、安全、且つ、便利である。
【０００３】
顔識別方法は、通常、二つの段階に分けることが出来、一つは製作と訓練段階、もう一つは識別段階である。製作と訓練段階は、まず、異なるイメージを収集し、統計により顔イメージモデルを生成する。識別段階は、この顔訓練モデルにより、照合確認を実行する。これにより、製作と訓練モデルが運用する方法は、顔識別装置の識別能力に深く影響する。
【０００４】
顔識別方法は幾つかあるが、その中の隠れマルコフモデル（Hidden Markov  Model 、HMM）は、顔識別が速やかに行える識別方法である。HMMは確率モデルの一種で、顔イメージが区分する複数の状態（state）、各状態の観察値（observation  symbols）、状態推移確率（state  transition  probability）、及び観察値生成確率（observation  generation  probability）等からなる。図１Ａと図１Ｂを参照すると、HMMにより顔識別を実行する時、受測者の顔イメージを登録すると共に、顔イメージを、上から下に、例えば、額、目、鼻、顎等の異なる特徴を有する複数の状態帯１０に区分する。更に、状態帯１０は、左から右に、複数の状態ブロック１２に区分され、左右及び上下部分の重畳、且つ、顔全体のイメージが観察ブロックに附設された離散コサイン変換（discrete  cosine  transform）を観察値とし、ビタビ（Viterbi）アルゴリズムにより、登録者のHMM顔モデルを構築する。受測者の顔イメージを照合する時、識別装置は、データベース中の各登録者のHMMモデルに基づいて、対応する相似確率値を得ると共に、最大者を識別結果とする。しかし、受測者がデータベース中に無い時、この方法は、最も相似する登録者を探し出して、それを識別結果とするので、重大な誤認となってしまう。つまり、HMMの最大の欠点は、効果的な拒絶メカニズムが生み出されないことである。
【０００５】
もう一つの顔識別方法は、サポートベクターマシン（Support  Vector  Machine、SVM）により分類するもので、SVMは、構造リスクが最小化に基づいた学習モデルで、充分に与えられた訓練サンプルにより、SVMは、正確に、訓練サンプルを分類することが出来、サンプル外の同質性データに対し、効果的に分類を行う。しかし、SVMを利用して好ましい顔識別結果を得られても、SVMは膨大な量の訓練サンプルを必要とするので、運算量の過大により、コスト増加の問題が生じる。故に、いかにして訓練サンプルを減少させ、好ましい分類効果を得るかが、SVM応用の課題となっている。
上述の問題を解決するため、本発明は、二段階式の顔モデル製作方法及びそれを応用した識別方法を提供する。HMMモデルを利用し、第一段階の快速検索を実行し、更に、直列SVMモデルにより、第二段階の正確な照合を行う。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、快速な検索と正確な照合を行う二段階式の顔識別方法を提供し、直列のHMMとSVMモデルは、データベース中の全ての人のHMM顔識別モデルにより、快速に、受測者の顔イメージと相似する可能対象を探し、これらの可能対象のSVMモデルにより、受測者がこれらの可能対象中に存在するかどうかを、正確に判断する。よって、顔識別効率と正確度を達成することを目的とする。
本発明は、顔モデルの製作方法を提供し、各登録者の顔HMMモデルを構築した後、この登録者のためにあつらえたSVMモデルを構築し、即ち、HMMにより、最も効果的な負サンプルを抽出し、これにより、過多な訓練サンプルを回避して、SVMモデルを訓練するときの効率を向上させ、SVMモデルの容量を減少させると共に。正確さを保有させることをもう一つも目的とする。
【課題を解決するための手段】
【０００７】
本発明によると、顔識別方法は、モデル構築と識別という、二つの大きな流れに分けて説明する。モデル構築時、顔識別装置を提供し、複数の登録者は、それぞれ、HMMモデルを構築し、登録者それぞれのHMMモデルに基づいて、データベース中から最も相似するn個の登録者を選出し、このn個の相似する登録者の顔イメージに、多種光源、多種視角、多種表情等の予設顔イメージを加えることにより、登録者のSVMモデルを訓練するので、故に、データベース中の人員はそれぞれ、一つのHMMモデルを有し、快速検索に用いられ、且つ、一つのSVMモデルは正確な照合に用いられる。受測者に対し、顔識別を実行する時、データベース中の各個人のHMMモデルにより、受測者の顔に最も相似する複数の可能な人員を速やかに探し出し、更に、これらの相似する人のSVMモデルを利用して、第二段階の正確な照合を実行し、受測者のモデルが、データベース中に存在するかどうか判断して、受測者の身分が登録されているかを確認する。
【発明の効果】
【０００８】
本発明の顔識別方法は、データベース中の人員がそれぞれ、速やかに検索を行うためのHMMモデルと、正確に照合をするためのSVMモデルを有することにより、速やか、且つ、正確に受測者の身分を識別することが出来る。
【発明を実施するための最良の形態】
【０００９】
本発明の直列HMMとSVMモデルは、HMMとSVMモデルの各長所を用いて、顔識別作業を実行する。本発明は二段階式の顔モデル製作方法で、通常、人員の身分登録識別プログラムを応用する。顔モデル製作方法は、まず、データベース中に、複数の登録人員それぞれの隠れマルコフ顔モデルを構築して、第一段階の快速検索に必要とするモデルを構成する。また、各登録人員に対し、HMM顔モデルを利用し、データベース中から、複数の相似する人員の顔イメージを検索し、更に、多種光源、多種視角、多種表情等の予設顔イメージを加えて、専属のサポートベクターマシン顔モデルを構築し、第二段階の精密な照合モデルを構成する。
【００１０】
図２は、本発明のフローチャートを示す図である。工程S１０において、検出及び追跡モジュールと、特徴抽出モジュールと、モデル構築モジュールと、身分決策モジュールと、データベースと、からなる顔識別装置を提供し、工程S１２において、前記顔識別装置は、複数のユーザーそれぞれに、身分登録を実行させるか、或いは、複数の受測者に身分識別をさせる。各ユーザーの登録工程は工程S１４〜S２６で示され、各受測者の識別工程は工程S２８〜工程S３８で示される。以下、ある人員の登録工程及び識別工程により、本発明の方法を説明する。
【００１１】
まず、登録工程は、工程S１４において、検出及び追跡モジュールにより、前記ユーザーの顔イメージを検出すると共に、追跡し、工程S１６において、特徴抽出モジュールにより、前記ユーザーの顔イメージの数値特徴を抽出する。その後、工程S１８において、モデル構築モジュールにより、抽出された数値特徴に対し、サンプリングを行う。工程S２０〜工程S２６はモデル訓練工程で、この訓練工程は、工程S２０において、前記ユーザーのHMMモデルを構築し、それをデータベースに保存する。HMMモデルの製作方法は、公知技術によるものであるから、ここに詳述しない。工程S２２において、HMMモデルにより、n個の相似する人員を検索し、多種光源、多種視角、多種表情等の予設顔イメージを加えて、訓練用の負のサンプルとし、その後、更に工程S２４及びS２６を実行する。この訓練サンプル中、全部、或いは、主要な数値特徴により、各登録人員のSVMモデルを構築すると共に、データベース中に保存する。
【００１２】
図２を再び参照すると、データベース中に、既に、ユーザーのHMMとSVMモデルが構築されている時、顔識別装置により、受測者の身分を識別し、この身分識別工程は、工程S２８〜工程S３８である。まず、工程S２８において、検出及び追跡モジュールにより、前記受測者の顔イメージを検出すると共に、追跡し、工程S３０において、特徴抽出モジュールにより、前記受測者の顔イメージの数値特徴を抽出する。その後、工程S３２において、抽出された数値特徴により、サンプリングを行う。工程S３４において、HMMモデルにより、前記受測者と相似するk個の人員が速やかに検出される。工程３６において、対応するk個のSVMモデルの一つ一つに基づいて、正確に受測者の身分を判断する。つまり、各SVMモデルにより、k個の相似する人員中、受測者の顔イメージの数値特徴と相同のものが存在するかを判断し、注意すべきことは、その他の条件が不変である状況下で、k値が大きければ、受測者と照合するSVMモデルが多くなり、身分識別の正確さも、高くなる。
【００１３】
上述のように、身分決策モジュールが、k個のSVMモデル中、受測者の顔イメージの数値特徴と一致するものが存在すると判断する時、顔識別装置は、この受測者の身分データをディスプレイに伝送して表示するか、或いは、顔識別装置に連結された電子ロックを開いて、身分が確認された受測者を解放するか、或いは、設計応用により、必要な動作を実行し、身分決策モジュールが、k個のSVMモデル中、受測者の顔イメージの数値特徴と一致するものが存在しないと判断する時、顔識別装置は、受測者の顔イメージをデータベースに保存して、後日の検索に備えるか、或いは、警告メッセージを発して、相関する人員に侵入者、或いは、来客があることを通知するか、或いは、設計応用により、必要な動作を実行する。
【００１４】
この他、データベース中に、前述の身分登録の工程により、ユーザーのHMMとSVMモデルが存在する時、顔識別装置は、受測者に身分を入力させ、身分確認の速度を上げることが出来、図３で示されるように、受測者が身分を入力する場合、顔識別装置は、身分により対応するSVMモデルを検索し、検出及び追跡モジュールにより、前記受測者の顔イメージを検出すると共に、特徴抽出モジュールにより、前記受測者の顔イメージの数値特徴を抽出する。その後、抽出された数値特徴と受測者の身分が入力されたSVMモデルと照合し、これにより、SVMモデルが受測者の顔イメージの数値特徴に符合するかどうかを判断し、符合する場合、顔識別装置は、受測者のデータをディスプレイに伝送して表示するか、或いは、電子ロックを開いて、受測者を解放すると共に、出入力記録をデータベース中に保存するか、或いは、設計応用により、必要な動作を実行する。
【００１５】
この他、本発明は、HMMを構築する時、ユーザーの顔イメージの数値特徴に対し、部分的にサンプリングを実行し、HMMが過大になるのを防ぎ、SVMモデルを構築する時、及び、SVMモデルを利用して顔識別を実行する時の運算量を減少させる。更に、本発明は、顔イメージを複数の部分的に重畳するブロックに区分してHMMを構築する時、縮小状態のブロック間の重畳する領域により、HMMの大きさを減少させ、HMMにより、訓練のSVMモデルを縮小する。縮小状態のブロック重畳領域以外に、SVMモデルを構築する時、顔イメージの主要数値特徴だけに対し、サンプリングを実行することにより、SVMモデルの大きさを効果的に縮小し、SVMモデルを構築する時、及び、SVMモデルを利用して顔識別を実行する時の運算量を減少させる。
【００１６】
上述のように、本発明は、受測HMMモデル基づいて、データベース中の相似する人員を速やかに検索すると共に、対応するSVMモデルに基づいて、受測者の顔イメージの数値特徴を照合し、これにより、受測者の顔イメージモデルが、データベース中に存在するかどうかを、正確に判断する。この他、本発明は、HMMを利用して、訓練サンプルをろ過して探し出し、SVMを適当に訓練することにより、過多な訓練サンプルのSVMモデルの運算時の負担を避ける。
【００１７】
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明明の保護範囲は、特許請求の範囲で指定した内容を基準とする。
【図面の簡単な説明】
【００１８】
【図１Ａ】公知の顔イメージを複数のブロックに分割して構築するHMMモデルの写真を示す参考図である。
【図１Ｂ】公知の顔イメージを複数のブロックに分割して構築するHMMモデルを示す図である。
【図２】本発明のフローチャートである。
【符号の説明】
【００１９】
１０…状態帯
１２…状態ブロック
【図１Ａ】
2005092854.tif 000003
【図１Ｂ】
2005092854.tif 000004
【図２】
2005092854.tif 000005