(57)【要約】【課題】時系列の動画像を用いて、高精度な個人認証を実現する。【解決手段】ユーザの発語時の時系列の顔画像を取得する手段と、前記時系列の顔画像にもとづいて、人物認証を行う手段を設ける。ここで、前記人物認証を行う手段は、例えば、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出する手段と、前記特徴点のフレーム内での変位を検出する手段と、前記変位と所定値との類似度を評価する手段からなる。【選択図】図１
2006268563.tif 000002
【特許請求の範囲】
【請求項１】
発語時の時系列の顔画像を取得する手段と、前記時系列の顔画像にもとづいて、人物認証を行う手段を有することを特徴とする個人認証装置。
【請求項２】
請求項１に記載の個人認証装置であって、発語を促す手段をさらに有することを特徴とする個人認証装置。
【請求項３】
請求項１に記載の個人認証装置であって、前記発語の対象が不特定であることを特徴とする個人認証装置。
【請求項４】
請求項１に記載の個人認証装置であって、前記発語の対象が特定のキーワードであることを特徴とする個人認証装置。
【請求項５】
請求項１に記載の個人認証装置であって、前記人物認証を行う手段は、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出する手段と、前記特徴点のフレーム内での変位を検出する手段と、前記変位と所定値との類似度を評価する手段を有することを特徴とする個人認証装置。
【請求項６】
請求項１に記載の個人認証装置であって、前記人物認証を行う手段は、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出する手段と、前記特徴点のフレーム内での変位を検出する手段と、複数のフレームに渡る前記変位の系列を入力する手段と、前記変位の系列から被験者が本人である確率を算出する手段を有することを特徴とする個人認証装置。
【請求項７】
請求項１に記載の個人認証装置であって、前記人物認証を行う手段は、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出する手段と、前記特徴点のフレーム間での変位を検出する手段と、フレーム間の変位の系列を入力する手段と、前記変位の系列から被験者が本人である確率を算出する手段を有することを特徴とする個人認証装置。
【請求項８】
請求項７に記載の個人認証装置であって、前記変位の系列から、被験者が本人である確率を算出する手段が隠れマルコフモデルを用いることを特徴とする個人認証装置。
【請求項９】
動画撮像手段で撮像された動画像を入力して個人認証を行う装置における個人認証処理方法であって、
発語時の時系列の顔画像を取得するステップと、前記時系列の顔画像にもとづいて、人物認証を行うステップを有することを特徴とする個人認証処理方法。
【請求項１０】
請求項９に記載の個人認証処理方法であって、発語を促すステップをさらに有することを特徴とする個人認証処理方法。
【請求項１１】
請求項９に記載の個人認証処理方法であって、前記発語の対象が不特定であることを特徴とする個人認証処理方法。
【請求項１２】
請求項９に記載の個人認証処理方法であって、前記発語の対象が特定のキーワードであることを特徴とする個人認証処理方法。
【請求項１３】
請求項９に記載の個人認証処理方法であって、前記人物認証を行うステップは、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出するステップと、前記特徴点のフレーム内での変位を検出するステップと、前記変位と所定値との類似度を評価するステップを有することを特徴とする個人認証処理方法。
【請求項１４】
請求項９に記載の個人認証処理方法であって、前記人物認証を行うステップは、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出するステップと、前記特徴点のフレーム内での変位を検出するステップと、複数のフレームに渡る前記変位の系列を入力するステップと、前記変位の系列から被験者が本人である確率を算出するステップを有することを特徴とする個人認証処理方法。
【請求項１５】
請求項９に記載の個人認証処理方法であって、前記人物認証を行うステップは、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出するステップと、前記特徴点のフレーム間での変位を検出するステップと、フレーム間の変位の系列を入力するステップと、前記変位の系列から被験者が本人である確率を算出するステップを有することを特徴とする個人認証処理方法。
【請求項１６】
請求項１５に記載の個人認証処理方法であって、前記変位の系列から、被験者が本人である確率を算出するステップが隠れマルコフモデルを用いることを特徴とする個人認証処理方法。
【請求項１７】
請求項９〜１６のいずれか１項に記載の個人認証処理方法をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項９〜１６のいずれか１項に記載の個人認証処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像による個人認証装置及び処理方法、そのプログラム並びに記録媒体に関する。
【背景技術】
【０００２】
従来から、様々な分野で個人認証システムが利用されているが、認証に対する精神的な抵抗感の少なさから、近年、顔画像を用いた認証システムがいろいろ提案されている。例えば、特許文献１では、顔認証システムによって顧客を認識し、認識結果にもとづいて顧客情報を提示することを提案している。
【０００３】
ところで、１枚の静止した顔画像を使った個人認証では、双子の場合等、誤認証が問題となることがある。そのため、例えば、特許文献２では顔画像認証、音声認証、ＩＤ番号認証、指紋認証等の何れかを２つ以上組み合わせて用いることを提案している。
【０００４】
【特許文献１】特開２００４−３２６２０８公報
【特許文献２】特開２０００−２５９８２８公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
異なる種類の組合せによる認証は有効ではあるが、まったく異なる複数種類の動作を伴うため、装置構成や処理が煩雑になる。よって、顔画像だけで認証精度が向上できればその方が望ましく、その方法としては、１枚の静止画ではなく、動画像を用いる方法が考えられる。それは、時系列の顔画像を用いた認証は、１枚の顔画像による認証よりも高い信頼性が期待できるからである。
【０００６】
動画像による認証では、例えば、登録された笑顔の動画像を利用して認証を行うといったことが考えられるが、動画像の場合、時系列データである性格上、観測される表情自体の再現性が十分でない場合がある。その場合には、動画像を用いたにも関わらず、認識精度の向上が見られないことがあるという問題がある。
【０００７】
本発明の目的は、時系列の動画像を用いて、高精度な個人認証を実現する装置及び処理方法、そのためのプログラム並びに記録媒体を提案することにある。
【課題を解決するための手段】
【０００８】
本発明は、表情の動画像の再現性を上げるために、ユーザにあるキーワード等を発語させ、そのときの顔の動画像を用いて認証を行うようにする。すなわち、表情の再現性を上げるために、表情の表出に対して、発語という拘束条件を与えてやるのである。これは、特許文献２のような、音声認証との組合せとは異なるものである。
【０００９】
詳しくは、請求項１に係る発明は、発語時の時系列の顔画像を取得する手段と、前記時系列の顔画像にもとづいて、人物認証を行う手段を有する個人認証装置を提供する。この請求項１に係る発明は、ユーザの表情表出精度を向上させることを目的とする。
【００１０】
ここで上記発語は、そのタイミングや回数を認証システムが促したり、あるいは発語対象の言葉自体を、その都度認証システムが指定するものであってもよい。あるいは発語する言葉自体は１つ、あるいは複数既定されており、そのうちのどれかを促したり、発語したりしても良い。また、前記既定しておく言葉は、氏名、住所、生年月日、パスワード等の忘却しにくい特定のキーワードであることが望ましい。
【００１１】
よって、請求項２に係る発明は、請求項１に記載の個人認証装置において、発語を促す手段を設けることを特徴とする。この請求項２に係る発明は、発語時の利便性を高めることを目的とする。
【００１２】
また、請求項３に係る発明は、請求項１に記載の個人認証装置において、前記発語の対象が不特定であることを特徴とする。この請求項３に係る発明は、発語対象の記憶を不要にすることを目的とする。
【００１３】
また、請求項４に係る発明は、請求項１に記載の個人認証装置において、前記発語の対象が特定のキーワードであることを特徴とする。この請求項４に係る発明は、発語対象の記憶性を高めることを目的とする。
【００１４】
さらに、請求項５に係る発明は、請求項１に記載の個人認証装置において、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出する手段と、前記特徴点のフレーム内での変位を検出する手段と、前記変位と所定値との類似度を評価する手段を有することを特徴とする。この請求項５に係る発明は、１つのフレーム内での特徴点変化を利用して、ユーザが認証対象者であるか否かを判断することを目的とする。
【００１５】
また、請求項６に係る発明は、請求項１に記載の個人認証装置において、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出する手段と、前記特徴点のフレーム内での変位を検出する手段と、複数のフレームに渡る前記変位の系列を入力する手段と、前記変位の系列から被験者が本人である確率を算出する手段を有することを特徴とする。この請求項６に係る発明は、データの系列をに入力することによって、確率計算をもとに認証を行うことを目的とする。
【００１６】
また、請求項７に係る発明は、請求項１に記載の個人認証装置において、前記時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出する手段と、前記特徴点のフレーム間での変位を検出する手段と、フレーム間の変位の系列を入力する手段と、前記変位の系列から被験者が本人である確率を算出する手段を有することを特徴とする。この請求項７に係る発明は、変位の系列が生成される確率をもとに、認証を行うことを目的とする。
【００１７】
また、請求項８に係る発明は、請求項７に記載の個人認証装置において、前記変位の系列から、被験者が本人である確率を算出する手段が隠れマルコフモデルを用いることを特徴とする。この請求項８に係る発明は、変位の系列が生成される確率をもとに、高速な認証を行うことを目的とする。
【００１８】
また、請求項９〜１６に係る発明は、上記請求項１〜８に記載の個人認証装置に対応する個人認証処理方法を提供する。この請求項９〜１６に係る発明は、上記１〜８の各請求項に対応した効果を得ることを目的とする。
【００１９】
また、請求項１７、１８に係る発明は、請求項９〜１６に記載の個人認証処理方法をコンピュータに実行させるためのプログラム、さらには該プログラムを記録した記録媒体を提供する。この請求項１７、１８に係る発明は、プログラムをコンピュータにインストールすることにより、上記１〜８の各請求項に対応した構成のシステムをコンピュータで実現することを目的とする。
【発明の効果】
【００２０】
本発明の個人認証装置、個人認証処理方法、プログラム又は記録媒体によれば、次のような作用効果が得られる。
（１）  発語時の時系列の顔画像を取得し、前記時系列の顔画像にもとづいて、人物認証を行うので、ユーザの表情表出精度を向上させることが可能となる。
【００２１】
（２）  発語を促す手段を設けることで、発語時の利便性を高めることが可能となる。
【００２２】
（３）  発語の対象を不特定とすることで、発語対象の記憶を不要にすることができる。
【００２３】
（４）  発語の対象を特定のキーワードとすることで、発語対象の記憶性を高めることができる。
【００２４】
（５）  時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出して、前記特徴点のフレーム内での変位を検出し、前記変位と所定値との類似度を評価することにより、１つのフレーム内での特徴点変化を利用して、ユーザが認証対象者であるか否かを判断することができる。
【００２５】
（６）  時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出して、前記特徴点のフレーム内での変位を検出し、複数のフレームに渡る前記変位の系列を入力し、前記変位の系列から被験者が本人である確率を算出することにより、確率計算をもとに認証を行うことができる。
【００２６】
（７）  時系列の顔画像を構成するフレーム画像から、顔面の特徴点を抽出して、前記特徴点のフレーム間での変位を検出し、フレーム間の変位の系列を入力し、前記変位の系列から被験者が本人である確率を算出することにより、変位の系列が生成される確率をもとに、認証を行うことができる。
【００２７】
（８）  さらに、前記変位の系列から、被験者が本人である確率を算出するのに隠れマルコフモデルを利用することにより、変位の系列が生成される確率をもとに、高速な認証を行うことができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について図面により説明する。
【実施例１】
【００２９】
図１は、本発明の第１の実施例にかかる装置構成例を示したものである。図１において、データバスを介して、動画撮像手段１０、顔検出手段１１、フレーム検出手段１２、顔特徴点変位算出手段１３、類似度評価手段１４が接続されており、同じく顔検出手段１１、音声取得手段１５、音声分割手段１６が接続され、さらに音声取得手段１５と発語促進手段１７が接続されている。ここで、動画撮像手段１０以外の各手段１１〜１７は一般にはコンピュータの内部構成である。
【００３０】
図２は本第１の実施例の全体の処理の流れを示したものである。以下、図２に従って本第１の実施例について詳述する。
【００３１】
動画撮像手段１０は、認証システムのユーザを撮影可能な、例えば入り口の映像を常時撮影しており（ステップ１０１）、その映像は時々刻々顔検出手段１０に入力される。
【００３２】
顔検出手段１１は、１フレームの画像中に、顔があるか否かを判断するものであり、顔が含まれている場合には、その領域（主に、あごから額にかけての領域）を切り出す（ステップ１０２）。図３は顔検出手段１１での顔検出例で、白枠で囲った領域が顔領域として検出されることを示している。
【００３３】
該顔検出手段１１としては、例えば、「佐部  浩太郎、日台  健一“ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習”、画像センシングシンポジウム２００５論文集」に記載の方法で構成できる。これは、教師画像（＝多くの顔画像）内の任意の２点の画素差分値をブースティング学習器に入力して閾値を学習させ、学習後の所定閾値と、検出対象の入力画像の任意の２点の画素差分値を比較して、顔画像が含まれるか否かを判別するものである。
【００３４】
顔検出手段１１は、フレーム中に顔を検出した場合には、その領域情報（例えば、図３の枠情報）を付したフレーム画像をフレーム抽出手段１２に送り、検出しなかった場合には、顔領域情報を付さないフレーム画像をフレーム抽出手段１２に送る。フレーム抽出手段１２は、入力された画像を所定フレーム数だけバッファリングしている。
【００３５】
また、該顔検出手段１１は、顔を検出すると、それを音声取得手段１５に通知する。これにより、音声取得手段１５が動作を開始する（ステップ１０３）。本第１の実施例は、特定のキーワードの発語を利用する例であり、音声取得手段１５の動作開始後、所定時間内にユーザが発語しない場合、音声取得手段１５はそれを発語促進手段１７に通知し、これを受けて発語促進手段１７はユーザに対して「フルネームをお話し下さい」等のアナウンスを行ってキーワードの発語を促す。音声取得手段１５は、ユーザの発語を取得すると、その音声情報を音声分割手段１６に送る。
【００３６】
音声分割手段１６は、入力された音声情報を公知のＤＰマッチング（動的計画法マッチング）等を用いて音素に分解する（ステップ１０４）。ここで音素とは、母音（ａ，ｉ，ｕ，ｅ，ｏ）と濁音等を含む子音（ｋ，ｓ，ｔ，ｕ，ｈ，ｍ，ｙ，ｒ，ｗ，ｇ，ｚ，ｄ，ｂ，ｐ，…）等からなる２４種類程の日本語音声の表現単位である。ＤＰマッチング法とは、あらかじめ登録された全ての音素の特徴量（例えば、２０ｍｓ程度の音素のスペクトル）をテンプレートとして、入力された音声情報の時間軸を伸縮させながら、伸縮後の音声情報のスペクトルを算出して各テンプレートとの一致度を評価し、最も高い一致度をみたテンプレートの音素として、入力音声を認識する方法である。スペクトルは、周波数帯域毎の振幅を要素とするベクトルであるから、スペクトルの一致度は、ベクトル同士の内積が所定値以上であることによって評価することができる。本第１の実施例では、規定のキーワードを発語することを前提としているため、テンプレートとして使用するスペクトルは最初から決まっており、最もマッチングが高くなる時間軸伸縮を求めることになる。
【００３７】
音声分割手段１６は、音声入力を音素に分割した後、発語直前の時刻、および各音素が発音されている区間の中央の時刻をフレーム抽出手段１２に送る（ステップ１０５）。フレーム検出手段１２は、バッファリングしている画像中から、顔領域情報が付された当該時刻のフレームを抽出して（ステップ１０６）、顔特徴点変位算出手段１３に送る。すなわち、顔特徴点変位算出手段１３には、発語直前のフレーム（以下、これを基準フレームと呼ぶ）と、音素数分だけのフレーム（以下、これを音素フレームと呼ぶ）が送られる。
【００３８】
顔特徴点変位算出手段１３は、図４に示すように、フレームの顔領域（図４の実線の矩形）中に、眉、目、口を検出するためのウィンドウを設定し（図４の点線部）（ステップ１０７）、該ウィンドウ内の画素値に対して、ラプラシアン等のエッジ検出オペレータを施し、図５に示すように、所定閾値で二値化してエッジの線画像を得る（ステップ１０８）。本実施例におけるウィンドウは、顔領域として検出された矩形を基準として、相対的な位置および大きさを有するものとして定義されており、顔領域の縦横比と各ウィンドウの縦横比は比例関係にある。従って、検出された顔領域のサイズ自体が大きければ、それに比例してウィンドウも大きく設定される。
【００３９】
上記各ウィンドウ内の線画は、必要に応じて孤立点除去処理を施された後、ｘ軸およびＹ軸に対して正射影され（図５の矢印が射影を、太線が射影結果を示す）（ステップ１０９）、各射影の両端の点（太線の両端の点）として、左右の眉、左右の目および口の各上下左右端点（図５の丸印）の、計２０点が検出される。
【００４０】
このようにして、顔変位算出手段１３では、発語直前のフレーム（基準フレーム）および各音素に対応したフレーム（音素フレーム）に対して、まず、上記２０の特徴点の座標を検出する。ここで、ｘ軸に対して射影された端点はｘ座標のみを持ち、ｙ軸に対して射影された端点はｙ座標のみを持つ。
【００４１】
次に、顔変位算出手段１３では、各端点につき、基準フレームと音素フレームにおける座標の差、すなわちｘ軸またはｙ軸方向の移動距離を算出し、それを顔画像領域の大きさ（ｘ軸方向の移動距離はｘ軸方向の顔領域の大きさ、ｙ軸方向の移動距離はｙ軸方向の顔領域の大きさ）で正規化して、特徴点変位量を算出し（ステップ１１０）、これを類似度評価手段１４に送る。１つの音素フレームに対しては、２０の特徴点移動量が算出される。よって、１つの発語は、２０次元ベクトルの音素数分の配列として表現され、これが類似度評価手段１４に送られる。
【００４２】
本第１の実施例では、各個人について、あらかじめ特定のキーワード（例えばｎ音素からなる）を発語した際の、音素毎の上記２０次元ベクトルが認識システムの所定記憶手段にテンプレートとして登録されている。類似度評価手段１４は、ユーザの発語された各音素について、顔特徴点変位算出手段１３によって算出されたベクトルと、テンプレートのベクトル同士の類似度を内積として算出し（ステップ１１１）、該内積のｎ音素数分の二乗和を算出する（ステップ１１２）。この「内積の二乗和」が、発語時の表情とテンプレートの類似度指標として評価され、その値が最大となるテンプレートが選択される。そして、その値（類似度）が所定値以上であるか否かが判定され（ステップ１１３）、所定値以上である場合に、ユーザはテンプレートの登録者として認証され（ステップ１１４）、所定値以下の場合には否認される（ステップ１１５）。
【００４３】
本第１の実施例では、テンプレートと同一の音素を発している状態の顔画像を抽出するため、認証に用いられる顔画像の再現性が向上し、認証精度を向上させることが出来る。
なお、上記所定値とは、認証装置が、本人以外の人間を本人として認証してしまう誤認証率の許容値によって決定すべき定数であり、誤認証率と閾値は負の相関関係にある。
【実施例２】
【００４４】
図６は、本発明の第２の実施例にかかる装置構成例を示したものである。本第２の実施例は、特定のキーワードの発語を利用しない、すなわち、発語の対象が不特定である実施例で、図１の発語促進手段１７として発語指定手段１８を用いたものである。それ以外の構成は図１と同様である。
【００４５】
図７は本第２の実施例の全体の処理の流れを示したものである。以下では、主に第１の実施例との相違点について説明する。
【００４６】
本第２の実施例では、顔検出手段１１による顔検出後、発語促進手段の一種である発語指定手段１８が、ユーザに対して「こんにちは、とおっしゃってください」というように、発語すべき言葉を指定する（ステップ２０４）。
【００４７】
音声取得手段１５はユーザの発語を取得し、その音声情報を音声分割手段１６に送るが、本第２の実施例では、ユーザの発語すべき言葉は、発語指定手段１８から該音声分割手段１６に対して入力されるため、該入力をもとにテンプレートとして参照するスペクトルが決定され、やはり最もマッチングが高くなる時間軸伸縮が求められる。
【００４８】
第１の実施例と同様に、クレーム抽出手段１２において、音声分割手段１６によって分割された音素毎にフレームが抽出され（ステップ２０７）、顔特徴点変位算出手段１３で基準フレームに対する特徴点変位量（特徴点変位ベクトル）が算出されて（ステップ２１１）、類似度評価手段１４に送られる。本第２の実施例では、テンプレートとして、ユーザ毎にあらかじめ全ての音素に関する２０次元ベクトルが認証システムの所定記憶手段に登録されている。類似度評価手段１４では、指定された言葉の音素に対応したテンプレートベクトルと、顔特徴点変位算出手段１３で算出されたベクトルとの内積を算出し、類似度計算・評価を行うが、これは第１の実施例と同様である（ステップ２１２〜２１６）。
【実施例３】
【００４９】
第１及び第２の実施例では、各フレーム毎の類似度の二乗和を用いて認証を行ったが、本第３の実施例では、全音素フレームの特徴量変位ベクトルの要素からなる２０×音素数次元の１つのベクトルを想定し、装置内にあらかじめ登録してある同じ次元のテンプレートベクトル（発語対象が特定キーワードなら、テンプレートは登録済みであり、発語対象が不特定なら、登録してある各音素の特徴量ベクトルから１つのベクトルを生成すればよい）との内積を算出して、類似度の算出・評価を行うものである。図８に本第３の実施例の全体の処理流れを示す。ステップ３１０，３１１，３１２以外、全体の処理の流れは第一の実施例と同様である。
【実施例４】
【００５０】
本第４の実施例は、所謂隠れマルコフモデル（ＨＭＭ；Ｈidden  Ｍarkov  Ｍodel）によって、時系列のベクトルデータを認識する公知の枠組みを利用したものである。本例では、ユーザが特定のキーワードを発語するものとする。
【００５１】
図９はＨＭＭの概念図を示したものである。本例でのＨＭＭはキーワードを構成する音素数ｎと同じｎ個の状態Ｓを有する。各状態Ｓは、他の状態へ遷移する確率ａを有し、時刻が進むにつれて状態の遷移が確率的に発生する。ＨＭＭは、各状態のときに、観測可能なシンボルＯを出力する。本例では、シンボルＯは特徴量変位ベクトルであり、Ｏ１，Ｏ２，…，Ｏｎのように音素数だけ存在する。図９中、ａｉｊは、状態ｉから状態ｊへ遷移する確率を示し、ｂｉ（ｔ）は、状態ｉにおいて出力Ｏｔを出力する確率である。なお、ＨＭＭは、その初期状態がＳ１〜Ｓｎのどれかであるかの確率分布を有する。
【００５２】
ＨＭＭを認識や認証に用いるには、まずＨＭＭを本認証システムの各ユーザごとに学習させておく必要がある。本例では、ユーザの数ｍだけのＨＭＭを用意し、各ＨＭＭを各ユーザに１対１に対応づけて学習させる。ＨＭＭの学習の処理の流れを図１０に示す。
【００５３】
ユーザの数だけのＨＭＭを用意して（ステップ４００）、まず、各ユーザにキーワードを発語をさせ（ステップ４０１）、学習に用いる特徴量変位ベクトルＯ１，Ｏ２，…，Ｏｎを得る（ステップ４０２）。そして、学習用のＯ１，Ｏ２，…，Ｏｎを発生しやすいようなＨＭＭの３つのパラメータａｉｊ，ｂｉ（ｔ）、初期状態の確率分布を推定する（ステップ４０３）。ここでは、公知のＢaum−Ｗelchのパラメータ推定法によるアルゴリズム（Ｆorward−Ｂackwardアルゴリズム）により、パラメータの尤度の変化が小さくなり、収束と見なせる時点まで繰返してパラメータを推定する。これにより、学習用の変位量Ｏ１，Ｏ２，…，Ｏｎを発生しやすいＨＭＭパラメータが得られる。これを全てのユーザについて繰返し、学習が終了する（ステップ４０４）。
【００５４】
図１１はＨＭＭによる認証処理の一例を示したものである。認証時には、ユーザの発語後（ステップ５０１）、顔特徴点点変位算出手段１３にて各音素フレームから特徴量変位ベクトルの列を算出し（ステップ５０２）、類似度評価手段１４において上記ｍ個の各ＨＭＭが当該変位ベクトル列を出力する確率を計算する（ステップ５０３）。該確率は、公知のＦｏｒｗａｒｄアルゴリズムによって再帰的に計算されるが、こうして得られたｍ個の確率のうち、最も高いものを算出したＨＭＭに使われた学習データの持ち主が、認証すべき人物である。
【００５５】
したがって、類似度評価手段１４では、上記ｍ個の確率のうちの最大のものが所定閾値以上であるか否か判定して（ステップ５０４）、所定閾値以上のとき、ユーザたる被験者を、当該最大確率を算出したＨＭＭに対応づけられた人物として認証する（ステップ５０５）。また、所定閾値以下だったならば認証不可とする（ステップ５０６）。ここで所定値とは、認証システムが、本人以外の人間を本人として認証してしまう誤認証率の許容値によって決定すべき定数であり、誤認証率と閾値は負の相関関係にある。ＨＭＭを用いた認証は、実データによる学習によって、認証精度を向上させることができる。
【００５６】
なお、上記例では、基準フレームに対する音素フレームの特徴点の変位量の系列をＨＭＭの生成対象としたが、基準フレームからの変位ではなく、直近の音素フレームに対する特徴点変化量の系列をＨＭＭの生成対象としてもよい。図１２は、この場合の認証処理の流れを示したものである。ここで、ステップ６０２が図１１と異なるのみで、それ以外は図１１と同様である。
【００５７】
なお、図１や図６で示した装置における各手段の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２、図７、図８、図１０〜図１２で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施例１の装置構成例を示す図。
【図２】実施例１の処理の流れを示す図。
【図３】顔検出例を示す図。
【図４】顔領域へのウィンドウ設定を示す図。
【図５】ウィンドウ内画像の線画化および正射影による端点検出の例を示す図。
【図６】本発明の実施例２の装置構成例を示す図。
【図７】実施例２の処理の流れを示す図。
【図８】実施例３の処理の流れを示す図。
【図９】本発明の実施例４で用いられる隠れマルコフモデル（ＨＭＭ）の概念図。
【図１０】ＨＭＭの学習の処理の流れを示す図。
【図１１】ＨＭＭによる認証処理の流れ（その１）を示す図。
【図１２】ＨＭＭによる認証処理の流れ（その２）を示す図。
【符号の説明】
【００５９】
１０  動画撮像手段
１１  顔検出手段
１２  フレーム抽出手段
１３  顔特徴点変位算出手段
１４  類似度評価手段
１５  音声取得手段
１６  音声分割手段
１７  発語促進手段
１８  発後指定手段
【図１】
2006268563.tif 000003
【図２】
2006268563.tif 000004
【図３】
2006268563.tif 000005
【図４】
2006268563.tif 000006
【図５】
2006268563.tif 000007
【図６】
2006268563.tif 000008
【図７】
2006268563.tif 000009
【図８】
2006268563.tif 000010
【図９】
2006268563.tif 000011
【図１０】
2006268563.tif 000012
【図１１】
2006268563.tif 000013
【図１２】
2006268563.tif 000014