(57)【要約】【課題】  利便性を向上できる認証装置を提供する。【解決手段】  複数の静止画像フレームデータを含んでなる動画像データを受け入れ、この動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する。そして静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内において、検出された人物画像の移動軌跡に対応する個人を特定する、個人特定処理を実行し、この個人特定処理の結果が、所定の認証処理に供される認証装置である。【選択図】        図１
2006133991.tif 000002
【特許請求の範囲】
【請求項１】
複数の静止画像フレームデータを含んでなる動画像データを受け入れる手段と、
前記動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する検出手段と、
静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内において、前記検出された人物画像の移動軌跡に対応する個人を特定する、個人特定処理を実行する手段と、
を含み、
前記個人特定処理の結果が、所定の認証処理に供されることを特徴とする認証装置。
【請求項２】
請求項１に記載の認証装置において、
前記検出手段は、
動画像データから少なくとも一つの移動体を検出し、当該個々の移動体のうち、所定の条件を満足する移動体の移動軌跡を人物画像の移動軌跡として検出することを特徴とする認証装置。
【請求項３】
請求項１に記載の認証装置において、
前記検出手段は、
色情報に基づいて人物画像の移動軌跡を検出することを特徴とする認証装置。
【請求項４】
請求項１に記載の認証装置において、
前記複数の静止画像フレームデータの少なくとも一部から人物の顔部分を検出する手段をさらに含み、
前記検出手段は、
前記検出された顔部分の情報に基づいて人物画像の移動軌跡を検出することを特徴とする認証装置。
【請求項５】
コンピュータに、
複数の静止画像フレームデータを含んでなる動画像データを受け入れる工程と、
前記動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する工程と、
静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内において、前記検出された人物画像の移動軌跡に対応する個人を特定する、個人特定処理を実行する工程と、
を実行させ、
前記個人特定処理の結果を、所定の認証処理に供することを特徴とする認証方法。
【請求項６】
コンピュータに、
複数の静止画像フレームデータを含んでなる動画像データを受け入れる手順と、
前記動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する手順と、
静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内において、前記検出された人物画像の移動軌跡に対応する個人を特定する、個人特定処理を実行する手順と、
を実行させ、
前記個人特定処理の結果を、所定の認証処理に供させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理機器の利用者の認証等に用いられる認証装置に関する。
【背景技術】
【０００２】
近年、情報処理機器の不正利用が社会的な問題となっており、ユーザ名やパスワードなどといった認証に関する個人情報の管理負担が増大している。こうした背景の下、画像処理技術を利用して、複写機において顔画像によって個人を認証し、予め登録された利用者にのみ使用を許可する技術が特許文献１に開示されている。これによれば、ユーザ名やパスワードといった盗用可能な情報を利用しないので、その管理負担を軽減できるなどの利点がある。
【特許文献１】特開２００２−１１１９２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の認証の方法では、複写機の利用希望者は、認証用の顔画像を撮像するため、カメラの前で一定の姿勢をとらねばならないなど、利便性が低いという問題点があった。
【０００４】
本発明は上記実情に鑑みて為されたもので、利便性を向上できる認証装置を提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００５】
上記従来例の問題点を解決するための本発明は、認証装置であって、複数の静止画像フレームデータを含んでなる動画像データを受け入れる手段と、前記動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する検出手段と、静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内において、前記検出された人物画像の移動軌跡に対応する個人を特定する、個人特定処理を実行する手段と、を含み、前記個人特定処理の結果が、所定の認証処理に供されることを特徴としている。
【０００６】
このように、撮像されている少なくとも一つの人物を動画像内で追跡し、各人物の画像に係る個人を特定して、当該特定の結果を認証処理に用いることで、カメラの前で一定の姿勢をとる必要がなく、利便性を向上できる。
【０００７】
ここで前記検出手段は、動画像データから少なくとも一つの移動体を検出し、当該個々の移動体のうち、所定の条件を満足する移動体の移動軌跡を人物画像の移動軌跡として検出することとしてもよいし、色情報に基づいて人物画像の移動軌跡を検出することとしてもよい。
【０００８】
また、前記複数の静止画像フレームデータの少なくとも一部から人物の顔部分を検出する手段をさらに含み、前記検出手段は、前記検出された顔部分の情報に基づいて人物画像の移動軌跡を検出することとしてもよい。
【０００９】
本発明の一態様に係る認証方法は、コンピュータに、複数の静止画像フレームデータを含んでなる動画像データを受け入れる工程と、前記動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する工程と、静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内において、前記検出された人物画像の移動軌跡に対応する個人を特定する、個人特定処理を実行する工程と、を実行させ、前記個人特定処理の結果を、所定の認証処理に供することを特徴としている。
【００１０】
また、本発明の別の態様に係るプログラムは、コンピュータに、複数の静止画像フレームデータを含んでなる動画像データを受け入れる手順と、前記動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する手順と、静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内において、前記検出された人物画像の移動軌跡に対応する個人を特定する、個人特定処理を実行する手順と、を実行させ、前記個人特定処理の結果を、所定の認証処理に供させることを特徴としている。
【発明を実施するための最良の形態】
【００１１】
本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係る認証装置１は、認証を必要とする情報処理機器としての複写機２に対してネットワークを介して接続されている。
【００１２】
また、認証装置１は、撮像部１１と、制御部１２と、記憶部１３と、通信部１４とを含んで構成されている。
【００１３】
撮像部１１は、少なくとも複写機２の利用希望者を撮像可能な場所に配置される。この撮像部１１は、例えばＣＣＤカメラなどであり、撮像した動画像データを制御部１２に出力する。ここで動画像データは、複数の静止画像フレームデータの集合である。各静止画像フレームデータには、時系列の順序に、１番から順に、フレーム番号を関連付けておく。
【００１４】
制御部１２は、ＣＰＵ等であり、記憶部１３に格納されているプログラムに従って動作する。本実施の形態では、この制御部１２は、撮像部１１から入力される動画像データを受け入れて記憶部１３に蓄積する。またこの制御部１２は、当該受け入れた動画像データから移動体を検出し、各移動体を人物の候補として、各移動体について（仮にそれが人物であった場合に）、それが誰であるかを特定する個人特定処理を実行する。さらに、この制御部１２は複写機２からネットワークを介して認証の要求が受信されると、当該認証の要求に応答して個人特定処理の結果に係る情報を、要求元である複写機２に対して送信出力する。
【００１５】
記憶部１３は、ＲＡＭ（Random Access Memory）などの記憶素子や、ハードディスク等のディスクデバイスを含んで構成される。この記憶部１３は、制御部１２によって実行されるプログラムを格納している。また、この記憶部１３は、制御部１２のワークメモリとしても動作する。
【００１６】
通信部１４は、ネットワークカード等である。この通信部１４は、ネットワークを介して、認証を必要とする情報処理機器（ここでは複写機２）に接続される。そして通信部１４は、制御部１２から入力される指示に従って、複写機２宛に、種々のデータを送信する。また通信部１４は、複写機２側から認証の要求などの種々のデータが到来すると、これらを受信して制御部１２に出力する。
【００１７】
次に制御部１２によって実行される処理の内容について説明する。この処理は、機能的には図２に示すように、動画像データ受入部２１と、人物領域軌跡特定部２２と、個人特定処理部２３と、認証処理部２４とを含んで構成されている。
【００１８】
動画像データ受入部２１は、撮像部１１から入力される動画像データを受け入れて、記憶部１３に格納する。
【００１９】
人物領域軌跡特定部２２は、動画像データに基づいて少なくとも一つの人物画像の移動軌跡を検出する。この人物領域軌跡特定部２２の処理としては、（１）いわゆるオプティカルフローを用いる方法と、（２）人物の顔部分を画像認識する方法と、（３）人物の肌の色を用いる方法とがある。これらの各方法については、後に述べる。
【００２０】
個人特定処理部２３は、動画像データに含まれる静止画像フレームデータの少なくとも一つを注目フレームデータとして、当該注目フレームデータ内における人物画像の移動軌跡に対応する領域を特定し、当該特定した領域に撮像されている個人を特定する。本実施の形態では、例えば顔部分を、特開２００３−２８１５４１号公報に開示されている方法で特定しておく（人物領域軌跡特定部２２において顔部分を検出している場合は、当該検出した顔部分の領域情報をそのまま用いる）。そして、特定された顔部分に含まれる画像に基づいて、当該画像に含まれる顔の三次元形状を、複数の平面パッチの組み合わせで近似する。この平面パッチは、それぞれ三次元量で特徴づけられることとなる。
【００２１】
本実施の形態では、予め認証の対象となる各人物の顔に関して各々演算された、複数の平面パッチの三次元量を、記憶部１３に保持しておく。そして、注目フレームデータに撮像されている顔に関する複数の平面パッチの三次元量と、保持されている各人物の顔に関する、複数の平面パッチの三次元量とを比較して、個人を特定する個人特定情報を出力する。なお、個人特定処理部２３は、個人が特定できなかった場合（撮像された人物が認証の対象として保持されていない場合）は、未知の人物であることを表す個人特定情報を出力する。
【００２２】
ここで人物領域軌跡特定部２２の動作について、（１）いわゆるオプティカルフローを用いる方法と、（２）人物の顔部分を画像認識する方法と、（３）人物の肌の色を用いる方法と、のそれぞれについて順次説明する。
【００２３】
まず、（１）オプティカルフローを用いる方法について説明する。オプティカルフローでは、対象となる動画像データに含まれる静止画像フレームデータの一つ（ここではｋ番目の静止画像フレームデータとする）に注目して、このｋ番目の静止画像フレームデータ内に複数のブロックを画定する。また、ｋ＋１番目の静止画像フレームデータ内にも、同様にして複数のブロックを画定する。
【００２４】
ここで各ブロックは、その一部が重なり合って配置されてもよい。例えば８×８画素のブロックをスキャンラインの方向（左から右へ１ライン辿り、右端に到達すると、下のラインに移動する走査順序）に４画素ずつ（左から右への移動も、ライン間の移動も４画素ずつとする）、ずらしながら配列してもよい。
【００２５】
人物領域軌跡特定部２２は、ｋ番目の静止画像フレームデータにおけるブロックの一つを参照ブロックとし、ｋ＋１番目の静止画像フレームデータにおける各ブロックとの間で、対応する画素同士の明度差を演算し、その総和を求める。そして当該総和の値を、各ブロックに関連付けて記憶する。
【００２６】
そしてｋ＋１番目の静止画像フレームデータにおける各ブロックのうち、関連する総和が最小となるブロックを特定し、ｋ番目の静止画像フレームデータの参照ブロック（の中心画素）から、ｋ＋１番目の静止画像フレームデータにおいて特定したブロック（の中心画素）を結ぶ線分を速度ベクトルとする。
【００２７】
次に、ｋ番目の静止画像フレームデータにおける各ブロックを参照ブロックとしたときの速度ベクトル（各ブロックに対応する速度ベクトル）を求め、互いに隣接するブロックに対応する速度ベクトルの差が予め定めたしきい値未満となるブロックの群を特定する。
【００２８】
このブロックの群の特定は、各ブロックに識別子を付与することで行うことができる。すなわち、ブロックのうち、識別子を付与していないものの一つを注目ブロックとして選択し、固有の識別子を付与する。そして、この注目ブロックの隣接ブロックのうち、識別子が未だ付与されていないものを対象ブロックとして特定する。そして注目ブロックに対応する速度ベクトルと対象ブロックの速度ベクトルとを比較してその差（速度ベクトルの各要素の差の二乗和でよい）が予め定めたしきい値未満の場合、当該対象ブロックに、注目ブロックと同じ識別子を付する。速度ベクトルの差が予め定めたしきい値以上であれば、識別子を付与しない。そして各対象ブロックを注目ブロックとして、処理を続け、対象ブロックが見いだされなくなるまでこの処理を行う。
【００２９】
対象ブロックが見いだされなくなれば、識別子を付与していないブロックを検索して注目ブロックとして選択する処理を繰返す。こうしてすべてのブロックに識別子が付与されるようになると、人物領域軌跡特定部２２は、その同一の識別子が付与されているブロック群ごとに、当該ブロック群に含まれるブロックの数を調べる。ここでブロックの数が、予め定めておいたブロック数範囲にあたるものがあれば、当該ブロック群は、人物であると判断する。この方法によると、移動体のうちから、移動体のサイズに基づいて人物であるか否かを判断することになる。そして人物であると判断されたブロック群に対応する画素群を人物画像部分として、ｋ番目の静止画像フレームデータに対応する当該画素群を特定する領域情報を、記憶部１３に格納する。
【００３０】
人物領域軌跡特定部２２は、この処理を、各静止画像フレームごとに繰り返して行う。これにより記憶部１３には、各静止画像フレームデータに対応して、人物が撮像されていると判断される一連の領域の情報が格納されることになる。
【００３１】
また、（２）人物の顔部分を画像認識する方法では、動画像データに含まれる各静止画像フレームデータから顔部分を画像認識して、各顔部分の認識位置を特定する情報を生成しておく。次に任意のｋ番目の静止画像フレームにおける顔部分の認識位置の一つを注目顔部分として、ｋ＋１番目の静止画像フレームにおける複数の顔部分の認識位置のうち、注目顔部分の認識位置との差が最も小さいもの（最も近くにあるもの）を選択する。そして、ｋ番目での注目顔部分の認識位置を表す情報と、ｋ＋１番目での静止画像フレームにおいて選択した認識位置を表す情報とを関連づけて記憶部１３に格納する。以下、同様にして、ｋ＋１番目において選択した認識位置を注目顔部分として、ｋ＋２番目の静止画像フレームにおける複数の顔部分の認識位置のうち、注目顔部分の認識位置との差が最も小さいもの（最も近くにあるもの）を選択する。そして、ｋ＋１番目の注目顔部分の認識位置を表す情報と、ｋ＋２番目の静止画像フレームにおいて選択した認識位置を表す情報とを関連づけて記憶部１３に格納する。これにより、動画像データにおける人物の顔部分の位置座標の移動軌跡が、記憶部１３に蓄積されることとなる。
【００３２】
なお、ここで、顔を特定する処理について説明する。人物領域軌跡特定部２２は、例えば動画像データに含まれる静止画像フレームについてグレイスケールのデータに変換したうえで、人物の顔を学習した第１学習データベースを用い、画像データ中から人物の顔に相当する部分を抽出するものであればよい。この際、顔部分を所定の方法で特定した後、予め正立かつ正面向きの顔の画像（正規画像）と、正規画像から、顔を右向き及び左向きにそれぞれ所定角度だけ回転させた複数の顔画像を用意して、これらを学習した第２学習データベースを用いて、顔部分の画像を正規画像に近接するよう変換し（正規化）、第１学習データベース内の情報とを用いて、当該正規化後の画像データが顔の画像か否かを判断するようにしてもよい。これにより、人物の顔がどのような角度から撮像されていても、正面向きの顔の学習結果に基づいて顔の探索ができるようになる。
【００３３】
さらに、（３）人物の肌の色（すなわち色情報）を用いる場合、任意のｋ番目の静止画像フレームにおいて、予め定めた肌色の範囲にある画素を選択する。具体的には、静止画像フレームの画像データの各画素について、その画素値を色相成分（Ｈｕｅ）の値に変換する。肌色の範囲は予め、この色相値の範囲（上限値Ｈmax及び下限値Ｈmin）として設定しておく。
【００３４】
人物領域軌跡特定部２２は、静止画像フレームと同サイズのデータ領域を記憶部１３に確保し、当該データ領域内の各値（１ビットの値であるとする）を「０」に初期化する。そしてｋ番目の静止画像フレームに含まれる画素のうち、その値（色相成分の値）が、肌色の範囲である下限値Ｈmin以上、かつ上限値Ｈmax未満となっている画素に対応する、上記データ領域の値を「１」に設定する。これにより、ｋ番目の静止画像フレームにおいて、肌色に相当する色の領域を表すデータが記憶部１３に生成される。
【００３５】
人物領域軌跡特定部２２は、このデータ領域内で値が「１」となっている各連続領域（「０」となっている値で囲まれる部分）に、それぞれ互いに異なるラベル値を関連づける処理（ラベリング処理）を行う。そしてラベリング処理によって得られた画素塊のうち、予め定めたしきい値以上の画素塊となっている部分が人物に対応する部分であると判断する。なお、ラベリング処理の具体的方法については、広く知られているので、ここでの詳細な説明を省略する。
【００３６】
人物領域軌跡特定部２２は、同様にしてｋ＋１番目の静止画像フレームについても、このデータ領域を生成してラベリングの処理を行い、人物に対応する部分を特定する。次に人物領域軌跡特定部２２は、ｋ番目の静止画像フレームにおいて、人物に対応する部分として特定した各部分の重心（各部分について、それぞれに含まれる画素の位置の平均）と、ｋ＋１番目の静止画像フレームにおいて、人物に対応する部分として特定した各部分の重心とを演算する。
【００３７】
そしてｋ番目の静止画像フレームにおいて、人物に対応する部分として特定した部分の一つを注目部分として、ｋ＋１番目の静止画像フレームにおいて人物に対応する部分として特定した部分のうち、その重心位置と、注目部分の重心位置との差が最も小さいもの（最も近くにあるもの）を選択する。そして、ｋ番目での注目部分のラベル値を表す情報と、ｋ＋１番目での静止画像フレームにおいて選択した重心位置に対応するラベル値を表す情報とを関連づけて記憶部１３に格納する。以下、ｋ＋２，ｋ＋３…番目の各静止画像フレームに対しても同様の処理を帰納的に繰り返して行う。
【００３８】
これにより、動画像データにおける人物の肌色部分の領域の移動軌跡が、記憶部１３に蓄積されることとなる。すなわち静止画像フレーム内で人物が撮像されている領域のそれぞれがラベル付けされ、そのうちの一人を注目人物としたときに、当該注目人物に係る静止画像フレームごとの一連のラベル番号が、互いに関連付けて記憶されることになる。つまり、各人物ごとの移動軌跡が一連のラベル番号と、当該ラベル番号に対応する領域を特定する情報（データ領域上の画素塊）とによって表現される。
【００３９】
なお、ここでは人物領域軌跡特定部２２は、（１）いわゆるオプティカルフローを用いる方法と、（２）人物の顔部分を画像認識する方法と、（３）人物の肌の色を用いる方法とを単独で用いる例について述べたが、例えばオプティカルフローを用いる方法と顔部分の画像認識とを組み合わせて、オプティカルフローの処理によって人物の領域として認識された領域のうち、当該領域内に顔部分が認識されないものについては、人物の領域と判断しないこととするなど、複数の方法を組み合わせて用いてもよい。
【００４０】
このように本実施の形態においては、人物領域軌跡特定部２２が、各人物ごとの移動軌跡を特定する。概念的には、この移動軌跡の特定により、撮像されている人物の一人を注目人物としたときに、静止画像フレームごとに、当該注目人物の撮像されている領域が特定される。例えば図３に示すように、人物ＡとＢとが撮像されている場合、各人物Ａ，Ｂが各静止画像フレーム上で区別可能となる。
【００４１】
本実施の形態の制御部１２は、撮像部１１において撮像された動画像データ上において、上述の方法で人物の撮像されていると判断される各部分について、各々の移動軌跡を認識する。また、動画像データに含まれる静止画像フレームデータの少なくとも一つから、少なくとも一つの人物画像の移動軌跡に対応する領域を特定し、当該特定した領域に撮像されている個人を特定する。
【００４２】
これにより、制御部１２は、認識された移動軌跡の情報（一連の静止画像フレーム上での対応する領域を特定する一連の情報）に対して、各個人を特定する情報を関連づけることができるようになる。すなわち、制御部１２は、個人を特定する個人特定情報を、移動軌跡の情報に関連づけて記憶部１３に格納しておく。図３の例でいえば、人物Ａ，Ｂの各々についてその個人特定情報が関連付けて記憶されることになる。
【００４３】
認証処理部２４は、認証を必要とする情報処理機器としての複写機２から認証の要求を受けると、撮像部１１において撮像された動画像データ上で、当該要求元の複写機２が撮像されている位置（認証要求位置）を取得する。具体的に、この認証要求位置の情報は、複写機２を特定する情報に関連づけて、予め記憶部１３に格納しておけばよい。
【００４４】
認証処理部２４は、認証の要求があった時点で撮像されている静止画像フレーム上に含まれる、各移動軌跡に対応する領域のうち、認証要求位置に最も近い領域（例えば当該領域の重心が認証要求位置に最も近いもの）を選択する（例えば図３（ｂ）の人物Ａ）。
【００４５】
そして認証処理部２４は、当該選択した領域に対応する移動軌跡の情報に関連づけて、記憶部１３に格納されている個人特定情報を取得する。認証処理部２４は、当該取得した個人特定情報が、未知の人物であることを表す情報であるか否かを判断し、未知の人物であることを表す情報である場合は、認証に失敗したことを表す情報を、認証要求元である複写機２に対して送信する。また、当該取得した個人特定情報が、未知の人物であることを表す情報でなかったならば、認証に成功したことを表す情報を、認証要求元である複写機２に対して送信する。
【００４６】
なお、ここでは複写機２のみが認証を必要とする情報処理機器であるとしているが、認証を必要とする情報処理機器は、動画像データ上に複数撮像されていてもよい。この場合は、各情報処理機器ごとに、その認証要求位置の情報を記憶部１３に格納しておき、制御部１２は、認証の要求元となった情報処理機器に係る認証要求位置の情報を記憶部１３から読み出して、認証の要求があった時点で撮像されている静止画像フレーム上に含まれる、各移動軌跡に対応する領域のうち、認証要求位置に最も近い領域を選択するようにすればよい。
【００４７】
さらにここでは、認証の要求があったときに、認証の正否の情報を送信するようにしているが、予め設定されている認証要求位置のうちの注目位置に対して、移動軌跡に対応する領域の少なくとも一つが所定の距離範囲内に近接した場合に、当該近接した領域に対応する移動軌跡の情報に関連づけて、記憶部１３に格納されている個人特定情報を取得して、当該取得した個人特定情報を、上記注目位置に対応する情報処理機器に対して送信してもよい。これにより情報処理機器側では、例えば当該個人特定情報によって特定される個人宛のメールを受信して、当該個人に対して提示するなどの処理を行うことができる。
【００４８】
このように本実施の形態によると、動画像データから、各人物の移動軌跡を認識して追跡しておくとともに、各移動軌跡に対応する個人を識別しておく。そして、認証の要求が情報処理機器からあったときに、当該情報処理機器（の撮像位置）との距離が最も小さい領域にいる個人の情報を用いて、当該情報処理機器における認証の処理を行う。この処理は、個人が特定できる場合に認証の成功としてもよいし、当該個人を特定する情報を認証の要求元に送信して、認証の処理に供してもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態に係る認証装置の構成ブロック図である。
【図２】本発明の実施の形態に係る認証装置の機能ブロック図である。
【図３】本発明の実施の形態に係る認証装置の動作例を表す説明図である。
【符号の説明】
【００５０】
１  認証装置、２  複写機、１１  撮像部、１２  制御部、１３  記憶部、１４  通信部、２１  動画像データ受入部、２２  人物領域軌跡特定部、２３  個人特定処理部、２４  認証処理部。
【図１】
2006133991.tif 000003
【図２】
2006133991.tif 000004
【図３】
2006133991.tif 000005