(57)【要約】【課題】少ないメモリ容量、少ない演算量でいて、指紋などの参照画像と認証対象画像との照合を高い精度で行う。【解決手段】照合装置において、撮像部は、照合の対象画像を撮像する。演算部は、撮像された対象画像から、第１の方向に沿って対象画像内の線の方向を特徴づける特徴量、または対象画像を単一の物理量として特徴づける特徴量を算出する（Ｓ４０）。また、対象画像の特徴量を参照してデータ取得の対象とすべき領域を設定し（Ｓ４４）、その領域から、第１の方向と異なる第２の方向に沿って対象画像内の線の方向を特徴づける特徴量、または対象画像を単一の物理量として特徴づける特徴量を算出する（Ｓ４５）。照合部は、少なくとも対象画像と参照画像との第２の方向に沿った特徴量同士を照合する。【選択図】図１６
2006236309.tif 000002
【特許請求の範囲】
【請求項１】
照合のための参照画像から、第１の方向に沿って前記参照画像内の線の方向を特徴づける特徴量、または前記参照画像を単一の物理量として特徴づける特徴量を算出するステップと、
前記特徴量を参照して、データ取得の対象とすべき領域を設定するステップと、
前記データ取得の対象とすべき領域から、前記第１の方向とは異なる第２の方向に沿って前記参照画像内の線の方向を特徴づける特徴量、または前記参照画像を単一の物理量として特徴づける特徴量を算出するステップと、
前記第２の方向に沿った特徴量を記録するステップと、
を備えることを特徴とする照合方法。
【請求項２】
照合の対象画像から、前記第１の方向に沿って前記対象画像内の線の方向を特徴づける特徴量、または前記対象画像を単一の物理量として特徴づける特徴量を算出するステップと、
前記特徴量を参照して、データ取得の対象とすべき領域を設定するステップと、
前記データ取得の対象とすべき領域から、前記第２の方向に沿って前記対象画像内の線の方向を特徴づける特徴量、または前記対象画像を単一の物理量として特徴づける特徴量を算出するステップと、
少なくとも前記参照画像と前記対象画像との第２の方向に沿った特徴量同士を照合するステップと、
を備えることを特徴とする請求項１に記載の照合方法。
【請求項３】
照合のための参照画像を第１の方向に沿って複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記第１の方向に沿った特徴量群を生成するステップと、
前記特徴量群を参照して、データ取得の対象とすべき領域を設定するステップと、
前記データ取得の対象とすべき領域を、前記第１の方向とは異なる第２の方向に沿って複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記第２の方向に沿った特徴量群を生成するステップと、
前記第２の方向に沿った特徴量群を記録するステップと、
を備えることを特徴とする照合方法。
【請求項４】
照合の対象画像を前記第１の方向に沿って複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記第１の方向に沿った特徴量群を生成するステップと、
前記特徴量群を参照して、データ取得の対象とすべき領域を設定するステップと、
前記データ取得の対象とすべき領域を、前記第２の方向に沿って複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記第２の方向に沿った特徴量群を生成するステップと、
少なくとも前記参照画像と前記対象画像との第２の方向に沿った特徴量群同士を照合するステップと、
を備えることを特徴とする請求項３に記載の照合方法。
【請求項５】
前記参照画像および前記対象画像は、対象物が存在しうる場所が撮像された少なくとも２枚の画像であり、
照合するステップにおいて照合した結果をもとに、前記対象物が位置する領域を認識するステップをさら備えることを特徴とする請求項２または４に記載の照合方法。
【請求項６】
前記第２の方向に沿った特徴量群を参照して、データ取得の対象とすべき領域を再設定するステップと、
前記データ取得の対象とすべき領域を、前記第１の方向に沿って複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記第１の方向に沿った特徴量群を再生成するステップと、
をさらに備えることを特徴とする請求項３から５のいずれかに記載の照合方法。
【請求項７】
照合のための参照画像または対象画像を複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、所定の方向に沿った特徴量群を生成するステップと、
前記特徴量群のうち注目すべき特徴量を参照して、データ取得の対象とすべき領域を設定するステップと、
前記データ取得の対象とすべき領域を、前記所定の方向に沿って複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記所定の方向に沿った特徴量群を再生成するステップと、
を備えることを特徴とする照合方法。
【請求項８】
照合のための参照画像または対象画像を複数の領域に分割するステップと、
分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、所定の方向に沿った特徴量群を生成するステップと、を備え、
前記生成するステップは、前記特徴量群のうち注目すべき特徴量を参照して、照合に使用する範囲を決定することを特徴とする照合方法。
【請求項９】
照合の対象画像を撮像する撮像部と、
撮像された対象画像から、第１の方向に沿って前記対象画像内の線の方向を特徴づける特徴量、または前記対象画像を単一の物理量として特徴づける特徴量を算出する演算部と、
前記対象画像の特徴量と、参照画像の特徴量とを照合する照合部と、を備え、
前記演算部は、前記対象画像の特徴量を参照してデータ取得の対象とすべき領域を設定し、その領域から、前記第１の方向と異なる第２の方向に沿って前記対象画像内の線の方向を特徴づける特徴量、または前記対象画像を単一の物理量として特徴づける特徴量を算出し、
前記照合部は、少なくとも前記対象画像と前記参照画像との第２の方向に沿った特徴量同士を照合することを特徴とする照合装置。
【請求項１０】
照合の対象画像を撮像する撮像部と、
撮像された対象画像を第１の方向に沿って複数に分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記第１の方向に沿った特徴量群を生成する演算部と、
前記対象画像の特徴量群と、参照画像の特徴量群とを照合する照合部と、を備え、
前記演算部は、前記第１の方向に沿った特徴量群を参照してデータ取得の対象とすべき領域を設定し、その領域を前記第１の方向と異なる第２の方向に沿って複数に分割した領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、前記第２の方向に沿った特徴量群を生成し、
前記照合部は、少なくとも前記対象画像と前記参照画像との第２の方向に沿った特徴量群同士を照合することを特徴とする照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、指紋や虹彩などの生体情報を用いて、本人認証を行う際などに利用可能な照合方法および装置に関する。
【背景技術】
【０００２】
近年、指紋認証システムが携帯電話機などの携帯機器に搭載されるようになってきている。携帯機器は、デスクトップＰＣや大規模システムと異なり、メモリやＣＰＵ性能などに制限があるため、少ないメモリや安価なＣＰＵで実装可能な認証方法が求められている。
【０００３】
従来の指紋認証方法には、大別して、（ａ）マニューシャ法、（ｂ）パターンマッチング法、（ｃ）チップマッチング法、（ｄ）周波数解析法があった。（ａ）マニューシャ法は、指紋画像から、隆線の終端や分岐といった特徴的な点、すなわちマニューシャを抽出し、これらの点の情報を、２つの指紋画像間で比較することにより、指紋の照合を行い、本人か否かの判定を行う。
【０００４】
（ｂ）パターンマッチング法は、２つの指紋画像間で、画像のパターンを直接比較することにより、指紋の照合を行い、本人か否かの判定を行う。（ｃ）チップマッチング法は、特徴点の周辺の小領域の画像、すなわちチップ画像を登録データとして持ち、このチップ画像を用いて指紋照合を行う。（ｄ）周波数解析法は、指紋画像をスライスしたラインに対して、周波数解析を行い、スライン方向に垂直な方向に対する周波数成分の分布を、２つの指紋画像間で比較することにより、指紋の照合を行う。
【０００５】
特許文献１は、指紋画像などに対して、特徴ベクトルとその品質指標を抽出し、特徴ベクトルの誤差分布を用いて求めた信頼度情報を特徴量に付与し、これらを用いて指紋照合を行う技術を開示する。
【特許文献１】特開平１０−１７７６５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、（ａ）マニューシャ法および（ｃ）チップマッチング法は、撮像した画像中で、切れている箇所を繋ぐなどの前処理が必要になり、演算量が多くなる。（ｂ）パターンマッチング法は、画像全体のデータを記憶しなければならないので、特に多数人のデータを登録する場合、メモリ容量が大きくなってしまう。（ｄ）周波数解析法は、周波数変換が必要になるため、演算量が多くなる。上記特許文献１も、統計的解析が必要になるため、演算量が多くなる。
【０００７】
本発明はこうした課題に鑑みてなされたものであり、その目的は、少ないメモリ容量、少ない演算量でいて、精度が高い照合を行うことができる照合方法および装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の照合方法は、照合のための参照画像から、第１の方向に沿って参照画像内の線の方向を特徴づける特徴量、または参照画像を単一の物理量として特徴づける特徴量を算出するステップと、特徴量を参照して、データ取得の対象とすべき領域を設定するステップと、データ取得の対象とすべき領域から、第１の方向とは異なる第２の方向に沿って参照画像内の線の方向を特徴づける特徴量、または参照画像を単一の物理量として特徴づける特徴量を算出するステップと、第２の方向に沿った特徴量を記録するステップと、を備える。
【０００９】
「線」は、指紋の隆線または谷線であってもよい。「線の方向を特徴づける特徴量」は、各画素の勾配ベクトルを基に算出した値であってもよい。「単一の物理量」は、ベクトル量、スカラー量であってもよく、例えば、縞の切替回数など、画像濃度の切替り態様であってもよい。この態様によると、照合のための参照データを少ない容量で登録することができる。また、複数の方向に沿って、特徴量を算出する場合、ある方向に対する算出結果を利用することにより、それぞれの方向に対して独立に行うよりも、精度の高い参照データを生成することができる。
【００１０】
照合の対象画像から、第１の方向に沿って対象画像内の線の方向を特徴づける特徴量、または対象画像を単一の物理量として特徴づける特徴量を算出するステップと、特徴量を参照して、データ取得の対象とすべき領域を設定するステップと、データ取得の対象とすべき領域から、第２の方向に沿って対象画像内の線の方向を特徴づける特徴量、または対象画像を単一の物理量として特徴づける特徴量を算出するステップと、少なくとも参照画像と対象画像との第２の方向に沿った特徴量同士を照合するステップと、を備えてもよい。
【００１１】
「照合するステップ」は、参照画像と対象画像との第１の方向に沿った特徴量同士を合わせて照合してもよい。この態様によると、特徴量同士を照合するため、少ないメモリ容量、少ない演算量で照合を行うことができる。また、上述のように生成した精度の高い参照データと、それと同様に生成した対象データとを照合することにより、照合精度を高めることができる。
【００１２】
参照画像および対象画像は、対象物が存在しうる場所が撮像された少なくとも２枚の画像であってもよい。対象物は、動体であってもよい。「画像」は、熱画像や距離画像なども包含する。「熱画像」とは、各画素値が熱情報を示す画像である。「距離画像」とは、各画素値が距離情報を示す画像である。照合するステップにおいて照合した結果をもとに、対象物が位置する領域を認識するステップをさらに含んでもよい。この場合、２枚の画像間において特徴量同士を照合するので、画素値そのものを照合する場合より少ない演算量で対象物の位置を認識できる。
【００１３】
認識するステップは、照合するステップにおいて参照画像と対象画像との第１の方向に沿った特徴量同士を照合した結果をもとに、第１の方向における対象物が位置する範囲を特定するステップと、照合するステップにおいて参照画像と対象画像との第２の方向に沿った特徴量同士を照合した結果をもとに、第２の方向における対象物が位置する範囲を特定するステップとを含んでもよい。この場合、第１の方向および第２の方向における対象物が位置する範囲から対象物が位置する領域を正確に認識できる。
【００１４】
認識するステップにおいて認識した領域における距離情報を取得するステップと、取得した距離情報をもとに対象物の距離を特定するステップと、をさらに含んでもよい。あるいは、参照画像および対象画像は、各画素値が距離情報を示す距離画像であり、認識するステップにおいて認識した領域における距離情報をもとに、対象物の距離を特定するステップをさらに含んでもよい。この場合、対象物の距離を特定できるので、照合方法としての適用範囲が広がる。認識した領域とおよび特定した距離をもとに、対象物の姿勢を特定するステップをさらに含んでもよい。この場合、対象物の姿勢を特定できるので、照合方法としての適用範囲が広がる。
【００１５】
参照画像および対象画像のデータを符号化するステップと、符号化するステップにおいて符号化したデータと、認識するステップにおいて認識した対象物が位置する領域に関するデータと、が含められたストリームを生成するステップと、をさらに備えてもよい。この場合、符号化した画像のデータと、対象物が位置する領域に関するデータとが含められたストリームを生成するので、生成されたストリームを再生する場合、生成されたストリームから容易に画像内の対象物を抽出できる。
【００１６】
本発明の別の態様もまた、照合方法である。この方法は、照合のための参照画像を第１の方向に沿って複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、第１の方向に沿った特徴量群を生成するステップと、特徴量群を参照して、データ取得の対象とすべき領域を設定するステップと、データ取得の対象とすべき領域を、第１の方向とは異なる第２の方向に沿って複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、第２の方向に沿った特徴量群を生成するステップと、第２の方向に沿った特徴量群を記録するステップと、を備える。
【００１７】
「特徴量群」は、各方向に沿った座標軸の関数であってもよい。「設定するステップ」は、第１の方向に沿った特徴量群のうち、最大値など注目すべき特徴量を参照して、データ取得の対象とすべき領域を設定してもよい。この態様によると、照合のための参照データを少ない容量で登録することができる。また、複数の方向に沿って、特徴量群を算出する場合、ある方向に対する算出結果を利用することにより、それぞれの方向に対して独立に行うよりも、精度の高い参照データを生成することができる。
【００１８】
照合の対象画像を第１の方向に沿って複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、第１の方向に沿った特徴量群を生成するステップと、特徴量群を参照して、データ取得の対象とすべき領域を設定するステップと、データ取得の対象とすべき領域を、第２の方向に沿って複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、第２の方向に沿った特徴量群を生成するステップと、少なくとも参照画像と対象画像との第２の方向に沿った特徴量群同士を照合するステップと、を備えてもよい。
【００１９】
「照合するステップ」は、参照画像と対象画像との第１の方向に沿った特徴量群同士を合わせて照合してもよい。この態様によると、特徴量群同士を照合するため、少ないメモリ容量、少ない演算量で照合を行うことができる。また、上述のように生成した精度の高い参照データと、それと同様に生成した対象データとを照合することにより、照合精度を高めることができる。
【００２０】
第２の方向に沿った特徴量群を参照して、データ取得の対象とすべき領域を再設定するステップと、データ取得の対象とすべき領域を、第１の方向に沿って複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、第１の方向に沿った特徴量群を再生成するステップと、をさらに備えてもよい。
【００２１】
この態様によると、参照画像または対象画像において、照合に対する寄与が大きい部分を安定的に抽出することができ、精度の高い照合を行うことができる。
【００２２】
本発明のさらに別の態様もまた、照合方法である。この方法は、照合のための参照画像または対象画像を複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、所定の方向に沿った特徴量群を生成するステップと、特徴量群のうち注目すべき特徴量を参照して、データ取得の対象とすべき領域を設定するステップと、データ取得の対象とすべき領域を、所定の方向に沿って複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、所定の方向に沿った特徴量群を再生成するステップと、を備える。
【００２３】
この態様によると、参照画像または対象画像において、照合に対する寄与が大きい部分を安定的に抽出することができ、精度の高い照合を行うことができる。
【００２４】
本発明のさらに別の態様もまた、照合方法である。この方法は、照合のための参照画像または対象画像を複数の領域に分割するステップと、分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、所定の方向に沿った特徴量群を生成するステップと、を備える。生成するステップは、特徴量群のうち注目すべき特徴量を参照して、照合に使用する範囲を決定する。
【００２５】
この態様によると、参照画像または対象画像において、照合に対する寄与が大きい部分を安定的に抽出することができ、精度の高い照合を行うことができる。
【００２６】
本発明のさらに別の態様は、照合装置である。この装置は、照合の対象画像を撮像する撮像部と、撮像された対象画像から、第１の方向に沿って対象画像内の線の方向を特徴づける特徴量、または対象画像を単一の物理量として特徴づける特徴量を算出する演算部と、対象画像の特徴量と、参照画像の特徴量とを照合する照合部と、を備える。演算部は、対象画像の特徴量を参照してデータ取得の対象とすべき領域を設定し、その領域から、第１の方向と異なる第２の方向に沿って対象画像内の線の方向を特徴づける特徴量、または対象画像を単一の物理量として特徴づける特徴量を算出し、照合部は、少なくとも対象画像と参照画像との第２の方向に沿った特徴量同士を照合する。
【００２７】
「照合部」は、参照画像と対象画像との第１の方向に沿った特徴量同士を合わせて照合してもよい。照合部において照合した結果をもとに、対象物が位置する領域を認識する認識部をさらに含んでもよい。認識部は、照合部において参照画像と対象画像との第１の方向に沿った特徴量同士を照合した結果をもとに、第１の方向における対象物が位置する範囲を特定する手段と、照合するステップにおいて参照画像と対象画像との第２の方向に沿った特徴量同士を照合した結果をもとに、第２の方向における対象物が位置する範囲を特定する手段とを含んでもよい。この態様によると、特徴量同士を照合するため、少ないメモリ容量、少ない演算量で照合を行うことができる。また、複数の方向について特徴量を算出する場合、ある方向に対する算出結果を利用することにより、他の方向に対する特徴量算出の精度を高めることができ、照合精度も高めることができる。
【００２８】
本発明のさらに別の態様もまた、照合装置である。この装置は、照合の対象画像を撮像する撮像部と、撮像された対象画像を第１の方向に沿って複数に分割された領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、第１の方向に沿った特徴量群を生成する演算部と、対象画像の特徴量群と、参照画像の特徴量群とを照合する照合部と、を備える。演算部は、第１の方向に沿った特徴量群を参照してデータ取得の対象とすべき領域を設定し、その領域を第１の方向と異なる第２の方向に沿って複数に分割した領域ごとに、領域内の線の方向を特徴づける特徴量、または領域を単一の物理量として特徴づける特徴量を算出し、第２の方向に沿った特徴量群を生成し、照合部は、少なくとも対象画像と参照画像との第２の方向に沿った特徴量群同士を照合する。
【００２９】
「照合部」は、参照画像と対象画像との第１の方向に沿った特徴量群同士を合わせて照合してもよい。この態様によると、特徴量群同士を照合するため、少ないメモリ容量、少ない演算量で照合を行うことができる。また、複数の方向について特徴量を算出する場合、ある方向に対する算出結果を利用することにより、他の方向に対する特徴量算出の精度を高めることができ、照合精度も高めることができる。
【００３０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００３１】
本発明によれば、少ないメモリ容量、少ない演算量でいて、精度の高い照合を行うことができる。
【発明を実施するための最良の形態】
【００３２】
（実施形態１）
実施形態１は、指紋画像上の基準となる方向に対して、垂直な方向のラインに沿ったライン状の領域について、その領域内の隆線または谷線の方向を特徴づける１つのベクトルを求め、その成分を算出する。そして、その成分の基準方向の分布を求め、同様の方法で求めた登録データの分布と比較することにより、指紋画像間の照合を行い認証するものである。
【００３３】
図１は、実施形態１における照合装置１の機能ブロックを示す図である。ここに示す各ブロックは、ハードウェア的には、プロセッサ、ＲＡＭなどの各種素子や、センサなどの各種デバイスで実現でき、ソフトウェア的にはコンピュータプログラムなどによって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００３４】
照合装置１は、撮像部１００、処理部２００を備える。撮像部１００は、ＣＣＤ（Charge Coupled Device）などが用いられ、ユーザの指を撮像し、画像データとして処理部２００に出力する。例えば、携帯機器にＣＣＤなどのラインセンサを搭載して撮像する場合、その上に指をかざしてもらい、そのラインセンサに対して垂直方向に指をスライドしてもらうことにより、指紋画像を採取してもよい。
【００３５】
処理部２００は、画像バッファ２１０、演算部２２０、照合部２３０、および記録部２４０を含む。画像バッファ２１０は、撮像部１００から入力される画像データを一時記憶したり、演算部２２０の作業領域としても利用されるメモリ領域である。演算部２２０は、画像バッファ２１０内の画像データに後述する各種の演算を施す。照合部２３０は、認証対象とすべく画像バッファ２１０内に記憶された画像データの特徴量と、記録部２４０に登録された画像データの特徴量とを比較して、同一人物の指紋であるか否かを判定する。記録部２４０は、予め撮像された指紋画像の特徴量を登録している。携帯電話機などに使用される場合、１人のデータが登録される場合が多いが、部屋のゲートなどに使用される場合、複数人のデータが登録される場合が多い。
【００３６】
図２は、実施形態１における照合装置１の参照データを生成する処理を説明するためのフローチャートである。この参照データは、認証すべき人物の指紋画像を、所定の方向成分の分布として、ここでは線状の領域内の隆線または谷線方向を特徴づける特徴量の分布として、予め登録しておくものである。
【００３７】
まず、撮像部１００は、ユーザがかざした指を撮像し、撮像した画像を電気信号に変換し、処理部２００に出力する。処理部２００は、その信号を画像データとして取得し、画像バッファ２１０に一時記憶する（Ｓ１０）。演算部２２０は、その画像データを２値データに変換する（Ｓ１２）。例えば、所定のしきい値より明るい値を白、それより暗い値を黒と判定する。そして、白を１または０、黒を０または１と表現する。
【００３８】
次に、演算部２２０は、２値化した画像データを線状の領域ごとに分割する（Ｓ１４）。図３は、実施形態１における撮像した指紋画像を示す図である。図３において、演算部２２０は、Ｘ軸方向を長手方向、Ｙ軸方向を短手方向とする線状の領域１２を、指紋画像上に形成している。この線状の領域は、短手方向を１画素または３画素に設定することが好ましい。このような線状の領域をＹ軸方向、すなわち指の長手方向に複数形成して、指紋画像を複数の領域に分割する。
【００３９】
次に、演算部２２０は、各画素の勾配を算出する（Ｓ１６）。勾配の算出方法については、文献「コンピュータ画像処理、田村秀行編著、（株）オーム社、（ｐ１８２〜１９１）」に記載された手法を用いることができる。
【００４０】
以下、簡単に説明すると、デジタル画像を対象に勾配を計算するためには、ｘ方向およびｙ方向の１次の偏微分を計算する必要がある。
Δｘｆ（ｉ，ｊ）≡｛ｆ（ｉ＋１，ｊ）−ｆ（ｉ−１，ｊ）｝／２  …（式１）
Δｙｆ（ｉ，ｊ）≡｛ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ−１）｝／２  …（式２）
【００４１】
デジタル画像に対する差分オペレータでは、（ｉ，ｊ）の画素における微分値が（ｉ，ｊ）を中心とした３×３の近傍の画素の濃度値、すなわちｆ（ｉ±１，ｊ±１）の線形結合として定義される。このことは、画像の微分を求める計算は、３×３の加重マトリクスを用いた空間フィルタリングによって実現できることを意味し、種々の差分オペレータは３×３の加重マトリクスによって表現することができる。以下では、（ｉ，ｊ）を中心とした３×３近傍を
ｆ（ｉ−１，ｊ−１）  ｆ（ｉ，ｊ−１）  ｆ（ｉ＋１，ｊ−１）
ｆ（ｉ−１，ｊ）      ｆ（ｉ，ｊ）      ｆ（ｉ＋１，ｊ）    …（式３）
ｆ（ｉ−１，ｊ＋１）  ｆ（ｉ，ｊ＋１）  ｆ（ｉ＋１，ｊ＋１）
と考え、これに対する加重マトリクスによって差分オペレータを記述することができる。
【００４２】
例えば、式１、式２で定義されるｘ、ｙ方向の１次偏微分オペレータは、
０      ０    ０              ０    −１／２  ０
−１／２  ０    １／２  および  ０      ０      ０  …（式４）
０      ０    ０              ０    １／２    ０
と表現される。すなわち、式３と式４の３×３の矩形領域において、対応する位置の画素の値と行列の要素の値の積をそれぞれ求め、それらの和を計算すると、式１、式２の右辺と一致する。
【００４３】
勾配の大きさと方向は、式４の加重マトリクスで空間フィルタリングを行い、式１、式２で定義されるｘ、ｙ方向の偏微分を計算した後、
｜∇ｆ（ｉ，ｊ）｜＝√｛Δｘｆ（ｉ，ｊ）２＋Δｙｆ（ｉ，ｊ）２｝  …（式５）
θ＝ｔａｎ−１｛Δｙｆ（ｉ，ｊ）／Δｘｆ（ｉ，ｊ）｝  …（式６）
と求めることができる。
【００４４】
なお、上記差分オペレータには、ロバーツ・オペレータ、プリューウィット・オペレータ、ソーベル・オペレータなどを用いて、簡易に計算したり、ノイズ対策を施したりすることができる。
【００４５】
次に、演算部２２０は、式６で求めた勾配の方向、すなわち勾配ベクトルの角度を２倍にした数値の組を求める（Ｓ１８）。本実施形態では、勾配ベクトルを用いて指紋の隆線あるいは谷線の方向を算出するが、隆線または谷線が同じ方向を向いている点であっても、勾配ベクトルの値は同じにならない。そこで、勾配ベクトルと座標軸のなす角度を２倍になるように勾配ベクトルを回転させて、ｘ成分、ｙ成分からなる１組の数値を求めることにより、同じ方向の隆線または谷線を、同じ成分をもつ一意の数値の組で表現することができる。例えば、４５°、２２５°は、ちょうど反対方向であるが、２倍にすると、９０°、４５０°となり、一意の方向を示すようになる。ここで、ｘ成分、ｙ成分からなる１組の数値は、ある座標系で、ベクトルを一定の規則で回転させたものである。以下、本明細書中では、この数値もベクトルとして表記する。
【００４６】
指紋画像のある領域の隆線または谷線の方向は、ローカルではバラツキが大きいので、後述するように、ある範囲で平均を取ることになる。その場合、上述したように勾配ベクトルの角度を２倍にして、一意のベクトルにしておけば、それらを単純に足し合わせて平均をとることにより、隆線または谷線の方向の近似値を得ることができる。この点、それをしない場合、反対の方向を向いている勾配ベクトルを足すと０になってしまい、単純な足し算を用いることができない。この場合、１８０°と０°とが等価であることを補償するための複雑な計算が必要になる。
【００４７】
次に、演算部２２０は、各線状の領域について、各画素ごとに求めたベクトルを足し合わせて、平均化したベクトルを求める。このベクトルがその領域の特徴量となる（Ｓ２０）。この特徴量は、その領域の隆線または谷線の方向の平均を示すような値であり、各領域について１つ定められる。
【００４８】
この際、白い点または黒い点が複数続いた場合、勾配を定義できない状態が続くので、所定の個数を超えて、それが続いた場合、その部分を平均化処理の対象から外してもよい。なお、この所定の個数の最適値は、実験的に求めればよい。
【００４９】
最後に、演算部２２０は、各領域について求めたベクトルのｘ成分とｙ成分を求めて、記録部２４０に参照データとして記録する（Ｓ２２）。なお、演算部２２０は、当該ベクトルのｘ成分とｙ成分の分布を後述するすようなスムージング処理してから、記録してもよい。
【００５０】
図４は、図３の線状の領域１２における特徴を表現するベクトルＶ（ｙ０）を示す図である。線状の領域１２は、図３に示した座標平面上のｙ＝ｙ０において切り出した領域である。図４は、その領域内の隆線または谷線方向の特徴を表現するベクトルＶ＝（Ｖｘ，Ｖｙ）を示す。Ｖｘ（ｙ０）およびＶｙ（ｙ０）は、ベクトルＶ（ｙ０）の始点を原点とする直交座標上の終点座標を表したものである。特徴量は、上述した各画素の勾配ベクトルの角度を２倍して、平均化した値を用いることができる。
【００５１】
図５は、図３の画像を各線状の領域にスライスした場合の特徴量の分布を示す図である。図３に示した座標平面上のｙ方向に、すなわち線状の領域のスライス方向と垂直な方向に対して走査した場合の、特徴量の分布を示したものである。図５の横軸が図３のｙ軸、すなわち副走査方向を示し、縦軸が各領域における特徴量を示す。図５では、図４に示したように各領域を特徴づけるベクトルをｘ成分とｙ成分で表現している。演算部２２０は、登録すべき指紋画像から、このような各領域を特徴づけるベクトルのｘ成分とｙ成分の分布を求め、それを参照データとして記録部２４０に記録することができる。
【００５２】
図６は、実施形態１における照合装置１の認証処理を説明するためのフローチャートである。まず、撮像部１００は、認証を要求しているユーザがかざした指を撮像し、撮像した画像を電気信号に変換し、処理部２００に出力する。処理部２００は、取得した画像に対して、図２のステップＳ１２〜Ｓ２０に示した処理と同様の処理を行い、認証対象データとしての画像データの特徴量分布を算出する（Ｓ３０）。
【００５３】
次に、演算部２２０は、その特徴量分布にスムージング処理をかける（Ｓ３２）。例えば、前後の値の数点を平均化する。どの程度のスムージングをかけるかは、アプリケーションなどにより異なり、最適値は実験的に求めてもよい。
【００５４】
次に、照合部２３０は、参照データの特徴量分布と、認証対象データの特徴量分布との照合を行う（Ｓ３４）。この照合は、一方の分布を固定し、他方の分布をスライドしていくことにより、最も一致するパターンを求めることにより行う。単純に、全パターンについてパターンマッチングを行ってもよいが、計算量を減少させるために、両分布の注目点を検出して、その一致する点を中心に、その前後数パターンのマッチングだけを行ってもよい。例えば、注目点として、ｘ成分の最大値となる点、０の点、微分すると０になる点、または傾きが最も急な点などを用いることができる。
【００５５】
パターンマッチングは、ｙ軸上の各点について、参照データと認証対象データとの各成文の差分を検出することにより行うことができる。例えば、下記式７によりマッチングのエネルギーＥを算出することにより行う。
Ｅ＝Σ√｛ΔＶｘ２＋ΔＶｙ２｝  …（式７）
【００５６】
両分布のｘ成分の誤差ΔＶｘおよびｙ成分の誤差ΔＶｙを二乗して足した値の平方根をとると、当該ｘ成分およびｙ成分は元々ベクトルの成分であるから、ベクトルの大きさの誤差を求めることができる。それをｙ軸方向に足し合わせた値をマッチングエネルギーＥとする。したがって、このエネルギーＥが大きいほど近似しない画像となり、小さいほど近似する画像となる。そして、最もマッチングエネルギーＥが小さいパターンを重ね合わせ位置とする（Ｓ３６）。なお、パターンマッチングの方法はこれに限らず、両分布のｘ成分の誤差ΔＶｘおよびｙ成分の誤差ΔＶｙのそれぞれの絶対値を足し合わせていくなどでもよい。なお、精度の高い照合方法を実験的に求め、その方法を用いてもよい。
【００５７】
図７は、実施形態１における参照データの特徴量分布と、認証対象データの特徴量分布とを重ねて描写した図である。図７では、参照データの特徴量分布を実線で、認証対象データの特徴量分布を破線で示している。図７の例では、最初に両分布のｘ成分の最大値を検出する。そして、最大値ｐ１同士が一致する位置と、その位置から一方の分布を、数点前後させた位置でパターンマッチングを行い、最もマッチする位置を重ね合わせ位置とする。
【００５８】
照合部２３０は、算出したマッチングエネルギーＥと、予め設定された認証を成功させるか否かを決定するためのしきい値とを比較し、マッチングエネルギーＥが当該しきい値未満の場合、参照データと認証対象データとの照合が成功したとみなして、その指紋画像のユーザを認証する（Ｓ３８）。逆に、マッチングエネルギーＥが当該しきい値以上の場合、認証しない。以上の処理は、参照データが複数登録されている場合、それぞれの参照データと認証対象データとの間で行う。
【００５９】
以上説明したように実施形態１によれば、指紋などの生体情報の画像を所定の領域ごとに分割し、各領域を特徴づける値を、参照画像と認証対象画像との間の照合処理に利用したことにより、少ないメモリ容量で認証処理をすることができる。また、計算量も低減することができ、認証処理を高速化することができる。したがって、バッテリ駆動などの携帯機器への認証処理に適用すれば、回路の小面積化、省電力化にもつながる。さらに、線状の領域ごとに特徴量を求めることにより、ラインセンサなどで撮像した指紋画像の照合に適している。さらに、各画素の特徴量を領域ごとに平均化したり、その平均化した特徴量の分布をスムージング処理するため、ノイズにも強い。また、線状の領域で平均化処理するため、参照データと認証対象データとの間で指が左右にスライドしていても、同一人物の指であるか否かを照合することができる。さらに、マニューシャ法と異なり、ノイズの強い指紋画像でも同様の状態で登録および認証を行えば、有効に機能させることができる。
【００６０】
（実施形態２）
実施形態１では、線状の領域を得るための画像の分割の方法として、一方向に分割する例を説明した。この点、実施形態２では、複数方向に分割する例を説明する。例えば、２方向に画像をスライスすることができる。
【００６１】
まず、実施形態２における照合装置１の構成および動作は、図１に示した実施形態１における照合装置１と同様のため説明を省略する。図８は、実施形態２における画像を垂直方向にスライスする例を示す図である。ここで、照合対象となる画像としては、上述した指紋画像以外に、虹彩画像、その他、生体情報を表現した画像であってもよい。図８では、便宜的に縞模様の画像で表現している。図９は、図８の各線状の領域における特徴量の分布を示す図である。各線状の領域を特徴づける特徴量Ａ、Ｂを求め、これらのｙ方向、すなわち垂直方向に対する分布を示している。
【００６２】
図１０は、実施形態２における画像を斜め４５°方向にスライスする例を示す図である。図１０は、図８と同様の画像を斜め４５°方向にスライスしている。図１１は、図１０の各線状の領域における特徴量の分布を示す図である。各線状の領域を特徴づける特徴量Ｃ、Ｄを求め、これらのｚ方向、すなわち斜め４５°方向に対する分布を示している。このように、２方向に画像をスライスして、４種の特徴量Ａ、Ｂ、Ｃ、Ｄで、画像の特徴を表現している。実施形態２における参照データを生成する処理および認証する処理も、これらの特徴量を利用して、実施形態１に説明した図２および図６と同様に処理することができる。この場合、各方向から算出されるマッチングエネルギーＥが複数になるので、例えば、照合部２３０は、その平均値を求めて、認証するか否かを判断してもよい。
【００６３】
ここで、特徴量は、実施形態１で説明した線状の領域内の隆線または谷線を特徴づけるベクトルのｘ成分およびｙ成分に限るものではない。例えば、画像の濃淡、輝度、色情報、その他の局所的な画像情報あるいは、これら画像情報から微分その他の計算によって求められたスカラー量、ベクトル量、その他の数値であってもよい。
【００６４】
なお、実施形態２における画像は、ラインセンサなどの１次元センサで撮像して、画像バッファ２１０に取り込み、２以上の方向にスライスしてもよいし、２次元センサを用いてもよい。また、２以上の方向の例としては、垂直方向、水平方向、斜め４５°、斜め１３５°などが一般的であるが、これらに限るものでなく、任意の方向にスライスすることができる。さらに、２以上の方向の組み合わせも、垂直方向および斜め４５°に限らず、任意に設定することができる。
【００６５】
以上説明したように実施形態２によれば、線状の領域を得るための画像のスライス方向として、異なる複数の方向を用いることにより、実施形態１と比較し、照合の精度を高めることができる。実施形態２でも、マニューシャ法などのように、ある画像から他の画像を生成するわけでないので、単に原画像を記憶できるメモリ容量さえあればよい。したがって、少ないメモリ容量および少ない演算量で、精度の高い認証を行うことができる。
【００６６】
（実施形態３）
実施形態１、２では、スライスした線状の領域が直線的な形状である場合の例を説明した。この形状は、それに限るものではなく、曲線状、閉曲線状、円状、同心円状などの非直線的なものでもよい。実施形態３では、非直線的な領域に分割する代表的な例として、虹彩画像の照合について説明する。
【００６７】
まず、実施形態３における照合装置１の構成および動作も、図１に示した実施形態１における照合装置１と同様のため説明を省略する。図１２は、実施形態３における目の虹彩部分を同心円状の領域に分割する例を示す図である。図１２では、各線状の領域として、同心円状に分割している。図１３は、図１２の各同心円状の領域における特徴量の分布を示す図である。各領域を特徴づける値の動系方向ｒの分布を求める。実施形態３における参照データを生成する処理および認証する処理も、この特徴量を利用して、実施形態１に説明した図２および図６と同様に処理することができる。
【００６８】
虹彩の場合、図６で説明した照合処理が簡易になる。認証対象データと参照データの間で、瞳孔と虹彩との境界Ｒ０、および虹彩と白目部分との境界Ｒ１が合うように、両特徴量の分布を重ね合わせればよい。ただ、周囲の明るさなどにより瞳孔の大きさが変化するため、認証対象データの境界Ｒ０と境界Ｒ１との距離が参照データのそれと合うように、一様に伸縮する必要がある。
【００６９】
以上説明したように実施形態３によれば、虹彩画像の照合を少ないメモリ容量、少ない計算量で行うことができる。また、各同心円状の領域において、各画素の勾配ベクトルなどを平均化して特徴量を求めているため、参照データに対して目の位置が回転していても、精度よく照合することができる。この性質は、実施形態１の指紋画像において、指の水平方向におけるスライドに強いという性質に相当するものである。また、まぶたに塞がれて、虹彩のすべての部分を撮像できない場合でも、瞳孔に近い部分の複数の領域で照合しても、相当程度の精度を維持することができる。
【００７０】
なお、虹彩の半分を照合に使用する場合、同心円状の領域ではなく、半円状の領域ごとに分割してもよい。また、このような非直線的な領域で分割する手法は、虹彩画像に限らず、指紋画像の場合でも適用可能である。例えば、指紋の渦の中心を検出して、そこから外側に同心円状に分割していってもよい。
【００７１】
（実施形態４）
実施形態２では、画像を複数の方向から分割し、照合する特徴量の種類を多くする例を説明した。実施形態４では、照合精度を高めるために、常に同じ領域の画像同士を照合することができるよう、参照画像および認証対象画像上に、撮像の際に欠落しにくい画像領域を設定し、その画像領域同士を照合する例を説明する。
【００７２】
実施形態４における照合装置１の構成および動作も、図１に示した実施形態１における照合装置１と基本的に同様である。以下、異なる部分について説明する。図１４は、実施形態４における照合装置１の参照データを生成する処理を説明するためのフローチャートである。まず、撮像部１００は、ユーザがかざした指を撮像し、撮像した画像を電気信号に変換し、処理部２００に出力する。処理部２００は、取得した画像に対して、図２のステップＳ１２〜Ｓ２０に示した処理と同様の処理を行い、画像データの特徴量分布を生成する（Ｓ４０）。
【００７３】
次に、演算部２２０は、この特徴量分布から注目すべき特徴量を検出する（Ｓ４２）。そして、その注目すべき特徴量を基にデータを取得すべき領域を示すデータ取得領域を設定する（Ｓ４４）。図１５は、実施形態４における撮像した指紋画像およびその画像を各線状の領域にスライスした場合の特徴量分布を示す図である。図１５では、撮像した画像のｙ方向に沿って求めた各領域の特徴量をベクトルで表し、当該ベクトルのｘ成分の最大値を注目すべき特徴量に設定する。そして、上記ｘ成分の最大値を与えるｙ座標上の値を基準に、その上下一定範囲を上記データ取得領域のｙ方向の範囲ａとする。例えば、ｙ方向が２００画素の画像データの場合、当該最大値を中心にその上５０画素およびその下５０画素を、当該ｙ方向の範囲ａに設定してもよい。
【００７４】
演算部２２０は、上記データ取得領域をｙ方向に沿って求めた特徴量分布を記録部２４０に参照データとして記録する（Ｓ４６）。上記データ取得領域にて、再度ｙ方向に沿って新たな特徴量分布を生成してもよい。また、既にｙ方向に沿って求めた特徴量分布の利用範囲を、上記ｙ方向の範囲ａにしたがって設定してもよい。
【００７５】
実施形態４では、図６に示した認証処理を行う際、認証対象画像に対しても同様にデータ取得領域を設定し、その領域の特徴量分布同士を照合する。
【００７６】
以上説明したように実施形態４によれば、常に同じ領域の画像同士を照合することができるよう、参照画像および認証対象画像中の欠落しにくい範囲の特徴量分布同士を照合することにより、照合精度を高めることができる。すなわち、指紋は指の中央部分ほど縦縞となるため、ｙ方向に沿って走査した場合、上記特徴量のｘ成分の最大値は撮像した指紋画像の中央近辺に出現することになる。また、例えば、水平に取り付けられたラインセンサに対して指を上から下、または下から上にスライドさせる場合、そのスライドのさせ方によっては、指の先端部分の画像や、そのつけね側の画像撮像に失敗する可能性がある。参照画像と認証対象画像のいずれかにのみ欠落部分が存在する場合、処理部２００が認証成功とすべき人物であっても、認証失敗と判断する可能性がある。これに対して、指の中央部分は比較的、欠落なく撮像できる可能性が高い。よって、指の中央部分の画像同士を照合したほうが、対応する領域同士を照合できる可能性が高くなる。また、設定した範囲ａの部分画像のみを参照データとした場合、さらに記憶容量を削減することができる。
【００７７】
（実施形態５）
実施形態２では、画像を複数の方向から分割し、照合する特徴量の種類を多くする例を説明した。また、実施形態４では、常に同じ領域の画像同士を照合することができるよう、参照画像および認証対象画像上に、撮像の際に欠落しにくい画像領域を設定する例を説明した。実施形態５では、画像を複数の方向に沿って分割する場合、ある方向に沿って求めた特徴量分布を、他の方向に沿って特徴量分布を求める際に利用する例を説明する。
【００７８】
実施形態５における照合装置１の構成および動作も、図１に示した実施形態１における照合装置１と基本的に同様である。以下、異なる部分について説明する。図１６は、実施形態５における照合装置１の参照データを生成する処理を説明するためのフローチャートである。図１６のステップＳ４４までの処理は、図１４のステップＳ４４までの処理と同様である。
【００７９】
演算部２２０は、データ取得領域を設定した後、その領域内にて他の方向に沿って特徴量分布を生成する（Ｓ４５）。図１７は、実施形態５における指紋画像に設定したデータ取得領域およびその領域の画像を各線状の領域にスライスした場合の特徴量分布を示す図である。図１７では、ｙ方向の範囲ａが設定されたデータ取得領域のｘ方向に沿って特徴量分布を生成する。演算部２２０は、当該データ取得領域のｘ方向に沿って求めた特徴量分布を記録部２４０に参照データとして記録する（Ｓ４６）。または、当該データ取得領域のｘ方向に沿って求めた特徴量分布、および当該データ取得領域を設定する前にｙ方向に沿って求めた特徴量分布を記録してもよい。または、当該データ取得領域のｘ方向に沿って求めた特徴量分布、および当該データ取得領域のｙ方向沿って求めた特徴量分布を記録してもよい。
【００８０】
実施形態５では、図６に示した認証処理を行う際、認証対象画像に対しても同様にデータ取得領域のｘ方向に沿って特徴量分布を生成し、記録されている特徴量分布と照合する。ここで、指紋画像のｙ方向に沿って求めた特徴量分布またはデータ取得領域のｙ方向に沿って求めた特徴量分布も合わせて照合してもよい。
【００８１】
以上説明したように実施形態５によれば、画像を複数の方向に沿って分割する場合、ある方向に沿って求めた特徴量分布を利用して、他の方向に沿って特徴量分布を求めることにより、他の方向に対して精度の高い特徴量分布を求めることができる。すなわち、他の方向に沿って特徴量分布を求めるとき、撮像された指紋撮像中の欠落しにくい部分を参照データおよび認証対象データとすることができる。
【００８２】
また、実施形態５にて、データ取得領域のｘ方向に沿って求めた特徴量分布からさらに注目すべき特徴量を検出してもよい。そして、その特徴量を基に新たなデータ取得領域を決定する。例えば、図１７では、ｘ座標上に基準値を検出し、その値の左右一定範囲を当該データ取得領域のｘ方向の範囲ｂとする。演算部２２０は、このｘ方向の範囲ｂが設定されたデータ取得領域をｙ方向に沿って特徴量分布を再生成する。照合部２３０は、指紋画像上のｘおよびｙ方向の範囲ａ、ｂで規定されたデータ取得領域のｘおよびｙ方向に沿って求めた特徴量分布同士を照合する。これによれば、上下のみならず、左右方向の指紋画像の欠落に対しても、精度よく照合することができる。
【００８３】
（実施形態６）
実施形態１〜５では、照合対象となる画像を指紋画像や虹彩画像とする例を説明した。さらに、実施形態５では、画像を複数の方向に沿って分割する場合、ある方向に沿って求めた特徴量分布を、他の方向に沿って特徴量分布を求める際に利用する例を説明した。実施形態６では、実施形態５を基本とし、照合対象となる画像を人や動物などの動体（以下、必要に応じて「対象物」という。）とする例を説明する。なお、実施形態６において説明する照合方法および装置は、対象物認識方法および装置と記載されてもよい。
【００８４】
実施形態６は、人などの対象物が出入りする室内の天井からカメラなどの撮像デバイスによって撮像した時間を隔てた２枚の画像をもとに、対象物が位置する領域などを認識する照合装置に関する。なお、実施形態６では、時間を隔てた２枚の画像の一方を照合のための参照画像とし、他方を照合のための対象画像とするが、これらを明確に区別する必要はない。
【００８５】
課題は、以下のように記載されてもよい。対象物の位置を認識するために、２枚の画像間において画像データそのものの差分をとる場合、画像データそのものを記憶しておく必要があるため、多くのメモリ容量を要する。また、ノイズ除去などの重い処理をする必要があり、演算量が多い。一方、機器の小型化・省電力化などの観点から、少ないメモリ容量、少ない演算量であっても対象物の位置を認識できる照合方法および装置が望まれている。
【００８６】
実施形態６における照合装置１の構成および動作も、図１に示した実施形態１における照合装置１と基本的に同様である。以下、異なる部分を中心に説明する。図１８は、実施形態６にかかる照合装置１の機能ブロックを示す。図１と異なるところは、処理部２００が認識部２５０をさらに備えている点である。撮像部１００は、実施形態１の場合と異なり、たとえば人などが出入りする室内の天井などに設置されるカメラを含む。撮像部１００は、対象物が存在しうる室内を連続的に撮像する。図１９は、実施形態６において、撮像部１００が撮像した画像の例を示す。図１９は、撮像されているものが人である点を除けば、図３と同様である。ただし、図１９において、人以外の背景は省略している。図１８にもどる。
【００８７】
画像バッファ２１０は、撮像部１００から順次入力される画像データを一時記憶したり、演算部２２０の作業領域としても利用されるメモリ領域として機能するとともに、対象物が存在しない室内を撮像した画像から得られるｙ方向の特徴量分布（以下、「背景特徴量分布」という。）を記憶している。演算部２２０は、撮像部１００から画像バッファ２１０に順次入力される画像データのｘ方向およびｙ方向に沿って特徴量分布を順次算出する。演算部２２０は、算出したｙ方向の特徴量分布と画像バッファ２１０が記憶している背景特徴量分布の差分をとり、画像データに含まれる対象物のｙ方向の特徴量分布を抽出する。以下、この抽出されたｙ方向の特徴量分布を、「抽出特徴量分布」という。照合部２３０は、認証対象とすべく画像バッファ２１０内に記憶された画像データの抽出特徴量分布およびｘ方向の特徴量分布（以下、「対象特徴量分布」という。）と、その画像データの時間的にひとつ前の画像データの抽出特徴量分布およびｘ方向の特徴量分布（以下、「参照特徴量分布」という。）とを比較する。参照特徴量分布は、記録部２４０が保持しているものである。照合部２３０は、実施形態１の場合と異なり、対象特徴量分布と参照特徴量分布とを比較して差分を導出する。
【００８８】
対象特徴量分布は、照合部２３０における次の比較の際に参照特徴量分布となるために、画像バッファ２１０から記録部２４０に出力される。いま、撮像部１００から順次入力される３つの画像データの抽出特徴量分布を分布Ｂ１、分布Ｂ２、分布Ｂ３とする。このとき、たとえば対象特徴量分布を分布Ｂ２とする場合、参照特徴量分布は分布Ｂ１とする。同様に、対象特徴量分布を分布Ｂ３とする場合、参照特徴量分布は分布Ｂ２とする。このように、記録部２４０が保持する参照特徴量分布は、時間の経過とともに書き換えられる。認識部２５０は、照合部２３０において導出した差分をもとに、対象物が位置する領域を認識する。
【００８９】
図２０は、実施形態６において、照合装置１が対象物の位置する領域を認識する動作を示すフローチャートである。ここでは、記録部２４０が参照特徴量分布を保持していない状態からスタートする場合を説明する。まず、撮像部１００は、時刻ｔ１において、対象物が存在しうる室内を撮像し、撮像した画像を電気信号に変換し、処理部２００に出力する。このとき処理部２００に出力された画像データを、以下、「画像データＤ１」とする。演算部２２０は、画像データＤ１に対して、図２のステップＳ１２〜Ｓ２０に示した処理と同様の処理を行い、画像データＤ１のｙ方向の特徴量分布を生成する（Ｓ５０）。そして、生成したｙ方向の特徴量分布から背景特徴量分布を引き、画像データＤ１の抽出特徴量分布を算出する（Ｓ５２）。
【００９０】
演算部２２０は、抽出特徴量分布を参照して、図１４のＳ４２、Ｓ４４に示した処理と同様の処理を行い、画像データＤ１のｙ方向のデータ取得領域を設定する（Ｓ５４）。このとき、画像データＤ１の抽出特徴量分布が０以外の値を持つ範囲、またはその範囲の上５０画素およびその下５０画素も含めた範囲データ取得領域としてもよい。演算部２２０は、画像データＤ１のデータ取得領域を設定した後、図１６に示したＳ４５と同様の処理により、その領域内にて画像データＤ１のｘ方向に沿って特徴量分布を生成する（Ｓ５６）。以下、データ取得領域内にてｘ方向に沿って生成した特徴量分布を「領域内特徴量分布」という。記録部２４０は、画像データＤ１の抽出特徴量分布および領域内特徴量分布を参照特徴量分布として記録する（Ｓ５８）。
【００９１】
撮像部１００は、時刻ｔ１の後の時刻ｔ２において、再度対象物が存在しうる室内を撮像し、撮像した画像を電気信号に変換し、処理部２００に出力する。このとき処理部２００に出力された画像データを、以下、「画像データＤ２」とする。演算部２２０は、画像データＤ１にした処理と同様の処理により画像データＤ２の抽出特徴量分布および領域内特徴量分布を生成する（Ｓ６０）。照合部２３０は、記録部２４０が記録した参照特徴量分布と画像バッファ２１０が記憶している対象特徴量分布とを比較して差分を導出する（Ｓ６２）。Ｓ６２において、参照特徴量分布は、Ｓ５８において記録部２４０が記録した画像データＤ１の抽出特徴量分布および領域内特徴量分布を指す。また、対象特徴量分布は、Ｓ６０において生成された画像データＤ２の抽出特徴量分布および領域内特徴量分布を指す。すなわち、Ｓ６２においては、画像データＤ１と画像データＤ２の間で抽出特徴量分布同士および領域内特徴量分布同士の差分が導出される。なお、Ｓ６０において生成された画像データＤ２の抽出特徴量分布および領域内特徴量分布は、照合部２３０における次の比較の際に参照特徴量分布となるために、画像バッファ２１０から記録部２４０に出力される。
【００９２】
認識部２５０は、照合部２３０において導出した差分をもとに対象物が位置する領域を認識する（Ｓ６４）。具体的には、画像データＤ１と画像データＤ２の間における抽出特徴量分布の差分が０以外の値を持つ範囲を、ｙ方向において対象物が位置する範囲として特定する。また、画像データＤ１と画像データＤ２の間における領域内特徴量分布の差分が０以外の値を持つ範囲を、ｘ方向において対象物が位置する範囲として特定する。そして、ｙ方向およびｘ方向において対象物が位置する範囲から定まる領域を対象物が位置する領域として認識する。図２１は、図１８の撮像部１００が時刻ｔ１およびｔ２において撮像した画像を重ねて示すとともに、画像データＤ１と画像データＤ２の間における抽出特徴量分布同士および領域内特徴量分布同士の差分を示す。なお、抽出特徴量分布同士および領域内特徴量分布同士の差分にはｘ成分とｙ成分があるが、ここでは一方のみを示している。人Ｈ１および人Ｈ２は、同一の対象物であるが、撮像された時刻が異なる。すなわち、人Ｈ１は時刻ｔ１において撮像されたものである。人Ｈ２は時刻ｔ２において撮像されたものである。
【００９３】
抽出特徴量分布の差分は、時刻ｔ１および時刻ｔ２で人が位置するｙ方向の範囲Ｎにおいて０以外の値を持つ。領域内特徴量分布の差分は、時刻ｔ１および時刻ｔ２において人が位置するｘ方向の範囲Ｍにおいて０以外の値を持つ。したがって、認識部２５０は、ｙ方向の範囲Ｎおよびｘ方向の範囲Ｍにより定まる領域を人が位置する領域として認識する（以下、認識部２５０が人の位置する領域として認識した領域を「特定領域」という。）。撮像部１００は、時刻ｔ２の後においても、順次対象物が存在しうる室内を撮像し、撮像した画像を電気信号に変換し、処理部２００に出力する。処理部２００は、順次入力される画像データをから上述の処理により対象物の位置を認識する。
【００９４】
以上説明したように実施形態６によれば、画像データＤ１に対してｙ方向のデータ取得領域を設定し、そのｙ方向のデータ取得領域内においてｘ方向に沿って特徴量分布を生成するので、全領域においてｘ方向に沿って特徴量分布を生成する場合と比較して演算量を抑えることができる。また、ｘ方向の特徴量分布を生成する際に、データ取得領域以外の領域のノイズ成分の影響を低減できる。また、照合方法を指紋や虹彩の認証に加えて、対象物の位置認識に応用できるので、照合方法としての適用範囲が広がる。
【００９５】
（実施形態７）
実施形態６では、照合対象となる画像を人や動物などの動体とし、それら対象物が位置する領域を認識する例を説明した。実施形態７では、実施形態６で説明した照合方法および装置を画像処理に応用する場合を説明する。なお、実施形態７で説明する照合方法および装置は、画像処理方法および装置と記載されてもよい。実施形態７における照合装置１の構成および動作は、図１８に示した実施形態６における照合装置１と基本的に同様である。以下、異なる部分を中心に説明する。
【００９６】
図２２は、実施形態７にかかる照合装置１の機能ブロックを示す。図１８と異なるところは、照合装置１が、符号化部２０２と、生成部３００と、記憶部３２０とをさらに備えている点である。撮像部１００および処理部２００の動作は、実施形態６の場合と同様である。符号化部２０２は、撮像部１００が撮像し、電気信号に変換した画像データを、たとえばＭＰＥＧ（Moving Picture Expert Group）規格に準拠した符号化方法により符号化する。生成部３００は、符号化部２０２において符号化した画像データと、処理部２００が認識した上記の特定領域についての位置データとが含められたストリームを生成する。生成部３００は、処理部２００が生成した画像データの抽出特徴量分布および領域内特徴量分布のデータがさらに含められたストリームを生成してもよい。あるいは、位置データに代えて前述の抽出特徴量分布および領域内特徴量分布のデータを含めてもよい。記憶部３２０は、生成部３００において生成したストリームを記憶する。
【００９７】
図２３は、図２２の生成部３００において生成したストリームの配列を示す。図２３において、Ａは符合化された画像データを示す。ひとかたまりの画像データＡは、時間を隔てて撮像した複数枚の画像のデータを含む。Ｂは、複数枚の画像のデータについて処理部２００が認識した特定領域についての位置データを示す。たとえば、ひとかたまりの画像データＡが、図２１において重ねて示した２枚の画像のデータである場合、特定領域は、図２１のｙ方向の範囲Ｎおよびｘ方向の範囲Ｍにより特定されるので、位置データＢは、その領域を示す座標を含めばよい。Ｃは、処理部２００が生成した抽出特徴量分布および領域内特徴量分布のデータを示す。生成部３００は、画像データと、位置データと、抽出特徴量分布および領域内特徴量分布のデータとの間にそれぞれ既知信号を挿入するなどして、各データの境界を示してもよい。
【００９８】
図２４は、図２３に示されるストリームを再生し表示する再生装置５５０の構造を示す。再生装置５５０は、分離部４２０と、復号部４３０と、モニタ４４０とを含む。図２３に示されるストリームは、分離部４２０に入力される。分離部４２０は、入力されたストリームから画像データと、位置データと、特徴量分布に関するデータとを分離する。上述のように、画像データと、位置データと、抽出特徴量分布および領域内特徴量分布のデータとの間にそれぞれ既知信号が挿入されていれば、その既知信号をもとに分離することができる。復号部４３０は、分離された画像データを、符号化方法に対応した復号方法により復号する。モニタ４４０は、復号した画像データから得られる画像と、位置データから特定される領域とを、それぞれの座標を対応づけながら重ねて表示する。
【００９９】
以上説明した実施形態７も、実施形態６と同様の作用効果を奏する。さらに、実施形態７では、生成部３００は、符号化した画像データと、対象物が位置する領域についての位置データとが含められたストリームを生成するので、再生装置５５０においては、生成したストリームから容易に画像内の対象物を抽出できる。また、対象物の出現シーンや対象物の移動の軌跡を高速にサーチできるので、照合装置１を、たとえば監視カメラなどに適用した場合、膨大な監視映像の中から不審者を容易にサーチできる。
【０１００】
（実施形態８）
実施形態６では、照合対象となる画像を人や動物などの動体とし、それら対象物が位置する領域を認識する例を説明した。実施形態８では、対象物の位置のみならず姿勢も認識する場合を説明する。実施形態８における照合装置１の構成および動作は、図１８に示した実施形態６における照合装置１と基本的に同様である。以下、異なる部分を中心に説明する。図２５は、実施形態８にかかる照合装置１の機能ブロックを示す。図２５において、図１８と異なるところは、処理部２００が姿勢特定部２７０をさらに備えている点である。姿勢特定部２７０は、認識部２５０において認識した特定領域における画素値を画像バッファ２１０より取得し、カメラと対象物との距離を特定する。次に、後述するように、特定した距離をもとに対象物の姿勢を特定する。
【０１０１】
図２６は、図２５の姿勢特定部２７０が、対象物の姿勢を特定する方法を示す。撮像部１００に含まれるカメラ１０４は、部屋２の天井に設置されている。Ｌ１は、カメラ１０４と対象物１４との距離を示す。Ｌ２は、カメラ１０４と対象物１６との距離を示す。なお、図２６において、照合装置１のうち、カメラ１０４のみを図示し、他の部分は省略している。姿勢特定部２７０は、たとえば、対象物が位置する領域における画素値より特定した距離が閾値Ｌｚと比較して遠ければ寝た姿勢であると特定し、近ければ起立した姿勢であると特定する。閾値Ｌｚは、カメラ１０４が設置される高さなどにより適宜決められる。具体的には、Ｌ１＜Ｌｚ＜Ｌ２である場合、図２６において、対象物１４についてはカメラ１０４からの距離Ｌ１が閾値Ｌｚと比較して近いので立っていると判断する。対象物１６についてはカメラ１０４からの距離Ｌ２が閾値Ｌｚと比較して遠いので寝ていると判断する。
【０１０２】
以上説明した実施形態８も、実施形態６と同様の作用効果を奏する。さらに、実施形態８では、画像として距離画像を用いたので、姿勢特定部２７０において、距離情報と対象物の位置情報をもとに対象物の位置に加えて姿勢を特定できる。このため、照合装置１の適用範囲が広がる。また、カメラ１０４とは別に図示しない距離センサを設け、姿勢特定部は、距離センサにおいて取得した距離情報をもとに、カメラ１０４と対象物との距離を特定してもよい。この場合、カメラ１０４が通常の画像を撮像する場合でも、対象物の位置に加えて姿勢を特定できる。
【０１０３】
（実施形態９）
実施形態８では、対象物の位置のみならず姿勢も認識する場合を説明した。実施形態９では、認識した対象物の姿勢をもとに、対象物の存在する部屋の環境を制御する場合を説明する。図２７は、実施形態９にかかる環境制御装置９００の機能ブロックを示す。環境制御装置９００は、第１照合装置６００ａと、第２照合装置６００ｂと、第１カメラ６０２ａと、第２カメラ６０２ｂと、第１取得部６２０ａと、第２取得部６２０ｂと、第１調節部６３０ａと、 第２調節部６３０ｂと、情報モニタ６５０と、制御部７００と、を含む。第１照合装置６００ａおよび第２照合装置６００ｂは、図２５に示した照合装置１と同様の構成なので、ここでは詳細な説明を省略する。なお、説明を明確にするため、第１カメラ６０２ａおよび第２カメラ６０２ｂについては、第１照合装置６００ａおよび第２照合装置６００ｂとは別に表示している。
【０１０４】
第１照合装置６００ａは、第１の部屋４における対象物の位置、姿勢を認識する。第２照合装置６００ｂは、第２の部屋６における人の位置、姿勢を認識する。第１取得部６２０ａは、第１の部屋４の環境情報を取得する。第２取得部６２０ｂは、第２の部屋６の環境情報を取得する。第１取得部６２０ａおよび第２取得部６２０ｂは、たとえば温度センサや湿度センサなどで構成できる。環境情報とは、温度、湿度、照明強度、家電の稼働状況その他の情報であってもよい。第１調節部６３０ａは、第１の部屋４の環境を調節する。第２調節部６３０ｂは、第２の部屋６の環境を調節する。情報モニタ６５０は、第１照合装置６００ａと、第１取得部６２０ａと、第２照合装置６００ｂと、第２取得部６２０ｂとにおいて得られた第１の部屋４および第２の部屋６のそれぞれにおける対象物の位置、姿勢、環境情報を併せて表示する。図２８は、図２７の情報モニタ６５０における表示の例を示す。情報モニタ６５０は、第１の部屋４および第２の部屋６のそれぞれの画像、対象物の位置、気温、湿度、冷房強度、照明強度を表示する。図２７にもどる。
【０１０５】
制御部７００は、第１照合装置６００ａおよび第２照合装置６００ｂにおいて認識した対象物の位置と姿勢、第１取得部６２０ａおよび第２取得部６２０ｂにおいて取得した環境情報をもとに、第１調節部６３０ａおよび第２調節部６３０ｂの動作を制御する。たとえば、第２の部屋６において対象物が寝ていて、第２の部屋６の照明がｏｎである場合、制御部７００は照明をｏｆｆにするよう第２調節部６３０ｂを制御してもよい。また、図２８に示されるように、第１の部屋４には多くの対象物が存在し、第２の部屋６には単一の対象物しかいない場合、制御部７００は、たとえば、第１の部屋４の冷房の強度を第２の部屋６の冷房の強度より大きくするなどのように第１調節部６３０ａおよび第２調節部６３０ｂを制御してもよい。なお、対象物の数は、認識した位置の数より容易に分かる。
【０１０６】
以上説明した実施形態９も、実施形態８と同様の作用効果を奏する。さらに、実施形態９では、異なった２つの場所の相対的な情報も利用してそれぞれの場所の環境を制御するので、１つの場所を単独で制御するより高精度に環境を制御できる。
【０１０７】
以上、実施の形態をもとに本発明を説明した。これらの実施形態は例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１０８】
上述した実施形態では線状の領域ごとに、その領域を特徴づける単一の物理量として、各画素の勾配ベクトルから算出したベクトルを用いた。この点、単一の物理量として、領域ごとに画像濃淡の切替回数を用いてもよい。例えば、画像を２値化して白黒画像とし、その白黒の切り替わる回数をカウントしてもよい。そのカウント値は、指紋などの縞の数となる。縞が縦のところは密度が濃く、一定距離内すなわち単位長さあたりでたくさん切り替わることになる。これをｘ方向およびｙ方向に行ってもよい。これによれば、単純な計算で、かつ少ないメモリ容量で照合が可能となる。
【０１０９】
また、上述した実施形態では、２値データを用いたが、２５６値などの多諧調データを用いてもよい。その場合も、上記文献「コンピュータ画像処理、田村秀行編著、（株）オーム社、（ｐ１８２〜１９１）」に記載された手法を用いることができ、各画素の勾配ベクトルを算出することができる。これによれば、白黒画像と比較して演算量が多くなるが、精度の高い照合を行うことができる。
【０１１０】
さらに、上述した照合処理の際、各線状の領域の内、縞模様になっていない領域を省いてもよい。例えば、ある線の長さに対してベクトルを設定値以上検出できない場合、白が設定値以上続いた場合、黒が設定値以上続いて黒くつぶれている領域と判断した場合、白黒の切替回数が設定値以下の場合などに、その領域を省いて処理する。これにより、照合の際の演算量を低減することができる。
【０１１１】
また、実施形態６〜９では、撮像部１００は、画像として、濃淡、輝度、色情報などの可視情報を示す通常の画像や各画素値が距離情報の他に、各画素値が熱情報を示す熱画像を撮像してもよい。熱画像は、たとえば、赤外線サーモグラフィ装置を用いて撮像できる。要するに、撮像部１００は、各画素値が、濃淡、輝度、色情報、距離情報、熱情報その他の局所的な画像情報を有する画像を撮像すればよい。熱画像を用いた場合、撮像する場所の明るさによる影響を軽減できる。また、実施形態６では、演算部２２０は、画像データＤ１および画像データＤ２のそれぞれについてデータ取得領域を設定したが、画像データＤ１について設定したデータ取得領域を画像データＤ２のデータ取得領域として使用してもよい。この場合、画像データＤ２にデータ取得領域を設定するステップを省略できるので、演算量を減少できる。
【図面の簡単な説明】
【０１１２】
【図１】実施形態１における照合装置の機能ブロックを示す図である。
【図２】実施形態１における照合装置の参照データを生成する処理を説明するためのフローチャートである。
【図３】実施形態１における撮像した指紋画像を示す図である。
【図４】図３の線状の領域における特徴を表現するベクトルＶ（ｙ０）を示す図である。
【図５】図３の画像を各線状の領域にスライスした場合の特徴量の分布を示す図である。
【図６】実施形態１における照合装置の認証処理を説明するためのフローチャートである。
【図７】実施形態１における参照データの特徴量分布と、認証対象データの特徴量分布とを重ねて描写した図である。
【図８】実施形態２における画像を垂直方向にスライスする例を示す図である。
【図９】図８の各線状の領域における特徴量の分布を示す図である。
【図１０】実施形態２における画像を斜め４５°方向にスライスする例を示す図である。
【図１１】図１０の各線状の領域における特徴量の分布を示す図である。
【図１２】実施形態３における目の虹彩部分を同心円状の領域に分割する例を示す図である。
【図１３】図１２の各同心円状の領域における特徴量の分布を示す図である。
【図１４】実施形態４における照合装置の参照データを生成する処理を説明するためのフローチャートである。
【図１５】実施形態４における撮像した指紋画像およびその画像を各線状の領域にスライスした場合の特徴量分布を示す図である。
【図１６】実施形態５における照合装置の参照データを生成する処理を説明するためのフローチャートである。
【図１７】実施形態５における指紋画像に設定したデータ取得領域およびその領域の画像を各線状の領域にスライスした場合の特徴量分布を示す図である。
【図１８】実施形態６にかかる照合装置の機能ブロックを示す図である。
【図１９】実施形態６において、撮像部が撮像した画像の例を示す図である。
【図２０】実施形態６において、照合装置が対象物の位置する領域を認識する動作を示すフローチャートである。
【図２１】図１８の撮像部が時刻ｔ１およびｔ２において撮像した画像を重ねて示すとともに、画像データＤと画像データＤの間における抽出特徴量分布同士および領域内特徴量分布同士の差分を示す図である。
【図２２】実施形態７にかかる照合装置の機能ブロックを示す図である。
【図２３】図２２の生成部において生成したストリームの配列を示す図である。
【図２４】図２３に示されるストリームを再生し表示する再生装置の構造を示す図である。
【図２５】実施形態８にかかる照合装置の機能ブロックを示す図である。
【図２６】図２５の姿勢特定部が、対象物の姿勢を特定する方法を示す図である。
【図２７】実施形態９にかかる環境制御装置の機能ブロックを示す図である。
【図２８】図２７の情報モニタにおける表示の例を示す図である。
【符号の説明】
【０１１３】
１  照合装置、  １００  撮像部、  ２００  処理部、  ２０２  符号化部、  ２１０  画像バッファ、  ２２０  演算部、  ２３０  照合部、  ２４０  記録部、  ２５０  認識部、  ３００  生成部。
【図１】
2006236309.tif 000003
【図２】
2006236309.tif 000004
【図３】
2006236309.tif 000005
【図４】
2006236309.tif 000006
【図５】
2006236309.tif 000007
【図６】
2006236309.tif 000008
【図７】
2006236309.tif 000009
【図８】
2006236309.tif 000010
【図９】
2006236309.tif 000011
【図１０】
2006236309.tif 000012
【図１１】
2006236309.tif 000013
【図１２】
2006236309.tif 000014
【図１３】
2006236309.tif 000015
【図１４】
2006236309.tif 000016
【図１５】
2006236309.tif 000017
【図１６】
2006236309.tif 000018
【図１７】
2006236309.tif 000019
【図１８】
2006236309.tif 000020
【図１９】
2006236309.tif 000021
【図２０】
2006236309.tif 000022
【図２１】
2006236309.tif 000023
【図２２】
2006236309.tif 000024
【図２３】
2006236309.tif 000025
【図２４】
2006236309.tif 000026
【図２５】
2006236309.tif 000027
【図２６】
2006236309.tif 000028
【図２７】
2006236309.tif 000029
【図２８】
2006236309.tif 000030