【手続補正書】
【提出日】平成17年5月23日(2005.5.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】        明細書
【発明の名称】    顔照合装置および生体情報照合装置
【特許請求の範囲】
【請求項１】
顔画像を取得する顔画像取得手段と、
照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、
前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、
前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、
前記抽出手段による抽出結果に、ある人の顔画像が全て含まれているとき、その人を本人と特定する特定手段と、
を備えた顔照合装置。
【請求項２】
顔画像を取得する顔画像取得手段と、
照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、
前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、
前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、
前記抽出手段による抽出結果に、ある人の顔画像の占有割合が最も多いとき、その人を本人と特定する特定手段と、
を備えた顔照合装置。
【請求項３】
顔画像を取得する顔画像取得手段と、
照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、
前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、
前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、
前記抽出手段による抽出結果に、ある人の顔画像が予め定められた数だけ含まれているとき、その人を本人と特定する特定手段と、
を備えた顔照合装置。
【請求項４】
顔画像を取得する顔画像取得手段と、
照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、
前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、
前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、
前記抽出手段による抽出結果に含まれている、ある人の顔画像の数量に基づいて本人を特定する特定手段と、
を備えた顔照合装置。
【請求項５】
生体情報を取得する生体情報取得手段と、
照合対象者の全ての人に対応付けて予め各人の生体情報を複数記憶する記憶手段と、
前記取得した生体情報と前記記憶された生体情報とを比較して求まる照合度合いデータを算出する算出手段と、
前記算出した照合度合いデータの中から照合度合いが高い生体情報を所定数だけ抽出する抽出手段と、
前記抽出手段による抽出結果に含まれている、ある人の生体情報の数量に基づいて本人を特定する特定手段と、
を備えた生体情報照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、顔情報を用いて本人を照合確認する顔照合装置に関し、さらに詳しくは一部の照合結果のデータが他人と近似していても総合的な照合結果から本人を正確に特定する顔照合装置および生体情報照合装置に関する。
【０００２】
【従来の技術】
一般に、顔の照合を含めて指紋、声紋、虹彩などの各人各様に異なるバイオメトリクスデータ (生体情報)を用いて本人を照合する場合、照合時に取得した生データから抽出した本人特有の特徴データと、既登録の特徴データとを比較した照合結果が、スレッショルダレベル（閾値）以上の高照合値と判定したとき本人であると特定している。
【０００３】
【発明が解決しようとする課題】
ところが、本人特有の顔の特徴データを抽出する場合、眼鏡の有無、表情の変化、姿勢、照明環境等の多種多様なバリエーションが重要な照合要素になっており、本人を特定するためには、できるだけ多くのバリエーションを含めて特徴データを登録した方がよいことが理解されている。このため、照合時には１人に付き多くの特徴データを使用することが一般的である。
【０００４】
しかしながら、多くの特徴データのうち、たまたま眼鏡、表情、姿勢、照明環境などが近似し、1つでも他人の特徴データが本人の特徴データより上回ると、その他人の特徴データを本人の特徴データと認めて受入れてしまい、この結果、本人であるにもかかわらず、他人と誤判定されてしまう照合エラーが発生することがある。
【０００５】
例えば、本人が眼鏡を掛けている場合に、その眼鏡有りに共通する他人の特徴データが本人の特徴データとして扱われ、この特徴データが同じような眼鏡を掛けている全ての他人の特徴データの照合性を高めてしまい、照合エラーの発生原因になっていた。このように、現状では一部の他人の特徴データのために照合精度が低くなり、信頼性の高い照合性能を確保できない問題を有していた。
【０００６】
そこでこの発明は、本人を特定する際、本人の特徴データと他人の特徴データとが近似するような照合時にあっても、特徴データを組合せて総合的に照合することによって、本人と他人とを明確に区別して他人の特徴データによる照合エラーを減らすことができる信頼性の高い顔照合装置および生体情報照合装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
この発明は、照合対象者を照合する際、顔画像を取得する顔画像取得手段と、照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、前記抽出手段による抽出結果に、ある人の顔画像が全て含まれているとき、その人を本人と特定する特定手段とを備えた顔照合装置であることを特徴とする。
【０００８】
ここで顔画像取得手段とは、ＣＣＤカメラなどの撮像装置で構成することができる。
【０００９】
前記記憶手段とは、照合機器を制御する制御系のメモリで構成することができる。
【００１０】
前記算出手段とは、照合度合いデータを算出する照合機器の制御部で構成することができる。
【００１１】
前記所定数とは、本人特定用に予め定めた照合判定に有効な照合設定数である。
【００１２】
前記特定手段とは、照合結果に基づいて本人を特定する照合機器の制御部で構成することができる。
【００１３】
この発明によれば、本人の特定に際して、予め１人に付き複数の顔画像の特徴データを登録しておき、照合時に同一人物の複数の特徴データの照合結果が、照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出した照合結果中全てに含まれていれば、その照合した複数の特徴データの全てが高照合と確認できるため本人と特定することができる。
【００１４】
したがって、照合時に他人の特徴データが本人の特徴データの1つに近似している場合や照合値が上回っている場合にも、それだけで判断せず、複数の特徴データのそれぞれを照合して総合的に判断することにより、本人であれば全てが高照合値を示し、他人であれば多くが低照合値を示すため本人と他人とを明確に区別することができる。このため、照合時に本人が他人と誤判定されなくなり、照合信頼性が向上し、他人の特徴データによる照合エラーを減らすことができる。
【００１５】
例えば、本人が眼鏡を掛けている場合、同眼鏡を掛けている他人の特徴データとの照合性が高くなるが、この1つの特徴データだけが高照合値を示すものであり、これ以外の他人の特徴データは本人とは大きく異なり、低照合値を示すことから他人の特徴データと明確に判断することができる。特に、本人の複数の特徴データは、全て高い照合値を示すことから本人の特定性能が高まり、照合精度の向上と、信頼性の向上とが図れる。
【００１６】
この発明の他の形態として、顔画像を取得する顔画像取得手段と、照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、前記抽出手段による抽出結果に、ある人の顔画像の占有割合が最も多いとき、その人を本人と特定する特定手段とを備えた顔照合装置を構成することができる。
【００１７】
このような構成によれば、本人を特定する場合、照合結果から算出した照合度合いデータの上位に相当する高照合領域内に、ある人の顔画像が最も多く含まれていれば、その人を必然的に本人と特定することができる。したがって、高照合領域内でのある人の顔画像の占有割合を調べるだけで、本人を容易に特定することができる。
【００１８】
この発明の他の形態として、顔画像を取得する顔画像取得手段と、照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、前記抽出手段による抽出結果に、ある人の顔画像が予め定められた数だけ含まれているとき、その人を本人と特定する特定手段と、を備えた顔照合装置を構成することができる。
【００１９】
このような構成によれば、本人を特定する場合、照合結果から算出した照合度合いデータの上位に相当する高照合領域内に、ある人の顔画像が予め定められた数だけ含まれていれば、その照合確認数からその人を本人と正確に特定することができる。この場合も高照合領域内でのある人の顔画像の数を調べるだけで、本人を容易に特定することができる。
【００２０】
この発明の他の形態として、顔画像を取得する顔画像取得手段と、照合対象者の全ての人に対応付けて予め各人の異なる顔画像を複数記憶する記憶手段と、前記取得した顔画像と前記記憶された顔画像とを比較して求まる照合度合いデータを算出する算出手段と、前記算出した照合度合いデータの中から照合度合いが高い顔画像を所定数だけ抽出する抽出手段と、前記抽出手段による抽出結果に含まれている、ある人の顔画像の数量に基づいて本人を特定する特定手段とを備えた顔照合装置を構成することができる。
【００２１】
このような構成によれば、本人を特定する場合、照合結果から算出した照合度合いデータの上位に相当する高照合領域内に、ある人の顔画像が全て含まれているか、最も多く含まれているか、定められた数だけ含まれているか、あるいは定められた数以上が含まれているかを調べるだけで、本人と他人とを明確に区別して本人を正確に特定することができる。
【００２２】
この発明の他の形態として、生体情報を取得する生体情報取得手段と、照合対象者の全ての人に対応付けて予め各人の生体情報を複数記憶する記憶手段と、前記取得した生体情報と前記記憶された生体情報とを比較して求まる照合度合いデータを算出する算出手段と、前記算出した照合度合いデータの中から照合度合いが高い生体情報を所定数だけ抽出する抽出手段と、前記抽出手段による抽出結果に含まれている、ある人の生体情報の数量に基づいて本人を特定する特定手段とを備えた生体情報照合装置を構成することができる。
【００２３】
ここで生体情報とは、照合対象者の顔情報のほか、指紋情報、声紋情報、虹彩情報などの本人を識別できる本人特有の情報である。
【００２４】
このような構成によれば、既述した顔画像を含めて任意の生体情報を適用することができ、この生体情報を用いても高精度に本人を特定することができる。
【００２５】
この場合も、予め１人に付き同種類の生体情報における複数の異なる特徴データを登録しておき、照合時に同一人物の複数の特徴データの照合結果が、全特徴データの照合結果中の上位にあれば、その照合した複数の特徴データの全てが高照合と認められることから本人と特定することができる。
【００２６】
したがって、照合時に他人の特徴データが本人の特徴データの1つに近似していたり、1つだけ照合値が上回っていても、それだけで判断せず、複数の特徴データのそれぞれを照合して総合的に判断することにより、本人であれば全てが高照合値を示し、他人であれば多くが低照合値を示すため本人と他人とを明確に区別することができる。このため、照合時に本人が他人と誤判定されなくなり、照合信頼性が向上し、他人の特徴データによる照合エラーを減らすことができる。
【００２７】
さらに、生体情報は同種類だけでなく、顔、声紋等の異種類の生体情報を組合せて複合照合するように構成することもでき、この場合は照合精度を一層高めることができる。
【００２８】
【発明の実施の形態】
この発明の一実施の形態を以下図面に基づいて説明する。  
図面は人の顔を撮影して照合する顔照合装置を示し、図１において、この顔照合装置１１は、カメラ１２と、結果表示器１３とを接続ケーブル１４または無線を介して照合管理用の制御機器１５に接続しており、例えば入退室利用する照合対象者の認証手段として設置される。
【００２９】
上述のカメラ１２は、ＣＣＤカメラ等を用いて人の顔を撮影し、このカメラ１２の前面に人が近付いた時点で顔の画像を取得するように設定する。例えば、図示しない反射型赤外線センサ等の人検知センサにより人が近付いたことを検知して撮影を開始する。このほかにも照合対象者自身が照合開始用の操作ボタンや操作キーを押下操作したとき、照合対象者の照合要請と判定してカメラ１２の撮影を開始するようにしてもよい。
【００３０】
このようにして取得した顔画像を制御機器１５で分析して照合を開始するが、このとき制御機器１５は全照合対象者の顔画像に対する照合用の特徴データを予め登録して記憶させており、この照合用の特徴データと照合時に実際に取得した顔画像の生データとを比較照合して判定した顔画像の一致、不一致の照合結果を結果表示器１３に表示出力する。
【００３１】
上述の制御機器１５は、例えばパーソナルコンピュータで構成することができ、この制御機器１５はカメラ１２と同設置エリア内に設置して照合管理するようにしてもよく、遠隔位置のセンタ装置で管理してもよい。さらに、１つの制御系に複数の顔照合装置１１を接続して照合管理することもできる。
【００３２】
図２は顔照合装置１１の制御回路ブロック図を示し、この顔照合装置１１の主制御部となる制御機器１５は、カメラ１２から顔情報を取得した生画像をＩ／Ｆ(インターフェース)部２１を介して取込み、一旦画像メモリ２２に蓄積する。
【００３３】
蓄積された生画像から目、鼻、口…等の特徴モデルを元にマッチングによって顔の位置を顔位置検出部２３により正確に検出する。
【００３４】
顔の位置を検出して位置決めすると、次に顔領域抽出部２４により撮像した顔領域の抽出を行う。
【００３５】
この顔領域を抽出した後、特徴抽出部２５で顔画像から切出された特有な点の集合体として得られる顔の特徴データを抽出する。この特徴データは平均顔との差を主成分分析等の統計的手法を用いて抽出するか、あるいは目、鼻、口…等の濃淡画像からテンプレートマッチングによって抽出する。
【００３６】
この抽出された特徴データと、照合判定用に予め登録して記憶部２７に記憶されている特徴データとを類似度判定部２６で比較照合して類似度を判定し、その判定結果を結果表示器１３に表示する照合構成を有している。
【００３７】
ところで、予め登録される特徴データに際しては、照合対象者の全ての人に対応付けて各人の様々な表情の顔画像、および上向き顔、下向き顔、横向き顔などの顔の方向が任意角度に異なる複数の顔画像を記憶させておき、同一人物の複数の顔画像を照合判定に用いることにより照合性を高めている。
【００３８】
この場合、各人の照合判定に際して、予め１人に付き複数の顔画像の特徴データを記憶部２７に記憶させて登録しておき、これら登録しておいた複数の顔画像の特徴データを、照合時に実際にカメラ１２より取得したある人の顔画像の特徴データと照合した結果が、全照合結果中の上位領域にあれば、その照合した複数の特徴データのそれぞれが高照合値と確認できるため、その高照合値と確認できた人を本人と特定することができる。
【００３９】
例えば、図３に示すように、照合時にカメラ１２の前に立った人の顔画像をカメラ１２より取得し、その顔画像の特徴データと、記憶部２７に予め記憶されている全顔画像の特徴データとを比較して求まる類似度リストデータを作成する。
【００４０】
この類似度リストデータは、類似度の高い順に並べて表すランキングと、登録者とその対応付けられた種類を表す登録データと、類似判定結果を表す類似度との３項目に分けて表示している。この場合、登録データに表される数値について説明すると、例えば「Ａ０１」は、「Ａさんの登録データＮｏ．０１」を表している。
【００４１】
この類似度リストデータにおいて、閾値以上となるランキング上位Ｎ個までが同一人物のとき、カメラ１２の前に立った人がその人物本人であると特定するという第1認識成功条件パターンを定めている。図３においては、ランキングＮ＝３までのとき、Ａさんの顔画像から取得した複数のデータの照合結果が３個ともに閾値以上の高類似度領域に入って照合条件を満たしているため、Ａさんで認識成功となる。このように、照合対象者の異なる複数の顔画像を照合チェックし、閾値以上の高類似度領域の全てにＡさんの顔画像が含まれているときカメラの前の人をＡさん本人と特定する。
【００４２】
したがって、照合時に他人の特徴データがＡさんの特徴データの1つに近似している場合や照合値が上回っている場合にも、それだけで判断せず、複数の特徴データのそれぞれを照合して総合的に判断するため、カメラ１２の前の人がＡさん本人であれば全てが閾値以上を満たした値を示し、他人であれば多くが低照合の閾値以下を示すため本人と他人とを明確に区別することができる。このため、照合時に本人が他人と誤判定されなくなり、照合信頼性が向上する。
【００４３】
例えば、本人が眼鏡を掛けている場合、同一あるいは近似する形状の眼鏡を掛けている他人の特徴データとの照合性が高くなるが、この1つの特徴データだけが閾値以上を示すものであり、これ以外の他人の特徴データは本人とは大きく異なり、類似性の低い低照合値を示すことから他人のデータとは明確に区別できる。特に、本人の複数の特徴データは、全て類似性の高い高照合値を示すことから本人の特定性能が高まり、照合精度の向上と信頼性の向上とが図れる。
【００４４】
図４は第２認識成功条件パターンを示し、この第２認識成功条件パターンは類似度リストデータにおいて、閾値以上となるランキング上位のうちのＮ位の中で同一人物の占有割合が最も多いとき、本人と認識するものである。
【００４５】
例えば、閾値以上となるランキングＮ＝５までのとき、Ａさんの顔画像から取得した複数の特徴データの照合結果が、閾値以上の高類似度領域内に最も多く３個の特徴データが入っているため、Ａさんで認識成功となる。このように、照合対象者の異なる複数の顔画像を照合チェックし、閾値以上でＡさんの顔画像の占有割合が最も多く含まれているときカメラの前の人をＡさん本人と特定する。
【００４６】
このような設定条件にした場合は、本人を特定する際、照合結果から算出した類似度リストデータの上位にＡさんの顔画像が最も多く含まれていれば、必然的にカメラの前の人をＡさん本人と特定することができる。したがって、閾値以上のある人の顔画像の占有割合を調べるだけで、本人を容易に特定することができる。
【００４７】
図５は第３認識成功条件パターンを示し、この第３認識成功条件パターンは類似度リストデータにおいて、閾値以上となるランキング上位のうちのＮ位の中に同一人物がＭ個以上あるとき、本人と認識するものである。
【００４８】
例えば、閾値以上となるランキングＮ＝５以上で、Ｍ≧３のとき、Ａさんの顔画像から取得した複数の特徴データの照合結果が３個閾値以上の高類似度領域に入って照合条件を満たしているため、Ａさんで認識成功となる。このように、照合対象者の異なる複数の顔画像を照合チェックし、そのＡさんの顔画像が閾値以上で予め定められた数だけ含まれているときカメラの前の人をＡさん本人と特定する。
【００４９】
このような設定条件にした場合は、本人を特定する際、照合結果から算出した類似度リストデータの上位にＡさんの顔画像が予め定められた数だけ含まれていれば、Ａさんと他人とを明確に区別してカメラの前の人をＡさん本人と正確に特定することができる。この場合も閾値以上の高類似度領域内でのある人の顔画像の数を調べるだけで、本人を容易に特定することができる。
【００５０】
このように構成された顔照合装置１１の照合処理動作を図６のフローチャートを参照して説明する。
【００５１】
今、カメラ１２の前に人が来ると、その人の顔をカメラ１２が撮影し、その撮影した顔画像の生データを画像キャプチャにより取得し、これを画像メモリ２２に記憶する（ステップｎ１）。
【００５２】
顔画像の生データを取得した場合、同データから顔領域の検索を行って、撮影した顔領域を検出し、この顔領域を検出した後、目、鼻、口…などの特徴から顔の位置を検出して位置決めすると、この顔画像から顔の特徴データを抽出する（ステップｎ２）。
【００５３】
この抽出された顔の特徴データと、予め登録された顔の特徴データとを比較照合して類似度を求め（ステップｎ３）、
この求めた類似度の判定結果として、類似度の高い順に並べた類似度リストデータ(図３〜図５参照)を作成する(ステップｎ４)。
【００５４】
この類似度リストデータにおいて、予め定められた閾値以上にカメラの前の人の照合結果の特徴データが存在しているか、否かを判定し(ステップｎ５)、
閾値以上で、しかも定められた認識成功条件を満たしていれば(ステップｎ６)、
認識成功となり、高精度にカメラの前の人を、認識成功条件を満たした人と特定する(ステップｎ７)。
【００５５】
ところが、カメラの前の人の照合結果の特徴データが、閾値以下の場合、あるいは閾値以上の数が足りないなどの認識成功条件を満たしていない場合はカメラの前の人を特定できずに、認証失敗と判定する(ステップｎ８)。
【００５６】
上述のように、予め１人に付き複数の顔画像の特徴データを登録しておき、照合時に同一人物の複数の特徴データの照合結果が、全特徴データの照合結果中の上位にあれば、その照合した複数の特徴データの全てが高照合と確認できるため本人と特定することができる。特に、照合時に他人の特徴データが本人の特徴データの1つに近似している場合や照合値が上回っている場合にも、それだけで判断せず、複数の特徴データのそれぞれを照合して総合的に判断するため、本人であれば全てが高照合値を示し、他人であれば多くが低照合値を示すことになる。このため、照合判定結果が正確で本人と他人とを明確に区別することができる。
【００５７】
この発明の構成と、上述の一実施の形態の構成との対応において、
この発明の顔画像取得手段は、実施の形態のカメラ１２に対応し、
以下同様に、
記憶手段は、記憶部２７に対応し、
照合度合いデータは、類似度リストデータに対応し、
算出手段、抽出手段、および特定手段は、類似度判定部２６に対応し、
所定数は、閾値以上の予め定められた高類似度領域の数値(上位ランキング)に対応し、
生体情報照合装置は、顔照合装置１１に対応するも、この発明は請求項に示される技術思想に基づいて応用することができ、上述の一実施の形態の構成のみに限定されるものではない。
【００５８】
例えば、上述の一実施の形態では生体情報の一例に顔の照合を例にとって説明したが、これに限らず、声紋情報等の他の生体情報を用いても同様に構成することができる。
【００５９】
【発明の効果】
この発明によれば、本人の複数の特徴データは全て高い照合値を示し、他人の特徴データは総合的に低照合値を示すことから本人の特徴データと他人の特徴データと明確に区別して判断することができる。このため、照合時に本人が他人と誤判定されなくなり、照合信頼性が向上し、他人の特徴データによる照合エラーを減らすことができる。
【００６０】
【図面の簡単な説明】
【図１】  顔照合装置を示す概略構成図。
【図２】  顔照合装置の制御回路ブロック図。
【図３】  第１認識成功条件パターンの類似度リストデータを示す図表。
【図４】  第２認識成功条件パターンの類似度リストデータを示す図表。
【図５】  第３認識成功条件パターンの類似度リストデータを示す図表。
【図６】  顔照合装置の照合処理動作を示すフローチャート。
【符号の説明】
１１…顔照合装置
１２…カメラ
１５…制御機器
２６…類似度判定部
２７…記憶部