(57)【特許請求の範囲】
【請求項１】
計算装置の制御により顔画像識別のための特徴量を求め、該特徴量を記憶された特徴量と比較して同一人物の顔画像領域であることを同定する特徴量の利用方法であって、
前記計算装置は、入力された顔画像情報を演算回路で演算処理を行うことにより、比較すべき顔画像領域を取り出して基準点を決定し、
該計算装置は、前記顔画像領域の持つ物体形状および赤，緑，青のいずれかの色またはそれら全ての色の変化の違いに基づく濃度値傾斜を表現する特徴量に置き換え、
該計算装置は、前記特徴量とデータベースを検索して読み出された特徴量とを前記演算回路で比較し、前記特徴量からのずれ量を求め、該ずれ量を同一人物の顔画像領域であるか否かの画像識別に利用することを特徴とする画像識別のための特徴量の利用方法。
【請求項２】
前記入力画像情報から取り出す特徴量は、画像上の１つ以上の基準点からの相対的な位置情報を保持した濃度値空間内における法線ベクトルであり、該特徴量からのずれ量は、識別する画像間の対応する相対的位置の持つ法線ベクトル間の成す角度であることを特徴とする請求項１に記載の画像識別のための特徴量の利用方法。
【請求項３】
前記入力画像情報からの特徴量の取り出しにおいて、予め画像情報における複数の特徴的な形状を判別し、判別された複数の形状間の位置関係から基準点を決定し、該基準点を基に位置決定された特徴量を取り出すことを特徴とする請求項１に記載の画像識別のための特徴量の利用方法。
【請求項４】
前記入力画像情報からの特徴量の取り出しにおいて、基準点を利用して元画像の全てまたはその一部の画像を切り出し、そこから取り出した特徴量のずれを利用して画像識別の判定を行う際にサンプリングされた特徴量の全てまたはその一部を利用することを特徴とする請求項１から３までのうちのいずれか１つに記載の画像識別のための特徴量の利用方法。
【請求項５】
前記入力画像情報からの特徴量の取り出しにおいて、切り出された画像から特徴量を算出するための領域或いは特徴量計算方法のいずれかを指定して特徴量を求め、または、切り出された画像から特徴量を算出するための領域と特徴量計算方法をともに指定して特徴量を求め、画像識別に利用することを特徴とする請求項１に記載の画像識別のための特徴量の利用方法。
【請求項６】
前記入力画像が、人物の顔を撮影したものであり、取り出された特徴量と予め取り出して保持しておいた特徴量とのずれ量を計算し、予め特徴量を取り出した画像と同一であるか否かを判別することを特徴とする請求項１から５までのうちの１つに記載の画像識別のための特徴量の利用方法。
【請求項７】
前記入力画像が、人物の顔を撮影したものであり、特徴量の取り出しにおいて利用する基準点を決定するための特徴的な形状が人物の目であることを特徴とする請求項１から５までのうちのいずれか１つに記載の画像識別のための特徴量の利用方法。
【請求項８】
請求項１ないし７のうちのいずれか１つに記載された画像識別のための特徴量とその利用方法の処理手順を、プログラムに変換して該プログラムを格納することを特徴とする計算装置で読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、対象物を撮影した画像情報をその対象物の特徴を保持しながらより少ない情報に置き換えることにより、同一の対象物であるか、異なる対象物であるかを判別可能にする画像識別のための特徴量の利用方法に関し、特にＩＣカードに印刷された顔画像を読み取り特徴量に変換して、予め読み取り抽出され登録されているカードの所有者の顔画像の特徴量と比較して同一の顔画像であることを同定する方法、およびその方法をプログラムに変換したものを格納した記録媒体に関する。
【０００２】
【従来の技術】
画像情報を識別する技術は、画像に含まれる構成要素の位置、大きさ、形状等をパラメータとして抽出して特徴量として比較する方法と、画像の濃度分布を特徴量として比較する方法とに分けることができる。
複数の構成要素に分割して比較する場合には、判り易く取り扱い易いが、パラメータの抽出には非常に複雑な処理を必要としロパスト性も低い。
一方、後者の方法では、位置合わせ等の前処理により識別性能が左右され、大量の計算を必要とする。例えば、完全な一致を求めるならば、画像上の１画素毎の位置と濃度情報により識別を行うことができるが、明らかに非現実的である。また、閾値による濃度スライスを行った結果の同一濃度の画素数（＝面積）により判定するということも行われている。
これらの方法によって非常に厳密な判定が可能であるが、画像の情報量が増大すると、そのための計算量は非常に大きなものとなってしまう。
そのため計算量の削減のために顔画像の一部をモザイクパターンに分割し、ブロック毎に平均濃度値を代表値とさせて比較処理を行うと言う方法も行われているが、位置ずれの吸収には効果があるが機械的な分割により重要な特徴を失なってしまう場合が往々にして発生する。
なお、従来技術の例としては、『顔の両眼付近の部分画像を用いたゲート管理のための個人識別実験』島田英之、磯部博文、塩野充著、（電子情報通信学会誌Ｄ−２、Ｖｏｌ．1,J77-D-11,NO.9,pp.1680-1690,１９９４年９月がある。
【０００３】
【発明が解決しようとする課題】
写真画像等のイメージ情報を基に物体の形状を判定するために、最も確実なものは、画像の持つ全ての情報を検証すればよい。しかし、高解像度な画像が一般的に利用されるようになると、その判定に要する計算量、時間は非常に膨大なものとなってしまう。そのために画像をモザイク状に分割し、各モザイク平面の平均濃度値を代表値とする等して情報量を圧縮する手法が報告されている。
しかし、十分な判定を行うために必要な情報を保存すると、圧縮率が大きく取れないという問題がある。また、その判定の仕組は、同一であるか異なっているかと言う２者択一的な判定であって、中間的な結果を出すことは一般的に判定を放棄するものでリジェクトという処理が行われ、判定系からははねられてしまう。  そこで、本発明の目的は、上述のような従来の課題を解決し、計算量に応じた確率的な同定判定を可能とする画像識別のための特徴量の利用方法、ならびにそのプログラムを格納する記録媒体を提供することにある。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、本発明による画像識別のための特徴量の利用方法では、画像情報を用いた同定処理における計算量な計算時間を少なくするための特徴量を濃度値平均ではなく濃度値の傾斜を表現する法線ベクトルの成す角度と決め、画像情報に適応的な処理アルゴリズムを用いることにより実現する。つまり、十分な判定材料となり得る情報量と計算機の能力が与え得るならば、かなり高精度な同異判定を行うことが可能であって、少ない情報量と劣悪な計算能力しかないときには、確率的な判定を下すことが可能であり、人間による最終判定を仰ぐことにより、同異判定を行わせることができる。本発明による個人情報を格納する携帯型記憶媒体は、例えば個人情報を書き込み、読み出し可能なＩＣカードやメモリカード等であり、カード上には、個人情報をコード化したディジタル情報が格納される。また、カード表面には、個人を同定するための顔画像が印刷されている。
また、本発明の個人情報を認証するシステムは、多数の個人情報をデータベース化し、格納するネットワーク上もしくはローカルにあるデータベースシステムと、ＩＣカードもしくはメモリカードから情報を読み出せるカードリーダーと、ＩＣカードもしくはメモリカードの表面にある画像情報を読み取るイメージスキャナと、画像データを保持し、抽出された特徴量や演算に必要なデータを保持可能な記憶媒体（例えば、半導体メモリ）と、画像データを記憶媒体から読み出し書き込み、及びデータに対する演算または個人情報をデータベースシステムから検索読み出し、記述されている特徴量と画像データから抽出された特徴量との比較が可能な中央演算処理装置およびプログラムを実可能なオペレーティングシステムと、外部装置と通信及びデータの送受信可能なインタフェース装置とを具備する。
【０００５】
【実施例】
以下、本発明の実施例を、図面により詳細に説明する。
図１は、本発明による画像識別のための特徴量の利用方法を適用する処理システムの概拠構成図である。
個人情報をディジタルデータに変換し、格納したメモリチップもしくはＩＣチップ４を搭載したカード１０には、カードの所有者の顔をディジタルカメラ等により撮影された顔写真画像３が印刷されている。認証システム１１は、画像処理とデータ検索を行うＰＣ（パーソナルコンピュータ）等の計算装置１と個人情報及び顔画像の特徴量を登録・記録してあるデータベースシステム２が、ローカルのバスもしくはネットワークＩ／Ｆカード等を介して接続されている。また、個人情報と顔画像の読み取りを行うカードリーダー兼スキャナ（図示せず）が適切なＩ／Ｆを介して接続されている。物品の購入時や入退時のセキュリティチェック時等において、カード持参者は認証システム１１に付属するカードリーダー兼スキャナにセットする。カードリーダー兼スキャナは、カード上に記録されているコード化された個人情報の読み出しと同時にカード表面に印刷されている顔画像のイメージ読み取りを行う。コード情報とイメージ情報は、ＰＣ１の内部メモリ（図示せず）に一旦記憶される。一方、ＰＣ１は、コード情報に含まれるキー情報を基にデータベースシステム２に登録されている情報を検索し、該当する登録コード情報を受け取る。次に、登録コード情報の中には、最初の登録時に撮影しておいた顔画像の特徴量が含まれており、先に内部メモリに記憶保存しておいたスキャナ読み取りにより得られたカード上の顔画像の特徴量と比較し、そのずれ量を見ることにより、その個人情報を記録しているカードが登録本人のものであるのか否かを判定する。
【０００６】
（特徴量の抽出）
特徴量の抽出は、以下に述べる２段階を経て行われる。
（１）前処理
読み取った顔画像から基準点を決める。実施例では、カード作成時に所有者は青い背景の前に正面向きで位置してもらう。照明は、ほぼ正面やや上方から当たるようにする。カラーディジタルカメラで撮影した画像または通常の銀塩写真方式で撮影した写真画像をカラースキャナ等で読み取った画像を使用する。先ず、適当な閾値処理を行って背景を切り出す。具体的には、カラーで撮影しているので画像データの中のブループレーンデータに着目し、先ずメディアンフィルタによる平滑化を施し、次に濃度値ヒストグラムを作成する。濃度値ヒストグラムから背景切り出しを行うための閾値ｘ１とｘ２を下式〔１〕から求める。ここでｈ〔ｉ〕は濃度値ｉの画素数を表わす。下式〔２〕の時、式〔１〕を満たすｉの最小値をｘ１、下式〔３〕の時、式〔１〕を満たすｉの最大値をｘ２とし、この部分に含まれる濃度値画素は背景であるとみなしてカットする。
ｈ〔ｉ〕／ｍ×１００≧１                ・・・・・・・・・・・・・・〔１〕
ｍ＝ｈ〔ｍａｘ〕＋ｈ〔ｍａｘ−１〕＋・・・＋ｈ〔ｉ＋１〕  ・・・・・〔２〕
ｍ＝ｈ〔ｍａｘ〕＋ｈ〔ｍａｘ−１〕＋・・・＋ｈ〔ｉ−１〕  ・・・・・〔３〕
【０００７】
図６は種々の処理を行った画像および背景の図であり、図２（ａ）は図６の画像のヒストグラムの例を示す図である。また、図７は肌色領域の処理の結果の図であり、図２（ｂ）は図７の画像のヒストグラムの例を示す図である。
図６（ａ）の閾値処理を行った結果の画像に対するヒストグラムが、図２（ａ）に示す特性図で示される。図２（ａ）のｘ１とｘ２の間は背景であるので、カットする。
雑音成分を除いて最終的に得られた背景部分が、図６（ｅ）である。
次に、肌色の抽出を行う。先の処理により抽出された背景外の領域についてグリーンプレーンのデータのヒストグラムを作成する。ここで、予め高濃度領域と低濃度領域をカットしておく。背景領域を切り出した残りの画像領域で最も大きな面積を占めている部分は肌色であるという前提のもとに、前述の閾値処理と同様にして肌色領域を取り出す。図７（ｃ）は閾値処理を行った結果を示す図であり、図２（ｂ）がこれに対応するヒストグラムの例である。この中で一定面積以上を占め、かつ重心が画像の中心に近いものを顔領域とする。図７（ｄ）が顔領域として抽出された図である。さらに、輪郭線による影響を無くすために輪郭線を含まない領域を取り出し、顔領域とする（図７（ｅ）参照）。
【０００８】
次に、基準点を決定する。
図８は基準点の検出過程を示す図であり、図９は平面での近似例を示す図である。
先ず、抽出された顔領域を楕円図形に近似し、その中に含まれる肌色領域でない部分にグリーンプレーンの濃度値を入れる（図８（ｃ）参照）。この結果から、人間の目に特徴的な条件を当てはめて、目領域の重心を求め、その重心間の中点を基準点とする（図８（ｄ）参照）。ここでの人間の目に特徴的な条件とは、状況により変えることができるが、ここでは、以下のような条件を使用して抽出している。
▲１▼目と思われる領域は、顔領域の重心を通る垂線の両側に存在する。
▲２▼目と思われる領域は、顔領域の重心より上方にある。
▲３▼目と思われる２つの領域の重心の水平位置及び面積はほぼ等しい。
▲４▼目と思われる領域内における濃度値のばらつきは大きい。
その他、複数検出された場合には、なるべく上方にある組を採用したり、条件に適合する領域が検出できない場合には、各検出された領域について、それぞれ上限下限を設定し、その範囲内で該当する領域があるか否かを探索するという条件を設定して、目領域の検出を行って基準点を決定する。
【０００９】
（２）法線ベクトル
図５は、法線ベクトルを示す図である。
顔領域にブループレーンの濃度値を入れ、顔領域を小区画に区割りする。例えば、顔領域中４００×４００画素の領域を採用した場合、１５×１５画素程度の大きさの小区画に区割りする。この場合、２６×２６＝６７６個の小区画が得られる。次に、各小区画毎に含まれる濃度値曲面を最小二乗誤差で近似した平面を求める。得られた平面の向き、つまり平面の法線ベクトルをその小区画に含まれる濃度値曲線を表現する特徴量とする。各小区画の法線ベクトルは、顔領域のある特定領域の形状および色の変化を示していることになる（図５参照）。
この領域に含まれる濃度値情報に比較して約１％以下に集約することができている。
【００１０】
（特徴量の比較）
図１０は、平均余弦のヒストグラムを示す特性図である。
以上の手順により抽出された法線ベクトルに対して、データベースに登録されている個人情報内には予めカードへ印刷された顔画像から取り込まれた法線ベクトルデータが格納されている。
データベース上の法線ベクトルデータには、基準点に対する位置情報も共に保存されている。最も単純な位置情報としては、小区画と基準点との位置関係により法線ベクトルデータに番号が割り付ける方法がある。個人認証のためにカードがカードリーダーに差し込まれると、カードリーダーに組み込まれているスキャナによってカード上の顔写真画像が読み込まれる。読み込まれた顔画像データは、ＰＣ１により先に記述したような方法で特徴量の抽出が行われる。抽出された特徴量である法線ベクトルデータには、やはり画像上の基準点に対する位置情報を持っているので、ここで予め決められた小区画の順に番号が割り付けられる。
先ず、カードリーダーにより得られた個人情報から該当するデータが登録されているか否かをデータベースシステムから検索する。この時の検索方法、検索キー、検索情報等は、認証システム毎に任意に設定されていてもよいので、ここでは省略する。検索の結果、該当する情報がなければ、この時点で不正使用かカードの破損等の理由ではねられる。該当する個人情報があれば、登録されている顔画像の特徴量データを読み込む。この場合には、法線ベクトルデータとその位置情報になる。次に、登録されている法線ベクトルデータとカード上から読み取って抽出した法線ベクトルとを位置情報に沿って順に比較する。この時の比較方法であるが、それぞれの基準点からの相対的な位置に対応する法線ベクトル同志のなす角を表わす余弦を計算する。つまり、特徴量のずれを法線ベクトルの方向の違いで表現することになる。このようにして、小区画の数だけ対応する小区画平面の濃度値傾斜の違いを表わす法線ベクトルの余弦データが得られる。結局、余弦データは、予めカード作成時に撮影された登録されている顔写真画像の顔領域の形状および色の変化と認証時にスキャナ等で読み込まれたカード上に印刷された顔写真画像の顔領域の形状および色の変化との違いを表わしている。全く同一の画像、同一の条件であればそれぞれの法線ベクトルの方向は一致するので、余弦データは１になる。画像が異なれば異なるほど、余弦は小さくなる。画像間の対応する位置の法線ベクトルの余弦を比較した数について、平均をとった平均余弦で見たヒストグラムである（図１０参照）。
【００１１】
通常、平均余弦は、０〜１の間に存在する。
このヒストグラムは、異なる人物を撮影した顔画像の組を複数種類用意し、それぞれの顔画像間での平均余弦を計算したものと同一人物を位置、アングル等を変えて複数撮影した画像の組を同様に複数用意し、それぞれの顔画像間での平均余弦を計算したものである。
このヒストグラムで判るように、先ず異なる人物を撮影した画像間の平均余弦は、必ず１より小さくなる。また、同一人物を撮影した画像間の平均余弦も条件が異なるので、やはり１よりも小さくなる。これらの分布からも適当な閾値３０を設定し分離することにより、登録されている個人とは異なる人物を撮影したものであることや、同一人物だが登録されている顔画像とは異なる顔写真であると言うことが判定できる。
さらに、厳密な位置合わせや固定された画像情報、局所的な画像情報のみの利用と言うことを行わないで判別できるので、ロバスト性の非常に高い判定が可能となる。つまり、画像の一部が汚れていても、また読み取り系の違いや精度を気にすることもなく、人物同定を行うことが可能である。
【００１２】
切り出された領域内から取り出された特徴量である法線ベクトルの取り出しと利用方法を最も単純な形で説明したが、ここで更に有効な利用方法について補足する。
図３（ａ）は、対象とする画像１からある領域の切り出しを行い（領域２）、その中から計算対象の候補となる画像領域を選び、それを小区画の矩形ブロックに分割した状態（領域３）を示す。領域３の選び方、領域３の小区画の分割は何でもよいが、ここでは矩形で説明する。
図３（ｂ）は、対象とする画像（領域１）からの別な切り出しを示す図である。  図４（ａ）および図４（ｂ）は、図３（ａ）に示した同じ領域３を表わしている。ここで、領域３は前述のように矩形で、その内部は小区画に分割されている。塗りつぶされた小区画は、特徴量の計算のために実際に使用されることを示し、空白の小区画は特徴量の計算に寄与していないことを示す。同様にして、領域３から計算のために使用する小区画の選び方は小区画総数をＮとすると２のＮ乗−１あるが、ここでは、２通りを例として説明する。特徴量の計算式は次のように表現できる。
図４（ａ）の場合の特徴量をＤ１、図４（ｂ）の場合の特徴量をＤ２とする。
Ｄ１，Ｄ２は、図４（ａ）（ｂ）で計算に使用する小区画が異なるために、一般には異なる値を持つ。
これにより、同一の画像から異なる特徴量を設定することができるが、これを異なる検証者毎に割り当てる。例えば、特徴量Ｄ１を銀行、特徴量Ｄ２を郵便局における検証のための特徴量として割り当てれば、被験者は１つの画像情報を保持しながら、銀行と郵便局とは互いに知り得ない独立の特徴量により検証を行うことが可能となる。同様にして、検証者は１つに固定しておき、検証を行う毎に、Ｄ１，Ｄ２のいずれかを選択させることが可能となる。これにより、毎回異なる検査方法を設定選択することができる。Ｄ１とＤ２、および／またはそれらを併用した結果は、計算量や検証精度に差異をもたらすが、これは検証時に必要とする計算時間、検証精度に応じた選択を行うことが可能となる。
【００１３】
図４（ａ）は、図１における計算対象となる領域３の画像で、分割された小区画に対して左上からＡ１１Ａ１２・・Ａｉｊと番号を付けて表わし、領域３全体をＩで表わす。ある領域３の小区画Ｉｋは、
Ｉｋ＝｛Ｋ１１ｋ，Ｋ１２ｋ・・Ｋｉｊｋ｝    ・・・・・・・・・・・〔４〕
図４（ｂ）は、特徴量の計算に重み（Ｋｉｊｋ）をつけたもので、分割された小区画Ａ１１，Ａ１２，・・Ａｉｊの対応する部分の重みをＫ１１，Ｋ１２，・・・Ｋｉｊで示し、この組み合わせの１つＰＫは、
ＰＫ＝｛Ｋ１１ｋ，Ｋ１２ｋ・・Ｋｉｊｋ｝  ・・・・・・・・・・・・〔５〕
本発明による特徴量の計算式をＦとすると、次のように表現できる。
Ｆ（Ａ１１ｋ＊Ｋ１１ｋ，Ａ１２ｋ＊Ｋ１２ｋ，・・・Ａｉｊｋ＊Ｋｉｊｋ）
・・・・・・・・・・〔６〕
＝Ｆ（Ｉｋ，Ｐｋ）  ・・・・・・・・・・・・・・・・・・・・〔７〕
ここで、ＫｉｊまたはＫｉｊｋの値が０の場合は、特徴量の計算のために対応している小区画画像Ａｉｊｋが使用されないことを示し、１の値を持つ場合は、前記図４（ａ）、図４（ｂ）における塗りつぶされた小区画に該当する。ＫｉｊまたはＫｉｊｋは１以上の値も取り得る。図４（ａ）、図４（ｂ）の特徴量は、計算対象である領域３をＩとすると、
図４（ａ）      Ｄ１＝Ｉ＊Ｐ１      ・・・・・・・・・・・・・〔８〕
図４（ｂ）      Ｄ２＝Ｉ＊Ｐ２      ・・・・・・・・・・・・・〔９〕
Ｐ１，Ｐ２，・・Ｐｋは、ディジタルフィルタの一値である。上式〔８〕，〔９〕から明らかなように、同一画像から特徴量の取り出し方Ｐ１，Ｐ２を変えることによって異なる結果Ｄ１，Ｄ２を得るが、検出の精度や画像の特徴に応じてＰｋを選ぶことが可能である。
図４（ｂ）では、小区画の第１行の部分を全く使用していないが、例えば、読取装置の特性によって小区画の第１行にノイズが入り易い場合には、図４（ａ）より図４（ｂ）の小区画画像により特徴量を求める方が影響が少ない。こうして、読取装置の能力、特性や色の濃淡や影の付き方等の画像の特徴に適した画像領域を切り出すだけでなく、切り出された領域の小区画の利用方法を適宜に選択してより細かな、あるいはより最適な特徴量比較を行うことが可能となる。これを認証へ応用した例を説明する。認証を行う検証者として郵便局を選ぶ。郵便局にはＰ１を予め通知しておく。被験者は予めＤ１を算出して被験者と特定するＩＤをタグにして関連付け、郵便局に登録しておく。ＩＣカード等にＤ１に関連付けられたＩＤを格納し、カード表面に対象となる画像Ｉを印刷しておく。
郵便局では、カード所有者が提示したＩＣカード上の画像Ｉを読み取り、Ｐ１を用いて特徴量Ｄ１’を計算する。計算したＤ１’とＩＣカードから所定の手続きを経て読み出したＩＤから予め登録されたＤ１を探し出して比較し、画像識別を行う。銀行にはＰ２を予め通知しておき、Ｄ２を銀行に登録しておくことにより、同様の検証が可能である。このようにして、互いに知り得ない特徴量を元にして複数の検証者を設定することが可能である。
図４（ｅ）は、小区画の別の実施例を示すものである。このように、中抜きの円形を同心円と中心に向って直線に区切った区画でもよい。
【００１４】
図１１は、本発明における認証システムの処理フローチャートである。
システムが起動すると、先ず初期化が行われる。内部メモリや、周辺装置の初期化や設定状態の読み込み、データベースシステムとの接続等がある（Ｓ４−１）。初期化が終了すると、カードリーダーへカード１０が挿入されるのを待つ（Ｓ４−２）。カードが挿入されると、カードに記録されている個人情報を読み取る（Ｓ４−３）。次に、カードに印刷されている顔画像をイメージスキャナで読み取る（Ｓ４−４）。情報の読み取りが終了すると、次に個人情報を基に個人情報の検索を行う（Ｓ４−５）。検索キーやデータベースシステムに対する処理、検索方法等については、認証システムに応じて自由に選択してよい。検索した結果、該当者がなければ不正使用もしくはカードの破損等とみなして、図１３のリジェクト処理を行い、カードを排出する。排出後は、再びＳ４−２に戻り、カードが挿入されるのを待つ。
該当者があれば、登録データから個人情報及び本発明で使用する特徴量を読み込む（Ｓ４−７）。次に、カード挿入時に読み込んだ顔画像データから特徴値を抽出する。抽出された特徴量と登録されていた特徴量を比較し、ずれ量を検出する（Ｓ４−９）。ずれ量が同一範囲とみなせる場合には、本人の顔画像が印刷されたカード（人物同定）であるとみなして認証システムの主処理を行う（Ｓ４−１１）。主処理は、クレジットカードとしての物品の販売やセキュリティシステムにおけるロックの解除等である。主処理が終了するとカードは排出され、再びカード挿入待ちとなる。
【００１５】
図１２は、カードを作成して登録するカード作成システム側の処理を示すフローチャートである。
図１２も、図１１と同様にシステムが起動すると、先ず初期化が行われる。内部メモリや、周辺装置の初期化や設定状態の読み込み、データベースシステムとの接続等がある（Ｓ５−１）。初期化が終了すると、登録処理の要求待ちとなる（Ｓ５−２）。操作者により登録処理が要求されると、個人情報の読み取り、または入力が行われる（Ｓ５−３）。予め個人情報が記入された用紙等をスキャナ等で読み、ＯＣＲ処理を行ったり、または直接操作者による情報入力が行われる。  次に、登録をしたい本人の顔画像を読み取るか、または入力する。ここでも、ディジタルカメラ等による撮影を行って直接入力したり、通常の銀塩写真に撮影された写真画像をスキャナ等で読み取ると言った処理を行う（Ｓ５−４）。
顔画像データを取り込んだならば、次に特徴量を抽出する。そして、個人情報の登録を行う。先に抽出された特徴量も個人情報と関係付けられて共に登録されることになる。次に、登録した個人情報を発行するカードに記憶させ、その表面には顔画像を印刷する。ここまでの処理が、Ｓ５−５〜８である。全ての処理が完了すると、カードを発行する（Ｓ５−９）。
【００１６】
図１４は、図１１で述べたずれ量が同一範囲とみなせなかった場合の処理フローチャートである。
認証システムでは、操作者に情報を示すディスプレイ装置を必ず持っており、判定結果を表示するようになっている。勿論、視覚的な表示でなくても音等でもよい。ここでは、ＰＣのディスプレイ装置上に判定結果として、例えば『〇〇％の一致です。』のような表示を行ってカードを排出する。これにより認証システムを操作する人は、本人の顔画像ではない可能性もあることが判るので、顔画像と本人とを見比べて見るとか、何等かの別な情報（例えば、運転免許証等）も利用して判定する等の方法を採用することができる。
【００１７】
図１５は、特徴量を抽出する処理のフローチャート、図１６は、基準点の決定のための処理フローチャート、図１７は、法線ベクトル値取得処理のフローチャート、図１８は、特徴量と登録値とのずれ量の検出処理のフローチャートである。
先ず、前処理を行ってから法線ベクトルの抽出を行う。前処理は、基準点の決定である。
先に説明したように、背景の切り出し、顔領域の取り出しを行って基準点を決定する。一方、法線ベクトルの抽出は、図１７に示すような方法で行われる。顔領域を小区画に区切り、区画毎の平面を決定し、傾き＝法線ベクトル値を取得する。
次に、抽出された特徴量と登録されていた特徴量とのずれの検出は、図１８に示すような方法で行われる。対応する位置の法線ベクトルを比較し、それぞれのずれ量＝余弦を計算し、平均余弦を求める。得られた平均余弦に対して閾値処理を行う。
【００１８】
図１１〜図１８に記載された各ステップをプログラムに変換し、そのプログラムをＣＤ−ＲＯＭ等の記録媒体に格納することにより、その記録媒体を搬送した任意の場所において、本発明を実現することが可能である。
【００１９】
各請求項の発明毎の効果としては、▲１▼入力された画像情報を演算処理し、画像の持つ物体形状および色の変化に伴う濃度値傾斜を表現する特徴量に置き換え、前記特徴量からのずれ量を画像識別に利用することにより、画像を識別するためのデータ量を小さくすることができ、適応的な処理を行うことが可能になる。
▲２▼入力画像情報から取り出す特徴量は、画像上の１つ以上の基準点からの相対的な位置情報を保持した濃度値空間内における法線ベクトルであり、該特徴量からのずれ量は、識別する画像間の対応する相対的位置の持つ法線ベクトル間の成す角度であることにより、画像内の物体の３次元形状特性を少ない情報に置き換えることができ、また法線ベクトル化により特徴量のデータ量の圧縮を図ることができる。結果的に画像画の相違を少ない情報で表現することが可能である。
▲３▼入力画像情報からの特徴量の取り出しにおいて、予め画像情報における複数の特徴的な形状を判別し、判別された複数の形状間の位置関係から基準点を決定し、該基準点を基に位置決定された特徴量を取り出すことにより、直接画像の持つ特徴的な形状を基準点にするのではないので、入力方式や状態等による影響を小さくすることができる。また、画像間の位置ずれの影響が小さくなる。
▲４▼入力画像情報からの特徴量の取り出しにおいて、基準点を利用して元画像の全てまたはその一部の画像を切り出し、そこから取り出した特徴量のずれを利用して画像識別の判定を行う際にサンプリングされた特徴量の全てまたはその一部を必要に応じて利用することにより、画像の一部を利用することで、使用しない部分を他の用途（例えば、電子透かし）に利用することが可能となる。また、計算能力が高い場合には、非常に密度の高い読み取りと特徴量の抽出を行って高精度な比較同定処理ができ、劣悪な能力しかない場合や高速化が望まれる場合には、特徴量の抽出を粗く行って、元々持っている特徴量の一部を使用しての比較が可能となる。
【００２０】
▲５▼入力画像情報からの特徴量の取り出しにおいて、切り出された画像から特徴量を算出するための領域を指定し、および／または特徴量計算方法を指定して特徴量を求め、画像識別に利用することにより、同一画像を用いて、検証者または検証機会毎に異なる特徴量を用いた比較を行うことが可能となる。計算方法におけるパラメータの入力において、前回の結果を反映させて、より精度の高い検証比較を行う、計算量の少ない特徴量算出を行うことが可能となった。また、検出システムにより読み取られた画像の精度が特定の領域だけ劣化するような場合には、そのような領域で予め除外して特徴量を計算することが可能であるため、計算時間の短縮だけでなく、システム劣化に対する信頼性を確保することが可能となった。
▲６▼入力画像が、人物の顔を撮影したものであり、取り出された特徴量と予め取り出して保持しておいた特徴量とのずれ量を計算し、予め特徴量を取り出した画像と同一であるか否かを判別することにより、顔画像に応用することで指紋等と比較して日常的な撮影されることが多く、オープンな情報を利用することができる。視覚的に区別が可能であり、今後、カード等に印刷する情報として顔画像を利用することが多くなることが考えられ、有効活用ができる。
▲７▼入力画像が、人物の顔を撮影したものであり、特徴量の取り出しにおいて利用する基準点を決定するための特徴的な形状が人物の目であることにより、顔画像を撮影した場合、最も特徴的な部分は目領域であるので、目領域の情報が全くないと言うことはない。また、目自体を基準点として用いるわけではないため、目形状の情報に一部欠落があっても基準点の誤差は小さくすることができる。
【００２１】
次に、本発明の実施態様を示す。
（ａ）背景抽出や肌色領域の抽出には、記憶色の色度値を利用する。
（ｂ）同じく、ある領域が指定されると、その色を含む近い色を背景や肌色とみなして抽出することもできる。
（ｃ）法線ベクトルを求める濃度値は、Ｂ単独だけでなく、Ｒ，Ｇ，Ｂ全てを利用してもよいし、またＲやＧを利用してもよい。
（ｄ）データベース上には、高解像度で取り込んだ法線ベクトルデータを持っていても実際に比較するのは、その一部でもよい。また、処理を行うＰＣの性能により対応データを増やしたり、減らしたりすることにより、適応的な処理が可能である。
（ｅ）顔の大きさの正規化や不要成分（例えば、髪）を消去することより精度よく、また個人の識別に利用することができる。
（ｆ）法線ベクトルの判定に使用しない画像領域はデータが変化しても影響しないので、別の情報を乗せておくことも可能である。
（ｇ）閾値による判定をファジイ理論やニューロ等を応用して判定することも可能である。
（ｈ）非常に低いパフォーマンスのシステムでも確率的な判定によって（例えば、本人の顔画像である確率は７０％）、最終的には人間が判定するシステムにすることができ、柔軟な対応が可能になる。
（ｉ）全体の平均余弦での比較ではなく、比較領域を限定したり重み付けをしたり、顔であればほぼ対称形であるという前提から、顔の中心線から対称な位置にある法線ベクトルのずれ量の差を見てみる等の方法も採用することができる。
【００２２】
【発明の効果】
以上のように、本発明によれば、入出者管理やクレジットカードによる支払い等のセキュリティシステムにおいて、登録者本人か否かの同定にカード上に印刷された顔画像を用いて行うことができ、その際に、画像を識別するためのデータ量を小さくすることができる。また、画像内の物体の３次元形状特性を少ない情報に置き換えることができ、また画像の相違を少ない情報で表現でき、また直接画像の持つ特徴的な形状を基準点にしていないため、入力方式や状態等による影響を小さくでき、かつ画像間の位置ずれの影響を小さくできる。さらに、画像の一部を利用することにより、使用しない部分を他の用途（電子透かし等）に利用することが可能である。さらに、計算能力が高い場合には、非常に密度の高い読み取りと特徴量の抽出を行って、高精度な比較同定処理を行うことができる一方、劣悪な能力しかない場合や高速化が望まれる場合には、特徴量の抽出を粗く行って、元々持っている特徴量の一部を使用して比較を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す個人情報カードおよび認証システムの概略図である。
【図２】Ｂプレーンのヒストグラムの例を示す図、およびＧプレーンのヒストグラムの例を示す図である。
【図３】対象とする画像からの別な切り出しの説明図である。
【図４】計算対象とする画像領域の指定および小区画の例を示す図である。
【図５】本発明における法線ベクトルの説明図である。
【図６】本発明における画像の背景の抽出過程を示す図である。
【図７】本発明における画像の肌色領域の抽出過程を示す図である。
【図８】本発明による画像の基準点の検出過程を示す図である。
【図９】平面での近似例を示す図である。
【図１０】平均余弦のヒストグラムを示す特性図である。
【図１１】本発明の一実施例を示す認証システムの処理フローチャートである。
【図１２】本発明の一実施例を示すカード作成システムの処理フローチャートである。
【図１３】本発明におけるリジェクト処理のフローチャートである。
【図１４】図１１におけるずれ量が同一範囲とみなせなかった場合の処理フローチャートである。
【図１５】本発明における特徴量の抽出処理のフローチャートである。
【図１６】本発明における前処理である基準点の決定処理のフローチャートである。
【図１７】本発明における法線ベクトルの抽出処理のフローチャートである。
【図１８】本発明における抽出された特徴量と登録された特徴量とのずれの検出処理のフローチャートである。
【符号の説明】
１…画像処理ＰＣ、２…データベース、３…顔写真、
４…特徴量、識別関数の情報を記憶したメモリ、１０…個人情報格納カード、
１１…認証システム。
【図１】
0004103056.tif 000002
【図２】
0004103056.tif 000003
【図３】
0004103056.tif 000004
【図４】
0004103056.tif 000005
【図５】
0004103056.tif 000006
【図６】
0004103056.tif 000007
【図７】
0004103056.tif 000008
【図８】
0004103056.tif 000009
【図９】
0004103056.tif 000010
【図１０】
0004103056.tif 000011
【図１１】
0004103056.tif 000012
【図１２】
0004103056.tif 000013
【図１３】
0004103056.tif 000014
【図１４】
0004103056.tif 000015
【図１５】
0004103056.tif 000016
【図１６】
0004103056.tif 000017
【図１７】
0004103056.tif 000018
【図１８】
0004103056.tif 000019