(57)【要約】【課題】顔の画像データを用いて本人照合などを行うのための顔画像処理装置であって、登録及び照合対象となる顔領域を適切に決定すること。【解決手段】予め記憶されたモデル顔画像Ｆｍの目，鼻，口を含む矩形領域の顔画像データに基づき、伸縮率αの異なるＮ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）が生成され、入力された顔画像データＦの全領域において前記Ｎ枚の顔画像辞書Ｇαｉがそれぞれ個々に走査されながら各走査位置における相関係数が算出される。そして、閾値以上の最大相関係数値が算出されたところの各顔画像辞書Ｇαｉの走査位置情報とその幅および高さが顔画像抽出位置メモリに記憶され、最大相関位置情報の重心位置（ｘｇ，ｙｇ）およびその幅，高さの平均値（Ｗｂ，Ｈｂ）に対応する矩形顔領域ＧＳに従い、前記入力顔画像Ｆから登録対象人物の顔画像データＡや照合対象人物の顔画像データＢが抽出される。【選択図】    図３
2004178402.tif 000002
【特許請求の範囲】
【請求項１】
モデルとなる人物の目，鼻，口を含む矩形領域の顔画像であって、伸縮率を異ならせた複数のモデル顔画像を記憶するモデル顔画像記憶手段と、
顔画像を入力する顔画像入力手段と、
この顔画像入力手段により入力された顔画像の全領域を対象に、前記モデル顔画像記憶手段により記憶された複数のモデル顔画像のそれぞれについて走査しながら各走査位置における相関係数を算出する相関係数算出手段と、
この相関係数算出手段により前記複数のモデル顔画像のそれぞれについて最大の相関係数が算出された前記入力された顔画像領域上での位置を記憶する位置記憶手段と、
この位置記憶手段により記憶された位置に基づき、当該入力顔画像の目，鼻，口を含む矩形領域の顔画像を照合対象の画像として抽出する顔画像抽出手段と、を備えたことを特徴とする顔画像処理装置。
【請求項２】
さらに、
前記顔画像抽出手段により抽出された顔画像のエッジを強調するエッジ強調手段と、
このエッジ強調手段によりエッジの強調された顔画像に基づき瞳の位置を抽出する瞳位置抽出手段と、
を備えたことを特徴とする請求項１に記載の顔画像処理装置。
【請求項３】
さらに、
前記瞳位置抽出手段により抽出された登録人物の顔画像の瞳の位置と、照合人物の顔画像の瞳の位置とに基づき、当該登録顔画像と照合顔画像との伸縮率を算出する画像伸縮率算出手段と、
前記瞳位置抽出手段により抽出された登録人物の顔画像の瞳の位置と、照合人物の顔画像の瞳の位置とに基づき、当該登録顔画像と照合顔画像との回転率を算出する画像回転率算出手段と、
前記画像伸縮率算出手段および画像回転率算出手段により算出された登録顔画像と照合顔画像との伸縮率および回転率に基づき、当該登録顔画像に合わせて照合顔画像の縮尺および傾きを補正する照合画像補正手段と、
を備えたことを特徴とする請求項２に記載の顔画像処理装置。
【請求項４】
さらに、
前記照合画像補正手段により登録顔画像に合わせてその縮尺および傾きが補正された照合顔画像について、登録顔画像との照合を行う画像照合手段と、
を備えたことを特徴とする請求項３に記載の顔画像処理装置。
【請求項５】
前記瞳位置抽出手段は、前記エッジ強調手段によりエッジの強調された顔画像について予め設定された大きさのマスクを走査し、各走査位置毎のマスク内の画素値の総和に基づき瞳の位置を抽出する、
ことを特徴とする請求項２に記載の顔画像処理装置。
【請求項６】
前記瞳位置抽出手段は、前記エッジ強調手段によりエッジの強調された顔画像について予め設定された内外二重のマスクを走査し、各走査位置毎の内側マスク内の画素値の総和と外側マスク内の画素値の総和との比率に基づき瞳の位置を抽出する、
ことを特徴とする請求項２に記載の顔画像処理装置。
【請求項７】
モデルとなる人物の目，鼻，口を含む矩形領域の顔画像であって、伸縮率を異ならせた複数のモデル顔画像を記憶するモデル顔画像記憶ステップと、
顔画像を入力する顔画像入力ステップと、
この顔画像入力ステップにて入力された顔画像の全領域を対象に、前記モデル顔画像記憶ステップにて記憶された複数のモデル顔画像のそれぞれについて走査しながら各走査位置における相関係数を算出する相関係数算出ステップと、
この相関係数算出ステップにて前記複数のモデル顔画像のそれぞれについて最大の相関係数が算出された前記入力された顔画像領域上での位置を記憶する位置記憶ステップと、
この位置記憶ステップにて記憶された位置に基づき、当該入力顔画像の目，鼻，口を含む矩形領域の顔画像を照合対象の画像として抽出する顔画像抽出ステップと、
からなることを特徴とする顔画像処理方法。
【請求項８】
顔画像を登録あるいは照合する顔画像処理装置のコンピュータを制御するための顔画像処理プログラムであって、
前記コンピュータを、
モデルとなる人物の目，鼻，口を含む矩形領域の顔画像であって、伸縮率を異ならせた複数のモデル顔画像を記憶するモデル顔画像記憶手段、
顔画像を入力する顔画像入力手段、
この顔画像入力手段により入力された顔画像の全領域を対象に、前記モデル顔画像記憶手段により記憶された複数のモデル顔画像のそれぞれについて走査しながら各走査位置における相関係数を算出する相関係数算出手段、
この相関係数算出手段により前記複数のモデル顔画像のそれぞれについて最大の相関係数が算出された前記入力された顔画像領域上での位置を記憶する位置記憶手段、
この位置記憶手段により記憶された位置に基づき、当該入力顔画像の目，鼻，口を含む矩形領域の顔画像を照合対象の画像として抽出する顔画像抽出手段、
として機能させるようにしたコンピュータ読み込み可能な顔画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔の画像データを用いて本人照合などを行うのための顔画像処理装置、顔画像処理方法、および顔画像処理プログラムに関する。
【０００２】
【従来の技術】
例えば本人であるか否かの認証を行う技術的手段として、予め登録された顔画像と本人確認のために読み込まれた顔画像とを照合してその類似度を判定し、この照合類似度が所定の類似度より高い場合に本人であるとして認証する顔画像の照合装置が考えられている。
【０００３】
そして、このような顔画像の照合装置では、撮像入力された顔の画像から登録の対象となる顔領域や照合の対象となる顔領域を抽出し、抽出された登録用の顔領域に対して照合用の顔領域の大きさ・傾きを正規化して、顔画像の照合を行っている。
【０００４】
この際、撮像された顔の全体画像において、登録及び照合の対象となる顔領域は、髪型・眉・眼鏡などの偽装しやすい部分を排除するために、目・鼻・口といった顔の特徴部品を含む顔の中央部のみを抽出した領域となるが、テンプレートとして登録すべき顔領域は、撮像された全体の顔画像からオペレータの目視によるマニュアル操作により切り出して登録している（例えば、非特許文献１参照。）。
【０００５】
【非特許文献１】
電子情報通信学会論文誌  ９７／８  ｖｏｌ．Ｊ８０−Ｄ−ＩＩ  Ｎｏ．８
【０００６】
【発明が解決しようとする課題】
このように、前記従来の顔画像の照合装置では、テンプレートとして登録すべき顔領域は、撮像された全体の顔画像からオペレータの目視によるマニュアル操作により切り出して登録しているため、認証の必要な人物毎に個々に登録すべき顔領域のマニュアル抽出が必要になり、非常に煩わしい問題がある。
【０００７】
本発明は、前記のような問題に鑑みてなされたもので、登録及び照合対象となる顔領域を適切に決定することが可能になる顔画像処理装置、顔画像処理方法、および顔画像処理プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
すなわち、本発明の請求項１に係る顔画像処理装置では、モデルとなる人物の目，鼻，口を含む矩形領域の顔画像であって、伸縮率を異ならせた複数のモデル顔画像がモデル顔画像記憶手段により記憶され、顔画像入力手段により顔画像が入力されると、この入力された顔画像の全領域を対象に、前記モデル顔画像記憶手段により記憶された複数のモデル顔画像のそれぞれについて走査しながら各走査位置における相関係数が算出され、この相関係数の算出により前記複数のモデル顔画像のそれぞれについて最大の相関係数が算出された前記入力顔画像領域上での位置が位置記憶手段により記憶される。すると、この位置記憶された位置に基づき、当該入力顔画像の目，鼻，口を含む矩形領域の顔画像が照合対象の画像として抽出される。
【０００９】
これによれば、入力された顔画像全体のうちの特徴部分である目，鼻，口を含む矩形領域の顔画像を、登録あるいは照合すべき顔画像となる照合対象の画像として適切に抽出できることになる。
【００１０】
また、本発明の請求項２に係る顔画像処理装置では、前記請求項１に係る顔画像処理装置にあって、さらに、顔画像の抽出により抽出された顔画像のエッジ強調が施され、このエッジ強調によりエッジの強調された顔画像に基づいて瞳の位置が抽出される。
【００１１】
これによれば、登録対象の顔画像や照合対象の顔画像として抽出された顔画像の大きさや傾きを効率よく求めるための瞳の位置を容易に抽出できることになる。
【００１２】
また、本発明の請求項３に係る顔画像処理装置では、前記請求項２に係る顔画像処理装置にあって、さらに、瞳位置の抽出により抽出された登録人物の顔画像の瞳の位置と、照合人物の顔画像の瞳の位置とに基づき、当該登録顔画像と照合顔画像との伸縮率および回転率が算出され、この算出された伸縮率および回転率に基づき、登録顔画像に合わせて照合顔画像の縮尺および傾きが補正される。
【００１３】
これによれば、登録顔画像の縮尺および傾きに合わせて照合顔画像を正規化できることになる。
【００１４】
また、本発明の請求項４に係る顔画像処理装置では、前記請求項３に係る顔画像処理装置にあって、さらに、照合画像の補正により登録顔画像に合わせてその縮尺および傾きが補正された照合顔画像について、登録顔画像との照合が行われる。
【００１５】
これによれば、登録顔画像に対して、当該登録顔画像の縮尺および傾きに合わせて正規化された照合顔画像を照合でき、信頼性の高い顔画像の照合，認証ができることになる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００１７】
図１は本発明の実施形態に係る顔画像処理装置の電子回路の構成を示すブロック図である。
【００１８】
この顔画像処理装置は、制御部（ＣＰＵ）１１、記憶装置１２、ＲＡＭ１３、イメージ読み取り装置１４、表示部１５、入力部１６、記憶媒体読み取り部１８、伝送制御部１９より構成され、バス１７を介して相互に接続されている。
【００１９】
制御部（ＣＰＵ）１１は、入力部１６からの入力信号に応じて、記憶装置１２に予め記憶されている制御プログラム、あるいはフロッピディスクＦＤなどの外部記憶媒体１８ａからフロッピディスクドライブＦＤＤなどの記憶媒体読み取り部１８を介して記憶装置１２に読み込まれた顔画像登録・照合処理プログラム、あるいは外部のコンピュータ端末（プログラムサーバ２０ａ）の記憶装置２０ｂから通信ネットワーク２０を経由し伝送制御部１９を介して記憶装置１２に読み込まれた顔画像登録・照合処理プログラムを起動させ、ＲＡＭ１３をワークメモリとして回路各部の動作を制御する。
【００２０】
記憶装置１２は、半導体メモリのＲＯＭやハードディスク装置ＨＤ等で構成し、本顔画像処理装置の電源投入直後に制御部（ＣＰＵ）１１により読み出される前述の制御プログラムを予め格納している。
【００２１】
ＲＡＭ１３は、前述の制御プログラムを実行する際に制御部（ＣＰＵ）１１が使用するワークメモリである。
【００２２】
イメージ読み取り装置１４は、被験者（本人）の登録顔画像や照合顔画像を取得（撮像）するための装置であり、例えばＣＣＤ（固体撮像素子）などのイメージセンサである。
【００２３】
表示部１５は、登録顔画像と照合顔画像との照合の判定結果を表示する、例えばＣＲＴや液晶などといったディスプレイ装置である。
【００２４】
入力部１６は、本顔画像処理装置の使用者が顔画像の取得指示や後述の顔画像抽出・登録・照合処理の開始を制御部（ＣＰＵ）１１に指示するための、例えばキーボード装置などの入力装置である。
【００２５】
図２は前記顔画像処理装置のＲＡＭ１３に確保されるデータメモリを示す図である。
【００２６】
ＲＡＭ１３には、顔画像登録・照合処理を実行する際に必要な各種データを記憶するためのエリアとして、入力顔画像メモリ１３ａ、モデル顔画像メモリ１３ｂ、顔画像辞書メモリ１３ｃ、相関係数メモリ１３ｄ、顔画像抽出位置メモリ１３ｅ、顔画像重心メモリ１３ｆ、登録顔画像メモリ１３ｇ、照合顔画像メモリ１３ｈ、エッジ強調顔画像メモリ１３ｉ、楕円マスクメモリ１３ｊ、瞳領域メモリ１３ｋ、照合顔画像伸縮率メモリ１３ｌ、照合顔画像回転率メモリ１３ｍ、正規化照合顔画像メモリ１３ｎ、登録画像マスク位置メモリ１３ｏ、照合画像最大相関位置メモリ１３ｐ、４／８近傍距離差メモリ１３ｑ、照合結果メモリ１３ｒなどが確保される。
【００２７】
図３は前記顔画像処理装置によるモデル顔画像Ｆｍの取得からその顔画像辞書Ｇαｉにより入力顔画像Ｆから登録あるいは照合対象の顔領域ＧＳを抽出した場合の具体例を示す図である。
【００２８】
入力顔画像メモリ１３ａには、イメージ読み取り装置１４により多階調画像として撮像入力された登録対象人物あるいは照合対象人物の顔の全体画像データＦが記憶される。
【００２９】
モデル顔画像メモリ１３ｂには、前記イメージ読み取り装置１４により撮像入力された目，鼻，口の形状や大きさなどが平均的な人物モデルの顔画像データＦｍが記憶される。
【００３０】
顔画像辞書メモリ１３ｃには、前記モデル顔画像データＦｍの目，鼻，口を含んだ矩形状の顔領域を予め設定された比率の伸縮率αにより三次補間法で縮小あるいは拡大して生成されたＮ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）が顔画像辞書群として記憶される。
【００３１】
すなわち、伸縮率α、顔画像辞書Ｇαｉのある点（ｕ，ｖ）に対して、多階調モデル顔画像Ｆｍのある点（ｉ，ｊ）とすると、（ｉ，ｊ）＝（α・ｕ，α・ｖ）の周りで補間を行うことにより、点（ｕ，ｖ）の濃度値が決定される。
【００３２】
補間式（三次補間法）は以下の通りであり、補間すべき点の近傍点を、次式（１）に示すように、
【数１】
2004178402.tif 000003
とすると、点（ｕ，ｖ）の濃度値Ｐ（ｕ，ｖ）は、次式（２）に示すように、
【数２】
2004178402.tif 000004
となる。
【００３３】
これを顔画像辞書Ｇαｉの全ての点（ｕ，ｖ）について計算することにより、伸縮率αに対応するモデル顔画像データＦｍの矩形状顔領域の伸縮画像を顔画像辞書Ｇαｉとして生成できる。同様に伸縮率αを増減させて計算することでＮ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）からなる顔画像辞書群を生成する。
【００３４】
相関係数メモリ１３ｄには、前記顔画像辞書メモリ１３ｃに記憶されたＮ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）のそれぞれについて、当該顔画像辞書Ｇαｉを登録あるいは照合対象の入力顔画像データＦで走査した場合の相関係数Ｒが計算されて記憶される。
【００３５】
この顔画像辞書Ｇαｉと入力顔画像Ｆとの相関係数Ｒは、２つのデータ列Ｘ，Ｙについて、該データ列Ｘ，Ｙの要素がＭ個あったとすると、次式（３）に示すように、
【数３】
2004178402.tif 000005
として計算される。
【００３６】
顔画像抽出位置メモリ１３ｅには、前記Ｎ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）のそれぞれについて、入力顔画像Ｆ上のあらゆる走査位置で相関係数Ｒが計算され、最大の相関係数Ｒが閾値以上であるときの入力顔画像Ｆ上での顔画像辞書Ｇαｉの位置（座標）が幅及び高さと共に記憶される。
【００３７】
顔画像重心メモリ１３ｆには、前記顔画像抽出位置メモリ１３ｅに記憶された入力顔画像Ｆ上で最大且つ閾値以上の相関係数Ｒが得られた各顔画像辞書Ｇαｉの位置（座標）の重心（ｘｇ，ｙｇ）が求められ、該各顔画像辞書Ｇαｉの幅及び高さの平均値（Ｗｂ，Ｈｂ）と共に記憶される。
【００３８】
登録顔画像メモリ１３ｇには、登録対象人物の顔画像の抽出・登録に際して、前記顔画像重心メモリ１３ｆに記憶された入力顔画像Ｆに対する最大相関Ｒの顔画像辞書Ｇαｉの重心位置（ｘｇ，ｙｇ）およびその幅，高さの平均値（Ｗｂ，Ｈｂ）に対応する矩形顔領域ＧＳに従い、当該入力顔画像Ｆから抽出された登録対象人物の顔画像データＡが記憶される。
【００３９】
照合顔画像メモリ１３ｈには、照合対象人物の顔画像の抽出・登録に際して、前記顔画像重心メモリ１３ｆに記憶された入力顔画像Ｆに対する最大相関Ｒの顔画像辞書Ｇαｉの重心位置（ｘｇ，ｙｇ）およびその幅，高さの平均値（Ｗｂ，Ｈｂ）に対応する矩形顔領域ＧＳに従い、当該入力顔画像Ｆから抽出された照合対象人物の顔画像データＢが記憶される。
【００４０】
図４は前記顔画像処理装置によりエッジ強調処理を施したエッジ強調顔画像Ｆｅから二重楕円マスクＭＳを用いて瞳領域を決定する場合の具体例を示す図である。
【００４１】
エッジ強調顔画像メモリ１３ｉには、前記矩形顔領域ＧＳとして抽出された登録顔画像データＡまたは照合顔画像データＢについて、コントラストの強い画像上の境界線のみを強調するエッジ強調処理を施したエッジ強調顔画像データＦｅが記憶される。
【００４２】
すなわち、多階調顔画像に対するエッジ強調処理は、多階調顔画像の各画素を中心画素として次式（４）で示される３×３の画素領域で重みを掛けその総和を取ることにより計算処理され、エッジ強調顔画像データＦｅが得られる。
【００４３】
【数４】
2004178402.tif 000006
【００４４】
図５は前記顔画像処理装置による瞳領域の特定処理に伴い用いられる二重楕円マスクＭＳを示す図である。
【００４５】
この二重楕円マスクＭＳは、前記エッジ強調顔画像Ｆｅの瞳の領域内に対応させた内側マスク領域Ｓ１と瞳の領域外に対応させた外側マスク領域Ｓ２からなり、この二重楕円マスクＭＳをエッジ強調顔画像Ｆｅの矩形顔領域ＧＳにおける左半分領域と右半分領域で走査する。
【００４６】
すなわち、エッジ強調部を多く含む瞳領域に対応して内側マスク領域Ｓ１でのデータ振幅値の絶対値の総和が最大となり、エッジ強調部を余り含まない瞳領域の周辺に対応して外側マスク領域Ｓ２でのデータ振幅値の絶対値の総和が最小となることで、その比率Ｓ１／Ｓ２が最大となるマスク中心位置が、左あるいは右の瞳の位置として特定される。
【００４７】
楕円マスクメモリ１３ｊには、前記瞳領域の特定処理に伴い用いられる二重楕円マスクＭＳが記憶される。
【００４８】
瞳領域メモリ１３ｋには、前記登録顔画像データＡについて特定された瞳領域の左右座標（ｘａ１，ｙａ１），（ｘａ２，ｙａ２）、前記照合顔画像データＢについて特定された瞳領域の左右座標（ｘｂ１，ｙｂ１），（ｘｂ２，ｙｂ２）が記憶される。
【００４９】
図６は前記顔画像処理装置による瞳領域特定後の領域間距離ｄおよび回転角度θを示す図である。
【００５０】
瞳領域間距離ｄは、ｓｑｒｔ（（ｘ１−ｘ２）２＋（ｙ１−ｙ２）２）により定義され、また、回転角度θは、ｔａｎ−１（（ｙ１−ｙ２）／（ｘ１−ｘ２））により定義される。
【００５１】
これを登録顔画像Ａと照合顔画像Ｂとの両顔画像において求めることで、登録顔画像Ａに対する照合顔画像Ｂの補正伸縮率Ｍ、補正回転率Ｒが決定される。
【００５２】
照合顔画像伸縮率メモリ１３ｌには、登録顔画像Ａの瞳領域座標（ｘａ１，ｙａ１），（ｘａ２，ｙａ２）と照合顔画像Ｂの瞳領域座標（ｘｂ１，ｙｂ１），（ｘｂ２，ｙｂ２）に基づき、次式（５）に従い算出される、登録顔画像Ａに対する照合顔画像Ｂの伸縮率Ｍが記憶される。
【００５３】
【数５】
2004178402.tif 000007
【００５４】
照合顔画像回転率メモリ１３ｍには、登録顔画像Ａの瞳領域座標（ｘａ１，ｙａ１），（ｘａ２，ｙａ２）と照合顔画像Ｂの瞳領域座標（ｘｂ１，ｙｂ１），（ｘｂ２，ｙｂ２）に基づき、次式（６）に従い算出される、登録顔画像Ａに対する照合顔画像Ｂの回転率Ｒが記憶される。
【００５５】
【数６】
2004178402.tif 000008
【００５６】
この登録顔画像Ａに対する照合顔画像Ｂの伸縮率Ｍおよび回転率Ｒに従い、当該照合顔画像Ｂを登録顔画像Ａに合わせて正規化する場合に、照合顔画像Ｂのある点（ｉ，ｊ）についての補間点（Ｉ’，ｊ’）は、次式（７）に示すように、
【数７】
2004178402.tif 000009
となる。
【００５７】
これにより、照合顔画像Ｂを前記式（１）（２）を用いた三次補間法に従い登録顔画像Ａに合わせて補正して正規化する。
【００５８】
この際、照合顔画像Ｂにおける矩形顔領域ＧＳの４角の座標、および瞳領域の左右座標（ｘｂ１，ｙｂ１），（ｘｂ２，ｙｂ２）についても、上記式（７）に従い変換して正規化し更新する。
【００５９】
正規化照合顔画像メモリ１３ｎには、前記登録顔画像Ａに対する照合顔画像Ｂの伸縮率Ｍおよび回転率Ｒに従い当該照合顔画像Ｂを登録顔画像Ａに合わせて正規化した正規化照合顔画像Ｂｏが記憶される。
【００６０】
図７は前記顔画像処理装置によるエッジ強調処理を施した矩形顔領域ＧＳのエッジ強調登録顔画像Ａｅとエッジ強調正規化照合顔画像Ｂｏｅとの照合状態を示す図である。
【００６１】
この顔画像処理装置による照合処理では、エッジ強調登録顔画像ＡｅにＮ個のマスクＡｉを配置し、この各マスクＡｉ内のエッジ強調画像データを個々にエッジ強調正規化照合顔画像Ｂｏｅ上で走査して相関係数を計算した場合に、最大の相関係数が得られるマスクＢｉの位置を検出する。そして、登録顔画像Ａｅ上に配置した各マスクＡｉの相対位置関係と照合顔画像Ｂｏｅ上で検出された各最大相関マスクＢｉの相対位置関係との差分Ｄが予め設定された閾値α以下である場合に、登録顔画像Ａと照合顔画像Ｂは同一人物と判定される。
【００６２】
すなわち、エッジ強調登録顔画像Ａｅ上にＮ個のマスクＡｉを配置し、その配置位置を（ＡＸｉ，ＡＹｉ）但し（ｉ＝０，…，Ｎ−１）とする。各マスクＡｉ内のエッジ強調登録画像データとそれぞれ最大の相関係数が算出されるエッジ強調正規化照合顔画像Ｂｏｅ上でのマスクＢｉを検出し、その検出位置を（ＢＸｉ，ＢＹｉ）とする。登録顔画像Ａｅ上での基準マスク位置（ＡＸ０，ＡＹ０）、照合顔画像Ｂｏｅ上での検出基準マスク位置（ＢＸ０，ＢＹ０）とし、このそれぞれにおいて他のマスク位置（ｉ＝１，…，Ｎ−１）との間の距離を求める。
【００６３】
基準マスク位置（ｉ＝０）に対する他のマスク位置（ｉ＝１，…，Ｎ−１）までの距離の計算には、次式（８）（９）により定義される４近傍距離Ｄ４および８近傍距離Ｄ８を用いる。
【００６４】
２点間の座標を（ｘ１，ｙ１），（ｘ２，ｙ２）とすると、
【数８】
2004178402.tif 000010
となる。そして、登録顔画像Ａｅと照合顔画像Ｂｏｅとにおける４近傍距離の差をＤ４ｉ但し（ｉ＝１，…，Ｎ−１）、８近傍距離の差をＤ８ｉ但し（ｉ＝１，…，Ｎ−１）とする。
【００６５】
上記式（８）（９）を用い、登録画像Ａｅおよび照合顔画像Ｂｏｅのそれぞれについて、その基準マスク位置（ｉ＝０）からの距離を他のＮ−１個のマスク位置（ｉ＝１，…，Ｎ−１）に対して計算し、その差分Ｄ４とＤ８が閾値α以下となるマスク数がｋ個以上存在した場合に、登録顔画像Ａと照合顔画像Ｂを同一人物と判定する。
【００６６】
登録画像マスク位置メモリ１３ｏには、顔画像照合処理に伴いエッジ強調登録顔画像Ａｅ上に配置されるＮ個のマスクＡｉの配置位置（ＡＸｉ，ＡＹｉ）但し（ｉ＝０，…，Ｎ−１）が記憶される。
【００６７】
照合画像最大相関位置メモリ１３ｐには、顔画像照合処理に伴いエッジ強調正規化照合顔画像Ｂｏｅ上で検出される前記マスクＡｉと最大相関関係を有するマスクＢｉの検出位置（ＢＸｉ，ＢＹｉ）但し（ｉ＝０，…，Ｎ−１）が記憶される。
【００６８】
４／８近傍距離差メモリ１３ｑには、登録顔画像Ａｅと照合顔画像Ｂｏｅとにおける４近傍距離の差Ｄ４ｉ但し（ｉ＝１，…，Ｎ−１）、８近傍距離の差Ｄ８ｉ但し（ｉ＝１，…，Ｎ−１）が記憶される。
【００６９】
照合結果メモリ１３ｒには、前記４／８近傍距離差メモリ１３ｑに記憶された登録顔画像Ａｅと照合顔画像Ｂｏｅとにおける４近傍距離の差Ｄ４ｉ、８近傍距離の差Ｄ８に基づき評価判定される登録顔画像Ａと照合顔画像Ｂとの一致／不一致の判定結果が記憶される。
【００７０】
次に、前記構成による顔画像処理装置における顔画像登録・照合機能について説明する。
【００７１】
図８は前記顔画像処理装置により矩形顔領域ＧＳで定められる登録顔画像Ａと照合顔画像Ｂを抽出するための顔領域抽出処理を示すフローチャートである。
【００７２】
まずＲＡＭ１３内のモデル顔画像メモリ１３ｂに予め記憶されたモデル顔画像Ｆｍから目，鼻，口を含む所定サイズの矩形領域の顔画像データが特定され（ステップＡ１）、伸縮率αが所定の比率で増減されて（ステップＡ２）、特定された顔画像データの伸縮率αｉに対応する画像が三次補間法により計算され、顔画像辞書Ｇαｉとして生成される（ステップＡ３）。この処理は伸縮率αが順次変化させられて繰り返し実行され、最終的にはＮ枚の伸縮画像が算出され、顔画像辞書群Ｇαｉ（ｉ＝１〜Ｎ）として顔画像辞書メモリ１３ｃに記憶される（ステップＡ４）。
【００７３】
次にイメージ読み取り装置１４により読み取られて入力顔画像メモリ１３ａに記憶された登録あるいは照合対象人物の多階調顔画像データＦの全領域において、前記顔画像辞書メモリ１３ｃに記憶されたＮ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）がそれぞれ個々に走査されながら各走査位置における相関係数が算出される（ステップＡ５）。
【００７４】
１つの顔画像辞書Ｇαｉについて前記入力顔画像データＦ上での各走査位置における相関係数が算出されると、その相関係数の最大値が閾値以上であるか否か判断され（ステップＡ６）、閾値以上の最大相関係数値が算出されたところの顔画像辞書Ｇαｉの走査位置情報とそのときの顔画像辞書の幅および高さが顔画像抽出位置メモリ１３ｅに記憶される（ステップＡ７）。
【００７５】
そして、前記Ｎ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）の全てについて、前記入力顔画像データＦ上での最大相関位置の検索，記憶処理が終了したか否か判断され（ステップＡ８）、終了したと判断された場合には、前記顔画像抽出位置メモリ１３ｅに記憶された入力顔画像データＦ上での顔画像辞書Ｇαｉの最大相関係数値が得られた走査位置情報に基づいて重心位置（ｘｇ，ｙｇ）が求められ、また記憶された顔画像辞書の幅，高さの平均値（Ｗｂ，Ｈｂ）が求められ、顔画像重心メモリ１３ｆに記憶される（ステップＡ９）。この求められた重心位置、幅、高さは、読み取られた顔画像の照合範囲を決定するデータとなるものである。
【００７６】
すると、顔画像の登録においては、前記顔画像重心メモリ１３ｆに記憶された入力顔画像Ｆから重心位置（ｘｇ，ｙｇ）を基準にして、幅，高さの平均値（Ｗｂ，Ｈｂ）に対応する矩形顔領域ＧＳに従い、登録対象人物の顔画像データＡが抽出され、登録顔画像メモリ１３ｇに記憶登録される（ステップＡ１０）。
【００７７】
また、顔画像の照合時では、照合対象人物の顔画像データＢについて、入力顔画像データＦから重心位置（ｘｇ，ｙｇ）を基準に矩形領域ＧＳに相当する画像データが抽出され、照合顔画像メモリ１３ｈに記憶される（ステップＡ１０）。
【００７８】
これにより、登録対象人物の目，鼻，口を含む矩形顔領域ＧＳの顔画像データＡが登録顔画像メモリ１３ｇに登録され、また、照合対象人物の目，鼻，口を含む矩形顔領域ＧＳの顔画像データＢが照合顔画像メモリ１３ｈに記憶される。
【００７９】
図９は前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第１の瞳領域抽出処理を示すフローチャートである。
【００８０】
瞳領域抽出処理では、まず、登録顔画像メモリ１３ｇに矩形顔領域ＧＳとして抽出登録された登録顔画像データＡについて、例えば図４に示すように、コントラストの強い画像上の境界線のみを強調するエッジ強調処理が施されてエッジ強調顔画像データＦｅが生成され、エッジ強調顔画像メモリ１３ｉに記憶される（ステップＢ１）。
【００８１】
すると、このエッジ強調顔画像メモリ１３ｉに記憶された登録顔画像Ａのエッジ強調顔画像データＦｅの左半分領域上で、楕円マスクメモリ１２ｊに予め記憶された二重楕円マスクＭＳ（図５参照）が走査され、その各走査位置において、内側マスク領域Ｓ１でのデータ振幅値の絶対値の総和と、外側マスク領域Ｓ２でのデータ振幅値の絶対値の総和との比率Ｓ１／Ｓ２が計算される（ステップＢ２，Ｂ３）。
【００８２】
そして、エッジ強調部を多く含む瞳領域に対応して内側マスク領域Ｓ１でのデータ振幅値の絶対値の総和が最大となり、エッジ強調部を余り含まない瞳領域の周辺に対応して外側マスク領域Ｓ２でのデータ振幅値の絶対値の総和が最小となることで、その比率Ｓ１／Ｓ２が最大となるマスク中心位置が、登録顔画像データＡの左の瞳領域座標（ｘａ１，ｙａ１）として特定され、瞳領域メモリ１３ｋに記憶される（ステップＢ４）。
【００８３】
また、前記同様に、登録顔画像Ａのエッジ強調顔画像データＦｅの右半分領域上でも、二重楕円マスクＭＳの走査に応じて最大比率Ｓ１／Ｓ２となるマスク中心位置が、登録顔画像データＡの右の瞳領域座標（ｘａ２，ｙａ２）として特定され、瞳領域メモリ１３ｋに記憶される（ステップＢ５）。
【００８４】
なお、照合顔画像Ｂの左右の瞳領域座標（ｘｂ１，ｙｂ１）（ｘｂ２，ｙｂ２）についても、前記瞳領域抽出処理（ステップＢ１〜Ｂ５）に従い同様に抽出され、瞳領域メモリ１３ｋに記憶される。
【００８５】
図１０は前記顔画像処理装置において登録顔画像Ａと照合顔画像Ｂとの画像伸縮率Ｍおよび画像回転率Ｒにより当該照合顔画像Ｂを登録顔画像Ａに合わせて補正正規化するための照合画像補正処理を示すフローチャートである。
【００８６】
この照合画像補正処理では、まず、前記瞳領域抽出処理（図９参照）により、登録顔画像Ａの左右の瞳領域座標（ｘａ１，ｙａ１）（ｘａ２，ｙａ２）が特定されて瞳領域メモリ１３ｋに記憶され（ステップＣ１）、また同様に、照合顔画像Ｂの左右の瞳領域座標（ｘｂ１，ｙｂ１）（ｘｂ２，ｙｂ２）が特定されて瞳領域メモリ１３ｋに記憶される（ステップＣ２）。
【００８７】
すると、登録顔画像Ａと照合顔画像Ｂとの画像伸縮率Ｍが、当該顔画像Ａ，Ｂそれぞれの瞳領域間距離ｄ（図６参照）に基づいた前記式（５）に従い算出され、照合顔画像伸縮率メモリ１３ｌに記憶される（ステップＣ３）。
【００８８】
また、登録顔画像Ａに対する照合顔画像Ｂの画像回転率Ｒが、当該顔画像Ａ，Ｂそれぞれの瞳領域間回転角度θ（図６参照）に基づいた前記式（６）に従い算出され、照合顔画像回転率メモリ１３ｍに記憶される（ステップＣ４）。
【００８９】
すると、前記照合顔画像伸縮率メモリ１３ｌおよび照合顔画像回転率メモリ１３ｍに記憶された登録顔画像Ａに対する照合顔画像Ｂの伸縮率Ｍおよび回転率Ｒに基づき、三次補間法により照合顔画像Ｂが登録顔画像Ａに合わせて補正正規化された正規化照合顔画像Ｂｏが生成され、正規化照合顔画像メモリ１３ｎに記憶される（ステップＣ５）。
【００９０】
この際、照合顔画像Ｂについての矩形顔領域ＧＳの４角の座標、および瞳領域の左右座標（ｘｂ１，ｙｂ１）（ｘｂ２，ｙｂ２）についても、前記式（７）に従い変換して正規化されて更新される（ステップＣ６）。
【００９１】
図１１は前記顔画像処理装置により登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第１の照合処理を示すフローチャートである。
【００９２】
この第１の照合処理では、まず、前記照合画像補正処理（図１０参照）により、照合対象人物の照合顔画像Ｂの画像サイズ（縮尺）および回転具合（傾き）を登録顔画像Ａのそれに合わせて補正して正規化した正規化照合顔画像Ｂｏが生成され、正規化照合顔画像メモリ１３ｎに記憶される（ステップＤ１）。
【００９３】
すると、前記登録顔画像Ａおよび正規化照合顔画像Ｂｏのそれぞれについてエッジ強調処理が施され（ステップＤ２）、例えば図７（Ａ）に示すように、このエッジ強調処理された登録顔画像Ａｅの適当な位置（ＡＸｉ，ＡＹｉ）にＮ個のマスクＡｉが配置され、当該各マスク位置（ＡＸｉ，ＡＹｉ）が登録画像マスク位置メモリ１３ｏに記憶される（ステップＤ３）。
【００９４】
そして、図７（Ｂ）に示すように、前記登録顔画像Ａｅ上に配置されたの各マスクＡｉ内のエッジ強調登録画像データとそれぞれ最大の相関係数が算出されるエッジ強調正規化照合顔画像Ｂｏｅ上での各対応するマスクＢｉの位置（ＢＸｉ，ＢＹｉ）が検出され、照合画像最大相関位置メモリ１３ｐに記憶される（ステップＤ４，Ｄ５）。
【００９５】
すると、登録顔画像Ａｅ上での基準マスク位置が（ＡＸ０，ＡＹ０）、照合顔画像Ｂｏｅ上での検出基準マスク位置が（ＢＸ０，ＢＹ０）とされ、このそれぞれにおいて他のマスク位置（ｉ＝１，…，Ｎ−１）との間の距離が、前記式（８）（９）により定義される４近傍距離Ｄ４および８近傍距離Ｄ８により計算される（ステップＤ６）。
【００９６】
すると、登録顔画像Ａｅと照合顔画像Ｂｏｅとにおける４近傍距離の差分Ｄ４ｉおよび８近傍距離の差分Ｄ８ｉが計算されて４／８近傍距離差メモリ１３ｑに記憶され（ステップＤ７）、その差分Ｄ４ｉとＤ８ｉが閾値α以下となるマスク数がｋ個以上存在した場合には、登録顔画像Ａと照合顔画像Ｂは同一人物と判定されて照合結果メモリ１３ｒに記憶され、表示部１５に対して“ＴＲＵＥ”出力が行われる（ステップＤ８→Ｄ９）。
【００９７】
また、前記４／８近傍距離差メモリ１３ｑに記憶された差分Ｄ４とＤ８が閾値α以下となるマスク数がｋ個以上存在しない場合には、登録顔画像Ａと照合顔画像Ｂは同一人物ではないと判定されて照合結果メモリ１３ｒに記憶され、表示部１５に対して“ＦＡＬＳＥ”出力が行われる（ステップＤ８→Ｄ１０）。
【００９８】
したがって、前記構成の顔画像処理装置によれば、モデル顔画像メモリ１３ｂに予め記憶されたモデル顔画像Ｆｍの目，鼻，口を含む矩形領域の顔画像データに基づき、伸縮率αの異なるＮ枚の顔画像辞書Ｇαｉ（ｉ＝１〜Ｎ）が生成され、入力顔画像メモリ１３ａに記憶された入力顔画像データＦの全領域において前記Ｎ枚の顔画像辞書Ｇαｉがそれぞれ個々に走査されながら各走査位置における相関係数が算出される。そして、閾値以上の最大相関係数値が算出されたところの各顔画像辞書Ｇαｉの走査位置情報とその幅および高さが顔画像抽出位置メモリ１３ｅに記憶され、最大相関位置情報の重心位置（ｘｇ，ｙｇ）およびその幅，高さの平均値（Ｗｂ，Ｈｂ）に対応する矩形顔領域ＧＳに従い、前記入力顔画像Ｆから登録対象人物の顔画像データＡや照合対象人物の顔画像データＢが抽出されるので、入力顔画像Ｆについて読み取り距離のばらつきなどにより該顔画像サイズがその都度大きく異なっても、モデル顔画像Ｆｍの矩形領域に合わせて均一サイズ化した登録あるいは照合対象となる顔画像Ａ，Ｂを得ることができる。
【００９９】
また、前記構成の顔画像処理装置によれば、登録顔画像Ａと照合顔画像Ｂにエッジ強調処理が施され、そのそれぞれの左右瞳領域座標（ｘａ１，ｙａ１）（ｘａ２，ｙａ２）、（ｘｂ１，ｙｂ１）（ｘｂ２，ｙｂ２）が抽出されると共に、各顔画像Ａ，Ｂそれぞれの瞳領域間距離ｄおよび瞳領域間回転角度θに基づき、登録顔画像Ａに対する照合顔画像Ｂの画像伸縮率Ｍおよび画像回転率Ｒが算出され、当該画像伸縮率Ｍおよび画像回転率Ｒから三次補間法により登録顔画像Ａの画像サイズおよび傾きに合わせて補正した正規化照合顔画像Ｂｏが生成される。そして、この登録顔画像Ａと、これに合わせて正規化された照合顔画像Ｂｏとによって画像照合処理が実施され、登録顔画像Ａに対し照合顔画像Ｂが同一人物か否か判定されるので、各顔画像Ａ，Ｂにおける瞳領域の抽出によって登録顔画像Ａに対する照合顔画像Ｂの伸縮補正や回転補正を適性に行うことが出来るばかりでなく、信頼性の高い顔画像による本人照合を実施出来るようになる。
【０１００】
なお、前記実施形態の図１１における登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第１の照合処理では、当該登録顔画像Ａおよび正規化照合顔画像Ｂｏにエッジ強調処理を施した上で、エッジ強調登録顔画像Ａｅ上にＮ個のマスクＡｉ（ｉ＝０，…，Ｎ−１）を配置し、各マスクＡｉに対応するエッジ強調画像データと最大の相関係数が得られるエッジ強調正規化照合顔画像Ｂｏｅ上での各マスクＢｉの位置を検出し、登録顔画像Ａｅ上での各マスクＡｉ間距離と照合顔画像Ｂｏｅ上での各マスクＢｉ間距離との差分Ｄ４ｉ，Ｄ８ｉに基づき照合一致／不一致を判定する構成としたが、次の図１２における登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第２の照合処理で示すように、登録顔画像Ａ上での基準マスクＡ０（ＡＸ０，ＡＹ０）の配置と、これに応じた照合顔画像Ｂｏ上での最大相関基準マスクＢ０（ＢＸ０，ＢＹ０）の位置検出については、エッジ強調処理を施す前の多階調画像である登録顔画像Ａと正規化照合顔画像Ｂｏを対象に行う構成としてもよい。
【０１０１】
図１２は前記顔画像処理装置により登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第２の照合処理を示すフローチャートである。
【０１０２】
この第２の照合処理において、前記図１１における第１の照合処理と同一内容の処理ステップについては、同一のステップ符号を付してその説明を省略する。
【０１０３】
すなわち、この第２の照合処理では、まず、エッジ強調処理前の多階調画像である登録顔画像Ａの適当な位置に基準マスクＡ０（ＡＸ０，ＡＹ０）のみを配置すると共に（ステップＤ３ａ）、この基準マスクＡ０内の多階調画像データと最大の相関係数が算出される同エッジ強調処理前の正規化照合顔画像Ｂｏ上での基準マスクＢ０（ＢＸ０，ＢＹ０）の位置を検出記憶する（ステップＤ４ａ）。
【０１０４】
そして、この後に前記登録顔画像Ａおよび正規化照合顔画像Ｂｏに対してエッジ強調処理を施し（ステップＤ２）、このエッジ強調登録顔画像Ａｅに前記基準マスクＡ０以外のＮ−１個のマスクＡｉ（除くＡ０）（ＡＸｉ，ＡＹｉ）を配置すると共に（ステップＤ３ｂ）、この各マスクＡｉ内の多階調画像データと各々最大の相関係数が算出されるエッジ強調正規化照合顔画像Ｂｏｅ上での各マスクＢｉ（除くＢ０）の位置を検出記憶する（ステップＤ４ａ，Ｄ５ａ）。
【０１０５】
これにより前記登録顔画像Ａ（Ａｅ）と正規化照合顔画像Ｂｏ（Ｂｏｅ）との各々において、基準マスクＡ０（Ｂ０）から各マスクＡｉ（Ｂｉ）への距離を計算し（ステップＤ６）、その差分Ｄ４ｉ，Ｄ８ｉに基づいた照合判定（ステップＤ７〜Ｄ１０）を行うものである。
【０１０６】
また、前記実施形態の図１１における登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第１の照合処理では、登録顔画像Ａに配置したＮ個のマスクＡｉに応じて正規化照合顔画像Ｂｏ上での各最大相関マスクＢｉの位置を検出し、登録顔画像Ａ上での基準マスクＡ０に対する各マスクＡｉまでの距離と、照合顔画像Ｂｏ上での検出基準マスクＢ０に対する各マスクＢｉまでの距離との差分Ｄ４ｉ，Ｄ８ｉにのみに基づて照合一致／不一致の判定を行う構成としたが、次の図１３における登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第３の照合処理で示すように、正規化照合顔画像Ｂｏ上での最大相関マスクＢｉの位置検出に伴いその相関係数値も共に記憶し、当該最大相関マスクＢｉの相関係数値をも考慮して照合一致／不一致の判定を行う構成としてもよい。
【０１０７】
図１３は前記顔画像処理装置により登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第３の照合処理を示すフローチャートである。
【０１０８】
この第３の照合処理において、前記図１１における第１の照合処理と同一内容の処理ステップについては、同一のステップ符号を付してその説明を省略する。
【０１０９】
すなわち、この第３の照合処理では、エッジ強調登録顔画像Ａｅ上に配置したＮ個のマスクＡｉに応じてエッジ強調正規化照合顔画像Ｂｏｅ上での最大相関マスクＢｉの位置検出を行うのに伴い、その相関係数値も共に記憶し（ステップＤ４ｃ，Ｄ５）、この各最大相関マスクＢｉの位置検出における相関係数値の平均値が閾値以上であることを判断して（ステップＤ６ａ，Ｄ６ｂ）、登録顔画像Ａ（Ａｅ）と正規化照合顔画像Ｂｏ（Ｂｏｅ）との各々における各マスク間距離の差分Ｄ４ｉ，Ｄ８ｉに基づいた照合判定（ステップＤ６〜Ｄ１０）を行うものである。
【０１１０】
また、前記実施形態の図９における登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第１の瞳領域抽出処理では、図４で示したように、エッジ強調処理された顔画像データＦｅ上の左半分領域と右半分領域において、各々二重楕円マスクＭＳ（図５参照）を走査し、その各走査位置での内側マスク領域Ｓ１でのデータ振幅値の絶対値の総和と、外側マスク領域Ｓ２でのデータ振幅値の絶対値の総和との比率Ｓ１／Ｓ２を計算し、これが最大となるマスク中心位置を左と右の瞳領域座標（ｘ１，ｙ１）（ｘ２，ｙ２）として特定する構成としたが、次の図１４および図１６における第２の瞳領域抽出処理にて示すように、予め略瞳のサイズに対応させて用意した矩形状のマスクＭＳａをエッジ強調処理された顔画像データＦｅ上で走査し、各走査位置での輝度値の総和を計算して最大となる位置を瞳領域として検出する構成としてもよい。
【０１１１】
図１４は前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第２の瞳領域抽出処理に伴う瞳領域抽出イメージを示す図である。
【０１１２】
図１６は前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第２の瞳領域抽出処理を示すフローチャートである。
【０１１３】
まず、瞳領域の抽出対象となる入力顔画像データＦ中の各画素Ｄｉｊに対して、｜Ｄｉｊ−Ｄｉ＋１ｊ＋１｜＋｜Ｄｉｊ＋１−Ｄｉ＋１ｊ｜を計算することで、同顔領域中のエッジ部分の輝度値を高くすると共に、べたな部分の輝度値を逆に低くし、エッジ抽出を行う（ステップＥ１）。
【０１１４】
このエッジ抽出を行った顔画像データＦｅでは、顔領域における瞳領域部分は他の領域よりもエッジが多く含まれるため、矩形状マスクＭＳａを該エッジ抽出の顔領域内でのみ走査し、矩形状マスクＭＳａ内の輝度値の総和が最大となる位置（ｘ１，ｙ１）を検出することで、片方の瞳領域候補を特定する（ステップＥ２，Ｅ３）。
【０１１５】
同様に、前記特定した片方の瞳領域位置（ｘ１，ｙ１）を除く顔領域において矩形状マスクＭＳａを走査し、もう一方の瞳領域の候補位置（ｘ２，ｙ２）を特定する（ステップＥ４，Ｅ５）。
【０１１６】
この際、特定した両方の瞳領域の位置をそれぞれ（ｘ１，ｙ１）（ｘ２，ｙ２）としたときに、画像に対してＸ座標が大きいものが（ｘ２，ｙ２）、小さいものが（ｘ１，ｙ１）となるように座標を交換する。
【０１１７】
さらに、前記瞳領域の候補位置が正しい瞳領域であるかどうかを判定するために、両瞳領域間の距離ｄおよび両瞳領域位置の角度差θを次式（１０）（１１）により定義して計算する（ステップＥ６，Ｅ７）。
【０１１８】
【数９】
2004178402.tif 000011
【０１１９】
これにより計算された両瞳領域間の距離ｄおよび両瞳領域位置の角度差θが何れも予め設定された閾値の範囲内である場合には（ステップＥ８）、正しい瞳領域位置（ｘ１，ｙ１）（ｘ２，ｙ２）として抽出する（ステップＥ９）。
【０１２０】
一方、計算された両瞳領域間の距離ｄおよび両瞳領域位置の角度差θが予め設定された閾値の範囲外である場合には、前記矩形状マスクＭＳａのマスクサイズを所定サイズ分増減させて前記同様の処理を繰り返すことで（ステップＥ８→Ｅ１０，Ｅ１１→Ｅ２〜Ｅ８）、正しい瞳領域位置（ｘ１，ｙ１）（ｘ２，ｙ２）が抽出されるようにする（ステップＥ８→Ｅ９）。
【０１２１】
なお、矩形状マスクＭＳａのサイズ増減値が予め設定された許容の増減範囲（±ｐ）を超えた場合には、瞳領域の抽出は失敗として処理される（ステップＥ１１→Ｅ１２）。
【０１２２】
図１５は前記顔画像処理装置による第２の瞳領域抽出処理に伴う変形例の瞳領域抽出イメージを示す図である。
【０１２３】
すなわち、前記図１４および図１６を用いて説明した第２の瞳領域抽出処理では、エッジ抽出した顔画像データＦｅの顔領域の全体に対して矩形状マスクＭＳａを走査し、当該マスク内輝度値の総和が最大となる位置を検出することで、瞳領域候補を特定する構成としているが、図１５で示すように、エッジ抽出した顔画像データＦｅの顔領域の全体に対して、Ｙ方向１ラインＬ分の輝度値総和を予め計算し、当該輝度値総和が最大となるＹ方向位置を特定する。
【０１２４】
これによれば、輝度値総和が最大となる顔領域上のＹ方向位置の周辺でのみ前記同様の矩形状マスクＭＳａによる瞳領域の抽出を行えばよい。
【０１２５】
また、前記顔画像処理装置による第１および第２の瞳領域抽出処理では、その何れにおいても、エッジ強調処理を施した顔画像データＦｅ上で二重楕円マスクＭＳや矩形状マスクＭＳａを走査し、二重楕円マスクＭＳにおいてはその内側マスクＳ１内の輝度値総和と外側マスクＳ２内の輝度値総和との比率Ｓ１／Ｓ２が最大となる位置を瞳領域として抽出し、矩形状マスクＭＳａにおいてもそのマスク内の輝度値総和が最大となる位置を瞳領域として抽出する構成としたが、図１７および図１８における第３の瞳領域抽出処理にて示すように、入力顔画像データＦがＲＧＢ基底のカラー画像である場合に、ＹＩＱ基底の輝度・色差成分から各画素のＩ成分を算出し、一定の範囲内にある画素を肌色画素として抽出することで、矩形状二重マスクＭＳｂの枠部分の全画素が肌色画素か調べると共に、中心部分の円枠内での輝度値総和が最小となる位置を瞳領域として抽出する構成としてもよい。
【０１２６】
図１７は前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第３の瞳領域抽出処理に伴う瞳領域抽出イメージを示す図である。
【０１２７】
図１８は前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第３の瞳領域抽出処理を示すフローチャートである。
【０１２８】
まず、ＲＧＢ基底のカラー画像である顔画像データＦからＹＩＱ基底のＩ成分を次式により計算し、一定範囲内にある画素を肌色画像として抽出する（ステップＦ１）。
【０１２９】
Ｉ＝０．６０Ｒ−０．２８Ｇ−０．３２Ｂ
瞳領域は、これを矩形領域で見た場合、その周辺が肌色で、中心部の輝度値が低くなることから、図１７に示すように、矩形状二重マスクＭＳｂの枠部分の全画素について肌色であるか調べ、肌色画素を一定以上含んでいる場合には、当該マスク領域ＭＳｂの中心から半径ｒの円領域内での輝度値の総和を計算し、この中心円領域内での輝度値総和が最小となるところを片方の瞳領域候補位置（ｘ１，ｙ１）として特定する（ステップＦ２，Ｆ３）。
【０１３０】
なお、前記矩形状二重マスクＭＳｂの中心円領域の半径ｒは、マスクサイズに応じて一意的に定められる。
【０１３１】
この後、前記同様に、特定した片方の瞳領域位置（ｘ１，ｙ１）を除く顔領域において矩形状二重マスクＭＳｂを走査し、もう一方の瞳領域の候補位置（ｘ２，ｙ２）を特定する（ステップＦ４，Ｆ５）。
【０１３２】
さらに、前記瞳領域の候補位置が正しい瞳領域であるかどうかを判定するために、両瞳領域間の距離ｄおよび両瞳領域位置の角度差θを前記式（１０）（１１）により定義して計算する（ステップＦ６，Ｆ７）。
【０１３３】
これにより計算された両瞳領域間の距離ｄおよび両瞳領域位置の角度差θが何れも予め設定された閾値の範囲内である場合には（ステップＦ８）、正しい瞳領域位置（ｘ１，ｙ１）（ｘ２，ｙ２）として抽出する（ステップＦ９）。
【０１３４】
一方、計算された両瞳領域間の距離ｄおよび両瞳領域位置の角度差θが予め設定された閾値の範囲外である場合には、前記矩形状二重マスクＭＳｂのマスクサイズを所定サイズ分増減させて前記同様の処理を繰り返すことで（ステップＦ８→Ｆ１０，Ｆ１１→Ｆ２〜Ｆ８）、正しい瞳領域位置（ｘ１，ｙ１）（ｘ２，ｙ２）が抽出されるようにする（ステップＦ８→Ｆ９）。
【０１３５】
なお、矩形状二重マスクＭＳｂのサイズ増減値が予め設定された許容の増減範囲（±ｐ）を超えた場合には、瞳領域の抽出は失敗として処理される（ステップＦ１１→Ｆ１２）。
【０１３６】
図１９は前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第４の瞳領域抽出処理に伴い用いられる同心円状マスクＭＳｃを示す図である。
【０１３７】
図２０は前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第４の瞳領域抽出処理を示すフローチャートである。
【０１３８】
一般に、顔の瞳領域は、黒目部分の周りが白目部分であり、さらにその周辺が肌色部分となる構造を有している。これにより、中心の黒色部分とその周りの部分との差異から瞳領域を抽出する。
【０１３９】
図１９に示すように、中心位置から同心円状に半径ｒ１とｒ２とからなる同心円状マスクＭＳｃを用意し、この同心円状マスクＭＳｃを顔画像データＦの顔領域上で走査しながら内外の各円マスクにおいて輝度値の総和Ｓ１およびＳ２を計算する。この際、中心部分Ｓ１を除いた周辺部分Ｓ２の輝度値総和は、Ｓ２−Ｓ１で計算される。
【０１４０】
従って、黒目部分に対応付けられる中心部分Ｓ１と周辺部分Ｓ２との比をＲとすれば、Ｒ＝（Ｓ２−Ｓ１）／Ｓ１として定義され、この比Ｒが最大となるところを片方の瞳領域候補位置（ｘ１，ｙ１）として特定する（ステップＧ１，Ｇ２）。
【０１４１】
この後、前記同様に、特定した片方の瞳領域位置（ｘ１，ｙ１）を除く顔領域において同心円状マスクＭＳｃを走査し、もう一方の瞳領域の候補位置（ｘ２，ｙ２）を特定する（ステップＧ３，Ｇ４）。
【０１４２】
さらに、前記瞳領域の候補位置が正しい瞳領域であるかどうかを判定するために、両瞳領域間の距離ｄおよび両瞳領域位置の角度差θを前記式（１０）（１１）により定義して計算する（ステップＧ５，Ｇ６）。
【０１４３】
これにより計算された両瞳領域間の距離ｄおよび両瞳領域位置の角度差θが何れも予め設定された閾値の範囲内である場合には（ステップＧ７）、正しい瞳領域位置（ｘ１，ｙ１）（ｘ２，ｙ２）として抽出する（ステップＧ８）。
【０１４４】
一方、計算された両瞳領域間の距離ｄおよび両瞳領域位置の角度差θが予め設定された閾値の範囲外である場合には、前記同心円状マスクＭＳｃのマスクサイズを所定サイズ分増減させて前記同様の処理を繰り返すことで（ステップＧ７→Ｇ９，Ｇ１０→Ｇ１〜Ｇ７）、正しい瞳領域位置（ｘ１，ｙ１）（ｘ２，ｙ２）が抽出されるようにする（ステップＧ７→Ｇ８）。
【０１４５】
なお、同心円状マスクＭＳｃのサイズ増減値が予め設定された許容の増減範囲（±ｐ）を超えた場合には、瞳領域の抽出は失敗として処理される（ステップＧ１０→Ｇ１１）。
【０１４６】
このように、前記第２〜第４の瞳領域抽出処理によっても、前記実施形態において説明した第１の瞳領域抽出処理と同様あるいはそれ以上の抽出速度，抽出精度で、確実に登録顔画像Ａや照合顔画像Ｂの瞳領域位置を抽出することができる。
【０１４７】
なお、前記各実施形態において記載した手法、すなわち、図８のフローチャートに示す矩形顔領域ＧＳで定められる登録顔画像Ａと照合顔画像Ｂを抽出するための顔領域抽出処理、図９のフローチャートに示す登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第１の瞳領域抽出処理、図１０のフローチャートに示す登録顔画像Ａと照合顔画像Ｂとの画像伸縮率Ｍおよび画像回転率Ｒにより当該照合顔画像Ｂを登録顔画像Ａに合わせて補正正規化するための照合画像補正処理、図１１，図１２，図１３それぞれのフローチャートに示す登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第１，第２，第３の各照合処理、図１６，図１８，図２０それぞれのフローチャートに示す登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第２，第３，第４の各瞳領域抽出処理などの各手法は、コンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体１８ａに格納して配布することができる。そして、ＣＣＤカメラなど顔画像データを入力するためのイメージ読み取り装置１４を備えたコンピュータは、この外部記憶媒体１８ａに記憶されたプログラムを記憶装置１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した顔画像の登録・照合機能を実現し、前述した手法による同様の処理を実行することができる。
【０１４８】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワーク（公衆回線）２０上を伝送させることができ、このネットワーク２０に接続されたイメージ読み取り装置１４付きのコンピュータの伝送制御部１９によって前記のプログラムデータを取り込み、前述した顔画像の登録・照合機能を実現することもできる。
【０１４９】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１５０】
【発明の効果】
以上のように、本発明の請求項１に係る顔画像処理装置によれば、モデルとなる人物の目，鼻，口を含む矩形領域の顔画像であって、伸縮率を異ならせた複数のモデル顔画像がモデル顔画像記憶手段により記憶され、顔画像入力手段により顔画像が入力されると、この入力された顔画像の全領域を対象に、前記モデル顔画像記憶手段により記憶された複数のモデル顔画像のそれぞれについて走査しながら各走査位置における相関係数が算出され、この相関係数の算出により前記複数のモデル顔画像のそれぞれについて最大の相関係数が算出された前記入力顔画像領域上での位置が位置記憶手段により記憶される。すると、この位置記憶された位置に基づき、当該入力顔画像の目，鼻，口を含む矩形領域の顔画像が照合対象の画像として抽出されるので、入力された顔画像全体のうちの特徴部分である目，鼻，口を含む矩形領域の顔画像を、登録あるいは照合すべき顔画像となる照合対象の画像として適切に抽出できるようになる。
【０１５１】
また、本発明の請求項２に係る顔画像処理装置によれば、前記請求項１に係る顔画像処理装置にあって、さらに、顔画像の抽出により抽出された顔画像のエッジ強調が施され、このエッジ強調によりエッジの強調された顔画像に基づいて瞳の位置が抽出されるので、登録対象の顔画像や照合対象の顔画像として抽出された顔画像の大きさや傾きを効率よく求めるための瞳の位置を容易に抽出できるようになる。
【０１５２】
また、本発明の請求項３に係る顔画像処理装置によれば、前記請求項２に係る顔画像処理装置にあって、さらに、瞳位置の抽出により抽出された登録人物の顔画像の瞳の位置と、照合人物の顔画像の瞳の位置とに基づき、当該登録顔画像と照合顔画像との伸縮率および回転率が算出され、この算出された伸縮率および回転率に基づき、登録顔画像に合わせて照合顔画像の縮尺および傾きが補正されるので、登録顔画像の縮尺および傾きに合わせて照合顔画像を正規化できるようになる。
【０１５３】
また、本発明の請求項４に係る顔画像処理装置によれば、前記請求項３に係る顔画像処理装置にあって、さらに、照合画像の補正により登録顔画像に合わせてその縮尺および傾きが補正された照合顔画像について、登録顔画像との照合が行われるので、登録顔画像に対して、当該登録顔画像の縮尺および傾きに合わせて正規化された照合顔画像を照合でき、信頼性の高い顔画像の照合，認証ができるようになる。
【０１５４】
よって、本発明によれば、登録及び照合対象となる顔領域を適切に決定して、顔画像の登録、照合を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る顔画像処理装置の電子回路の構成を示すブロック図。
【図２】前記顔画像処理装置のＲＡＭ１３に確保されるデータメモリを示す図。
【図３】前記顔画像処理装置によるモデル顔画像Ｆｍの取得からその顔画像辞書Ｇαｉにより入力顔画像Ｆから登録あるいは照合対象の顔領域ＧＳを抽出した場合の具体例を示す図。
【図４】前記顔画像処理装置によりエッジ強調処理を施したエッジ強調顔画像Ｆｅから二重楕円マスクＭＳを用いて瞳領域を決定する場合の具体例を示す図。
【図５】前記顔画像処理装置による瞳領域の特定処理に伴い用いられる二重楕円マスクＭＳを示す図。
【図６】前記顔画像処理装置による瞳領域特定後の領域間距離ｄおよび回転角度θを示す図。
【図７】前記顔画像処理装置によるエッジ強調処理を施した矩形顔領域ＧＳのエッジ強調登録顔画像Ａｅとエッジ強調正規化照合顔画像Ｂｏｅとの照合状態を示す図。
【図８】前記顔画像処理装置により矩形顔領域ＧＳで定められる登録顔画像Ａと照合顔画像Ｂを抽出するための顔領域抽出処理を示すフローチャート。
【図９】前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第１の瞳領域抽出処理を示すフローチャート。
【図１０】前記顔画像処理装置において登録顔画像Ａと照合顔画像Ｂとの画像伸縮率Ｍおよび画像回転率Ｒにより当該照合顔画像Ｂを登録顔画像Ａに合わせて補正正規化するための照合画像補正処理を示すフローチャート。
【図１１】前記顔画像処理装置により登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第１の照合処理を示すフローチャート。
【図１２】前記顔画像処理装置により登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第２の照合処理を示すフローチャート。
【図１３】前記顔画像処理装置により登録顔画像Ａと正規化照合顔画像Ｂｏとの同一性を照合判定するための第３の照合処理を示すフローチャート。
【図１４】前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第２の瞳領域抽出処理に伴う瞳領域抽出イメージを示す図。
【図１５】前記顔画像処理装置による第２の瞳領域抽出処理に伴う変形例の瞳領域抽出イメージを示す図である。
【図１６】前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第２の瞳領域抽出処理を示すフローチャート。
【図１７】前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第３の瞳領域抽出処理に伴う瞳領域抽出イメージを示す図。
【図１８】前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第３の瞳領域抽出処理を示すフローチャート。
【図１９】前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第４の瞳領域抽出処理に伴い用いられる同心円状マスクＭＳｃを示す図。
【図２０】前記顔画像処理装置により登録顔画像Ａと照合顔画像Ｂから瞳領域を抽出するための第４の瞳領域抽出処理を示すフローチャート。
【符号の説明】
１１  …制御部（ＣＰＵ）
１２  …記憶装置
１３  …ＲＡＭ
１３ａ…入力顔画像メモリ（Ｆ）
１３ｂ…モデル顔画像メモリ（Ｆｍ）
１３ｃ…顔画像辞書メモリ（Ｇαｉ）
１３ｄ…相関係数メモリ（Ｒ）
１３ｅ…顔画像抽出位置メモリ
１３ｆ…顔画像重心メモリ（ｘｇ，ｙｇ）
１３ｇ…登録顔画像メモリ（Ａ）
１３ｈ…照合顔画像メモリ（Ｂ）
１３ｉ…エッジ強調顔画像メモリ（Ｆｅ）
１３ｊ…楕円マスクメモリ（Ｓ１／Ｓ２）
１３ｋ…瞳領域メモリ（登録／照合）
１３ｌ…照合顔画像伸縮率メモリ（Ｍ）
１３ｍ…照合顔画像回転率メモリ（Ｒ）
１３ｎ…正規化照合顔画像メモリ（Ｂｏ）
１３ｏ…登録画像マスク位置メモリ（ＡＸｉ，ＡＹｉ）
１３ｐ…照合画像最大相関位置メモリ（ＢＸｉ，ＢＹｉ）
１３ｑ…４／８近傍距離差メモリ（Ｄ４ｉ／Ｄ８ｉ）
１３ｒ…照合結果メモリ
１４  …イメージ読み取り装置
１５  …表示部
１６  …入力部
１７  …バス
１８  …記憶媒体読み取り部
１８ａ…外部記憶媒体
１９  …伝送制御部
２０  …ネットワーク
２０ａ…プログラムサーバ（外部のコンピュータ端末）
２０ｂ…外部端末の記憶装置
【図１】
2004178402.tif 000012
【図２】
2004178402.tif 000013
【図３】
2004178402.tif 000014
【図４】
2004178402.tif 000015
【図５】
2004178402.tif 000016
【図６】
2004178402.tif 000017
【図７】
2004178402.tif 000018
【図８】
2004178402.tif 000019
【図９】
2004178402.tif 000020
【図１０】
2004178402.tif 000021
【図１１】
2004178402.tif 000022
【図１２】
2004178402.tif 000023
【図１３】
2004178402.tif 000024
【図１４】
2004178402.tif 000025
【図１５】
2004178402.tif 000026
【図１６】
2004178402.tif 000027
【図１７】
2004178402.tif 000028
【図１８】
2004178402.tif 000029
【図１９】
2004178402.tif 000030
【図２０】
2004178402.tif 000031