(57)【要約】【課題】簡易な構成で人物の顔画像にメガネ等の装着物が存在する場合であっても、装着物の影響を低減して、当該人物の特徴量を容易に検知する。【解決手段】実施形態の画像処理装置は、人物の顔を含む画像中から前記顔が含まれる顔領域を検知する顔検知部と、顔領域に含まれる画像から顔の特徴点を検知する特徴検知部と、顔領域に含まれる画像を、顔に装着している装着物に対応する装着物領域と装着物領域以外の領域と、をフィルタリング処理によって分離する領域分離部と、装着物領域から装着物を除去した顔領域画像を生成する装着物除去画像生成部と、装着物を除去した顔領域画像から顔の特徴量を生成し、特徴量データとして出力する特徴量生成部と、を備えている。【選択図】図２
2020098422.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔を含む画像中から前記顔が含まれる顔領域を検知する顔検知部と、
前記顔領域に含まれる画像から顔の特徴点を検知する特徴検知部と、
前記顔領域に含まれる画像を、前記顔に装着している装着物に対応する装着物領域と前記装着物領域以外の領域と、をフィルタリング処理によって分離する領域分離部と、
前記装着物領域から前記装着物を除去した顔領域画像を生成する装着物除去画像生成部と、
前記装着物を除去した顔領域画像から顔の特徴量を生成し、特徴量データとして出力する特徴量生成部と、
を備えた画像処理装置。
【請求項２】
前記特徴点の位置の周辺領域の画像情報に基づいて、前記装着物を検知する装着物検知部を備え、
前記領域分離部は、前記装着物検知部により検知された前記装着物に対応する装着物領域と前記装着物領域以外の領域と、をフィルタリング処理によって分離する、
請求項１記載の画像処理装置。
【請求項３】
前記特徴量と予め登録されている人物データの特徴量とを用いて本人照合を行う照合部を備えた、
請求項１又は請求項２記載の画像処理装置。
【請求項４】
前記本人照合の結果を表示する表示部を備えた、
請求項３記載の画像処理装置。
【請求項５】
前記装着物除去画像生成部は、前記装着物領域の情報を用いて、ペインティング処理によって画像中から装着物を除去した画像を生成する、
請求項１乃至請求項４のいずれか一項記載の画像処理装置。
【請求項６】
前記顔領域に前記顔に装着している装着物が検知された場合に、前記装着物を検知後に前記顔領域あるいは前記顔領域に含まれる画像に対して正規化を行う正規化部を備えた、
請求項１乃至請求項５のいずれか一項記載の画像処理装置。
【請求項７】
前記装着物を除去する手法を格納する手法保存部と、
前記本人照合の結果を保存する照合結果保存部と、
前記本人照合の結果をフィードバックして前記手法保存部に保存されている前記装着物を除去するための手法を逐次変更する手法適用部と、
備えた請求項３に記載の画像処理装置。
【請求項８】
前記表示部は、前記本人照合の対象となる人物の顔領域および顔画像と、前記装着物を除去した画像とを表示する、
請求項４記載の画像処理装置。
【請求項９】
入力された人物の顔を含む画像に基づいて前記顔の特徴量を生成し、特徴量データとして出力する画像処理装置が実行する方法であって、
前記画像の中から前記顔が含まれる顔領域を検知する過程と、
前記顔領域に含まれる画像から顔の特徴点を検知する過程と、
前記顔領域に含まれる画像を、前記顔に装着している装着物に対応する装着物領域と前記装着物領域以外の領域と、をフィルタリング処理によって分離する過程と、
前記装着物領域から前記装着物を除去した顔領域画像を生成する過程と、
前記装着物を除去した顔領域画像から顔の特徴量を生成し、特徴量データとして出力する過程と、
を備えた方法。
【請求項１０】
入力された人物の顔を含む画像に基づいて前記顔の特徴量を生成し、特徴量データとして出力する画像処理装置をコンピュータにより制御するためのプログラムであって、
前記コンピュータを、
前記画像の中から前記顔が含まれる顔領域を検知する手段と、
前記顔領域に含まれる画像から顔の特徴点を検知する手段と、
前記顔領域に含まれる画像を、前記顔に装着している装着物に対応する装着物領域と前記装着物領域以外の領域と、をフィルタリング処理によって分離する手段と、
前記装着物領域から前記装着物を除去した顔領域画像を生成する手段と、
前記装着物を除去した顔領域画像から顔の特徴量を生成し、特徴量データとして出力する手段と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、眼鏡のような装着物を有する顔画像に対して認証処理などにおいて識別性能を高めるために、画像処理を行わずに特徴量として眼鏡の成分をキャンセルする手法、眼鏡のテクスチャを合成して類似度を高める手法、眼鏡領域を除去する手法が提案されていた。
例えば、特許文献１記載の技術においては、眼鏡をかけている顔画像に対して、顔と眼鏡の両方の３次元モデルを生成して両者の相対位置関係を計算した後、眼鏡の領域を任意の画素値で変換して眼鏡を除去し、除去したテクスチャを顔の３次元モデルにマッピングする手法が開示されている。
【０００３】
また、特許文献２記載の技術においては、照明条件を正規化した後、眼鏡あり／なしの各顔画像に対して主成分分析の問題を解き、最大事後確率射影行列を計算して眼鏡を削除するための学習を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０７２９１０号公報
【特許文献２】特許第４７７８０７２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術においては、３次元モデルの生成が必須となっており、２次元画像のみの処理が行えなかったり、眼鏡を削除するために事前に学習が必須となっており、そのためのデータを保持しておく必要があるため、構成が複雑であるとともに、処理の柔軟性が低く、ひいては、特徴量の検知が困難となる虞があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、簡易な構成で人物の顔画像にメガネ等の装着物が存在する場合であっても、装着物の影響を低減して、当該人物の特徴量を容易に検知することが可能な画像処理装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
実施形態の画像処理装置は、人物の顔を含む画像中から前記顔が含まれる顔領域を検知する顔検知部と、顔領域に含まれる画像から顔の特徴点を検知する特徴検知部と、顔領域に含まれる画像を、顔に装着している装着物に対応する装着物領域と装着物領域以外の領域と、をフィルタリング処理によって分離する領域分離部と、装着物領域から装着物を除去した顔領域画像を生成する装着物除去画像生成部と、装着物を除去した顔領域画像から顔の特徴量を生成し、特徴量データとして出力する特徴量生成部と、を備えている。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態の画像処理装置を含む人物照合システムの概要構成ブロック図である。
【図２】図２は、第１実施形態の画像処理装置の概要構成ブロック図である。
【図３】図３は、第１実施形態の処理の流れのフローチャートである。
【図４】図４は、顔領域の検出の具体例の説明図である。
【図５】図５は、第２実施形態の画像処理装置の概要構成ブロック図である。
【図６】図６は、第２実施形態の処理の流れのフローチャートである。
【図７】図７は、第３実施形態の画像処理装置の概要構成ブロック図である。
【発明を実施するための形態】
【０００９】
次に図面を参照して実施形態について説明する。
［１］第１実施形態
まず、第１実施形態について説明する。
図１は、第１実施形態の画像処理装置を含む人物照合システムの概要構成ブロック図である。
人物照合システム１０は、人物を含む画像を撮像するために設けられた複数のカメラ１１と、カメラ１１から画像データを収集する画像管理サーバ１２と、画像管理サーバ１２に通信ネットワーク１３を介して接続され、画像データに対応する画像の画像処理を行う画像処理装置１４と、を備えている。
上記構成において、カメラ１１は、駅のホームや、改札口、通路、ビル内の通路、街路、地下街の通路等の人の往来のある場所に監視用にそれぞれ複数台設けられたり、入退室、入出国等のセキュリティーゲート等の本人認証が必要な場所に個別に設けたりすることが可能である。
なお、入出国セキュリティゲート等のように、画像撮影対象が狭い範囲に限定される小規模なシステムの場合には、カメラ１１は、１台でも構わない。
【００１０】
図２は、第１実施形態の画像処理装置の概要構成ブロック図である。
画像処理装置１４は、少なくとも一つ以上の人物の顔を含む画像中から、照合対象となる人物の顔を包含する矩形領域（顔領域）を検出する顔検出部２１と、顔領域中から顔の特徴的部位を検出する特徴点検出部２２と、特徴点位置の周辺領域の画像情報を用いて装着物を検知する装着物検知部２３と、装着物検知部２３により顔の装着物（メガネ、アクセサリ等）が検知された場合に、フィルタリング処理によって装着物に対応する装着物領域とそれ以外の領域とを明示的に分離した画像を生成する装着物領域抽出部２４と、を備えている。
【００１１】
また、画像処理装置１４は、抽出した装着物の領域情報を用いて、装着物の領域を頬領域の色成分でペインティングをすることで画像中から装着物を除去した画像を生成する装着物除去画像生成部２５と、顔画像から照合用の特徴量を生成する特徴量生成部２６と、照合用の特徴量と予め登録されている人物データの特徴量とを用いて本人照合を行う照合部２７と、照合結果を表示する表示部２８と、を備えている。
【００１２】
続いて、画像処理装置１４の詳細について説明する。
顔検出部２１は、少なくとも１つ以上の顔が含まれる画像中から、照合対象となる人物の顔を包含する矩形領域を顔領域として検出する。
【００１３】
この場合において、顔検出は、例えば、多数の顔の矩形領域の平均画像を顔テンプレートとして作成しておき、取得した画像上において顔テンプレートを平行移動、回転、拡大縮小しながらラスタリングし、顔テンプレートとの輝度値の差分が最も小さい位置を顔の検出領域とする方法で実現可能である。
【００１４】
特徴点検出部２２は、顔検出部２１で取得した顔領域中から、目や鼻といった顔の各器官の位置を示す特徴点を検出する。特徴点検出は、たとえば予め各器官の位置を教示した多数の顔画像を用いて、教示された画素とその周辺画素との輝度値の差を特徴量として学習しておき、顔検出部２１で取得した顔領域に対して局所領域間の輝度値の差を計算しながらラスタリングし、学習済みデータとの一致度が最も高い画素を各器官の位置とするような方法で実現可能である。
【００１５】
装着物検知部２３は、特徴点位置の周辺領域の画像情報を用いて装着物を検知する。装着物検知は、たとえば特徴点検出部２２で取得した特徴点周辺の輝度情報を算出し、人物の肌の輝度情報との差分によって判定することで実現可能である。また、検知における判断では、たとえば装着物らしさを数値等で定量的に表現し、予め設定した閾値との比較で決定してよい。
【００１６】
装着物領域抽出部２４は、装着物検知部２３にて装着物が検知された場合に、フィルタリング処理によって装着物領域とそれ以外の領域とを分離して、装着物領域を抽出する。
【００１７】
上記構成において、装着物領域の抽出に用いるフィルタリング処理としては、例えば、モルフォロジフィルタを用いることで実現可能である。
また、モルフォロジフィルタを用いない場合であっても、装着物領域の抽出結果として装着物の領域か否かが明示的に示されていればよく、その抽出方法は他のフィルタリング処理であってよく、出力結果は、例えば、２値画像であってもよい。
【００１８】
装着物除去画像生成部２５は、装着物領域抽出部２４が抽出した装着物の領域情報を用いて、例えば、装着物の領域に対して、頬領域の色成分でペインティング処理を施すことで画像中から装着物を除去して、装着物除去画像を生成する。
【００１９】
この場合において、頬領域の色成分を用いているのは、頬領域は、影などが生じにくく、頬領域の色が最も当該人物の肌の色を反映していると考えられるからである。具体的には、ペインティング処理は、たとえば頬の領域等の最適な肌成分を取得して装着物領域に上書きする方法で実現可能である。
【００２０】
あるいは、上記頬領域の色のペインティング処理に代えて、予め取得しておいた複数人物の肌情報の平均値を用いてペインティング処理を施す方法を採ることも可能である。
【００２１】
特徴量生成部２６は、装着物除去画像としての顔画像から人物照合用の特徴量を生成する。特徴量生成は、例えば、顔検出部２１で検出した顔領域をｍ×ｎピクセルの矩形に拡大縮小し、その矩形領域の輝度値をそのままｍ×ｎ次元の特徴ベクトルとすることで実現可能である。
【００２２】
照合部２７は、特徴量生成部２６で生成した人物照合用の特徴量と、予め登録されている人物データの特徴量と、を用いて本人照合を行う。
ここで、照合は、特徴量同士の内積を計算して得られる類似度として、予め設定した本人／他人の分離指標となる閾値との大小比較を行うことで実現可能である。すなわち、類似度が本人／他人の分離指標となる閾値より大きければ、本人であるとの照合結果が得られることとなる。
【００２３】
表示部２８は、照合部２７における本人照合の結果を表示する。
本人照合結果の表示方法としては、例えば、本人のＩＤとともに、本人らしさを表す類似度を数値として定量的に表示してもよい。
この場合において、類似度を表す数値としては、例えば、０から１の範囲の浮動小数点で表現してもよいし、０から１００までの整数値で表現するなど、任意に表現可能である。また、照合対象の人物の顔画像と、装着物除去画像を表示してもよい。
【００２４】
続いて、第１実施形態の処理動作について説明する。
図３は、第１実施形態の処理の流れのフローチャートである。
本第１実施形態の人物照合システム１０においては、まず、画像処理装置１４は、少なくとも１つ以上の顔が含まれる画像を取得すると（ステップＳ１１）、顔検出部２１で、少なくとも１つ以上の顔を含む画像から顔領域を検出する（ステップＳ１２）。
図４は、顔領域の検出の具体例の説明図である。
例えば、図４（ａ）に示すように、二人の人物が通路を歩いている画像が入力された場合、顔検出部２１は、領域ＡＲ１及び領域ＡＲ２を顔領域として検出する。
【００２５】
次に、特徴点検出部２２は、顔検出部２１で取得した顔領域中から、目や鼻といった顔の各器官の位置を示す特徴点を検出する（ステップＳ１３）。
具体的には、図４（ｂ）に示すように、領域ＡＲ１については、眉毛、目、鼻、口等の各器官の位置を示す特徴点ＣＰ１、ＣＰ２、ＣＰ３、…を検出する。
【００２６】
さらに、検出した特徴点位置の周辺領域の画像情報を用いて、装着物検知部２３で装着物を検知する（ステップＳ１４）。
具体的には、図４（ｂ）に示すように、眉毛に対応する特徴点ＣＰ１、ＣＰ２及び目に対応する特徴点ＣＰ３、ＣＰ４に基づいて、装着物としてのメガネＧＬを抽出する。
【００２７】
続いて装着物検知部２３において、装着物が検知されたか否かを判断する（ステップＳ１５）。
ステップＳ１５の判断において、装着物が検知されなかった場合は（ステップＳ１５；Ｎｏ）、処理をステップＳ１８に移行する。
【００２８】
ステップＳ１５の判断において、装着物が検知された場合は（ステップＳ１５；Ｙｅｓ）、装着物領域抽出部２４が、フィルタリング処理によって装着物領域ＡＲＸとそれ以外の領域とを明示的に分離した画像を生成する（ステップＳ１６）。
【００２９】
例えば、二値画像で装着物領域ＡＲＸとそれ以外の領域とを明示的に分離した画像を表した場合であって、図４（ｂ）に示したように、メガネＧＬが検出された場合には、図４（ｃ）に示すようにメガネＧＬに対応する装着物領域ＡＲＸを黒（二値画像の“０”）で表し、それ以外の領域を白（二値画像の“１”）で表す。なお、装着物領域ＡＲＸを白（二値画像の“１”）で表し、それ以外の領域を黒（二値画像の“０”）で表すことも当然に可能である。
【００３０】
次に、装着物除去画像生成部２５は、生成した装着物領域ＡＲＸの情報を用いて装着物の領域を頬領域の色成分でペインティングをすることで画像中から装着物を除去した画像を生成する（ステップＳ１７）。
【００３１】
具体的には、図４（ｂ）で示したメガネＧＬを含む顔画像に対し、図４（ｃ）で示した装着物領域ＡＲＸを頬領域の色成分でペインティングすることにより、図４（ｄ）に示すように、メガネＧＬを除去した画像を生成する。
【００３２】
この場合において、装着物領域ＡＲＸ中に肌以外の領域（例えば、眉毛や、髪など）が存在すると判断される場合には、当該人物の眉毛や髪などの延在方向に沿って眉毛あるいは髪対応する色を配置するように構成することも可能である。
【００３３】
続いて、特徴生成部２６は、装着物が除去された顔画像を用いて、顔画像から本人照合を行うための特徴量を生成する（ステップＳ１８）。
この結果、照合部２７は、特徴生成部２６が生成した照合用の特徴量と、予め登録されている人物顔画像の特徴量とを用いて、本人照合を行い、本人照合結果を表示部２８に表示する（ステップＳ１９）。
【００３４】
以上の説明のように、第１実施形態によれば、人物の顔画像から装着物画像を除去してから人物照合を実施することにより、本人の特徴がより反映されやすくなる。
【００３５】
結果として、装着物を有している顔画像で起こりうる問題である、本人の特徴が出にくくなることによる本人／他人類似度の分離度低下の問題を解決することが可能となる。ひいては、第１実施形態の画像処理装置をセキュリティシステムに用いた場合に、高セキュリティを確保できる信頼性の高いシステムを構築することができる。
【００３６】
［２］第２実施形態
次に第２実施形態について図面を参照して説明する。
図５は、第２実施形態の画像処理装置の概要構成ブロック図である。
図５においては、図２の第１実施形態と同様の部分には、同一の符号を付し、その詳細な説明を援用するものとする。
【００３７】
画像処理装置１４は、少なくとも１つ以上の顔を含む画像中から、照合対象となる人物の顔領域を検出する顔検出部２１と、顔領域中から顔の特徴的部位を検出する特徴点検出部２２と、特徴点位置の周辺領域の画像情報を用いて装着物を検知する装着物検知部２３と、装着物を検知後に顔の向きや顔領域を一意に正規化する正規化部３１と、装着物検知部２３において装着物が検知された場合に、フィルタリング処理によって装着物領域とそれ以外の領域とを明示的に分離した画像を生成する装着物領域抽出部２４と、を備えている。
【００３８】
また、画像処理装置１４は、装着物領域の情報を用いて、顔画像中から装着物を除去した画像を生成する装着物除去画像生成部２５と、顔画像から特徴を生成する特徴生成部２６と、前記特徴量と予め登録されている人物データの前記特徴量とは異なる特徴量とを用いて本人照合を行う照合部２７と、装着物を除去する手法が格納された手法保存部３２と、前記本人照合結果を保存する照合結果保存部３３と、照合結果をフィードバックして手法保存部３２に保存されている装着物を除去するための手法を逐次変更する手法適用部３４と、照合結果を表示する表示部２８と、を備えている。
【００３９】
次に、第２実施形態各構成要素について説明する。
以下の説明においては、第１実施形態の説明を援用するものとし、第１実施形態と異なる部分を主として説明するものとする。
【００４０】
正規化部３１は、顔領域の正規化及び顔の向きの正規化を行う。
正規化部３１で実行される正規化手法としては、搭載されているシステムの正規化手法をそのまま用いることができる。例えば、顔領域の正規化においては、顔検出部２１で検出した様々なサイズの顔領域をｍ×ｎピクセルの領域に成型する。また顔の向きの正規化においては、顔向きの回転行列を算出し、顔の向きを所定の向きに補正する。
【００４１】
手法保存部３２は、装着物の除去時に行う手法を格納する。
手法保存部３２に格納する装着物の除去時に行う手法としては、例えば、装着物の除去に際し、特定の肌領域（例えば、頬領域）の情報を取得して装着物領域に上書きする手法や、予め取得しておいた複数人物の肌情報の平均値を用いて上書きする手法等が挙げられる。また、装着物の除去に際して、本来存在したであろうと推定される当該人物の眉毛、髪などを付加する手法等が挙げられる。
【００４２】
照合結果保存部３３は、照合部２７による照合結果を保存する。保存する項目としては、類似度の最大値（あるいは、上位値）の他、類似度が最大（あるいは、上位）となった一又は複数の登録人物のＩＤ等が挙げられる。
【００４３】
手法適用部３４は、照合結果をフィードバックし、例えば、高い照合結果が得られた手法保存部３２に格納している装着物除去手法の優先度を高くしたり、各装着物除去手法におけるパラメータ（例えば、境界領域の推定用パラメータ等）の値あるいはパラメータの重み等を逐次的に変更したりして、装着物除去手法を適用する。
【００４４】
次に第２実施形態の処理動作について説明する。
図６は、第２実施形態の処理の流れのフローチャートである。
本第２実施形態においても、第１実施形態と同様に、まず、少なくとも１つ以上の顔が含まれる画像を取得すると（ステップＳ２１）、顔検出部２１で、少なくとも１つ以上の顔を含む画像から顔領域を検出する（ステップＳ２２）。
【００４５】
次に、特徴点検出部２２は、顔検出部２１で取得した顔領域中から、目や鼻といった顔の各器官の位置を示す特徴点を検出する（ステップＳ２３）。
続いて、装着物検知部２３は、特徴点検出部２２により検出した特徴点位置の周辺領域の画像情報及を用いて、装着物を検知する（ステップＳ２４）。
続いて装着物検知部２３において、装着物が検知されたか否かを判断する（ステップＳ２５）。
ステップＳ２５の判断において、装着物が検知されなかった場合は（ステップＳ２５；Ｎｏ）、処理をステップＳ３０に移行する。
ステップＳ２５の判断において、装着物が検知された場合は（ステップＳ２５；Ｙｅｓ）、さらに本第２実施形態においては、正規化部３１により、顔の向きや顔領域を正規化した正規化顔画像を生成する（ステップＳ２６）。
続いて、装着物領域抽出部２４が、図４（ｃ）に示した場合と同様に、正規化顔画像に基づいて、フィルタリング処理によって装着物領域ＡＲＸとそれ以外の領域とを明示的に分離した画像を生成する（ステップＳ２７）。
【００４６】
次に、装着物除去画像生成部２５は、生成した装着物領域ＡＲＸの情報及び手法適用部３４により適用された装着物の除去手法を用いて画像中から装着物を除去した画像を生成する（ステップＳ２８）。このとき、手法適用部３４は、手法保存部３２に保存されている各種手法を参照するととともに、照合結果保存部３３に保存されている前回以前の照合結果を参照して今回の装着物の除去手法を適用する。
【００４７】
具体的には装着物除去画像生成部２５は、例えば、顔に装着物が装着された正規化顔画像に対し、装着物領域ＡＲＸを頬領域の色成分でペインティングする手法が適用された場合には、ペインティング処理により、装着物を除去した画像を生成する。
【００４８】
続いて、特徴生成部２６は、装着物が除去された正規化顔画像を用いて、顔画像から本人照合を行うための特徴量を生成する（ステップＳ３０）。
この結果、照合部２７は、特徴生成部２６が生成した照合用の特徴量と、予め登録されている人物顔画像の特徴量とを用いて、本人照合を行い、本人照合結果を表示部２８に表示する。
【００４９】
照合後、照合結果を照合結果保存部３３に保存し、手法適用部３４において照合結果をフィードバックして次回以降の施行に向けて手法保存部３２に格納されている装着物を除去する手法の中から手法を逐次変更し、あるいは、同一の手法の場合にはパラメータを変更することにより、より確実に照合がなされる手法及びパラメータを随時更新する。
【００５０】
ここで、手法保存部３２に格納されている装着物を除去する手法の中から手法を変更する場合としては、例えば、検知した顔を包含する矩形のサイズが小さく、装着物のサイズも小さくなってフィルタリングにより装着物の領域を検出できない場合等が挙げられる。具体的には、装着物としての眼鏡の縁が細くなりすぎて顔と眼鏡との境界が識別できなくなり、眼鏡の領域が検出できなくなるような場合である。
このような場合には、例えば、モルフォロジフィルタの膨張・収縮処理の演算回数を変更するなどの手法変更を行い、より確実に装着物の装着領域を検出するようにするのである。
【００５１】
以上の説明のように、本第２実施形態によれば、顔領域のサイズ、顔の向き等を正規化した正規化顔画像から装着物を除去してから照合を実施することにより、本人の特徴がより反映されやすくなる。
【００５２】
結果として、装着物を有している顔画像で起こりうる問題である、本人の特徴が出にくくなることによる本人／他人類似度の分離度低下の問題を解決することが可能となる。
さらに本第２実施形態においては、照合結果を都度フィードバックして装着物除去を実施するための方法を逐次変更、適用して最適化するため、様々な条件下においても上記問題を解決することができる。
【００５３】
［３］第３実施形態
次に第３実施形態について図面を参照して説明する。
図７は、第３実施形態の画像処理装置の概要構成ブロック図である。
図７においては、図５の第２実施形態と同様の部分には、同一の符号を付し、その詳細な説明を援用するものとする。
画像処理装置１４は、少なくとも１つ以上の顔を含む画像中から照合対象となる人物の顔領域を検出する顔検出部２１と、前記顔領域中から顔の特徴的部位を検出する特徴点検出部２２と、顔の向きや顔領域を一意に正規化する正規化部３１と、フィルタリング処理によって前記装着物領域とそれ以外の領域とを明示的に分離した画像を生成する装着物領域抽出部２４と、抽出した装着物領域の情報を用いて、顔画像中から装着物を除去した画像を生成する装着物除去画像生成部２５と、顔画像から特徴を生成する特徴量生成部２６と、特徴量と予め登録されている人物データの照合用特徴量とを用いて本人照合を行う照合部２７と、装着物を除去する手法が格納された手法保存部３２と、本人照合結果を保存する照合結果保存部３３と、照合結果をフィードバックして手法保存部３２に保存されている装着物を除去するための手法を適宜変更する手法適用部３４と、照合結果を表示する表示部２８と、を備える。
【００５４】
次に第３実施形態の概要動作を説明する。
本第３実施形態においても、第１実施形態と同様に、まず、少なくとも１つ以上の顔が含まれる画像が入力されると、顔検出部２１で、少なくとも１つ以上の顔を含む画像から顔領域を検出する。
【００５５】
次に、特徴点検出部２２は、顔検出部２１で取得した顔領域中から、目や鼻といった顔の各器官の位置を示す特徴点を検出する。
ここで、オペレータに装着物の有無を問い合わせる表示を表示部２８に表示し、オペレータは、装着物の有無を入力する。
【００５６】
そして、オペレータの指示により、装着物がないとされた場合には、検知されなかった場合は（ステップＳ２６；Ｎｏ）、特徴生成部２６が顔画像を用いて、顔画像から本人照合を行うための特徴量を生成し、照合部２７は、特徴生成部２６が生成した照合用の特徴量と、予め登録されている人物顔画像の特徴量とを用いて、本人照合を行い、本人照合結果を表示部２８に表示する。
【００５７】
一方、オペレータの指示により装着物があるとされた場合には、正規化部３１により、顔の向きや顔領域を正規化した正規化顔画像を生成し、装着物領域抽出部２４が、正規化顔画像に基づいて、フィルタリング処理によって装着物領域ＡＲＸとそれ以外の領域とを明示的に分離した画像を生成する。
【００５８】
次に、装着物除去画像生成部２５は、生成した装着物領域ＡＲＸの情報を用いて装着物の領域を頬領域の色成分でペインティングをすることで画像中から装着物を除去した画像を生成し、特徴生成部２６は、装着物が除去された正規化顔画像を用いて、顔画像から本人照合を行うための特徴量を生成する。
【００５９】
この結果、照合部２７は、特徴生成部２６が生成した照合用の特徴量と、予め登録されている人物顔画像の特徴量とを用いて、本人照合を行い、本人照合結果を表示部２８に表示する。
そして、照合後、照合結果を照合結果保存部３３に保存し、手法適用部３４において照合結果をフィードバックして次回以降の施行に向けて手法保存部３２に格納されている装着物を除去する手法の中から手法を逐次変更し、あるいは、同一の手法の場合にはパラメータを変更することにより、より確実に照合がなされる手法及びパラメータを随時更新する。
【００６０】
以上の説明のように、本第３実施形態によれば、第２実施形態の場合と比較して、より構成を簡略化しつつ、装着物により本人の特徴が出にくくなることによる本人／他人類似度の分離度低下の問題を解決することが可能となり、第２実施形態と同様の効果を得ることが可能となる。
【００６１】
本実施形態の画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００６２】
本実施形態の画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＳＳＤ、ＵＳＢメモリ等の半導体メモリ装置、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００６３】
また、本実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の〜装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００６４】
本実施形態の画像処理装置で実行されるプログラムは、上述した各部（顔検出部、特徴点検出部、装着物検知部、正規化部、装着物領域検出部、装着物除去画像生成部、特徴量生成部、照合部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、〜部顔検出部、特徴点検出部、装着物検知部、正規化部、装着物領域検出部、装着物除去画像生成部、特徴量生成部、照合部が主記憶装置上に生成されるようになっている。
【００６５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６６】
１０    人物照合システム
１１    カメラ
１２    画像管理サーバ
１３    通信ネットワーク
１４    画像処理装置
２１    顔検出部
２２    特徴点検出部
２３    装着物検知部
２４    装着物領域抽出部
２５    装着物除去画像生成部
２６    特徴量生成部
２７    照合部
２８    表示部
３１    正規化部
３２    手法保存部
３３    照合結果保存部
３４    手法適用部
ＡＲ１、ＡＲ２  領域
ＡＲＸ  装着物領域
ＣＰ１〜ＣＰ６  特徴点
ＧＬ    メガネ（装着物）
【図１】
2020098422.tif 000003
【図２】
2020098422.tif 000004
【図３】
2020098422.tif 000005
【図４】
2020098422.tif 000006
【図５】
2020098422.tif 000007
【図６】
2020098422.tif 000008
【図７】
2020098422.tif 000009