(57)【特許請求の範囲】
【請求項１】
人物画像が第１の領域と第２の領域とを含み、複数の人物それぞれに対応する複数の対象画像のうち第１の対象画像が前記第１の領域に対応する第３の領域と前記第２の領域に対応する第４の領域とを含み、前記複数の対象画像のうち第２の対象画像が前記第１の領域に対応する第５の領域と前記第２の領域に対応する第６の領域とを含み、前記第３の領域の特徴量が類似度の計算に適していない場合、前記第１の領域の特徴量と前記第５の領域の特徴量との間の第１の類似度と、前記第２の領域の特徴量と前記第４の領域の特徴量との間の第２の類似度と、前記第２の領域の特徴量と前記第６の領域の特徴量との間の第３の類似度とに基づいて、前記第１の領域の特徴量と前記第３の領域の特徴量との間の第４の類似度を求め、
前記第１の類似度と前記第４の類似度とに基づいて、前記人物画像と前記複数の対象画像とを比較した比較結果を生成する、
処理をコンピュータに実行させる画像処理プログラム。
【請求項２】
前記コンピュータは、前記第２の類似度と前記第３の類似度との大小関係に基づいて前記第１の類似度の大きさを変更することで、前記第４の類似度を求めることを特徴とする請求項１記載の画像処理プログラム。
【請求項３】
領域の特徴量に基づいて前記人物画像と前記複数の対象画像とを比較した比較結果の確からしさを示す確信度が、前記第１の領域と前記第２の領域とに対して付与されており、前記第１の領域の確信度が前記第２の領域の確信度よりも大きい場合、前記コンピュータは、前記第１の類似度と前記第４の類似度との大小関係に基づいて前記比較結果を生成することを特徴とする請求項１又は２記載の画像処理プログラム。
【請求項４】
人物画像と複数の人物それぞれに対応する複数の対象画像とを記憶する記憶部と、
前記人物画像が第１の領域と第２の領域とを含み、前記複数の対象画像のうち第１の対象画像が前記第１の領域に対応する第３の領域と前記第２の領域に対応する第４の領域とを含み、前記複数の対象画像のうち第２の対象画像が前記第１の領域に対応する第５の領域と前記第２の領域に対応する第６の領域とを含み、前記第３の領域の特徴量が類似度の計算に適していない場合、前記第１の領域の特徴量と前記第５の領域の特徴量との間の第１の類似度と、前記第２の領域の特徴量と前記第４の領域の特徴量との間の第２の類似度と、前記第２の領域の特徴量と前記第６の領域の特徴量との間の第３の類似度とに基づいて、前記第１の領域の特徴量と前記第３の領域の特徴量との間の第４の類似度を求め、前記第１の類似度と前記第４の類似度とに基づいて、前記人物画像と前記複数の対象画像とを比較した比較結果を生成する比較部と、
前記比較結果を出力する出力部と、
を備えることを特徴とする画像処理装置。
【請求項５】
コンピュータが、
人物画像が第１の領域と第２の領域とを含み、複数の人物それぞれに対応する複数の対象画像のうち第１の対象画像が前記第１の領域に対応する第３の領域と前記第２の領域に対応する第４の領域とを含み、前記複数の対象画像のうち第２の対象画像が前記第１の領域に対応する第５の領域と前記第２の領域に対応する第６の領域とを含み、前記第３の領域の特徴量が類似度の計算に適していない場合、前記第１の領域の特徴量と前記第５の領域の特徴量との間の第１の類似度と、前記第２の領域の特徴量と前記第４の領域の特徴量との間の第２の類似度と、前記第２の領域の特徴量と前記第６の領域の特徴量との間の第３の類似度とに基づいて、前記第１の領域の特徴量と前記第３の領域の特徴量との間の第４の類似度を求め、
前記第１の類似度と前記第４の類似度とに基づいて、前記人物画像と前記複数の対象画像とを比較した比較結果を生成する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
防犯のための人物識別において、事前に撮影した画像と新たに撮影した画像とを照合する際に、２枚の画像の間で同一人物を対応付ける処理が行われることがある。また、人物の動線解析において、２台のカメラにより撮影した２枚の画像の間で同一人物を対応付ける処理が行われることもある。これらの処理では静止画又は映像が用いられる。
【０００３】
動線解析においては、人物の身体全体の画像を用いて対応付けが行われ、身体の様々な部位が特徴として利用される。この場合、２枚の画像から各部位の特徴を抽出して比較し、特徴の類似度に基づいて、最も類似する人物を同一人物とみなすことができる。
【０００４】
２分木テーブルを用いて画像等の入力パターンを識別するパターン識別方法も知られている（例えば、特許文献１を参照）。このパターン識別方法では、入力パターンから特徴ベクトルが生成され、この特徴ベクトルから、予め用意されている候補カテゴリーとして予想されるパターンについての２分木テーブルを参照することでパターン識別が行われる。
【０００５】
人物の身体の画像を部位毎に分割する画像分割方法も知られている（例えば、非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−１１２３９１号公報
【非特許文献】
【０００７】
【非特許文献１】D. Qin, Q. Jianzhong, L. Fang, S. Xiangbin, D. Qin and Y. Hongping, “A Human Body Part Segmentation Method Based on Markov Random Field,” International Conference on Control Engineering and Communication Technology (ICCECT), 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した従来の画像処理には、以下のような問題がある。
動線解析等において、カメラの設置条件によっては、画像から特徴が抽出されない場合がある。特に、カメラの光軸が水平に近い場合、例えば、人物が他の人物又は物体によって遮られることで、一部の部位が撮影されないことがある。このような場合、２枚の画像を比較するために利用可能な特徴が制限されてしまうため、正しい対応付けを行うことが困難になる。
【０００９】
なお、かかる問題は、防犯のための人物識別又は動線解析を行う場合に限らず、他の画像処理において２枚の画像の間で同一人物を対応付ける場合においても生ずるものである。
【００１０】
１つの側面において、本発明は、画像内の一部の領域が類似度の計算に適していない場合でも、画像間において人物を高精度に比較することを目的とする。
【課題を解決するための手段】
【００１１】
１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
人物画像は、第１の領域と第２の領域とを含む。複数の人物それぞれに対応する複数の対象画像のうち第１の対象画像は、第１の領域に対応する第３の領域と第２の領域に対応する第４の領域とを含む。複数の対象画像のうち第２の対象画像は、第１の領域に対応する第５の領域と第２の領域に対応する第６の領域とを含む。
【００１２】
コンピュータは、第３の領域の特徴量が類似度の計算に適していない場合、第１の類似度と第２の類似度と第３の類似度とに基づいて、第１の領域の特徴量と第３の領域の特徴量との間の第４の類似度を求める。第１の類似度は、第１の領域の特徴量と第５の領域の特徴量との間の類似度であり、第２の類似度は、第２の領域の特徴量と第４の領域の特徴量との間の類似度であり、第３の類似度は、第２の領域の特徴量と第６の領域の特徴量との間の類似度である。そして、コンピュータは、第１の類似度と第４の類似度とに基づいて、人物画像と複数の対象画像とを比較した比較結果を生成する。
【発明の効果】
【００１３】
１つの実施形態によれば、画像内の一部の領域が類似度の計算に適していない場合でも、画像間において人物を高精度に比較することができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理装置の機能的構成図である。
【図２】画像処理のフローチャートである。
【図３】画像処理装置の具体例を示す機能的構成図である。
【図４】２台のカメラで撮影された２枚の画像を示す図である。
【図５】身体の各部位に対応する領域を示す図である。
【図６】特徴情報を示す図である。
【図７】顔の特徴量が欠落した人物画像を示す図である。
【図８】確信度計算処理のフローチャートである。
【図９】２台のカメラで撮影された人物画像のサンプルを示す図である。
【図１０】確信度情報を示す図である。
【図１１】画像処理の具体例を示すフローチャートである。
【図１２】各部位の類似度を示す図である。
【図１３】情報処理装置の構成図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、実施形態の画像処理装置の機能的構成例を示している。画像処理装置１０１は、記憶部１１１、比較部１１２、及び出力部１１３を含む。
【００１６】
記憶部１１１は、人物画像１２１と複数の人物それぞれに対応する複数の対象画像とを記憶する。人物画像１２１は、第１の領域と第２の領域とを含む。複数の対象画像のうち対象画像１３１は、第１の領域に対応する第３の領域と第２の領域に対応する第４の領域とを含む。複数の対象画像のうち対象画像１３２は、第１の領域に対応する第５の領域と第２の領域に対応する第６の領域とを含む。
【００１７】
比較部１１２は、人物画像１２１と複数の対象画像とを比較した比較結果を生成し、出力部１１３は、比較結果を出力する。
【００１８】
図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。比較部１１２は、第３の領域の特徴量が類似度の計算に適していない場合、第１の類似度と第２の類似度と第３の類似度とに基づいて、第１の領域の特徴量と第３の領域の特徴量との間の第４の類似度を求める（ステップ２０１）。第１の類似度は、第１の領域の特徴量と第５の領域の特徴量との間の類似度であり、第２の類似度は、第２の領域の特徴量と第４の領域の特徴量との間の類似度であり、第３の類似度は、第２の領域の特徴量と第６の領域の特徴量との間の類似度である。
【００１９】
そして、比較部１１２は、第１の類似度と第４の類似度とに基づいて、人物画像と複数の対象画像とを比較した比較結果を生成し（ステップ２０２）、出力部１１３は、比較結果を出力する（ステップ２０３）。
【００２０】
図１の画像処理装置１０１によれば、画像内の一部の領域が類似度の計算に適していない場合でも、画像間において人物を高精度に比較することができる。
【００２１】
図３は、図１の画像処理装置１０１の具体例を示している。図３の画像処理装置１０１は、記憶部１１１、比較部１１２、出力部１１３、確信度計算部３０１、部位特定部３０２、及び特徴抽出部３０３を含む。
【００２２】
記憶部１１１は、人物画像１２１と、Ｎ人の人物（Ｎは２以上の整数）それぞれに対応するＮ個の対象画像３１１−１〜対象画像３１１−Ｎとを記憶する。例えば、人物画像１２１は、第１のカメラで撮影された画像に含まれる人物画像であり、対象画像３１１−１〜対象画像３１１−Ｎは、第２のカメラで撮影された画像に含まれる人物画像である。
【００２３】
図４は、２台のカメラで撮影された２枚の画像の例を示している。第１のカメラで撮影された画像４０１には人物Ａが映っており、第２のカメラで撮影された画像４０２には人物Ａ、人物Ｂ、人物Ｃ、及び人物Ｄが映っている。この場合、画像４０１内の人物Ａの画像には、識別情報（ＩＤ）としてＡ１が付与され、画像４０２内の人物Ａ、人物Ｂ、人物Ｃ、及び人物Ｄの画像には、ＩＤとしてＡ２、Ｂ２、Ｃ２、及びＤ２がそれぞれ付与される。
【００２４】
画像処理装置１０１は、画像Ａ１と画像Ａ２、画像Ｂ２、画像Ｃ２、及び画像Ｄ２の各々とを比較して、画像Ａ１に対応する画像４０２内の人物を特定する。画像４０１から抽出された画像Ａ１は、人物画像１２１として記憶部１１１に格納され、画像４０２から抽出された画像Ａ２、画像Ｂ２、画像Ｃ２、及び画像Ｄ２は、対象画像３１１−１〜対象画像３１１−４として記憶部１１１に格納される。この場合、Ｎ＝４となる。
【００２５】
部位特定部３０２は、人物画像１２１及び対象画像３１１−１〜対象画像３１１−Ｎの各々から、身体の各部位に対応する領域を特定し、各画像を特定した複数の領域に分割する。部位特定部３０２は、例えば、非特許文献１の画像分割方法を用いて、各画像を複数の部位にそれぞれ対応する複数の領域に分割することができる。
【００２６】
図５は、身体の各部位に対応する領域の例を示している。部位特定部３０２は、人物画像５０１から髪の毛、顔、上半身、下半身、及び靴の５つの部位を区別したマップ画像５０２を生成し、マップ画像５０２を領域５１１〜領域５１６に分割する。領域５１１は髪の毛に対応し、領域５１２は顔に対応し、領域５１３は上半身に対応し、領域５１４は下半身に対応し、領域５１５は靴に対応し、領域５１６は身体以外の背景部分に対応する。
【００２７】
部位特定部３０２は、人物画像１２１から得られた各部位の領域の位置及び大きさの情報を、特徴情報３１２−０に登録する。また、部位特定部３０２は、対象画像３１１−１〜対象画像３１１−Ｎから得られた各部位の領域の位置及び大きさの情報を、特徴情報３１２−１〜特徴情報３１２−Ｎにそれぞれ登録する。
【００２８】
図６は、特徴情報３１２−０〜特徴情報３１２−Ｎの例を示している。図６の特徴情報は、図５のマップ画像５０２に対応しており、始点座標（ｓｘ，ｓｙ）は、部位に対応する領域の左上頂点の座標を表し、終点座標（ｅｘ，ｅｙ）は、その領域の右下頂点の座標を表す。
【００２９】
この例では、座標の原点は、マップ画像５０２の左上頂点であり、マップ画像５０２の幅及び高さは、それぞれ５０及び１００である。例えば、髪の毛の領域５１１の始点Ｐ１の座標は（２０，１０）であり、終点Ｐ２の座標は（４０，１５）である。始点座標（ｓｘ，ｓｙ）及び終点座標（ｅｘ，ｅｙ）により、各部位の領域の位置及び大きさを表すことができる。
【００３０】
特徴抽出部３０３は、人物画像１２１及び対象画像３１１−１〜対象画像３１１−Ｎそれぞれから生成されたマップ画像内の各部位の領域から特徴量を抽出して、特徴情報３１２−０〜特徴情報３１２−Ｎにそれぞれ登録する。特徴量としては、領域の色、色差信号、グレーレベル、輝度、形状、テクスチャ、エッジ、輪郭等の情報を用いることができる。輪郭の情報としては、例えば、Histograms of Oriented Gradients（ＨＯＧ）を用いてもよい。
【００３１】
図６の特徴情報では、各部位の領域における（Ｒ，Ｇ，Ｂ）の各色の平均値が特徴量として抽出されている。例えば、髪の毛の領域５１１の色の平均値は（１０，１１，１０）である。ＲＧＢの平均値の代わりに、中央値、最大値、最小値等の他の統計値を用いてもよい。
【００３２】
また、各部位の領域の特徴量として、複数の色を登録することも可能である。この場合、特徴抽出部３０３は、領域を色の類似性に基づいて複数の部分領域に分割し、面積の大きな部分領域から順に所定数の部分領域を決定し、決定した各部分領域の色の統計値を特徴量として登録することができる。
【００３３】
確信度計算部３０１は、身体の部位毎に確信度を計算し、複数の部位の確信度を表す確信度情報３１３を生成する。各部位の確信度は、その部位の領域の特徴量に基づいて２枚の人物画像を比較した比較結果の確からしさを示す指標である。確信度が大きいほど比較結果が正しい可能性は高くなり、確信度が小さいほど比較結果が正しい可能性は低くなる。
【００３４】
比較部１１２は、特徴情報３１２−０〜特徴情報３１２−Ｎと確信度情報３１３とを用いて、人物画像１２１と対象画像３１１−１〜対象画像３１１−Ｎとを比較し、人物画像１２１に対応する対象画像を特定する。そして、比較部１１２は、特定した対象画像を示す比較結果３１４を生成し、出力部１１３は、その比較結果３１４を出力する。
【００３５】
このとき、比較部１１２は、例えば、特徴情報３１２−０に含まれる複数の部位の特徴量のうち確信度の大きな部位の特徴量と、特徴情報３１２−ｉ（ｉ＝１〜Ｎ）に含まれる同じ部位の特徴量との間の類似度を計算する。そして、比較部１１２は、類似度の最大値に対応する対象画像３１１−ｉを、人物画像１２１に対応する対象画像として特定することができる。
【００３６】
ところで、部位特定部３０２は、図５の人物画像５０１に含まれる各部位の特徴量に基づいて、部位を区別したマップ画像５０２を生成することができる。例えば、予め部位毎に色の範囲（上限値及び下限値）が与えられている場合、与えられた範囲の色を有する隣接画素同士を連結することで、対応する部位の領域を特定することができる。そして、マップ画像５０２では、各部位のすべての画素に対して、それらの画素の色の統計値（平均値等）が特徴量として付与される。
【００３７】
しかし、カメラの設置条件等の撮影環境に依存して、人物画像に一部の部位が含まれない場合がある。例えば、人物が他の人物又は物体によって遮られることで特定の部位が隠蔽された場合、人物画像にはその部位が含まれない。この場合、本来その部位の画像が含まれるはずの領域には、他の人物又は物体の画像が含まれるため、その領域の特徴量は、類似度の計算には適していない。
【００３８】
また、人物が下向きの姿勢で撮影された場合、人物画像に顔が含まれないことがある。この場合、顔の画像が含まれるはずの領域には、頭頂部の画像が含まれるため、その領域の特徴量は、顔の類似度の計算には適していない。
【００３９】
このように、人物画像内のある部位に対応する領域の特徴量が類似度の計算に適していない場合、その部位に対して与えられた範囲の色を有する画素が検出されないため、マップ画像からその部位の特徴量が欠落する。
【００４０】
図７は、顔の特徴量が欠落した人物画像の例を示している。人物画像７０１において、人物の顔の部分が何らかの障害物で隠蔽されている場合、顔の部位を特定することが困難となるため、マップ画像７０２から顔の特徴量が欠落する。マップ画像７０２には、髪の毛に対応する領域７１１、上半身に対応する領域７１２、下半身に対応する領域７１３、及び靴に対応する領域７１４が含まれているが、顔に対応する領域は含まれていない。この場合、特徴抽出部３０３は、図６の特徴情報において、特徴量が欠落したことを示す値（−１，−１，−１）を、顔の特徴量の代わりに登録する。
【００４１】
比較部１１２は、特徴情報３１２−１〜特徴情報３１２−Ｎのいずれかから一部の部位の特徴量が欠落している場合、各部位の確信度に基づいて、欠落している部位に対する類似度の代替値を求める。そして、比較部１１２は、求めた代替値をその部位に対する類似度として用いて、人物画像１２１と対象画像３１１−１〜対象画像３１１−Ｎとを比較する。
【００４２】
人物の身体の部位には、同じ画像内の部位であっても、同一人物であるか否かを識別できる可能性が高い部位と少ない部位とがある。例えば、顔、上半身、及び靴の３つの部位のうち、顔の特徴量の類似度が大きい場合は、同一人物である可能性が高い。一方、靴の特徴量の類似度が大きい場合は、その類似度がかなり大きくても、顔の特徴量の類似度が大きい場合と比較すると、同一人物である可能性は低くなる。したがって、顔の確信度は、靴の確信度よりも大きくなると考えられる。
【００４３】
確信度が大きい２つの部位の間では、確信度が小さい部位と比較して、複数の対象画像の特徴量が示す類似度の大小関係が入れ替わることは少ない。例えば、顔と上半身の確信度が比較的大きい場合、人物Ｘに対する顔の類似度が人物Ａ、人物Ｂ、人物Ｃの順に大きければ、人物Ｘに対する上半身の類似度も人物Ａ、人物Ｂ、人物Ｃの順に大きくなることが多い。
【００４４】
ここで、人物Ｂの顔の特徴量と人物Ａ及び人物Ｂの上半身の特徴量は抽出されたが、人物Ａの顔の特徴量が欠落した場合について考える。この場合、人物Ａの上半身の類似度が人物Ｂの上半身の類似度よりも大きければ、人物Ａの顔の類似度も人物Ｂの顔の類似度より大きくなることが期待できる。そこで、人物Ａの顔の類似度の代替値として、人物Ｂの顔の類似度よりも大きな値を設定することが好ましい。
【００４５】
このように、対象画像３１１−ｉ内のある部位に対応する領域の特徴量が類似度の計算に適していない場合であっても、その部位の類似度として適切な代替値を設定することで、人物画像１２１と対象画像３１１−ｉとを高精度に比較することが可能になる。これにより、対象画像３１１−１〜対象画像３１１−Ｎのうち、人物画像１２１と最もよく類似している対象画像を特定することができる。
【００４６】
図８は、確信度計算部３０１が行う確信度計算処理の例を示すフローチャートである。この確信度計算処理では、図９に示すように、第１のカメラで撮影されたＭ人の人物（Ｍは２以上の整数）の人物画像群９０１と、第２のカメラで撮影された同じＭ人の人物の人物画像群９０２とをサンプルとして用いて、身体の各部位の確信度が計算される。人物画像群９０１は、人物画像９１１−１〜人物画像９１１−Ｍを含み、人物画像群９０２は、人物画像９１２−１〜人物画像９１２−Ｍを含む。サンプル数Ｍは、十分に大きな整数であることが望ましい。
【００４７】
人物画像９１１−１〜人物画像９１１−Ｍ及び人物画像９１２−１〜人物画像９１２−Ｍそれぞれに映っている人物は既知であり、記憶部１１１は、２台のカメラの人物画像同士の正しい対応付けを示す情報を予め記憶している。さらに、記憶部１１１は、各人物画像から抽出された各部位の特徴量も予め記憶している。
【００４８】
まず、確信度計算部３０１は、人物画像群９０１から処理対象の人物画像を選択する（ステップ８０１）。そして、確信度計算部３０１は、選択した人物画像と人物画像群９０２の各人物画像との間で、各部位の特徴量の類似度を計算し、部位毎に類似度の最大値に対応する人物画像群９０２の人物画像を特定する（ステップ８０２）。
【００４９】
例えば、顔の特徴量を用いる場合、確信度計算部３０１は、選択した人物画像の顔の特徴量と、人物画像群９０２の各人物画像の顔の特徴量との間の類似度を計算し、類似度の最大値に対応する人物画像群９０２の人物画像を、選択した人物画像に対応付ける。髪の毛、上半身、下半身、靴等の部位についても、同様にして、選択した人物画像に対応する人物画像群９０２の人物画像を特定することができる。こうして対応付けられた人物画像は、部位毎に異なることがある。
【００５０】
次に、確信度計算部３０１は、人物画像群９０１のすべての人物画像を選択したか否かをチェックし（ステップ８０３）、未選択の人物画像が残っている場合（ステップ８０３，ＮＯ）、次の人物画像についてステップ８０１以降の処理を繰り返す。
【００５１】
人物画像群９０１のすべての人物画像を選択した場合（ステップ８０３，ＹＥＳ）、確信度計算部３０１は、各人物画像に対する部位毎の対応付け結果を、正しい対応付けと比較して、各部位の確信度を求める（ステップ８０４）。このとき、確信度計算部３０１は、人物画像群９０１のＭ枚の人物画像のうち、正しい対応付けが行われた人物画像の割合を確信度として求めることができる。
【００５２】
例えば、人物画像群９０１の１００枚の人物画像のうち８０枚の人物画像が、顔の特徴量を用いて人物画像群９０２の正しい人物画像と対応付けられた場合、顔の確信度は８０％となる。他の部位についても、同様にして、正しい対応付けが行われた人物画像の割合を確信度として求めることができる。
【００５３】
次に、確信度計算部３０１は、各部位の確信度に応じて、人物画像１２１と対象画像３１１−１〜対象画像３１１−Ｎとを比較する際の各部位の優先順位を決定する（ステップ８０５）。このとき、確信度計算部３０１は、確認度の大きさの降順に優先順位を決定することができる。そして、確信度計算部３０１は、各部位の確信度及び優先順位を示す確信度情報３１３を生成して、記憶部１１１に格納する。
【００５４】
図１０は、顔、靴、及び髪の毛の３つの部位に対する確信度情報３１３の例を示している。この例では、顔、靴、及び髪の毛の確信度はそれぞれ８０％、６０％、及び４０％であり、顔、靴、及び髪の毛の優先順位はそれぞれ第１位、第２位、及び第３位である。
【００５５】
図１１は、確信度情報３１３が生成された後に、図３の画像処理装置１０１が行う画像処理の具体例を示すフローチャートである。まず、部位特定部３０２は、人物画像１２１及び対象画像３１１−１〜対象画像３１１−Ｎの各々から、身体の各部位に対応する領域を特定し、複数の領域に区分されたマップ画像を生成する（ステップ１１０１）。
【００５６】
次に、特徴抽出部３０３は、人物画像１２１及び対象画像３１１−１〜対象画像３１１−Ｎそれぞれから生成されたマップ画像内の各部位の領域から特徴量を抽出して、特徴情報３１２−０〜特徴情報３１２−Ｎを生成する（ステップ１１０２）。
【００５７】
次に、比較部１１２は、特徴情報３１２−０と特徴情報３１２−１〜特徴情報３１２−Ｎとの間で、各部位の特徴量の類似度を計算する（ステップ１１０３）。ここで、特徴情報３１２−ｉのいずれかの部位の特徴量が欠落している場合、その部位の類似度の計算が省略される。
【００５８】
図１２は、図４の画像Ａ１と画像Ａ２〜画像Ｄ２との間で計算された顔、靴、及び髪の毛の類似度の例を示している。この例では、画像Ａ２の顔及び髪の毛の特徴量が欠落しているため、画像Ａ２の顔及び髪の毛の類似度も欠落している。同様に、画像Ｄ２の靴の特徴量が欠落しているため、画像Ｄ２の靴の類似度も欠落している。いずれの部位についても、類似度が１００を超えることはない。
【００５９】
次に、比較部１１２は、確信度情報３１３が示す優先順位に従って、特徴情報３１２−１〜特徴情報３１２−Ｎそれぞれから計算された各部位の類似度のうち、第１位の部位の類似度を比較する（ステップ１１０４）。そして、比較部１１２は、その部位に対する類似度が欠落しているか否かをチェックする（ステップ１１０５）。
【００６０】
類似度が欠落していない場合（ステップ１１０５，ＮＯ）、比較部１１２は、第１位の部位の類似度に基づいて、人物画像１２１に対応する対象画像を特定する（ステップ１１０８）。この場合、比較部１１２は、画像Ａ２〜画像Ｄ２の間で第１位の部位の類似度を比較し、類似度の最大値に対応する画像を、画像Ａ１に対応する対象画像として特定する。そして、比較部１１２は、特定した人物画像の人物を示す比較結果３１４を生成し、出力部１１３は、その比較結果３１４を出力する。
【００６１】
一方、類似度が欠落している場合（ステップ１１０５，ＹＥＳ）、比較部１１２は、第２位以下の部位に対する類似度の大小関係に基づいて、欠落している部位の類似度の代替値を求める（ステップ１１０６）。この類似度の大小関係としては、第１位にできるだけ近い優先順位を有する部位に対する類似度の大小関係を用いることが好ましい。
【００６２】
例えば、第１位の部位が顔であり、第２位の部位が靴である場合、画像Ａ２〜画像Ｄ２の間で、顔の類似度の大小関係が靴の類似度の大小関係と整合するように、顔の類似度の代替値が設定される。
【００６３】
そして、比較部１１２は、求めた代替値を第１位の部位に対する類似度として用いて、対象画像３１１−１〜対象画像３１１−Ｎに対する類似度を比較し（ステップ１１０７）、ステップ１１０８の処理を行う。
【００６４】
例えば、図１０の確信度情報を用いた場合、顔、靴、及び髪の毛の優先順位はそれぞれ第１位、第２位、及び第３位である。そこで、比較部１１２は、図１２の画像Ａ２〜画像Ｄ２の間で、第１位の顔の類似度を比較する。ここで、画像Ａ２の顔の類似度が欠落しており、残りの画像Ｂ２〜画像Ｄ２のうち、画像Ｃ２の顔の類似度８０が最大値であることが分かる。したがって、画像Ａ１に対応する候補画像は、画像Ａ２及び画像Ｃ２に絞り込まれる。
【００６５】
画像Ａ２の顔の類似度が欠落しているため、比較部１１２は、第２位の靴の類似度を比較する。ここで、画像Ｄ２の靴の類似度が欠落しているものの、画像Ａ２及び画像Ｃ２の靴の類似度は欠落していないことが分かる。そこで、比較部１１２は、画像Ｃ２の顔の類似度８０と、画像Ａ２の靴の類似度５０と画像Ｃ２の靴の類似度１０との比率５０／１０とを用いて、次式により画像Ａ２の顔の類似度の代替値を求める。
【００６６】
８０×（５０／１０）＝４００      （１）
【００６７】
ここで、類似度の上限値を１００とした場合、比較部１１２は、求めた代替値４００を上限値である１００に修正し、代替値１００を画像Ａ２の顔の類似度に設定する。その結果、画像Ａ２の顔の類似度の方が画像Ｃ２の顔の類似度よりも大きくなるため、画像Ａ１に対応する画像は、画像Ａ２に決定される。
【００６８】
比較部１１２は、さらに画像Ｂ２の顔及び靴の類似度を用いて、画像Ａ２の顔の類似度の代替値を求めることもできる。この場合、比較部１１２は、次式により、画像Ｂ２の靴の類似度１０と画像Ｃ２の靴の類似度１０の平均値を求める。
【００６９】
（１０＋１０）／２＝１０      （２）
【００７０】
また、比較部１１２は、次式により、画像Ｂ２の顔の類似度６５と画像Ｃ２の顔の類似度８０の平均値を求める。
【００７１】
（６５＋８０）／２＝７２．５      （３）
【００７２】
そして、比較部１１２は、式（３）の平均値７２．５と、画像Ａ２の靴の類似度５０と式（２）の平均値１０との比率５０／１０とを用いて、次式により画像Ａ２の顔の類似度の代替値を求める。
【００７３】
７２．５×（５０／１０）＝３６２．５      （４）
【００７４】
比較部１１２は、求めた代替値３６２．５を上限値である１００に修正し、代替値１００を画像Ａ２の顔の類似度に設定する。
【００７５】
比較部１１２は、さらに顔及び靴の確信度を用いて、画像Ａ２の顔の類似度の代替値を求めることもできる。この場合、比較部１１２は、次式により、画像Ａ２〜画像Ｃ２の靴の類似度に対して確信度を反映させる。
【００７６】
Ａ２：  ５０×６０％＝３０      （５）
Ｂ２：  １０×６０％＝６        （６）
Ｃ２：  １０×６０％＝６        （７）
【００７７】
次に、比較部１１２は、次式により、式（６）の類似度１０と式（７）の類似度１０の平均値を求める。
【００７８】
（６＋６）／２＝６      （８）
【００７９】
また、比較部１１２は、次式により、画像Ｂ２及び画像Ｃ２の顔の類似度に対して確信度を反映させる。
【００８０】
Ｂ２：  ６５×８０％＝５２      （９）
Ｃ２：  ８０×８０％＝６４      （１０）
【００８１】
次に、比較部１１２は、次式により、式（９）の類似度５２と式（１０）の類似度６４の平均値を求める。
【００８２】
（５２＋６４）／２＝５８      （１１）
【００８３】
そして、比較部１１２は、式（１１）の平均値５８と、式（５）の類似度３０と式（８）の平均値６との比率３０／６とを用いて、次式により画像Ａ２の顔の類似度の代替値を求める。
【００８４】
５８×（３０／６）＝２９０      （１２）
【００８５】
比較部１１２は、求めた代替値２９０を上限値である１００に修正し、代替値１００を画像Ａ２の顔の類似度に設定する。
【００８６】
図１２の画像処理によれば、最大の確信度を有する部位の特徴量が欠落していない場合、その部位の類似度に基づいて、人物画像１２１に対応する対象画像を特定することができる。
【００８７】
また、最大の確信度を有する部位の特徴量が欠落している場合であっても、その部位の擬似的な類似度を設定して、人物画像１２１に対応する対象画像を特定することが可能になる。この場合、第２位以下の部位に対する類似度の大小関係を参照することで、擬似的な類似度として適切な値を設定することができる。
【００８８】
図１及び図３の画像処理装置１０１の構成は一例に過ぎず、画像処理装置１０１の用途や条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、確信度情報３１３を使用しない場合、又は別の情報処理装置が確信度計算処理を行う場合は、図３の確信度計算部３０１を省略することができる。また、別の情報処理装置が特徴情報３１２−０〜特徴情報３１２−Ｎを生成する場合は、図３の部位特定部３０２及び特徴抽出部３０３を省略することができる。
【００８９】
図４、図５、図７、及び図９の画像は一例に過ぎず、画像処理装置１０１の用途や条件に応じて、別の画像を用いてもよい。例えば、図４の２台のカメラで撮影された２枚の画像の代わりに、１台のカメラで２つの時刻に撮影された２枚の画像を用いてもよい。同様に、図９の２台のカメラで撮影された複数の人物画像の代わりに、１台のカメラで２つの時刻に撮影された複数の人物画像をサンプルとして用いてもよい。
【００９０】
図５の領域５１１〜領域５１５の形状は、矩形以外の形状であってもよい。部位特定部３０２は、図５の人物画像５０１を、領域５１１〜領域５１５の代わりに、異なる種類又は異なる数の部位の領域に分割しても構わない。
【００９１】
図６の特徴情報、図１０の確信度情報、及び図１２の類似度は一例に過ぎず、別のデータ構造の情報を用いてもよい。例えば、図６の始点座標（ｓｘ，ｓｙ）及び終点座標（ｅｘ，ｅｙ）を省略してもよく、ＲＧＢ以外の特徴量を用いてもよい。
【００９２】
図２、図８、及び図１１のフローチャートは一例に過ぎず、画像処理装置１０１の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図８のステップ８０１〜ステップ８０３において、確信度計算部３０１は、２台のカメラで撮影された複数の人物画像の代わりに、１台のカメラで２つの時刻に撮影された複数の人物画像をサンプルとして用いてもよい。同様に、図１１の画像処理において、人物画像１２１とは異なるカメラで撮影された対象画像３１１−ｉの代わりに、人物画像１２１と同じカメラで異なる時刻に撮影された対象画像３１１−ｉを用いてもよい。
【００９３】
図１１のステップ１１０４及びステップ１１０７において、比較部１１２は、第１位の部位の類似度を比較する代わりに、第２位以下の所定の優先順位の類似度を比較してもよい。あるいは、比較部１１２は、第１位を含む複数の優先順位の類似度を確信度に応じて重み付け加算した加算結果を比較してもよい。
【００９４】
式（１）〜式（１２）は一例に過ぎず、別の計算式により、欠落している部位の類似度の代替値を計算してもよい。
【００９５】
図１３は、図１及び図３の画像処理装置１０１として用いられる情報処理装置の構成例を示している。図１３の情報処理装置は、ＣＰＵ１３０１、メモリ１３０２、入力装置１３０３、出力装置１３０４、補助記憶装置１３０５、媒体駆動装置１３０６、及びネットワーク接続装置１３０７を備える。これらの構成要素はバス１３０８により互いに接続されている。
【００９６】
メモリ１３０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１３０２は、図１及び図３の記憶部１１１として用いることができる。
【００９７】
ＣＰＵ１３０１（プロセッサ）は、例えば、メモリ１３０２を利用してプログラムを実行することにより、図１及び図３の比較部１１２、確信度計算部３０１、部位特定部３０２、及び特徴抽出部３０３として動作する。
【００９８】
入力装置１３０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置１３０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置１３０４は、図１及び図３の出力部１１３として用いることができ、処理結果は、比較結果３１４であってもよい。
【００９９】
補助記憶装置１３０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１３０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１３０５にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。補助記憶装置１３０５は、図１及び図３の記憶部１１１として用いることができる。
【０１００】
媒体駆動装置１３０６は、可搬型記録媒体１３０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１３０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１３０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１３０９にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。
【０１０１】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１３０２、補助記憶装置１３０５、又は可搬型記録媒体１３０９のような、物理的な（非一時的な）記録媒体である。
【０１０２】
ネットワーク接続装置１３０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１３０７を介して受け取り、それらをメモリ１３０２にロードして使用することができる。
【０１０３】
情報処理装置は、ネットワーク接続装置１３０７を介して、ユーザ端末から処理要求を受信し、画像処理を行って比較結果３１４をユーザ端末へ送信することもできる。この場合、ネットワーク接続装置１３０７は、図１及び図３の出力部１１３として用いることができる。
【０１０４】
なお、情報処理装置が図１３のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置１３０３及び出力装置１３０４を省略してもよい。また、可搬型記録媒体１３０９又は通信ネットワークを利用しない場合は、媒体駆動装置１３０６又はネットワーク接続装置１３０７を省略してもよい。
【０１０５】
情報処理装置がスマートフォンのような通話機能を有する携帯端末である場合、マイク及びスピーカのような通話用の装置を含んでいてもよく、カメラのような撮像装置を含んでいてもよい。
【０１０６】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１０７】
図１乃至図１３を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
人物画像が第１の領域と第２の領域とを含み、複数の人物それぞれに対応する複数の対象画像のうち第１の対象画像が前記第１の領域に対応する第３の領域と前記第２の領域に対応する第４の領域とを含み、前記複数の対象画像のうち第２の対象画像が前記第１の領域に対応する第５の領域と前記第２の領域に対応する第６の領域とを含み、前記第３の領域の特徴量が類似度の計算に適していない場合、前記第１の領域の特徴量と前記第５の領域の特徴量との間の第１の類似度と、前記第２の領域の特徴量と前記第４の領域の特徴量との間の第２の類似度と、前記第２の領域の特徴量と前記第６の領域の特徴量との間の第３の類似度とに基づいて、前記第１の領域の特徴量と前記第３の領域の特徴量との間の第４の類似度を求め、
前記第１の類似度と前記第４の類似度とに基づいて、前記人物画像と前記複数の対象画像とを比較した比較結果を生成する、
処理をコンピュータに実行させる画像処理プログラム。
（付記２）
前記コンピュータは、前記第２の類似度と前記第３の類似度との大小関係に基づいて前記第１の類似度の大きさを変更することで、前記第４の類似度を求めることを特徴とする付記１記載の画像処理プログラム。
（付記３）
領域の特徴量に基づいて前記人物画像と前記複数の対象画像とを比較した比較結果の確からしさを示す確信度が、前記第１の領域と前記第２の領域とに対して付与されており、前記第１の領域の確信度が前記第２の領域の確信度よりも大きい場合、前記コンピュータは、前記第１の類似度と前記第４の類似度との大小関係に基づいて前記比較結果を生成することを特徴とする付記１又は２記載の画像処理プログラム。
（付記４）
前記第１の領域、前記第３の領域、及び前記第５の領域は、人物の顔に対応する領域であり、前記第２の領域、前記第４の領域、及び前記第６の領域は、顔以外の部位に対応する領域であることを特徴とする付記１乃至３のいずれか１項に記載の画像処理プログラム。
（付記５）
人物画像と複数の人物それぞれに対応する複数の対象画像とを記憶する記憶部と、
前記人物画像が第１の領域と第２の領域とを含み、前記複数の対象画像のうち第１の対象画像が前記第１の領域に対応する第３の領域と前記第２の領域に対応する第４の領域とを含み、前記複数の対象画像のうち第２の対象画像が前記第１の領域に対応する第５の領域と前記第２の領域に対応する第６の領域とを含み、前記第３の領域の特徴量が類似度の計算に適していない場合、前記第１の領域の特徴量と前記第５の領域の特徴量との間の第１の類似度と、前記第２の領域の特徴量と前記第４の領域の特徴量との間の第２の類似度と、前記第２の領域の特徴量と前記第６の領域の特徴量との間の第３の類似度とに基づいて、前記第１の領域の特徴量と前記第３の領域の特徴量との間の第４の類似度を求め、前記第１の類似度と前記第４の類似度とに基づいて、前記人物画像と前記複数の対象画像とを比較した比較結果を生成する比較部と、
前記比較結果を出力する出力部と、
を備えることを特徴とする画像処理装置。
（付記６）
前記比較部は、前記第２の類似度と前記第３の類似度との大小関係に基づいて前記第１の類似度の大きさを変更することで、前記第４の類似度を求めることを特徴とする付記５記載の画像処理装置。
（付記７）
領域の特徴量に基づいて前記人物画像と前記複数の対象画像とを比較した比較結果の確からしさを示す確信度が、前記第１の領域と前記第２の領域とに対して付与されており、前記第１の領域の確信度が前記第２の領域の確信度よりも大きい場合、前記比較部は、前記第１の類似度と前記第４の類似度との大小関係に基づいて前記比較結果を生成することを特徴とする付記５又は６記載の画像処理装置。
（付記８）
前記第１の領域、前記第３の領域、及び前記第５の領域は、人物の顔に対応する領域であり、前記第２の領域、前記第４の領域、及び前記第６の領域は、顔以外の部位に対応する領域であることを特徴とする付記５乃至７のいずれか１項に記載の画像処理装置。
（付記９）
コンピュータが、
人物画像が第１の領域と第２の領域とを含み、複数の人物それぞれに対応する複数の対象画像のうち第１の対象画像が前記第１の領域に対応する第３の領域と前記第２の領域に対応する第４の領域とを含み、前記複数の対象画像のうち第２の対象画像が前記第１の領域に対応する第５の領域と前記第２の領域に対応する第６の領域とを含み、前記第３の領域の特徴量が類似度の計算に適していない場合、前記第１の領域の特徴量と前記第５の領域の特徴量との間の第１の類似度と、前記第２の領域の特徴量と前記第４の領域の特徴量との間の第２の類似度と、前記第２の領域の特徴量と前記第６の領域の特徴量との間の第３の類似度とに基づいて、前記第１の領域の特徴量と前記第３の領域の特徴量との間の第４の類似度を求め、
前記第１の類似度と前記第４の類似度とに基づいて、前記人物画像と前記複数の対象画像とを比較した比較結果を生成する、
ことを特徴とする画像処理方法。
（付記１０）
前記コンピュータは、前記第２の類似度と前記第３の類似度との大小関係に基づいて前記第１の類似度の大きさを変更することで、前記第４の類似度を求めることを特徴とする付記９記載の画像処理方法。
（付記１１）
領域の特徴量に基づいて前記人物画像と前記複数の対象画像とを比較した比較結果の確からしさを示す確信度が、前記第１の領域と前記第２の領域とに対して付与されており、前記第１の領域の確信度が前記第２の領域の確信度よりも大きい場合、前記コンピュータは、前記第１の類似度と前記第４の類似度との大小関係に基づいて前記比較結果を生成することを特徴とする付記９又は１０記載の画像処理方法。
（付記１２）
前記第１の領域、前記第３の領域、及び前記第５の領域は、人物の顔に対応する領域であり、前記第２の領域、前記第４の領域、及び前記第６の領域は、顔以外の部位に対応する領域であることを特徴とする付記９乃至１１のいずれか１項に記載の画像処理方法。
【符号の説明】
【０１０８】
１０１  画像処理装置
１１１  記憶部
１１２  比較部
１１３  出力部
１２１  人物画像
１３１、１３２、３１１−１〜３１１−Ｎ  対象画像
３０１  確信度計算部
３０２  部位特定部
３０３  特徴抽出部
３１２−０〜３１２−Ｎ  特徴情報
３１３  確信度情報
３１４  比較結果
４０１、４０２  画像
５０１、７０１、９１１−１〜９１１−Ｍ、９１２−１〜９１２−Ｍ  人物画像
５０２、７０２  マップ画像
５１１〜５１６、７１１〜７１４  領域
９０１、９０２  人物画像群
１３０１  ＣＰＵ
１３０２  メモリ
１３０３  入力装置
１３０４  出力装置
１３０５  補助記憶装置
１３０６  媒体駆動装置
１３０７  ネットワーク接続装置
１３０８  バス
１３０９  可搬型記録媒体
【図１】
0006492746.tif 000002
【図２】
0006492746.tif 000003
【図３】
0006492746.tif 000004
【図４】
0006492746.tif 000005
【図５】
0006492746.tif 000006
【図６】
0006492746.tif 000007
【図７】
0006492746.tif 000008
【図８】
0006492746.tif 000009
【図９】
0006492746.tif 000010
【図１０】
0006492746.tif 000011
【図１１】
0006492746.tif 000012
【図１２】
0006492746.tif 000013
【図１３】
0006492746.tif 000014