(57)【特許請求の範囲】
【請求項１】
入力画像Ｉ（ｕ，ｖ）を入力する画像入力手段と、
予め用意した複数の代表３次元物体モデルＣｊ（ｊ＝１、２、．．．、Ｎ）を保持する代表３次元物体モデル記憶手段と、
前記代表３次元物体モデル記憶手段より得られる代表３次元物体モデルを基に、各姿勢条件毎に、前記入力画像と照明条件が近い比較画像Ｇｊｋ（ｊ＝１、２、．．．、Ｎ、ｋ＝１、２、．．．、Ｌ）を複数生成する画像生成手段と、
前記入力画像と各比較画像との間の類似度Ｓ（Ｉ、Ｇｊｋ）を計算し、各代表３次元モデル毎に最も大きい類似度Ｓ０ｊ（＝ｍａｘｋＳ（Ｉ、Ｇｊｋ））を求め、類似度が最も大きい比較画像を選出することにより、姿勢を推定する画像照合手段と、
複数の参照画像Ｒｉ（ｉ＝１、２、．．．、Ｍ）を記憶するデータベースである参照画像記憶手段と、
各参照画像と各代表３次元物体モデルとの間の類似度Ｓｉｊ（ｉ＝１、２、．．．、Ｍ、ｊ＝１、２、．．．、Ｎ）を記憶する参照画像照合結果記憶手段と、
前記類似度Ｓ０ｊと前記類似度Ｓｉｊとの間の類似度Ｄｉを求め、類似度Ｄｉの高い順に参照画像を抽出する結果照合手段と、
類似度Ｄｉの最も大きい参照画像を照合結果として出力する結果表示手段と、
を備えることを特徴とする画像照合システム。
【請求項２】
請求項１に記載の画像照合システムにおいて、
予め用意した前記複数の代表３次元物体モデルＣｊは、予め用意した各３次元モデルを使用して、様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックにより生成し、その学習用ＣＧ画像を主成分分析することにより得られた基底画像群であることを特徴とする画像照合システム。
【請求項３】
請求項１又は２に記載の画像照合システムにおいて、
前記画像生成手段は、前記基底画像群を仮定した前記姿勢条件に基づいて座標変換し、座標変換後の基底画像の線形和が前記入力画像に近くなるように、基底画像群の線形和の係数を求めることにより、前記入力画像と照明条件が近い前記比較画像を生成することを特徴とする画像照合システム。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像照合システムにおいて、
新たに代表３次元物体モデルＣｊを前記代表３次元物体モデル記憶手段に登録する３次元物体モデル登録手段と、
新たに前記代表３次元物体モデルＣｊが前記３次元物体モデル登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、新たに前記代表３次元物体モデル登録手段に登録される前記代表３次元物体モデルＣｊと各参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
を更に備えることを特徴とする画像照合システム。
【請求項５】
請求項１乃至３のいずれか１項に記載の画像照合システムにおいて、
新たに参照画像Ｒｉを前記参照画像記憶手段に登録する参照画像登録手段と、
新たに参照画像Ｒｉが前記参照画像登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、各代表３次元物体モデルＣｊと新たに前記参照画像登録手段に登録される参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
を更に備えることを特徴とする画像照合システム。
【請求項６】
請求項１乃至３のいずれか１項に記載の画像照合システムにおいて、
３次元形状測定装置により生成され前記参照画像記憶手段に記憶されている参照画像Ｒｉに対応する参照３次元物体モデルＢｉを記憶する参照３次元物体モデル記憶手段と、
前記結果照合手段により抽出された類似度Ｄｉが所定値以上である参照画像に対して、前記参照３次元物体モデル記憶手段から得られる参照３次元物体モデルＢｉを基に、前記画像入力手段より得られる前記入力画像Ｉ（ｕ，ｖ）との間で、姿勢条件毎に照明条件が近い比較画像Ｈｉｋ（ｕ、ｖ）（ｉは抽出された参照画像番号、ｋ＝１、２、．．．、Ｌ）を生成する画像生成手段と、
前記入力画像Ｉ（ｕ，ｖ）と前記比較画像Ｈｉｋ（ｕ、ｖ）とを比較することにより類似度Ｓ（Ｉ、Ｈｉｋ）及び参照３次元物体モデル毎の最大類似度Ｓ０ｊ＝ｍａｘｋＳ（Ｉ、Ｈｉｋ）を計算する画像照合手段と、
を更に備えることを特徴とする画像照合システム。
【請求項７】
請求項６に記載の画像照合システムにおいて、
新たに代表３次元物体モデルＣｊを前記代表３次元物体モデル記憶手段に登録する３次元物体モデル登録手段と、
新たに前記代表３次元物体モデルＣｊが前記３次元物体モデル登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、新たに前記代表３次元物体モデル登録手段に登録される前記代表３次元物体モデルＣｊと各参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
参照画像照合結果更新手段により参照画像照合結果記憶手段に照合結果が登録された時、該照合結果の情報を基に、前記参照画像に対応する参照３次元物体モデルを前記代表３次元物体モデル記憶手段にある代表３次元物体モデルの合成により生成し、前記参照３次元物体モデル記憶手段にある前記参照３次元物体モデルを更新する３次元物体モデル生成手段と、
を更に備えることを特徴とする画像照合システム。
【請求項８】
請求項６に記載の画像照合システムにおいて、
新たに参照画像Ｒｉを前記参照画像記憶手段に登録する参照画像登録手段と、
新たに参照画像Ｒｉが前記参照画像登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、各代表３次元物体モデルＣｊと新たに前記参照画像登録手段に登録される参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
参照画像照合結果更新手段により参照画像照合結果記憶手段に照合結果が登録された時、該照合結果の情報を基に、前記参照画像に対応する参照３次元物体モデルを前記代表３次元物体モデル記憶手段にある代表３次元物体モデルの合成により生成し、前記参照３次元物体モデルを前記参照３次元物体モデル記憶手段に登録し又は前記参照３次元物体モデル記憶手段にある前記参照３次元物体モデルを更新する３次元物体モデル生成手段と、
を更に備えることを特徴とする画像照合システム。
【請求項９】
請求項１乃至３のいずれか１項に記載の画像照合システムにおいて、
前記参照画像記憶手段に記憶されている参照画像Ｒｉを基に合成された参照３次元物体モデルＢｉ又は３次元形状測定装置により生成され前記参照画像記憶手段に記憶されている参照画像Ｒｉに対応する参照３次元物体モデルＢｉを記憶する参照３次元物体モデル記憶手段と、
結果照合手段から得られる類似度Ｄｉの高い参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対応する各参照３次元物体モデルを基に、姿勢又は照明条件が同じになるように、前記入力画像と前記参照画像の両方又はいずれか一方を変換することで部分画像を生成する画像変換手段と、
前記画像変換手段より得られる、そのうちの双方又は一方が変換された、入力画像の部分画像と参照画像の部分画像とを比較し、それぞれ類似度を計算する部分画像照合手段と、
を更に備えることを特徴とする画像照合システム。
【請求項１０】
請求項１乃至３のいずれか１項に記載の画像照合システムにおいて、
前記参照画像記憶手段に記憶されている参照画像Ｒｉを基に合成された参照３次元物体モデルＢｉ又は３次元形状測定装置により生成され前記参照画像記憶手段に記憶されている参照画像Ｒｉに対応する参照３次元物体モデルＢｉを記憶する参照３次元物体モデル記憶手段と、
結果照合手段から得られる類似度Ｄｉの高い参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対応する各参照３次元物体モデルを基に、姿勢又は照明条件が同じになるように、前記入力画像と前記参照画像の両方又はいずれか一方を変換することで部分画像を生成する画像変換手段と、
前記画像変換手段より得られる、そのうちの双方又は一方が変換された、入力画像の部分画像と参照画像の部分画像とを比較し、それぞれ類似度を計算する部分画像照合手段と、
新たに代表３次元物体モデルＣｊを前記代表３次元物体モデル記憶手段に登録する３次元物体モデル登録手段と、
新たに前記代表３次元物体モデルＣｊが前記３次元物体モデル登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、新たに前記代表３次元物体モデル登録手段に登録される前記代表３次元物体モデルＣｊと各参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
新たに参照画像Ｒｉを前記参照画像記憶手段に登録する参照画像登録手段と、
参照画像照合結果更新手段により参照画像照合結果記憶手段に照合結果が登録された時、該照合結果の情報を基に、前記参照画像に対応する参照３次元物体モデルを前記代表３次元物体モデル記憶手段にある代表３次元物体モデルの合成により生成し又は前記参照３次元物体モデル記憶手段にある前記参照３次元物体モデルを更新し、また、新たに参照画像Ｒｉが前記参照画像記憶手段に登録された時、前記参照３次元物体モデルを更新する３次元物体モデル生成手段と、
を更に備えることを特徴とする画像照合システム。
【請求項１１】
入力画像Ｉ（ｕ，ｖ）を入力する画像入力手段と、
予め用意した複数の代表３次元物体モデルＣｊ（ｊ＝１、２、．．．、Ｎ）を保持する代表３次元物体モデル記憶手段と、
前記代表３次元物体モデル記憶手段より得られる代表３次元物体モデルを基に、各姿勢条件毎に、前記入力画像と照明条件が近い比較画像Ｇｊｋ（ｊ＝１、２、．．．、Ｎ、ｋ＝１、２、．．．、Ｌ）を複数生成する画像生成手段と、
前記入力画像と各比較画像との間の類似度Ｓ（Ｉ、Ｇｊｋ）を計算し、各代表３次元モデル毎に最も大きい類似度Ｓ０ｊ（＝ｍａｘｋＳ（Ｉ、Ｇｊｋ））を求め、類似度が最も大きい比較画像を選出することにより、姿勢を推定する画像照合手段と、
複数の参照画像Ｒｉ（ｉ＝１、２、．．．、Ｍ）を記憶するデータベースである参照画像記憶手段と、
各参照画像と各代表３次元物体モデルとの間の類似度Ｓｉｊ（ｉ＝１、２、．．．、Ｍ、ｊ＝１、２、．．．、Ｎ）を記憶する参照画像照合結果記憶手段と、
前記類似度Ｓ０ｊと前記類似度Ｓｉｊとの間の類似度Ｄｉを求め、類似度Ｄｉの高い順に参照画像を抽出する結果照合手段と、
類似度Ｄｉの最も大きい参照画像を照合結果として出力する結果表示手段と、
を備えることを特徴とする画像照合システムとしてコンピュータを機能させるための画像照合プログラム。
【請求項１２】
請求項１１に記載の画像照合プログラムにおいて、
予め用意した前記複数の代表３次元物体モデルＣｊは、予め用意した各３次元モデルを使用して、様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックにより生成し、その学習用ＣＧ画像を主成分分析することにより得られた基底画像群であることを特徴とする画像照合プログラム。
【請求項１３】
請求項１１又は１２に記載の画像照合プログラムにおいて、
前記画像生成手段は、前記基底画像群を仮定した前記姿勢条件に基づいて座標変換し、座標変換後の基底画像の線形和が前記入力画像に近くなるように、基底画像群の線形和の係数を求めることにより、前記入力画像と照明条件が近い前記比較画像を生成することを特徴とする画像照合プログラム。
【請求項１４】
請求項１１乃至１３のいずれか１項に記載の画像照合プログラムにおいて、
前記画像照合システムは、
新たに代表３次元物体モデルＣｊを前記代表３次元物体モデル記憶手段に登録する３次元物体モデル登録手段と、
新たに前記代表３次元物体モデルＣｊが前記３次元物体モデル登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、新たに前記代表３次元物体モデル登録手段に登録される前記代表３次元物体モデルＣｊと各参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
を更に備えることを特徴とする画像照合プログラム。
【請求項１５】
請求項１１乃至１３のいずれか１項に記載の画像照合プログラムにおいて、
前記画像照合システムは、
新たに参照画像Ｒｉを前記参照画像記憶手段に登録する参照画像登録手段と、
新たに参照画像Ｒｉが前記参照画像登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、各代表３次元物体モデルＣｊと新たに前記参照画像登録手段に登録される参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
を更に備えることを特徴とする画像照合プログラム。
【請求項１６】
請求項１１乃至１３のいずれか１項に記載の画像照合プログラムにおいて、
前記画像照合システムは、
３次元形状測定装置により生成され前記参照画像記憶手段に記憶されている参照画像Ｒｉに対応する参照３次元物体モデルＢｉを記憶する参照３次元物体モデル記憶手段と、
前記結果照合手段により抽出された類似度Ｄｉが所定値以上である参照画像に対して、前記参照３次元物体モデル記憶手段から得られる参照３次元物体モデルＢｉを基に、前記画像入力手段より得られる前記入力画像Ｉ（ｕ，ｖ）との間で、姿勢条件毎に照明条件が近い比較画像Ｈｉｋ（ｕ、ｖ）（ｉは抽出された参照画像番号、ｋ＝１、２、．．．、Ｌ）を生成する画像生成手段と、
前記入力画像Ｉ（ｕ，ｖ）と前記比較画像Ｈｉｋ（ｕ、ｖ）とを比較することにより類似度Ｓ（Ｉ、Ｈｉｋ）及び参照３次元物体モデル毎の最大類似度Ｓ０ｊ＝ｍａｘｋＳ（Ｉ、Ｈｉｋ）を計算する画像照合手段と、
を更に備えることを特徴とする画像照合プログラム。
【請求項１７】
請求項１６に記載の画像照合プログラムにおいて、
前記画像照合システムは、
新たに代表３次元物体モデルＣｊを前記代表３次元物体モデル記憶手段に登録する３次元物体モデル登録手段と、
新たに前記代表３次元物体モデルＣｊが前記３次元物体モデル登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、新たに前記代表３次元物体モデル登録手段に登録される前記代表３次元物体モデルＣｊと各参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
参照画像照合結果更新手段により参照画像照合結果記憶手段に照合結果が登録された時、該照合結果の情報を基に、前記参照画像に対応する参照３次元物体モデルを前記代表３次元物体モデル記憶手段にある代表３次元物体モデルの合成により生成し、前記参照３次元物体モデル記憶手段にある前記参照３次元物体モデルを更新する３次元物体モデル生成手段と、
を更に備えることを特徴とする画像照合プログラム。
【請求項１８】
請求項１６に記載の画像照合プログラムにおいて、
前記画像照合システムは、
新たに参照画像Ｒｉを前記参照画像記憶手段に登録する参照画像登録手段と、
新たに参照画像Ｒｉが前記参照画像登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、各代表３次元物体モデルＣｊと新たに前記参照画像登録手段に登録される参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
参照画像照合結果更新手段により参照画像照合結果記憶手段に照合結果が登録された時、該照合結果の情報を基に、前記参照画像に対応する参照３次元物体モデルを前記代表３次元物体モデル記憶手段にある代表３次元物体モデルの合成により生成し、前記参照３次元物体モデルを前記参照３次元物体モデル記憶手段に登録し又は前記参照３次元物体モデル記憶手段にある前記参照３次元物体モデルを更新する３次元物体モデル生成手段と、
を更に備えることを特徴とする画像照合プログラム。
【請求項１９】
請求項１１乃至１３のいずれか１項に記載の画像照合プログラムにおいて、
前記画像照合システムは、
前記参照画像記憶手段に記憶されている参照画像Ｒｉを基に合成された参照３次元物体モデルＢｉ又は３次元形状測定装置により生成され前記参照画像記憶手段に記憶されている参照画像Ｒｉに対応する参照３次元物体モデルＢｉを記憶する参照３次元物体モデル記憶手段と、
結果照合手段から得られる類似度Ｄｉの高い参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対応する各参照３次元物体モデルを基に、姿勢又は照明条件が同じになるように、前記入力画像と前記参照画像の両方又はいずれか一方を変換することで部分画像を生成する画像変換手段と、
前記画像変換手段より得られる、そのうちの双方又は一方が変換された、入力画像の部分画像と参照画像の部分画像とを比較し、それぞれ類似度を計算する部分画像照合手段と、
を更に備えることを特徴とする画像照合プログラム。
【請求項２０】
請求項１１乃至１３のいずれか１項に記載の画像照合プログラムにおいて、
前記画像照合システムは、
前記参照画像記憶手段に記憶されている参照画像Ｒｉを基に合成された参照３次元物体モデルＢｉ又は３次元形状測定装置により生成され前記参照画像記憶手段に記憶されている参照画像Ｒｉに対応する参照３次元物体モデルＢｉを記憶する参照３次元物体モデル記憶手段と、
結果照合手段から得られる類似度Ｄｉの高い参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対して、前記参照３次元物体モデル記憶手段より得られる参照画像に対応する各参照３次元物体モデルを基に、姿勢又は照明条件が同じになるように、前記入力画像と前記参照画像の両方又はいずれか一方を変換することで部分画像を生成する画像変換手段と、
前記画像変換手段より得られる、そのうちの双方又は一方が変換された、入力画像の部分画像と参照画像の部分画像とを比較し、それぞれ類似度を計算する部分画像照合手段と、
新たに代表３次元物体モデルＣｊを前記代表３次元物体モデル記憶手段に登録する３次元物体モデル登録手段と、
新たに前記代表３次元物体モデルＣｊが前記３次元物体モデル登録手段に登録される場合に、前記画像入力手段、前記画像照合手段とを用いて求められた、新たに前記代表３次元物体モデル登録手段に登録される前記代表３次元物体モデルＣｊと各参照画像Ｒｉとの間の類似度Ｓｉｊを前記参照画像照合結果記憶手段に追加する参照画像照合結果更新手段と、
新たに参照画像Ｒｉを前記参照画像記憶手段に登録する参照画像登録手段と、
参照画像照合結果更新手段により参照画像照合結果記憶手段に照合結果が登録された時、該照合結果の情報を基に、前記参照画像に対応する参照３次元物体モデルを前記代表３次元物体モデル記憶手段にある代表３次元物体モデルの合成により生成し、又は前記参照３次元物体モデル記憶手段にある前記参照３次元物体モデルを更新し、また、新たに参照画像Ｒｉが前記参照画像記憶手段に登録された時、前記参照３次元物体モデルを更新する３次元物体モデル生成手段と、
を更に備えることを特徴とする画像照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元物体モデルを用いた画像照合システム及び画像照合プログラムに関し、特に姿勢や照明の異なる条件で撮影された物体（人物の顔）の入力画像に対し、当該入力画像からデータベース（ＤＢ）にある参照画像を検索できる画像照合システム及び画像照合プログラムに関する。
【背景技術】
【０００２】
従来の画像照合システムの一例が、１９９５年、電子情報通信学会論文誌Ｄ−ＩＩ、第Ｊ７８−Ｄ−II巻、第１１号、１６３９頁〜１６４９頁、嶌田ら、「顔の向きによらない人物識別のための辞書構成法」に記載されている（以下、第１の従来技術と称する）。第２６図に示すように、この第１の従来技術の画像照合システムは、画像入力部１０と、画像照合部４０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５とを備える。
【０００３】
このような構成を有する従来の画像照合システムは、以下のように動作する。
【０００４】
参照画像記憶部７０には、予め参照画像登録部７５より撮影された様々な物体の参照画像（人物の参照顔画像等）が記憶されている。ただし、参照画像については、撮影するときの条件（姿勢や照明等の条件）によって大きく変化するため、一つの物体に対して様々な条件で撮影した複数（多数）の画像が記憶されている。
【０００５】
画像入力部１０は、カメラ等により実現され、撮影した入力画像をメモリ（図示せず）に記憶する。画像照合部４０は、画像入力部１０より得られる入力画像と、参照画像記憶部７０より得られる各参照画像とを比較し、それぞれ特徴の類似度（又は距離値）を計算し、各物体で最も類似度の大きい（又は距離の小さい）参照画像を選出する。各画像は濃淡特徴で表現され、特徴間の類似度計算や距離値計算には例えば正規化相関やユークリッド距離などが使用される。結果表示部８０は、当該参照画像のうち選出された類似度の最も大きい物体の参照画像を照合結果として表示する（又は類似度の大きい順に候補となる参照画像を表示する）。
【０００６】
従来の画像照合システムの他の一例が、特開２０００−３２２５７７号に記載されている（以下、第２の従来技術と称する）。第２８図に示すように、この従来の画像照合システムは、画像入力部１０と、画像変換部３５と、部分画像照合部４５と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５とを備える。
【０００７】
このような構成を有する従来の画像照合システムは、以下のように動作する。
【０００８】
代表３次元物体モデル記憶部２０には、予め３次元物体モデル登録部２５より得られる代表的な１つ又は複数の３次元物体モデルが記憶されている。画像変換部３５は、画像入力部１０より得られる入力画像と参照画像記憶部７０より得られる各参照画像の共通する部分領域に関して、代表３次元物体モデル記憶部２０より得られる３次元物体モデルを用いて、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。
【０００９】
部分領域とは、例えば第２９図に示すように、目・鼻・口のような特徴的な部分であり、予め各画像と３次元物体モデルに対して特徴点を指定しておくことにより対応をとることができる。部分画像照合部４５は、画像変換部３５より得られる変換された入力画像と各参照画像の部分画像を比較し、それぞれ平均類似度を計算し、各物体で最も類似度の大きい参照画像を選出する。結果表示部８０は、当該参照画像の類似度の最も大きい物体を照合結果として表示する。
【発明の開示】
【００１０】
上述した従来技術においては、次に述べるような種々の問題点を有している。
【００１１】
第１に、上述した第１及び第２の従来技術においては、登録される物体に対して様々な条件で撮影された多数の参照画像が必要になるという問題点があった。
【００１２】
その理由は、入力画像と参照画像を直接比較するため、入力画像の撮影条件が限定されない場合、多数の姿勢や照明条件に対応するためには、予め入力画像の撮影条件に近い参照画像が用意されている必要があるためである。しかし、実際には姿勢や照明条件には無限の可能性が存在し、様々な条件に対応した多数の画像を予め用意することは現実的に不可能である。
【００１３】
第２に、第２の従来技術では、入力画像又は参照画像を姿勢が合うように変換して比較するため、３次元物体モデルの参照画像の数が十分になかったり、姿勢が大きく異なると、変換による歪みが大きくなり正しく照合できないという問題を有していた。また、変換により照明条件を合わせるのが非常に困難であると共に、共通する領域で画像を比較するため、必ず共通する領域が存在する必要があるという問題があった。
【００１４】
第３に、各従来技術では照合に時間がかかるという問題点があった。
【００１５】
その理由は、従来技術では、入力画像と各物体の複数の参照画像を比較するため、物体数がＭ個、各物体の参照画像数がＬ個の場合、少なくともＬ×Ｍ回の画像の比較が必要であるためである。
【００１６】
本発明の目的は、少数の参照画像しか存在しない場合でも、物体毎に姿勢や照明の異なる条件で撮影された画像に対し、入力画像からデータベースに登録してある参照画像を検索できる画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
【００１７】
本発明の他の目的は、入力画像又は参照画像を姿勢が合うように変換するといった処理を行うことなく、少ない３次元物体モデルの参照画像で照合が行えると共に、各画像に共通する領域が必ずしも存在しなくとも照合が行える画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
【００１８】
本発明の他の目的は、全ての物体に対して必ずしもある必要な数の３次元物体モデルを生成しなくとも画像の照合が可能な画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
【００１９】
本発明の更に他の目的は、多数の物体に関する参照画像がデータベースに登録されている場合でも、高速に検索できる画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
【００２０】
本発明によれば、入力画像Ｉ（ｕ，ｖ）を入力する画像入力手段と、予め用意した複数の代表３次元物体モデルＣｊ（ｊ＝１、２、．．．、Ｎ）を保持する代表３次元物体モデル記憶手段と、前記代表３次元物体モデル記憶手段より得られる代表３次元物体モデルを基に、各姿勢条件毎に、前記入力画像と照明条件が近い比較画像Ｇｊｋ（ｊ＝１、２、．．．、Ｎ、ｋ＝１、２、．．．、Ｌ）を複数生成する画像生成手段と、前記入力画像と各比較画像との間の類似度Ｓ（Ｉ、Ｇｊｋ）を計算し、各代表３次元モデル毎に最も大きい類似度Ｓ０ｊ（＝ｍａｘｋＳ（Ｉ、Ｇｊｋ））を求め、類似度が最も大きい比較画像を選出することにより、姿勢を推定する画像照合手段と、複数の参照画像Ｒｉ（ｉ＝１、２、．．．、Ｍ）を記憶するデータベースである参照画像記憶手段と、各参照画像と各代表３次元物体モデルとの間の類似度Ｓｉｊ（ｉ＝１、２、．．．、Ｍ、ｊ＝１、２、．．．、Ｎ）を記憶する参照画像照合結果記憶手段と、前記類似度Ｓ０ｊと前記類似度Ｓｉｊとの間の類似度Ｄｉを求め、類似度Ｄｉの高い順に参照画像を抽出する結果照合手段と、類似度Ｄｉの最も大きい参照画像を照合結果として出力する結果表示手段と、を備えることを特徴とする画像照合システムが提供される。
【００２１】
本発明によれば、次に述べるような効果が達成される。
【００２２】
第１の効果は、参照画像が物体毎に１つ乃至少数しか存在しない場合でも、姿勢や照明条件等の異なる入力条件で撮影された物体の入力画像に対し、同一物体の参照画像を検索できることである。また、入力画像又は参照画像を姿勢が合うように変換するといった処理を行うことなく、少ない３次元物体モデルの参照画像で照合が行えると共に、各画像に共通する領域が必ずしも存在しなくとも照合が行える。さらに、全ての物体に対して必ずしも所定数の３次元物体モデルを生成しなくとも画像の照合が可能となる。
【００２３】
その理由は、入力画像と代表３次元物体モデルとの照合結果と、参照画像と代表３次元物体モデルとの照合結果の比較により、参照画像を検索するというように構成されているためである。また、代表３次元物体モデルの合成により参照３次元物体モデルを生成し照合するというように構成されているためである。
【００２４】
第２の効果は、入力画像から高速に参照画像を検索できることにある。
【００２５】
その理由は、物体数に比べて少数の代表３次元物体モデルとの照合と、照合結果の類似度計算により画像照合するというように構成されているためである。また、参照３次元物体モデルとの照合を行う場合も、代表３次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照３次元物体モデルとの照合を行うというように構成されているためである。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２７】
第１図を参照すると、本発明の第１の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０と、参照画像照合結果記憶部５０とを備えている。
【００２８】
代表３次元物体モデル記憶部２０には、代表的な３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）が登録されている。３次元物体モデルについては、例えば特開２００１−１２９２５号記載の３次元形状測定装置を用いたり、特開平９−９１４３６号記載の多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。
【００２９】
３次元物体モデルは、第２７図に示すように、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰＱ（ｘ，ｙ，ｚ）とテクスチャＴＱ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。照合のために、予め各３次元物体モデルを使用して、様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。
【００３０】
画像生成部３０は、代表３次元物体モデル記憶部２０より得られる代表３次元物体モデルを基に、姿勢条件を仮定しながら画像入力部１０より得られる入力画像と照明条件が近い比較画像を複数生成する。ここで、入力画像と照明条件が近い比較画像の生成は、予め求めておいた基底画像群を仮定した姿勢条件に基づき座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように、線形和の係数を最小二乗法により求めることにより実現できる。
【００３１】
この３次元物体モデルから入力画像に近い比較画像を生成する技術については、例えば、２００１年、電子情報通信学会技術研究報告  Vol.101 No.524 PRMU200 1-153〜175、５９頁〜６４頁「照明条件と姿勢の両者の自動補正による顔照合」に記載されている。
【００３２】
画像照合部４０は、画像入力部１０より得られる入力画像と、画像生成部３０より得られる各比較画像とを比較し、入力画像と各比較画像との間の類似度を計算し、各物体で最も類似度の大きい比較画像を選出することにより姿勢を推定する。
【００３３】
参照画像照合結果記憶部５０には、参照画像を記憶するデータベース（ＤＢ）である参照画像記憶部７０の各参照画像を入力画像として、画像生成部３０及び画像照合部４０により、代表３次元物体モデル記憶部２０の各代表３次元物体モデルと各参照画像とを照合した結果が予め記憶されている。
【００３４】
結果照合部６０は、画像入力部１０より得られる入力画像に対して画像生成部３０及び画像照合部４０により照合を行った結果と、参照画像照合結果記憶部５０における各参照画像の照合結果とを比較し、照合結果の類似する参照画像を類似度の高い順に抽出する。結果表示部８０は、当該類似度の最も大きい物体を照合結果として表示する。
【００３５】
参照画像記憶部７０には、検索対象である物体の２次元の画像である参照画像が登録される。この参照画像は、その照明や姿勢を含む入力条件に制限がなく、１つの物体（検索対象）について少なくとも１つの画像が登録されている。
【００３６】
代表３次元物体モデル記憶部２０には、代表的な複数の代表３次元物体モデルが記憶されている。
【００３７】
次に、第１図と、第２図のフローチャートを参照して第１の実施の形態の全体の動作について詳細に説明する。
【００３８】
入力画像の照合時においては、まず、画像入力部１０により入力画像が得られる（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルに対して、入力画像と姿勢や照明等の入力条件の近い、すなわち比較を行い易い比較画像を生成する（ステップ１０１）。
【００３９】
更に、画像照合部４０は、当該入力画像と当該各比較画像との類似度を求める（ステップ１０２）。結果照合部６０は、当該照合結果と参照画像照合結果記憶部５０における各参照画像の照合結果との類似度を計算し、照合結果が類似する参照画像を類似度の高い順に抽出する（ステップ１０３）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【００４０】
次に、上記のように構成され動作する第１の実施の形態の効果について説明する。
【００４１】
第１の実施の形態では、入力画像と代表３次元物体モデルとの照合結果と、参照画像と代表３次元物体モデルとの照合結果の比較により、参照画像を検索するように構成されているため、参照画像が物体毎に１つ乃至少数しか存在しない場合でも、姿勢や照明条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索することができる。
【００４２】
また、本実施の形態では、更に、物体数に比べて少数の代表３次元物体モデルとの照合と、照合結果の類似度計算により画像照合するという構成としているため、高速に検索できる。照合結果の類似度計算にかかる時間は、画像照合に比べて短いので、検索時間は画像照合に数に依存する。例えば、代表３次元物体モデルの数Ｎが物体数（参照画像数）Ｍに対してＮ＝Ｍ／１００の場合、画像生成部３０において生成される各代表３次元物体モデルの比較画像がＬ個とすると、Ｌ×Ｎ＝Ｌ×Ｍ／１００回の画像照合で済み、従来の１／１００の照合回数で検索できる。
【００４３】
更に、具体的な実施例を示す第３図〜第８図を用いて第１の実施の形態の動作を説明する。
【００４４】
第３図に示すように、代表３次元物体モデル記憶部２０には、代表的な代表３次元物体モデルＣj（ｊ＝１，２，…，Ｎ）がＮ個記憶されている。また、第４図に示すように、参照画像記憶部７０には、各物体の参照画像Ｒｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されている（物体毎に複数の参照画像が存在しても構わないが、ここでは１個として説明する）。
【００４５】
更に、第５図に示すように、参照画像照合結果記憶部５０には、参照画像の登録時の処理により、各参照画像Ｒiの代表３次元物体モデルＣｊに対する照合結果（類似度）Ｓｉｊが記憶されている（第５図では類似度の高い順に表示しているが、実際はモデルの順番に記憶するようにしてもよい）。
【００４６】
入力画像の照合時においては、第６図に示すような入力画像I（ｕ，ｖ）が画像入力部１０により得られたとする（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルＣｊ（ｊ＝１，…，Ｎ）に対して、入力画像の姿勢や照明等の入力条件に近い比較画像Ｇｊｋ（ｕ，ｖ）（ｊ＝１，…，Ｎ、ｋ＝１，…，Ｌ）をＬ個生成する（ステップ１０１）。
【００４７】
更に、画像照合部４０は、当該入力画像I（ｕ，ｖ）と当該各比較画像Ｇｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｇｊｋ）を求め、代表３次元物体モデル毎に類似度の最大となる類似度Ｓ０ｊ＝maxｋＳ（Ｉ，Ｇｊｋ）を求める（ステップ１０２）。照合結果（類似度）Ｓ０ｊは、例えば第７図のようになる。
【００４８】
結果照合部６０は、当該照合結果Ｓ０ｊと参照画像照合結果記憶部５０における各参照画像の照合結果Ｓｉｊとの類似度Ｄi＝Ｄ（Ｓ０ｊ，Ｓｉｊ）を計算し、当該照合結果の類似度Ｄiの高い参照画像を順に抽出する（ステップ１０３）。抽出結果は、例えば第８図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｒ１，Ｒ５，Ｒ２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【００４９】
ここで、照合結果の類似度Ｄi（Ｓ０ｊ，Ｓｉｊ）の計算方法としては、正規化相関や順位相関などが利用できる。順位相関とは、照合結果の候補順位の相関である。入力画像の照合結果Ｓ０ｊの候補順位をＡ０ｊとすると、第７図の照合結果の場合は、Ａ0,2＝１，Ａ0,６＝２，Ａ0,３＝３などとなる。各参照画像の照合結果Ｓｉｊの候補順位をＡiｊとすると、例えばスピアマンの順位相関は、１−６Σj（Ａ０ｊ−Ａiｊ）２／｛Ｎ（Ｎ２−１）｝により求められる。
【００５０】
また、類似度計算においては、各変数（Ｓ０ｊ，ＳｉｊやＡ０ｊ，Ａiｊ）を変数変換してから類似度を計算してもよい。また、候補順位Ａ０ｊ，Ａiｊのいずれかまたは両方に基づいた重みｇ（Ａ０ｊ，Ａiｊ）を用いて、各変数に重み付けをして類似度を計算してもよい。例えば、ｇ（Ａ０ｊ，Ａiｊ）＝１／（Ａ０ｊ＋Ａiｊ）とし、類似度Ｓ０ｊ，ＳｉｊをＳ０ｊ／（Ａ０ｊ＋Ａiｊ），Ｓｉｊ／（Ａ０ｊ＋Ａiｊ）に変換すると、上位候補の比重が高くなる。更に、下位候補を除外して類似度計算してもよい。
【００５１】
本発明の第２の実施の形態による画像照合システムについて第９図以下を参照して説明する。
【００５２】
本発明の第２の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果記憶部５０と、参照画像照合結果更新部５５とを備えており、第１の実施の形態の構成に、参照画像登録部７５と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５を加えた構成となっている。
【００５３】
第２の実施の形態による画像照合システムの第１の実施の形態と同じ構成要素については説明を省略し、本実施の形態で追加された構成要素について説明を進める。
【００５４】
３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に新しい代表３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）を登録する。
【００５５】
参照画像照合結果更新部５５は、登録時において、３次元物体モデル登録部２５により代表３次元物体モデル記憶部２０に代表３次元物体モデルが登録された時、及び参照画像登録部７５により参照画像記憶部７０に参照画像が登録された時、新しい参照画像と代表３次元物体モデルの組み合わせに対して、画像生成部３０及び画像照合部４０により照合を行い、当該照合結果を参照画像照合結果記憶部５０に追加する。
【００５６】
参照画像登録部７５は、検索対象である物体の２次元の画像である参照画像を、参照画像記憶部７０に対して登録する。この登録する参照画像は、その照明や姿勢を含む入力条件に制限がなく、１つの物体（検索対象）について少なくとも１つの画像が登録される。
【００５７】
なお、３次元物体モデル登録部２５は、第２８図に示した第２の従来技術における３次元物体モデル登録部２５と同一であり、代表３次元物体モデル記憶部２０には、予め３次元物体モデル登録部２５より得られる代表３次元物体モデルが記憶される。
【００５８】
次に、第９図と、第２図、第１０図、第１１図のフローチャートを参照して第２の実施の形態の全体の動作について詳細に説明する。
【００５９】
入力画像の照合時における動作については、第１の実施の形態の第２図に示す動作と全く同じである。
【００６０】
入力画像の照合時においては、まず、画像入力部１０により入力画像が得られる（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルに対して、入力画像と姿勢や照明等の入力条件の近い、すなわち比較を行い易い比較画像を生成する（ステップ１０１）。
【００６１】
更に、画像照合部４０は、当該入力画像と当該各比較画像との類似度を求める（ステップ１０２）。結果照合部６０は、当該照合結果と参照画像照合結果記憶部５０における各参照画像の照合結果との類似度を計算し、照合結果が類似する参照画像を類似度の高い順に抽出する（ステップ１０３）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【００６２】
ここで、代表３次元物体モデルの登録時と、参照画像の登録時における動作について説明する。
【００６３】
代表３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）の登録時においては、まず、３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に新しい代表３次元物体モデルを登録する（第１０図のステップ２００）。
【００６４】
次に、参照画像照合結果更新部５５は、参照画像記憶部７０における各参照画像を入力画像として画像入力部１０に送り、当該各参照画像と登録された当該代表３次元物体モデルに基づく画像生成部３０による比較画像とを画像照合部４０で照合し、各類似度を求める（ステップ２０１）。最後に、当該照合結果を参照画像照合結果記憶部５０における各参照画像の照合結果に追加する（ステップ２０２）。
【００６５】
参照画像の登録時においては、まず、参照画像登録部７５は、参照画像記憶部７０に新しい参照画像を登録する（第１１図のステップ２１０）。
【００６６】
次に、参照画像照合結果更新部５５は、参照画像記憶部７０に登録された当該参照画像を入力画像として画像入力部１０に送り、当該参照画像と代表３次元物体モデル記憶部２０における代表３次元物体モデルに基づく画像生成部３０による比較画像とを画像照合部４０により照合し、各類似度を求める（ステップ２１１）。最後に、当該照合結果を参照画像照合結果記憶部５０に追加する（ステップ２１２）。
【００６７】
次に、上記のように構成され動作する第２の実施の形態の効果について説明する。
【００６８】
第２の実施の形態では、入力画像と代表３次元物体モデルとの照合結果と、参照画像と代表３次元物体モデルとの照合結果の比較により、参照画像を検索するように構成されているため、参照画像が物体毎に１つ乃至少数しか存在しない場合でも、姿勢や照明条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索することができる。
【００６９】
また、本実施の形態では、更に、物体数に比べて少数の代表３次元物体モデルとの照合と、照合結果の類似度計算により画像照合するという構成としているため、高速に検索できる。照合結果の類似度計算にかかる時間は、画像照合に比べて短いので、検索時間は画像照合に数に依存する。例えば、代表３次元物体モデルの数Ｎが物体数（参照画像数）Ｍに対してＮ＝Ｍ／１００の場合、画像生成部３０において生成される各代表３次元物体モデルの比較画像がＬ個とすると、Ｌ×Ｎ＝Ｌ×Ｍ／１００回の画像照合で済み、従来の１／１００の照合回数で検索できる。
【００７０】
更に、具体的な実施例を用いて第２の実施の形態の動作を説明する。
ここでは、第１の実施の形態と同様に、第３図に示すように、代表３次元物体モデル記憶部２０には、代表的な代表３次元物体モデルＣj（ｊ＝１，２，…，Ｎ）がＮ個記憶され、第４図に示すように、参照画像記憶部７０には、各物体の参照画像Ｒｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されているとする。第５図に示すように、参照画像照合結果記憶部５０には、参照画像の登録時の処理により、各参照画像Ｒiの代表３次元物体モデルＣｊに対する照合結果（類似度）Ｓｉｊが記憶されている。
【００７１】
入力画像の照合時において、第６図に示すような入力画像I（ｕ，ｖ）が画像入力部１０により得られたとする（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルＣｊ（ｊ＝１，…，Ｎ）に対して、入力画像の姿勢や照明等の入力条件に近い比較画像Ｇｊｋ（ｕ，ｖ）（ｊ＝１，…，Ｎ、ｋ＝１，…，Ｌ）をＬ個生成する（ステップ１０１）。
【００７２】
更に、画像照合部４０は、当該入力画像I（ｕ，ｖ）と当該各比較画像Ｇｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｇｊｋ）を求め、代表３次元物体モデル毎に類似度の最大となる類似度Ｓ０ｊ＝maxｋＳ（Ｉ，Ｇｊｋ）を求める（ステップ１０２）。照合結果（類似度）Ｓ０ｊは、例えば第７図のようになる。
【００７３】
結果照合部６０は、当該照合結果Ｓ０ｊと参照画像照合結果記憶部５０における各参照画像の照合結果Ｓｉｊとの類似度Ｄi＝Ｄ（Ｓ０ｊ，Ｓｉｊ）を計算し、当該照合結果の類似度Ｄiの高い参照画像を順に抽出する（ステップ１０３）。抽出結果は、例えば第８図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｒ１，Ｒ５，Ｒ２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【００７４】
代表３次元物体モデルの登録時においては、まず、３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に既にＮ＝５０個の代表３次元物体モデルが登録されている時、５１番目の新しい代表３次元物体モデルＣ５１を登録する（第１０図のステップ２００）。
【００７５】
次に、参照画像照合結果更新部５５は、参照画像記憶部７０における各参照画像Ｒｉを入力画像として画像入力部１０に送り、当該各参照画像Ｒｉと登録された当該代表３次元物体モデルＣ５１を画像生成部３０及び画像照合部４０により照合し、各類似度Ｓi,５１＝maxｋＳ（Ｒｉ，Ｇ５１，ｋ）を求める（ステップ２０１）。
【００７６】
照合結果（類似度）Ｓi,５１は、例えば第１２図のようになる。最後に、第１３図に示すように、当該照合結果を参照画像照合結果記憶部５０における各参照画像の照合結果に追加する（ステップ２０２）。
【００７７】
参照画像の登録時においては、まず、参照画像登録部７５は、参照画像記憶部７０に既にＭ＝１００個の参照画像が記憶されている時、１０１番目の新しい参照画像Ｒ１０１を登録する（第１１図のステップ２１０）。
【００７８】
次に、参照画像照合結果更新部５５は、参照画像記憶部７０に登録された当該参照画像Ｒ１０１を入力画像として画像入力部１０に送り、当該参照画像Ｒ１０１と代表３次元物体モデル記憶部２０における各代表３次元物体モデルＣｊを画像生成部３０及び画像照合部４０により照合し、各類似度Ｓ１０１,ｊ＝maxｋＳ（Ｒ１０１，Ｇｊｋ）を求める（ステップ２１１）。
【００７９】
照合結果（類似度）Ｓ１０１,ｊは、例えば第１４図のようになる。最後に、第１５図のように、当該照合結果を参照画像照合結果記憶部５０に追加する（ステップ２１２）
次に、本発明の第３の実施の形態による画像照合システムについて第１６図以下を参照して詳細に説明する。
【００８０】
第１６図を参照すると、本発明の第３の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、第２の画像生成部３１と、第２の画像照合部４１と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０と、参照画像照合結果記憶部５０と、参照３次元物体モデル記憶部２１とを備えている。
【００８１】
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０は、第１図に示した本発明の第１の実施の形態における処理と同一の処理を行う。
【００８２】
参照３次元物体モデル記憶部２１には、当該参照画像に対応する参照３次元物体モデルが登録されている。当該参照３次元物体モデルは、参照画像照合結果記憶部５０に登録されている参照画像照合結果の情報を基に、代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により生成することができる。または、前述の代表３次元物体モデルの登録と同様に、３次元形状測定装置により、参照画像と同じ物体の３次元物体モデルが生成されている場合は、当該３次元物体モデルを使用してもよい。
【００８３】
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する。
【００８４】
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する。
【００８５】
次に、第１６図と、第１７図のフローチャートを参照して第３の実施の形態の全体の動作について詳細に説明する。
【００８６】
入力画像の照合時においては、第１７図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。
【００８７】
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する（ステップ１１１）。
【００８８】
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する（ステップ１１２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【００８９】
次に、上記のように構成され動作する第３の実施の形態の効果について説明する。
【００９０】
この第３の実施の形態では、代表３次元物体モデルの合成により生成した参照３次元物体モデルを照合するように構成されているため、参照画像が物体毎に１つしか存在しない場合でも、参照３次元物体モデルにより姿勢や照明条件等の入力条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索できる。
【００９１】
また、本実施の形態では、更に、代表３次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照３次元物体モデルとの照合を行うというように構成されているため、高速に参照画像を検索できる。
【００９２】
次に、具体的な実施例を用いて第３の実施の形態の動作を説明する。
【００９３】
第１の実施の形態の動作と同様、代表３次元物体モデル記憶部２０には、第３図に示すような代表３次元物体モデルＣj（ｊ＝１，２，…，Ｎ）が、参照画像記憶部７０には、第４図に示すような各物体の参照画像Ｒｉ（ｉ＝１，２，…，Ｍ）が、参照画像照合結果記憶部５０には、第５図に示すような各参照画像Ｒiの代表３次元物体モデルＣｊに対する照合結果（類似度）Ｓｉｊが記憶されている。
【００９４】
更に、第１８図に示すように、参照３次元物体モデル記憶部２１には、当該参照画像Ｒｉに対応する参照３次元物体モデルＢｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されている。
【００９５】
入力画像の照合時においては、第６図に示すような入力画像I（ｕ，ｖ）が画像入力部１０により得られたとする（第１６図のステップ１００）。第１の実施の形態の動作と同じ処理により、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果照合部６０により、入力画像と同一物体の画像である可能性が高い参照画像として、第８図のように、Ｒ１，Ｒ５，Ｒ２が順に求まる（ステップ１０１，１０２，１０３）。
【００９６】
第２の画像生成部３１は、結果照合部６０より得られる照合結果から、例えば上位３候補であるＲ１，Ｒ５，Ｒ２の参照画像に対して、参照３次元物体モデル記憶部２１より対応する各参照３次元物体モデルＢ１，Ｂ５，Ｂ２を取得し、画像入力部１０より得られる入力画像と姿勢や照明条件の近い比較画像Ｈｊｋ（ｕ，ｖ）（ｊ＝１，５，２、ｋ＝１，…，Ｌ）を生成する（ステップ１１１）。比較画像Ｈｊｋ（ｕ，ｖ）の生成は、ステップＳ１０１と同様の方法により行う。すなわち、参照３次元物体モデル記憶部２１における各参照３次元物体モデルＢｊ（ｊ＝１，５，２）に対して、入力画像の姿勢や照明等の入力条件に近い比較画像Ｈｊｋ（ｕ，ｖ）（ｊ＝１，５，２、ｋ＝１，…，Ｌ）をＬ個生成する。第２の画像照合部４１は、当該入力画像I（ｕ，ｖ）と当該各比較画像Ｈｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｈｊｋ）を求め、モデル毎に類似度の最大となる類似度Ｓ０ｊ＝maxｋＳ（Ｉ，Ｈｊｋ）を求める（ステップ１１２）。
【００９７】
照合結果は、例えば第１９図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｓ０５＞Ｓ０１＞Ｓ０２の場合、Ｒ５，Ｒ１，Ｒ２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【００９８】
次に、本発明の第４の実施の形態による画像照合システムについて第２０図以下を参照して詳細に説明する。
【００９９】
第２０図を参照すると、本発明の第４の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、第２の画像生成部３１と、第２の画像照合部４１と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果記憶部５０と、参照画像照合結果更新部５５と、参照３次元物体モデル記憶部２１と、３次元物体モデル生成部２７とを備えている。
【０１００】
この第４の実施の形態においては、第３の実施の形態の構成に、参照画像登録部７５と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５と、３次元物体モデル生成部２７を加えた構成となっている。
【０１０１】
第４の実施の形態による画像照合システムの第３の実施の形態と同じ構成要素については説明を省略し、本実施の形態で追加された構成要素について説明を進める。
【０１０２】
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５は、第１図に示した本発明の第１の実施の形態と第９図に示した第２の実施の形態における処理と同一の処理を行う。
【０１０３】
また、参照３次元物体モデル記憶部２１、第２の画像生成部３１、第２の画像照合部４１については、第１６図に示した第３の実施の形態における処理と同一の処理を行う。
【０１０４】
３次元物体モデル生成部２７は、登録時において、参照画像照合結果更新部５５により参照画像照合結果記憶部５０に参照画像照合結果が登録された時、参照画像照合結果の情報を基に、当該参照画像に対応する参照３次元物体モデルを代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により生成し、当該参照３次元物体モデルを参照３次元物体モデル記憶部２１に登録し又は参照３次元物体モデル記憶部２１の参照３次元物体モデルを更新する。
【０１０５】
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する。
【０１０６】
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する。
【０１０７】
次に、第２０図と、第１７図、第２１図、第２２図のフローチャートを参照して第４の実施の形態の全体の動作について詳細に説明する。
【０１０８】
入力画像の照合時においては、第１７図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。
【０１０９】
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する（ステップ１１１）。
【０１１０】
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する（ステップ１１２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【０１１１】
３次元物体モデルの登録時においては、第２１図を参照すると、まず、ステップ２００と、２０１と、２０２は、第１０図に示した第２の実施の形態における動作と同一である。最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０における各参照画像照合結果の情報を基に、各参照画像に対応する参照３次元物体モデルを代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により再生成し、当該参照３次元物体モデルを参照３次元物体モデル記憶部２１に登録し又は記憶されている参照３次元物体モデルと置換する（ステップ２２０）。
【０１１２】
参照画像の登録時においては、第２２図を参照すると、まず、ステップ２１０と、２１１と、２１２は、第１１図に示した第２の実施の形態における動作と同一である。最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０に新しく登録された当該参照画像照合結果の情報を基に、当該参照画像に対応する参照３次元物体モデルを代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により生成し、当該参照３次元物体モデルを参照３次元物体モデル記憶部２１に追加登録する（ステップ２２１）。
【０１１３】
次に、上記のように構成され動作する第４の実施の形態の効果について説明する。
【０１１４】
この第４の実施の形態では、代表３次元物体モデルの合成により参照３次元物体モデルを生成し照合するように構成されているため、参照画像が物体毎に１つしか存在しない場合でも、参照３次元物体モデルにより姿勢や照明条件等の入力条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索できる。
【０１１５】
また、本実施の形態では、更に、代表３次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照３次元物体モデルとの照合を行うというように構成されているため、高速に参照画像を検索できる。
【０１１６】
次に、具体的な実施例を用いて第４の実施の形態の動作を説明する。
【０１１７】
第１の実施の形態の動作と同様、代表３次元物体モデル記憶部２０には、第３図に示すような代表３次元物体モデルＣj（ｊ＝１，２，…，Ｎ）が、参照画像記憶部７０には、第４図に示すような各物体の参照画像Ｒｉ（ｉ＝１，２，…，Ｍ）が、参照画像照合結果記憶部５０には、第５図に示すような各参照画像Ｒiの代表３次元物体モデルＣｊに対する照合結果（類似度）Ｓｉｊが記憶されている。
【０１１８】
更に、第１８図に示すように、参照３次元物体モデル記憶部２１には、参照画像の登録時の処理により、当該参照画像Ｒｉに対応する参照３次元物体モデルＢｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されている。
【０１１９】
入力画像の照合時においては、第６図に示すような入力画像I（ｕ，ｖ）が画像入力部１０により得られたとする（第１６図のステップ１００）。第１の実施の形態の動作と同じ処理により、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果照合部６０により、入力画像と同一物体の画像である可能性が高い参照画像として、第８図のように、Ｒ１，Ｒ５，Ｒ２が順に求まる（ステップ１０１，１０２，１０３）。
【０１２０】
第２の画像生成部３１は、結果照合部６０より得られる照合結果から、例えば上位３候補であるＲ１，Ｒ５，Ｒ２の参照画像に対して、参照３次元物体モデル記憶部２１より対応する各参照３次元物体モデルＢ１，Ｂ５，Ｂ２を取得し、画像入力部１０より得られる入力画像と姿勢や照明条件の近い比較画像Ｈｊｋ（ｕ，ｖ）（ｊ＝１，５，２、ｋ＝１，…，Ｌ）を生成する（ステップ１１１）。第２の画像照合部４１は、当該入力画像I（ｕ，ｖ）と当該各比較画像Ｈｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｈｊｋ）を求め、モデル毎に類似度の最大となる類似度Ｓ０ｊ＝maxｋＳ（Ｉ，Ｈｊｋ）を求める（ステップ１１２）。
【０１２１】
照合結果は、例えば第１９図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｒ５，Ｒ１，Ｒ２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【０１２２】
３次元物体モデルの登録時においては、まず、３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に既にＮ＝５０個の３次元物体モデルが登録されている時、５１番目の新しい代表３次元物体モデルＣ５１を登録する（第２１図のステップ２００）。
【０１２３】
次に、第２の実施の形態の動作と同じ処理により、参照画像照合結果更新部５５は、参照画像照合結果記憶部５０における各参照画像の照合結果Ｓｉｊを更新する（ステップ２０１，２０２）。
【０１２４】
最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０における各参照画像照合結果Ｓｉｊの情報を基に、各参照画像Ｒｉ（ｉ＝１，２，…，Ｍ）に対応する参照３次元物体モデルＢｉを代表３次元物体モデル記憶部２０における代表３次元物体モデルＣjの合成により再生成し、当該参照３次元物体モデルＢｉを参照３次元物体モデル記憶部２１に既に記憶されている参照３次元物体モデルと置換する（ステップ２２０）。
【０１２５】
ここで、代表３次元物体モデルＣj（ｊ＝１，２，…，Ｎ）の形状とテクスチャをそれぞれＰＱｊ（ｘ，ｙ，ｚ）、ＴＱｊ（Ｒ，Ｇ，Ｂ）とし、参照３次元物体モデルＢｉ（ｉ＝１，２，…，Ｍ）の形状とテクスチャをそれぞれＰＱi（ｘ，ｙ，ｚ）、ＴＱi（Ｒ，Ｇ，Ｂ）とすると、参照３次元物体モデルは例えば下式により計算される。
【０１２６】
ＰＱi（ｘ，ｙ，ｚ）＝Σj ｆ（Ｓij） ＰＱｊ（ｘ，ｙ，ｚ）
ＴＱi（Ｒ，Ｇ，Ｂ）＝Σj ｆ（Ｓij） ＴＱｊ（Ｒ，Ｇ，Ｂ）
ここで、ｆはＳｉｊの増加に対して単調増加し、Σj ｆ（Ｓij）＝１を満たす関数で、最も単純な例としてはｆ（Ｓij）＝Ｓij／ΣjＳijにより実現できる。
【０１２７】
参照画像の登録時においては、まず、参照画像登録部７５は、参照画像記憶部７０に既にＭ＝１００個の参照画像が記憶されている時、１０１番目の新しい参照画像Ｒ１０１を登録する（第２２図のステップ２１０）。
【０１２８】
次に、第２の実施の形態の動作と同じ処理により、参照画像照合結果更新部５５は、参照画像Ｒ１０１に対応する照合結果Ｓ１０１,ｊを参照画像照合結果記憶部５０に追加する（ステップ２１１，２１２）。
【０１２９】
最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０における当該参照画像照合結果Ｓ１０１,ｊの情報を基に、当該参照画像Ｒ１０１に対応する参照３次元物体モデルＢ１０１を代表３次元物体モデル記憶部２０における代表３次元物体モデルＣjの合成により生成し、当該参照３次元物体モデルＢ１０１を参照３次元物体モデル記憶部２１に追加する（ステップ２２１）。
【０１３０】
次に、本発明の第５の実施の形態による画像照合システムについて第２３図以下を参照して詳細に説明する。
【０１３１】
第２３図を参照すると、本発明の第５の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、画像変換部３６と、部分画像照合部４５と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０と、参照画像照合結果記憶部５０と、参照３次元物体モデル記憶部２１とを備えている。
【０１３２】
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０は、第１図に示した本発明の第１の実施の形態における処理と同一の処理を行う。
【０１３３】
画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換することで部分画像を生成する。画像変換部３６は、図２８に示す第２の従来技術の画像変換部３５と同様なものである。
【０１３４】
部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する。類似度の計算は上述のステップＳ１０２と同様に行う。
【０１３５】
次に、第２３図及び第２４図のフローチャートを参照して第５の実施の形態の全体の動作について詳細に説明する。
【０１３６】
入力画像の照合時においては、第２４図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。（ステップ１２１）。
【０１３７】
部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する（ステップ１２２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【０１３８】
本発明の第５の実施の形態では、画像変換部３６において、入力画像と参照画像の両方又はいずれかを変換するとしているが、参照画像を予め標準的な入力条件（例えば姿勢条件）に変換し記憶しておき、画像変換部３６において入力画像を標準的な入力条件（例えば姿勢条件）に変換するようにしてもよい。こうすることにより、照合の度に参照画像を変換する必要が無くなり、照合時間を短縮させることができる。
【０１３９】
次に、本発明の第６の実施の形態による画像照合システムについて第２５図を参照して詳細に説明する。
【０１４０】
第２５図を参照すると、本発明の第６の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、画像変換部３６と、部分画像照合部４５と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果記憶部５０と、参照画像照合結果更新部５５と、参照３次元物体モデル記憶部２１と、３次元物体モデル生成部２７とを備えている。
【０１４１】
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５は、第１図に示した本発明の第１の実施の形態と第９図に示した第２の実施の形態における処理と同一の処理を行う。
【０１４２】
また、参照３次元物体モデル記憶部２１と、３次元物体モデル生成部２７は、第１６図に示した第３の実施の形態と第２０図に示した本発明の第４の実施の形態における処理と同一の処理を行う。
【０１４３】
画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換することで部分画像を生成する。部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する。
【０１４４】
次に、第２５図及び第２４図のフローチャートを参照して第６の実施の形態の全体の動作について詳細に説明する。
【０１４５】
入力画像の照合時においては、第２４図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。（ステップ１２１）。
【０１４６】
部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する（ステップ１２２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
【０１４７】
本発明の第６の実施の形態では、画像変換部３６において、入力画像と参照画像の両方又はいずれかを変換するとしているが、参照画像を予め標準的な入力条件（例えば姿勢条件）に変換し記憶しておき、画像変換部３６において入力画像を標準的な入力条件（例えば姿勢条件）に変換するようにしてもよい。
【０１４８】
本発明の第１から第６の実施の形態では、画像照合部４０において、入力画像I（ｕ，ｖ）と各比較画像Ｇｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｇｊｋ）を求める際、全体で一つの類似度Ｓ（Ｉ，Ｇｊｋ）を求めているが、部分領域ｍ毎に類似度Ｓ（Ｉ，Ｇ'ｊｋｍ）を求め、モデル毎に類似度の最大となる類似度Ｓ'０ｊm＝maxｋＳ（Ｉ，Ｇ'ｊｋｍ）を求めてもよい。
【０１４９】
部分領域は、例えば第２９図に示すような領域である。この場合、参照画像照合結果記憶部５０にも、部分領域ｍ毎の類似度Ｓ'ijm＝maxｋＳ（Ｒi，Ｇ'ｊｋｍ）を記憶しておく。結果照合部６０は、当該照合結果Ｓ'０ｊｍと参照画像照合結果記憶部５０における各参照画像の照合結果Ｓ'ｉｊmとの類似度Ｄi＝ΣmＤ（Ｓ'０ｊm，Ｓ'ｉｊm）を計算し、当該照合結果の類似度Ｄiの高い参照画像を順に抽出する。また、第４及び第６の実施の形態における３次元物体モデル生成部２７においても、各部分領域毎に代表３次元物体モデルを合成すればよい。
【０１５０】
また、本発明の第１から第６の実施の形態では、多数の参照画像の中から入力画像と同一の物体の画像を検索する動作について説明したが、特定の参照画像に対して入力画像と同一の物体であるかを判定する一対一照合に適用することも可能である。
【０１５１】
第１、２の実施の形態では、例えば特定の参照画像をＲ1とすると、結果照合部６０は、入力画像の照合結果Ｓ０ｊと参照画像Ｒ1の照合結果Ｓ１ｊとの類似度Ｄ１＝Ｄ（Ｓ０ｊ，Ｓ１ｊ）を計算し、この類似度Ｄ1があるしきい値より大きければ、Ｒ1は入力画像と同一物体と判定できる。また、第３、４及び第５、６の実施の形態では、第２の画像照合部４１及び部分画像照合部４５における入力画像と特定の参照画像の類似度があるしきい値より大きいかどうかで判定できる。
【０１５２】
本発明の画像照合システムは、構成要素である各部分の機能をハードウェア的に実現することは勿論として、上記した各部分の機能をコンピュータに実現させるための画像照合プログラム５００をコンピュータが読み込んで実行することによっても実現することができる。この画像照合プログラム５００は、磁気ディスク、半導体メモリその他の記録媒体に格納され、コンピュータはその記録媒体から画像照合プログラム５００を読み込む。
【産業上の利用可能性】
【０１５３】
本発明は、顔等の画像を用いた人物特定、個人認証等に利用することができる。
【図面の簡単な説明】
【０１５４】
第１図は、本発明の第１の実施の形態による画像照合システムの構成を示すブロック図である。
第２図は、第１の実施の形態における照合時の動作を示すフローチャートである。
第３図は、第１の実施の形態における代表３次元物体モデルの具体例を示す図である。
第４図は、第１の実施の形態における参照画像の具体例を示す図である。
第５図は、第１の実施の形態における参照画像照合結果の具体例を示す図である。
第６図は、第１の実施の形態における入力画像の具体例を示す図である。
第７図は、第１の実施の形態における入力画像照合結果の具体例を示す図である。
第８図は、第１の実施の形態における結果照合の具体例を示す図である。
第９図は、本発明の第２の実施の形態による画像照合システムの構成を示すブロック図である。
第１０図は、第２の実施の形態における３次元物体モデル登録時の動作を示すフローチャートである。
第１１図は、第２の実施の形態における参照画像登録時の動作を示すフローチャートである。
第１２図は、第２の実施の形態における登録された３次元物体モデルの照合結果の具体例を示す図である。
第１３図は、第２の実施の形態における参照画像照合結果の更新の具体例を示す図である。
第１４図は、第２の実施の形態における登録された参照画像の照合結果の具体例を示す図である。
第１５図は、第２の実施の形態における参照画像照合結果の更新の具体例を示す図である。
第１６図は、本発明の第３の実施の形態による画像照合システムの構成を示すブロック図である。
第１７図は、第３の実施の形態の照合時の動作を示すフローチャートである。
第１８図は、第３の実施の形態の参照３次元物体モデルの具体例を示す図である。
第１９図は、第３の実施の形態の参照画像照合結果の具体例を示す図である。
第２０図は、本発明の第４の実施の形態による画像照合システムの構成を示すブロック図である。
第２１図は、第４の実施の形態の３次元物体モデル登録時の動作を示すフローチャートである。
第２２図は、第４の実施の形態の参照画像登録時の動作を示すフローチャートである。
第２３図は、本発明の第５の実施の形態による画像照合システムの構成を示すブロック図である。
第２４図は、第５の実施の形態の照合時の動作を示すフローチャートである。
第２５図は、本発明の第６の実施の形態による画像照合システムの構成を示すブロック図である。
第２６図は、第１の従来技術による画像照合システムの構成を示すブロック図である。
第２７図は、３次元物体モデルの座標の具体例を示す図である。
第２８図は、第２の従来技術による画像照合システムの構成を示すブロック図である。
第２９図は、第２の従来技術の部分領域の具体例を示す図である。
【図１】
0004560832.tif 000002
【図２】
0004560832.tif 000003
【図３】
0004560832.tif 000004
【図４】
0004560832.tif 000005
【図５】
0004560832.tif 000006
【図６】
0004560832.tif 000007
【図７】
0004560832.tif 000008
【図８】
0004560832.tif 000009
【図９】
0004560832.tif 000010
【図１０】
0004560832.tif 000011
【図１１】
0004560832.tif 000012
【図１２】
0004560832.tif 000013
【図１３】
0004560832.tif 000014
【図１４】
0004560832.tif 000015
【図１５】
0004560832.tif 000016
【図１６】
0004560832.tif 000017
【図１７】
0004560832.tif 000018
【図１８】
0004560832.tif 000019
【図１９】
0004560832.tif 000020
【図２０】
0004560832.tif 000021
【図２１】
0004560832.tif 000022
【図２２】
0004560832.tif 000023
【図２３】
0004560832.tif 000024
【図２４】
0004560832.tif 000025
【図２５】
0004560832.tif 000026
【図２６】
0004560832.tif 000027
【図２７】
0004560832.tif 000028
【図２８】
0004560832.tif 000029
【図２９】
0004560832.tif 000030