(57)【要約】【課題】　姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、特徴の不安定な明暗部等の所定の色範囲を高速に推定し、高精度に照合する。【解決手段】　色分布決定手段２０は入力画像の色分布を決定し、重み係数決定手段３０は当該色分布を用いて入力画像の色の重み係数を決定し、加重３次元照合手段４０は参照３次元物体モデル記憶部７０より得られる各３次元物体モデルを基にモデル毎に姿勢候補決定手段６０より得られる姿勢候補に基づき、照明変動空間生成手段７５で座標変換した基底画像群を生成し、次に加重比較画像生成手段４５で基底画像群の合成により入力画像に近い比較画像を重み係数決定手段３０より得られる重み係数を使用し生成し、加重照合・姿勢選択手段５０で比較画像と入力画像の類似度を当該重み係数を使用し計算し、類似度の最も高くなる姿勢を選択し、最後に類似度の最も高いモデルを照合結果とする。【選択図】　　　図１
2004054947.tif 000002
【特許請求の範囲】
【請求項１】
　入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
　前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数決定手段より得られる重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
　を備えたことを特徴とする物体照合システム。
【請求項２】
　入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
　前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、前記重み係数決定手段より得られる重み係数を用いて入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を当該重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
　を備えたことを特徴とする物体照合システム。
【請求項３】
　入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の参照画像が予め記憶されている参照画像記憶部と、
　前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
　を備えたことを特徴とする物体照合システム。
【請求項４】
　入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の参照画像が予め記憶されている参照画像記憶部と、
　前記参照画像記憶部に記憶されている参照画像の色に対する重み係数が予め記憶されている参照重み係数記憶部と、
　前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数と前記参照重み係数記憶部より得られる当該参照画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
　を備えたことを特徴とする物体照合システム。
【請求項５】
　入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の画素の色を補正する色補正手段と、
　物体の参照画像が予め記憶されている参照画像記憶部と、
　前記参照画像記憶部より得られる参照画像と前記色補正手段より得られる色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合手段と、
　を備えたことを特徴とする物体照合システム。
【請求項６】
　前記色分布決定手段は、色分布の代わりに色範囲を決定し、
　前記重み係数決定手段は、当該色範囲に対して重み係数を決定する
　ことを特徴とする請求項１、２、３、又は４記載の物体照合システム。
【請求項７】
　前記色分布決定手段は、色分布の代わりに色範囲を決定し、
　前記色補正手段は、当該色範囲における入力画像の画素の色を補正する
　ことを特徴とする請求項５記載の物体照合システム。
【請求項８】
　前記色分布決定手段は、所定の色範囲の色分布を決定する
　ことを特徴とする請求項１、２、３、４、又は５記載の物体照合システム。
【請求項９】
　前記色範囲は、オペレータにより手動で設定される
　ことを特徴とする請求項６、７、又は８記載の物体照合システム。
【請求項１０】
　前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
　ことを特徴とする請求項９記載の物体照合システム。
【請求項１１】
　前記色範囲は、入力画像より自動的に決定される
　ことを特徴とする請求項８記載の物体照合システム。
【請求項１２】
　前記色分布決定手段は、
　入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算手段と、
　当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定手段と、
　を備えたことを特徴とする請求項１１記載の物体照合システム。
【請求項１３】
　前記色分布決定手段は、さらに
　推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定手段と、
　を備えたことを特徴とする請求項１２記載の物体照合システム。
【請求項１４】
　前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である
　ことを特徴とする請求項１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３記載の物体照合システム。
【請求項１５】
　前記色は、輝度である、
　ことを特徴とする請求項１、２、３、４、５、６、７、８、９、１０、１１、１２、１３又は１４記載の物体照合システム。
【請求項１６】
　前記物体は、顔である、
　ことを特徴とする請求項１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４又は１５記載の物体照合システム。
【請求項１７】
　入力画像に対して、色分布を決定し、
　当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の３次元物体モデルを予め記憶し、
　当該３次元物体モデルを基に、前記入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
　ことを特徴とする物体照合方法。
【請求項１８】
　入力画像に対して、色分布を決定し、
　当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の３次元物体モデルを予め記憶し、
　当該３次元物体モデルを基に、前記入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
　ことを特徴とする物体照合方法。
【請求項１９】
　入力画像に対して、色分布を決定し、
　当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の参照画像を予め記憶し、
　前記参照画像と前記入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
　ことを特徴とする物体照合方法。
【請求項２０】
　入力画像に対して、色分布を決定し、
　当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の参照画像を予め記憶し、
　前記参照画像の色に対する重み係数を予め記憶し、
　前記参照画像と前記入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
　ことを特徴とする物体照合方法。
【請求項２１】
　入力画像に対して、色分布を決定し、
　当該色分布を用いて、入力画像の画素の色を補正し、
　物体の参照画像を予め記憶し、
　前記参照画像と前記色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する、
　ことを特徴とする物体照合方法。
【請求項２２】
　色分布の決定においては、色分布の代わりに色範囲を決定し、
　重み係数の決定においては、当該色範囲に対して重み係数を決定する
　ことを特徴とする請求項１７、１８、１９、又は２０記載の物体照合方法。
【請求項２３】
　色分布の決定においては、色分布の代わりに色範囲を決定し、
　色補正においては、当該色範囲における入力画像の画素の色を補正する
　ことを特徴とする請求項２１記載の物体照合方法。
【請求項２４】
　色分布の決定においては、所定の色範囲の色分布を決定する
　ことを特徴とする請求項１７、１８、１９、２０、又は２１記載の物体照合方法。
【請求項２５】
　前記色範囲は、オペレータにより手動で設定される
　ことを特徴とする請求項２２、２３、又は２４記載の物体照合方法。
【請求項２６】
　前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
　ことを特徴とする請求項２５記載の物体照合方法。
【請求項２７】
　前記色範囲は、入力画像より自動的に決定される
　ことを特徴とする請求項２４記載の物体照合方法。
【請求項２８】
　色分布の決定においては、
　入力画像の画素の色頻度（ヒストグラム）を求め、
　当該ヒストグラムに対して、所定の色範囲の色分布を推定する、
　ことを特徴とする請求項２７記載の物体照合方法。
【請求項２９】
　色分布の決定においては、さらに
　推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する、
　ことを特徴とする請求項２８記載の物体照合方法。
【請求項３０】
　前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
　ことを特徴とする請求項１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、又は２９記載の物体照合方法。
【請求項３１】
　前記色は、輝度である、
　ことを特徴とする請求項１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、又は３０記載の物体照合方法。
【請求項３２】
　前記物体は、顔である、
　ことを特徴とする請求項１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、又は３１記載の物体照合方法。
【請求項３３】
　入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の３次元物体モデルを予め記憶する処理と、
　当該３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
　をコンピュータに実行させることを特徴とする物体照合プログラム。
【請求項３４】
　入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の３次元物体モデルを予め記憶する処理と、
　当該３次元物体モデルを基に、入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
　をコンピュータに実行させることを特徴とする物体照合プログラム。
【請求項３５】
　入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の参照画像を予め記憶する処理と、
　前記参照画像と入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
　をコンピュータに実行させることを特徴とする物体照合プログラム。
【請求項３６】
　入力画像に対して、色分布を決定する明暗色決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の参照画像を予め記憶する処理と、
　前記参照画像の色に対する重み係数を予め記憶する処理と、
　前記参照画像と入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
　をコンピュータに実行させることを特徴とする物体照合プログラム。
【請求項３７】
　入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の画素の色を補正する色補正処理と、
　物体の参照画像を予め記憶する処理と、
　前記参照画像と色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合処理と、
　をコンピュータに実行させることを特徴とする物体照合プログラム。
【請求項３８】
　前記色分布決定処理は、色分布の代わりに色範囲を決定し、
　前記重み係数決定処理は、当該色範囲に対して重み係数を決定する
　ことを特徴とする請求項３３、３４、３５、又は３６記載の物体照合プログラム。
【請求項３９】
　前記色分布決定処理は、色分布の代わりに色範囲を決定し、
　前記色補正処理は、当該色範囲における入力画像の画素の色を補正する
　ことを特徴とする請求項３７記載の物体照合プログラム。
【請求項４０】
　前記色分布決定処理は、所定の色範囲の色分布を決定する
　ことを特徴とする請求項３３、３４、３５、３６、又は３７記載の物体照合プログラム。
【請求項４１】
　前記色範囲は、オペレータにより手動で設定される
　ことを特徴とする請求項３８、３９、又は４０記載の物体照合プログラム。
【請求項４２】
　前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
　ことを特徴とする請求項４１記載の物体照合プログラム。
【請求項４３】
　前記色範囲は、入力画像より自動的に決定される
　ことを特徴とする請求項４０記載の物体照合プログラム。
【請求項４４】
　前記色分布決定処理は、
　入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算処理と、
　当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定処理と、
　を備えたことを特徴とする請求項４３記載の物体照合プログラム。
【請求項４５】
　前記色分布決定処理は、さらに
　推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定処理と、
　を備えたことを特徴とする請求項４４記載の物体照合プログラム。
【請求項４６】
　前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である
　ことを特徴とする請求項３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４又は４５記載の物体照合プログラム。
【請求項４７】
　前記色は、輝度である、
　ことを特徴とする請求項３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、４５又は４６記載の物体照合プログラム。
【請求項４８】
　前記物体は、顔である、
　ことを特徴とする請求項３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、４５、４６又は４７記載の物体照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は物体照合システム、物体照合方法および物体照合プログラムに関し、特に姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、データベース（ＤＢ）にある参照画像や３次元物体モデルと照合し物体を認識する物体照合システム、物体照合方法および物体照合プログラムに関する。
【背景技術】
【０００２】
　従来の物体照合システムの一例が、非特許文献１に記載されている（以下、第１の従来技術と称する）。図１９に示すように、この従来の物体照合システムは、画像入力手段１０と、３次元照合手段４１と、参照３次元物体モデル記憶部７０とから構成されている。さらに、前記３次元照合手段４１は、比較画像生成手段４６と、照合・姿勢選択手段５１と、姿勢候補決定手段６０と、照明変動空間生成手段７５とから構成されている。
【０００３】
　このような構成を有する従来の物体照合システムはつぎのように動作する。参照３次元物体モデル記憶部７０には、物体の３次元物体モデルが予め記憶されている。３次元物体モデルは、例えば特許文献１に記載の３次元形状測定装置を用いて生成することができる。３次元物体モデルは、図２０に示すように、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰＱ（ｘ，ｙ，ｚ）とテクスチャＴＱ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応する。照合のために、予め各３次元物体モデルを使用して、モデルｋ毎に様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより姿勢に依存しない基底テクスチャ群｛Ｇki(Q)｝（ｉ=1,…,n）を求めておく。
【０００４】
　３次元照合手段４１は、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルを基に、画像入力手段１０より得られる入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を求めることにより、最も類似度の高いモデル（物体）を探索する。より詳細には、３次元照合手段４１は、まず姿勢候補決定手段６０において、姿勢候補群｛ｅ｝を決定する。次に照明変動空間生成手段７５において、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルの基底テクスチャ群｛Ｇki(Q)｝を、各姿勢候補eに基づき座標変換し、基底画像群｛Ｂkei(r)｝を生成する（rは画像の画素インデックス）。さらに、比較画像生成手段４６において、当該座標変換した基底画像群｛Ｂkei(r)｝の線形和による合成画像（比較画像）Ｃke(r)=ΣinＡiＢkei(r)と画像入力手段１０より得られる入力画像I(r)との誤差Σr|I(r)−Ｃke(r)|2が最小になるように、線形和の係数Ａiを最小二乗法により求め、比較画像を生成する。さらに、照合・姿勢選択手段５１は、当該比較画像Ｃke(r)と当該入力画像I(r)との類似度Ｓkeを計算し、類似度が最も高くなる姿勢候補ｅを選択し、その類似度をＳkとする。ここで、予め決定した姿勢候補群｛e｝の中から類似度の最も高い姿勢候補を選択するとしたが、姿勢候補決定手段６０に戻って順次姿勢候補を変動させながら類似度の最も高くなる姿勢を探索してもよい。最後に、類似度Ｓkの最も大きいモデルｋを照合結果とする。
【０００５】
　従来の物体照合システムの他の一例が、特許文献２に記載されている（以下、第２の従来技術と称する）。図２１に示すように、この従来の物体照合システムは、画像入力手段１０と、陰影除去手段９０と、照合手段５６と、記憶部８１とから構成されている。さらに、前記陰影除去手段９０は、陰影有無判定手段９１と、合成画像生成手段４７と、輝度補正手段９５とから構成されている。また、前記記憶部８１は、参照画像記憶部８５と、平均画像記憶部８６と、３次元物体モデル記憶部７２とから構成されている。
【０００６】
　このような構成を有する従来の物体照合システムはつぎのように動作する。参照画像記憶部８５には、陰が生じない状態で正面から撮影した各人物の顔画像が予め記憶されている。平均画像記憶部８６には、前記参照画像記憶部８５における各顔画像の各画素の輝度を平均して得た平均画像が予め記憶されている。３次元物体モデル記憶部７２には、各人物の顔面距離画像、当該顔面距離画像を平均した平均顔面距離画像、当該顔面距離画像を主成分分析して得たｎ個の固有ベクトル（基底距離画像群｛Ｄi(r’)｝）が予め記憶されている。顔面距離画像とは、３次元形状測定装置を用いて測定された顔面の３次元形状を用い、測定装置と顔表面の距離値を画素値とする画像である。画像入力手段１０より得られる入力画像は、正面から撮影された顔画像とする。
【０００７】
　陰影除去手段９０は、まず陰影有無判定手段９１において、画像入力手段１０より得られる入力画像と平均画像記憶部８６より得られる平均画像との類似度を計算し、当該類似度が所定値より高ければ陰影が無いと判定して照合手段５６に進み、低ければ陰影が有ると判定し合成画像生成手段４７に進む。合成画像生成手段４７は、３次元物体モデル記憶部７２より得られる基底距離画像群｛Ｄi(r’)｝を用い、その線形和による合成距離画像E(r’)=ΣinＡiＤi(r’)を求め、照明方向パラメータ（α，β，γ）と３次元形状パラメータＡiを少しずつ変化させ、陰影が発生した顔画像（合成画像）を順次合成し、当該合成画像と前記入力画像との類似度が最も高くなる最適パラメータを求める。次に、輝度補正手段９５は、合成画像生成手段４７により得られる最適パラメータの合成画像の各画素の輝度値で、前記入力画像の対応する画素の輝度値を割ることにより、入力画像を陰影のない画像に補正する。照合手段５６は、前記画像入力手段１０より得られる入力画像または輝度補正手段９５より得られる陰影のない入力画像について、参照画像記憶部８５より得られる陰影のない各参照画像に対して公知の顔認識手法により照合を行う。
【非特許文献１】２００１年１２月、電子情報通信学会技術研究報告、第１０１巻、第５２４号、ＰＲＭＵ２００１−１５３〜１７５、５９頁〜６４頁、石山ら、「照明条件と姿勢の両者の自動補正による顔照合」
【特許文献１】特開２００１−１２９２５号公報
【特許文献２】特開２００２−１５３１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
　第１の問題点は、第１の従来技術では、てかり部（明部）や陰影部（暗部）に対して比較画像を精度良く生成できず、明暗部の多い入力画像に対して照合率が低いということである。
【０００９】
　その理由は、比較画像を高速に生成するために、参照３次元物体モデル記憶部７０には姿勢に依存しない基底テクスチャ群をｎ個選択して保持し、照明変動空間生成手段７５において姿勢候補に合わせた基底画像群を生成し、その合成により比較画像を生成しているため、姿勢が予めわかっていないと再現できないてかり部や十分な数の基底画像群が存在しないと再現できない陰影部を正しく生成できないためである。
【００１０】
　第２の問題点は、第２の従来技術では、陰影除去するために、記憶容量と処理時間がかかるということである。
【００１１】
　その理由は、陰影除去するために、参照画像以外に平均画像や３次元物体モデルという付加的な情報が必要であると共に、記憶容量がかかる。さらに、３次元物体モデルを使用して多くのパラメータを更新しながら陰影を推定しているため、処理時間が非常にかかる。また、正面顔のみを対象としているが、様々な姿勢変動に対応しようとするとさらに記憶容量と処理時間がかかるためである。
【００１２】
　本発明の目的は、姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、特徴の不安定な明暗部等の所定の色範囲を推定し、高精度に照合できる物体照合システムを提供することにある。
【００１３】
　本発明の他の目的は、所定の色範囲を推定するために、付加的な情報を用いず、かつ高速に処理できる物体照合システムを提供することにある。
【課題を解決するための手段】
【００１４】
　本発明の第１の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
　前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数決定手段より得られる重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
　を備えたことを特徴とする。
【００１５】
　本発明の第２の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
　前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、前記重み係数決定手段より得られる重み係数を用いて入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を当該重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
　を備えたことを特徴とする。
【００１６】
　本発明の第３の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の参照画像が予め記憶されている参照画像記憶部と、
　前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
　を備えたことを特徴とする。
【００１７】
　本発明の第４の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
　物体の参照画像が予め記憶されている参照画像記憶部と、
　前記参照画像記憶部に記憶されている参照画像の色に対する重み係数が予め記憶されている参照重み係数記憶部と、
　前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数と前記参照重み係数記憶部より得られる当該参照画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
　を備えたことを特徴とする。
【００１８】
　本発明の第５の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
　前記色分布決定手段より得られる色分布を用いて、入力画像の画素の色を補正する色補正手段と、
　物体の参照画像が予め記憶されている参照画像記憶部と、
　前記参照画像記憶部より得られる参照画像と前記色補正手段より得られる色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合手段と、
　を備えたことを特徴とする。
【００１９】
　本発明の第６の物体照合システムは、第１、２、３、又は４の物体照合システムにおいて、
　前記色分布決定手段は、色分布の代わりに色範囲を決定し、
　前記重み係数決定手段は、当該色範囲に対して重み係数を決定する
　ことを特徴とする。
【００２０】
　本発明の第７の物体照合システムは、第５の物体照合システムにおいて、
　前記色分布決定手段は、色分布の代わりに色範囲を決定し、
　前記色補正手段は、当該色範囲における入力画像の画素の色を補正する
　ことを特徴とする。
【００２１】
　本発明の第８の物体照合システムは、第１、２、３、４、又は５の物体照合システムにおいて、
　前記色分布決定手段は、所定の色範囲の色分布を決定する
　ことを特徴とする。
【００２２】
　本発明の第９の物体照合システムは、第６、７、又は８の物体照合システムにおいて、
　前記色範囲は、オペレータにより手動で設定される
　ことを特徴とする。
【００２３】
　本発明の第１０の物体照合システムは、第９の物体照合システムにおいて、
　前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
　ことを特徴とする。
【００２４】
　本発明の第１１の物体照合システムは、第８の物体照合システムにおいて、
　前記色範囲は、入力画像より自動的に決定される
　ことを特徴とする。
【００２５】
　本発明の第１２の物体照合システムは、第１１の物体照合システムにおいて、
　前記色分布決定手段は、
　入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算手段と、
　当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定手段と、
　を備えたことを特徴とする。
【００２６】
　本発明の第１３の物体照合システムは、第１２の物体照合システムにおいて、
　前記色分布決定手段は、さらに
　推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定手段と、
　を備えたことを特徴とする。
【００２７】
　本発明の第１４の物体照合システムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３の物体照合システムにおいて、
　前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
　ことを特徴とする。
【００２８】
　本発明の第１５の物体照合システムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、又は１４の物体照合システムにおいて、
　前記色は、輝度であることを特徴とする。
【００２９】
　本発明の第１６の物体照合システムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５の物体照合システムにおいて、
　前記物体は、顔であることを特徴とする。
【００３０】
　本発明の第１の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の３次元物体モデルを予め記憶し、
　当該３次元物体モデルを基に、前記入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
　ことを特徴とする。
【００３１】
　本発明の第２の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の３次元物体モデルを予め記憶し、
　当該３次元物体モデルを基に、前記入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
　ことを特徴とする。
【００３２】
　本発明の第３の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の参照画像を予め記憶し、
　前記参照画像と前記入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
　ことを特徴とする。
【００３３】
　本発明の第４の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
　物体の参照画像を予め記憶し、
　前記参照画像の色に対する重み係数を予め記憶し、
　前記参照画像と前記入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
　ことを特徴とする。
【００３４】
　本発明の第５の物体照合方法は、入力画像に対して、色分布を決定し、
　当該色分布を用いて、入力画像の画素の色を補正し、
　物体の参照画像を予め記憶し、
　前記参照画像と前記色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する、
　ことを特徴とする
【００３５】
　本発明の第６の物体照合方法は、第１、２、３、又は４の物体照合方法において、
　色分布の決定においては、色分布の代わりに色範囲を決定し、
　重み係数の決定においては、当該色範囲に対して重み係数を決定する
　ことを特徴とする。
【００３６】
　本発明の第７の物体照合方法は、第５の物体照合方法において、
　色分布の決定においては、色分布の代わりに色範囲を決定し、
　色補正においては、当該色範囲における入力画像の画素の色を補正する
　ことを特徴とする。
【００３７】
　本発明の第８の物体照合方法は、第１、２、３、４、又は５の物体照合方法において、
　色分布の決定においては、所定の色範囲の色分布を決定する
　ことを特徴とする。
【００３８】
　本発明の第９の物体照合方法は、第６、７、又は８の物体照合方法において、
　前記色範囲は、オペレータにより手動で設定される
　ことを特徴とする。
【００３９】
　本発明の第１０の物体照合方法は、第９の物体照合方法において、
　前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
　ことを特徴とする。
【００４０】
　本発明の第１１の物体照合方法は、第８の物体照合方法において、
　前記色範囲は、入力画像より自動的に決定される
　ことを特徴とする。
【００４１】
　本発明の第１２の物体照合方法は、第１１の物体照合方法において、
　色分布の決定においては、
　入力画像の画素の色頻度（ヒストグラム）を求め、
　当該ヒストグラムに対して、所定の色範囲の色分布を推定する、
　ことを特徴とする。
【００４２】
　本発明の第１３の物体照合方法は、第１２の物体照合方法において、
　色分布の決定においては、さらに
　推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する、
　ことを特徴とする。
【００４３】
　本発明の第１４の物体照合方法は、第１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３の物体照合方法において、
　前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
　ことを特徴とする。
【００４４】
　本発明の第１５の物体照合方法は、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、又は１４の物体照合方法において、
　前記色は、輝度であることを特徴とする。
【００４５】
　本発明の第１６の物体照合方法は、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５の物体照合方法において、
　前記物体は、顔であることを特徴とする。
【００４６】
　本発明の第１の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の３次元物体モデルを予め記憶する処理と、
　当該３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
　をコンピュータに実行させることを特徴とする。
【００４７】
　本発明の第２の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の３次元物体モデルを予め記憶する処理と、
　当該３次元物体モデルを基に、入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
　をコンピュータに実行させることを特徴とする。
【００４８】
　本発明の第３の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の参照画像を予め記憶する処理と、
　前記参照画像と入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
　をコンピュータに実行させることを特徴とする。
【００４９】
　本発明の第４の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
　物体の参照画像を予め記憶する処理と、
　前記参照画像の色に対する重み係数を予め記憶する処理と、
　前記参照画像と入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
　をコンピュータに実行させることを特徴とする。
【００５０】
　本発明の第５の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
　当該色分布を用いて、入力画像の画素の色を補正する色補正処理と、
　物体の参照画像を予め記憶する処理と、
　前記参照画像と色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合処理と、
　をコンピュータに実行させることを特徴とする。
【００５１】
　本発明の第６の物体照合プログラムは、第１、２、３、又は４の物体照合プログラムにおいて、
　前記色分布決定処理は、色分布の代わりに色範囲を決定し、
　前記重み係数決定処理は、当該色範囲に対して重み係数を決定する
　ことを特徴とする。
【００５２】
　本発明の第７の物体照合プログラムは、第５の物体照合プログラムにおいて、
　前記色分布決定処理は、色分布の代わりに色範囲を決定し、
　前記色補正処理は、当該色範囲における入力画像の画素の色を補正する
　ことを特徴とする。
【００５３】
　本発明の第８の物体照合プログラムは、第１、２、３、４、又は５の物体照合プログラムにおいて、
　前記色分布決定処理は、所定の色範囲の色分布を決定する
　ことを特徴とする。
【００５４】
　本発明の第９の物体照合プログラムは、第６、７、又は８の物体照合プログラムにおいて、
　前記色範囲は、オペレータにより手動で設定される
　ことを特徴とする。
【００５５】
　本発明の第１０の物体照合プログラムは、第９の物体照合プログラムにおいて、
　前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
　ことを特徴とする。
【００５６】
　本発明の第１１の物体照合プログラムは、第８の物体照合プログラムにおいて、
　前記色範囲は、入力画像より自動的に決定される
　ことを特徴とする。
【００５７】
　本発明の第１２の物体照合プログラムは、第１１の物体照合プログラムにおいて、
　前記色分布決定処理は、
　入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算処理と、
　当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定処理と、
　をコンピュータに実行させることを特徴とする。
【００５８】
　本発明の第１３の物体照合プログラムは、第１２の物体照合プログラムにおいて、
　前記色分布決定処理は、さらに
　推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定処理と、
　をコンピュータに実行させることを特徴とする。
【００５９】
　本発明の第１４の物体照合プログラムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３の物体照合プログラムにおいて、
　前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
　ことを特徴とする。
【００６０】
　本発明の第１５の物体照合プログラムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、又は１４の物体照合プログラムにおいて、前記色は、輝度であることを特徴とする。
【００６１】
　本発明の第１６の物体照合プログラムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５の物体照合プログラムにおいて、
　前記物体は、顔であることを特徴とする。
【００６２】
　本発明の第１ないし第１６の物体照合プログラムは、磁気ディスク、半導体メモリその他のコンピュータ可読記録媒体に記録されて提供される。コンピュータ可読記録媒体に記録された物体照合プログラムは、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータに本発明の第１ないし第１６の物体照合方法における各手順を実行させる。
【発明の効果】
【００６３】
　第１の効果は、姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、特徴の安定した領域を重視した高精度な照合ができることにある。
【００６４】
　その理由は、第１の実施の形態では、入力画像の色分布に基づき重み係数を決定し、３次元物体モデルからの比較画像の生成および入力画像との照合において、当該重み係数を用いた比較を行うというように構成されているためである。また、第２の実施の形態では、入力画像と参照画像の色分布に基づき重み係数を決定し、参照画像と入力画像との照合において当該重み係数を用いた比較を行うというように構成されているためである。
【００６５】
　第２の効果は、記憶容量を節約し、かつ高速に実行できることにある。
【００６６】
　その理由は、入力画像から所定の色範囲を推定するように構成されているためである。
【発明を実施するための最良の形態】
【００６７】
　次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００６８】
　図１を参照すると、本発明の第１の実施の形態は、画像入力手段１０と、色分布決定手段２０と、重み係数決定手段３０と、加重３次元照合手段４０と、参照３次元物体モデル記憶部７０とから構成されている。さらに、前記加重３次元照合手段４０は、加重比較画像生成手段４５と、加重照合・姿勢選択手段５０と、姿勢候補決定手段６０と、照明変動空間生成手段７５とから構成されている。
【００６９】
　これらの手段はそれぞれ概略つぎのように動作する。画像入力手段１０と、姿勢候補決定手段６０と、照明変動空間生成手段７５と、参照３次元物体モデル記憶部７０は、図１９に示した第１の従来技術における処理と同一の処理を行う。
【００７０】
　色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する。
【００７１】
　重み係数決定手段３０は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の色に対して、重み係数を決定する。
【００７２】
　加重３次元照合手段４０は、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルを基に、画像入力手段１０より得られる入力画像に近い比較画像を、重み係数決定手段３０より得られる重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を当該重み係数を用いて求めることにより、最も類似度の高いモデル（人物）を探索する。より具体的には、加重比較画像生成手段４５は、画像入力手段１０より得られる入力画像、照明変動空間生成手段７５より得られる基底画像群、重み係数決定手段３０より得られる重み係数を用い、当該基底画像群の線形和による合成画像（比較画像）と当該入力画像との重み付き誤差が最小になるように、線形和の係数を求め、比較画像を生成する。加重照合・姿勢選択手段５０は、当該比較画像と当該入力画像との類似度を重み付きで計算する。そして、類似度の最も高くなる姿勢候補をモデル毎に選択し、最後に類似度の最も大きいモデルを照合結果とする。
【００７３】
　さらに、図２を参照すると、前記色分布決定手段２０は、色頻度計算手段２１と、色分布推定手段２２と、分布妥当性判定手段２３とから構成されている。色頻度計算手段２１は、画像入力手段１０より得られる入力画像の各画素の色頻度（ヒストグラム）を求める。色分布推定手段２２は、当該ヒストグラムに対して、所定の色範囲の色分布を推定する。分布妥当性判定手段２３は、当該推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する。
【００７４】
　次に、図１及び図３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【００７５】
　まず、画像入力手段１０により入力画像が得られる（図３のステップ１００）。次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する（ステップ１１０）。さらに、重み係数決定手段３０は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の色に対して、重み係数を決定する（ステップ１２０）。
【００７６】
　加重３次元照合手段４０は、モデルｋ毎に最適な姿勢・照明条件による類似度を求めるため、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、まず姿勢候補決定手段６０において、姿勢候補群｛e｝を決定する（ステップ１４０）。次に照明変動空間生成手段７５において、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルの基底テクスチャ群を、各姿勢候補eに基づき座標変換し、基底画像群を生成する（ステップ１４１）。加重比較画像生成手段４５は、画像入力手段１０より得られる入力画像、照明変動空間生成手段７５より得られる基底画像群、重み係数決定手段３０より得られる重み係数を用い、当該基底画像群の線形和による合成画像（比較画像）と当該入力画像との重み付き誤差が最小になるように、線形和の係数を求め、比較画像を生成する（ステップ１４２）。加重照合・姿勢選択手段５０は、当該比較画像と当該入力画像との類似度Ｓkeを重み付きで計算し（ステップ１４３）、当該類似度が最も高い姿勢候補を選択し、その類似度をＳkとする（ステップ１４４）。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋを照合結果とする（ステップ１５０）。
【００７７】
　次に、図２及び図４のフローチャートを参照して色分布決定手段の動作について説明する。
【００７８】
　まず、色頻度計算手段２１は、画像入力手段１０より得られる入力画像の各画素の色頻度（ヒストグラム）を求める（ステップ１１１）。次に、色分布推定手段２２は、当該ヒストグラムに対して、所定の色範囲の色分布を推定する（ステップ１１２）。最後に、分布妥当性判定手段２３は、当該推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する（ステップ１１３）。
【００７９】
　次に、本実施の形態の効果について説明する。
【００８０】
　本実施の形態では、入力画像の色分布に基づき重み係数を決定し、３次元物体モデルからの比較画像の生成および入力画像との照合において、当該重み係数を用いた比較を行うというように構成されているため、様々な姿勢・照明条件により撮影された顔画像に対して、特徴の安定した領域を重視した比較画像を生成できるとともに、高精度な照合ができる。また、本実施の形態では、入力画像から明暗部等の所定の色範囲を推定するように構成されているため、記憶容量を節約し、かつ高速に実行できる。
【００８１】
　次に、具体的な実施例を用いて本実施の形態の動作を説明する。
【００８２】
　ここでは、顔を例にとり説明するが、本発明は他の物体にも適用できる。また、所定の色範囲として明暗部を対象とするが、これに限るものではない。また、ここでは、入力画像は濃淡画像とし、Iは輝度を表すこととする。
【００８３】
　図５に示すような入力画像I（ｒ）が画像入力手段１０により得られたとする（図２のステップ１００）。入力画像では、顔の鼻や頬の横の部分に陰影部が、目の下の部分にてかり部が存在する。
【００８４】
　次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、明暗部の色分布（輝度分布）を決定する（ステップ１１０）。輝度分布は、撮影環境によって明暗部の輝度が安定しているならば、予め手動で設定しておくことができる。撮影環境に応じて明暗部の輝度が不安定な場合は、図２に示す構成により自動的に輝度分布を推定することができる。まず、色頻度計算手段２１は、画像入力手段１０より得られる入力画像の各画素の輝度値の頻度（ヒストグラム）を求めると、例えば図６に示すようなヒストグラムが得られる（ステップ１１１）。次に、色分布推定手段２２は、当該ヒストグラムに対して、明部、暗部及びそれ以外の３つの輝度分布を推定する（ステップ１１２）。この分布推定は、例えばガウス分布や２項分布による混合分布モデルを仮定し、一般的に知られるＥＭアルゴリズムなどの手法により求めることができる。分布推定の結果は、例えば図７のようになり、各分布の平均値の小さい方から分布関数をｆ１（Ｉ），ｆ２（Ｉ），ｆ３（Ｉ）とすると、陰影部（暗部）の分布はｆ１（Ｉ）、てかり部（明部）の分布はｆ３（Ｉ）、その他の領域の分布はｆ２（Ｉ）となる。最後に、分布妥当性判定手段２３は、当該推定された輝度分布の平均や分散等を使用し明部・暗部の輝度分布として妥当であるか判定する（ステップ１１３）。例えば、分布の平均値は、陰影部では小さく、てかり部では大きい。また、分布の分散は、陰影部・てかり部とも小さい。これらの条件に対して、あるしきい値を設定して推定された分布関数ｆ１（Ｉ）及びｆ３（Ｉ）の平均・分散と比較することにより判定できる。妥当でないと判定された場合は、その他の領域の関数ｆ２（Ｉ）と統合される。
【００８５】
　さらに、重み係数決定手段３０は、色分布決定手段２０より得られる明暗部の輝度分布ｆ１（Ｉ），ｆ２（Ｉ），ｆ３（Ｉ）を用いて、当該入力画像の各輝度Iに対して、重み係数Ｗ（I）を決定する（ステップ１２０）。各画素ｒに対する重み係数Ｗ’（ｒ）は、輝度Iに対する重み係数Ｗ（I）を用いて、Ｗ’（ｒ）＝Ｗ（Ｉ（ｒ））により求められる。輝度に対する重み係数は、例えば全分布に対する明暗部の分布を除いた分布の比率Ｗ（I）＝ｆ２（Ｉ）／Σb ｆｂ（Ｉ）により求めることができ、図８に示すようになる。さらに、図９に示すように、あるしきい値Ｔｗを設定し、Ｗ（I）＞ＴｗならＷ（I）＝１、それ以外ならＷ（I）＝０とするような二値化を行ってもよい。この場合、Ｗ（I（ｒ））＝０の画素は、対象領域から除外されることと同値である。また、明暗部の分布ｆ１（Ｉ），ｆ３（Ｉ）のみ用いて、重みを決定することもできる。例えば、分布が正規ガウス分布の場合、ｆ１（Ｉ）＝Ｎ（μ１，σ１２），ｆ３（Ｉ）＝Ｎ（μ３，σ３２）とすると、I0＝μ１＋α１σ１，I１＝μ３−α３σ３（α１，α３は範囲を制御するパラメータ）により、暗部の輝度範囲[０,I0]、明部の輝度範囲[I１,２５５]を求め、当該輝度範囲の重み係数をＷ（I）＝０，それ以外の範囲をＷ（I）＝１と設定できる。
【００８６】
　加重３次元照合手段４０は、モデルｋ毎に最適な姿勢・照明条件による類似度を求めるため、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、まず姿勢候補決定手段６０において、姿勢候補群｛e｝を決定する（ステップ１４０）。次に照明変動空間生成手段７５において、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルの基底テクスチャ群｛Ｇki(Q)｝（ｉ=1,…,n）を、各姿勢候補eに基づき座標変換し、基底画像群｛Ｂkei(r)｝を生成する（ステップ１４１）。加重比較画像生成手段４５は、画像入力手段１０より得られる入力画像I（ｒ）、照明変動空間生成手段７５より得られる基底画像群｛Ｂkei(r)｝、重み係数決定手段３０より得られる重み係数Ｗ（I）を用い、当該基底画像群の線形和Ｃke(r)=ΣinＡiＢkei(r)による合成画像（比較画像）と当該入力画像との重み付き誤差ΣrＷ（I）|I(r)−Ｃke(r)|2が最小になるように、線形和の係数Ａiを求め、比較画像Ｃke(r)を生成する（ステップ１４２）。加重照合・姿勢選択手段５０は、当該比較画像Ｃke(r)と当該入力画像I（ｒ）との類似度Ｓkeを重み付きで計算し（ステップ１４３）、当該類似度が最も高い姿勢候補を選択し、その類似度をＳkとする（ステップ１４４）。類似度Ｓkeは、輝度値の最大をＩmax、画素数をＭとすると、例えばＳke＝１−ΣrＷ（I）|I(r)−Ｃke(r)|2／（Imax2 Ｍ）により求められる。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋを照合結果とする（ステップ１５０）。
【００８７】
　次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００８８】
　図１０を参照すると、本発明の第２の実施の形態は、画像入力手段１０と、色分布決定手段２０と、重み係数決定手段３０と、加重照合手段５５と、参照画像記憶部８０と、参照重み係数記憶部３５とから構成されている。
【００８９】
　これらの手段はそれぞれ概略つぎのように動作する。画像入力手段１０と、色分布決定手段２０と、重み係数決定手段３０は、図１に示した第１の実施の形態における処理と同一の処理を行う。参照画像記憶部８０には、様々な姿勢・照明条件により撮影された物体の参照画像が予め記憶されている。参照重み係数記憶部３５には、参照画像記憶部８０に記憶されている各参照画像の色の重み係数が予め記憶されている。当該参照画像の重み係数は、参照画像を画像入力手段１０に与え、色分布決定手段２０と重み係数決定手段３０により予め求めておく。
【００９０】
　加重照合手段５５は、参照画像記憶部８０より得られる各参照画像と画像入力手段１０より得られる入力画像との類似度を、重み係数決定手段３０より得られる入力画像の重み係数と参照重み係数記憶部３５より得られる当該参照画像の重み係数を使用し計算する。そして、類似度の最も大きい参照画像（物体）を照合結果とする。
【００９１】
　次に、図１０及び図１１のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【００９２】
　まず、画像入力手段１０により入力画像が得られる（図１１のステップ１００）。次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する（ステップ１１０）。さらに、重み係数決定手段３０は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の色に対して、重み係数を決定する（ステップ１２０）。
【００９３】
　加重照合手段５５は、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、参照画像記憶部８０より得られる各参照画像Ｃke(r)（eはモデル毎に複数の画像が記憶されている場合の画像番号）と画像入力手段１０より得られる入力画像I（ｒ）との類似度Ｓkeを、重み係数決定手段３０より得られる入力画像の重み係数Ｗ（I）と参照重み係数記憶部３５より得られる当該参照画像の重み係数Ｗke（I）を使用し計算し（ステップ１４８）、当該類似度が最も高い画像を選択し、その類似度をＳkとする（ステップ１４４）。濃淡画像の場合は、類似度Ｓkeは、輝度値の最大をＩmax、画素数をＭとすると、例えばＳke＝１−ΣrＷ（I）Ｗke（Ｃ）|I(r)−Ｃke(r)|2／（Imax2 Ｍ）により求められる。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋ（参照画像）を照合結果とする（ステップ１５０）。
【００９４】
　次に、本実施の形態の効果について説明する。
【００９５】
　本実施の形態では、入力画像と参照画像の色分布に基づき重み係数を決定し、参照画像と入力画像との照合において当該重み係数を用いた比較を行うというように構成されているため、様々な姿勢・照明条件により撮影された顔画像に対して、特徴の安定した領域を重視した高精度な照合が高速に実行できる。
【００９６】
　次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
【００９７】
　図１２を参照すると、本発明の第３の実施の形態は、画像入力手段１０と、色分布決定手段２０と、色補正手段９６と、照合手段５６と、参照画像記憶部８０とから構成されている。
【００９８】
　これらの手段はそれぞれ概略つぎのように動作する。画像入力手段１０と、色分布決定手段２０は、図１に示した第１の実施の形態における処理と同一の処理を行う。照合手段５６は、図２１に示した第２の従来技術における処理と同一の処理を行う。参照画像記憶部８０は、図１０に示した第２の実施の形態における参照画像記憶部と同一である。
【００９９】
　色補正手段９６は、色分布決定手段２０より得られる色分布を用いて、画像入力手段１０より得られる入力画像の画素の色を補正する。
【０１００】
　次に、図１２及び図１３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【０１０１】
　まず、画像入力手段１０により入力画像が得られる（図１３のステップ１００）。次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する（ステップ１１０）。さらに、色補正手段９６は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の画素の色を補正する（ステップ１２１）。例えば、色分布決定手段２０より図７のような色分布（輝度分布）が得られた場合、図１４に示すように、全色範囲を陰影部・てかり部を除いた色範囲に圧縮することにより色補正できる。より具体的には、輝度値の全範囲を［０，２５５］、陰影部・てかり部を除いた輝度値の範囲を［I0，I1］とすると、色補正された入力画像I’(r)は、I’(r)＝I(r)×（I1−I0）／２５５＋I0により計算できる。当該I0，I1は、陰影部・てかり部・その他の領域の分布関数をｆ1(I)、ｆ3(I)、ｆ2(I)とした場合、例えば、それぞれｆ1(I)＝ｆ2(I)、ｆ3(I)＝ｆ2(I)となる輝度値として計算できる。
【０１０２】
　照合手段５６は、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、参照画像記憶部８０より得られる各参照画像Ｃke(r)（eはモデル毎に複数の画像が記憶されている場合の画像番号）と色補正手段９６より得られる色補正された入力画像I’(r)との類似度Ｓkeを計算し（ステップ１４９）、当該類似度が最も高い画像を選択し、その類似度をＳkとする（ステップ１４４）。濃淡画像の場合は、類似度Ｓkeは、輝度値の最大をＩmax、画素数をＭとすると、例えばＳke＝１−Σr|I’(r)−Ｃke(r)|2／（Imax2 Ｍ）により求められる。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋ（参照画像）を照合結果とする（ステップ１５０）。
【０１０３】
　次に、本実施の形態の効果について説明する。
【０１０４】
　本実施の形態では、入力画像の色分布に基づき各画素の色を補正し、参照画像と入力画像との照合を行うというように構成されているため、様々な姿勢・照明条件により撮影された顔画像に対して、特徴の安定した高精度な照合が高速に実行できる。
【０１０５】
　本発明の第１の実施の形態では、加重比較画像生成手段４５及び加重照合・姿勢選択手段５０において、それぞれ重み係数を使用し誤差や類似度を計算するとしたが、加重比較画像生成手段４５においては重み係数を使用せずに比較画像を求め（この場合は第１の従来技術の比較画像生成手段４６と同じ）、加重照合・姿勢選択手段５０においてのみ重み係数を用いた類似度計算をしても良い。
【０１０６】
　本発明の第２および第３の実施の形態では、参照画像記憶部８０には、様々な姿勢・照明条件により撮影された物体の参照画像が予め記憶されているとしたが、例えば顔の場合、正面顔のみに限定したり、各物体（モデル）あたり１つの参照画像のみが記憶されているとしても良い。また、陰影やてかりのない参照画像のみが記憶されているとしても良い。この場合は、各参照画像の重み係数はすべて１としてよいので、第２の実施の形態における参照重み係数記憶部３５は省略できる。また、参照画像の重み係数は予め参照重み係数記憶部３５に記憶していなくても、照合時に求めてもよい。
【０１０７】
　また、本発明の実施の形態では、色分布決定手段２０において、色分布を自動的に推定するとしたが、手動で設定してもよい。例えば、図１５に示すように、入力画像と当該入力画像を構成する色（輝度値）の存在範囲を表示する。次に、図１６に示すように、スライドバーを動かして陰影部の最大輝度値I0およびてかり部の最小輝度値I1を設定する。この際、表示している入力画像においても、指定された陰影部、てかり部の輝度値に対応する領域を表示する。最後に、指定された陰影部の輝度値範囲［０，I0］、てかり部の輝度値範囲［I1，２５５］、その他の輝度値範囲［I0，I1］のそれぞれにおいて、各分布関数ｆ1(I)、ｆ3(I)、ｆ2(I)を推定する。当該分布関数を用いれば、自動推定した場合と同様に、前記重み係数決定手段３０では、入力画像の輝度値の重み係数を決定できる。また、指定された輝度値範囲を用いて、陰影部およびてかり部の輝度値範囲の重み係数は０、その他の輝度値範囲の重み係数は１というように、直接重み係数を決定してもよい。また、各輝度値範囲の重み係数を手動で設定してもよい。例えば、図１７に示すように、てかり部の輝度値範囲をマウスでクリックする等の操作により指定すると、重み係数を指定するウィンドウｂが表示され、重み係数を指定できる。当該操作は、これに限るものではなく、重み係数が入力できれば他の操作でも構わない。
【０１０８】
　また、図１８に示すように、入力画像の一部の領域をマウス等で領域指定することにより、陰影部やてかり部の領域から例外的に除外される例外領域を指定してもよい。この場合、例えば、指定された例外領域の画素の重み係数は常に１とする。また、逆に陰影部やてかり部の領域をマウス等で領域指定してもよい。この場合、例えば、指定された例外領域の画素の重み係数は常に０とする。また、当該例外領域は、自動的に計算されてもよい。例えば、目や口の周辺を例外領域としたい場合、目や口の位置を自動検出することにより、自動的に領域指定できる。また、ある画素をマウス等で指定し、当該画素の近隣で当該画素との色の差が指定されたしきい値より小さい画素の領域を指定するようにしてもよい。
【０１０９】
　また、本発明の実施の形態では、入力画像に対応して陰影部・てかり部の色範囲は一意に決定するとしたが、色範囲に自動的に変動を加え、各色範囲候補において重み係数を決定し照合を行い、最も類似度の高くなる色範囲を選択するようにしてもよい。
【０１１０】
　本発明の実施の形態では、入力画像は濃淡画像としたが、カラー画像でもよい。この場合、輝度Iを例えばＲＧＢの３変数に置き換えれば良く、分布関数は３次元の関数として、同様に計算できる。
【０１１１】
　また、本発明の実施の形態では、明部（てかり部）と暗部（陰影部）の両方を推定するとしたが、いずれかだけでもよい。また、明部・暗部・その他の各分布関数は、それぞれ一つとしたが、複数個仮定してもよい。
【０１１２】
　また、本発明の実施の形態では、多数の３次元物体モデルまたは参照画像の中から入力画像と同一の物体（モデル）を検索する動作について説明したが、特定のモデルに対して入力画像と同一のモデルであるかを判定する一対一照合に適用することも可能である。この場合は、特定のモデルの３次元物体モデルまたは参照画像のみを用い、入力画像との類似度を求め、この類似度があるしきい値より大きければ、入力画像と同一モデルと判定できる。
【０１１３】
　本発明の物体照合システムは、構成要素である各手段の機能をハードウェア的に実現できることは勿論として、上記した各手段の機能を実行する物体照合プログラム（アプリケーション）をコンピュータ処理装置のメモリにロードしてコンピュータ処理装置を制御することで実現することができる。この物体照合プログラムは、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【産業上の利用可能性】
【０１１４】
　以上のように、本発明にかかる物体照合システム及び方法は、人の顔その他の物体の照合システム及び方法として有用であり、特に照明によるてかり部（明部）や陰影部（暗部）の影響を受けずに顔などの物体の照合を行う場合に適している。
【図面の簡単な説明】
【０１１５】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】本発明の色分布決定手段の構成を示すブロック図である。
【図３】第１の実施の形態の動作を示す流れ図である。
【図４】色分布決定手段の動作を示す流れ図である。
【図５】入力画像の明暗部の具体例を示す図である。
【図６】入力画像の輝度頻度の具体例を示す図である。
【図７】色分布推定の具体例を示す図である。
【図８】重み係数の具体例を示す図である。
【図９】重み係数の具体例を示す図である。
【図１０】本発明の第２の実施の形態の構成を示すプロック図である。
【図１１】第２の実施の形態の動作を示す流れ図である。
【図１２】本発明の第３の実施の形態の構成を示すプロック図である。
【図１３】第３の実施の形態の動作を示す流れ図である。
【図１４】輝度補正の具体例を示す図である。
【図１５】明暗色の手動指定画面の具体例を示す図である。
【図１６】明暗色の手動指定画面の具体例を示す図である。
【図１７】重み係数の手動指定の具体例を示す図である。
【図１８】例外領域の手動指定の具体例を示す図である。
【図１９】第１の従来技術の実施の形態の構成を示すブロック図である。
【図２０】第１の従来技術の３次元物体モデルの座標の具体例を示す図である。
【図２１】第２の従来技術の実施の形態の構成を示すブロック図である。
【符号の説明】
【０１１６】
　１０　　画像入力手段
　２０　　色分布決定手段
　２１　　色頻度計算手段
　２２　　色分布推定手段
　２３　　分布妥当性判定手段
　３０　　重み係数決定手段
　３５　　参照重み係数記憶部
　４０　　加重３次元照合手段
　４１　　３次元照合手段
　４５　　加重比較画像生成手段
　４６　　比較画像生成手段
　４７　　合成画像生成手段
　５０　　加重照合・姿勢選択手段
　５１　　照合・姿勢選択手段
　５５　　加重照合手段
　５６　　照合手段
　６０　　姿勢候補決定手段
　７０　　参照３次元物体モデル記憶部
　７２　　３次元物体モデル記憶部
　７５　　照明変動空間生成手段
　８０　　参照画像記憶部
　８１　　記憶部
　８５　　参照画像記憶部
　８６　　平均画像記憶部
　９０　　陰影除去手段
　９１　　陰影有無判定手段
　９５　　輝度補正手段
　９６　　色補正手段
【図１】
2004054947.tif 000003
【図２】
2004054947.tif 000004
【図３】
2004054947.tif 000005
【図４】
2004054947.tif 000006
【図５】
2004054947.tif 000007
【図６】
2004054947.tif 000008
【図７】
2004054947.tif 000009
【図８】
2004054947.tif 000010
【図９】
2004054947.tif 000011
【図１０】
2004054947.tif 000012
【図１１】
2004054947.tif 000013
【図１２】
2004054947.tif 000014
【図１３】
2004054947.tif 000015
【図１４】
2004054947.tif 000016
【図１５】
2004054947.tif 000017
【図１６】
2004054947.tif 000018
【図１７】
2004054947.tif 000019
【図１８】
2004054947.tif 000020
【図１９】
2004054947.tif 000021
【図２０】
2004054947.tif 000022
【図２１】
2004054947.tif 000023