(57)【特許請求の範囲】
【請求項１】
物体の３次元データを入力する３次元データ入力手段と、
少なくとも１つの物体の参照画像を記憶する参照画像記憶手段と、
物体の姿勢の候補である姿勢候補を少なくとも１つ生成する姿勢候補決定手段と、
姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を少なくとも１つ生成する比較画像生成手段と、
参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段と
を備えることを特徴とする画像照合システム。
【請求項２】
請求項１に記載の画像照合システムにおいて、
前記画像照合手段は、
参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段と、
距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する選出手段と、
最小距離値としきい値との比較結果及び最大類似度としきい値との比較結果のいずれか一方に基づいて照合を行う照合手段と
を備えることを特徴とする画像照合システム。
【請求項３】
請求項１に記載の画像照合システムにおいて、
前記比較画像生成手段は、参照画像毎に参照画像に近い比較画像を生成し、
前記画像照合手段は、
参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段と、
参照画像毎に距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する選出手段と、
最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とする照合手段と
を備えることを特徴とする画像照合システム。
【請求項４】
請求項１に記載の画像照合システムにおいて、
参照画像に対応する補正係数を記憶する参照補正係数記憶手段と、
補正係数を用いて最小距離値及び最大類似度のいずれか一方を補正する補正手段と
を更に備えることを特徴とする画像照合システム。
【請求項５】
請求項１に記載の画像照合システムにおいて、
参照画像に対応する重み係数を記憶する参照重み係数記憶手段を更に備え、
前記画像照合手段は、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段を備えることを特徴とする画像照合システム。
【請求項６】
請求項１に記載の画像照合システムにおいて、
標準３次元物体モデルに対応する標準３次元基準点を記憶する標準３次元基準点記憶手段と、
標準３次元重み係数を記憶する標準３次元重み係数記憶手段と、
入力された３次元データから３次元基準点を抽出する３次元基準点抽出手段と、
標準３次元基準点と３次元データの３次元基準点を用いて標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する入力重み係数手段とを更に備え、
前記画像照合手段は、変換された２次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段を備えることを特徴とする画像照合システム。
【請求項７】
請求項１に記載の画像照合システムにおいて、
代表的な３次元物体モデルを代表３次元物体モデルとして記憶する代表３次元物体モデル記憶手段と、
代表３次元物体モデルと参照画像との関連情報を記憶するグループ記憶手段と、
入力された３次元データと代表３次元物体モデルとの照合を行い、３次元データに類似した代表３次元物体モデルを選択する３次元照合手段と、
関連情報を参照し、選択された代表３次元物体モデルに対応する参照画像を選出する参照画像選出手段とを更に備え、
前記画像照合手段は、選出された参照画像に関して、入力された３次元データとの照合を行うことを特徴とする画像照合システム。
【請求項８】
請求項１に記載の画像照合システムにおいて、
代表的な画像を代表画像として記憶する代表画像記憶手段と、
代表画像と参照画像との関連情報を記憶するグループ記憶手段と、
入力された３次元データと代表画像との照合を行い、３次元データに類似した代表画像を選択する代表画像選択手段と、
関連情報を参照し、選択された代表画像に対応する参照画像を選出する参照画像選出手段とを更に備え、
前記画像照合手段は、選出された参照画像に関して、入力された３次元データとの照合を行うことを特徴とする画像照合システム。
【請求項９】
請求項４に記載の画像照合システムにおいて、
補正係数は、代表的な３次元物体モデルと参照画像との距離値及び類似度のいずれか一方に基づいて決定されることを特徴とする画像照合システム。
【請求項１０】
物体の３次元データを入力する３次元データ入力手段と、
物体の姿勢の候補である姿勢候補を少なくとも１つ生成する姿勢候補決定手段と、
姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を少なくとも１つ生成する比較画像生成手段と、
参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段と
を備える画像照合システムにおける画像照合方法において、
前記３次元データ入力手段が前記物体の前記３次元データを入力するステップと、
前記姿勢候補決定手段が前記物体の姿勢の候補である前記姿勢候補を少なくとも１つ生成するステップと、
前記比較画像生成手段が前記姿勢候補に応じて前記３次元データを２次元の画像に射影しつつ前記参照画像に近い前記比較画像を少なくとも１つ生成するステップと、
前記画像照合手段が前記参照画像と前記比較画像との前記距離値及び前記類似度のいずれか一方に基づいて照合を行うステップと
を備えることを特徴とする画像照合方法。
【請求項１１】
請求項１０に記載の画像照合システムにおける画像照合方法において、
前記画像照合手段が前記照合を行うステップは、
前記参照画像と前記比較画像との前記距離値及び前記類似度のいずれか一方を演算するステップと、
前記距離値が最も小さい最小距離値及び前記類似度が最も大きい最大類似度のいずれか一方を選出するステップと、
前記最小距離値としきい値との比較結果及び前記最大類似度としきい値との比較結果のいずれか一方に基づいて照合を行うステップと
を備えることを特徴とする画像照合方法。
【請求項１２】
請求項１０に記載の画像照合システムにおける画像照合方法において、
前記比較画像生成手段が前記比較画像を生成するステップは、前記参照画像毎に前記参照画像に近い前記比較画像を生成するステップを備え、
前記画像照合手段が前記照合を行うステップは、
前記参照画像毎に前記参照画像と前記比較画像との距離値及び類似度のいずれか一方を演算するステップと、
前記参照画像毎に前記距離値が最も小さい最小距離値及び前記類似度が最も大きい最大類似度のいずれか一方を選出するステップと、
前記最小距離値のうち距離値の最も小さい最小距離値の前記参照画像及び前記最大類似度のうち類似度が最も大きい最大類似度の前記参照画像のいずれか一方を照合結果とするステップと
を備えることを特徴とする画像照合方法。
【請求項１３】
請求項１０に記載の画像照合システムにおける画像照合方法において、
前記画像照合システムは、
補正係数を用いて最小距離値及び最大類似度のいずれか一方を補正する補正手段
を更に備え、
前記補正手段が前記参照画像に対応する前記補正係数を用いて前記最小距離値及び前記最大類似度のいずれか一方を補正するステップを更に備えること
を特徴とする画像照合方法。
【請求項１４】
請求項１０に記載の画像照合システムにおける画像照合方法において、
前記画像照合手段が前記照合を行うステップは、前記参照画像に対応する重み係数を用いて、その前記参照画像と前記比較画像との前記距離値及び前記類似度のいずれか一方を演算するステップを備えること
を特徴とする画像照合方法。
【請求項１５】
請求項１０に記載の画像照合システムにおける画像照合方法において、
前記画像照合システムは、
入力された３次元データから３次元基準点を抽出する３次元基準点抽出手段と、
標準３次元基準点と３次元データの３次元基準点を用いて標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する入力重み係数手段と
を更に備え、
前記３次元基準点抽出手段が入力された前記３次元データから前記３次元基準点を抽出するステップと、
前記入力重み係数手段が前記標準３次元物体モデルに対応する前記標準３次元基準点と前記３次元データの前記３次元基準点を用いて前記標準３次元重み係数と前記３次元データとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を前記２次元の重み係数に変換するステップとを更に備え、
前記画像照合手段が前記照合を行うステップは、変換された前記２次元の重み係数を用いて前記参照画像と前記比較画像との前記距離値及び前記類似度のいずれか一方を演算するステップを備えること
を特徴とする画像照合方法。
【請求項１６】
請求項１０に記載の画像照合システムにおける画像照合方法において、
前記画像照合システムは、
入力された３次元データと代表３次元物体モデルとの照合を行い、３次元データに類似した代表３次元物体モデルを選択する３次元照合手段と、
関連情報を参照し、選択された代表３次元物体モデルに対応する参照画像を選出する参照画像選出手段と
を更に備え、
前記３次元照合手段が入力された前記３次元データと前記代表３次元物体モデルとの照合を行い、前記３次元データに類似した前記代表３次元物体モデルを選択するステップと、
前記参照画像選出手段が前記代表３次元物体モデルと前記参照画像との関連を示す情報を参照し、選択された前記代表３次元物体モデルに対応する前記参照画像を選出するステップとを更に備え、
前記画像照合手段が前記照合を行うステップは、選出された前記参照画像に関して、入力された前記３次元データとの照合を行うステップを備えること
を特徴とする画像照合方法。
【請求項１７】
請求項１０に記載の画像照合システムにおける画像照合方法において、
前記画像照合システムは、
入力された３次元データと代表画像との照合を行い、３次元データに類似した代表画像を選択する代表画像選択手段と、
関連情報を参照し、選択された代表画像に対応する参照画像を選出する参照画像選出手段と
を更に備え、
前記代表画像選択手段が入力された前記３次元データと前記代表画像との照合を行い、３次元データに類似した前記代表画像を選択するステップと、
前記参照画像選出手段が前記代表画像と前記参照画像との関連を示す情報を参照し、選択された前記代表画像に対応する前記参照画像を選出するステップとを更に備え、
前記画像照合手段が前記照合を行うステップは、選出された前記参照画像に関して、入力された前記３次元データとの照合を行うステップを備えること
を特徴とする画像照合方法。
【請求項１８】
請求項１３に記載の画像照合システムにおける画像照合方法において、
前記補正手段が、代表的な３次元物体モデルと前記参照画像との距離値及び類似度のいずれか一方に基づいて補正係数を決定するステップを更に備えること
を特徴とする画像照合方法。
【請求項１９】
物体の３次元データを入力する手順と、
物体の姿勢の候補である姿勢候補を少なくとも１つ生成する手順と、
姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を少なくとも１つ生成する手順と、
参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う手順と
をコンピュータに実行させるためのプログラム。
【請求項２０】
請求項１９に記載のプログラムにおいて、
前記照合を行う手順の中で、
参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順と、
距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する手順と、
最小距離値としきい値との比較結果及び最大類似度としきい値との比較結果のいずれか一方に基づいて照合を行う手順と
をコンピュータに実行させるためのプログラム。
【請求項２１】
請求項１９に記載のプログラムにおいて、
前記比較画像を生成する手順の中で、参照画像毎に参照画像に近い比較画像を生成する手順をコンピュータに実行させ、
前記照合を行う手順の中で、
参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順と、
参照画像毎に距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する手順と、
最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とする手順と
をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項１９に記載のプログラムにおいて、
参照画像に対応する補正係数を用いて最小距離値及び最大類似度のいずれか一方を補正する手順を更にコンピュータに実行させるためのプログラム。
【請求項２３】
請求項１９に記載のプログラムにおいて、
前記照合を行う手順の中で、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順をコンピュータに実行させるためのプログラム。
【請求項２４】
請求項１９に記載のプログラムにおいて、
入力された３次元データから３次元基準点を抽出する手順と、
標準３次元物体モデルに対応する標準３次元基準点と３次元データの３次元基準点を用いて標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する手順とを更にコンピュータに実行させ、
前記照合を行う手順の中で、変換された２次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順をコンピュータに実行させるためのプログラム。
【請求項２５】
請求項１９に記載のプログラムにおいて、
入力された３次元データと代表的な３次元物体モデルである代表３次元物体モデルとの照合を行い、３次元データに類似した代表３次元物体モデルを選択する手順と、
代表３次元物体モデルと参照画像との関連を示す情報を参照し、選択された代表３次元物体モデルに対応する参照画像を選出する手順とを更にコンピュータに実行させ、
前記照合を行う手順の中で、選出された参照画像に関して、入力された３次元データとの照合を行う手順をコンピュータに実行させるためのプログラム。
【請求項２６】
請求項１９に記載のプログラムにおいて、
入力された３次元データと代表的な画像である代表画像との照合を行い、３次元データに類似した代表画像を選択する手順と、
代表画像と参照画像との関連を示す情報を参照し、選択された代表画像に対応する参照画像を選出する手順とを更にコンピュータに実行させ、
前記照合を行う手順の中で、選出された参照画像に関して、入力された３次元データとの照合を行う手順をコンピュータに実行させるためのプログラム。
【請求項２７】
請求項２２に記載のプログラムにおいて、
代表的な３次元物体モデルと参照画像との距離値及び類似度のいずれか一方に基づいて補正係数を決定する手順を更にコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像照合システム、画像照合方法及び画像照合用プログラムに関し、特に、物体の３次元モデルを事前に登録することができず、システム内のデータベースやネットワークにある各物体の参照画像が１枚乃至少数しか存在せず、且つ、姿勢や照明等異なる条件で撮影されている場合にも高精度に照合・検索ができる画像照合システム、画像照合方法及び画像照合用プログラムに関するものである。
【背景技術】
【０００２】
図２５は従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段１１５と、画像変換手段１１７と、画像照合手段１５７と、参照画像記憶部１３０と、標準３次元物体モデル記憶部１３５とから構成されている。【０００３】
参照画像記憶部１３０には、物体を撮影した参照画像が予め記憶されている。標準３次元物体モデル記憶部１３５には、標準的な３次元物体モデルが予め記憶されている。画像変換手段１１７は画像入力手段１１５より入力された入力画像と参照画像記憶部１３０より得られる各参照画像の共通する部分領域に関して、標準３次元物体モデル記憶部１３５より得られる３次元物体モデルを用いて、姿勢条件を同じにするように当該入力画像と当該参照画像の両方またはいずれかを変換し部分画像を生成する。【０００４】
部分領域とは、例えば、目・鼻・口のような特徴的な部分であり、予め各画像と３次元物体モデルに対して特徴点を指定しておくことにより対応をとることができる。画像照合手段１５７は画像変換手段１１７より変換された入力画像と各参照画像の部分画像を比較し、それぞれ平均類似度を計算し、各物体で最も類似度の大きい参照画像を選出する（例えば、特開２０００−３２２５７７号公報（特許文献１）を参照）。【０００５】
図２６は他の従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段１１５と、照明変動補正手段１２２と、画像変換手段１１８と、画像照合手段１５８と、参照画像記憶部１３０と、標準３次元物体モデル記憶部１３５とから構成されている。【０００６】
参照画像記憶部１３０には、物体を撮影した参照画像が予め記憶されている。標準３次元物体モデル記憶部１３５には、標準的な３次元物体モデルが予め記憶されている。照明変動補正手段１２２は、標準３次元物体モデル記憶部１３５より得られる３次元物体モデルを用いて、画像入力手段１１５より入力された入力画像の照明条件（表面反射率）を推定する。画像変換手段１１８は参照画像の照明条件に合うように３次元物体モデルを用いて入力画像を変換した画像を生成する。画像照合手段１５８は画像変換手段１１８より変換された入力画像と各参照画像を比較し、それぞれ類似度を計算し、各物体で最も類似度の大きい参照画像を選出する（例えば、特開２００２−０２４８３０号公報（特許文献２）を参照）。【０００７】
図２７は更に他の従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段１１５と、参照３次元物体モデル記憶部１３７と、姿勢推定・照合手段１５０とから構成されている。姿勢推定・照合手段１５０は、姿勢候補決定手段１２０と、比較画像生成手段１４０と、画像照合手段１５５とを含んでいる。【０００８】
参照３次元物体モデル記憶部１３７には、物体を計測して生成した参照３次元物体モデルが予め記憶されている。姿勢推定・照合手段１５０は、画像入力手段１１５より得られる入力画像と、参照３次元物体モデル記憶部１３７より得られる参照３次元物体モデルとの最小距離値（もしくは最大類似度）を求め、当該最小距離値の最も小さいモデルを選出する。【０００９】
より具体的には、姿勢候補決定手段１２０は少なくとも１つの姿勢候補を生成する。次に、比較画像生成手段１４０は、姿勢候補に応じて参照３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を生成する。画像照合手段１５５は、当該比較画像と当該入力画像との距離値を求め、各モデルに対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に入力画像と参照３次元物体モデルとの最小距離値を求める。更に、当該最小距離値の最も小さいモデルを選出する（例えば、特開２００３−０５８８９６号公報（特許文献３）を参照）。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献１、２の画像照合システムでは、入力画像と参照画像の姿勢や照明条件が異なると、十分精度良く照合できなかった。【００１１】
その理由は、特許文献１のものでは、画像に対して姿勢を推定し姿勢条件を合わせるように画像変換しているが、画像に対して正確に姿勢を推定することは難しいため、正しく画像を合わせることができないためである。また、観測する物体の３次元形状とは異なる標準的な３次元物体モデルを用いて画像変換しているため、形状が複雑な部分や姿勢条件が大きく異なった場合に画像変換による歪みが大きくなるためである。【００１２】
また、特許文献２のものでは、観測する物体の３次元形状とは異なる標準的な３次元物体モデルを用いて照明条件を推定し画像変換しているため、大まかには補正できても細部では誤った補正をしている場合があるためである。【００１３】
更に、特許文献３のものでは、各物体の３次元物体モデルが予め登録されていなかったり、参照画像が少ない場合には、照合できなかった。【００１４】
その理由は、特許文献３の技術は、予め３次元物体モデルを登録し入力画像と照合するためである。また、予め３次元物体モデルを登録するためには、照合する以前に各物体を３次元形状計測装置で計測しておく必要があるが、通常困難な場合が多い。また、複数の画像から３次元物体モデルを生成することも可能であるが、参照画像が少ないと３次元物体モデルを生成することが困難なためであった。
【課題を解決するための手段】
【００１５】
本発明は、上記従来の問題点に鑑みなされたもので、その目的は、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度な照合や検索を可能にすることにある。【００１６】
また、本発明の他の目的は、各物体の３次元物体モデルが予め得られない場合にも、高精度な照合や検索を可能にすることにある。【００１７】
また、本発明の他の目的は、各物体の参照画像が１枚乃至少数しか存在しない場合にも、高精度な照合や検索を可能にすることにある。【００１８】
このような目的を達成するために、本発明に係る画像照合システムは、物体の３次元データを入力する入力手段と、少なくとも１つの物体の参照画像を記憶する参照画像記憶手段と、物体の姿勢の候補である姿勢候補を生成する姿勢候補生成手段と、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する比較画像生成手段と、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段とを備えることを特徴とする。【００１９】
また、本発明に係る画像照合システムは、物体の３次元データを入力するステップと、物体の姿勢の候補である姿勢候補を生成するステップと、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成するステップと、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行うステップとを備えることを特徴とする。【００２０】
また、本発明に係る画像照合用プログラムは、物体の３次元データを入力する手順と、物体の姿勢の候補である姿勢候補を生成する手順と、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する手順と、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明の第１の効果は、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合や検索ができることである。その理由は、物体の３次元データを計測し、各参照画像の姿勢や照明等の撮影条件に合った比較画像を生成し、当該比較画像と参照画像を比較することにより照合するためである。【００２２】
また、第２の効果は、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至少数しか存在しない場合にも、高精度に照合や検索ができることである。その理由は、照合時に物体の３次元データを計測し、予め存在する参照画像に合った比較画像を生成し、当該比較画像と参照画像を比較することにより照合するためである。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明による画像照合システムの第１の実施例の構成を示すブロック図である。
【図２】図２は、第１の実施例の画像照合手段の構成を示すブロック図である。
【図３】図３は、第１の実施例の１対１照合における動作を示す流れ図である。
【図４】図４は、第１の実施例の１対Ｎ照合における動作を示す流れ図である。
【図５】図５は、第１の実施例の参照画像の具体例を示す図である。
【図６】図６は、第１の実施例の３次元データの具体例を示す図である。
【図７】図７は、第１の実施例の比較画像の具体例を示す図である。
【図８】図８は、本発明の第２の実施例の構成を示すプロック図である。
【図９】図９は、第２の実施例の１対Ｎ照合における動作を示す流れ図である。
【図１０】図１０は、本発明の第３の実施例の構成を示すブロック図である。
【図１１】図１１は、第３の実施例の画像照合手段の構成を示すブロック図である。
【図１２】図１２は、第３の実施例の１対Ｎ照合における動作を示す流れ図である。
【図１３】図１３は、第３の実施例の標準３次元基準点の具体例を示す図である。
【図１４】図１４は、第３の実施例の標準３次元重み係数の具体例を示す図である。
【図１５】図１５は、第３の実施例の参照重み係数の具体例を示す図である。
【図１６】図１６は、第３の実施例の入力３次元基準点の具体例を示す図である。
【図１７】図１７は、第３の実施例の２次元重み係数の具体例を示す図である。
【図１８】図１８は、本発明の第４の実施例の構成を示すブロック図である。
【図１９】図１９は、第４の実施例の動作を示す流れ図である。
【図２０】図２０は、第４の実施例の動作を示す流れ図である。
【図２１】図２１は、第４の実施例の代表３次元物体モデルの具体例を示す図である。
【図２２】図２２は、本発明の第５の実施例の構成を示すブロック図である。
【図２３】図２３は、第５の実施例の動作を示す流れ図である。
【図２４】図２４は、第５の実施例の代表画像の具体例を示す図である。
【図２５】図２５は、従来例の画像照合システムを示すブロック図である。
【図２６】図２６は、他の従来例の画像照合システムを示すブロック図である。
【図２７】図２７は、更に他の従来例の画像照合システムを示すブロック図である。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照し、本発明の実施例について詳細に説明する。【００２５】
（第１の実施例）
図１は本発明による画像照合システムの第１の実施例を示すブロック図である。図１において、１０は物体の３次元データを入力する３次元データ入力手段、３０は参照画像記憶部、５０は姿勢推定・照合手段である。姿勢推定・照合手段５０は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５とを含んでいる。【００２６】
これらの手段はそれぞれ概略次のように動作する。まず、参照画像記憶部３０には、少なくとも１つの物体をそれぞれ撮影した参照画像が予め記憶されている。参照画像の姿勢や照明等の撮影条件は限定されない。また、参照画像記憶部３０は、システム内にあっても良いし、システム外にあってネットワークで接続して使用しても良い。【００２７】
３次元データ入力手段１０は照合すべき物体（又は検索すべき物体等）の３次元データを入力する。３次元データは、例えば、特開２００１−１２９２５号公報に記載された３次元形状測定装置を用いたり、或いは特開平９−９１４３６号公報に記載の多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。【００２８】
姿勢推定・照合手段５０は、３次元データ入力手段１０より入力された３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求める。より具体的には、姿勢候補決定手段２０は少なくとも１つの物体の姿勢の候補である姿勢候補を生成する（物体の姿勢は物体の位置と向きで表される）。比較画像生成手段４０は、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する。【００２９】
画像照合手段５５は、図２に示す演算部５５ａと、選出部５５ｂと、照合部５５ｃとを含んでいる。画像照合手段５５は、演算部５５ａにおいて当該比較画像と当該参照画像との距離値を求め、選出部５５ｂにおいて各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める。更に、１つの物体（参照画像）との照合処理（１対１照合）の場合には、照合部５５ｃにおいて当該最小距離値としきい値を比較して同一物体であるか否かを判定する。即ち、しきい値以下であれば同一物体、しきい値以上の場合は同一物体ではないと判定する。また、複数の物体から入力３次元データに最も近い物体（参照画像）を検索する処理（１対Ｎ照合）の場合には、照合部５５ｃにおいて当該最小距離値の最も小さい参照画像を選出する。なお、比較画像と参照画像との類似度を用いて判定する場合には、類似度がしきい値以上の場合に同一物体と判定し、しきい値以下の場合には同一物体ではないと判定する。【００３０】
次に、図１及び図３のフローチャートを参照して本実施例の１対１照合の場合の全体動作について詳細に説明する。ここで、入力３次元データと参照画像Ｒkとを照合する場合について説明する。【００３１】
図３において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。次に、比較画像生成手段４０は姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkに近い比較画像を生成する（ステップ１２０）。画像照合手段５５は当該比較画像と当該参照画像との距離値を求める（ステップ１３０）。更に、距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１４０）。【００３２】
ここで、予め決定した姿勢候補群の中から距離値の最も小さい姿勢候補を選択するとしたが、姿勢候補決定手段２０に戻って順次姿勢候補を変動させながら、距離値の最も小さい姿勢候補を探索しても良い。次に、姿勢推定・照合手段５０は最小距離値としきい値を比較して同一物体であるか否かを判定する（ステップ１５５）。【００３３】
次に、図１及び図４のフローチャートを参照して本実施例の１対Ｎ照合の場合の全体動作について詳細に説明する。図４において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、姿勢推定・照合手段５０は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。その後、ステップ１１０〜１４０の処理を行うが、これは、図３のステップ１１０〜１４０と同一処理である。【００３４】
次に、姿勢推定・照合手段５０は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍ（参照画像の数）との比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ１５２において画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【００３５】
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。なお、ここでは照合対象として人物の顔を例に挙げて説明するが、本発明は他の物体の照合にも適用できることは勿論である。まず、図５に示すように参照画像記憶部３０には、物体ｋの参照画像Ｒk（ｒ）が記憶されている（ｒは画素または特徴のインデックス）。ここで、各画像の姿勢条件は同じとは限らない（照明条件に関する違いは図示していない）。また、参照画像は各物体に１枚としているが、複数枚あっても良い。【００３６】
ここで、１対Ｎ照合の場合について説明する。まず、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図４のステップ１００）。３次元データは図６に示すように物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰQ（ｘ，ｙ，ｚ）とテクスチャＴQ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば、物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。照合の効率化のために、予め３次元データから様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。【００３７】
次に、姿勢推定・照合手段５０は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。次に、姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。姿勢候補群は参照画像に関係なく予め設定しておいても良いが、例えば、参照画像及び３次元データから目・鼻・口等の基準点を手動または自動で抽出し、特開２００１−２８３２２９号公報に記載された物体の位置及び向きを計算する方法を用いることにより、おおよその姿勢を推定し、当該姿勢の近辺で姿勢候補群を生成することもできる。また、入力された３次元データを用いるのではなく、予め用意した代表３次元データ（モデル）を使用して参照画像と照合することにより、予めおおよその姿勢を推定し記憶しておいても良い。【００３８】
次に、比較画像生成手段４０は姿勢候補ｅjに応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkの照明条件に近い比較画像Ｇkj（ｒ）を生成する（ステップ１２０）。ここで、参照画像の照明条件に近い比較画像を生成するためには、予め求めておいた基底画像群を各姿勢候補に基づいて座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように線形和の係数を最小二乗法により求めることにより実現できる。参照画像Ｒ1に対して生成した比較画像の例を図７に示す（濃淡情報は図示していない）。【００３９】
次に、画像照合手段５５は当該比較画像と当該参照画像との距離値を求める（ステップ１３０）。例えば、ユークリッド距離を用いる場合には、
Ｄkj＝Σr｛Ｒk（ｒ）−Ｇkj（ｒ）｝2
により計算できる。類似度Ｓkjを用いる場合には、例えば、
Ｓkj＝ｅｘｐ（−Ｄkj）
により計算できる。この際、姿勢推定・照合手段５０は距離値の最も小さい比較画像を選出することにより最適な姿勢を推定すると共に、３次元データと参照画像Ｒkとの最小距離値Ｄkを、
最小距離値Ｄk＝ｍｉｎjＤkj
により求める（ステップ１４０）。図７の場合、例えば、Ｇ11が選出される。【００４０】
次に、画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行う（ステップ１５２）。この時、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。図６の３次元データの場合には、例えば、参照画像Ｒkに対する最小距離値が｛２０，５０，２５｝と求まったとすると、図５の参照画像Ｒ1が最小距離値の最も小さい参照画像として選出される。【００４１】
なお、本実施例では、比較画像と参照画像との距離値を求めるとしたが、距離値の代わりに類似度を用いても良い。類似度は一例として上述のような計算方法で求めることができる。類似度を用いる場合には、最大類似度が最も大きい参照画像を照合結果とする。
これは、以下の全ての実施例において同様である。【００４２】
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するという構成であるため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するという構成であるため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。【００４３】
（第２の実施例）
図８は本発明の第２の実施例を示すブロック図である。図８では図１と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５１と、参照補正係数記憶部６５とから構成されている。姿勢推定・照合手段５１は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５と、スコア補正手段６０とを含んでいる。図１との違いは、スコア補正手段６０、参照補正係数記憶部６５が追加されている点である。【００４４】
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５は、図１に示す第１の実施例のものと同一の処理を行う。【００４５】
また、参照補正係数記憶部６５には、参照画像に対応して照合スコア（距離値や類似度）を補正するための係数が予め記憶されている。姿勢推定・照合手段５１は、３次元データ入力手段１０より入力された３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求め、更に参照補正係数記憶部６５より得られる補正係数を用いて当該最小距離値を補正する。【００４６】
より具体的には、姿勢候補決定手段２０は少なくとも１つの姿勢候補を生成する。比較画像生成手段４０は、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する。画像照合手段５５は当該比較画像と当該参照画像との距離値を求め、各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める。【００４７】
スコア補正手段６０は参照画像に対応した補正係数を用い、当該最小距離値を補正する。更に、１つの物体（参照画像）との照合処理（１対１照合）の場合には、当該補正された最小距離としきい値を比較して、同一物体であるか否かを判定する。また、複数の物体から入力３次元データに最も近い物体（参照画像）を検索する処理（１対Ｎ照合）の場合には、当該補正された最小距離値の最も小さい参照画像を選出する。【００４８】
次に、図８及び図９のフローチャートを参照して本実施例の１対Ｎ照合の場合の全体動作について詳細に説明する。【００４９】
図９において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、姿勢推定・照合手段５１は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。また、第１の実施例と同様の処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。【００５０】
次いで、スコア補正手段６０は参照画像Ｒkに対応した補正係数を用い、当該最小距離値を補正する（ステップ１６０）。次に、姿勢推定・照合手段５１は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算し、その参照画像に対応する補正係数を用いて最小距離値の補正を行う。ステップ１５２で画像番号ｋが画像数Ｍ以上になると、補正された最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【００５１】
また、１対１照合の場合には、第１の実施例と同様に図９のステップ１００、１１０、１２０、１３０、１４０、１６０の処理を行い、その後、図３のステップ１５５の処理を行う。図３のステップ１５５では、上述のように距離値としきい値とを比較して同一物体であるか否かを判定する。【００５２】
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、参照補正係数記憶部６５には、表１に示すような補正係数が記憶されている。補正係数Ａkは、例えば、予め用意した代表３次元データ(代表的な３次元物体モデル)Ｃh（ｈ＝１，…，Ｈ）を使用して、第１の実施例の画像照合システムにより、各モデルＣhと参照画像Ｒkとの最小距離値Ｄkhを求め、当該最小距離値の平均値Ｅk＝ΣhＤkh／Ｈ（または最小距離値の小さい上位候補に関する平均値）を用い、Ａk＝Ａ／Ｅk（Ａは予め設定された定数）により求める。例えば、Ａ＝２０とし、各参照画像に対する最小距離値の平均値Ｅkが｛５０，４０，２０｝となった場合には、補正係数Ａkは表１のようになる。これは、例えば、参照画像Ｒ1は撮影条件が悪く平均的に距離値が大きくなる傾向があることを示している。【００５３】
【表１】
0004556873.tif 000002
【００５４】
ここで、３次元データ入力手段１０から図６に示すような３次元データを入力されたとする（図９のステップ１００）。姿勢推定・照合手段５１は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。次に、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。【００５５】
次に、スコア補正手段６０は参照画像Ｒkに対応した補正係数を用いて、当該最小距離値を補正する（ステップ１６０）。例えば、補正係数Ａkを用い、最小距離値ＤkはＤk'＝ＡkＤkにより補正できる。また、姿勢推定・照合手段５１は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行う（ステップ１５２）。この時、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算し、且つ、同様に参照画像に対応する補正係数を用いて得られた最小距離値の補正を行う。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、補正された最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。例えば、参照画像Ｒkに対する最小距離値が｛４０，６０，２５｝と求まったとし、表１に示す補正係数を用いると、補正された最小距離値は｛１６，３０，２５｝となり、参照画像Ｒ1が最小距離値の最も小さい参照画像として選出される。【００５６】
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するという構成であるため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するという構成であるため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、参照画像の撮影条件に起因する照合スコア変動を補正して照合するため、各参照画像の撮影条件が異なったり画質の悪い参照画像が存在する場合にも、高精度に照合・検索ができる。【００５７】
なお、第２の実施例では、補正係数Ａkを記憶し、距離値に補正係数Ａkをかけて補正したが、これに限るものではない。例えば、代表３次元モデルＣhと参照画像Ｒkとの最小距離値Ｄkhを全て記憶しておいても良いし、また分布関数を仮定してその関数パラメータを記憶しておいても良い。例えば、正規分布を仮定した場合、平均値Ｅkと標準偏差σkを記憶し、分布を標準正規分布に正規化するようにＤk'＝（Ｄk−Ｅk）／σkにより補正することもできる。【００５８】
（第３の実施例）
図１０は本発明の第３の実施例を示すブロック図である。図１０では図１と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５２と、３次元基準点抽出手段１２と、標準３次元基準点記憶部７２と、標準３次元重み係数記憶部７５と、参照重み係数記憶部７７とから構成されている。姿勢推定・照合手段５２は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５６と、入力重み係数変換手段７０とを含んでいる。【００５９】
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０は、第１の実施例のものと同様の処理を行う。【００６０】
標準３次元基準点記憶部７２には、標準３次元物体モデルに対応した標準３次元基準点が記憶されている。標準３次元重み係数記憶部７５には、標準３次元重み係数が記憶されている。参照重み係数記憶部７７には、参照画像に対応した重み係数が記憶されている。
３次元基準点抽出手段１２は、３次元データ入力手段１０より得られる３次元データに対して、手動または自動的に３次元基準点を抽出する。【００６１】
姿勢推定・照合手段５２は、３次元データ入力手段１０より得られる３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を、入力重み係数変換手段７０より得られる入力データに対応した重み係数や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数を使用して求める。【００６２】
より具体的には、姿勢候補決定手段２０は少なくとも１つの姿勢候補を生成する。比較画像生成手段４０は姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する。入力重み係数変換手段７０は標準３次元基準点記憶部７２より得られる標準３次元基準点と３次元基準点抽出手段１２より得られる３次元データの３次元基準点を用い、標準３次元重み係数記憶部７５より得られる標準３次元重み係数と３次元データ入力手段１０より得られる３次元データとの座標の対応を求め、更に姿勢候補決定手段２０より得られる姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する。【００６３】
画像照合手段５６は、図１１に示す演算部５６ａと、選出部５６ｂと、照合部５６ｃとを含んでいる。画像照合手段５６は、演算部５６ａにおいて当該比較画像と当該参照画像との距離値を、入力重み係数変換手段７０より得られる入力３次元データに対応した重み係数や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数を使用して求め、選出部５６ｂにおいて各参照画像に対して、距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める。更に、１つの物体（参照画像）との照合処理（１対１照合）の場合には、照合部５６ｃにおいて当該最小距離としきい値を比較して同一物体であるか否かを判定する。また、複数の物体から入力３次元データに最も近い物体（参照画像）を検索する処理（１対Ｎ照合）の場合には、照合部５６ｃにおいて当該最小距離値の最も小さい参照画像を選出する。【００６４】
次に、図１０及び図１２のフローチャートを参照して本実施例の１対Ｎ照合の場合の全体動作について詳細に説明する。【００６５】
図１２において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、３次元基準点抽出手段１２は３次元データに対して手動または自動的に３次元基準点を抽出する（ステップ１７０）。次に、姿勢推定・照合手段５２は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。【００６６】
次に、比較画像生成手段４０は姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkに近い比較画像を生成する（ステップ１２０）。次に、入力重み係数変換手段７０は標準３次元基準点と３次元データの３次元基準点を用い、標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する（ステップ１８０）。【００６７】
次に、画像照合手段５６は当該比較画像と当該参照画像との距離値を、入力重み係数変換手段７０より得られる入力３次元データに対応した重み係数や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数を使用して求め（ステップ１３１）、更に、各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める（ステップ１４０）。また、姿勢推定・照合手段５２は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【００６８】
また、１対１照合の場合には、第１の実施例と同様に図１２のステップ１００、１７０、１１０、１２０、１８０、１３１、１４０の処理を行い、その後、図３のステップ１５５の処理を行う。図３のステップ１５５では、上述のように距離値としきい値を比較して同一物体であるか否かを判定する。【００６９】
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、標準３次元基準点記憶部７２には、図１３に示すような標準３次元物体モデルに対応した標準３次元基準点Ｎi0（ｉは基準点のインデックス）が記憶されている。３次元基準点とは、位置合わせを行うための点であり、図１３の例では、例えば、左目中点、右目中点、鼻頂点、左口角点、右口角点の５点を示している。【００７０】
３次元基準点は、予め手動で設定しても良いが、例えば、２００２年９月、ＦＩＴ（情報科学技術フォーラム）２００２、Ｉ−１００、１９９頁〜２００頁、丸亀ら、「形状情報と色情報を併用した顔三次元データからの特徴部位の抽出」に記載の顔特徴抽出方法を用いて自動的に設定しても良い。標準３次元基準点は予め用意した学習用３次元物体モデルの３次元基準点の各点の平均座標、または学習用３次元物体モデルを平均した標準３次元物体モデルから求めた３次元基準点により求めることができる。【００７１】
また、標準３次元重み係数記憶部７５には、図１４に示すような標準３次元重み係数ＶQ0が記憶されている。ここで、図１４の例では、例えば、黒い領域がＶQ0＝１、白い領域がＶQ0＝０、斜線で示す領域は０＜ＶQ0＜１の値を持つとする。標準３次元重み係数は予め用意した学習用３次元物体モデルの３次元重み係数を用い、各学習用３次元物体モデルの３次元基準点が標準３次元基準点に一致するように３次元重み係数の位置合わせを行ってから平均することにより求めることができる。【００７２】
基準点以外の各点の位置合わせは、基準点の対応を内挿または外挿して決めることにより、３次元重み係数の座標値｛ｓ，ｔ｝と標準３次元重み係数の座標値｛ｓ0，ｔ0｝の変換式ｓ0＝Ｈｓ（ｓ，ｔ）、ｔ0＝Ｈｔ（ｓ，ｔ）を設定できる。学習用３次元物体モデルの３次元重み係数は学習用３次元物体モデルの物体を様々な条件で撮影した学習用画像を用いて予め学習できる。具体的には、第１の実施例の画像照合システムを使用し、学習用３次元物体モデルを入力の３次元データとし、学習用画像を参照画像として最適姿勢を求めた際の３次元データから生成された比較画像と参照画像の各画素の誤差を求める。【００７３】
重み係数は照合における画素の重要度を表す量で、例えば、平均誤差の小さい画素は重みを大きく設定できる。３次元重み係数は前記比較画像と３次元物体モデルとの画素の対応に基づいて比較画像と参照画像の各画素の誤差を３次元物体モデル上で平均して平均誤差を求めることにより設定できる。【００７４】
また、参照重み係数記憶部７７には、図１５に示すような参照画像に対応した重み係数Ｕk（ｒ）が記憶されている。図１５の例では、例えば、黒い領域がＵk（ｒ）＝１、白い領域がＵk（ｒ）＝０、斜線で示す領域は０＜Ｕk（ｒ）＜１の値を持つとする。参照画像に対応した重み係数は、例えば、顔領域以外の領域の重みを０に設定したり、輝度値の大きい領域や小さい領域の重みを小さく設定する等し、予め手動または自動的に設定しておく。【００７５】
ここで、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図１２のステップ１００）。３次元基準点抽出手段１２は３次元データに対して手動または自動的に３次元基準点を抽出する（ステップ１７０）。図６の３次元データに対して抽出した３次元基準点の例を図１６に示す。【００７６】
次に、姿勢推定・照合手段５２は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。次に、比較画像生成手段４０は、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkに近い比較画像Ｇkj（ｒ）を生成する（ステップ１２０）。参照画像Ｒ1に対して生成した比較画像の例を図７に示す。【００７７】
次に、入力重み係数変換手段７０は標準３次元基準点と３次元データの３次元基準点を用い、標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数ＶQ0を２次元の重み係数Ｗkj（ｒ）に変換する（ステップ１８０）。図７の比較画像に対応して生成された２次元の重み係数の例を図１７に示す。【００７８】
次に、画像照合手段５６は当該比較画像と当該参照画像との距離値Ｄkj'を、入力重み係数変換手段７０より得られる入力データに対応した重み係数Ｗkj（ｒ）や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数Ｕk（ｒ）を使用して求め（ステップ１３１）、更に各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める（ステップ１４０）。【００７９】
例えば、重み付きユークリッド距離を用いる場合には、
Ｄkj'＝ΣrＷkj（ｒ）Ｕk（ｒ）｛Ｒk（ｒ）−Ｇkj（ｒ）｝2
により計算する。ここで、重み係数Ｗkj（ｒ）、Ｕk（ｒ）は、いずれかのみ使用しても良い。次に、姿勢推定・照合手段５２は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【００８０】
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、部位による重み係数を使用した重み付け照合により画像照合するという構成であるため、更に高精度な照合・検索ができる。【００８１】
なお、第３の実施例では、標準３次元重み係数（及び標準３次元基準点）は１つと説明したが、複数あっても良い。この際、各参照画像に対応してどの標準３次元重み係数を用いるかの情報を予め記憶しておく。また、標準３次元重み係数は、学習用３次元物体モデルから生成された比較画像と学習用画像との画素の誤差平均により求めるとしたが、これに限るものではない。更に、姿勢推定において重み係数を使用し、重み付け距離を計算すると説明したが、姿勢推定においては重み係数を用いない距離計算を使用し、最適姿勢を求めてから再度重み付け距離を計算しても良い。【００８２】
（第４の実施例）
図１８は本発明の第４の実施例を示すブロック図である。図１８では第１の実施例の図１と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５３と、代表３次元物体モデル記憶部３６と、３次元照合手段８０と、グループ記憶部８５と、参照画像選出手段８２とから構成されている。更に、姿勢推定・照合手段５３は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５とを含んでいる。【００８３】
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５は、図１に示す第１の実施例のものと同一の処理を行う。【００８４】
また、代表３次元物体モデル記憶部３６には、予め用意された代表的な３次元物体モデルが記憶されている。グループ記憶部８５には、代表３次元物体モデルと参照画像の関連情報（代表３次元物体モデルと参照画像とを対応付ける情報）が予め記憶されている。【００８５】
３次元照合手段８０は３次元データ入力手段１０より得られる３次元データと、代表３次元物体モデル記憶部３６より得られる各代表３次元物体モデルとの照合を行い、最も類似した代表３次元物体モデルを選択する。参照画像選出手段８２は、グループ記憶部８５より得られる関連情報から、３次元照合手段８０より得られる選択された代表３次元物体モデルに対応する参照画像群を選出する。【００８６】
姿勢推定・照合手段５３は、３次元データ入力手段１０より得られる３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求め、当該最小距離値の最も小さい参照画像を選出する。ここで、対象とする参照画像は参照画像選出手段８２より得られる参照画像群とする。【００８７】
次に、図１８、図１９及び図２０のフローチャートを参照して本実施例の全体の動作について詳細に説明する。まず、３次元データ入力手段１０により３次元データを入力する（図１９のステップ１００）。次に、３次元照合手段８０は初めに代表３次元物体モデルのモデル番号をｈ＝１とする（ステップ２１０）。次に、３次元照合手段８０は３次元データと各代表３次元物体モデルＣhとの類似度Ｓhを求める（ステップ２２０）。次に、モデル番号ｈを１増やし（ステップ２１１）、モデル番号ｈとモデル数Ｈとの比較を行い（ステップ２１２）、モデル番号ｈがモデル数Ｈ以下の場合には、ステップ２１０に戻って同様の処理を行い、次の代表３次元物体モデルとの類似度を計算する。【００８８】
ステップ２１２において全ての代表３次元物体モデルとの照合が終わったら、類似度の最も大きいモデルＣhを選択する（ステップ２２１）。次に、参照画像選出手段８２はグループ記憶部８５より得られる関連情報から、選択された代表３次元物体モデルに対応する参照画像群を選出する（ステップ２３０）。なお、図１９のステップ２３０は図２０のステップ１５０に続いている。【００８９】
次に、姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群Ｌに含まれるか否かを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合には、ステップ１５１に進む。【００９０】
ステップ１１０に進んだ場合には、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。次に、姿勢推定・照合手段５３は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ２４０に戻って同様の処理を行う。最後に、画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【００９１】
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、代表３次元物体モデル記憶部３６には、図２１に示すような代表３次元物体モデルＣhが記憶されている。グループ記憶部８５には、表２に示すような代表３次元物体モデルに対応して、当該代表３次元物体モデルを使用して参照画像を照合した際の上位候補（参照画像群）の画像番号が記憶されている。これは、各代表３次元物体モデルＣhを第１の実施例の画像照合システムの入力とした際の照合結果が、例えば、表３のようになった場合、距離値４０以下の参照画像候補を残すと、表２のようなリストが得られる。【００９２】
【表２】
0004556873.tif 000003
【００９３】
【表３】
0004556873.tif 000004
【００９４】
ここで、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図１９のステップ１００）。３次元照合手段８０は初めに代表３次元物体モデルのモデル番号をｈ＝１とする（ステップ２１０）。次に、３次元データと各代表３次元物体モデルＣhとの類似度Ｓhを求める（ステップ２２０）。この３次元データ同士を照合する手段としては、例えば、特開平４−１１９４７５号公報に記載された三次元形状識別装置等の既存の技術を利用することができる。【００９５】
次に、モデル番号ｈを１増やし（ステップ２１１）、モデル番号ｈとモデル数Ｈとの比較を行い（ステップ２１２）、モデル番号ｈがモデル数Ｈ以下の場合には、ステップ２１０に戻って同様の処理を行い、次の代表３次元物体モデルとの類似度を計算する。ステップ２１２において全ての代表３次元物体モデルとの照合が終わったら、類似度の最も大きいモデルＣhを選択する（ステップ２２１）。【００９６】
例えば、モデルＣhとの類似度が｛０．７，０．９｝となったとすると、モデルＣ2が選択される。次に、参照画像選出手段８２は表２に示すグループ記憶部８５より得られるリストから、選択された代表３次元物体モデルＣ2に対応する参照画像群｛Ｒ1，Ｒ3｝を選出する（ステップ２３０）。この後、図２０の処理に移行する。【００９７】
姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群Ｌに含まれるか否かを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合にはステップ１５１に進む。【００９８】
ここでは、Ｒ1，Ｒ3の場合にはステップ１１０に進み、Ｒ2の場合にはステップ１５１に進む。ステップ１１０に進んだ場合には、第１の実施例と同様の処理を行うことにより姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。次に、姿勢推定・照合手段５３は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｈ以下の場合には、ステップ２４０に戻って同様の処理を行う。ここでは、Ｒ1，Ｒ3の場合には最小距離値が計算される。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【００９９】
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、代表３次元物体モデルとの照合により参照画像を選出するように構成されているため、高速な検索ができる。【０１００】
なお、第４の実施例では、選択する代表３次元物体モデルは１つと説明したが、複数選択しても良い。この場合、各代表３次元物体モデルに対応する参照画像群の合併集合を参照画像群とする。【０１０１】
（第５の実施例）
図２２は本発明の第５の実施例の構成を示すブロック図である。図２２では図１や図１８と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５３と、代表画像記憶部３１と、第２の姿勢推定・照合手段（代表画像選択手段）５４と、グループ記憶部８６と、参照画像選出手段８２とから構成されている。姿勢推定・照合手段５０，５３は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５とを含んでいる。【０１０２】
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５は、図１に示す第１の実施例のものと同一の処理を行う。【０１０３】
また、代表画像記憶部３１には、予め用意された代表的な画像が記憶されている。これは、参照画像記憶部３０における参照画像の一部であっても良いし、当該参照画像の平均等により生成された新たな画像であっても良い。また、参照画像記憶部３０における参照画像の一部である場合には、画像番号のみを記憶し、参照画像記憶部３０における参照画像を参照するようにしても良い。【０１０４】
グループ記憶部８６には、代表画像と参照画像の関連情報（代表画像と参照画像とを対応付ける情報）が予め記憶されている。第２の姿勢推定・照合手段５４は３次元データ入力手段１０より得られる３次元データと、代表画像記憶部３１より得られる各代表画像との照合を行い、最も類似した代表画像を選択する。参照画像選出手段８２はグループ記憶部８６より得られる関連情報から、第２の姿勢推定・照合手段５４より得られる選択された代表画像に対応する参照画像群を選出する。【０１０５】
姿勢推定・照合手段５３は３次元データ入力手段１０より得られる３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求め、当該最小距離値の最も小さい参照画像を選出する。ここで、対象とする参照画像は参照画像選出手段８２より得られる参照画像群とする。【０１０６】
次に、図２２、図２３及び図２０のフローチャートを参照して本実施例の全体動作について詳細に説明する。まず、図２３に示すように３次元データ入力手段１０により３次元データを入力する（図２３のステップ１００）。第２の姿勢推定・照合手段５４は初めに代表画像の画像番号をｈ＝１とする（ステップ２１５）。次に、３次元データと各代表画像Ｒ’hとの類似度Ｓhを求める（ステップ２２５）。【０１０７】
次に、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈと画像数Ｈとの比較を行い（ステップ２１７）、画像番号ｈが画像数Ｈ以下の場合には、ステップ２２５に戻って同様の処理を行い、次の代表画像との類似度を計算する。ステップ２１７で全ての代表画像との照合が終わったら、類似度の最も大きい代表画像Ｒ’hを選択する（ステップ２２６）。次に、参照画像選出手段８２はグループ記憶部８６より得られる関連情報から、選択された代表画像に対応する参照画像群を選出する（ステップ２３５）。図２３のステップ２３５は図２０のステップ１５０に続いている。【０１０８】
姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群に含まれるかどうかを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合にはステップ１５１に進む。【０１０９】
ステップ１１０に進んだ場合には、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。次に、姿勢推定・照合手段５３は、画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｈ以下の場合には、ステップ２４０に戻って同様の処理を行い、次の参照画像との最小距離値を求める。最後に、ステップ１５２で画像数ｋが画像数Ｍ以上になった場合には、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【０１１０】
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、代表画像記憶部３１には、図２４に示すような代表画像Ｒ’hが記憶されている。グループ記憶部８６には、表４に示すような代表画像に対応して当該代表画像を使用し参照画像を照合した際の上位候補（参照画像群）の画像番号が記憶されている。この照合には、上述の特許文献１、２等に記載の既存の画像照合システムを用いることができる。【０１１１】
【表４】
0004556873.tif 000005
【０１１２】
ここで、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図２３のステップ１００）。第２の姿勢推定・照合手段５４は初めに代表画像の画像番号をｈ＝１とする（ステップ２１５）。次に、３次元データと各代表画像Ｒ’hとの類似度Ｓhを求める（ステップ２２５）。次に、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈと画像数Ｈとの比較を行い（ステップ２１７）、画像番号ｈが画像数Ｈ以下の場合には、ステップ２１５に戻って同様の処理を行い、次の代表画像との類似度を計算する。【０１１３】
ステップ２１７で全ての代表画像との照合が終わったら、類似度の最も大きい代表画像Ｒ’hを選択する（ステップ２２６）。例えば、代表画像Ｒ’hとの類似度が｛０．７，０．９｝となったとすると、代表画像Ｒ’2が選択される。次に、参照画像選出手段８２は表４に示すグループ記憶部８６より得られるリストから、選択された代表画像Ｒ’2に対応する参照画像群｛Ｒ1，Ｒ3｝を選出する（ステップ２３５）。この後、図２０の処理を行う。【０１１４】
姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群に含まれるかどうかを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合にはステップ１５１に進む。【０１１５】
ここでは、Ｒ1，Ｒ3の場合にはステップ１１０に進み、Ｒ2の場合にはステップ１５１に進む。ステップ１１０に進んだ場合には、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜ステップ１４０）。次に、姿勢推定・照合手段５３は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ２４０に戻って同様の処理を行う。ここでは、Ｒ1，Ｒ3の場合に最小距離値が計算される。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。【０１１６】
なお、第５の実施例では、選択する代表画像は１つとしたが、複数選択しても良い。
この場合、各代表画像に対応する参照画像群の合併集合を参照画像群とする。【０１１７】
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、代表画像との照合により参照画像を選出するため、高速な検索ができる。【０１１８】
なお、第１〜第５の実施例では、３次元データ（モデル）は物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状とテクスチャを情報として持っているとしたが、同等の情報が得られればこれに限るものではない。例えば、ある方向からの物体表面への距離を画像として表現した距離画像と当該方向から撮影したテクスチャ画像等でも良い。【０１１９】
ここで、本発明の画像照合システムは、構成要素である各手段の機能をハードウェア的に実現できることは勿論として、上記第１〜第５の実施例の各手段の機能を実行する画像照合プログラム（アプリケーション）をコンピュータ処理装置のメモリにロードしてコンピュータ処理装置を制御することで実現することができる。この画像照合プログラムは磁気ディスク、半導体メモリ、その他の記録媒体に格納し、その記録媒体からコンピュータ処理装置にロードし、コンピュータ処理装置の動作を制御することにより上述した各機能を実現する。
【産業上の利用可能性】
【０１２０】
本発明は、データベースから人の顔等の物体の画像を検索する画像照合システムや、画像照合システムをコンピュータで実現するためのプログラムといった用途に適用できる。
また、ネットワークやインターネット上に存在する人の顔等の物体の画像を検索するといった用途にも適用可能である。更に、身分証明写真等の画像とそれを保持する人物が同一人物であるかを判定するといった用途にも好適に使用することが可能である。
【図１】
0004556873.tif 000006
【図２】
0004556873.tif 000007
【図３】
0004556873.tif 000008
【図４】
0004556873.tif 000009
【図５】
0004556873.tif 000010
【図６】
0004556873.tif 000011
【図７】
0004556873.tif 000012
【図８】
0004556873.tif 000013
【図９】
0004556873.tif 000014
【図１０】
0004556873.tif 000015
【図１１】
0004556873.tif 000016
【図１２】
0004556873.tif 000017
【図１３】
0004556873.tif 000018
【図１４】
0004556873.tif 000019
【図１５】
0004556873.tif 000020
【図１６】
0004556873.tif 000021
【図１７】
0004556873.tif 000022
【図１８】
0004556873.tif 000023
【図１９】
0004556873.tif 000024
【図２０】
0004556873.tif 000025
【図２１】
0004556873.tif 000026
【図２２】
0004556873.tif 000027
【図２３】
0004556873.tif 000028
【図２４】
0004556873.tif 000029
【図２５】
0004556873.tif 000030
【図２６】
0004556873.tif 000031
【図２７】
0004556873.tif 000032