(57)【特許請求の範囲】
【請求項１】
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
前記参照３次元物体モデルに対応し、照合における重要度に関する参照３次元重み係数を予め記憶している参照３次元重み係数記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記参照３次元物体モデルを用い、前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有する物体姿勢推定・照合システム。
【請求項２】
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
複数の物体の３次元重み係数を平均化した標準３次元重み係数を予め記憶している標準３次元重み係数記憶手段と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記標準３次元基準点と前記参照３次元基準点を用い、前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有する物体姿勢推定・照合システム。
【請求項３】
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
前記参照３次元物体モデルおよび画像変動に対応し、照合における重要度に関する参照３次元重み係数を予め記憶している変動別参照３次元重み係数記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記参照３次元物体モデルを用い、推定された前記変動に対応する前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有する物体姿勢推定・照合システム。
【請求項４】
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
複数の物体の３次元重み係数を平均化し、画像変動に対応した標準３次元重み係数を予め記憶している変動別標準３次元重み係数記憶手段と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記標準３次元基準点と前記参照３次元基準点を用い、推定された前記変動に対応する前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有する物体姿勢推定・照合システム。
【請求項５】
前記参照３次元物体モデル記憶部に参照３次元物体モデルを登録する３次元物体モデル登録手段と、
学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択手段と、
入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより前記参照３次元重み係数を生成し、前記参照３次元重み係数記憶手段に登録する３次元重み係数生成手段と、
をさらに有する、請求項１記載のシステム。
【請求項６】
前記参照３次元物体モデル記憶手段に参照３次元物体モデルを登録する３次元物体モデル登録手段と、
学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択手段と、
入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を入力画像の画像変動別に学習することにより変動別の前記参照３次元重み係数を生成し、前記変動別参照３次元重み係数記憶手段に登録する３次元重み係数生成手段と、
をさらに有する、請求項３記載のシステム。
【請求項７】
前記参照３次元物体モデル記憶手段に参照３次元物体モデルを登録する３次元物体モデル登録手段と、
前記参照３次元物体モデルに対して参照３次元基準点を求め、前記参照３次元基準点記憶手段に登録する３次元基準点登録手段と、
をさらに有する、請求項２または４記載の照合システム。
【請求項８】
物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
前記参照画像および画像変動に対応し、照合における重要度に関する、姿勢・変動別の参照重み係数を予め記憶している姿勢・変動別参照重み係数記憶手段と、
標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
入力画像を正規化し、正規化画像を生成する正規化手段と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有する物体姿勢推定・照合システム。
【請求項９】
物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
画像変動に対応し、複数の物体の重み係数を平均化した、姿勢・変動別の標準重み係数を予め記憶している姿勢・変動別標準重み係数記憶手段と、
標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
入力画像を正規化し、正規化画像を生成する正規化手段と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有する物体姿勢推定・照合システム。
【請求項１０】
前記姿勢別参照画像記憶手段に姿勢別の参照画像を登録する姿勢別参照画像登録手段と、
学習用の入力画像と前記参照画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択手段と、
前記入力画像と最適姿勢の参照画像を用い、各画素の照合における重要度を姿勢別および前記入力画像の画像変動別に学習することにより姿勢・変動別参照重み係数を生成し、前記姿勢・変動別参照重み係数記憶手段に登録する姿勢・変動別重み係数生成手段と、
をさらに有する請求項８記載のシステム。
【請求項１１】
前記姿勢別参照画像記憶手段に姿勢別の参照画像を登録する姿勢別参照画像登録手段をさらに有する、請求項９記載のシステム。
【請求項１２】
前記画像変動は照明条件である、請求項３、４、６、７、８、９、１０、１１のいずれか１項に記載のシステム。
【請求項１３】
前記画像変動は形状変形である、請求項３、４、６、７、８、９、１０、１１のいずれか１項に記載のシステム。
【請求項１４】
前記物体は顔である、請求項１から請求項１１のいずれか１項に記載の物体姿勢推定・照合システム。
【請求項１５】
物体の参照３次元物体モデルを予め記憶する処理と、
前記参照３次元物体モデルに対応し、照合における重要度に関する参照３次元重み係数を予め記憶する処理と、
物体の姿勢候補を決定する姿勢候補決定処理と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
前記参照３次元物体モデルを用い、前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換処理と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
をコンピュータに実行させる物体姿勢推定・照合プログラム。
【請求項１６】
物体の参照３次元物体モデルを予め記憶する処理と、
複数の物体の３次元重み係数を平均化した標準３次元重み係数を予め記憶する処理と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶する処理と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶する処理と、
物体の姿勢候補を決定する姿勢候補決定処理と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
前記標準３次元基準点と前記参照３次元基準点を用い、前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換処理と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
をコンピュータに実行させる物体姿勢推定・照合プログラム。
【請求項１７】
物体の参照３次元物体モデルを予め記憶する処理と、
前記参照３次元物体モデルおよび画像変動に対応し、照合における重要度に関する参照３次元重み係数を予め記憶する処理と、
物体の姿勢候補を決定する姿勢候補決定処理と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、該入力画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
前記参照３次元物体モデル用い、推定された前記変動に対応する前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換処理と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
をコンピュータに実行させる物体姿勢推定・照合プログラム。
【請求項１８】
物体の参照３次元物体モデルを予め記憶する処理と、
複数の物体の３次元重み係数を平均化し、画像変動に対応した標準３次元重み係数を予め記憶する処理と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶する処理と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶する処理と、
物体の姿勢候補を決定する姿勢候補決定処理と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、入力画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
前記標準３次元基準点と前記参照３次元基準点を用い、推定された前記変動に対応する前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換処理と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
をコンピュータに実行させる物体姿勢推定・照合プログラム。
【請求項１９】
参照３次元物体モデルを登録する３次元物体モデル登録処理と、
学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択処理と、
入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより前記参照３次元重み係数を生成し、登録する３次元重み係数生成処理と、
をコンピュータにさらに実行させる、請求項１５記載の物体姿勢推定・照合プログラム。
【請求項２０】
参照３次元物体モデルを登録する３次元物体モデル登録処理と、
学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択処理と、
前記入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を入力画像の画像変動別に学習することにより変動別の前記参照３次元重み係数を生成し、登録する３次元重み係数生成処理と、
をコンピュータにさらに実行させる、請求項１７記載の物体姿勢推定・照合プログラム。
【請求項２１】
参照３次元物体モデルを登録する３次元物体モデル登録処理と、
前記参照３次元物体モデルに対して参照３次元基準点を求め、登録する３次元基準点登録処理と、
をコンピュータにさらに実行させる、請求項１６または１８記載の物体姿勢推定・照合プログラム。
【請求項２２】
物体の姿勢別の参照画像を予め記憶する処理と、
前記参照画像および画像変動に対応し、照合における重要度に関する、姿勢・変動別の参照重み係数を予め記憶する処理と、
標準３次元物体モデルを予め記憶する処理と、
入力画像を正規化し、正規化画像を生成する正規化処理と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
をコンピュータに実行させる物体姿勢推定・照合プログラム。
【請求項２３】
物体の姿勢別の参照画像を予め記憶する処理と、
画像変動に対応し、複数の物体の重み係数を平均化した、姿勢・変動別の標準重み係数を予め記憶する処理と、
標準３次元物体モデルを予め記憶する処理と、
入力画像を正規化し、正規化画像を生成する正規化処理と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
をコンピュータに実行させる物体姿勢推定・照合プログラム。
【請求項２４】
姿勢別の参照画像を登録する姿勢別参照画像登録処理と、
学習用の入力画像と前記参照画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択処理と、
前記入力画像と最適姿勢の参照画像を用い、各画素の照合における重要度を姿勢別および前記入力画像の画像変動別に学習することにより姿勢・変動別参照重み係数を生成し、登録する姿勢・変動別重み係数生成処理と、
をコンピュータにさらに実行させる、請求項２２記載の物体姿勢推定・照合プログラム。
【請求項２５】
姿勢別の参照画像を登録する姿勢別参照画像登録処理をコンピュータにさらに実行させる、請求項２３記載の物体姿勢推定・照合プログラム。
【請求項２６】
前記画像変動は照明条件である、請求項１７、１８、２０、２１、２２、２３、２４、２５のいずれか１項に記載の物体姿勢推定・照合プログラム。
【請求項２７】
前記画像変動は形状変形である、請求項１７、１８、２０、２１、２２、２３、２４、２５のいずれか１項に記載の物体姿勢推定・照合プログラム。
【請求項２８】
前記物体は顔である、請求項１５から請求項２５のいずれか１項に記載の物体姿勢推定・照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、姿勢、照明等の異なる条件で撮影された物体（人物の顔を含む）の入力画像を、データベース（ＤＢ）にある参照画像や３次元物体モデルと照合し、物体の姿勢の推定や照合を行う物体姿勢推定・照合システムに関する。
【背景技術】
【０００２】  従来の物体姿勢推定・照合システムの一例が、１９９５年、電子情報通信学会論文誌Ｄ−ＩＩ、第Ｊ７８−Ｄ−ＩＩ巻、第１１号、１６３９頁〜１６４９頁、嶌田ら、「顔の向きによらない人物識別のための辞書構成法」（以下、第１の従来技術と称する）に記載されている。図１に示すように、第１の従来技術の物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、照合・姿勢選択部４１と、姿勢別参照画像記憶部８５とを備える。【０００３】  このような構成を有する従来の物体姿勢推定・照合システムは、以下のように動作する。姿勢別参照画像記憶部８５には、各物体を様々な姿勢条件で撮影した少なくとも１つの姿勢別参照画像が記憶されている。各姿勢別参照画像は、姿勢毎に撮影した１つの画像または複数の画像の平均から生成される。画像入力部１０は、カメラ等により実現され、撮影した入力画像をメモリ（図示せず）に記憶する。入力画像は、記録されたファイルから読み込まれたり、ネットワークを介して取得してもよい。正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する。ここでは、特徴点として例えば目や口のような特徴的な部分の位置を検出して位置合わせを行う。前記姿勢別参照画像も、正規化処理が実行され記憶されている。正規化画像は、特徴抽出処理を行った特徴を用いることも多い。照合・姿勢選択部４１は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との距離値（類似度）を計算し、当該物体に対して最も距離値の小さい（類似度の大きい）参照画像を選択することにより、最適姿勢を推定する。距離値の計算には、例えば正規化相関やユークリッド距離などが使用される。また、１つの物体との照合処理（１対１照合）の場合は、最小距離値をしきい値と比較して、同一物体であるか否かを判定する。また、複数の物体（参照画像）から入力画像に最も近い物体を検索する処理（１対Ｎ照合）の場合は、各物体に対して求めた最小距離値のうち、距離値の最も小さい物体を抽出する。【０００４】  従来の物体姿勢推定・照合システムの他の一例が、特開２００３−５８８９６号（以下、第２の従来技術と称する）に記載されている。図２に示すように、第２の従来技術の物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、照合・姿勢選択部４１と、参照３次元物体モデル記憶部５５とを備える。【０００５】  このような構成を有する従来の物体姿勢推定・照合システムは、以下のように動作する。参照３次元物体モデル記憶部５５には、各物体の参照３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）が登録されている。姿勢候補決定部３０は、少なくとも１つの姿勢候補を決定する。比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルを基に、入力画像の照明条件に近い比較画像を姿勢候補毎に生成する。照合・姿勢選択部４１は、入力画像と各比較画像との距離値（類似度）を計算し、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより最適姿勢を推定する。【０００６】  従来の物体照合システ��の他の一例が、２００３年、Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ、第２４巻、４９９頁〜５０７頁、Ｇｕｏら、「Ｈｕｍａｎ  ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｓｐａｔｉａｌｌｙ  ｗｅｉｇｈｔｅｄ  Ｈａｕｓｄｏｒｆｆ  ｄｉｓｔａｎｃｅ」（以下、第３の従来技術と称する）に記載されている。図３に示すように、第３の従来技術の物体照合システムは、画像入力部１０と、正規化部１５と、加重照合部４５と、参照画像記憶部８９と、重み係数記憶部９９とを備える。【０００７】  このような構成を有する従来の物体照合システムは、以下のように動作する。画像入力部１０と正規化部１５は、図１に示した第１の従来技術における同じ参照番号の構成要素の処理と同じ処理を行う。参照画像記憶部８９には、各物体に対して少なくとも１つの参照画像が記憶されている。重み係数記憶部９９には、正規化画像と参照画像を比較する際の各画素（または特徴）の重み係数が記憶されている。加重照合部４５は、前記正規化画像と、参照画像記憶部８９より得られる各物体の参照画像との距離値（類似度）を計算し、最も距離値の小さい参照画像を選択することにより照合を行う。例えば、距離計算にユークリッド距離を使用する場合、正規化画像をｘ（ｒ）、参照画像をｍ（ｒ）、重み係数をｗ（ｒ）とすると（ｒは画素または特徴のインデックス）、重み付きユークリッド距離は、Ｄ＝Σｒｗ（ｒ）｛ｘ（ｒ）−ｍ（ｒ）｝２により計算される。【０００８】  上述した従来の物体照合システムは、以下に述べるような問題点を有している。【０００９】  第１および第２の従来技術では、姿勢推定や照合はできるものの、物体の局所的な変形や撮影条件の違い等により、入力画像とＤＢの参照画像または比較画像に局所的に大きな差異が生じるような場合に、姿勢推定や照合の精度が低下するという問題点がある。【００１０】  その理由は、物体が変形していると、大局的に姿勢を合わせても局所的に部位の対応が合わなくなり、当該部位での画素値（または特徴）に差異が生じるためである。また、物体に変形がなく部位が正しく対応している場合でも、第１の従来技術では、入力画像と参照画像の撮影条件が異なると、局所的に大きな差異が生じる部位が発生するためである。例えば、照明条件が異なると、影の発生する部位が異なる。また、第２の従来技術では、３次元物体計測における観測誤差や比較画像生成における生成手法の簡略化などにより、入力画像に最も近い比較画像を生成しても、部分的には差異が生じてしまう場合があるためである。【００１１】  第３の従来技術では、入力画像と参照画像における物体の姿勢や照明条件が異なると、照合精度が低下するという問題点がある。【００１２】  その理由は、重み係数は物体の部位に対応して設定されているが、姿勢条件が異なると、部位の対応が合わなくなり、正しく重み付け照合ができなくなるためである。また、照明条件が異なると、照合に重要な部位は変化することが多いが、重み係数は同じであるため、適切な重み付け照合ができないためである。
【発明の開示】
【００１３】  本発明の目的は、入力画像とＤＢとの比較に局所的に大きな差異が生じるような場合でも、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる物体姿勢推定・照合システムを提供することにある。
【００１４】  本発明の他の目的は、変形や照明条件等の変動が生じる場合でも、変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる物体姿勢推定・照合システムを提供することにある。
【００１５】
本発明の第１の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
前記参照３次元物体モデルに対応し、照合における重要度に関する参照３次元重み係数を予め記憶している参照３次元重み係数記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記参照３次元物体モデルを用い、前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。
【００１６】  ３次元物体モデルに対応させて３次元重み係数を生成して記憶し、照合の際は姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。
【００１７】
本発明の第２の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
複数の物体の３次元重み係数を平均化した標準３次元重み係数を予め記憶している標準３次元重み係数記憶手段と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記標準３次元基準点と前記参照３次元基準点を用い、前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。
【００１８】  姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。
【００１９】
本発明の第３の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
前記参照３次元物体モデルおよび画像変動に対応し、照合における重要度に関する参照３次元重み係数を予め記憶している変動別参照３次元重み係数記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記参照３次元物体モデルを用い、推定された前記変動に対応する前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。
【００２０】  姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。また、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。
【００２１】
本発明の第４の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
複数の物体の３次元重み係数を平均化し、画像変動に対応した標準３次元重み係数を予め記憶している変動別標準３次元重み係数記憶手段と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記標準３次元基準点と前記参照３次元基準点を用い、推定された前記変動に対応する前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段
を有している。
【００２２】  姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。また、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。
【００２７】
本発明の第５の態様によれば、物体姿勢推定・照合システムは、
物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
前記参照画像および画像変動に対応し、照合における重要度に関する、姿勢・変動別の参照重み係数を予め記憶している姿勢・変動別参照重み係数記憶手段と、
標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
入力画像を正規化し、正規化画像を生成する正規化手段と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。
姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。また、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。
【００２８】
本発明の第６の態様によれば、物体姿勢推定・照合システムは、
物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
画像変動に対応し、複数の物体の重み係数を平均化した、姿勢・変動別の標準重み係数を予め記憶している姿勢・変動別標準重み係数記憶手段と、
標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
入力画像を正規化し、正規化画像を生成する正規化手段と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。
【００２９】  姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。また、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。
【図面の簡単な説明】
【００３０】
【図１】図１は第１の従来技術の構成を示すブロック図；
【図２】図２は第２の従来技術の構成を示すブロック図；
【図３】図３は第３の従来技術の構成を示すブロック図；
【図４】図４は本発明の第１の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図５】図５は第１の実施例の動作（姿勢推定）を示すフローチャート；
【図６】図６は第１の実施例の動作（１対１照合）を示すフローチャート；
【図７】図７は第１の実施例の動作（１対Ｎ照合）を示すフローチャート；
【図８】図８は第１の実施例の動作（登録）を示すフローチャート；
【図９】図９は第１の実施例における３次元物体モデルの座標の具体例を示す図；
【図１０】図１０は第１の実施例における参照３次元物体モデルの具体例を示す図；
【図１１】図１１は第１の実施例における参照３次元重み係数の具体例を示す図；
【図１２】図１２は第１の実施例における入力画像の具体例を示す図；
【図１３】図１３は第１の実施例における比較画像の具体例を示す図；
【図１４】図１４は第１の実施例における２次元重み係数の具体例を示す図；
【図１５】図１５は第１の実施例における学習用画像の具体例を示す図；
【図１６】図１６は第１の実施例における比較画像の具体例を示す図；
【図１７】図１７は本発明の第２の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図１８】図１８は第２の実施例の動作（姿勢推定）を示すフローチャート；
【図１９】図１９は第２の実施例における標準３次元重み係数の具体例を示す図；
【図２０】図２０は第２の実施例における標準３次元基準点の具体例を示す図；
【図２１】図２１は第２の実施例における参照３次元基準点の具体例を示す図；
【図２２】図２２は第２の実施例における２次元重み係数の具体例を示す図；
【図２３】図２３は本発明の第３の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図２４】図２４は第３の実施例の動作（姿勢推定）を示すフローチャート；
【図２５】図２５は第３の実施例の動作（登録）を示すフローチャート；
【図２６】図２６は第３の実施例における変動（照明条件）の具体例を示す図；
【図２７】図２７は第３の実施例における変動別参照３次元重み係数の具体例を示す図；
【図２８】図２８は３の実施例における入力画像の具体例を示す図；
【図２９】図２９は第３の実施例における比較画像の具体例を示す図；
【図３０】図３０は第３の実施例における２次元重み係数の具体例を示す図；
【図３１】図３１は本発明の第４の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図３２】図３２は第４の実施例の動作（姿勢推定）を示すフローチャート；
【図３３】図３３は第４の実施例における変動別標準３次元重み係数の具体例を示す図；
【図３４】図３４は第４の実施例における２次元重み係数の具体例を示す図；
【図３５】図３５は本発明の第５の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図３６】図３６は第５の実施例の動作（姿勢推定）を示すフローチャート；
【図３７】図３７は第５の実施例の動作（登録）を示すフローチャート；
【図３８】図３８は第５の実施例における姿勢別参照画像の具体例を示す図；
【図３９】図３９は第５の実施例における姿勢別参照重み係数の具体例を示す図；
【図４０】図４０は第５の実施例における正規化画像の具体例を示す図；
【図４１】図４１は本発明の第６の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図４２】図４２は第６の実施例の動作（姿勢推定）を示すフローチャート；
【図４３】図４３は第６の実施例における姿勢別標準重み係数の具体例を示す図；
【図４４】図４４は本発明の第７の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図４５】図４５は第７の実施例の動作（姿勢推定）を示すフローチャート；
【図４６】図４６は第７の実施例の動作（登録）を示すフローチャート；
【図４７】図４７は第７の実施例における姿勢・変動別参照重み係数の具体例を示す図；
【図４８】図４８は本発明の第８の実施例による物体姿勢推定・照合システムの構成を示すブロック図；
【図４９】図４９は第８の実施例の動作（姿勢推定）を示すフローチャート；
【図５０】図５０は第８の実施例における姿勢・変動別標準重み係数の具体例を示す図である。
【発明を実施するための最良の形態】
【００３１】  ［第１の実施例］
図４を参照すると、本発明の第１の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６０と、参照３次元物体モデル記憶部５５と、参照３次元重み係数記憶部６５と、登録部２とから構成されている。登録部２は、３次元物体モデル登録部５０と、照合・姿勢選択部４１と、３次元重み係数生成部６２から構成されている。【００３２】  画像入力手段部１０と、比較画像生成部２０と、姿勢候補決定部３０と、参照３次元物体モデル記憶部５５と、照合・姿勢選択部４１については、図２に示した第２の従来技術における同じ参照番号が付された構成要素の処理と同じ処理を行う。【００３３】  参照３次元重み係数記憶部６５には、各物体の参照３次元物体モデルに対応した参照３次元重み係数が記憶されている。【００３４】  重み係数変換部６０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルを用い、参照３次元重み係数記憶部６５より得られる参照３次元重み係数を、姿勢候補決定部３０より得られる姿勢候補に応じて２次元重み係数に変換する。【００３５】  加重照合・姿勢選択部４０は、画像入力部１０より得られる入力画像と比較画像生成部２０より得られる各姿勢候補に応じた比較画像との重み付き距離（類似度）を、重み係数変換部６０より得られる２次元重み係数を用いて計算し、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより最適姿勢を推定する。【００３６】  ここで、従来技術と同様に、１つの物体との照合処理（１対１照合）の場合は、更に最小距離値をしきい値を比較することにより、同一物体であるか否かを判定する。また、複数の物体から入力画像に最も近い物体を検索する処理（１対Ｎ照合）の場合は、各物体に対して求めた最小距離値のうち、距離値の最も小さい物体を抽出する。【００３７】  ３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に参照３次元物体モデルを登録する。【００３８】  ３次元重み係数生成部６２は、照合・姿勢選択部４１より得られた最適姿勢の比較画像と入力画像を用い、参照３次元物体モデル記憶部５５より得られた参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより参照３次元重み係数を生成し、参照３次元重み係数記憶部６５に登録する。【００３９】  次に、図４と図５のフローチャートを参照して本実施例の姿勢推定における全体の動作について詳細に説明する。【００４０】  まず、画像入力部１０によりモデル（物体）の入力画像が得られる（図５のステップ１００）。次に、姿勢候補決定部３０において姿勢候補群｛ｅｊ｝を決定する（ステップ１１０）。次に、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られた参照３次元物体モデルＣｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。重み係数変換部６０は、上記参照３次元物体モデルを用い、参照３次元重み係数記憶部６５より得られる参照３次元重み係数を、姿勢候補に応じて２次元重み係数に変換する（ステップ１３０）。最後に、加重照合・姿勢選択部４０は、入力画像と各比較画像との重み付き距離Ｄｋｊ（類似度）を、２次元重み係数を用いて計算し（ステップ１４０）、入力画像の当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。【００４１】  ここで、予め決定した姿勢候補群の中から距離値の最も小さい姿勢候補を選択するとしたが、姿勢候補決定部３０に戻って順次姿勢候補を変動させながら、距離値の最も小さい姿勢候補を探索してもよい。【００４２】  次に、図４と図６のフローチャートを参照して本実施例の１対１照合における全体の動作について詳細に説明する。【００４３】  図６のステップ１００からステップ１５０は、図５の姿勢推定におけるステップ１００からステップ１５０による処理と同じの処理を行う。最後に、加重照合・姿勢選択部４０は、更に最小距離値としきい値を比較して、同一物体であるか否かを判定する（ステップ１６０）。【００４４】  次に、図４と図７のフローチャートを参照して本実施例による１対Ｎ照合における全体の動作について詳細に説明する。【００４５】  まず、画像入力部１０により入力画像が得られる（図７のステップ１００）。次に、加重照合・姿勢選択部４０は、初めにモデル番号ｋ＝１とする（ステップ１７０）。その後、モデルＣｋ毎に、図６に示した姿勢推定におけるステップ１１０からステップ１５０の処理と同一の処理を行い、モデルＣｋ毎に最適な姿勢による最小距離値を求める。次に、モデル番号ｋを１増やし（ステップ１７１）、ｋがモデル数以下の場合は、ステップ１１０に戻り（ステップ１７２）、次のモデルの最小距離値を計算する。最後に、最小距離値の最も小さいモデルＣｋを照合結果とする（ステップ１７５）。【００４６】  次に、図４と図８のフローチャートを参照して本実施例による登録時における全体の動作について詳細に説明する。【００４７】  まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃｋの参照３次元物体モデルを登録する（図８のステップ３００）。次に、３次元重み係数生成部６２は、学習用画像と前記参照３次元物体モデルを用いて参照３次元重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。照合・姿勢選択部４１は、入力画像と前記各比較画像との距離Ｄｋｊ’（類似度）を計算し（ステップ１４１）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。次に、３次元重み係数生成部６２は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ���１２）。画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の比較画像を用いて、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより参照３次元重み係数を生成する（ステップ２２０）。最後に、当該参照３次元重み係数を参照３次元重み係数記憶部６５に登録する（ステップ２３０）。【００４８】  ここで、第１の実施例の効果について説明する。【００４９】  本実施例は、３次元物体モデルに対応させて３次元重み係数を生成して記憶し、照合の際は姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【００５０】  また、本実施例は、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に応じた適切な重み係数設定ができる。【００５１】  さらに、本実施例は、各画素の照合における重要度を３次元モデル上で学習するというように構成されているため、全ての姿勢に対応した学習用画像がなくても、少ない学習用画像で任意の姿勢に対して適切な重み係数を求めることができる。【００５２】  次に、具体例を用いて第１の実施例の動作を説明する。なお、以下の具体例では、人物の顔を例として説明するが、第１の実施例は他の物体にも適用できるのは言うまでもない。【００５３】  図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃｋの参照３次元物体モデル（３次元形状とテクスチャ）が記憶されている。３次元物体モデルについては、例えば特開２００１−１２９２５号公報に記載の３次元形状測定装置を用いたり、特開平９−９１４３６号公報に記載の多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。【００５４】  ３次元物体モデルは、図９に示すように、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰＱ（ｘ，ｙ，ｚ）とテクスチャＴＱ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。照合のために、予め各３次元物体モデルを使用して、様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。【００５５】  また、図１１に示すように、参照３次元重み係数記憶部６５には、各物体の参照３次元重み係数ＶＱｋが記憶されている。例えば、黒い領域がＶＱｋ＝１、白い領域がＶＱｋ＝０、グレーの領域は０＜ＶＱｋ＜１の値を持つとする。【００５６】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図１２に示すような入力画像Ｉ（ｒ）が得られたとする（図５のステップ１００）。姿勢候補決定部３０は姿勢候補群｛ｅｊ｝を決定する（ステップ１１０）���【００５７】  姿勢候補群については、入力画像に関係なく予め設定しておいてもよいが、例えば、入力画像および３次元モデルから目・鼻・口などの基準点を手動また自動で抽出し、特開２００１−２８３２２９号公報に記載の物体の位置および向きを計算する方法によりおおよその姿勢を推定し、当該姿勢の近辺で姿勢候補群を生成すると効率的である。【００５８】  比較画像生成部２０は、参照３次元物体モデルＣ１を基に、入力画像の照明条件に近い比較画像Ｇ１ｊ（ｒ）を前記姿勢候補ｅｊ毎に生成する（ステップ１２０）。【００５９】  ここで、入力画像の照明条件に近い比較画像を生成するために、予め求めておいた基底画像群を各姿勢候補に基づき座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように、線形和の係数を最小二乗法により求めることにより実現できる。物体Ｃ１に対して生成した比較画像の例を図１３に示す。【００６０】  また、重み係数変換部６０は、前記参照３次元物体モデルＣ１を用い、参照３次元重み係数記憶部６５より得られる参照３次元重み係数ＶＱ１を、前記姿勢候補ｅｊに応じて２次元重み係数Ｗ１ｊ（ｒ）に変換する（ステップ１３０）。物体Ｃ１に対して生成した２次元重み係数の例を図１４に示す。【００６１】  更に、加重照合・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ１ｊ（ｒ）との重み付き距離Ｄ１ｊを、前記２次元重み係数Ｗ１ｊ（ｒ）を用いて計算する（ステップ１４０）。例えば、重み付きはユークリッド距離を用いる場合、Ｄｋｊ＝ΣｒＷｋｊ（ｒ）｛Ｉ（ｒ）−Ｇｋｊ（ｒ）｝２により計算される。類似度Ｓｋｊを用いる場合は、例えばＳｋｊ＝ｅｘｐ（−Ｄｋｊ）により計算できる。【００６２】  最後に、当該モデルＣ１に対して最も距離値の小さい比較画像（姿勢候補）をＤ１＝ｍｉｎｊＤ１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。図１３の比較画像の場合、例えば姿勢ｅ３が最も距離値の小さい比較画像として選択される。【００６３】  次に、具体例を用いて第１の実施例による登録時における動作を説明する。ここで、物体Ｃ１の参照３次元物体モデルを登録する場合について説明する。【００６４】  まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃ１の参照３次元物体モデルを登録する（図８のステップ３００）。また、学習用画像として、図１５に示すような３個の画像が得られたとする（ここでは、学習用画像は物体Ｃ１を様々な姿勢条件で撮影した画像とする）。【００６５】  次に、３次元重み係数生成部６２は、学習用画像と前記参照３次元物体モデルを用いて参照３次元重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像Ｉｈ（ｒ）を入力する（ステップ２００）。【００６６】  次に、姿勢候補決定部３０において、姿勢候補群｛ｅｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣ１を基に、入力画像の照明条件に近い比較画像Ｇ１ｊｈ（ｒ）を前記姿勢候補ｅｊ毎に生成する（ステップ１２０）。【００６７】  照合・姿勢選択部４１は、入力画像Ｉｈ（ｒ）���前記各比較画像Ｇ１ｊｈ（ｒ）との距離Ｄ１ｊｈ’（類似度）を計算する（ステップ１４１）。例えば、ユークリッド距離を用いる場合、Ｄｋｊｈ’＝Σｒ｛Ｉｈ（ｒ）−Ｇｋｊｈ（ｒ）｝２により計算される。【００６８】  さらに、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。次に、３次元重み係数生成部６２は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ＝３以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ２１２）。図１５に示す各学習用画像Ｉｈ（ｒ）に対応して求められた最適姿勢の比較画像の例を図１６に示す。【００６９】  画像番号ｈが学習用画像数Ｎ＝３より大きい場合は、全ての学習用画像Ｉｈ（ｒ）と対応する最適姿勢の比較画像Ｇ１ｊｈ（ｒ）を用いて、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより参照３次元重み係数を生成する（ステップ２２０）。例えば、学習用画像と比較画像の誤差が小さい部位は照合において重要な部位であるとすると、重み係数は平均誤差の逆数で定義できる。２次元画像における学習用画像Ｉｈ（ｒ）と比較画像Ｇｋｊｈ（ｒ）の誤差はｄｋｊｈ（ｒ）＝｜Ｉｈ（ｒ）−Ｇｋｊｈ（ｒ）｜により計算される。【００７０】  ３次元物体モデルから姿勢ｅｊに基づき比較画像を生成した際の３次元モデル上の座標（ｓ，ｔ）と２次元画像上の座標ｒとの関係をｒ＝Ｆ（ｓ，ｔ）とすると、この逆変換により、２次元画像上の画素ｒに対応する３次元モデル上の点の座標は｛ｓ，ｔ｝＝Ｆ−１（ｒ）により求まる。そこで、各画素の誤差ｄｋｊｈ（ｒ）を当該逆変換により３次元モデル上の点｛ｓ，ｔ｝に写像し、全学習用画像で平均した平均誤差をＥＱｋとすると、３次元重み係数は例えばＶＱｋ＝Ａ／ＥＱｋ（Ａは正規化係数）により計算される。なお、参照３次元重み係数ＶＱｋは姿勢候補ｅｊ毎に得られる変換ｒ＝Ｆ（ｓ，ｔ）により２次元重み計数Ｗｋｊ（ｒ）に変換される。最後に、物体Ｃ１の参照３次元重み係数ＶＱ１を参照３次元重み係数記憶部６５に登録する（ステップ２３０）。【００７１】  ［第２の実施例］
図１７を参照すると、本発明の第２の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６１と、参照３次元物体モデル記憶部５５と、標準３次元重み係数記憶部６６と、参照３次元基準点記憶部７５と、標準３次元基準点記憶部７６と、登録部４とから構成されている。登録部４は、３次元物体モデル登録部５０と、３次元基準点登録部７０とから構成されている。【００７２】  画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、参照３次元物体モデル記憶部５５と、３次元物体モデル登録部５０は、図４に示した第１の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。【００７３】  標準３次元重み係数記憶部６６には、標準３次元重み係数が記憶されている。参照３次元基準点記憶部７５には、各物体の参照３次元物体モデルに対応した参照３次元基準点が記憶されている。標準３次元基準点記憶部７６には、標準３次元物体モデルに対応した標準３次元基準点が記憶されている。【００７４】  重み係数変換部６１は、標準３次元基準点記憶部７６より得られる標準３次元基準点と参照３次元基準点記憶部７５より得られる各物体の参照３次元基準点を用い、標準３次元重み係数記憶部６６より得られる標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、更に姿勢候補決定部３０より得られる姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する。【００７５】  ３次元基準点登録部７０は、３次元物体モデル登録部５０より得られる参照３次元物体モデルに対して参照３次元基準点を求め、参照３次元基準点記憶部７５に登録する。【００７６】  次に、図１７と図１８のフローチャートを参照して第２の実施例による姿勢推定における全体の動作について詳細に説明する。１対１照合および１対Ｎ照合における動作については、第１の実施例と同様に、姿勢推定の動作に判定する処理（図６のステップ１６０）および最小距離値のモデルを求める処理（図７のステップ１７０から１７５）を追加した場合になるので、以下説明を省略する。【００７７】  まず、画像入力部１０により入力画像が得られる（図１８のステップ１００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。【００７８】  重み係数変換部６１は、標準３次元基準点記憶部７６より得られる標準３次元基準点と参照３次元基準点記憶部７５より得られる各物体の参照３次元基準点を用い、標準３次元重み係数記憶部６６より得られる標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、更に前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する（ステップ１３１）。【００７９】  最後に、加重照合・姿勢選択部４０は、入力画像と前記各比較画像との重み付き距離Ｄｋｊ（類似度）を、前記２次元重み係数を用い計算し（ステップ１４０）、��該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。【００８０】  次に、本実施例の登録時における全体の動作について説明する。まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃｋの参照３次元物体モデルを登録する。次に、３次元基準点登録部７０は、３次元物体モデル登録部５０より得られる参照３次元物体モデルに対して参照３次元基準点を求め、参照３次元基準点記憶部７５に登録する。【００８１】  次に、第２の実施例の効果について説明する。【００８２】  本実施例は、姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【００８３】  また、本実施例では、さらに、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に応じた適切な重み係数設定ができる。【００８４】  さらに、本実施例は、複数の物体の３次元重み係数を平均化した標準３次元重み係数を保持するように構成されているため、各物体に対して参照３次元重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照３次元物体モデルに対応した学習用画像を撮影する必要がない。【００８５】  次に、具体例を用いて第２の実施例の動作について説明する。【００８６】  図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃｋの参照３次元物体モデル（３次元形状ＰＱｋ（ｘ，ｙ，ｚ）とテクスチャＴＱｋ（Ｒ，Ｇ，Ｂ））が記憶されている。また、図１９に示すように、標準３次元重み係数記憶部６６には、標準３次元重み係数ＶＱ０が記憶されている。【００８７】  更に、図２０に示すように、標準３次元基準点記憶部７６には、標準３次元基準点Ｎｉ０の座標値が記憶されており、図２１に示すように、参照３次元基準点記憶部７５には、各参照３次元基準点Ｎｉｋの座標値が記憶されている。基準点とは、位置合わせを行うための点であり、図では例えば左目中点、右目中点、鼻頂点、左口角点、右口角点の５点を示している。【００８８】  参照３次元基準点は、予め手動で設定してもよいが、例えば、丸亀、坂本による「形状情報と色情報を併用した顔三次元データからの特徴部位の抽出」、ＦＩＴ（情報科学技術フォーラム）２００２、Ｉ−１００、ｐ．１９９−２００、２００２．記載の顔特徴抽出方法を用いて自動的に設定してもよい。標準３次元基準点は、参照３次元基準点または予め用意した学習用３次元物体モデルの３次元基準点の各点の平均座標により求めることができる。標準３次元重み係数は、参照３次元重み係数または予め用意した学習用３次元物体モデルの３次元重み係数を用い、各３次元基準点が標準３次元基準点に一致するように３次元重み係数の位置合わせを行ってから平均することにより求めることができる。【００８９】  基準点以外の各点の位置合わせは、基準点の対応を内挿または外挿して決めることにより、３次元重み係数の座標値｛ｓ，ｔ｝と標準３次元重み係数の座標値｛ｓ０，ｔ０｝の変換式ｓ０＝Ｈｓ（ｓ，ｔ）、ｔ０＝Ｈｔ（ｓ，ｔ）を設定できる。また、学習用画像を使用して、各画素の誤差を標準３次元モデル上に直接写像して標準３次元重み係数を生成こともできる。【００９０】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図１２に示すような入力画像Ｉ（ｒ）が得られたとする（図１８のステップ１００）。姿勢候補決定部３０は、姿勢候補群｛ｅｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデルＣ１を基に、入力画像の照明条件に近い比較画像Ｇ１ｊ（ｒ）を前記姿勢候補ｅｊ毎に生成する（ステップ１２０）。物体Ｃ１に対して生成した比較画像の例を図１３に示す。【００９１】  また、重み係数変換部６１は、標準３次元基準点Ｎｉ０と各参照３次元基準点Ｎｉｋを用い、標準３次元重み係数ＶＱ０と前記参照３次元物体モデルＰＱｋとの座標の対応を求め、更に前記姿勢候補ｅｊに応じて前記標準３次元重み係数ＶＱ０を２次元重み係数Ｗ１ｊ（ｒ）に変換する（ステップ１３１）。標準３次元重み係数ＶＱ０と物体Ｃｋの参照３次元物体モデルＰＱｋ（正確にはテクスチャＴＱｋ）との座標の対応をとることにより、仮想的に参照３次元重み係数ＶＱｋを生成できる（実際には生成せずに標準３次元重み係数から２次元重み係数を直接生成する）。標準３次元重み係数ＶＱ０と参照３次元物体モデルのテクスチャＴＱｋとの座標の対応をとるために、標準３次元基準点Ｎｉ０と各参照３次元基準点Ｎｉｋが用いられる。ここで、２次元画像中の座標値ｒに対応する標準３次元重み係数の座標値｛ｓ０，ｔ０｝は、ｓ０＝Ｈｓ（Ｆ−１（ｒ））、ｔ０＝Ｈｔ（Ｆ−１（ｒ））により求まる。物体Ｃ１に対して生成した２次元重み係数の例を図１８に示す。【００９２】  更に、加重照合・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ１ｊ（ｒ）との重み付き距離Ｄ１ｊを、前記２次元重み係数Ｗ１ｊ（ｒ）を用いて計算する（ステップ１４０）。最後に、当該モデルＣ１に対して最も距離値の小さい比較画像（姿勢候補）をＤ１＝ｍｉｎｊＤ１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。【００９３】  ［第３の実施例］
図２３を参照すると、本発明の第３の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６０と、参照３次元物体モデル記憶部５５と、変動推定部３５と、変動別参照３次元重み係数記憶部６７と、登録部３とから構成されている。登録部３は、３次元物体モデル登録部５０と、照合・姿勢選択部４１と、変動別３次元重み係数生成部６３とから構成されている。【００９４】  画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６０と、参照３次元物体モデル記憶部５５と、３次元物体モデル登録部５０と、照合・姿勢選択部４１は、図４に示した第１の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。【００９５】  変動別参照３次元重み係数記憶部６７には、参照３次元物体モデルおよび画像変動に対応した参照３次元重み係数が予め記憶されている。変動推定部３５は、画像入力部１０より得られる入力画像に対して、姿勢候補決定部３０より得られる姿勢候補と参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動を推定する。更に、推定された変動に基づき、変動別参照３次元重み係数記憶部６７における変動別参照重み係数のうち、対応する変動の参照重み係数を重み係数変換部６１に送る。【００９６】  変動別３次元重み係数生成部６３は、照合・姿勢選択部４１より得られる最適姿勢の比較画像と入力画像を用い、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、変動推定部３５より得られる画像変動毎に、３次元モデル上で各画素の照合における重要度を学習することにより変動別の参照３次元重み係数を生成し、変動別参照３次元重み係数記憶部６７に登録する。【００９７】  次に、図２３と図２４のフローチャートを参照して第３の実施例による姿勢推定における全体の動作について詳細に説明する。【００９８】  まず、画像入力部１０により入力画像が得られる（図２４のステップ１００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。【００９９】  変動推定部３５は、入力画像に対して、前記姿勢候補ｅｊと前記参照３次元物体モデルＣｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６７における変動別標準重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６１に送る（ステップ１８０）。【０１００】  重み係数変換部６０は、前記参照３次元物体モデルを用い、変動別参照３次元重み係数記憶部６７より得られる変動ｂの参照３次元重み係数を、前記姿勢候補に応じて２次元重み係数に変換する（ステップ１３２）。最���に、加重照合・姿勢選択部４０は、入力画像と前記各比較画像との重み付き距離Ｄｋｊ（または類似度）を、前記２次元重み係数を用い計算し（ステップ１４０）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。【０１０１】  次に、図２３と図２５のフローチャートを参照して第３の実施例による登録時における全体の動作について詳細に説明する。【０１０２】  まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃｋの参照３次元物体モデルを登録する（図２５のステップ３００）。【０１０３】  次に、変動別３次元重み係数生成部６３は、学習用画像と前記参照３次元物体モデルを用いて参照３次元重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。【０１０４】  次に、姿勢候補決定部３０において、姿勢候補群｛ｅｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。【０１０５】  照合・姿勢選択部４１は、入力画像と前記各比較画像との距離Ｄｋｊ’（または類似度）を計算し（ステップ１４１）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。【０１０６】  次に、変動推定部３５は、入力画像に対して、前記姿勢候補ｅｊと前記参照３次元物体モデルＣｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定する（ステップ１８０）。【０１０７】  次に、変動別３次元重み係数生成部６３は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ１２０）。【０１０８】  画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の比較画像を用いて、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、変動推定部３５より得られる画像変動ｂ毎に、３次元モデル上で各画素の照合における重要度を学習することにより変動別の参照３次元重み係数を生成する（ステップ２２１）。【０１０９】  最後に、当該参照３次元重み係数を変動別参照３次元重み係数記憶部６７に登録する（ステップ２３１）。【０１１０】  次に、第３の実施例の効果について説明する。【０１１１】  本実施例は、姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０１１２】  また、本実施例では、さらに、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に���じた適切な重み係数設定ができる。【０１１３】  また、本実施例は、さらに、各画素の照合における重要度を３次元モデル上で学習するというように構成されているため、全ての姿勢に対応した学習用画像がなくても、少ない学習用画像で任意の姿勢に対して適切な重み係数を求めることができる。【０１１４】  さらに、本実施例は、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０１１５】  次に、具体例を用いて第３の実施例の動作を説明する。【０１１６】  画像変動としては、例えば物体の変形や照明条件などが挙げられる。照明条件の場合、例えば図２６に示すように、照明の方向が右（ｂ＝１）・正面（ｂ＝２）・左（ｂ＝３）の３通りの変動が設定できる。【０１１７】  図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃｋの参照３次元物体モデル（３次元形状ＰＱｋ（ｘ，ｙ，ｚ）とテクスチャＴＱｋ（Ｒ，Ｇ，Ｂ））が記憶されている。また、図２７に示すように、変動別参照３次元重み係数記憶部６７には、変動別の参照３次元重み係数ＶＱｋｂが記憶されている。変動別参照３次元重み係数は、学習用画像を手動で、または変動推定部３５を用いて自動的に変動毎にグループ分けし、グループ毎に参照３次元重み係数を学習することにより生成できる。【０１１８】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図２８に示すような入力画像Ｉ（ｒ）が得られたとする（図２４のステップ１００）。姿勢候補決定部３０は姿勢候補群｛ｅｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデルＣ１を基に、入力画像の照明条件に近い比較画像Ｇ１ｊ（ｒ）を前記姿勢候補ｅｊ毎に生成する（ステップ１２０）。物体Ｃ１に対して生成した比較画像の例を図２９に示す。【０１１９】  変動推定部３５は、入力画像に対して、前記姿勢候補ｅｊと前記参照３次元物体モデルＣｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６７における変動別標準重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６０に送る（ステップ１８０）。【０１２０】  照明変動を推定する場合は、例えば、顔の右半分・左半分の平均輝度値をそれぞれＬ１，Ｌ２とすると、｜Ｌ１−Ｌ２｜≦Ｔｈ（Ｔｈはしきい値）の時は正面（ｂ＝２）、Ｌ１＞Ｌ２＋Ｔｈの時は右（ｂ＝１）、Ｌ２＞Ｌ１＋Ｔｈの時は左（ｂ＝３）により推定できる。【０１２１】  図２８の入力画像の場合、姿勢候補をｅ１と仮定すると、姿勢が合っていないため、例えば顔の左半分における陰はさほど大きくないと解釈され、平均輝度値の差は｜Ｌ１−Ｌ２｜≦Ｔｈを満たし正面（ｂ＝２）と判定される。姿勢候補ｅ２の場合も同様に正面（ｂ＝２）と判定され、姿勢候補ｅ３の場合は正しく右（ｂ＝１）と判定されたとする。また、例えば、特開２００２−２４８３０号公報記載の画像照合方法の光源方向推定手段を使用すれば、よ���正確な推定も可能である。重み係数変換部６０は、前記姿勢候補ｅｊに応じて、変動ｂの前記参照３次元重み係数ＶＱ１ｂを２次元重み係数Ｗ１ｊｂ（ｒ）に変換する（ステップ１３２）。前記変動推定結果に基づき生成された２次元重み係数の例を図３０に示す。【０１２２】  更に、加重照合・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ１ｊ（ｒ）との重み付き距離Ｄ１ｊを、前記２次元重み係数Ｗ１ｊｂ（ｒ）を用いて計算する（ステップ１４０）。最後に、当該モデルＣ１に対して最も距離値の小さい比較画像（姿勢候補）をＤ１＝ｍｉｎｊＤ１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。【０１２３】  ［第４の実施例］
図３１を参照すると、本発明の第４の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６１と、参照３次元物体モデル記憶部５５と、参照３次元基準点記憶部７５と、標準３次元基準点記憶部７６と、変動推定部３５と、変動別標準３次元重み係数記憶部６８と、登録部４とから構成されている。登録部４は、３次元物体モデル登録部５０と、３次元基準点登録部７０とから構成されている。【０１２４】  画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６１と、参照３次元物体モデル記憶部５５と、参照３次元基準点記憶部７５と、標準３次元基準点記憶部７６と、３次元物体モデル登録手段５０と、３次元基準点登録部７０は、図１７に示した第２の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。また、変動推定部３５は、図２３に示した第３の実施例における変動推定部３５と同じ処理を行う。変動別標準３次元重み係数記憶部６８には、画像変動に対応した標準３次元重み係数が記憶されている。【０１２５】  次に、図３１と図３２のフローチャートを参照して第４の実施例による姿勢推定における全体の動作について詳細に説明する。【０１２６】  まず、画像入力部１０により入力画像が得られる（図３２のステップ１００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。【０１２７】  変動推定部３５は、入力画像に対して、前記姿勢候補ｅｊと前記参照３次元物体モデルＣｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６８における変動別標準３次元重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６１に送る（ステップ１８０）。【０１２８】  重み係数変換部６１は、標準３次元基準点記憶部７６より得られる標準３次元基準点と参照３次元基準点記憶部７５より得られる各物体の参照３次元基準点を用い、前記姿勢候補に応じて、変動別標準３次元重み係数記憶部６８より得られる変動ｂの標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記標準３次元重み係数を２次元重み係数に変換する（ステップ１３３）。【０１２９】  最後に、加重照合・姿勢選択部４０は、入力画像と前記各比較画像との重み付き距離Ｄｋｊ（類似度）を、前記２次元重み係数を用いて計算し（ステップ１４０）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。【０１３０】  次に、第４の実施例の効果について説明する。【０１３１】  本実施例は、姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切��重み係数設定により高精度な姿勢推定や照合ができる。【０１３２】  また、本実施例では、さらに、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に応じた適切な重み係数設定ができる。【０１３３】  また、本実施例は、さらに、複数の物体の３次元重み係数を平均化した標準３次元重み係数を保持するように構成されているため、各物体に対して参照３次元重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照３次元物体モデルに対応した学習用画像を必要としない。【０１３４】  さらに、本実施例は、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０１３５】  次に、具体例を用いて第４の実施例の動作を説明する。【０１３６】  図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃｋの参照３次元物体モデル（３次元形状ＰＱｋ（ｘ，ｙ，ｚ）とテクスチャＴＱｋ（Ｒ，Ｇ，Ｂ））が記憶されている。また、図２０に示すように、標準３次元基準点記憶部７６には、標準３次元基準点Ｎｉ０の座標値が記憶されており、図２１に示すように、参照３次元基準点記憶部７５には、各参照３次元基準点Ｎｉｋの座標値が記憶されている。更に、図３３に示すように、変動別標準３次元重み係数記憶部６８には、変動別の標準３次元重み係数ＶＱ０ｂが記憶されている。変動別３次元標準重み係数は、学習用画像を手動で、または変動推定手段３５を用いて自動的に変動毎にグループ分けし、グループ毎に標準３次元重み係数を学習することにより生成できる。【０１３７】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図２８に示すような入力画像Ｉ（ｒ）が得られたとする（図３３のステップ１００）。姿勢候補決定部３０は姿勢候補群｛ｅｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデルＣ１を基に、入力画像の照明条件に近い比較画像Ｇ１ｊ（ｒ）を前記姿勢候補ｅｊ毎に生成する（ステップ１２０）。物体Ｃ１に対して生成した比較画像の例を図２９に示す。【０１３８】  変動推定部３５は、入力画像に対して、前記姿勢候補ｅｊと前記参照３次元物体モデルＣｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６８における変動別標準重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６１に送る（ステップ１８０）。【０１３９】  重み係数変換部６１は、標準３次元基準点Ｎｉ０と各参照３次元基準点Ｎｉｋを用い、前記姿勢候補ｅｊに応じて、変動ｂの標準３次元重み係数ＶＱ０ｂと前記参照３次元物体モデルＰＱｋとの座標の対応を求め、前記標準３次元重み係数ＶＱ０ｂを２次元重み係数Ｗ１ｊｂ（ｒ）に変換する（ステップ１３３）。前記変動推定結果に基づき生成された２次元重み係数の例を図３４に示す。【０１４０】  更に、加重照��・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ１ｊ（ｒ）との重み付き距離Ｄ１ｊを、前記２次元重み係数Ｗ１ｊｂ（ｒ）を用いて計算する（ステップ１４０）。最後に、当該モデルＣ１に対して最も距離値の小さい比較画像（姿勢候補）をＤ１＝ｍｉｎｊＤ１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。【０１４１】  ［第５の実施例］
図３５を参照すると、本発明の第５の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢別参照重み係数記憶部９５と、登録部７とから構成されている。登録部７は、姿勢別参照画像登録部８０と、照合・姿勢選択部４１と、姿勢別重み係数生成部９０とから構成されている。【０１４２】  画像入力部１０と、正規化部１５と、照合・姿勢選択部４１と、姿勢別参照画像記憶部８５は、図１に示した第１の従来技術における同じ参照番号の構成要素の処理と同一の処理を行う。加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる姿勢別の参照画像との重み付き距離を、姿勢別参照重み係数記憶部９５より得られる姿勢別の重み係数を用いて計算し、最も距離値の小さい参照画像を選択することにより姿勢推定を行う。姿勢別参照画像登録部８０は、姿勢別参照画像記憶部８５に参照画像を登録する。姿勢別重み係数生成部９０は、照合・姿勢選択部４１より得られる最適姿勢の参照画像と入力画像を用い、各画素の照合における重要度を姿勢別に学習することにより姿勢別の参照重み係数を生成し、姿勢別参照重み係数記憶部９５に登録する。【０１４３】  次に、図３５と図３６のフローチャートを参照して第５の実施例による姿勢推定における全体の動作について詳細に説明する。【０１４４】  まず、画像入力部１０により入力画像が得られる（図３６のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。【０１４５】  最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢別参照重み係数記憶部９５より得られる姿勢別の参照重み係数を用いて計算し（ステップ１４５）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。【０１４６】  次に、図３５と図３７のフローチャートを参照して第５の実施例による登録時における全体の動作について詳細に説明する。【０１４７】  まず、姿勢別参照画像登録部８０は、姿勢別参照画像記憶部８５に物体Ｃｋの参照画像を登録する（図３７のステップ３１０）。次に、姿勢別重み係数生成部９０は、学習用画像と前記参照画像を用いて参照重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。【０１４８】  次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。照合・姿勢選択部４１は、入力画像と前記各参照画像との距離Ｄｋｊ’（類似度）を計算し（ステップ１４５）、当該モデル（物体）に対して最も距離値の小さい参照画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５５）。【０１４９】  次に、姿勢別重み係数生成部９０は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に��り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ２１２）。画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の参照画像を用いて、各画素の照合における重要度を姿勢別に学習することにより姿勢別参照重み係数を生成する（ステップ２２５）。第５の実施例は第１の実施例とは、１つの参照３次元物体モデルと参照３次元重み係数の代わりに、姿勢別の参照画像と参照重み係数をもつことのみが異なります。つまり、第１の実施例における姿勢候補毎の比較画像、２次元重みが、第５の実施例における参照画像、参照重み係数に対応する。したがって、重要度の学習は第１の実施例における誤差ｄｋｊｈ（ｒ）の計算を、比較画像Ｇから参照画像に置き換えて計算し、その（２次元上での）平均誤差をＥｋｊすると、第１の実施例と同様に参照重み係数はＷｋｊ＝Ａ／Ｅｋｊにより計算できる。【０１５０】  最後に、当該姿勢別参照重み係数を姿勢別参照重み係数記憶部９５に登録する（ステップ２３５）。【０１５１】  次に、第５の実施例の効果について説明する。【０１５２】  本実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０１５３】  次に、具体例を用いて第５の実施例の動作を説明する。【０１５４】  図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃｋの姿勢別の参照画像Ｒｋｊが記憶されている。また、図３９に示すように、姿勢別参照重み係数記憶部９５には、姿勢別の参照重み係数Ｗｋｊが記憶されている。【０１５５】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図１０に示すような入力画像Ｉ（ｒ）が得られたとする（図３６のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。図１０の入力画像に対する正規化画像の例を図４０に示す。最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像Ｒ１ｊ（ｒ）との重み付き距離値Ｄ１ｊ（類似度）を、姿勢別参照重み係数記憶部９５より得られる姿勢別の参照重み係数Ｗ１ｊを用いて計算し（ステップ１４５）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。重み付きはユークリッド距離を用いる場合、Ｄｋｊ＝ΣｒＷｋｊ（ｒ）｛Ｉ’（ｒ）−Ｒｋｊ（ｒ）｝２により計算される。図４０の正規化画像の場合、例えば姿勢ｅ３のＲ１３が最も距離値の小さい比較画像として選択される。【０１５６】  ［第６の実施例］
図４１を参照すると、本発明の第６の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢別標準重み係数記憶部９６と、登録部９とから構成されている。登録部９は、姿勢別参照画像登録部８０から構成されている。【０１５７】  画像入力部１０と、正規化部１５と、姿勢別参照画像記憶部８５は、図３５に示した第５の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。姿勢別標準重み係数記憶部９６には、姿勢別の標準重み係数が記憶されている。加重照合・姿勢選択部４０は、正規化部１５より得られる正規化画像と、姿勢別参照画像記憶部８５より得られる姿勢別の参照画像との重み付き距離を、姿勢別標準重み係数記憶部９６より得られる姿勢別の標準重み係数を用いて計算し、最も距離値の小さい参照画像を選択することにより姿勢推定を行う。【０１５８】  次に、図４１と図４２のフローチャートを参照して第６の実施例による姿勢推定における全体の動作について詳細に説明する。【０１５９】  まず、画像入力部１０により入力画像が得られる（図４２のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢別標準重み係数記憶部９６より得られる姿勢別の標準重み係数を用いて計算し（ステップ１４６）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。【０１６０】  次に、第６の実施例の効果について説明する。【０１６１】  本実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０１６２】  また、本実施例は、複数の物体の重み係数を平均化した標準重み係数を保持するように構成されているため、各物体に対して参照重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照画像に対応した学習用画像を撮影する必要がない。【０１６３】  次に、具体例を用いて第６の実施例の動作を説明する。【０１６４】  図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃｋの姿勢別の参照画像Ｒｋｊが記憶されている。また、図４３に示すように、姿勢別標準重み係数記憶部９６には、姿勢別の標準重み係数Ｗ０ｊが記憶されている。姿勢別の標準重み係数は、姿勢別参照重み係数を姿勢毎に平均することにより、または予め用意した学習用参照画像を用い、姿勢別に学習することにより求めることができる。【０１６５】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図１０に示すような入力画像Ｉ（ｒ）が得られたとする（図４２のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。図１０の入力画像に対する正規化画像の例を図４０に示す。最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像Ｒ１ｊ（ｒ）との重み付き距離値Ｄ１ｊ（類似度）を、姿勢別標準重み係数記憶部９６より得られる姿勢別の標準重み係数Ｗ０ｊを用いて計算し（ステップ１４６）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。【０１６６】  ［第７の実施例］
図４４を参照すると、本発明の第７の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢・変動別参照重み係数記憶部９７と、変動推定部３６と、標準３次元物体モデル５６と、登録部８とから構成されている。登録部８は、姿勢別参照画像登録部８０と、照合・姿勢選択部４１と、姿勢・変動別重み係数生成部９１とから構成されている。【０１６７】  画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢別参照画像登録部８０と、照合・姿勢選択部４１は、図３５に示した第５の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。【０１６８】  姿勢・変動別重み係数記憶部９７には、姿勢および変動別の重み係数が記憶されている。標準３次元物体モデル記憶部５６には、標準的な３次元物体モデルが記憶されている。【０１６９】  変動推定部３６は、正規化部１５より得られる正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動を推定する。更に、推定された変動に基づき、姿勢・変動別参照重み係数記憶部９７における姿勢・変動別重み係数のうち、対応する姿勢および変動の重み係数を加重照合・姿勢選択部４０に送る。【０１７０】  姿勢・変動別重み係数生成部９１は、照合・姿勢選択部４１より得られる最適姿勢の参照画像と入力画像を用い、変動推定部３６より得られる画像変動毎に、各画素の照合における重要度を姿勢別に学習することにより姿勢・変動別の参照重み係数を生成し、姿勢・変動別参照重み係数記憶部９７に登録する。【０１７１】  次に、図４４と図４５のフローチャートを参照して第７の実施例による姿勢推定における全体の動作について詳細に説明する。【０１７２】  まず、画像入力部１０により入力画像が得られる（図４５のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。【０１７３】  変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別参照重み係数記憶部９７における姿勢・変動別参照重み係数のうち、対応する姿勢ｂおよび変動の重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。【０１７４】  最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢・変動別参照重み係数記憶部９７より得られる姿勢および変動別の参照重み係数を用いて計算し（ステップ１４８）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。【��１７５】  次に、図４４と図４６のフローチャートを参照して第７の実施例による登録時における全体の動作について詳細に説明する。【０１７６】  まず、姿勢別参照画像登録部８０は、姿勢別参照画像記憶部８５に物体Ｃｋの参照画像を登録する（図４６のステップ３１０）。【０１７７】  次に、姿勢・変動別重み係数生成部９１は、学習用画像と前記参照画像を用いて参照重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。【０１７８】  次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。照合・姿勢選択部４１は、入力画像と前記各参照画像との距離Ｄｋｊ’（または類似度）を計算し（ステップ１４５）、当該モデル（物体）に対して最も距離値の小さい参照画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５５）。【０１７９】  次に、変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定する（ステップ１８１）。【０１８０】  次に、姿勢・変動別重み係数生成部９１は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ２１２）。【０１８１】  画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の参照画像を用いて、各画素の照合における重要度を姿勢および変動ｂ別に学習することにより姿勢・変動別参照重み係数を生成する（ステップ２２６）。【０１８２】  最後に、当該姿勢・変動別参照重み係数を姿勢・変動別参照重み係数記憶部９７に登録する（ステップ２３６）。【０１８３】  次に、第７の実施例の効果について説明する。【０１８４】  本実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０１８５】  また、本実施例は、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０１８６】  次に、具体例を用いて第７の実施例の動作を説明する。【０１８７】  図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃｋの姿勢別の参照画像Ｒｋｊが記憶されている。また、図４７に示すように、姿勢・変動別参照重み係数記憶部９７には、姿勢および変動別の参照重み係数Ｗｋｊｂが記憶されている。【０１８８】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図２８に示すような入力画像Ｉ（ｒ）が得られたとする（図４５のステップ１００）。【０１８９】  次に、正規化��１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。【０１９０】  変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像Ｒ１ｊの姿勢情報ｅｊと標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別重み係数記憶部９７における姿勢・変動別参照重み係数Ｗｋｊｂのうち、対応する姿勢および変動ｂの重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。参照画像の姿勢情報と標準３次元物体モデルから、まず参照画像の各画素が標準３次元物体モデル上のどの部位に対応するかを求める。正規化画像は姿勢を仮定して参照画像と照合されているので、正規化画像と参照画像の画素の対応を用いて、正規画像の各画素が標準３次元物体モデル上のどの部位に対応するかを求める。所定の部位の画像情報に基づき変動を推定する手法は第３の実施例における手法と同じであり、例えば顔の右半分と左半分の平均輝度値により変動が推定される。上述の正規化画像の各画素が標準３次元物体モデルのどの部位に対応するかが求められているので、正規化画像の画素の輝度値を用いて、顔の右半分と左半分の平均輝度値が計算でき、変動が推定される。【０１９１】  照明変動を推定する場合、姿勢情報ｅ１，ｅ２，ｅ３に対応して、正面（ｂ＝２）、正面（ｂ＝２）、右（ｂ＝１）と判定された場合、姿勢・変動別重み係数はＷ１１２，Ｗ１２２，Ｗ１３１が選択される。最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、前記姿勢別参照画像Ｒ１ｊとの重み付き距離値Ｄ１ｊを、姿勢・変動別重み係数記憶部９７より得られる選択された姿勢・変動別参照重み係数Ｗ１ｊｂ（ｒ）を用いて計算し（ステップ１４７）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。図４０の正規化画像の場合、例えば姿勢ｅ３，変動（照明条件）ｂ＝１のＷ１３１の時に最も距離値が小さくなり、最も距離値の小さい比較画像Ｒ１３が選択される。【０１９２】  ［第８の実施例］
図４８を参照すると、本発明の第８の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢・変動別標準重み係数記憶部９８と、変動推定部３６と、標準３次元物体モデル５６と、登録部９とを備える。登録部９は姿勢別参照画像登録部８０から構成されている。【０１９３】  画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、変動推定部３６と、標準３次元物体モデル５６と、姿勢別参照画像登録部８０は、図４４に示した第７の実施例における同じ参照番号の構成要素処理と同じ処理を行う。姿勢・変動別標準重み係数記憶部９８には、姿勢および変動別の標準重み係数が記憶されている。加重照合・姿勢選択部４０は、正規化部１５より得られる正規化画像と、姿勢別参照画像記憶部８５より得られる姿勢別の参照画像との重み付き距離を、姿勢・変動別標準重み係数記憶部９８より得られる姿勢・変動別の標準重み係数を用いて計算し、最も距離値の小さい参照画像を選択することにより姿勢推定を行う。【０１９４】  次に、図４４と図４９のフローチャートを参照して第８の実施例による姿勢推定における全体の動作について詳細に説明する。【０１９５】  まず、画像入力部１０により入力画像が得られる（図４９のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。【０１９６】  変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別標準重み係数記憶部９８における姿勢・変動別標準重み係数のうち、対応する姿勢ｂおよび変動の標準重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。【０１９７】  最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢・変動別標準重み係数記憶部９８より得られる姿勢および変動別の標準重み係数を用いて計算し（ステップ１４８）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。【０１９８】  次に、第８の実施例の効果について説明する。【０１９９】  第８の実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０２００】  また、本実施例は、さらに、複数の物体の重み係数を平均化した標準重み係数を保持するように構成されているため、各物体に対して参照重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照画像に対応した学習用画像を撮影する必要がない。【０２０１】  また、本実施例は、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。【０２０２】  次に、具体例を用いて第８の実施例の動作を説明する。【０２０３】  図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃｋの姿勢別の参照画像Ｒｋｊが記憶されている。また、図４３に示すように、姿勢・変動別標準重み係数記憶部９８には、姿勢および変動別の標準重み係数Ｗ０ｊｂが記憶されている。姿勢・変動別の標準重み係数は、姿勢・変動別参照重み係数を姿勢・変動毎に平均することにより、または予め用意した学習用参照画像を用い、姿勢・変動別に学習することにより求めることができる。【０２０４】  ここで、モデルＣ１に対する姿勢推定の場合について説明する。画像入力部１０より、図２６に示すような入力画像Ｉ（ｒ）が得られたとする（図４９のステップ１００）。【０２０５】  次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像Ｒ１ｊの姿勢情報ｅｊと標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別重み係数記憶部９８における姿勢・変動別重み係数Ｗ０ｊｂのうち、対応する姿勢および変動ｂの重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。【０２０６】  照明変動を推定する場合、姿勢情報ｅ１，ｅ２，ｅ３に対応して、正面（ｂ＝２）、正面（ｂ＝２）、右（ｂ＝１）と判定された場合、姿勢・変動別重み係数はＷ０１２，Ｗ０２２，Ｗ０３１が選択される。【０２０７】  最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、前記姿勢別参照画像Ｒ１ｊとの重み付き距離値Ｄ１ｊを、姿勢・変動別標準重み係数記憶部９８より得られる選出された姿勢・変動別の標準重み係数Ｗ０ｊｂ（ｒ）を用いて計算し（ステップ１４８）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。【０２０８】  本発明の第２および第４の実施例では、基準点を用いて標準３次元重み係数と参照３次元モデルとの対応をとって２次元重み係数を生成したが、予め当該対応を計算し標準３次元重み係数を参照３次元重み係数に変換し記憶しておいてもよい。【０２０９】  本発明の第５から第８の実施例では、姿勢別参照重み係数、姿勢別標準重み係数、姿勢・変動別参照重み係数、姿勢・変動別標準重み係数は、元々姿勢別の学習用参照画像を用い、姿勢別（および変動別）に学習するとしたが、本発明の第１から第４の実施例のように、参照３次元物体モデルを用い、入力画像と参照画像の誤差を３次元物体モデル上に逆変換して各３次元重み係数を学習してから、姿勢に応じて変換することにより各重み係数を生成してもよい。この場合、参照３次元物体モデルは学習用参照画像から生成してもよいし、または��次元形状測定装置を用いて生成してもよい。また、学習用参照画像は、必ずしも各姿勢に応じて用意される必要はない。【０２１０】  本発明の第３、第４、第７および第８の実施例では、変動を照明条件として説明したが、これに限るものではない。例えば、物体の形状変形（人物の顔の場合は表情変動）の場合でも、所定の部位の画像情報を用いて変動を推定することは可能である。例えば、目の開閉や口の開閉などは、それぞれの画像テンプレートを用意し照合することにより推定できる。また、変動推定を行わず、全ての変動別３次元重み係数または姿勢・変動別重み係数を使用し重み付け照合を行い、最も距離値の小さい（類似度の大きい）変動を選択してもよい。【０２１１】  本発明の各実施例では、姿勢推定において重み係数を使用し重み付け距離を計算するとしていたが、照合を目的とする場合は、姿勢推定においては重み係数を用いない距離計算を使用し、最適姿勢に求めてから再度重み付け距離を計算してもよい。【０２１２】  本発明の各実施例では、重み係数は入力画像（または正規化画像）と参照画像（または比較画像）との画素の誤差平均の逆数により求まるとしたが、これに限るものではない。例えば、参照画像と同一の物体の入力画像だけでなく、違う物体の入力画像も使用し学習してもよい。この時、物体Ｃｋの学習用画像で平均した平均誤差をＥＱｋ、他の物体の学習用画像で平均した平均誤差をＥＱｋ−とすると、参照３次元重み係数は例えばＶＱｋ＝Ａ’・ＥＱｋ−／ＥＱｋ（Ａ’は正規化係数）により設定できる。【０２１３】  また、本発明の物体姿勢推定・照合システムは、構成要素である各手段の機能をハードウェア的に実現できることは勿論として、上記の各手段の機能を実行する物体姿勢推定・照合プログラム（アプリケーション）をコンピュータのメモリにロードしてコンピュータを制御することで実現することができる。この物体姿勢推定・照合プログラムは、磁気ディスク、半導体メモリ等の記録媒体に格納され、その記録媒体からコンピュータにロードされる。【０２１４】  以上好ましい実施例をあげて本発明を説明したが、本発明は必ずしも上記実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図１】
0004553141.tif 000002
【図２】
0004553141.tif 000003
【図３】
0004553141.tif 000004
【図４】
0004553141.tif 000005
【図５】
0004553141.tif 000006
【図６】
0004553141.tif 000007
【図７】
0004553141.tif 000008
【図８】
0004553141.tif 000009
【図９】
0004553141.tif 000010
【図１０】
0004553141.tif 000011
【図１１】
0004553141.tif 000012
【図１２】
0004553141.tif 000013
【図１３】
0004553141.tif 000014
【図１４】
0004553141.tif 000015
【図１５】
0004553141.tif 000016
【図１６】
0004553141.tif 000017
【図１７】
0004553141.tif 000018
【図１８】
0004553141.tif 000019
【図１９】
0004553141.tif 000020
【図２０】
0004553141.tif 000021
【図２１】
0004553141.tif 000022
【図２２】
0004553141.tif 000023
【図２３】
0004553141.tif 000024
【図２４】
0004553141.tif 000025
【図２５】
0004553141.tif 000026
【図２６】
0004553141.tif 000027
【図２７】
0004553141.tif 000028
【図２８】
0004553141.tif 000029
【図２９】
0004553141.tif 000030
【図３０】
0004553141.tif 000031
【図３１】
0004553141.tif 000032
【図３２】
0004553141.tif 000033
【図３３】
0004553141.tif 000034
【図３４】
0004553141.tif 000035
【図３５】
0004553141.tif 000036
【図３６】
0004553141.tif 000037
【図３７】
0004553141.tif 000038
【図３８】
0004553141.tif 000039
【図３９】
0004553141.tif 000040
【図４０】
0004553141.tif 000041
【図４１】
0004553141.tif 000042
【図４２】
0004553141.tif 000043
【図４３】
0004553141.tif 000044
【図４４】
0004553141.tif 000045
【図４５】
0004553141.tif 000046
【図４６】
0004553141.tif 000047
【図４７】
0004553141.tif 000048
【図４８】
0004553141.tif 000049
【図４９】
0004553141.tif 000050
【図５０】
0004553141.tif 000051