(57)【要約】【課題】照明条件等の制約がなく、用意するべきデータおよびマッチング計算時間を大幅に削減できる物体識別装置および方法を提供する。【解決手段】対象画像による物体登録に際し、対数変換手段１１は画像の各画素値を光エネルギー量に変換し、対数変換をする。微分強度方向計算手段１２は、対数変換された画像の微分方向と強さを計算する。分割手段１３は、この登録する画像を複数領域に分割する。特徴ベクトル計算手段１４は、各複数領域での各画素に対し微分方向を量子化し各方向で微分の強さの和を計算し特徴ベクトルを構成し、蓄積手段１５に蓄積する。物体の識別に際しては、照合したい撮像画像等について変形画像生成手段２１で変形し、上記手段１１〜１３を利用する。照合手段２３は、生成された特徴ベクトルと蓄積された各物体の特徴ベクトルの相関を計算する。出力手段２４は、相関の一番高い物体の名前を出力する。【選択図】  図４
2004318627.tif 000002
【特許請求の範囲】
【請求項１】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
登録する画像を複数の領域に分割する分割手段と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、を有する
ことを特徴とする物体識別装置。
【請求項２】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
登録する画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、
前記対数変換された登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
登録する画像を複数の領域に分割する分割手段と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、を有する
ことを特徴とする物体識別装置。
【請求項３】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する手段として、
照合したい入力画像に変形を加えた画像を生成する変形画像生成手段と、
前記変形を加えた画像の微分の方向と微分の強さを計算する微分強度方向計算手段と、
前記変形を加えた画像を複数の領域に分割する分割手段と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、
前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合手段と、
前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力手段と、を有する
ことを特徴とする物体識別装置。
【請求項４】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を識別する手段として、
照合したい入力画像に変形を加えた画像を生成する変形画像生成手段と、
前記変形を加えた画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、
前記対数変換された画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記変形を加えた画像を複数の領域に分割する分割手段と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、
前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合手段と、
前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力手段と、を有する
ことを特徴とする物体識別装置。
【請求項５】
前記分割手段は、画像を、画像中心点を中心とした単数または複数の同心円と、画像中心を通る複数の直線またはその一部で構成される領域に分割するものである
ことを特徴とする請求項１ないし４のいずれかに記載の物体識別装置。
【請求項６】
前記分割手段は、画像を、画像中心点を中心とした単数または複数の同心楕円と、画像中心を通る複数の直線またはその一部で構成される領域に分割するものである
ことを特徴とする請求項１ないし４のいずれかに記載の物体識別装置。
【請求項７】
前記分割手段において、画像中心点を中心とした複数の同心円の半径と一つ小さい同心円の半径との差が、徐々に大きくなる
ことを特徴とする請求項５に記載の物体識別装置。
【請求項８】
前記分割手段において、画像中心点を中心とした複数の同心楕円の長径と一つ小さい同心楕円の長径との差が、徐々に大きくなる
ことを特徴とする請求項６に記載の物体識別装置。
【請求項９】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
登録する画像を複数の領域に分割する分割段階と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、を有する
ことを特徴とする物体識別方法。
【請求項１０】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
登録する画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、
前記対数変換された登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
登録する画像を複数の領域に分割する分割段階と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、を有する
ことを特徴とする物体識別方法。
【請求項１１】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階として、
照合したい入力画像に変形を加えた画像を生成する変形画像生成段階と、
前記変形を加えた画像の微分の方向と微分の強さを計算する微分強度方向計算段階と、
前記変形を加えた画像を複数の領域に分割する分割段階と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、
前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合段階と、
前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力段階と、を有する
ことを特徴とする物体識別方法。
【請求項１２】
物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を識別する段階として、
照合したい入力画像に変形を加えた画像を生成する変形画像生成段階と、
前記変形を加えた画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、
前記対数変換された画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記変形を加えた画像を複数の領域に分割する分割段階と、
前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、
前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合段階と、
前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力段階と、を有する
ことを特徴とする物体識別方法。
【請求項１３】
前記分割段階では、画像を、画像中心点を中心とした単数または複数の同心円と、前記画像中心点を通る複数の直線またはその一部で構成される領域に分割する
ことを特徴とする請求項９ないし１２のいずれかに記載の物体識別方法。
【請求項１４】
前記分割段階では、画像を、画像中心点を中心とした単数または複数の同心楕円と、前記画像中心点を通る複数の直線またはその一部で構成れる領域に分割する
ことを特徴とする請求項９ないし１２のいずれかに記載の物体識別方法。
【請求項１５】
前記分割段階において、画像中心点を中心とした複数の同心円の半径と一つ小さい同心円の半径との差が、徐々に大きくなる
ことを特徴とする請求項１３に記載の物体識別方法。
【請求項１６】
前記分割段階において、画像中心点を中心とした複数の同心楕円の長径と一つ小さい同心楕円の長径との差が、徐々に大きくなる
ことを特徴とする請求項１４に記載の物体識別方法。
【請求項１７】
請求項９ないし１６のいずれかに記載の物体識別方法における段階を、コンピュータに実行させるためのプログラムとした
ことを特徴とする物体識別プログラム。
【請求項１８】
請求項９ないし１６のいずれかに記載の物体識別方法における段階を、コンピュータに実行させるためのプログラムとし、
前記プログラムを、前記コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする物体識別プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像内に、どのような対象が写っているかを識別する画像識別技術に属し、その具体的な産業応用システムとして、例えば画像検索システムなどが挙げられる。
【０００２】
【従来の技術】
画像認識技術は、画像データ内のある領域がどのカテゴリーに属するかを特定する技術である。パターンマッチング方式では、入力画像の中にあらかじめ作成した標準パターンと同じ物があるか、あるいは近いものがあるかを検出する。標準パターンは、そのパターンを良く示す特徴を用いて表現される。代表的な手法であるテンプレートマッチング方法では、濃淡画像を特徴としたテンプレートや、濃淡画像を微分した微分濃淡画像を特徴とするテンプレートを標準パターンとして利用するのが一般的である。
【０００３】
しかしながら、この一般的な従来の手法では、対象物のパラメータ、撮影条件のパラメータが多い場合にデータ量が指数関数的に大きくなるため、対応ができなくなる。例えば、複数のカメラで撮影した画像に撮影されているロゴマークなどを識別する場合、ロゴの撮影位置、レンズの歪み、照明条件などが異なるため、パターンマッチング方式では、必要になるテンプレート数（パラメータの組み合わせ数）が膨大になり、データ量およびマッチング計算時間の観点から、現実的ではなかった。
【０００４】
この問題を解決しようとする従来の方法として、非特許文献１に記載されたテンプレートを圧縮する技術があるが、照明条件がシミュレーション可能である環境下でないと利用できないなどの制約があった。
【０００５】
【非特許文献１】
村瀬洋、Ｓ．Ｋ．Ｎａｙｅｒ著、「２次元照合による３次元物体認識−パラメトリック固有空間法−」、信学論、Ｊ７７−Ｄ−ＩＩ、Ｎｏ．１１、ｐ．２１７９−２１８７、１９９４年、１１月
【０００６】
【発明が解決しようとする課題】
以上のように、一般的な従来の手法では、対象物のパラメータ、撮影条件のパラメータが多い場合にデータ量が指数関数的に大きくなるため、対応ができなくなり、例えば、複数のカメラで撮影した画像に撮影されているロゴマークなどを識別する場合、ロゴの撮影位置、レンズの歪み、照明条件などが異なるためパターンマッチング方式では、必要になるテンプレート数（パラメータの組み合わせ数）が膨大になり、データ量およびマッチング計算時間の観点から、現実的ではないという問題があり、この問題を解決しようとする非特許文献１の従来の方法では、照明条件がシミュレーション可能である環境下でないと利用できないなどの制約がるという問題があった。
【０００７】
そこで、本発明は、上記問題点を解決するために、照明条件等の制約がなく、用意するべきデータおよびマッチング計算時間を大幅に削減できる物体識別装置および方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】
本発明では、上記課題を解決するために、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、登録する画像を複数の領域に分割する分割手段と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、を有することを特徴とする物体識別装置を、解決の手段とする。
【０００９】
あるいは、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、登録する画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、前記対数変換された登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、登録する画像を複数の領域に分割する分割手段と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、を有することを特徴とする物体識別装置を、解決の手段とする。
【００１０】
あるいは、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、物体を識別する手段として、照合したい入力画像に変形を加えた画像を生成する変形画像生成手段と、前記変形を加えた画像の微分の方向と微分の強さを計算する微分強度方向計算手段と、前記変形を加えた画像を複数の領域に分割する分割手段と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合手段と、前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力手段と、を有することを特徴とする物体識別装置を、解決の手段とする。
【００１１】
あるいは、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、物体を識別する手段として、照合したい入力画像に変形を加えた画像を生成する変形画像生成手段と、前記変形を加えた画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換手段と、前記対数変換された画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、前記変形を加えた画像を複数の領域に分割する分割手段と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段と、前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合手段と、前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力手段と、を有することを特徴とする物体識別装置。
【００１２】
あるいは、上記の物体識別装置において、前記分割手段は、画像を、画像中心点を中心とした単数または複数の同心円と、画像中心を通る複数の直線またはその一部で構成される領域に分割するものであることを特徴とする物体識別装置を、解決の手段とする。
【００１３】
あるいは、上記の物体識別装置において、前記分割手段は、画像を、画像中心点を中心とした単数または複数の同心楕円と、画像中心を通る複数の直線またはその一部で構成される領域に分割するものであることを特徴とする物体識別装置を、解決の手段とする。
【００１４】
あるいは、上記の物体識別装置において、前記分割手段において、画像中心点を中心とした複数の同心円の半径と一つ小さい同心円の半径との差が、徐々に大きくなることを特徴とする物体識別装置を、解決の手段とする。
【００１５】
あるいは、上記の物体識別装置において、前記分割手段において、画像中心点を中心とした複数の同心楕円の長径と一つ小さい同心楕円の長径との差が、徐々に大きくなることを特徴とする物体識別装置を、解決の手段とする。
【００１６】
あるいは、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、登録する画像を複数の領域に分割する分割段階と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、を有することを特徴とする物体識別方法を、解決の手段とする。
【００１７】
あるいは、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、登録する画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、前記対数変換された登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、登録する画像を複数の領域に分割する分割段階と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、を有することを特徴とする物体識別方法を、解決の手段とする。
【００１８】
あるいは、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、物体を識別する段階として、照合したい入力画像に変形を加えた画像を生成する変形画像生成段階と、前記変形を加えた画像の微分の方向と微分の強さを計算する微分強度方向計算段階と、前記変形を加えた画像を複数の領域に分割する分割段階と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合段階と、前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力段階と、を有することを特徴とする物体識別方法を、解決の手段とする。
【００１９】
あるいは、物体が撮影された画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、物体を識別する段階として、照合したい入力画像に変形を加えた画像を生成する変形画像生成段階と、前記変形を加えた画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換をする対数変換段階と、前記対数変換された画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、前記変形を加えた画像を複数の領域に分割する分割段階と、前記各複数の領域で所属する各画素に対して前記微分の方向を量子化し各方向で前記微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算段階と、前記特徴ベクトルと登録された特徴ベクトルとを照合して相関を計算する照合段階と、前記相関の最も高い登録された特徴ベクトルを持つ物体の情報を出力する出力段階と、を有することを特徴とする物体識別方法を、解決の手段とする。
【００２０】
あるいは、上記の物体識別方法において、前記分割段階では、画像を、画像中心点を中心とした単数または複数の同心円と、前記画像中心点を通る複数の直線またはその一部で構成される領域に分割することを特徴とする物体識別方法を、解決の手段とする。
【００２１】
あるいは、上記の物体識別方法において、前記分割段階では、画像を、画像中心点を中心とした単数または複数の同心楕円と、前記画像中心点を通る複数の直線またはその一部で構成れる領域に分割することを特徴とする物体識別方法を、解決の手段とする。
【００２２】
あるいは、上記の物体識別方法において、前記分割段階において、画像中心点を中心とした複数の同心円の半径と一つ小さい同心円の半径との差が、徐々に大きくなることを特徴とする物体識別方法を、解決の手段とする。
【００２３】
あるいは、上記の物体識別方法において、前記分割段階において、画像中心点を中心とした複数の同心楕円の長径と一つ小さい同心楕円の長径との差が、徐々に大きくなることを特徴とする物体識別方法を、解決の手段とする。
【００２４】
あるいは、上記の物体識別方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする物体識別プログラムを、解決の手段とする。
【００２５】
あるいは、上記の物体識別方法における段階を、コンピュータに実行させるためのプログラムとし、前記プログラムを、前記コンピュータが読み取りできる記録媒体に記録したことを特徴とする物体識別プログラムを記録した記録媒体を、解決の手段とする。
【００２６】
本発明では、識別したい物体の登録段階において、
（１）物体の画像を入力し、各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行い、各画素において画像のｘ（横）方向の微分とｙ（縦）方向の微分を計算し、微分の方向と強さを計算する。
（２）画像を、画像中心点を中心とした複数の同心円と、画像中心を通る複数の直線で構成される領域に分割する。
（３）各領域で、所属する各画素に対して、微分の方向を量子化し、量子化された微分の強さを加算し、各領域での加算量をベクトルとみなして、識別に利用する特徴とするとする。
【００２７】
また、画像の識別段階において、
（４）画像を変形する。変形された各画像に対し、各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行い、各画素において画像のｘ（横）方向の微分とｙ（縦）方向の微分を計算し、微分の方向と強さを計算する。
（５）各変形画像に対し、各画素を中心とみなして、画像を、画像中心点を中心とした複数の同心円と、画像中心を通る複数の直線で構成される領域に分割する。
（６）各領域で、所属する各画素に対して、微分の方向を量子化し、微分の強さを加算し、特徴ベクトルとみなすとする。
【００２８】
これにより本発明は、以下の作用を得ることができる。
（ａ）上記（１）、（４）により、画素値を対数化しているため、照明光の変化に対して光の大きさの変動による影響は小さくなる。また、微分の方向は照明光による変化の影響を受けない。すなわち、照明光の変化による画素値の変化を吸収できる特徴を用いるため、照明による変化を考慮しなくてもよく、用意するべきデータおよびマッチング計算時間を大幅に削減できる。
（ｂ）レンズ歪により、空間中の特徴点は、図１に示すように、レンズ歪みのない場合の画像上の投影点と画像中心を通る直線上の点に投影されるが、本発明では、画像中心と撮影点を結ぶ方向に幅のある複数の領域を構成し、領域内の画素の微分の大きさを加算した（上記（２）、（３）、（５）、（６））特徴ベクトルを用いる。本特徴ベクトルはレンズ歪によって大きく変化しない。すなわち、レンズ歪の変化による画像変換の変化を吸収できる特徴を用いるため、レンズ歪による変化を考慮しなくてもよく、用意するべきデータおよびマッチング計算時間を大幅に削減できる。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３０】
図２は、本発明をロゴ識別システムに適用した一実施形態例であり、本システムにより、ユーザは、撮影したロゴの画像を基に、そのロゴを利用しているメーカ／商品の詳細情報をみることができる。ただし、あらかじめ、ロゴ利用メーカがセンタにロゴと共にメーカ／商品の情報（以後、ロゴ情報と呼ぶ）を登録していることが前提となる。
【００３１】
本システムは、本発明による装置および登録情報蓄積検索装置３から構成される。本発明による装置は、物体の画像を用いて物体を登録し、登録された複数の物体を識別する。登録情報蓄積検索装置３は、物体名と登録情報を蓄積しておき、物体名から登録情報を検索する装置であり、一般のデータベースにより構築できるため、本実施形態例では詳細を記載しない。
【００３２】
本発明による装置は、特徴抽出装置１、探索装置２から構成される。特徴抽出装置１は、画像から識別に必要な特徴ベクトルを求め、蓄積する。探索装置２は、ユーザが入力する画像と特徴抽出装置１に蓄積された特徴ベクトルを利用し、画像に撮影された物体を識別する。
【００３３】
図３は、本発明の一実施形態例により物体の撮影された対象画像を用いて物体を登録する特徴抽出装置１の詳細を説明する構成図を示している。特徴抽出装置１は、登録する画像（対象画像）の各画素値を光エネルギー量に変換し光エネルギー量を対数変換する対数変換手段１１、対数変換された登録する画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分方向計算手段１２、この登録する画像を複数の領域に分割する分割手段１３、前記各複数の領域で所属する各画素に対して微分の方向を量子化し各方向で微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段１４、特徴ベクトルを蓄積する蓄積手段１５から構成されている。
【００３４】
図４は、本発明の一実施形態例により入力画像と特徴抽出装置１に蓄積された特徴ベクトルを利用し、入力された画像の物体を識別する特徴抽出装置１および探索装置２の詳細を説明する構成図を示している。
【００３５】
特徴抽出装置１は、検索装置２からの入力画像の各画素値を光エネルギー量に変換し光エネルギー量を対数変換する対数変換手段１１、対数変換された画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分方向計算手段１２、この入力画像を複数の領域に分割する分割手段１３、前記各複数の領域で所属する各画素に対して微分の方向を量子化し各方向で微分の強さの和を計算し特徴ベクトルを構成する特徴ベクトル計算手段１４、対象画像についての特徴ベクトルを蓄積する蓄積手段１５から構成されている。ここで、蓄積手段１５に蓄積されている特徴ベクトルは、図３で示した各手段１１〜１３の機能によって蓄積されたものである。
【００３６】
探索装置２は、撮影画像などの照合したい入力画像に変形を加えた画像を生成し対数変換手段１１に入力する変形画像生成手段２１と、対数変換された画像について特徴ベクトルを生成する際の中心点を画像上でずらして分割手段１３に入力する中心ずらし手段２２と、特徴ベクトル生成手段１４で生成された特徴ベクトルと蓄積手段１５に蓄積されている各物体の特徴ベクトルとの相関を計算する照合手段２３と、相関の一番高い物体の名前を出力する出力手段２４から構成されている。
【００３７】
なお、図４の実施形態例では、物体を登録する場合も、物体を識別する場合も、同じ特徴抽出装置１を利用する例を示したが、蓄積手段を除いては別々の装置を用いても、もちろん構わない。
【００３８】
以下では、図を用いながら、各手段の詳細を示す。
【００３９】
対数変換手段１１は、入力画像の各画素値を光エネルギー量Ｉ（ｘ，ｙ）に変換し、光エネルギー量に対して、例えば、ｌｏｇ１０Ｉ（ｘ，ｙ）のように、対数変換を行う。一般の画像の画素値は、ＣＣＤの特性関数をＦ、光エネルギー量値をｖとすると画素値＝Ｆ（ｖ）と表されるため、ν＝Ｆ−１（画素値）と変換する。Ｆがわからない場合は、ｖ＝画素値とする。対数変換では、例えば、ν（ｘ，ｙ）をｌｏｇ１０（１＋ν（ｘ，ｙ））のように変換する。
【００４０】
微分方向計算手段１２の例を図５に示す。原画像Ｉの横方向をｘ軸、縦方向をｙ軸と考える。画像は横Ｘピクセル×縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。まず、原画像に対し、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘとｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。ソーペルオペレータでは、以下の式に従って画素値を求める。
【００４１】
Ｄｘ（ｘ，ｙ）＝［Ｉ（ｘ−１，ｙ＋１）＋２Ｉ（ｘ，ｙ＋１）＋Ｉ（ｘ＋１，ｙ＋１）］−［Ｉ（ｘ−１，ｙ−１）＋２Ｉ（ｘ，ｙ−１）＋Ｉ（ｘ＋１，ｙ−１）］
Ｄｙ（ｘ，ｙ）＝［Ｉ（ｘ＋１，ｙ＋１）＋２Ｉ（ｘ＋１，ｙ）＋Ｉ（ｘ−１，ｙ−１）］−［Ｉ（ｘ−１，ｙ＋１）＋２Ｉ（ｘ−１，ｙ）＋Ｉ（ｘ−１，ｙ＋１）］
ただし、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。
【００４２】
次に、微分強度画像Ｄｉと微分方向画像Ｄｄの各画素値を以下の式で求める。
【００４３】
【数１】
2004318627.tif 000003
【００４４】
分割手段１３の例を図６、図７に示す。図６は、画像を、画像中心点を中心とした複数の同心円と、画像中心を通る複数の直線によって構成される領域に分割した例である。ア、エは２本の直線と２つの同心円により構成される例であり、それぞれ８個の領域、５個の領域がある。イ、オは４本の直線と２つの同心円により構成される例であり、それぞれ１６個の領域、９個の領域がある。ウ、カは４本の直線と３つの同心円により構成される例であり、それぞれ３２個の領域、１７個の領域から構成される。
【００４５】
図７は、画像を、画像中心点を中心とした複数の楕円と、画像中心を通る複数の直線によって構成される領域に分割した例である。ア、エは２本の直線と２つの楕円により構成される例であり、それぞれ８個の領域、５個の領域がある。イ、オは４本の直線と２つの楕円により構成される例であり、それぞれ１６個の領域、９個の領域がある。ウ、カは４本の直線と３つの楕円により構成される例であり、それぞれ３２個の領域、１７個の領域から構成される。楕円を用いることにより、対象が細長い場合でも登録可能となる。
【００４６】
図１２は、画像中心点を中心とした複数の同心円の半径と一つ小さい同心円の半径との差が、徐々に大きくなる例である。ア、エは２本の直線と２つの円により構成される例であり、それぞれ８個の領域、５個の領域がある。イ、オは４本の直線と２つの円により構成される例であり、それぞれ１６個の領域、９個の領域がある。ウ、カは４本の直線と３つの円により構成される例であり、それぞれ３２個の領域、１７個の領域から構成される。画像中心点を中心とした複数の同心円の半径と一つ小さい同心円の半径との差を徐々に大きくすることより、一般に外になるほど大きくなるレンズ歪にロバストになる。
【００４７】
図１３は、画像中心点を中心とした複数の同心楕円の長径と一つ小さい同心楕円の長径との差が、徐々に大きくなる例である。ア、エは２本の直線と２つの楕円により構成される例であり、それぞれ８個の領域、５個の領域がある。イ、オは４本の直線と２つの楕円により構成される例であり、それぞれ１６個の領域、９個の領域がある。ウ、カは４本の直線と３つの楕円により構成される例であり、それぞれ３２個の領域、１７個の領域から構成される。画像中心点を中心とした複数の同心楕円の長径と一つ小さい同心楕円の長径との差を徐々に大きくすることより、一般に外になるほど大きくなるレンズ歪にロバストになる。
【００４８】
特徴ベクトル計算手段１４の例を図８，９に示す。特徴ベクトル計算手段１４では、各複数の領域で、所属する各画素に対して、微分の方向を量子化し、各方向で微分の強さの和を計算する。例えば、図８のアのように画像が８個の領域に分割された場合を考える。１つの領域には、イのようにいくつかの画素が所属しており、ウのように各画素で微分ベクトルが求められている（微分方向計算手段１２）。ここで、微分ベクトルに隣接する量子化ベクトルａ，ｂの成分に微分ベクトルをエのように分解する（量子化分解ベクトル）。これらの処理をすべての画素について行う。次に、図９のように、所属する画素すべての量子化分解ベクトルをそれぞれの方向毎に加算し、カのような８次元の特徴を得る。さらに、８個の領域すべての特徴を求め、８×８＝６４次元の特徴ベクトルとする。
【００４９】
変形画像生成手段２１では、変形パラメータの組み合わせ数分（Ｐ）の変形画像を生成する。変形パラメータの例としては、画像の回転パラメータや、拡大縮小パラメータ、アフィン変換パラメータ等がある。本実施形態例では、アフィン変換パラメータ
【００５０】
【数２】
2004318627.tif 000004
【００５１】
を例として採用する。アフィンパラメータの組み合わせ数Ｐは、各パラメータが取り得る数をＰａ，Ｐｂ，Ｐｃ，Ｐｄとすると、Ｐ＝Ｐａ×Ｐｂ×Ｐｃ×Ｐｄで求められる。
【００５２】
中心ずらし手段２２は、変形画像上のすべての画素を、特徴抽出を行う際の画像中心とみなす。照合手段２３は、生成された特徴ベクトルと蓄積された各物体の特徴ベクトルの相関を計算する。出力手段２４は、相関の一番高い物体の名前を出力する。
【００５３】
図１０は、本発明の方法の一実施形態例による登録の動作例を示したフローチャートである。
１．登録物体数分繰り返し［１］
２．    原画像の入力
３．    原画像の画素数（Ｘ×Ｙ）分繰り返し［３］
４．        画素値を対数変換
５．    繰り返し［３］終了
６．    原画像の画素数（Ｘ×Ｙ）分繰り返し［４］
７．        微分強度方向の計算（例については記載済み）
８．    繰り返し［４］終了
９．    領域の分割
１０．  原画像の画素数（Ｘ×Ｙ）分繰り返し［５］
１１．      微分方向の量子化
１２．  繰り返し［５］終了
１３．  領域数分繰り返し［６］
１４．      領域内での量子化分解ベクトルの加算
１５．  繰り返し終了［６］
１６．繰り返し［１］終了
図１１は、本発明の方法の一実施形態例による物体の識別段階を説明した図であって、探索装置２の動作例を示したフローチャートであり、以下の処理を行う。
１．識別画像の入力
２．変形パラメータの組み合わせ数（Ｐ）分繰り返し［２］
３．    変形画像の生成
４．    変形画像の画素数（Ｘ×Ｙ）分繰り返し［３］
５．        画素値を対数変換
６．    繰り返し［３］終了
７．    変形画像の画素数（Ｘ×Ｙ）分繰り返し［４］
８．        微分強度方向の計算
９．    繰り返し［４］終了
１０．  変形画像の画素数（Ｘ×Ｙ）分繰り返し［５］
１１．      中心点のずらし
１２．      領域の分割
１３．      変形画像の画素数（Ｘ×Ｙ）数分繰り返し［６］
１４．          微分ベクトルの量子化
１５．      繰り返し［６］終了
１６．      領域数分繰り返し［７］
１７．          領域内での量子化分解ベクトルの加算
１８．      繰り返し［７］終了
１９．      登録物体数分繰り返し［８］
２０．          登録物体の特徴ベクトルとの相関を計算
２１．      繰り返し［８］終了
２２．  繰り返し［５］終了
２３．繰り返し［２］終了
２４．相関が最大となる物体名を出力
なお、図１〜図４を用いて説明した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図５、図８、図１０、および図１１を用いて説明した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００５４】
【発明の効果】
以上、説明したように、本発明によれば、物体からの距離が一定となる球面上の複数の視点からの画像を入力し、各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行い、各画素において画像のｘ（横）方向の微分とｙ（縦）方向の微分を計算し、微分の方向と強さを計算するため、照明光の変化に対して光の大きさの変動による影響は小さくなる。また、微分の方向は照明光による変化の影響を受けない。すなわち、照明光の変化による画素値の変化を吸収できる特徴を用いるため、照明による変化を考慮しなくてもよく、用意するべきデータおよびマッチング計算時間を大幅に削減できる。
【００５５】
また、画像を、画像中心点を中心とした複数の同心円または楕円と、画像中心を通る複数の直線で構成される領域に分割し、各領域で、所属する各画素に対して、微分の方向を量子化し、量子化された微分の強さを加算し、各領域での加算量をベクトルとみなして、識別に利用する特徴とするため、本特徴ベクトルはレンズ歪によって大きく変化しない。すなわち、レンズ歪の変化による画像変換の変化を吸収できる特徴を用いるため、レンズ歪による変化を考慮しなくてもよく、用意するべきデータおよびマッチング計算時間を大幅に削減できる。
【図面の簡単な説明】
【図１】レンズ歪みのある場合とない場合の画像上の投影点と画像中心を通る直線の関係を説明する図である。
【図２】本発明をロゴ識別システムに適用した一実施形態例を示す図である。
【図３】本発明の一実施形態例による特徴抽出装置の詳細を説明する構成図である。
【図４】本発明の一実施形態例による特徴抽出装置および探索装置の詳細を説明する構成図である。
【図５】微分方向計算手段の例を説明する図である。
【図６】ア、イ、ウ、エ、オ、カは、分割手段の一例を説明する図である。
【図７】ア、イ、ウ、エ、オ、カは、分割手段の別の一例を説明する図である。
【図８】特徴ベクトル計算手段の例を説明する図（その１）である。
【図９】特徴ベクトル計算手段の例を説明する図（その２）である。
【図１０】本発明の方法の一実施形態例による登録段階の動作例を示したフローチャートである。
【図１１】本発明の方法の一実施形態例による識別段階を説明した図であって、探索装置の動作例を示したフローチャートである。
【図１２】ア、イ、ウ、エ、オ、カは、分割手段において、画像中心点を中心とした複数の同心円の半径と一つ小さい同心円の半径との差が、徐々に大きくなる例を説明する図である。
【図１３】ア、イ、ウ、エ、オ、カは、分割手段において、画像中心点を中心とした複数の同心楕円の長径と一つ小さい同心楕円の長径との差が、徐々に大きくなる例を説明する図である。
【符号の説明】
１…特徴抽出装置
１１…対数変換手段
１２…微分方向計算手段
１３…分割手段
１４…特徴ベクトル計算手段
１５…蓄積手段
２…探索装置
２１…変形画像生成手段
２２…中心ずらし手段
２３…照合手段
２４…出力手段
３…登録情報蓄積検索装置
【図１】
2004318627.tif 000005
【図２】
2004318627.tif 000006
【図３】
2004318627.tif 000007
【図４】
2004318627.tif 000008
【図５】
2004318627.tif 000009
【図６】
2004318627.tif 000010
【図７】
2004318627.tif 000011
【図８】
2004318627.tif 000012
【図９】
2004318627.tif 000013
【図１０】
2004318627.tif 000014
【図１１】
2004318627.tif 000015
【図１２】
2004318627.tif 000016
【図１３】
2004318627.tif 000017