(57)【要約】【課題】複数視点画像に対して、様々な隠蔽及び複雑背景が混入した場合の特徴ベクトルをサンプルとした辞書を生成するのと同じ効果を有する主成分分析。【解決手段】識別のための辞書を生成する際に、領域分割手段１１は各複数視点画像を複数の領域に分割する。マスクデータ生成手段１２は、各領域のデータに対してマスク領域または通過領域の属性を付加し、マスク領域の数の最大値が指定された数となる条件下で前記属性の組み合わせパターンの全てに対してマスクデータを生成する。特徴計算手段１３は各画像を特徴ベクトルに変換する。拡張共特徴ベクトル生成手段１４は各マスクデータと各特徴ベクトルの組み合わせ全てに対してマスク領域属性を有するマスクデータの次元と対応する前記特徴ベクトルの次元データをドンドケア値とみなした拡張特徴ベクトルを生成する。拡張主成分分析手段１５は拡張特徴ベクトルに対して主成分分析を行う。【選択図】  図３
2005339397.tif 000002
【特許請求の範囲】
【請求項１】
物体の複数視点画像を用いて物体を登録し、この登録された複数の物体を識別するための辞書生成装置であって、
前記各複数視点画像を複数（指定された数Ｋ個）の領域に分割する領域分割手段と、
前記画像からｍ（１から入力された値Ｍまで）個の領域を選択し、領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加する処理を、選択の組み合わせの全パターン（下記数式個）に対して実行し、マスクデータを生成するマスクデータ生成手段と、
【数１】
2005339397.tif 000031
前記各画像を特徴ベクトルに変換する特徴計算手段と、
前記各マスクデータと各特徴ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドントケア値とする拡張特徴ベクトルを生成する拡張特徴ベクトル生成手段と、
前記拡張特徴ベクトルに対して主成分分析を行なう拡張主成分分析手段と、
前記求められた主成分を出力する出力手段と
を備えたことを特徴とする物体識別のための辞書生成装置。
【請求項２】
前記拡張主成分分析手段は、
前記ドンドケア値を有するベクトルに対して共分散行列（拡張共分散行列）を求める拡張共分散計算手段と、
前記共分散行列から固有値、固有ベクトルを求める固有ベクトル算出手段と
を備えたことを特徴とする請求項１に記載の物体識別のための辞書生成装置。
【請求項３】
前記拡張共分散計算手段は、
前記ドンドケア値を有するベクトルに対して各次元の総和（拡張総和）を計算する拡張総和計算手段と、
前記ドンドケア値を有するベクトルに対して各次元間の積和（拡張積和）を計算する拡張積和計算手段と、
前記ドンドケア値を有するベクトルに対して下記数式の総和で定義される拡張ベクトル数を計算する拡張ベクトル数計算手段と、
【数２】
2005339397.tif 000032
各次元間の共分散Ｃとして、下記数式を計算して出力する結果算出出力手段と
【数３】
2005339397.tif 000033
を備えたことを特徴とする請求項２記載の物体識別のための辞書生成装置。
【請求項４】
前記拡張総和計算手段は、
ドンドケア値次元の場合に、下記数式を加算するドンドケア値次元計算手段と、
【数４】
2005339397.tif 000034
数値次元の場合に、下記数式を加算する数値次元計算手段と
【数５】
2005339397.tif 000035
を備えたことを特徴とする請求項３記載の物体識別のための辞書生成装置。
【請求項５】
前記拡張積和計算手段は、
ｉ次元とｊ次元の次元間の拡張積和の計算する際に（ｉ次元の場合、ｆ（ｉ）を特徴ベクトルの値）、
数値次元と数値次元の場合に、下記数式を加算する数値数値計算手段と、
【数６】
2005339397.tif 000036
数値次元とドントケア値次元の場合に、下記数式を加算するドントケア値数値計算手段と、
【数７】
2005339397.tif 000037
ドントケア値次元とドントケア値次元の場合に、下記数式を加算するドントケア値ドントケア値計算手段と
【数８】
2005339397.tif 000038
を備えたことを特徴とする請求項３または４記載の物体識別のための辞書生成装置。
【請求項６】
前記特徴計算手段は、前記画像の画素値をそのまま特徴として利用すること
を特徴とする請求項１から５のいずれか１項に記載の物体識別のための辞書生成装置。
【請求項７】
前記特徴計算手段は、前記画像に対するエッジ抽出の結果を特徴ベクトルとして利用すること
を特徴とする請求項１から６のいずれか１項に記載の物体識別のための辞書生成装置。
【請求項８】
前記固有ベクトル算出手段は、
他次元との共分散として０を有する次元を排除して固有値、固有ベクトルを算出する次元排除手段と
前記算出された固有ベクトルに対し、排除した次元に０を挿入する０次元挿入手段と
を備えたことを特徴とする請求項２から７のいずれか１項に記載の物体識別のための辞書生成装置。
【請求項９】
物体の複数視点画像を用いて物体を登録し、この登録された複数の物体を識別するための辞書生成方法であって、
領域分割手段が前記各複数視点画像を複数（指定された数Ｋ個）の領域に分割する手順と、
マスクデータ生成手段が前記画像からｍ（１から入力された値Ｍまで）個の領域を選択し、領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加する処理を、選択の組み合わせの全パターン（下記数式個）に対して実行し、マスクデータを生成する手順と、
【数９】
2005339397.tif 000039
特徴計算手段が前記各画像を特徴ベクトルに変換する手順と、
拡張特徴ベクトル生成手段が前記各マスクデータと各特徴ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドントケア値とする拡張特徴ベクトルを生成する手順と、
拡張主成分分析手段が前記拡張特徴ベクトルに対して主成分分析を行なう手順と、
出力手段が前記求められた主成分を出力する手順と
を有することを特徴とする物体識別のための辞書生成方法。
【請求項１０】
前記拡張主成分分析手段が実行する手順においては、
前記ドンドケア値を有するベクトルに対して共分散行列（拡張共分散行列）を求める拡張共分散計算手順と、
前記共分散行列から固有値、固有ベクトルを求める固有ベクトル算出手順と
を有することを特徴とする請求項９に記載の物体識別のための辞書生成方法。
【請求項１１】
前記拡張共分散計算手順においては、
前記ドンドケア値を有するベクトルに対して各次元の総和（拡張総和）を計算する拡張総和計算手順と、
前記ドンドケア値を有するベクトルに対して各次元間の積和（拡張積和）を計算する拡張積和計算手順と、
前記ドンドケア値を有するベクトルに対して下記数式の総和で定義される拡張ベクトル数を計算する拡張ベクトル数計算手順と、
【数１０】
2005339397.tif 000040
各次元間の共分散Ｃとして、下記数式を計算して出力する結果算出出力手順と
【数１１】
2005339397.tif 000041
を有することを特徴とする請求項１０記載の物体識別のための辞書生成方法。
【請求項１２】
前記拡張総和計算手順においては、
ドンドケア値次元の場合に、下記数式を加算するドンドケア値次元計算手順と、
【数１２】
2005339397.tif 000042
数値次元の場合に、下記数式を加算する数値次元計算手順と
【数１３】
2005339397.tif 000043
を有することを特徴とする請求項１１記載の物体識別のための辞書生成方法。
【請求項１３】
前記拡張積和計算手順においては、
ｉ次元とｊ次元の次元間の拡張積和の計算する際に（ｉ次元の場合、ｆ（ｉ）を特徴ベクトルの値）、
数値次元と数値次元の場合に、下記数式を加算する数値数値計算手順と、
【数１４】
2005339397.tif 000044
数値次元とドントケア値次元の場合に、下記数式を加算するドントケア値数値計算手順と、
【数１５】
2005339397.tif 000045
ドントケア値次元とドントケア値次元の場合に、下記数式を加算するドントケア値ドントケア値計算手順と
【数１６】
2005339397.tif 000046
を有することを特徴とする請求項１１または１２記載の物体識別のための辞書生成方法。
【請求項１４】
前記特徴計算手段が、前記画像の画素値をそのまま特徴として利用すること
を特徴とする請求項９から１３のいずれか１項に記載の物体識別のための辞書生成方法。
【請求項１５】
前記特徴計算手段が、前記画像に対するエッジ抽出の結果を特徴ベクトルとして利用すること
を特徴とする請求項９から１４のいずれか１項に記載の物体識別のための辞書生成方法。
【請求項１６】
前記固有ベクトル算出手順においては、
他次元との共分散として０を有する次元を排除して固有値、固有ベクトルを算出する次元排除手順と、
前記算出された固有ベクトルに対し、排除した次元に０を挿入する０次元挿入手順と
を有することを特徴とする請求項１０から１５のいずれか１項に記載の物体識別のための辞書生成方法。
【請求項１７】
コンピュータを請求項１から８のいずれか１項に記載の物体識別のための辞書生成装置を構成する手段として機能させるためのプログラム。
【請求項１８】
コンピュータを請求項１から８のいずれか１項に記載の物体識別のための辞書生成装置を構成する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に、どのような対象が写っているかを識別する画像識別技術に関し、その具体的な産業応用システムとしては、例えば画像検索システム等に関する。
【背景技術】
【０００２】
画像認識技術は、画像データ内のある領域がどのカテゴリーに属するかを特定する技術である。パターンマッチング方式では、入力画像の中に予め作成した標準パターンと同じ物があるか、あるいは近いものがあるかを検出する。標準パターンは、そのパターンを良く示す特徴を用いて表現される。代表的な手法であるテンプレートマッチング方法では、濃淡画像を特徴としたテンプレートや、濃淡画像を微分した微分濃淡画像を特徴とするテンプレートを標準パターンとして利用するのが一般的である。
【０００３】
しかしながら、従来の方法では、対象物が他物体に隠蔽されたり、物体が撮像された画像が複雑な背景を有する場合、その部位がテンプレートと大きく異なるため、識別率が大きく下がるという問題があった。
【０００４】
この問題を解決する従来方法として、非特許文献１に示された「多重解像度と固有空間表現による３次元物体のイメージスポッティング」が知られているが、背景のテクスチャには頑健になるが、物体が隠蔽される場合は対処できなかった。
【特許文献１】村瀬  洋，シェリーＫ．ナイヤー，「多重解像度と固有空間表現による３次元物体のイメージスポッティング」，情報処理学会論文誌，１９９５年１０月，Ｖｏｌ．３６，Ｎｏ．１０，ｐ．２２３４−２２４３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、かかる事情に鑑みなされたもので、その目的は、複数視点画像に対して、様々な隠蔽及び複雑背景が混入した場合の特徴ベクトルをサンプルとした辞書を生成するのと同じ効果を有する主成分分析を行なって、隠蔽及び複雑背景の課題を解決する物体識別のための辞書生成方法とその装置、プログラム及び記録媒体の提供にある。
【課題を解決するための手段】
【０００６】
本発明の物体識別のための辞書生成方法とその装置は、隠蔽及び複雑背景の課題を解決するために、識別のための辞書を生成する際に、各複数視点画像を複数（指定された数個）の領域に分割し、各領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加し、マスク領域の数（マスク数）の最大値が指定された数となる条件下で、前記マスク属性の組み合わせパターンの全てに対してマスクデータ生成を行い、各画像を特徴ベクトルに変換し、各マスクデータと各特徴ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドンドケア値（どんな数値でもよいとする値）とみなした拡張特徴ベクトルを生成し、拡張特徴ベクトルに対して主成分分析を行う。
【０００７】
本発明の物体識別のための辞書生成装置としては、物体の複数視点画像を用いて物体を登録し、この登録された複数の物体を識別するための辞書生成装置であって、
前記各複数視点画像を複数（指定された数Ｋ個）の領域に分割する領域分割手段と、
前記画像からｍ（１から入力された値Ｍまで）個の領域を選択し、領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加する処理を、選択の組み合わせの全パターン（下記数式個）に対して実行し、マスクデータを生成するマスクデータ生成手段と、
【０００８】
【数１７】
2005339397.tif 000003
【０００９】
前記各画像を特徴ベクトルに変換する特徴計算手段と、
前記各マスクデータと各特徴ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドントケア値とする拡張特徴ベクトルを生成する拡張特徴ベクトル生成手段と、
前記拡張特徴ベクトルに対して主成分分析を行なう拡張主成分分析手段と、
前記求められた主成分を出力する出力手段とを備えたものがある。
【００１０】
この物体識別のための辞書生成装置において、前記拡張主成分分析手段としては、前記ドンドケア値を有するベクトルに対して共分散行列（拡張共分散行列）を求める拡張共分散計算手段と、前記共分散行列から固有値、固有ベクトルを求める固有ベクトル算出手段とを備えたものがある。
【００１１】
前記拡張共分散計算手段としては、前記ドンドケア値を有するベクトルに対して各次元の総和（拡張総和）を計算する拡張総和計算手段と、前記ドンドケア値を有するベクトルに対して各次元間の積和（拡張積和）を計算する拡張積和計算手段と、前記ドンドケア値を有するベクトルに対して下記数式の総和で定義される拡張ベクトル数を計算する拡張ベクトル数計算手段と、
【００１２】
【数１８】
2005339397.tif 000004
【００１３】
各次元間の共分散Ｃとして、下記数式を計算して出力する結果算出出力手段と
【００１４】
【数１９】
2005339397.tif 000005
【００１５】
を備えたものがある。
【００１６】
前記拡張総和計算手段としては、
ドンドケア値次元の場合に、下記数式を加算するドンドケア値次元計算手段と、
【００１７】
【数２０】
2005339397.tif 000006
【００１８】
数値次元の場合に、下記数式を加算する数値次元計算手段と
【００１９】
【数２１】
2005339397.tif 000007
【００２０】
を備えたものがある。
【００２１】
前記拡張積和計算手段としては、
ｉ次元とｊ次元の次元間の拡張積和の計算する際に（ｉ次元の場合、ｆ（ｉ）を特徴ベクトルの値）、
数値次元と数値次元の場合に、下記数式を加算する数値数値計算手段と、
【００２２】
【数２２】
2005339397.tif 000008
【００２３】
数値次元とドントケア値次元の場合に、下記数式を加算するドントケア値数値計算手段と、
【００２４】
【数２３】
2005339397.tif 000009
【００２５】
ドントケア値次元とドントケア値次元の場合に、下記数式を加算するドントケア値ドントケア値計算手段と
【００２６】
【数２４】
2005339397.tif 000010
【００２７】
を備えたものがある。
【００２８】
前記特徴計算手段としては、前記画像の画素値をそのまま特徴として利用するものがある。
【００２９】
前記特徴計算手段としては、前記画像に対するエッジ抽出の結果を特徴ベクトルとして利用するものがある。
【００３０】
前記固有ベクトル算出手段としては、他次元との共分散として０を有する次元を排除して固有値、固有ベクトルを算出する次元排除手段と、前記算出された固有ベクトルに対し、排除した次元に０を挿入する０次元挿入手段とを備えたものがある。
【００３１】
また、本発明の物体識別のための辞書生成方法としては、物体の複数視点画像を用いて物体を登録し、この登録された複数の物体を識別するための辞書生成方法であって、
領域分割手段が前記各複数視点画像を複数（指定された数Ｋ個）の領域に分割する手順と、
マスクデータ生成手段が前記画像からｍ（１から入力された値Ｍまで）個の領域を選択し、領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加する処理を、選択の組み合わせの全パターン（下記数式個）に対して実行し、マスクデータを生成する手順と、
【００３２】
【数２５】
2005339397.tif 000011
【００３３】
特徴計算手段が前記各画像を特徴ベクトルに変換する手順と、
拡張特徴ベクトル生成手段が前記各マスクデータと各特徴ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドントケア値とする拡張特徴ベクトルを生成する手順と、
拡張主成分分析手段が前記拡張特徴ベクトルに対して主成分分析を行なう手順と、
出力手段が前記求められた主成分を出力する手順とを有するものがある。
【００３４】
この物体識別のための辞書生成方法における前記拡張主成分分析手段が実行する手順においては、前記ドンドケア値を有するベクトルに対して共分散行列（拡張共分散行列）を求める拡張共分散計算手順と、前記共分散行列から固有値、固有ベクトルを求める固有ベクトル算出手順とを実行する過程を有するものがある。
【００３５】
また、前記拡張共分散計算手順においては、前記ドンドケア値を有するベクトルに対して各次元の総和（拡張総和）を計算する拡張総和計算手順と、前記ドンドケア値を有するベクトルに対して各次元間の積和（拡張積和）を計算する拡張積和計算手順と、前記ドンドケア値を有するベクトルに対して下記数式の総和で定義される拡張ベクトル数を計算する拡張ベクトル数計算手順と、
【００３６】
【数２６】
2005339397.tif 000012
【００３７】
各次元間の共分散Ｃとして、下記数式を計算して出力する結果算出出力手順と
【００３８】
【数２７】
2005339397.tif 000013
【００３９】
を有するものがある。
【００４０】
さらに、前記拡張総和計算手順においては、
ドンドケア値次元の場合に、下記数式を加算するドンドケア値次元計算手順と、
【００４１】
【数２８】
2005339397.tif 000014
【００４２】
数値次元の場合に、下記数式を加算する数値次元計算手順と
【００４３】
【数２９】
2005339397.tif 000015
【００４４】
を有するものがある。
【００４５】
また、前記拡張積和計算手順においては、
ｉ次元とｊ次元の次元間の拡張積和の計算する際に（ｉ次元の場合、ｆ（ｉ）を特徴ベクトルの値）、
数値次元と数値次元の場合に、下記数式を加算する数値数値計算手順と、
【００４６】
【数３０】
2005339397.tif 000016
【００４７】
数値次元とドントケア値次元の場合に、下記数式を加算するドントケア値数値計算手順と、
【００４８】
【数３１】
2005339397.tif 000017
【００４９】
ドントケア値次元とドントケア値次元の場合に、下記数式を加算するドントケア値ドントケア値計算手順と
【００５０】
【数３２】
2005339397.tif 000018
【００５１】
を有するものがある。
【００５２】
以上の物体識別のための辞書生成方法においては、前記特徴計算手段が前記画像の画素値をそのまま特徴として利用する過程を有するものがある。また、前記特徴計算手段が前記画像に対するエッジ抽出の結果を特徴ベクトルとして利用する過程を有するものがある。
【００５３】
また、前記固有ベクトル算出手順においては、他次元との共分散として０を有する次元を排除して固有値、固有ベクトルを算出する次元排除手順と、前記算出された固有ベクトルに対し、排除した次元に０を挿入する０次元挿入手順とを有するものがある。
【００５４】
以上の本発明に係る物体識別のための辞書生成方法とその装置によれば、ドンドケア値とみなした拡張特徴ベクトルに対して主成分分析を行うため、すなわち、複数視点画像に対して、様々な隠蔽および複維背景が混入した場合の特徴ベクトルをサンプルとした辞書を生成するのと同じ効果を有する主成分分析を行うため、隠蔽及び複雑背景の課題を解決することができる。
【００５５】
尚、本発明に係る物体識別のための辞書生成方法とその装置は、コンピュータとプログラムによっても実現できる。すなわち、コンピュータを前述の辞書生成方法とその装置を構成する手順及び手段として機能させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録することやネットワークを通して提供すればコンピュータによって実施可能である。前記記録媒体としては、例えばフレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が挙げられる。
【発明の効果】
【００５６】
本発明に係る物体識別のための辞書生成装置および方法およびプログラムを記録した媒体によれば、各複数視点画像と同サイズの画像を複数（指定された数）の領域に分割し、各領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加し、マスク領域の数（マスク数）の最大値が指定された数となる条件下で、前記マスク属性の組み合わせパターンの全てに対してマスクデータ生成を行い、各画像を特徴ベクトルに変換し、各マスクデータと各特徴ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドンドケア値（Ｄｏｎ’ｔ Ｃａｒｅ）とみなした拡張特徴ベクトルを生成し、拡張特徴ベクトルに対して主成分分析を行っているので、複数視点画像に対して、様々な隠蔽および複雑背景が混入した場合の特徴ベクトルをサンプルとした辞書を生成するのと同じ効果を有し、隠蔽及び複雑背景の課題を解決することができる。
【発明を実施するための最良の形態】
【００５７】
図１は本発明の実施形態例を示した概略図である。
【００５８】
本実施形態例は、本発明に係る物体識別のための辞書生成装置をおみやげ人形識別システムに適用した例であり、本システムにより、ユーザは、撮影したおみやげ人形の画像を基に、そのおみやげ人形の詳細情報をみることができる。但し、予め、おみやげ人形製造者がセンタにおみやげ人形の情報を登録していることが前提となっている。
【００５９】
本実施形態の人形識別システムは、辞書生成装置１と識別装置２と登録情報蓄積検索装置３とを備える。
【００６０】
辞書生成装置１は、物体までの距離が一定である複数視点画像を用いて物体を登録する。
【００６１】
識別装置２は、登録された複数の物体を識別する。識別装置２としては、図示省略されているが、例えば、前処理部と、特徴抽出部と、識別部とを備えたものがある（「わかりやすいパターン認識」，オーム社，石井他著，ｐｐ．１〜ｐｐ．２）。
【００６２】
識別装置２の動作の概要について述べると、先ず、パターンが入力されると、前処理部でノイズ除去や正規化等の処理を行なう。次いで、特徴抽出部では、膨大な情報を有する原パターンから識別に必要な本質的な特徴のみを抽出する。そして、この特徴をもとに識別部では識別処理を行なっている。このとき、予め識別辞書を用意し、抽出された特徴をこの辞書と照合することにより入力パターンの所属するクラスを出力している。
【００６３】
また、識別装置２については、辞書生成装置１により生成された辞書を用いて、例えば「わかりやすいパターン認識」，オーム社，石井他著，ｐｐ．１４７〜ｐｐ．１５１に記載の部分空間法により、物体を識別するようにするとよい。ここではその詳細な説明を省略する。
【００６４】
登録情報蓄積検索装置３は、物体名と登録情報を蓄積しておき、物体名から登録情報を検索する装置であり、一般のデータベースにより構築できるため、本実施形態例においてはその詳細を記載しない。
【００６５】
また、辞書生成装置１は、物体の複数視点画像から識別に必要な情報を求め、蓄積する。
【００６６】
以下の例では、「ダルマ」、「大仏」、「こけし」の３種類のおみやげ品を登録／識別する場合を例について説明する。本実施例では、「ダルマ」の複数視点画像数をＳ（ダルマ）、「大仏」の複数視点画像数をＳ（大仏）、「こけし」の複数視点画像数をＳ（こけし）で表す。また、以後の表現では、画像の名前をＩとすると、各画素値をＩ（ｘ，ｙ）で表現する。複数視点画像は、例えば、図２に示した複数視点画像撮影の説明図のように、対象物の中心を原点とした極座標（ｒ，α，β）で考えると、各視点をｒ＝Ｒ，α＝５ｎ度，β＝５ｍ度として５１８４枚撮影する。但し、Ｒは定数、ｎは０以上７１以下の整数、ｍは０以上７１以下の整数とする。
【００６７】
図３は辞書生成装置１の構成例を示した概略構成図である。また、図１４に辞書生成装置１の動作例を説明したフローチャートを示した。
【００６８】
辞書生成装置１は、領域分割手段１１とマスクデータ生成手段１２と特徴計算手段１３と拡張特徴ベクトル生成手段１４と拡張主成分分析手段１５と出力手段１６とを備える。尚、本実施形態においては、識別に必要な情報や辞書生成装置１で得られた情報を格納するための蓄積手段４が具備されている。
【００６９】
領域分割手段１１は、前記各複数視点画像と同サイズの画像を複数（指定された数Ｋ個）の領域に分割する。
【００７０】
マスクデータ生成手段１２は、前記画像からｍ（１から入力された値Ｍまで）個の領域を選択し、領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加する処理を、選択の組み合わせの全パターン（下記数式個）に対して実行し、マスクデータを生成する。
【００７１】
【数３３】
2005339397.tif 000019
【００７２】
特徴計算手段１３は、前記各画像を特徴ベクトルに変換する。
【００７３】
拡張特徴ベクトル生成手段１４は、前記各マスクデータと各特徴ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドンドケア値（Ｄｏｎ’ｔ Ｃａｒｅ）とみなした拡張特徴ベクトルを生成する。
【００７４】
拡張主成分分析手段１５は、前記拡張特徴ベクトルに対して主成分分析を行う。
【００７５】
出力手段１６は、前記求められた主成分を蓄積手段４に出力する。
【００７６】
そして、蓄積手段４は前記作成された主成分を物体名と関連付けて蓄積する。
【００７７】
ここで、以下の説明に登場する「共分散行列」及び「積和」の定義について説明する。
【００７８】
ドンドケア値を有さないベクトルを対象とした従来法では、以下の数式で定義される共分散行列を主成分分析した結果を保存していた。
【００７９】
【数３４】
2005339397.tif 000020
【００８０】
図４〜図９を参照しながら各手段の詳細について説明する。
【００８１】
領域分割手段１１は、各複数視点画像を複数（指定された数Ｋ個）の領域に分割する。例えば、図４のようにＫ＝４として、視点画像と同サイズの画像を分割する。
【００８２】
マスクデータ生成手段１２は、画像からｍ（１から入力されたＭ値まで）個の領域を選択し、この領域のデータに対してマスク領域または通過領域の属性（マスク属性）を付加する処理を、選択の組み合わせの全パターン（下記数式個）に対して実行し、マスクデータを生成する。
【００８３】
【数３５】
2005339397.tif 000021
【００８４】
例えば、図４の分割画像に対してＭ＝２として処理を行うと、図５のようなマスクデータが生成される。
【００８５】
特徴計算手段１３は、各画像を特徴ベクトルに変換する。図６は画像データをそのまま特徴ベクトルとして利用する方法を説明した説明図である。また、図７は、画像に対するエッジ抽出の結果を特徴ベクトルとして利用する方法を説明した説明図である。
【００８６】
原画像Ｉの横をｘ軸、縦をｙ軸と考える。画像は横Ｘピクセル×縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。先ず、原画像に対し、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘとｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。前記ソーベルオペレータでは、以下の式に従って画素値を算出する。
【００８７】
Ｄｘ（ｘ，ｙ）＝［Ｉ（ｘ−１，ｙ＋１）＋２Ｉ（ｘ，ｙ＋１）＋Ｉ（ｘ＋１，ｙ＋１）］−［Ｉ（ｘ−１，ｙ−１）＋２Ｉ（ｘ，ｙ−１）＋Ｉ（ｘ＋１，ｎ−１）］
Ｄｙ（ｘ，ｙ）＝［Ｉ（ｘ＋１，ｙ＋１）＋２Ｉ（ｘ＋１，ｙ）＋Ｉ（ｘ＋１，ｙ−１）］−［Ｉ（ｘ−１，ｙ＋１）＋２Ｉ（ｘ−１，ｙ）＋Ｉ（ｘ−１，ｎ−１）］
但し、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。ＤｘおよびＤｙを上下に結合し、１つの画像（結合画像）とみなしている。結合画像を図６に示すように特徴ベクトル化する。
【００８８】
拡張特徴ベクトル生成手段１４は、各マスクデータと各時微ベクトルの組み合わせ全てに対して、マスク領域属性を有するマスクデータの次元と対応する特徴ベクトルの次元データをドンドケア値とみなした拡張特徴ベクトルを生成する。例えば図８のように、原画像とマスクデータを掛け合わせ、通過する画素のみから特徴ベクトルを抽出したデータが拡張特徴ベクトルとして生成される。
【００８９】
拡張主成分分析手段１５は、拡張特徴ベクトルに対して主成分分析を行う。
【００９０】
図９は拡張主成分分析手段１５の構成例を示した概略図である。また、図１５に拡張主成分分析段階の動作例を説明したフローチャートを示した。
【００９１】
拡張主成分分析手段１５は、拡張共分散計算手段９１と固有ベクトル算出手段９２とを備える。拡張共分散計算手段９１は、前記ドンドケア値を有するベクトルに対して共分散行列（拡張共分散行列）を求める。固有ベクトル算出手段９２は、前記共分散行列から固有値、固有ベクトルを算出する。
【００９２】
図１０は拡張共分散計算手段９１の構成例を示した概略図である。図１６に拡張共分散計算段階の動作例を説明したフローチャートを示した。
【００９３】
拡張共分散計算手段９１は、拡張総和計算手段１０１と拡張積和計算手段１０２と拡張ベクトル数計算手段１０３と結果算出出力手段１０４とを備える。
【００９４】
拡張総和計算手段１０１は、ドンドケア値を有するベクトルに対して各次元の総和（拡張総和）を計算する。
【００９５】
拡張積和計算手段１０２は、ドンドケア値を有するベクトルに対して各次元の積和（拡張積和）を計算する。
【００９６】
拡張ベクトル数計算手段１０３は、ドンドケア値を有するベクトルに対して下記数式の総和で定義される拡張ベクトル数を計算する。
【００９７】
【数３６】
2005339397.tif 000022
【００９８】
結果算出出力手段１０４は、各次元問の共分散Ｃとして、下記数式を計算して出力する。
【００９９】
【数３７】
2005339397.tif 000023
【０１００】
図１１は拡張総和計算手段１０１の構成例を示した概略図である。また、図１７に拡張総和計算段階の動作例を説明したフローチャートを示した。
【０１０１】
この形態例の拡張総和計算手段１０１は、ドンドケア値次元計算手段１１１と数値次元計算手段１１２とを備える。
【０１０２】
ドンドケア値次元計算手段１１１は、ドンドケア値次元の場合、下記数式を加算する。
【０１０３】
【数３８】
2005339397.tif 000024
【０１０４】
数値次元計算手段１１２は、数値次元の場合、下記数式を加算する。
【０１０５】
【数３９】
2005339397.tif 000025
【０１０６】
図１２は拡張積和計算手段１０２の構成例を示した概略図である。また、図１８に拡張積和計算段階の動作例を説明したフローチャートを示した。
【０１０７】
この形態例の拡張積和計算手段１０２は、数値数値計算手段１２１とドントケア値数値計算手段１２２とドントケア値ドントケア値計算手段１２３とを備える。
【０１０８】
数値数値計算手段１２１は、数値次元と数値次元の場合に、下記数式を加算する（ｉ次元とｊ次元の次元間の拡張積和を計算する際には、ｉ次元の場合、ｆ（ｉ）を特徴ベクトルの値とする）。
【０１０９】
【数４０】
2005339397.tif 000026
【０１１０】
ドントケア値数値計算手段１２２は、数値次元とドントケア値次元の場合に、下記数式を加算する。
【０１１１】
【数４１】
2005339397.tif 000027
【０１１２】
ドントケア値ドントケア値計算手段１２３は、ドントケア値次元とドントケア値次元の場合には、下記数式を加算する。
【０１１３】
【数４２】
2005339397.tif 000028
【０１１４】
図１３は固有ベクトル算出手段９２の構成例を示した概略構成図である。また、図１９に固有ベクトル算出段階の動作例を説明したフローチャートを示した。
【０１１５】
この形態例の固有ベクトル計算手段９２は、次元排除手段１３１と０次元挿入手段１３２とを備える。
【０１１６】
次元排除手段１３１は、共分散行列に０が混じる場合に対処するため、他次元との共分散として０を有する次元を排除して固有値、固有ベクトルを算出する。
【０１１７】
０次元挿入手段１３２は、前記得られた固有ベクトルに対し、排除した次元に０を挿入する。
【０１１８】
例えば、３次元の特徴データに対して、下記数式の共分散行列Ｄとなる場合は、
【０１１９】
【数４３】
2005339397.tif 000029
【０１２０】
２次元目を排除した下記数式の共分散行列Ｄ’として、
【０１２１】
【数４４】
2005339397.tif 000030
【０１２２】
固有値４、固有ベクトル（１，１）を求める。その後、排除した次元（２）に０を挿入し、固有値４、固有ベクトル（１，０，１）とする。
【０１２３】
以下にこれまで説明した手段の動作例をフローチャートで示した。
【０１２４】
図１４は辞書生成装置１の動作例を示したフローチャートである。
【０１２５】
ステップ１  画像（１枚）の入力。
【０１２６】
ステップ２  領域の分割。
【０１２７】
ステップ３  マスクデータの生成。
【０１２８】
ステップ４  登録物体数（本例では３）分繰り返し［１］
ステップ５  物体の複数視点数分繰り返し［２］
ステップ６  原画像の入力。
【０１２９】
ステップ７  特徴の計算。
【０１３０】
ステップ８  マスクデータ数（Ｐ）分繰り返し［３］
ステップ９  拡張特徴ベクトルの計算。
【０１３１】
ステップ１０  繰り返し［３］終了。
【０１３２】
ステップ１１  繰り返し［２］終了。
【０１３３】
ステップ１２  拡張主成分分析。
【０１３４】
ステップ１３  主成分の蓄積。
【０１３５】
ステップ１４  繰り返し［１］終了。
【０１３６】
図１５は拡張主成分分析段階の動作例を示したフローチャートである。
【０１３７】
ステップ１  拡張共分散の算出。
【０１３８】
ステップ２  固有ベクトルの算出。
【０１３９】
図１６は拡張共分散計算段階の動作例を示したフローチャートである。
【０１４０】
ステップ１  ｉ＝０の入力。
【０１４１】
ステップ２  特徴ベクトルの次元数Ｄ分繰り返し［１］
ステップ３  第ｉ次元の拡張総和の計算。
【０１４２】
ステップ４  ｉ＝ｉ＋１の入力。
【０１４３】
ステップ５  繰り返し［１］終了。
【０１４４】
ステップ６  ｄ＝０の入力。
【０１４５】
ステップ７  特徴ベクトルの次元数Ｄ分繰り返し［２］
ステップ８  ｅ＝０の入力。
【０１４６】
ステップ９  Ｄ−（ｄ−１）分繰り返し［３］
ステップ１０  第ｄ次元と第ｅ次元の拡張積和の計算。
【０１４７】
ステップ１１  ｅ＝ｅ＋１の入力。
【０１４８】
ステップ１２  繰り返し［３］終了。
【０１４９】
ステップ１３  ｄ＝ｄ＋１の入力。
【０１５０】
ステップ１４  繰り返し［２］終了。
【０１５１】
ステップ１５  拡張ベクトル数の算出。
【０１５２】
図１７は、拡張総和計算段階の動作例を示したフローチャートである。
【０１５３】
ステップ１  第ｉ次元目がドンドケア値でなければ、ステップ３へ。
【０１５４】
ステップ２  ドンドケア値次元の計算、その後、ステップ４へ。
【０１５５】
ステップ３  数値次元の計算。
【０１５６】
ステップ４  次のステップへ。
【０１５７】
図１８は、拡張積和計算段階の動作例を示したフローチャートである。
【０１５８】
ステップ１  第ｄ次元目がドンドケア値でなければステップ４へ。
【０１５９】
ステップ２  第ｄ次元目がドンドケア値でなければステップ５へ。
【０１６０】
ステップ３  ドンドケア値ドンドケア値の計算、その後、ステップ７へ。
【０１６１】
ステップ４  第ｅ次元目がドンドケア値でなければステップ６へ。
【０１６２】
ステップ５  ドンドケア値数値の計算、その後、ステップ７へ。
【０１６３】
ステップ６  数値数値の計算。
【０１６４】
ステップ７  次のステップへ。
【０１６５】
図１９は、固有ベクトル算出段階の動作例を示したフローチャートである。
【０１６６】
ステップ１  ｇ＝０の入力。
【０１６７】
ステップ２  次元数Ｄ分繰り返し［１］
ステップ３  ｈ＝０の入力。
【０１６８】
ステップ４  Ｄ−（ｇ−１）分繰り返し［２］
ステップ５  Ｃ（ｇ，ｈ）が０ならばステップ８へ。但し、Ｃ（ｇ，ｈ）は、特徴ベクトルにおけるｇ次元とｈ次元の共分散である。
【０１６９】
ステップ６  ｈ＝ｈ＋１の入力。ｈがＤ−（ｇ−１）ならばステップ９へ。
【０１７０】
ステップ７  繰り返し［２］終了。
【０１７１】
ステップ８  ｇ次元の削除。
【０１７２】
ステップ９  ｇ＝ｇ＋１の入力。
【０１７３】
ステップ１０  繰り返し［１］終了。
【０１７４】
本発明に係る物体識別のための辞書生成方法とその装置は、前述した実施形態に係る装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録することやネットワークを通して提供すれば、コンピュータによって実施可能である。この場合、前記記録媒体から読み出されたプログラム自体が上述した実施の形態の機能を実現することになり、このプログラムを記録した記録媒体、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成するものである。
【図面の簡単な説明】
【０１７５】
【図１】本発明の実施形態例を示した概略図。
【図２】複数視点画像撮影の説明図。
【図３】本発明の辞書生成装置の構成例を示した概略構成図。
【図４】各複数視点画像を複数（指定された数Ｋ個）の領域に分割した例を示した概略図。
【図５】生成されたマスクデータの一例を示した概略図。
【図６】画像データをそのまま特徴ベクトルとして利用する方法の説明図。
【図７】画像に対するエッジ抽出の結果を特徴ベクトルとして利用する方法の説明図。
【図８】生成された拡張特徴ベクトルの一例を示した概略図。
【図９】拡張主成分分析手段の構成例を示した概略構成図。
【図１０】拡張共分散計算手段の構成例を示した概略図。
【図１１】拡張総和計算手段の構成例を示した概略図。
【図１２】拡張積和計算手段の構成例を示した概略図。
【図１３】固有ベクトル算出手段の構成例を示した概略構成図。
【図１４】辞書生成装置の動作例を示したフローチャート。
【図１５】拡張主成分分析段階の動作例を示したフローチャート。
【図１６】拡張共分散計算段階の動作例を示したフローチャート。
【図１７】拡張総和計算段階の動作例を示したフローチャート。
【図１８】拡張積和計算段階の動作例を示したフローチャート。
【図１９】固有ベクトル算出段階の動作例を示したフローチャート。
【符号の説明】
【０１７６】
１…辞書生成装置、１１…領域分割手段、１２…マスクデータ生成手段、１３…特徴計算手段、１４…拡張特徴ベクトル生成手段、１５…拡張主成分分析手段、１６…出力手段、
２…認識装置、
３…登録情報蓄積検索装置、４…蓄積手段
９１…拡張共分散計算手段、９２…固有ベクトル算出手段
１０１…拡張総和計算手段、１０２…拡張積和計算手段、１０３…拡張ベクトル数計算手段、１０４…結果算出出力手段
１１１…ドントケア値次元計算手段、１１２…数値次元計算手段
１２１…数値数値計算手段、１２２…ドントケア値数値計算手段、１２３…ドントケア値ドントケア値計算手段
１３１…次元排除手段、１３２…０次元挿入手段
【図１】
2005339397.tif 000047
【図２】
2005339397.tif 000048
【図３】
2005339397.tif 000049
【図４】
2005339397.tif 000050
【図５】
2005339397.tif 000051
【図６】
2005339397.tif 000052
【図９】
2005339397.tif 000053
【図１０】
2005339397.tif 000054
【図１１】
2005339397.tif 000055
【図１２】
2005339397.tif 000056
【図１３】
2005339397.tif 000057
【図１４】
2005339397.tif 000058
【図１５】
2005339397.tif 000059
【図１６】
2005339397.tif 000060
【図１７】
2005339397.tif 000061
【図１８】
2005339397.tif 000062
【図１９】
2005339397.tif 000063
【図７】
2005339397.tif 000064
【図８】
2005339397.tif 000065