(57)【要約】【課題】部分空間法による物体識別処理を高速化する。【解決手段】辞書生成装置１は物体の複数視点画像から識別に必要な情報を求めて蓄積する。識別装置２は登録された複数の物体を識別する。登録情報蓄積検索装置３は物体名と登録情報を蓄積しておき、物体名から登録情報を検索する。  辞書生成装置は識別のための辞書を生成する際に部分空間を圧縮し、識別装置は識別の際に入力特徴ベクトルを圧縮し、圧縮された部分空間との投影距離に基づき物体識別を行う。【選択図】  図１
2006059284.tif 000002
【特許請求の範囲】
【請求項１】
複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別装置であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出手段と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析手段と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析手段と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮手段とを備え、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力識別対象画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出手段と、
入力特徴ベクトルを前記第二段固有ベクトルを使用して、ｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出手段と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijから、各カテゴリで投影距離Ｌｉを次式、
【数１】
2006059284.tif 000011
から求める投影距離算出手段と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力手段とを備え、
たことを特徴とする物体識別装置。
【請求項２】
複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別装置であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出手段と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析手段と、
物体の特徴ベクトルセット毎に特徴ベクトルの平均ａiを求める平均特徴ベクトル算出手段と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析手段と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮手段と、
平均特徴ベクトルａiをａ’iとして圧縮し、圧縮平均特徴ベクトルを求める平均特徴ベクトル圧縮手段と、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出手段と、
入力特徴ベクトルをｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出手段と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijおよび圧縮平均特徴ベクトルａiから、各カテゴリで投影距離Ｌｉを次式、
【数２】
2006059284.tif 000012
から求める投影距離算出手段と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力手段とを備え、
たことを特徴とする物体識別装置。
【請求項３】
前記特徴ベクトル抽出手段および入力特徴ベクトル抽出手段は、抽出した特徴ベクトルまたは入力特徴ベクトルを正規化する正規化手段を備えたことを特徴とする請求項１または２に記載の物体識別装置。
【請求項４】
前記特徴ベクトル抽出手段および入力特徴ベクトル抽出手段は、画像の画素値をそのまま特徴として抽出することを特徴とする請求項１〜３のいずれか１項に記載の物体識別装置。
【請求項５】
前記特徴ベクトル抽出手段および入力特徴ベクトル抽出手段は、画像に対するエッジ抽出の結果を特徴ベクトルとして抽出することを特徴とする請求項１〜３のいずれか１項に記載の物体識別装置。
【請求項６】
複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別方法であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出過程と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析過程と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析過程と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮過程とを備え、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力識別対象画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出過程と、
入力特徴ベクトルを前記第二段固有ベクトルを使用して、ｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出過程と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijから、各カテゴリで投影距離Ｌｉを次式、
【数３】
2006059284.tif 000013
から求める投影距離算出過程と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力過程とを備え、
たことを特徴とする物体識別方法。
【請求項７】
複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別方法であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出過程と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析過程と、
物体の特徴ベクトルセット毎に特徴ベクトルの平均ａiを求める平均特徴ベクトル算出過程と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析過程と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮過程と、
平均特徴ベクトルａiをａ’iとして圧縮し、圧縮平均特徴ベクトルを求める平均特徴ベクトル圧縮過程と、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出過程と、
入力特徴ベクトルをｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出過程と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijおよび圧縮平均特徴ベクトルａiから、各カテゴリで投影距離Ｌｉを次式、
【数４】
2006059284.tif 000014
から求める投影距離算出過程と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力過程とを備え、
たことを特徴とする物体識別方法。
【請求項８】
前記特徴ベクトル抽出過程および入力特徴ベクトル抽出過程は、抽出した特徴ベクトルまたは入力特徴ベクトルを正規化する正規化過程を備えたことを特徴とする請求項６または７に記載の物体識別方法。
【請求項９】
前記特徴ベクトル抽出過程および入力特徴ベクトル抽出過程は、画像の画素値をそのまま特徴として抽出することを特徴とする請求項６〜８のいずれか１項に記載の物体識別方法。
【請求項１０】
前記特徴ベクトル抽出過程および入力特徴ベクトル抽出過程は、画像に対するエッジ抽出の結果を特徴ベクトルとして抽出することを特徴とする請求項６〜８のいずれか１項に記載の物体識別方法。
【請求項１１】
請求項６〜１０のいずれか１項に記載の物体識別方法における処理手順を、コンピュータで実行可能に構成したことを特徴とする物体識別方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に、どのような対象が写っているかを識別する画像識別技術に属し、その具体的な産業応用システムとして、例えば画像検索システムなどが挙げられる。
【背景技術】
【０００２】
画像認識技術は、画像データ内のある領域がどのカテゴリに属するかを特定する技術である。パターンマッチング方式では、入力画像の中に、あらかじめ作成した標準パターンと同じ物があるか、あるいは近いものがあるかを検出する。標準パターンは、そのパターンを良く示す特徴を用いて表現される。代表的な手法である部分空間法では、濃淡画像を特徴としたサンプルを主成分分析し、固有値の高い順に固有ベクトルを複数選択して、その分布を部分空間として近似する（例えば、非特許文献１参照）
【非特許文献１】「わかりやすいパターン認識」、オーム社、石井他著、ｐｐ１４７〜ｐｐ１５８
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の手法では、対象物の数の分だけ部分空間距離を計算するため、多大な計算コストがかかるという問題があった。
【０００４】
本発明の目的は、上記の課題を解決した物体識別装置、方法およびこの方法のプロクラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、部分空間法の高速化を実現するために、識別のための辞書を生成する際に部分空間を圧縮し、物体識別の際に入力特徴ベクトルを圧縮し、圧縮された部分空間との投影距離に基づき物体識別を行う。
各カテゴリで同等の変形を行うような対象（例えば撮影位置による変形を許容する景観文字）に対して，その内部モデルである部分空間（固有空間）は非常に類似性が高いといえる。そこで、本発明は、全部分空間ベクトルを主成分分析し、圧縮することで、効率的に部分空間を圧縮でき、部分空間法による識別処理を高速化するもので、以下の装置、方法、プロクラムを特徴とする。
（物体識別装置の発明）
（１）複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別装置であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出手段と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析手段と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析手段と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮手段とを備え、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力識別対象画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出手段と、
入力特徴ベクトルを前記第二段固有ベクトルを使用して、ｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出手段と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijから、各カテゴリで投影距離Ｌｉを次式、
【０００６】
【数５】
2006059284.tif 000003
【０００７】
から求める投影距離算出手段と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力手段とを備え、
たことを特徴とする。
【０００８】
（２）複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別装置であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出手段と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析手段と、
物体の特徴ベクトルセット毎に特徴ベクトルの平均ａiを求める平均特徴ベクトル算出手段と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析手段と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮手段と、
平均特徴ベクトルａiをａ’iとして圧縮し、圧縮平均特徴ベクトルを求める平均特徴ベクトル圧縮手段と、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出手段と、
入力特徴ベクトルをｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出手段と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijおよび圧縮平均特徴ベクトルａiから、各カテゴリで投影距離Ｌｉを次式、
【０００９】
【数６】
2006059284.tif 000004
【００１０】
から求める投影距離算出手段と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力手段とを備え、
たことを特徴とする。
【００１１】
（３）前記特徴ベクトル抽出手段および入力特徴ベクトル抽出手段は、抽出した特徴ベクトルまたは入力特徴ベクトルを正規化する正規化手段を備えたことを特徴とする。
【００１２】
（４）前記特徴ベクトル抽出手段および入力特徴ベクトル抽出手段は、画像の画素値をそのまま特徴として抽出することを特徴とする。
【００１３】
（５）前記特徴ベクトル抽出手段および入力特徴ベクトル抽出手段は、画像に対するエッジ抽出の結果を特徴ベクトルとして抽出することを特徴とする。
【００１４】
（物体識別方法の発明）
（６）複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別方法であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出過程と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析過程と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析過程と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮過程とを備え、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力識別対象画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出過程と、
入力特徴ベクトルを前記第二段固有ベクトルを使用して、ｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出過程と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijから、各カテゴリで投影距離Ｌｉを次式、
【００１５】
【数７】
2006059284.tif 000005
【００１６】
から求める投影距離算出過程と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力過程とを備え、
たことを特徴とする。
【００１７】
（７）複数（Ｉ個）の物体を含む複数視点画像（Ｇi枚，１≦ｉ≦Ｉ）を登録し、これらの物体画像と入力識別対象画像とから部分空間法によって識別対象物体を識別する物体識別方法であって、
物体識別用の辞書を生成する辞書生成装置は、
各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出過程と、
物体の特徴ベクトルセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析過程と、
物体の特徴ベクトルセット毎に特徴ベクトルの平均ａiを求める平均特徴ベクトル算出過程と、
定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトルｓm（第ｍ固有ベクトル）を求める第二段主成分分析過程と、
固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮過程と、
平均特徴ベクトルａiをａ’iとして圧縮し、圧縮平均特徴ベクトルを求める平均特徴ベクトル圧縮過程と、
前記辞書と識別対象画像から物体を識別する識別装置は、
入力画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出過程と、
入力特徴ベクトルをｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出過程と、
前記圧縮入力特徴ベクトルｂ’と圧縮固有ベクトルν’ijおよび圧縮平均特徴ベクトルａiから、各カテゴリで投影距離Ｌｉを次式、
【００１８】
【数８】
2006059284.tif 000006
【００１９】
から求める投影距離算出過程と、
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力過程とを備え、
たことを特徴とする。
【００２０】
（８）前記特徴ベクトル抽出過程および入力特徴ベクトル抽出過程は、抽出した特徴ベクトルまたは入力特徴ベクトルを正規化する正規化過程を備えたことを特徴とする。
【００２１】
（９）前記特徴ベクトル抽出過程および入力特徴ベクトル抽出過程は、画像の画素値をそのまま特徴として抽出することを特徴とする。
【００２２】
（１０）前記特徴ベクトル抽出過程および入力特徴ベクトル抽出過程は、画像に対するエッジ抽出の結果を特徴ベクトルとして抽出することを特徴とする。
【００２３】
（プログラムの発明）
（１１）上記の（６）〜（１０）のいずれか１項に記載の物体識別方法における処理手順を、コンピュータで実行可能に構成したことを特徴とする。
【発明の効果】
【００２４】
以上述べたように、本発明による物体識別装置、方法によれば、部分空間法の高速化を実現するために、識別のための辞書を生成する際に部分空間を圧縮し、物体識別の際に入力特徴ベクトルを圧縮し、圧縮された部分空間との投影距離に基づき物体識別を行うため、各カテゴリで同等の変形を行うような対象（例えば撮影位置による変形を許容する景観文字）に対して、効率的に部分空間を圧縮でき、部分空間法による識別処理を高速化できる。
【発明を実施するための最良の形態】
【００２５】
まず、本発明の実施形態で使用する定数および変数の定義を以下に示す。
【００２６】
・カテゴリ数：Ｉ
・カテゴリ番号：ｉ，１≦ｉ≦Ｉ
・各カテゴリの画像の枚数：Ｇi
・画像番号：ｇ，１≦ｇ≦Ｇi
・特徴ベクトル：ａgi  ただし、Ｎ次元
・カテゴリｉの第ｊ部分空間ベクトル：νij  １≦ｊ≦Ｊ≦Ｎ  ，Ｊは入力され
た定数
・νijに対し主成分分析をした第ｍ主成分ベクトル：ｓm  １≦ｍ≦Ｍ≦Ｊ，Ｍ
は入力された定数
・入力特徴ベクトル：ｂ  ただし、Ｎ次元
・圧縮入力特徴ベクトル：ｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）
・カテゴリｉの平均特徴ベクトル：ａi（ただし、請求項および後に示す式中ではａの上に〜を付して示す）
以下、本発明の実態の形態例について図を用いて詳細に説明する。
【００２７】
図１は、本発明をおみやげ人形識別システムに適用した例であり、本システムにより、ユーザーは、撮影したおみやげ人形の画像を基に、そのおみやげ人形の詳細情報を見ることができる。ただし、あらかじめ、おみやげ人形製造者がセンタにおみやげ人形の情報を登録していることが前提となる。
システムは、辞書生成装置１と識別装置２および登録情報蓄積検索装置３から構成される。これら装置は、外部に対する画像情報の入出力及び通信機能をもつ入出力装置と情報処理機能をもつコンピュータ（ＣＰＵ、メモリ）とハードディスクなどの記憶装置およびコンピュータに搭載するソフトウエアによって機能構成される。
本実施形態では、物体までの距離が一定である複数視点画像を用いて物体を登録する。識別装置２は、登録された複数の物体を識別する。登録情報蓄積検索装置３は、物体名と登録情報を蓄積しておき、物体名から登録情報を検索する装置であり、一般のデータベースにより構築できるため、本実施例では詳細を記載しない。辞書生成装置１は、物体の複数視点画像から識別に必要な情報を求め、蓄積する。
以下の例では、「ダルマ」、「大仏」、「こけし」の３種類のおみやげ品を登録／識別する場合を例に説明する。すなわちカテゴリ数Ｉ＝３である。以後の表現では、画像の名前をＩｍとすると、各画素値をＩｍ（ｘ，ｙ）で表現する。複数視点画像は、例えば、図２のように、対象物の中心を原点とした極座標（ｒ，α，β）で考えると、各視点をｒ＝Ｒ，α＝５ｓ度，β＝５ｔ度として５１８４枚撮影する。ただし、Ｒは定数、ｓは０以上７１以下の整数、ｔは０以上７１以下の整数とする。
図３は、本発明の請求項１に対応する装置構成図である。辞書生成装置１は、各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出手段１Ａと、物体の特徴ベクトルのセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析手段１Ｂと、定められた次元数（Ｊ）に基づき、νij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトル（ｓm：第ｍ固有ベクトル）を求める第二段主成分分析手段１Ｃと、固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・  νij・ｓM）として圧縮（Ｍは入力された定数、１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮手段１Ｄより構成される。
また、識別装置２は、入力画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出手段２Ａと、入力特徴ベクトルをｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力等価ベクトル算出手段２Ｂと、各カテゴリで投影距離Ｌｉを以下の演算、
【００２８】
【数９】
2006059284.tif 000007
【００２９】
で求める投影距離算出手段２Ｃと、最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力手段２Ｄより構成される。
図４は、本発明の請求項２に対応する装置構成図である。辞書生成装置１は、各画像からＮ次元の特徴ベクトル（ａgi，１≦ｇ≦Ｇi）を抽出する特徴ベクトル抽出手段１Ａと、物体の特徴ベクトルのセット毎に主成分分析を行い、固有ベクトル（νij：カテゴリｉの第ｊ固有ベクトル）を求める第一段主成分分析手段１Ｂと、物体の特徴ベクトルのセット毎に下記の演算によって特徴ベクトルの平均ａiを求める平均特徴ベクトル算出手段１Ｅと、定められた次元数（Ｊ）に基づき、固有ベクトルνij（１≦ｊ≦Ｊ≦Ｎ）に対して主成分分析を行い、第二段固有ベクトル（ｓm：第ｍ固有ベクトル）を求める第二段主成分分析手段１Ｃと、固有ベクトルνijをν’ij＝（νij・ｓ1，  νij・ｓ2，  ・・・νij・ｓM）として圧縮（Ｍは入力された定数。１≦ｍ≦Ｍ≦Ｊ）し、圧縮固有ベクトルを求める固有ベクトル圧縮手段１Ｄと、平均特徴ベクトルａiをａ’iとして圧縮し、圧縮平均特徴ベクトルを求める平均特徴ベクトル圧縮手段１Ｆより構成される。
【００３０】
【数１０】
2006059284.tif 000008
【００３１】
また、識別装置２は、入力画像から入力特徴ベクトル（ｂ：Ｎ次元）を抽出する入力特徴ベクトル抽出手段２Ａと、入力特徴ベクトルをｂ’＝（ｂ・ｓ1，  ｂ・ｓ2，  ・・・  ｂ・ｓM）として圧縮し、圧縮入力特徴ベクトルを求める圧縮入力特徴ベクトル算出手段２Ｂと、各カテゴリで投影距離Ｌｉを以下の演算で求める投影距離算出手段２Ｃと、
【００３２】
【数１１】
2006059284.tif 000009
【００３３】
最小の投影距離Ｌcであるカテゴリｃを識別結果として出力する出力手段２Ｄより構成される。
ここで、特徴ベクトルの例について説明する。図５のように、画像の画素値Ｉ（０，０）、Ｉ（ｍ，ｎ）、Ｉ（Ｘ−１，Ｙ−１）をそのまま画像の特徴とした特徴ベクトルを作成する（本発明の請求項４に相当）。
また、単に、画像を特徴ベクトルとして利用するのではなく、図６のように、画像に対するエッジ抽出の結果を特徴ベクトルとして利用してもよい（本発明の請求項５に相当）。図６において、原画像Ｉｍの横をｘ軸、縦をｙ軸と考える。画像は横Ｘピクセル×縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。まず、原画像に対し、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘとｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。ソーベルオペレータでは、以下の式に従って画素値を求める。
【００３４】
Ｄｘ（ｘ，ｙ）＝［Ｉｍ（ｘ−１，ｙ＋１）＋２Ｉｍ（ｘ，ｙ＋１）＋Ｉ（ｘ＋１，ｙ＋１）］−［Ｉｍ（ｘ−１，ｙ−１）＋２Ｉ（ｘ，ｙ−１）＋Ｉｍ（ｘ＋１，ｙ−１）］
Ｄｙ（ｘ，ｙ）＝［Ｉｍ（ｘ＋１，ｙ＋１）＋２Ｉｍ（ｘ＋１，ｙ）＋Ｉｍ（ｘ＋１，ｙ−１）］−［Ｉｍ（ｘ−１，ｙ＋１）＋２Ｉｍ（ｘ−１，ｙ）＋Ｉｍ（ｘ−１，ｙ−１）］
ただし、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。ＤｘおよびＤｙを上下に結合し、1つの画像（結合画像）とみなす。結合画像を図６に示すように特徴ベクトル化する。
【００３５】
主成分分析により、固有値、固有ベクトルを算出する方法は、例えば、「わかりやすいパターン認識」、オーム社、石井他著、ｐｐ１０６〜ｐｐ１１４に記載のように一般的な方法により求めることができるため、本実施形態では詳細を記載しない。
【００３６】
図７は、本発明の請求項３に対応する要部構成図である。特徴ベクトル抽出手段１Ａは、特徴ベクトル抽出手段１Ａ1にその特徴ベクトルを正規化する正規化手段１Ａ2が付加される。また、入力特徴ベクトル抽出手段２Ａは、入力特徴ベクトル抽出手段２Ａ1にその入力特徴ベクトルを正規化する正規化手段２Ａ2が付加される。これらによる正規化は、以下の式に従った処理で実現される。
【００３７】
【数１２】
2006059284.tif 000010
【００３８】
ただし、ｄは一般的なベクトル、Ｋは入力された定数、ｄ’は正規化後のベクトルとする。
【００３９】
次に、物体識別処理方法について説明する。図８は、図３に対応する辞書生成処理手順と識別処理手順を示す。
まず、辞書生成装置による処理手順を説明する。特徴ベクトルの抽出は各登録物体（本例では３個）についてそれぞれが持つ画像数Ｇi分繰り返し（Ｓ１）、抽出した各特徴ベクトルを使用して各登録物体の第一段主成分分析を行う（Ｓ２）。この処理を登録物体数Ｉ分（本例では３）繰り返す。
次いで、第二段主成分分析を行い、第二段固有ベクトルを求める（Ｓ３）。最後に、求めた第二段固有ベクトルについて、入力次元Ｊ分の繰り返しで圧縮固有ベクトルを求め、この処理を登録物体数Ｉ分（本例では３）繰り返す（Ｓ４）。
次に、識別処理方法について説明する。入力特徴ベクトルを抽出し（Ｓ１１）、第二段主成分分析によって求められた登録物体の第二段固有ベクトルを使用して圧縮入力特徴ベクトルを算出する（Ｓ１２）。この圧縮特徴ベクトルについて、固有ベクトル圧縮によって求められた登録物体の圧縮固有ベクトルを使用して投影距離を算出する（Ｓ１３）。この距離算出は、登録物体数Ｉ分（本例では３）繰り返す。最後に投影距離を基に物体識別を行い、識別結果を出力する（Ｓ１４）。
【００４０】
図９は、図４に対応する物体識別のための辞書生成処理手順と識別処理手順を示す。
まず、辞書生成装置の処理の流れを説明する。特徴ベクトルの抽出は各登録物体（本例では３個）についてそれぞれが持つ画像数Ｇi分繰り返し（Ｓ２１）、抽出した各特徴ベクトルを使用して各登録物体の第一段主成分分析を行い（Ｓ２２）、平均特徴ベクトルを算出する（Ｓ２３）。これらの処理を登録物体数Ｉ分（本例では３）繰り返す。
次いで、第二段主成分分析を行い、第二段固有ベクトルを求め（Ｓ２４）、この第二段固有ベクトルについて、入力次元Ｊ分の繰り返しで圧縮固有ベクトルを求め（Ｓ２５）、さらに平均特徴ベクトルを圧縮した圧縮平均特徴ベクトルを求める（Ｓ２６）。これらの処理を登録物体数Ｉ分（本例では３）繰り返す。
次に、識別処理方法について説明する。入力特徴ベクトルを抽出し（Ｓ３１）、第二段主成分分析によって求められた登録物体の第二段固有ベクトルを使用して圧縮入力特徴ベクトルを算出する（Ｓ３２）。この圧縮特徴ベクトルについて、固有ベクトル圧縮によって求められた登録物体の圧縮固有ベクトル、および平均特徴ベクトル圧縮によって求められた圧縮平均特徴ベクトルを使用して投影距離を算出する（Ｓ３３）。この距離算出は、登録物体数Ｉ分（本例では３）繰り返す。最後に投影距離を基に物体識別を行い、識別結果を出力する（Ｓ３４）。
図１０は、図７に対応する特徴ベクトル抽出処理手順と入力特徴ベクトル抽出処理手順図である。特徴ベクトル抽出処理は、特徴ベクトルを抽出し（Ｓ４１）、この特徴ベクトルの正規化を行う（Ｓ４２）。入力特徴ベクトル抽出処理は、入力特徴ベクトルを抽出し（Ｓ５１）、この入力特徴ベクトルの正規化を行う（Ｓ５２）。
なお、本発明は、図８〜図１０に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態を示すシステム構成図。
【図２】複数視点画像の極座標図。
【図３】図１における辞書生成装置と識別装置の構成図。
【図４】図１における辞書生成装置と識別装置の他の構成図。
【図５】画像の特徴ベクトルの例。
【図６】画像の特徴ベクトルの他の例。
【図７】図３または図４における特徴ベクトル抽出手段および入力特徴ベクトル抽出手段の要部構成図。
【図８】図３に対応する辞書生成手順と識別手順図。
【図９】図４に対応する辞書生成手順と識別手順図。
【図１０】図３または図４に対応する特徴ベクトル抽出処理手順と入力特徴ベクトル抽出処理手順図。
【符号の説明】
【００４２】
１  辞書生成装置
２  識別装置
３  登録情報蓄積検索装置
【図１】
2006059284.tif 000015
【図２】
2006059284.tif 000016
【図３】
2006059284.tif 000017
【図４】
2006059284.tif 000018
【図５】
2006059284.tif 000019
【図６】
2006059284.tif 000020
【図７】
2006059284.tif 000021
【図８】
2006059284.tif 000022
【図９】
2006059284.tif 000023
【図１０】
2006059284.tif 000024