(57)【要約】【課題】  対象物が他物体に隠蔽されたり、物体が撮影された画像が複雑な背景を有したり、照明が全反射する場合等においても、対象物を正確に識別できる辞書を作成する。【解決手段】  拡張特徴ベクトルを入力する拡張特徴ベクトル入力手段３１と、  拡張特徴ベクトル群に対して主成分分析を行う拡張主成分分析手段３２と、を有することを特徴とする辞書構成装置において、識別のための辞書を構成する際に、各画像を特徴ベクトルに変換し、各特徴ベクトルにドントケア次元を有する拡張特徴ベクトルを求め、拡張特徴ベクトル群に対して主成分分析を行う。また、拡張特徴ベクトル群を主成分分析する際に、ベクトルの大きさ変動を考慮した共分散行列を求める。【選択図】  図３
2006059018.tif 000002
【特許請求の範囲】
【請求項１】
物体の複数視点画像を用いて物体を登録し、登録された複数の物体を識別する辞書構成装置であって、
画像をベクトルとみなし、ベクトル次元にドントケア次元を用いて画像群をドントケア画像として表現することを特徴とする辞書構成装置。
【請求項２】
ドントケア次元を有する拡張特徴ベクトルを用いて物体を登録し、登録された複数の物体を識別する辞書構成装置であって、
拡張特徴ベクトルを入力する拡張特徴ベクトル入力手段と、
拡張特徴ベクトル群に対して主成分分析を行う拡張主成分分析手段と、を有することを特徴とする辞書構成装置。
【請求項３】
物体の複数視点画像を用いて物体を登録し、登録された複数の物体を識別する辞書構成装置であって、
複数視点画像を入力し、各画像を特徴ベクトルに変換する特徴計算手段と、
前記特徴ベクトルからドントケア次元を有する拡張特徴ベクトルを生成する拡張特徴ベクトル生成手段と、
生成した拡張特徴ベクトル群に対して主成分分析を行う拡張主成分分析手段と、を有することを特徴とする辞書構成装置。
【請求項４】
前記拡張主成分分析手段は、
前記拡張特徴ベクトルに対してベクトルの大きさ変動を考慮した共分散行列を求める正規化拡張共分散行列計算手段と、
求めた拡張共分散行列から固有値および固有ベクトルを求める固有ベクトル算出手段と、を有することを特徴とする請求項２または３に記載の辞書構成装置。
【請求項５】
前記正規化拡張共分散行列計算手段は、
拡張特徴ベクトルを正規化した正規化拡張特徴ベクトルを求める拡張特徴ベクトル正規化手段と、
正規化拡張特徴ベクトルに対して拡張ベクトル数を計算する拡張ベクトル数計算手段と、
正規化拡張特徴ベクトルに対して各次元(ｉ)の総和である拡張総和を計算する拡張総和計算手段と、
正規化拡張特徴ベクトルに対して各次元間(ｉ、ｊ)の積和である拡張積和を計算する拡張積和計算手段と、
共分散行列のｉ行ｊ列の要素として
【数２】
2006059018.tif 000022
を計算して出力する結果算出出力手段と、を有することを特徴とする請求項４に記載の辞書構成装置。
【請求項６】
前記拡張特徴ベクトル数計算手段は、
定められた正規化係数をＳ、最小パワー倍率をＳmin、最大パワー倍率をＳmax刻み数をＳstep、倍率順列を
【数４】
2006059018.tif 000023
、として、
かつ、正規化拡張特徴ベクトルの各次元値Ｖの最大値をＶmax、最小値をＶmin、刻み数をＶstep、次元値順列を
【数５】
2006059018.tif 000024
、として、
各拡張特徴ベクトルυgに対するベクトルサンプル数として
【数６】
2006059018.tif 000025
を算出する各ベクトルサンプル数計算手段と、
前記各ベクトルサンプル数の総和を求めるベクトルサンプル数計算手段と、を有し、
前記拡張総和計算手段は、
各正規化拡張特徴ベクトルυgに対してドントケア次元の値Ｖnの生起確率をｐ(Ｖn)として、ｉ次元がドントケア次元の場合は、各次元総和として
【数７】
2006059018.tif 000026
を算出し、
ｉ次元が数値次元の場合は、各次元総和として、
【数８】
2006059018.tif 000027
を算出する各ベクトル次元総和算出手段と、
拡張総和(ｉ)として
【数９】
2006059018.tif 000028
を求める総和計算手段と、を有し、
前記拡張積和計算手段は、
各正規化拡張特徴ベクトルυgに対して、ｉ次元が数値次元かつｊ次元が数値次元の場合には、各次元間積和である
【数１０】
2006059018.tif 000029
を計算し、
ｉ次元がドントケア次元かつｊ次元がドントケア次元の場合には、
各次元間積和である
【数１１】
2006059018.tif 000030
を計算し、
ｉ次元が数値次元かつｊ次元がドントケア次元の場合には、各次元間積和である、
【数１２】
2006059018.tif 000031
を計算し、
ｊ次元が数値次元かつｉ次元がドントケア次元の場合には、各次元間積和である、
【数１３】
2006059018.tif 000032
を計算する各ベクトル次元間積和計算手段と、
拡張積和(ｉ、ｊ)として
【数１４】
2006059018.tif 000033
を求める積和計算手段と、を有することを特徴とする請求項５に記載の辞書構成装置。
【請求項７】
前記特徴計算手段は、画像の画素値をそのまま特徴値として利用することを特徴とする請求項１〜６に記載の辞書構成装置。
【請求項８】
前記特徴計算手段は、画像に対するエッジ抽出の結果を特徴ベクトルとして利用することを特徴とする請求項１〜６に記載の辞書構成装置。
【請求項９】
前記拡張総和計算手段および拡張積和計算手段において、
ドントケア次元の値Ｖnの生起確率であるｐ(Ｖn)が、一様分布であることを特徴とする請求項５〜８いずれかに記載の辞書構成装置。
【請求項１０】
前記拡張総和計算手段および拡張積和計算手段において、
ドントケア次元の値Ｖnの生起確率であるｐ(Ｖn)が、正規分布であることを特徴とする請求項５〜８いずれかに記載の辞書構成装置。
【請求項１１】
前記拡張ベクトル数計算手段、拡張総和計算手段、および拡張積和計算手段において、(Ｖstep＋１)Dgによるオーバーフローを避けるために前記各数式に対して(Ｖstep＋１)Dgを除すことを特徴とする請求項５〜８いずれかに記載の辞書構成装置。
【請求項１２】
物体の複数視点画像を用いて物体を登録し、登録された複数の物体を識別する辞書構成装置における辞書構成方法であって、
画像をベクトルとみなし、ベクトル次元にドントケア次元を用いて画像群をドントケア画像として表現することを特徴とする辞書構成方法。
【請求項１３】
ドントケア次元を有する拡張特徴ベクトルを用いて物体を登録し、登録された複数の物体を識別する辞書構成装置における辞書構成方法であって、
拡張特徴ベクトル入力手段が拡張特徴ベクトルを入力するステップと、
拡張主成分分析手段が拡張特徴ベクトル群に対して主成分分析を行うステップと、を有することを特徴とする辞書構成方法。
【請求項１４】
物体の複数視点画像を用いて物体を登録し、登録された複数の物体を識別する辞書構成装置における辞書構成方法であって、
特徴計算手段が複数視点画像を入力し、各画像を特徴ベクトルに変換するステップと、
拡張特徴ベクトル生成手段が前記特徴ベクトルからドントケア次元を有する拡張特徴ベクトルを生成するステップと、
拡張主成分分析手段が生成した拡張特徴ベクトル群に対して主成分分析を行うステップと、を有することを特徴とする辞書構成方法。
【請求項１５】
前記拡張主成分分析手段は、
正規化拡張共分散行列計算手段が前記拡張特徴ベクトルに対してベクトルの大きさ変動を考慮した共分散行列を求めるステップと、
固有ベクトル算出手段が求めた拡張共分散行列から固有値および固有ベクトルを求めるステップと、を有することを特徴とする請求項１３または１４に記載の辞書構成方法。
【請求項１６】
前記正規化拡張共分散行列計算手段は、
拡張特徴ベクトル正規化手段が拡張特徴ベクトルを正規化した正規化拡張特徴ベクトルを求めるステップと、
拡張ベクトル数計算手段が正規化拡張特徴ベクトルに対して拡張ベクトル数を計算するステップと、
拡張総和計算手段が正規化拡張特徴ベクトルに対して各次元(ｉ)の総和である拡張総和を計算するステップと、
拡張積和計算手段が正規化拡張特徴ベクトルに対して各次元間(ｉ、ｊ)の積和である拡張積和を計算するステップと、
結果算出出力手段が共分散行列のｉ行ｊ列の要素として
【数２】
2006059018.tif 000034
を計算して出力するステップと、を有することを特徴とする請求項１５に記載の辞書構成方法。
【請求項１７】
前記拡張特徴ベクトル数計算手段は、
各ベクトルサンプル数計算手段が定められた正規化係数をＳ、最小パワー倍率をＳmin、最大パワー倍率をＳmax刻み数をＳstep、倍率順列を
【数４】
2006059018.tif 000035
、として、
かつ、正規化拡張特徴ベクトルの各次元値Ｖの最大値をＶmax、最小値をＶmin、刻み数をＶstep、次元値順列を
【数５】
2006059018.tif 000036
、として、
各拡張特徴ベクトルυgに対するベクトルサンプル数として
【数６】
2006059018.tif 000037
を算出するステップと、
ベクトルサンプル数計算手段が前記各ベクトルサンプル数の総和を求めるステップと、を有し、
前記拡張総和計算手段は、
各ベクトル次元総和算出手段が各正規化拡張特徴ベクトルυgに対してドントケア次元の値Ｖnの生起確率をｐ(Ｖn)として、ｉ次元がドントケア次元の場合は、各次元総和として
【数７】
2006059018.tif 000038
を算出し、
ｉ次元が数値次元の場合は、各次元総和として、
【数８】
2006059018.tif 000039
を算出するステップと、
総和計算手段が拡張総和(ｉ)として
【数９】
2006059018.tif 000040
を求めるステップと、を有し、
前記拡張積和計算手段は、
各ベクトル次元間積和計算手段が各正規化拡張特徴ベクトルυgに対して、ｉ次元が数値次元かつｊ次元が数値次元の場合には、各次元間積和である
【数１０】
2006059018.tif 000041
を計算し、
ｉ次元がドントケア次元かつｊ次元がドントケア次元の場合には、
各次元間積和である
【数１１】
2006059018.tif 000042
を計算し、
ｉ次元が数値次元かつｊ次元がドントケア次元の場合には、各次元間積和である、
【数１２】
2006059018.tif 000043
を計算し、
ｊ次元が数値次元かつｉ次元がドントケア次元の場合には、各次元間積和である、
【数１３】
2006059018.tif 000044
を計算するステップと、
積和計算手段が拡張積和(ｉ、ｊ)として
【数１４】
2006059018.tif 000045
を求めるステップと、を有することを特徴とする請求項１６に記載の辞書構成方法。
【請求項１８】
前記特徴計算手段は、画像の画素値をそのまま特徴値として利用することを特徴とする請求項１２〜１７に記載の辞書構成方法。
【請求項１９】
前記特徴計算手段は、画像に対するエッジ抽出の結果を特徴ベクトルとして利用することを特徴とする請求項１２〜１７に記載の辞書構成方法。
【請求項２０】
前記拡張総和計算手段および拡張積和計算手段において、
ドントケア次元の値Ｖnの生起確率であるｐ(Ｖn)が、一様分布であることを特徴とする請求項１６〜１９いずれかに記載の辞書構成方法。
【請求項２１】
前記拡張総和計算手段および拡張積和計算手段において、
ドントケア次元の値Ｖnの生起確率であるｐ(Ｖn)が、正規分布であることを特徴とする請求項１６〜１９いずれかに記載の辞書構成方法。
【請求項２２】
前記拡張ベクトル数計算手段、拡張総和計算手段、および拡張積和計算手段において、 (Ｖstep＋１)Dgによるオーバーフローを避けるために前記各数式に対して(Ｖstep＋１)Dgを除すことを特徴とする請求項１６〜１９いずれかに記載の辞書構成方法。
【請求項２３】
上記の請求項１〜２２のいずれか１項に記載の辞書構成装置または辞書構成方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内にどのような対象が写っているかを識別する画像識別技術に属し、その具体的な産業応用システムとして、例えば画像検索システムなどが挙げられる。
【背景技術】
【０００２】
画像認識技術は、画像データ内のある領域がどのカテゴリーに属するかを特定する技術である。パターンマッチング方式では、入力画像の中にあらかじめ作成した標準パターンと同じ物があるか、あるいは近いものがあるかを検出する。標準パターンは、そのパターンをよく示す特徴を用いて表現される。代表的な手法であるテンプレートマッチング方法では、濃淡画像を特徴としたテンプレートや、濃淡画像を微分した微分濃淡画像を特徴とするテンプレートを標準パターンとして利用するのが一般的である(例えば、非特許文献１参照。)。
【非特許文献１】村瀬洋、Ｓ．Ｋ．Ｎａｙｅｒ著、「多重解像度と固有空間表現による３次元物体のイメージスポッティング」、情報処理学会論文誌、Ｖｏｌ．３６、Ｎｏ．１０、ｐ．２２３４−２２４３、１９９５年１０月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の手法では、対象物が他物体に隠蔽されたり、物体が撮影された画像が複雑な背景を有したり、照明が全反射する場合、その部位がテンプレートと大きく異なるため識別率が大きく下がるという問題点があった。
【０００４】
上記の非特許文献１では、背景のテクスチャは頑健になるが、物体が隠蔽される場合や照明が全反射する場合などは対処できなかった。
【０００５】
また、一般に、対象物を撮影する場合、照明条件によってその画像の明るさが変動するため、画像のパワーを正規化してからテンプレートや辞書などと比較する。しかし、対象物が他物体に隠蔽されたり、物体を撮影した画像が複雑な背景を有していたり、照明が全反射する場合、画像のパワーが変動するため、ノイズが混入されていない領域においても、一致しないという課題があった。
【０００６】
かかる事情に鑑み、本発明はなされたもので、その目的は、上記課題を解決した物体識別技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明では、隠蔽、照明光の全反射、複雑背景の課題を解決するために、識別のための辞書を構成する際に、各画像を特徴ベクトルに変換し、各特徴ベクトルにドントケア次元を有する拡張特徴ベクトルを求め、拡張特徴ベクトル群に対して主成分分析を行う。
【０００８】
例えば、図４のように拡張ベクトルを定義すると、図２０のように拡張特徴ベクトルが分布するとする。この拡張特徴ベクトルは、上下左右に隠蔽、照明光の全反射に起因するノイズが混入する画像をすべて表している。この分布の主成分を求め、部分空間法を用いて識別することで、ノイズに強い識別を実現できる。
【０００９】
また、拡張特徴ベクトル群を主成分分析する際に、ベクトルの大きさ変動を考慮した共分散行列を求める。
【００１０】
例えば、図２１のように、辞書生成の際に、原画像を正規化し、ドントケア次元を付与した拡張特徴ベクトルと、実際にノイズが混入された対象画像を正規化した対象特徴ベクトルは包含関係にないため、この辞書では識別に失敗する可能性がある。
【００１１】
そこで、正規化を小さく行うことを考える。図２２に示すように、辞書生成の際に原画像を小さく正規化し、ドントケア次元を付与した拡張特徴ベクトルと、実際にノイズが混入された対象画像を正規化した対象特徴ベクトルは包含関係にあるため、この辞書では識別に成功する可能性が高い。
【００１２】
そこで、図２３に示すように、拡張特徴ベクトルのパワーを複数考慮した分布を求め、主成分分析を行う。
【発明の効果】
【００１３】
本発明によれば、ドントケア次元を有する拡張特徴ベクトルに対して主成分分析を行うため、すなわち、複数視点画像に対して様々な隠蔽、照明光の全反射、複雑背景が混入した場合の特徴ベクトルをサンプルとした辞書を生成するのと同じ効果を有する主成分分析を行うため、隠蔽、照明光の全反射、複雑背景により生じる課題を解決できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面を用いて説明する。
【００１５】
図１は、本発明をおみやげ人形システムに適用した例であり、おみやげ人形情報特定システムの構成図である。図１に示すように、本システムは辞書構成装置１１、識別装置１２、および登録情報蓄積検索装置１３から構成される。
【００１６】
本システムにおいては、物体までの距離が一定である複数視点画像を用いて辞書構成装置１１に物体を登録する。辞書構成装置１１は物体の複数視点画像から識別に必要な情報を求め、蓄積する。
【００１７】
識別装置１２は登録された複数の物体を識別する。識別装置１２は、辞書構成装置１１により生成された辞書を用いて、例えば、石井健一郎、上田修功、前田英作、村瀬洋共著、「わかりやすいパターン認識」、Ｏｈｍｓｙａ、ｐ．１４７〜１５８等に記載された部分空間法により物体を認識することができるため、ここでは詳細を省略する。
【００１８】
登録情報蓄積検索装置１３は物体名と登録情報とを蓄積しておき、物体名から登録情報を検索する装置であり、一般のデータベースにより構築できるため、ここでは詳細を省略する。
【００１９】
本システムにおいて、おみやげ人形製造者が辞書構成装置１１に複数視点画像を登録し、登録情報蓄積検索装置１３におみやげ人形の情報を登録しておくことにより、ユーザは撮影したおみやげ人形の画像を基に、そのおみやげ人形の詳細情報を見ることができる。
【００２０】
以下の説明においては、おみやげ人形として、「だるま」、「大仏」、「こけし」の３種類のおみやげ品を登録、識別する場合を例に説明する。なお、画像の名前をＩとしたときは、各画素値をＩ(ｘ、ｙ)で表現する。複数視点画像は、例えば、図２に示すように、対象物の中心を原点とした極座標(ｒ、α、β)で考えると、各視点をｒ＝Ｒ、α＝５ｎ度、β＝５ｍ度として５１８４枚撮影する。ただし、Ｒは定数、ｎは０以上７１以下の整数、ｍは０以上７１以下の整数とする。
【００２１】
図３は、辞書構成装置１１の構成図である。辞書構成装置１１は、ドントケア次元を有する拡張特徴ベクトル(物体を表現する)(Ｇ個)を用いて物体を登録し、登録された複数の物体を識別する装置であって、拡張特徴ベクトルを入力する拡張特徴ベクトル入力手段３１と、拡張特徴ベクトル群に対して主成分分析を行う拡張主成分分析手段３２とから構成される。
【００２２】
なお、辞書構成装置１１は、例えば、辞書構成装置１１を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とする拡張特徴ベクトル入力処理、拡張主成分分析処理などをアプリケーションプログラムとして搭載することができる。また、コンピュータ装置には以下に説明する拡張主成分分析処理などの処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００２３】
ここで、拡張特徴ベクトルの例について説明する。図４に示すように、原画像を４分割し、各部にドントケア次元を挿入し、４枚のドントケア画像を生成する。図４の例では、黒い領域がドントケア次元である。このドントケア画像をベクトルとみなして、すなわち、画素の値をベクトルの次元値とみなして、図５に示すように画像から拡張特徴ベクトルを作成する。
【００２４】
また、単にドントケア画像を特徴ベクトルとして利用するのではなく、図６に示すようにドントケア画像に対するエッジ抽出の結果を特徴ベクトルとして利用してもよい。原画像Ｉの横方向をｘ軸、縦方向をｙ軸と考えると、画像は横Ｘピクセル、縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。このような原画像に対して、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘとｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。ソーベルオペレータでは、以下の式に従って画素値を求める。
【００２５】
【数１】
2006059018.tif 000003
【００２６】
ただし、ドントケア次元の場合は、Ｄｘ、Ｄｙともにドントケア次元となる。また、ソーベルオペレータを用いるのは一例であって、その他の方法を用いてもよい。
【００２７】
このＤｘおよびＤｙを上下に結合して１つの結合画像とみなし、結合画像を図５に示したように特徴ベクトル化する。
【００２８】
また、図７に示すような辞書構成装置７１を用いることもできる。この辞書構成装置は、各画像を特徴ベクトルに変換する特徴計算手段７２と、各特徴ベクトルからドントケア次元を有する拡張特徴ベクトルを生成する拡張特徴ベクトル生成手段７３と、拡張特徴ベクトル群に対して主成分分析を行う拡張主成分分析手段７４とから構成される。
【００２９】
ここで、図８を用いて拡張主成分分析手段３２、７４について説明する。拡張主成分分析手段３２、７４は、拡張特徴ベクトル(Ｎ次元のベクトルυg＝(υ1、…υN)と定義する。単なる画素値を特徴ベクトルとして採用する場合は、Ｎ＝ｘｙであり、エッジ抽出の結果を特徴ベクトルとして採用する場合は、Ｎ＝２ｘｙとなる。また、拡張特徴ベクトルのドントケア次元数をＤgとする。ただし、１≦ｇ≦Ｇ、である。本例ではＤg＝Ｎ／４、Ｇ＝４×５１７８となる。)に対して、ベクトルの大きさ変動を考慮した共分散行列を求める正規化拡張共分散行列計算手段８１と、拡張共分散行列から固有値、固有ベクトルを求める固有ベクトル算出手段８２から構成される。
【００３０】
共分散行列はＮ×Ｎの行列であり、１対象につき１つ生成される(本例では３つの対象があるので３つ生成される)。固有値、固有ベクトルの算出は、例えば、石井健一郎、上田修功、前田英作、村瀬洋共著、「わかりやすいパターン認識」、Ｏｈｍｓｙａ、ｐ．１０６〜１１４等に記載されたように、一般的な方法により求めることができるので、ここでは詳細は省略する。固有値、固有ベクトルは全部でＮセット求められる。
【００３１】
ここで、図９を用いて、正規化拡張共分散行列計算手段８１について説明する。正規化拡張共分散行列計算手段８１は、拡張特徴ベクトルを正規化し、正規化拡張特徴ベクトルを求める拡張特徴ベクトル正規化手段９１と、拡張特徴ベクトルに対して拡張ベクトル数を計算する拡張ベクトル数計算手段９２と、拡張特徴ベクトルに対して各次元(ｉ)の総和(拡張総和)を計算する拡張総和計算手段９３と、拡張特徴ベクトルに対して各次元間(ｉ、ｊ)の積和(拡張積和)を計算する拡張積和計算手段９４と、共分散行列のｉ行ｊ列の要素として、
【００３２】
【数２】
2006059018.tif 000004
【００３３】
を計算して出力する結果算出出力手段９５とから構成される。
ここで、
【００３４】
【数３】
2006059018.tif 000005
【００３５】
である。
【００３６】
正規化は、例えば、特徴ベクトルから拡張特徴ベクトルが生成される場合は、特徴ベクトルを以下のように正規化してから再び拡張特徴ベクトルを生成する。
【００３７】
【数１７】
2006059018.tif 000006
【００３８】
また、拡張特徴ベクトルのみが与えられている場合は、以下のように拡張特徴ベクトルを正規化する。
【００３９】
【数１８】
2006059018.tif 000007
【００４０】
このように求められた正規化特徴ベクトルを拡張特徴ベクトルと区別せず、以後は
【００４１】
【数１９】
2006059018.tif 000008
【００４２】
と記載する。
【００４３】
ここで、図１０を用いて拡張ベクトル数計算手段９２について説明する。拡張ベクトル数計算手段９２は、定められた正規化係数をＳ、最小パワー倍率をＳmin、最大パワー倍率をＳmax、刻み数をＳstep、倍率順列を
【００４４】
【数４】
2006059018.tif 000009
【００４５】
として、また、正規化拡張特徴ベクトルの各次元値Ｖの最大値をＶmax、最小値をＶmin、刻み数をＶstep、次元値順列を
【００４６】
【数５】
2006059018.tif 000010
【００４７】
として、各正規化拡張特徴ベクトルυgに対するベクトルサンプル数として
【００４８】
【数６】
2006059018.tif 000011
【００４９】
を算出する各ベクトルサンプル数計算手段１０１と、各ベクトル数の総和を求めるベクトルサンプル数計算手段１０２とから構成される。
【００５０】
ここで、図１１を用いて拡張総和計算手段９３について説明する。拡張総和計算手段９３は、各正規化拡張特徴ベクトルυgに対して、ドントケア次元の値Ｖnの生起確率をｐ(Ｖn)として、ｉ次元がドントケア次元の場合は、各次元総和として
【００５１】
【数７】
2006059018.tif 000012
【００５２】
を算出し、ｉ次元が数値次元の場合は、各次元総和として
【００５３】
【数８】
2006059018.tif 000013
【００５４】
を算出する各ベクトル次元総和算出手段１１１と、拡張総和(ｉ)として
【００５５】
【数９】
2006059018.tif 000014
【００５６】
を求める総和計算手段１１２とから構成される。
【００５７】
ここで、図１２を用いて拡張積和計算手段９４について説明する。拡張積和計算手段９４は、各正規化拡張特徴ベクトルυgに対して、ｉ次元が数値次元かつｊ次元が数値次元の場合には、各次元間積和である
【００５８】
【数１０】
2006059018.tif 000015
【００５９】
を計算し、ｉ次元がドントケア次元かつｊ次元がドントケア次元の場合には、各次元間積和である
【００６０】
【数１１】
2006059018.tif 000016
【００６１】
を計算し、ｉ次元が数値次元かつｊ次元がドントケア次元の場合には、各次元間積和である
【００６２】
【数１２】
2006059018.tif 000017
【００６３】
を計算し、ｊ次元が数値次元かつｉ次元がドントケア次元の場合には、各次元間積和である
【００６４】
【数１３】
2006059018.tif 000018
【００６５】
を計算する各ベクトル次元間積和計算手段１２１と、拡張積和(ｉ、ｊ)として、
【００６６】
【数１４】
2006059018.tif 000019
【００６７】
を求める積和計算手段１２２とから構成される。
【００６８】
また、一般的には、ドントケア次元の値Ｖnの生起確率であるｐ(Ｖn)を求めるのは困難であるので一様分布、
【００６９】
【数１５】
2006059018.tif 000020
【００７０】
とする。
【００７１】
また正規分布、
【００７２】
【数１６】
2006059018.tif 000021
【００７３】
とする。ただし、σおよびμは定められた定数である。
【００７４】
また、拡張ベクトル数計算手段９２、拡張総和計算手段９３、拡張積和計算手段９４、において、(Ｖstep＋１) Dgによるオーバーフローを避けるために格式を(Ｖstep＋１)Dgで割る。
【００７５】
次に、装置、手段の各処理の流れについて説明する。
【００７６】
まず、図１３を用いて辞書構成装置１１の処理の流れを説明する。
【００７７】
辞書構成装置１１では、まず、拡張特徴ベクトル入力手段３１に拡張特徴ベクトルを入力する(Ｓ１３１)。
【００７８】
その後拡張主成分分析手段３２が拡張主成分分析を行う(Ｓ１３２)。
【００７９】
その後、登録物体数(本例では、ダルマ、大仏、こけしの３つ)がすべて入力されたかを判断し(Ｓ１３３)、すべて入力されたと判断した場合には処理を終了し、すべてが入力されていないと判断した場合にはＳ１３１の処理を行う。
【００８０】
次に、図１４を用いて辞書構成装置７１の処理の流れを説明する。
【００８１】
辞書構成装置７１では、まず、特徴計算手段７２に画像を入力する(Ｓ１４１)。
【００８２】
次に、特徴計算手段７２が特徴の算出を行う(Ｓ１４２)。
【００８３】
次に、拡張特徴ベクトル生成手段７３が拡張特徴ベクトルの生成を行う(Ｓ１４３)。
【００８４】
次に、入力画像数分について処理をおこなったかを判断し(Ｓ１４４)、入力画像数分について処理を行ったと判断した場合には、後段のＳ１４５の処理を行い、入力画像数分について処理を行っていないと判断した場合にはＳ１４２の処理を行う。
【００８５】
次に、拡張主成分分析手段７４が拡張主成分分析を行う(Ｓ１４５)。
【００８６】
次に、登録物体数がすべて入力されたかを判断し(Ｓ１４６)、すべて入力されたと判断した場合には処理を終了し、すべてが入力されていないと判断した場合にはＳ１４１の処理を行う。
【００８７】
次に、図１５を用いて拡張主成分分析手段７４の処理の流れを説明する。
【００８８】
拡張主成分分析手段７４では、まず、正規化拡張共分散行列計算手段８１が拡張共分散の算出を行う(Ｓ１５１)。
【００８９】
次に、固有ベクトル算出手段８２が固有ベクトルの算出を行い(Ｓ１５２)、次の処理に移る。
【００９０】
次に、図１６を用いて正規化拡張共分散行列計算手段８１の処理の流れを説明する。
【００９１】
正規化拡張共分散行列計算手段８１では、まず、拡張特徴ベクトル正規化手段９１が拡張特徴ベクトルの正規化を行う(Ｓ１６１)。
【００９２】
次に、拡張ベクトル数計算手段９２が拡張特徴ベクトル数の計算を行う(Ｓ１６２)。
【００９３】
次に、拡張総和計算手段９３が拡張総和の算出を行なう(Ｓ１６３)。
【００９４】
次に、拡張積和計算手段９４が拡張積和の計算を行う(Ｓ１６４)。
【００９５】
次に、結果算出出力手段９５が結果の算出／出力を行い(Ｓ１６５)、次の処理に移る。
【００９６】
次に、図１７を用いて拡張ベクトル数計算手段９２の処理の流れを説明する。
【００９７】
拡張ベクトル数計算手段９２では、まず、各ベクトルサンプル数計算手段１０１が各ベクトルサンプル数の計算を行う(Ｓ１７１)。
【００９８】
次に、ベクトル数Ｇ分について処理を行ったかを判断し、ベクトル数Ｇ分について処理を行ったと判断した場合には、後段のＳ１７３の処理を行い、ベクトル数Ｇ分について処理を行っていないと判断した場合にはＳ１７１の処理を行う(Ｓ１７２)。
【００９９】
次に、ベクトルサンプル数計算手段１０２がベクトルサンプル数の計算を行い（Ｓ１７３）、次の処理に移る。
【０１００】
次に、図１８を用いて拡張総和算出手段９３の処理の流れについて説明する。
【０１０１】
拡張総和算出手段９３では、まず、各ベクトル次元総和算出手段１１１が各ベクトル次元総和の計算を行う（Ｓ１８１）。
【０１０２】
次に、ベクトル数Ｇ分について処理が行われたかを判断し（Ｓ１８２）、ベクトル数Ｇ分について処理が行われたと判断した場合には後段のＳ１８３の処理を行い、ベクトル数Ｇ分について処理が行われていないと判断した場合にはＳ１８１の処理を行う。
【０１０３】
次に、総和計算手段１１２が拡張総和（ｉ）の算出を行う（Ｓ１８３）。
【０１０４】
次に、次元数Ｎ分の処理を繰り返したかを判断し(Ｓ１８４)、次元数Ｎ分の処理を繰り返したと判断した場合には次の処理に移り、次元数Ｎ分の処理を繰り返していないと判断した場合にはＳ１８１の処理を行う。
【０１０５】
次に、図１９を用いて拡張積和計算手段９４の処理の流れについて説明する。
【０１０６】
拡張積和計算手段９４では、まず、各ベクトル次元間積和計算手段１２１が各ベクトル次元間積和の計算を行う(Ｓ１９１)。
【０１０７】
次に、ベクトル数Ｇ分について処理が行われたかを判断し(Ｓ１９２)、ベクトル数Ｇ分について処理が行われたと判断した場合には後段のＳ１９３を行い、ベクトル数Ｇ分について処理が行われていないと判断した場合にはＳ１９１を行う。
【０１０８】
次に、積和計算手段１２２が拡張積和(ｉ、ｊ)の算出を行う(Ｓ１９３)。
【０１０９】
次に、Ｎ−ｉ分について処理を繰り返したかを判断し(Ｓ１９４)、Ｎ−ｉ分について処理を繰り返したと判断した場合には後段のＳ１９５を行い、Ｎ−ｉ分について処理を繰り返していないと判断した場合にはＳ１９１を行う。
【０１１０】
次に、次元数Ｎ分について処理を行ったかを判断し(Ｓ１９５)、次元数Ｎ分について処理を行ったと判断した場合には次の処理に移り、次元数Ｎ分について処理を行っていないと判断した場合にはＳ１９１を行う。
【０１１１】
なお、本発明は図１、図３、図７、図８〜図１２に示したシステムまたは手段の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図５、図６、図１３〜図１９で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【０１１２】
【図１】おみやげ人形情報特定システムの構成図。
【図２】複数視点画像の説明図。
【図３】辞書構成装置の構成図。
【図４】原画像とドントケア画像との説明図。
【図５】画像のベクトル化を示す説明図。
【図６】ドントケア画像に対するエッジ抽出の結果を示す説明図。
【図７】辞書構成装置の構成図。
【図８】拡張主成分分析手段の構成図。
【図９】正規化拡張共分散行列計算手段の構成図。
【図１０】拡張ベクトル数計算手段の構成図。
【図１１】拡張総和計算手段の構成図。
【図１２】拡張積和計算手段の構成図。
【図１３】辞書構成装置の処理フローチャート。
【図１４】辞書構成装置の処理フローチャート。
【図１５】拡張主成分分析手段の処理フローチャート。
【図１６】正規化拡張共分散行列計算手段の処理フローチャート。
【図１７】拡張ベクトル数算出手段の処理フローチャート。
【図１８】拡張総和算出手段の処理フローチャート。
【図１９】拡張積和算出手段の処理フローチャート。
【図２０】拡張特徴ベクトルの分布説明図。
【図２１】辞書生成と識別対象との関係図。
【図２２】辞書生成と識別対象との関係図。
【図２３】拡張特徴ベクトルのパワーを複数考慮した分布図。
【符号の説明】
【０１１３】
１１…辞書構成装置
１２…識別辞書
１３…登録情報蓄積検索装置
３１…拡張特徴ベクトル入力手段
３２…拡張主成分分析手段
７１…辞書構成装置
７２…特徴計算手段
７３…拡張特徴ベクトル生成手段
７４…拡張主成分分析手段
８１…正規化拡張共分散行列計算手段
８２…固有ベクトル算出手段
９１…拡張特徴ベクトル正規化手段
９２…拡張ベクトル数計算手段
９３…拡張総和計算手段
９４…拡張積和計算手段
９５…結果算出出力手段
１０１…各ベクトルサンプル数計算手段
１０２…ベクトルサンプル数計算手段
１１１…各ベクトル次元総和計算手段
１１２…総和計算手段
１２１…各ベクトル次元間積和計算手段
１２２…積和計算手段
【図１】
2006059018.tif 000046
【図２】
2006059018.tif 000047
【図３】
2006059018.tif 000048
【図５】
2006059018.tif 000049
【図６】
2006059018.tif 000050
【図７】
2006059018.tif 000051
【図８】
2006059018.tif 000052
【図９】
2006059018.tif 000053
【図１０】
2006059018.tif 000054
【図１１】
2006059018.tif 000055
【図１２】
2006059018.tif 000056
【図１３】
2006059018.tif 000057
【図１４】
2006059018.tif 000058
【図１５】
2006059018.tif 000059
【図１６】
2006059018.tif 000060
【図１７】
2006059018.tif 000061
【図１８】
2006059018.tif 000062
【図１９】
2006059018.tif 000063
【図２０】
2006059018.tif 000064
【図２３】
2006059018.tif 000065
【図４】
2006059018.tif 000066
【図２１】
2006059018.tif 000067
【図２２】
2006059018.tif 000068