(57)【要約】【課題】メモリに蓄える学習サンプル数を超える段階数の推定を行なうと共に未学習のパラメータ値を精度良く推定し、効率の良いオブジェクト識別を行う。【解決手段】画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定する。特徴抽出部１０２は入力された画像データに含まれるオブジェクトの特徴を抽出する。部分空間作成部１０３は主成分分析によりオブジェクトの部分空間を作成する。パラメータ推定関数作成部１０６はサポートベクトル回帰によりパラメータを推定するための関数を作成する。部分空間射影部１０９は未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する。パラメータ推定識別部１１０は前記作成された関数に基づきパラメータを算出し、学習したオブジェクトのどれに該当するかを識別する。【選択図】  図１
2005148988.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するパラメータ推定装置であって、
入力された画像データに含まれるオブジェクトの特徴を抽出する特徴抽出手段と、
主成分分析によりオブジェクトの部分空間を作成する部分空間作成手段と、
サポートベクトル回帰によりパラメータを推定するための関数を作成するパラメータ推定関数作成手段と、
未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する部分空間射影手段と、
前記作成された関数に基づきパラメータを算出し、学習したオブジェクトのどれに該当するかを識別するパラメータ推定識別手段と
を備えることを特徴とするパラメータ推定装置。
【請求項２】
前記パラメータ推定関数作成手段は、
推定したいパラメータ値が周期的である場合このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして推定する中問パラメータ推定関数作成手段と、
前記中間パラメータに基づき前記パラメータ値を算出するパラメータ変換手段と
を備えることを特徴とする請求項１記載のパラメータ推定装置。
【請求項３】
パラメータ推定識別手段は、
周期的であるパラメータ値の正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する識別変数計算手段と、
前記和の値に基づきオブジェクトを識別する識別変数判定手段を
備える請求項２記載のパラメータ推定装置。
【請求項４】
前記識別変数判定手段は、前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行うこと
を請求項３記載のパラメータ推定装置。
【請求項５】
画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するパラメータ推定方法であって、
特徴抽出手段と、パラメータ推定関数作成手段と、部分空間射影手段と、パラメータ推定識別手段とを有し、
特徴抽出手段が入力された画像データに含まれるオブジェクトの特徴を抽出する工程と、
部分空間作成手段が主成分分析によりオブジェクトの部分空間を作成する工程と、
パラメータ推定関数作成手段がサポートベクトル回帰によりパラメータを算出するための関数を作成する工程と、
部分空間射影手段が未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する工程と、
パラメータ推定識別手段が前記作成された関数に基づきパラメータを算出し予め学習したオブジェクトのどれに該当するかを識別する工程を有すること
を特徴とするパラメータ推定方法。
【請求項６】
前記パラメータ推定関数作成手段の実行する工程においては、
推定したいパラメータ値が周期的である場合このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして算出する工程と、前記中間パラメータに基づき前記パラメータ値を算出する工程とを有すること
を特徴とする請求項５記載のパラメータ推定方法。
【請求項７】
前記パラメータ推定識別手段の実行する工程においては、
周期的であるパラメータ値の正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する工程と、前記和の値に基づきオブジェクトを識別する工程を有すること
を特徴とする請求項６記載のパラメータ推定方法。
【請求項８】
前記オブジェクトを識別する工程においては、
前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行うこと
を請求項７記載のパラメータ推定方法。
【請求項９】
請求項５から８いずれか１項に記載のパラメータ推定方法をコンピュータに実行させるためのパラメータ推定プログラム。
【請求項１０】
請求項５から８のいずれか１項に記載のパラメータ推定方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれるオブジェクトの識別およびパラメータを推定する方法とその装置、プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
カメラで撮像したオブジェクトには、どの向きから撮ったものか、どこから照明をあてているか等、様々なパラメータが含まれている。これらのパラメータ情報を画像のみから推定することは、工業部品の分類、移動物体の監視といった幅広い応用が考えられ、工学的価値は高い。これを実現する方法として、「パラメトリック固有空間法」が提案されている（非特許文献１）。
【０００３】
これは、パラメータを様々に変えたときの画像の変化を、特徴空間における画像の固有ベクトルから構成される部分空間上での多様体で表現し、その多様体のうち、入力された画像との距離の最も近い位置を検出することでパラメータを推定する手法である。
【０００４】
しかしながら、この方法では、多様体との距離を求めるために、多様体を代表するサンプリング点を全てメモリに蓄えておく必要があり、パラメータの段階数を細かくしようとするとメモリ空間を圧迫してしまう問題がある。この傾向は、推定したいパラメータの個数が増えるに従って、より顕著となる。
【特許文献１】村瀬  洋、ＳｈｒｅｅＫ．ＮＡＹＡＲ「２次元照合による３次元物体認識−パラメトリック固有空間法−」電子情報通信学会論文詩Ｄ−ＩＩ，Ｖｏｌ．Ｊ７７−Ｄ−１１，Ｎｏ．１１，ｐｐ．２１７９−２１８７（１９９４）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、かかる事情に鑑みなされたもので、その目的は、画像内オブジェクトのパラメータを推定するにあたり、メモリに蓄える学習サンプル数を超える段階数の推定が行えるようにすると共に、未学習のパラメータ値をできるだけ精度良く推定し、さらに、効率の良いオブジェクト識別を行えるパラメータを推定する方法とその装置、プログラム及び記録媒体の提供にある。
【課題を解決するための手段】
【０００６】
そこで、本発明のパラメータ推定方法とその装置は、新たなパラメータ推定方法を導入している。パターン認識問題において近年よく適用されるようになった「サポートベクトルマシン」は、カーネル関数を利用して２クラス問題のための非線形織別関数を構成する方法であるが、これを拡張して回帰推定を行えるようにしたものに「サポートベクトル回帰」がある（Ｖ．Ｖａｐｎｉｋ，Ｓ．Ｅ．Ｇｏｌｏｗｉｃｈ，ａｎｄ Ａ．Ｓｍｏ１ａ，“Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍｅｔｈｏｄ ｆｏｒ ｆｕｎｃｔｉｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ，ｒｅｇｒｅｓｓｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｓｉｇｎａ１ ｐｒｏｃｅｓｓｉｎｇ”，Ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，Ｖｏｌ．９，ｐｐ．２８１−２８７（１９９７））。
【０００７】
本発明は、様々なパラメータ値を持つ画像群（例えば図７）を用意し、それらの部分空間を構成した後、サポートベクトル回帰を利用して、部分空間上における入力画像およびパラメータ値を関係付ける関数を算出している。サポートベクトル回帰では、パラメータ推定関数を構成するにあたり、サポートベクトルと呼ばれる小数のサンプルのみをメモリに蓄えておけばよいので、メモリ空間を節約することができる。
【０００８】
また、本発明は、撮影角度などパラメータ値が周期的である場合の対処として、角度値の正弦関数及び余弦関数を新たな中間パラメータとして算出し、これをサポートベクトル回帰で学習させるといった手法をとっている。これにより、部分空問上で、点の近傍におけるパラメータ値の連続性が保証される。さらに、オブジェクトの識別をより精度良く行うために、算出した正弦関数及び余弦関数に基づき演算を行い、この算出値が１に対してどれだけ近いかを識別に反映させる。例えば、正弦関数の自乗値と余弦関数の自乗値の和を算出し、この値が１に対してどれだけ近いかを識別に反映させている。
【０００９】
すなわち、本発明のパラメータ推定装置は、画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するものであって、
入力された画像データに含まれるオブジェクトの特徴を抽出する特徴抽出手段と、
主成分分析によりオブジェクトの部分空間を作成する部分空間作成手段と、
サポートベクトル回帰によりパラメータを推定するための関数を作成するパラメータ推定関数作成手段と、
未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する部分空間射影手段と、
前記作成された関数に基づきパラメータを算出し、学習したオブジェクトのどれに該当するかを識別するパラメータ推定識別手段を備える。
【００１０】
前記パラメータ推定関数作成手段としては、
推定したいパラメータ値が周期的である場合（例えば撮影角度）このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして推定する中問パラメータ推定関数作成手段と、前記中間パラメータに基づき前記パラメータ値を算出するパラメータ変換手段を備えるものがある。
【００１１】
さらに、パラメータ推定識別手段としては、
周期的であるパラメータ値の正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する識別変数計算手段と、前記和の値に基づきオブジェクトを識別する識別変数判定手段を備えるものがある。
【００１２】
前記識別変数判定手段としては、前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行っている。
【００１３】
本発明のパラメータ推定方法は、画像データに含まれるオブジェクトの識別およびオブジェクトのパラメータを推定するものであって、特徴抽出手段とパラメータ推定関数作成手段と部分空間射影手段とパラメータ推定識別手段とを有し、
特徴抽出手段が入力された画像データに含まれるオブジェクトの特徴を抽出する工程と、部分空間作成手段が主成分分析によりオブジェクトの部分空間を作成する工程と、パラメータ推定関数作成手段がサポートベクトル回帰によりパラメータを算出するための関数を作成する工程と、部分空間射影手段が未知のオブジェクトを撮像したときの画像データから抽出された特徴量をオブジェクト毎の部分空間に射影する工程と、パラメータ推定識別手段が前記作成された関数に基づきパラメータを算出し予め学習したオブジェクトのどれに該当するかを識別する工程を有する。
【００１４】
前記パラメータ推定関数作成手段の実行する工程においては、
推定したいパラメータ値が周期的である場合（例えば撮影角度）このパラメータ値の正弦関数及び余弦関数を新たな中問パラメータとして算出する工程と、前記中間パラメータに基づき前記パラメータ値を算出する工程とを有するものがある。
【００１５】
前記パラメータ推定識別手段の実行する工程においては、
周期的であるパラメータ値に対する正弦関数及び余弦関数を算出した後、これらの関数の自乗値の和を算出する工程と、前記和の値に基づきオブジェクトを識別する工程を有するものがある。
【００１６】
前記オブジェクトを識別する工程においては、前記和の値をＳ、予め設定した定数δとした場合、Ｓの値が１−δ≦Ｓ≦１＋δであるか否か判断し、この結果に基づきオブジェクトの識別を行うものがある。
【００１７】
本発明のパラメータ推定プログラムは、前記パラメータ推定方法をコンピュータに実行させるためのプログラムである。また、本発明の記録媒体は、前記パラメータ推定方法をコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したものである。前記記録媒体としては、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスク及びＨＤＤ等がある。
【００１８】
以上のパラメータ推定方法とその装置、プログラム及び記録媒体によれば、学習においてサポートベクトル回帰により求められたサポートベクトルのみを保存し、その保存されたベクトルでパラメータ推定関数を構成するため、メモリ空間を圧迫することなく、細かい段階数でパラメータ値を推定することが可能となる。また、周期的なパラメータの場合、正弦関数及び余弦関数からなる中問パラメータを推定することでパラメータ値０〜３６０度間の不連続が連続化されるので、良好なパラメータ推定関数を得ることができる。さらに、副次的作用効果として、正弦関数と余弦関数の自乗値の和が一定値を満たすか否かでオブジェクトを識別することもできる。
【発明の効果】
【００１９】
したがって、本発明のパラメータ推定方法とその装置、プログラム及び記録媒体によれば、画像中に含まれるオブジェクトに対し、メモリ空間を節約しながら、精度の良いパラメータ推定及び識別ができる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態について図面を参照しながら説明する。
【００２１】
図１は、本発明の実施形態例に係るパラメータ推定装置の概略構成図である。図２は、本実施形態による学習処理の手順を示したフローチャート、及び、パラメータ推定、識別処理の手順を示したフローチャートを示したものである。
【００２２】
先ず、学習処理の手順について説明する。
【００２３】
学習画像データ入力部１０１は、デジタルカメラ等で撮像された学習用のオブジェクト画像データおよびその正解パラメータ値を入力し、特徴抽出部１０２に伝送する（Ｓ０１）。
【００２４】
特徴抽出部１０２は、前記入力されたデジタル画像データに含まれるオブジェクトの特徴量を抽出し、部分空間作成部１０３へ伝送する（Ｓ０２）。
【００２５】
特微量は、例えば、フーリエ変換のパワースペクトル、色ヒストグラム特徴（村瀬  洋、Ｖ．Ｖ．Ｖｉｎｏｄ，“局所色情報を用いた高速物体探索−アクティブ探索法−”，電子情報通信学会論文詩Ｄ−ＩＩ，Ｖｏ１．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．９，ｐｐ．２０３５−２０４２，１９９８）、局所方向ヒストグラム特徴（若林哲史、鶴岡信治、木村文隆、三宅康二“特徴量の次元数増加による手書き数字認識の高精度化”，電子情報通信学会論文詩Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２０４６−２０５３（１９９４））等がある。また、こういった特徴抽出処理を行わず、画像の輝度値そのものを特徴量としてもよい。
【００２６】
部分空間作成部１０３は、オブジェクトの画像から抽出された特徴ベクトルの集合に基づき、そのオブジェクトの部分空間を作成する（Ｓ０３）。
【００２７】
部分空間は、特徴ベクトルの共分散行列の固有値および固有ベクトルを算出する（主成分分析する）ことにより、求めることができる。これにより、オブジェクトの特徴ベクトルがより低次元に圧縮され、メモリ節約に貢献することとなる。また、部分空間法（石井健一郎、上田修功、前田英作、村瀬洋共著“わかりやすいパターン認識”、オーム社、１９９８）による効果的なオブジェクトの識別が可能となる。
【００２８】
次いで、部分空間記憶部１０５は、部分空間作成部１０３にて作成されたオブジェクトの部分空間をメモリに記憶する（Ｓ０４）。
【００２９】
一方、パラメータ推定関数作成部１０４は、サポートベクトル回帰によりパラメータ推定関数を生成する（Ｓ０５）。
【００３０】
サポートベクトル回帰では、カーネル関数ｋ（ｘi，ｘj）（ｘは部分空間作成部１０３により低次元圧縮された特徴ベクトル）を用いて、推定式を以下のように表す。
【００３１】
【数１】
2005148988.tif 000003
【００３２】
数１式において、ｘiは学習用の特徴ベクトル、ｍはその数である。（αi*−αi）≠０となるｘiをサポートベクトルと呼ぶ。この式中のαi*、αiおよびｂを、以下の最適化問題を解くことにより得ることができる。
【００３３】
【数２】
2005148988.tif 000004
【００３４】
数２式において、ｙiはｘiに対応する正解パラメータ値である。最適化は、例えば凸二次計画法（今野浩、山下立“非線形計画法”，日科技連出版社（１９７８））によって解くことができる、また、カーネル関数は数３式や数４式で示される多項式カーネルやガウシアンカーネル等がある。
【００３５】
【数３】
2005148988.tif 000005
【００３６】
【数４】
2005148988.tif 000006
【００３７】
ここで、パラメータ値が周期的である場合は、真のパラメータθに対し、ＣＯＳθ（以下、Ａと称する）及びｓｉｎθ（以下、Ｂと称する）を算出する関数を作成する。
【００３８】
図３及び図４は、パラメータ値が周期的である場合の装置構成及び処理手順を示したフローチャートである。
【００３９】
図３に示された中問パラメータ推定関数作成部１１２は、ＡおよびＢの推定関数を上記のサポートベクトル回帰により作成する（Ｓ１１）。次いで、パラメータ変換部１１３は、パラメータ変換式の決定を行い、Ａ及びＢに基づきθに変換する（Ｓ１２）。具体的には以下の変換法が考えられる。
【００４０】
（ａ）推定したＡからθ＝ｃｏｓ-1Ａの演算によってθを算出する。（可能性として２つの解があらわれるが、Ｂの正負符号によって唯一つの解に限定できる。以下の方法もほぼ同様に限定可能。）
（ｂ）推定したＢからθ＝ｓｉｎ-1Ｂの演算によってθを算出する。
【００４１】
（ｃ）推定したＡおよびＢから、θ＝（ｃｏｓ-1Ａ＋ｓｉｎ-1Ｂ）／２として求める。
【００４２】
（ｄ）推定したＡおよびＢから、θ＝ｔａｎ-1（Ｂ／Ａ）として求める。
【００４３】
ここでは、ＡおよびＢをｃｏｓθおよびｓｉｎθとしたが、θ＝０度とθ＝３６０度の間の不連続が連続化されるような他の関数を用いてもよい。
【００４４】
そして、パラメータ推定関数記憶部１０６は、パラメータ推定関数作成部１０４にて作成されたオブジェクトのパラメータ推定関数をメモリに記憶する（Ｓ０６）。尚、前述のようにパラメータが周期的である場合は、パラメータ変換式もメモリに記憶する。
【００４５】
次いで、パラメータ推定及び識別処理の手順について説明する。
【００４６】
対象画像データ入力部１０７は、デジタルカメラ等で撮像された識別及びパラメータ推定対象となるオブジェクト画像データを入力し、特徴抽出部１０８に伝送する（Ｓ０７）。
【００４７】
特徴抽出部１０８は、特徴抽出部１０２と同様、オブジェクトの特徴量を抽出し、部分空間射影部１０９へ伝送する（Ｓ０８）。
【００４８】
部分空間射影部１０９は、部分空間記憶部１０５によりメモリに記憶された複数種類オブジェクトの部分空間を読み出し、それぞれの部分空間に対象画像データの特徴ベクトルを射影する（Ｓ０９）。
【００４９】
パラメータ推定識別部１１０では、パラメータ推定関数記憶部１０６によりメモリに記憶された複数種類オブジェクトのパラメータ推定関数およびパラメータ変換式を読み出し、パラメータを推定する（Ｓ１０）。
【００５０】
パラメータは、先ず学習オブジェクト全てにおいて推定値を算出しておく。尚、パラメータが周期的である場合は、そのパラメータθの余弦関数値及び正弦関数値であるＡおよびＢを推定する。
【００５１】
図５及び図６は、パラメータ値が周期的である場合の推定識別部１１０の装置構成及び処理手順を示したフローチャートである。
【００５２】
先ず、識別変数計算部１１４は、前記推定したＡおよびＢから（Ａ2＋Ｂ2）の演算処理を行う（Ｓ１３）。
【００５３】
次いで、識別変数判定部１１５は、以下の条件（１）（２）に従い、オブジェクトを識別する（Ｓ１４）。
【００５４】
（１）１−δ≦Ａ2＋Ｂ2≦１＋δを満たす（δは適当な定数）。
【００５５】
（２）部分空間との距離が最も近いもの。
【００５６】
（１）の場合は周期的であるパラメータ全てにおいて行う。また、（２）の場合は前述した部分空間法による識別方法である。これにより、オブジェクトが一つに限定されるので、この結果を識別結果とし、さらに、そのオブジェクトのパラメータ推定関数より算出された値をパラメータ推定結果とする。
【００５７】
以上の処理により、推定されたパラメータ値および識別されたオブジェクト名を出力部１１１に伝送する。出力部１１１は、パラメータ推定識別部１１０で演算された識別結果を出力する。尚、どのパラメータも周期的でない場合は、（２）のみを使って識別を行う。
【００５８】
本発明のパラメータ推定方法は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム若しくは装置に供給し、このシステム若しくは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記録媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成するものである。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態例に係るパラメータ推定装置の概略構成図。
【図２】学習処理の手順を示したフローチャート、及び、パラメータ推定、識別処理の手順を示したフローチャート。
【図３】パラメータ値が周期的である場合の装置構成を示した概略構成図。
【図４】パラメータ値が周期的である場合の演算処理手順を示したフローチャート。
【図５】パラメータ値が周期的である場合の推定識別部１１０の装置構成を示した概略構成図。
【図６】パラメータ値が周期的である場合の推定識別部１１０による処理手順を示したフローチャート。
【図７】様々なパラメータ値を有する画像群の一例。
【符号の説明】
【００６０】
１０１…学習画像データ入力部、１０２…特徴抽出部、１０３…部分空間生成部、１０４…パラメータ推定関数作成部、１０５…部分空間記憶部、１０６…パラメータ推定関数記憶部、１０７…対象画像データ入力部、１０８…特徴抽出部、１０９…部分空間射影部、１１０…パラメータ推定識別部、１１１…出力部
１１２…中間パラメータ推定関数作成部、１１３…パラメータ変換部
１１４…識別変数計算部、１１５…識別変数判定部
【図１】
2005148988.tif 000007
【図２】
2005148988.tif 000008
【図３】
2005148988.tif 000009
【図４】
2005148988.tif 000010
【図５】
2005148988.tif 000011
【図６】
2005148988.tif 000012
【図７】
2005148988.tif 000013