(57)【要約】【課題】物体の認識に効果的な、距離データを用いた特徴量抽出方法において、物体の未知なる三次元姿勢変動による影響を受けにくい特徴量を提供する。【解決手段】任意の計測手段から得られた対象物体の距離データ点群に対し、注目点を中心とした複数の同心球殻領域と細分割領域を設定し、それぞれの細分割領域における局所的な近似平面から法線情報を算出し、注目点を中心として正規化法線情報を算出し、それぞれの同心球殻領域における、正規化法線情報に関する球殻領域法線情報ヒストグラムを生成し、同心球殻領域の複数の組み合わせによって階層状のブロック領域を定義して法線情報ヒストグラムを連結して正規化することで階層ヒストグラムを生成し、すべての階層ヒストグラムを連結して注目点における特徴ベクトルとする。【選択図】  図１Ａ
2011180763.tif 000002
【特許請求の範囲】
【請求項１】
対象物体の距離データ点群で構成された距離画像において、注目点を設定し、前記注目点を中心として複数の同心球殻領域を形成し、各同心球殻領域を分割して複数の細分割領域を設定する設定手段と、
前記距離データ点群により前記複数の細分割領域の各々において近似平面を決定し、前記近似平面から法線の特性を示す法線情報を算出する算出手段と、
前記法線情報を、前記注目点から当該法線情報が算出された細分割領域への方向を基準として正規化し、正規化法線情報を算出する法線情報正規化手段と、
前記複数の同心球殻領域の各々において、一つの同心球殻領域に含まれる細分割領域について算出された前記正規化法線情報から法線情報ヒストグラムを生成する第１生成手段と、
隣接する前記同心球殻領域を組み合わせることで複数のブロック領域を定義し、前記複数のブロック領域の各々において、一つのブロック領域に属する同心球殻領域の法線情報ヒストグラムを合成して得られたヒストグラムをその総度数で正規化してブロック領域ごとの法線情報ヒストグラムを生成する第２生成手段と、
前記第２生成手段により前記複数のブロック領域について生成されたブロック領域ごとの法線情報ヒストグラムを連結し、前記注目点の特徴ベクトルとする第３生成手段とを備えることを特徴とする特徴抽出装置。
【請求項２】
前記算出手段は、前記近似平面の法線方向を前記法線情報として用いることを特徴とする請求項１に記載の特徴抽出装置。
【請求項３】
前記算出手段は、細分割領域における近似平面の法線方向と、当該細分割領域に隣接する細分割領域における近似平面の法線方向との差を示す法線変化量を前記法線情報として用いることを特徴とする請求項１または２に記載の特徴抽出装置。
【請求項４】
前記第２生成手段は、前記複数のブロック領域が階層的な関係を有するようにブロック領域を定義することを特徴とする請求項１乃至３のいずれか１項に記載の特徴抽出装置。
【請求項５】
前記注目点と前記複数の同心球殻領域と前記距離データ点群を二次元の画像座標へ投影し、各画像座標の三次元位置を算出する投影手段と、
前記複数の同心球殻領域の各々について、一つの同心球殻領域に属する三次元位置を有する画像座標の画像データに基づく画像特徴を算出する画像特徴算出手段と、
前記画像特徴を、前記注目点から当該画像特徴が算出された画像座標への方向を基準として正規化し、正規化画像特徴を算出する画像特徴正規化手段と、
前記複数の同心球殻領域の各々について、前記画像特徴正規化手段で算出された正規化画像特徴から画像特徴ヒストグラムを生成する第４生成手段と、
前記複数のブロック領域の各々において、一つのブロック領域に属する同心球殻領域の画像特徴ヒストグラムを合成して得られたヒストグラムをその総度数で正規化してブロック領域ごとの画像特徴ヒストグラムを生成する第５生成手段とを更に備え、
前記第３生成手段は、前記複数のブロック領域の各々において、同一のブロック領域に属する前記ブロック領域ごとの法線情報と前記ブロック領域ごとの法線情報ヒストグラムを連結して前記特徴ベクトルとすることを特徴とする請求項１乃至４のいずれか１項に記載の特徴抽出装置。
【請求項６】
前記画像特徴とは、画像輝度の勾配方向であることを特徴とする請求項５に記載の特徴抽出装置。
【請求項７】
前記第４生成手段は、細分割領域ごとに前記正規化画像特徴を平均化して得られた細分割領域ごとの正規化画像特徴から画像特徴ヒストグラムを生成することを特徴とする請求項５または６に記載の特徴抽出装置。
【請求項８】
特徴抽出装置における特徴抽出方法であって、
設定手段が、対象物体の距離データ点群で構成された距離画像において、注目点を設定し、前記注目点を中心として複数の同心球殻領域を形成し、各同心球殻領域を分割して複数の細分割領域を設定する設定工程と、
法線情報算出手段が、前記距離データ点群により前記複数の細分割領域の各々において近似平面を決定し、前記近似平面から法線の特性を示す法線情報を算出する算出工程と、
法線情報正規化手段が、前記法線情報を、前記注目点から当該法線情報が算出された細分割領域への方向を基準として正規化し、正規化法線情報を算出する法線情報正規化工程と、
第１生成手段が、前記複数の同心球殻領域の各々において、一つの同心球殻領域に含まれる細分割領域について算出された前記正規化法線情報から法線情報ヒストグラムを生成する第１生成工程と、
第２生成手段が、隣接する前記同心球殻領域を組み合わせることで複数のブロック領域を定義し、前記複数のブロック領域の各々において、一つのブロック領域に属する同心球殻領域の前記第１生成工程で生成された法線情報ヒストグラムを合成し、前記合成されたヒストグラムをその総度数で正規化してブロック領域ごとの法線情報ヒストグラムを生成する第２生成工程と、
第３生成手段が、前記第２生成工程において前記複数のブロック領域について生成されたブロック領域ごとの法線情報ヒストグラムを連結し、前記注目点の特徴ベクトルとする第３生成工程とを有することを特徴とする特徴抽出方法。
【請求項９】
コンピュータを請求項１乃至７のいずれか１項に記載の特徴抽出装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物体を認識するための特徴抽出技術に関し、特に、距離情報による物体表面情報を利用した特徴抽出技術に関する。
【背景技術】
【０００２】
産業用ロボティクスなどの発展により、物体の位置、姿勢を認識する需要は強くなってきており、画像やレンジデータなどを利用した物体認識手法の必要性は高まってきている。その中で、レンジデータを利用した物体形状の特徴記述方法は、これまでにも多く提案されている。
【０００３】
特許文献１では、法線ベクトルのヒストグラムから同一面領域をセグメンテーションし、それぞれの面セグメントにおける大きさ、位置、方向から形状を記述している。非特許文献１では、3D-Shape Contextと呼ばれる手法が提案されている。この手法は、物体表面の注目点に対して表面法線を算出し、法線方向を中心軸として軸回転、緯度、経度方向にビンを切り、各ビンにおいて存在するデータ点数を数えることで三次元ヒストグラムを生成し、このヒストグラムにより物体形状を記述する。また、非特許文献２で提案されたSpinImageでは、物体表面の注目点に対して表面法線を算出し、法線方向を軸として回転して得られる点群のヒストグラムを生成することで、物体形状を記述している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３２５８３３号公報
【非特許文献】
【０００５】
【非特許文献１】Andrea Frome, Daniel Huber, Ravi Kolluri,Thomas Bulow, and Jitendra Malik, “Recognizing Objects in Range DataUsing Regional Point Descriptors”, Proceedings on European Conference on Computer Vision (ECCV), pp.224-237, (2004).
【非特許文献２】Andrew E. Johnson, Martial Hebert, “Using Spin Images for Efficient Object Recognition in Cluttered 3D scenes”, IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI),Vol.21, Issue 5,pp.433-449, (1999).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１における手法では、対象物体の表面情報が明確な複数の平面から構成されていなければならない。例えば自由曲面や細かい凹凸で構成される物体に対しては適用が困難であり、特徴記述の有効性に関して、対象物体の形状に対する依存度が高い。
【０００７】
また、非特許文献１で提案された3D-Shape Contextでは、表面法線方向でヒストグラムの回転軸を定めることで表面方向に不変な特徴量として物体を記述している。しかしながら、ヒストグラム軸方向が注目点における表面法線検出精度に依存してしまうため、曲率の強い部分や細かい凹凸のある部分では精度が不安定である。また、ヒストグラムの経度方向原点を決定する術がないため、回転に対して不変ではない。さらには、レンジデータで得られる点群密度が不均一であった場合にはヒストグラムが正しく得られない、といった課題がある。
【０００８】
更に、非特許文献２で提案されたSpin Imageでは軸回転不変な特徴量として物体を記述している。しかしながら、3D-ShapeContextと同様に、表面法線方向の検出精度によるヒストグラム軸のずれ、点群密度が不均一の場合に特徴量が正しく得られない、といった課題がある。
【０００９】
本発明は、上述した課題に鑑みてなされたものであり、距離データを用いた特徴量抽出において、物体の未知なる三次元姿勢変動により受ける影響が低減された特徴量を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明の一態様による特徴抽出装置は以下の構成を備える。すなわち、
対象物体の距離データ点群で構成された距離画像において、注目点を設定し、前記注目点を中心として複数の同心球殻領域を形成し、各同心球殻領域を分割して複数の細分割領域を設定する設定手段と、
前記距離データ点群により前記複数の細分割領域の各々において近似平面を決定し、前記近似平面から法線の特性を示す法線情報を算出する算出手段と、
前記法線情報を、前記注目点から当該法線情報が算出された細分割領域への方向を基準として正規化し、正規化法線情報を算出する法線情報正規化手段と、
前記複数の同心球殻領域の各々において、一つの同心球殻領域に含まれる細分割領域について算出された前記正規化法線情報から法線情報ヒストグラムを生成する第１生成手段と、
隣接する前記同心球殻領域を組み合わせることで複数のブロック領域を定義し、前記複数のブロック領域の各々において、一つのブロック領域に属する同心球殻領域の法線情報ヒストグラムを合成して得られたヒストグラムをその総度数で正規化してブロック領域ごとの法線情報ヒストグラムを生成する第２生成手段と、
前記第２生成手段により前記複数のブロック領域について生成されたブロック領域ごとの法線情報ヒストグラムを連結し、前記注目点の特徴ベクトルとする第３生成手段とを備える。
【発明の効果】
【００１１】
本発明によれば、距離データを用いた特徴量抽出において、物体の未知なる三次元姿勢変動により受ける影響が低減された特徴量が提供される。
【図面の簡単な説明】
【００１２】
【図１Ａ】第１実施形態による特徴抽出装置の構成例を示したブロック図。
【図１Ｂ】第４実施形態による特徴抽出装置の構成例を示したブロック図。
【図２Ａ】第１実施形態による処理を示すフローチャート。
【図２Ｂ】第４実施形態による処理を示すフローチャート。
【図３Ａ】第１実施形態における処理を説明した図。
【図３Ｂ】第１実施形態における処理を説明した図。
【図４】第１実施形態による特徴抽出処理の認識処理への利用例を示した図。
【図５】第２実施形態における法線変化量を説明した図。
【図６】第４実施形態における球殻領域の投影を説明した図。
【発明を実施するための形態】
【００１３】
第１実施形態
図１Ａに従って本発明の特徴抽出装置に関する基本構成について概要を説明する。
計測装置１３０により対象物体の距離データ点群が取得される。計測装置１３０は、対象物体表面の三次元位置情報を点群として算出する装置であって、例えばステレオカメラやレーザーレンジファインダなど、既知のどのような手段が用いられてもよい。距離データ点群は、任意の解像度における対象物体表面のカメラ座標または世界座標における位置を情報として持つものであり、単視点から得られたものや、複数視点からの距離情報を組み合わせた統合処理から得られたものなど、いずれのものでも構わない。距離データ点群は、特徴抽出装置１００へ入力データとして渡され、特徴抽出装置１００における各部の処理によって算出された特徴ベクトルは、特徴抽出装置１００の出力として任意の認識装置１４０へ渡される。認識装置１４０は、特徴ベクトルから対象物体の認識を行う装置であって、例えばSupport Vector MachineやNeural Networkなど、既知のどのような手法を実装したものであってもよい。
【００１４】
特徴抽出装置１００内部では、まず入力された距離データ点群が球殻領域設定部１０１へ渡される。球殻領域設定部１０１は、距離データ点群が存在する距離画像（空間）において、注目点、注目点を中心とした複数の同心球殻領域、および細分割領域を設定する。次に、法線情報算出部１０２は、球殻領域設定部１０１で設定された各細分割領域における局所的な距離データ点群から得られる近似平面に関する法線情報を算出する。第１実施形態では法線情報として法線方向が用いられる。法線情報正規化部１０３は、算出された法線情報を正規化し、正規化法線情報を生成する。球殻領域法線情報ヒストグラム生成部１０４は、各同心球殻領域について、正規化法線情報のヒストグラムを生成する（第１生成処理）。
【００１５】
階層ヒストグラム生成部１０５は、隣接する同心球殻領域の組み合わせによって定義されるブロック領域について、ブロック領域に属する同心球殻領域の正規化ヒストグラムを連結してブロック領域における総ヒストグラムを作成する。階層ヒストグラム生成部１０５は、更に総ヒストグラムを総度数で正規化して、ブロック領域に関するヒストグラムを生成する（第２生成処理）。ここで、ブロック領域は、同心球殻領域の複数種類の組み合わせによって、複数のブロック領域が定義され、各ブロックについてヒストグラムが生成される。本実施形態では、図３Ｂにより後述するように、階層的にブロックが形成され、各階層における総ヒストグラムが作成され、総度数で正規化される。本明細書では、こうして各ブロック毎に生成されたヒストグラムを階層ヒストグラムと称する。最後に、特徴ベクトル生成部１０６では、すべての階層ヒストグラムを連結して特徴ベクトルを生成し、これを特徴抽出装置１００の最終的な出力とする（第３生成処理）。
【００１６】
次に、上記本発明の装置構成における特徴抽出装置１００の処理概要を、図２Ａに沿って説明する。なお、図２Ａに示される処理は、図１Ａに示した各部により実行される。図１Ａに示した各部は、コンピュータが所定のソフトウエアを実行することにより実現されても良いし、専用回路等のハードウエアにより実現されても良いし、これらの組み合わせで実現されても良い。
【００１７】
球殻領域設定部１０１は、計測装置１３０によって獲得された距離データ点群に対し、まず任意の注目点を中心とした複数の同心球殻領域と細分割領域を設定する（Ｓ２０１）。次に、法線情報算出部１０２は、各細分割領域における局所的な距離データ点群の近似平面から、当該平面の法線の特性を示す法線情報を算出する（Ｓ２０２）。本実施形態では、法線情報として近似平面の法線方向が用いられる。次に、法線情報正規化部１０３は、Ｓ２０２で算出されたすべての法線情報に対して、注目点を中心とした正規化法線情報を算出する（Ｓ２０３）。本実施形態では、注目点から細分割領域への方向を用いて、法線情報（法線方向）を正規化する（詳細は後述する）。
【００１８】
次に、球殻領域法線情報ヒストグラム生成部１０４は、それぞれの同心球殻領域において、Ｓ２０３で算出された正規化法線情報に関するヒストグラム（以下、球殻領域法線情報ヒストグラム、または、法線情報ヒストグラムという）を生成する（Ｓ２０４）。階層ヒストグラム生成部１０５は、同心球殻領域を粗から密へと組み合わせることによって階層構造を定義し、それぞれの階層における同心球殻領域のヒストグラムを合成して総ヒストグラム作成する。そして、その総ヒストグラムを総度数で正規化して正規化法線情報ヒストグラムを生成する（Ｓ２０５）。本実施形態では、ブロック領域が階層化されているため、正規化法線情報ヒストグラムを階層ヒストグラムと称する。最後に、特徴ベクトル生成部１０６は、Ｓ２０５で生成されたすべての階層ヒストグラムを連結し、最終的な特徴ベクトルとする。
以上が、本実施形態における特徴抽出処理の基本的な処理の概要である。
【００１９】
これより、第１実施形態の各ステップにおける処理の詳細について説明する。
計測装置１３０から取得された距離データ点群をS={Xi},(i=1…N)とする。ここでXiはi番目の距離データ点で、カメラ座標系もしくは任意の世界座標系における三次元座標値Xi=[XiYiZi]Tで表される。また、Nは距離データ点の数である。
【００２０】
球殻領域設定部１０１による球殻領域の設定（Ｓ２０１）の手順を、図３Ａの（ａ）を用いて説明する。まず、与えられた距離データ点群Sに対して任意の注目点位置XIを選定する。注目点XI（３００）の位置は目的に応じた選択方法に従って選択すればよく、例えば、
・画像上でHarrisキーポイント検出器などを用いて得られたキーポイントに相当する距離データ点を注目点XIとして選択する、
・距離データ点群から非特許文献３による3D Harrisキーポイント検出器を用いて注目点XIを決定する、
・キーポイント検出せずに全ての距離データ点に関して注目点とみなす、
など、どのような方法でもよい。最終的に算出される特徴量は、注目点XIを中心とした領域に関する特徴を表現することになる。
［非特許文献３］ F.Viksten, K. Nordberg and M. Kalms,“Point-of-Interest Detection for Range Data”, 19th International Conference on Pattern Recognition (ICPR2008), pp.1-4, (2008).
【００２１】
次に、注目点XIを中心とした同心球殻領域Rj（j=1…M）（３１０−1〜３１０−M）を設定する。ここでMは同心球殻の数である。同心球殻領域Rjとは、注目点XIから距離rj-1とrjの間にある領域と定義する。
【数１】
2011180763.tif 000003
【００２２】
ただし、r0=0、rj-1＜rjであるとする。同心球殻数Mの値は、後述するブロック領域の設定方法などによって決定される。領域の幅を表す値||rj-1-rj||はさまざまな正の値で定義することができる。例えば||rj-1-rj||=pcのように均等間隔に定義することもできるし、rj=exp(rc)のようにして中心に近いほど高解像度にすることもできる。ここでpcおよびrcは定数とする。これらの定数はいずれも小さい値であるほど領域のサンプリング密度が高くなり、高精度な特徴量が得られることとなるが、設定値は対象物体の大きさ、特徴抽出領域の範囲、および計算時間との兼ね合いとなる。例えば、対象物体が150[mm]程度の物体であるとき、同心球殻数M=16の設定で物体全体を覆うマクロな特徴量として利用したい場合には、pc=10[mm]などと設定する。これらの同心球殻領域Rjを、複数の細分領域３２０、Qj,k(k=1…K)に分割する。ここでKは細分割領域の分割数で、すべての同心球殻領域Rjに対して等しい値である。領域分割する場合には同心球殻領域Rj内で間隔が均等である必要があるため、測地ドーム法による領域分割を行うことが望ましい。なお、各細分割領域Qj,kの中心位置３３０をCj,kとする。
【００２３】
次に、Ｓ２０２における法線情報算出の処理について図３Ａの（ｂ）を参照して説明する。
まず、各細分割領域Qj,kにおける物体表面の法線ベクトルを求める。距離データ点群Sの各点Xiに対して、最近傍となる細分割領域中心Cn(i)を求める。ここで、細分割領域中心Cn(i)の添え字n(i)は以下のようにして決定される。
【数２】
2011180763.tif 000004
【００２４】
最近傍細分割領域中心としてCj,kを持つ距離データ点X∈Sの集合３６０をTj,kとする。
【数３】
2011180763.tif 000005
【００２５】
距離データ点群Tj,kが空集合でなかった場合、細分割領域Qj,kの法線ベクトル３４０（nj,k）は点群Tj,kの距離データ点群を平面近似し、その法線ベクトルを法線方向とする。距離データ点群Tj,kが空集合だった場合には、細分割領域Qj,kに法線ベクトルは存在しないものとする。なお、距離データ点群Sのサンプリング密度が細分割領域Qj,kの間隔に対して粗い場合には、［数３］に代えて以下の［数４］のようにして細分割領域Qj,kに属する距離データ点群Tj,kを決定してもよい。
【数４】
2011180763.tif 000006
ここでξjは同心球殻領域Rj毎に定義される定数で、注目点XIと細分割領域中心Cj,kの距離||Cj,k-XI||に比例した値ξj∝||Cj,k-XI||であることが望ましい。
【００２６】
次に、Ｓ２０３における法線情報正規化処理では、Ｓ２０２の法線情報算出処理にて算出された各細分割領域Qj,kにおける法線ベクトルnj,kの正規化を行う。正規化の基準となるのは注目点XIから細分割領域中心Cj,kへ放射方向に取った方向ベクトルである。各細分割領域Qj,kにおける正規化法線方向θj,k（３５０）は以下のようにして求まる。
【数５】
2011180763.tif 000007
【００２７】
なお、正規化法線方向θj,kの値は0[radian]からπ/2[radian]で表されるとし、π/2[radian]を挟んで鏡面反転した角は同じものとして扱う。
【数６】
2011180763.tif 000008
【００２８】
次に、Ｓ２０４による球殻領域法線情報ヒストグラム生成処理では、Ｓ２０３の法線情報正規化処理で算出された正規化法線方向に関して、それぞれの同心球殻領域における球殻領域法線方向ヒストグラムを生成する。すべての同心球殻領域Rjに関して、法線方向を等分割したヒストグラムビンbj,k(q=1…Nq)を設定する。ここでNqはヒストグラムビンの分割数である。例えば、法線方向を４分割する場合、ヒストグラムビンはそれぞれ以下のようになる。
・0≦θj,k＜π/8の範囲に対してbj,1、
・π/8≦θj,k＜π/4の範囲に対してbj,2、
・π/4≦θj,k3π/8の範囲に対してbj,3、
・3π/8≦θj,k＜π/2の範囲に対してbj,4
【００２９】
同心球殻領域Rjに含まれるすべての細分割領域Cj,kに対して、正規化法線方向θj,kがどのヒストグラムビンbj,qの範囲に含まれるかを算出し、度数を算出する。
【数７】
2011180763.tif 000009
ここでλj,q(θ)は、角度θがビンbj,qの角度範囲内に入っていれば１を、入っていなければ０を返す関数である。このようにして度数算出されたヒストグラムビンbj,qを羅列したベクトルを、球殻領域法線情報ヒストグラムHjとする。
【数８】
2011180763.tif 000010
【００３０】
階層ヒストグラム生成処理（Ｓ２０５）では、まず隣接する同心球殻領域を組み合わせてブロックを定義することで階層構造を定義する。階層数Lの階層構造を定義し、階層ｌにおけるt番目のブロック領域をPl(t)とする。階層をピラミッド構造的に形成していくと、最も低解像度な第一階層におけるブロック領域は、図３Ｂの（ａ）のようにすべての同心球殻領域をまとめた領域P1(1)となる。第二階層では、全球領域の外側半分と内側半分で領域を分割し、それぞれをP2(1)およびP2(2)とする。この様子を図３Ｂの（ｂ）に示す。更に、第三階層では、第二階層の領域をまた半分に分けることでP1(1)、P2(2)、P3(3)およびP4(4)とする。この様子を図３Ｂの（ｃ）に示す。この場合、第ｌ（エル）階層のブロック数はMl=2l-1となる。なお、前述した同心球殻数Mは、このようにピラミッド構造で階層構造を定義する場合、最高解像度の階層Lにおけるブロックを形成する同心球殻領域数をuとすれば、M=uMLとなる。例えば、階層数をL=4、階層Lにおける最小ブロック単位を2つの同心球殻領域で定義するならば、同心球殻数はM=2×M4=2×24-1=16となる。階層構造の定義方法をここではピラミッド構造としたが、ブロック領域の組み合わせ方は上記方法に限定されるものではない。例えば、同じ階層において同心球殻領域をわずかに重複しつつずらしていく、といった定義としてもよい。
【００３１】
以上のようにして階層化された同心球殻領域の組み合わせであるブロック領域に対して、それぞれのブロック領域における法線情報ヒストグラムを合成して、総ヒストグラムを算出する。ブロック領域Pl(t)の総ヒストグラムf^l(t)は、ブロック領域Pl(t)に属する同心球殻領域におけるヒストグラムの各要素の総和となる。
【数９】
2011180763.tif 000011
【００３２】
この総ヒストグラムf^l(t)に対して総度数で正規化したものを階層ヒストグラムfl(t)とする。
【数１０】
2011180763.tif 000012
ここでβは0で除することを回避するための正の定数で、例えば0.1などの値を設定しておけばよい。
【００３３】
最後に、Ｓ２０６における特徴ベクトル生成処理では、Ｓ２０５の階層ヒストグラム生成処理で生成されたすべての階層ヒストグラムを連結し、最終的な特徴ベクトルFを得る。
【数１１】
2011180763.tif 000013
【００３４】
上述したようなピラミッド構造の階層化を行った場合には、特徴ベクトルFの次元数は、
【数１２】
2011180763.tif 000014
となる。例えば階層数L=4、角度ヒストグラム分割数Nq=8であれば、特徴ベクトルFの次元数は120となる。なお、隣接する同心球殻領域を組み合わせることで複数のブロック領域を定義するにおいて、本実施形態では、階層構造を持つようにブロック領域を定義したがこれに限られるものではない。例えば、最外殻から所定数ずつを組み合わせて複数のブロックを定義するようにしても良い。
【００３５】
以上のようにして得られた特徴ベクトルFは、例えば以下のようにして利用することが可能である。以下、本実施形態による特徴ベクトルの具体的な利用例を図４を参照して説明する。
【００３６】
まず、登録処理として、図４（ａ）のようにして認識対象物体４０１をステレオカメラ４００にて撮像する。ステレオカメラ４００は、計測装置１３０に相当するものである。ステレオカメラ４００からの出力として、図４（ｂ）のような距離画像が得られ、認識対象物体４０１の距離データ４１１が得られる。なお、ここでは距離データを取得するための撮像装置をステレオカメラとしたが、距離データ取得のための計測装置１３０としてはレーザーレンジファインダや空間コード化などさまざまな手法が利用可能であり、ステレオカメラに限定されるものではない。次に、図４（ｃ）のようにして認識対象物体４０１表面の任意の位置XIを注目点４１３とし、注目点４１３を中心に同心球殻領域４１２が設定される。そして、距離データを用いて、上述した手順で特徴量を算出し、登録特徴量FDとして、図示しないデータベースへと記憶させる。
【００３７】
検出処理においては、まず図４（ｄ）のようにして対象物体４０２をステレオカメラ４００で撮像し、距離画像を得る。得られた距離データ点群のうち任意の一点を注目点４２３（XI,k）として、注目点４２３を中心に同心球殻領域４２２を図４（ｅ）のように設定し、上述した手順により特徴量Fkを算出する。算出された特徴量Fkは、認識装置１４０へと渡される。認識装置１４０は、渡された特徴量Fkとデータベースに登録された登録特徴量FDの乖離度をユークリッド距離で算出する。
【数１３】
2011180763.tif 000015
【００３８】
算出された乖離度dist(D,k)が、例えば図４(f)のような位置４２４で、定められた閾値より小さい値であった場合、認識装置１４０は、登録されている認識対象物体４０１と類似した物体が検出されたとする。検出されなければ注目点Xi,kを距離点群中の別の点に切り替えて、同様に検出処理を継続する。ここでは乖離度dist(D,k)をユークリッド距離で定義したが、それ以外にもL1ノルム、ヒストグラムインターセクションなどのさまざまな距離尺度を利用することが可能であることは述べるまでもない。また、同一カテゴリと定義される複数の認識対象物体から距離データが得られている場合には、上述した手順によって複数の認識対象物体から複数の特徴量を取得し、学習データ集合として用いて、統計学習によって検出器を生成して利用してもよい。そのような統計学習により検出器が形成される識別手法としては、Support Vector Machineや多層ニューラルネットワーク、部分空間法など、様々な手法が挙げられる。
【００３９】
本実施形態による特徴量は、同心球殻領域を単位とした正規化された表面法線方向のヒストグラムによって表現されるため、物体の三軸回転に対して不変な特徴量となる。従って、表面法線を基準にした特徴量と比べても、曲率の強さや細かい凹凸などの影響を受けることはない。さらに、データベースに登録したときの認識対象物体の姿勢と、検出処理時に獲得された対象物体の姿勢が異なっていても姿勢バリエーションを考慮した探索を行う必要がなく、三軸自由度に関する探索処理の計算を省くことができる。
【００４０】
また本実施形態による特徴量は、階層構造としたブロック領域毎に得られた法線方向ヒストグラムを連結して用いている。つまり、特徴抽出領域全体を表す大域的な特徴と、特徴領域の一部を表す局所的な特徴の両方を利用しているため、対象物体のおおまかな構造と詳細部分の構造を相補的に扱った特徴量となっている。
【００４１】
第２実施形態
第１実施形態では、各細分割領域における近似平面の法線情報として法線方向が用いられたが、法線情報はこれに限られるものでない。第２実施形態では、隣接する細分割領域における近似平面の法線方向との差分に基づく法線方向変化量を法線情報として用いる例を説明する。なお、第２実施形態における装置構成は第１実施形態と同様であり図１Ａによって示される。第２の実施形態の各工程における処理内容詳細を、図２Ａに沿って説明する。
【００４２】
入力データとしての距離データ点群Sの取得に関しては、第１の実施形態と同様である。Ｓ２０１では、第１の実施形態と同様にして以下のように球殻領域設定処理を行う。すなわち、球殻領域設定部１０１は、注目点位置XIを選定し、注目点XIを中心とした同心球殻領域Rjを設定し、同心球殻領域Rjを細分割領域Qj,kに分割し、各細分割領域の中心位置をCj,kとする。
【００４３】
Ｓ２０２において、法線情報算出部１０２は、各細分割領域Qj,kにおける物体表面の法線ベクトルnj,kの変化量を求める。Ｓ２０２の法線情報算出処理の内容を図５（ａ）を参照して説明する。
【００４４】
法線ベクトル５０３（nj,k）が得られている任意の細分割領域５０２（Qj,k）に隣接する他の細分割領域の中で、同様に法線ベクトルが得られている細分割領域の集合をUj,kとし、Qu∈nj,kの法線ベクトル５０４をnuとする。細分割領域Qj,kにおける法線ベクトルnj,kと、隣接領域の法線ベクトルnuの差分ベクトルをΔn(j,k)-(u)とする。
【数１４】
2011180763.tif 000016
【００４５】
集合Uj,kに属する細分割領域に関して得られた差分ベクトルΔn(j,k)-(u)の平均ベクトルをvj,kとする。
【数１５】
2011180763.tif 000017
ここで||Uj,k||は隣接細分割領域集合Uj,kに含まれる細分割領域の数である。
【００４６】
次に、Ｓ２０３（法線情報正規化処理）では、法線情報正規化部１０３がＳ２０２（法線情報算出）にて得られた差分平均ベクトルvj,kに関して正規化を行う。正規化の基準となるのは注目点XIから細分割領域中心Cj,kへ放射方向に取った方向ベクトルである。各細分割領域Qj,kにおける正規化法線変化量φj,kは以下のようにして求まる。
【数１６】
2011180763.tif 000018
【００４７】
Ｓ２０４において、球殻領域法線情報ヒストグラム生成部１０４は、Ｓ２０３（法線情報正規化処理）で算出された正規化法線変化量に関して、それぞれの同心球殻領域における球殻領域法線変化量ヒストグラムを生成する。すべての同心球殻領域Rjに関して、法線変化量を等分割したヒストグラムビンaj,r(r=1…Nr)を設定する。ここでNrはヒストグラムビンの分割数である。例えば、法線変化量を4分割する場合、ヒストグラムビンはそれぞれ以下のようになる。
・0≦φj,k＜π/4の範囲に対してaj,1、
・π/4≦φj,k＜π/2の範囲に対してaj,2、
・π/2≦φj,k＜3π/4の範囲に対してaj,3、
・3π/4≦φj,k＜πの範囲に対してaj,4
となる。
【００４８】
同心球殻領域Rjに含まれるすべての細分割領域Cj,kに対して、正規化法線変化量φj,kがどのヒストグラムビンaj,rの範囲に含まれるかを算出し、度数を算出する。
【数１７】
2011180763.tif 000019
ここでηj,r(φ)は、角度φがビンaj,rの角度範囲内に入っていれば1を、入っていなければ0を返す関数である。このようにして度数算出されたヒストグラムビンaj,rを羅列したベクトルを、球殻領域法線変化量ヒストグラムHjとする。
【数１８】
2011180763.tif 000020
【００４９】
Ｓ２０５では、階層ヒストグラム生成部１０５が、第１実施形態と同様の方法でブロック領域Pl(t)と階層構造を定義し、それぞれのブロック領域Pl(t)に関する階層ヒストグラムfl(t)を生成する。そして、Ｓ２０６において、特徴ベクトル生成部１０６は、第１の実施形態と同様の処理で、すべての階層ヒストグラムを連結することにより、特徴ベクトルFを生成する。
【００５０】
以上のようにして第２実施例によって得られた特徴ベクトルFは、第１実施形態で述べた使用例と同様にして認識対象物体の検出に用いることができる。
【００５１】
以上のように、第２実施形態による特徴量は、同心球殻領域を単位とした正規化された表面法線方向の変化量ヒストグラムによって表現される。そのため、第１の実施形態と同様に、物体の三軸回転に対して不変な特徴量となり、また、階層構造による対象物体のおおまかな構造と詳細部分の構造を相補的に扱った特徴量となっている。さらに、第２実施形態では、特徴量として表面法線方向の変化量を用いている。そのため、例えば図５（ｂ）のように物体表面の角度が急激に変化しても（５１１および５１２）正規化法線方向が類似した値になってしまう（５２１および５２２）、という第１の実施形態によって起こりえる現象を解消することができる。
【００５２】
第３実施形態
細分割領域の近似平面に関する法線情報として、第１実施形態の法線方向と第２実施形態の法線方向変化量の両方を用いるようにしても良い。第３実施形態では、そのような法線情報を用いた構成を説明する。なお、第３実施形態における装置構成は第１実施形態と同様図１Ａによって示される。第３実施形態の各ステップにおける処理内容詳細を、図２Ａに沿って説明する。上述のように、本実施形態は第１実施形態と第２実施形態における法線方向と法線方向変化量の双方を利用したものである。
【００５３】
Ｓ２０１（球殻領域設定処理）では、球殻領域設定部１０１が第１実施形態と同様の処理を行い、球殻領域を設定する。Ｓ２０２およびＳ２０３では、第１の実施形態および第２実施形態と同様の処理で、法線情報算出部１０２および法線情報正規化部１０３が法線方向と法線方向変化量の両方に関して、それぞれ正規化法線方向、正規化法線方向変化量を算出する。
【００５４】
Ｓ２０４において、球殻領域法線情報ヒストグラム生成部１０４は、第１および第２実施形態と同様の処理を行い、法線方向と法線方向変化量それぞれに対してヒストグラムを生成する。法線方向に関して生成されたヒストグラムを球殻領域法線情報ヒストグラム（または法線情報ヒストグラム)、法線方向変化量に関して生成されたヒストグラムを球殻領域法線変化量ヒストグラム（または法線変化量ヒストグラム）と称する。
【００５５】
Ｓ２０５において、階層ヒストグラム生成部１０５は、第１実施形態と同様の処理で法線方向に関する階層ヒストグラムを生成し、第２実施形態と同様の処理で法線方向変化量に関する階層ヒストグラムを生成する。以下、ブロック領域Pl(t)において、正規化法線方向に関して生成された階層ヒストグラムをfl(t)、法線方向変化量に関して生成された階層ヒストグラムをgl(t)とする。
【００５６】
Ｓ２０６において、特徴ベクトル生成部１０６は、Ｓ２０５で生成されたすべての階層ヒストグラムを連結し、最終的な特徴ベクトルFを得る。
【数１９】
2011180763.tif 000021
【００５７】
なお、ピラミッド構造の階層化を行った場合には、特徴ベクトルFの次元数は、
【数２０】
2011180763.tif 000022
である。例えば階層数L=4、角度ヒストグラム分割数Nq=Nr=8であれば、特徴ベクトルFの次元数は240となる。
【００５８】
以上のように、第３実施形態による特徴量は、第１実施形態および第２実施形態と同様に、物体の三軸回転に対して不変な特徴量で、階層構造による対象物体のおおまかな構造と詳細部分の構造を相補的に扱った特徴量となっている。さらに、形状を直接記述している表面法線方向と、その変化量とを併せて情報として持っているため、物体形状記述としてより情報量の多い特徴量となっている。
【００５９】
第４実施形態
図１Ｂに、第４実施形態の特徴抽出装置に関する基本構成を示す。以下に特徴抽出装置１００’の概要を説明する。第４実施形態は第１実施形態における法線方向と、画像特徴を組み合わせた特徴量を抽出する方法である。
【００６０】
特徴抽出装置１００’において、球殻領域設定部１０１は、計測装置１３０より入力された距離データ点群の空間において、注目点、複数の同心球殻領域、および細分割領域を設定する。設定された同心球殻領域と細分割領域は、法線情報算出部１０２および球殻領域投影部１１１に渡される。法線情報算出部１０２は、各細分割領域における局所的な距離データ点群の近似平面から法線情報（法線方向）を算出する。算出された法線情報は法線情報正規化部１０３にて正規化され、球殻領域法線情報ヒストグラム生成部１０４にて、各同心球殻領域における正規化法線情報のヒストグラムが生成される。
【００６１】
一方、球殻領域投影部１１１は、球殻領域設定部１０１において設定された球殻領域を二次元の画像へ投影する。この投影により、二次元の画像の各画像座標と距離データ点の対応関係が得られる。画像特徴算出部１１２は、この対応関係を用いて画像特徴量を算出する。画像特徴算出部１１２により得られた画像特徴量は画像特徴正規化部１１３にて正規化され、球殻領域画像特徴ヒストグラム生成部１１４にて、各同心球殻領域における正規化された画像特徴のヒストグラムが生成される（第４生成処理）。階層ヒストグラム生成部１１５は、同心球殻領域の組み合わせによって定義される各階層における法線情報および画像特徴の総ヒストグラムを作成し、それを総度数で正規化して階層ヒストグラムを生成する（第５生成処理）。最後に、特徴ベクトル生成部１１６は、すべての階層ヒストグラムを連結して特徴ベクトルを生成し、これを特徴抽出装置１００’の最終的な出力値とし、認識装置１４０へ出力する。
【００６２】
次に、上記本実施形態の装置構成における特徴抽出装置１００’の処理概要を、図２Ｂのフローチャートを参照して説明する。Ｓ２０１〜Ｓ２０４では、第１実施形態と同様の処理を行うことによって、球殻領域法線情報ヒストグラムが生成される。
【００６３】
Ｓ２１１において、球殻領域投影部１１１は、Ｓ２０１にて設定された球殻領域を画像上へと投影することにより、球殻領域における距離データ点群と画像座標の対応関係を算出する。Ｓ２１２において、画像特徴算出部１１２は、距離データ点群に対応する各画素における画像特徴を算出する。そして、Ｓ２１３において、画像特徴正規化部１１３は、Ｓ２１２にて得られた画像特徴を対応する球殻領域それぞれに対して正規化し、正規化画像特徴を得る。Ｓ２１４において、球殻領域画像特徴ヒストグラム生成部１１４は、それぞれの同心球殻領域における正規化画像特徴に関するヒストグラムを生成する。以下、球殻領域画像特徴ヒストグラム生成部１１４で生成されるヒストグラムを球殻領域画像特徴ヒストグラムという。なお、図２Ｂのフローでは、Ｓ２０２〜Ｓ２０４までの処理を、Ｓ２１１〜Ｓ２１４までの処理よりも先にしているが、これらの処理は独立しているため入れ替えることが可能である。また、これらの処理を並列化して同時に行ってもよい。
【００６４】
Ｓ２１５において、階層ヒストグラム生成部１１５は、同心球殻領域を粗から密へと組み合わせることによって階層構造を定義する。そして、法線情報と画像特徴の各階層における同心球殻領域の総ヒストグラムを作成し、それを総度数で正規化して階層ヒストグラムを生成する。最後に、Ｓ２１６において、特徴ベクトル生成部１１６は、すべての階層ヒストグラムを連結し、最終的な特徴ベクトルを得る。
【００６５】
以下、上記処理の詳細について説明する。
計測装置１３０から、画像データIと、画像に対応するデプスマップDが得られているものとする。画像データIは、画像座標系における点ｘ=[xy]Tに対して輝度値I(ｘ)を持つものとし、デプスマップDは、画像データIの点ｘに対応する位置に関してカメラ座標系における奥行き情報Z(ｘ)を持つものとする。
【００６６】
距離点群Sの要素Ｘ=[X Y Z]Tは、デプスマップDによって与えられる奥行き情報とカメラパラメータから、カメラ座標点として算出される。
【数２１】
2011180763.tif 000023
【数２２】
2011180763.tif 000024
ここでfはカメラの焦点距離である。なお、ここでは簡単のため画像座標系原点を主点位置とした、画像歪みのないピンホールカメラを想定したが、レンズ収差補正やスキュー、画像原点と主点位置のずれなどがある場合には、それらを考慮した変換式になることは述べるまでもない。ここで、簡単のため任意の画像座標点ｘiに対応するカメラ座標点Ｘ(ｘi)=[Ｘ(ｘi)Ｙ(ｘi) Ｚ(ｘi)]TをＸi=[Ｘi ＹiＺi]Tと書くこととする。上記計算により、画像座標点集合G={ｘi}(i=1…N)に対する距離データ点群S={Ｘi}が得られる。ここでNは画像データIにおける画素の数である。
【００６７】
Ｓ２０１〜Ｓ２０４の処理は、第１実施形態において説明した通りであり、球殻領域Rjに関する法線方向ヒストグラムHjが生成される。
【００６８】
次に、球殻領域投影工程Ｓ２１１の処理を図６を参照して説明する。
６００はカメラ座標系原点、６０１は画像座標系原点、６１０は画像平面を表し、６２０および６２１はそれぞれ対象物体を計測して得られたカメラ座標系および画像座標系における点群である。Ｓ２１１において、球殻領域投影部１１１は、カメラ座標系で定義された球殻領域を画像上へ投影する。すなわち、第１実施形態における［数２］および［数３］で求めた各細分割領域に属するすべての点Ｘi∈Ｔj,k（６４０）を、画像上の点ｘi（６４１）へと対応付ける。また、注目点XI（６３０）に対応する画像上の点をｘI（６３１）とする。
【００６９】
Ｓ２１２において、画像特徴算出部１１２は、複数の同心球殻領域の各々について、一つの同心球殻領域に属する三次元位置を有する画像座標の画像データに基づく画像特徴を算出する。本実施形態では、画像特徴として画像輝度の勾配方向が用いられる。すなわち、Ｓ２１１によって得られた特徴抽出領域（全ての球殻領域）に属するすべてのＸi∈Ｔj,k，∀j,kに対応するｘiに関して、画像データIより画像輝度勾配方向diを求める。すなわち、
【数２３】
2011180763.tif 000025
【００７０】
次に、Ｓ２１３では、画像特徴を、注目点から当該画像特徴が算出された画像座標への方向を基準として正規化し、正規化画像特徴を算出し、画像特徴ヒストグラムを生成する。本実施形態では、更に、細分割領域ごとに正規化画像特徴を平均化して得られた細分割領域ごとの正規化画像特徴から画像特徴ヒストグラムが生成される。すなわち、Ｓ２１３では、注目点XIに関する正規化輝度勾配方向ψ^iを以下のように定義する。
【数２４】
2011180763.tif 000026
【００７１】
なお、正規化輝度勾配方向ψ^iの値は0[radian]からπ/2[radian]で表されるとし、π[radian]位相がずれている場合は同じものとして扱う。
【数２５】
2011180763.tif 000027
【００７２】
そして、得られた正規化輝度勾配方向ψ^iを、同一の細分割領域Qj,kに含まれるもので平均化したものを、細分割領域Qj,kに関する正規化輝度勾配方向ψj,kとする。
【数２６】
2011180763.tif 000028
ここで||Tj,k||は細分割領域Qj,kの点集合Tj,kの要素数である。
【００７３】
次に、Ｓ２１４において、球殻領域画像特徴ヒストグラム生成部１１４は、以下のような処理により正規化輝度勾配方向ヒストグラムを生成する。算出された正規化輝度勾配方向ψj,kより、すべての同心球殻領域Rjに関して、輝度勾配方向を等分割したヒストグラムビンhj,k(p=1…Np)を設定する。ここでNpはヒストグラムビンの分割数である。同心球殻領域Rjに含まれるすべての細分割領域Qj,kに対して、正規化輝度勾配方向ψj,kがどのヒストグラムビンhj,qの範囲に含まれるかを算出し、度数を算出する。
【数２７】
2011180763.tif 000029
ここでγj,k(ψ)は、角度ψがビンhj,kの角度範囲内に入っていれば１を、入っていなければ０を返す関数である。このようにして度数算出されたヒストグラムビンhj,kを羅列したベクトルを、正規化輝度勾配方向ヒストグラムWjとする。
【数２８】
2011180763.tif 000030
【００７４】
Ｓ２１５において、階層ヒストグラム生成部１１５は、第１実施形態における階層ヒストグラム生成処理（Ｓ２０５）と同様にして球殻領域をブロック化して階層化し、正規化法線方向と正規化輝度勾配方向に関する階層ヒストグラムを生成する。ブロック領域Pl(t)に関して正規化法線方向に関して生成された階層ヒストグラムをfl(t)、正規化輝度勾配方向に関して生成された階層ヒストグラムをWl(t)とする。
【００７５】
Ｓ２１６において、特徴ベクトル生成部１１６は、Ｓ２１５で生成されたすべての階層ヒストグラムを連結して、最終的な特徴ベクトルFを得る。
【数２９】
2011180763.tif 000031
【００７６】
以上のように、第４実施形態における特徴量は、第１実施形態にて示した物体形状に関する特徴量に加えて、物体表面におけるテクスチャ情報をも含んだ特徴量となっている。そのため、形状が同一または類似していてもテクスチャが異なるような物体に対して、分類可能な特徴量となっている。また、三次元上で定義した球殻領域を画像上へ投影し、対応を取った上で画像特徴を算出しているため、自由曲面などの上にあるテクスチャの視点変換による変動を緩和した画像特徴を得ることができる。
【００７７】
なお、この第４実施形態では画像特徴を第１実施形態における法線方向と組み合わせた特徴量としたがこれに限られるものではない。例えば、第２実施形態における法線変化量との組み合わせ、もしくは第３実施形態のような法線方向および法線変化量の双方との組み合わせも考えられることは自明である。
【００７８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１Ａ】
2011180763.tif 000032
【図１Ｂ】
2011180763.tif 000033
【図２Ａ】
2011180763.tif 000034
【図２Ｂ】
2011180763.tif 000035
【図３Ａ】
2011180763.tif 000036
【図３Ｂ】
2011180763.tif 000037
【図４】
2011180763.tif 000038
【図５】
2011180763.tif 000039
【図６】
2011180763.tif 000040