(57)【要約】【課題】  認識対象を適切に認識することが可能な三次元物体認識装置を提供すること。【解決手段】  認識対象物の三次元形状データに基づいて、認識対象物の各分割領域の特徴を表す特徴量を計算する特徴量計算部１０３と、特徴量計算部１０３が計算した各領域の特徴量に基づいて分割領域に隣接する他の分割領域との結合度を計算する結合度計算部１０５と、結合度計算部１０５により計算された結合度が統合しきい値以下である場合に分割領域を他の分割領域に統合させる統合部１０６と、を備える。【選択図】  図１
2006185132.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物の三次元形状データに基づいて前記認識対象物の各分割領域の特徴を表す特徴量を計算する特徴量計算手段と、
前記特徴量計算手段が計算した各領域の特徴量に基づいて分割領域に隣接する他の分割領域との結合度を計算する結合度計算手段と、
前記結合度計算手段により計算された結合度が統合しきい値以下である場合に前記分割領域を前記他の分割領域に統合させる統合手段と、
を備えた三次元物体認識装置。
【請求項２】
前記特徴量計算手段は、分割領域の大きさ、分割領域の凸度及び分割領域境界の強さを含む特徴パラメータに基づいて特徴量を計算すること、
を特徴とする請求項１に記載の三次元物体認識装置。
【請求項３】
前記特徴量計算手段により計算された分割領域の特徴量が特徴量しきい値以下である場合に、結合度計算対象の分割領域として選択する結合度計算対象選択手段を備えたこと、
を特徴とする請求項１又は２に記載の三次元物体認識装置。
【請求項４】
前記結合度計算手段は、分割領域とそれに隣接する他の分割領域との間の断面の特徴量に基づいて前記結合度を計算すること、
を特徴とする請求項１〜３の何れか１項に記載の三次元物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元物体認識装置に関するものである。
【背景技術】
【０００２】
従来、三次元物体認識装置として、レンジファインダ等で計測した三次元形状データ（３Ｄポリゴンデータ）に基づいて、認識対象物を構成要素ごとに分割して認識するものが知られている。このような手法は、例えば、認識対象物の形状データを電子的に格納する際に、被写体全体を一括して格納するのではなく、構成要素別に分けて格納できるので、後に認識対象物の各構成要素の細分化された情報を用いる場合に有効であり、特にヒューマンインタフェースを志向する分野においては重要な技術の一つである。また、認識対象を領域分割する手法としては、例えば、認識対象の各領域の特徴量を用いてクラスタリングを行い、領域分割を行うことが知られている（特許文献１）。
【特許文献１】特開平１０−１１１９４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特徴量を用いたクラスタリングによる領域分割を行う場合、認識対象の適切な領域分割が行えないという問題点がある。例えば、図５（ａ）に示すように、認識対象物がビールジョッキ４０である場合、図５（ｂ）に示すように、このビールジョッキ４０の三次元形状データ（３Ｄポリゴンデータ）を計測し、この三次元形状データに基づいてビールジョッキ４０の特徴量を利用しクラスタリング領域分割を行う。
【０００４】
ところが、このようにクラスタリングによって領域分割を行うと、人が見て違和感の生じる分割結果が出やすくなる。すなわち、ビールジョッキ４０は、円筒状の胴部４０１に凹んでいる部分（図５（ｂ）の破線）があるため、図５（ｃ）に示すように、胴部４０１の上部分４０１ａと下部分４０１ｂが分かれて２つの異なる部分として認識されてしまう。そして、図５（ｄ）に示すように、胴部４０１の下部分４０１ｂと取っ手部４０２が同一領域として認識されてしまう。
【０００５】
そこで、本発明はこのような問題を解決するためになされたものであって、認識対象の分割領域を適切に統廃合して認識対象を適切に認識することが可能な三次元物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち、本発明に係る三次元物体認識装置は、認識対象物の三次元形状データに基づいて認識対象物の各分割領域の特徴を表す特徴量を計算する特徴量計算手段と、特徴量計算手段が計算した各領域の特徴量に基づいて分割領域に隣接する他の分割領域との結合度を計算する結合度計算手段と、結合度計算手段により計算された結合度がしきい値以下である場合に分割領域を他の分割領域に統合させる統合手段と、を備えて構成されている。
【０００７】
この発明によれば、従来のクラスタリングを用いた分割手法により過分割されてしまった３次元形状データに対し、各分割領域における特徴量と分割領域間の結合度を計算し、それらの値を総合的に判断することによって、分割領域の統廃合が行える。このため、人が見ても違和感のない適切な領域分割が可能となる。
【０００８】
また、本発明に係る三次元物体認識装置においては、特徴量計算手段は、分割領域の大きさ、分割領域の凸度及び分割領域境界の強さを含む特徴パラメータに基づいて特徴量を計算するようにしてもよい。これらの特徴パラメータは、計算機のメモリ、計算能力及び計算時間を考慮した上で、各分割領域の特徴を適切に表すための最小限の要素であり、これらの特徴パラメータを用いることにより、各分割領域の特徴を適切に表すことができる。
【０００９】
また、本発明に係る三次元物体認識装置においては、特徴量計算手段により計算された分割領域の特徴量が特徴量しきい値以下である場合に、結合度計算対象の分割領域として選択する結合度計算対象選択手段を備えるようにしてもよい。特徴量しきい値を超えない特徴量を有する分割領域は、結合度計算対象の分割領域として選択する。一方、特徴量しきい値を超える特徴量を有する分割領域は、他の分割領域に統合される必要のない独立領域として見なされるので、以後の計算が不要になり全体の計算時間が減少できる。
【００１０】
また、本発明に係る三次元物体認識装置においては、結合度は、隣接する分割領域間の相関を表す指数であり、結合度計算手段は、分割領域の断面の特徴量に基づいて結合度を計算するようにしてもよい。上述したように、分割領域の大きさ、分割領域の凸度及び分割領域境界の強さを含む特徴パラメータを用いては、各分割領域単独の特徴を適切に表すことができる。さらに、隣接する分割領域の断面に注目する特徴量に基づいて計算した分割領域間の結合度を用いると、他の分割領域との結びつきまでを正確に表すことができる。
【発明の効果】
【００１１】
本発明によれば、認識対象の分割領域を適切に統廃合して認識対象を適切に認識することができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１３】
図１は本発明の実施形態に係る三次元物体認識装置１０の構成概要図である。図２は、本実施形態に係る三次元物体認識装置１０による認識処理の結果を示す図である。図１に示すように、三次元物体認識装置１０は、入力装置２０及び出力装置３０とそれぞれ接続されて構成されている。入力装置２０は、認識対象の三次元形状データを三次元物体認識装置１０に入力する装置である。この入力装置２０としては、例えばレンジファインダが用いられ、認識対象の３Ｄポリゴンデータを三次元形状データとして三次元物体認識装置１０に入力する。その際、三次元形状データをクラスタリング手法によって分割された分割データを三次元物体認識装置１０に入力してもよい。
【００１４】
出力装置３０は、三次元物体認識装置１０による認識対象の認識結果を入力し、その認識結果に応じて作動する装置であって、例えば所定のアクチュエータが用いられる。これらの三次元物体認識装置１０、入力装置２０及び出力装置３０は、三次元物体認識システムを構成し、例えば物体認識を行うロボットに用いられる。
【００１５】
三次元物体認識装置１０は、例えば、ＣＰＵ（中央処理装置）、メモリ、マウスやキーボード等の入力操作装置、ディスプレイ等の表示装置、ハードディスク等の格納装置、通信装置等を備えたコンピュータシステムとして構成される。
【００１６】
三次元物体認識装置１０は、機能的な構成要素として、データ入力部１０１、特徴パラメータ抽出部１０２、特徴量計算部（特徴量計算手段）１０３、結合度計算対象選択部（結合度計算対象選択手段）１０４、結合度計算部（結合度計算手段）１０５、統合部（統合手段）１０６及び認識部１０７と、を含んで構成されている。
【００１７】
データ入力部１０１は、入力装置２０から送られる認識対象物の三次元形状データを入力するものである。このデータ入力部１０１は、例えば、認識対象物の表面における三次元座標データを三次元形状データとして入力する。そして、データ入力部１０１は、認識対象物の三次元形状データを特徴パラメータ抽出部１０２に出力する。
【００１８】
特徴パラメータ抽出部１０２は、各分割領域の特徴を表す特徴量を計算するため、特徴パラメータを抽出する部分である。本実施形態では、分割領域の大きさ、分割領域の凸度及び分割領域境界の強さを、特徴パラメータとして採択している。これらの特徴パラメータは、三次元物体認識装置１０のメモリ、計算能力及び計算時間を考慮した上で、各分割領域の特徴を適切に表すための最小限の要素である。より正確な特徴量を計算するためにはより多くの特徴パラメータが必要になるので、使用目的と使用する装置の計算能力に合わせて上述した特徴パラメータ以外のパラメータを追加してもよい。特徴パラメータ抽出部１０２は、抽出した特徴パラメータを特徴量計算部１０３に出力する。
【００１９】
特徴量計算部１０３は、特徴パラメータ抽出部１０２が抽出した特徴パラメータに基づいて、各分割領域の特徴量を計算する部分である。より具体的には、式（１）を用いて、特徴パラメータが表す物理量に基づいて、これらの物理量の重み付き平均である特徴量を数学的に求めることになる。
【００２０】
Ｓｒ＝（ｗρＳρ＋ｗπＳπ＋ｗβＳβ）／ｗ…（１）
ｗ＝ｗρ＋ｗπ＋ｗβ
Ｓｒ：特徴量
Ｓρ：サイズ            ｗρ：サイズの重み係数
Ｓπ：凸度              ｗπ：凸度の重み係数
Ｓβ：境界線曲率強度    ｗβ：境界線曲率強度の重み係数
【００２１】
式（１）において、Ｓｒは計算結果の特徴量であり、Ｓρは分割領域全体のサイズとして体積を、Ｓπは分割領域全体の凸度を、Ｓβは分割領域全体の境界線曲率強度を、表す。また、各特徴パラメータに対する重みとして、ｗρは体積の重み係数を、ｗπは凸度の重み係数を、ｗβは境界線曲率強度の重み係数を表し、ｗは重み全体の合計を表す。特徴量計算部１０３は、式（１）を用いて計算した各分割領域の特徴量を結合度計算対象選択部１０４に出力する。
【００２２】
結合度計算対象選択部１０４は、特徴量計算部１０３が計算した分割領域の特徴量に基づいて、結合度を計算する際の対象になる分割領域、つまり、後述する統合部１０６による統合の対象になる分割領域を選択する部分である。本実施形態では、予め適切な特徴量しきい値を設定しておき、特徴量が特徴量しきい値以下である分割領域を統合の対象として選択する方法を採択している。また、計算時間を短縮しながらも、全ての分割領域に対して統合の対象になるか否かを確実に確認するために、特徴量がもっとも小さい分割領域から順番に確認を行うようにしている。特徴量しきい値より大きい特徴量を有する分割領域は他の分割領域に統合される必要のない独立領域として見なされるので、以後の計算が不要になり全体の計算時間が減少する。結合度計算対象選択部１０４は、選択した分割領域を特定する情報を結合度計算部１０５に出力する。
【００２３】
結合度計算部１０５は、結合度計算対象選択部１０４が選択した分割領域と他の分割領域との結合度を計算する部分である。結合度計算部１０５は、分割領域とそれに隣接する他の分割領域との間の断面の特徴量に基づいて、隣接する全ての分割領域に対して結合度を計算する。より具体的には、式（２）を用いて、結合度計算対象選択部１０４が選択した分割領域（以下、対象領域と記載）が他の分割領域（以下、統合先領域と記載）と隣接する部分の断面に注目した特徴パラメータに基づき、結合度を数学的に求めることになる。
【００２４】
Ｓｃ＝｛Ｓρ１（Ｓπ１＋Ｓβ１）＋Ｓρ２（Ｓπ２＋Ｓβ２）｝／２…（２）
Ｓｃ：結合度
Ｓρ１：対象領域のサイズ            Ｓρ２：統合先領域のサイズ
Ｓπ１：対象領域の凸度              Ｓπ２：統合先領域の凸度
Ｓβ１：対象領域の境界線曲率強度    Ｓβ２：統合先領域の境界線曲率強度
【００２５】
式（２）において、Ｓｃは計算結果の結合度であり、Ｓρ１及びＳρ２は対象領域と統合先領域とが隣接する部分においてのサイズとして各領域の断面積を、Ｓπ１及びＳπ２は対象領域と統合先領域とが隣接する部分においての各領域の凸度を、Ｓβ１及びＳβ２は対象領域と統合先領域とが隣接する部分においての各領域の境界線曲率強度を、表す。また、下付き文字の１は対象領域を、下付き文字の２は統合先領域を、表す。結合度計算部１０５は、式（２）により計算した結合度を統合部１０６に出力する。
【００２６】
統合部１０６は、結合度計算部１０５が計算した結合度に基づき、結合度が統合しきい値以下である場合に対象領域を統合先領域に統合させる部分である。また、隣接している全ての領域に対して、統合先領域として可能か否かを確実に確認するために、結合度がもっとも小さい領域から順番に確認を行うようにしている。図２は、上胴部４０１ａと下胴部４０１ｂとが二つに分かれて認識されてしまった図５（ｃ）に示すような状態から、対象領域として下胴部４０１ｂを、統合先領域として上胴部４０１ａを選択して統合した結果を示している。図５（ｃ）に比べ、上胴部４０１ａと下胴部４０１ｂとが統合して一つになることにより、人が見て物体を分割するのと同様な結果が得られた。ちなみに、分割領域間の結合度を考慮せず、従来のクラスタリング手法を用いて分割、かつ、統合を行うと図５（ｄ）のような結果になりやすい。下胴部４０１ｂが取っ手部４０２に統合されてしまい、人が目で見て構成要素別に分割した結果とは異なる。統合部１０６は、統合した分割領域を特定する情報を認識部１０７に出力する。
【００２７】
認識部１０７は、統合部１０６により最終的に分割された各分割領域に対する情報に基づき、物体を認識する部分である。認識部１０７は、認識結果を出力装置３０に送信する。
【００２８】
次に本実施形態に係る三次元物体認識装置１０の動作について説明する。図３は、本実施形態にかかる三次元物体認識装置１０の動作を説明するためのフローチャートである。
【００２９】
入力装置２０から出力された３Ｄポリゴンデータに基づいて、特徴パラメータ抽出部１０２は各分割領域に対して特徴パラメータを抽出する（ステップＳ１０１）。特徴パラメータ抽出部１０２は、抽出した特徴パラメータを特徴量計算部１０３に出力する。
【００３０】
特徴量計算部１０３は、特徴パラメータ抽出部１０２が抽出した特徴パラメータに基づいて、各分割領域の特徴量Ｓｒを上述した式（１）に基づいて計算する（ステップＳ１０２）。特徴量計算部１０３は、計算した各分割領域の特徴量Ｓｒを結合度計算対象選択部１０４に出力する。
【００３１】
結合度計算対象選択部１０４は、特徴量計算部１０３が計算した分割領域の特徴量に基づいて、統合の対象になる分割領域を選択する（ステップ１０３）。より具体的には、予め設定した特徴量しきい値に基づき、特徴量が特徴量しきい値Ｘ以下である分割領域は統合の対象として選択する。一方、特徴量が特徴量しきい値Ｘ以上である分割領域は他の分割領域に統合される必要のない独立領域として見なされる。全ての分割領域に対して統合の対象になるか否かを確実に確認するために、特徴量がもっとも小さい分割領域から順番に確認を行うようにしているので、特徴量が特徴量しきい値Ｘ以上である分割領域が現れると、それ以上の特徴量を有する分割領域に関しては、以後の処理をしなくても全体の処理を終了することができる。
【００３２】
ここで、図４（ａ）を参照し、統合の対象になる分割領域を選択する処理についてより具体的に説明する。図４では、図２及び図５で付した番号と関連付けて分割領域の番号を付している。ビールジョッキの上胴部４０１ａ（領域番号４０１ａ）は特徴量が６０、下胴部４０１ｂ（領域番号４０１ｂ）は特徴量が３０、取っ手部４０２（領域番号４０２）は特徴量が５０である。特徴量しきい値Ｘは４０なので、特徴量が３０である下胴部４０１ｂ（領域番号４０１ｂ）が統合の対象（対象領域）として選択される。結合度計算対象選択部１０４は、選択した対象領域を特定する情報を結合度計算部１０５に出力する。
【００３３】
結合度計算部１０５は、結合度計算対象選択部１０４が選択した対象領域と他の分割領域（統合先領域）との結合度Ｓｃを上述した式（２）に基づいて計算する(ステップＳ１０４)。結合度計算部１０５は、計算した結合度を統合部１０６に出力する。
【００３４】
統合部１０６は、結合度計算部１０５が計算した結合度に基づき、まず、結合度と統合しきい値Ｙとを比較する（ステップＳ１０５）。その結果、結合度が予め設定した統合しきい値Ｙ以下である場合には、対象領域を統合先領域に統合させる（ステップＳ１０６）。一方、結合度が予め設定した統合しきい値Ｙ以上である場合には、領域間の相関が低いことを意味するので、統合はせず、対象領域を独立領域として認めて処理を中断する。また、隣接する全ての領域に対して統合の対象になるか否かを確実に確認するために、結合度がもっとも小さい領域から順番に確認を行うようにしている。このため、結合度が統合しきい値Ｙ以上である場合が現れると、それ以上の結合度を有する対象領域と統合先領域に関しては、以後の処理をしなくても全体の処理を終了することができる。
【００３５】
ここで、図４（ｂ）を参照し、対象領域を統合先領域に統合する処理についてより具体的に説明する。上述したように、結合度計算対象選択部１０４により対象領域として選択された下胴部４０１ｂ（領域番号４０１ｂ）に対して、結合度計算部１０５は、全ての隣接している他の分割領域との結合度を計算する。計算結果の一例として、図４（ｂ）では、下胴部４０１ｂと上胴部４０１ａ間の結合後は４５、下胴部４０１ｂと取っ手部４０２間の結合後は５５である。統合しきい値Ｙは５０なので、結合度が４５である下胴部４０１ｂと上胴部４０１ａ間は統合の対象になり、対象領域の下胴部４０１ｂは統合先領域の上胴部４０１ａに統合される。また、すでに統合処理を行った領域に対しても、再度、統合処理の対象になるか否か判断する必要があるので、統合後の処理の流れはステップＳ１０１に移ることになり、最小の特徴量が特徴しきい値以上、または、最小の結合度が統合しきい値Ｙ以上になるまで、処理を繰り返す。図４（ｃ）はそのような場合を示しており、下胴部４０１ｂが上胴部４０１ａに統合されることにより、最小の特徴量を有する分割領域は取っ手部４０２になっている。特徴量しきい値Ｘは４０なので、取っ手部４０２の特徴量である５０は特徴量しきい値以上になり、全ての分割領域は統合する必要のない独立領域として認められ、処理は終了する。統合部１０６は、最終的に分割領域を統合し、統合した分割領域を特定する情報を認識部１０７に出力する。
【００３６】
以上説明したように、本実施形態の三次元物体認識装置１０によれば、従来のクラスタリングを用いた分割手法により過分割されてしまった３次元形状データに対し、各分割領域における特徴量と分割領域間の結合度を計算し、それらの値を総合的に判断することによって、分割領域の統廃合が行える。このため、人が見ても違和感のない適切な領域分割が可能となる。
【００３７】
また、本実施形態においては、特徴量計算部１０３が特徴量を計算する際に、分割領域の大きさ、分割領域の凸度及び分割領域境界の強さを含む特徴パラメータを用いることで、各分割領域の特徴を適切に表すことができる。
【００３８】
また、本実施形態においては、結合度計算対象選択部１０４は、特徴量しきい値Ｘを超えない特徴量を有する分割領域は、結合度計算対象の分割領域として選択する。一方、特徴量しきい値Ｘを超える特徴量を有する分割領域は、他の分割領域に統合される必要のない独立領域として見なされるので、以後の計算が不要になり全体の計算時間を減少することができる。
【００３９】
また、本実施形態においては、隣接する分割領域の断面に注目する特徴量に基づいて計算した分割領域間の結合度を用いることで、他の分割領域との結びつきを正確に表すことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る三次元物体認識装置の構成概要図である。
【図２】本発明の実施形態に係る三次元物体認識装置を用いた処理の結果を説明するための図である。
【図３】本発明の実施形態に係る三次元物体認識装置の動作を説明するためのフローチャートである。
【図４】本発明の実施形態に係る三次元物体認識装置の動作を説明するための図である。
【図５】従来技術の説明図である。
【符号の説明】
【００４１】
１０…三次元物体認識装置、２０…入力装置、３０…出力装置、１０１…データ入力部、１０２…特徴パラメータ抽出部、１０３…特徴量計算部、１０４…結合度計算対象選択部、１０５…結合度計算部、１０６…統合部、１０７…認識部。
【図１】
2006185132.tif 000003
【図２】
2006185132.tif 000004
【図３】
2006185132.tif 000005
【図４】
2006185132.tif 000006
【図５】
2006185132.tif 000007