(57)【要約】【課題】姿勢データを絞り込む。【解決手段】対象物を単体で落下させた際の当該対象物の三次元姿勢を推定する基本姿勢推定部１３と、対象物をばら積みした際の当該対象物の三次元姿勢の統計データを取得する統計データ取得部１４と、基本姿勢推定部１３により推定された三次元姿勢に基づき、統計データ取得部１４により取得された統計データから、ばら積みした際の対象物の三次元姿勢の発生確率を示す確率分布を計算する分布計算部１５と、分布計算部１５により計算された確率分布に基づき、対象物の三次元モデルから姿勢データを抽出し、当該姿勢データを示すデータベースを生成するデータベース生成部１６とを備えた。【選択図】図１
2018100846.tif 000002
【特許請求の範囲】
【請求項１】
対象物を単体で落下させた際の当該対象物の三次元姿勢を推定する基本姿勢推定部と、
前記対象物をばら積みした際の当該対象物の三次元姿勢の統計データを取得する統計データ取得部と、
前記基本姿勢推定部により推定された三次元姿勢に基づき、前記統計データ取得部により取得された統計データから、ばら積みした際の前記対象物の三次元姿勢の発生確率を示す確率分布を計算する分布計算部と、
前記分布計算部により計算された確率分布に基づき、前記対象物の三次元モデルから姿勢データを抽出し、当該姿勢データを示すデータベースを生成するデータベース生成部と
を備えたデータベース生成装置。
【請求項２】
前記基本姿勢推定部は、前記三次元モデルに基づき、シミュレーションにより前記対象物の三次元姿勢の統計データを取得し、当該統計データから当該対象物の三次元姿勢を推定する
ことを特徴とする請求項１記載のデータベース生成装置。
【請求項３】
前記統計データ取得部は、前記三次元モデル及びばら積み条件に基づき、シミュレーションにより前記対象物の三次元姿勢の統計データを取得する
ことを特徴とする請求項１又は請求項２記載のデータベース生成装置。
【請求項４】
前記分布計算部は、前記基本姿勢推定部により推定された三次元姿勢を平均として当該三次元姿勢のパターン数と同数のガウス分布から成る混合ガウス分布を計算することで、前記確率分布を得る
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載のデータベース生成装置。
【請求項５】
前記データベース生成部は、前記混合ガウス分布を構成する各ガウス分布の平均を中心とした一定範囲内に属する三次元姿勢の姿勢データを前記三次元モデルから抽出する
ことを特徴とする請求項４記載のデータベース生成装置。
【請求項６】
請求項１から請求項５のうちのいずれか１項記載のデータベース生成装置と、
画像を示すデータを取得する画像取得部と、
前記画像取得部により得られた画像を、前記データベース生成装置により生成されたデータベースと比較することで、前記対象物の三次元姿勢を推定する三次元位置姿勢推定部と
を備えた三次元位置姿勢認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、姿勢データを示すデータベースを生成するデータベース生成装置、及び当該データベースを用いて、対象物の三次元姿勢を推定する三次元位置姿勢認識システムに関する。
【背景技術】
【０００２】
従来から、ばら積みされた対象物をロボットでピッキングする場合、ばら積みされた対象物が撮影された画像から、対象物の三次元位置（ｘ，ｙ，ｚ）及び三次元姿勢（α，β，γ）を推定することで対象物を認識する必要がある。対象物の認識手法としては、二次元照合による認識手法（アピアランスベース）と、三次元照合による認識手法（モデルベース）が挙げられる。
モデルベースを利用した装置としては、例えば特許文献１に開示された三次元位置姿勢認識装置がある（例えば特許文献１参照）。この三次元位置姿勢認識装置が対象物の三次元姿勢を推定する場合には、上記画像と三次元モデルとを、三次元モデルの姿勢データを変えながら比較している。そして、一致度の高い姿勢データが示す三次元モデルの姿勢を、対象物の三次元姿勢としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１０５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の三次元位置姿勢認識装置では、画像を膨大な姿勢データと比較する必要があり、演算回数が多くなるという課題がある。アピアランスベースを利用する場合も同様である。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、従来構成に対して姿勢データを絞り込むことができるデータベース生成装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係るデータベース生成装置は、対象物を単体で落下させた際の当該対象物の三次元姿勢を推定する基本姿勢推定部と、対象物をばら積みした際の当該対象物の三次元姿勢の統計データを取得する統計データ取得部と、基本姿勢推定部により推定された三次元姿勢に基づき、統計データ取得部により取得された統計データから、ばら積みした際の対象物の三次元姿勢の発生確率を示す確率分布を計算する分布計算部と、分布計算部により計算された確率分布に基づき、対象物の三次元モデルから姿勢データを抽出し、当該姿勢データを示すデータベースを生成するデータベース生成部とを備えたことを特徴とする。
【発明の効果】
【０００７】
この発明によれば、上記のように構成したので、従来構成に対して姿勢データを絞り込むことができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る三次元位置姿勢認識システムの構成例を示すブロック図である。
【図２】この発明の実施の形態１に係る三次元位置姿勢認識システムのハードウェア構成例を示す図である。
【図３】この発明の実施の形態１に係る三次元位置姿勢認識システムで用いる座標系を示す図である。
【図４】この発明の実施の形態１に係る三次元位置姿勢認識システムで用いる容器の寸法及び幅寸法の一例を示す図である。
【図５】この発明の実施の形態１に係るデータベース生成装置の動作例を示すフローチャートである。
【図６】この発明の実施の形態１における基本姿勢推定部による動作を説明する図である。
【図７】この発明の実施の形態１における基本姿勢推定部による推定結果の一例を示す図である。
【図８】この発明の実施の形態１における統計データ取得部による動作を説明する図である。
【図９】この発明の実施の形態１における分布計算部による動作を説明する図である。
【図１０】この発明の実施の形態１における分布計算部による計算結果の一例を示す図である。
【図１１】この発明の実施の形態１に係る三次元位置姿勢認識装置の動作を説明する図である。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る三次元位置姿勢認識システムの構成例を示す図であり、図２は三次元位置姿勢認識システムのハードウェア構成例を示す図である。
三次元位置姿勢認識システムは、図１に示すように、データベース生成装置１、撮影装置２及び三次元位置姿勢認識装置３を備えている。なお、図２に示すように、データベース生成装置１及び三次元位置姿勢認識装置３は、システムＬＳＩ等の処理回路や、メモリ等に記憶されたプログラムを実行するＣＰＵ等を搭載したコンピュータ４により実現される。
【００１０】
データベース生成装置１は、三次元位置姿勢認識装置３で用いる姿勢データに関するデータベースを生成する。この際、データベース生成装置１は、従来構成に対し、三次元位置姿勢認識装置３で用いる姿勢データの絞り込みを行う。なお、データベース生成装置１が生成するデータベースは、三次元位置姿勢認識装置３がアピアランスベースで対象物５０を認識する場合には姿勢データを保有した画像を示すデータを有し、モデルベースで対象物５０を認識する場合には姿勢データを保有した三次元モデルを示すデータを有するように設定される。なお、データベース生成装置１によるデータベースの生成は、三次元位置姿勢認識装置３が処理を行う前に実行される。このデータベース生成装置１の詳細については後述する。
【００１１】
撮影装置２は、図２に示すように、ばら積みされた対象物５０を撮影可能な位置に設置され、撮影を行う。なお、撮影装置２は、三次元位置姿勢認識装置３がアピアランスベースで対象物５０を認識する場合には二次元画像を取得し、モデルベースで対象物５０を認識する場合には奥行き情報を各画素が保有する距離画像を取得するように構成される。
なお、距離画像は、公知の光切断法（対象にスリット光を照射し、反射光を撮影することで三角測量により距離を計測する方式）、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ方式（光の飛行時間から距離を計測する方式）、又はステレオカメラを用いた三角測量による計測方式等を用いて得ることができる。
【００１２】
三次元位置姿勢認識装置３は、データベース生成装置１により生成されたデータベースを用い、撮影装置２により撮影された画像から、対象物５０の三次元位置及び三次元姿勢を推定することで当該対象物５０を認識する。三次元位置姿勢認識装置３による対象物５０の認識手法は、アピアランスベース又はモデルベースのいずれでもよい。この三次元位置姿勢認識装置３は、データベース記憶部３１、画像取得部３２及び比較演算部３３を備えている。
【００１３】
データベース記憶部３１は、データベース生成装置１により生成されたデータベースを記憶する。
【００１４】
画像取得部３２は、撮影装置２により撮影された画像を示すデータを取得する。
なお、画像取得部３２により得られた画像の中心を原点とし、当該画像の水平方向をｘ軸、垂直方向をｙ軸として基準面とする。また、基準面に対して鉛直方向をｚ軸として、座標系を基準座標系とする。
【００１５】
比較演算部３３は、画像取得部３２により得られた画像を、データベース記憶部３１に記憶されたデータベースと比較することで、対象物５０の三次元位置（ｘ，ｙ，ｚ）及び三次元姿勢（α，β，γ）を推定する。
なお図３に示すように、対象物５０の三次元位置（ｘ，ｙ，ｚ）は、上記基準座標系における三次元位置である。また、対象物５０の三次元姿勢（α，β，γ）は、三次元位置（ｘ，ｙ，ｚ）におけるｘ軸周りのロール角、ｙ軸周りのピッチ角、ｚ軸周りのヨー角である。この三次元姿勢（α，β，γ）は、オイラー角等でも代替可能である。なお、比較演算部３３による三次元位置及び三次元姿勢の推定手法は従来構成と同様である。
【００１６】
データベース生成装置１は、図１に示すように、三次元モデル記憶部１１、ばら積み条件記憶部１２、基本姿勢推定部１３、統計データ取得部１４、分布計算部１５及びデータベース生成部１６を備えている。
【００１７】
三次元モデル記憶部１１は、対象物５０の三次元モデルを示すデータを記憶する。ここで、三次元モデルを示すデータとしては、例えばＣＡＤデータが挙げられる。
【００１８】
ばら積み条件記憶部１２は、対象物５０のばら積みに関する条件（ばら積み条件）を示すデータを記憶する。ばら積み条件は、図４に示すような対象物５０をばら積みさせる容器５１の寸法（Ｗ，Ｄ，Ｈ）及び幅寸法（ｄＷ，ｄＤ，ｄＨ）と、ばら積みにする対象物５０の個数である。なお、ｘ軸方向における容器５０の内寸をＷｉｎとすると、ｄＷ＝（Ｗ−Ｗｉｎ）／２となる。また、ｙ軸方向における容器５０の内寸をＤｉｎとすると、ｄＤ＝（Ｄ−Ｄｉｎ）／２となる。また、ｚ軸方向における容器５０の内寸をＨｉｎとすると、ｄＨ＝（Ｈ−Ｈｉｎ）／２となる。また、個数は、ばら積み当初の個数でよい。
【００１９】
基本姿勢推定部１３は、対象物５０を単体で落下させた際の当該対象物５０の三次元姿勢（以下、基本の三次元姿勢）を推定する。基本の三次元姿勢とは、対象物５０を単体で落下させた際に、当該対象物５０が水平面上で取り得る三次元姿勢である。この際、基本姿勢推定部１３は、まず、三次元モデル記憶部１１に記憶された三次元モデルに基づき、物理演算エンジン等を用いたシミュレーションにより、上記対象物５０の三次元姿勢の統計データを取得する。そして、基本姿勢推定部１３は、この統計データから基本の三次元姿勢を推定する。
【００２０】
統計データ取得部１４は、対象物５０をばら積みした際の当該対象物５０の三次元姿勢の統計データを取得する。この際、統計データ取得部１４は、三次元モデル記憶部１１に記憶された三次元モデル及びばら積み条件記憶部１２に記憶されたばら積み条件に基づき、物理演算エンジン等を用いたシミュレーションにより、上記対象物５０の三次元姿勢の統計データを取得する。
【００２１】
分布計算部１５は、基本姿勢推定部１３により推定された基本の三次元姿勢に基づき、統計データ取得部１４により取得された統計データから、ばら積みした際の対象物５０の三次元姿勢の発生確率を示す確率分布を計算する。この際、分布計算部１５は、上記基本の三次元姿勢を平均として当該基本の三次元姿勢のパターン数と同数のガウス分布から成る混合ガウス分布を計算することで、上記確率分布を得る（混合ガウス分布によるモデル化）。
【００２２】
データベース生成部１６は、分布計算部１５により計算された確率分布に基づき、三次元モデル記憶部１１に記憶された三次元モデルから姿勢データを抽出し、当該姿勢データを示すデータベースを生成する。この際、データベース生成部１６は、例えば、上記確率分布である混合ガウス分布を構成する各ガウス分布の平均を中心とした一定範囲内に属する三次元姿勢の姿勢データを三次元モデルから抽出する。
【００２３】
次に、実施の形態１に係るデータベース生成装置１の動作例について、図５を参照しながら説明する。なお、三次元モデル記憶部１１には、対象物５０の三次元モデルを示すデータが記憶され、また、ばら積み条件記憶部１２には、ばら積み条件を示すデータが記憶されているものとする。
データベース生成装置１の動作例では、図２に示すように、まず、基本姿勢推定部１３は、三次元モデル記憶部１１に記憶された三次元モデルに基づき、物理演算エンジン等を用いたシミュレーションにより、対象物５０を単体で落下させた際の当該対象物５０の三次元姿勢の統計データを取得する（ステップＳＴ１）。すなわち、基本姿勢推定部１３は、図６Ａに示すような落下シミュレーションを行う。その結果、基本姿勢推定部１３は、図６Ｂ，６Ｃに示すような、対象物５０の三次元姿勢を得ることができ、これを複数回試行することで、統計データを得る。なお、シミュレーションの試行回数ｎは、回答比率ｐと誤差率ｄ（％）と信頼水準λ（％）から、下式（１）より求めることができる。
2018100846.tif 000003
【００２４】
また図３に示すように、三次元姿勢（α、β、γ）としてロール角、ピッチ角、ヨー角を用いる場合、ロール角とピッチ角が等しければ、ヨー角（撮影装置２の軸周りの角度）が異なる場合でも等しい三次元姿勢とみなすことができる。そのため、ここでは、ロール角とピッチ角のみの統計を取るものとする。図７は基本姿勢推定部１３により取得された統計データを示している。
【００２５】
次いで、基本姿勢推定部１３は、取得した統計データから、基本の三次元姿勢を推定する（ステップＳＴ２）。対象物５０を単体で落下させた場合には、図７に示すように特定箇所でピークが得られる。そして、基本姿勢推定部１３では、このピークの三次元姿勢を基本の三次元姿勢として推定する。
【００２６】
また、統計データ取得部１４は、三次元モデル記憶部１１に記憶された三次元モデル及びばら積み条件記憶部１２に記憶されたばら積み条件に基づき、物理演算エンジン等を用いたシミュレーションにより、対象物５０をばら積みした際の当該対象物５０の三次元姿勢の統計データを取得する（ステップＳＴ３）。すなわち、統計データ取得部１４は、図８に示すようなばら積みシミュレーションを行う。その結果、統計データ取得部１４は、対象物５０の三次元姿勢を得ることができ、これを複数回試行することで、統計データを得る。なお、シミュレーションの試行回数ｎは上記と同様である。また、この場合にも、ロール角とピッチ角のみの統計をとるものとする。
【００２７】
次いで、分布計算部１５は、基本姿勢推定部１３により推定された基本の三次元姿勢に基づき、統計データ取得部１４により取得された統計データから、ばら積みした際の対象物５０の三次元姿勢の発生確率を示す確率分布を計算する（ステップＳＴ４）。図９は分布計算部１５による分布計算を説明する図である。図９に示される散布図は、統計データ取得部１４により取得された統計データを示している。また、符号９０１は、基本姿勢推定部１３により推定された基本の三次元姿勢の位置を示している。そして、分布計算部１５は、基本の三次元姿勢９０１を平均として当該基本の三次元姿勢９０１のパターン数と同数のガウス分布から成る混合ガウス分布を計算することで、上記確率分布を得る。図９の例では、基本の三次元姿勢９０１が２つ存在しているため、分布計算部１５は、それぞれの基本の三次元姿勢９０１を平均とした２つのガウス分布から成る混合ガウス分布を求める。図１０は分布計算部１５により計算された確率分布を示している。
【００２８】
ここで、分布計算部１５は、混合ガウス分布によるモデル化の手法として、例えばＥＭアルゴリズムのような最尤推定法を用いる。対象物５０をばら積みした際に対象物５０が取り得る三次元姿勢は、一部の特殊な姿勢を除いて、全て基本の三次元姿勢に回転を加えたもので表現できる。ここで、特殊な姿勢とは、通常では発生しない三次元姿勢であり、ばら積みした際の特定の条件下でのみ例外的に生じる三次元姿勢である。また、仮に、ばら積みされた対象物５０に特殊な姿勢が存在したとしても、ばら積みされた状態から対象物５０がロボットによりピッキングされていくことで、ばら積みされた対象物５０がより安定した姿勢に近づき、すなわち基本の三次元姿勢に近づくものと想定できる。そのため、このような特殊な三次元姿勢はモデル化の際に無視できるものとする。したがって、モデル化の際に用いる混合ガウス分布を構成するガウス分布の数は、基本の三次元姿勢のパターン数であり、平均は当該基本の三次元姿勢とする。
【００２９】
次いで、データベース生成部１６は、分布計算部１５により計算された確率分布に基づき、三次元モデル記憶部１１に記憶された三次元モデルから姿勢データを抽出し、当該姿勢データを示すデータベースを生成する（ステップＳＴ５）。この際、データベース生成部１６は、例えば、上記確率分布である混合ガウス分布を構成する各ガウス分布の平均を中心とした一定範囲内（例えば図９に示す符号９０２の範囲内）に属する三次元姿勢の姿勢データを三次元モデルから抽出する。これにより、姿勢データの絞り込みを行うことができる。
【００３０】
図１１は三次元位置姿勢認識装置３の動作を説明する図である。図１１に示すように、三次元位置姿勢認識装置３では、対象物５０の三次元姿勢を推定する場合に、画像取得部３２により得られた画像１００１を、データベース記憶部３１に記憶されたデータベース１００２と比較する。
ここで、従来では、画像１００１を三次元モデルの全ての姿勢データと比較する必要がある。一方、実施の形態１では、データベース生成装置１によって事前に不要な（通常では発生し得ない）姿勢データ１００３が除かれている。そのため、三次元位置姿勢認識装置３では、画像１００１を、従来構成に対して少ない姿勢データと比較すればよい。よって、演算回数を減少でき、処理時間の短縮化が可能となる。
また、実施の形態１では、データベース生成装置１によって事前に不要な姿勢データ１００３が除かれている。そのため、三次元位置姿勢認識装置３では、この不要な姿勢データ１００３を用いることがないため、誤認識を減らすことができる。
【００３１】
以上のように、この実施の形態１によれば、対象物５０を単体で落下させた際の当該対象物５０の三次元姿勢を推定する基本姿勢推定部１３と、対象物５０をばら積みした際の当該対象物５０の三次元姿勢の統計データを取得する統計データ取得部１４と、基本姿勢推定部１３により推定された三次元姿勢に基づき、統計データ取得部１４により取得された統計データから、ばら積みした際の対象物５０の三次元姿勢の発生確率を示す確率分布を計算する分布計算部１５と、分布計算部１５により計算された確率分布に基づき、対象物５０の三次元モデルから姿勢データを抽出し、当該姿勢データを示すデータベースを生成するデータベース生成部１６とを備えたので、従来構成に対して姿勢データを絞り込むことができる。その結果、三次元位置姿勢認識装置３における対象物５０の三次元姿勢の推定において、演算回数を減少でき、処理時間の短縮化が可能となる。
【００３２】
なお上記では、データベース生成装置１と三次元位置姿勢認識装置３を共通のコンピュータ４で実現する場合を示した。しかしながら、これに限らず、データベース生成装置１と三次元位置姿勢認識装置３を異なるコンピュータで実現してもよい。
【００３３】
また上記では、データベース生成装置１の内部に、三次元モデルを示すデータを記憶する三次元モデル記憶部１１を設けた場合を示した。しかしながら、これに限らず、データベース生成装置１には三次元モデル記憶部１１を設けず、データベース生成装置１は外部から三次元モデルを示すデータを取得するように構成してもよい。ばら積み条件を示すデータについても同様である。
【００３４】
また上記では、基本姿勢推定部１３が、三次元モデルを用い、シミュレーションにより三次元姿勢の統計データを取得し、この統計データから基本の三次元姿勢を推定する場合を示した。しかしながら、これに限らず、基本姿勢推定部１３が統計データを取得可能であればよく、シミュレーションではなく実験的に行ってもよい。統計データ取得部１４についても同様である。
【００３５】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００３６】
１  データベース生成装置
２  撮影装置
３  三次元位置姿勢認識装置
４  コンピュータ
１１  三次元モデル記憶部
１２  ばら積み条件記憶部
１３  基本姿勢推定部
１４  統計データ取得部
１５  分布計算部
１６  データベース生成部
３１  データベース記憶部
３２  画像取得部
３３  比較演算部
５０  対象物
【図１】
2018100846.tif 000004
【図２】
2018100846.tif 000005
【図３】
2018100846.tif 000006
【図４】
2018100846.tif 000007
【図５】
2018100846.tif 000008
【図６】
2018100846.tif 000009
【図７】
2018100846.tif 000010
【図８】
2018100846.tif 000011
【図９】
2018100846.tif 000012
【図１０】
2018100846.tif 000013
【図１１】
2018100846.tif 000014