(57)【要約】【課題】投影された構造化光の反射光に基づく三角測量法で取得された奥行き情報を、効率良く保持する。【解決手段】物体に対して投影装置10から投影された構造化光の反射光を撮像装置20で受光して得られる2次元画像を取得し、該2次元画像から、三角測量法により3次元空間における奥行き情報を取得する。なお、投影される構造化光としては、投影装置10と撮像装置20とを結ぶ直線に対して略直交する複数の離散的な計測線を構成する光である。奥行き情報は、従来であれば距離画像50のように得られていたが、本発明では、計測線の本数に応じた軸90と、撮影画像の幅に応じた軸70からなる2次元配列である計測線マップ60の各要素に格納する。これにより、奥行き情報の保持容量が削減される。また、計測線マップによる特徴点の対応付けを行うことで、対象物体の照合処理が高速化される。【選択図】  図1
2014202502.tif 000002
【特許請求の範囲】
【請求項１】
投影装置から投影された構造化光が物体で反射された反射光を撮像装置で受光して得られた2次元画像を取得する画像取得手段と、
前記2次元画像から前記物体の奥行き情報を取得する奥行き情報取得手段と、
前記奥行き情報を計測線マップの各要素に格納する格納手段と、を有し、
前記構造化光は、前記投影装置と前記撮像装置とを結ぶ直線に対して略直交する複数の離散的な計測線を構成する光であり、
前記計測線マップは、前記計測線の本数に応じた次元と、前記2次元画像における前記計測線の長さ方向の画素数に応じた次元からなる配列として構成される
ことを特徴とする情報処理装置。
【請求項２】
前記奥行き情報は、前記物体における計測点の3次元座標値を示す情報であることを特徴とする請求項1に記載の情報処理装置。
【請求項３】
さらに、前記計測線マップから参照される奥行き情報と、対象物体の3次元形状を表す形状情報を照合して前記対象物体を検出する照合手段、
を有することを特徴とする請求項1または2に記載の情報処理装置。
【請求項４】
前記照合手段は、
前記計測線マップに保持された奥行き情報から前記対象物体の幾何特徴を抽出する抽出手段と、
該抽出された幾何特徴を、前記形状情報が示す幾何特徴に対応付けることで、前記対象物体を検出する検出手段と、
を有することを特徴とする請求項3に記載の情報処理装置。
【請求項５】
前記形状情報は、認識辞書に保持された幾何特徴であることを特徴とする請求項3または4に記載の情報処理装置。
【請求項６】
前記抽出手段は、前記2次元画像における座標値を前記計測線マップの座標値に変換し、該計測線マップの座標値に対応する奥行き情報から、該2次元画像の座標値に対応する前記対象物体の幾何特徴を抽出することを特徴とする請求項4または5に記載の情報処理装置。
【請求項７】
前記抽出手段は、前記計測線マップにおける奥行き情報に対し、近傍点探索を行って前記幾何特徴を抽出することを特徴とする請求項4乃至6のいずれか1項に記載の情報処理装置。
【請求項８】
前記照合手段は、前記形状情報に対する奥行き情報を前記計測線マップから探索し、対応する前記形状情報と前記奥行き情報との距離に基づいて、前記対象物体の位置および姿勢を検出することを特徴とする請求項3に記載の情報処理装置。
【請求項９】
前記形状情報は形状モデルであり、
前記照合手段は、前記形状モデルを用いたモデルフィッティングによって前記対象物体の位置および姿勢を検出することを特徴とする請求項8に記載の情報処理装置。
【請求項１０】
前記照合手段は、予め前記対象物体を計測して得られた奥行き情報に対応する奥行き情報を前記計測線マップから探索し、対応する奥行き情報間の距離に応じた評価値を最適化することで、前記奥行き情報間の相対位置および姿勢を検出することを特徴とする請求項3に記載の情報処理装置。
【請求項１１】
さらに、前記照合手段による検出結果に基づいて、前記対象物体を把持する把持手段を制御する把持制御手段を有することを特徴とする請求項3乃至10のいずれか1項に記載の情報処理装置。
【請求項１２】
画像取得手段、奥行き情報取得手段、格納手段を有する情報処理装置における情報処理方法であって、
前記画像取得手段が、投影装置から投影された構造化光が物体で反射された反射光を撮像装置で受光して得られた2次元画像を取得し、
前記奥行き情報取得手段が、前記2次元画像から前記物体の奥行き情報を取得し、
前記格納手段が、前記奥行き情報を計測線マップの各要素に格納し、
前記構造化光は、前記投影装置と前記撮像装置とを結ぶ直線に対して略直交する複数の離散的な計測線を構成する光であり、
前記計測線マップは、前記計測線の本数に応じた次元と、前記2次元画像における前記計測線の長さ方向の画素数に応じた次元からなる配列として構成される
ことを特徴とする情報処理方法。
【請求項１３】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至11のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
3次元空間における物体の形状や位置姿勢を計測するための情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
3次元空間における物体の形状や位置姿勢を計測するために、奥行き情報を計測する距離計測装置が提案されている。なかでも非接触式の距離計測装置として、対象物体に照射した光の反射光を解析することによって対象物体までの奥行き情報を計測する方法が良く利用されている。例えばスリット光投影法(例えば、非特許文献1参照)や空間コード化法等、既知の構造化光を投影した対象物体をカメラで撮像し、光源位置とカメラ位置と撮影画像上でのパターンの位置から、三角測量法に基づいて奥行き情報を算出する方法が知られている。算出された奥行き情報は、多くの場合、撮影画像と同じ解像度、または構造化光のパターンと同じ解像度の距離画像として、取り扱われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願2010-039201号公報
【特許文献２】特願2009-289614号公報
【特許文献３】特願2010-053669号公報
【非特許文献】
【０００４】
【非特許文献１】Marc Rioux, "Laser range finder based on synchronized scanners," Applied Optics, Vol.23, No.21, 3837-3844, 1984.
【非特許文献２】A.E.Johnson and M. Hebert,"Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes,"IEEE Trans.on PAMI,vol.21,no.5,pp.433-449,1999.
【非特許文献３】Vincent Lepetit and Pascal Fua,“Keypoint Recognition Using Randomized Trees",IEEE Transactions on Pattern Analysis and Machine Intelligence(2006)pp.1465-pp.1479.
【非特許文献４】深井寛修、徐剛,"全探索を用いたロバストかつ高速な3次元物体認識と追跡",第14回画像の認識理解シンポジウム,2011.
【非特許文献５】Roger Y.Tsai,"An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision",Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,pp.364-374,1986.
【非特許文献６】P.J.Besland N.D.McKay,"A method for registration of 3-D shapes,"IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.14,no.2,pp.239-256,1992.
【非特許文献７】立野圭祐,小竹大輔,内山晋二,"ビンピッキングのための距離・濃淡画像を最ゆうに統合する高精度高安定なモデルフィッティング手法",電子情報通信学会論文誌D,Vol.J94-D No.8,pp.1410-1422,2011.
【非特許文献８】K.S.Arun,T.S.Huang,and S.D.Blostein,"Least-squares fitting of two 3-D point sets,"IEEE Trans.on Pattern Analysis and Machine Intelligence,Vol.9,No.5,pp.698-700,1987.
【非特許文献９】岡谷貴之,"バンドルアジャストメント",情報処理学会研究報告,Vol.2009-CVIM-167 No.37,2009
【非特許文献１０】S. Inokuchi, K. Sato and F. Matsuda: "Range imaging system for 3-D object recognition," International Conference on Pattern Recognition, pp.806ー808,1984.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように従来の距離画像(奥行き情報としての計測データ)は、撮影画像と同じ解像度、または構造化光のパターンと同じ解像度で表わされていた。
【０００６】
距離画像の解像度が撮影画像と同じであった場合、距離画像の座標平面を構成する2つの次元のうち、構造化光における計測線の離散方向に対応する次元(計測線に略直交する軸)における計測線の密度は、撮影画像の対応する次元の解像度よりも粗くなる。すなわち距離画像には、奥行き情報の算出が行われなかった計測不能領域が多数存在するため、該距離画像を保持しておくためには記憶容量を無駄に消費してしまう。
【０００７】
また、距離画像の解像度を構造化光のパターンと同じとすると、距離画像の低解像度化すなわち記憶容量の低容量化が実現される。しかしながら、構造化光を例えばプロジェクタによって投影した場合などは一般的に、該構造化光パターンの解像度は2つの次元のいずれにおいても撮影画像よりも粗くなる。したがってこのような距離画像においては、本来であれば算出可能であるはずの多くの奥行き情報が欠落してしまう。
【０００８】
本発明は上述した課題を鑑みてなされたものであり、投影された構造化光の反射光に基づき三角測量法によって取得された奥行き情報を、効率良く保持することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の情報処理装置は以下の構成を備える。すなわち、投影装置から投影された構造化光が物体で反射された反射光を撮像装置で受光して得られた2次元画像を取得する画像取得手段と、前記2次元画像から前記物体の奥行き情報を取得する奥行き情報取得手段と、前記奥行き情報を計測線マップの各要素に格納する格納手段と、を有し、前記構造化光は、前記投影装置と前記撮像装置とを結ぶ直線に対して略直交する複数の離散的な計測線を構成する光であり、前記計測線マップは、前記計測線の本数に応じた次元と、前記2次元画像における前記計測線の長さ方向の画素数に応じた次元からなる配列として構成されることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、投影された構造化光の反射光に基づき三角測量法によって取得された奥行き情報を、効率良く保持することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】距離計測の様子と距離画像及び計測線マップの概要を示す図、
【図２】第1〜第3実施形態における3次元計測装置の構成を示すブロック図、
【図３】第1〜第3実施形態における3次元計測処理を示すフローチャート、
【図４】第1実施形態における対象物体の照合処理を示すフローチャート、
【図５】第2および第3実施形態における対象物体の照合処理を示すフローチャート、
【図６】第4実施形態におけるロボットアームの構成例を示す図、である。
【発明を実施するための形態】
【００１２】
以下、本発明実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
＜第1実施形態＞
本実施形態では3次元空間上の対象物体について、まず距離計測手段を用いて線状に奥行き情報を計測し、該奥行き情報を計測密度に応じた形式(計測線マップ)で出力する方法について説明する。そしてさらに、計測線マップから参照した奥行き情報と計測対象の形状情報を照合して、対象物体を検出する方法について説明する。
【００１４】
●装置構成
図2に、本実施形態における3次元計測装置の構成を示す。同図に示すように、3次元計測装置は、情報処理装置1に対し、構造化光を投影する投影装置10と、該構造化光が計測対象物体(以下、対象物体)で反射した反射光を撮像する撮像装置20が接続されている。なお本実施形態では、投影装置10としてプロジェクタ、撮像装置20としてカメラを用いるとする。
【００１５】
情報処理装置1は、取得部100、計測線マップ保持部110、照合部120から構成される。取得部100は、奥行き情報算出のために、投影装置10および撮像装置20を制御して対象物体の画像を取得する。すなわち、投影装置10から構造化光を投影し、対象物体で反射した反射光を撮像装置20で撮像した画像を取得する。そして計測線マップ保持部110では、取得部100で取得された少なくとも1枚の画像から計測した奥行き情報または奥行き情報への参照情報を記述した計測線マップを生成・保持する。照合部120では、計測線マップから参照される奥行き情報と計測対象の形状情報を照合して、対象物体を検出する。
【００１６】
図3に、本実施形態の3次元計測装置における計測処理の全体フローチャートを示す。まずS200で初期化処理を行う。すなわち、対象物体の照合情報を生成し、不図示のメモリに保持しておく。または、予め生成しておいた照合情報を不図示の記憶装置から読み出しても良い。ここで照合情報とはすなわち認識辞書であり、その詳細については後述する。次にS210で画像取得処理を行う。すなわち取得部100によって、対象物体に構造化光を投影し、その反射光を撮像した画像を取得する。なお、予め取得しておいた撮像画像を不図示の記憶装置から読み出しても良い。そしてS220で計測線マップ生成・保持処理を行う。すなわち計測線マップ保持部110により、S210で取得した画像から対象物体を含む情景の奥行き情報(計測点の3次元座標値)を取得し、2次元配列の各要素に計測点の3次元座標値が格納された計測線マップを生成・保持する。そしてS230で照合処理を行う。すなわち照合部120によって、まずS220で生成・保持された計測線マップから奥行き情報を参照し、照合対象物体の有無を出力する。
【００１７】
●計測線マップ生成処理(S220)
ここで、上記S220における計測線マップの生成処理について、図1の計測概念図を用いて説明する。まず、投影した光の対象物体での反射光を撮影した結果から、三角測量法に基づいて対象物体の奥行き情報を算出する。この算出方法では図1(a)に示すように、まず投影装置10から、投影装置10と撮像装置20とを結ぶ直線に対して略直交し、かつ、複数の離散的な位置に計測線30を構成することが可能な光を投影する。そして、図中三角形状で示される対象物体での反射光を撮像装置20により2次元画像として受光した像から、三角測量法によって計測線30上の奥行き情報を算出する。
【００１８】
本実施形態では、上記非特許文献1に記載されたスリット光投影法を用いて、奥行き情報を算出する。スリット光投影法では、スリット光の投影方向を離散的に変えながら、各スリット光に対応する画像を複数撮像する。そして、各撮影画像からスリット光の反射光の位置を検出し、投影装置10及び撮像装置20の位置と検出したスリット光の位置から、三角測量法により奥行き情報を算出する。ただし、奥行き情報の算出方法はこの例に限るものではなく、線状の奥行き情報取得が可能であれば、どのような方法であっても良い。例えば、投影装置10はレーザ光源や線状のLEDとミラーやレンズを組み合わせた構成や、光源とレンズの間にスリット状のスライドを挟んだ構成であっても良い。また、撮像装置20も構造化光の反射光を撮像できれば良く、上記のようにカメラであっても良いし、PSD(Position Sensitive Detector)等のフォトダイオードであっても良い。また、奥行き情報の算出方法も、複数のグレイコードパターンを投影する空間コード化法(非特許文献10参照)を用いることができる。奥行き情報の算出方法としてはまた、格子状のパターンを投影するグリッドパターン投影法(特許文献2参照)、基準線パターンを付加したマルチスリット光投影法(特許文献3参照)、等を用いても良い。
【００１９】
以上のように計測線マップ保持部110では、線状に計測された奥行き情報が取得される。線状の奥行き情報は、各計測線毎に、撮像装置による撮影画素数に対応した個数分の奥行き情報が取得される。すなわち計測線マップは、投影装置10の投影面である2次元座標空間において、一方の次元を計測線の本数に分割し、他方の次元を撮像装置20による撮影画像における計測線の長さ方向の画素数に応じた数に分割した2次元配列から構成される。具体的には、図1(b)に示すように黒領域のみが計測された距離画像50から、図1(c)に示す計測線マップ60が得られる。計測線マップ60においては、距離画像50の2次元配列における列方向(高さ80)を計測線の本数90に対応させ、行方向(幅70)をそのまま撮像装置の画素数に対応させる。すなわち、各計測線上において撮像装置の幅に対応する画素数個が算出される奥行き情報を列毎に順次格納することで、列方向に計測線の本数個、行方向に撮像装置の画素数個の奥行き情報が配列された計測線マップ60が得られる。
【００２０】
ただし、計測線マップ60を構成する2次元配列は図1(c)の例に限られるものではなく、2次元マップから奥行きに関する情報を参照できればどのようなものであっても良い。例えば行と列が入れ替わっても良いし、列が計測線の本数、行が撮像装置の画素数である2次元配列の部分領域、からなる2次元配列であっても良い。また、2次元配列の各要素には、奥行き情報として奥行き情報が計測された点の3次元座標値が格納されるが、格納される要素としてもこの例に限らず、奥行きに関する情報であれば良い。例えば投影装置10や撮像装置20からの奥行き値であっても、奥行き情報へのポインタであっても良い。さらに、奥行きに関する情報以外に、計測点の計測信頼度等の付随する情報を含んでいても良い。
【００２１】
●照合処理(S230)
次に、上記S230における照合処理、すなわち計測線マップ保持部110に保持された計測線マップから参照される奥行き情報と計測対象の形状情報を照合して、対象物体を検出(認識)する処理について、図4のフローチャートを用いて説明する。
【００２２】
まずS2010で、S220で生成・保持された計測線マップから奥行き情報を参照することで、幾何特徴抽出を行う。そしてS2020で、S2010で抽出した幾何特徴と、予め作成された認識辞書が保持する幾何特徴とを比較して、特徴量が近いもの対応付ける。ここで認識辞書には対象物体の幾何特徴が保持されているが、さらに幾何特徴の位置や向き、幾何特徴を観測できる方向、等の付随情報も保持されていても良い。そしてS2030で、S2020で対象物体の幾何特徴に対応付けられる幾何特徴が認識辞書にあれば、対象物体が検出されたとして、検出の有無を出力する。また、対応付けられた幾何特徴の座標値から、対象物体の計測線マップ上、または撮影画像上での2次元座標値や、3次元空間中の3次元座標値や姿勢を出力しても良い。
【００２３】
●Spin Imagesを用いた認識処理
本実施形態の照合部120においては、Spin Imagesを用いた認識手法を利用する。Spin Imagesを用いた技術の詳細については非特許文献2を参照されたい。
【００２４】
以下、S230においてSpin Imagesによる認識処理を実行する例について説明する。Spin Imagesによる認識処理を実行するにあたり、S200の初期化処理において、対象物体の形状モデルや距離計測データから予め算出されたSpin Images特徴量を辞書として保持しておく。
【００２５】
S230の照合処理では、まずS2010で計測線マップを参照して注目点の近傍点探索を行い、Spin Images特徴を幾何特徴として算出する。ここでSpin Imagesは、ある注目点の近傍にある3次元点との位置関係を、法線に垂直な方向αと法線方向βで表し、その2方向に関する点の数で作成されたヒストグラムからなる。そのため、注目点から所定距離の範囲内に存在する3次元点を抽出する必要がある。そこで、計測線マップの2次元配列において、あるセルに格納されている計測点を注目点とした場合、まず、注目点セルの近傍にあるセルのうち、注目点からの3次元距離が一定の範囲内にある計測点(セル)を抽出する。そして、該抽出した計測点の3次元座標値から、Spin Images特徴量を算出する。
【００２６】
このSpin Images特徴量を適用する場合、従来技術のように撮影画像と同じ解像度の距離画像を利用すると、注目点の近傍セルは空である場合が多く、また探索対象となるセルの数も多い。しかしながら、本実施形態で示す計測線マップを利用することにより、探索するセルの範囲が小さくて済むため、高速に探索することができる。
【００２７】
次にS2020で、S2010で算出したSpin Images特徴量と、辞書として保持されているSpin Images特徴量とを照合して対応付けを行い、S2030で該対応付け結果に従って対象物体の検出の有無を出力する。このとき、照合した特徴量間の距離を最小化して対象物体の位置姿勢を算出しても良い。
【００２８】
ただし、本実施形態における照合処理は上記手法に限らず、距離画像または3次元点群の局所的な特徴を表す特徴量を、計測線マップの局所領域を参照して算出し、予め辞書に登録された特徴量と照合して、対象物体を検出する手法であれば良い。例えば、S2010で検出し、S2020で照合する幾何特徴はSpin Images特徴量に限らず、局所領域内の曲率であっても良いし、奥行き値を輝度値とみなして算出する2次元画像特徴量であっても良い。また、S2010で幾何特徴を抽出する際に、撮影画像の座標値から奥行き情報(奥行き値や3次元座標等)へアクセスする変換手段を用意して、撮影画像上での局所領域から特徴量を抽出しても良い。この変換手段としては、例えば撮影画像の座標値から計測線マップの座標値への変換表や変換式を利用しても良い。
【００２９】
また、本実施形態では対象物体の検出のみを行う例を示したが、さらに対象物体の姿勢も認識することも可能である。例えば、対象物体から認識辞書を作成する際に、対象物体を複数の方向から観測し、対象物体の観測方向と幾何特徴の分布を対応付けた情報を辞書として保存する。そして、照合した幾何特徴の分布に最も似た分布を持つ辞書上の幾何特徴の分布が対応する観測方向を、対象物体の姿勢として抽出しても良い。
【００３０】
また、本実施形態では幾何特徴として3次元特徴量を用いる例を示したが、2次元特徴量を利用することも可能である。例えば、計測線マップから参照した奥行き値を輝度値とみなし、周知である、局所画像から作成した分類木の集合を用いて照合を行う手法を利用することができる。この分類木集合を用いた照合手法としては非特許文献3を参照されたい。
【００３１】
なお、本実施形態では3次元計測装置において計測線マップを作成した後、照合処理を行う例を示したが、計測線マップを作成する手段と、照合処理を行う手段とをそれぞれ別装置として構成することも可能である。
【００３２】
以上説明したように第1実施形態においては、構造化光の対象物体での反射光を撮影した結果から得られた対象物体の奥行き情報を、計測密度に応じた形式(計測線マップ)で出力する方法を示した。これにより、計測可能な奥行き情報の密度に応じた形式で計測データを取り扱うことが可能となり、記憶容量の無駄を軽減し、かつ計測可能な情報を欠落させることなく、計測データを取り扱うことが可能となる。
【００３３】
本実施形態ではさらに、上記のように作成した計測線マップを利用して、Spin Images特徴量に基づいて対象物体を検出する方法を示した。これにより、計測点の近傍点の探索範囲が小さくなり、計測点とその近傍点を用いた特徴量を高速に算出することが可能となる。
【００３４】
＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態では、計測線マップから参照した奥行き情報と計測対象の3次元形状を表す形状情報を照合し、対象物体の位置姿勢を算出する方法について説明する。第2実施形態における3次元計測装置の構成は上述した第1実施形態と同様であるため、説明を省略する。第2実施形態では照合部120において、特許文献1に記載されたモデルフィッティングにより対象物体の位置姿勢を算出する手法を用いる。以下、第2実施形態における照合処理について、図3及び図5のフローチャートを用いて説明する。
【００３５】
第2実施形態の3次元計測装置における計測処理の全体の流れは、第1実施形態と同様であり、すなわち図3のフローチャートに従うが、S200の初期化処理における初期化内容、およびS230の照合処理の詳細が、第1実施形態とは異なる。なお、S210の画像取得処理、及びS220の計測線マップ生成・保持処理については、第1実施形態と同様である。
【００３６】
S200における初期化時には、照合情報として対象物体の形状モデルを例えば他装置から取得し、また奥行き情報を取得するための投影装置及び撮像装置の内部パラメータ(画角や解像度、焦点距離等)を取得する。
【００３７】
●照合処理(S230)
S230における照合処理の詳細について、図5のフローチャートを用いて説明する。
【００３８】
まずS3010で、概略位置姿勢設定処理を行う。すなわち、S220で生成・保持された計測線マップから奥行き情報を参照して対象物体を認識してその概略位置姿勢を取得し、対象物体の位置姿勢として設定する。ここで概略位置姿勢とは、モデルフィッティングを行う初期値として利用可能な精度で算出された対象物体の位置姿勢である。具体的には、第1実施形態における照合処理として図4のS2010〜S2030で示した工程を利用して、対象物体の位置姿勢を設定する。ただし、対象物体の概略位置姿勢の算出方法はこの例に限らず、対象物体の形状や見え等の知識を用いて対象物体の概略位置姿勢を算出する方法であれば適用可能である。例えば、ユーザが計測点と形状モデルの対応点を入力し、その間の距離を最小化することによって概略位置姿勢を算出しても良い。あるいは、算出する位置姿勢の6自由度のパラメータ空間を一定の間隔で離散化し、形状モデル表面と距離計測データとの距離が最小となる位置姿勢を、離散化した位置姿勢パラメータから探索しても良い。この探索方法の詳細については、非特許文献4を参照されたい。
【００３９】
次にS3020で、S3010で設定した概略位置姿勢を用いて、S220で生成・保持された計測線マップを参照して、計測点と対象物体の形状モデルの幾何特徴との対応付けを行う。ここで形状モデルの幾何特徴としては、形状モデル表面上からサンプリングした3次元点を利用する。ただし、形状モデルの幾何特徴は対象物体の形状を表す幾何特徴であればどのようなものであっても良い。例えば、Spin Images特徴のような特徴点であっても良いし、形状モデルの頂点や、三角パッチ等の平面、陰多項式関数やBスプライン関数等で表現された曲面であっても良い。具体的には、対象物体が概略位置姿勢に存在する状態で観測可能な対象物体の形状モデルの幾何特徴を計測線マップに投影し、投影位置が重なる形状モデルの幾何特徴と、計測線マップから参照される計測点とを対応付ける。幾何特徴が観測可能であるか否かは、投影装置及び撮像装置の内部パラメータと概略位置姿勢を用いて観測のシミュレーションを行うことによって判定できる。また、予め複数の視点からの観測シミュレーションを行って、幾何特徴に対して観測可能な姿勢の範囲を付加しておき、概略位置姿勢がその範囲にある幾何特徴を対応付けるようにしても良い。
【００４０】
第2実施形態では、投影装置及び撮像装置の内部パラメータ(画角や解像度、焦点距離等)は既知であるとし、S200の初期化処理において取得している。第2実施形態ではこの内部パラメータを用いて光学モデルに従った歪み補正がなされた理想的な投影面を用いて、計測モデルの幾何特徴を計測線マップに投影し、対応付ける。なお、歪み補正については例えば非特許文献5に記載のカメラモデルを参照されたい。
【００４１】
以下、第2実施形態における対応付けの方法について詳細に説明する。まず、投影装置及び撮像装置の焦点距離がそれぞれf1,f2であるとする。すると、形状モデルの幾何特徴の3次元座標値(x,y,z)から、投影装置の投影面(2次元平面)上の座標値(u1,v1)、および撮像装置の投影面(2次元平面)上の座標値(u2,v2)への透視投影変換は、以下の式(1)及び(2)に従う。
【００４２】
(u1,v1)T＝(f1・x/z,f1・y/z)T      ・・・(1)
(u2,v2)T＝(f2・x/z,f2・y/z)T      ・・・(2)
図1(c)に示す計測線マップ60において、計測線の本数90に対応する軸をu、撮影画像の幅70に対応する軸をvとする。すると、幾何特徴の3次元座標値(x,y,z)から計測線マップ60上の座標値(u,v)への透視投影変換は、以下の式(3)で行うことができる。
【００４３】
(u,v)T＝(u1,v2)T      ・・・(3)
式(3)を用いて、形状モデルが概略位置姿勢に存在する状態で観測可能な幾何特徴を計測線マップ60上に投影する。そして、投影した座標値(u,v)に対応する計測点の奥行き情報を計測線マップ60から参照して、形状モデルの幾何特徴と計測点の奥行き情報を対応付ける。
【００４４】
第2実施形態における対応付け方法は上記の例に限らず、計測線マップ60を参照して奥行き情報と対象物体の幾何特徴とを対応付けられる方法であれば適用可能である。例えば、計測線マップ60上に投影した座標値が計測不能領域だった場合には、計測線マップ60上の隣接するセルから対応付ける計測点を探索しても良い。また、第1実施形態で説明したSpin Images等の特徴点を抽出して対応付けても良い。また計測線マップ60から奥行き情報である3次元点群を参照し、形状モデルの幾何特徴に最も近い計測点を探索して対応付けても良い。
【００４５】
次にS3030で、位置姿勢算出処理を行う。すなわち、まずS3020で対応付けられた各計測点と形状モデルの幾何特徴との距離に基づく評価関数を最小化する。そして、奥行き情報の計測点が形状モデルに当てはまるように、対象物体の位置姿勢の更新量を算出して反復演算により補正することで、位置姿勢を更新する。この位置姿勢の算出方法の詳細については、非特許文献6を参照されたい。この反復演算には、非線型最適化手法としてGauss-Newton法を用いる。Gauss-Newton法の詳細については、非特許文献7を参照されたい。なお、非線型最適化手法としては評価関数が最小となる位置姿勢を算出できる手法であれば、Gauss-Newton法に限らず他の手法を用いても構わない。例えば、より計算がロバストであるLevenberg-Marquardt法を用いても良いし、よりシンプルな方法である最急降下法を用いても良い。また、共役勾配法やICCG法など、他の非線型最適化計算手法を用いても良い。また評価関数としては、例えば対応点間の距離そのものが適用可能であるが、形状モデルの幾何特徴である3次元点に法線情報があれば3次元点を微小平面とみなし、平面と計測点との距離を用いても良い。また形状モデルの幾何特徴が平面や曲面である場合は、該平面や曲面と計測点との距離を用いても良い。
【００４６】
そしてS3040で収束判定を行う。すなわち、位置姿勢の更新量が所定値に収束していれば計算を終了し、収束していなければS3020〜S3040の処理を繰り返す。なお、収束判定に用いる指標は位置姿勢の更新量に限らず、計測点と形状モデル間の距離に基づく評価値であっても良いし、処理の繰り返し回数や経過時間であっても良い。
【００４７】
なお、第2実施形態では反復計算により対象物体の位置姿勢を算出する例を示したが、直接解法により位置姿勢を算出しても良い。例えば、S3020でSpin Images等の特徴量の対応付けを行い、対応する特徴点の3次元座標値間の距離が最小となるカメラの位置姿勢を特異値分解により求めても良い。この詳細については非特許文献8を参照されたい。
【００４８】
また、形状モデル表面からの距離の分布を表す距離場のテーブルや関数を予め作成しておくことで、S3020での対応付けを省略することができる。すなわち、計測線マップから参照した奥行き情報である3次元点群との距離を、距離場テーブルの参照、または距離場関数により算出し、その距離に基づく評価関数を最小化することで対象物体の位置姿勢を算出しても良い。
【００４９】
このように第2実施形態においては、計測線マップと対象物体の形状モデルを利用して、対象物体の位置姿勢を算出する。ここで、図1(b)に示すような従来の距離画像50に対して形状モデルの幾何特徴を投影して対応付けると、形状モデルの幾何特徴が計測不能領域(図中、白領域)に投影される場合が多数発生する。その場合は対応が見つからないとするか、距離画像上の投影点の近傍から計測点を探索して対応付ける必要がある。前者の場合は対応が見つからないことにより、位置姿勢の算出に失敗したり、位置姿勢の推定精度が低下したりする。後者の場合は探索に時間がかかるという問題が発生する。これに対し、第2実施形態で提案したように計測線マップに対して形状モデルの幾何特徴を投影して対応付けることで、計測不能領域へ投影されることがなくなるため、対応付けの失敗や対応探索時間の増大を軽減することが可能となる。
【００５０】
以上説明したように第2実施形態によれば、計測線マップと対象物体の形状モデルを利用して対象物体の位置姿勢を算出することで、計測点と対象物体の形状モデルの幾何特徴との対応付けをより効率的に行うことができる。
【００５１】
＜第3実施形態＞
以下、本発明に係る第3実施形態について説明する。第3実施形態では、計測線マップから参照した奥行き情報B(計測データB)と、過去に計測対象を計測した際に得られた奥行き情報A(計測データA)とを照合し、計測データBと計測データAとの位置合わせを行う方法について説明する。ここで奥行き情報とは第1実施形態と同様に、奥行き情報が計測された点の3次元座標値の集合である。ただし奥行き情報としては奥行きに関する情報であれば良く、計測装置から計測点までの距離の集合であっても良い。
【００５２】
第3実施形態における3次元計測装置の構成は上述した第1実施形態と同様であるため、説明を省略する。第3実施形態では照合部120において、計測線マップを参照して、奥行き情報Bと奥行き情報Aの位置合わせを行う。すなわち、奥行き情報Bと奥行き情報Aの座標系の相対的な位置および姿勢を算出する。第3実施形態における計測処理の全体の流れは、第1実施形態と同様に図3のフローチャートに従うが、S200〜S230の各処理の詳細が、第1実施形態とは異なる。
【００５３】
まずS200における初期化時には、照合情報として予め計測された奥行き情報Aを例えば他装置から読み出す。なお奥行き情報Aは、奥行き情報Bを取得するための計測装置(投影装置および撮像装置)を用いて計測しても良い。S200ではさらに、奥行き情報を取得するための計測装置(投影装置及び撮像装置)の内部パラメータ(画角や解像度、焦点距離等)を取得する。
【００５４】
そしてS210及びS220では第1実施形態1と同様に、奥行き情報Aから計測線マップA、奥行き情報Bから計測線マップBを生成・保持する。
【００５５】
●照合処理(S230)
第3実施形態のS230における照合処理の流れは第2実施形態と同様であり、すなわち図5のフローチャートに従うが、S3010〜S3040の各処理の詳細が第2実施形態とは異なる。
【００５６】
まずS3010で、概略位置姿勢設定処理を行う。ここでは、S220で生成・保持された計測線マップBから奥行き情報Bを参照して、奥行き情報Aと奥行き情報Bとの相対的な概略位置姿勢を取得する。ここで相対的な概略位置姿勢とは、奥行き情報Aに対する奥行き情報Bの概略位置姿勢(または奥行き情報Bに対する奥行き情報Aの概略位置姿勢)である。具体的には、第1実施形態における照合処理として図4のS2010〜S2030で示した工程を利用する。つまり、奥行き情報Aから算出した幾何特徴を辞書とし、計測線マップBを参照して奥行き情報Bから算出した幾何特徴を該辞書と比較して、特徴量の似ているもの同士を対応付ける。そして、対応する特徴点間の距離に基づく評価関数を最小化することにより、奥行き情報Aと奥行き情報Bとの相対的な概略位置姿勢を算出する。ただし、対象物体の概略位置姿勢算出方法はこの例に限らず、例えばユーザが奥行き情報AおよびB間の対応点を入力し、その間の距離を最小化することによって概略位置姿勢を算出しても良い。
【００５７】
次にS3020で、S3010で設定した相対的な概略位置姿勢を用いて、S220で生成・保持された計測線マップBから奥行き情報Bを参照する。そして、奥行き情報Bの計測点と、奥行き情報Bの計測領域とオーバーラップする奥行き情報Aの計測点との対応付けを行う。具体的には、奥行き情報Aの計測点を計測線マップBに投影し、投影位置が重なる奥行き情報Aの計測点と計測線マップBから参照される計測点とを対応付ける。
【００５８】
第3実施形態においても第2実施形態と同様に、投影装置及び撮像装置の内部パラメータ(画角や解像度、焦点距離等)は既知であり、S200の初期化処理において取得している。第3実施形態においてもこの内部パラメータを用いて光学モデルに従った歪み補正がなされた理想的な投影面を用いて、奥行き情報Aの計測点を計測線マップBに投影し、対応付ける。投影装置及び撮像装置の焦点距離がそれぞれf1,f2である場合、奥行き情報Aの計測点の3次元座標値(x,y,z)から、計測線マップB上の座標値(u,v)への透視投影変換は、上記式(1),(2),(3)に従って行われる。これにより、奥行き情報Aの計測点を計測線マップB上に投影し、投影した座標値(u,v)に対応する計測点を計測線マップBから参照して、奥行き情報Aの計測点と計測線マップBから参照する計測点との対応付けが行われる。
【００５９】
第3実施形態における対応付け方法は上記の例に限らず、計測線マップBを参照して奥行き情報Bと奥行き情報Aとを対応付けられる方法であれば適用可能である。例えば、計測線マップBから参照した計測点に最も近い奥行き情報Aの計測点を探索して対応付けても良い。
【００６０】
次にS3030で、位置姿勢算出処理を行う。すなわち、まずS3020で対応付けられた奥行き情報Aと奥行き情報Bとの距離に基づく評価関数を最小化する。そして、奥行き情報Bの計測点が奥行き情報Aに当てはまるように、対象物体の位置姿勢の更新量を算出して反復演算により補正することで、位置姿勢を更新する。この反復演算には、非線型最適化手法としてGauss-Newton法を用いるが、第2実施形態と同様に、非線型最適化手法としては評価関数が最小または最大となる位置姿勢を算出できる手法であれば、他の手法を用いても構わない。
【００６１】
そしてS3040で収束判定を行う。すなわち、位置姿勢の更新量が所定値に収束していれば計算を終了し、収束していなければS3020〜S3040の処理を繰り返す。なお、収束判定に用いる指標は位置姿勢の更新量に限らず、奥行き情報Aと奥行き情報Bとの距離に基づく評価値であっても良いし、処理の繰り返し回数や経過時間であっても良い。
【００６２】
なお、第3実施形態では計測線マップBと奥行き情報Aのそれぞれにおける計測点について、1対1での位置合わせを行う例を示したが、これを2つ以上の奥行き情報Aに対する1対n対応(nは2以上)としても良い。その場合は、奥行き情報Bにオーバーラップする複数の奥行き情報Aの位置姿勢を求め、さらに奥行き情報A間でも同様に互いの相対的な位置姿勢を求め、バンドル調整により奥行き情報間の距離が最小となる位置姿勢を算出する。なお、バンドル調整の詳細については、非特許文献9を参照されたい。また奥行き情報Aを、S210または、S210及びS220を複数回実行して取得しても良い。
【００６３】
また、第3実施形態では反復計算により対象物体の位置姿勢を算出する例を示したが、第2実施形態と同様に直接解法によって位置姿勢を算出しても良い。また、奥行き情報Aからの距離の分布を表す距離場のテーブルや関数を予め作成しておくことで、S3020での対応付けを省略することができる。すなわち、計測線マップBから参照した奥行き情報Bである3次元点群との距離を、距離場テーブルの参照、または距離場関数により算出し、その距離に基づく評価関数を最小化することで対象物体の位置姿勢を算出しても良い。
【００６４】
以上説明したように第3実施形態によれば、複数の計測データ間の位置合わせを計測線マップを利用して行う。すなわち、一方の計測データを他方の計測データに投影して対応付ける際に、第2実施形態と同様に計測線マップを利用することで計測不能領域への投影がなくなる。したがって、対応付けの失敗や対応探索時間の増加を軽減することが可能となり、計測点間の対応付けを効率的に行うことができる。
【００６５】
＜第4実施形態＞
以下、本発明に係る第4実施形態について説明する。上述した第1〜第3実施形態に示した3次元計測装置は、物体の3次元形状計測はもちろん、物体認識、ロボットの自己位置推定、ロボットと物体との間の相対的な位置及び姿勢の推定等に利用可能である。第4実施形態では、上述した第2実施形態で示した情報処理装置1の好適な適用事例として、ロボットアームの手先部に投影装置10及び撮像装置20を設置し、把持する物体を計測対象物体として、その位置姿勢を計測する目的に利用する例を示す。
【００６６】
図6に、第4実施形態におけるロボットアームシステムの構成例を示す。ロボットアーム330は、ロボットコントローラ340の制御により駆動する。ロボットアーム330には投影装置10及び撮像装置20が治具により固定され、情報処理装置1により制御される。すなわち情報処理装置1によってロボットアーム330の把持制御を行う。ロボットアーム330の動作としては、対象物体360をアーム把持部350によりピッキングする。情報処理装置1は、計測のための構造化光の投影と撮像を行って計測線マップを作成・参照し、アーム把持部350と対象物体360との相対位置姿勢を高速に逐次推定する。その推定結果をロボットコントローラ340の制御パラメータとして伝えるために、情報処理装置1とロボットコントローラ340はケーブルで結線されており、対象物体360の検出結果、すなわち推定位置姿勢に基づいて対象物体360を把持する。
【００６７】
なお、情報処理装置1の照合部120において、モデルフィッティングに概略位置姿勢が必要な場合は、ロボットコントローラ340が制御するロボットアーム330の取り付け位置に、治具によるオフセットを加えた値を情報処理装置1に入力すれば良い。また、モデルフィッティングで用いる形状モデルとしては、対象物体360のCADモデルを情報処理装置1が読み込めるフォーマットに変換したものを入力しておく。なお、対象物体360を入れ替えた場合には、その都度、該当する形状モデルを入力することで、複数種類の対象物体に対応することができる。例えば、情報処理装置1が予め保持している形状モデルから選択しても良いし、第1実施形態に示した物体検出方法を利用しても良い。また別の部品識別装置による部品種の認識結果に基づき、選択する形状モデルを切り替えても良い。
【００６８】
第4実施形態では、ロボットアーム330に投影装置10及び撮像装置20を取り付けるオンハンド形式の構成例を示したが、投影装置10及び撮像装置20はロボットアーム330に直接取り付けなくても良い。例えば、対象物体360が存在する領域を計測できるように、投影装置10及び撮像装置20を環境内に固定としても良いし、対象物体360を把持するロボットアーム330とは別の計測用ロボットアームを用意し、これに取り付けるようにしても良い。
【００６９】
以上説明したように第4実施形態によれば、情報処理装置1により対象物体の位置姿勢を計測することが高速に可能となり、ロボットアームによる高速かつロバストな対象物体の把持や部品組み立てを行うことが可能となる。
【００７０】
＜他の実施形態＞
上述した各実施形態で示した投影装置10としては、構造化光を投影できれば良い。具体的には、第1実施形態で示したプロジェクタであっても良いし、レーザ光源や線状のLEDとミラーやレンズを組み合わせた構成や、光源とレンズの間にスリット状のスライドを挟んだ構成であっても良い。各実施形態で示した撮像装置20もまた、構造化光の反射光を撮像できれば良く、第1実施形態で示したカメラであっても良いし、PSD等のフォトダイオードであっても良い。
【００７１】
また、上記各実施形態における取得部100としては、投影した構造化光の反射光を取得できれば良い。例えば第1実施形態で示したように、投影装置10と撮像装置20を用いたものであっても良いし、撮像済みのデータを記憶装置から読み出して取得する構成であっても良い。
【００７２】
また、上記各実施形態における計測線マップ保持部110での奥行き情報の算出方法としては、線状に奥行き情報を算出できればどのような方法を用いても良い。その一例が、第1実施形態で示した距離計測手段である。すなわち、線状の構造化光としてスリット光、撮像装置20としてカメラを利用し、異なるスリット光とそれに対応する画像を複数撮像して奥行き情報を算出するスリット光投影法を用いても良い。また、複数のグレイコードパターンを投影する空間コード化法(非特許文献10参照)や、格子状のパターンを投影するグリッドパターン投影法(特許文献2参照)、基準線パターンを付加したマルチスリット光投影法(特許文献3参照)、等を用いても良い。
【００７３】
また、各実施形態における計測線マップ保持部110で生成される計測線マップとしては、計測線の本数に応じた次元と、計測線を受光した像の画素数に応じた次元からなる2次元マップ状に、奥行き情報またはその参照情報を保持したものであれば良い。その一例が、第1実施形態で示した計測線マップである。すなわち、投影装置10の投影面の2次元座標空間において、一方次元を計測線の数に応じて分割し、他方次元を撮像装置の画素数に応じて分割した2次元配列状のマップに、奥行き情報として計測点の3次元座標値を格納して計測線マップを生成した。ただし、2次元マップに格納する要素は、2次元マップから奥行きに関する情報を参照できればどのようなものであっても良い。第1実施形態のように計測点の3次元座標値であっても良いし、投影装置10や撮像装置20からの奥行き値であっても、奥行き情報へのポインタであっても良い。さらに、奥行きに関する情報以外に、計測点の計測信頼度等の付随する情報を含んでいても良い。さらに、2次元配列の大きさは計測線の本数×計測線方向の撮像装置の画素数に限定するものではなく、その部分領域であっても良い。
【００７４】
また、上記各実施形態における照合部120は、計測線マップから参照した奥行き情報と計測対象の形状情報を照合するものであれば良い。その一例が、第1実施形態で示した対象物体の検出手法であり、他に、第2実施形態で示した対象物体の位置姿勢算出手法や、第3実施形態で示した計測データ間の位置合わせ手法ももちろん適用可能である。
【００７５】
また、本発明は、上述した実施形態の機能(例えば、上記の各部の処理を各工程に対応させたフローチャートにより示される処理)を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施形態の機能を実現する。
【図１】
2014202502.tif 000003
【図２】
2014202502.tif 000004
【図３】
2014202502.tif 000005
【図４】
2014202502.tif 000006
【図５】
2014202502.tif 000007
【図６】
2014202502.tif 000008