(57)【要約】【課題】異なる方向から撮像した各距離画像の、より正確な位置合わせを可能とする。【解決手段】距離画像取得部１３が、観察対象の少なくとも２つの距離画像を取得する。また、色画像取得部１１は、各距離画像にそれぞれ対応する観察対象の色画像を取得する。姿勢算出部１２は、各色画像から各距離画像の向きをそれぞれ算出する。そして、位置合わせ処理部１５が、算出された各距離画像の向きから、各距離画像の位置合わせを行う。【選択図】図２
2015153405.tif 000002
【特許請求の範囲】
【請求項１】
観察対象の少なくとも２つの距離画像を取得する距離画像取得部と、
前記各距離画像にそれぞれ対応する前記観察対象の色画像を取得する色画像取得部と、
前記各色画像から前記各距離画像の向きをそれぞれ算出する姿勢算出部と、
算出された前記各距離画像の向きから、前記各距離画像の位置合わせを行う位置合わせ処理部と
を有する情報処理装置。
【請求項２】
複数の方向から取得した画像に対して、特徴点の位置と特徴量を記述した複数のモデルが記憶された記憶部を、さらに備え、
前記姿勢算出部は、
前記色画像の特徴点を計算する特徴点検出部と、
前記特徴点検出部で計算された特徴点に対して特徴量を計算する特徴量計算部と、
前記色画像から計算された特徴点の位置と特徴量に対して所定の尤度となる向きを、前記記憶部に記憶されている前記モデルを参照して計算する尤度計算部と、を備えること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記各距離画像からノイズを除去して前記位置合わせ処理部に供給するノイズ除去部を、さらに備えること
を特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
位置合わせされた前記距離画像から不要な点を除去する不要点除去部を、さらに備えること
を特徴とする請求項１〜請求項３のうち、いずれか一項に記載の情報処理装置。
【請求項５】
位置合わせされた前記距離画像に対してメッシュ化処理を施して３次元モデルを生成するメッシュ化部を、さらに備えること
を特徴とする請求項１〜請求項４のうち、いずれか一項に記載の情報処理装置。
【請求項６】
前記メッシュ化処理により生成された前記３次元モデルに対して、所定のテクスチャを貼り付け処理するテクスチャマッピング部を、さらに備えること
を特徴とする請求項５に記載の情報処理装置。
【請求項７】
コンピュータを、
観察対象の少なくとも２つの距離画像を取得する距離画像取得部と、
前記各距離画像にそれぞれ対応する前記観察対象の色画像を取得する色画像取得部と、
前記各色画像から前記各距離画像の向きをそれぞれ算出する姿勢算出部と、
算出された前記各距離画像の向きから、前記各距離画像の位置合わせを行う位置合わせ処理部として機能させること
を特徴とする情報処理プログラム。
【請求項８】
前記姿勢算出部は、
前記色画像の特徴点を計算する特徴点検出部と、
特徴点検出部で計算された特徴点に対して特徴量を計算する特徴量計算部と、
前記色画像から計算された特徴点の位置と特徴量に対して所定の尤度となる向きを、複数の方向から取得した画像に対して、特徴点の位置と特徴量を記述した複数のモデルが記憶された記憶部に記憶されている前記モデルを参照して計算する尤度計算部と
を備えることを特徴とする請求項７に記載の情報処理プログラム。
【請求項９】
前記各距離画像からノイズを除去して前記位置合わせ処理部に供給するノイズ除去部を、さらに備えること
を特徴とする請求項７または請求項８に記載の情報処理プログラム。
【請求項１０】
位置合わせされた前記距離画像から不要な点を除去する不要点除去部を、さらに備えること
を特徴とする請求項７〜請求項９のうち、いずれか一項に記載の情報処理プログラム。
【請求項１１】
位置合わせされた前記距離画像に対してメッシュ化処理を施して３次元モデルを生成するメッシュ化部を、さらに備えること
を特徴とする請求項７〜請求項１０のうち、いずれか一項に記載の情報処理プログラム。
【請求項１２】
前記メッシュ化処理により生成された前記３次元モデルに対して、所定のテクスチャを貼り付け処理するテクスチャマッピング部を、さらに備えること
を特徴とする請求項１１に記載の情報処理プログラム。
【請求項１３】
観察対象の少なくとも２つの距離画像を取得する距離画像取得部と、
前記各距離画像にそれぞれ対応する前記観察対象の色画像を取得する色画像取得部と、
前記各色画像から前記各距離画像の向きをそれぞれ算出する姿勢算出部と、
算出された前記各距離画像の向きから、前記各距離画像の位置合わせを行う位置合わせ処理部と
を有する情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
レンジセンサで取得された観測対象の距離画像から、観測対象全体の３次元モデルを得る技術が知られている。距離画像が有する距離情報は、単一方向から計測された距離情報である。このため、観測対象全体の３次元モデルを得る場合、複数の異なる方向から観測対象を撮像し、各撮像方向に対応する距離情報を取得する。そして、一般的には、距離画像の局所的な特徴量を定義し、各距離画像間で類似した特徴量を持つ箇所を対応付けし、複数方向から取得された各距離画像の相対的な位置合わせを行うことで、観測対象全体の３次元モデルを生成する。
【０００３】
特許文献１（特許第５２５３０６６号公報）には、観察対象物体の３次元モデルデータから抽出した特徴のうち、位置姿勢の算出に用いる特徴を適切に選別することで、位置姿勢検出処理の安定化および効率化を図った位置姿勢計測装置が開示されている。
【０００４】
この位置姿勢計測装置の場合、観察対象物体の表面形状を表す３次元モデルデータを描画することで、観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する。また、観察対象物体に対する撮像装置の位置姿勢が算出済みとなっている参照画像において、複数の幾何特徴に対応する画像特徴を探索し、対応する画像特徴が検出された幾何特徴を、抽出された複数の幾何特徴より選別する。そして、選別した幾何特徴を、入力画像における観察対象物体の画像に対応付けることにより、撮像装置の観察対象物体に対する位置姿勢を算出する。
【０００５】
これにより、観察対象物体の３次元モデルデータから抽出した特徴が、撮影画像中に撮像される観察対象物体から抽出できる特徴と大きく異なる場合でも、安定して位置姿勢推定を可能とすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の位置合わせの手法は、距離画像間のオーバーラップ量が少ない場合、および、３次元構造に特徴的な箇所が無い場合等に、対応点を推定することが困難となる問題があった。
【０００７】
また、特許文献１の位置姿勢計測装置の場合、観察対象物体の表面形状を表す３次元モデルデータを描画することで、観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する。このため、予め３次元モデルの用意がされていない未知の物体の位置合わせは、大変困難となる問題がある。
【０００８】
本発明は、上述の課題に鑑みてなされたものであり、異なる方向から撮像した各距離画像の、より正確な位置合わせを可能とする情報処理装置、情報処理プログラム、および情報処理システムの提供を目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明は、観察対象の少なくとも２つの距離画像を取得する距離画像取得部と、各距離画像にそれぞれ対応する観察対象の色画像を取得する色画像取得部と、各色画像から各距離画像の向きをそれぞれ算出する姿勢算出部と、算出された各距離画像の向きから、各距離画像の位置合わせを行う位置合わせ処理部とを有する。
【発明の効果】
【００１０】
本発明によれば、異なる方向から撮像した各距離画像の、より正確な位置合わせを可能とすることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の実施の形態の画像処理装置のハードウェア構成図である。
【図２】図２は、第１の実施の形態の画像処理装置の機能ブロック図である。
【図３】図３は、第１の実施の形態の画像処理装置に設けられている姿勢算出部の機能ブロック図である。
【図４】図４は、第１の実施の形態の画像処理装置の位置合わせ処理の流れを示すフローチャートである。
【図５】図５は、第１の実施の形態の画像処理装置における位置合わせ処理の具体例を説明するための図である。
【図６】図６は、第１の実施の形態の画像処理装置における位置合わせ処理の他の具体例を説明するための図である。
【図７】図７は、第２の実施の形態の画像処理装置の機能ブロック図である。
【図８】図８は、第３の実施の形態の画像処理装置の位置合わせ処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、一例として、情報処理装置、情報処理プログラム、および情報処理システムを適用した実施の形態となる画像処理装置を、添付図面を参照して詳細に説明する。
【００１３】
（第１の実施の形態）
まず、図１に、第１の実施の形態の画像処理装置のハードウェア構成図を示す。この図１に示すように、実施の形態の画像処理装置は、ステレオカメラ部１、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、ＨＤＤ５、入出力Ｉ／Ｆ６、および通信Ｉ／Ｆ７を有している。各部１〜７は、バスライン８を介して相互に接続されている。ＣＰＵは、「Central  Processing  Unit」の略記である。ＲＯＭは、「Read  Only  Memory」の略記である。ＲＡＭは、「Random  Access  Memory」の略記である。ＨＤＤは、「Hard  Disk  Drive」の略記である。Ｉ／Ｆは、「interface」の略記である。
【００１４】
ステレオカメラ部１は、左目用となる第１のカメラ部と、右目用となる第２のカメラ部との、２台のカメラ部が平行に組みつけられて構成されている。各カメラ部は、それぞれレンズ、画像センサ、センサコントローラを備えている。画像センサは、例えばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサとなっている。ＣＣＤは、「Charge  Coupled  Device」の略記である。また、ＣＭＯＳは、「Complementary  Metal-Oxide  Semiconductor」の略記である。センサコントローラは、画像センサの露光制御、画像読み出し制御、外部回路との通信、および画像データの送信制御等を行う。
【００１５】
ＨＤＤ５（ＲＯＭ３またはＲＡＭ４でもよい）には、情報処理プログラムの一例である画像処理プログラムが記憶されている。この画像処理プログラムは、ステレオカメラ部１で観測対象を異なる方向から撮像して得た各距離画像の位置合わせ処理を行うための位置合わせ処理プログラムを備えている。また、画像処理プログラムは、位置合わせ処理された各距離画像をメッシュ化して３次元モデルを生成するメッシュ化処理プログラムを備えている。さらに、画像処理プログラムは、メッシュ化処理により生成された３次元モデルに、所定のテクスチャをマッピング処理するテクスチャマッピング処理プログラムを備えている。
【００１６】
ステレオカメラ部１の各カメラ部で撮像された撮像画像の輝度画像データは、バスライン８を介してＲＡＭ４に書き込まれる。ＣＰＵ２は、ＲＡＭ４に保存された輝度画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算により視差画像（距離画像）を生成し、再度、ＲＡＭ４に書き込む。また、ＣＰＵ２は、描画処理装置全体の動作を制御する他、ＲＯＭ３に記憶されている描画処理プログラムに従って、ＲＡＭ４に書き込まれた各距離画像の位置合わせ処理、メッシュ化処理およびテクスチャマッピング処理等を実行制御する。
【００１７】
次に、観察対象の３次元モデルを作成するためには、異なる方向から撮像した各距離画像を重ね合わせる必要がある。各距離画像を重ね合わせるためには、各距離画像同士の相対的な位置関係が既知である必要がある。この相対的な位置関係を導出する処理が位置合わせ処理である。この位置合わせ処理のために、実施の形態の画像処理装置は、色画像および距離画像を同じ方向から取得し、取得した色画像を用いて、観察対象の撮像方向を算出する。そして、実施の形態の画像処理装置は、算出された物体の向きを用いて各距離画像同士の位置合わせを行う。これにより、各距離画像のオーバーラップしている部分が少ない場合、または、幾何的な特徴が存在しない場合でも、姿勢推定から得られる各距離画像間の相対方向を用いて位置合わせが可能となっている。
【００１８】
図２に、ＣＰＵ２が画像処理プログラムを実行することで実現される各機能の機能ブロック図を示す。この図２に示すように、ＣＰＵ２が画像処理プログラムを実行することで、色画像取得部１１、姿勢算出部１２、距離画像取得部１３、ノイズ除去部１４、位置合わせ処理部１５、メッシュ化部１６、およびテクスチャマッピング部１７として機能する。なお、この例では、色画像取得部１１〜テクスチャマッピング部１７は、ソフトウェアで実現されることとして説明を進めるが、一部または全部をハードウェアで実現してもよい。
【００１９】
色画像取得部１１は、観察対象の色画像（ＲＧＢ画像）を取得する。距離画像取得部１３は、観察対象の距離画像を取得する。色画像取得部１１で取得される色画像、および距離画像取得部１３で取得される距離画像は、同じ方向から取得された画像同士が紐付けられて（関連付けられて）ＲＡＭ４に記憶される。姿勢算出部１２は、色画像取得部１１で取得された色画像を用いて、観察対象の撮像方向を算出する。
【００２０】
ノイズ除去部１４は、距離画像取得部１３で取得された距離画像から高周波ノイズ等のノイズ除去を行う。位置合わせ処理部１５は、姿勢算出部１２で算出された姿勢（観察対象の向き）から、距離画像の位置合わせを行う。メッシュ化部１６は、位置合わせ処理された各距離画像をメッシュ化して３次元モデルを生成する。テクスチャマッピング部１７は、メッシュ化処理により生成された３次元モデルに、所定のテクスチャをマッピング処理する。
【００２１】
ＣＰＵ２は、姿勢算出部１２として機能する際、図３に示すように特徴点検出部２１、特徴量計算部２２、および尤度計算部２３として機能する。特徴点検出部２１は、入力される色画像の特徴的な点を計算する。特徴量計算部２２は、特徴点検出部２１で得られた特徴点に対して、特徴量を計算する。図３に示すＨＤＤ５は、モデル保存部として機能する。ＨＤＤ５には、様々な方向から取得した画像に対して、特徴点の位置と特徴量を記述したモデルが記憶されている。例えば、自動車のモデルの場合、自動車を様々な方向から撮像すると共に、各撮像画像に対する特徴点の位置および特徴量が予め計算され、各撮像画像に関連付けられてＨＤＤ５に記憶されている。尤度計算部２３は、ＨＤＤ５に記憶されているモデルを用いて、入力された色画像から得られた特徴点の位置と特徴量に対する尤度を計算し、この計算結果（結果情報）を位置合わせ処理部１５に供給する。
【００２２】
すなわち、姿勢算出部１２は、入力された色画像の特徴点を検出し、各特徴点における特徴量を計算し、特徴点の位置関係と特徴量を素性とする。そして、学習モデルを用いて、入力された色画像から得られた素性に対して最も尤度が大きくなる向き（姿勢）を算出することで、入力された色画像に対応する観察対象の撮像方向を計算する。
【００２３】
物体の向き（姿勢）算出の仕方については、例えば非特許文献１（S. Savarese and L. Fei-Fei, “3D generic object categorization, localization and pose estimation”, IEEE Intern. Conf. in Computer Vision (ICCV), Brazil, October, 2007）において、詳細に開示されている。
【００２４】
また、非特許文献２（Nadia Payet, Sinisa Todorovic, “From contours to 3D object detection and pose estimation”, ICCV 2011: 983−990）では、自動車を８方向から撮影した８０枚の画像で学習モデルを作成し、約９０％程度の精度で自動車の向きを算出する手法が開示されている。
【００２５】
次に、図４のフローチャートに、位置合わせ処理部１５の位置合わせ動作の流れを示す。この実施の形態の画像処理装置の場合、一例として、ＩＣＰと呼ばれる位置合わせ手法を用いている。ＩＣＰは「Iterative  Closest  Point」の略記である。ＩＣＰの詳細な動作は、非特許文献３（Besl, Paul J.; N.D. McKay (1992). “A Method for Registration of 3-D Shapes”. IEEE Trans. on Pattern Analysis and Machine Intelligence (Los Alamitos, CA, USA: IEEE Computer Society) 14 (2): 239−256）を参考にされたい。
【００２６】
距離画像は、多数の点群の画像である。ＩＣＰでは、図４のフローチャートに示す処理で、点群間の距離の和を最小にすることで、各距離画像の位置合わせを行う。例えば、第１の距離画像（点群Ａ）と第２の距離画像（点群Ｂ）の位置合わせをＩＣＰで行う場合、位置合わせ処理部１５は、点群Ａと点群Ｂを同座標系に配置する。そして、位置合わせ処理部１５は、点群Ａと点群Ｂの最近傍点間の距離の和が最小になるように、第１の距離画像と第２の距離画像との位置合わせを行う。同座標系に配置する場合、位置合わせ処理部１５は、点群Ａの中心点と点群Ｂの中心点が同じ位置になるよう配置し、姿勢算出部１２で算出された物体の向き（方向）と一致するよう点群を回転させて各距離画像の位置合わせを行う。
【００２７】
すなわち、図４のフローチャートのステップＳ１では、姿勢算出部１２が、色画像取得部１１で取得された色画像（位置合わせを行う第１および第２の各距離画像にそれぞれ対応する色画像）を用いて、観察対象の向き（姿勢）を算出する。ステップＳ２では、位置合わせ処理部１５が、姿勢算出部１２で算出された観察対象の向き（姿勢）の算出結果から、位置合わせを行う観察対象の各距離画像の向きを認識する。
【００２８】
次に、ステップＳ３では、位置合わせ処理部１５が、認識した各距離画像の向きに基づいて、第１の距離画像および第２の距離画像の各点群の端点を重ねる。例えば、姿勢算出部１２において、第１の距離画像に対応する色画像、および第２の距離画像に対応する色画像から観察対象の向き（姿勢）を算出した結果、第１の距離画像は、観察対象を正面方向から撮像した距離画像であり、第２の距離画像は、観察対象を右方向から撮像した距離画像であることが算出されたとする。観察対象を正面方向から撮像した第１の距離画像の点群の中で最も右手前側の点と、観察対象を右方向から撮像した第２の距離画像の点群の中で最も左手前側の点の位置は概ね一致する。位置合わせ処理部１５は、ステップＳ３において、このように重なり得る各距離画像の点群の端点を重ねる処理を行う。
【００２９】
次に、位置合わせ処理部１５は、ステップＳ４において、第１の距離画像の点群Ａの各点の最近傍点を、第２の距離画像の点群Ｂから検出する。また、位置合わせ処理部１５は、ステップＳ５において、第１の距離画像および第２の距離画像の最近傍点間の距離の和を算出する。位置合わせ処理部１５は、ステップＳ６において、第１の距離画像および第２の距離画像の最近傍点間の距離の和と所定の閾値とを比較する。そして、位置合わせ処理部１５は、ステップＳ６において、第１の距離画像および第２の距離画像の最近傍点間の距離の和が、所定の閾値以下であるか否かを判別する。最近傍点間の距離の和が所定の閾値以下であるということは（ステップＳ６：Ｙｅｓ）、第１の距離画像および第２の距離画像が、各撮像方向に対応する位置で略々重なっていることを意味する（位置合わせ完了）。このため、位置合わせ処理部１５は、図４のフローチャートの処理を終了する。
【００３０】
これに対して、最近傍点間の距離の和が所定の閾値よりも大きな値であるということは（ステップＳ６：Ｎｏ）、第１の距離画像および第２の距離画像が、各撮像方向に対応する位置で重なっていないことを意味する。このため、位置合わせ処理部１５は、ステップＳ７に処理を進め、最近傍点間の距離の和が最小となる変換パラメータＲを算出する。この変換パラメータＲは、第１の距離画像または第２の距離画像の回転角度を示すパラメータである。例えば、観察対象を正面方向から撮像した第１の距離画像、および右方向から撮像した第２の距離画像の位置合わせを行う場合、変換パラメータＲが９０度以上の回転を表すことはない。９０度以上の回転を行った時点で、姿勢算出部１２における正面方向と右方向という観察対象の向き（姿勢）算出結果が誤りとなるからである。
【００３１】
このようなことから、位置合わせ処理部１５は、ステップＳ８において、算出した変換パラメータＲが、所定の閾値（９０度）以下であるか否かを判別する。算出した変換パラメータＲが、所定の閾値（９０度）よりも大きな値であるということは（ステップＳ８：Ｎｏ）、算出した変換パラメータＲは、上述のように誤りであることを意味するため、「エラー」として、図４のフローチャートの処理を終了する。
【００３２】
これに対して、算出した変換パラメータＲが、所定の閾値（９０度）以下であるということは（ステップＳ８：Ｙｅｓ）、算出した変換パラメータＲは、第１の距離画像および第２の距離画像を、各撮像方向に対応する位置で略々重なり合うように近づけることが可能な変換パラメータＲであることを意味する。このため、位置合わせ処理部１５は、ステップＳ９において、第１の距離画像の点群Ａを、算出した変換パラメータＲで回転処理し、ステップＳ４に処理を戻す。
【００３３】
以後、位置合わせ処理部１５は、ステップＳ４〜ステップＳ９を繰り返し実行することで、その都度算出した変換パラメータＲで第１の距離画像の点群Ａを徐々に回転処理しながら、第２の距離画像に対する位置合わせを行う。そして、ステップＳ６において、最近傍点間の距離の和が所定の閾値以下であると判別した際に（ステップＳ６：Ｙｅｓ）、第１の距離画像および第２の距離画像が、各撮像方向に対応する位置で略々重なっていることを意味する（位置合わせ完了）。これにより、位置合わせ処理部１５は、図４のフローチャートの処理を終了する。なお、変換パラメータＲの算出を行ううちに、算出した変換パラメータＲの値が、所定の閾値（９０度）よりも大きな値となったときには、位置合わせ処理部１５は、「エラー」が発生したとして、図４のフローチャートを終了することは、上述のとおりである。
【００３４】
このような位置合わせ処理の具体例を説明すると、例えば曲面を測定することで得られた点群に対してＩＣＰを行う場合を考える。図５の（ａ）の符号を付した図は、一方の曲面の点群に含まれる点と、もう一方の曲面の点群に含まれる点から最も距離の近い点を選び、直線Ｌで結んだ図である。各直線Ｌの長さの和が、最近傍点間の距離の和となる。位置合わせ処理部１５は、距離の和が最小になるよう点群を並進処理、または回転処理する。これにより、図５の（ｂ）の符号を付した図に示すように、各点群を近接させることができる。位置合わせ処理部１５は、図５の（ｂ）の符号を付した図に示す各点群に対しても、上述と同様に最近傍点を選び点群の並進処理または回転処理を繰り返し実行することで、各点群の位置合わせを行う。
【００３５】
同様に、図６は、自動車を正面から撮像して得た各距離画像の位置合わせを説明するための図である。図６の（ａ）の符号を付した図のうち、外郭を点線で囲って示す点群の図は、第１の距離画像を示している。これに対して、図６の（ａ）の符号を付した図のうち、外郭を一点鎖線で囲って示す点群の図は、第２の距離画像を示している。第２の距離画像は、第１の距離画像に対して、左肩下がりの画像となっている。位置合わせ処理部１５は、最近傍点間の距離の和を最小とする変換パラメータＲを算出し、第２の距離画像（第１の距離画像でもよい）の点群を並進処理、または回転処理する。これにより、図６の（ｂ）の符号を付した図に示すように、第１の距離画像および第２の距離画像を位置合わせすることができる。
【００３６】
次に、図２に示すメッシュ化部１６は、このように位置合わせされた各距離画像を一つの距離画像としてメッシュ化処理することで、３次元モデルを生成する。そして、テクスチャマッピング部１７は、生成された３次元モデルに、対応するテクスチャを貼り付け処理して出力する。
【００３７】
以上の説明から明らかなように、第１の実施の形態の画像処理装置は、第１の距離画像および第２の距離画像の位置合わせを行う際に、第１の距離画像の撮像方向と同じ撮像方向から撮像した色画像を取得する。また、第２距離画像の撮像方向と同じ撮像方向から撮像した色画像を取得する。姿勢算出部１２は、ＨＤＤ５に記憶されている学習モデルを参照することで、各色画像の撮像方向（＝各距離画像の撮像方向）を計算する。位置合わせ処理部１５は、第１の距離画像および第２の距離画像の最近傍点間の距離の和を、所定の閾値以下とする変換パラメータＲを算出する。そして、位置合わせ処理部１５は、算出した変換パラメータＲを用いて、第１の距離画像（または、第２の距離画像）を並進処理、または回転処理して、各距離画像の位置合わせを行う。
【００３８】
取得した色画像を用いて、観察対象の撮像方向を算出することにより、各距離画像間のオーバーラップ量が少ない場合、または、各距離画像に幾何的な特徴点が存在しない場合でも、姿勢推定から得られる距離画像間の相対方向を用いて、より正確に位置合わせすることができる。
【００３９】
また、位置合わせ処理部１５は、ノイズ除去部１４でノイズが除去された距離画像を用いて位置合わせを行う。距離画像にノイズが重畳していると、距離画像に部分的な歪み等を生じた距離画像で位置合わせを行うこととなるため、正確な位置合わせに支障をきたす。しかし、実施の形態の画像処理装置の場合、ノイズ除去部１４で各距離画像のノイズを除去したうえで位置合わせを行っている。このため、より正確な位置合わせを可能とすることができる。
【００４０】
このような実施の形態の画像処理装置は、例えば３次元スキャナ装置、および産業用ロボットの眼等に適用できる。３次元プリンタ装置の出力を得るためには、３次元モデルが必要となる。３次元モデルを生成するための一つの手段として３次元スキャナ装置を用いることができる。３次元スキャナ装置で、様々な方向から距離画像を取得し、位置合わせを行う場合、オーバーラップしている部分が少ない場合は正しく位置合わせをすることが困難となる。しかし、実施の形態の画像処理装置は、オーバーラップしている部分が少ない場合でも正確な位置合わせを可能とすることができるため、３次元スキャナ装置の利便性の向上を図ることができる。
【００４１】
また、実施の形態の画像処理装置を産業用ロボットに適用する場合、部品を正しく認識するために、色画像だけでなく距離画像を用いる。正しく３次元モデルとして認識するには、複数の方向から距離画像を取得する必要があるが、オーバーラップがある程度存在するように様々な方向から距離画像を取得する必要がある。製造ライン等では、製造ラインを流れる部品が決まっていることが多いため、学習モデルを作成し易く、実施の形態の画像処理装置は、有効に機能するであろう。
【００４２】
なお、上述の実施の形態の説明では、ステレオカメラ部１の各撮像画像の視差計算を行うことで生成した距離画像を用いることとした。これは、画像の点毎にレーダ測距等で検出した距離情報が付加された画像情報を用いてもよい。
【００４３】
また、距離画像および対応する色画像をメモリに記憶しておき、姿勢算出部１２は、メモリから色画像を読み出して距離画像の向きを算出し、位置合わせ処理部１５は、算出された距離画像の向きを用いて、メモリから読み出した各距離画像の位置合わせを行ってもよい。
【００４４】
（第２の実施の形態）
次に、第２の実施の形態の画像処理装置の説明をする。上述の第１の実施の形態の画像処理装置は、位置合わせ処理後の距離画像に対してメッシュ化処理を施すものであった。これに対して、第２の実施の形態の画像処理装置は、位置合わせ処理後の距離画像から不要な点を除去したうえで、メッシュ化処理を施すようにしたものである。なお、上述の第１の実施の形態と、以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明し、上述の第１の実施の形態の説明と重複する説明は省略する。
【００４５】
図７は、第２の実施の形態の画像処理装置の機能ブロック図である。この図７に示すように、第２の実施の形態の画像処理装置は、位置合わせ処理部１５とメッシュ化部１６との間に、不要点除去部３１を有している。なお、不要点除去部３１は、ソフトウェアで実現してもよいし、ハードウェアで実現してもよい。
【００４６】
位置合わせ処理部１５は、上述のように例えば２つの距離画像を位置合わせして１枚の距離画像を生成する。このため、生成された距離画像には、１枚の点画像として見た場合に、不要な点が存在する。このため、不要点除去部３１は、位置合わせされた２枚の距離画像を１枚の点画像として見た場合に、不要となる点を除去することで、１枚の点画像としてまとまった距離画像を形成する。
【００４７】
これにより、メッシュ化部１６において、不要な点に影響されることなく、メッシュ化処理を行うことができる他、上述の第１の実施の形態と同じ効果を得ることができる。
【００４８】
（第３の実施の形態）
次に、第３の実施の形態の画像処理装置の説明をする。上述の第１の実施の形態の画像処理装置は、図４に示したフローチャートのステップＳ８の処理で、算出した変換パラメータＲが所定の閾値（９０度）よりも大きな値となった場合、これを「エラー」として扱い、そのまま図４のフローチャートの処理を終了した。これに対して、第３の実施の形態の画像処理装置は、算出した変換パラメータＲが所定の閾値（９０度）よりも大きな値となった場合、距離画像の向きを算出し直して、再度、位置合わせを行うようにしたものである。なお、上述の第１の実施の形態と、以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明し、上述の第１の実施の形態の説明と重複する説明は省略する。
【００４９】
図８は、第３の実施の形態の画像処理装置の位置合わせ処理の流れを示すフローチャートである。この図８のフローチャートにおいて、図４のフローチャートと同じ処理を示すステップには、図４のフローチャートと同じステップ番号を付している。この図８のフローチャートからわかるように、第３の実施の形態の画像処理装置の場合、ステップＳ８で、算出した変換パラメータが所定の閾値よりも大きな値であると、位置合わせ処理部１５が判別した場合（ステップＳ８：Ｎｏ）、処理をステップＳ２に戻し、再度、各距離画像の向き（姿勢）を計算し直す。
【００５０】
すなわち、この第３の実施の形態の画像処理装置の場合、姿勢算出部１２は、ステップＳ１において、色画像に基づいて各距離画像の向きを算出する。この際、姿勢算出部１２は、各距離画像の向きを示す情報を１つのみ算出するのではなく、例えばｘ方向の尤度が９０、ｙ方向の尤度が８０等のように、定量的な尺度で複数の向きを算出する。
【００５１】
位置合わせ処理部１５は、最初に、尤度が１番高い方向（この場合はｘ方向）を用いて、各距離画像の向きを算出する。しかし、ステップＳ８で変換パラメータＲの値が閾値よりも大きくなる場合、ステップＳ２において、２番目に尤度の高い方向（この場合はｙ方向）を用いて、各距離画像の向きを算出する。
【００５２】
これにより、各距離画像の正確な向きを計算し直すことができ、各距離画像の正確な位置合わせに貢献できる他、上述の第１の実施の形態と同じ効果を得ることができる。
【００５３】
上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態および各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５４】
１  ステレオカメラ部
２  ＣＰＵ
３  ＲＯＭ
４  ＲＡＭ
５  ＨＤＤ
６  入出力Ｉ／Ｆ
７  通信Ｉ／Ｆ
８  バスライン
１１  色画像取得部
１２  姿勢算出部
１３  距離画像取得部
１４  ノイズ除去部
１５  位置合わせ処理部
１６  メッシュ化部
１７  テクスチャマッピング部
２１  特徴点検出部
２２  特徴量計算部
２３  尤度計算部
３１  不要点除去部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特許第５２５３０６６号公報
【非特許文献】
【００５６】
【非特許文献１】S. Savarese and L. Fei-Fei, “3D generic object categorization, localization and pose estimation”, IEEE Intern. Conf. in Computer Vision (ICCV), Brazil, October, 2007
【非特許文献２】Nadia Payet, Sinisa Todorovic, “From contours to 3D object detection and pose estimation”, ICCV 2011: 983−990
【非特許文献３】Besl, Paul J.; N.D. McKay (1992). “A Method for Registration of 3-D Shapes”. IEEE Trans. on Pattern Analysis and Machine Intelligence (Los Alamitos, CA, USA: IEEE Computer Society) 14 (2): 239−256
【図１】
2015153405.tif 000003
【図２】
2015153405.tif 000004
【図３】
2015153405.tif 000005
【図４】
2015153405.tif 000006
【図５】
2015153405.tif 000007
【図７】
2015153405.tif 000008
【図８】
2015153405.tif 000009
【図６】
2015153405.tif 000010