(57)【要約】【課題】各距離画像（点画像）の、より正確な位置合わせを可能とする。【解決手段】色画像と点群の距離画像とを同じ方向から撮像し、観察対象の特徴的な部位（例えば自動車の場合は、タイヤまたはドアミラーなど）を検出し、検出した特徴的な部位の情報を用いて、点群の距離画像を位置合わせする。これにより、各距離画像の点群間のオーバーラップ部分が少ない場合、または、幾何的な特徴が存在しない場合（少ない場合）でも、正確に位置合わせすることができる。このため、位置合わせの精度を、より向上させることができる。【選択図】図９
2016004486.tif 000002
【特許請求の範囲】
【請求項１】
観察対象の少なくとも２つの距離画像を取得する距離画像取得部と、
前記各距離画像にそれぞれ対応する前記観察対象の色画像を取得する色画像取得部と、
取得された前記色画像から特徴箇所を検出する特徴箇所検出部と、
前記色画像の各画素と、前記各画素に対応する前記距離画像の各点とを関連付けるキャリブレーション処理を行い、前記各画素に対応する前記各点を示すキャリブレーション情報を生成する較正部と、
検出された前記特徴箇所および前記キャリブレーション情報を用いて、前記各特徴箇所同士が重なり合うように、前記各距離画像の位置合わせを行う位置合わせ処理部と
を有する情報処理装置。
【請求項２】
前記特徴箇所検出部は、
前記観察対象の撮像方向を示す撮像方向情報が付加された複数の画像の特徴箇所を、それぞれ検出して統合した特徴モデルを生成して記憶部に記憶する特徴モデル生成部と、
前記色画像の前記観察対象の撮像方向と同じ撮像方向の特徴モデルを前記記憶部から検出し、検出した特徴モデルを用いて、前記色画像の特徴箇所をラベリング処理した特徴箇所ラベリング画像を生成する尤度計算部と、を備え、
前記位置合わせ処理部は、前記特徴箇所ラベリング画像で示される特徴箇所を用いて前記各距離画像の位置合わせを行うこと
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記各距離画像からノイズを除去して前記位置合わせ処理部に供給するノイズ除去部を、さらに備えること
を特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
位置合わせされた前記距離画像から不要な点を除去する不要点除去部を、さらに備えること
を特徴とする請求項１〜請求項３のうち、いずれか一項に記載の情報処理装置。
【請求項５】
位置合わせされた前記距離画像に対してメッシュ化処理を施して３次元モデルを生成するメッシュ化部を、さらに備えること
を特徴とする請求項１〜請求項４のうち、いずれか一項に記載の情報処理装置。
【請求項６】
前記メッシュ化処理により生成された前記３次元モデルに対して、所定のテクスチャを貼り付け処理するテクスチャマッピング部を、さらに備えること
を特徴とする請求項５に記載の情報処理装置。
【請求項７】
コンピュータを、
観察対象の少なくとも２つの距離画像を取得する距離画像取得部と、
前記各距離画像にそれぞれ対応する前記観察対象の色画像を取得する色画像取得部と、
取得された前記色画像から特徴箇所を検出する特徴箇所検出部と、
前記色画像の各画素と、前記各画素に対応する前記距離画像の各点とを関連付けるキャリブレーション処理を行い、前記各画素に対応する前記各点を示すキャリブレーション情報を生成する較正部と、
検出された前記特徴箇所および前記キャリブレーション情報を用いて、前記各特徴箇所同士が重なり合うように、前記各距離画像の位置合わせを行う位置合わせ処理部として機能させること
を特徴とする情報処理プログラム。
【請求項８】
前記特徴箇所検出部は、
前記観察対象の撮像方向を示す撮像方向情報が付加された複数の画像の特徴箇所を、それぞれ検出して統合した特徴モデルを生成して記憶部に記憶する特徴モデル生成部と、
前記色画像の前記観察対象の撮像方向と同じ撮像方向の特徴モデルを前記記憶部から検出し、検出した特徴モデルを用いて、前記色画像の特徴箇所をラベリング処理した特徴箇所ラベリング画像を生成する尤度計算部として前記コンピュータを機能させ、
前記位置合わせ処理部は、前記特徴箇所ラベリング画像で示される特徴箇所を用いて前記各距離画像の位置合わせを行うこと
を特徴とする請求項７に記載の情報処理プログラム。
【請求項９】
前記コンピュータを、
前記各距離画像からノイズを除去して前記位置合わせ処理部に供給するノイズ除去部として、さらに機能させること
を特徴とする請求項７または請求項８に記載の情報処理プログラム。
【請求項１０】
前記コンピュータを、
前記位置合わせされた前記距離画像から不要な点を除去する不要点除去部として、さらに機能させること
を特徴とする請求項７〜請求項９のうち、いずれか一項に記載の情報処理プログラム。
【請求項１１】
前記コンピュータを、
位置合わせされた前記距離画像に対してメッシュ化処理を施して３次元モデルを生成するメッシュ化部として、さらに機能させること
を特徴とする請求項７〜請求項１０のうち、いずれか一項に記載の情報処理プログラム。
【請求項１２】
前記コンピュータを、
前記メッシュ化処理により生成された前記３次元モデルに対して、所定のテクスチャを貼り付け処理するテクスチャマッピング部として、さらに機能させること
を特徴とする請求項１１に記載の情報処理プログラム。
【請求項１３】
観察対象の少なくとも２つの距離画像を取得し、
前記各距離画像にそれぞれ対応する前記観察対象の色画像を取得し、
取得された前記色画像から特徴箇所を検出し、
前記色画像の各画素と、前記各画素に対応する前記距離画像の各点とを関連付けるキャリブレーション処理を行い、前記各画素に対応する前記各点を示すキャリブレーション情報を生成し、
検出された前記特徴箇所および前記キャリブレーション情報を用いて、前記各特徴箇所同士が重なり合うように、前記各距離画像の位置合わせを行う
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
レンジセンサで取得された観測対象の距離画像から、観測対象全体の３次元モデルを得る技術が知られている。距離画像が有する距離情報は、単一方向から計測された距離情報である。このため、観測対象全体の３次元モデルを得る場合、複数の異なる方向から観測対象を撮像し、各撮像方向に対応する距離情報を取得する。そして、一般的には、距離画像の局所的な特徴量を定義し、各距離画像間で類似した特徴量を持つ箇所を対応付けし、複数方向から取得された各距離画像の相対的な位置合わせを行うことで、観測対象全体の３次元モデルを生成する。
【０００３】
特許文献１（特許第５２５３０６６号公報）には、観察対象物体の３次元モデルデータから抽出した特徴のうち、位置姿勢の算出に用いる特徴を適切に選別することで、位置姿勢検出処理の安定化および効率化を図った位置姿勢計測装置が開示されている。
【０００４】
この位置姿勢計測装置の場合、観察対象物体の表面形状を表す３次元モデルデータを描画することで、観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する。また、観察対象物体に対する撮像装置の位置姿勢が算出済みとなっている参照画像において、複数の幾何特徴に対応する画像特徴を探索し、対応する画像特徴が検出された幾何特徴を、抽出された複数の幾何特徴より選別する。そして、選別した幾何特徴を、入力画像における観察対象物体の画像に対応付けることにより、撮像装置の観察対象物体に対する位置姿勢を算出する。
【０００５】
これにより、観察対象物体の３次元モデルデータから抽出した特徴が、撮影画像中に撮像される観察対象物体から抽出できる特徴と大きく異なる場合でも、安定して位置姿勢推定を可能とすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の位置合わせの手法は、距離画像間のオーバーラップ量が少ない場合、および、３次元構造に特徴的な箇所が無い場合等に、対応点を推定することが困難となる問題があった。
【０００７】
また、特許文献１の位置姿勢計測装置の場合、観察対象物体の表面形状を表す３次元モデルデータを描画することで、観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する。このため、予め３次元モデルの用意がされていない未知の物体の位置合わせは、大変困難となる問題がある。
【０００８】
本発明は、上述の課題に鑑みてなされたものであり、複数の距離画像の正確な位置合わせを可能とする情報処理装置、情報処理プログラム、および情報処理システムの提供を目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明は、観察対象の少なくとも２つの距離画像を取得する距離画像取得部と、各距離画像にそれぞれ対応する観察対象の色画像を取得する色画像取得部と、取得された色画像から特徴箇所を検出する特徴箇所検出部と、色画像の各画素と、各画素に対応する距離画像の各点とを関連付けるキャリブレーション処理を行い、各画素に対応する各点を示すキャリブレーション情報を生成する較正部と、検出された特徴箇所およびキャリブレーション情報を用いて、各特徴箇所同士が重なり合うように、各距離画像の位置合わせを行う位置合わせ処理部とを有する。
【発明の効果】
【００１０】
本発明によれば、複数の距離画像の正確な位置合わせを可能とすることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の実施の形態の画像処理装置のハードウェア構成図である。
【図２】図２は、第１の実施の形態の画像処理装置の機能ブロック図である。
【図３】図３は、第１の実施の形態の画像処理装置に設けられている姿勢算出部の機能ブロック図である。
【図４】図４は、第１の実施の形態の画像処理装置の位置合わせ処理の流れを示すフローチャートである。
【図５】図５は、第１の実施の形態の画像処理装置における位置合わせ処理の具体例を説明するための図である。
【図６】図６は、第１の実施の形態の画像処理装置における位置合わせ処理の他の具体例を説明するための図である。
【図７】図７は、第２の実施の形態の画像処理装置の機能ブロック図である。
【図８】図８は、第３の実施の形態の画像処理装置の位置合わせ処理の流れを示すフローチャートである。
【図９】図９は、第４の実施の形態の画像処理装置の機能ブロック図である。
【図１０】図１０は、第４の実施の形態の画像処理装置に設けられている特徴箇所検出部の機能ブロック図である。
【図１１】図１１は、第４の実施の形態の画像処理装置の特徴箇所検出部における、特徴モデルの学習動作の流れを示すフローチャートである。
【図１２】図１２は、第４の実施の形態の画像処理装置の尤度計算部におけるラベリング処理を説明するための図である。
【図１３】図１３は、第４の実施の形態の画像処理装置の尤度計算部の動作を説明するためのフローチャートである。
【図１４】図１４は、第４の実施の形態の画像処理装置の位置合わせ処理部の位置合わせ処理の流れを示すフローチャートである。
【図１５】図１５は、点群の端点が一致することを前提として位置合わせを行った場合に生ずることがある、各距離画像の点群同士が重ならない不都合を説明するための図である。
【図１６】図１６は、第４の実施の形態の画像処理装置において、特徴箇所を用いて位置合わせを行うことで、各距離画像の点群同士が正確に重ね合わされている様子を示す図である。
【発明を実施するための形態】
【００１２】
以下、一例として、情報処理装置、情報処理プログラム、および情報処理システムを適用した実施の形態となる画像処理装置を、添付図面を参照して詳細に説明する。
【００１３】
（第１の実施の形態）
まず、図１に、第１の実施の形態の画像処理装置のハードウェア構成図を示す。この図１に示すように、実施の形態の画像処理装置は、ステレオカメラ部１、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、ＨＤＤ５、入出力Ｉ／Ｆ６、および通信Ｉ／Ｆ７を有している。各部１〜７は、バスライン８を介して相互に接続されている。ＣＰＵは、「Central  Processing  Unit」の略記である。ＲＯＭは、「Read  Only  Memory」の略記である。ＲＡＭは、「Random  Access  Memory」の略記である。ＨＤＤは、「Hard  Disk  Drive」の略記である。Ｉ／Ｆは、「interface」の略記である。
【００１４】
ステレオカメラ部１は、左目用となる第１のカメラ部と、右目用となる第２のカメラ部との、２台のカメラ部が平行に組みつけられて構成されている。各カメラ部は、それぞれレンズ、画像センサ、センサコントローラを備えている。画像センサは、例えばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサとなっている。ＣＣＤは、「Charge  Coupled  Device」の略記である。また、ＣＭＯＳは、「Complementary  Metal-Oxide  Semiconductor」の略記である。センサコントローラは、画像センサの露光制御、画像読み出し制御、外部回路との通信、および画像データの送信制御等を行う。
【００１５】
ＨＤＤ５（ＲＯＭ３またはＲＡＭ４でもよい）には、情報処理プログラムの一例である画像処理プログラムが記憶されている。この画像処理プログラムは、ステレオカメラ部１で観測対象を異なる方向から撮像して得た各距離画像の位置合わせ処理を行うための位置合わせ処理プログラムを備えている。また、画像処理プログラムは、位置合わせ処理された各距離画像をメッシュ化して３次元モデルを生成するメッシュ化処理プログラムを備えている。さらに、画像処理プログラムは、メッシュ化処理により生成された３次元モデルに、所定のテクスチャをマッピング処理するテクスチャマッピング処理プログラムを備えている。
【００１６】
ステレオカメラ部１の各カメラ部で撮像された撮像画像の輝度画像データは、バスライン８を介してＲＡＭ４に書き込まれる。ＣＰＵ２は、ＲＡＭ４に保存された輝度画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算により視差画像（距離画像）を生成し、再度、ＲＡＭ４に書き込む。また、ＣＰＵ２は、描画処理装置全体の動作を制御する他、ＲＯＭ３に記憶されている描画処理プログラムに従って、ＲＡＭ４に書き込まれた各距離画像の位置合わせ処理、メッシュ化処理およびテクスチャマッピング処理等を実行制御する。
【００１７】
次に、観察対象の３次元モデルを作成するためには、異なる方向から撮像した各距離画像を重ね合わせる必要がある。各距離画像を重ね合わせるためには、各距離画像同士の相対的な位置関係が既知である必要がある。この相対的な位置関係を導出する処理が位置合わせ処理である。この位置合わせ処理のために、実施の形態の画像処理装置は、色画像および距離画像を同じ方向から取得し、取得した色画像を用いて、観察対象の撮像方向を算出する。そして、実施の形態の画像処理装置は、算出された物体の向きを用いて各距離画像同士の位置合わせを行う。これにより、各距離画像のオーバーラップしている部分が少ない場合、または、幾何的な特徴が存在しない場合でも、姿勢推定から得られる各距離画像間の相対方向を用いて位置合わせが可能となっている。
【００１８】
図２に、ＣＰＵ２が画像処理プログラムを実行することで実現される各機能の機能ブロック図を示す。この図２に示すように、画像処理プログラムを実行することでＣＰＵ２は、色画像取得部１１、姿勢算出部１２、距離画像取得部１３、ノイズ除去部１４、位置合わせ処理部１５、メッシュ化部１６、およびテクスチャマッピング部１７として機能する。なお、この例では、色画像取得部１１〜テクスチャマッピング部１７は、ソフトウェアで実現されることとして説明を進めるが、一部または全部をハードウェアで実現してもよい。
【００１９】
色画像取得部１１は、観察対象の色画像（ＲＧＢ画像）を取得する。距離画像取得部１３は、観察対象の距離画像を取得する。色画像取得部１１で取得される色画像、および距離画像取得部１３で取得される距離画像は、同じ方向から取得された画像同士が紐付けられて（関連付けられて）ＲＡＭ４に記憶される。姿勢算出部１２は、色画像取得部１１で取得された色画像を用いて、観察対象の撮像方向を算出する。
【００２０】
ノイズ除去部１４は、距離画像取得部１３で取得された距離画像から高周波ノイズ等のノイズ除去を行う。位置合わせ処理部１５は、姿勢算出部１２で算出された姿勢（観察対象の向き）から、距離画像の位置合わせを行う。メッシュ化部１６は、位置合わせ処理された各距離画像をメッシュ化して３次元モデルを生成する。テクスチャマッピング部１７は、メッシュ化処理により生成された３次元モデルに、所定のテクスチャをマッピング処理する。
【００２１】
ＣＰＵ２は、姿勢算出部１２として機能する際、図３に示すように特徴点検出部２１、特徴量計算部２２、および尤度計算部２３として機能する。特徴点検出部２１は、入力される色画像の特徴的な点を計算する。特徴量計算部２２は、特徴点検出部２１で得られた特徴点に対して、特徴量を計算する。図３に示すＨＤＤ５は、モデル保存部として機能する。ＨＤＤ５には、様々な方向から取得した画像に対して、特徴点の位置と特徴量を記述したモデルが記憶されている。例えば、自動車のモデルの場合、自動車を様々な方向から撮像すると共に、各撮像画像に対する特徴点の位置および特徴量が予め計算され、各撮像画像に関連付けられてＨＤＤ５に記憶されている。尤度計算部２３は、ＨＤＤ５に記憶されているモデルを用いて、入力された色画像から得られた特徴点の位置と特徴量に対する尤度を計算し、この計算結果（結果情報）を位置合わせ処理部１５に供給する。
【００２２】
すなわち、姿勢算出部１２は、入力された色画像の特徴点を検出し、各特徴点における特徴量を計算し、特徴点の位置関係と特徴量を素性とする。そして、学習モデルを用いて、入力された色画像から得られた素性に対して最も尤度が大きくなる向き（姿勢）を算出することで、入力された色画像に対応する観察対象の撮像方向を計算する。
【００２３】
物体の向き（姿勢）算出の仕方については、例えば非特許文献１（S. Savarese and L. Fei-Fei, “3D generic object categorization, localization and pose estimation”, IEEE Intern. Conf. in Computer Vision (ICCV), Brazil, October, 2007）において、詳細に開示されている。
【００２４】
また、非特許文献２（Nadia Payet, Sinisa Todorovic, “From contours to 3D object detection and pose estimation”, ICCV 2011: 983−990）では、自動車を８方向から撮影した８０枚の画像で学習モデルを作成し、約９０％程度の精度で自動車の向きを算出する手法が開示されている。
【００２５】
次に、図４のフローチャートに、位置合わせ処理部１５の位置合わせ動作の流れを示す。この実施の形態の画像処理装置の場合、一例として、ＩＣＰと呼ばれる位置合わせ手法を用いている。ＩＣＰは「Iterative  Closest  Point」の略記である。ＩＣＰの詳細な動作は、非特許文献３（Besl, Paul J.; N.D. McKay (1992). “A Method for Registration of 3-D Shapes”. IEEE Trans. on Pattern Analysis and Machine Intelligence (Los Alamitos, CA, USA: IEEE Computer Society) 14 (2): 239−256）を参考にされたい。
【００２６】
距離画像は、各ピクセルに観察対象物までの距離情報が格納された画像である。ｘｙｚ座標系に距離画像データをマッピングすることで、点群データを生成することができる。ＩＣＰでは、図４のフローチャートに示す処理で、点群間の距離の和を最小にすることで、各距離画像の位置合わせを行う。例えば、第１の距離画像（点群Ａ）と第２の距離画像（点群Ｂ）の位置合わせをＩＣＰで行う場合、位置合わせ処理部１５は、点群Ａと点群Ｂを同座標系に配置する。そして、位置合わせ処理部１５は、点群Ａと点群Ｂの最近傍点間の距離の和が最小になるように、第１の距離画像と第２の距離画像との位置合わせを行う。同座標系に配置する場合、位置合わせ処理部１５は、点群Ａの中心点と点群Ｂの中心点が同じ位置になるよう配置し、姿勢算出部１２で算出された物体の向き（方向）と一致するよう点群を回転させて各距離画像の位置合わせを行う。
【００２７】
すなわち、図４のフローチャートのステップＳ１では、姿勢算出部１２が、色画像取得部１１で取得された色画像（位置合わせを行う第１および第２の各距離画像にそれぞれ対応する色画像）を用いて、観察対象の向き（姿勢）を算出する。ステップＳ２では、位置合わせ処理部１５が、姿勢算出部１２で算出された観察対象の向き（姿勢）の算出結果から、位置合わせを行う観察対象の各距離画像の向きを認識する。
【００２８】
次に、ステップＳ３では、位置合わせ処理部１５が、認識した各距離画像の向きに基づいて、第１の距離画像および第２の距離画像の各点群の端点を重ねる。例えば、姿勢算出部１２において、第１の距離画像に対応する色画像、および第２の距離画像に対応する色画像から観察対象の向き（姿勢）を算出した結果、第１の距離画像は、観察対象を正面方向から撮像した距離画像であり、第２の距離画像は、観察対象を右方向から撮像した距離画像であることが算出されたとする。観察対象を正面方向から撮像した第１の距離画像の点群の中で最も右手前側の点と、観察対象を右方向から撮像した第２の距離画像の点群の中で最も左手前側の点の位置は概ね一致する。位置合わせ処理部１５は、ステップＳ３において、このように重なり得る各距離画像の点群の端点を重ねる処理を行う。
【００２９】
次に、位置合わせ処理部１５は、ステップＳ４において、第１の距離画像の点群Ａの各点の最近傍点を、第２の距離画像の点群Ｂから検出する。また、位置合わせ処理部１５は、ステップＳ５において、第１の距離画像および第２の距離画像の最近傍点間の距離の和を算出する。位置合わせ処理部１５は、ステップＳ６において、第１の距離画像および第２の距離画像の最近傍点間の距離の和と所定の閾値とを比較する。そして、位置合わせ処理部１５は、ステップＳ６において、第１の距離画像および第２の距離画像の最近傍点間の距離の和が、所定の閾値以下であるか否かを判別する。最近傍点間の距離の和が所定の閾値以下であるということは（ステップＳ６：Ｙｅｓ）、第１の距離画像および第２の距離画像が、各撮像方向に対応する位置で略々重なっていることを意味する（位置合わせ完了）。このため、位置合わせ処理部１５は、図４のフローチャートの処理を終了する。
【００３０】
これに対して、最近傍点間の距離の和が所定の閾値よりも大きな値であるということは（ステップＳ６：Ｎｏ）、第１の距離画像および第２の距離画像が、各撮像方向に対応する位置で重なっていないことを意味する。このため、位置合わせ処理部１５は、ステップＳ７に処理を進め、最近傍点間の距離の和が最小となる変換パラメータＲを算出する。この変換パラメータＲは、第１の距離画像または第２の距離画像の回転角度を示すパラメータである。例えば、観察対象を正面方向から撮像した第１の距離画像、および右方向から撮像した第２の距離画像の位置合わせを行う場合、変換パラメータＲが９０度以上の回転を表すことはない。９０度以上の回転を行った時点で、姿勢算出部１２における正面方向と右方向という観察対象の向き（姿勢）算出結果が誤りとなるからである。
【００３１】
このようなことから、位置合わせ処理部１５は、ステップＳ８において、算出した変換パラメータＲが、所定の閾値（９０度）以下であるか否かを判別する。算出した変換パラメータＲが、所定の閾値（９０度）よりも大きな値であるということは（ステップＳ８：Ｎｏ）、算出した変換パラメータＲは、上述のように誤りであることを意味するため、「エラー」として、図４のフローチャートの処理を終了する。
【００３２】
これに対して、算出した変換パラメータＲが、所定の閾値（９０度）以下であるということは（ステップＳ８：Ｙｅｓ）、算出した変換パラメータＲは、第１の距離画像および第２の距離画像を、各撮像方向に対応する位置で略々重なり合うように近づけることが可能な変換パラメータＲであることを意味する。このため、位置合わせ処理部１５は、ステップＳ９において、第１の距離画像の点群Ａを、算出した変換パラメータＲで回転処理し、ステップＳ４に処理を戻す。
【００３３】
以後、位置合わせ処理部１５は、ステップＳ４〜ステップＳ９を繰り返し実行することで、その都度算出した変換パラメータＲで第１の距離画像の点群Ａを徐々に回転処理しながら、第２の距離画像に対する位置合わせを行う。そして、ステップＳ６において、最近傍点間の距離の和が所定の閾値以下であると判別した際に（ステップＳ６：Ｙｅｓ）、第１の距離画像および第２の距離画像が、各撮像方向に対応する位置で略々重なっていることを意味する（位置合わせ完了）。これにより、位置合わせ処理部１５は、図４のフローチャートの処理を終了する。なお、変換パラメータＲの算出を行ううちに、算出した変換パラメータＲの値が、所定の閾値（９０度）よりも大きな値となったときには、位置合わせ処理部１５は、「エラー」が発生したとして、図４のフローチャートを終了することは、上述のとおりである。
【００３４】
このような位置合わせ処理の具体例を説明すると、例えば曲面を測定することで得られた点群に対してＩＣＰを行う場合を考える。図５の（ａ）の符号を付した図は、一方の曲面の点群に含まれる点と、もう一方の曲面の点群に含まれる点から最も距離の近い点を選び、直線Ｌで結んだ図である。各直線Ｌの長さの和が、最近傍点間の距離の和となる。位置合わせ処理部１５は、距離の和が最小になるよう点群を並進処理、または回転処理する。これにより、図５の（ｂ）の符号を付した図に示すように、各点群を近接させることができる。位置合わせ処理部１５は、図５の（ｂ）の符号を付した図に示す各点群に対しても、上述と同様に最近傍点を選び点群の並進処理または回転処理を繰り返し実行することで、各点群の位置合わせを行う。
【００３５】
同様に、図６は、自動車を正面から撮像して得た各距離画像の位置合わせを説明するための図である。図６の（ａ）の符号を付した図のうち、外郭を点線で囲って示す点群の図は、第１の距離画像を示している。これに対して、図６の（ａ）の符号を付した図のうち、外郭を一点鎖線で囲って示す点群の図は、第２の距離画像を示している。第２の距離画像は、第１の距離画像に対して、左肩下がりの画像となっている。位置合わせ処理部１５は、最近傍点間の距離の和を最小とする変換パラメータＲを算出し、第２の距離画像（第１の距離画像でもよい）の点群を並進処理、または回転処理する。これにより、図６の（ｂ）の符号を付した図に示すように、第１の距離画像および第２の距離画像を位置合わせすることができる。
【００３６】
次に、図２に示すメッシュ化部１６は、このように位置合わせされた各距離画像を一つの距離画像としてメッシュ化処理することで、３次元モデルを生成する。そして、テクスチャマッピング部１７は、生成された３次元モデルに、対応するテクスチャを貼り付け処理して出力する。
【００３７】
以上の説明から明らかなように、第１の実施の形態の画像処理装置は、第１の距離画像および第２の距離画像の位置合わせを行う際に、第１の距離画像の撮像方向と同じ撮像方向から撮像した色画像を取得する。また、第２距離画像の撮像方向と同じ撮像方向から撮像した色画像を取得する。姿勢算出部１２は、ＨＤＤ５に記憶されている学習モデルを参照することで、各色画像の撮像方向（＝各距離画像の撮像方向）を計算する。位置合わせ処理部１５は、第１の距離画像および第２の距離画像の最近傍点間の距離の和を、所定の閾値以下とする変換パラメータＲを算出する。そして、位置合わせ処理部１５は、算出した変換パラメータＲを用いて、第１の距離画像（または、第２の距離画像）を並進処理、または回転処理して、各距離画像の位置合わせを行う。
【００３８】
取得した色画像を用いて、観察対象の撮像方向を算出することにより、各距離画像間のオーバーラップ量が少ない場合、または、各距離画像に幾何的な特徴点が存在しない場合でも、姿勢推定から得られる距離画像間の相対方向を用いて、より正確に位置合わせすることができる。
【００３９】
また、位置合わせ処理部１５は、ノイズ除去部１４でノイズが除去された距離画像を用いて位置合わせを行う。距離画像にノイズが重畳していると、距離画像に部分的な歪み等を生じた距離画像で位置合わせを行うこととなるため、正確な位置合わせに支障をきたす。しかし、実施の形態の画像処理装置の場合、ノイズ除去部１４で各距離画像のノイズを除去したうえで位置合わせを行っている。このため、より正確な位置合わせを可能とすることができる。
【００４０】
このような実施の形態の画像処理装置は、例えば３次元スキャナ装置、および産業用ロボットの眼等に適用できる。３次元プリンタ装置の出力を得るためには、３次元モデルが必要となる。３次元モデルを生成するための一つの手段として３次元スキャナ装置を用いることができる。３次元スキャナ装置で、様々な方向から距離画像を取得し、位置合わせを行う場合、オーバーラップしている部分が少ない場合は正しく位置合わせをすることが困難となる。しかし、実施の形態の画像処理装置は、オーバーラップしている部分が少ない場合でも正確な位置合わせを可能とすることができるため、３次元スキャナ装置の利便性の向上を図ることができる。
【００４１】
また、実施の形態の画像処理装置を産業用ロボットに適用する場合、部品を正しく認識するために、色画像だけでなく距離画像を用いる。正しく３次元モデルとして認識するには、複数の方向から距離画像を取得する必要があるが、オーバーラップがある程度存在するように様々な方向から距離画像を取得する必要がある。製造ライン等では、製造ラインを流れる部品が決まっていることが多いため、学習モデルを作成し易く、実施の形態の画像処理装置は、有効に機能するであろう。
【００４２】
なお、上述の実施の形態の説明では、ステレオカメラ部１の各撮像画像の視差計算を行うことで生成した距離画像を用いることとした。これは、画像の点毎にレーダ測距等で検出した距離情報が付加された画像情報を用いてもよい。
【００４３】
また、距離画像および対応する色画像をメモリに記憶しておき、姿勢算出部１２は、メモリから色画像を読み出して距離画像の向きを算出し、位置合わせ処理部１５は、算出された距離画像の向きを用いて、メモリから読み出した各距離画像の位置合わせを行ってもよい。
【００４４】
（第２の実施の形態）
次に、第２の実施の形態の画像処理装置の説明をする。上述の第１の実施の形態の画像処理装置は、位置合わせ処理後の距離画像に対してメッシュ化処理を施すものであった。これに対して、第２の実施の形態の画像処理装置は、位置合わせ処理後の距離画像から不要な点を除去したうえで、メッシュ化処理を施すようにしたものである。なお、上述の第１の実施の形態と、以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明し、上述の第１の実施の形態の説明と重複する説明は省略する。
【００４５】
図７は、第２の実施の形態の画像処理装置の機能ブロック図である。この図７に示すように、第２の実施の形態の画像処理装置は、位置合わせ処理部１５とメッシュ化部１６との間に、不要点除去部３１を有している。なお、不要点除去部３１は、ソフトウェアで実現してもよいし、ハードウェアで実現してもよい。
【００４６】
位置合わせ処理部１５は、上述のように例えば２つの距離画像を位置合わせして１枚の距離画像を生成する。このため、生成された距離画像には、１枚の点画像として見た場合に、不要な点が存在する。このため、不要点除去部３１は、位置合わせされた２枚の距離画像を１枚の点画像として見た場合に、不要となる点を除去することで、１枚の点画像としてまとまった距離画像を形成する。
【００４７】
これにより、メッシュ化部１６において、不要な点に影響されることなく、メッシュ化処理を行うことができる他、上述の第１の実施の形態と同じ効果を得ることができる。
【００４８】
（第３の実施の形態）
次に、第３の実施の形態の画像処理装置の説明をする。上述の第１の実施の形態の画像処理装置は、図４に示したフローチャートのステップＳ８の処理で、算出した変換パラメータＲが所定の閾値（９０度）よりも大きな値となった場合、これを「エラー」として扱い、そのまま図４のフローチャートの処理を終了した。これに対して、第３の実施の形態の画像処理装置は、算出した変換パラメータＲが所定の閾値（９０度）よりも大きな値となった場合、距離画像の向きを算出し直して、再度、位置合わせを行うようにしたものである。なお、上述の第１の実施の形態と、以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明し、上述の第１の実施の形態の説明と重複する説明は省略する。
【００４９】
図８は、第３の実施の形態の画像処理装置の位置合わせ処理の流れを示すフローチャートである。この図８のフローチャートにおいて、図４のフローチャートと同じ処理を示すステップには、図４のフローチャートと同じステップ番号を付している。この図８のフローチャートからわかるように、第３の実施の形態の画像処理装置の場合、ステップＳ８で、算出した変換パラメータが所定の閾値よりも大きな値であると、位置合わせ処理部１５が判別した場合（ステップＳ８：Ｎｏ）、処理をステップＳ２に戻し、再度、各距離画像の向き（姿勢）を計算し直す。
【００５０】
すなわち、この第３の実施の形態の画像処理装置の場合、姿勢算出部１２は、ステップＳ１において、色画像に基づいて各距離画像の向きを算出する。この際、姿勢算出部１２は、各距離画像の向きを示す情報を１つのみ算出するのではなく、例えばｘ方向の尤度が９０、ｙ方向の尤度が８０等のように、定量的な尺度で複数の向きを算出する。
【００５１】
位置合わせ処理部１５は、最初に、尤度が１番高い方向（この場合はｘ方向）を用いて、各距離画像の向きを算出する。しかし、ステップＳ８で変換パラメータＲの値が閾値よりも大きくなる場合、ステップＳ２において、２番目に尤度の高い方向（この場合はｙ方向）を用いて、各距離画像の向きを算出する。
【００５２】
これにより、各距離画像の正確な向きを計算し直すことができ、各距離画像の正確な位置合わせに貢献できる他、上述の第１の実施の形態と同じ効果を得ることができる。
【００５３】
（第４の実施の形態）
次に、第４の実施の形態の画像処理装置の説明をする。なお、以下の第４の実施の形態の情報処理装置の説明において、上述の各実施の形態と同じ動作を示す箇所には、上述の各実施の形態の説明で用いた符号と同じ符号を付し、その詳細な説明を省略する。
【００５４】
上述の各実施の形態は、点群と同時に画像を取得し、取得した画像に対して姿勢推定を行う。そして、姿勢推定結果から相対的な角度を求め、点群の端点が一致することを前提として位置合わせを行うものであった。これに対して、第４の実施の形態の画像処理装置は、色画像取得部１１で取得された色画像（ＲＧＢ画像）から検出した特徴領域を位置合わせに用いることで、位置合わせ精度のさらなる向上を図ったものである。
【００５５】
一例ではあるが、一般的な自動車は、ドアミラーおよびタイヤを備えている。また、ドアミラーおよびタイヤは、自動車の特徴領域となる。このため、第４の実施の形態では、自動車の画像を多数用意して学習する。また、第４の実施の形態では、上述の色画像が自動車である場合、ドアミラーおよびタイヤの領域などの自動車の特徴領域（色画像特徴領域）を、学習結果を用いて検出する。また、第４の実施の形態では、距離画像取得部１３で取得された多数の点群の画像である距離画像から、色画像特徴領域に対応する距離画像特徴領域を検出する。そして、第４の実施の形態では、各距離画像の位置合わせを行う際に、各距離画像のドアミラー同士およびタイヤ同士などの各距離画像特徴領域同士が重なるように位置合わせを行う。
【００５６】
上述の各実施の形態の場合、位置合わせに点群の端点を用いたが、第４の実施の形態の場合、位置合わせの対象の特徴的な部分を位置合わせに用いる。これにより、位置合わせに用いる情報量が多くなり、位置合わせの精度を、より向上させることができる。
【００５７】
図９に、ＨＤＤ５に記憶されている第４の実施の形態に対応する画像処理プログラムをＣＰＵ２が実行することで実現される各機能の機能ブロック図を示す。第４の実施の形態に対応する画像処理プログラムを実行することで、ＣＰＵ２は、図９に示すように色画像取得部１１、距離画像取得部１３、ノイズ除去部１４、メッシュ化部１６、およびテクスチャマッピング部１７として機能する。また、ＣＰＵ２は、特徴箇所検出部４１、較正部４２、および、位置合わせ処理部４３として機能する。なお、この例では、色画像取得部１１、距離画像取得部１３、ノイズ除去部１４、メッシュ化部１６、テクスチャマッピング部１７、特徴箇所検出部４１、較正部４２、および、位置合わせ処理部４３は、ソフトウェアで実現されることとして説明を進めるが、一部または全部をハードウェアで実現してもよい。
【００５８】
色画像取得部１１は、観察対象の色画像（ＲＧＢ画像）を取得する。距離画像取得部１３は、観察対象の距離画像を取得する。ノイズ除去部１４は、距離画像取得部１３で取得された距離画像から高周波ノイズ等のノイズ除去を行う。メッシュ化部１６は、位置合わせ処理された各距離画像をメッシュ化して３次元モデルを生成する。テクスチャマッピング部１７は、メッシュ化処理により生成された３次元モデルに、所定のテクスチャをマッピング処理する。不要点除去部３１は、位置合わせされた２枚の距離画像を１枚の点画像として見た場合に、不要となる点を除去することで、１枚の点画像としてまとまった距離画像を形成する。
【００５９】
特徴箇所検出部４１は、色画像が例えば自動車の場合、タイヤおよびドアミラーなど、自動車が一般的に備えている特徴的な箇所（領域）を検出する。そして、特徴箇所検出部４１は、特徴的な箇所（領域）をラベリング処理した特徴箇所ラベリング画像を生成する。具体的には、特徴箇所検出部４１は、同じ領域の各画素（この例の場合は、特徴的な箇所（領域）の各画素）に対して、例えば同じ番号等の、他の領域の画素と区別するための情報を付加するラベリング処理を行い、特徴箇所ラベリング画像を生成する。
【００６０】
較正部４２は、色画像取得部１１からの色画像と、距離画像取得部１３からの点群となっている距離画像とを照らし合わせることで、色画像の各画素がそれぞれ対応する、距離画像の点群上の点を検出する（色画像および距離画像（点群）のキャリブレーション）。そして、較正部４２は、色画像の各画素と、距離画像の各点との対応関係を示すキャリブレーション情報を生成する。位置合わせ処理部４３は、特徴箇所ラベリング画像およびキャリブレーション情報を用いて、距離画像取得部１３で取得された複数の距離画像（点画像）の位置合わせ処理を行う。
【００６１】
図１０に、特徴箇所検出部４１の機能ブロック図を示す。特徴箇所検出部４１は、特徴モデル生成部５１および尤度計算部５２を有する。特徴箇所検出部４１は、例えば「Wenze Hu, “Learning 3D object templates by hierarchical quantization of geometry and appearance spaces”, CVPR, 2012」に開示されている技術を用いる。そして、特徴箇所検出部４１は、観察対象の特徴箇所をラベリング処理した特徴箇所ラベリング画像を生成する。なお、特徴モデル生成部５１および尤度計算部５２は、いずれか一方または両方をハードウェアで形成してもよい。
【００６２】
図１０において、学習用画像セットは、観察対象の撮像方向を示す撮像方向情報（カメラ位置情報）が付加された画像のセットである。特徴モデル生成部５１は、学習用画像セットの画像上の特徴箇所を統合して特徴モデルを学習的に生成する。例えば、自動車の画像の場合、ドアミラーまたはタイヤは、略々全ての自動車の画像に現れる。特徴モデル生成部５１は、このような画像上の特徴的な箇所を、カメラ位置を考慮して統合することで、観察対象が備えている特徴箇所で観察対象をデフォルメした色画像である特徴モデルを生成する。
【００６３】
図１１は、特徴モデル生成部５１が特徴モデルを生成（学習）する流れを示すフローチャートである。このフローチャートにおいて、ステップＳ１１では、特徴モデル生成部５１が、観察対象の撮像方向を示すカメラ位置情報が付加された学習用画像セットを取得する。次に、ステップＳ１２において、特徴モデル生成部５１は、取得した学習用画像セットの色画像から観察対象の特徴的な箇所を検出する。
【００６４】
例えば、図１２は、学習用画像セットとして特徴モデル生成部５１に供給された、自動車が観察対象の場合の色画像である。また、図１２の（ａ）の符号を付した図は、自動車を左正面の斜め上から撮像した図である。また、図１２の（ｂ）の符号を付した図は、自動車を略々右正面の上方向から撮像した図である。学習用画像セットとしては、自動車の各色画像に、観察対象の撮像方向を示すカメラ位置情報が付加されて特徴モデル生成部５１に供給される。
【００６５】
特徴モデル生成部５１は、ステップＳ１２において、図１２の（ａ）の符号を付した図および図１２の（ｂ）の符号を付した図中に、それぞれ斜線を引いた領域で示すように、フロントガラス、ドアミラー、およびヘッドライトなどの自動車の特徴的な箇所を、学習用画像セット毎に検出する。
【００６６】
次に、ステップＳ１３では、特徴モデル生成部５１が、所定の学習用画像数が充足されたか否かを判別する。特徴モデル生成部５１は、所定の学習用画像数が充足されるまでの間（ステップＳ１３：Ｎｏ）、ステップＳ１１〜ステップＳ１３の各処理を繰り返し実行する。そして、特徴モデル生成部５１は、所定の学習用画像数が充足されたものと判別した際に（ステップＳ１３：Ｙｅｓ）、処理をステップＳ１４に進める。
【００６７】
ステップＳ１４では、特徴モデル生成部５１が、学習した複数の色画像間で特徴的な箇所を検出する。そして、特徴モデル生成部５１は、ステップＳ１５において、検出した特徴的な箇所を統合して特徴モデルを生成し、特徴モデル保存部の一例であるＨＤＤ５に保存して、図１１のフローチャートの処理を終了する。これにより、ＨＤＤ５には、観察対象が備えている特徴箇所で観察対象をデフォルメした色画像である複数の特徴モデルが記憶（蓄積）される。
【００６８】
次に、図１０に示す尤度計算部５２は、特徴モデルを用いて色画像の観察対象の特徴的な箇所をラベリング処理した特徴箇所ラベリング画像を生成する。図１３は、尤度計算部５２における特徴箇所ラベリング画像の生成動作の流れを示すフローチャートである。
【００６９】
図１３のフローチャートにおいて、ステップＳ２１では、尤度計算部５２が、色画像取得部１１から色画像を取得し、処理をステップＳ２２に進める。ステップＳ２２では、尤度計算部５２が、ＨＤＤ５に記憶されている各特徴モデルを参照し、尤度が最も高くなる特徴モデルの向きを計算する。具体的には、尤度計算部５２は、ＨＤＤ５に記憶されている特徴モデルのうち、供給された色画像の観察対象の撮像方向と同じ撮像方向の特徴モデルを検出する。そして、検出した特徴モデルの撮像方向を、尤度が最も高くなる特徴モデルの向きとして計算する。
【００７０】
次に、尤度計算部５２は、ステップＳ２３において、検出した特徴モデルを用いて、色画像の特徴箇所をラベリング処理した特徴箇所ラベリング画像を生成し、位置合わせ処理部４３に供給する。これにより、供給された色画像の観察対象が自動車であった場合、図１２の（ａ）および（ｂ）の符号を付した図に示したように、自動車の特徴箇所である、例えばタイヤおよびドアミラーなどがラベリング処理された特徴箇所ラベリング画像が生成される。このような特徴箇所ラベリング画像は、位置合わせ処理部４３に供給される。
【００７１】
次に、第４の実施の形態の画像処理装置の場合、色画像から特徴的な箇所を検出し、色画像の特徴的な箇所と対応する距離画像の点群の箇所を検出し、点群間で特徴的な箇所同士が重なるように位置合わせを行う。このため、較正部４２は、色画像の各画素と、各画素に対応する距離画像の点群の各点とを関連付けするキャリブレーション処理を行い、各画素に対応する各点を示すキャリブレーション情報を生成する。
【００７２】
キャリブレーション処理には様々な手法がある。一例を説明すると、ＲＧＢカメラとデプスセンサで、固定した直方体をそれぞれ撮像する。これにより、ＲＧＢカメラからは直方体の色画像が、また、デプスセンサからは直方体の点群の画像（点画像）が得られる。そして、色画像と点画像における直方体が同様の形となるように、色画像または点画像に対して射影変換処理を行う。これにより、色画像の各画素に対応する点画像上の点を計算することができる。較正部４２は、一例として、このような射影変換処理を行うことで、色画像の各画素と距離画像の各点とを関連付けるキャリブレーション処理を行う。較正部４２において、色画像または点画像に対して射影変換処理を行うことにより、色画像の特徴領域に対応する距離画像の点群を計算することができる。
【００７３】
なお、色画像の画素数と点画像の点の数が同数とは限らない。この場合、画素と点を１対１で対応させることは困難となる。この場合、較正部４２は、最も近い画素と点を対応させるようにキャリブレーション処理を行う。
【００７４】
次に、位置合わせ処理部４３は、画像の特徴箇所の情報（上述の特徴箇所ラベリング画像）、および、色画像の各画素と距離画像の各点とのキャリブレーション情報を用いて、各距離画像の点群同士の位置合わせを行う。例えば、自動車を対象とした場合、特徴箇所検出部４１において、左ドアミラーが検出されたとする。複数の距離画像において、左ドアミラーが検出されたとき、各距離画像の左ドアミラーに対応する点群同士が重なる。このようにして、位置合わせ処理部４３は、特徴箇所を用いて各距離画像の点群の位置合わせを行う。
【００７５】
図１４のフローチャートに、位置合わせの処理の流れを示す。位置合わせ処理部４３には、特徴箇所検出部４１から特徴箇所ラベリング画像が供給されると共に、距離画像得部４３から点群の距離画像が複数セット供給される。ステップＳ３１では、位置合わせ処理部４３が、複数の特徴箇所ラベリング画像に共通して存在する特徴箇所を検出する。例えば、自動車を対象とする場合、複数の特徴箇所ラベリング画像に左ドアミラーが存在する場合、これを保持する。
【００７６】
次に、位置合わせ処理部４３は、ステップＳ３２において、特徴箇所に対応する点群を計算する。例えば、特徴箇所ラベリング画像より左ドアミラーが検出された場合、検出された左ドアミラーに対応する各距離画像上の点群をそれぞれ検出する。
【００７７】
次に、位置合わせ処理部４３は、ステップＳ３３に検出された各距離画像の特徴箇所同士が重なり合うように（特徴箇所同士を重ね合わせるように）、各距離画像を位置合わせする。上述の例で説明すると、位置合わせ処理部４３は、各距離画像の特徴箇所となっている左ドアミラーの点群同士が重なり合うように、各距離画像を位置合わせする。なお、位置合わせ処理部４３は、特徴箇所は可能な限り検出し、検出した全ての特徴箇所同士が重なり合うように、各距離画像を位置合わせする。
【００７８】
次に、位置合わせ処理部４３は、ステップＳ３４において、例えば非特許文献３（Besl, Paul J.; N.D. McKay (1992). “A Method for Registration of 3-D Shapes”. IEEE Trans. on Pattern Analysis and Machine Intelligence (Los Alamitos, CA, USA: IEEE Computer Society) 14 (2): 239-256）に開示されているＩＣＰ(Iterative  Closest  Point) アルゴリズムを用いて、２つの点群が全体的に重なるように位置合わせを行い、図１４のフローチャートの処理を終了する。
【００７９】
すなわち、位置合わせ処理部４３は、ＩＣＰアルゴリズムを用いて、入力として与えられる一方の距離画像の点群を構成する各点に対し、他方の距離画像の点群における最近傍点を探索し、これらを仮の対応点とする。位置合わせ処理部４３は、このような対応点間の距離を最小化するような剛体変換を推定する。位置合わせ処理部４３は、対応点探索および剛体変換推定を繰り返すことで、２つの距離画像の点群を位置合わせする運動を推定する。
【００８０】
点群の端点が一致することを前提として位置合わせを行った場合、図１５に示すように、各距離画像の点群同士が重ならないことがある。しかし、第４の実施の形態の画像処理装置のように、特徴箇所を用いて位置合わせを行うことで、図１６に示すように各距離画像の点群同士を正確に重ね合わせることができる。
【００８１】
なお、第４の実施の形態の画像処理装置において、図９に示すノイズ除去部１４は、上述のように距離画像からノイズを除去して位置合わせ処理部４３に供給する。これにより、距離画像に生じている部分的な歪み等を除去したうえで、位置合わせを行うことができるため、より正確な位置合わせを可能とすることができる。
【００８２】
また、図９に示すメッシュ化部１６およびテクスチャマッピング部１７は、位置合わせ処理部４３により位置合わせされた各距離画像を、一つの距離画像としてメッシュ化処理することで、３次元モデルを生成する。テクスチャマッピング部１７は、生成された３次元モデルに、対応するテクスチャを貼り付け処理して出力する。
【００８３】
また、図９に示す不要点除去部３１は、位置合わせ処理部４３により位置合わせされた２枚の距離画像を１枚の点画像として見た場合に、不要となる点を除去する。これにより、１枚の点画像としてまとまった距離画像を形成できる。そして、メッシュ化部１６において、不要な点に影響されることなく、メッシュ化処理を行うことができる。
【００８４】
以上の説明から明らかなように、第４の実施の形態の画像処理装置は、点群の距離画像と共に、同じ方向から撮像した色画像を取得する。較正部４２は、距離画像および色画像に対してキャリブレーション処理を施し、距離画像の各点群と色画像の各画素とを関連付ける（対応関係を求める）。特徴箇所検出部４１は、予め観察対象の特徴的な箇所を検出した特徴モデルを予め生成し、ＨＤＤに記憶しておく。また、特徴箇所検出部４１は、予め検出しておいた特徴モデルを用いて、色画像の特徴箇所をラベリング処理した特徴箇所ラベリング画像を生成する。位置合わせ処理部４３は、特徴箇所ラベリング画像を用いて点群の各距離画像の位置合わせを行う。例えば、自動車を対象とした場合、特徴箇所検出部４１において、左ドアミラーが検出されたとする。複数の距離画像において左ドアミラーが検出されたとき、各色画像の左ドアミラーに対応する点群同士は重なる。位置合わせ処理部４３は、このような特徴箇所を用いて各距離画像の点群の位置合わせを行う。
【００８５】
すなわち、第４の実施の形態の画像処理装置は、色画像と点群の距離画像を同じ方向から撮像し、観察対象の特徴的な部位（自動車の場合は、タイヤまたはドアミラーなど）を検出し、特徴的な部位の情報を点群の距離画像の位置合わせに用いる。
【００８６】
これにより、各距離画像の点群間のオーバーラップ部分が少ない場合、または、幾何的な特徴が存在しない場合（少ない場合）でも、正確に位置合わせすることができる。このため、位置合わせの精度を、より向上させることができる。
【００８７】
上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。これらの新規な各実施の形態は、その他の様々な形態で実施されることが可能である。このため、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態および各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８８】
１  ステレオカメラ部
２  ＣＰＵ
３  ＲＯＭ
４  ＲＡＭ
５  ＨＤＤ
６  入出力Ｉ／Ｆ
７  通信Ｉ／Ｆ
８  バスライン
１１  色画像取得部
１２  姿勢算出部
１３  距離画像取得部
１４  ノイズ除去部
１５  位置合わせ処理部
１６  メッシュ化部
１７  テクスチャマッピング部
２１  特徴点検出部
２２  特徴量計算部
２３  尤度計算部
３１  不要点除去部
４１  特徴箇所検出部
４２  較正部
４３  位置合わせ処理部
５１  特徴モデル生成部
５２  尤度計算部
【先行技術文献】
【特許文献】
【００８９】
【特許文献１】特許第５２５３０６６号公報
【非特許文献】
【００９０】
【非特許文献１】S. Savarese and L. Fei-Fei, “3D generic object categorization, localization and pose estimation”, IEEE Intern. Conf. in Computer Vision (ICCV), Brazil, October, 2007
【非特許文献２】Nadia Payet, Sinisa Todorovic, “From contours to 3D object detection and pose estimation”, ICCV 2011: 983−990
【非特許文献３】Besl, Paul J.; N.D. McKay (1992). “A Method for Registration of 3-D Shapes”. IEEE Trans. on Pattern Analysis and Machine Intelligence (Los Alamitos, CA, USA: IEEE Computer Society) 14 (2): 239−256
【図１】
2016004486.tif 000003
【図２】
2016004486.tif 000004
【図３】
2016004486.tif 000005
【図４】
2016004486.tif 000006
【図５】
2016004486.tif 000007
【図７】
2016004486.tif 000008
【図８】
2016004486.tif 000009
【図９】
2016004486.tif 000010
【図１０】
2016004486.tif 000011
【図１１】
2016004486.tif 000012
【図１２】
2016004486.tif 000013
【図１３】
2016004486.tif 000014
【図１４】
2016004486.tif 000015
【図６】
2016004486.tif 000016
【図１５】
2016004486.tif 000017
【図１６】
2016004486.tif 000018