(57)【要約】      （修正有）【課題】３次元計測の精度を高めることができる計測装置、方法及びプログラムを提供する。【解決手段】計測装置１０は、取得部２１と、第１算出部２３と、第２算出部２５と、決定部２７と、を備える。取得部２１は、複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する。第１算出部２３は、複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、対象物体上の点であることの第１信頼度を算出する。第２算出部２５は、距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する。決定部２７は、第１信頼度及び前記第２信頼度を用いて、対象物体上の３次元点を決定する。【選択図】図１
2015049200.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する取得部と、
前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する第１算出部と、
前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する第２算出部と、
前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する決定部と、
を備える計測装置。
【請求項２】
前記第２算出部は、更に前記複数の画像を用いて、第２信頼度を算出する請求項１に記載の計測装置。
【請求項３】
前記距離情報は、前記距離を含み、
前記第２算出部は、前記距離に基づいて前記計測点を算出し、前記計測点と前記計測位置とを通過する直線上に前記複数の第２の３次元点を設定し、当該第２の３次元点毎に前記第２信頼度を算出する請求項１又は２に記載の計測装置。
【請求項４】
前記第２算出部は、前記計測点との距離が近い第２の３次元点ほど、前記第２信頼度を高く算出する請求項３に記載の計測装置。
【請求項５】
前記第２算出部は、前記距離を計測する計測装置の計測精度が高いほど、前記計測点との距離が近づくにつれ、隣接する第２の３次元点間の前記第２信頼度の差が大きくなるように、前記第２信頼度を算出する請求項４に記載の計測装置。
【請求項６】
前記距離情報は、前記計測精度を更に含む請求項５に記載の計測装置。
【請求項７】
前記複数の第２の３次元点の前記第２信頼度は、前記計測点を中心とした正規分布である請求項５又は６に記載の計測装置。
【請求項８】
前記距離情報は、前記距離の計測に用いられる光の反射強度を更に含み、
前記第２算出部は、前記反射強度が高いほど、前記第２信頼度を高く算出する請求項４〜７のいずれか１つに記載の計測装置。
【請求項９】
前記第２算出部は、前記複数の視点のうち前記計測位置に対応する視点から撮像した画像上に前記計測点を投影して、当該画像上の投影点における画素値を算出し、当該画素値が高いほど、前記第２信頼度を高く算出する請求項４〜８のいずれか１つに記載の計測装置。
【請求項１０】
前記決定部は、座標が対応する第１の３次元点及び第２の３次元点の前記第１信頼度と前記第２信頼度とを加算又は乗算した統合信頼度を算出し、当該統合信頼度が所定条件を満たす場合、前記第１の３次元点又は前記第２の３次元点を前記対象物体上の３次元点に決定する請求項１〜９のいずれか１つに記載の計測装置。
【請求項１１】
前記統合信頼度が前記所定条件を満たす場合は、前記統合信頼度が極大となる場合又は前記統合信頼度が閾値を超える場合である請求項１０に記載の計測装置。
【請求項１２】
前記第１算出部は、マルチベースラインステレオ法を用いて、前記第１信頼度を算出する請求項１〜１１のいずれか１つに記載の計測装置。
【請求項１３】
前記第１算出部は、前記複数の画像のうちの基準画像上の第１の２次元点を用いて前記複数の第１の３次元点を算出し、当該複数の第１の３次元点を前記複数の画像のうちの前記基準画像以外の画像に投影して当該画像上の複数の第２の２次元点を算出し、前記第１の２次元点と前記複数の第２の２次元点それぞれとの画素値の類似度に基づいて、前記複数の第１の３次元点それぞれの前記第１信頼度を算出する請求項１２に記載の計測装置。
【請求項１４】
前記複数の画像は、マイクロレンズアレイを有する複眼カメラにより撮像された画像である請求項１〜１３のいずれか１つに記載の計測装置。
【請求項１５】
複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する取得ステップと、
前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する第１算出ステップと、
前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する第２算出ステップと、
前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する決定ステップと、
を含む計測方法。
【請求項１６】
複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する取得ステップと、
前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する第１算出ステップと、
前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する第２算出ステップと、
前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する決定ステップと、
してコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、計測装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、対象物体を複数の視点から撮像した複数の画像を用いて、３次元計測を行う技術が知られている。このような技術では、複数の画像間の類似度に基づいて、３次元空間中の３次元点が対象物体上の点であることの信頼度を算出し、信頼度が高い３次元点を対象物体上の点とすることで、３次元計測を行う。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】M.  Okutomi  and  T.  Kanade,  “A  multiple-baseline  stereo,”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  Volume  15  Issue  4,  Page  353-363,  April  1993
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような従来技術では、画像を用いて３次元点の信頼度を算出するため、対象物体のテクスチャによっては、３次元点の信頼度の精度が悪くなり、３次元計測の精度が悪くなる。本発明が解決しようとする課題は、３次元計測の精度を高めることができる計測装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の計測装置は、取得部と、第１算出部と、第２算出部と、決定部と、を備える。取得部は、複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する。第１算出部は、前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する。第２算出部は、前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する。決定部は、前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態の計測装置の例を示す構成図。
【図２】第１実施形態の撮像及び計測手法の例の説明図。
【図３】第１実施形態のマルチベースラインステレオ法の例の説明図。
【図４】第１実施形態の第２信頼度の算出手法の例の説明図。
【図５】第１実施形態の処理例を示すフローチャート図。
【図６】第２実施形態の計測装置の例を示す構成図。
【図７】第２実施形態の第２信頼度の算出手法の例の説明図。
【図８】第２実施形態の処理例を示すフローチャート図。
【図９】変形例１の撮像及び計測手法の例の説明図。
【図１０】変形例１の撮像及び計測手法の他の例の説明図。
【図１１】変形例２の撮像及び計測手法の例の説明図。
【図１２】変形例２の撮像部の例を示す構成図。
【図１３】各実施形態及び各変形例の計測装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照しながら、実施形態を詳細に説明する。
【０００８】
（第１実施形態）
図１は、第１実施形態の計測装置１０の一例を示す構成図である。図１に示すように、計測装置１０は、撮像部１１と、計測部１３と、取得部２１と、第１算出部２３と、第２算出部２５と、決定部２７と、出力部２９とを、備える。
【０００９】
撮像部１１は、可視カメラ、赤外カメラ、マルチスペクトルカメラ、及びマイクロレンズアレイを備える複眼カメラなどの撮像装置により実現できる。なお第１実施形態では、可視カメラを例に取り撮像部１１を説明するが、これに限定されるものではない。
【００１０】
計測部１３は、レーザセンサ、超音波センサ、及びミリ波センサなど対象物体までの距離を測定可能な距離センサにより実現できる。なお第１実施形態では、光源から光を照射してから、当該光が対象物体で反射した反射光がセンサに届くまでの時間と、光の速度とから、対象物体までの距離を計測するタイムオブフライト方式のレーザセンサを例に取り計測部１３を説明するが、これに限定されるものではない。
【００１１】
取得部２１、第１算出部２３、第２算出部２５、及び決定部２７は、例えば、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated  Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
【００１２】
出力部２９は、例えば、液晶ディスプレイやタッチパネル式ディスプレイなどの表示出力用の表示装置、又はプリンタなどの印刷出力用の印刷装置などで実現してもよいし、これらの装置を併用して実現してもよい。
【００１３】
撮像部１１は、複数の視点から対象物体を撮像し、複数の画像を得る。計測部１３は、計測位置から対象物体上の計測点までの距離を計測し、計測結果を示す距離情報を得る。第１実施形態では、距離情報には、レーザセンサの計測精度、レーザ（光の一例）の反射強度、及び対象物体上の計測点までの距離が含まれるものとするが、これに限定されるものではない。例えば、レーザセンサの計測精度については、通常、当該レーザセンサの仕様書などにも記載されているため、距離情報に含めなくてもよい。
【００１４】
また第１実施形態では、撮像部１１の座標系と計測部１３の座標系とを一致させるキャリブレーションが予め行われているものとする。撮像部１１の座標系と計測部１３の座標系とを一致させるキャリブレーションは、例えば、Qilong  Zhang  and  Robert  Pless,  “Extrinsic  calibration  of  a  camera  and  laser  range  finder  (improves  camera  calibration),”  IEEE/RSJ  International  Conference  on  Intelligent  Robots  and  Systems,  pp.  2301-2306,  2004.に開示されているように、平面のチェッカーボードを撮像部１１で撮像するとともに計測部１３で計測することでキャリブレーションする手法などを用いることができる。
【００１５】
図２は、第１実施形態の撮像及び計測手法の一例の説明図である。図２に示す例では、撮像部１１及び計測部１３が接続されており、計測者が対象物体５０の周囲を移動しながら、撮像部１１による撮像及び計測部１３による計測を行う。この撮像及び計測手法によれば、計測者の移動範囲が広くなるほど、計測精度が向上する。
【００１６】
これにより、撮像部１１は、複数の異なる位置（視点）で対象物体を撮像し、複数（時系列）の画像を得る。また計測部１３も、撮像部１１による撮像が行われた各位置（計測位置）で対象物体までの距離を計測し、複数の距離情報を得る。つまり、第１実施形態の撮像及び計測手法では、複数の異なる視点で撮像された時系列画像と、当該時系列画像を構成する各画像を撮像した視点と同一視点での距離情報と、が得られる。
【００１７】
なお、撮像部１１と計測部１３とは、着脱可能であっても着脱不可能であってもよい。
【００１８】
取得部２１は、複数の視点から対象物体を撮像した複数の画像と、計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する。第１実施形態では、取得部２１は、撮像部１１により複数の異なる視点で撮像された時系列画像と、計測部１３により当該時系列画像を構成する各画像を撮像した視点と同一視点で計測された複数の距離情報と、を取得する。
【００１９】
そして取得部２１は、取得した複数の画像の座標系を一致させるキャリブレーションを行う。第１実施形態では、取得部２１は、複数の異なる視点で撮像された時系列画像の各画像の座標系を一致させるキャリブレーションを行う。
【００２０】
複数の異なる視点で撮像された時系列画像の各画像の座標系を一致させるキャリブレーションは、例えば、Richard  Hartley  and  Andrew  Zisserman,  “Multiple  View  Geometry  in  Computer  Vision,”  Cambridge  University  Press,  2003.に開示されたstructure  from  motionのように、異なる視点で撮影された全ての画像をバッチ処理することによってキャリブレーションする手法や、Andrew  J.  Davison,  Ian  Reid,  Nicholas  Molton  and  Olivier  Stasse,  “MonoSLAM:  Real-Time  Single  Camera  SLAM,”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  volume  29,  issue  6,  pp.  1052-1067,  2007.  に開示されたSimultaneous  localization  and  mappingのように、時系列画像に対して逐次処理を行うことでキャリブレーションする手法などを用いることができる。
【００２１】
第１算出部２３は、取得部２１により取得された複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、対象物体上の点であることの第１信頼度を算出する。
【００２２】
例えば、第１算出部２３は、マルチベースラインステレオ法を用いて、第１信頼度を算出する。具体的には、第１算出部２３は、複数の画像のうちの基準画像上の第１の２次元点を用いて複数の第１の３次元点を算出し、当該複数の第１の３次元点を複数の画像のうちの基準画像以外の画像に投影して当該画像上の複数の第２の２次元点を算出し、第１の２次元点と複数の第２の２次元点それぞれとの画素値の類似度に基づいて、複数の第１の３次元点それぞれの第１信頼度を算出する。なお、マルチベースラインステレオ法については、例えば、非特許文献１に開示されている。
【００２３】
図３は、第１実施形態のマルチベースラインステレオ法の一例の説明図である。
【００２４】
第１算出部２３は、まず、取得部２１により取得された時系列画像の中から、基準画像６１を選ぶとともに、時系列的に基準画像６１の次に撮像された画像６２を選ぶ。画像６２は、基準画像６１と撮像領域の多くが重なるためである。但し、画像の選択手法はこれに限定されず、基準画像６１と異なる視点で撮像され、撮像領域が重なる画像であればどのような画像を選択してもよいし、２以上の画像を選択してもよい。
【００２５】
次に、第１算出部２３は、基準画像６１の画素ｐ（第１の２次元点の一例）と撮像部１１のカメラ中心６０とを通過する直線を設定し、設定した直線上に３次元点Ｐ１〜Ｐ３（複数の第１の３次元点の一例）を配置する。３次元点Ｐ１〜Ｐ３の配置手法は、例えば、等間隔となるような配置や、距離に応じた配置などが考えられるが、これらに限定されず、どのように配置してもよい。また、直線上に配置する３次元点Ｐ１〜Ｐ３の数は、複数であればいくつであってもよい。
【００２６】
次に、第１算出部２３は、３次元点Ｐ１〜Ｐ３を画像６２に投影し、それぞれ、画像６２上の対応点（画素）ｑ１〜ｑ３（複数の第２の２次元点の一例）を得る。
【００２７】
そして第１算出部２３は、画素ｐと対応点ｑ１〜ｑ３それぞれとの画素値の類似度を算出し、算出した類似度に基づいて、３次元点Ｐ１〜Ｐ３の第１信頼度を算出する。具体的には、第１算出部２３は、画素ｐの画素値と対応点ｑの画素値の類似度が高いほど、即ち、両画素値が近いほど、３次元点Ｐの第１信頼度を高く算出する。なお、画素値としては、例えば、輝度値などが挙げられるが、これに限定されるものではない。
【００２８】
第２算出部２５は、取得部２１により取得された距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する。
【００２９】
具体的には、第２算出部２５は、距離情報に含まれる距離に基づいて対象物体上の計測点を算出し、算出した計測点と計測位置とを通過する直線上に複数の第２の３次元点を設定し、当該第２の３次元点毎に第２信頼度を算出する。
【００３０】
ここで、第２算出部２５は、計測点との距離が近い第２の３次元点ほど、第２信頼度を高く算出する。また第２算出部２５は、距離情報に含まれるレーザセンサの計測精度が高いほど、計測点との距離が近づくにつれ、隣接する第２の３次元点間の第２信頼度の差が大きくなるように、第２信頼度を算出する。この結果、複数の第２の３次元点の第２信頼度は、計測点を中心とした正規分布となる。また第２算出部２５は、距離情報に含まれる反射強度が高いほど、第２信頼度を高く算出する。
【００３１】
図４は、第１実施形態の第２信頼度の算出手法の一例の説明図である。
【００３２】
まず、計測部１３は、計測位置である自身の中心（距離センサの中心）７０から対象物体の計測を行い、計測点Ｌｐ１を得ているとする。
【００３３】
この場合、第２算出部２５は、距離センサの中心７０と計測点Ｌｐ１とを通過する直線を設定し、設定した直線上に３次元点Ｌｐ１〜Ｌｐ３（複数の第２の３次元点の一例）を配置する。但し、３次元点Ｌｐ１は、計測点Ｌｐ１であるものとする。３次元点Ｌｐ１〜Ｌｐ３の配置手法は、例えば、等間隔となるような配置や、距離に応じた配置などが考えられるが、これらに限定されず、どのように配置してもよい。また、直線上に配置する３次元点Ｌｐ１〜Ｌｐ３の数は、複数であればいくつであってもよい。
【００３４】
ここで、直線上にある３次元点を１変数Ｘで表し、直線上の各３次元点の第２信頼度をＦ（Ｘ）で表すとすると、Ｆ（Ｘ）は、平均をＬｐ、分散をσとする正規分布を用いた数式（１）で表される。
【００３５】
【数１】
2015049200.tif 000003
【００３６】
なお、σはレーザセンサの計測精度の幅から算出される。例えば、レーザセンサの計測精度の幅をＷｌとすると、σをＷｌとすることができる。
【００３７】
この結果、レーザセンサの計測精度が高いほど、計測点との距離が近づくにつれ、隣接する第２の３次元点間の第２信頼度の差が大きくなり、３次元点Ｌｐ１〜Ｌｐ３の第２信頼度は、３次元点Ｌｐ１（計測点Ｌｐ１）を中心とした正規分布７１となる。
【００３８】
また、ａは第２信頼度の大きさを調整する変数であり、レーザの反射率（反射強度）から算出される。例えば、レーザの反射率をＲとすると、ａをＲとすることができる。
【００３９】
この結果、反射率が高いほど、第２信頼度が高くなる。
【００４０】
決定部２７は、第１算出部２３に算出された第１信頼度及び第２算出部２５に算出された第２信頼度を用いて、対象物体上の３次元点を決定する。
【００４１】
具体的には、決定部２７は、座標が対応する第１の３次元点及び第２の３次元点の第１信頼度と第２信頼度とを加算又は乗算した統合信頼度を算出し、当該統合信頼度が所定条件を満たす場合、第１の３次元点又は第２の３次元点を対象物体上の３次元点に決定する。
【００４２】
なお第１実施形態では、撮像部１１の座標系と計測部１３の座標系とを一致させるキャリブレーション、及び撮像部１１により複数の視点で撮像された複数の画像の座標系を一致させるキャリブレーションが行われているため、第１の３次元点及び第２の３次元点の座標系は一致している。このため、決定部２７は、座標が同一又は一定範囲内に収まる第１の３次元点及び第２の３次元点を、座標が対応する第１の３次元点及び第２の３次元点とすればよい。
【００４３】
また、第１信頼度をＣ１、第２信頼度をＣ２とすると、統合信頼度Ｃは、例えば、数式（２）や、数式（３）で求めることができる。
【００４４】
Ｃ＝ｓＣ１＋ｔＣ２      …（２）
【００４５】
Ｃ＝ｓＣ１Ｃ２      …（３）
【００４６】
なお、ｓは第１信頼度Ｃ１の重みであり、ｔは第２信頼度Ｃ２の重みである。ｓ及びｔの値は、例えば、Ｃ１＝Ｃ２ならｓ＝ｔ、Ｃ１＞Ｃ２ならｔ＝０などとすればよい。
【００４７】
また、統合信頼度が所定条件を満たす場合とは、統合信頼度が極大となる場合又は統合信頼度が閾値を超える場合などが挙げられるが、これらに限定されるものではない。
【００４８】
出力部２９は、決定部２７により決定された対象物体の３次元点の座標を出力する。
【００４９】
図５は、第１実施形態の計測装置１０で行われる処理の手順の流れの一例を示すフローチャート図である。
【００５０】
まず、取得部２１は、複数の視点から対象物体を撮像した複数の画像と、計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する（ステップＳ１０１）。
【００５１】
続いて、取得部２１は、取得した複数の画像の座標系を一致させるキャリブレーションを行う（ステップＳ１０３）。
【００５２】
続いて、第１算出部２３は、取得部２１により取得された複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、対象物体上の点であることの第１信頼度を算出する（ステップＳ１０５）。
【００５３】
続いて、第２算出部２５は、取得部２１により取得された距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する（ステップＳ１０７）。
【００５４】
続いて、決定部２７は、第１算出部２３に算出された第１信頼度及び第２算出部２５に算出された第２信頼度を用いて、対象物体上の３次元点を決定する（ステップＳ１０９）。
【００５５】
続いて、出力部２９は、決定部２７により決定された対象物体の３次元点の座標を出力する（ステップＳ１１１）。
【００５６】
以上のように第１実施形態では、複数の視点から対象物体を撮像した複数の画像を用いて算出した第１信頼度と、計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報を用いて算出した第２信頼度とに基づいて、対象物体上の３次元点を決定する。
【００５７】
このように第１実施形態では、信頼度の精度が対象物体のテクスチャに依存する第１信頼度に加え、信頼度の精度が対象物体のテクスチャに非依存の第２信頼度を用いて、対象物体上の３次元点を決定するので、対象物体のテクスチャによる３次元計測の精度の悪化の影響を排除でき、３次元計測の精度を高めることができる。
【００５８】
これにより、テクスチャがある領域と無い領域が混在するような対象物体であっても一度の計測で高精度な計測が可能となる。
【００５９】
なお、第１信頼度は、複数の画像の画素値に基づいて算出されるため、対象物体のテクスチャが無い場合（単色の場合）、精度が悪化しやすい。
【００６０】
（第２実施形態）
第２実施形態では、計測点に基づく画素値を更に用いて第２信頼度を算出する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００６１】
図６は、第２実施形態の計測装置１１０の一例を示す構成図である。図６に示すように、第２実施形態の計測装置１１０は、第２算出部１２５が、第１実施形態と相違する。
【００６２】
第２算出部１２５は、取得部２１により取得された複数の画像を更に用いて、第２信頼度を算出する。具体的には、第２算出部１２５は、撮像部１１が撮像した複数の視点のうち計測点の計測位置に対応する視点から撮像した画像上に当該計測点を投影して、当該画像上の投影点における画素値を算出し、当該画素値が高いほど、第２信頼度を高く算出する。
【００６３】
図７は、第２実施形態の第２信頼度の算出手法の一例の説明図である。
【００６４】
まず、計測部１３は、計測位置である自身の中心（距離センサの中心）１７０から対象物体の計測を行い、計測点Ｌｐ１を得ているとする。
【００６５】
ここで、第２算出部１２５は、距離センサの中心１７０と計測点Ｌｐ１とを通過する直線を設定し、直線上にある３次元点を１変数Ｘで表し、直線上の各３次元点の第２信頼度をＦ（Ｘ）で表すとすると、Ｆ（Ｘ）は、平均をＬｐ、分散をσとする正規分布を用いた数式（４）で表される。
【００６６】
【数２】
2015049200.tif 000004
【００６７】
なお、ｂは第２信頼度の大きさを調整する変数であり、計測点Ｌｐ１に基づく画素値から算出される。例えば、第２算出部１２５は、取得部２１により取得された時系列画像の中から、計測点Ｌｐ１の計測位置に対応する視点から撮像した画像１７１を選び、計測点Ｌｐ１を画像１７１に投影して、画像１７１上の投影点１７２を得る。そして第２算出部１２５は、投影点１７２の画素値からｂを算出する。例えば、投影点１７２の画素値をＰｌとすると、ｂをＰｌとすることができる。
【００６８】
この結果、画素値が大きいほど、第２信頼度が高くなる。なお、画素値としては、例えば、輝度値などが挙げられるが、これに限定されるものではない。
【００６９】
また、σ及びａについては、第１実施形態と同様である。
【００７０】
図８は、第２実施形態の計測装置１１０で行われる処理の手順の流れの一例を示すフローチャート図である。
【００７１】
まず、ステップＳ２０１〜Ｓ２０５までの処理は、図５に示すフローチャートのステップＳ１０１〜Ｓ１０５までの処理と同様である。
【００７２】
ステップＳ２０７では、第２算出部１２５は、取得部２１により取得された複数の画像及び距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する（ステップＳ２０７）。
【００７３】
以降のステップＳ２０９〜Ｓ２１１までの処理は、図５に示すフローチャートのステップＳ１０９〜Ｓ１１１までの処理と同様である。
【００７４】
以上のように第２実施形態では、複数の視点から対象物体を撮像した複数の画像、及び計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報を用いて、第２信頼度を算出するので、第２信頼度の精度をより高めることができ、３次元計測の精度を高めることができる。
【００７５】
（変形例１）
上記各実施形態では、撮像部１１及び計測部１３が接続されており、計測者が対象物体５０の周囲を移動しながら、撮像部１１による撮像及び計測部１３による計測を行う例について説明したが、撮像及び計測手法は、これに限定されるものではない。例えば、撮像部及び計測部が接続された装置を複数配置するようにしてもよい。
【００７６】
図９は、変形例１の撮像及び計測手法の一例の説明図である。図９に示す例では、撮像部１１−１及び計測部１３−１が接続された装置と、撮像部１１−２及び計測部１３−２が接続された装置とが、対象物体５０の周囲に配置されており、計測者が各装置を用いて撮像及び計測を行う。
【００７７】
変形例１では、撮像部の座標系と計測部の座標系とを一致させるキャリブレーションは、第１実施形態と同様である。但し、複数の異なる視点で撮像された時系列画像の各画像の座標系を一致させるキャリブレーションとしては、例えば、Zhengyou  Zhang,  “A  Flexible  New  Technique  for  Camera  Calibration,”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  volume  22,  issue  11,  pp.  1330-1334,  2000.のように、平面チェッカーパターンを全ての視点から撮影することによってキャリブレーションする手法などを用いることができる。
【００７８】
また例えば、撮像部及び計測部が別々の装置を複数配置するようにしてもよい。
【００７９】
図１０は、変形例１の撮像及び計測手法の他の例の説明図である。図１０に示す例では、撮像部１１−１及び計測部１３−１が接続された装置と、撮像部１１−２単独の装置と、計測部１３−２単独の装置とが、対象物体５０の周囲に配置されており、計測者が各装置を用いて撮像及び計測を行う。
【００８０】
変形例１の撮像及び計測手法によれば、画像を撮像する視点の数が増えるほど、計測精度が向上する。
【００８１】
（変形例２）
変形例２では、撮像部がマイクロレンズアレイを有する複眼カメラである場合について説明する。
【００８２】
図１１は、変形例２の撮像及び計測手法の一例の説明図である。図１１に示す例では、撮像部２１１及び計測部１３が接続されており、計測者が対象物体５０の周囲を移動しながら、撮像部２１１による撮像及び計測部１３による計測を行う。
【００８３】
図１２は、変形例２の撮像部２１１の一例を示す構成図である。図１２に示すように、撮像部２１１は、対象物体５０からの光を結像させるメインレンズ３１０と、マイクロレンズが複数配列されたマイクロレンズアレイ３１１と、光センサ３１２と、を含む撮像光学系を備える。
【００８４】
図１２に示す例では、メインレンズ３１０の結像面が、メインレンズ３１０及びマイクロレンズアレイ３１１の間（像面Ｅ）に位置するように、メインレンズ３１０が配置されている。
【００８５】
なお図示は省略するが、撮像部２１１は、光センサ３１２を駆動するセンサ駆動部も備えている。センサ駆動部は、外部からの制御信号に従い駆動制御される。
【００８６】
光センサ３１２は、マイクロレンズアレイ３１１の各マイクロレンズにより受光面に結像された光を電気信号に変換して出力する。光センサ３１２としては、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサや、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサなどを用いることができる。これらのイメージセンサでは、それぞれ画素に対応する受光素子が受光平面上にマトリクス状に並べられて構成され、受光素子それぞれの光電変換によって、光が各画素の電気信号に変換されて出力される。
【００８７】
撮像部２１１は、メインレンズ３１０上のある位置から、マイクロレンズアレイ３１１上のある位置に入射した光を、光センサ３１２で受光し、画素毎の画素信号を含む画像信号を出力する。このような構成の撮像部２１１は、ライトフィールドカメラやＰｌｅｎｏｐｔｉｃカメラという名称で知られている。
【００８８】
撮像部２１１は、一度の撮像で、複数の視点から撮像した複数の画像を得ることができる。
【００８９】
変形例２では、撮像部の座標系と計測部の座標系とを一致させるキャリブレーションは、第１実施形態と同様である。但し、複数の異なる視点で撮像された複数の画像の各画像の座標系を一致させるキャリブレーションには、マイクロレンズアレイを製造する際に定義された光学系を利用する。
【００９０】
（ハードウェア構成）
図１３は、上記各実施形態及び各変形例の計測装置のハードウェア構成の一例を示すブロック図である。図１３に示すように、上記各実施形態及び各変形例の計測装置は、ＣＰＵなどの制御装置９１と、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などの記憶装置９２と、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの外部記憶装置９３と、ディスプレイなどの表示装置９４と、マウスやキーボードなどの入力装置９５と、通信Ｉ／Ｆ９６と、可視カメラなどの撮像装置９７と、レーザセンサなどの計測装置９８とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
【００９１】
上記各実施形態及び各変形例の計測装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。また、上記各実施形態及び変形例の計測装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。また、上記各実施形態及び各変形例の計測装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。
【００９２】
上記各実施形態及び各変形例の計測装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置９１が外部記憶装置９３からプログラムを記憶装置９２上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【００９３】
以上説明したとおり、上記各実施形態及び各変形例によれば、３次元計測の精度を高めることができる。
【００９４】
なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【００９５】
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
【符号の説明】
【００９６】
１０、１１０  計測装置
１１、２１１  撮像部
１３  計測部
２１  取得部
２３  第１算出部
２５、１２５  第２算出部
２７  決定部
２９  出力部
【図１】
2015049200.tif 000005
【図２】
2015049200.tif 000006
【図３】
2015049200.tif 000007
【図４】
2015049200.tif 000008
【図５】
2015049200.tif 000009
【図６】
2015049200.tif 000010
【図７】
2015049200.tif 000011
【図８】
2015049200.tif 000012
【図９】
2015049200.tif 000013
【図１０】
2015049200.tif 000014
【図１１】
2015049200.tif 000015
【図１２】
2015049200.tif 000016
【図１３】
2015049200.tif 000017