(57)【要約】【課題】３次元点の各々に対応する画像の画素位置を精度良く決定することができる。【解決手段】点群画素位置決定部２６が、入力された、物体の表面上の位置を表す３次元点の集合である３次元点群と、カメラにより撮影された画像と、画像の各画素におけるデプスとに基づいて、３次元点群の３次元点の各々に対応する画像の画素位置を決定する。点群色決定部２８が、３次元点群の３次元点の各々に対応する画像の画素位置に基づいて、３次元点群の３次元点の各々に付与する色を決定する。【選択図】図１
2018096826.tif 000002
【特許請求の範囲】
【請求項１】
入力された、物体の表面上の位置を表す３次元点の集合である３次元点群と、カメラにより撮影された画像と、前記画像の各画素におけるデプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する点群画素位置決定部
を含む点群画素位置決定装置。
【請求項２】
前記点群画素位置決定部は、前記３次元点群の３次元点の各々に対応する前記画像の画素位置のデプスの尤度を考慮して、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する請求項１記載の点群画素位置決定装置。
【請求項３】
前記点群画素位置決定部は、複数の３次元点の幾何的な関係、及び前記複数の３次元点に対応する画素位置の幾何的な関係の整合性を考慮して、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する請求項１又は２記載の点群画素位置決定装置。
【請求項４】
前記点群画素位置決定部によって決定された前記３次元点群の３次元点の各々に対応する前記画像の画素位置に基づいて、前記３次元点群の３次元点の各々に付与する色を決定する点群色決定部を更に含む請求項１〜請求項３の何れか１項記載の点群画素位置決定装置。
【請求項５】
点群画素位置決定部が、入力された、物体の表面上の位置を表す３次元点の集合である３次元点群と、カメラにより撮影された画像と、前記画像の各画素におけるデプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する
点群画素位置決定方法。
【請求項６】
前記点群画素位置決定部が決定することでは、複数の３次元点の幾何的な関係、及び前記複数の３次元点に対応する画素位置の幾何的な関係の整合性を考慮して、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する請求項５記載の点群画素位置決定方法。
【請求項７】
点群色決定部が、前記点群画素位置決定部によって決定された前記３次元点群の３次元点の各々に対応する前記画像の画素位置に基づいて、前記３次元点群の３次元点の各々に付与する色を決定することを更に含む請求項５又は６記載の点群画素位置決定方法。
【請求項８】
コンピュータを、請求項１〜請求項４の何れか１項に記載の点群画素位置決定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点群画素位置決定装置、方法、及びプログラムに係り、特に、３次元点の各々に対応する画像の画素位置を決定する点群画素位置決定装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、三次元物体と画像に写った対象物体のそれぞれからコーナーやエッジといった物体を表現する形状情報（境界や輪郭、コーナー等）を検出し、画像においても検出した形状情報と一致するように、カメラパラメータ（投影方法）を推定する技術が知られている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Philip David, Daniel DeMenthon, Ramani Duraiswami, and Hanan Samet,"SoftPOSIT: Simultaneous Pose and Correspondence Determination", International Journal of Computer Vision (2004).
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載の技術によれば、CADモデルを利用する工場のラインのような制御された環境下においては、計測ノイズの影響が少なくて物体の形状情報を正確に取得することが出来るため、この手法は有効であると考えられる。
【０００５】
しかし、屋外の環境下でかつ移動体の上に載せたレーザセンサを使用する場合には、計測した点群に計測誤差が大きく発生するために、物体の境界やコーナーの位置情報を正確に抽出すること自体が難しいという技術課題がある。
【０００６】
本発明は上記課題を考慮してなされたものであり、３次元点の各々に対応する画像の画素位置を精度良く決定する点群画素位置決定装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の点群画素位置決定装置は、入力された、物体の表面上の位置を表す３次元点の集合である３次元点群と、カメラにより撮影された画像と、前記画像の各画素におけるデプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する点群画素位置決定部を含んで構成されている。
【０００８】
本発明の点群画素位置決定方法は、点群画素位置決定部が、入力された、物体の表面上の位置を表す３次元点の集合である３次元点群と、カメラにより撮影された画像と、前記画像の各画素におけるデプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する。
【０００９】
また、本発明のプログラムは、コンピュータを、上記の点群画素位置決定装置の各部として機能させるためのものである。
【発明の効果】
【００１０】
本発明によれば、３次元点群と、カメラにより撮影された画像の各画素におけるデプスとに基づいて、３次元点群の３次元点の各々に対応する画像の画素位置を決定することにより、３次元点の各々に対応する画像の画素位置を精度良く決定することができる、という効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の点群画素位置決定装置の概略構成の一例を示す構成図である。
【図２】本実施形態の点群画素位置決定装置により実行される点群画素位置決定処理の流れの一例を示すフローチャートである。
【図３】３次元の幾何的な関係性との整合性を考慮した位置決めの一例を示す図である。
【図４】仮想画像の画素の色を算出する方法を説明するための図である。
【図５】（Ａ）透視投影行列を説明するための図、（Ｂ）物体の３次元点に背景色が対応付いてしまう例を示す図、及び（Ｃ）デプス情報を考慮して対応画素を決定する場合の問題点を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。
【００１３】
［発明の概要］
まず、本発明の実施の形態における概要を説明する。
【００１４】
レーザーで計測した３次元点群の色付けを行う場合、従来技術では、３次元点群を描画可能な専用ソフトを用いて、手動調整によりカメラの画素と点群の対応付けをしているがコストがかかる。また、手動調整であってもレンズの歪みの影響で、部分的には正しく対応付けすることが可能であるが、レンズ周辺部分などの画素位置においては正しくない色がつきやすい。
【００１５】
例えば、計測時の振動やレンズ歪みの影響により、カメラキャリブレーションで求めた透視投影行列の信頼度が低い場合（図５（Ａ）参照）、多眼カメラで推定したデプス情報は、分解能が粗いため正確な対応付け困難であり、微小なずれにより、物体上の３次元点に、背景の画素の色が対応付いてしまうことがある（図５（Ｂ）参照）。ここで、図５（Ｃ）に示すように、デプス情報を考慮することにより、空（背景）と標識（前景）のように、大きなデプスの違いがある物体同士を誤って対応付けることは抑制できる。
しかしながら、対応画素の範囲（標識の内部の画素（円形領域））が絞られても、多眼カメラで求めたデプスは分解能が粗いため、円形内部のデプスがほぼ等しいデプスと推定されるため、多眼カメラにより推定したデプスを用いて、３次元点群が円形のどの位置に対応するか正確に求めることができない。
【００１６】
そこで、本発明の実施の形態では、多眼カメラ側のデプス情報を用いることで、背景に存在する物体の色をつくことを防ぐと共に、近傍の３次元点群との幾何的な関係性の整合性を２次元画像上でもなるべく保存するように画素位置を決定する。また、画素位置を決定し、実際の色は仮想視点を生成する際に、カメラ視点位置に近い色を使用する。
【００１７】
［実施形態の概説］
本実施形態の点群画素位置決定装置は、物体の表面上の位置を表す３次元点の集合である３次元点群と、ステレオカメラにより撮影された複数の画像とを入力として、３次元点の各々に対応する画像の画素位置を決定することを目的とするものである。
【００１８】
本実施形態における３次元情報とは、緯度、経度、及び海抜（高さ）情報でもよいし、ユーザーが設定した特定の位置を原点とした３次元ユークリッド座標系でも極座標系でもよい。以下の例では、ユーザーが設定した原点における３次元ユークリッド座標系（各方向をＸ，Ｙ，Ｚ座標とする）を想定する。各座標の単位はメートル（ｍ）やセンチメートル（ｃｍ）、及びミリメートル（ｍｍ）で表現するが、他の単位でもよい。
【００１９】
３次元点とは、各点に上記の３次元座標に、その点群が撮影された時刻や、レーザーの反射強度等が付与されている点である。３次元点に付与される情報に制限はないが、少なくとも位置情報（Ｘ，Ｙ，Ｚ座標）と時刻が付与されたものであり、３次元点群とはその３次元点が２点以上集まった集合である。
【００２０】
＜本実施形態の点群画素位置決定装置１００の構成＞
次に、本発明の実施形態の点群画素位置決定装置の構成について説明する。
【００２１】
図１に示すように、本実施形態の点群画素位置決定装置１００は、レーザー計測部１０、多眼カメラ計測部１２、演算部２０、及び画像表示部９０を備えている。
【００２２】
レーザー計測部１０は、３次元点群を計測する装置であり、物体の表面上の位置を表す３次元点の集合である３次元点群を計測する。レーザー計測部１０は、レーザースキャナ又はレーザーレンジファインダであり、例えば、レーザースキャナをＧＰＳが搭載された車の上等に搭載し、移動しながら計測することで、屋外の環境の地物を被写体とし、例えば、ガードレール、道路地面、ケーブル、及び建物等であり、これら被写体表面の３次元位置を計測する。本実施形態では、３次元点群を計測する装置として、車上にＧＰＳとレーザースキャナとが搭載されているＭＭＳ（Mobile Mapping System）を想定している。
【００２３】
なお、３次元点群を計測する装置は、超音波センサ、マイクロソフト社のＫｉｎｅｃｔ（登録商標）のような赤外線センサ、または超音波センサ等、被写体とセンサとの距離を測定可能な装置であってもよい。
【００２４】
多眼カメラ計測部１２は、レーザー計測部１０による計測と共にステレオカメラにより複数の視点から撮影した複数のカメラ画像を出力する。なお、ステレオカメラではなく、ライトフィールドカメラを用いてもよい。
【００２５】
演算部２０は、レーザー計測情報記憶部２２、カメラ画像情報記憶部２４、点群画素位置決定部２６、及び点群色決定部２８を備えている。
【００２６】
レーザー計測情報記憶部２２は、レーザー計測部１０により計測された３次元点群を記憶している。
【００２７】
カメラ画像情報記憶部２４は、レーザー計測部１０による計測と共に多眼カメラ計測部１２のステレオカメラによって撮影された複数のカメラ画像が記憶されている。複数のカメラ画像には、撮影時に得られたカメラパラメータ（焦点距離、撮影位置、カメラ姿勢、撮影時刻）が付与されている。なお、撮影位置は、GPS情報から得られる。
【００２８】
点群画素位置決定部２６は、カメラ画像情報記憶部２４に記憶されている複数のカメラに基づいて、各カメラ画像の各画素におけるデプスを算出し、レーザー計測情報記憶部２２に記憶されている３次元点群と、カメラ画像情報記憶部２４に記憶されている複数のカメラ画像と、各カメラ画像の各画素におけるデプスとに基づいて、各カメラ画像について、３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置を決定する。
【００２９】
具体的には、点群画素位置決定部２６は、計測した時刻と撮影時刻が対応している、３次元点群及び複数のカメラ画像を入力として、カメラ画像毎に、３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置の尤度と、複数の３次元点の幾何的な関係、及び複数の３次元点に対応する画素位置の幾何的な関係の整合性とを考慮して、３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置を決定する。
【００３０】
点群色決定部２８は、点群画素位置決定部２６によって各カメラ画像について決定された３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置に基づいて、３次元点群の３次元点の各々に付与する色を決定する。また、点群色決定部２８は、仮想的な視点から３次元点群を見たときの仮想画像を生成する。
【００３１】
画像表示部９０は、点群色決定部２８によって生成された仮想画像を表示する。
【００３２】
なお、本実施形態の点群画素位置決定装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する点群画素位置決定処理を実行するためのプログラムや各種データを記憶したＲＯＭと（Read Only Memory）、を含むコンピュータで構成することが出来る。本実施形態のＣＰＵがプログラムを実行することにより、演算部２０が有する各部として機能する。
【００３３】
＜本実施形態の点群画素位置決定装置１００の動作＞
次に、本実施形態の点群画素位置決定装置１００の動作について説明する。
【００３４】
まず、各時刻において、レーザー計測部１０によって３次元点群を計測すると共に、多眼カメラ計測部１２のステレオカメラによって撮影し、得られた３次元点群がレーザー計測情報記憶部２２に格納されると共に、撮影時に得られたカメラパラメータが付与された複数のカメラ画像がカメラ画像情報記憶部２４に記憶される。
【００３５】
次に、図２に示すように、本実施形態の点群画素位置決定装置１００において、点群画素位置決定処理が実行される。
【００３６】
ステップＳ１００で、処理対象時刻について、レーザー計測情報記憶部２２に記憶されている３次元点群を取得すると共に、カメラ画像情報記憶部２４に記憶されている複数のカメラ画像及びカメラパラメータを取得する。
【００３７】
ステップＳ１０２では、上記ステップＳ１００で取得した複数のカメラ画像及びカメラパラメータに基づいて、各カメラ画像の各画素のデプスを推定する。
【００３８】
ステップＳ１０４では、各カメラ画像について、上記ステップＳ１００で取得したカメラパラメータから、透視投影行列を算出し、透視投影行列に基づいて、上記ステップＳ１００で取得した３次元点群の各３次元点の、当該カメラ画像の対応する画素位置を推定する。
【００３９】
ステップＳ１０６では、各カメラ画像について、上記ステップＳ１０２で推定された当該カメラ画像の各画素のデプスと、上記ステップＳ１０４で推定された各３次元点の、当該カメラ画像の対応する画素位置とに基づいて、以下の（１）式に示すエネルギー関数Ｅを最適化するような、各３次元点の、当該カメラ画像の対応する画素位置Ｉuvを推定する。ここでＩuvは２次元ベクトルであり、カメラ画像の2次元座標の成分[u,v]で構成される。
【００４０】
【数１】
2018096826.tif 000003
・・・（１）
2018096826.tif 000004
2018096826.tif 000005
2018096826.tif 000006
【００４１】
ただし、α、βは、実験的に決めるパラメータであり、
2018096826.tif 000007
は、デプスに関して３次元点ｐiが画素位置Ｉ（ｕ，ｖ）である尤度を表し、デプスが近い程、尤度は大きくなる（最大1.0）。また、Ｈ（ｐi，ｐj）は、3次元点ｐiと3次元点ｐjとの幾何的な関係、及び3次元点ｐiと3次元点ｐjに対応するカメラ画像上での画素位置の幾何的な関係の整合性に応じたペナルティ項であり、3次元点ｐiと3次元点ｐjとの幾何的な関係が、対応する画素位置の幾何的な関係と近い程、大きな値になる（最大1.0）。ｑi，ｑjは、３次元点ｐi，ｐjを透視投影した際に求めた２次元画素位置（２次元ベクトル）である。また、Ｃ（ｐi，Ｉuv）は、透視投影行列に基づいて３次元点ｐiの画素位置と、対応する画素位置Ｉuvとの距離が近いほど、大きな値になる。
【００４２】
また、ｄｅｐｔｈ（ｐi）は、カメラ視点から３次元点ｐiまでの光軸方向の距離であり、
2018096826.tif 000008
は、3次元点ｐiが対応する画素位置Ｉuvにおけるデプス（光軸方向の距離）である。
【００４３】
上記（１）式に示すエネルギー関数を最適化問題として解けばよい。例えば、反復条件付きモード(ICM:iterated conditional modes)や確率伝搬法（belief propagation）を用いることで最適解が得られる。これにより、図３に示すように、デプスの尤度が高く、かつ、近傍の３次元点群との幾何的な関係性の整合性も担保するように、各３次元点に対応する画素位置を決定する。
【００４４】
なお、エネルギー関数は、上記の（１）式に限定されるものではなく、以下の（２）式であってもよい。
【００４５】
【数２】
2018096826.tif 000009
・・・（２）
【００４６】
透視投影行列の精度がよい場合には、上記の（１）式のように、Ｃ（ｐi，Ｉuv）の項を残したほうが良い。
【００４７】
そして、ステップＳ１０８では、上記ステップＳ１０６で各カメラ画像について推定された各３次元点の、当該カメラ画像の対応する画素位置に基づいて、各３次元点に付与する色を決定し、仮想的な視点から見た仮想画像を生成し、画像表示部９０により表示する。
【００４８】
例えば、まず、ステレオカメラが複数のカメラから構成されている場合、仮想的な視点に近いＮ個のカメラを検出する。例えば、距離がＴＨd[m]以下のカメラを検出する。そして、仮想的な視点の光軸とカメラの光軸とのなす角度、又は仮想的な視点とカメラ位置との距離に応じた重みを、検出されたカメラ毎に決定する（図４参照）。このとき、仮想的な視点の光軸とカメラの光軸とのなす角度が小さいほど、又は仮想的な視点とカメラ位置との距離が近いほど、当該カメラの重みを大きくする。
【００４９】
そして、仮想画像における、３次元点を表わす画素位置(u,v)毎に、決定された各カメラｋの重みと、当該３次元点に対応するカメラｋの画素位置(u’,v’)の色ＲＧＢ(k)とに基づいて、仮想画像の画素位置(u,v)の色ＲＧＢ(u,v)を、以下の（３）式に従って算出する。
【００５０】
【数３】
2018096826.tif 000010
・・・（３）
【００５１】
ただし、重みｗkは、以下のいずれか一方の式に従って算出される。また、色ＲＧＢ(u,v)は、具体的には[r（赤）,g（緑）,b（青）]の３原色の色の成分の大きさを並べた３次元ベクトルとする。
【００５２】
【数４】
2018096826.tif 000011
2018096826.tif 000012
【００５３】
ここで、θは、仮想的な視点の光軸とカメラの光軸とのなす角度であり、ｄは、仮想的な視点とカメラ位置との距離である。
【００５４】
例えば、上記図４の例で、仮想画像のある画素が示す３次元点に対応する画素の色が、カメラ番号１では、太陽光との向きの影響で薄暗い赤色であり、カメラ番号２では、太陽光との向きの影響で明るい赤色である場合、仮想的な視点が、カメラ１から２に近づくほど、仮想画像の当該画素は、明るい色と推定される。
【００５５】
以上説明したように、本実施形態に係る点群画素位置決定装置によれば、３次元点群と、カメラ画像の各画素におけるデプスとに基づいて、３次元点群の３次元点の各々に対応するカメラ画像の画素位置のデプスの尤度と、複数の３次元点の幾何的な関係、及び複数の３次元点に対応する画素位置の幾何的な関係の整合性とを考慮して、３次元点群の３次元点の各々に対応するカメラ画像の画素位置を決定することにより、３次元点の各々に対応するカメラ画像の画素位置を精度良く決定し、３次元点の各々に精度良く色を付与することができる。
【００５６】
なお、本実施形態は一例であり、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。
【００５７】
例えば、複数のカメラにより撮影された複数の画像に基づいて、カメラ画像の各画素のデプスを推定したが、これに限定されるものではない。他のセンサを用いて、カメラ画像の各画素のデプスを推定してもよい。この場合には、複数のカメラではなく、１つのカメラのカメラ画像を入力としてもよい。
【００５８】
また、エネルギー関数において、３次元点群の３次元点の各々に対応するカメラ画像の画素位置のデプスの尤度だけを考慮するようにしてもよい。例えば、エネルギー関数Ｅを、上記（１）式又は（２）式から、Ｈ（ｐi，ｐj）の項を除いて構成してもよい。
【００５９】
また、エネルギー関数において、複数の３次元点の幾何的な関係、及び複数の３次元点に対応する画素位置の幾何的な関係の整合性だけを考慮するようにしてもよい。例えば、エネルギー関数Ｅを、上記（１）式又は（２）式から、Ｄ（ｐi，Ｉuv）の項を除いて構成してもよい。
【符号の説明】
【００６０】
１０   レーザー計測部
１２   多眼カメラ計測部
２０   演算部
２２   レーザー計測情報記憶部
２４   カメラ画像情報記憶部
２６   点群画素位置決定部
２８   点群色決定部
９０   画像表示部
１００ 点群画素位置決定装置
【図１】
2018096826.tif 000013
【図２】
2018096826.tif 000014
【図３】
2018096826.tif 000015
【図４】
2018096826.tif 000016
【図５】
2018096826.tif 000017