(57)【要約】【課題】単眼カメラからの画像を用いて３Ｄモデルを作成する場合において、撮影対象の領域内を自由に移動することができ、高い精度の３Ｄモデルを作成することが可能な３Ｄモデル作成システムを提供することを目的とする。【解決手段】本発明にかかる３Ｄモデル作成システム（作成システム１００）の構成は、第１の移動体１１０と、第２の移動体１２０と、第１の移動体１１０および第２の移動体１２０それぞれに搭載される２つの単眼カメラ（第１単眼カメラ１３０ａ・第２単眼カメラ１３０ｂ）と、３Ｄモデルを作成する演算装置１４０と、を含み演算装置１４０は、第１の移動体１１０の単眼カメラによって撮影された画像から３Ｄモデルを作成し、第２の移動体１２０の単眼カメラによって撮影された画像と３Ｄモデルを照合して３Ｄモデルを修正することを特徴とする。【選択図】図１
2019212203.tif 000002
【特許請求の範囲】
【請求項１】
第１の移動体と、
第２の移動体と、
前記第１の移動体および前記第２の移動体それぞれに搭載される２つの単眼カメラと、
３Ｄモデルを作成する演算装置と、
を含み
前記演算装置は、
前記第１の移動体の単眼カメラによって撮影された画像から３Ｄモデルを作成し、
前記第２の移動体の単眼カメラによって撮影された画像と前記３Ｄモデルを照合して該３Ｄモデルを修正することを特徴とする３Ｄモデル作成システム。
【請求項２】
前記第１の移動体は走行体であり、前記第２の移動体は飛行体であることを特徴とする請求項１に記載の３Ｄモデル作成システム。
【請求項３】
当該３Ｄモデル作成システムは、前記走行体の上面に設けられた光源、および前記飛行体の下面に設けられた受光部をさらに含み、
前記演算装置は、前記光源からの光が前記受光部において受光されるよう前記飛行体の位置を制御することを特徴とする請求項２に記載の３Ｄモデル作成システム。
【請求項４】
前記第１の移動体および前記第２の移動体はともに走行体であり、
前記第１の移動体および前記第２の移動体は、前後にずれた状態で走行することを特徴とする請求項１に記載の３Ｄモデル作成システム。
【請求項５】
前記第１の移動体および前記第２の移動体のうち、前方を走行する走行体にはマーカが付されていて、
前記第１の移動体および前記第２の移動体のうち、後方を走行する走行体は、前記前方を走行する走行体のマーカを撮影しながら走行することを特徴とする請求項４に記載の３Ｄモデル作成システム。
【請求項６】
施設内を移動する第１の移動体と、
前記第１の移動体に搭載された単眼カメラと、
３Ｄモデルを作成する演算装置と、
を含み、
前記演算装置は、
前記施設内の機器配置の参照用３Ｄモデルを取得し、
前記第１の移動体の単眼カメラによって撮影された画像から３Ｄモデルを作成し、
前記参照用３Ｄモデルと前記作成した３Ｄモデルとを照合して該作成した３Ｄモデルを修正することを特徴とする３Ｄモデル作成システム。
【請求項７】
前記演算装置は、
前記第１の移動体の単眼カメラによって撮影された画像から前記第１の移動体の位置を算出し、
前記撮影された画像と前記修正された３Ｄモデルとを照合して前記位置を補正することを特徴とする請求項１から６のいずれか１項に記載の３Ｄモデル作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載された単眼カメラによって撮影された画像から３Ｄモデルを作成する３Ｄモデル作成システムに関する。
【背景技術】
【０００２】
移動体に搭載された単眼カメラからの画像を元に周囲空間や自己位置を推定する手法はＭｏｎｏｃｕｌａｒ  ＳＦＭ（Structure from Motion）やＭｏｎｏｃｕｌａｒ  ＶＯ（Visual Odometry）と呼ばれ、各所で研究が進められている。単眼カメラを用いた手法は、ステレオカメラを用いた手法に比べてカメラの台数が半分で済むので装置を小型化できるという長所がある。しかし一方で、単眼カメラを用いた手法は、ステレオカメラを用いた手法に比してカメラからの情報量も少なくなるため、作成する３Ｄモデルの精度や効率が低下するという短所がある。
【０００３】
上述した単眼カメラを用いた手法の短所を補う方法としては、例えば特許文献１では、回転するカメラを備えた外界認識装置が開示されている。特許文献１の外界認識装置では、例えば重機に単眼カメラを設置し、重機がある特定の回転中心と回転半径において単眼カメラを回転させることにより、単眼カメラによって撮像した画像から外界を認識している。
【先行技術文献】
【非特許文献】
【０００４】
【特許文献１】特開２０１６−１５６６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１によれば、単眼カメラのみで周囲の立体情報、３Ｄサーフェスを精度良く推定可能となるとしている。しかしながら、特許文献１の構成であると、予め定められた重機の軌道上においてでしか単眼カメラを移動させることができず、単眼カメラの動きが拘束されてしまう。すると、広大なエリア内を自由に移動して探索しようとする場合には特許文献１の技術を適用することができない。故に、特許文献１の技術には更なる改善の余地がある。
【０００６】
本発明は、このような課題に鑑み、単眼カメラからの画像を用いて３Ｄモデルを作成する場合において、撮影対象の領域内を自由に移動することができ、高い精度の３Ｄモデルを作成することが可能な３Ｄモデル作成システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明にかかる３Ｄモデル作成システムの代表的な構成は、第１の移動体と、第２の移動体と、第１の移動体および第２の移動体それぞれに搭載される２つの単眼カメラと、３Ｄモデルを作成する演算装置と、を含み演算装置は、第１の移動体の単眼カメラによって撮影された画像から３Ｄモデルを作成し、第２の移動体の単眼カメラによって撮影された画像と３Ｄモデルを照合して３Ｄモデルを修正することを特徴とする。
【０００８】
上記構成によれば、第１の移動体および第２の移動体を操作することにより、それらの移動体ひいてはそれらに搭載される単眼カメラを、撮影対象内の領域において自由に移動させることができる。したがって、撮影対象内の領域を詳細に撮影することができる。そして、第１の移動体に搭載された単眼カメラによって撮影された画像から３Ｄモデルを作成し、かかる３Ｄモデルを第２の移動体の単眼カメラによって撮影された画像によって修正することにより、３Ｄモデルの精度を高めることが可能となる。
【０００９】
上記第１の移動体は走行体であり、第２の移動体は飛行体であるとよい。かかる構成によれば、撮影対象の領域をより多角的に撮影することが可能となる。
【００１０】
当該３Ｄモデル作成システムは、走行体の上面に設けられた光源、および飛行体の下面に設けられた受光部をさらに含み、演算装置は、光源からの光が受光部において受光されるよう飛行体の位置を制御するとよい。これにより、第２の移動体である飛行体の水平方向の位置を好適に制御することが可能となる。
【００１１】
上記第１の移動体および第２の移動体はともに走行体であり、第１の移動体および第２の移動体は、前後にずれた状態で走行するとよい。かかる構成のように第１の移動体および第２の移動体がともに走行体である場合においても、上記と同様の効果が得られる。また２つの移動体の両方を走行体とすることにより、一方を飛行体とした場合に比してコストを削減することが可能となる。
【００１２】
上記第１の移動体および第２の移動体のうち、前方を走行する走行体にはマーカが付されていて、第１の移動体および第２の移動体のうち、後方を走行する走行体は、前方を走行する走行体のマーカを撮影しながら走行するとよい。かかる構成によれば、後方を走行する走行体が撮影した画像上のマーカを参照することにより、第１の移動体および第２の移動体の相対位置および相対距離を算出することができる。
【００１３】
上記課題を解決するために、本発明にかかる３Ｄモデル作成システムの他の構成は、施設内を移動する第１の移動体と、第１の移動体に搭載された単眼カメラと、３Ｄモデルを作成する演算装置と、を含み、演算装置は、施設内の機器配置の参照用３Ｄモデルを取得し、第１の移動体の単眼カメラによって撮影された画像から３Ｄモデルを作成し、参照用３Ｄモデルと前記作成した３Ｄモデルとを照合して作成した３Ｄモデルを修正することを特徴とする。
【００１４】
上記構成によっても、第１の移動体を操作することにより、第１の移動体ひいてはそれに搭載される単眼カメラを、撮影対象内の領域において自由に移動させることができる。そして、第１の移動体に搭載された単眼カメラによって撮影された画像から３Ｄモデルを作成し、かかる画像から作成された３Ｄモデルを、機器配置図等の設備情報を基に別途作成された参照用３Ｄモデルによって修正することにより、画像から作成された３Ｄモデルの精度を高めることが可能となる。特に、単眼カメラによって撮影された画像から作成された３Ｄモデルと、参照用３Ｄモデルとを照合することにより、機器配置図等の設備情報に存在しない未知物体が存在する場合に、その未知物体の３Ｄモデルの精緻化も可能となる。
【００１５】
上記演算装置は、第１の移動体の単眼カメラによって撮影された画像から第１の移動体の位置を算出し、撮影された画像と修正された３Ｄモデルとを照合して位置を補正することを特徴とする。かかる構成によれば、第１の移動体の位置を正確に把握することが可能となる。
【発明の効果】
【００１６】
本発明によれば、単眼カメラからの画像を用いて３Ｄモデルを作成する場合において、撮影対象の領域内を自由に移動することができ、高い精度の３Ｄモデルを作成することが可能な３Ｄモデル作成システムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態にかかる３Ｄモデル作成システムを説明する図である。
【図２】画像撮影時の第１の移動体および第２の移動体の状態を説明する図である。
【図３】第１実施形態における演算装置の処理について説明する図である。
【図４】第２実施形態にかかる３Ｄモデル作成システムを説明する図である。
【図５】第３実施形態における演算装置の処理について説明する図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１９】
（第１実施形態）
図１は、第１実施形態にかかる３Ｄモデル作成システム（以下、単に作成システム１００と称する）を説明する図である。図１に示すように、本実施形態にかかる作成システム１００は、第１の移動体１１０、第２の移動体１２０、２つの単眼カメラである第１単眼カメラ１３０ａ・第２単眼カメラ１３０ｂおよび演算装置１４０を含んで構成される。第１単眼カメラ１３０ａ・第２単眼カメラ１３０ｂは、第１の移動体１１０および第２の移動体１２０それぞれに搭載される。演算装置１４０は、３Ｄモデルを作成する。
【００２０】
図２は、画像撮影時の第１の移動体１１０および第２の移動体１２０の状態を説明する図である。第１実施形態において、第１の移動体１１０は走行体であり、第２の移動体１２０は飛行体である。第２の移動体１２０は、第１の移動体１１０から電源線１２２によって電力を供給される。このように、２つの移動体（第１の移動体１１０および第２の移動体１２０）として走行体および飛行体を用いることにより、図２に示すように、第１の移動体１１０によって撮影対象の領域を低い位置から撮影し、第２の移動体１２０によって測定対象の領域を高い位置から撮影することができる。したがって、撮影対象の領域をより多角的に撮影することが可能となる。
【００２１】
図２に示すように、第１実施形態の作成システム１００では、第１の移動体１１０である走行体の上面には光源１５２が設けられていて、第２の移動体１２０である飛行体の下面には受光部１５４が設けられている。演算装置１４０（図１参照）は、光源１５２からの光が受光部１５４において受光されるよう飛行体（第２の移動体１２０）の位置を制御する。
【００２２】
上記構成によれば、光源１５２からの光が受光部１５４において受光されている状態では、第２の移動体１２０は第１の移動体１１０の上方に正確に位置することとなる。したがって、第２の移動体１２０である飛行体の水平方向の位置を好適に制御することができ、第１の移動体１１０と第２の移動体１２０との位置関係を適切に把握することが可能となる。なお、両者の垂直方向の位置関係（高度差）は、両者を結ぶ電源線の長さまたは第２の移動体１２０に搭載した気圧計などのセンサによって把握することが可能である。
【００２３】
図３は、第１実施形態における演算装置１４０の処理について説明する図である。本実施形態では、演算装置１４０は、第１の移動体１１０の第１単眼カメラ１３０ａによって撮影された画像（図３（ａ）に示す２Ｄ画像）を用いて、図３（ｂ）に示す３Ｄモデルを作成する。図３（ｂ）に示すように３Ｄモデルを作成したら、演算装置１４０は、図３（ｃ）に示すように、第２単眼カメラ１３０ｂの視点に近似するよう３Ｄモデルの角度を修正する。
【００２４】
図３（ｄ）は、第２の移動体１２０の第２単眼カメラ１３０ｂによって撮影された画像（２Ｄ画像）である。上述したように３Ｄモデルの角度を修正したら、演算装置１４０は、図３（ｄ）に示す第２単眼カメラ１３０ｂによって撮影された画像と、図３（ｃ）に示す角度が修正された３Ｄモデルとを照合する。演算装置１４０の内部で行われる照合のイメージは図３（ｅ）に示すとおりである。
【００２５】
そして、演算装置１４０は、図３（ｃ）の画像の特徴点Ｐ１（黒丸で図示）が図３（ｄ）の画像の特徴点Ｐ２（白丸で図示）に近接するように図３（ｃ）の３Ｄモデルを修正する。これにより、図３（ｆ）に示すように、修正された３Ｄモデルが作成される。
【００２６】
上記説明したように、第１実施形態の作成システム１００によれば、第１の移動体１１０および第２の移動体１２０を操作することにより、それらの移動体ひいてはそれらに搭載される単眼カメラ（第１単眼カメラ１３０ａおよび第２単眼カメラ１３０ｂ）を、撮影対象内の領域において自由に移動させることができる。したがって、撮影対象内の領域を詳細に撮影することができ、３Ｄモデルを作成するための必要となる画像を十分得ることが可能となる。
【００２７】
そして、演算装置１４０において、第１単眼カメラ１３０ａによって撮影された画像を基に３Ｄモデルを作成し、かかる３Ｄモデルを第２単眼カメラ１３０ｂによって撮影された画像によって修正する。これにより、第１単眼カメラ１３０ａによって撮影された画像のみによって３Ｄモデルを作成する場合に比して、高い精度の３Ｄモデルを得ることが可能となる。
【００２８】
また、通常は第１の移動体１１０上に第２の移動体１２０を搭載することで撮影対象内の領域を移動し、第１単眼カメラ１３０ａにより撮影された画像から３Ｄモデルを作成するだけで修正は行わず、または、第２の移動体１２０が第１の移動体１１０上に搭載された位置から第２単眼カメラ１３０ｂで撮影された画像で３Ｄモデルを修正することができる。これにより、高さ制限があるような狭隘な場所でも自由に移動できる。そして、３Ｄモデルの精度を向上させたい場合には適宜第２の移動体１２０を上昇させて、第２単眼カメラ１３０ｂで撮影された画像で３Ｄモデルを修正すればよい。したがって、撮影対象内の領域を制限なく自由に移動できるため様々な箇所を漏れなく３Ｄモデル化でき、かつ、必要に応じて３Ｄモデルを精緻に修正することができる。
【００２９】
更に、必要に応じて、第２の移動体１２０を上昇させて第１の移動体１１０を撮影することにより、第１の移動体１１０の周囲の障害物の状況を確認することができる。これにより、障害物が多い場所の調査において、第１の移動体１１０の１３０ａでは死角になってしまう側方や後方にある障害物の状況を確認することが可能になり、運用の安全性が向上する。
【００３０】
（第２実施形態）
図４は、第２実施形態にかかる３Ｄモデル作成システム（以下、作成システム２００と称する）を説明する図である。なお、以降の実施形態において、先に説明した実施形態と共通する構成要素については、同一の符号を付すことにより説明を省略する。
【００３１】
図４（ａ）に示すように、第２実施形態の作成システム２００は、第２の移動体１２０が飛行体ではなく走行体である点において第１実施形態の作成システム１００と異なる。すなわち第２実施形態の作成システム２００では、第１の移動体１１０および第２の移動体１２０ともに走行体である。
【００３２】
上記構成のように、第１の移動体１１０および第２の移動体１２０がともに走行体である場合においても、第１実施形態の作成システム１００と同様に、第１の移動体１１０および第２の移動体１２０ひいてはそれらに搭載される単眼カメラ（第１単眼カメラ１３０ａおよび第２単眼カメラ１３０ｂ）を、撮影対象内の領域において自由に移動させることができる。また２つの移動体の両方を走行体とすることにより、一方を飛行体とした場合に比してコストを削減することが可能となる。
【００３３】
第２実施形態の作成システム２００では、図４（ａ）に示すように、第１の移動体１１０および前記第２の移動体１２０は、前後にずれた状態で走行する。これにより、撮影対象の領域を異なる２つの角度から効率的に撮影することができる。以下、第１の移動体１１０および前記第２の移動体１２０のうち、第１の移動体１１０が前方を走行する走行体であり、第２の移動体１２０が後方を走行する走行体であることを想定して説明する。
【００３４】
特に第２実施形態の作成システム２００では、図４（ｂ）に示すように、第１の移動体１１０および第２の移動体１２０のうち、前方を走行する走行体である第１の移動体１１０にはマーカ２０２が付されている。そして、第１の移動体１１０および第２の移動体１２０のうち、後方を走行する走行体である第２の移動体１２０は、前方を走行する第１の移動体のマーカ２０２を撮影しながら走行する。
【００３５】
具体的には、図４（ｂ）に示すように、前方を移動する走行体である第１の移動体１１０には、１辺の長さがｘである正方形のマーカ２０２が付されている。図４（ｃ）は、後方を走行する走行体が撮影した画像を例示する図である。図４（ｃ）に例示する画像では、第１の移動体１１０に付されたマーカ２０２の２つの側辺の長さがａおよびｂであり、上辺の長さがｃとなっている。
【００３６】
したがって、上記構成によれば、実際のマーカ２０２の長さと、後方を走行する走行体（第２の移動体１２０）が撮影した画像上のマーカ２０２の各辺の長さの比を演算装置１４０（図１参照）において参照すれば、第１の移動体１１０および第２の移動体１２０の相対位置および相対距離を算出することが可能となる。なお、演算装置１４０における３Ｄモデルの作成については、第１実施形態と同様であるため説明を省略する。
【００３７】
なお、第２実施形態では、第１の移動体１１０の第１単眼カメラ１３０ａおよび第２の移動体１２０の第２単眼カメラ１３０ｂの両方を使用して撮影を行う運用方法について説明したが、これに限定するものではない。例えば、いずれか一方の移動体の単眼カメラで充分な撮影を行うことが可能であれば、他方の移動体の単眼カメラによって一方の移動体を離れた位置から撮影してもよい。これにより、一方の移動体の周囲の障害物の状況を確認することができる。したがって、障害物が多い場所の調査において、一方の移動体の単眼カメラでは死角になってしまう側方や後方にある障害物の状況を確認することが可能になり、運用の安全性が向上する。
【００３８】
（第３実施形態）
第３実施形態の３Ｄモデル作成システム（以下、単に作成システムと称する）は、２つの移動体ではなく、第１の移動体１１０のみを備える。第１の移動体１１０は、第１実施形態の作成システム１００で例示した走行体または飛行体のどちらでもよい。そして、本実施形態では、機器配置図面が入手できる等、機器配置に係る設備情報が事前に判明している施設を測定対象とすることを特徴とする。
【００３９】
図５は、第３実施形態における演算装置１４０の処理について説明する図である。第３実施形態の作成システムでは、演算装置１４０は、まず図５（ａ）に示す測定対象の施設内の機器配置図等の設備情報を参照し、図５（ｂ）に示す機器配置の３Ｄモデル（参照用３Ｄモデル）を取得する。図５（ａ）に示す例では、施設内には、制御盤１および２からなる２つの制御盤が設置されている。制御盤１および２の幅はともにｄであり、制御盤１および２の間隔はｅである。
【００４０】
次に、演算装置１４０は、図３（ａ）に示す第１の移動体１１０の第１単眼カメラ１３０ａによって撮影された画像（２Ｄ画像）を用いて、図５（ｃ）に示す３Ｄモデルを作成する。第１単眼カメラ１３０ａの画像を基に３Ｄモデルを作成したら、演算装置１４０は、図５（ｂ）に示す機器配置の参照用３Ｄモデルと、図５（ｃ）に示す第１単眼カメラ１３０ａの画像から作成された３Ｄモデルとを照合する。演算装置１４０の内部で行われる照合のイメージは図５（ｄ）に示すとおりである。
【００４１】
そして、演算装置１４０は、図５（ｃ）の画像の特徴点Ｐ４（黒丸で図示）が図５（ｂ）の画像の特徴点Ｐ３（白丸で図示）に近接するように図５（ｃ）の３Ｄモデルを修正する。これにより、図５（ｅ）に示すように、修正された３Ｄモデルが作成される。
このように、第３実施形態の作成システムによれば、事前に判明している機器配置の参照用３Ｄを利用することにより、第１の移動体１１０の第１単眼カメラ１３０ａによって撮影された画像を用いて作成した３Ｄモデルの精度を飛躍的に高めることが可能となる。
【００４２】
また第３実施形態のように機器配置の参照用３Ｄモデルを利用する手法によれば、機器配置図等に存在しない未知物体が現場に存在する場合に、その未知物体の３Ｄモデルの精緻化も可能となる。例えば、図５（ｃ）〜（ｅ）では、２つの制御盤１および２の間に、機器配置図には存在しない未知物体Ｘが存在していることがわかる。ここで、図５（ｃ）に示されるように、第１単眼カメラ１３０aの画像から未知物体Ｘについても３Ｄモデルが作成される。そして、図５（ｅ）に示すように機器配置図に存在する制御盤１および２の３Ｄモデルを修正するに合わせて未知物体Ｘの３Ｄモデルも修正される。加えて、２つの制御盤１および２の間隔ｅが機器配置図等から明らかであるため、間隔ｅと未知物体の幅ｘとの比を算出することにより、未知物体ｘの幅を把握することが可能となる。
【００４３】
（第４実施形態）
第４実施形態の３Ｄモデル作成システムは、上記実施形態に加えて、演算装置１４０が、第１の移動体１１０の単眼カメラ１３０ａによって撮影された画像から第１の移動体１１０の位置を算出し、さらに撮影された画像と上述のように修正された３Ｄモデルとを照合して第１の移動体１１０の位置を補正することを特徴とする。
【００４４】
具体的には、算出された位置から、修正された３Ｄモデルにおいて見えるはずの画像を生成する（生成画像）。そして、撮影された画像と生成画像を照合すると各特徴点において位置ずれが生じている可能性がある。この位置ずれを小さくするように第１の移動体１１０の位置を補正することで第１の移動体１１０の正確な位置を把握することができる。
【００４５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００４６】
本発明は、移動体に搭載された単眼カメラによって撮影された画像から３Ｄモデルを作成する３Ｄモデル作成システムとして利用することができる。
【符号の説明】
【００４７】
Ｐ１…特徴点、Ｐ２…特徴点、１００…作成システム、１１０…第１の移動体、１２０…第２の移動体、１２２…電源線、１３０ａ…第１単眼カメラ、１３０ｂ…第２単眼カメラ、１４０…演算装置、１５２…光源、１５４…受光部、２００…作成システム、２０２…マーカ
【図１】
2019212203.tif 000003
【図２】
2019212203.tif 000004
【図３】
2019212203.tif 000005
【図４】
2019212203.tif 000006
【図５】
2019212203.tif 000007