(57)【要約】【課題】物の移動、物とカメラの位置関係に関わらず、３次元立体モデルの生成のための十分な情報を取得することができる無人飛行体、情報処理装置、画像情報取得方法、画像情報取得プログラムを提供すること。【解決手段】複数のプロペラの回転によって推力を得て飛行しつつ、画像情報を取得する無人飛行体１は、無人飛行体１における異なる位置に固定され、視野範囲が重複する少なくとも３台のカメラ１２Ａ等と、空中の異なる位置において、撮影対象を少なくとも３台のカメラ１２Ａ等によって同時に撮影して画像情報を取得する画像情報取得手段と、を有する。【選択図】図１
2019158515.tif 000002
【特許請求の範囲】
【請求項１】
複数のプロペラの回転によって推力を得て飛行しつつ、画像情報を取得する無人飛行体であって、
前記無人飛行体における異なる位置に固定され、視野範囲が重複する少なくとも３台のカメラと、
空中の異なる位置において、撮影対象を前記少なくとも３台のカメラによって同時に撮影して画像情報を取得する画像情報取得手段と、
を有する無人飛行体。
【請求項２】
前記少なくとも３台のカメラは、それぞれ、前記無人飛行体の外端部近傍に配置された前記プロペラの外側に固定されている、
請求項１に記載の無人飛行体。
【請求項３】
請求項１または請求項２に記載の無人飛行体によって取得した前記画像情報に基づいて、３次元立体モデルを生成する３次元モデル生成手段を有する、情報処理装置。
【請求項４】
前記３次元モデル生成手段は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）画像処理方法を用いることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
視野範囲が重複する少なくとも３台のカメラを異なる位置に固定しており、
複数のプロペラの回転によって推力を得て飛行しつつ、画像情報を取得する無人飛行体が、
空中の異なる位置において、撮影対象を前記少なくとも３台のカメラによって同時に撮影して画像情報を取得する画像情報取得方法。
【請求項６】
視野範囲が重複する少なくとも３台のカメラを異なる位置に固定しており、
複数のプロペラの回転によって推力を得て飛行しつつ、画像情報を取得する無人飛行体を制御するコンピュータを、
空中の異なる位置において、撮影対象を前記少なくとも３台のカメラによって同時に撮影して画像情報を取得する画像情報取得手段として機能させるための画像情報取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無人飛行体、情報処理装置、画像情報取得方法、画像情報取得プログラムに関するものである。
【背景技術】
【０００２】
一般的に、空中写真測量を行う際の写真撮影は、垂直写真の方法が採られている。１台のカメラを垂直に取り付けた航空測量専用の航空機が使用され、高度計で飛行の高さを一定に保持し、撮影位置を確認しながら撮影が行われる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−０５４７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
写真測量による地表面の３次元立体モデルの生成のための処理は、物が動かないことを前提としている。ところが、地表面（構造物を含む）を撮影するときに、電線などの構造物が風などの外力を受けて動く場合がある。また、物とカメラの位置関係によっては、複数の画像間の視差が小さくなり、その物を含む撮影対象の形状を計算するための十分な情報を取得できない場合もある。
【０００５】
本発明はかかる問題の解決を試みたものであり、物の移動、物とカメラの位置関係に関わらず、３次元立体モデルの生成のための十分な情報を取得することができる無人飛行体、情報処理装置、画像情報取得方法、画像情報取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第一の発明は、複数のプロペラの回転によって推力を得て飛行しつつ、画像情報を取得する無人飛行体であって、前記無人飛行体における異なる位置に固定され、視野範囲が重複する少なくとも３台のカメラと、空中の異なる位置において、撮影対象を前記少なくとも３台のカメラによって同時に撮影して画像情報を取得する画像情報取得手段と、を有する無人飛行体である。
【０００７】
第一の発明の構成によれば、３次元立体モデル生成装置は、少なくとも３台のカメラを有し、同時に撮影することができるから、物が動いている場合であっても、複数のカメラで撮影した画像中にその物を捉えることができる。また、少なくとも３台のカメラを有し、同時に撮影することができるから、１台のカメラと１つの物とを結ぶ線分の方向が、他の１台のカメラとその物とを結ぶ線分の方向と近似している場合であっても、もう一台のカメラとその物とを結ぶ線分の方向は乖離するから、物とカメラの位置関係に関わらず、３次元立体モデルの生成のための十分な情報を取得することができる。さらに、無人飛行体は飛行可能であるから、異なる位置において撮影して取得した画像情報に基づいて、精度の高い３次元立体モデルを生成することができる。
【０００８】
第二の発明は、第一の発明の構成において、前記少なくとも３台のカメラは、それぞれ、前記無人飛行体の外端部近傍に配置された前記プロペラの外側に固定されている、無人飛行体である。
【０００９】
第三の発明は、第一の発明または第二の発明の構成において、無人飛行体によって取得した前記画像情報に基づいて、３次元立体モデルを生成する３次元モデル生成手段を有する、情報処理装置である。
【００１０】
第四の発明は、第三の発明の構成において、前記３次元モデル生成手段は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）画像処理方法を用いることを特徴とする情報処理装置である。
【００１１】
第五の発明は、視野範囲が重複する少なくとも３台のカメラを異なる位置に固定しており、複数のプロペラの回転によって推力を得て飛行しつつ、画像情報を取得する無人飛行体が、空中の異なる位置において、撮影対象を前記少なくとも３台のカメラによって同時に撮影して画像情報を取得する画像情報取得方法である。
【００１２】
第六の発明は、視野範囲が重複する少なくとも３台のカメラを異なる位置に固定しており、複数のプロペラの回転によって推力を得て飛行しつつ、画像情報を取得する無人飛行体を制御するコンピュータを、空中の異なる位置において、撮影対象を前記少なくとも３台のカメラによって同時に撮影して画像情報を取得する画像情報取得手段として機能させるための画像情報取得プログラムである。
【発明の効果】
【００１３】
本発明によれば、物の移動、物とカメラの位置関係に関わらず、３次元立体モデルの生成のための十分な情報を取得することができる無人飛行体、情報処理装置、画像情報取得方法、画像情報取得プログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る無人飛行体の動作例を示す概略図である。
【図２】無人飛行体の３台のカメラで同時に撮影して取得する画像を示す概略図である。
【図３】無人飛行体の動作例を示す概略図である。
【図４】無人飛行体が異なる位置で撮影して取得する画像を示す概略図である。
【図５】無人飛行体の構成を示す概略斜視図である。
【図６】無人飛行体の概略底面図である。
【図７】無人飛行体の撮影状態を示す概念図である。
【図８】無人飛行体が移動する撮影対象を撮影する状態を示す概略図である。
【図９】無人飛行体が３台のカメラで撮影対象を撮影する状態を示す概略図である。
【図１０】無人飛行体の機能ブロックを示す概略図である。
【図１１】無人飛行体の動作例を示す概略フローチャートである。。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
【００１６】
図１に示すように、無人飛行体１（以下、「無人機１」という。）は、６つのプロペラの回転によって推力を発生させて、飛行する。無人機１は、測定対象領域である被測定領域の上空を飛行しつつ、地表（構造物を含む）を撮影する。地表が撮影対象である。無人機１には、光軸が鉛直下方に設定された３台のカメラ１２Ａ，１２Ｂ及び１２Ｃが異なる位置に固定されている。３台のカメラ１２Ａ等は、視野範囲が重複するように地表を撮影するように構成されている。無人機１は、無人飛行体の一例であり、情報処理装置の一例でもある。
【００１７】
カメラ１２Ａの撮影範囲Ｓ１、カメラ１２Ｂの撮影範囲Ｓ２及びカメラ１２Ｃの撮影範囲Ｓ３は、視野範囲が重複する重複範囲ＳＳを有する。重複範囲ＳＳは、カメラ１２Ａで撮影して取得した画像ＰＡ１、カメラ１２Ｂで撮影して取得した画像ＰＡ２及びカメラ１２Ｃで撮影して取得した画像ＰＡ３のいずれにも捉えられる。本明細書において、３台のカメラ１２Ａ等で同時に撮影して取得した３枚の画像を「同時画像セット」と呼ぶ。そして、複数の同時画像セットを識別するために、同時画像セットを同時画像セットＰＨｘ（ｘは、１以上の整数）と呼ぶ。例えば、最初に取得した同時画像セットＰＨｘをＰＨ１とすると、次に取得した同時画像セットＰＨｘをＰＨ２とする。
【００１８】
重複範囲ＳＳには、多数の特徴点ＦＰ１等が含まれている。例えば、図２に示すように、カメラ１２Ａで撮影して取得した画像ＰＡ１、カメラ１２Ｂで撮影して取得した画像ＰＡ２及びカメラ１２Ｃで撮影して取得した画像ＰＡ３のいずれにも特徴点ＦＰ６が含まれている。特徴点ＦＰ１等は、物体の点や角など、周囲と比べて特徴的な点であり、画像において、明るさが変わっているなどのため、他の部分と区別し易い部分である。特徴点ＦＰ１等は、撮影後に周知のアルゴリズムによって特定される。このアルゴリズムは、例えば、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）と呼ばれるものであり、画像中の各画素に対して回転・スケール・照明環境の変化の中に不変な特徴量を見出す技術である。
【００１９】
無人機１は、また、図３の矢印Ｒ１に示すように移動して位置を変え、複数回にわたって、カメラ１２Ａ等によって特徴点ＦＰ１等を撮影する。図３に示すように、無人機１は、空中の特定の位置でカメラ１２Ａ等によって特徴点ＦＰ７を撮影すると、矢印Ｒ１に示す方向に移動し、異なる位置において特徴点ＦＰ７を撮影する。このように、無人機１が３台のカメラ１２Ａ等によって、異なる位置から撮影した同時画像セットＰＨｘを複数組取得することができる。特徴点ＦＰ１等は、複数の同時画像セットＰＨｘに含まれており、例えば、図４に示すように、特徴点ＦＰ７は、同時画像セットＰＨ１、ＰＨ２及びＰＨ３のいずれにも含まれる。
【００２０】
無人機１は、複数組の同時画像セットＰＨｘを使用して、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）画像処理方法によって、被測定領域の３次元モデルを生成するように構成されている。ＳｆＭは、画像に映った対象の３次元的形状を画像から得る方法である。ＳｆＭソフトウェアとしては、例えば、ＶｉｓｕａｌＳＦＭ、Ａｇｉｓｏｆｔ  ＰｈｏｔｏＳｃａｎなどが挙げられる。
【００２１】
ＳｆＭの概略を説明する。まず、異なる画像に共通に含まれる特徴点ＦＰ１等の画像中の位置、各画像を撮影したときのカメラ１２Ａ等の位置関係及び姿勢、無人機１自体の位置及び姿勢に基づいて、各特徴点ＦＰ１等の座標情報（緯度、経度及び高度）を含む粗い点群データ（Ｓｐａｒｓｅ  ｐｏｉｎｔ  ｃｌｏｕｄ）を得る。本明細書において、粗い点群データを粗点群データと呼ぶ。異なる画像に共通に含まれる特徴点ＦＰ１等のマッチングは周知のアルゴリズムによって実施される。座標情報は、異なる画像における視差を利用した三角測量の原理に基づいて算出される。なお、無人機１において、それぞれのカメラ１２Ａ等間の位置関係は既知であり、無人機１自体の位置及び姿勢は継続的に測位・測定しており、既知である。粗点群データを用いて各画像の各ピクセルの３次元座標を計算し、より高密度な点群データ（Ｄｅｎｓｅ  ｐｏｉｎｔｃｌｏｕｄ）を得る。本明細書において、高密度な点群データを高密度点群データと呼ぶ。高密度点群データからメッシュデータを作成し元画像を貼り付けることで最終的な３次元立体モデルが生成される。
【００２２】
以下、図５を参照して、無人機１の構成の概略を説明する。無人機１は、筐体２を有する。筐体２の内部には、無人機１の各部を制御するコンピュータ、自律移動装置、モーター駆動回路、無線通信装置、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などの航法衛星システムを利用した測位装置、慣性センサー、気圧センサー等の電子部品が配置されている。
【００２３】
筐体２の上面には、キャノピー４が固定されている。キャノピー４の内部には、バッテリーや無線通信用のアンテナ、航法衛星からの電波を受信するためのアンテナ等が配置されている。また、筐体２には、６本の棒状のアーム６Ａ乃至６Ｆが接続されている。各アーム６Ａ等の自由端近傍（外端部近傍）にはモーター８が接続されており、各モーター８にはプロペラ１０が接続されている。無人機１は、プロペラ１０の回転によって、移動するための推力を得る。アーム６Ａ等は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。
【００２４】
各モーター８は、直流モーター（ブラシレスＤＣモーター）である。各モーター８は、筐体２内の自律移動装置によってそれぞれ独立して制御され、無人機１を上下水平方向の移動や空中での停止（ホバリング）及び姿勢制御を自在に行うことができるようになっている。
【００２５】
アーム６Ａ，６Ｃ及び６Ｅは、モーター８及びプロペラ１０の位置を越えて外側に延在しており、その自由端部にカメラ１２Ａ，１２Ｂ及び１２Ｃが光軸を下方に向けた状態において固定されている。カメラ１２Ａ等は、例えば、デジタルカメラである。
【００２６】
図６に示すように、無人機１において、カメラ１２Ａ等は、最も外側の位置に固定されている。カメラ１２Ａ等が無人機１において最も外側の位置にあることによって、カメラ１２Ａ等の間の距離が最も遠くなり、同時画像セットにおける各画像中の特徴点ＦＰ１等に対する視差が大きくなる。これにより、３次元立体モデル生成のために有益な画像情報を取得することができる。カメラ１２Ａ等は、筐体２の中心位置を基準として、等角度乖離した位置に配置されている。本実施形態において、カメラ１２Ａ等は、１２０度ずつ乖離した位置に配置されている。
【００２７】
図７に示すように、無人機１は３台のカメラ１２Ａ等で同時に地表を撮影する。いずれのカメラ１２Ａ等で撮影した画像にもすべての特徴点ＦＰ１〜ＦＰ５が含まれているが、画像ごとに、カメラ１２Ａ等と特徴点ＦＰ１等の位置関係が異なり、視差が生じる。例えば、特徴点ＦＰ１については、カメラ１２Ａ等と特徴点ＦＰ１を結ぶ線分がほぼ等角度乖離しており、理想的な視差を有する画像情報を取得することができる。これに対して、特徴点ＦＰ３については、カメラ１２Ｂとカメラ１２Ｃとの間の視差が微小である。しかし、特徴点ＦＰ３について、カメラ１２Ａとカメラ１２Ｂ等の間については座標算出のために有効な視差が生じる。無人機１が３台のカメラ１２Ａ等を備えることによって、同時画像セットＰＨｘにおいて、特定の特徴点ＦＰ１等について、少なくとも２台のカメラ１２Ａ等によって取得した画像の間に、座標算出のために有効な視差が生じるようになっている。
【００２８】
さらに、図８に示すように、無人機１が、複数のカメラ１２Ａ等を有することによって、風などによって揺られ、動いている特徴点ＦＰ４であっても、複数のカメラ１２Ａ等によって、同時に撮影することができる。これに対して、本実施形態とは異なり、無人機１が１台のカメラしか備えていない場合には、無人機１が移動し、位置を変えて、特徴点ＦＰ４を撮影する場合に、特徴点ＦＰ４も動いているため、特徴点ＦＰ４の座標を算出するための有意義な情報を取得することはできない。
【００２９】
図９に示すように、無人機１の現在位置において、カメラ１２Ａと特徴点ＦＰ５とを結ぶ線分と、カメラ１２Ｃと特徴点ＦＰ５を結ぶ線分は重複するから、特徴点ＦＰ５について、カメラ１２Ａとカメラ１２Ｃの間において、座標を算出するための有意義な視差は生じない。この点、無人機１は、カメラ１２Ｂを有し、カメラ１２Ｂと特徴点ＦＰ５を結ぶ線分は、カメラ１２Ａ及び１２Ｃと特徴点ＦＰ５を結ぶ線分とは乖離しているから、特徴点ＦＰ５の座標を算出するための有意義な視差が生じる。２台のカメラと特定の特徴点ＦＰ１等を結ぶ線分が重複する場合はあるが、３台のカメラ１２Ａ等と特定の特徴点ＦＰ１等を結ぶ線分が重複することはない。すなわち、無人機１が３台のカメラ１２Ａ等を備えることにより、特徴点が動いていても停止していても、同時画像セットＰＨｘを構成する複数の画像の間において、座標算出のために有意義な視差を生じさせることができる。
【００３０】
図１０は、無人機１の機能構成を示す図である。無人機１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００、記憶部１０２、無線通信部１０４、衛星測位部１０６、慣性センサー部１０８、駆動制御部１１０、画像処理部１１２、及び、電源部１２０を有する。
【００３１】
無人機１は、無線通信部１０４によって、基地局１５０と通信可能になっている。無人機１は、無線通信部１０４によって、基地局１５０から、発進や移動等の指示を受信する。
【００３２】
無人機１は、衛星測位部１０６及び慣性センサー部１０８によって、現在位置を測位する。無人機１は、衛星測位部１０６によって、基本的に、４つ以上の航法衛星からの電波を受信して無人機１の位置を計測する。航法衛星は、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）衛星や準天頂衛星である。
【００３３】
無人機１は、慣性センサー部１０８によって、無人機１自体の位置を測定し、姿勢を検出することができる。慣性センサー部１０８は、加速度センサー及びジャイロセンサーによって、出発点からの無人機１の移動を積算して、無人機１の位置を計測する。衛星測位部１０６及び慣性センサー部１０８は、測位手段の一例である。
【００３４】
無人機１は、駆動制御部１１０によって、各モーター８の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。
【００３５】
無人機１は、画像処理部１１２によって、カメラ１２Ａ等によって画像を取得し、処理する。
【００３６】
電源部１２０は、例えば、交換可能な可充電電池であり、無人機１の各部に電力を供給するようになっている。
【００３７】
記憶部１０２には、自律移動及びプロペラ８の回転に必要な各種データ及びプログラムのほか、画像取得プログラム及び３次元モデル生成プログラムが格納されている。ＣＰＵ１００と画像取得プログラムは、画像取得手段の一例である。ＣＰＵ１００と３次元モデル生成プログラムは、３次元モデル生成手段の一例である。
【００３８】
無人機１は、画像取得プログラムによって、空中の異なる位置において、撮影対象を３台のカメラ１２Ａ等によって同時に撮影して画像情報を取得するように構成されている。
【００３９】
無人機１は、３次元モデル生成プログラムによって、カメラ１２Ａ等によって取得した画像情報に基づいて、３次元立体モデルを生成するように構成されている。３次元モデル生成プログラムにおいては、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎ）画像処理方法を用いる。
【００４０】
上述のように、無人機１は、複数組の同時画像セットＰＨｘを取得しており、様々な方法で、ＳｆＭ画像処理方法に適用することができる。例えば、第一に、同時画像セットＰＨｘごとに粗点群データ及び高密度点群データを生成し、複数の同時画像セットＰＨｘごとに生成した高密度点群データを統計処理して最終的な高密度点群データを生成する方法がある。第二に、同時画像セットＰＨｘごとに粗点群データを生成し、複数の同時画像セットＰＨｘごとに生成された粗点群データを統計処理し、統計処理した粗点群データに基づいて、高密度点群データを生成する方法がある。第三に、異なる同時画像セットＰＨｘから、視差が大きいなどの観点で、特徴点ＦＰ１等の座標の算出に好適な適宜の画像を選択して、画像セットを再構成し、再構成した画像セットごとに粗点群データを生成し、高密度点群データを生成し、生成した高密度点群データを統計処理して最終的な高密度点群データを生成する方法がある。
【００４１】
以下、無人機１の動作を、図１１のフローチャートを参照して説明する。無人機１は、撮影開始位置へ移動し（図１１のステップＳＴ１）、３台のカメラ１２Ａ等で同時に撮影対象領域を撮影する（ステップＳＴ２）。続いて、無人機１は、所定経路を移動し（ステップＳＴ３）、３台のカメラ１２Ａ等で同時に撮影対象領域を撮影する（ステップＳＴ４）。無人機１は、３次元立体モデル生成条件を満たしたと判断すると（ステップＳＴ５）、３次元立体モデルを生成する（ステップＳＴ６）。３次元立体モデル生成条件は、例えば、撮影対象領域について、所定回数の撮影が完了したことである。
【００４２】
なお、本実施形態とは異なり、無人機１は、撮影対象領域を撮影し、画像情報を取得する機能のみを有し、３次元立体モデルを含むその後の処理は、無人機１とは別のコンピュータが実施するように構成してもよい。別のコンピュータは、例えば、基地局１５０である。この場合、基地局１５０が情報処理装置の一例である。
【００４３】
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【００４４】
１  無人飛行体（無人機）
２  筐体
４  キャノピー
６Ａ，６Ｂ，６Ｃ，６Ｄ，６Ｅ，６Ｆ  アーム
８  モーター
１０  プロペラ
１２Ａ，１２Ｂ，１２Ｃ  カメラ
１５０  基地局  
【図１】
2019158515.tif 000003
【図２】
2019158515.tif 000004
【図３】
2019158515.tif 000005
【図４】
2019158515.tif 000006
【図５】
2019158515.tif 000007
【図６】
2019158515.tif 000008
【図７】
2019158515.tif 000009
【図８】
2019158515.tif 000010
【図９】
2019158515.tif 000011
【図１０】
2019158515.tif 000012
【図１１】
2019158515.tif 000013