(57)【要約】【課題】３次元マップを補正することができる３次元マップ補正装置、３次元マップ補正方法及び３次元マップ補正プログラムを提供すること。【解決手段】３次元マップ補正装置１５０は、カメラで撮影して取得した一次画像データを複数学習することによって取得された、一次画像データに含まれる物体の投影態様の特徴を示す特徴データを含む学習結果情報と、同一領域を複数の位置で撮影して取得した元データに基づいて生成された３次元マップを学習結果情報に基づいて補正する補正手段と、を有する。【選択図】図１２
2019207467.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影して取得した一次画像データを複数学習することによって取得された、前記一次画像データに含まれる物体の投影態様の特徴を示す特徴データを含む学習結果情報と、
同一領域を複数の位置で撮影して取得した元データに基づいて生成された３次元マップを前記学習結果情報に基づいて補正する補正手段と、
を有する３次元マップ補正装置。
【請求項２】
前記特徴データは、複数の前記物体の投影態様の関係の特徴を示す特徴関係
データを含む、請求項１に記載の３次元マップ補正装置。
【請求項３】
前記学習結果情報は、前記一次画像データと、前記一次画像データに含まれる物体と撮影位置との間の距離を示す距離情報とで構成される学習セットを複数学習して得られた特徴データを含む、請求項１または請求項２に記載の３次元マップ補正装置。
【請求項４】
前記学習結果情報は、深層学習（ディープラーニング）によって生成されたデータを含む請求項１乃至請求項３のいずれかに記載の３次元マップ補正装置。
【請求項５】
前記補正手段は、実際には存在しない物体及び／または一時的に発生する物体を前記３次元マップから消去するように構成されている、請求項１乃至請求項４のいずれかに記載の３次元マップ補正装置。
【請求項６】
前記補正手段が補正する対象となる前記３次元マップの生成において、平面の輪郭を認識し、前記輪郭の内側の３次元形状の算出は実施しないように構成されている、請求項１乃至請求項５のいずれかに記載の３次元マップ補正装置。
【請求項７】
カメラで撮影して取得した一次画像データを複数学習することによって取得された、前記一次画像データに含まれる物体の投影態様の特徴を示す特徴データを含む学習結果情報を有する３次元マップ補正装置が、
同一領域を複数の位置で撮影して取得した元データに基づいて生成された３次元マップを前記学習結果情報に基づいて補正する補正ステップを実施する、３次元マップ補正方法。
【請求項８】
３次元マップ補正装置を制御するコンピュータを、
カメラで撮影して取得した一次画像データを複数学習することによって取得された、前記一次画像データに含まれる物体の投影態様の特徴を示す特徴データを含む学習結果情報を記憶する記憶手段、
同一領域を複数の位置で撮影して取得した元データに基づいて生成された３次元マップを前記学習結果情報に基づいて補正する補正手段、
として機能させるための３次元マップ補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元マップ補正装置、３次元マップ補正方法及び３次元マップ補正プログラムに関するものである。
【背景技術】
【０００２】
一般的に、空中写真測量を行う際の写真撮影は、垂直写真の方法が採られている。１台のカメラを垂直に取り付けた航空測量専用の航空機が使用され、高度計で飛行の高さを一定に保持し、撮影位置を確認しながら撮影が行われる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−０５４７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
写真測量によって生成された３次元マップにおいては、写真の撮影状態などによっては、実際の形状を正確に再現できない場合がある。例えば、３次元マップにおいて、屋内に雲が出力されたり、連続する送電線の一部が途切れているなど、本来存在し得ない物が出力されたり、本来存在すべきものが出力されないなど、不自然な状態で再現される場合があった。
【０００５】
本発明はかかる問題の解決を試みたものであり、３次元マップを補正することができる３次元マップ補正装置、３次元マップ補正方法及び３次元マップ補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第一の発明は、カメラで撮影して取得した一次画像データを複数学習することによって取得された、前記一次画像データに含まれる物体の投影態様の特徴を示す特徴データを含む学習結果情報と、同一領域を複数の位置で撮影して取得した元データに基づいて生成された３次元マップを前記学習結果情報に基づいて補正する補正手段と、を有する３次元マップ補正装置である。
【０００７】
第一の発明の構成によれば、学習結果情報に含まれる特徴データは、一次画像データに含まれる物体の投影態様（画像における見え方）の特徴を示す。画像の取得方法によっては、一次画像データにおける物体の投影態様が、物理法則に反するような不自然な状態（以下、「欠陥」という。）である場合がある。ここで、複数の一次画像データの一部において欠陥が存在する可能性はあるが、複数の一次画像データの多くにおいて、欠陥が存在する可能性は低い。このため、特徴データは、欠陥が反映されない可能性が高いデータであり、信頼度が高い。一方、３次元マップを生成するための元データに欠陥が存在する場合、３次元マップにもその欠陥が反映される。この点、３次元マップ補正装置は、信頼度が高い特徴データを含む学習結果情報に基づいて、３次元マップを補正するから、信頼度が高い３次元マップを生成することができる。
【０００８】
第二の発明は、第一の発明の構成において、前記特徴データは、複数の前記物体の投影態様の関係の特徴を示す特徴関係データを含む、３次元マップ補正装置である。
【０００９】
第三の発明は、第一の発明または第二の発明の構成において、前記学習結果情報は、前記一次画像データと、前記一次画像データに含まれる物体と撮影位置との間の距離を示す距離情報とで構成される学習セットを複数学習して得られた特徴データを含む、３次元マップ補正装置である。
【００１０】
第三の発明の構成によれば、特徴データは、所定の投影態様が与えられた場合に、その投影態様に対応する距離（本明細書において、「距離」は撮影位置と物体との間の距離を意味する。）を判断する基礎となる情報である。これにより、３次元マップに距離に関する欠陥があった場合、学習結果情報によって補正することができる。
【００１１】
第四の発明は、第一の発明乃至第三の発明のいずれかの構成において、前記学習結果情報は、深層学習（ディープラーニング）によって生成されたデータを含む３次元マップ補正装置である。
【００１２】
第五の発明は、第一の発明乃至第四の発明のいずれかの構成において、前記補正手段は、実際には存在しない物体及び／または一時的に発生する物体を前記３次元マップから消去するように構成されている、３次元マップ補正装置である。
【００１３】
第五の発明の構成によれば、例えば、カメラのレンズの汚れ、レンズフレア、スミア、ゴースト、ハレ―ションによって画像に投影されたものなど、実際には存在しない物体や、煙や雨など、一時的に発生する物体を３次元マップから消去することができる。
【００１４】
第六の発明は、第一の発明乃至第五の発明のいずれかの構成において、前記補正手段が補正する対象となる前記３次元マップの生成において、平面の輪郭を認識し、前記輪郭の内側の３次元形状の算出は実施しないように構成されている、３次元マップ補正装置である。
【００１５】
第六の発明の構成によれば、平面の輪郭を認識すると、その輪郭の内側の３次元形状の算出は実施しないから、３次元マップを生成するための処理速度を向上させることができる。
【００１６】
第七の発明は、カメラで撮影して取得した一次画像データを複数学習することによって取得された、前記一次画像データに含まれる物体の投影態様の特徴を示す特徴データを含む学習結果情報を有する３次元マップ補正装置が、同一領域を複数の位置で撮影して取得した元データに基づいて生成された３次元マップを前記学習結果情報に基づいて補正する補正ステップを実施する、３次元マップ補正方法である。
【００１７】
第八の発明は、３次元マップ補正装置を制御するコンピュータを、カメラで撮影して取得した一次画像データを複数学習することによって取得された、前記一次画像データに含まれる物体の投影態様の特徴を示す特徴データを含む学習結果情報を記憶する記憶手段、同一領域を複数の位置で撮影して取得した元データに基づいて生成された３次元マップを前記学習結果情報に基づいて補正する補正手段、として機能させるための３次元マップ補正プログラムである。
【発明の効果】
【００１８】
本発明によれば、３次元マップを補正することができる３次元マップ補正装置、３次元マップ補正方法及び３次元マップ補正プログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る無人飛行体の動作例を示す概略図である。
【図２】無人飛行体の構成を示す概略斜視図である。
【図３】無人飛行体の概略底面図である。
【図４】無人飛行体の３台のカメラで同時に撮影して取得する画像を示す概略図である。
【図５】無人飛行体が異なる位置で撮影して取得する画像を示す概略図である。
【図６】欠陥を有する３次元マップを示す概略図である。
【図７】無人飛行体の機能ブロックを示す概略図である。
【図８】基地局の機能ブロックを示す概略図である。
【図９】学習セットを示す概略図である。
【図１０】学習セットを示す概略図である。
【図１１】学習結果データの生成方法の一例を示す概略フローチャートである。
【図１２】３次元マップの補正方法の一例を示す概略フローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
【００２１】
図１に示すように、無人飛行体１（以下、「無人機１」という。）は、６つのプロペラの回転によって推力を発生させて、飛行する。無人機１は、測定対象領域の上空を飛行しつつ、地表（構造物を含む）を撮影して画像データ（以下、「元データ」という。）を取得する。地表が撮影対象である。無人機１には、光軸が鉛直下方に設定された３台のカメラ１２Ａ、１２Ｂ及び１２Ｃが異なる位置に固定されている。３台のカメラ１２Ａ等は、視野範囲が重複するように地表を撮影するように構成されている。無人機１は、無人飛行体の一例である。
【００２２】
基地局１５０は、無人機１が取得した元データに基づいて、３次元マップを生成する。ただし、元データが欠陥を有する場合、３次元マップにもその欠陥が反映される。この点、基地局１５０は、予め学習して生成しておいた学習結果データに基づいて、３次元マップの欠陥を補正する。基地局１５０は、３次元マップ補正装置の一例である。
【００２３】
本実施形態において、基地局１５０を構成するコンピュータは、予め、カメラで外部を撮影して取得した一次画像データ（以下、「画像データ」という。）を多数機械学習し、画像データに含まれる物体の投影態様の特徴を示す特徴データを取得し、学習結果データとして蓄積する。画像データには、物理法則に反するような欠陥を有する投影態様で物体が投影されている場合があるが、多数の画像データがそのような欠陥を有することはない。また、画像データには、例えば、カメラのレンズの汚れ、レンズフレア、スミア、ゴースト、ハレ―ション等によって画像に投影されたものなど、実際には存在しない物体（以下、「画像劣化要因」という。）が投影されている場合があるが、多数の画像データがそのような欠陥を有することはない。このため、多数の画像データを学習することによって取得される特徴データにおいて、そのような欠陥は低減または排除されている。また、画像データの中には、煙や雨など、一時的に発生するする物体（以下、「一時的現象」という。）が投影されている場合があるが、基地局１５０は、多数の画像データを学習することによって、一時的現象の特徴データを取得している。さらに、画像データの中には、窓ガラスや壁など、相対的に凹凸が小さい物体（以下、「平面状物体」という。）を含むが、基地局１５０は、多数の画像データを学習することによって、平面状物体の特徴データを取得している。
【００２４】
基地局１５０は、画像データを機械学習するときに、画像データと、その画像データに基づいて生成された深度マップとからなる学習セットを多数学習する。これにより、基地局１５０が取得する特徴データは、所定の距離に対応する様々な物体（複数の物体の関係を含む。物体には空間を含む。）の投影態様の特徴を示すものとなる。
【００２５】
基地局１５０は、上述の学習結果データを参照し、３次元マップの欠陥を補正する。３次元マップが、物理法則に反するような物体の不自然な投影態様、雲のような形状の物体が地上に位置するような不自然な距離、あるいは、上述の画像劣化要因を含むというような欠陥を有する場合、基地局１５０は、上述の学習結果データを参照し、３次元マップの欠陥を補正する。基地局１５０は、また、３次元マップが、上述の一時的現象を含む場合、その一時的現象を消去して、３次元マップを補正する。
【００２６】
以下、無人機１による元データの取得方法について説明する。図１に示すように、無人機１のカメラ１２Ａの撮影範囲Ｓ１、カメラ１２Ｂの撮影範囲Ｓ２及びカメラ１２Ｃの撮影範囲Ｓ３は、視野範囲が重複する重複範囲ＳＳを有する。重複範囲ＳＳは、カメラ１２Ａで撮影して取得した画像ＰＡ１、カメラ１２Ｂで撮影して取得した画像ＰＡ２及びカメラ１２Ｃで撮影して取得した画像ＰＡ３のいずれにも捉えられる。本明細書において、３台のカメラ１２Ａ等で同時に撮影して取得した３枚の画像を「同時画像セット」と呼ぶ。そして、複数の同時画像セットを識別するために、同時画像セットを同時画像セットＰＨｘ（ｘは、１以上の整数）と呼ぶ。例えば、最初に取得した同時画像セットＰＨｘをＰＨ１とすると、次に取得した同時画像セットＰＨｘをＰＨ２とする。
【００２７】
重複範囲ＳＳには、多数の特徴点ＦＰ１等が含まれている。図４に示すように、カメラ１２Ａで撮影して取得した画像ＰＡ１、カメラ１２Ｂで撮影して取得した画像ＰＡ２及びカメラ１２Ｃで撮影して取得した画像ＰＡ３のいずれにも特徴点ＦＰ６が含まれている。特徴点ＦＰ１等は、物体の点や角など、周囲と比べて特徴的な点であり、画像において、明るさが変わっているなどのため、他の部分と区別し易い部分である。特徴点ＦＰ１等は、撮影後に周知のアルゴリズムによって特定される。このアルゴリズムは、例えば、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）と呼ばれるものであり、画像中の各画素に対して回転・スケール・照明環境の変化の中に不変な特徴量を見出す技術である。
【００２８】
無人機１は、また、図１の矢印Ｒ１に示すように移動して位置を変え、複数回にわたって、カメラ１２Ａ等によって特徴点ＦＰ１等を撮影する。無人機１が３台のカメラ１２Ａ等によって、異なる位置から撮影した同時画像セットＰＨｘを複数組取得することができる。特徴点ＦＰ１等は、複数の同時画像セットＰＨｘに含まれており、例えば、図５に示すように、特徴点ＦＰ６は、同時画像セットＰＨ１、ＰＨ２及びＰＨ３のいずれにも含まれる。
【００２９】
以下、図２を参照して、無人機１の構成の概略を説明する。無人機１は、筐体２を有する。筐体２の内部には、無人機１の各部を制御するコンピュータ、自律移動装置、モーター駆動回路、無線通信装置、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などの航法衛星システムを利用した測位装置、慣性センサー、気圧センサー等の電子部品が配置されている。
【００３０】
筐体２の上面には、キャノピー４が固定されている。キャノピー４の内部には、バッテリーや無線通信用のアンテナ、航法衛星からの電波を受信するためのアンテナ等が配置されている。また、筐体２には、６本の棒状のアーム６Ａ乃至６Ｆが接続されている。各アーム６Ａ等の自由端近傍（外端部近傍）にはモーター８が接続されており、各モーター８にはプロペラ１０が接続されている。無人機１は、プロペラ１０の回転によって、移動するための推力を得る。アーム６Ａ等は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。
【００３１】
各モーター８は、直流モーター（ブラシレスＤＣモーター）である。各モーター８は、筐体２内の自律移動装置によってそれぞれ独立して制御され、無人機１を上下水平方向の移動や空中での停止（ホバリング）及び姿勢制御を自在に行うことができるようになっている。
【００３２】
アーム６Ａ，６Ｃ及び６Ｅは、モーター８及びプロペラ１０の位置を越えて外側に延在しており、その自由端部にカメラ１２Ａ、１２Ｂ及び１２Ｃが光軸を下方に向けた状態において固定されている。カメラ１２Ａ等は、例えば、デジタルカメラである。
【００３３】
図３に示すように、無人機１において、カメラ１２Ａ等は、最も外側の位置に固定されている。カメラ１２Ａ等が無人機１において最も外側の位置にあることによって、カメラ１２Ａ等の間の距離が最も遠くなり、同時画像セットにおける各画像中の特徴点ＦＰ１等に対する視差が大きくなる。これにより、３次元マップ生成のために有益な画像情報を取得することができる。カメラ１２Ａ等は、筐体２の中心位置を基準として、等角度乖離した位置に配置されている。本実施形態において、カメラ１２Ａ等は、１２０度ずつ乖離した位置に配置されている。
【００３４】
無人機１は３台のカメラ１２Ａ等で同時に地表を撮影する。いずれのカメラ１２Ａ等で撮影した画像にもすべての特徴点ＦＰ１〜ＦＰ９が含まれているが、画像ごとに、カメラ１２Ａ等と特徴点ＦＰ１等の位置関係が異なり、視差が生じる。無人機１が３台のカメラ１２Ａ等を備えることによって、同時画像セットＰＨｘにおいて、特定の特徴点ＦＰ１等について、少なくとも２台のカメラ１２Ａ等によって取得した画像の間に、座標算出のために有効な視差が生じるようになっている。
【００３５】
図７は、無人機１の機能構成を示す図である。無人機１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００、記憶部１０２、無線通信部１０４、衛星測位部１０６、慣性センサー部１０８、駆動制御部１１０、画像処理部１１２、及び、電源部１２０を有する。
【００３６】
無人機１は、無線通信部１０４によって、基地局１５０と通信可能になっている。無人機１は、無線通信部１０４によって、基地局１５０から、発進や移動等の指示を受信する。
【００３７】
無人機１は、衛星測位部１０６及び慣性センサー部１０８によって、現在位置を測位する。無人機１は、衛星測位部１０６によって、基本的に、４つ以上の航法衛星からの電波を受信して無人機１の位置を計測する。航法衛星は、例えば、ＧＰＳ衛星や準天頂衛星である。
【００３８】
無人機１は、慣性センサー部１０８によって、無人機１自体の位置を測定し、姿勢を検出することができる。慣性センサー部１０８は、加速度センサー及びジャイロセンサーによって、出発点からの無人機１の移動を積算して、無人機１の位置を計測する。衛星測位部１０６及び慣性センサー部１０８は、測位手段の一例である。
【００３９】
無人機１は、駆動制御部１１０によって、各モーター８の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。
【００４０】
無人機１は、画像処理部１１２によって、カメラ１２Ａ等によって画像を取得し、処理する。
【００４１】
電源部１２０は、例えば、交換可能な可充電電池であり、無人機１の各部に電力を供給するようになっている。
【００４２】
記憶部１０２には、自律移動及びモーター８の回転に必要な各種データ及びプログラムのほか、画像取得プログラムが格納されている。ＣＰＵ１００と画像取得プログラムは、画像取得手段の一例である。
【００４３】
無人機１は、画像取得プログラムによって、空中の異なる位置において、撮影対象を３台のカメラ１２Ａ等によって同時に撮影して画像情報を取得するように構成されている。
【００４４】
図８は、基地局１５０の機能構成を示す図である。基地局１５０は、コンピュータで構成されており、ＣＰＵ１６０、記憶部１６２、通信部１６４、及び、電源部１６６を有する。
【００４５】
基地局１５０は、通信部１６４によって、無人機１と通信可能になっている。
【００４６】
記憶部１６２には、コンピュータとしての基本的な機能を実施するために必要な各種データ及びプログラムのほか、学習結果データ、３次元マップ生成プログラム、及び、補正プログラムが格納されている。学習結果データは学習結果情報の一例である。ＣＰＵ１６０と３次元マップ生成プログラムは３次元マップ生成手段の一例である。ＣＰＵ１６０と補正プログラムは補正手段の一例である。
【００４７】
学習結果データは、学習セットを多数、機械学習した結果として生成される。学習セットは、カメラで外部を撮影して取得した画像データと、その画像データに含まれる物体と撮影位置と間の距離を示す距離情報とで構成される。画像データの取得方法や取得経路に限定はなく、無人機１によって取得される必要はない。
【００４８】
図９（ａ）に示す画像データＰＨＬ及びＰＨＲは、画像データの一例であり、同一の領域をステレオカメラで同時に撮影して取得した画像データである。ステレオカメラは、異なる位置（水平方向に乖離した位置）に配置された２台のカメラで構成され、同一領域について、視差がある画像を撮影することができる。画像データＰＨＬとＰＨＲには、それぞれ、電柱３００Ａ、３００Ｂ、３００Ｃ、電線３０２Ｂ、３０２Ｃ、道路３０４、及び、雲２５０が写っている。視差のある画像に基づいて、三角測量の原理で撮影位置と物体との距離が算出され、深度マップ（Ｄｅｐｔｈ  ｍａｐ）が生成される。深度マップとは、画像データに基づいて、３次元ソフトウェアなどを使用して、画像を持つ奥行きを白色と黒色で表現したものである。すなわち、深度マップは、距離を示す情報である。深度マップの生成方法は周知であるから、説明を省略する。図９（ｂ）に示すように、深度マップＤＭにおいて、例えば、カメラの位置に近い電柱３００Ａは白、電柱３００Ａよりも遠い電柱３００Ｂは黒色の度合いが強く、さらに遠い電柱３００Ｃはさらに黒色の度合いが強く、さらに遠い雲２５０はさらに黒色の度合いが強い。なお、図９（ｂ）においては、色の濃淡をパターンで代替して示している。
【００４９】
学習セットは、上述の画像データＰＨＬとＰＨＲのうち少なくとも一つと、それらに含まれる各物体と撮影位置との間の距離を示す距離情報（深度マップＤＭ）とで構成される。例えば、図１０に示すように、学習セットは、画像データＰＨＬと深度マップの組である。
【００５０】
基地局１５０は、図１０（ａ）乃至（ｄ）に示すように、多数の学習セットを機械学習する。これにより、基地局１５０は、欠陥を有さない状態、あるいは、欠陥が低減された状態における物体の投影態様の特徴を示すデータを取得する。
【００５１】
さらに、基地局１５０は、所定の距離に対応する物体の投影態様の特徴を示す特徴データを取得する。例えば、同一の大きさの家屋であれば、撮影位置から遠方になるほど、画像データＰＨＬには映る投影態様は小さくなる。
【００５２】
特徴データには特徴関係データを含む。特徴関係データは、複数の物体の投影態様の関係の特徴を示すデータである。例えば、人間は、図６の電線２０２Ｂだけを見ても、不自然な状態であるか否かを判断することはできない。ところが、電柱２００Ａ及び電柱２００Ｂと電線２０２Ｂを総合的に見ると、電線２０２Ｂは電柱２００Ａと電柱２００Ｂの間に張られているはずであるから、途切れているのは不自然であることがわかる。特徴関係データは、基地局１５０がこのような判断を可能にするための基礎となる情報であり、複数の物体の投影態様の関係を示す情報である。
【００５３】
特徴関係データは、例えば、図６の領域Ａ１に含まれる物体の投影態様の関係の特徴を示すデータである。領域Ａ１には、電柱２００Ａ及び電柱２００Ｂ及び電線２０２Ｂが投影されている。このデータは、電柱や電線という具体的な物についてのデータではなく、２本の柱状の物体の投影態様と、その間を結ぶ紐状の物体の投影態様の特徴を示す。紐状の物体が略水平に位置するような投影態様が存在するときには、その両端部を支えるような物体の投影態様が存在する。あるいは、特徴関係データは、例えば、同一の大きさの複数の家屋の投影態様であり、撮影位置から遠方になるほど、投影態様は小さくなる。あるいは、特徴関係データは、例えば、基地局１５０が紐状の物体として認識する一本の道路の特徴を示し、撮影位置から遠方になるほど、次第に幅が狭くなる。紐状の物体において幅が狭い位置の傍らに巨大な建造物が投影されている場合、大きさが大きくても、撮影位置からの距離は遠い。基地局１５０は、多数の学習セットを学習することによって、このような複数の物体の投影態様の特徴を学習することができる。
【００５４】
基地局１５０が実施する機械学習の方式は、例えば、深層学習（ディープラーニング）を採用する。深層学習とは、多層構造のニューラルネットワークを用いた機械学習であり、画像認識の分野が有力な活用分野の一つである。ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｌｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）である。畳み込みニューラルネットワークは、入力層（ｉｎｐｕｔ  ｌａｙｅｒ）、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ）、プーリング層（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）、全結合層（ｆｕｌｌｙ  ｃｏｎｎｅｔｃｅｄ  ｌａｙｅｒ）、出力層（ｏｕｔｐｕｔ  ｌａｙｅｒ）から構成され、畳み込み層とプーリング層は複数回繰り返して深い層を形成し、その後の全結合層も複数層続く。ディープラーニングによって、大量のデータに基づいて、自動的にどのような情報に着目すればよいのかを決定し、特徴データを獲得することができる。
【００５５】
本実施形態においては、画像データ中の物体の投影態様、及び、その物体の投影態様と距離との関係を学習することによって、物理法則に整合する物体の投影態様の特徴、及び、所定の距離に対応する物体の投影態様の特徴（法則性）を示す特徴データを取得することができる。
【００５６】
以下、図１１を参照して、学習結果データの生成方法の概略を説明する。学習セットがコンピュータのモデルに入力されると（図１１のステップＳＴ１）、ディープラーニングのアルゴリズムによって学習が実施される（ステップＳＴ２）。学習の結果、モデルの内部構造が変化する。具体的には、モデルの重みの値が変化する。そして、学習結果データが生成される（ステップＳＴ３）。
【００５７】
基地局１５０は、上記のようにして学習結果データを生成し、記憶部１６２に記憶する。
【００５８】
基地局１５０は、３次元マップ生成プログラムによって、無人機１から取得した画像データに基づいて、３次元マップを生成するように構成されている。３次元マップ生成プログラムにおいては、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎ）画像処理方法を用いる。ＳｆＭは、画像に写った対象の３次元的形状を画像から得る方法である。ＳｆＭソフトウェアとしては、例えば、ＶｉｓｕａｌＳＦＭ、Ａｇｉｓｏｆｔ  ＰｈｏｔｏＳｃａｎなどが挙げられる。
【００５９】
ＳｆＭの概略を説明する。まず、異なる画像に共通に含まれる特徴点ＦＰ１等の画像中の位置、各画像を撮影したときのカメラ１２Ａ等の位置関係及び姿勢、無人機１自体の位置及び姿勢に基づいて、各特徴点ＦＰ１等の座標情報（緯度、経度及び高度）を含む粗い点群データ（Ｓｐａｒｓｅ  ｐｏｉｎｔ  ｃｌｏｕｄ）を得る。本明細書において、粗い点群データを「粗点群データ」と呼ぶ。異なる画像に共通に含まれる特徴点ＦＰ１等のマッチングは周知のアルゴリズムによって実施される。座標情報は、異なる画像における視差を利用した三角測量の原理に基づいて算出される。なお、無人機１における、それぞれのカメラ１２Ａ等間の位置関係は既知であり、無人機１自体の位置及び姿勢は継続的に測位・測定しており、既知である。粗点群データを用いて各画像の各ピクセルの３次元座標を計算し、より高密度な点群データ（Ｄｅｎｓｅ  ｐｏｉｎｔｃｌｏｕｄ）を得る。本明細書において、高密度な点群データを「高密度点群データ」と呼ぶ。高密度点群データからメッシュデータを作成し元データを貼り付けることで３次元マップが生成される。
【００６０】
基地局１５０は、無人機１から取得した同時画像セットＰＨｘを様々な方法で、ＳｆＭ画像処理方法に適用することができる。同時画像セットＰＨｘは元データの一例である。例えば、第一に、同時画像セットＰＨｘごとに粗点群データ及び高密度点群データを生成し、複数の同時画像セットＰＨｘごとに生成した高密度点群データを統計処理して最終的な高密度点群データを生成する方法がある。第二に、同時画像セットＰＨｘごとに粗点群データを生成し、複数の同時画像セットＰＨｘごとに生成された粗点群データを統計処理し、統計処理した粗点群データに基づいて、高密度点群データを生成する方法がある。第三に、異なる同時画像セットＰＨｘから、視差が大きいなどの観点で、特徴点ＦＰ１等の座標の算出に好適な適宜の画像を選択して、画像セットを再構成し、再構成した画像セットごとに粗点群データを生成し、高密度点群データを生成し、生成した高密度点群データを統計処理して最終的な高密度点群データを生成する方法がある。
【００６１】
基地局１５０は、３次元マップの生成において、平面状物体の輪郭を認識し、輪郭の内側の３次元形状の算出は実施しないように構成されている。例えば、図６において、基地局１５０は、家屋２０６Ａの壁面２０６Ａａの輪郭を認識すると、その輪郭の内側の３次元形状の算出は実施せず、平面の物体として認識するに留める。これにより、３次元マップを生成するための処理速度を向上させることができる。本実施形態とは異なり、家屋２０６Ａのような戸建ての家屋ではなく、高層ビルのように壁面に占める窓ガラスの面積が大きい場合には、窓ガラスに映りこむ多くの物体の形状の算出を省略することができるから、３次元マップを生成するための処理速度を向上させることができる。
【００６２】
同時画像セットＰＨｘが欠陥を含む場合、基地局１５０が生成した３次元マップにその欠陥が反映される。その結果、図６に示すように、３次元マップに、連続するはずの電線２０２Ｂや２０２Ｃの一部が途切れている（点線で示す部分が途切れている部分である。）などの物理法則に反するような欠陥や、道路２０３や家屋の近傍に雲２０４Ａ及び２０４Ｂが出力されるという距離に関する欠陥を含む場合がある。また、３次元マップに、カメラの汚れによって投影された物体２０８やレンズフレア２１０などの画像劣化要因や、家屋２０６Ａの煙突２０６Ａｃから立ち上る煙２０６Ａｓのような一時的現象を含む場合がある。基地局１５０は、補正プログラムによって、３次元マップのこのような欠陥や一時的現象を補正することができる。
【００６３】
基地局１５０は、上述の学習結果データを参照して、３次元マップの欠陥を判断する。具体的には、基地局１５０は、３次元マップに含まれる物体の投影態様の特徴を抽出し、学習結果データに含まれる特徴データと対比することで、３次元マップの欠陥を判断する。基地局１５０は、物体の具体的なカテゴリー（例えば、電柱、家屋、道路）の判断はせず、３次元マップに含まれる物体の投影態様の特徴を抽出する。
【００６４】
ところで、学習結果データを構成する特徴データは、物体の投影態様の特徴を示すデータ、及び、所定の距離に対応する物体の投影態様の特徴を示すデータであり、「電柱」、「家屋」、「道路」という具体的な物についてのデータではない。「電柱」は円柱状の物体、「家屋」は略直方体の物体、「道路」は地面に配置された連続的な長い物体という態様において画像データに投影される。学習結果データを生成するための学習セットは多数であるから、様々な形状の物体が含まれ、投影態様も様々である。一方、基地局１５０は、３次元マップに含まれる物体の投影態様の特徴を抽出し、学習結果データに含まれる特徴データと対比し、相関性を判断する。すなわち、学習結果データに含まれる特徴データは、投影態様という抽象化された物体の特徴を示すデータであり、３次元マップから抽出されるものも、投影態様という抽象化された物の特徴を示すデータである。このため、基地局１５０は、３次元マップに含まれる物体が、学習セットで学習した物体と同一のものではなく、未知のものであっても、相関性を判断し、欠陥を補正することができる。
【００６５】
基地局１５０は、３次元マップについて、例えば、各物体（複数の物体の関係を含む）の投影態様の輪郭や個々の構成の方向といった特徴を多数抽出する。そして、基地局１５０は、抽出した特徴を学習結果データに含まれる特徴データと対比して、相関性（相関度）を判断する。相関度が高いほど、取得した元データ中の物体の投影態様の特徴が学習結果データに含まれる特徴データのいずれかと一致する可能性が高い。例えば、相関度が０の場合には、一致する可能性（以下、「カテゴリー共通確率」と呼ぶ。）は０として、相関度が最大値を示すときに、カテゴリー共通確率が１００％であると定義する。基地局１５０は、カテゴリー共通確率が所定の基準値である、例えば、９５％以上であるときに、取得した元データ中の物体の投影態様の特徴が学習結果データに含まれる特徴データのいずれかと一致すると判断する。取得した元データ中の物体の投影態様の特徴が学習結果データに含まれる特徴データのいずれかと一致する場合には、３次元マップに欠陥が存在しない場合である。
【００６６】
図６の３次元マップにおいて、領域Ａ１には電柱２００Ａ及び２００Ｂと電線２０２Ｂが投影されている。ただし、電線２０２Ｂは、その一部（点線で表示した部分）が欠落しており、その投影態様は物理法則に反する。このため、領域Ａ１に含まれる物体の投影態様の特徴は、学習結果データに含まれる特徴データのいずれかと相応の相関度を有するが、３次元マップにおける物体の投影態様は物理法則に反するのに対して、学習結果データに含まれる特徴データは物理法則に整合するから、一致することはない。
【００６７】
３次元マップの特徴と学習結果データに含まれる特徴データが一致しない場合において、特徴データに示される特徴が物理法則に整合する信頼度が高い特徴である。そこで、基地局１５０は、特徴データに示される特徴を３次元マップに適用する。図６の場合、電柱２００Ａ及び２００Ｂのような柱状の物体の間に電線２０２Ｂのような水平の紐状の物体がほぼ水平に位置する場合の特徴データに示される投影態様の特徴は、柱状の物体間に途切れずに紐状の物体が存在するという特徴である。基地局１５０は、この特徴を３次元マップに適用することによって、３次元マップを補正する。具体的には、基地局１５０は、電線２０２Ｂの投影態様における欠落部分を補充する。
【００６８】
また、図６の３次元マップにおいては、雲２０４Ａ及び２０４Ｂが地面に存在するものとして投影されている。ただし、雲２０４Ａ等が高積雲だとすれば、撮影位置からの距離（地面との距離）は、２０００メートル（ｍ）〜７０００メートル（ｍ）であり、学習結果データの特徴データには、高積雲のような物体の投影態様が、撮影位置との距離として２０００メートル（ｍ）〜７０００メートル（ｍ）と対応づけられている。このため、雲２０４Ａ及び２０４Ｂの投影態様の特徴は、学習結果データに含まれる特徴データとは一致しない。
【００６９】
３次元マップの特徴と学習結果データに含まれる特徴が一致しない原因は、距離が合理的でないからである。そこで、基地局１５０は、特徴データに示される距離を３次元マップに適用する。図６の場合、雲２０４Ａ等のような投影態様に対応する距離は２０００メートル（ｍ）〜７０００メートル（ｍ）である。基地局１５０は、この距離を３次元マップに適用することによって、３次元マップを補正する。具体的には、雲２０４Ａのような投影態様の物体を３次元マップから削除する。
【００７０】
また、図６の３次元マップにおいては、カメラの汚れによって投影された物体２０８やレンズフレア２１０などの画像劣化要因が投影されている。画像劣化要因は、学習結果データに含まれる特徴とは一致しない。基地局１５０が特徴データを生成するために使用した画像データの多くは、画像劣化要因を含まないからである。そこで、基地局１５０は、画像劣化要因を３次元マップから削除する。
【００７１】
また、図６の３次元マップにおいては、家屋２０６Ａの煙突２０６Ａｃから立ち上る煙２０６Ａｓのような一時的現象を含む。基地局１５０は、一時的現象の特徴を示す特徴データを取得している。そこで、基地局１５０は、一時的現象を３次元マップから削除する。
【００７２】
以下、基地局１５０が３次元マップを補正する動作を、図１２のフローチャートを参照して説明する。基地局１５０は、３次元マップを生成すると、３次元マップを参照し（図１２のステップＳＴ５１）、３次元マップの特徴を抽出する（ステップＳＴ５２）。続いて、基地局１５０は、学習結果データを参照し（ステップＳＴ５３）、３次元マップを補正する（ステップＳＴ５４）。
【００７３】
なお、本実施形態とは異なり、３次元マップの元データは、必ずしも、無人機１による空中撮影によって取得する必要はない。
【００７４】
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【００７５】
１  無人飛行体（無人機）
２  筐体
４  キャノピー
６Ａ，６Ｂ，６Ｃ，６Ｄ，６Ｅ，６Ｆ  アーム
８  モーター
１０  プロペラ
１２Ａ，１２Ｂ，１２Ｃ  カメラ
２０６Ａ  家屋
２０６Ａａ  壁面
２０６Ａｓ  煙
２０８  カメラの汚れによって投影された物体
２１０  レンズフレア
１５０  基地局  
【図１】
2019207467.tif 000003
【図２】
2019207467.tif 000004
【図３】
2019207467.tif 000005
【図４】
2019207467.tif 000006
【図５】
2019207467.tif 000007
【図６】
2019207467.tif 000008
【図７】
2019207467.tif 000009
【図８】
2019207467.tif 000010
【図９】
2019207467.tif 000011
【図１０】
2019207467.tif 000012
【図１１】
2019207467.tif 000013
【図１２】
2019207467.tif 000014