(57)【要約】【課題】ワッブル型の歪みの補正を伴う無人航空機用の高解像度カメラを提供する。【解決手段】このカメラユニット（１４）は、高解像度ローリングシャッターカメラ（１６）と、１つ或いは幾つかの低解像度グローバルシャッターカメラ（１８）、例えばモノクロスペクトルカメラとを備える。全てのカメラは、同じ方向に向けられるとともに、無人航空機によって観察される同じシーンの高解像度画像（Ｉ0）及び少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）を同時に収集するために一緒に起動され得る。画像処理手段（２２）は、高解像度画像に存在して低解像度画像に存在しないワッブル型の歪みを決定するとともに、高解像度画像（Ｉ0）と低解像度画像（Ｉ1〜Ｉ4）とを組み合わせて、これらの歪みに関して補正された高解像度画像（Ｉ’0）を出力として配信する。【選択図】図３
2017017696.tif 000002
【特許請求の範囲】
【請求項１】
無人航空機（１０）に搭載して配置されるようになっているカメラユニット（１４）であって、
−第１の高解像度のデジタルセンサを含むローリングシャッタータイプのカメラ（１６）と、
−前記第１の解像度よりも低い第２の低解像度のデジタルセンサを含むグローバルシャッタータイプの少なくとも１つのカメラ（１８）と、
を備え、
前記ローリングシャッターカメラ及び前記少なくとも１つのグローバルシャッターカメラは、それらの光軸が同じ方向に向けられるとともに、前記無人航空機によって観察される同じシーン（１２）の高解像度画像（Ｉ0）及び少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）を同時に収集するために一緒に起動されることができ、
当該カメラユニット（１４）は、
−画像処理手段（２２）であって、
・前記高解像度画像に存在して前記少なくとも１つの低解像度画像に存在しないワッブル型の歪みを決定し、及び、
・前記高解像度画像（Ｉ0）と前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）とを組み合わせて、前記歪みに関して補正された高解像度画像（Ｉ’0）を出力として配信する、
ようになっている画像処理手段（２２）を更に備えることを特徴とするカメラユニット（１４）。
【請求項２】
前記画像処理手段（２２）は、
・前記高解像度画像（Ｉ0）中及び前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）中の注目点を探し（１０４）、
・前記高解像度画像のそれぞれの前記注目点を前記少なくとも１つの低解像度画像のそれらとマッピングし（１０６）、
・前記高解像度画像の前記注目点のそれぞれの変位を前記少なくとも１つの低解像度画像の対応する前記注目点を用いて計算し（１０８）、
・前記変位の全てによって規定される変換を決定し（１１０）、
・前記変換とは逆の変換を前記高解像度画像（Ｉ0）に適用する（１１２）、
ようになっている手段を備える請求項１に記載のカメラユニット。
【請求項３】
前記画像処理手段（２２）は、
・前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）から前記シーンの表示を構築する（２０６）、
・前記無人航空機のジャイロメーター、加速度計、及び／又は、ジオロケーションセンサにより配信された信号から、前記高解像度画像（Ｉ0）収集の継続時間にわたって受けられる前記カメラユニットの動きを決定する（２１２）、
・前記動きを考慮に入れて、前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）から構築された前記シーンの前記表示上に前記高解像度画像（Ｉ0）の各ピクセルをテクスチャとしてポイントごとに投影する（２１４）、
ようになっている手段を備える請求項１に記載のカメラユニット。
【請求項４】
前記ローリングシャッターカメラ（１６）がＲＧＢカメラである請求項１に記載のカメラユニット。
【請求項５】
前記少なくとも１つのグローバルシャッターカメラ（１８）がモノクロカメラである請求項１に記載のカメラユニット。
【請求項６】
前記少なくとも１つのグローバルシャッターカメラ（１８）が４つの狭帯域スペクトルカメラ一式である請求項５に記載のカメラユニット。
【請求項７】
前記ローリングシャッターカメラ（１６）のセンサの解像度が少なくとも１２Ｍｐｉｘｅｌである請求項１に記載のカメラユニット。
【請求項８】
前記少なくとも１つのグローバルシャッターカメラ（１８）のセンサの解像度が少なくとも１Ｍｐｉｘｅｌである請求項１に記載のカメラユニット。
【請求項９】
−ローリングシャッタータイプのカメラ（１６）によって配信される第１の高解像度の画像（Ｉ0）の取得（１０２；２０４）と、
−グローバルシャッタータイプの少なくとも１つのそれぞれのカメラ（１８）によって配信される前記第１の解像度よりも低い第２の低解像度の少なくとも１つの画像（Ｉ1〜Ｉ4）の取得（１０２；２０２）と、
を有し、
前記ローリングシャッターカメラ及び前記少なくとも１つのグローバルシャッターカメラは、それらの光軸が同じ方向に向けられるとともに、無人航空機によって観察される同じシーン（１２）の前記高解像度画像（Ｉ0）及び前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）を同時に収集するために一緒に起動されることができ、
当該画像処理方法は、
−前記高解像度画像に存在して前記少なくとも１つの低解像度画像に存在しないワッブル型の歪みの決定と、
−前記歪みに関して補正された高解像度画像を出力として配信するための前記高解像度画像（Ｉ0）と前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）との組み合わせと、
を更に含むことを特徴とする画像処理方法。
【請求項１０】
−前記高解像度画像（Ｉ0）中及び前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）中の注目点を探すステップ（１０４）と、
−前記高解像度画像のそれぞれの前記注目点を前記少なくとも１つの低解像度画像のそれぞれの前記注目点とマッピングするステップ（１０６）と、
−前記高解像度画像の前記注目点のそれぞれの変位を前記少なくとも１つの低解像度画像の対応する前記注目点を用いて計算するステップ（１０８）と、
−前記変位の全てによって規定される変換を決定するステップ（１１０）と、
−前記変換とは逆の変換を前記高解像度画像（Ｉ0）に適用するステップ（１１２）と、
を含む請求項９に記載の方法。
【請求項１１】
−前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）から前記シーンの表示を構築するステップ（２０６）と、
−前記無人航空機のジャイロメーター、加速度計、及び／又は、ジオロケーションセンサにより配信された信号から、前記高解像度画像（Ｉ0）収集の継続時間にわたって受けられるカメラユニットの動きを決定するステップ（２１２）と、
−前記動きを考慮に入れて、前記少なくとも１つの低解像度画像（Ｉ1〜Ｉ4）から構築された前記シーンの前記表示上に前記高解像度画像（Ｉ0）の各ピクセルをテクスチャとしてポイントごとに投影するステップ（２１４）と、
を含む請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動機器、特に無人航空機などの電動飛行装置に搭載されるカメラにより捉えられるデジタル画像の処理に関する。
【０００２】
本発明は、好適には、特に農作物の追跡調査のために農業経営で使用される専門の陸地地図作製無人航空機であるスイスのシュゾー−ローザンヌにあるＳｅｎｓｅＦｌｙのｅＢｅｅモデルなどの特に「全翼機」型の固定翼無人航空機のカメラによって収集される画像に適用される。
【０００３】
また、本発明は、他のタイプの無人航空機、例えばクアッドコプターなどの回転翼無人航空機にも適用され、その無人航空機の１つの典型的な例は、フロントカメラに加えて、無人航空機により上空を飛行される陸地の画像を収集する垂直視カメラを備える、フランスのパリにあるＰａｒｒｏｔ  ＳＡのＢｅｂｏｐである。
【背景技術】
【０００４】
上空を飛行される陸地の精密な地図表示を得るために、無人航空機により使用されるカメラは、高精細度ＲＧＢカラー画像を生み出すカメラ（一般的には少なくとも１２Ｍｐｉｘｅｌ、場合により２０或いは更には４０Ｍｐｉｘｅｌ）である。
【０００５】
そのような仕様を満たすことができるカメラは、ローリングシャッタータイプのセンサを備えるカメラであり、このローリングシャッタータイプのセンサは、センサのピクセルが列ごとに読み取られ、フォトサイトの露光とセンサの一連の列の読み取りとが同時に行なわれる、センサである。
【０００６】
「グローバルシャッター」センサと呼ばれる他のタイプのセンサが存在し、このセンサは、センサフォトサイトの露光の初期段階と、それに続いてフォトサイトが露光された後にピクセルデータを全体的に読み取る段階とを伴いつつ、２つの別個のステップで動作する。
【０００７】
グローバルシャッターセンサの欠点のうちの１つは、ローリングシャッターセンサの精細度（或いはさもなければ、ひどく高いコストのため）よりも非常に低いそれらの比較的低い精細度、及び、それらの低い感度である。これは、かなり長い時間にわたって列ごとの読み取り中であってもフォトサイトが露光されるローリングシャッターセンサとは異なり、読み取り段階の全体の継続時間にわたってフォトサイトが露光されないからである。
【０００８】
一方、ローリングシャッターセンサは、外的現象に起因して画像が被る歪みである主な欠点を有する。確かに、ローリングシャッターセンサを用いると、シーンが完全に「フリーズ」されないが、画像を構築する列が画像のピクセルの全てに関して同時に取得されず、画像の捕捉中に起こる様々な動きが、１つの列から後続の列まで同じではない歪みを画像中にもたらす。
【０００９】
特に、画像の捕捉中に起こる無人航空機の姿勢の変化及びモータの振動等は、画像ぼけであるワッブル（wobble）と呼ばれる良く知られる欠陥と、シーンの直線的な要素が一般にセンサの出力で配信される画像中で波線としてレンダリングされる歪み効果とをもたらす。
【００１０】
ワッブルの影響が無人航空機の姿勢の変化に起因する場合には、ピッチ、ロール、及び、ヨーの３つの軸での無人航空機の瞬間の回転、したがってカメラの瞬間の回転を表わす信号を配信する無人航空機の慣性ユニットの測定値を使用してこの欠陥を効率的に補正することができる。カメラセンサと同期してそれぞれの列ごとに無人航空機姿勢を正確に取得できると直ぐに、ジャイロメーター測定に対して逆の変換の適用によって、画像歪みをリアルタイムで補償することができる。このタイプの技術は、特に、欧州特許出願公開第２９３３７７５号明細書（２０１５年１０月２１日に公開され、「Ｄｒｏｎｅ  ａ  Ｖｏｉｌｕｒｅ  ｔｏｕｒｎａｎｔｅ  ｍｕｎｉ  ｄ’ｕｎｅ  ｃａｍｅｒａ  ｖｉｄｅｏ  ｄｅｌｉｖｒａｎｔ  ｄｅｓ  ｓｅｑｕｅｎｃｅｓ  ｄ’ｉｍａｇｅｓ  ｓｔａｂｉｌｉｓｅｅｓ」と題される２０１４年７月２日のフランス特許出願公開第１４５６３０２号明細書に対応する）に記載される。
【００１１】
この補正技術は、とりわけ、回転に起因するワッブル、すなわち、クアッドコプターなどの回転翼無人航空機の典型的なアーチファクトを排除することができる。
【００１２】
固定翼無人航空機の場合、例えば「全翼機」型の無人航空機の場合、このタイプの補正は、特に捉えられるシーンに対して無人航空機が急速に移動するときには、あまり効率的ではない。確かに、ローリングシャッターセンサの列ごとの動作の原理は、捉えられるシーンの構造及び速度に応じて、予期することが困難な複雑な歪みを包含する。
【００１３】
このように、２つのセンサタイプはいずれも実際には満足できるものではない。すなわち、ローリングシャッターセンサを備えるカメラは、高精細度の画像をもたらすが、複数の予測できない歪みに晒され、一方、グローバルシャッターセンサを備えるカメラは、歪みをもたない画像をもたらす（捉えられるシーンは、読み取り段階の開始の直前の露光段階の終わりに「フリーズ」されたシーンである）が、かなり低い解像度を伴うとともに、より低い感度も伴う。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】欧州特許出願公開第２９３３７７５号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、２つのグローバルシャッターセンサ及びローリングシャッターセンサのそれぞれの利点を組み合わせるが、その欠点を伴わない新規なタイプのカメラユニット、すなわち、以下の利点を有するカメラユニットを提案することである。
−高解像度及び高感度（従来のローリングシャッターセンサの典型的な利点）；
−画像中に歪みが無い、特にワッブルの影響が無い（グローバルシャッターセンサに特有の利点）；及び、
−全体は、妥当なコストの現在広く行き渡っている構成要素から形成される。
【課題を解決するための手段】
【００１６】
本発明の出発点は、一部の無人航空機が両方のタイプのセンサを備えるカメラを同じユニットに組み込むカメラユニットを搭載して成るという所見である。
【００１７】
そのようなものは、特に、上空を飛行される陸地の高解像度ＲＧＢ画像を与えるローリングシャッタータイプのメインカメラ及び上空を飛行される陸地のスペクトル解析のための少なくとも１つの（一般的には幾つかの）狭帯域モノクロカメラの両方を備える、例えば作物の制御、水路測量等のための、専門的な地図作製において使用される無人航空機のケースである。これらのスペクトルカメラは、光合成の状態に関する情報を得るために、特に異なる帯域で、作物の反射率、すなわち、葉によって反射される光の量を測定する。
【００１８】
これらのスペクトルカメラは、狭いスペクトル帯域（緑、赤、近赤外線等）で動作し、したがってスペクトル解析以外の目的で利用され得る画質を与えないモノクロの（一般的に１Ｍｐｉｘｅｌ程度の）比較的低い解像度のグローバルシャッターカメラである。
【００１９】
本発明の基本的な考えは、主となるローリングシャッターカメラ（高精細度であるが、前述した歪みに晒されるＲＧＢ画像を与えるカメラである）の画像の歪みを補正するためにスペクトルカメラにより配信される画像（低解像度であるが、スペクトルカメラのグローバルシャッターセンサの動作の原理に起因して歪みをもたないモノクロ画像）を使用することにある。
【００２０】
より正確には、本発明は、それ自体知られる態様で、第１の高解像度のデジタルセンサを含むローリングシャッタータイプのカメラと、前記第１の解像度よりも低い第２の低解像度のデジタルセンサを含むグローバルシャッタータイプの少なくとも１つのカメラとを備えるカメラユニットを提案する。ローリングシャッターカメラ及び少なくとも１つのグローバルシャッターカメラは、それらの光軸が同じ方向に向けられるとともに、無人航空機によって観察される同じシーンの高解像度画像及び少なくとも１つの低解像度画像を同時に収集するために一緒に起動され得る。
【００２１】
本発明の特徴として、カメラユニットは、高解像度画像に存在して少なくとも１つの低解像度画像に存在しないワッブル型の歪みを決定するとともに、高解像度画像と少なくとも１つの低解像度画像とを組み合わせて、前記歪みに関して補正された高解像度画像を出力として配信するようになっている画像処理手段も備える。
【００２２】
第１の実施の形態において、画像処理手段は、
・高解像度画像中及び少なくとも１つの低解像度画像中の注目点を探す、
・高解像度画像のそれぞれの注目点を少なくとも１つの低解像度画像のそれぞれの注目点とマッピングする、
・高解像度画像の注目点のそれぞれの変位を少なくとも１つの低解像度画像の対応する注目点を用いて計算する、
・前記変位の全てによって規定される変換を決定する、
・前記変換とは逆の変換を高解像度画像に適用する、
ようになっている手段を備える。
【００２３】
第２の実施の形態において、画像処理手段は、
・少なくとも１つの低解像度画像からシーンの表示を構築する、
・無人航空機のジャイロメーター、加速度計、及び／又は、ジオロケーションセンサにより配信された信号から、高解像度画像収集の継続時間にわたって受けられるカメラユニットの動きを決定する、
・前記動きを考慮に入れて、少なくとも１つの低解像度画像から構築されたシーンの前記表示上に高解像度画像の各ピクセルをテクスチャとしてポイントごとに投影する、
ようになっている手段を備える。
【００２４】
様々な副次的な有利な特徴によれば、
−ローリングシャッターカメラがＲＧＢカメラである、
−少なくとも１つのグローバルシャッターカメラがモノクロカメラである、
−少なくとも１つのグローバルシャッターカメラが４つの狭帯域スペクトルカメラの組である、
−ローリングシャッターカメラのセンサの解像度が少なくとも１２Ｍｐｉｘｅｌである、
−少なくとも１つのグローバルシャッターカメラのセンサの解像度が少なくとも１Ｍｐｉｘｅｌである。
【００２５】
また、本発明は、それ自体知られた態様で、
−ローリングシャッタータイプのカメラによって配信される第１の高解像度の画像の取得と、
−グローバルシャッタータイプの少なくとも１つのそれぞれのカメラによって配信される前記第１の解像度よりも低い第２の低解像度の少なくとも１つの画像の取得と、
を備え、
ローリングシャッターカメラ及び少なくとも１つのグローバルシャッターカメラは、それらの光軸が同じ方向に向けられるとともに、無人航空機によって観察される同じシーンの前記高解像度画像及び前記少なくとも１つの低解像度画像を同時に収集するために一緒に起動され得る、画像処理の方法に関する。
【００２６】
特徴として、この方法は、
−高解像度画像に存在して少なくとも１つの低解像度画像に存在しないワッブル型の歪みの決定と、
−前記歪みに関して補正された高解像度画像を出力として配信するための高解像度画像と少なくとも１つの低解像度画像との組み合わせと、
を更に備える。
【００２７】
第１の実施の形態において、方法は、
−高解像度画像中及び少なくとも１つの低解像度画像中の注目点を探すステップと、
−高解像度画像のそれぞれの注目点を少なくとも１つの低解像度画像のそれぞれの注目点とマッピングするステップと、
−高解像度画像の注目点のそれぞれの変位を少なくとも１つの低解像度画像の対応する注目点を用いて計算するステップと、
−前記変位の全てによって規定される変換を決定するステップと、
−前記変換とは逆の変換を高解像度画像に適用するステップと、
を備える。
【００２８】
第２の実施の形態において、方法は、
−少なくとも１つの低解像度画像からシーンの表示を構築するステップと、
−無人航空機のジャイロメーター、加速度計、及び／又は、ジオロケーションセンサにより配信された信号から、高解像度画像収集の継続時間にわたって受けられるカメラユニットの動きを決定するステップと、
−前記動きを考慮に入れて、少なくとも１つの低解像度画像から構築されたシーンの前記表示上に高解像度画像の各ピクセルをテクスチャとしてポイントごとに投影するステップと、
を備える。
【００２９】
ここで、図の全体にわたって同じ参照符号が同一の要素又は機能的に同様の要素を示す添付図面を参照して、本発明の実施の一例について説明する。
【図面の簡単な説明】
【００３０】
【図１】そのシーンが搭載カメラにより捉えられる陸地の上空にわたって飛行する無人航空機を示す全体図である。
【図２】高精細度ローリングシャッターカメラと４つのグローバルシャッタースペクトルカメラとを備えるカメラユニットの一般的な構造を示す。
【図３】図２のカメラユニットにより生成される複数の画像から、歪みをもたない高解像度画像を得ることができるようにする様々な要素をブロック図として示す。
【図４】本発明の第１の実施の形態の様々なステップを示すフロー図である。
【図５】本発明の第２の実施の形態の様々なステップを示すフロー図である。
【発明を実施するための形態】
【００３１】
ここで、本発明の典型的な実施形態及び実施について説明する。
【００３２】
図１には、陸１２の上空にわたって飛行する無人航空機１０、例えばＳｅｎｓｅＦｌｙのｅＢｅｅなどの「全翼機」型の固定翼無人航空機が示され、陸１２のマップが無人航空機により形成される。その目的のため、無人航空機には、この陸の略長方形部分から形成されるシーンの画像を捉えるために陸の方へと向きが変えられる垂直視カメラユニット１４が設けられる。
【００３３】
図２は、カメラユニット１４の異なる要素を更に正確に示し、カメラユニット１４は、この例では、その光軸が全て同じ方向、すなわち、垂直方向に向けられる５つのカメラ１６，１８の組を備え、５つのカメラはそれぞれ、無人航空機によって上空を飛行されるほぼ同じシーン１６の画像を配信する。
【００３４】
カメラユニット１４は、例えば可視スペクトルの全ての色のＲＧＢ画像を配信する１２Ｍｐｉｘｅｌ以上（２０〜４０Ｍｐｉｘｅｌ）の解像度のローリングシャッタータイプの１６で示される高精細度ＨＤカメラを備える。
【００３５】
また、ユニット１４は、グローバルシャッタータイプのモノクロの低解像度（一般に１Ｍｐｉｘｅｌ）カメラである１８で示される４つのスペクトルカメラＳＰ１・・・ＳＰ４も備える。これらの４つのカメラ１８は、それらが感知するスペクトル帯域を除いて、同一である。農業に対する用途において、これらの帯域は、例えば、緑、赤、極赤（レッドエッジ）、及び、近赤外線にある狭帯域である。
【００３６】
図３に示されるように、５つのカメラ１６，１８は、共通の信号２０によって同時に起動されて、
−ローリングシャッターカメラ１６に関しては、高解像度ＲＧＢ信号である画像信号Ｉ0、
−４つのグローバルシャッタースペクトルカメラ１８に関しては、モノクロの低解像度信号であるそれぞれの画像信号Ｉ1〜Ｉ4、
をそれぞれ配信する。
【００３７】
これらの信号、すなわち、一方ではＩ0、他方ではＩ1〜Ｉ4は、ユニット２２で組み合わされ、該ユニット２２は、以下で明らかにされる態様で、スペクトルカメラ１８によりもたらされる画像Ｉ1〜Ｉ4（グローバルシャッターセンサの使用に起因して歪められないが、モノクロの低解像度画像である画像）から画像Ｉ0中に存在する歪み（ローリングシャッターカメラに固有の歪み）を排除できる。
【００３８】
また、ユニット２２は、無人航空機の慣性ユニット（ＩＭＵ）によって或いは搭載センサ（ユニット２４により図式化されるユニット）によってもたらされるジャイロメーター情報及び／又はジオロケーション情報（ＧＰＳ）を受けてもよい。
【００３９】
ユニット２２により行なわれる処理は、マイクロコンピュータによって或いは専用のグラフィック処理ユニット（ＧＰＵ）によって飛行中にリアルタイムで行なわれる処理であってもよい。
【００４０】
また、この処理は後処理として実行されてもよく、無人航空機は、歪みが除去された画像Ｉ’0をその後に得るために、画像Ｉ0及び画像Ｉ1〜Ｉ4を別々に記録する。
【００４１】
発明の第１の実施の形態
【００４２】
図４は、本発明の第１の実施の形態の様々なステップをフロー図１００として示す。
【００４３】
第１のステップ（ブロック１０２）は、高精細度ローリングシャッターカメラ１６及び４つのグローバルシャッタースペクトルカメラ１８によって同時に捉えられる画像データＩ0，Ｉ1〜Ｉ4を取得することにある。
【００４４】
画像のそれぞれに関して、方法は、例えばＦＡＳＴ（加速セグメントテストからの特徴）タイプのコーナー検出アルゴリズムを用いて注目点（ＰＯＩ）を探す（ブロック１０４）。
【００４５】
高精細度カメラ１６及び４つのスペクトルカメラ１８はそれらの光軸が同じ方向（略垂直方向）に向けられているため、歪みの無いシーンの画像である４つのスペクトルカメラ１８により与えられる画像が完全に位置合わせされ、そのため、注目点ごとに４つの位置の推定がもたらされ、それにより、最終結果を改善できると考えられる。
【００４６】
また、１つの分離された画像にのみ現れる変わりやすいアーチファクトの影響を減らすことによって、幾つかの画像にわたる時間積分が補正をかなり向上させることができることも挙げられる。
【００４７】
注目点が取得された時点で、方法は、一方では画像Ｉ0のＰＯＩと他方では画像Ｉ1〜Ｉ4のＰＯＩとの間の対応付けを探して（ステップ１０６）、画像Ｉ0と画像Ｉ1〜Ｉ4のうちの１つ以上との両方に存在する対応するＰＯＩを決定する。２つの対応するそれぞれのＰＯＩがＩ0及びＩ1〜Ｉ4に関して見つけられると、これらのＰＯＩが画像のそれぞれにおけるそれらの位置と共に記憶される。
【００４８】
以降のステップ（ブロック１０８）は、得られたデータから、画像Ｉ1〜Ｉ4（歪みの無い画像）と対応する画像Ｉ0（歪んだ画像）との間の各注目点の変位を計算することにある。
【００４９】
そのように計算された変位の全ては、歪みの無い画像Ｉ1〜Ｉ4に対してＩ0が被る歪みを表わす変換を決定する（ブロック１１０）ことができるようにする。
【００５０】
その後、前のステップで決定された変換とは逆の変換をＩ0に適用して、歪んだ高解像度画像Ｉ0を歪みの無い高解像度画像Ｉ’0へと修正することができる（ステップ１１２）。
【００５１】
なお、歪みの補正後の高解像度画像の解析は、連続画像の解析による各注目点の深さ、すなわち、カメラと陸上の注目点との間の光軸の方向にしたがう成分を補助的に決定できるようにする（光軸は、カメラに関連付けられる座標系Ｘ，Ｙ，Ｚにおける軸Ｚであり、Ｘ，Ｙは、画像に対する左／右及び上／下の軸上の座標である）。
【００５２】
発明の第２の実施の形態
【００５３】
図５は、本発明の第２の実施の形態の様々なステップをフロー図２００として示す。
【００５４】
先のケースの場合と同様に、高精細度カメラ１６によって及び４つのスペクトルカメラ１８によって配信される画像データＩ0及びＩ1〜Ｉ4はそれぞれ同時に取得される（ブロック２０２，２０４）。
【００５５】
以降のステップ（ブロック２０６）は、スペクトルカメラにより配信される画像（低精細度）Ｉ1〜Ｉ4から、上空を飛行される陸地のシーンの三次元再構築を行なうことにある。このステップは、スイスのローザンヌにあるＰｉｘ４ＤのＰｉｘ４Ｄｍａｐｐｅｒなどのソフトウェアプログラムを用いて実施されてもよい。
【００５６】
このステップは、撮られたそれぞれの画像ごとに、陸地に対するカメラの位置を用いた陸地のトポロジーの表示をもたらすことができるようにする。
【００５７】
また、高精細度ローリングシャッターカメラ１６により撮られる画像、及び、無人航空機に搭載配置されるジャイロメーターセンサ及び／又はジオロケーションセンサ（ブロック２１０）により配信される情報の正確なタイムスタンピング（ブロック２０８）から、画像撮影（ブロック２１２）の継続時間にわたって、無人航空機の動き、したがってカメラの動きを決定する（ブロック２１２）ことができ、それにより、画像の各ピクセルごとにカメラの方向を知ることができる。
【００５８】
その後、前のステップ（２０６）で再構築された３Ｄシーン（低解像度、歪みの無い）上に画像Ｉ0（高精細度、歪んだ）の各ピクセルをテクスチャとしてポイントごとに投影することが行なわれる（ブロック２１４）。
【００５９】
テクスチャとしての３Ｄシーンに対するテクスチャ（ここでは、ローリングシャッターカメラ１６により得られる歪んだ画像）の適用は、３Ｄソフトウェアプログラムの大部分で、特に前述したソフトウェアプログラムで使用されるそれ自体知られたステップである。
【００６０】
この投影の結果は、画像Ｉ0中に存在する歪みに関して修正される高解像度ＲＧＢ画像である画像Ｉ’0である。
【図１】
2017017696.tif 000003
【図２】
2017017696.tif 000004
【図３】
2017017696.tif 000005
【図４】
2017017696.tif 000006
【図５】
2017017696.tif 000007
【外国語明細書】
2017017696000001.pdf