(57)【要約】【課題】ドローンの特定の移動中に現れる特定の欠陥を排除することを目的とする。【解決手段】ドローンは、カメラ（１４）と、ドローン角度を測定する慣性ユニット（４６）と、慣性ユニットにより測定される角度変化の方向とは反対の方向で動的に変位される減少されたサイズの可動捕捉領域の画像データを配信する抽出モジュール（５２）とを備える。補償手段（５２）が、現在のドローン姿勢データを入力として受けるとともに、捕捉領域内に含まれる画像データに応じて計算される、自動露出、ホワイトバランス、又は、自動焦点合わせなどの撮像パラメータの現在の値（５４）に動的に作用する。【選択図】図５
2017103751.tif 000002
【特許請求の範囲】
【請求項１】
ドローン（１０）であって、
前記ドローン本体に結合したカメラ（１４）であって、
前記ドローン本体に対して固定の方向を向く魚眼タイプの半球状視野レンズ、及び、
前記レンズにより形成される画像（Ｉ）を収集して原画像データを配信するデジタルセンサ、を備えるカメラ（１４）と、
絶対地球座標系に対する前記ドローンの瞬間の姿勢を特徴付けるオイラー角（Φ、θ、ψ）を測定するようになっており、且つ現在のドローン姿勢データを出力として配信する慣性ユニット（１６）と、
前記センサの範囲にわたって形成される前記画像（Ｉ）内で、低減したサイズの捕捉領域（ＺＣ）の位置を規定するようになっている抽出手段（５２）と、
現在のドローン姿勢データを入力として受け、且つ前記慣性ユニットにより測定される角度の値の変化の方向とは反対の方向に前記画像（Ｉ）中の前記捕捉領域（ＺＣ）の位置及び方向を動的に変更するようになっている制御手段（４８，５０，５２）と、
前記捕捉領域（ＺＣ）から抽出されるユーザ領域（ＺＵB）の画像データを入力として受け、且つ前記魚眼レンズによりもたらされる幾何学的歪みが補償される、対応する直線化された画像データ（ＺＵR）を出力として配信する再投影手段（５２）と、
を備え、
前記カメラ（１４）は、
自動露出、ホワイトバランス、及び、自動焦点合わせのうちの少なくとも１つの撮像パラメータの動的制御のための手段を更に含み、
当該ドローンは、
少なくとも１つの低減した解像度のサムネイルを前記捕捉領域（ＺＣ）内で規定するとともに、前記サムネイル中に含まれる画像データに応じて前記撮像パラメータの現在の値を配信（５４）するようになっている解析手段と、
補償手段（５２）であって、そのような手段は、前記慣性ユニットにより配信される現在のドローン姿勢データを入力として受け、且つ前記ドローンの姿勢の瞬間の変化から実質的に独立した値に前記撮像パラメータを維持するために、前記解析手段により配信される前記撮像パラメータの前記値の、前記ドローンの姿勢の瞬間の変化により引き起こされ易い変化とは反対の方向に、これらの現在の姿勢データに応じて、前記解析手段と動的に相互作用するようになっている補償手段（５２）と、
を更に備えることを特徴とするドローン（１０）。
【請求項２】
前記解析手段は、前記捕捉領域（ＺＣ）からくる前記サムネイル中に含まれる前記画像データから、前記センサ上に前記レンズにより形成された画像の領域の外側（Ｘ）に位置する前記原画像データを更に排除するようになっている、請求項１に記載のドローン。
【請求項３】
前記補償手段は、前記抽出手段により配信される、前記捕捉領域（ＺＣ）からくる前記サムネイル中に含まれる画像データを入力（１０４）として受ける請求項１に記載のドローン。
【請求項４】
前記解析手段は、前記捕捉領域（ＺＣ）にわたって分布する複数の関心領域ＲＯＩ（ＲＯＩ1．．．ＲＯＩ7）をそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備え、
前記補償手段は、現在のドローン姿勢データに応じて前記捕捉領域内のＲＯＩのサイズ及び／又は位置の変更によって前記解析手段と動的に相互作用するようになっている手段を備える、
請求項３に記載のドローン。
【請求項５】
前記補償手段は、前記捕捉領域（ＺＣ）中に含まれる現在のユーザ領域（ＺＵB）の外側に位置するＲＯＩの規定をＲＯＩの規定から予め排除するようになっている手段を備える請求項４に記載のドローン。
【請求項６】
前記補償手段は、前記捕捉領域の内側で規定される現在のユーザ領域（ＺＵB）とＲＯＩとのだいたい大きな度合いの重なり合いの関数である固有の重み値を各ＲＯＩに割り当てる（１０６）ようになっている手段を備え、この値は、現在のユーザ領域内に完全に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関してはより低い、請求項５に記載のドローン。
【請求項７】
前記補償手段は、ＲＯＩのだいたい大きな表面の関数である固有の重み値を各ＲＯＩに割り当てるようになっている手段を備える請求項５に記載のドローン。
【請求項８】
前記解析手段は、前記捕捉領域（ＺＣ）にわたって均一な所定の態様で分布する関心領域ＲＯＩ（ＲＯＩ（ｉ，ｊ））のグリッド（ＧＲ）をそれぞれのＲＯＩごとに対応するサムネイルで各画像中において規定し、且つそれぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備え、
前記補償手段は、前記捕捉領域（ＺＣ）の内側で規定される現在のユーザ領域（ＺＵB）とＲＯＩとの重なり合いの度合いの関数である固有の重み値を各ＲＯＩに割り当てる（１０６）ことによって前記解析手段と動的に相互作用するようになっている手段を備え、この値は、現在のユーザ領域内に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の外側のＲＯＩに関しては最小であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関しては中間である、
請求項３に記載のドローン。
【請求項９】
前記補償手段は、前記再投影手段によって配信される前記魚眼レンズによりもたらされる幾何学的歪みが補償された直線化された画像データ（ＺＵR）を入力（２０６）として受ける請求項１に記載のドローン。
【請求項１０】
前記解析手段は、直線化された画像（ＺＵR）にわたって分布する複数の関心領域ＲＯＩをそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備え、
前記補償手段は、現在のドローン姿勢データに応じた前記直線化された画像（ＺＵR）内のＲＯＩのサイズ及び／又は位置の変更によって前記解析手段と動的に相互作用するようになっている手段を備える、
請求項９に記載のドローン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、以下において「ドローン」と呼ばれる遠隔操縦移動装置、特に飛行ドローン又はＵＡＶ（無人航空機）などの電動飛行車両に搭載されるカメラによって捕えられたデジタル画像の処理に関する。
【０００２】
しかしながら、本発明は、飛行装置によって収集される画像に限定されず、本発明は、遠隔操作者の制御下で地上を移動する転動装置又は水域上を移動する浮動装置にも適用され、用語「ドローン」は、その最も一般的な意味で理解されなければならない。
本発明は、好適には、クアドリコプタなどの回転翼ドローンのフロントカメラにより収集される画像に適用される。
【背景技術】
【０００３】
フランスのパリにあるＰａｒｒｏｔ  ＳＡのＡＲ．Ｄｒｏｎｅ２．０又はＢｅｂｏｐ  Ｄｒｏｎｅがそのようなクアドリコプタの典型的な例である。これらのドローンには、一連のセンサ（加速度計、３軸ジャイロメータ、高度計）と、ドローンが向かうシーンの画像を捕えるフロントカメラと、上空を飛行した地上の画像を捕える垂直視カメラとが設けられる。そのようなドローンには、ドローンを所定の姿勢及び速度で操縦するべく差別化された態様で制御され得るそれぞれのモータにより駆動される複数のロータが設けられる。そのようなドローンの様々な態様は、特に、国際公開第２０１０／０６１０９９号パンフレット、欧州特許出願公開第２３６４７５７号明細書、欧州特許出願公開第２６１３２１３号明細書、又は、欧州特許出願公開第２６１３２１４号明細書（Ｐａｒｒｏｔ  ＳＡ）に記載される。
【０００４】
２０１４年１０月６日付けからインターネットで公開された「Ｔｈｅ  Ｎｅｗ  Ｐａｒｒｏｔ  Ｂｅｂｏｐ  Ｄｒｏｎｅ：Ｂｕｉｌｔ  ｆｏｒ  Ｓｔａｂｉｌｉｚｅｄ  Ａｅｒｉａｌ  Ｖｉｄｅｏ」と題されるＴｉｍｏｔｈｙ  ＭｃＤｏｕｇａｌの論文（ＸＰ０５５２３３８６２）は、特に、画像安定化・制御システムと関連付けられる魚眼レンズを備えるドローンである前述のＢｅｂｏｐ  Ｄｒｏｎｅ装置について記載する。
【０００５】
フロントビデオカメラは、ドローンの「没入モード」操縦、すなわち、ユーザがあたかも自分自身でドローンに乗っているかのような同じ態様でカメラの画像を使用する操縦のために使用され得る。また、フロントビデオカメラは、ドローンが向かうシーンの一連の画像を捕える役目を果たしてもよい。そのため、ユーザは、カメラ又はカムコーダーと同じ態様でドローンを使用でき、このカメラ又はカムコーダーは、手で保持されるのではなく、ドローンによって支持される。取得される画像は、記録された後にブロードキャストされ、オンラインでビデオシーケンスホスティングウェブサイトに置かれ、他のインターネットユーザへ送られ、ソーシャルネットワーク等で共有され得る。
【０００６】
これらの画像が記録されて通信されるようになっている場合には、これらの画像に想定し得る欠陥、特にドローンの挙動により引き起こされる欠陥が殆どないようにすることが望ましい。すなわち、確かに、ドローンの前方、後方、又は、脇への任意の直線変位は、ドローンの傾動を伴い、そのため、実際にはユーザに対して表示される最終画像中に様々な時機を失したアーチファクトをもたらすカメラにより取得される画像のずれ、回転、振動．．．といった望ましくない対応をする影響を伴う。
【０００７】
これらの欠陥は、「没入操縦」形態において許容できる場合がある。その一方で、記録されてその後にレンダリングされるシーケンスを捕えるために事態がドローンを移動ビデオカメラとして使用するようになっている場合には、これらの欠陥が極めて厄介であり、そのため、これらの欠陥を最小限まで減らすことが望ましい。
【０００８】
前述のＢｅｂｏｐ  Ｄｒｏｎｅの場合、後者は、約１８０°の視野をカバーする魚眼タイプの半球状視野レンズを備えるカメラを実装するが、その捕えられる視野の一部分だけが使用され、この部分は、従来のカメラにより捕えられる角度セクターにほぼ対応する。
【０００９】
その目的のため、センサの表面で形成される半球状画像全体の中で特定の窓（以下、「捕捉領域」）が選択される。この窓は、回転移動及び並進移動することができるとともに、慣性ユニットにより決定されるドローンの動きに応じてこれらの動きに対して反対方向に恒久的に変位される。無論、魚眼レンズにより取得される画像は、従来のカメラと同じ振動動作及び回転動作を受けるが、画像領域の変位は、これらの移動を補償し、したがってドローン移動に対して安定させられる画像を生み出すために、フィードバック制御される。
【００１０】
捕捉領域の画像、より正確には、捕捉領域の画像の有用部分（以下、「有用領域」）は、その後、魚眼レンズによりもたらされる幾何学的歪みを補償するための再投影プロセス、すなわち、レンズにより曲げられた直線の直線化された画像の中心と外周との間の均一な拡大の再設定などに晒される。得られた最終画像（「直線化された有用領域」）は、その後、スクリーン上に表示されるべくユーザへ送信され、記録されるなどする。
【００１１】
したがって、特定領域（捕捉領域）の捕えられたシーン全体からの抽出によって「仮想カメラ」が規定され、特定領域は、さもなければユーザに対して表示される最終画像中で観察される振動を消滅させ、その後、画像直線化プロセスの適用によって幾何学的な歪みも他の歪みも伴わないシーンの表示を得るために、初期の画像において、ドローンの移動と反対の方向に動的に回転変位及び並進変位される。
【００１２】
この技術は、２０１５年１０月２１日に公開された欧州特許出願公開第２９３３７７５号明細書（Ｐａｒｒｏｔ）に記載される。
【００１３】
また、同等の技術が、２００７年１２月１５日−１８日に行われたロボット工学及びバイオミメティックスに関する２００７  ＩＥＥＥ国際会議の議事録におけるＭｉｙａｕｃｈｉ  Ｒらの論文「Development of Omni-Directional Image Stabilization System Using Camera Posture Information」の９２０−９２５頁にも記載され、この論文は、「魚眼」タイプの半球状視野レンズ、すなわち、約１８０°の視野をカバーする半球状視野レンズを備えるカメラにより捕えられる画像に対してそのようなＥＩＳ（Electronic Image Stabilization）技術を適用することを提案する。生の画像は、取得されて、（魚眼歪みを補償するために）直線化プロセスに晒された後、カメラを支持するロボットの移動に応じて動的な窓処理のプロセスに晒される。補償は、センサが安定化画像に対応する副部分のみを送信することに対して補償がなされるように移動と反対の方向での取得領域への捕捉領域の並進によって行われる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】国際公開第２０１０／０６１０９９号パンフレット
【特許文献２】欧州特許出願公開第２３６４７５７号明細書
【特許文献３】欧州特許出願公開第２６１３２１３号明細書
【特許文献４】欧州特許出願公開第２６１３２１４号明細書
【特許文献５】欧州特許出願公開第２９３３７７５号明細書
【非特許文献】
【００１５】
【非特許文献１】「The New Parrot Bebop Drone:Built for Stabilized Aerial Video」と題されるTimothy McDougalの論文（ＸＰ０５５２３３８６２）
【非特許文献２】Miyauchi Rらの論文「Development of Omni-Directional Image Stabilization System Using Camera Posture Information」の９２０−９２５頁
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明は、ドローンの特定の移動中に現れる特定の欠陥を排除することを目的とする。
【００１７】
この欠陥は、カメラの特定数の動作パラメータ、すなわち、自動露出（ＡＥ、画像の異なるポイントの輝度の解析に基づく）のアルゴリズム、自動ホワイトバランス（ＡＷＢ、画像の異なるポイントの比色分析に基づく）のアルゴリズム、又は、自動焦点合わせ（ＡＦ、画像の異なるポイントのコントラストの解析に基づく）のアルゴリズムなどの画像解析アルゴリズムにより自動的に調整されるパラメータの動的な制御に関連する。
【００１８】
ＡＥアルゴリズム及びＡＷＢアルゴリズムの例は米国特許出願公開第２０１５／０２２２８１６号明細書において見出され、また、ＡＦアルゴリズムの例は米国特許出願公開第２０１３／００２１５２０号明細書において見出され得る。
【００１９】
以下の説明では、典型的な特定のケースとして、露出の自動制御が挙げられるが、本発明は、このパラメータの制御に限定されず、また、理解されるように、ホワイトバランス及び焦点合わせなど、画像の解析に基づいて他のパラメータの自動制御に適用されてもよい。
【００２０】
自動露出（ＡＥ）アルゴリズムの原理は、センサに関して、同じ目標輝度をもって任意のシーンを捕えることができるようにする組｛露出時間、ゲイン｝を選択することである。この選択は、サブサンプリング又はデシメーションにより得られる以下で「サムネイル」と呼ばれる画像の低解像度バージョン（例えば６４×４８ピクセル）の解析に基づいて行われ、それにより、輝度ヒストグラム及び場合により他のパラメータが抽出され、そのような異なる開始データは、以下、画像の「統計量」という一般的な用語により参照される。
【００２１】
センサにより収集される画像全体から抽出される捕捉領域の前述のケースにおいて、これは、自動露出の制御のパラメータを計算するのに役立つ統計量をもたらす捕捉領域のコンテンツである。
【００２２】
しかし、先に説明されたように、この捕捉領域は、ユーザに対して表示される最終有用領域よりも大きく、それにより、自動露出アルゴリズムは、ユーザが見えないシーンの要素、すなわち、捕捉領域の内側に位置するが有用領域の外側に位置する要素に基づいて決定を行うことができる。
【００２３】
ここで、正確に露出されることが望ましいシーンは、ユーザによって見えるシーン（有用領域）であり、それとは異なる捕捉領域ではない。
【００２４】
空の部分と地面の部分とを備える画像の例では、空と地面との間の割合が、カメラの傾きにしたがって、そのため、ドローンの姿勢にしたがって変化する。そのようにしてドローンがホバリング飛行姿勢から下方へ傾けられた姿勢（この傾きは前方直線変位をもたらす）へと移行する場合、地面へ向けて傾けられるカメラは（それがドローン本体に連結されるため）かなり高い割合の地面を捕える。地面が更に暗くなるにつれて、自動露出アルゴリズムの制御は、この輝度変化を露出時間及び／又はゲインの増大によって補償するようになる。
【００２５】
しかしながら、初期画像における捕捉領域の変位とそこから有用領域を抽出するように行われる再投影とに起因して、ユーザは常に同じシーンを見る。しかし、このシーンは、自動露出の補正作用に起因して一時的に過度に露出され、露出過度は、ドローンがその初期姿勢へ戻るときに消失し、そうでなければ、ユーザにより見える画像の輪郭が変化する。
【課題を解決するための手段】
【００２６】
本発明が解決しようとするのがそのような問題である。
その目的のため、本発明は、特にＭｉｙａｕｃｈｉらの前述した論文からそれ自体知られる態様で、
−ドローン本体に結合したカメラ（１４）であって、ドローン本体に対して固定の方向を向く魚眼タイプの半球状視野レンズ、及び、レンズにより形成される画像を収集して原画像データを配信するデジタルセンサを備えるカメラと、
−絶対地球座標系に対するドローンの瞬間の姿勢を特徴付けるオイラー角を測定するようになっており、且つ現在のドローン姿勢データを出力として配信する慣性ユニットと、
−センサの範囲にわたって形成される前記画像内で、低減したサイズの捕捉領域の位置を規定するようになっている抽出手段と、
−現在のドローン姿勢データを入力として受け、且つ慣性ユニットにより測定される角度の値の変化の方向とは反対の方向に前記画像中の捕捉領域の位置及び方向を動的に変更するようになっている制御手段と、
−捕捉領域から抽出されるユーザ領域の画像データを入力として受け、且つ魚眼レンズによりもたらされる幾何学的歪みが補償される、対応する直線化された画像データを出力として配信する再投影手段と、
を備えるドローンを提案する。
【００２７】
本発明の特徴として、カメラは、自動露出、ホワイトバランス、及び、自動焦点合わせのうちの少なくとも１つの撮像パラメータの動的制御のための手段を更に備え、ドローンは、
−少なくとも１つの低減した解像度のサムネイルを捕捉領域内で規定するとともに、前記サムネイル中に含まれる画像データに応じて前記撮像パラメータの現在の値を配信するようになっている解析手段と、
−補償手段であって、そのような手段は、慣性ユニットにより配信される現在のドローン姿勢データを入力として受け、且つ解析手段により配信される撮像パラメータの前記値の、ドローンの姿勢の瞬間の変化により引き起こされ易い変化とは反対の方向に、これらの現在の姿勢データに応じて、解析手段と動的に相互作用するようになっている、補償手段と、
を更に備える。
【００２８】
そのようにして、撮像パラメータは、ドローンの姿勢の瞬間の変化に実質的に依存しない値を維持する。
好適には、解析手段は、更に、捕捉領域からくるサムネイル中に含まれる前記画像データから、センサ上にレンズにより形成された画像の領域の外側に位置する原画像データを排除するようになっている。
【００２９】
第１の実施形態によれば、補償手段は、抽出手段により配信される、捕捉領域からくるサムネイル中に含まれる画像データを入力として受け、また、解析手段は、捕捉領域にわたって分布する複数の関心領域ＲＯＩをそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備える。このとき、補償手段は、現在のドローン姿勢データに応じた捕捉領域内のＲＯＩのサイズ及び／又は位置の変更によって解析手段と動的に相互作用するようになっている手段を備える。
【００３０】
好適には、補償手段は、捕捉領域中に含まれる現在のユーザ領域の外側に位置するＲＯＩの規定をＲＯＩの規定から予め排除するようになっている手段を備える。
【００３１】
補償手段は、捕捉領域の内側で規定される現在のユーザ領域とＲＯＩとのだいたい大きな度合いの重なり合いの関数である固有の重み値を各ＲＯＩに割り当てるようになっている手段を備え、この値は、現在のユーザ領域内に完全に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関してはより低い。
【００３２】
補償手段は、ＲＯＩのだいたい大きな表面の関数である固有の重み値を各ＲＯＩに割り当てるようになっている手段を備えてもよい。
【００３３】
第２の実施形態によれば、補償手段は、抽出手段により配信される、捕捉領域からくるサムネイルに含まれる画像データを入力として受け、また、解析手段は、捕捉領域にわたって均一な所定の態様で分布する関心領域ＲＯＩのグリッドをそれぞれのＲＯＩごとに対応するサムネイルで規定し、且つそれぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備える。補償手段は、捕捉領域の内側で規定される現在のユーザ領域とＲＯＩとの重なり合いの度合いの関数である固有の重み値を各ＲＯＩに割り当てることによって解析手段と動的に相互作用するようになっている手段を備え、この値は、現在のユーザ領域内に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の外側のＲＯＩに関しては最小であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関しては中間である。
【００３４】
第３の実施形態によれば、補償手段は、再投影手段によって配信される魚眼レンズによりもたらされる幾何学的歪みが補償された直線化された画像データを入力として受ける。
この場合、解析手段は、直線化された画像にわたって分布する複数の関心領域ＲＯＩをそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備える。このとき、補償手段は、現在のドローン姿勢データに応じた直線化された画像内のＲＯＩのサイズ及び／又は位置の変更によって解析手段と動的に相互作用するようになっている手段を備える。
【００３５】
ここで、図の全体にわたって同じ参照符号が同一の要素又は機能的に同様の要素を示す添付図面を参照して、本発明の実施の一例について説明する。
【図面の簡単な説明】
【００３６】
【図１】ドローン及びドローンの遠隔操縦を可能にする関連する遠隔制御装置を示す全体図である。
【図２ａ】例えば加速段階中のドローンの前傾により引き起こされるカメラの観察方向の変化を示す。
【図２ｂ】例えば加速段階中のドローンの前傾により引き起こされるカメラの観察方向の変化を示す。
【図３】直線化された画像をもたらすためにドローンカメラのセンサで形成される画像に適用される歪みの補正及び窓処理の一連のステップを（ａ１）−（ａ３）において示し、また、カメラが地面へ向けて傾けられた状態でドローン姿勢が変更されるときの対応するステップを（ｂ１）−（ｂ３）において示す。
【図４】図３の捕捉領域（ａ２）及び（ｂ２）の解析によりそれぞれ得られる輝度ヒストグラムを（ａ）及び（ｂ）において示す。
【図５】本発明の実施に関与する様々なモジュールをブロック図として示す。
【図６】本発明の第１及び第２の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。
【図７】本発明の第１の実施形態に係る捕捉領域の解析領域をこの捕捉領域の内側で自動的に規定される関心領域に基づいて示す。
【図８】本発明の第２の実施形態に係る捕捉領域の解析領域をこの捕捉領域内でのグリッドの形成に基づいて示す。
【図９】本発明の第３の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。
【発明を実施するための形態】
【００３７】
ここで、本発明の実施の例について説明する。
【００３８】
図１において、参照符号１０はドローンを全体的に示し、このドローンは、例えば、フランスのパリにあるＰａｒｒｏｔ  ＳＡのモデルＢｅｂｏｐ  Ｄｒｏｎｅなどのクアドリコプタである。このドローンは４つの同一平面内ロータ１２を含み、これらのロータのモータは、組み込まれたナビゲーション及び姿勢制御システムによって互いに独立に操縦される。ドローンには、ドローンが向かうシーンの画像を得ることができるようにする前方視カメラ１４が設けられる。
【００３９】
また、ドローンは下方を向く垂直視カメラ（図示せず）も含み、この垂直視カメラは、上空を飛行した陸地の一連の画像を捕えるようになっているとともに、特に、地面に対するドローンの速度を評価するために使用される。慣性センサ（加速度計及びジャイロメータ）がドローンの角速度及び姿勢角、すなわち、固定された地球座標系における水平面に対するドローンの傾きを表わすオイラー角（ピッチΦ、ロールθ、及びヨーψ）を特定の精度で測定できるようにする。ドローンの下側に配置される超音波テレメータが地面に対する高度の測定値を更に与える。
【００４０】
ドローン１０は、タッチスクリーン１８を備える遠隔制御装置１６によって操縦され、タッチスクリーン１８は、ユーザの指２０をタッチスクリーン１８上に単に接触させるだけで操縦コマンドの起動を可能にする特定数の記号を重ね合わせ、搭載されるフロントカメラ１４の画像を表示する。特にカメラ１４により捕えられる画像の送信のためのドローン１０から装置１６への及び操縦コマンドの送信のための装置１６からドローン１０へのデータの双方向のやりとりのために、装置１６には、ドローンとの例えばＷｉ−Ｆｉ（ＩＥＥＥ８０２．１１）ローカルネットワークタイプの無線リンクのための手段が設けられる。
【００４１】
また、遠隔制御装置１６には傾斜センサも設けられ、該傾斜センサは、ロール軸及びピッチ軸周りの対応する傾斜を装置に与えることによってドローン姿勢を制御できるようにし、ここで、ドローン１０の水平速度の２つの縦方向成分及び横方向成分が２つのそれぞれのピッチ軸及びロール軸周りの傾斜と密接に関連付けられることが理解されるべきである。ドローンの操縦は、
ａ）ドローンを前方又は後方に移動させるためのピッチ軸２２周りの回転、
ｂ）ドローンを右又は左にずらすためのロール軸２４周りの回転、
ｃ）ドローンの主軸を右又は左に回動させるためのヨー軸２６周りの回転、及び、
ｄ）ドローンの高度をそれぞれ下げる又は上げるためのガス制御を変更することによる下向き又は上向きの並進、
によってドローンを進めることにある。
【００４２】
これらの操縦コマンドがユーザによって遠隔制御装置１６から印加されると、ピッチ軸２２及びロール軸２４周りで回動するというコマンドａ）及びｂ）は、装置１６のその縦軸２８及びその横軸３０の周りの傾動によってそれぞれ得られる。すなわち、例えば、ドローンを前方に移動させるためには、軸２８周りで遠隔制御装置を傾動させることにより遠隔制御装置１６を前方に傾けるだけで済み、ドローンを右の脇に移動させるためには、遠隔制御装置を軸３０周りで右に向かって傾動させることにより遠隔制御装置１６を傾けるだけで済み、以下同様である。コマンドｃ）及びｄ）は、それら自体、タッチスクリーン１８の対応する特定の領域に対するユーザの指２０の接触によって適用される動作によりもたらされる。
【００４３】
また、ドローンは、ホバリング飛行安定化の自動・自律システムも有し、このシステムは、特に、ユーザが自分の指を装置のタッチスクリーンから離すと直ぐに、或いは、離陸段階の終了時に自動的に、或いは、装置とドローンとの間の無線リンクの中断の場合に、起動される。
【００４４】
図２ａは、ドローンが上昇状態で静止しているときのドローンの姿勢を横から概略的に示す。
【００４５】
従来のタイプのフロントカメラ１４によりカバーされる視野、例えば、５４°の視野をカバーし且つその視軸δが水平線を中心として位置付けられるカメラによってカバーされる視野が３６で図式化される。
【００４６】
図２ｂに示されるように、ドローンが意図的にゼロ以外の水平速度で前方に移動する場合、ドローンの軸２６は、垂線Ｖに対して角度Φ（ピッチ角）だけ前方に傾けられる。矢印３８により図式化されるこの前方への傾斜は、水平線ＨＺの平面に対するカメラの軸δの矢印４０により図式化される同じ値の傾斜を伴う。したがって、ドローンの進行、すなわち、ドローンの加速、減速等にわたって、軸δは、水平線ＨＺの方向を中心に恒久的に振動し、それにより、恒久的な上下方向の振動動作が画像にもたらされることになることが理解される。
【００４７】
同様に、ドローンが右又は左の脇に移動する場合には、この移動がロール軸２４周りの回動によって達成され、それにより、カメラにより捕えられるシーンの一方向又は他の方向の回転が画像にもたらされることになる。
【００４８】
これらの欠点を補償するため、前述した欧州特許出願公開第２９３３７７５号明細書（２０１５年１０月２１日公開）で説明されるように、図２ａにおいて４２で図式化するように約１８０°の視野をカバーする魚眼タイプの半球状視野レンズを有するカメラを設けることが提案されてきた。この魚眼レンズが設けられるカメラによって捕えられる画像は、勿論、従来のカメラと同じ振動動作及び回転動作に晒されるが、このカメラにより捕えられる視野の一部分のみが、従来のカメラにより捕えられる角度セクター３６に対応する特定の窓を選択することによって使用され、その部分は、さもなければ画像中で観察される振動を消滅させるべく、慣性中心により決定されるドローンの移動とは反対の方向に半球状画像中で動的に変位される。
【００４９】
したがって、ドローンが垂線Ｖに対してピッチ角Φだけ下方に急降下する（矢印３８）図２ｂに示される場合には、捕捉窓が同じ値の角度だけ上方に変位され（矢印４４）、そのため、画像領域に対応する視野をカバーする「仮想カメラ」のセクター３６の中心軸が元の水平線ＨＺへ向けて戻される。
【００５０】
ここで、図３を参照して、本発明の課題について説明する。
【００５１】
図３は、魚眼レンズが設けられるビデオカメラのセンサにより収集されるシーンの一例を（ａ１）に示す。
【００５２】
図示のように、このシーンの画像Ｉは、センサの平坦な表面上で直線化される、魚眼レンズの半球状又は準半球状のカバレッジに固有の非常に激しい幾何学的歪みを含む。
魚眼レンズによりもたらされるこの画像Ｉの一部分だけが使用される。この一部分は、ｉ）「仮想カメラ」が向く方向と、ｉｉ）仮想カメラの視野の方向（図２ａ及び図２ｂに３６で図式化される）と、ｉｉｉ）その幅／高さ比率とに応じて決定される。それにより、魚眼レンズによってもたらされる幾何学的歪みの補償後の「仮想カメラ」の視野に対応する生の「有用領域」ＺＵBを包含する生のピクセルデータを含む「捕捉領域」ＺＣが規定される。
【００５３】
センサ上に形成される画像Ｉの全てのピクセルを捕えることが有用ではなく、捕捉領域ＺＣに対応するこれらのピクセルの一部のみ、例えば、その解像度が一般に１４メガピクセル（４６０８×３２８８ピクセル）であるセンサによりもたらされるＨＤ品質（１９２０×１０８０ピクセル）の画像Ｉから抽出される約２メガピクセルの窓ＺＣを捕えることが有用であることに留意されたい。そのため、捕捉領域ＺＣの実際に必要とされるピクセルデータのみが転送され、そのピクセルデータは、その後、特定の困難を伴うことなく３０フレーム／秒のリズムでリフレッシュされてもよい。したがって、高い画像流量を維持しつつ高解像度センサを選択できる。
【００５４】
図３のビュー（ａ２）及び（ａ３）は、幾何学的歪みが補償された最終画像を得るために捕捉領域ＺＣのピクセルデータに関して行われる処理工程を示す。すなわち、捕捉領域ＺＣ（ビュー（ａ２））から転送されるピクセルデータに基づいて、アルゴリズムは、生の有用領域ＺＵBのピクセルデータを抽出して、それに対して三角形メッシュ法（それ自体知られる技術）を適用した後、各三角形を伸長させることにより画像を直線化して、修正されたピクセルデータを伴う直線化された有用画像ＺＵR（ビュー（ａ３））を与える。魚眼画像の激しく湾曲された水平線は、その後、それらを直線状にして幾何学的歪みのない自然視に対応する画像をもたらすように補正される。
【００５５】
図３のビュー（ｂ１）−（ｂ３）は形態がビュー（ａ１）−（ａ３）に類似しており、この場合、ドローンの姿勢は、ドローンの前傾（ドローンのピッチ軸周りの回転）、例えばホバリング飛行における静止形態からの切り換えにしたがう傾斜、前方へ移動する形態（ドローンの直線速度はなお一層大きくなり、その傾きが強くなる）に起因して変更される。
【００５６】
（ｂ１）に示されるように、ドローンのこの下向きの傾斜を補償するために、捕捉領域ＺＣは、画像の上端へ向けて、したがってドローンの傾斜とは反対の方向に移動される。生の有用領域ＺＵBの相対位置が（標的のシーンの追従を可能にするべく）捕捉領域ＺＣの内側でほぼ同じままであれば、このとき、捕捉領域は、一方で、空Ｃよりもかなり大きな地面Ｓの部分を含む。すなわち、ビュー（ａ２）とビュー（ｂ２）とを比較すれば、初期形態（ビュー（ａ２））では、空／地面割合が約５０／５０％であるのに対し、変更された形態（ビュー（ｂ２））では、空／地面割合が約２５／７５％であることが分かる。また、捕捉領域が上方へ大きく変位されるため、捕捉領域は、センサ上に魚眼レンズにより形成される円形画像の領域の外側に位置する領域Ｘを含む場合がある。
【００５７】
一方で、直線化された有用領域（ビュー（ｂ３））の最終画像ＺＵRは、ドローンの前方への傾斜前だったもの（ビュー（ａ３））とほぼ同一である。
【００５８】
図４は、捕捉領域ＺＣからくるサムネイルのピクセルの輝度の解析によって得られるヒストグラムを、ビュー（ａ２）の場合には（ａ）に、ビュー（ｂ２）の場合には（ｂ）にそれぞれ示す。
【００５９】
この図において分かるように、ドローンの前方への傾斜は、領域ＺＣの画像中の地面／空比率の増大に起因して、平均値Ｍの左側へ向かうオフセットを伴って、輝度ヒストグラムの大きな変化をもたらすことになる。
【００６０】
自動露出アルゴリズムは、平均値Ｍのこの変化を、露出時間の増大及び／又はカメラ感度の増大により自動的に補償される画像の暗化として解釈する。
【００６１】
そのようにして得られる最終画像（ａ３）及び（ｂ３）（直線化された有用領域ＺＵRの画像）はそれぞれ、それらがシーンの同じフレーミングをユーザに対して表示するが、それらの露出設定によって互いに異なり、ビュー（ｂ３）の画像はビュー（ａ３）のそれよりもはっきりしている。
【００６２】
本発明は、この欠陥を補正するという目的を有する。
【００６３】
図５は、本発明の実施に関与する様々なモジュールをブロック図として示す。
【００６４】
ドローンのフロントカメラ１４は、画像Ｉに対応する生の画像信号を配信する。ドローン本体に機械的に連結されるこのカメラは、ドローン本体に連結され、したがってカメラに連結される慣性ユニット（ＩＭＵ）１２により測定される角度変位に晒される。カメラの回転は、固定された地球座標系に対するドローンの傾斜を三次元で表わすピッチ角Φ、ロール角θ、及び、ヨー角ψ（オイラー角）によって与えられる。これらのデータは、画像Ｉ中における捕捉領域ＺＣの位置の計算のモジュールを操作する角度予測モジュール４８に印加される。ビデオ処理モジュール５２が、生の画像信号Ｉを入力として受けるとともに、モジュール５０により計算される捕捉領域ＺＣの位置に応じた窓処理、画像安定化、有用領域の抽出及び直線化の様々な作業を行って、ユーザへ送信されるべき、場合により表示されて記録されるべき有用画像信号ＺＵRをユーザへ出力として配信する。
【００６５】
また、モジュール５２は、カメラ動作パラメータの制御（戻り５４により図式化される）、特に自動露出（ＡＥ）の制御、ホワイトバランスＡＷＢの制御、及び、自動焦点合わせＡＦの制御も行う。また、モジュール５２は、本発明によれば、後述するように、これらのカメラ動作パラメータの自動計算に関する前述の欠陥の補正も確保する。
【００６６】
図６は、本発明の第１及び第２の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。
このフロー図１００は、カメラによる原画像Ｉの収集の初期ステップ（ブロック１０２）を備え、その後に、慣性ユニットＩＭＵにより配信されるドローン姿勢データに応じた捕捉領域ＺＣのこの原画像からの抽出のステップ（ブロック１０４）が続く。
【００６７】
以下のステップ（ブロック１０６）、すなわち、本発明の特徴は、カメラ制御パラメータ、特に自動露出パラメータの配信のための図７及び図８に関連して以下で詳しく明らかにされる態様での捕捉領域の画像データの解析にある。
【００６８】
捕捉領域ＺＣのコンテンツは、その後、ユーザへ配信される最終直線化された画像に対応する直線化された有用領域ＺＵRを与えるために、生の有料領域ＺＵBの抽出及びこの生の有用領域ＺＵBの再投影の処理（ブロック１０８）を受ける。
【００６９】
ここで、図７及び図８を参照して、ブロック１０６により行われるデータ解析の２つの想定し得る実施態様について更に詳しく説明する。
ところで、この解析が、再投影ステップ（ブロック１０８）の前に（ブロック１０４よりも下流側で）捕捉領域ＺＣに最初に含まれる画像からくるサムネイルに基づいて、したがって画像の変形されたバージョンに基づいて行われることに留意されたい。
【００７０】
図７は、本発明の第１の実施形態に係る捕捉領域の解析の領域を示し、そのような解析は、捕捉領域からくるサムネイルの内側で自動的に規定される関心領域ＲＯＩに基づいて行われる。
【００７１】
この実施形態において、画像解析装置は、解析されるべき画像中の小さいサイズの領域の幾何学的な選択物である複数の関心領域ＲＯＩを（更に詳しく説明されないそれ自体知られた技術にしたがって）規定し、これらのそれぞれの領域ごとに輝度ヒストグラムが定められる。自動露出アルゴリズムは、異なるＲＯＩに対応するヒストグラムを解析して比較し、それに応じて、それら自体同様に知られる解析の技術にしたがって、露出のレベルを調整する。
【００７２】
本発明の特徴として、ＲＯＩは、生の有用領域ＺＵBの内側に全体的に或いは部分的に位置するように捕捉領域からくるサムネイル内に分布する。すなわち、ＲＯＩ規定アルゴリズムが生の有用領域ＺＵBの外側でＲＯＩを生成する場合、これらのＲＯＩは、自動露出制御のためのその後の解析から排除される。いかなる場合でも、レンズによりセンサ上に形成される画像の領域（図３のビュー（ｂ１）及び（ｂ２）の領域Ｘ）の外側に位置するピクセルデータは、解析から排除される。言い換えると、画像円の外側に位置するピクセルは、自動露出の計算において無視される。
【００７３】
また、関心領域のそれぞれＲＯＩ1．．．．ＲＯＩnには、捕捉領域の内側で規定される生のユーザ有用領域ＺＵBと関連するＲＯＩとのだいたい大きな度合いの重なり合いを考慮に入れる重み値が割り当てられる。すなわち、重みは、領域ＺＵB内に完全に含まれるＲＯＩに関しては最大であり、領域ＺＵBの完全に外側に位置するＲＯＩ（それらを解析から排除するようになる）に関してはゼロであり、領域ＺＵB内に部分的に含まれるＲＯＩに関しては中間（領域ＺＵBの内側に位置するＲＯＩの表面積の割合が高ければ高いほど重みが高くなる）である。
【００７４】
図８は第２の実施形態を示し、この実施形態において、ＲＯＩは、もはや動的に規定されず、サイズの変化を伴うが捕捉領域ＺＣからくるサムネイル中に規則正しいグリッドとして規定され、この場合、グリッドＧＲは、そのそれぞれの基本正方形又は基本長方形ＲＯＩ（Ｉ，ｊ）が、図７に関連して明らかにされた第１の実施形態における場合と同様の態様で、そのだいたい領域ＺＵBと重なり合う特徴に応じた可変重みによって影響される。
【００７５】
図９は、本発明の第３の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。
この第３の実施形態において、画像データ解析は、重み付けが各関心領域に適用される画像の変形された初期バージョン（捕捉領域ＺＣ及び生の有用領域ＺＵB）からくるサムネイルに関して行われず、再投影ステップ後の直線化された画像からくるサムネイルに関して行われる。
【００７６】
フロー図２００において、ブロック２０２（画像収集）、ブロック２０４（捕捉領域ＺＣの抽出）、及び、ブロック２０６（ユーザ領域の抽出及び再投影）は、図６のそれぞれのブロック１０２，１０４，１０８と同様である。
【００７７】
一方、カメラ自動露出パラメータの制御のためのデータ解析ステップ（ブロック２０８）は、ブロック２０６よりも下流側で、すなわち、画像の直線化バージョンに関して行われる。このとき、自動露出は、従来のように作用し（ＲＯＩの自動規定等）、生の有用領域ＺＵBに対するこのＲＯＩの位置を反映する重み値を各ＲＯＩに適用することを要しない。
【図１】
2017103751.tif 000003
【図２ａ】
2017103751.tif 000004
【図２ｂ】
2017103751.tif 000005
【図３】
2017103751.tif 000006
【図４】
2017103751.tif 000007
【図５】
2017103751.tif 000008
【図６】
2017103751.tif 000009
【図７】
2017103751.tif 000010
【図８】
2017103751.tif 000011
【図９】
2017103751.tif 000012
【外国語明細書】
2017103751000001.pdf