(57)【要約】      （修正有）【課題】同一の目標輝度であらゆるシーンを撮像する前方視カメラ付きドローンを提供する。【解決手段】ドローンは、カメラ１４と、ドローンの角度を測定する慣性ユニット４６と、前記慣性ユニットによって測定された角度の変化の方向とは逆の方向に動的に変位される縮小サイズの可動撮像エリアの画像データを送信する抽出モジュール５２と、を備える。モジュールは、有効エリアの画像データ要素を解析して空に属する確率を表す重み付け係数を各々に付与するとともに、これらの重み付け係数に応じて空と地面との間の有効エリアの区分の境界を動的に規定する。関心領域の２つの異なるグループが、空エリアおよび地面エリアそれぞれに対して規定され、動的露光制御手段が、特に関心領域の空エリアを除くことにより、これらのグループの一方の関心領域の画像データに応じて制御される。【選択図】図５
2017085550.tif 000002
【特許請求の範囲】
【請求項１】
ドローン本体に結合されるカメラ（１４）であって、
前記ドローン本体に対して一定の方向を向いている魚眼タイプの半球視野レンズと、
前記レンズによって形成される画像（ｉ）を集めるデジタルセンサと、
前記センサの露光を自動制御する手段と、
を有するカメラ（１４）と、
絶対地球基準座標系に対する前記ドローンの瞬間的な姿勢を特徴づけるオイラー角（φ、θ、ψ）を測定するように適合されるとともに現在のドローンの姿勢データを出力として送信する慣性ユニット（１６）と、
前記センサの範囲にわたって前記レンズによって形成される前記画像（Ｉ）において、縮小されたサイズの撮像エリア（ＺＣ）の位置を規定するように適合された抽出手段（５２）と、
前記現在のドローンの姿勢データを入力して受信するとともに前記慣性ユニットによって測定される前記角の値の変化の方向とは逆の方向に前記画像（Ｉ）内の前記撮像エリア（ＺＣ）の位置および向きを動的に修正するように適合された制御手段（４８、５０、５２）と、
前記撮像エリア（ＺＣ）から抽出される有効エリア（ＺＵB）のピクセルまたはマクロピクセルから形成される画像データを入力として受信するとともに、前記魚眼レンズによって導入される幾何学的歪みを補償された対応する矯正画像データ（ＺＵR）を出力として送信する再投影手段（５２）と、
前記有効エリアにわたって分布された複数の関心領域ＲＯＩｓ（ＲＯＩ1…ＲＯＩ9；ＲＯＩ（ｉ，ｊ））を規定するとともに各ＲＯＩにおいて前記有効エリアから得られるサムネイルに含まれるそれぞれの画像データに応じて前記動的露光制御手段を制御するように適合された解析手段と、
を備え、
前記解析手段は、さらに、
前記有効エリアの前記現在の画像データを解析してこれらのデータ要素の各々に空に属する確率を表す重み付け係数を付与し、
各画像データ要素に付与された前記重み付け係数に応じて、空エリアと地面エリアとの間の前記有効エリアの区分の境界を画像ごとに規定し、
前記空エリアおよび前記地面エリアそれぞれに対して２つの異なるＲＯＩｓのグループを規定し、
前記選択されたグループの一方のＲＯＩｓにおいて、前記有効エリアから得られるサムネイルに含まれるそれぞれの画像データ要素に応じて、前記動的露光制御手段を制御する
ように適合されている
ことを特徴とするドローン（１０）。
【請求項２】
前記空に属する確率を表す前記重み付け係数は、前記慣性ユニットによって送信される理論的水平方向（ＨＺ）に対する前記解析手段によって解析される前記現在の画像データ要素の位置の係数関数である
請求項１に記載のドローン。
【請求項３】
前記空に属する確率を表す前記重み付け係数は、前記解析手段によって解析される前記現在の画像データ要素の近傍（ｎ）の画像データの係数関数である
請求項１に記載のドローン。
【請求項４】
前記ドローンは、地面に対するドローンの高度（ｚ）の推定値を送信するように適合された高度決定手段（５４）を備え、
前記空に属する確率を表す前記重み付け係数は、前記高度の係数関数である
請求項１に記載のドローン。
【請求項５】
前記カメラは、当該カメラによって撮像されたシーンの照度を解析する手段を有し、
前記空に属する確率を表す前記重み付け係数は、前記照度の係数関数である
請求項１に記載のドローン。
【請求項６】
前記空に属する確率を表す前記重み付け係数は、水平に対する前記ドローンのピッチ傾斜の係数関数である
請求項１に記載のドローン。
【請求項７】
前記ＲＯＩｓは、そのサイズおよび／または位置が前記有効エリアにおいて画像ごとに動的に規定されるＲＯＩｓ（ＲＯＩ1…ＲＯＩ9）であり得る
請求項１に記載のドローン。
【請求項８】
前記ＲＯＩｓは、前記有効エリアにわたって一様かつ予め定められた様態で分布されたＲＯＩｓの格子（ＧＲ）によって規定されるＲＯＩｓ（ＲＯＩ（ｉ，ｊ））である
請求項１に記載のドローン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可動装置、特にドローンのような電動飛行装置に搭載されるカメラにより撮像されるデジタル画像の処理に関連する。
【背景技術】
【０００２】
本発明は、有利には、クアッドリコプタのような回転翼ドローンの前方視カメラにより集められた画像に適用される。
【０００３】
フランスのパリのパロット社のＡＲ．Ｄｒｏｎｅ２．０またはＢｅｂｏｐ  Ｄｒｏｎｅは、そのようなクアッドリコプタの典型例である。それらには、一連のセンサ（加速度計、３軸ジャイロメータ、高度計）と、ドローンが方向付けられているシーンの画像を撮像する前方視カメラと、上空を飛行される地面の画像を撮像する鉛直視カメラと、が設けられている。それらには、それぞれのモータにより駆動される複数のロータが設けられており、それらは、所定の高度および速度でドローンを操縦するように区別されたやり方で制御され得る。そのようなドローンの様々な態様が、特にＷＯ２０１０／０６１０９９Ａ２、ＥＰ２３６４７５７Ａ１、ＥＰ２６１３２１３Ａ１、またはＥＰ２６１３２１４Ａ１（パロット社）に記載されている。
【０００４】
前方ビデオカメラは、「没入モード」操縦、すなわち、ユーザがまるで自身がドローンに乗っているのと同じようにカメラの画像を使用する操縦のために使用され得る。それは、また、ドローンが方向付けられているシーンの画像の連続したものを撮像するのに役立ち得る。これにより、ユーザは、手で保持される代わりにドローンによって支えられるカメラまたはカムコーダと同じようにドローンを使用することができる。集められた画像は、記録されたのち、放送されたり、映像ホスティングウェブサイトにオンラインで置かれたり、他のインターネットユーザに送られたり、ソーシャルネットワークで共有されたり等され得る。
【０００５】
これらの画像は、記録されるとともに通信されることを意図されているため、できるだけ少ない欠陥、特にユーザに表示される最終画像に様々なタイミングの悪い人工物を実際に導入するドローンの振る舞いにより引き起こされる欠陥、を有することが望ましい。
【０００６】
そのような欠陥は、「没入操縦」の構成では許容され得る。
【０００７】
しかしながら、問題が、記録されて後で再生されるべき連続したものを撮像する可動ビデオカメラとしてドローンを使用することである場合、これらの欠陥は、極めて厄介であり、したがって、それらを最小まで減らすのが望ましい。
【０００８】
いわゆるＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚａｔｉｏｎ）技術は、使用されるべき撮像エリアよりも大きな範囲の一定のエリアをセンサで取得することにある。補償は、補償されるべき動きとは逆の方向における取得エリアに対する撮像エリアの変換によりもたらされ、センサは、安定化された画像に対応する副部分のみを送信する。そのような補償の実施は単純である。他方、補償の大きさは、撮像エリアのサイズと獲得エリアのサイズ、すなわち使用されるセンサの実効サイズとの間の割合により制限される。
【０００９】
Ｍｉｙａｕｃｈｉ  Ｒ  ｅｔ  ａｌ．、「Ｄｅｖｅｌｏｐｍｅｎｔ  ｏｆ  Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚａｔｉｏｎ  Ｓｙｓｔｅｍ  Ｕｓｉｎｇ  Ｃａｍｅｒａ  Ｐｏｓｔｕｒｅ  Ｉｎｆｏｒｍａｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００７  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ｂｉｏｍｉｍｅｔｉｃｓ、Ｄｅｃ．１５−１８，２００７、ｐｐ．９２０−９２５の論文は、魚眼タイプ、すなわち約１８０°の視野をカバーする半球視野レンズが設けられたカメラにより撮像された画像に、そのようなＥＩＳ技術を適用することを提案している。原画像は、全体として取得され（それは低解像度のＣＣＤセンサであるので、これはリアルタイムで可能である）、（魚眼の歪みを補償するために）矯正処理にさらされ、次いで当該カメラを保持するロボットの動きに応じて動的切り出し処理にさらされる。
【００１０】
しかしながら、この画像安定化技術は、カメラが低解像度のＣＣＤセンサ（６４０×４８０ピクセル、すなわち０．３メガピクセル）を有するカメラであるからこそ可能である。一方、それは、たとえば１４メガピクセルの解像度のセンサで形成されたそれ自身が非常に高い解像度の原魚眼画像から切り出されたＨＤ品質（１９２０×１０８０ピクセル、すなわち２メガピクセル）の有効な画像の安定化には適用不可能であろう。全体の原画像がそのような処理されるべき状態で伝送されるならば、これは、各画像に対して１４メガピクセルのピクセルデータフローに対応し、この解像度では６画像／秒（ｉｐｓ）のオーダのフレームレートにつながり、それは約３０ｉｐｓのフレームレートを要求する流動ビデオシーケンスにとって不十分であろう。
【００１１】
さらに、画像の１つのエリアの単純な変換は、回転により誘導される奥行きの変化の正しい補正ではないので、カメラの回転を補償するのに数学的に十分ではない。最後に、それは、センサにより取得される画像データの後処理による補償であり、あるリアルタイムの効果の補償を許容しない。
【００１２】
上述のＢｅｂｏｐ  Ｄｒｏｎｅの場合、後者は、約１８０°の視野をカバーする魚眼タイプの半球視野レンズが設けられたカメラを実装し、それは、１４メガピクセル（４６０８×３２８８ピクセル）の解像度のセンサに原画像を形成し、次いでＨＤ品質（１９２０×１０８０ピクセル、すなわち２メガピクセル）の画像からリアルタイムで切り出される。
【００１３】
２０１４年１０月６日付けで「Ｔｈｅ  Ｎｅｗ  Ｐａｒｒｏｔ  Ｂｅｂｏｐ  Ｄｒｏｎｅ：  Ｂｕｉｌｔ  ｆｏｒ  Ｓｔａｂｉｌｉｚｅｄ  Ａｅｒｉａｌ  Ｖｉｄｅｏ」というタイトルでインターネットに発表されたＴｉｍｏｔｈｙ  ＭｃＤｏｕｇａｌの論文（ＸＰ０５５２３３８６２）は、特にその魚眼レンズが画像安定化および制御システムに関連付けられた、このＢｅｂｏｐ  Ｄｒｏｎｅ装置を記載している。
【００１４】
より詳しくは、この装置では、特定のウィンドウ（以下「撮像エリア」）が、センサの表面に形成される全体の半球画像内で選択される。このウィンドウは、回転および並進において可動であり、慣性ユニットにより決定されるドローンの動きに応じて永久的に、これらの動きに対して逆の方向に動かされる。当然、魚眼レンズにより集められる画像は、従来のカメラと同じ振動および回転の動きを受けるが、画像エリアの変位は、これらの動きを補償してドローンの動きに対して安定化された画像を生成するように制御される。
【００１５】
次に、撮像エリアの画像、より正確には後者の有効部分（以下「有効エリア」）が、魚眼レンズにより導入される幾何学的歪みを補償するための再投影処理、すなわちレンズにより湾曲された直線を矯正すること、画像の中央と周辺との間の一様な倍率の再構築など、を受ける。次に、得られる最終画像（「矯正有効エリア」）がユーザに送信され、スクリーンに表示されたり、記録されたりする。
【００１６】
したがって、「仮想カメラ」が、そうでなければユーザに表示される最終画像に観察される振動を消滅させるようにドローンの動きとは逆の方向における初期画像内で回転および並進で動的に変位される特定のエリア（撮像エリア）の、撮像された全体のシーンからの抽出により、次いで幾何学的または他の歪みが無いシーンの表現を獲得するための画像矯正処理の適用により、利用可能にされる。
【００１７】
この技術は、Ｔｉｍｏｔｈｙ  ＭｃＤｏｕｇａｌの上述の論文で示されたＢｅｂｏｐ  Ｄｒｏｎｅ内に実装されており、２０１５年１０月２１日に公開されたＥＰ２９３３７７５Ａ１（パロット）に詳細に明かされている。
【発明の概要】
【００１８】
本発明は、ドローンのある動きの間に現れる特定の問題を解消することを目的とする。
【００１９】
この問題は、自動露光（ＡＥ）アルゴリズムの制御に関連し、それは、画像の異なるエリアの輝度を解析して、同一の目標輝度であらゆるシーンを撮像することを可能にする｛露光時間，ゲイン｝の組をセンサに対して自動的に選択する。この選択は、サブサンプリングまたはデシメーションにより得られる、画像の低減精細度バージョン（たとえば、６４×４８ピクセル）、以下「サムネイル」、の解析に基づいて行われ、それから、輝度ヒストグラムと場合によっては他のパラメータが抽出され、そのような異なる開始データは、以下、画像の「統計」の一般的用語により言及される。
【００２０】
撮像エリアがセンサにより集められる全体画像から抽出される上述の場合には、これは、統計を生成する撮像エリアから得られるサムネイルの範囲である。
【００２１】
しかしながら、以下に説明されるように、この撮像エリアは、ユーザに表示される最終有効エリアより大きく、自動露光アルゴリズムは、ユーザが見ないシーンの要素、すなわち撮像エリアの内側であるが有効エリアの外側に配置された要素に基づいて決定することができる。
【００２２】
ここで、正しく露光されることが望まれるシーンは、ユーザにより見られるシーン（有効エリア）であって、撮像エリアではなく、それは後者とは異なる。
【００２３】
空の部分および地面の部分を有する画像の典型的な場合、空と地面との間の割合は、カメラの傾斜により変化し、それ自体は、ドローンの高度に応じて永久的に変化するであろう。そのように、ドローンがホバリング飛行高度から下向きに傾斜した高度（この傾きは前方直線変位を生成する）へと通過するならば、カメラは、地面に向かって傾斜され（なぜならドローン本体に結合されているから）、地面のかなり高い割合を撮像するであろう。
【００２４】
地面が暗くなるにつれて、自動露光アルゴリズムの制御は、露光の時間および／またはゲインの増加により輝度変化を補償する傾向があるであろう。
【００２５】
しかしながら、初期画像における撮像エリアの変位およびそこから有効エリアを抽出するように行われる再投影のために、ユーザは、常に同じシーンを見るであろう。しかし、このシーンは、自動露光の補正動作のために一時的に過剰露光になっており、過剰露光は、ドローンがその初期高度に戻るときに消え、これにより、ユーザにより見られる画像の輪郭は変化しないであろう。
【００２６】
さらに、センサの制限されたダイナミクスは、すべての状況で空と地面の両方を正しく露光することを許容しない。
【００２７】
当然、「ＨＤＲ」（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）タイプの画像処技術が知られおり、それは、異なる露光設定を用いて非常に短い間隔で連続して撮像された画像を合成することからなり、各画像は、それ自身のダイナミックレンジを有している。しかし、飛行ドローンに搭載されるカメラという特定の場合、この技術は使用できない。なぜなら、ドローンの（およびそれ故にカメラの）変位の速さとそれが受ける振動により、それは、かなりの時間のアーチファクトを導入するからである。
【００２８】
本発明の目的は、カメラにより撮像されるシーンの画像のどの部分が空に対応し、どの部分が地面に対応するのかを決定すること、または、（ドローンが屋内を飛行するという典型的な場合のように）空と地面との間の画定を行うことが可能ではないと決定すること、をダイナミックかつリアルタイムで可能にする技術を提案することである。
【００２９】
この決定の後、画像は、空のエリアと地面のエリアとに区分され、これにより、通常は地面のエリアだけを（またはそれをメインに）露光することを選択することにより、サムネイルの空のエリアと地面のエリアとを別々に処理できるようになるであろう。
【００３０】
本発明は、その目的のために、本質的に、各ピクセルまたはマクロピクセル（以下「画像データ」）に対して、当該ピクセルまたはマクロピクセルの、空に属する確率を表す重み付け係数を計算することを提案し、これにより、
・最も詳細な情報を含むエリア（通常は地面、まれに空）に対して露光すること、および、
・たとえ空／地面の割合が、（典型的にはドローンの高度の突然の変化の間に）強烈かつ急速に、および魚眼のレンズによって導入される歪みを補償することにより、変化しても、一様に露光すること、
ができるようになる。
【００３１】
より詳しくは、本発明は、特に上述されたＥＰ２９３３７７５Ａ１に詳しく明かされた技術によるＢｅｂｏｐ  Ｄｒｏｎｅから、それ自身知られているやり方で、
・ドローン本体に結合されるカメラであって、
前記ドローン本体に対して一定の方向を向いている魚眼タイプの半球視野レンズと、
前記レンズによって形成される画像を集めるデジタルセンサと、
前記センサの露光を自動制御する手段と、
を有するカメラと、
・絶対地球基準座標系に対する前記ドローンの瞬間的な姿勢を特徴づけるオイラー角を測定するように適合されるとともに現在のドローンの姿勢データを出力として送信する慣性ユニットと、
・前記センサの範囲にわたって前記レンズによって形成される前記画像において、縮小されたサイズの撮像エリアの位置を規定するように適合された抽出手段と、
・前記現在のドローンの姿勢データを入力して受信するとともに前記慣性ユニットによって測定される前記角の値の変化の方向とは逆の方向に前記画像内の前記撮像エリアの位置および向きを動的に修正するように適合された制御手段と、
・前記撮像エリアから抽出される有効エリアのピクセルまたはマクロピクセルから形成される画像データを入力として受信するとともに、前記魚眼レンズによって導入される幾何学的歪みを補償された対応する矯正画像データを出力として送信する再投影手段と、
・前記有効エリアにわたって分布された複数の関心領域ＲＯＩｓを規定するとともに各ＲＯＩにおいて前記有効エリアから得られるサムネイルに含まれるそれぞれの画像データに応じて前記動的露光制御手段を制御するように適合された解析手段と、
を備えたドローンを提案する。
【００３２】
本発明の特徴としては、前記解析手段は、さらに、
・前記有効エリアの前記現在の画像データを解析してこれらのデータ要素の各々に空に属する確率を表す重み付け係数を付与し、
・各画像データ要素に付与された前記重み付け係数に応じて、空エリアと地面エリアとの間の前記有効エリアの区分の境界を画像ごとに規定し、
・前記空エリアおよび前記地面エリアそれぞれに対して２つの異なるＲＯＩｓのグループを規定し、
・前記選択されたグループの一方のＲＯＩｓにおいて、前記有効エリアから得られるサムネイルに含まれるそれぞれの画像データ要素に応じて、前記動的露光制御手段を制御する
ように適合されている。
【００３３】
前記空に属する確率を表す前記重み付け係数は、
・前記慣性ユニットによって送信される理論的水平方向に対する前記解析手段によって解析される前記現在の画像データ要素の位置の、および／または、
・前記空に属する確率を表す前記重み付け係数は、前記解析手段によって解析される前記現在の画像データ要素の近傍の画像データの、および／または、
・前記ドローンが地面に対するドローンの高度の推定値を送信するように適合された高度決定手段を備え、前記高度の、および／または、
・前記カメラが、当該カメラによって撮像されたシーンの照度を解析する手段を有し、前記照度の、および／または、
・水平に対する前記ドローンのピッチ傾斜の、
係数関数であり得る。
【００３４】
前記ＲＯＩｓは、そのサイズおよび／または位置が前記有効エリアにおいて画像ごとに動的に規定されるＲＯＩｓ、または、前記有効エリアにわたって一様かつ予め定められた様態で分布されたＲＯＩｓの格子によって規定されるＲＯＩｓ、であり得る。
【００３５】
本発明の実施の一例が、図面を通して同じ符号が機能的に類似する要素と同一であることを示す付随された図面を参照して、ここで説明されよう。
【図面の簡単な説明】
【００３６】
【図１】図１は、ドローンと、その遠隔操縦を許容する関連付けられた遠隔制御装置とを示す全体図である。
【図２ａ】図２ａは、たとえば加速のフェーズの間に、ドローンの前方傾斜により引き起こされるカメラの視線方向の修正を図示している。
【図２ｂ】図２ｂは、たとえば加速のフェーズの間に、ドローンの前方傾斜により引き起こされるカメラの視線方向の修正を図示している。
【図３】図３は、（ａ１）〜（ａ３）において、矯正された画像を生成するようにドローンのカメラのセンサ上に形成される画像に適用される切り出しおよび歪みの修正の連続する工程を図示しており、（ｂ１）〜（ｂ３）において、カメラが地面に向かって傾けられた状態で、ドローンの高度が修正されたときの対応する工程を図示している。
【図４】図４は、（ａ）および（ｂ）において、図３の撮像エリア（ａ２）および（ｂ２）のそれぞれの解析により得られる輝度のヒストグラムを図示している。
【図５】図５は、本発明の実施に加わる異なるモジュールをブロック図で示している。
【図６】図６は、本発明の実施の主な連続する工程を説明するフロー図である。
【図７】図７は、画像の各ピクセルの重み付けとなることを許容する解析の異なる工程をより詳しく図示している。
【図８】図８は、当該撮像エリアの内側に自動的に規定される関心領域を実施する第１の変形例による画像の解析を図示している。
【図９】図９は、当該撮像エリアにおける格子の作成を実施する第２の変形例による画像の解析を図示している。
【発明を実施するための形態】
【００３７】
本発明の実施例がここに説明されよう。
【００３８】
図１では、符号１０がドローンを概して示しており、それは、たとえばフランスのパリのパロット社のＢｅｂｏｐ  Ｄｒｏｎｅモデルのようなクアドリコプタである。このドローンは、そのモータが統合されたナビゲーションおよび高度制御システムにより互いに独立に操縦される４つの同一平面ロータ１２を含んでいる。それには、ドローンが方向付けられている向きのシーンの画像を取得することを許容する前方視カメラ１４が設けられている。
【００３９】
ドローンは、また、下方を向いていて、上を飛行される土地の連続する画像を撮像するように適合され、特に地面に対するドローンの速度を評価するために使用される鉛直視カメラ（図示しない）を含んでいる。慣性センサ（加速度計およびジャイロメータ）は、ある精度で、ドローンの角速度および姿勢角、すなわち固定地球基準座標系における水平面に対するドローンの傾きを説明するオイラー角（ピッチφ、ロールθおよびヨーψ）を測定することを許容する。ドローンの下に配置された超音波テレメータが、さらに地面に対する高度の測定を提供する。
【００４０】
ドローン１０は、タッチスクリーン１８上でのユーザの指２０の単純な接触により操縦コマンドの活性化を許容する、ある数のシンボルを重ね合わせで有する、搭載された前方視カメラ１４の画像を表示するタッチスクリーン１８が設けられた遠隔制御装置１６により操縦される。装置１６には、とくにカメラ１４により撮像された画像の送信のためのドローン１０から装置１６への、および、操縦コマンドを送るための装置１６からドローン１０へのデータの双方向の交換のための、ドローンとの無線リンク手段、たとえばＷｉＦｉ（ＩＥＥＥ８０２．１１）ローカルネットワークタイプ、が設けられている。
【００４１】
また、遠隔制御装置１６には、ロール軸およびピッチ軸回りの対応する傾きを装置に知らせることによりドローンの姿勢を制御することを可能にする傾きセンサが設けられており、ドローン１０の水平速度の２つの縦成分および横成分が、それぞれ２つのピッチ軸およびロール軸回りの傾きに密接に関連すると理解される。ドローンの操縦は、
ａ）ドローンを前方または後方に移動させるためのピッチ軸２２回りの回転、
ｂ）ドローンを右または左へシフトさせるためのロール軸２４回りの回転、
ｃ）ドローンの主軸を右または左へ旋回させるためのヨー軸２６回りの回転、および、
ｄ）ドローンの高度をそれぞれ減少または増加させるためのガス制御を変化させることによる下方または上方への平行移動
によってドローンを進行させることにある。
【００４２】
これらの操縦コマンドは、ユーザにより遠隔制御装置１６から適用され、ピッチ軸２２およびロール軸２４回りの旋回のコマンドａ）およびｂ）は、それぞれ、縦軸２８および横軸３０回りの装置１６の傾きにより得られる。たとえば、ドローンを前方に移動させるためには、遠隔制御装置１６を傾けることにより軸２８回りに前方に傾斜させることだけが必要とされ、ドローンを右へ逸れて移動させるためには、遠隔制御装置１６を傾けることにより軸３０回りに右へ傾斜させることだけが必要とされる、などである。コマンドｃ）およびｄ）それ自体は、タッチスクリーン１８の対応する特定の領域へのユーザの指２０の接触により適用されるアクションの結果として生じる。
【００４３】
また、ドローンは、特にユーザが装置のタッチスクリーンから指を離すとすぐに、または離陸フェーズの最後に自動的に、または装置とドローンとの間の無線リンクの中断の場合に活性化される、ホバリング飛行安定性の自動的かつ自律的なシステムを有している。
【００４４】
図２ａは、上昇の状態でドローンが静止しているときのドローンの姿勢を輪郭で概略的に図示している。
【００４５】
従来タイプの前方カメラ１４、たとえば５４°の視野をカバーしてその視軸が水平線に中心を合わされているカメラによりカバーされる視野は、符号３６で図式化されている。
【００４６】
もし、図２ｂに図示されているように、ドローンがゼロでない水平速度で前方に移動するならば、設計により、ドローンの軸２６は、鉛直Ｖに対して角度φ（ピッチ角）だけ前方に傾斜されよう。矢印３８により図式化されたこの前方への傾斜は、水平線ＨＺの平面に対するカメラの軸δの、矢印４０により図式化された同じ値の傾斜に関係する。したがって、ドローンの進行にわたって、ドローンがスピードアップまたはスローダウンなどするにつれて、軸δは、水平線ＨＺの方向の回りに永続的に振動し、それは、結果として、画像において永続的な上向きまたは下向きの振動の動きになるであろう。
【００４７】
同程度に、ドローンが右または左へ逸れて移動するならば、この移動は、ロール軸２４回りの旋回に伴って起こされ、それは、結果として、画像においてカメラにより撮像されるシーンの一方向または逆方向の回転になるであろう。
【００４８】
これらの欠陥を補償するために、上述されたＥＰ２９３３７７５Ａ１で説明されるように、図２ａにおいて符号４２で図式化されているように、約１８０°の視野をカバーする魚眼タイプの半球視野レンズを、カメラに設けることが提案されている。この魚眼レンズが設けられたカメラにより撮像された画像は、当然、従来のカメラと同じ振動および回転にさらされるであろうが、従来のカメラにより撮像された角度区画３６に対応する特定のウィンドウを選択することにより、このカメラによって撮像された視野の一部だけが使用され、それは、そうでなければ画像に観察されるであろう振動を打ち消すように、半球状の画像において、慣性中心により決定されるようなドローンの動きとは逆の方向に動的に変位されよう。
【００４９】
したがって、ドローンが鉛直線Ｖに対してピッチ角φ（矢印３８）だけ下向きに降下する図２ｂに図示された場合には、撮像ウィンドウは、同じ値の角度だけ上向き（矢印４４）に変位され、これにより、画像エリアに対応する視野をカバーする「仮想カメラ」の区画３６の中心軸を水平線ＨＺに向かって戻すであろう。
【００５０】
図３は、（ａ１）において、魚眼レンズが設けられたビデオカメラのセンサにより集められたシーンの一例を示している。
【００５１】
観察され得るように、このシーンの画像Ｉは、魚眼レンズの半球状または準半球状のカバレッジに固有であってセンサの平面状の表面で矯正される非常に強い幾何学的な歪みを含んでいる。
【００５２】
魚眼レンズにより生成されるこの画像Ｉの一部のみが使用されよう。この部分は、（ｉ）「仮想カメラ」が向いている方向、ｉｉ）（図２ａおよび図２ｂにおいて符号３６で図式化された）後者の視野、および（ｉｉｉ）その幅／高さ比、に応じて決定される。したがって、魚眼レンズにより導入される幾何学的な歪みを補償した後の「仮想カメラ」の視野に対応する未加工の「有効エリア」ＺＵBを含む未加工のピクセルデータを含有する「撮像エリア」ＺＣが規定される。
【００５３】
センサ上に形成される画像のすべてのピクセルを撮像することは有効ではなく、撮像エリアＺＣ、たとえば解像度が典型的には１４メガピクセルであるセンサにより生成されるＨＤ品質（１９２０×１０８０ピクセル）の画像Ｉから抽出される約２メガピクセルのウィンドウＺＣに対応するこれらのピクセルの一部だけが有効であることに気づかれよう。
【００５４】
したがって、撮像エリアＺＣの本当に必要とされるピクセルデータだけが伝送され、このデータは、特別な困難性無しで３０フレーム／秒のリズムでリフレッシュされ得る。これにより、高い画像フローレートを維持したまま、高解像度のセンサが選ばれ得る。
【００５５】
図３の視野（ａ２）および（ａ３）は、幾何学的な歪みが補償された最終画像を得るために、撮像エリアＺＣのピクセルデータに実行されるプロセス操作を図示しており、撮像エリアＺＣ（視野（ａ２））から伝送されるピクセルデータに基づいて、アルゴリズムが未加工の有効エリアＺＵBのピクセルデータを抽出し、それに三角形メッシュ（それ自体知られた技術）を適用し、次いで各三角形を伸ばすことにより画像を矯正し、これにより、修正されたピクセルデータを有する矯正有効画像ＺＵR（視野（ａ３））を与える。魚眼画像の強く湾曲された水平な線は、それらを直線にするとともに幾何学的な歪みを持っていない自然な視覚に対応する画像を生成するように、修正されよう。
【００５６】
図３の視野（ｂ１）〜（ｂ３）は、ドローンの姿勢が後者の前向きの傾斜（そのピッチ軸回りの回転）により修正される構成において、視野（ａ１）〜（ａ３）に類似しており、その傾斜は、たとえばホバリング飛行における静止構成から、（ドローンの直線速度が一層大きくなりその傾斜が強くなる）前向きの移動の構成への切り替えに続いて起こる。
【００５７】
（ｂ１）に図示されるように、ドローンのこの下向きの傾斜を補償するために、撮像エリアＺＣは、画像のトップに向かって、したがってドローンの傾斜とは逆の方向に、移動される。未加工の有効エリアＺＵBの相対位置が、（向いているシーンの追尾を許容するように）撮像エリアＺＣの内側で実質的に同じであり続けるならば、撮像エリアは、他方で、空Ｃよりも地面Ｓのはるかに重要な部分を含むであろう。次いで、視野（ａ２）および（ｂ２）を比較するならば、初期構成（視野（ａ２））において、空／地面の割合が約５０／５０％であるが、修正された構成（視野（ｂ２））において、空／地面の割合が約２５／７５％である、ということが観察される。また、それが上向きに強く変位されるならば、撮像エリアは、センサ上の魚眼の対象により形成される円状の画像の領域の外側に配置されるエリアＸを含み得る。
【００５８】
一方、矯正有効エリア（視野（ｂ３））の最終画像ＺＵRは、ドローンを前方に傾ける前のもの（視野（ａ３））と実質的に同一であろう。
【００５９】
図４は、視野（ａ２）の場合に（ａ）において、視野（ｂ２）の場合に（ｂ）において、それぞれ、撮像エリアＺＣから生じるサムネイルのピクセルの輝度の解析により得られるヒストグラムを図示している。
【００６０】
この図に見えるように、ドローンの前方への傾きは、エリアＺＣの画像における地面／空の割合の増加により、平均値Ｍの左に向かうオフセットを有する、輝度ヒストグラムの重大な修正に変換される。
【００６１】
自動露光アルゴリズムは、平均値Ｍのこの変化を画像がだんだん暗くなることと解釈し、それは、露光時間および／またはカメラ感度の増加により自動的に補償されよう。
【００６２】
このように、最終画像（ａ３）および（ｂ３）がシーンの同じフレーミングをユーザに表示するけれど、それぞれ得られる最終画像（ａ３）および（ｂ３）（矯正有効エリアＺＵRの画像）は、それらの露光設定によって互いに異なり、視野（ｂ２）の撮像領域における地面の高い比率により、視野（ｂ３）の画像は、視野（ａ３）の画像より明確になるであろう。
【００６３】
図５は、本発明の実施に加わる異なるモジュールをブロック図で示している。
【００６４】
ドローンの前方カメラ１４は、画像Ｉに対応する未加工の画像信号を伝送する。このカメラは、ドローン本体に機械的に接続されており、ドローン本体およびしたがってカメラに接続された慣性ユニット（ＩＭＵ）１２により測定される角度変位にさらされる。カメラの回転は、固定地球基準座標系に対する３次元におけるドローンの傾斜を記述するピッチ角φ、ロール角θおよびヨー角ψ（オイラー角）により与えられる。これらのデータは、画像Ｉ内の撮像エリアＺＣの位置の計算のモジュールを操縦する角度予測モジュール４８に適用される。映像処理モジュール５２は、未加工の画像信号Ｉを入力として受信し、モジュール５０により計算される撮像エリアＺＣの位置に応じた切り出し、画像の安定化、有効エリアの抽出および矯正の様々な操作を実行し、ユーザに送信され、おそらくは表示および記録されるべき有効画像信号ＺＵRをユーザに出力として伝送する。
【００６５】
また、モジュール５２は、カメラ操作パラメータの（リターン５４により図式化された）制御、特に自動露光（ＥＡ）制御を実行する。
【００６６】
他方、本発明の実施のために、慣性ユニット４６は、また、それに対してドローンの瞬間的な姿勢を特徴づけるピッチφおよびロールθが測定される地球基準座標系の平面のドローン本体に対する向きに対応する、水平方向の予測値（図２ｂにおけるＨＺ）、すなわち「理論水平線」をモジュール５２に伝送するように適合されている。
【００６７】
最後に、ドローンには、地球基準座標系におけるドローンの瞬間的な絶対高度の予測値を伝送することを許容するカルマンフィルタに適用される、超音波テレメータセンサおよび気圧センサにより生成されるデータに応じて動作する高度決定手段５４、たとえばＥＰ２６４４２４０Ａ１（パロット）に記載されたような手段が設けられている。
【００６８】
図６は、本発明の実施の主な連続する工程を説明するフロー図である。
【００６９】
このフロー図１００は、カメラによる未加工の画像Ｉの収集の最初のステップ（ブロック１０２）と、それに続く、慣性ユニットＩＭＵにより伝送されるドローンの姿勢データに応じた撮像エリアＺＣの未加工画像からの抽出、および、ユーザに伝送されるべきシーンの画像に対応する有効エリアＺＵの輪郭の予測のステップ（ブロック１０４）と、を有している。
【００７０】
次のステップ（ブロック１０６）は、本発明に特徴的であり、図７を参照して以後詳細に明かされるやり方での、有効エリアＺＵの画像データの１ピクセルずつ（または１マクロピクセルずつ）の解析にある。この解析の結果として、水平方向、ドローン高度、隣接するピクセル（またはマクロピクセル）の内容、ドローンの瞬間的な傾斜などのような複数のパラメータに応じた、画像の空領域に属するピクセル（またはマクロピクセル）の多かれ少なかれ高い確率を反映する重み付け係数の各ピクセル（またはマクロピクセル）への配分、および、空と地面との間の区分の境界線の決定が得られる。
【００７１】
次のステップ（ブロック１０８）は、解析されるべき画像から得られるサムネイルにおける縮小されたサイズのエリアの幾何学的な選択である複数の関心領域ＲＯＩｓを、（以後これ以上詳しくは説明されないそれ自身知られた技術により）規定することにある。輝度ヒストグラムが、サムネイルの統計からこれらのＲＯＩｓの各々に対して確立される。
【００７２】
本発明に特徴的なことには、自動露光アルゴリズムにより使用されるＲＯＩｓは、前のステップ１０６において決定される空と地面との間の境界線に対するそれらの位置に応じて選択または重み付けされる。最終的な結果として、それ自身知られた技術により、これらの異なるＲＯＩｓのヒストグラムの解析および比較によるセンサの露光レベルの調整のための自動露光アルゴリズムにより使用されるＲＯＩｓの限定されたリストが得られる。
【００７３】
概して、選択されるＲＯＩｓは、当該エリアがより詳細な情報を含みかつ露光を最適化することが望まれるエリアである限りにおいて、区分の境界線より下に位置する地面エリアに対応するＲＯＩｓである（変形例として、地面よりも空に対する露光を選ぶこと、または地面エリアおよび空エリアにおけるＲＯＩｓの解析のパラメータを可変の比率で組み合わせることが可能であり得る）。
【００７４】
図７は、有効エリアＺＵの制限内に位置する各ピクセルに、撮像画像の空エリアに属する確率の関数である固有重み付け係数を付与するために、ブロック１０６の１ピクセルずつの解析が実行されるやり方をより正確に図示している。
【００７５】
フロー図２００は、（空に属する確率が見つけられなければならないのは屋外の場合だけであるから）ドローンが屋内と屋外のどちらに位置するかを決定することにある第１ステップ（テスト２０２）を含む。
【００７６】
この決定は、特に、カメラにより実施される自動ホワイトバランス（ＡＷＳ）アルゴリズムの出力において得られるパラメータであるシーンの照度の解析により為され得る。したがって、照度Ｄ５０またはＤ６５が、典型的には、白昼の自然光に対応し、それは、ドローンがおそらく屋外を進行することを示している。
【００７７】
テスト２０２においてドローンが屋内を進行することが決定されるならば、ゼロ重みＧ（ｉ，ｊ）＝０がピクセル（ｉ，ｊ）に付与される。なぜなら、この場合、空エリアに属する確率がゼロであると考えられるからである（ブロック２０４）。反対の場合は、ピクセルが慣性ユニットＩＭＵにより決定される理論的な水平線の上と下のどちらに位置するのかが、画像内における位置に応じて決定される（テスト２０６）。
【００７８】
このピクセルが水平線より下に位置するならば、ゼロ重みＧ（ｉ，ｊ）＝０がそれに付与される（ブロック２０４）。反対の場合は、この段階では空に属する確率が１００％であることを示すように、重みＧ（ｉ，ｊ）が１に設定される。
【００７９】
しかしながら、この確率は、重み付けられなければならない。なぜなら、たとえピクセルが水平線より上に位置する屋外エリアに対応するとしても、たとえば当該ピクセルが水平線より上に位置する建物、木など−それらは正しく露光することが望ましい詳細情報を含むエリアであって、水平線より上に位置するけれどいかなる場合も空に属しないエリアである−の画像に属する場合は、当該ピクセルは、地面エリアに近い領域に位置し得るからである。
【００８０】
その目的のために、第１の重み付けが、高度に応じて適用される（ブロック２１０）。この重み付けは、ドローンが高く飛ぶほど水平線がクリアされる機会、すなわち水平線より上に位置する画像の部分が建物、木、丘などの画像で満たされていない機会が増えるという観察に基づいている。重みＧ（ｉ，ｊ）＝１は、ｚmaxを高度の最大値、たとえばｚmax＝３００メートルとすると、ｗ（０）＝０とｗ（ｚmax）＝１との間からなる値で、高度ｚに応じて単調に（直線的に、階段的にもしくは他の適切な進行により）変化する関数ｗ（ｚ）により重み付けされる。結果として、重み付け係数の値Ｇ’（ｉ，ｊ）＝Ｇ（ｉ，ｊ）×ｗ（ｚ）となる。
【００８１】
第２の重み付けが、特にピクセル（ｉ，ｊ）の近傍の解析、すなわち重み付けの対象のピクセル（ｉ，ｊ）を取り囲む画像の複数のピクセルに対する差異、階調などの（それ自体は知られた技術による）解析に応じて、ブロック２１０で得られる値Ｇ’（ｉ，ｊ）に適用され得る（ブロック２１２）。
【００８２】
さらに他の重み付け操作が、たとえばドローンの姿勢、特に慣性ユニットＩＭＵにより与えられるピッチ角φに応じて、適用され得る。このデータ要素が、ドローンが解析の瞬間に前方に強く傾けられていることを示しているならば、ピクセルが空エリアに属する確率は、ドローンがホバリング飛行（水平姿勢）、もしくは更には急な減速または後ろ向きの移動のフェーズ中の鼻先を上げた姿勢にある場合よりも低い。
【００８３】
フロー図２００の解析は、有効エリアの画像の各ピクセル（またはマクロピクセル）に対して実行され、それは、解析の終わりに、考慮したピクセルの空に属する確率を反映する、画像の各ピクセルの重み付けのマップを得ることを許容する。
【００８４】
したがって、たとえば（ただし非制限的なやり方で）独占的または主体的に空エリアである画像データに応じた自動露光を制御することにより、この重み付けを考慮した自動露光を実施することが可能であろう。
【００８５】
以上に示されたように、自動露光アルゴリズムは、画像にわたって分散された複数の関心領域ＲＯＩｓを使用する。
【００８６】
図８に示された実施の第１変形例では、自動露光は、ｉ）有効エリアＺＵBから得られるサムネイルの内側、およびｉｉ）本発明に特徴的なことには、（境界Ｆより上の）空エリアと（境界線Ｆより下の）地面エリアを区分する区分境界線Ｆより下において、サイズおよび／または位置が動的に規定されるＲＯＩｓに基づいて動作する。
【００８７】
ＲＯＩｓは、有効エリアＺＵBの内側に全体的または部分的に位置するように分散されており、すなわち、ＲＯＩ規定アルゴリズムが有効エリアＺＵＢの外側でＲＯＩｓを生成する場合には、これらのＲＯＩｓは、自動露光制御のための以後の解析から除外されよう。さらに、境界Ｆに対して、ＲＯＩ生成アルゴリズムが、たとえば図８に示された９個の領域ＲＯＩ1…ＲＯＩ9を規定するならば、自動露光制御は、境界Ｆより下の地面エリアに位置するＲＯＩｓ、すなわちこの例ではＲＯＩ3、ＲＯＩ4、ＲＯＩ6、ＲＯＩ7およびＲＯＩ8が付されたＲＯＩｓに基づいてのみ動作するであろう。したがって、露光は、通常はユーザにとって興味がある部分であって露光を最適化するのが望ましい部分である、最も詳細な情報を有する画像の部分において為されるであろう。
【００８８】
図９は、実施の第２例を示しており、そこではＲＯＩｓはもはや動的かつ可変サイズでは規定されず、各単位正方形または長方形ＲＯＩ（ｉ，ｊ）が空エリアと地面エリアとの間の区分の境界Ｆより上または下のどちらにあるかに応じて自動露光制御で使用されたり使用されなかったりする格子ＧＲを用いて、撮像エリアＺＣから得られるサムネイルにおける規則的な格子として規定される。
【図１】
2017085550.tif 000003
【図２ａ】
2017085550.tif 000004
【図２ｂ】
2017085550.tif 000005
【図３】
2017085550.tif 000006
【図４】
2017085550.tif 000007
【図５】
2017085550.tif 000008
【図６】
2017085550.tif 000009
【図７】
2017085550.tif 000010
【図８】
2017085550.tif 000011
【図９】
2017085550.tif 000012
【外国語明細書】
2017085550000001.pdf