(57)【要約】      （修正有）【課題】ドローンの動力学により引き起こされる、カメラ画像をぼかす欠陥の除去を提供する。【解決手段】ドローンは、ライン毎に映像データを送信するロールシャッタデジタルセンサを有するカメラ１４を備える。慣性ユニット２６は、所定の瞬間におけるカメラの姿勢（φ、θ、ψ）の変化を示すジャイロメータ信号を送信する。アンチウォブルモジュールを有する画像処理モジュール３０は、映像データおよびジャイロメータ信号を入力として受け取り、処理されてドローンのモータの振動により導入されるアーチファクトを訂正された映像データを出力する。補完フィルタリングモジュール３６は、予め定められた補償伝達関数をアンチウォブルモジュールの入力におけるジャイロメータ信号に適用し、当該伝達関数は、慣性ユニットのジャイロメータセンサの周波数応答の逆伝達関数である。【選択図】図４
2017142226.tif 000002
【特許請求の範囲】
【請求項１】
ドローン（１０）であって、
レンズと、景色の画像がその上に形成されるデジタルセンサと、該センサを読み取って映像データをライン毎に出力するロールシャッタ機構と、を有するカメラ（１４）と、
ドローンの姿勢の変化を測定可能であって所定の基準点（ＵＶＷ）に対する所定の瞬間における前記ドローンの回転（φ，θ，ψ）を示すジャイロメータ信号を出力可能なジャイロメータセンサを有する慣性ユニット（２６）と、
前記映像データ（ｌ）と前記ジャイロメータ信号とを入力として受け取るとともに処理されて前記ドローンにより作り出される振動により導入されるアーチファクトを訂正された映像データを出力するアンチウォブルモジュールを有する画像処理モジュール（３０）と、
を備え、
前記画像処理モジュールの入力において、
前記アンチウォブルモジュールの入力におけるジャイロメータ信号に予め定められた補償伝達関数（Ｃ２）を適用可能な補完フィルタリングモジュール（３６）であって、前記予め定められた伝達関数（Ｃ２）は、前記慣性ユニットの前記ジャイロメータセンサの周波数応答（Ｃ１）の逆伝達関数である、補完フィルタリングモジュール
をさらに備えたことを特徴とするドローン。
【請求項２】
ドローンのカメラ（１４）のロールシャッタデジタルセンサにより受け取られるデジタル画像（ｌ）における当該ドローン（１０）により作り出される振動により導入されるウォブルアーチファクトを訂正する方法であって、
前記ドローンは、前記ドローンの姿勢の変化を測定可能であるとともに所定の基準点（ＵＶＷ）に対する所定の瞬間における前記ドローンの回転（φ，θ，ψ）を示すジャイロメータ信号を出力可能なジャイロメータセンサを有する慣性ユニット（２６）を備え、
前記方法は、
ａ）準備ステップにおいて、
ａ１）前記慣性ユニットの前記ジャイロメータセンサの周波数応答（Ｃ１）を測定し、
ａ２）前記ジャイロメータセンサの前記周波数応答（Ｃ１）の逆補償伝達関数を有するデジタルフィルタを生成し、
ａ３）前記ドローンのアンチウォブルモジュール（３０）の入力において補完フィルタリングモジュール（３６）に前記デジタルフィルタをロードし、
ｂ）前記ドローンの操作の間に、連続的かつリアルタイムに、
ｂ１）前記ドローンの前記慣性ユニット（２６）により送信される前記ジャイロメータ信号を受信し、
ｂ２）ステップｂ１）で受信されたジャイロメータ信号に、ステップａ３）でデジタルフィルタ（３６）にロードされた補償伝達関数（Ｃ２）を適用し、
ｂ３）前記ドローンの前記アンチウォブルモジュール（３０）に、ステップａ２）でフィルタされたジャイロメータ信号を適用する、
ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイルデバイス、特にドローンのような電動飛行機械に搭載されたカメラにより撮像されるデジタル画像の処理に関連する。
【背景技術】
【０００２】
本発明には、有利には、クアッドコプタのような回転翼ドローンの前方カメラにより受け取られる画像に適用可能である。典型的な例は、フランスのパリのパロット社によるＡＲ．Ｄｒｏｎｅ２．０またはＢｅｂｏｐ（登録商標）であり、それは、一連のセンサ（加速度計、ジャイロメータ、高度計）と、ドローンがそれに向かって方向付けられている景色の画像を撮像する前方ビデオカメラと、ドローンがその上を飛行する地形の画像を撮像する垂直視カメラとが設けられたクアッドコプタである。ドローンには、ドローンの姿勢および速度を制御するために独立に制御され得るモータによりそれぞれ駆動される複数のロータが設けられている。
【０００３】
ＥＰ２３６４７５７Ａ１、ＥＰ２６１３２１３Ａ１、ＥＰ２６１３２１４Ａ１またはＥＰ２９３３７７５（ＵＳ２０１５／０２９８８２２Ａ１に対応）は、すべてパロット社の名義であり、これらのドローンの様々な態様を説明している。
【０００４】
前方ビデオカメラは、「没入モード」で、すなわちユーザがまるでドローンに乗っているようにカメラからの画像を使用するときに、ドローンを飛行させるために使用され得る。
【０００５】
前方ビデオカメラは、ドローンがそれに向かって方向付けられている景色の画像シーケンスを撮像するためにも使用され得る。これにより、ユーザは、ドローンを手に持たれる代わりにドローンによって支持されたカメラまたはビデオレコーダとして使用することができる。受け取られる画像は、保存されたのち、配信されたり、ビデオホスティング・ウェブサイトにアップロードされたり、他のインターネットユーザに送信されたり、ソーシャルネットワークで共有されたりなどされる。
【０００６】
これらの画像は、保存されて共有されることを意図されているため、それらが、カメラにより撮像される画像に振動、歪みおよび他の望まれていないアーチファクトを引き起こし得る欠陥、特にドローンの動力学により引き起こされる欠陥をできるだけ有していないことが望ましい。
【０００７】
これらの欠陥は、「没入飛行」の構成では、受け入れ可能であり得る。しかしながら、ドローンが保存されて後で再生されるシーケンスを撮像するモバイルビデオカメラとして使用される場合には、これらの欠陥は極めて破壊的であり、したがって、それらを最小化するのが望ましい。
【０００８】
本発明は、とくに、画像をぼかすとともに歪める効果を有する「ウォブル」として知られる欠陥を除去しようとする。この効果は、カメラマウントに伝達された結果として画像に波紋の現れおよび波形の形成を伴う直線の歪みをもたらす、高周波数かつ低振幅の振動、典型的にはモータの振動の存在で生じる。たとえそれがあまり目立っていなくても、この効果は、非常に早く気づくことが可能であり、したがって、画像の視覚的な品質を急速に劣化させる。
【０００９】
この特定のアーチファクトは、ドローンに搭載されるカメラのようなカメラのセンサにより使用されるロールシャッタ（グローバルシャッタではない）機構に起因し、そこでは、画像を形成する複数のラインが、画像の全ての画素に対して同時に取得されるのではなく、その代わりに連続的に取得される。このために、画像が撮像されている間に生じる振動は、隣り合うラインで同じにならない画像内の変位を生成し、そのために波紋が現れる。
【００１０】
ウォブル効果は、ジャイロメータからの測定値を使用することによりライン毎に訂正（「イントラ画像」の訂正）され得て、該ジャイロメータは、振動に起因する急速な変動を含む、３軸での所定の瞬間におけるドローンの回転、すなわちカメラの回転を示す信号を送信する。ドローンの姿勢が、複数のラインの各々に対して正確なやり方で、かつカメラのセンサと同期して得られ得るため、ジャイロメータの測定値の逆変換の適用は、ウォブル効果をある程度補償することを可能にする。
【００１１】
このタイプの１つのデジタル処理で実装される画像安定化技術は、上述のＥＰ２９３３７７５Ａ１（ＵＳ２０１５／０２９８８２２Ａ１）で説明されており、それに対してさらに詳細に言及され得る。
【００１２】
これがそうであり、以下の詳細な説明でより詳細に説明されるように、ジャイロメータ信号を使用することによりウォブルを補償するこの方法は、状況によっては過剰な訂正を作り出しやすく、したがって、新たなアーチファクトを生成し、訂正された画像が訂正される前に得られる未加工の画像より逆説的にずっと劣化されることを意味する。とくに、これらの過剰な訂正は、画像に波紋を現れさせ得る。
【００１３】
これらの波紋は、未加工の画像には存在しておらず、目的が映像シーケンスを最高の品質で保存して後で再生するために当該映像シーケンスを撮像することである場合に、特に破壊的である。
【発明の概要】
【００１４】
本発明の目的の１つは、画像が撮像されるとすぐに、そこで映像信号になって、ドローンによりユーザに送信され、当該信号を後処理する必要なしで、当該ユーザが可能な限り最良の条件の下で保存して再生できることを許容することにより、この欠点を克服することである。
【００１５】
本発明の出発点は、前述のＥＰ２９３３７７５Ａ１（ＵＳ２０１５／０２９８８２２Ａ１）で説明された映像安定化技術が、補償を必要とするドローンの動きを予測するために画像解析を使用していないこと、に注目したことに基づいている。したがって、安定化の性能は、撮像される景色に依存せず、ドローンの慣性ユニットにより予測される、所定の瞬間におけるドローンの回転角度の正確性のみに依存する。
【００１６】
また、高周波数（典型的にはモータにより生成される振動周波数）の範囲では、一連のセンサ、すなわち慣性ユニットのジャイロメータが、ドローンの回転角度を予測する。他の技術、たとえば垂直カメラにより送信される画像の解析は、実際、画像のリフレッシュレート（実際的には６０Ｈｚ）より低い周波数での回転の予測を提供することのみ可能であるが、プロペラの回転周波数に対応するモータの振動は、１２０Ｈｚの基本周波数の付近である。慣性ユニットのジャイロメータは、したがって、カメラが受ける振動を確実に測定可能な唯一の構成要素であり、ウォブルの訂正がそれによって送信される測定に全体的に基づいているので、これらのセンサにより送信される測定の正確性は、効果的な安定化を獲得するのに必須である。
【００１７】
しかしながら、このタイプの構成要素の１つの欠点は、不規則な伝達関数である。理想的には、このタイプのセンサの伝達関数は、動作帯域の全体にわたって一定の単一ゲインを有し、位相は同一の帯域にわたって線形的に変化すべきである。
【００１８】
しかしながら、とくに、非常に正確性が高くそれゆえに高価な構成要素が使用されない場合には、これらの条件は満たされない。実際的には、ゲインの特性曲線のプロファイルは、共振に対応するバンプと、高周波数に向かって徐々に減少するゲインとをしばしば有している。また、位相が一般的には直線とは程遠く、これは角度の予測における誤差のもう１つの原因であり、その結果、安定化が損なわれることが指摘される。
【００１９】
「モードマッチングＭＥＭＳ振動性ジャイロスコープの帯域の研究」、チュンフア・ヘ他著、第７回ＩＥＥＥナノ／マイクロ工学および分子システム（ＮＥＭＳ）国際会議、２０１２年３月５日、７２８−７４１頁、の論文は、ジャイロメータそれ自体を、いかなる特定の補償関数も用いずに、その帯域を増大させるように改善することによる伝達関数の改善を提案している。
【００２０】
本発明の基本原理は、構成要素の伝達関数（ゲインの非一様性、位相の非線形性など）を同定した後に、（ゲインおよび位相における）補完伝達関数を有するフィルタを規定し、ジャイロメータ信号のサンプルを画像訂正モジュールに適用する前にドローンにより当該ジャイロメータ信号のサンプルに適用される、対応するデジタルフィルタリングをドローンの内部に設定することを含む。
【００２１】
この技術は、２つの利点、具体的には、
・ジャイロメータセンサの不規則な反応、とくにジャイロメータの共振により導入される過剰な訂正のほとんど全てを取り除くこと、および、
・高周波数、とくにモータの回転周波数より大きく、たとえその効果がドローンのプロペラの回転周波数に近い周波数より目立っていなくても画像におけるその効果は低減される必要がある破壊的な調波を含み得る周波数を増幅することにより、画像安定化システムの帯域を上向きに広げること、
を有している。
【００２２】
この目的のために、本発明は、とくに前述のＥＰ２９３３７７５Ａ１（ＵＳ２０１０／０２９８８２２Ａ１）から知られているような、
レンズと、景色の画像がその上に形成されるデジタルセンサと、該センサを読み取って映像データをライン毎に出力するロールシャッタ機構と、を有するカメラと、
ドローンの姿勢の変化を測定可能であって所定の基準点に対する所定の瞬間における前記ドローンの回転を示すジャイロメータ信号を出力可能なジャイロメータセンサを有する慣性ユニットと、
前記映像データと前記ジャイロメータ信号とを入力として受け取るとともに処理されて前記ドローンにより作り出される振動により導入されるアーチファクトを訂正された映像データを出力するアンチウォブルモジュールを有する画像処理モジュールと、
を有するドローンを提案する。
【００２３】
本発明は、このタイプのドローンが、前記画像処理モジュールの入力において、
前記アンチウォブルモジュールの入力におけるジャイロメータ信号に予め定められた補償伝達関数を適用可能な補完フィルタリングモジュールであって、前記予め定められた伝達関数は、前記慣性ユニットの前記ジャイロメータセンサの周波数応答の逆伝達関数である、補完フィルタリングモジュール
を更に備えることを特徴とする。
【００２４】
また、本発明は、ドローンのカメラのロールシャッタデジタルセンサによる受け取られるデジタル画像における当該ドローンにより作り出される振動により導入されるウォブルアーチファクトを訂正する方法であって、前記ドローンは、前記ドローンの姿勢の変化を測定可能であって所定の基準点に対する所定の瞬間における前記ドローンの回転を示すジャイロメータ信号を出力可能なジャイロメータセンサを有する慣性ユニットを備えている、方法に関連する。
【００２５】
本発明の方法は、
ａ）準備ステップにおいて、
ａ１）前記慣性ユニットの前記ジャイロメータセンサの周波数応答を測定し、
ａ２）前記ジャイロメータセンサの前記周波数応答の逆補償伝達関数を有するデジタルフィルタを生成し、
ａ３）前記ドローンのアンチウォブルモジュールの入力において補完フィルタリングモジュールに前記デジタルフィルタをロードし、
ｂ）前記ドローンの操作の間に、連続的かつリアルタイムに、
ｂ１）前記ドローンの前記慣性ユニットにより送信される前記ジャイロメータ信号を受信し、
ｂ２）ステップｂ１）で受信されたジャイロメータ信号に、ステップａ３）でデジタルフィルタにロードされた補償伝達関数を適用し、
ｂ３）前記ドローンの前記アンチウォブルモジュールに、ステップａ２）でフィルタされたジャイロメータ信号を適用する。
【００２６】
本発明の実施形態が、添付の図面を参照して、ここに説明されよう。添付の図面では、隣り合う図面で同じ参照符号が同一または機能的に類似の要素を示している。
【図面の簡単な説明】
【００２７】
【図１】図１は、遠隔制御デバイスにより制御されるドローンを示す概略図である。
【図２】図２は、訂正フィルタリングが適用される前の格子パターンの画像に見ることができるゼリーアーチファクトおよびウォブルアーチファクトを示している。
【図３ａ】図３ａは、ドローンの慣性ユニットに組み込まれるジャイロメータセンサの伝達関数の典型的なボード線図（ボードゲイン線図）である。
【図３ｂ】図３ｂは、ドローンの慣性ユニットに組み込まれるジャイロメータセンサの伝達関数の典型的なボード線図（ボード位相線図）である。
【図４】図４は、本発明による画像を安定化および訂正する機構に寄与する異なる要素をブロック図の形式で示している。
【図５ａ】図５ａは、図３ａからのジャイロメータセンサの伝達関数で重ね合わされた本発明の教示により適用された補償フィルタリングの伝達関数に対応するボード線図を示しており、また、フィルタリング伝達関数によるその補償から生じる伝達関数を示している。
【図５ｂ】図５ｂは、図３ｂからのジャイロメータセンサの伝達関数で重ね合わされた本発明の教示により適用された補償フィルタリングの伝達関数に対応するボード線図を示しており、また、フィルタリング伝達関数によるその補償から生じる伝達関数を示している。
【発明を実施するための形態】
【００２８】
本発明の装置の一実施形態が、ここに説明されよう。
【００２９】
図１では、符号１０が、ドローン、たとえばフランスのパリのパロット社によるＢｅｂｏｐ  Ｄｒｏｎｅモデルのようなクアッドコプタを概して示している。このドローンは、同一平面上の４つのプロペラ１２を有しており、そのモータは、統合ナビゲーションおよび姿勢制御システムにより個別に制御される。それには、ドローンがそれに向かって方向付けられている景色の画像を撮像する前方視カメラ１４、たとえば３０ｆｐｓ（フレーム毎秒）の映像ストリームリフレッシュレートを有する、１９２０×１０８０ピクセルのＣＭＯＳセンサを有する広角、高解像度カメラを有している。また、ドローンには、下方に向けられた垂直視カメラ１６、たとえば６０ｆｐｓの映像ストリームリフレッシュレートと６４°の視野角とを有する、ＣＭＯＳセンサを有するＱＶＧＡ解像度（３２０×２４０ピクセル）のカメラが設けられている。このカメラ１６は、ドローンがその上を飛行する地形の連続する画像を撮像し、これらは、とくに地面に対するドローンの速度を解析するために使用される。
【００３０】
また、ドローンには、水平速度の２つの長手方向成分および幅方向成分がそれぞれ２つのピッチ軸およびロール軸に沿った傾きに密接にリンクされているという理解で、所定の正確性で、ドローンの角速度および姿勢角、すなわち地面上の固定基準点ＵＶＷの水平面に対するドローンの傾きを記述するオイラー角（ピッチφ、ロールθおよびヨーψ）を測定する慣性センサ（加速度計およびジャイロメータ）が設けられている。
【００３１】
ドローン１０は、タッチスクリーンと統合加速度計とを有する携帯電話またはタブレット、たとえばｉＰｈｏｎｅ（登録商標）など、またはｉＰａｄ（登録商標）など、のような遠隔制御デバイス１８により制御される。このデバイスは、ドローン１０の飛行およびオンボードの前方カメラ１４により撮られた画像の表示を制御するために、ＡＲ  Ｆｒｅｅ  Ｆｌｉｇｈｔ（登録商標）のようなカスタムのソフトウェア・アプリケーションがダウンロードされている点以外は変更されていない標準デバイスである。デバイス１８は、本体２０と、前方カメラ１４により撮像された景色の画像を表示するタッチスクリーン２２とを有しており、複数のシンボルが、ユーザが指２４でスクリーンに表示されたシンボルを単純にタッチすることにより飛行制御（上昇／下降など）がアクティブにされることを許容するために重ね合わされている。また、デバイス１８には、ドローンを前方または後方に移動させるためにロール軸およびピッチ軸の周りに沿ってデバイスを傾けることによりドローンの姿勢を制御する傾きセンサが設けられている。ユーザの動作は、カスタムソフトウェア・アプリケーションにより解釈され、それは、ユーザの動作をドローンに対する制御信号に変換する。
【００３２】
最初に提示したように、前方カメラ１４により提供される高解像度の画像は、とくに、ゼリーおよびウォブルとして知られる、画像のぼかしおよび歪みを受け、それは、たとえそれがあまり目立っていなくても、非常に早く気づくことが可能であり、したがって、画像の視覚的な品質を急速に劣化させる効果を生み出す。
【００３３】
図２では、画像（ｂ）がゼリー歪みを示し、画像（ｃ）がウォブル歪みを示しており、それらは両方とも、（ａ）に示されるような格子パターンの画像で見ることができる。これらのアーチファクトは、（グローバルシャッタセンサではなく）ロールシャッタセンサに明確であり、そこでは、センサがラインｌiに対して垂直な方向ＤBでスキャンするため、画像を形成する複数のラインが、画像の全ての画素に対して同時に取得されるのではなく、その代わりにライン毎に（またはラインのグループごとに）連続的に取得される。ドローンの動きおよび画像が撮像されている間に生じる振動は、隣り合うラインで同じにならない画像内の変位を生成する。
【００３４】
画像（ｂ）に見ることができるゼリー効果は、高振幅であるが比較的低い周波数のカメラの動きのとき、たとえばドローンの大きな回転の場合、すなわちドローンが回転するときにロールシャッタによるセンサのスキャン周期の最初と最後の間で数ピクセルだけ（図面の例では、画像の天部と底部との間で格子の約１コマだけ）変位される場合に現れる。この効果は、センサがスキャンＤBするときに画像の各ラインｌiに適切なオフセットを割り当てることにより軽減され得て、このライン毎の訂正は、ドローンの急速な回転により導入されるゼリーアーチファクトがキャンセルされることを許容する。
【００３５】
画像（ｃ）に示されるような、ウォブル効果と呼ばれる、他のタイプのアーチファクトは、本発明が関連する効果である。
【００３６】
ドローンが動くためにドローンの回転により引き起こされる低周波数かつ高振幅の効果であるゼリー効果と対照的に、ウォブル効果は、主にモータの振動により引き起こされ、それは（典型的には約１２０Ｈｚの）高周波数かつ低振幅の振動を導入する。この振動は、カメラマウントに伝達され、画像に波紋の現れおよび波形の形成を伴う、直線の歪みを引き起こす。
【００３７】
ウォブル効果は、たとえばＷＯ２０１１／０５８２５５Ａ１（パロット社）で説明されるように、カメラマウントの適切な機械的なダンピングにより部分的に訂正され、モータの振動がフィルタで取り除かれることを許容する。
【００３８】
実際的には、この機械的なフィルタリングは十分ではなく、ウォブル効果の残りが取り除かれる必要があり、それは、振動によって引き起こされる所定の瞬間でのドローンの回転を示す、ドローンの慣性ユニットにより送信される測定値を使用することにより、および、これらの測定値に基づく適切な訂正を適用することにより、行われ得る。
【００３９】
慣性ユニットのジャイロメータは、実際に、ラインの各々に対する所定の瞬間におけるドローンの姿勢の正確な表示を与えることを可能にし、撮像された景色、すなわち本例では格子パターン（ａ）にできるだけ近い画像を送信するために互いに対して連続するラインの調整を伴う、ライン毎の「イントラ画像」の訂正を許容する。
【００４０】
前述のＥＰ２９３３７７５Ａ１は、このタイプのウォブル訂正技術を説明しており、それは、ドローンの慣性ユニットのジャイロメータにより送信される信号を使用する。しかしながら、実際的には、逆ジャイロメータ信号を適用することによるこのアンチウォブル訂正は、いくつかの制限を有している。
【００４１】
実際、アンチウォブルが、一般的に、プロペラの公称回転周波数（すなわち訂正されるべき振動の基本周波数）の近くの周波数範囲内において、画像内の振動を過剰に訂正し、かつ、この周波数を超える高い周波数を過小に訂正する傾向を有していることが指摘される。
【００４２】
ジャイロメータセンサの反応についての本発明者の解析は、この異常の原因を明らかにし、それは、本質的に、このセンサの伝達関数（周波数応答）の欠点のある特性曲線にある。
【００４３】
図３ａおよび図３ｂを参照し、それは、よりコスト効率的な構成要素を使用している消費者のドローンの慣性ユニットに使用されるジャイロメータセンサの反応に対する典型的なボード線図（それぞれ、ボードゲイン線図およびボード位相線図）を示している。
【００４４】
理想的な伝達関数は、問題とする帯域の全体にわたって単一のゲインおよび線形的な位相を有する。
【００４５】
しかしながら、図３ａおよび図３ｂで見ることができるように、これは事実と異なる。
【００４６】
図示された例では、ゲイン特性曲線（図３ａ）では、ドローンのプロペラの公称回転周波数に非常に近い、約１４０Ｈｚの周波数において大きな共振（約１．１５のゲイン）があることが、Ａにて指摘され、それは、画像におけるウォブルの原因である。また、位相特性曲線（図３ｂ）が直線とは程遠いことが指摘され、これは、角度の予測への誤差の原因を導入し、画像の安定化が損なわれる。また、約２００Ｈｚより上の周波数では、ゲインの徐々の低下が、Ｂにて指摘される。
【００４７】
これらの欠陥は、結果として、１４０Ｈｚの付近の周波数（フィルタで取り除かれるべき振動の基本周波数に対応するため最も重大な周波数）に対するウォブルの過剰な訂正と、２００Ｈｚより上での過小な訂正とをもたらす。第１の場合には、訂正が、最初はそこに無かった波紋を画像に導入する一方、第２の場合には、訂正が画像の波紋を十分にフィルタで取り除かない。
【００４８】
本発明の目的は、この欠点を克服することを可能にする技術を提案することである。
【００４９】
図４は、図１におけるドローン１０の高解像度の前方視カメラのような、ロールシャッタセンサを有するカメラ１４により送信される画像信号Ｉでのウォブル効果を完全に訂正するために、本発明を実施する際に関係する様々なモジュールを、機能的なブロック図の形式で示している。
【００５０】
これらの図は、回路又は中間接続モジュールの形状であるけれど、様々な機能は、本質的にはソフトウェアを使用して実装されており、この表現は、例としてのみ与えられることが指摘される。
【００５１】
カメラ１４は、ドローンの本体に機械的に接続されており、高振幅かつ低周波数の角度移動（ドローンの動き）と、低振幅かつ高周波数の角度移動（モータの振動）とを受ける。カメラが受けるこれらの動きは、ドローンの本体に接続され、とくにジャイロメータが設けられた慣性ユニット２６により測定される。これらのセンサからの測定値は、ドローンの姿勢を予測するモジュール２８に適用され、該モジュール２８は、地上の固定基準点に対する３次元における所定の瞬間でのドローンの傾きを記述するピッチ角φ、ロール角θおよびヨー角ψ（オイラー角）の表示を送信する。これらの回転角度データは、画像データｌをデジタル処理で訂正するモジュール３０に適用され、該モジュールは、ウィンドウニング、画像安定化、有効領域の抽出および直線化、カメラのレンズにより導入される幾何学的歪みの訂正などのような様々な機能を実行する。モジュール３０は、有効映像信号を出力し、それは、遠隔のユーザへと伝達されて、遠隔制御デバイスのスクリーン上に表示され、場合によっては後で配布されるために保存される。
【００５２】
また、モジュール３０は、ゼリーアーチファクトおよびウォブルアーチファクトを訂正し、とくに上述のＥＰ２９３３７７５Ａ１で説明されるような技術を用いることにより（図２を参照して上述された）ウォブル効果を補償する。本質的に、それは、ジャイロメータの測定の逆変換を画像信号に適用して、隣り合うラインで所定の瞬間におけるドローンの姿勢の変化に応じて互いに対して連続するラインを調整する。
【００５３】
カメラ１４および慣性ユニット２６は、共通のクロックモジュール３２により制御され、慣性ユニットおよびカメラのそれぞれの動作周波数は、このクロック３２の周波数ＣＬＫの約数である。また、クロック３２は、垂直カメラ１６を制御し、その出力信号は、
ドローンがその上を飛行する地形の、回転が調整された２つの連続した画像の間の見かけの動きを比較することにより動作する様々な適切なアルゴリズムを用いて水平速度ＶｘおよびＶｙを計算する前に、モジュール２８により計算される回転の予測に基づいて隣り合う画像で回転を補償するモジュール３４に適用される。
【００５４】
特徴的なやり方では、本発明は、補完フィルタ３６が、ドローンの角度を予測するモジュール２８と画像をデジタル処理で訂正するモジュール３０との間に挿入されることを提供し、そのフィルタの伝達関数は、慣性ユニット２６のジャイロメータセンサの欠点のある伝達関数を補償する。
【００５５】
フィルタリングは、予め定められたフィルタリングであり、その伝達関数は、ドローンにより使用されるジャイロメータ構成要素の実際の伝達関数を前もって（たとえば工場を離れるときに）同定した後に決定されている。
【００５６】
図５ａおよび図５ｂは、本発明の教示により適用される補償フィルタリングの伝達関数Ｃ２に対応するボード線図（周波数の関数としてのボードゲイン線図およびボード位相線図）を示している。Ｃ１では、構成要素の効果的な伝達関数が重ね合わされており、当該関数は、図３ａおよび図３ｂを参照して図示および説明されたものである。
【００５７】
伝達関数Ｃ２に対応する補完フィルタは、関数Ｃ１から生成されており、この補完フィルタリングを、３軸でのドローンの回転を示す所定の瞬間における数値の連続するサンプルに適用するように、フィルタリングモジュール３６に設定されている。
【００５８】
図５ａおよび図５ｂの特性曲線Ｃ３は、ジャイロメータ構成要素の反応Ｃ１と補償フィルタリングＣ２との組み合わせから生じる合計の反応を示している。補償フィルタリングを適用することが、
・フィルタで取り除かれるべき振動を生成するプロペラの公称回転周波数に近い１４０Ｈｚの重大な周波数の付近のバンプを抑制すること、
・約３５０Ｈｚにまで達する高周波数に向かって帯域を増大させること、これはとくに振動の周波数の第１調波をフィルタで取り除くことを可能にする、および、
・画像の安定化における対応する改善を伴う、位相応答を線形化すること、
を可能にする、ということが特に指摘され得る。
【図１】
2017142226.tif 000003
【図２】
2017142226.tif 000004
【図３ａ】
2017142226.tif 000005
【図３ｂ】
2017142226.tif 000006
【図４】
2017142226.tif 000007
【図５ａ】
2017142226.tif 000008
【図５ｂ】
2017142226.tif 000009
【外国語明細書】
2017142226000001.pdf