(57)【要約】      （修正有）【課題】実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法を提供する。【解決手段】ドローンの水平変位速度を測定するステップ２１と、ドローンと地面との間の距離（Ｚ）を測定するステップ２２と、ドローンの測定された変位速度と、ドローンと地面との間の測定された距離（Ｚ）と、予め定められたぼかし量（ｄｕ）と、カメラの焦点距離（ｆ）とに基づいて、露出時間を決定するステップ２３を備える。【選択図】図２
2017085551.tif 000002
【特許請求の範囲】
【請求項１】
実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法であって、
前記ドローンの水平変位速度を測定するステップ（２１）と、
前記ドローンと地面との間の距離（Ｚ）を測定するステップ（２２）と、
前記ドローンの測定された変位速度と、前記ドローンと地面との間の測定された距離（Ｚ）と、予め定められたぼかし量（ｄｕ）と、前記カメラの焦点距離（ｆ）とに基づいて、前記露出時間を決定するステップ（２３）と、
を備えたことを特徴とする方法。
【請求項２】
前記露出時間（Ｔexp）は、前記ドローンと地面との間の測定された距離をＺ、前記ぼかし量をｄｕ、前記焦点距離をｆ、前記ドローンの水平変位速度を||ｖ||としたときに、
【数１】
2017085551.tif 000014
により規定される
ことを特徴とする請求項１に記載の決定方法。
【請求項３】
前記カメラの焦点距離（ｆ）と、予め定められたぼかし量（ｄｕ）と、前記ドローンの回転速度（ω）とに基づいて、第２露出時間（２４）を決定するステップ
をさらに備えたことを特徴とする請求項１または２に記載の決定方法。
【請求項４】
前記第２露出時間（Ｔexp）は、前記ぼかし量をｄｕ、前記ドローンの回転速度をω、前記焦点距離をｆとしたときに、
【数２】
2017085551.tif 000015
により規定される
ことを特徴とする請求項３に記載の決定方法。
【請求項５】
前記ぼかし量（ｄｕ）は、露出の開始の瞬間と終了の瞬間との間の画像平面におけるシーンの変位により決定される
ことを特徴とする請求項１〜４のいずれかに記載の決定方法。
【請求項６】
前記カメラの焦点距離と前記ぼかし量とは、ピクセルで表現される
ことを特徴とする請求項１〜５のいずれかに記載の決定方法。
【請求項７】
ピクセルで表現された前記焦点距離（ｆpixel）は、ミリメートルで表現された前記カメラの焦点距離をｆｍｍ、前記シーンのミリメートルでの画像平面における１ピクセルのサイズをｐｉｘＰｉｔｃｈとしたときに、
【数３】
2017085551.tif 000016
により規定される
ことを特徴とする請求項６に記載の決定方法。
【請求項８】
実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法であって、
有効露出時間を決定するステップを備え、
前記有効露出時間は、
請求項１または２もしくは請求項１または２を引用する請求項５〜７のいずれかにより決定される露出時間と、
請求項３または４もしくは請求項３または４を引用する請求項５〜７のいずれかにより決定される第２露出時間と、
の間の最小継続時間である
ことを特徴とする方法。
【請求項９】
請求項１〜８のいずれかによるカメラによる画像の撮像のための露出時間を動的に決定する方法を実施するように適合された実質的に鉛直視のカメラを備えたドローン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドローンに搭載されたカメラによる画像の撮像のためのシーンの露出時間を動的に決定する方法、および、カメラを搭載してそのような方法を備えたドローンに関連する。
【背景技術】
【０００２】
フランスのパリのＰａｒｒｏｔ社のＡＲ．Ｄｒｏｎｅ２．０またはＢｅｂｏｐ  Ｄｒｏｎｅ、もしくはスイスのＳｅｎｓｅＦｌｙ社のｅＢｅｅは、ドローンの典型例である。それらには、一連のセンサ（加速度計、３軸ジャイロメータ、高度計）と、少なくとも１つのカメラとが設けられている。このカメラは、たとえば上空を飛行される地面の画像を撮像する鉛直視カメラ、またはドローンの前方のシーンの画像を撮像する前方視カメラである。これらのドローンには、１つのモータまたはそれぞれのモータにより駆動される複数のロータが設けられており、それらは、所定の高度および速度でドローンを操縦するように区別されたやり方で制御され得る。
【０００３】
地面に対するドローンの速度を評価するために下方に向けられた鉛直視のカメラと、超音波テレメータと、地面に対するドローンの高度を予測するための測定値を提供する搭載気圧センサとを有するドローンが、特に文献ＵＳ２０１３／３２５２１７から知られている。
【０００４】
上記発明は、より詳しくは、上空を飛行される地面または前方カメラにより観察されるシーンの画像を撮像するために、ドローンに搭載されたカメラによる画像の撮像に適用されるべき露出時間を動的に決定する方法に関連する。
【０００５】
「露出」という用語は、撮影中に、感知面、特にデジタルカメラのデジタルセンサにより受けられる光の総量を意味する。
【０００６】
そして、露出時間は、撮影中にカメラのシャッタが光を通過させる時間間隔であり、したがって、デジタルカメラの場合には、センサが光を受ける期間である。
【０００７】
露出は、また、感度パラメータに依存する。ＩＳＯで表現される感度は、デジタルセンサの光に対する感度の測定値である。これは、正確な露出の決定に必須のデータ要素である。
【０００８】
感知面が良好な量の光を受けるとき、撮像された画像は正確に露出され、それは、明るすぎず暗すぎない画像を取得することを許容する。
【０００９】
この正確な露出を取得するために、カメラには、自動露出（ＡＥ）アルゴリズムが備えられており、それは、目標輝度でいかなるシーンをも感知するために、露出時間およびセンサ感度からなる対を選択するための関数を有している。
【００１０】
そのようなカメラが設けられたこれらのドローンは、制御装置を介して、または、ドローンが自律的にあとをたどる軌跡の読み込みを通して、マップされるべき土地の上を飛行中に制御される。
【００１１】
画像の撮像は、ドローンに備えられたカメラの連続的なトリガー、または、たとえばドローンのユーザからのカメラトリガー命令の受信、のいずれかにより実行される。
【００１２】
露出決定方法が、露出時およびセンサ感度に対する妥当性の間隔に基づいていることが公知である。
【００１３】
さらに、センサ感度とシーンの輝度に応じた露出時間との間の対応表を設定する露出決定方法が公知である。これらの方法は、したがって、複数の工程を有し、よくても、撮像されるべきシーンの輝度に対してセンサ感度／露出時間の対を適合させることを許容する。
【００１４】
これらの解決策は、事前に固定されているパラメータ、特に感度／露出時間の対の狭いセットに基づく欠点を有している。撮像時に予測されるシーン輝度は、パラメータ化されたすべての対の中からセンサ感度／露出時間のより良い対を決定することを許容する。
【００１５】
ドローンに搭載されたカメラでのそれらの実装中にこれらの公知の方法を使用する場合、長すぎる露出時間が、特に回転および平行移動の両方でのカメラの動きのために、ぼかし画像を引き起こすことが観察される。
【００１６】
同様に、センサ感度が高いとき、シーンのノイズが増えることが観察される。ノイズは、デジタル的に撮像されたシーンの詳細にランダムに追加される偽の情報の存在である。それは、より詳しくは、シグナル／ノイズの割合が低いあまりライトアップされていない領域だけでなく、青空のような一様な部分でも見ることができる。それは、したがって、結果的に、詳細の明確性の欠如を含んでいる。
【００１７】
撮像された画像が最小のノイズおよび受け入れ可能なぼかしを有しているとき、露出は正確である。
【００１８】
ドローンに搭載されたカメラのフレームワークの範囲内で、カメラは、ドローンの回転動き、および平行移動の動きを経験する。
【００１９】
自動露出の公知の方法は、ドローンの動きの制限に対する露出時間の適合を許容しない。
【発明の概要】
【００２０】
本発明の目的は、最小のノイズおよび受け入れ可能なぼかしを有する画像を撮像するためにドローンで実施される画像の撮像のための露出時間を動的に決定することを許容する解決策を提案することにより、これらの欠点を補うことである。
【００２１】
その目的のために、本発明は、実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法を提案する。
【００２２】
本発明は、
前記ドローンの水平変位速度を測定するステップと、
前記ドローンと地面との間の距離（Ｚ）を測定するステップと、
前記ドローンの測定された変位速度と、前記ドローンと地面との間の測定された距離（Ｚ）と、予め定められたぼかし量（ｄｕ）と、前記カメラの焦点距離（ｆ）とに基づいて、前記露出時間を決定するステップと、
を備えたことを特徴とする。
【００２３】
一実施形態によれば、前記露出時間（Ｔexp）は、前記ドローンと地面との間の測定された距離をＺ、前記ぼかし量をｄｕ、前記焦点距離をｆ、前記ドローンの水平変位速度を||ｖ||としたときに、
【数１】
2017085551.tif 000003
により規定される。
【００２４】
特定の実施形態では、本方法は、前記カメラの焦点距離（ｆ）と、予め定められたぼかし量（ｄｕ）と、前記ドローンの回転速度（ω）とに基づいて、第２露出時間を決定するステップをさらに備える。
【００２５】
一実施形態によれば、前記第２露出時間（Ｔexp）は、前記ぼかし量をｄｕ、前記ドローンの回転速度をω、前記焦点距離をｆとしたときに、
【数２】
2017085551.tif 000004
により規定される。
【００２６】
特定の実施形態によれば、前記ぼかし量（ｄｕ）は、露出の開始の瞬間と終了の瞬間との間の画像平面におけるシーンの変位により決定される。
【００２７】
一実施形態によれば、前記カメラの焦点距離と前記ぼかし量とは、ピクセルで表現される。
【００２８】
特定の実施形態によれば、ピクセルで表現された前記焦点距離（ｆpixel）は、ミリメートルで表現された前記カメラの焦点距離をｆｍｍ、前記シーンのミリメートルでの画像平面における１ピクセルのサイズをｐｉｘＰｉｔｃｈとしたときに、
【数３】
2017085551.tif 000005
により規定される。
【００２９】
また、本発明は、実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法であって、有効露出時間を決定するステップを備え、前記有効露出時間は、上述された発明に応じて決定される露出時間と、上述された発明に応じて決定される第２露出時間と、の間の最小継続時間であることを特徴とする方法を提案する。
【００３０】
また、本発明は、上述された発明に応じたカメラによる画像の撮像のための露出時間を動的に決定する方法を実施するように適合された実質的に鉛直視のカメラを備えたドローンを提案する。
【００３１】
本発明の実施の一例は、添付の図面を参照して、ここに説明されよう。
【図面の簡単な説明】
【００３２】
【図１】図１は、ドローンとマップされるべき土地とを示している。
【図２】図２は、本発明による露出時間を決定する方法を示している。
【図３】図３は、本発明による有効露出時間を決定する方法を示している。
【発明を実施するための形態】
【００３３】
ここで本発明の例示の実施形態が説明されよう。
【００３４】
図１では、符号１０がドローンを概して示している。図１に示された例によれば、それは、スイスのＳｅｎｓｅＦｌｙ社のｅＢｅｅモデルのようなフライング・ウィングである。
【００３５】
別の例示の実施形態によれば、ドローンは、フランスのパリのＰａｒｒｏｔ社のＢｅｂｏｐ  ｄｒｏｎｅモデルのようなクアドリコプタである。このドローンは、それらのモータが統合ナビゲーションおよび姿勢制御システムにより互いに独立に操縦される同一平面内にある４つのロータを含んでいる。
【００３６】
クアドリコプタの例示の実施形態では、ドローンには、ドローンの角速度および姿勢角度、すなわち固定地球座標系ＵＶＷの水平面に対するドローンの傾きを記述するオイラー角（ピッチφ、ロールθおよびヨーψ）を一定の精度で測定することを可能にする慣性センサ（加速度計およびジャイロメータ）が設けられており、水平速度の２つの縦および横要素は、２つのピッチおよびロール軸のそれぞれの回りの傾きに密接にリンクしていることが理解される。この実施形態によれば、ドローン１０は、統合加速度計を有するタッチスクリーンのマルチメディア電話またはタブレット、たとえばｉＰｈｏｎｅ（登録商標）タイプなどの携帯電話またはｉＰａｄ（登録商標）タイプなどのタブレットのような遠隔制御装置により操縦される。それは、標準的なデバイスであり、ドローン１０の操縦を制御するための特定のアプリケーションソフトウェアの読み込み以外は改変されていない。
【００３７】
図１に示された例示の実施形態では、ドローンは、特に非常に長い距離からのドローンの制御を許容する特定の遠隔制御装置により操縦される。
【００３８】
ユーザは、遠隔制御装置を介してドローン１０の変位をリアルタイムで制御し得る、または離陸の前にドローンに読み込まれる決められたルートをプログラムし得る。
【００３９】
遠隔制御装置は、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１）またはＢｌｕｅｔｏｏｔｈ（登録商標）ローカルネットワークタイプの無線リンクによりデータの双方向の交換を介してドローン１０と通信する。
【００４０】
ドローン１０には、一組の画像、たとえばドローンにより上空を飛行される、マップされるべき土地１６の画像を取得することを可能にする搭載の鉛直視カメラ１４が設けられている。
【００４１】
ドローン１０には、また、ドローンの前方のシーンの撮像を許容する搭載の前方カメラが設けられ得る。
【００４２】
本発明によれば、ドローンは、カメラ、特に実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法を備える。
【００４３】
画像の撮像のための露出時間を動的に決定するこの方法は、特定の実施形態によれば、ドローンに搭載されたカメラ１４で実施される。
【００４４】
本発明によれば、露出時間を動的に決定する方法は、ドローンの飛行パラメータおよびカメラの特性に応じて連続的に露出時間を決定することを許容する。
【００４５】
実際、ドローンの平行移動の動きは、撮像されるべきシーンの距離、レンズの焦点距離、露出時間、およびドローンの変位速度（水平および鉛直）に依存する振幅を有する動きにより、ぼかしを生成することが観察されている。
【００４６】
さらに、ドローンの回転の動きは、レンズの焦点距離、露出時間、およびドローンの角速度に依存する振幅を有する動きにより、ぼかしを生成することが観察されている。
【００４７】
したがって、良好な品質の画像の撮像を行うためにカメラ１４のセンサの露出時間を動的に決定するためにドローンの飛行パラメータとカメラ１４の特性とを考慮することが必要である。
【００４８】
そのように、露出時間は、前もって規定されずに画像の撮像中に動的に決定され、ドローンの動的特性および撮像されるべきシーンに応じて決定される。
【００４９】
特に、露出時間は、ドローン１０の変位速度、ドローンと地面との間の距離Ｚ、予め定められたぼかし量ｄｕ、およびカメラ１４の焦点距離ｆに基づいて決定されよう。
【００５０】
露出時間を決定するために、特にドローンの平行移動の移動を考慮するために、ドローンと地面との間の距離Ｚが決定される。
【００５１】
ドローンと地面との間の距離Ｚは、また、ドローンに搭載されたカメラと地面との間の距離により延長される。
【００５２】
第１の実施形態によれば、ドローンと地面との間の距離Ｚは、離陸時および飛行中に一定の間隔で、たとえばドローンに設けられたＧＰＳモジュールにより与えられる高度の測定により決定され得る。そのように、ドローンと地面との間の距離Ｚは、近似的に決定される。この実施形態は、ドローンが平坦な地面の上を飛んでいるときに特に関連する。
【００５３】
別の実施形態によれば、ドローンと地面との間の距離Ｚは、ドローン高度予測装置により決定される。この装置は、たとえば、特にＰａｒｒｏｔ社の名前で文献ＥＰ２６４４２４０に記載されたような気圧センサおよび超音波センサの測定値に基づく高度予測システムを有する。
【００５４】
ドローンと地面との間の距離Ｚは、メートルで表現される。
【００５５】
以上に見られるように、露出時間は、特に受け入れ可能なぼかし量に応じて決定されよう。
【００５６】
ぼかし量ｄｕは、カメラ１４のレンズの焦点距離ｆ、ドローンと地面との間の距離、および露出の開始の瞬間と終了の瞬間との間の、特に画像平面における、シーンの変位ｄＸの関数である。
【００５７】
したがって、ぼかし量は、カメラの焦点距離をｆ、露出の開始の瞬間と終了の瞬間との間のシーンの変位の距離をｄＸ、ドローンの高度をＺとしたときに、
【数４】
2017085551.tif 000006
という式に応じて規定される。
【００５８】
ぼかし量ｄｕおよび焦点距離ｆは、ミリメートルで表現され得る。別の実施形態によれば、ぼかし量ｄｕおよび焦点距離ｆは、ピクセルで表現される。
【００５９】
ピクセルで表現された焦点距離（ｆpixel）は、ミリメートルで表現されたカメラの焦点距離をｆｍｍ、シーンのミリメートルでの画像平面における１ピクセルのサイズをｐｉｘＰｉｔｃｈとしたときに、
【数５】
2017085551.tif 000007
により規定される。
【００６０】
露出の開始の瞬間と終了の瞬間との間の、特に画像平面における、シーンの変位ｄＸは、特に図１に示されたフライング・ウィングの場合に、特にシーンの水平変位に対応する。
【００６１】
シーンの変位ｄＸは、特にドローン１０の水平変位速度に依存する。一実施形態によれば、当該速度は、ドローン１０に搭載された慣性ユニットにより測定される。別の実施形態によれば、当該速度は、土地の上空を飛行される部分の変位を解析することにより測定される。
【００６２】
したがって、露出の開始の瞬間と終了の瞬間との間のシーンの変位の距離ｄＸは、ドローンの水平変位速度を｜｜ｖ｜｜、露出時間をＴexpとしたときに、式：
【数６】
2017085551.tif 000008
により決定される。
【００６３】
水平速度は、メートル毎秒で表現され、露出時間は、秒で表現される。
【００６４】
したがって、ドローン、特にカメラ１４で実施される画像の撮像のための露出時間を動的に決定する方法は、本発明によれば、図２に示すように、ドローンの水平変位速度を測定するステップ２１と、ドローンと地面との間の距離Ｚを測定するステップ２２と、ドローンの測定された変位速度、ドローンと地面との間の測定された距離Ｚ、予め定められたぼかし量ｄｕ、およびカメラの焦点距離ｆに基づいて露出時間を決定するステップ２３と、を備える。
【００６５】
ドローンの水平変位速度を測定するステップ２１と、ドローンと地面との間の距離Ｚを測定するステップ２２とは、反対方向に、または平行に、実行され得る。
【００６６】
ステップ２３の間に規定される露出時間Ｔexpは、特定の実施形態によれば、ドローンと地面との間の測定された距離をＺ、ぼかし量をｄｕ、焦点距離をｆ、ドローンの水平変位速度を｜｜ｖ｜｜としたときに、等式：
【数７】
2017085551.tif 000009
に応じて決定される。
【００６７】
したがって、動的に決定される露出時間は、画像の撮像の瞬間におけるドローン１０の飛行パラメータ、カメラ１４のパラメータ、および受け入れ可能なぼかし量の関数である。ぼかし量は、画像の最終的なアプリケーションに応じて決定され、したがって、異なる値、たとえば１ピクセルまたは４ピクセルを取り得る。
【００６８】
特定の実施形態によれば、決定する方法は、本発明によれば、特にドローン１０の回転の移動を考慮するために第２露出時間を決定するように適合される。
【００６９】
したがって、第２露出時間は、カメラの焦点距離ｆ、予め定められたぼかし量ｄｕ、およびドローンの回転速度ωに基づいて決定される。
【００７０】
ピクセルでの観測される角度を決定するために、変数ｄＲｅｓＡｎｇが、ピクセルで表現されるカメラの焦点距離をｆpxとしたときに、以下の式：
【数８】
2017085551.tif 000010
に応じて規定される。
【００７１】
次に、露出時間に対してカバーされる角度ｄθが、ドローンの回転速度をω、露出時間をＴexpとしたときに、式：
【数９】
2017085551.tif 000011
に応じて決定される。
【００７２】
したがって、たとえばピクセルで表現される、露出時間に対してカバーされる距離ｄｕは、露出時間に対してカバーされる角度をｄθ、露出時間をＴexp、ピクセルで表現された焦点距離をｆpx、ドローンの回転速度をω、ピクセルでの観察される角度をｄＲｅｓＡｎｇとしたときに、以下の式：
【数１０】
2017085551.tif 000012
に応じて決定される。
【００７３】
ドローン１０の回転速度ωは、たとえば、画像の撮像のトリガーの前に決定され得る、または、予め定められた期間にわたって平均化され得る。この速度は、度毎秒で表現される。
【００７４】
したがって、ドローン１０の回転の移動を考慮するために、第２露出時間Ｔexpが、ぼかし量をｄｕ、ドローンの回転速度をω、カメラの焦点距離をｆとしたときに、
【数１１】
2017085551.tif 000013
により規定されることが導出される。
【００７５】
ドローンの回転移動を考慮するために露出時間を決定するように適合された、この決定する方法は、実質的に鉛直視のカメラおよび実質的に水平視のカメラに適用可能である。
【００７６】
特定の実施形態によれば、ドローン１０、特にカメラ１４で実施される画像の撮像のための露出時間を動的に決定する方法は、図２に示すように、カメラの焦点距離ｆ、予め定められたぼかし量ｄｕ、およびドローン１０の回転速度ωに基づいて、第２露出時間を決定するステップ２４をさらに備える。
【００７７】
ステップ２４は、ステップ２１〜２３の前または後に順次実行され得る、またはステップ２１〜２３と平行に実行され得る。
【００７８】
特定の実施形態によれば、本発明は、実質的に鉛直視のカメラ１４を有するドローン１０で実施される画像の撮像のための有効露出時間を動的に決定する方法をさらに備える。
【００７９】
この方法は、図３に示すように、ドローン１０の平行移動の移動を考慮するために画像の撮像のための第１露出時間を決定するステップ３１を備える。このステップ３１は、図２の上述されたステップ２１〜２３により実施される。
【００８０】
有効露出時間を動的に決定する方法は、ドローン１０の回転の移動を考慮するために画像の撮像のための第２露出時間を決定するステップ３２を備える。このステップ３２は、図２の上述されたステップ２４により実施される。
【００８１】
ステップ３１およびステップ３２は、順次または平行して実行され得る。
【００８２】
ステップ３１およびステップ３２に続いて、有効露出時間を決定するステップ３３が行われ、有効露出時間は、ステップ３１で決定される第１露出時間とステップ３２で決定される第２露出時間との間の最小時間である。
【００８３】
本発明は、また、カメラによる画像の撮像のための露出時間を動的に決定する上述の方法を実施するように適合されたカメラ１４、たとえば実質的に鉛直視のカメラ、を備えたドローン１０に関連する。
【００８４】
非限定的な例として、瞬間ｔにおいて、搭載されたカメラ１４を有し、上述されたような本発明に応じた露出時間を動的に決定する方法が備えられたドローン１０が、３６ｋｍ／ｈの速度で飛行し、受け入れ可能なぼかしが２ピクセルであり、ドローと地面との間の距離が５０メートルであり、回転速度が１００°／秒であることが考えられる。
【００８５】
この例によれば、３．９８ｍｍの焦点距離と、３．７５マイクロメートルの、シーンのミリメートルでの画像平面における１ピクセルのサイズとを有するカメラの場合には、本発明によるセンサの露出時間は、ドローンの平行移動の移動を考慮するために９．４２ミリ秒であり、ドローンの回転の移動を考慮するために１．０８ミリ秒である。
【００８６】
ドローンの上記考えられる例によれば、４．８８ｍｍの焦点距離と、１．３４マイクロメートルの、シーンのミリメートルでの画像平面における１ピクセルのサイズとを有するカメラの場合には、本発明によるセンサの露出時間は、ドローンの平行移動の移動を考慮するために２．７５ミリ秒であり、ドローンの回転の移動を考慮するために０．３１ミリ秒である。
【図１】
2017085551.tif 000017
【図２】
2017085551.tif 000018
【図３】
2017085551.tif 000019
【外国語明細書】
2017085551000001.pdf