(57)【要約】      （修正有）【課題】クアドリコプター型の無人機のカメラによる画像撮像の新たな技法を提供する。【解決手段】無人機１０は、無人機本体に対して固定方向Δを指す魚眼型の半球状視線レンズ（魚眼レンズ４２）が設けられたカメラを備える。このレンズ４２によって形成される画像から、サイズが低減した撮像領域（セクター）３６が抽出され、この領域の位置は、絶対地球座標系に対して無人機の姿勢を特徴付けるオイラー角を測定する慣性ユニットによって送出される信号に応じる。この領域の位置は、慣性ユニットによって検出される無人機の姿勢の変化（矢印３８）と反対の方向（矢印４４）に動的に変更される。そして、撮像領域の領域で取得された画像における魚眼レンズによってもたらされた幾何学的歪みを補償するように、生ピクセルデータが処理される。【選択図】図２ｂ
2015204633.tif 000002
【特許請求の範囲】
【請求項１】
回転翼無人機（１０）であって、
無人機本体に対して固定方向（Δ）を向いている魚眼型の半球状視野レンズとともに、該レンズによって形成される画像（Ｉ）を取得し生ピクセルデータを送出するデジタルセンサを含むカメラ（１４）と、
入力として前記生ピクセルデータを受け取り、出力として、前記魚眼レンズによって導入される幾何学的歪みが補償された、修正されたピクセルデータを送出する画像処理手段（１５６）と、
ディスプレイ又はビデオ記録デバイスに送信するために、出力として、修正されたピクセルデータを送出する手段（１５８）と、
絶対地球座標系に対する該無人機の姿勢を特徴付けるオイラー角（φ、θ、ψ）を測定するように適合された慣性ユニット（１５４）と、
−入力として前記慣性ユニット（１５４）によって送出される少なくとも１つのオイラー角を受け取り、前記慣性ユニットによって検出される該無人機の姿勢の変化に応じて、前記送出手段によって出力として送出される前記ピクセルデータを窓処理するように適合された制御手段（１５２）と、
を具備し、
前記デジタルセンサは、前記生ピクセルデータをライン毎に送出するスキャンセンサであり、
該無人機は、入力として、前記センサの範囲にわたって、サイズが低減した撮像領域（ＺＣ）の位置を画定する選択信号を受け取り、出力として、サイズが低減した前記撮像領域に対応する前記生ピクセルデータを送出する抽出手段（１５２）を更に含み、
前記サーボ制御手段（１５２）は、前記慣性ユニットによって検出されかつ前記少なくとも１つのオイラー角の対応する変動によって特徴付けられる、該無人機の姿勢の変化の方向とは反対の方向に、前記選択信号を動的に変更するように適合された手段であり、
前記画像処理手段（１５６）は、入力として、前記抽出手段によって送出される前記生ピクセルデータを受け取ることを特徴とする、回転翼無人機。
【請求項２】
前記サーボ制御手段は、前記抽出手段によって送出される前記ピクセルデータが、水平線に中心を置くか又は該水平線に対して固定された向きに中心を置く画像に対応するように、前記選択信号を変更するように適合されている、請求項１に記載の無人機。
【請求項３】
前記カメラは、前記デジタルセンサのフレームスキャン方向（ＤＢ）が該無人機のピッチ角（２２）に対して平行に向けられるように、該無人機に搭載されている、請求項１に記載の無人機。
【請求項４】
前記少なくとも１つのオイラー角は、該無人機のピッチ角（φ）であり、前記サーボ制御手段は、前記センサの主軸に対して平行な第１方向において前記撮像領域を並進させるように前記選択信号を変更するように適合されている、請求項１に記載の無人機。
【請求項５】
前記少なくとも１つのオイラー角は、該無人機のヨー角（ψ）であり、前記サーボ制御手段は、前記第１方向に対して垂直な第２方向において前記撮像領域を並進させるように前記選択信号を変更するように適合されている、請求項４に記載の無人機。
【請求項６】
前記画像処理手段（１５６）は、前記センサの各ライン（Ｉｉ）に対して、ヨー軸、ピッチ軸及び／又はロール軸の回りの該無人機の回転によって引き起こされる、ライン毎のピクセルの相対的な変位を補償するための追加の補正を適用するように適合されている、請求項１に記載の無人機。
【請求項７】
前記カメラ（１４）は、ビデオデータをライン毎に送出するローリングシャッター型のカメラであり、
前記カメラ（１４）及び前記慣性ユニット（１５４）のジャイロセンサ（１０２）は、共通のクロック（１６０）によって操縦され、
前記ジャイロセンサ（１０２）の取得レート（Ｆｇｙｒｏ）は、前記カメラ（１４）のビデオデータ送出レート（Ｆｃａｍ）の倍数（Ｋ）である、請求項６に記載の無人機。
【請求項８】
前記ジャイロセンサ（１０２）によって送出される前記信号（Ｓｇｒｙｏ）を前記カメラ（１４）によって送出される前記信号（Ｓｃａｍ）と比較し、
これらのそれぞれの信号の間の位相シフト値を求め、
この位相シフト値を、ライン毎にピクセルの相対的な変位を補償するように前記センサの各ラインに適用される前記追加の補正を同期してトリガーするように、前記画像処理手段（１５６）に適用する、
ように構成されたハードウェア回路（１７０）を更に具備する、請求項７に記載の無人機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クアドリコプター等の回転翼無人機に関する。
【背景技術】
【０００２】
そのような無人機には、当該無人機を姿勢及び速度において操縦するために別々の方法で制御することができるそれぞれのモータによってサーボ制御される複数のロータが設けられている。
【０００３】
こうした無人機の代表的な一例は、フランス、パリのParrot SA製のＡＲ．Ｄｒｏｎｅ２．０であり、それは、一連のセンサ（加速度計、３軸ジャイロ、及び高度計）と、その無人機の向かっている方向の景色の画像を撮像する前面カメラと、上空を飛行している地形の画像を撮像する垂直視カメラとを装備したクアドリコプターである。
【０００４】
特許文献１及び特許文献２（Parrot SA）は、こうした無人機を記載するとともに、それを、タッチスクリーン及び組込み加速度計を有する電話機又はマルディメディアプレイヤー、例えば、ｉＰｈｏｎｅ型の携帯電話機若しくはｉＰａｄ型（米国のApple Inc.の登録商標）のマルチメディアタブレットを介して操縦する原理を記載している。
【０００５】
こうしたデバイスは、操縦コマンドの検出と、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１）又はＢｌｕｅｔｏｏｔｈ（登録商標）ローカルネットワークタイプの無線リンクを介する、無人機との双方向のデータ交換とに必要な、様々な制御要素を含む。こうしたデバイスには更にタッチスクリーンが設けられており、タッチスクリーンは、無人機の前面カメラによって撮像された画像を表示し、単にユーザの指がこのタッチスクリーンに接触することによりコマンドの起動を可能にする或る特定の数のシンボルが重ね合わされている。
【０００６】
無人機の前面ビデオカメラを、「没入モード（immersion mode）」で、すなわち、ユーザがカメラの画像を、自身が無人機に乗っているかのように同様に使用するモードで操縦するように、使用することができる。それはまた、無人機が向かうシーンの一続きの画像を撮像するのに役立つこともできる。このため、ユーザは、カメラ又はビデオカメラと同様に無人機を使用することができ、それらのカメラ又はビデオカメラは、手で保持される代りに無人機によって搭載されることになる。取得された画像を、記録し、その後、ブロードキャストし、ビデオシーケンスホスティングウェブサイトで公開し、他のインターネット利用者に送信し、ソーシャルネットワークで共有する等を行うことができる。
【０００７】
これらの画像は記録され通信されるように意図されており、それらは、あり得る欠陥、特に、カメラによって撮像された画像の適時でない揺れ及びジッターをもたらす、無人機の疑似運動からもたらされる欠陥が最小限であることが望ましい。
【０００８】
特に、カメラが無人機の主方向に向いている状態で、カメラの軸に対して垂直なピッチ軸（又はヨー軸）の回りのあらゆる運動が、画像において、撮像された画像の可読性及び品質を著しく損なう垂直な（それぞれ、水平な）揺れをもたらすことになる。同様に、ロール軸（カメラの軸）の回りのあらゆる運動により、画像の可読性を損なう、画像の何らかの方向の回転がもたらされることになる。
【０００９】
ここで、クアドリコプター等の回転翼無人機の変位は、無人機がユーザによって制御されるか又は自動操縦によってサーボ制御されるかに関らず、ピッチ軸の回りの傾斜運動（前方／後方変位）又はロール軸の回りの傾斜運動（左／右変位）から主にもたらされ、それらの運動は、こうした無人機のまさしくその動作原理に固有である。
【００１０】
より正確には、無人機は、下方に傾くか又は「急降下する」（ピッチ角回りの傾斜）ように制御される場合、傾斜角が増大するにつれて益々上昇する速度で前方に移動することになる。逆に、無人機が反対方向に「機首を上に向ける（nose up）」ように制御される場合、その速度は次第に低下し、その後反転して後方に進むことになる。同様に、ロール軸の回りの傾斜のコマンドの場合、無人機は右又は左に傾くことになり、右に向かうか又は左に向かう水平並進における直線的な変位をもたらす。
【００１１】
無人機の前方又は後方又は脇へのあらゆる直線状の変位は、無人機の傾斜、したがってカメラによって取得された画像のシフト、回転、揺れ等の対応する影響を含む。
【００１２】
それらの外乱は、「ユーザ体験」の一部である限り、「没入操縦」構成では許容可能とすることができる。
【００１３】
一方、問題が、無人機を、後に記録され描画されることになるシーケンスを撮像するための移動ビデオカメラとして使用することである場合、これらの疑似運動は、極めて擾乱するものであり、画像に位置がずれかつ不安定な水平線、無人機が加速又は減速する際の画像における上下動とともに、疑似回転及び他の様々なアーチファクトがある。
【００１４】
特許文献３は、無人機に与える軌道を規定する、前方又は側方移動、パノラマ又はカメラブーム等、ユーザによって選択されるモードに従って画像を撮影するように無人機を操縦する方法を記載している。無人機が所定の軌道で安定化すると、ビデオ撮像が起動され、軌道は、フィードバックループ制御に固有の揺れを回避する開ループ制御によって安定化する。しかしながら、問題は、この場合、無人機に与えられる運動が、等速直線並進運動であるか又は一様な回転運動である場合、無人機姿勢制御ループの動作を変更することによって、設定点の回りの疑似的な揺れを回避することにより、軌道を安定化させることである。問題は、前方／後方変位及び／又は左／右変位中の加速フェーズ又は減速フェーズの間に無人機の傾斜運動からもたらされる画像の変位を補償することではない。
【００１５】
画像のこうした変位の補償を確保するために、様々な解決法が提案された。
【００１６】
機械的解決法としては、無人機の傾斜移動を補償するように電動化されサーボ制御されるカルダンサスペンションによって無人機本体に連結されたクレードルにカメラを搭載することが挙げられる。この解決法にはいくつかの利点があり、特に、その撮像の前段で画像を安定化し、大きい幅の角度補償を可能にする。一方、それは、複雑かつ重量のある機械的システムが必要であり（これは、特に、飛翔体に対して不利益をもたらしている）、補償の効率は、使用されるサーボ制御モータの最大加速度及び速度によって制限される。
【００１７】
ＯＩＳ（光学式手振れ補正（Optical Image Stabilization））と呼ばれる別の技法は、カメラレンズ又は焦点面にあるセンサの光学素子をリアルタイムで変位させることにある。安定化は、この場合もまた、画像撮像の前段で操作され、このシステムでは、非常に低い空間要件のみを必要とする。一方、光学設計は複雑であり、角度補償の最大幅は、数度に限定され、さらに、フリーハンドで画像を撮影する影響を補償するために十分な応答時間があるが、運動する無人機の非常に急峻な運動を補償するには長すぎる。
【００１８】
最後に、いわゆるＥＩＳ（電子式手振れ補正（Electronic Image Stabilization））技法は、センサにおいて、使用される撮像領域よりサイズが大きい固定領域を取得することにある。補償は、補償される運動に対して反対方向に、撮像領域を取得領域に並進させることによって操作され、センサは、安定化した画像に対応する一部分のみを送信する。こうした補償の実施は単純である。一方、補償の幅は、撮像領域のサイズと取得領域のサイズとの比、すなわち使用されるセンサの有効サイズによって制限される。具体的には、角度補償の最大幅は、数度に限定される。
【００１９】
非特許文献１及び非特許文献２は、こうしたＥＩＳ技法を、「魚眼」型の半球状視野レンズが設けられた、すなわち、約１８０度の視野をカバーするカメラによって撮像される画像に適用することを提案している。生画像は、全体で取得され（それは、低解像度ＣＣＤセンサであるためリアルタイムで可能である）、修正プロセス（魚眼歪みを補償するため）と、その後、カメラを搭載しているロボットの移動に応じて動的窓処理プロセスと、が施される。
【００２０】
非特許文献３は、遠隔制御ロボットによって撮像された画像の電子式安定化の同等の技法を記載しているが、同じ限界及び欠点がある。
【００２１】
しかしながら、これらの画像安定化技法は、単にカメラが低解像度ＣＣＤセンサ（６４０×４８０ピクセル、すなわち０，３メガピクセル）を備えたカメラであるために可能である。一方、ＨＤ品質（１９２０×１０８０ピクセル、すなわち２メガピクセル）の、それ自体が、非常に高解像度の生魚眼画像に窓処理される有用な画像、例えば、解像度１４メガピクセル（４６０８×３２８８ピクセル）のセンサに形成された画像の安定化に対しては適用が不可能である。これらの条件では、生画像の全体が処理されるために転送された場合、これは、各画像に対して１４メガピクセルのピクセルデータの流れに対応し、フレームレートがこの解像度でおよそ６画像／秒（ｉｐｓ）になり、それは、３０ｉｐｓに近いフレームレートが必要である流動的なビデオシーケンスには不十分である。
【００２２】
さらに、画像の領域の単純な並進は、カメラの回転を補償するには数学的に十分ではなく、それは、回転によって引き起こされる視点の変化の現実の補正ではないためである。
【００２３】
最後に、それは、センサによって取得された画像データの後処理による補償であり、それにより、動きによるぼけ及び揺れぐらつき（wobble）（無人機のモータの振動によってもたらされる、低振幅かつ高周波数の画像のうねり）のような或る特定の影響を補償することができない。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】国際公開第２０１０／０６１０９９号
【特許文献２】欧州特許出願公開第２３６４７５７号
【特許文献３】欧州特許出願公開第２６１３２１４号
【非特許文献】
【００２５】
【非特許文献１】Miyauchi R他、「Compact Image Stabilization System Using Camera Posture Information」（Journal of Field Robotics, Vol.25, No 4-5, 2008, pp.268-283(2008)）
【非特許文献２】Miyauchi R等、「Development of Omni-Directional Image Stabilization System Using Camera Posture Information」（Proceedings of the 2007 IEEE International Conference on Robotics and Biomimetics, Dec. 15-18, 2007, pp.920-925
【非特許文献３】Shiroma N等、「Compact Image Stabilization System for Small-Sized Humanoid」（Proceedings of the 2008 IEEE International Conference on Robotics and Biomimetics, Feb. 21-26, 2009, pp.149-154）
【発明の概要】
【発明が解決しようとする課題】
【００２６】
本発明の目的は、上述した欠点を補い以下の利点を提供する、特にクアドリコプター型の無人機のカメラによる画像撮像の新たな技法を提案することである。
流動的なビデオストリームとしてのＨＤ解像度画像のリアルタイムでの送出との適合性、
振幅の大きい角度の補償、
非常に高速かつ高加速度の変位を補償する可能性、
空間要件又は搭載要素の重量の増加なし、
優れた実施の簡易性、
無人機の回転によって引き起こされる視点の変化を伴うものを含む、全ての光学的現象の補償、
高振幅かつ低周波数のうねり（ゼリー（jelly））及び低振幅かつ高周波数のうねり（ウォブル(wobble)）の影響の補償。
【課題を解決するための手段】
【００２７】
この目的のため、本発明は、例えば、上述した非特許文献１及び非特許文献２から既知であるタイプの回転翼無人機、すなわち、
無人機本体に対して固定方向を向いている魚眼型の半球状視野レンズとともに、レンズによって形成される画像を取得し生ピクセルデータを送出するデジタルセンサを含むカメラと、
入力として生ピクセルデータを受け取り、出力として、魚眼レンズによって導入される幾何学的歪みが補償された、修正されたピクセルデータを送出する画像処理手段と、
ディスプレイ又はビデオ記録デバイスに送信するために、出力として、修正されたピクセルデータを送出する手段と、
絶対地球座標系に対する無人機の姿勢を特徴付けるオイラー角を測定するように適合された慣性ユニットと、
入力として慣性ユニットによって送出される少なくとも１つのオイラー角を受け取り、慣性ユニットによって検出される無人機の姿勢の変化に応じて、送出手段によって出力として送出されるピクセルデータを窓処理するように適合された制御手段と、
を備える回転翼無人機に適用可能であるシステムを提案する。
【００２８】
本発明の特徴によれば、
デジタルセンサは、前記生ピクセルデータをライン毎に送出するスキャンセンサであり、
無人機は、入力として、センサの範囲にわたって、サイズが低減した撮像領域の位置を画定する選択信号を受け取り、出力として、サイズが低減した撮像領域に対応する前記生ピクセルデータを送出する抽出手段を更に含み、
サーボ制御手段は、慣性ユニットによって検出されかつ前記少なくとも１つのオイラー角の対応する変動によって特徴付けられる、無人機の姿勢の変化の方向とは反対の方向に、前記選択信号を動的に変更するように適合された手段であり、
前記画像処理手段は、入力として、抽出手段によって送出される生ピクセルデータを受け取る。
【００２９】
様々な有利な従属的特徴によれば、
サーボ制御手段は、抽出手段によって送出されるピクセルデータが、水平線に中心を置くか又は水平線に対して固定された向きに中心を置く画像に対応するように、選択信号を変更するように適合されており、
カメラは、デジタルセンサのフレームスキャン方向が無人機のピッチ角に対して平行に向けられるように、無人機に搭載されており、
前記少なくとも１つのオイラー角は、無人機のピッチ角であり、サーボ制御手段は、センサの主軸に対して平行な第１方向において撮像領域を並進させるように選択信号を変更するように適合されており、
前記少なくとも１つのオイラー角は、無人機のヨー角度であり、制御手段は、前記第１方向に対して垂直な第２方向において撮像領域を並進させるように選択信号を変更するように適合されており、
デジタルセンサは、ピクセルデータをライン毎に送出するスキャンセンサであり、画像処理手段は、センサの各ラインに対して、ヨー軸、ピッチ軸及び／又はロール軸の回りの無人機の回転によって引き起こされる、ライン毎のピクセルの相対的な変位を補償するように追加の補正を適用するように適合されており、
この追加の補正を操作するために、カメラが、ビデオデータをライン毎に送出するローリングシャッター型のカメラである場合、カメラ及び慣性ユニットのジャイロセンサは、共通のクロックによって操縦され、ジャイロセンサの取得レートは、カメラのビデオデータ送出レートの倍数であり、
非常に有利には、この後者の場合、ジャイロセンサによって送出される信号をカメラによって送出される信号と比較し、これらのそれぞれの信号の間の位相シフト値を求め、この位相シフト値を、ライン毎にピクセルの相対的な変位を補償するようにセンサの各ラインに適用される前記追加の補正を同期してトリガーするように、画像処理手段に適用するように適合された物理的回路が提供される。
【００３０】
次に、添付図面に関して本発明の無人機の一実施形態を説明する。添付図面において、同じ参照符号は、図を通して同一又は機能的に同様の要素を示す。
【図面の簡単な説明】
【００３１】
【図１】無人機と、無人機の遠隔操作を可能にする関連する遠隔制御デバイスとを示す全体図である。
【図２ａ】例えば加速フェーズ中に、無人機の前方傾斜によってもたらされるカメラ視線方向の変更を示す図である。
【図２ｂ】例えば加速フェーズ中に、無人機の前方傾斜によってもたらされるカメラ視線方向の変更を示す図である。
【図３】無人機をサーボ制御し操縦する種々の要素とともに、本発明の技法による画像の変位を補正する種々の要素のブロック図である。
【図４】無人機カメラのセンサにおいて形成された画像の一例の図である。
【図５】図４の画像に適用された本発明による処理に対応する歪みの窓処理及び補正の連続するステップを示す図である。
【図６】無人機カメラによって撮像されたシーンの画像の別の例を示す図である。
【図７】歪みの窓処理及び補正の後の、図６の画像全体から抽出することが可能である様々な像を示す図である。
【図８】ロール運動の場合の図７に示す中心画像に適用された変形を示す図である。
【図９】無人機のそのピッチ軸の回りの姿勢の変化を効率的に補償するためにセンサを最適に位置決めする方法を示す図である。
【図１０】ヨー軸の回りの回転に対する、図９に類似する図である。
【図１１】チェッカー盤の画像を示す図である。
【図１２】チェッカー盤の画像で観測することができ、本発明の教示により歪みの補正中に補償することができるゼリー型の歪みを示す図である。
【図１３】チェッカー盤の画像で観測することができ、本発明の教示により歪みの補正中に補償することができるウォブル型の歪みを示す図である。
【図１４】ビデオカメラとジャイロメータとの間の同期化の機構に寄与する種々の要素をブロック図として示す図である。
【図１５ａ】２つの異なる無人機に対してカメラによって送出された信号とジャイロメータによって送出された信号との間の時間関係を示すタイミング図である。
【図１５ｂ】同じ無人機に対して２つの異なる時点でカメラによって送出された信号とジャイロメータによって送出された信号との間の時間関係を示すタイミング図である。
【発明を実施するための形態】
【００３２】
ここで、例示的な実施形態について説明する。
【００３３】
図１では、参照符号１０は、全体的に無人機を示し、無人機は、例えば、上述した特許文献１及び特許文献２に特に記載される、フランス、パリのＡＲ．Ｄｒｏｎｅ  ２．０モデル等のクアドリコプターである。
【００３４】
無人機１０は、同一平面上にある４つのロータ１２を備える。これらのロータのモータは、統合ナビゲーション姿勢制御システムによって独立して操縦される。この無人機には、第１の前方視カメラ１４が設けられている。このカメラは、無人機が向けられているシーンの画像を取得することを可能にするものである。
【００３５】
無人機は、下方に向いている第２の垂直視カメラ（不図示）も備える。このカメラは、上空を飛行した地表の連続画像を撮像するように構成されるとともに特に地表に対する無人機の速度を評価するのに用いられる。慣性センサ（加速度計及びジャイロメータ）は、無人機の角速度及び姿勢角、すなわち、固定された地球座標系の水平面に対する無人機の傾斜を示すオイラー角（ピッチφ、ロールθ、及びヨーψ）を、一定の精度で測定することを可能にする。水平速度の２つの縦成分及び横成分は、２つのそれぞれのピッチ軸及びロール軸の回りの傾斜に密接に関連付けられていることが理解される。無人機の下に配置された超音波テレメータは、地面に対する無人機の高度の測定値を更に提供する。
【００３６】
無人機１０は、遠隔制御デバイス１６によって操縦される。この遠隔制御デバイスには、タッチスクリーン１８が設けられている。このタッチスクリーンは、搭載された前部カメラ１４の画像を表示するものであり、タッチスクリーン１８上へのユーザの指２０の単純な接触によって操縦コマンドの起動を可能にする或る特定の数のシンボルが重ね合わされている。デバイス１６には、無人機１０からデバイス１６への特にカメラ１４によって撮像された画像の送信用と、デバイス１６から無人機１０への操縦コマンドの送信用とのデータの双方向交換のために、無人機との、例えば、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１）ローカルネットワークタイプの無線リンクのための手段が設けられている。
【００３７】
遠隔制御デバイス１６には傾斜センサも設けられており、傾斜センサは、ロール軸及びピッチ軸の回りの対応する傾斜をデバイスに与えることによって無人機の姿勢を制御することを可能にする（システムのこれらの態様に関する更なる詳細に関しては上述した特許文献１を参照することができる）。無人機１０の操縦は、
ａ）無人機を前方又は後方に移動させるためのピッチ軸２２の回りの回転、
ｂ）無人機を右又は左に寄らせるためのロール軸２４の回りの回転、
ｃ）無人機の主軸を右又は左に、したがって前面カメラ１４の向いている方向に枢動させるためのヨー軸２６の回りの回転、
ｄ）無人機の高度をそれぞれ下げるか又は上げるための、ガス制御を変更することによる下向き２８又は上向き３０の並進
によって、無人機を進めることにある。
【００３８】
これらの操縦コマンドが、ユーザによって遠隔制御デバイス１６から適用されるとき、ピッチ軸２２及びロール軸２４の回りの枢動のコマンドａ）及びｂ）はそれぞれ、デバイス１６のその縦軸３２及びその横軸３４の回りの傾斜によって取得される。例えば、無人機を前方に移動させるには、軸３２の回りにデバイスを傾けることによってデバイスを前方に傾斜させるだけでよく、無人機を右の脇に移動させるには、軸３４の回りに右に向かってデバイスを傾けることによってデバイスを傾斜させるだけでよく、それ以外についても同様である。コマンドｃ）及びｄ）は、タッチスクリーン１８の対応する特定のエリア上へのユーザの指２０（一般には右指）の接触によって適用される動作の結果、得られる。
【００３９】
無人機は、また、静止飛行安定化の自動自律システムも有している。このシステムは、特に、ユーザが指をデバイスのタッチスクリーンから離すとすぐに、又は離陸フェーズの終了時に自動的に、又は、デバイスと無人機との無線リンクが中断した場合に、起動される。次に、無人機は、無人機がこの定位置で自動的に固定化され安定化されるリフト状態に、ユーザの介入が全くない状態で切り換わる。
【００４０】
図２ａは、無人機がリフト状態で静止しているときの無人機の姿勢を輪郭で概略的に示す。
【００４１】
従来のタイプの前面カメラ１４、例えば、５４度の視野をカバーし、かつ視軸δが水平線の中心にあるカメラによってカバーされる視野を、３６で図式化する。
【００４２】
図２ｂに示すように、無人機が、意図的に非ゼロ水平速度で前方に移動する場合、無人機の軸２６は、垂線Ｖに対して角度φ（ピッチ角）前方に傾斜することになる。矢印３８によって図式化されたこの前方傾斜は、水平線ＨＺの平面に対するカメラの軸δの、矢印４０によって図式化された同じ値の傾斜を含む。したがって、ここでは、無人機の進行にわたり、無人機が加速又は減速等を行う際、軸δは、水平線ＨＺの方向の回りで永久的に揺れ、それにより、撮像された画像に永久的な上方及び下方の揺動運動がもたらされることになることが理解される。
【００４３】
同様に、無人機が右又は左の脇に移動する場合、この移動は、ロール軸２４の回りの枢動によって達成されることになり、それにより、画像に、カメラによって撮像されたシーンにおいて何らかの方向に回転がもたらされることになる。
【００４４】
この欠点を補償するために、本発明は、従来のレンズが設けられているカメラを使用する代りに、このカメラに、図２ａにおいて４２で図式化するように、約１８０度の視野をカバーする「魚眼」型の半球状視野レンズを設けることを提案する。
【００４５】
魚眼レンズが設けられたカメラによって撮像される画像は、当然ながら、従来のカメラと同じ揺動運動及び回転運動を受けることになるが、本発明の特徴として、このカメラによって撮像される視野の一部のみが、従来のカメラによって撮像される角度セクター３６に対応する、「撮像窓（capture window）」と呼ばれる特定の窓の選択によって使用される。この撮像領域は、無人機の慣性中心によってかつ検出される変位の反対方向において求められる無人機の運動に応じて永久的に変位する。
【００４６】
言い換えれば、半球状画像の特定の領域の抽出によって「仮想カメラ」が画定され、この領域は、半球状画像において、本来画像に観測される揺れを打ち消すように、無人機の移動の反対方向に動的に変位する。
【００４７】
したがって、無人機が垂線Ｖに対してピッチ角φ下方に急降下する（矢印３８）、図２ｂに示す場合において、撮像窓は、同じ値の角度、上方に変位し（矢印４４）、それにより、「仮想カメラ」のセクター３６の中心軸を水平線ＨＺに向かって戻す。
【００４８】
図に示すように、無人機の前方移動が後方移動より頻繁であり、一方で、対象領域（上空を飛行した地表）が、無人機の上方ではなく無人機の高度の下に位置する限り、無人機のより多くの進行の形態をカバーし、「仮想カメラ」の撮像領域に対応するセクター３６が魚眼レンズの視野４２内に常にあり続けるように行うように、魚眼レンズの主軸Δを下方に（例えば、−２０度の視覚（正：sight angle）によって）傾斜させることが有利である場合がある。
【００４９】
図３は、無人機をサーボ制御し操縦する種々の要素とともに、本発明の技法による画像の変位を補正する種々の要素のブロック図である。
【００５０】
これらの図は相互接続された回路として示されているが、種々の機能の実施は本質的にソフトウェアベースであり、この表現は単に例示的なものであることに留意されたい。
【００５１】
概して、図３に示すように、操縦システムは、無人機姿勢の水平速度、角速度及び高度変動を、自動的に又はユーザの制御下で制御する、幾つかの相互連結されたループを含む。
【００５２】
最も中心のループは、角速度を制御するループ１００である。それは、一方ではジャイロメータ１０２によって提供される信号を使用し、他方では、角度速度設定値１０４によって構成される基準を使用する。この情報は、角速度補正段１０６の入力に与えられる。角速度補正段１０６は、それ自体、モータ１１０用の制御段１０８を、これらのモータによって駆動されるロータの結合された作用によって無人機の角速度を補正するように、種々のモータのレジーム（regime）を別個に制御するように操縦する。
【００５３】
角速度制御ループ１００は、姿勢制御ループ１１２と相互連結されている。姿勢制御ループ１１２は、ジャイロメータ１０２によりかつ加速度計１１４により提供される指示に基づいて動作する。これらのセンサから来るデータは、姿勢補正段１２０に与えられる無人機の現実の姿勢の推定値を生成する段１１８に与えられる。この段１２０は、無人機の現実の姿勢を、ユーザ１２４によって直接与えられるコマンドに基づいて及び／又は水平速度補正回路１２６を介して無人機の自動操縦によって内部で生成されるデータに基づいて回路１２２によって生成された角度設定値と比較する。回路１２０に与えられかつ無人機の現実の姿勢と比較された、補正された可能性のある設定値は、モータを適切に制御するために、回路１２０によって回路１０４に送信される。
【００５４】
最後に、水平速度制御ループ１３０は、垂直ビデオカメラ１３２と高度計として作用するテレメトリーセンサ１３４とを含む。回路１３６は、加速度計１１４及び姿勢推定回路１１８の信号と組み合わせて垂直カメラ１３２によって生成される画像の処理を確実にして、回路１３８により、無人機の２つのピッチ軸及びロール軸に沿った水平速度の推定値を得るのを可能にするデータを生成する。推定された水平速度は、回路１４０によって与えられる垂直速度の推定値により、かつテレメトリーセンサ１３４の情報に基づいて回路１４２によって与えられる高度値の推定値により、補正される。
【００５５】
無人機の垂直変位の制御のために、ユーザ１２４は、姿勢設定値の計算のための回路１４４にコマンドを与える。こうした設定値は、回路１４２によって与えられる推定された姿勢値を受け取る高度補正回路１４８を介して、上昇速度設定値Ｖｚの計算のための回路１４６に与えられる。計算された上昇速度Ｖｚは回路１５０に与えられる。回路１５０は、この速度設定値を、回路１４０によって推定される対応する速度と比較し、それに従って、上昇速度設定値と測定された上昇速度との差を最小限にするように、全てのモータに対して同時に回転速度を上昇又は低下させることにより、モータ制御データを変更する（回路１０８）。
【００５６】
より具体的に本発明の実施態様に関して、前面ビデオカメラ１４は、撮像領域における有用なピクセルの選択を確実にする窓処理回路１５２に与えられる生ビデオデータ（ピクセルデータ）を送出する。撮像領域の位置は、慣性ユニット１５４（ジャイロメータ１０２、加速度計１１４及び姿勢推定回路１１８を含む）によって求められるように、所与の時点での無人機の姿勢によって決まる。
【００５７】
撮像領域から抽出されたビデオデータは、修正されたビデオデータを生成するように、魚眼レンズによって導入された幾何学的歪みの補正のための回路１５６に送出される。修正されたビデオデータ自体は、送信器回路１５８に送出され、送信器回路１５８は、ユーザによって保持される遠隔制御デバイスへのビデオ画像の送信を、特に、この遠隔制御デバイスの画面における表示及びビデオシーケンスのあり得る記録のために、確実にする。
【００５８】
図４は、魚眼レンズによって撮像されビデオカメラのセンサにおいて検出されるようなシーンの一例を示す。
【００５９】
見ることができるように、この画像Ｉは、センサの平面上で修正される、魚眼レンズの半球状又は略半球状カバーに固有な、非常に高い幾何学的歪みを含む。
【００６０】
魚眼レンズによって生成される画像Ｉの一部のみが使用される。この部分は、ｉ）「仮想カメラ」が向けられる方向、ｉｉ）仮想カメラの視野（図２ａ及び図２ｂに３６で図式化される）及びｉｉｉ）視野の幅／高さ比に応じて求められる。これにより、生ピクセルデータを含む「撮像領域」ＺＣが画定され、それは、魚眼レンズによって導入される幾何学的歪みの補償の後の仮想カメラの視野に対応する「有用領域」ＺＵを含む。
【００６１】
カメラセンサに形成された画像Ｉのピクセルの全体を撮像することは有用ではなく、これらのピクセルの一部のみ（撮像領域ＺＣに対して）を撮像することが有用であることに留意されたい。
【００６２】
例として、ＨＤ品質（有用領域ＺＵに対して、１９２０×１０８０ピクセル、すなわち２メガピクセル）の最終画像を得ることが望まれる場合、最初に、仮想カメラが向いている方向がいずれであっても優れた品質のＨＤ像を抽出することができるように、例えば、解像度が１４メガピクセル（４６０８×３２８８ピクセル）のセンサにより、非常に高解像度の魚眼画像を有する必要がある。こうした条件では、画像Ｉ全体が処理のために転送された場合、これは、各画像に対して１４メガピクセルのピクセルデータの流れに対応し、この解像度ではフレームレートがおよそ６画像／秒（ｉｐｓ）となり、それは、流動的なビデオシーケンス（３０ｉｐｓに近いフレームレートを課す）には不十分である。このため、撮像領域ＺＣの実際に必要なピクセルデータのみ、例えば、約２メガピクセルの撮像窓ＺＣのみが転送され、それは、特定の困難もなく３０ｉｐｓのレートでリフレッシュすることができる。このため、高い画像流速を維持しながら、高解像度センサを選択することができる。
【００６３】
図５には、幾何学的歪みが補償された最終画像を得るために、撮像領域ＺＣのピクセルデータに対して操作される種々のプロセスが示されている。
【００６４】
撮像領域ＺＣ（図５ａ）から転送されたピクセルデータに基づいて、プロセスは、生有用領域ＺＵＢ（図５ｂ）からピクセルデータを抽出し、それに対して三角メッシュ生成法（それ自体既知である技法）を適用する。この三角メッシュ生成法により各三角形を伸長させて、修正されたピクセルデータを有する修正された有用な画像ＺＵＲ（図５ｃ）を与えることにより、画像を修正することが可能になる。特に、魚眼画像の非常に湾曲した水平線は、それらを直線状にし、幾何学的歪みのない自然な視覚に対応する画像を生成するように、補正される。
【００６５】
ここで、仮想カメラの向きに応じて撮像窓ＺＣを変更し変位させる方法について、図６〜図１０を参照して説明する。
【００６６】
窓処理操作は、実際には、高い画像流速を維持しながら、ビデオストリームの転送中に撮像領域（センサから処理回路に転送されたピクセルデータの取得窓）を変位させることを含む。
【００６７】
図６は、カメラ魚眼レンズによって送出される画像Ｉの一例を与える。この画像Ｉは、図７に示すように、撮像領域の抽出及び幾何学的歪みの補正後に、全て同じ元画像Ｉからくる、様々な、中心における修正画像ＺＵＲ（ｃ）、頂部における修正画像ＺＵＲ（ｈ）、底部における修正画像ＺＵＲ（ｂ）、左側の修正画像ＺＵＲ（ｇ）、又は右側の修正画像ＺＵＲ（ｄ）をもたらすことができる。
【００６８】
左側又は右側へのロール運動の場合、画像は、図８においてａ）及びｂ）に示すように回転する。画像の補正は、わずかに拡大した撮像領域を提供し、かつ、ピクセルデータの転送の後、何らかの方向における回転により画像の補正を適用することのみが必要である限り、特定の困難を課すことはない。この補正は、センサから処理回路に転送されるピクセルデータの流れに対して顕著な発生率を有することはない。
【００６９】
一方、ピッチ軸２２の回りの無人機の回転（無人機が、前方に急降下するか、又は反対に機首を上に向けるとき）により、撮像領域ＺＣの中心位置の回りの上方又は下方の比較的著しい変位がもたらされる。
【００７０】
センサが「横方向（landscape）」フォーマットに向けられる従来の構成では、これらの回転により、センサのフレームスキャン方向に対して平行な撮像領域の変位がもたらされる。結果として、センサから処理回路へのピクセルデータ転送の画像流速の著しい低下がもたらされ、フレームレートの低下という著しいリスクがある。すなわち、撮像領域ＺＣを抽出するためのセンサのスキャンシーケンスの変化により、実際に、ピクセルデータの画像流速の減速のために、シーケンスの或る特定の画像が喪失する場合があり、フレームレートの相関的低下は５０％に達する傾向がある。
【００７１】
ここで、ピッチ軸の回りの振動が最も頻繁に起こる（無人機の前方／後方移動、加速／減速フェーズ等）。そのため、図９に示すように、これらの変位を補償するために、センサを、フレームスキャン方向ＤＢ（スキャンラインの位置は、Ｉ１、Ｉ２、Ｉ３、Ｉ４、…で図式化されている）に対して垂直な方向における変位に好都合であるように、従来の向きに対して９０度回転させる、すなわち、「縦方向（portrait）」構成にすることが選択される。それ以降、ピッチ運動に関連付けられた撮像領域（ＺＣ０の周囲のＺＣｈ及びＺＣｂ）の変位は、センサによって送出されるピクセルデータの画像流速に影響を与えない。言い換えれば、この構成では、センサは、そのフレームスキャン方向ＤＢが無人機のピッチ軸２２に対して平行であるように向けられる。
【００７２】
図１０は、無人機のそのヨー軸２６の回りの運動に対する連続した撮像領域ＺＣの移動について、図９に類似している。図９の場合と同様に、カメラが、その「自然な」位置決めに対して垂直に向けられる場合、撮像領域ＺＣのこれらの変位は、センサのスキャン方向ＤＢと同じ方向に向けられることになる。しかしながら、これらの変動の振幅は、ピッチ運動に対応するものよりはるかに低いため、センサによって送出されるピクセルデータの画像流速に対する発生率は最小限となり、画像を喪失するリスクは低くなる。
【００７３】
図１１、図１２及び図１３は、ウォブル型及びゼリー型の変形を示す。それらの変形は、チェッカー盤の画像において観測することができ、魚眼レンズの幾何学的歪みに加えて補償することが得策である。
【００７４】
図１２に示す「ゼリー」効果は、高振幅であるが相対的に低周波数である無人機の回転が存在する場合に現れる。例えば、１００度／秒の無人機の回転及び３０ｉｐｓでのビデオ撮像の場合、画像の頂部と底部との間において、無人機は、１００×１／３０＝３，３３度、回転していることになる。それは、画像における幾つかのピクセルの変位（図１２の例では画像の頂部と底部との間のチェッカー盤の正方形に関する）に対応する。これらのアーチファクトは、特に、移動画像において厄介であり、直線の永久的かつ可変の歪みがある。
【００７５】
この現象を補うために、画像の各ラインＩｉにおいて、撮像領域ＺＣの再投影及び修正のステップの間に有用な領域ＺＵを得る処理を適合させることができ、この補正により、ライン毎に、無人機の高速回転によって導入されるアーチファクトを打ち消すことが可能になる。
【００７６】
図１３は、主にモータの振動によってもたらされる、いわゆる「ウォブル効果」アーチファクトである別のタイプを示す。ウォブル効果は、無人機が移動するときのその回転によってもたらされる低周波数かつ高振幅の効果であるゼリー効果とは異なり、モータの振動によってもたらされる高周波数かつ低振幅の揺れによる。ウォブル効果は、主に、モータの振動をフィルタリングすることを可能にするカメラ支持体の適切な機械的減衰によって補正される。この機械的フィルタリングの残分を、ジャイロメータ測定値を使用し、ライン毎に補正を適用することによって、ゼリー効果と同様に除去することができる。
【００７７】
ここで、上述したゼリー効果及びウォブル効果をライン毎に完全に補償することを可能にする機構について、図１４及び図１５に関連して説明する。
【００７８】
これらのアーチファクトは、カメラがローリングシャッター型である（グローバルシャッター型ではない）、すなわち、画像を構成するラインが、画像の全てのピクセルに対して同時に取得されるのではなく、幾つかが取得された後に幾つかが取得されるという事実からもたらされる。
【００７９】
無人機の運動又は画像の撮像中に発生する振動により、そのように、この画像内に、ライン毎に同じではない歪みが発生する。
【００８０】
ゼリー効果及びウォブル効果のライン毎の補正（「画像内」補正）は、これらのラインの各々に対して無人機の正確な姿勢を取得する手段を有することを含む。すなわち、各ラインを正確に補正するために、理想的にはライン毎に１つの姿勢測定値が取得され、その測定値は、カメラのセンサと更に同期する。
【００８１】
しかしながら、無人機によって使用されるジャイロメータは、ビデオセンサの各ラインの持続時間に対応するレートで無人機の正確な姿勢を計算することができない。しかしながら、最大１ｋＨｚになるレートでジャイロデータの取得を行うことが可能であり、これにより、画像毎に幾つかの測定を行い、ビデオセンサの１つのラインの取得の各瞬間に無人機の姿勢を補間することが可能になる。
【００８２】
図１４は、ビデオカメラ及びジャイロメータの同期化に寄与する種々の要素をブロック図で示す。特徴的には、ジャイロメータ１０２及び水平ビデオカメラ１４は共通のクロック回路１６０によって操縦され、ジャイロメータ及びカメラのそれぞれの動作速度は、このクロックのレートＣＬＫの約数である。
【００８３】
言い換えれば、ジャイロメータ１０２及びカメラ１４は、
【数１】
2015204633.tif 000003
であるように構成されている。Ｆｇｙｒｏは、ジャイロメータの取得レートであり（通常、Ｆｇｙｒｏ＝９９０Ｈｚ）、Ｆｃａｍは、ビデオカメラの画像取得レートであり（通常、Ｆｃａｍ＝３０Ｈｚ）、Ｋは正の整数である（通常、Ｋ＝３３）。
【００８４】
Ｋが整数であり、ジャイロメータ及びカメラに対して基本クロックが同じであるという事実により、ドリフトなしに、画像Ｓｃａｍ毎にジャイロ信号ＳｇｙｒｏのＫ個のサンプルが常にあり、角度測定値が常に同じ時点にあることが確実になる。
【００８５】
しかしながら、この機構により、ジャイロセンサによって送出される信号Ｓｇｙｒｏ及びカメラ１４によって送出される信号Ｓｃａｍが同期することが確実になるが、これらの２つの信号の位相の一致に関して全く保証はない。
【００８６】
実際には、ビデオ取得及びジャイロ取得は、ソフトウェアによってトリガーされ、このため、２つの取得が同時に開始することは確実ではなく、２つの開始を分離する時間間隔は、無人機毎に、又は更には同じ無人機に対して操縦シーケンス毎に一定であることも確実ではない。
【００８７】
これらの信号Ｓｃａｍ及びＳｇｙｒｏは、図１５では、２つの異なる場合（ａ）及び（ｂ）で示されている。ビデオ信号Ｓｃａｍの場合、各立下り端において入手可能であり、ジャイロ信号Ｓｇｙｒｏの場合もまた、立下り端が新たな角度データが入手可能であることに対応する。これらの時間図に基づいて、ジャイロ信号Ｓｇｙｒｏは、ビデオ信号Ｓｃａｍに対して「スライド」しないことが観測され、それは、新たな画像が入手可能であるとき、常に、ジャイロメータが新たなデータを送出する前に同じ時間間隔があることを意味する。一方、この時間間隔は、無人機毎に、かつ操縦シーケンス毎に異なり、それは、ジャイロセンサが、ビデオカメラと同時に開始していないためである。
【００８８】
完全な同期化を保証するために、本発明は、特徴的には、ジャイロ信号Ｓｇｙｒｏとビデオ信号Ｓｃａｍとの間の時間間隔Δを非常に正確に測定する物理的構成要素（ハードウェア）１７０を使用することを提案する。クロックがドリフトしないように設定されているため、単一測定で十分であることに留意されたい。
【００８９】
すぐ上で述べた２つの機構（共通のクロック１６０及び位相シフト測定ハードウェア回路１７０）により、ジャイロ信号及びビデオ信号を正確なタイミングで非常に高精度に、クロックサイクル内に関連付けることができる。
【００９０】
システムクロック１６０が数メガヘルツで動作している場合、これは、ビデオ信号とジャイロ信号との間のクランプにおける誤差が数ナノ秒であることを表す。これは非常に低く、ゼリー効果及びウォブル効果の極めて正確かつ効率的な補正を操作することを可能にする。
【００９１】
一方、こうした機構がない場合、ジャイロメータの各新たなデータ及び取得される各新たな画像の送出の時点をソフトウェアによって捕捉する必要があることになる。こうした方法は、はるかに不正確であり、システムの反応時間に対する感度のためにより不規則であり、およそ１００マイクロ秒の精度しか提供しない。
【図１】
2015204633.tif 000004
【図２ａ】
2015204633.tif 000005
【図２ｂ】
2015204633.tif 000006
【図３】
2015204633.tif 000007
【図４】
2015204633.tif 000008
【図５】
2015204633.tif 000009
【図６】
2015204633.tif 000010
【図７】
2015204633.tif 000011
【図８】
2015204633.tif 000012
【図９】
2015204633.tif 000013
【図１０】
2015204633.tif 000014
【図１１】
2015204633.tif 000015
【図１２】
2015204633.tif 000016
【図１３】
2015204633.tif 000017
【図１４】
2015204633.tif 000018
【図１５ａ】
2015204633.tif 000019
【図１５ｂ】
2015204633.tif 000020
【外国語明細書】
2015204633.tif 000021
2015204633.tif 000022
2015204633.tif 000023
2015204633.tif 000024
2015204633.tif 000025
2015204633.tif 000026
2015204633.tif 000027
2015204633.tif 000028
2015204633.tif 000029
2015204633.tif 000030
2015204633.tif 000031
2015204633.tif 000032
2015204633.tif 000033
2015204633.tif 000034
2015204633.tif 000035
2015204633.tif 000036
2015204633.tif 000037
2015204633.tif 000038
2015204633.tif 000039
2015204633.tif 000040
2015204633.tif 000041
2015204633.tif 000042
2015204633.tif 000043
2015204633.tif 000044
2015204633.tif 000045
2015204633.tif 000046
2015204633.tif 000047
2015204633.tif 000048
2015204633.tif 000049
2015204633.tif 000050
2015204633.tif 000051
2015204633.tif 000052
2015204633.tif 000053