(57)【特許請求の範囲】
【請求項１】
無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高いステップと、
前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップと、
前記無人航空機のワールド座標系における実際の飛行速度を取得するステップと、
各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて、各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップと、
を含む、
ことを特徴とする無人航空機の奥行き画像の取得方法。
【請求項２】
前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップは、
前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出するステップと、
前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得するステップと、
を更に含む、
ことを特徴とする請求項１に記載の無人航空機の奥行き画像の取得方法。
【請求項３】
前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出するステップは、
同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて、前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系での移動距離を取得するステップを含む、
ことを特徴とする請求項２に記載の無人航空機の奥行き画像の取得方法。
【請求項４】
各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて、各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップは、
前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築するステップと、
前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得するステップと、
各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップと、
を含む、
ことを特徴とする請求項１に記載の無人航空機の奥行き画像の取得方法。
【請求項５】
前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、
前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整するステップを更に含む、
ことを特徴とする請求項４に記載の無人航空機の奥行き画像の取得方法。
【請求項６】
前記機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である、
ことを特徴とする請求項１〜５のいずれかに記載の無人航空機の奥行き画像の取得方法。
【請求項７】
前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得する前に、前記画像シーケンスにおける画像の歪みを補正するステップを更に含む、
ことを特徴とする請求項１に記載の無人航空機の奥行き画像の取得方法。
【請求項８】
無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い読み出しモジュールと、
前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、また、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する算出モジュールと、
前記無人航空機のワールド座標系における実際の飛行速度を取得する測定モジュールと、
各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて、各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する画像生成モジュールと、
を含む、
ことを特徴とする無人航空機の奥行き画像の取得装置。
【請求項９】
前記算出モジュールは、
前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出し、また、
前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得する、
ことを特徴とする請求項８に記載の無人航空機の奥行き画像の取得装置。
【請求項１０】
前記算出モジュールは、
同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて、前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系における移動距離を取得する、
ことを特徴とする請求項９に記載の無人航空機の奥行き画像の取得装置。
【請求項１１】
前記画像生成モジュールは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築し、
前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得し、
各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する、
ことを特徴とする請求項８に記載の無人航空機の奥行き画像の取得装置。
【請求項１２】
前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整する調整モジュールを更に含む、
ことを特徴とする請求項１１に記載の無人航空機の奥行き画像の取得装置。
【請求項１３】
前記機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である、
ことを特徴とする請求項８〜１２のいずれかに記載の無人航空機の奥行き画像の取得装置。
【請求項１４】
前記機載カメラは、更に前記画像シーケンスにおける画像の歪みを補正する、
ことを特徴とする請求項１３に記載の無人航空機の奥行き画像の取得装置。
【請求項１５】
無人航空機であって、
所定シーンの画像シーケンスを採取する機載カメラと、
無人航空機のワールド座標系における実際の飛行速度を測定又は算出する速度測定装置と、
請求項１〜７のいずれかに記載の無人航空機の奥行き画像の取得方法を実行するように配置されるプロセッサと、
前記機載カメラと、速度測定装置と、プロセッサとを取り付ける機体と、
を含む、
ことを特徴とする無人航空機。
【請求項１６】
自己安定化クラウドプラットフォームを更に含み、
前記機載カメラは前記自己安定化クラウドプラットフォームを介して前記機体に取り付けられる、
ことを特徴とする請求項１５に記載の無人航空機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理技術分野に関し、特に無人航空機の奥行き画像の取得方法、取得装置及び無人航空機に関する。
【背景技術】
【０００２】
伝統的な結像手段は、三次元画像モデルを二次元階調画像に変換するものである。結像過程において画像の奥行き情報が失われている。しかし、画像の奥行き情報は後の応用にとって非常に重要なものであり（例えば三次元の再構築や地理的測定等）、奥行き画像を取得することは、理論研究にも工学的実践にも重要な意義がある。
【０００３】
従来の奥行き画像を取得する方法は、一般的に、エネルギー、例えばレーザー、電磁波、及び超音波等を能動的に出射し、このエネルギーが障害物によって反射され受信されるという能動的な取得方法である。受動的な測定は、機器ビジョンに基づく方法、例えば、両眼ビジョン等がある。
【０００４】
現在、無人航空機が奥行き画像を取得する方法は、一般的にエネルギービームを能動的に出射し、その後帰ってきたエネルギーを検出し、最後に奥行き画像を計算する。しかし、この方法は回りの環境からの影響（例えば、光からレーザー光への影響）を受けやすい。次に、この方法は、被測定物がエネルギーを反射しなければならないことを要求し、出射されたエネルギーの大半が吸収されると、この方法は効果を発揮しない。最後に、出射されたエネルギーが大気の中で減衰され、距離が遠すぎると、減衰がひどくなり、奥行き情報を正確に測定することができないため、この方法の測定可能な範囲は限られている。一方、両眼ビジョンに基づく方法には、二つのカメラが必要であり、且つ二つのカメラの間に一定な距離を持たなければならず、測定距離が遠いほど二つのカメラの離間する間隔が大きくしなければいけないため、このことは、小型無人航空機にとって、負荷を増加させる。また、小型無人航空機の空間が限られているため、二つのカメラの間の最大距離は制約されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、上記関連技術における少なくとも一つの技術的課題を解決することである。
【課題を解決するための手段】
【０００６】
そのため、本発明の目的は、無人航空機の奥行き画像の取得方法、無人航空機の奥行き画像の取得装置及び無人航空機を提供することである。当該方法は、無人航空機の奥行き画像を正確に取得することができ、適用範囲が広く、コストが低く、実現しやすいという利点がある。
【０００７】
上記目的を実現するために、本発明の第１の側面の実施例は、無人航空機の奥行き画像の取得方法を提供し、前記方法は、無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高いステップと、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップと、前記無人航空機のワールド座標系における実際の飛行速度を取得するステップと、各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップと、を含む。
【０００８】
本発明の実施例に係る無人航空機の奥行き画像の取得方法は、無人航空機の機載カメラにより撮影された連続的な画像を読み出し、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出することにより、無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に無人航空機の機載ＧＰＳ等の設備により無人航空機のワールド座標系における実際の飛行速度を測定し、最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係により、無人航空機の奥行き画像を算出する。この方法は、奥行き画像を正確に取得することができ、且つ操作の流れが簡単であり、実現しやすいと同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該方法の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
【０００９】
また、本発明の上記実施例に係る無人航空機の奥行き画像の取得方法は、以下のような付加的な技術的特徴を更に有してもよい。
【００１０】
一部の例において、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を計算するステップと、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得するステップと、を更に含んでもよい。
【００１１】
一部の例において、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を計算するステップは、同一の画素点のＮフレーム目画像における位置情報とＮ＋１フレーム目画像における位置情報とに基づいて、前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系における移動距離を取得するステップを更に含む。
【００１２】
一部の例において、各前記重複領域における無人航空機の各画素のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築するステップを更に含む。
【００１３】
前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得する。
【００１４】
各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する。
【００１５】
一部の例において、前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整するステップを更に含む。
【００１６】
一部の例において、前記機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である。
【００１７】
一部の例において、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する前に、前記画像シーケンスにおける画像の歪みを補正するステップを更に含む。
【００１８】
上記目的を実現するために、本発明の第２の側面の実施例は、無人航空機の奥行き画像の取得装置を更に提供し、前記装置は、無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い読み出しモジュールと、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する算出モジュールと、前記無人航空機のワールド座標系における実際の飛行速度を取得する測定モジュールと、各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する画像生成モジュールと、を含む。
【００１９】
本発明の実施例に係る無人航空機の奥行き画像の取得装置は、読み出しモジュールにより無人航空機の機載カメラにより撮影された連続的な画像を読み出し、その後、計算モジュールにより連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出し、無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に測定モジュールにより例えば、無人航空機の機載ＧＰＳ等の設備により測定された無人航空機のワールド座標系における実際の飛行速度を取得し、最後に画像生成モジュールは、無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との間の関係により、無人航空機の奥行き画像を算出する。従って、該無人航空機の奥行き画像の取得装置は、奥行き画像を正確に取得することができると同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該無人航空機の奥行き画像の取得装置の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
【００２０】
また、本発明の上記実施例に係る無人航空機の奥行き画像の取得装置は、以下のような付加的な技術的特徴を更に有してもよい。
【００２１】
一部の例において、前記算出モジュールは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出し、また、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得する。
【００２２】
一部の例において、前記算出モジュールは、同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系における移動距離を取得する。
【００２３】
一部の例において、前記画像生成モジュールは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築する。
【００２４】
前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得する。
【００２５】
各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する。一部の例において、前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整する調整モジュールを更に含む。
【００２６】
一部の例において、前記無人航空機の機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である。
【００２７】
一部の例において、前記無人航空機の機載カメラは、更に、前記画像シーケンスにおける画像の歪みを補正する。
【００２８】
上記の目的を実現するために、本発明の第３の側面の実施例は無人航空機を提供し、前記無人航空機は、所定シーンの画像シーケンスを採取する機載カメラと、無人航空機のワールド座標系における実際の飛行速度を測定又は算出する速度測定装置と、本発明の上記第１の側面の実施例に係る無人航空機の奥行き画像の取得方法を実行するように配置されるプロセッサと、前記機載カメラと、速度測定装置と、プロセッサとを取り付ける機体と、を含む。
【００２９】
一部の例において、前記無人航空機は、自己安定化クラウドプラットフォームを更に含み、前記機載カメラは前記自己安定化クラウドプラットフォームを介して前記機体に取り付けられる。
【発明の効果】
【００３０】
本発明の付加的な特徴と利点は、一部が以下の説明に示され、一部が下記の説明により明らかになり、又は本発明の実践により理解される。
【図面の簡単な説明】
【００３１】
本発明の上述及び／又は付加的な特徴と利点は、下記図面に合わせて実施例を説明することにより、明らかになり、理解されることが容易になる。
【図１】本発明の一つの実施例に係る無人航空機の奥行き画像の取得方法のフローチャートである。
【図２】本発明の一つの実施例に係る無人航空機の奥行き画像を取得する具体的なモデル概略図である。
【図３】本発明の一つの実施例に係る無人航空機の奥行き画像の取得装置の構成ブロック図である。
【発明を実施するための形態】
【００３２】
以下に、本発明の実施例を詳細に説明する。前記実施例の例が図面に示されるが、同一又は類似する符号は、常に同一又は類似する部品、或いは同一又は類似する機能を有する部品を表す。以下に、図面を参照しながら説明される実施例は例示的なものであり、本発明を解釈するためだけに用いられ、本発明を限定するものと理解してはいけない。
【００３３】
以下に、図面に合わせて本発明の実施例に係る無人航空機の奥行き画像の取得方法及び無人航空機を説明する。
【００３４】
図１は本発明の一つの実施例に係る無人航空機の奥行き画像の取得方法のフローチャートである。図１に示すように、該方法は、ステップＳ１と、ステップＳ２と、ステップＳ３と、ステップＳ４と、を含む。
ステップＳ１：無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。言い換えれば、即ち無人航空機の機載カメラにより撮影された被測定物の画像シーケンスを読み出し、その中から連続的な二つのフレームの画像を抽出し、例えば、それぞれＮフレーム目の画像及びＮ＋１フレーム目の画像であり、Ｎフレーム目の画像とＮ＋１フレーム目の画像とに重複領域を有しなければならない。後のオプティカルフロー計算の正確性を確保するために、該重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。より具体的には、本発明の一つの実施例において、所定比率は、例えば６０％であり、即ち重複領域の面積がＮフレーム目の画像又はＮ＋１フレーム目の画像の面積の６０％より大きい。
【００３５】
更に、本発明の一つの実施例において、機載カメラにより撮影された画像の品質を確保し、無人航空機自体のブレによる後のオプティカルフロー法の計算への干渉を解消するために、例えば、図２に示すように、機載カメラを自己安定化クラウドプラットフォームを介して無人航空機に取り付ける。同時に、カメラにより撮影された画像自体の歪みからの影響を減少させるために、機載カメラの視野角度を大きくしないようにする。本発明の一つの実施例において、選択された機載カメラの視野角度は所定角度より低く、より具体的に、図２に示すように、所定角度は、例えば６０度である。勿論、所定角度の値はこれに限定されず、実際のシーンの需要に応じて選定することができ（例えば、所定角度は６０度より小さくてもよい）、ここでの説明は、単に例示のみを目的とする。
【００３６】
更に、一部の例において、上記説明したように、機載カメラにより撮影された画像の歪みがひどいと、画像シーケンスにおける画像の歪みを補正する必要があり、画像の歪みを使用可能な範囲内にした後、後の操作を実行する。
【００３７】
ステップＳ２：重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、位置変化情報に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。
【００３８】
一部の例において、例えば、特徴マッチングに基づくオプティカルフロー法により重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置情報の変化状況（即ち、位置変化情報）を取得し、位置情報の変化状況に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得してもよい。
【００３９】
本発明の一つの実施例において、該ステップＳ２は、ステップＳ２１と、ステップＳ２２とを更に含んでもよい。
ステップＳ２１：重複領域における無人航空機の各画素点のカメラ座標系での移動距離を算出する。具体的には、一部の例において、例えば、特徴マッチングに基づくオプティカルフロー法により重複領域における無人航空機の各画素点のカメラ座標系での移動距離を取得してもよい。
【００４０】
本発明の一つの実施例において、重複領域における無人航空機の各画素点のカメラ座標系での移動距離を算出するステップは、具体的に、同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて該画素点の移動情報を取得し、該移動情報に基づいて該画素点のカメラ座標系における移動距離を取得するステップを含んでもよい。具体的な例として、例えば、重複領域における無人航空機の各画素点のカメラ座標系での移動距離の算出式は、
【数１】
0006484729.tif 000002
であり、ここで、(ｘ1，ｙ1）は画素点のＮフレーム目の画像における位置情報であり、(ｘ2，ｙ2）は画素点のＮ＋１フレーム目の画像における位置情報であり、（ｕx，ｕy）は画素点のカメラ座標系における移動距離である。
【００４１】
ステップＳ２２：重複領域における無人航空機の各画素点のカメラ座標系での移動距離の導関数を求め、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。
【００４２】
言い換えると、具体的な例で説明する。特徴マッチングに基づくオプティカルフロー法は、Ｎフレーム目の画像における各画素点のＮ＋１フレーム目の画像での位置にマッチングすることにより、Ｎフレーム目の画像における各画像点からＮ＋１フレーム目の画像までの移動距離を算出し、該移動距離により無人航空機の各画素点のカメラ座標系における画素移動速度を取得する。ここで、特徴マッチングに基づくオプティカルフロー法は、高密度アルゴリズムとスパースアルゴリズムとを含む。高密度アルゴリズムは、画像における各画素点がいずれも計算に参加し、画像における各画素点の画素移動速度を算出するものである。スパースアルゴリズムは、画像から一部の追跡しやすい画素点を選択し、選択されたこの一部の追跡しやすい画素点についてオプティカルフロー演算を行い、これらの追跡しやすい画素点の画素移動速度を取得する。本発明の一つの実施例において、使用された特徴マッチングに基づくオプティカルフロー法は、例えば、高密度オプティカルフロー法である。なお、特徴マッチングに基づくオプティカルフロー法で無人航空機の各画素点のカメラ座標系における画素移動速度を算出することは、本発明の一つの実施形態に過ぎなく、本発明を限定するものと理解してはいけない。無人航空機の各画素点のカメラ座標系における画素移動速度を算出できるその他の方法も本発明に適用し、本発明の保護範囲内にも属する。
【００４３】
ステップＳ３：無人航空機のワールド座標系における実際の飛行速度を取得する。
【００４４】
具体的な実施過程において、例えば、ＧＮＳＳ位置特定速度測定（例えば、ＧＰＳや北斗衛星等）、ピトー管、及びレーダー等の速度測定装置により無人航空機のワールド座標系における実際の飛行速度を測定又は算出し、測定又は算出された無人航空機のワールド座標系における飛行速度を取得する。
【００４５】
ステップＳ４：各重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、機載カメラのパラメータとに基づいて各重複領域の奥行き画像を取得し、各重複領域の奥行き画像を統合して所定シーンの奥行き画像を取得する。本発明の一つの実施例において、機載カメラのパラメータは、例えば機載カメラの焦点距離を含む。
【００４６】
具体的には、機載カメラは自己安定プラットフォームに取り付けることができるため、機載カメラが写真を撮影する時の角速度が常に０であると考えてもよい。機載カメラが写真を撮影する時の角速度が常に０又は０に近い場合に、ステップＳ４は、ステップＳ４１と、ステップＳ４２と、ステップＳ４３とを更に含む。
【００４７】
ステップ４１：重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築する。具体的に、例えば、ピンホール結像原理により、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築し、この関連関係は
【数２】
0006484729.tif 000003
であってもよい。
ここで、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｖは重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度、Ｚは無人航空機の飛行高度、ｆは機載カメラの焦点距離である。
【００４８】
ステップＳ４２：上記ステップＳ４１に記載の関連関係の表現式を変換してから、重複領域における無人航空機の各画素点の奥行き値を取得する。
【数３】
0006484729.tif 000004
ここで、Ｚiは重複領域におけるｉ番目の画素点の奥行き値、ｖiはｉ番目の画素点のカメラ座標系における画素移動速度、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｆは機載カメラの焦点距離の大きさであり、既知の定数である。
【００４９】
ステップＳ４３：上記ステップＳ４２に取得された各重複領域における無人航空機の各画素点の奥行き値に基づいて各重複領域の奥行き画像を取得し、各重複領域の奥行き画像を統合して所定シーン（被測定物）の奥行き画像を取得する。
【００５０】
本発明の一つの実施例において、上記過程において、例えば、カメラ座標系とワールド座標系との方向が一致しているか否かを判断し、カメラ座標系とワールド座標系との方向が一致していない場合、カメラ座標系の方向とワールド座標系の方向とを一致させるようにカメラ座標系の方向を調整する。
【００５１】
以上により、本発明は、無人航空機のカメラ座標系における各画素点の画素速度と無人航空機自体の実際の飛行速度とを結合することにより、画像の奥行きデータを算出し、奥行き画像を取得する。従って、画像速度（無人航空機のカメラ座標系における各画素点の画素移動速度）と無人航空機自体の実際の飛行速度とを結合することにより奥行き画像を取得するあらゆる方法は、いずれも本発明の保護範囲内に属すべきである。
【００５２】
以上により、本発明の実施例に係る無人航空機の奥行き画像の取得方法は、無人航空機の機載カメラにより連続的な画像を撮影し、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報に基づいて無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に無人航空機の機載ＧＰＳ等の設備により無人航空機のワールド座標系における実際の飛行速度を測定し、最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係に基づいて無人航空機の奥行き画像を算出する。該方法は奥行き画像を正確に取得することができ、且つ操作の流れが簡単であり、実現しやすいと同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。なお、該方法の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも低減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
【００５３】
本発明の更なる実施例は、無人航空機の奥行き画像の取得装置を更に提供する。
【００５４】
図３は本発明の一つの実施例に係る無人航空機の奥行き画像の取得装置の構成ブロック図である。図３に示すように、無人航空機の奥行き画像の取得装置１００は、読み出しモジュール１１０と、算出モジュール１２０と、測定モジュール１３０と、画像生成モジュール１４０と、を含む。
【００５５】
具体的には、読み出しモジュール１１０は、無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。言い換えれば、即ち、機載カメラの撮影により被測定物の画像シーケンスを取得し、その中から例えばそれぞれＮフレーム目の画像とＮ＋１フレーム目の画像とであり、Ｎフレーム目の画像とＮ＋１番目の画像とに重複領域を有しなければならない連続的な二つのフレームの画像を抽出する。また、後のオプティカルフロー計算の正確性を確保するために、当該重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。所定比率は、例えば６０％であり、即ち、重複領域の面積はＮフレーム目の画像又はＮ＋１フレーム目の画像の面積の６０％より大きい。
【００５６】
更に、本発明の一つの実施例において、機載カメラにより撮影された画像の品質を確保し、無人航空機自体のブレによるオプティカルフロー法計算への干渉を解消するために、例えば、機載カメラを自己安定プラットフォームを介して無人航空機に取り付ける。同時に、カメラにより撮影された画像自体の歪みからの影響を減少させるために、機載カメラの視野角度を大きくしてはいけない。本発明の一つの実施例において、選択された機載カメラの視野角度は所定角度より低く、より具体的に、所定角度は、例えば６０度である。勿論、所定角度の値はこれに限定されず、実際のシーンの需要に応じて選定することができ、例えば、所定角度は６０度より小さくてもよい。ここでの説明は、単に例示のみを目的とする。
【００５７】
本発明の一つの実施例において、機載カメラにより撮影された画像の歪みがひどいと、読み出しモジュール１１０は、更に、画像シーケンスにおける画像の歪みを補正し、画像の歪みを使用可能な範囲内にした後に、後の操作を実行する。
【００５８】
算出モジュール１２０は、重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、位置変化情報に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。具体的には、例えば、算出モジュール１２０は、特徴マッチングに基づくオプティカルフロー法により重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置情報の変化状況（即ち、位置変化情報）を取得し、位置情報の変化情報に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。
【００５９】
より具体的には、本発明の一つの実施例において、算出モジュール１２０は、特徴マッチングに基づくオプティカルフロー法により重複領域における無人航空機の各画素点のカメラ座標系での移動距離を取得する。具体的には、同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて該画素点の移動情報を取得し、該移動情報に基づいて該画素点のカメラ座標系における移動距離を取得することと、その後、重複領域における無人航空機の各画素点のカメラ座標系での移動距離の導関数を求め、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得することと、を含む。
【００６０】
具体的な例として、例えば、重複領域における無人航空機の各画素点のカメラ座標系での移動距離の算出式は、
【数４】
0006484729.tif 000005
であり、ここで、(ｘ1，ｙ1）は画素点のＮフレーム目の画像における位置情報であり、(ｘ2，ｙ2）は画素点のＮ＋１フレーム目の画像における位置情報であり、（ｕx，ｕy）は画素点のカメラ座標系における移動距離である。
【００６１】
ここで、特徴マッチングに基づくオプティカルフロー法は、Ｎフレーム目の画像における各画素点のＮ＋１フレーム目の画像での位置にマッチングすることにより、Ｎフレーム目の画像における各画像点からＮ＋１フレーム目の画像までの移動距離を算出し、該移動距離に基づいて無人航空機の各画素点のカメラ座標系における画素移動速度を取得する。ここで、特徴マッチングに基づくオプティカルフロー法は、高密度アルゴリズムとスパースアルゴリズムとを含む。高密度アルゴリズムは、画像における各画素点がいずれも計算に参加し、画像における各画素点の画素移動速度を算出するものである。スパースオプティカルフロー法は、画像の中から一部の追跡しやすい画素点を選択し、選択されたこの一部の追跡しやすい画素点についてオプティカルフロー演算を行い、これらの追跡しやすい画素点の画素移動速度を取得するものである。本発明の一つの実施例において、使用された特徴マッチングに基づくオプティカルフロー法は、高密度オプティカルフロー法であってもよい。なお、特徴マッチングに基づくオプティカルフロー法で無人航空機の各画素点のカメラ座標系における画素移動速度を算出することは、本発明の一つの実施形態に過ぎなく、本発明を限定するものと理解してはいけない。無人航空機の各画素点のカメラ座標系における画素移動速度を算出できるその他の方法も本発明に適用し、本発明の保護範囲にも属する。
【００６２】
測定モジュール１３０は、無人航空機のワールド座標系における実際の飛行速度を取得する。具体的な実施過程において、例えば、ＧＰＳ、北斗衛星、ピトー管、及びレーダー等の方式により無人航空機のワールド座標系における実際の飛行速度を取得する。
【００６３】
画像生成モジュール１４０は、各重複領域における無人航空機の各画素点のカメラ座標系での画像移動速度と、無人航空機のワールド座標系における実際の飛行速度と、機載カメラのパラメータとに基づいて各重複領域の奥行き画像を取得し、各重複領域の奥行き画像を統合して所定シーンの奥行き画像を取得する。本発明の一つの実施例において、機載カメラのパラメータは、例えば機載カメラの焦点距離を含む。
【００６４】
具体的には、機載カメラは自己安定プラットフォームに取り付けられるため、機載カメラが写真を撮影する時の角速度は常に０であると考えてもよい。本発明の一つの実施例において、画像生成モジュール１４０は、重複領域における各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築する。具体的に、画像生成モジュール１４０は、例えば、ピンホール結像原理により、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築し、この関連関係は
【数５】
0006484729.tif 000006
であってもよい。
ここで、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｖは重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度、Ｚは無人航空機の飛行高度、ｆは機載カメラの焦点距離である。
【００６５】
その後、上記関連関係に基づいて重複領域における無人航空機の各画素点の奥行き値を取得する。
【数６】
0006484729.tif 000007
ここで、Ｚiは重複領域におけるｉ番目の画素点の奥行き値、ｖiはｉ番目の画素点のカメラ座標系における画素移動速度、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｆは機載カメラの焦点距離の大きさであり、既知の定数である。
【００６６】
最後に、各重複領域における無人航空機の各画素点の奥行き値に基づいて各重複領域の奥行き画像を取得し、各重複領域における奥行き画像を統合して所定シーン（被測定物）の奥行き画像を取得する。
【００６７】
本発明の一つの実施例において、無人航空機の奥行き画像の取得装置１００は、例えば調整モジュール（図示せず）を更に含む。調整モジュールは、カメラ座標系とワールド座標系との方向が一致しているか否かを判断し、カメラ座標系とワールド座標系との方向が一致していない場合、カメラ座標系の方向とワールド座標系の方向とを一致させるようにカメラ座標系の方向を調整する。
【００６８】
以上により、本発明は、無人航空機のカメラ座標系における各画素点の画素速度と無人航空機自体の実際の飛行速度とを結合することにより、画像の奥行きデータを算出し、奥行き画像を取得する。従って、画像速度（無人航空機のカメラ座標系における各画素点の画素移動速度）と無人航空機自体の実際の飛行速度とを結合することにより、奥行き画像を取得するあらゆる方法は、いずれも本発明の保護範囲内に属すべきである。
【００６９】
本発明の実施例に係る無人航空機の奥行き画像の取得装置は、読み出しモジューにより無人航空機の機載カメラにより撮影された連続的な画像を読み出し、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出することにより、無人航空機のカメラ座標系における各画素点の画素移動速度を取得する。次に例えば無人航空機の機載ＧＰＳ等の設備により無人航空機のワールド座標系における実際の飛行速度を測定する。最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係により、無人航空機の奥行き画像を算出する。従って、該無人航空機の奥行き画像の取得装置は奥行き画像を正確に取得することができると同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該無人航空機の奥行き画像の取得装置の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
【００７０】
本発明の更なる実施例は、無人航空機をさらに提供する。当該無人航空機は、機載カメラと、速度測定装置と、プロセッサと、機体と、を含む。前記機載カメラ及び速度測定装置は、それぞれ前記プロセッサに接続され、前記機体は、前記機載カメラと、速度測定装置と、プロセッサとを取り付ける。前記機載カメラは、所定シーンの画像シーケンスを採取する。前記速度測定装置は、無人航空機のワールド座標系における実際の飛行速度を測定又は算出する。具体的な実施過程において、前記速度測定装置は、ＧＮＳＳ位置特定速度測定（例えば、ＧＰＳや北斗衛星等）、ピトー管、及びレーダー等であってもよい。本発明は、如何なる速度測定装置を採用するかに限定されず、無人航空機のワールド座標系における実際の飛行速度を測定又は算出することさえできれば、いずれも本発明の保護範囲内に属する。
【００７１】
前記プロセッサは、上記無人航空機の奥行き画像の取得方法を実行するように配置されている。言い換えると、前記プロセッサは、発明の上記実施例に説明された無人航空機の奥行き画像の取得装置を含む。
【００７２】
本発明の一つの実施例において、前記無人航空機は、自己安定プラットフォームを更に含み、前記機載カメラは前記自己安定プラットフォームを介して前記機体に取り付けられている。
【００７３】
本発明の実施例に係る無人航空機は、機載カメラと、速度測定装置と、プロセッサとが機体に取り付けられ、機載カメラにより連続的な画像を撮影し、プロセッサにより機載カメラにより撮影された画像を読み出し、その後、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出することにより、無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に例えば無人航空機の機載ＧＰＳ等の速度測定装置により無人航空機のワールド座標系における実際の飛行速度を測定し、最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係により、無人航空機の奥行き画像を算出する。従って、該無人航空機は、奥行き画像を正確に取得することができると同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該無人航空機の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
【００７４】
上記本発明の実施例の番号は説明するためのものだけであり、実施例の優劣を示すものではない。
【００７５】
本発明の上記実施例において、各実施例に対する説明の重点がそれぞれ異なり、ある実施例に詳しく説明されない部分については、その他の実施例における関連説明を参照することができる。
【００７６】
本願が提供したいくつかの実施例において、開示された技術内容は、その他の形態により実現することができる。ここで、以上説明された装置の実施例はただ例示的なものであり、例えば、前記モジュールの分割について、ロジック機能の分割であってもよい。実際に実現する場合にその他の分割方式があってもよく、例えば、複数のモジュール又は組立品は結合され又はもう一つのシステムに集成されてもよいし、又は一部の特徴が無視或いは実行されなくてもいい。また、表示又は検討された相互の結合又は直接な結合又は通信的接続は、例えば、一部のインターフェースやユニット又はモジュールを介する間接的な結合又は通信接続であってもよく、電気的又はその他の形であってもよい。
【００７７】
分離部品として説明された前記モジュールは、物理的に分離されているものであってもよいし、又は物理的に分離されていないものであってもよい。モジュールとして表示された部品は、物理的なモジュールであってもよいし、又は物理的なモジュールではなくてもよい。即ち、一つの場所に位置してもよいし、複数のモジュールに分布されてもよい。実際の需要に応じてその中のモジュールの一部又は全部を選択して本実施例の案の目的を実現することができる。
【００７８】
また、本発明の各実施例における各機能モジュールは一つの処理モジュールに集成されてもよいし、各モジュールが単独に物理的に存在してもよいし、二つ又は二つ以上のモジュールが一つのモジュールに集成されてもよい。上記集成されたモジュールはハードウェアの形で実現されてもよいし、ソフトウェア機能モジュールの形で実現されてもよい。
【００７９】
前記集成されたモジュールがソフトウェア機能モジュールの形で実現され且つ独立する製品として販売又は使用される場合、一つのコンピューター読み出し可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の技術案の実質的な又は従来技術に貢献する部分又は該技術案の全部又は一部は、ソフトウェア製品の形で表されてもよい、該コンピューターソフトウェア製品は、一つの記憶媒体に記憶され、且つ一つのコンピューター設備（パソコン、サーバ又はネットワーク設備等）が本発明の各実施例に記載の前記方法の全部又は一部のステップを実行するようにするいくつかの命令を含む。前記記憶媒体は、ＵＳＢメモリーと、読み出し専用メモリー（ＲＯＭ、Ｒｅａｄ-Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ランダムアクセスメモリー（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、リムーバブルハードディスクと、磁気ディスク又は光ディスクと等様々なプログラムコードを記憶できる媒体を含む。
【００８０】
以上の記載は、本発明の好ましい実施形態だけである。当業者にとって、本発明の原理から逸脱しない前提で、更にいくつかの改善及び修正を行うことができる。これらの改善及び修正も本発明の保護範囲と見なされるべきである。
【図１】
0006484729.tif 000008
【図２】
0006484729.tif 000009
【図３】
0006484729.tif 000010