(57)【特許請求の範囲】
【請求項１】
モバイルプラットフォームの変位を検出する方法であって、
撮像デバイスにより、第１フレーム及び第２フレームを取得し、且つ、前記モバイルプラットフォームの高さを取得するステップと、
前記第１フレーム、前記第２フレーム、及び前記高さに基づいて、前記モバイルプラットフォームの前記変位を判定するステップとを有し、
前記第１フレームにおけるｘ−ｙプレーン内の第１投影アレイ｛（ｘ１１，ｙ１１），（ｘ２１，ｙ２１），（ｘ３１，ｙ３１），．．．，（ｘｎ１，ｙｎ１）｝の複数の特徴点を前記第２フレーム上にマッチングして第２投影アレイ｛（ｘ１２，ｙ１２），（ｘ２２，ｙ２２），（ｘ３２，ｙ３２），．．．，（ｘｍ２，ｙｍ２）｝を生成するステップを更に有し、
前記複数の特徴点を前記第２フレーム上にマッチングすることは、前記第１フレームの選択された特徴点にマッチングする前記第２フレームの点を識別するステップと、前記第１フレームの前記選択された特徴点と前記点との間の類似性を算出するステップとを有する、
方法。
【請求項２】
前記高さを取得するステップは、バロメータ及び超音波デバイスのうちの少なくとも１つを介して前記高さを取得するステップを有する、請求項１に記載の方法。
【請求項３】
前記取得ステップは、グラウンドレベルとの関係において前記撮像デバイスの角度を取得するステップを有する、請求項１又は２に記載の方法。
【請求項４】
前記角度を取得する前記ステップは、慣性計測ユニット（「ＩＭＵ」）を介して前記角度を取得するステップを有する、請求項３に記載の方法。
【請求項５】
前記取得ステップは、前記第１フレームとの関係において前記ＩＭＵによって前記モバイルプラットフォームの回転角度を計測して回転データを生成するステップを更に有する、請求項４に記載の方法。
【請求項６】
前記取得ステップは、前記第１及び第２フレームをマッチングするステップを更に有し、
この場合に、前記第１フレームは、既定のパーセンテージだけ、前記第２フレームとオーバーラップしている、請求項５に記載の方法。
【請求項７】
前記取得ステップは、前記第１フレーム及び前記第２フレームを異なる時点において取得するステップを有する、請求項５又は６に記載の方法。
【請求項８】
前記第１フレーム及び前記第２フレームを異なる時点において取得する前記ステップは、１秒の６０分の１を下回らず且つ１秒の２０分の１を上回らないインターバルにおいて前記第１及び第２フレームを取得するステップを有する、請求項７に記載の方法。
【請求項９】
前記類似性を算出する前記ステップは、前記第１フレームの前記選択された特徴点を前記第２フレーム上の前記点を中心としてセンタリングされた一定の範囲のピクセルエリアと比較するステップを有する、請求項１に記載の方法。
【請求項１０】
前記比較するステップは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計を比較するステップを有する、請求項９に記載の方法。
【請求項１１】
前記回転データ、前記ステレオスコープ点群、及び第２投影アレイに基づいて変換アレイＴを算出するステップを更に有する請求項１０に記載の方法。
【請求項１２】
前記変換アレイＴを算出する前記ステップは、次式の関係を適用するステップを有し、
【数１】
0006333396.tif 000009
ここで、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である、請求項１１に記載の方法。
【請求項１３】
次式を適用する前記ステップは、
【数２】
0006333396.tif 000010
前記ステレオスコープ点群及び前記第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、Ｔを算出するステップを更に有する、請求項１２に記載の方法。
【請求項１４】
前記ステレオスコープ点群及び前記第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、前記変換アレイＴを検証するステップと
【数３】
0006333396.tif 000011
マッチング点の最大カウントを有する変換アレイＴを選択された変換アレイＴとして選択するステップと
を更に有する、請求項１１乃至１３のいずれか一項に記載の方法。
【請求項１５】
前記回転データ、前記選択された変換Ｔ、及び次式の関係により、前記ステレオスコープ点群を算出するステップを更に有する請求項１４に記載の方法。
【数４】
0006333396.tif 000012
【請求項１６】
前記選択された変換アレイＴに基づいて前記モバイルプラットフォームの前記変位を算出するステップを更に有する請求項１５に記載の方法。
【請求項１７】
前記第１及び第２フレームは、第１及び第２ステレオスコープフレームであり、
前記選択された変換アレイＴ及び前記第１及び第２ステレオスコープフレームを取得するための前記時点の間のインターバルに基づいて前記モバイルプラットフォームの速度を算出するステップを更に有する請求項１６に記載の方法。
【請求項１８】
前記選択された変換アレイＴ及び前記第１ステレオスコープフレームを取得するための時点における前記モバイルプラットフォームの場所情報に基づいて前記モバイルプラットフォームの場所を算出するステップを更に有する請求項１７に記載の方法。
【請求項１９】
モバイルプラットフォームの変位を検出する装置であって、
第１フレーム及び第２フレームを取得する撮像デバイスと、前記モバイルプラットフォームの高さを取得し、且つ、前記第１フレーム、前記第２フレーム、及び前記高さに基づいて前記モバイルプラットフォームの前記変位を判定するプロセッサと
を有し、
前記プロセッサは、前記第１フレームにおけるｘ−ｙプレーン内の第１投影アレイ｛（ｘ１１，ｙ１１），（ｘ２１，ｙ２１），（ｘ３１，ｙ３１），．．．，（ｘｎ１，ｙｎ１）｝の複数の特徴点を前記第２フレーム上にマッチングして第２投影アレイ｛（ｘ１２，ｙ１２），（ｘ２２，ｙ２２），（ｘ３２，ｙ３２），．．．，（ｘｍ２，ｙｍ２）｝を生成するように構成され、前記第１フレームの選択された特徴点にマッチングする前記第２フレームの点を識別すると共に、前記第１フレームの前記選択された特徴点と前記点との間の類似性を算出するように構成されている、
装置。
【請求項２０】
前記高さは、バロメータ及び超音波デバイスのうちの少なくとも１つを介して提供される、請求項１９に記載の装置。
【請求項２１】
前記プロセッサは、グラウンドレベルとの関係において前記撮像デバイスの角度を取得するように構成されている、請求項１９又は２０に記載の装置。
【請求項２２】
前記モバイルプラットフォームの前記角度は、慣性計測ユニット（「ＩＭＵ」）を介して取得される、請求項２１に記載の装置。
【請求項２３】
前記プロセッサは、前記第１フレームとの関係において前記ＩＭＵによって前記モバイルプラットフォームの回転角度を計測して回転データを生成するように構成されている、請求項２２に記載の装置。
【請求項２４】
前記プロセッサは、前記第１及び第２フレームをマッチングするように構成されており、
この場合に、前記第１フレームは、既定のパーセンテージだけ、前記第２フレームとオーバーラップしている、請求項２３に記載の装置。
【請求項２５】
前記第１フレーム及び前記第２フレームは、異なる時点において取得される、請求項２３又は２４に記載の装置。
【請求項２６】
前記プロセッサは、前記第１フレームの前記選択された特徴点を前記第２フレーム上の前記点を中心としてセンタリングされた一定範囲のピクセルエリアと比較することにより、前記類似性を算出する、請求項２５に記載の装置。
【請求項２７】
前記第１フレーム及び前記第２フレームの前記一定範囲のピクセルエリアは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計と比較される、請求項２６に記載の装置。
【請求項２８】
前記プロセッサは、前記回転データ、前記ステレオスコープ点群、及び前記第２投影アレイに基づいて変換アレイＴを算出するように構成されている、請求項２７に記載の装置。
【請求項２９】
前記変換アレイＴは、次式の関係を適用することにより、算出され、
【数５】
0006333396.tif 000013
ここで、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である、請求項２８に記載の装置。
【請求項３０】
前記プロセッサは、前記ステレオスコープ点群及び前記第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、前記変換アレイＴを算出するように構成されている、請求項２９に記載の装置。
【請求項３１】
前記プロセッサは、前記ステレオスコープ点群及び前記第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、前記変換アレイＴを検証するように構成されており、且つ、
【数６】
0006333396.tif 000014
前記プロセッサは、マッチング点の最大カウントを有する前記変換アレイＴを選択された変換アレイＴとして選択するように構成されている、請求項２９又は３０に記載の装置。
【請求項３２】
前記プロセッサは、前記選択された変換アレイＴに基づいて前記モバイルプラットフォームの前記変位を算出するように構成されている、請求項３１に記載の装置。
【請求項３３】
前記第１及び第２フレームは、第１及び第２ステレオスコープフレームであり、
前記プロセッサは、前記選択された変換アレイＴ及び前記第１及び前記第２ステレオスコープフレームを取得するための前記２つの時点の間のインターバルに基づいて前記モバイルプラットフォームの速度を算出するように構成されている、請求項３２に記載の装置。
【請求項３４】
前記プロセッサは、前記選択された変換アレイＴ及び前記第１ステレオスコープフレームを取得するための時点における前記モバイルプラットフォームの場所情報に基づいて前記モバイルプラットフォームの場所を算出するように構成されている、請求項３３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示されている実施形態は、一般に、モバイルプラットフォームの動作に関し、且つ、更に詳しくは、限定を伴うことなしに、モバイルプラットフォームの変位を検出する方法及び装置に関する。
【背景技術】
【０００２】
無人航空機（「Ｕｎｍａｎｎｅｄ  Ａｅｒｉａｌ  Ｖｅｈｉｃｌｅ：ＵＡＶ」）の変位の判定は、ＵＡＶのナビゲーション及び操作に常に必要とされる。変位を計測するための現時点において利用可能な技術は、特定の高さ範囲内などのように、特定の条件下における性能及び精度しか保証することができない。更には、現時点において利用可能な技術は、環境干渉に対して脆弱である。
【０００３】
現時点において利用可能な技術においては、単眼撮像デバイス及び超音波デバイスに基づいた解決策は、超音波デバイスの検出距離によって制限される可能性があり、従って、通常は、０．５〜５メートルという低高度においてしか適用可能ではない。更には、このような単眼型の解決策は、周辺環境に存在するノイズに対しても脆弱である可能性がある。双眼撮像デバイスに基づいた代替解決策は、双眼撮像デバイスの２つのレンズの間のベースラインの長さによって制限されており、且つ、１〜１０メートルの高度においてしか適用可能ではない。全地球測位デバイス（「Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｄｅｖｉｃｅ：ＧＰＳ」）に基づいた別の解決策は、信頼性の高い信号の欠如に起因し、屋内環境又は複雑な周辺環境においては信頼性が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の理由に鑑み、様々な高さにおけるモバイルプラットフォームの変位を効果的且つ効率的に計測する方法及び装置に対するニーズが存在している。
【課題を解決するための手段】
【０００５】
本明細書において開示されている態様によれば、モバイルプラットフォームの変位を検出する方法が開示され、方法は、
撮像デバイスによって第１フレーム及び第２フレームを取得するステップと、
第１フレーム及び第２フレームに基づいてモバイルプラットフォームの変位を判定するステップと、
を有する。
【０００６】
開示されている方法の例示用の実施形態においては、取得ステップは、モバイルプラットフォームの高さを取得するステップを有する。
【０００７】
開示されている方法の例示用の実施形態においては、高さを取得するステップは、バロメータ及び超音波デバイスのうちの少なくとも１つを介して高さを取得するステップを有する。
【０００８】
開示されている方法の例示用の実施形態においては、取得ステップは、グラウンドレベルとの関係において撮像デバイスの角度を取得するステップを有する。
【０００９】
開示されている方法の例示用の実施形態においては、角度を取得するステップは、慣性計測ユニット（「Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ：ＩＭＵ」）を介して角度を取得するステップを有する。
【００１０】
開示されている方法の例示用の実施形態においては、取得ステップは、第１フレームとの関係においてＩＭＵによってモバイルプラットフォームの回転角度を計測して回転データを生成するステップを更に有する。
【００１１】
開示されている方法の例示用の実施形態においては、取得するステップは、第１及び第２フレームをマッチングするステップを更に有し、
この場合に、第１フレームは、既定のパーセンテージだけ、第２フレームとオーバーラップしている。
【００１２】
開示されている方法の例示用の実施形態においては、取得ステップは、異なる時点において第１フレーム及び第２フレームを取得するステップを有する。
【００１３】
開示されている方法の例示用の実施形態においては、異なる時点において第１フレーム及び第２フレームを取得するステップは、１秒の６０分の１を下回らず且つ１秒の２０分の１を上回らないインターバルで第１フレーム及び第２フレームを取得するステップを有する。
【００１４】
開示されている方法の例示用の実施形態は、第１フレーム、モバイルプラットフォームの高さ、及びモバイルプラットフォームの角度のうちの少なくとも１つに基づいてステレオスコープ点群を取得するステップを更に有し、
この場合に、ステレオスコープ点群は、特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ｝である。
【００１５】
開示されている方法の例示用の実施形態は、ステレオスコープ点群に基づいて、第２フレームにおけるｘ−ｙプレーン内の第２投影アレイ｛（ｘ１２，ｙ１２），（ｘ２２，ｙ２２），（ｘ３２，ｙ３２），．．．，（ｘｍ２，ｙｍ２）｝を取得するステップを更に有する。
【００１６】
開示されている方法の例示用の実施形態においては、第２投影アレイを取得するステップは、
ステレオスコープ点群に基づいて、第１フレームにおけるｘ−ｙプレーン内の第１投影アレイ｛（ｘ１１，ｙ１１），（ｘ２１，ｙ２１），（ｘ３１，ｙ３１），．．．，（ｘｎ１，ｙｎ１）｝を取得するステップと、
第１投影アレイの複数の特徴点を第２フレーム上の点にマッチングして第２投影アレイ｛（ｘ１２，ｙ１２），（ｘ２２，ｙ２２），（ｘ３２，ｙ３２），．．．，（ｘｍ２，ｙｍ２）｝を生成するステップと
を有する。
【００１７】
開示されている方法の例示用の実施形態においては、複数の特徴点をマッチングするステップは、
第２フレームをスキャニングして第１フレームの選択された特徴点にマッチングする第２フレームの点を識別するステップと、
第１フレームの選択された特徴点と点との間の類似性を算出するステップと
を有する。
【００１８】
開示されている方法の例示用の実施形態においては、類似性を算出するステップは、第１フレームの選択された特徴点を第２フレーム上の点を中心としてセンタリングされた一定の範囲のピクセルエリアと比較するステップを有する。
【００１９】
開示されている方法の例示用の実施形態においては、ピクセルエリアを比較するステップは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計を比較するステップを有する。
【００２０】
開示されている方法の例示用の実施形態は、回転データ、ステレオスコープ点群、及び第２投影アレイに基づいて変換アレイＴを算出するステップを更に有する。
【００２１】
開示されている方法の例示用の実施形態においては、変換アレイＴを算出するステップは、次式の関係を適用するステップを有し、
【数１】
0006333396.tif 000002
この場合に、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である。
【００２２】
開示されている方法の例示用の実施形態においては、次式を適用するステップは、
【数２】
0006333396.tif 000003
ステレオスコープ点群及び第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、Ｔを算出するステップを更に有する。
【００２３】
開示されている方法の例示用の実施形態は、ステレオスコープ点群及び第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、変換アレイＴを検証するステップと、
【数３】
0006333396.tif 000004
マッチング点の最大カウントを有する変換アレイＴを選択された変換アレイＴとして選択するステップと
を更に有する。
【００２４】
開示されている方法の例示用の実施形態は、回転データ、選択された変換Ｔ、及び次式の関係により、ステレオスコープ点群を算出するステップを更に有する。
【数４】
0006333396.tif 000005
【００２５】
開示されている方法の例示用の実施形態は、選択された変換アレイＴに基づいてモバイルプラットフォームの変位を算出するステップを更に有する。
【００２６】
開示されている方法の例示用の実施形態は、選択された変換アレイＴ及び第１及び第２フレームを取得するための時点の間のインターバルに基づいてモバイルプラットフォームの速度を算出するステップを更に有する。
【００２７】
開示されている方法の例示用の実施形態は、選択された変換アレイＴ及び第１フレームを取得するための時点におけるモバイルプラットフォームの場所情報に基づいてモバイルプラットフォームの場所を算出するステップを更に有する。
【００２８】
本明細書において開示されている別の態様によれば、モバイルプラットフォームの変位を検出する装置が開示され、装置は、
第１フレーム及び第２フレームを取得する撮像デバイスと、
第１フレーム及び第２フレームに基づいてモバイルプラットフォームの変位を判定するプロセッサと、
を有する。
【００２９】
開示されている装置の例示用の実施形態においては、プロセッサは、モバイルプラットフォームの高さを取得するように構成されている。
【００３０】
開示されている装置の別の例示用の実施形態においては、高さは、バロメータ及び超音波デバイスの少なくとも１つを介して提供される。
【００３１】
開示されている装置の別の例示用の実施形態においては、プロセッサは、グラウンドレベルとの関係において撮像デバイスの角度を取得するように構成されている。
【００３２】
開示されている装置の別の例示用の実施形態においては、モバイルプラットフォームの角度は、慣性計測ユニット（「ＩＭＵ」）を介して取得される。
【００３３】
開示されている装置の別の例示用の実施形態においては、プロセッサは、第１フレームとの関係においてＩＭＵによってモバイルプラットフォームの回転角度を計測して回転データを生成するように構成されている。
【００３４】
開示されている装置の別の例示用の実施形態においては、プロセッサは、第１及び第２フレームをマッチングさせるように構成されており、
この場合に、第１フレームは、既定のパーセンテージだけ、第２フレームとオーバーラップしている。
【００３５】
開示されている装置の別の例示用の実施形態においては、第１フレーム及び第２フレームは、異なる時点において取得される。
【００３６】
開示されている装置の別の例示用の実施形態においては、異なる時点は、１秒の６０分の１を下回らず且つ１秒の２０分の１を上回らない時点の間のインターバルを有する。
【００３７】
開示されている装置の別の例示用の実施形態においては、プロセッサは、第１フレーム、モバイルプラットフォームの高さ、及びモバイルプラットフォームの角度のうちの少なくとも１つに基づいてステレオスコープ点群を取得するように構成されており、
この場合に、ステレオスコープ点群は、特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ｝である。
【００３８】
開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群に基づいてｘ−ｙプレーン内の第２投影アレイ｛（ｘ１２，ｙ１２），（ｘ２２，ｙ２２），（ｘ３２，ｙ３２），．．．，（ｘｍ２，ｙｍ２）｝を取得するように構成されている。
【００３９】
開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群に基づいて、ｘ−ｙプレーン内の第１投影アレイ｛（ｘ１１，ｙ１１），（ｘ２１，ｙ２１），（ｘ３１，ｙ３１），．．．，（ｘｎ１，ｙｎ１）｝を取得するように構成されており、且つ、
この場合に、プロセッサは、第１投影アレイの複数の特徴点を第２フレーム上にマッチングして第２投影アレイ｛（ｘ１２，ｙ１２），（ｘ２２，ｙ２２），（ｘ３２，ｙ３２），．．．，（ｘｍ２，ｙｍ２）｝を生成するように構成されている。
【００４０】
開示されている装置の別の例示用の実施形態においては、プロセッサは、第２フレームをスキャニングして第１フレームの選択された特徴点にマッチングする第２フレームの点を識別すると共に、第１フレームの選択された特徴点と点との間の類似性を算出する。
【００４１】
開示されている装置の別の例示用の実施形態においては、プロセッサは、第１フレームの選択された特徴点を第２フレーム上の点を中心としてセンタリングされた一定の範囲のピクセルエリアと比較することにより、類似性を算出する。
【００４２】
開示されている装置の別の例示用の実施形態においては、第１フレーム及び第２フレームの３×３ピクセルエリアは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計と比較される。
【００４３】
開示されている装置の別の例示用の実施形態においては、プロセッサは、回転データ、ステレオスコープ点群、及び第２投影アレイに基づいて変換アレイＴを算出するように構成されている。
【００４４】
開示されている装置の別の例示用の実施形態においては、変換アレイＴは、次式の関係を適用することにより、算出され、
【数５】
0006333396.tif 000006
ここで、Ｒは、回転計測値のアレイであり、Ｐｊは、点であり、Ｔは、算出対象の変換アレイを表し、且つ、μは、ランダム数である。
【００４５】
開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群及び第２投影アレイのそれぞれのマッチングする２つの点から選択された少なくとも２つの点について式の組を解くことにより、変換アレイＴを算出するように構成されている。
【００４６】
開示されている装置の別の例示用の実施形態においては、プロセッサは、ステレオスコープ点群及び第２投影アレイのそれぞれの対応する投影点から選択された複数の点を伴ってＴを次式に導入してマッチング点のカウントを取得することにより、変換アレイＴを検証するように構成されており、
【数６】
0006333396.tif 000007
この場合に、プロセッサは、マッチング点の最大カウントを有する変換アレイＴを選択された変換アレイＴとして選択するように構成されている。
【００４７】
開示されている装置の別の例示用の実施形態においては、プロセッサは、選択された変換アレイＴに基づいてモバイルプラットフォームの変位を算出するように構成されている。
【００４８】
開示されている装置の別の例示用の実施形態においては、第１及び第２フレームは、第１及び第２ステレオスコープフレームであり、プロセッサは、選択された変換アレイＴ及び第１及び第２ステレオスコープフレームを取得するための２つの時点の間のインターバルに基づいてモバイルプラットフォームの速度を算出するように構成されている。
【００４９】
開示されている装置の別の例示用の実施形態においては、プロセッサは、選択された変換アレイＴ及び第１ステレオスコープフレームを取得するための時点におけるモバイルプラットフォームの場所情報に基づいてモバイルプラットフォームの場所を算出するように構成されている。
【図面の簡単な説明】
【００５０】
【図１】モバイルプラットフォームの例示用の概略図である。
【図２】図１のモバイルプラットフォームの変位を判定する方法の例示用の最上位フローチャートである。
【図３】図２の方法の例示用の実施形態の例示用のフローチャートであり、この場合には、フレームのペアがマッチングされている。
【図４】図３の方法の代替実施形態の別の例示用のフローチャートであり、この場合には、フレームの投影アレイが算出されている。
【図５】図３の方法の別の代替実施形態の別の例示用のフローチャートであり、この場合には、第２フレームの運動が計測されている。
【図６】図３の方法の代替実施形態の例示用の図であり、２つの画像をオーバーラップエリアとマッチングする例示用の方法を示している。
【図７】図３の代替実施形態を示す例示用の図であり、この場合に、第１フレームは、複数の特徴点を有する第２フレームとマッチングされている。
【図８】図７の方法の代替実施形態を示す例示用の図であり、この場合に、それぞれの特徴点は、類似性を算出することにより、マッチングされている。
【発明を実施するための形態】
【００５１】
添付図面は、縮尺が正確ではなく、且つ、類似の構造又は機能の要素は、一般に、図面の全体を通じて、例示を目的として同一の参照符号によって表されていることに留意されたい。又、添付図面は、好適な実施形態の説明の促進を意図したものに過ぎないことにも留意されたい。添付図面は、記述されている実施形態の全ての側面を示すものではなく、且つ、本開示の範囲を限定するものでもない。
【００５２】
現時点において入手可能な視覚システムは、条件によって制限されていることから、様々な条件において様々な高さにおける飛行コースにおいてモバイルプラットフォームの変位を計測することに伴う要件を充足しうるモバイルプラットフォーム及び方法は、望ましいことが証明可能であり、且つ、ＵＡＶシステム及びその他のモバイルプラットフォームなどのシステムの場合に、変位の正確な計測のための基礎を提供することができる。この結果は、図１に開示されている一実施形態に従って実現することができる。
【００５３】
図１は、モバイルプラットフォーム２００の例示用の概略図を示している。図１に示されているように、モバイルプラットフォーム２００は、モバイルプラットフォーム２００の変位ｄを検出することができる。撮像デバイス８８６が、ＵＡＶ２５０などのモバイルプラットフォーム２００上に設置されるものとして示されている。モバイルプラットフォーム２００が空中にある際には、図１に示されているように、撮像デバイス８８６は、グラウンドレベル８８０との関係において高さＨ及び角度αを有することができる。撮像デバイス８８６は、単眼撮像デバイス又は多眼撮像デバイスを有することができる。換言すれば、撮像デバイス８８６は、任意の適切な数のレンズを含むことができる。好ましくは、撮像デバイス８８６の１つのレンズは、（図２に示されている）対象の物体の第１及び第２フレーム８１１ａ、８１１ｂを取得するための選択された時点において使用することができる。グラウンドレベル８８０は、実際のグラウンド、水位、又は任意の構造を有するグラウンドであってもよい。撮像デバイス８８６は、図１に示されているように、レベル８８２に位置してもよく、このレベル８８２は、高さＨを有することができる。モバイルプラットフォーム２００は、グラウンドレベル８８０との関係において第１角度を有することが可能であり、且つ、撮像デバイス８８６は、モバイルプラットフォーム２００のプレーンとの関係において第２角度を有することができる。第１及び第２角度は、グラウンドレベル８８０との関係における撮像デバイス８８６の角度αとして組み合わせることができる。
【００５４】
幾つかの実施形態においては、高さＨは、（図示されていない）バロメータ２５１及び／又は超音波デバイス２５２によって取得することができる。角度αは、図５との関係において以下において図示及び記述されている方式により、（図示されていない）同時ローカリゼーション及びマッピング（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  Ａｎｄ  Ｍａｐｐｉｎｇ：ＳＬＡＭ）デバイスによって取得することができる。
【００５５】
図２は、（図１に集合的に示されている）モバイルプラットフォーム２００の変位ｄを検出する方法１００の例示用の実施形態を示している。図２の方法１００は、８１０において、第１フレーム８１１ａ及び第２フレーム８１１ｂを取得するステップを含むものとして示されている。モバイルプラットフォーム２００の変位ｄは、８５０において、第１及び第２ステレオスコープフレーム８１１ａ、８１１ｂに基づいて判定することができる。有利には、方法１００は、ＳＬＡＭと、バロメータ２５１及び／又は超音波デバイス２５２などの特定の高さ測定デバイスと、を有する単眼撮像システム８８６を使用することができる。
【００５６】
例示用の実施形態においては、画像の２つのフレーム８１１ａ、８１１ｂは、撮像デバイス８８６の移動経路に伴って第１時点及び第２時点という２つの異なる時点において取得することができる。幾つかの実施形態においては、第１フレーム８１１ａ及び第２フレーム８１１ｂは、ステレオスコープフレームであってもよい。好適な実施形態においては、２つのフレーム８１１ａ、８１１ｂは、少なくとも第１フレーム８１１ａ又は第２フレーム８１１ｂの既定のパーセンテージを有するオーバーラップ領域を有することができる。２つのフレーム８１１ａ、８１１ｂのオーバーラップ領域は、同一の物体を反映した２つのフレーム８１１ａ、８１１ｂ上の点として定義される。このようなオーバーラップ領域を保証するべく、少なくとも１つの物体が両方のフレーム８１１ａ、８１１ｂ上において反映されうるように、第１時点と第２時点との間の時間スパンを調節することができる。更には、撮像デバイス８８６は、オーバーラップを保証するべく、モバイルプラットフォーム２００との関係において静止状態において留まるか、或いは、低速で運動する。
【００５７】
２つのフレーム８１１ａ、８１１ｂを取得する際には、第１時点と第２時点との間の時間スパンは、１秒の６０分の１を下回ってもよく、且つ、１秒の２０分の１を上回らなくてもよい。時間スパンは、実際の用途又は状況の要件に依存しうる。例示用の例として、モバイルプラットフォーム２００が相対的に低速度で飛行している際には、時間スパンは、相対的に大きな値に設定されることが可能であり、その理由は、相対的に大きな時間スパンにおいても、２つのフレーム８１１ａ、８１１ｂの間のオーバーラップを保証することができるからである。その一方で、モバイルプラットフォーム２００の速度が、相対的に高速度において飛行している際には、時間スパンは、２つのフレーム８１１ａ、８１１ｂの間のオーバーラップを保証するべく、相対的に小さな値に設定することができる。
【００５８】
８５０においては、２つのフレーム８１１ａ、８１１ｂを使用することにより、モバイルプラットフォーム２００の変位を算出することができる。このような変位は、図３〜図５を参照して以下において図示及び記述されている方式に従って算出することができる。
【００５９】
方法１００を実装するシステムは、有利には、１メートル〜１００メートルという広い高さ範囲に適用可能であってもよく、且つ、任意の環境干渉に対して相対的に脆弱性が乏しくてもよい。更には、システムは、全地球測位システム（「ＧＰＳ」）信号に依存しておらず、従って、屋内環境などのＧＰＳ信号を欠いた環境において適用可能であってもよい。バロメータ及び単眼撮像デバイスは、モバイルプラットフォーム上において容易に設置可能であり、従って、小さなサイズのＵＡＶ上に設置するのに好適である。
【００６０】
図３は、方法１００の代替実施形態を示している。図３の方法１００においては、（図１に示されている）モバイルプラットフォーム２００の運動を算出することができる。図３に示されているように、８１０において、対象の物体の２つのフレーム８１１ａ、８１１ｂが取得された後に、８２０において、２つのフレーム８１１ａ、８１１ｂに基づいて、モバイルプラットフォーム２００の高さＨを算出することができる。好ましくは、モバイルプラットフォーム２００の高さは、バロメータ２５１及び／又は超音波デバイス２５２によって判定することができる。２つのフレーム８１１ａ、８１１ｂが取得された後に高さＨを取得するものとして図示及び記述されているが、モバイルプラットフォーム２００の高さＨは、第１フレーム８１１ａ及び／又は第２フレーム８１１ｂが取得される前、最中、又は後に、取得することもできる。
【００６１】
８３０において、第１フレーム８１１ａ上の（図６に示されている）特徴点３５５を第２フレーム８１１ａ、８１１ｂ上の特定の点にマッチングすることにより、第２フレーム８１１ｂを第１フレーム８１１ａにマッチングすることができる。本開示においては、２つのフレーム８１１ａ、８１１ｂは、２つのフレーム８１１ａ、８１１ｂのそれぞれの上部の同一の物体を反映した１つ又は複数の点が見出された際に、マッチングしている。換言すれば、同一の物体を反映した点が、２つのフレーム８１１ａ、８１１ｂ上のオーバーラップ領域を定義している。第１フレーム８１１ａ上の特徴点３５５は、対象の物体を反映した点のうちから選択することができる。このような物体は、例えば、建物、樹木、道路、川、又はその他のタイプの構造を含むことができる。好ましくは、物体は、安定した物体又は低速で運動する物体であってもよい。２つのフレーム８１１ａ、８１１ｂのマッチングに関する更なる詳細については、図４を参照し、以下において図示及び説明することとする。
【００６２】
８４０において、モバイルプラットフォーム２００の３つの平行運動及び３つの回転の形態の６つの運動を慣性計測ユニット（「ＩＭＵ」）によって計測することが可能であると共に／又は、２つのステレオスコープフレーム８１１ａ、８１１ｂによって推定することができる。３つの平行運動は、ｘ軸、ｙ軸、及びｚ軸のそれぞれに沿ったモバイルプラットフォーム２００の平行運動を含むことができる。３つの回転は、それぞれ、ｘ軸、ｙ軸、及びｚ軸を中心としたモバイルプラットフォーム２００の回転を含むことができる。回転は、任意の従来型の方式によって取得することができる。回転を取得するための１つの従来型の方式は、ＩＭＵ１５０の使用を含む。一実施形態においては、平行運動は、回転データに基づいて算出することが可能であり、これについては、図５を参照し、以下において図示及び説明する。６つの運動の算出に関する詳細は、図５を参照して以下において提供することとする。
【００６３】
８５０において、モバイルプラットフォーム２００の変位を判定している。取得されたら、例えば、回転及び平行運動を適用することにより、モバイルプラットフォーム２００の変位を算出することができる。幾つかの実施形態においては、平行運動を２つのフレーム８１１ａ、８１１ｂを取得するための時間スパンによって除算することにより、モバイルプラットフォーム２００の速度を算出することができる。別の例示用の実施形態においては、算出された変換アレイＴ及び第１フレーム８１１ａを取得するための時点におけるモバイルプラットフォームの場所情報に基づいて、一時点におけるモバイルプラットフォームの場所情報を取得することができる。この時点は、第２フレーム８１１ｂを取得するための時点であってもよい。
【００６４】
代替実施形態においては、８５０において、変位が判定された後に、画像の次のフレームを取得することが可能であり、且つ、システムは、新たに取得された１つ又は複数のフレームを算出するべく、プロセスを反復する。プロセスは、中断のない変位検出を実現するべく、繰り返し継続される。
【００６５】
図５は、方法１００の別の代替実施形態を示している。図５を参照すれば、２つのフレーム８１１ａ、８１１ｂのマッチングが示されている。図５に示されているように、２つのフレーム８１１ａ、８１１ｂは、８１０において、図１を参照して図示及び記述されている方法のうちのいずれかを介して取得することができる。図４は、方法１００が、８３０において、第２フレーム８１１ｂを第１フレーム８１１ａとマッチングしうる１つの例示用の方式を示している。図４を参照すれば、フレーム８１１ａ、８１１ｂは、複数の点から構成されており、且つ、これらの点のそれぞれは、ｘ、ｙ、及びｚ座標値によって表される。本明細書において記述されている２つのフレーム８１１ａ、８１１ｂは、撮像デバイス１００の移動経路と共に、異なる時点において取得することができる。
【００６６】
図４を参照すれば、８３２において、第１フレーム８１１ａ｛Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ｝に基づいて、ステレオスコープ点群を取得することができる。それぞれの点Ｐは、第１フレーム８１１ａの特徴点３５５である。ｘ−ｙプレーン内において、ステレオスコープ点群は、｛（ｘ１１，ｙ１１），（ｘ２１，ｙ２１），（ｘ３１，ｙ３１），．．．，（ｘｎ１，ｙｎ１）｝によって表すことができる。取得される特徴点３５５の数は、処理速度、フレームのサイズ、フレームの分解能のみならず、（図示されていない）プロセッサの計算能力などに基づいて変化する。本明細書において開示されている典型的な実施形態においては、点又はピクセルの数は、１００〜２００ピクセルという例示用の範囲内であってもよい。
【００６７】
８３４において、第２投影アレイを第２フレーム８１１ｂ｛（ｘ１２，ｙ１２），（ｘ２２，ｙ２２），（ｘ３２，ｙ３２），．．．，（ｘｍ２，ｙｍ２）｝内において算出することができる。第２投影アレイの点（ｘｉ２，ｙｉ２）のそれぞれは、第１フレーム８１１ｂのステレオスコープ点群の点Ｐｊ又は（ｘｊ１、ｙｊ１）に対応するｘ−ｙプレーン内において投影されたマッチングした点を表している。第２投影アレイのサイズは、群アレイ内の全ての点｛Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ｝が第２フレーム８１１ｂ上にマッチングされた場合には、群アレイのサイズと同一であってもよい。但し、大部分の場合に、第２投影アレイのサイズは、群アレイ｛Ｐ１，Ｐ２，Ｐ３，．．．，Ｐｎ｝のサイズ未満であり、その理由は、第１フレーム８１１ａの全ての点が第２フレーム８１１ｂ上にマッチングできるわけではないからである。第１フレーム８１１ａのステレオスコープ点群の第２フレーム８１１ｂに対するマッチングは、２つの点の類似性を判定するべく３×３ピクセルが比較される図６〜図８を参照して記述されている方法１００によって実現することができる。
【００６８】
次に図５を再度参照すれば、方法１００が、８４０において、第２フレーム８１１ｂの運動を計測しうる例示用の方式が示されている。図５の８４２において、（図示されていない）ＩＭＵ１５０は、プロセッサ（図示されてはいない）に伝達されうる回転計測値を計測するように構成されうる。回転計測値は、３次元アレイＲによって表すことができる。回転計測値アレイＲにより、第１フレーム８１１ａのステレオスコープ点群アレイと第２フレーム８１１ｂの投影点アレイとの間の関係は、次式のように表すことが可能であり、
【数７】
0006333396.tif 000008
式（６）
ここで、Ｒは、回転計測値を表す３次元アレイであり、Ｐｊは、第１フレーム８１１ａの点であり、Ｔは、計算対象の第２フレーム８１１ｂの平行運動の３次元アレイを表しており、且つ、μは、係数として機能するランダム数である。
【００６９】
ＩＭＵによって計測される相対的な回転アレイの精度の保証を支援するべく、第１フレーム８１１ａが取得されうる第１時点と第２フレーム８１１ｂが取得されうる第２時点との間のインターバルは、相対的に短いものであってもよい。第１フレーム８１１ａと第２フレーム８１１ｂの間の時間インターバルは、通常、図２を参照して記述されているように、実際の用途の要件に応じて、２０分の１秒〜６０分の１秒の範囲であってもよい。
【００７０】
式６においては、３つの未知数（Ｔｘ，Ｔｙ，Ｔｚ）が存在しており、従って、数学的原理により、３つの未知数を有する算出された変換アレイＴを一緒に解くには、８４４において、３つの式が必要となりうる。但し、投影点のそれぞれは、ｘｉ及びｙｉという形態の２つの値しか有していない。従って、算出された変換アレイＴ内の３つの未知数を解決するために、２つのこのような点について利用可能な４つの式のうちの３つの式を結合することができる。
【００７１】
実際の用途においては、第１フレーム８１１ａと第２フレーム８１１ｂとの間の点をマッチングする際の誤差及び不正確性に起因し、算出された変換アレイＴは、不正確である可能性がある。８４６において、算出された変換アレイＴを式６に導入すると共に計算することにより、式中において定義された関係に準拠した点の数を判定することができる。次いで、８４４において、算出された変換アレイＴを解く際に、点の別のペアを使用することが可能であり、これは、次いで、８４６において式６の関係に準拠した点の数の判定の計算に使用することができる。このプロセスは、既定数の点のペアについて反復することが可能であり、且つ、この結果は、それぞれの変換アレイごとの式６に準拠した幾つかの点によって伴われる既定数の算出された変換アレイＴであってもよい。
【００７２】
８４５において、準拠した点の数を算出された変換アレイＴの間において比較することができる。最大数の準拠した点を有する算出された変換アレイＴを選択することができる。図４を参照して記述されているプロセスを繰り返し反復することにより、連続的な変位検出を実行することができる。
【００７３】
図６は、第２フレーム８１１ｂの点を第１フレーム８１１ａの対応する点３５５とマッチングする方法３００の例示用の実施形態を示している。図６においては、３×３ピクセルブロックが、フレーム８１１ａ、８１１ｂのそれぞれからの中心における比較対象の点と共に、取得されている。第１及び第２フレーム８１１ａ及び８１１ｂがカラー画像である際には、３×３ピクセルブロックのそれぞれのピクセルごとに、色成分の値を比較することができる。逆に、フレーム８１１ａ及び８１１ｂが白黒画像である際には、それぞれのピクセルのグレースケール値を比較することができる。式５に基づいて、全ての９つのピクセルの値の差の最小合計を有する点をマッチング点として選択することができる。このプロセスは、第１フレーム８１１ａ上の全ての選択された特徴点について反復することができる。
【００７４】
或いは、この代わりに、第２フレーム８１１ｂの点を第１フレーム８１１ａの対応する点３５５とマッチングさせるべく、二値安定独立基本特徴（「ＢＲＩＥＦ」）記述子を使用する方法を使用することもできる。例示用の実施形態においては、領域のそれぞれの点ペアの強度を比較することにより、第１フレーム８１１ａの選択された特徴点の周りの第１領域を表す第１二値ストリングを構築することができる。第１二値ストリングは、第１フレーム８１１ａの選択された特徴点の第１ＢＲＩＥＦ記述子であってもよい。
【００７５】
同様に、第２領域のそれぞれの点ペアの強度を比較することにより、第２フレーム８１１ｂの点３５５の周りの第２領域を表す第２二値ストリングを構築することができる。第２二値ストリングは、第２ＢＲＩＥＦ記述子であってもよい。
【００７６】
第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離を比較することにより、第１フレーム８１１ａの選択された特徴点と第２フレーム８１１ｂの点３５５との間における類似性を算出することができる。第１ＢＲＩＥＦ記述子と第２ＢＲＩＥＦ記述子との間のハミング距離が第１ハミング閾値未満である際に、第２フレーム８１１ｂの点３５５を第１フレーム８１１ａの選択された特徴点とマッチングするものとして判定することができる。
【００７７】
次に図７を参照すれば、対象の物体１９８の特徴点３５５を介して不一致ｄを取得する方法３００の例示用の実施形態が示されている。９２２において、対象の物体１９８上の複数の特徴点３５５を選択することができる。特徴点３５５は、様々な異なる方法のうちの１つ又は複数を使用することにより、選択することができる。例示用の一実施形態においては、特徴点３５５は、対象の物体１９８の予め定義された形状として識別することができる。別の実施形態においては、特徴点３５５は、特定の色又は強度を有する対象の物体１９８の１つ又は複数の部分として認識することができる。別の実施形態においては、特徴点３５５は、対象の物体１９８のランダムな部分として選択することができる。別の実施形態においては、特徴点３５５は、例えば、ピクセルごと、１つ飛ばしのピクセルごと、２つ飛ばしのピクセルごと、３つ飛ばしのピクセルごとなどのように、対象の物体１９８上において規則的に離隔したインターバルで選択することができる。特徴点３５５は、必要に応じて、変化する形状及びサイズを有することができる。幾つかの実施形態においては、上述の方法の組合せを使用することにより、特徴点３５５を選択することができる。
【００７８】
９２４において、選択された特徴点３５５を第１フレーム８１１ａから第２フレーム８１１ｂ上にマッチングすることができる。好適な実施形態においては、特徴点３５５のマッチングは、図８に示されているように、２つの手順から構成されている。図８の９２４Ａにおいて、第１フレーム８１１ａの特徴点３５５を選択することができる。算出された点から始まって、且つ、２つのフレーム８１１ａ、８１１ｂを捕えるために使用されるレンズ（図示されていない）のセンタリングされたラインに平行なラインに沿って、マッチング点をスキャニングすることができる。第１フレーム８１１ａ上の点の座標に基づいて、マッチング開始点を算出することができる。好ましくは、選択されたラインに沿った１つの方向のみに限定されているが、スキャニングは、１つ又は複数の既定の方向のうちのいずれかにおいて実行することができる。
【００７９】
９２４Ｂにおいて、それぞれの点ごとにスキャニングしている間に、図６を参照して本明細書において詳細に先程図示及び記述された方式により、２つの点の間において類似性が算出され、且つ、第１フレーム８１１ａの特徴点３５５との間の差の最小合計を有する第２フレーム８１１ｂの点３５５を選択された特徴点３５５に対応するマッチング点として選択することができる。
【００８０】
図７を再度参照すれば、９２６において、２つのフレーム８１１ａ及び８１１ｂのそれぞれの特徴点３５５の間の特徴不一致ｄを見出すことができる。様々な方法のうちのいずれかを使用することにより、不一致ｄを判定することができる。一実施形態においては、不一致ｄは、特徴点３５５のそれぞれごとの不一致ｄの平均値に基づいて見出すことができる。例示用の平均値のタイプは、限定を伴うことなしに、数値平均、幾何学平均、メジアン、及び／又はモードを含むことができる。別の実施形態においては、不一致ｄは、特徴点３５５のうちの１つ又は複数を選択すると共に選択された特徴点３５５に基づいて不一致ｄを取得することにより、見出すことができる。
【００８１】
記述されている実施形態には、様々な変更及び代替形態が可能であり、且つ、これらの具体的な例は、例示を目的として、図面に図示され、且つ、本明細書において詳述されている。但し、記述されている実施形態は、開示されている特定の形態又は方法に限定されるものではなく、逆に、本開示は、全ての変更、均等物、及び代替肢を含むことを理解されたい。
【図１】
0006333396.tif 000015
【図２】
0006333396.tif 000016
【図３】
0006333396.tif 000017
【図４】
0006333396.tif 000018
【図５】
0006333396.tif 000019
【図６】
0006333396.tif 000020
【図７】
0006333396.tif 000021
【図８】
0006333396.tif 000022