(57)【特許請求の範囲】
【請求項１】
深度点線特徴に基づくドローン視覚走行距離計方法であって、
深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得するステップＳ１と、
深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換するステップＳ２と、
視覚的画像の線特徴を抽出するステップＳ３と、
平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出するステップＳ４と、
抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定するステップＳ５と、
推定した移動の姿勢について局所的最適化を行い、姿勢を出力するステップＳ６と、を含む、ことを特徴とする深度点線特徴に基づくドローン視覚走行距離計方法。
【請求項２】
ステップＳ２は、具体的には、
視覚的画像をグレースケールに変換してグレースケール画像を得て、グレースケール画像についてガウシアンピラミッドを作成し、ガウシアンピラミッドの各層の画像のスケール因子に従って各層の画像の特徴点の数を決定し、特徴点の数に応じてキーポイントを抽出するステップＳ２０１と、
グレースケール重心法を利用して、以下の計算式
【数１１】
0006852936.tif 000012
（式中、ｆはグレースケール値であり、画素グレースケール値がしきい値Ｔ未満である場合、０であり、しきい値Ｔよりも大きい場合、ｆである。）によりキーポイントの重心画素座標を算出するステップＳ２０２と、
キーポイントのＢＲＩＥＦ記述子を算出して、ＢＲＩＥＦ記述子を用いて特徴点を並べ替え、ＢＲＩＥＦ記述子の算出過程としては、Ｐをキーポイントとして、キーポイントＰの周囲からＮ個の点対を選択し、Ｎ個の点対をＰ１（Ａ,Ｂ）、Ｐ２（Ａ,Ｂ）、ＰＮ（Ａ,Ｂ）として組み合わせて記述子とし、ここで、Ａ及びＢは１つの点対の２つの画素点を表し、ＡのグレースケールがＢよりも大きい場合、値が１であり、逆の場合は、０であるステップＳ２０３と、
深度カメラを用いて測定した視覚的画像の深度を利用して、キーポイントの画素座標を三次元座標に変換するステップＳ２０４と、を含む、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
【請求項３】
ステップＳ３の線特徴の抽出は、具体的には、
線分検出器ＬＳＤで視覚的画像のグレースケール図についてリニアカットを行い、視覚的画像上の線分Ｓ＝｛Ｓｉ,ｉ＝１,２,３,…,｝（ここで、Ｓｉ＝［Ａｉ,Ｂｉ］、Ａｉ、Ｂｉはそれぞれ線分の２つの端点の画素座標である。）を抽出するステップＳ３０１と、
サンプリング点の数を設定して、線分Ｓについてサンプリングし、サンプリングにより得られた点を対応する深度及びカメラの内部パラメータ行列で空間三次元座標に変換し、ここで、サンプリング点の数はｎ
【数１２】
0006852936.tif 000013
Ｓ長さ以下の最大整数である、ステップＳ３０２と、
ランダムサンプリング一貫性方法でサンプリング点のうちの誤差点を除去し、誤差点を除去された点集合を得てｎ’とし、点集合ｎ’のうちの点について直線フィッティングを行い、点集合ｎ’における点を選択してフィッティング直線までのマハラノビス距離を算出し、最適３Ｄ点を得て、最適３Ｄ点を用いて直線をフィッティングするステップＳ３０３と、を含む、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
【請求項４】
マハラノビス距離の式を用いて最適３Ｄ点を得ることは、具体的には、
点集合ｎ’における点の数と元のサンプリング点の数との比が所定のしきい値よりも大きい場合、サンプリング点のマハラノビス距離を、計算式
【数１３】
0006852936.tif 000014
Ｑ＝Ａ＋ω（Ｂ−Ａ）をマハラノビス距離の計算式に代入し、
【数１４】
0006852936.tif 000015
ωの最適解を代入すると、マハラノビス距離の最適解を得る、ことを特徴とする請求項３に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
【請求項５】
ステップＳ４の前記平均視差法は、現在の視覚的画像フレームと前のキーフレームの前に追跡した特徴点の平均視差がしきい値Ｔを超えると、現在の視覚的画像フレームを新しいキーフレームとすることであり、
前記質量追跡法は、現在の視覚的画像フレームが追跡する特徴点の数が所定の数のしきい値未満であると、現在の視覚的画像フレームをキーフレームとして設定することである、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
【請求項６】
ステップＳ５では、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定することは、具体的には、
マッチング中、線特徴が検出されておらず、点特徴だけが検出された場合、検出された点を３Ｄ点に変換して、ＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、特徴点が検出されておらず、線特徴だけが検出された場合、検出された線から点をランダムに選択し、選択された点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、点特徴と線特徴の両方が検出された場合、検出した点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、を含む、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
【請求項７】
ステップＳ６では、前記推定した移動の姿勢について局所的最適化を行う際に、スライドウィンドウの姿勢図を用いて最適化を行い、具体的には、スライドウィンドウのサイズをＭフレーム（Ｍは正整数）とし、Ｍフレームの姿勢に対して局所的な非線形最適化を行うたびに、最小二乗モデルを作成し、深度カメラの観察画素値、内部パラメータ行列を用いて、レーベンバーグ・マルカート法により最適姿勢を求める、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット視覚の技術分野に関し、より具体的には、深度点線特徴に基づくドローン視覚走行距離計方法に関する。
【背景技術】
【０００２】
ロボットは、ＧＰＳのない未知の環境では、センサ（例えばレーザ、カメラなど）を通じて収集した距離や画像などの情報に基づいてロボットの移動を推定し地図を作成することによって、未知の区域で自由に移動することができ、それは、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）である。ここ数十年の間、ＳＬＡＭはロボットの分野で最も盛んに研究されており、軍事や民間用のさまざまな分野、たとえばロボット掃除機、グリッド巡視・監督用ドローンなどに使用されている。センサによってレーザＳＬＡＭと視覚ＳＬＡＭに分けられる。視覚ＳＬＡＭでは、たとえば、ＯＲＢ  ＳＬＡＭ（特徴点検出手法の代表例）、ＶＩＮＳ−ＭＯＮＯ（オプティカルフロー法による追跡及びＩＭＵ融合）、ＲＧＢＤ  ＳＬＡＭなど、多くの優れたアルゴリズムがオープンソースになっている。
【０００３】
レーザＳＬＡＭは、現在非常に成熟しており、広く実用されている。ただし、レーザＳＬＡＭに比べて、視覚ＳＬＡＭはカメラが低価であり、より多くの情報を収集できることから、研究者たちの注目を集めているが、もちろん、視覚的画像には多くの無用な情報があることにより、処理の難度を上げ、大量の計算資源をしめてしまう。特徴点に基づくＳＬＡＭは、特徴点の算出に時間がかかるため、実際にはあまり適用されていない。従来の特徴点に基づくＳＬＡＭアルゴリズムでは、カメラで抽出された特徴点が外部環境の影響（たとえば、動的環境、明らかな光の変化がある屋外、特徴点の少ない平坦な壁や天井など）を受けるため、システムによる特徴点追跡が失敗しやすく、誤マッチングや特徴ロスの状況がよくあり、その結果、ＳＬＡＭシステム全体の精度が低下し、深刻な場合は作動できなくなる。
【０００４】
現在、特徴点の少ないシーンや高速移動の場合は、ドローンに特徴の誤マッチング、特徴点ロスという欠陥が発生しやすく、その結果、姿勢推定の正確性が不十分になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、特徴点の少ないシーンや高速移動の場合は、ドローンに特徴の誤マッチング、特徴点ロスにより、姿勢推定の正確性が不十分になるという上記従来技術の欠点を解決するために、深度点線特徴に基づくドローン視覚走行距離計方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の第１の目的は、上記技術的課題を解決することであり、本発明の技術案は、以下のとおりである。
【０００７】
深度点線特徴に基づくドローン視覚走行距離計方法であって、
深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得するステップＳ１と、
深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換するステップＳ２と、
視覚的画像の線特徴を抽出するステップＳ３と、
平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出するステップＳ４と、
抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定するステップＳ５と、
推定した移動の姿勢について局所的最適化を行い、姿勢を出力するステップＳ６と、を含む。
【０００８】
さらに、ステップＳ２は、具体的には、
視覚的画像をグレースケールに変換してグレースケール画像を得て、グレースケール画像についてガウシアンピラミッドを作成し、ガウシアンピラミッドの各層の画像のスケール因子に従って各層の画像の特徴点の数を決定し、特徴点の数に応じてキーポイントを抽出するステップＳ２０１と、
グレースケール重心法を利用して、以下の計算式
【数１】
0006852936.tif 000002
（式中、ｆはグレースケール値であり、画素グレースケール値がしきい値Ｔ未満である場合、０であり、しきい値Ｔよりも大きい場合、ｆである。）によりキーポイントの重心画素座標を算出するステップＳ２０２と、
キーポイントのＢＲＩＥＦ記述子を算出して、ＢＲＩＥＦ記述子を用いて特徴点を並べ替え、ＢＲＩＥＦ記述子の算出過程としては、Ｐをキーポイントとして、キーポイントＰの周囲からＮ個の点対を選択し、Ｎ個の点対をＰ１（Ａ,Ｂ）、Ｐ２（Ａ,Ｂ）、ＰＮ（Ａ,Ｂ）として組み合わせて記述子とし、ここで、Ａ及びＢは１つの点対の２つの画素点を表し、ＡのグレースケールがＢよりも大きい場合、値が１であり、逆の場合は、０であるステップＳ２０３と、
深度カメラを用いて測定した視覚的画像の深度を利用して、キーポイントの画素座標を三次元座標に変換するステップＳ２０４と、を含む。
【０００９】
さらに、ステップＳ３の線特徴の抽出は、具体的には、
線分検出器ＬＳＤで視覚的画像のグレースケール図についてリニアカットを行い、視覚的画像上の線分Ｓ＝｛Ｓｉ,ｉ＝１,２,３,…,｝（ここで、Ｓｉ＝［Ａｉ,Ｂｉ］、Ａｉ、Ｂｉはそれぞれ線分の２つの端点の画素座標である。）を抽出するステップＳ３０１と、
サンプリング点の数を設定して、線分Ｓについてサンプリングし、サンプリングにより得られた点を対応する深度及びカメラの内部パラメータ行列で空間三次元座標に変換し、ここで、サンプリング点の数はｎ
【数２】
0006852936.tif 000003
Ｓ長さ以下の最大整数である、ステップＳ３０２と、
ランダムサンプリング一貫性方法でサンプリング点のうちの誤差点を除去し、誤差点を除去された点集合を得てｎ’とし、点集合ｎ’のうちの点について直線フィッティングを行い、点集合ｎ’における点を選択してフィッティング直線までのマハラノビス距離を算出し、最適３Ｄ点を得て、最適３Ｄ点を用いて直線をフィッティングするステップＳ３０３と、を含む。
【００１０】
さらに、マハラノビス距離の式を用いて最適３Ｄ点を得ることは、具体的には、
誤差を除去されたサンプリング点の数と元のサンプリング点の数との比が所定のしきい値よりも大きい場合、サンプリング点のマハラノビス距離を、計算式
【数３】
0006852936.tif 000004
Ｑ＝Ａ＋ω（Ｂ−Ａ）をマハラノビス距離の計算式に代入し、
【数４】
0006852936.tif 000005
ωの最適解を代入すると、マハラノビス距離の最適解を得る。
【００１１】
さらに、ステップＳ４の前記平均視差法は、現在の視覚的画像フレームと前のキーフレームの前に追跡した特徴点の平均視差がしきい値Ｔを超えると、現在の視覚的画像フレームを新しいキーフレームとすることであり、
前記質量追跡法は、現在の視覚的画像フレームが追跡する特徴点の数が所定の数のしきい値未満であると、現在の視覚的画像フレームをキーフレームとして設定することである。
【００１２】
さらに、ステップＳ５では、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定することは、具体的には、
マッチング中、線特徴が検出されておらず、点特徴だけが検出された場合、検出された点を３Ｄ点に変換して、ＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、特徴点が検出されておらず、線特徴だけが検出された場合、検出された線から点をランダムに選択し、選択された点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、点特徴と線特徴の両方が検出された場合、検出した点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、を含む。
【００１３】
さらに、ステップＳ６では、前記推定した移動の姿勢について局所的最適化を行う際に、スライドウィンドウの姿勢図を用いて最適化を行い、具体的には、スライドウィンドウのサイズをＭフレーム（Ｍは正整数）とし、Ｍフレームの姿勢に対して局所的な非線形最適化を行うたびに、最小二乗モデルを作成し、深度カメラの観察画素値、内部パラメータ行列を用いて、レーベンバーグ・マルカート法により最適姿勢を求める。
【発明の効果】
【００１４】
従来技術に比べて、本発明の技術案の有益な効果は以下のとおりである。
本発明では、視覚的画像の点特徴と線特徴をそれぞれ抽出し、点特徴と線特徴のマッチングに応じてキーフレームを選択することにより、特徴点の少ないシーンや高速移動の場合は、ドローンに特徴の誤マッチング、特徴点ロスにより、姿勢の推定の正確性が不十分になるという上記従来技術の欠点を解決し、姿勢推定の正確性を高める。
【図面の簡単な説明】
【００１５】
【図１】本発明の方法のフローチャートである。
【発明を実施するための形態】
【００１６】
本発明の上記目的、特徴及び利点をより明瞭に理解できるように、以下、図面及び特定の実施形態を参照しながら本発明をさらに詳細に説明する。なお、矛盾しない限り、本願の実施例及び実施例における特徴を互いに組み合わせることができる。
【００１７】
以下の説明において、本発明を十分に理解するために多くの詳細を記載するが、本発明はここで説明するものと異なる別の形態で実施してもよく、したがって、本発明の特許範囲は以下で開示する特定の実施例により制限されない。
【００１８】
実施例１
図１に示すように、深度点線特徴に基づくドローン視覚走行距離計方法は、ステップＳ１〜Ｓ６を含む。
【００１９】
Ｓ１：深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得する。
特定の実施例では、ｒｏｓ（ロボット操作システム）のｃａｍｅｒａ＿ｃａｌｉｂｒａｔｉｏｎ機能パケットを用いて深度カメラのキャリブレーションを行い、カメラの内部パラメータ行列（ｆｘ、ｆｙ、ｃｘ、ｃｙ）及び外部パラメータ（歪み係数）を取得する。
【００２０】
Ｓ２：深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換する。
より具体的には、ステップＳ２は、具体的には、ステップＳ２０１〜Ｓ２０４を含む。
Ｓ２０１：視覚的画像をグレースケールに変換してグレースケール画像を得て、グレースケール画像についてガウシアンピラミッドを作成し、ガウシアンピラミッドの各層の画像のスケール因子に従って各層の画像の特徴点の数を決定し、特徴点の数に応じてキーポイントを抽出する。
なお、特定の実施例では、前記ガウシアンピラミッドは７層、前記キーポイントはｆａｓｔキーポイントであるようにしてもよい。
Ｓ２０２：グレースケール重心法を利用して、計算式
【数５】
0006852936.tif 000006
（式中、ｆはグレースケール値であり、画素グレースケール値がしきい値Ｔ未満である場合、０であり、しきい値Ｔよりも大きい場合、ｆである。）によりキーポイントの重心画素座標を算出する。
Ｓ２０３：キーポイントのＢＲＩＥＦ記述子を算出して、ＢＲＩＥＦ記述子を用いて特徴点を並べ替え、密集点を削除して、特徴点を均一に分布させ、マッチングを行う。記述子を算出する際に、具体的には、Ｐをキーポイントとして、キーポイントＰの周囲からＮ個の点対を選択し、Ｎ個の点対を、Ｐ１（Ａ,Ｂ）、Ｐ２（Ａ,Ｂ）、ＰＮ（Ａ,Ｂ）として組み合わせて記述子とし、ここで、Ａ及びＢは１つの点対の２つの画素点を表し、ＡのグレースケールがＢよりも大きい場合、値が１であり、逆の場合は、０である。
Ｓ２０４：深度カメラを用いて測定した視覚的画像の深度を利用して、キーポイントの画素座標を三次元座標に変換する。計算式は以下に示される。
【数６】
0006852936.tif 000007
（式中、ｕは画素の横座標、ｖは画素の縦座標、ｄは視覚的画像の深度、Ｐはキーポイントを表し、（ｆｘ、ｆｙ、ｃｘ、ｃｙ）は深度カメラの内部パラメータ行列である。）
【００２１】
Ｓ３：視覚的画像の線特徴を抽出する。
ステップＳ３の線特徴の抽出は、具体的には、
線分検出器ＬＳＤで視覚的画像のグレースケール図についてリニアカットを行い、視覚的画像上の線分Ｓ＝｛Ｓｉ,ｉ＝１,２,３,…,｝（ここで、Ｓｉ＝［Ａｉ,Ｂｉ］、Ａｉ、Ｂｉはそれぞれ線分の２つの端点の画素座標である。）を抽出するステップＳ３０１と、
サンプリング点の数を設定して、線分Ｓについてサンプリングし、サンプリングにより得られた点を対応する深度及びカメラの内部パラメータ行列で空間三次元座標に変換し、ここで、サンプリング点の数はｎ
【数７】
0006852936.tif 000008
Ｓ長さ以下の最大整数である、ステップＳ３０２と、
ランダムサンプリング一貫性方法でサンプリング点のうちの誤差点を除去し、誤差点を除去された点集合を得てｎ’とし、点集合ｎ’のうちの点について直線フィッティングを行い、点集合ｎ’における点を選択してフィッティング直線までのマハラノビス距離を算出し、最適３Ｄ点を得て、最適３Ｄ点を用いて直線をフィッティングするステップＳ３０３と、を含む。
さらに、マハラノビス距離の式を用いて最適３Ｄ点を得ることは、具体的には、
誤差を除去されたサンプリング点の数と元のサンプリング点の数との比が所定のしきい値よりも大きい場合、サンプリング点のマハラノビス距離を、計算式
【数８】
0006852936.tif 000009
Ｑ＝Ａ＋ω（Ｂ−Ａ）をマハラノビス距離の計算式に代入し、
【数９】
0006852936.tif 000010
ωの最適解を代入すると、マハラノビス距離の最適解を得る。
【００２２】
Ｓ４：平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出する。
ステップＳ４の前記平均視差法は、現在の視覚的画像フレームと前のキーフレームの前に追跡した特徴点の平均視差がしきい値Ｔを超えると、現在の視覚的画像フレームを新しいキーフレームとすることであり、
前記質量追跡法は、現在の視覚的画像フレームが追跡する特徴点の数が所定の数のしきい値未満であると、現在の視覚的画像フレームをキーフレームとして設定することである。
【００２３】
Ｓ５：抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定する。
ステップＳ５では、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定することは、具体的には、
マッチング中、線特徴が検出されておらず、点特徴だけが検出された場合、検出された点を３Ｄ点に変換して、ＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、特徴点が検出されておらず、線特徴だけが検出された場合、検出された線から点をランダムに選択し、選択された点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、点特徴と線特徴の両方が検出された場合、検出した点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、を含む。
【００２４】
Ｓ６：推定した移動の姿勢について局所的最適化を行い、姿勢を出力する。
より具体的には、ステップＳ６では、前記推定した移動の姿勢について局所的最適化を行う際に、スライドウィンドウの姿勢図を用いて最適化を行い、具体的には、スライドウィンドウのサイズをＭフレーム（Ｍは正整数）とし、Ｍフレームの姿勢に対して局所的な非線形最適化を行うたびに、最小二乗モデルを作成し、深度カメラの観察画素値、内部パラメータ行列を用いて、レーベンバーグ・マルカート法により最適姿勢を求める。
【００２５】
たとえば、現在のキーフレームのシーケンスが｛ｋ１,ｋ２,…,ｋ１０｝である場合、キーフレームｋ１１が追加されると、最も前のフレームｋ１を捨てて、そうすると、スライドウィンドウのフレームシーケンスは｛ｋ２,ｋ３,…,ｋ１１｝になり、この１０フレームの姿勢について局所的非線形最適化を行うたびに、
最小二乗モデル
【数１０】
0006852936.tif 000011
ｋはステップ１でキャリブレーションされたカメラの内部パラメータ行列であり、ξは求める姿勢のリー代数表現である。）を作成し、レーベンバーグ・マルカート法により最適姿勢を求める。
【００２６】
もちろん、本発明の上記実施例は、本発明を明瞭に説明するために例示するものに過ぎず、本発明の実施形態を限定するものではない。当業者であれば、上記説明に基づいてさまざまな形態の変化や変更を行うことができる。ここでは、すべての実施形態を挙げる必要がなく、またすべての実施形態を挙げることが不可能なことである。本発明の主旨及び原則を逸脱することなく行われるすべての修正、等同な置換や改良などは、本発明の特許請求の範囲の特許範囲に含まれるものとする。
【要約】      （修正有）【課題】深度点線特徴に基づくドローン視覚走行距離計方法を提供する。【解決手段】ドローン視覚走行距離計方法は、深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得するステップＳ１と、深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換するステップＳ２と、視覚的画像の線特徴を抽出するステップＳ３と、平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出するステップＳ４と、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定するステップＳ５と、推定した移動の姿勢について局所的最適化を行い、姿勢を出力するステップＳ６と、を含む。本発明は、ドローンの姿勢推定の正確度を高める。【選択図】図１【図１】
0006852936.tif 000016