(57)【要約】  マイクロレンズアレイを有する立体撮像装置の基準線を設定するためのシステム、および同システムを作成する、および用いるための複数の方法。システムは、マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得し、取得された被写体距離に基づき、マイクロレンズアレイから第１レンズおよび第２レンズを選択する。システムは同様に、撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行し得る。一実施形態において、システムは、マイクロレンズアレイにより、第１立体フレームおよび第２立体フレームを取得し得る。システムはそれにより、慣性測定ユニット（ＩＭＵ）により第２立体フレームの複数の回転を測定し得、回転データを第１立体フレームおよび第２立体フレームと組み合わせることにより、第１立体フレームおよび第２立体フレームのマッチングを行い得る。システムはそれにより、複数のＳＬＡＭシステムの、より的確な、およびより実際的な様々な屋内および／または屋外環境における実行を可能とし得る。
2017511495.tif 000002
【特許請求の範囲】
【請求項１】
マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、
前記マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、
前記被写体距離を取得する前記ステップに基づき前記マイクロレンズアレイから２つのレンズを動的に選択するステップと
を備える方法。
【請求項２】
前記２つのレンズを動的に選択する前記ステップは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップを有する、請求項１に記載の方法。
【請求項３】
前記被写体距離を取得する前記ステップは、前記マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を繰り返し取得するステップを有し、
前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択する前記ステップは、前記変化する被写体距離を繰り返し取得する前記ステップに基づく、請求項２に記載の方法。
【請求項４】
前記第１レンズおよび前記第２レンズを選択する前記ステップに基づき前記基準線を設定するステップをさらに備える、請求項２または請求項３に記載の方法。
【請求項５】
前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を自動的に調節するステップをさらに備える、請求項４に記載の方法。
【請求項６】
前記被写体距離を取得する前記ステップは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得するステップと、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得するステップと、
前記第１画像と前記第２画像との間の両眼視差を決定するステップと
を有し、
前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップに基づき前記被写体距離を計算するステップを有する、請求項２に記載の方法。
【請求項７】
前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップの前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するステップをさらに有する、請求項６に記載の方法。
【請求項８】
前記被写体距離を取得する前記ステップは、
前記第１画像上の複数の特徴点を取得するステップと、
前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うステップと
を有する、請求項６または請求項７に記載の方法。
【請求項９】
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、請求項８に記載の方法。
【請求項１０】
前記両眼視差を決定する前記ステップは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するステップを含む、請求項８または請求項９に記載の方法。
【請求項１１】
前記複数の特徴点のマッチングを行う前記ステップは、
前記第２画像を走査して、前記第１画像の選択された特徴点に一致している前記第２画像の点を識別するステップと、
前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するステップと
を含む、請求項８から１０の何れか一項に記載の方法。
【請求項１２】
前記類似性を計算する前記ステップは、前記第１画像の前記選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するステップを含む、請求項１１に記載の方法。
【請求項１３】
３×３画素のエリアを比較する前記ステップは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するステップを含む、請求項１２に記載の方法。
【請求項１４】
前記被写体距離を取得する前記ステップは、
前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定するステップと、
複数の前記特徴距離を用いて前記被写体距離を決定するステップと
をさらに有する、前記請求項の何れか一項に記載の方法。
【請求項１５】
前記被写体距離を決定する前記ステップは、前記複数の特徴距離の平均に基づき前記被写体距離を取得するステップを含む、請求項１４に記載の方法。
【請求項１６】
前記被写体距離を決定する前記ステップは、前記複数の特徴点のうち１または複数を選択するステップと、選択された前記特徴点の前記特徴距離に基づき前記被写体距離を取得するステップとを含む、請求項１４または請求項１５に記載の方法。
【請求項１７】
前記特徴点を選択する前記ステップは、前記マイクロレンズアレイに最も近い予め定められた割合の複数の特徴点を選択するステップと、前記マイクロレンズアレイから最も遠い選択された前記特徴点の前記特徴距離として前記被写体距離を取得するステップとを含む、請求項１６に記載の方法。
【請求項１８】
前記２つのレンズを動的に選択する前記ステップは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定するステップと、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算するステップと、
予め定められたレベルより大きい視差を確かなものにしながら最小基準線により選択するステップと
を有する、前記請求項の何れか一項に記載の方法。
【請求項１９】
前記第１レンズおよび前記第２レンズを選択する前記ステップは、
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは前記被写体距離であり、ｆは、前記複数の選択されたレンズの前記修正された焦点距離であり、Ｔは、２つの最も近いレンズ間の前記基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定するステップと、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は前記視差である］により利用可能な複数の基準線の範囲を計算するステップと、
前記視差ｄ＞１０の関係が満たされることを確保しながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択するステップと
を含む、請求項２から１８の何れか一項に記載の方法。
【請求項２０】
前記第１レンズおよび前記第２レンズを選択する前記ステップは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくするステップを含む、請求項２から１９の何れか一項に記載の方法。
【請求項２１】
前記基準線の前記自動調節の後に前記立体画像化システムの複数の外部パラメータを較正するステップをさらに備える、請求項５に記載の方法。
【請求項２２】
較正する前記ステップは、前記立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを較正するステップを有する、請求項２１に記載の方法。
【請求項２３】
較正する前記ステップは、前記２つのレンズを選択する前記段階に従って、複数の前記並進に関する外部パラメータを最初に較正するステップを有する、請求項２２に記載の方法。
【請求項２４】
較正する前記ステップは、最初に較正する前記段階の後に、前記外部パラメータを較正して前記外部パラメータを最適化するステップをさらに有する、請求項２３に記載の方法。
【請求項２５】
前記立体画像化システムは、モバイルプラットフォームに乗せて設置され、自動的に調節する前記ステップは、前記モバイルプラットフォームの移動モードに依存する、請求項５から２３の何れか一項に記載の方法。
【請求項２６】
前記モバイルプラットフォームは無人航空機（ＵＡＶ）であり、前記移動モードは前記ＵＡＶの飛行モードである、請求項２４に記載の方法。
【請求項２７】
請求項１から２６の何れか一項に従って自動的な基準線調節を実行するよう構成された、立体画像化システム。
【請求項２８】
請求項１から２６の何れか一項に従って、マイクロレンズアレイを有する立体画像化システムの基準線を自動的に調節するための複数の命令を備える、コンピュータプログラムプロダクト。
【請求項２９】
個別に、または１または複数の他のレンズとの組み合わせで画像を取得するようそれぞれが構成された複数のレンズを有するマイクロレンズアレイと、
前記マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを動的に選択するよう構成されたコントローラと
を備える、立体画像化システムの基準線を設定するための装置。
【請求項３０】
前記コントローラは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するよう構成される、請求項２９に記載の装置。
【請求項３１】
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離を取得し、前記変化する被写体距離の繰り返しの前記取得に基づき、前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択するよう構成される、請求項３０に記載の装置。
【請求項３２】
前記コントローラは、前記第１レンズおよび前記第２レンズに基づき前記基準線を設定するよう構成される、請求項３１に記載の装置。
【請求項３３】
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を動的に調節するよう構成される、請求項３２に記載の装置。
【請求項３４】
前記コントローラは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得し、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得し、
前記第１画像と前記第２画像との間の両眼視差を決定し、
前記両眼視差の前記決定に基づき前記被写体距離を計算する
ことにより、前記被写体距離を取得するよう構成される、請求項３１から３３の何れか一項に記載の装置。
【請求項３５】
前記コントローラは、前記両眼視差の前記決定の前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するよう構成される、請求項３４に記載の装置。
【請求項３６】
前記コントローラは、前記第１画像上の複数の特徴点を取得し、前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うよう構成される、請求項３４または３５に記載の装置。
【請求項３７】
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、請求項３６に記載の装置。
【請求項３８】
前記コントローラは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するよう構成される、請求項３６または３７に記載の装置。
【請求項３９】
前記コントローラは、前記第２画像を走査して、前記第１画像の選択された特徴点に一致する前記第２画像の点を識別し、前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するよう構成される、請求項３８に記載の装置。
【請求項４０】
前記コントローラは、前記第１画像の各選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するよう構成される、請求項３９に記載の装置。
【請求項４１】
前記コントローラは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するよう構成される、請求項４０に記載の装置。
【請求項４２】
前記コントローラは、前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定し、複数の前記特徴距離を用いて前記被写体距離を決定するよう構成される、請求項３６から４１の何れか一項に記載の装置。
【請求項４３】
前記被写体距離は、前記複数の特徴距離の平均である、請求項４２に記載の装置。
【請求項４４】
前記コントローラは、前記複数の特徴点のうち１または複数を選択し、選択された前記特徴点の前記特徴距離に基づき前記被写体距離を取得するよう構成される、請求項４２または４３に記載の装置。
【請求項４５】
前記複数の特徴点は、前記マイクロレンズアレイに最も近い、または前記マイクロレンズアレイから最も遠い予め定められた割合の複数の特徴点が選択される、請求項４４に記載の装置。
【請求項４６】
前記コントローラは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定し、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算し、
視差が予め定められたレベルより大きいことを確保しながら最小基準線により選択する
ことにより、前記第１レンズおよび前記第２レンズを選択するよう構成される、請求項３０から４５の何れか一項に記載の装置。
【請求項４７】
前記第１レンズおよび前記第２レンズは、
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは前記被写体距離であり、ｆは、選択された前記第１レンズおよび前記第２レンズの前記修正された焦点距離であり、Ｔは、２つの最も近いマイクロレンズ間の前記基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定し、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は前記視差である］により利用可能な複数の基準線の範囲を計算し、
前記視差ｄ＞１０の関係を確かなものにしながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択する
ことにより選択される、請求項３０から４６の何れか一項に記載の装置。
【請求項４８】
前記コントローラは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくするよう構成される、請求項３０から４７の何れか一項に記載の装置。
【請求項４９】
前記コントローラは、前記基準線の前記調節の後に前記立体画像化システムの複数の外部パラメータを較正するよう構成される、請求項３３から４８の何れか一項に記載の装置。
【請求項５０】
前記複数の外部パラメータは、前記立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを含む、請求項４９に記載の装置。
【請求項５１】
複数の前記並進に関する外部パラメータは、前記第１レンズおよび前記第２レンズに従って最初に較正される、請求項５０に記載の装置。
【請求項５２】
前記コントローラは、最初の前記較正の後に前記複数の外部パラメータを較正して、前記外部パラメータを最適化するよう構成される、請求項５１に記載の装置。
【請求項５３】
前記立体画像化システムは無人航空機（ＵＡＶ）であり、前記基準線の前記調節は、前記ＵＡＶの飛行モードに依存する、請求項５２に記載の装置。
【請求項５４】
前記立体画像化システムは赤外線画像化システムである、請求項３０から５３の何れか一項に記載の装置。
【請求項５５】
前記立体画像化システムはＸ線画像化システムである、請求項３０から５４の何れか一項に記載の装置。
【請求項５６】
マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行する方法であって、
請求項２から２６の何れか一項に記載の方法を通じて前記マイクロレンズアレイにより第１立体フレームおよび第２立体フレームを取得する段階と、
第１立体フレームに対する前記第２フレームの複数の回転を慣性測定ユニットＩＭＵにより測定して回転データを生成する段階と、
前記回転データを前記第１立体フレームおよび前記第２立体フレームと組み合わることにより前記第１立体フレームおよび前記第２立体フレームのマッチングを行う段階と
を備え、
前記第１立体フレームは、予め定められた割合だけ前記第２立体フレームと重なる、方法。
【請求項５７】
前記第１立体フレームおよび前記第２立体フレームを取得する前記段階は、異なる複数の時点において前記第１立体フレームおよび前記第２立体フレームを取得する段階を有する、請求項５６に記載の同時位置推定および地図生成のための方法。
【請求項５８】
異なる複数の時点において前記第１立体フレームおよび前記第２立体フレームを取得する前記段階は、６０分の１秒またはそれより長い、および２０分の１秒またはそれより短い間隔で前記第１立体フレームおよび前記第２立体フレームを取得する段階を含む、請求項５７に記載の同時位置推定および地図生成のための方法。
【請求項５９】
前記第１立体フレームに基づき立体点クラウドを取得する段階をさらに備え、
前記立体点クラウドは複数の立体特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝である、請求項５８に記載の同時位置推定および地図生成のための方法。
【請求項６０】
前記立体点クラウドに基づきｘ−ｙ面における第２投射アレイ
【数３９】
2017511495.tif 000041
を取得する段階をさらに備える、請求項５９に記載の同時位置推定および地図生成のための方法。
【請求項６１】
前記第２投射アレイを取得する前記段階は、
前記立体点クラウドに基づきｘ−ｙ面における第１投射アレイ
【数４０】
2017511495.tif 000042
を取得する段階と、
請求項１１から１３の何れか一項に記載の方法を用いて、前記第２立体画像に対して前記第１投射アレイの複数の点のマッチングを行って、前記第２投射アレイ
【数４１】
2017511495.tif 000043
を生成する段階と
を有する、請求項６０に記載の同時位置推定および地図生成のための方法。
【請求項６２】
前記回転データ、前記立体点クラウド、および前記第２投射アレイに基づき並進アレイＴを計算する段階をさらに備える、請求項６１に記載の同時位置推定および地図生成のための方法。
【請求項６３】
前記並進アレイＴを計算する前記段階は、関係
【数４２】
2017511495.tif 000044
［Ｒは、複数の回転測定値のアレイであり、Ｐｊは立体点であり、Ｔは、計算されることになる並進アレイを表し、μは乱数である］を適用する段階を有する、請求項６２に記載の同時位置推定および地図生成のための方法。
【請求項６４】
【数４３】
2017511495.tif 000045
を適用する前記段階は、前記立体点クラウドから選択される少なくとも２つの点、およびそれらの、前記第２投射アレイの一致している２つの点に関して一式の数式を解くことによりＴを計算する段階をさらに含む、請求項６３に記載の同時位置推定および地図生成のための方法。
【請求項６５】
前記立体点クラウドから選択される複数の点、およびそれらの、前記第２投射アレイの対応する複数の投射点を用いて前記並進アレイＴを数式
【数４４】
2017511495.tif 000046
へ導入することによりＴを検証して、一致している複数の点の計数を得る段階と、
一致している複数の点の最大計数を有する並進アレイＴを選択された並進アレイＴとして選択する段階と
をさらに備える、請求項６２から６４の何れか一項に記載の同時位置推定および地図生成のための方法。
【請求項６６】
前記回転データ、前記選択された並進Ｔ、および前記関係
【数４５】
2017511495.tif 000047
を用いて前記第２フレームに関して立体点クラウドを計算する段階をさらに備える、請求項６５に記載の同時位置推定および地図生成のための方法。
【請求項６７】
請求項２から２６の何れか一項に記載の方法を通じて、前記マイクロレンズアレイにより他の立体フレームを取得する段階と、
請求項５６から６６に規定される複数の前記段階を、前記第２立体フレームを前記第１立体フレームとし、新たに取得された前記立体フレームを前記第２立体フレームとして繰り返す段階と
をさらに備える、請求項５６から６６の何れか一項に記載の同時位置推定および地図生成のための方法。
【請求項６８】
請求項５６から６７の何れか一項に従って自動位置推定および地図生成を実行するよう構成された同時位置推定および地図生成システム。
【請求項６９】
マイクロレンズアレイを有する立体画像化システムにより、請求項５６から６７の何れか一項に従って同時位置推定および地図生成を自動的に実行するための複数の命令を備える、コンピュータプログラムプロダクト。
【請求項７０】
マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行するための装置であって、
第１時点における第１立体フレームに対する第２時点において取得される第２立体フレームの複数の回転を測定するよう構成された慣性測定ユニットＩＭＵと、
請求項２から２６の何れか一項の方法を通じて、前記マイクロレンズアレイにより前記第１立体フレームおよび前記第２立体フレームを取得し、前記ＩＭＵから前記第２立体フレームの回転データを取得し、前記回転データを前記第１立体フレームおよび前記第２立体フレームと組み合わせることにより前記第１立体フレームおよび前記第２立体フレームのマッチングを行うよう構成されたコントローラと
を備え、
前記第１立体フレームは、予め定められた割合だけ前記第２立体フレームと重なる、装置。
【請求項７１】
前記第１立体フレームおよび前記第２立体フレームは、異なる複数の時点において取得される、請求項７０に記載の同時位置推定および地図生成のための装置。
【請求項７２】
前記異なる複数の時点間の間隔は、６０分の１秒またはそれより長く、および２０分の１秒またはそれより短い、請求項７１に記載の同時位置推定および地図生成のための装置。
【請求項７３】
前記コントローラはさらに、前記第１立体フレームに基づき立体点クラウドを取得するよう構成され、
前記立体点クラウドは、複数の立体特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝である、請求項７２に記載の同時位置推定および地図生成のための装置。
【請求項７４】
前記コントローラはさらに、前記立体点クラウドに基づきｘ−ｙ面における第２投射アレイ
【数４６】
2017511495.tif 000048
を取得するよう構成される、請求項７３に記載の同時位置推定および地図生成のための装置。
【請求項７５】
前記コントローラは、
前記立体点クラウドに基づきｘ−ｙ面における第１投射アレイ
【数４７】
2017511495.tif 000049
を取得し、
請求項１１から１３の何れか一項に記載の方法を用いて、前記第２立体画像に対して前記第１投射アレイの複数の点のマッチングを行って、前記第２投射アレイ
【数４８】
2017511495.tif 000050
を生成する
ことにより前記第２投射アレイを取得するよう構成される、請求項７４に記載の同時位置推定および地図生成のための装置。
【請求項７６】
前記コントローラはさらに、前記回転データ、前記立体点クラウド、および前記第２投射アレイに基づき並進アレイＴを計算するよう構成される、請求項７５に記載の同時位置推定および地図生成のための装置。
【請求項７７】
前記並進アレイＴは、関係
【数４９】
2017511495.tif 000051
［Ｒは、複数の回転測定値のアレイであり、Ｐｊは、前記立体点クラウドの立体点であり、Ｔは、計算されることになる前記並進アレイを表し、μは乱数である］を適用することにより計算される、請求項７６に記載の同時位置推定および地図生成のための装置。
【請求項７８】
前記並進アレイＴは、前記立体点クラウドから選択される少なくとも２つの点、およびそれらの、前記第２投射アレイの一致している２つの点に関して一式の数式を解くことにより計算される、請求項７７に記載の同時位置推定および地図生成のための装置。
【請求項７９】
前記コントローラは、
前記立体点クラウドから選択される複数の点、およびそれらの、前記第２投射アレイの対応する複数の投射点を用いて前記並進アレイＴを数式
【数５０】
2017511495.tif 000052
へ導入することによりＴを検証して、一致している複数の点の計数を得、
一致している複数の点の数が最も多い並進アレイＴを選択された並進アレイＴとして選択するよう構成される、請求項７０から７８の何れか一項に記載の同時位置推定および地図生成のための装置。
【請求項８０】
前記コントローラは、前記回転データ、前記選択された並進Ｔ、および前記関係
【数５１】
2017511495.tif 000053
を用いて前記第２フレームに関して立体点クラウドを計算するよう構成される、請求項７９に記載の同時位置推定および地図生成のための装置。
【請求項８１】
前記コントローラは、前記マイクロレンズアレイにより、請求項２から２６の何れか一項に記載の方法を通じて他の立体フレームを取得し、前記第２立体フレームを前記第１立体フレームとし、新たに取得された前記立体フレームを前記第２立体フレームとするよう構成される、請求項７０から８０の何れか一項に記載の同時位置推定および地図生成のための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示される複数の実施形態は概して、デジタル画像化に関し、より具体的には、マイクロレンズアレイを有する画像化システムの基準線を調節するための複数のシステムおよび方法に関する。
【背景技術】
【０００２】
デジタル画像技術、特にドローン技術の開発と共に、屋内および屋外の両方の用途のために自動的な同時位置推定および地図生成（ＳＬＡＭ）を可能とすることが重要な技術となっている。しかし、的確なＳＬＡＭは常に、困難な課題である。
【０００３】
ＳＬＡＭは、よく知られていない環境地図の構築または更新を、それを用いて同時にエージェントの所在の追跡をし続けながら行うことに関する計算上の課題を扱う。典型的なＳＬＡＭは、複数の立体フレームを構築しそれらフレームを結合して、途切れない地図を形成することを扱う。
【０００４】
現在、主流の複数のＳＬＡＭシステムは通常、複数の単眼カメラまたは双眼カメラを用いて、立体的な環境地図生成機能および位置推定機能を実現する。いくつかの新たに開発された研究方法は、複数の深度カメラを用い、すなわち、複数の単眼または両眼カメラを、構造化光または飛行時間（ＴＯＦ）深度センサと置き換える。しかし、これらのアプローチは、それらの現在の適用可能な状況、およびそれらの比較的高いコストにより大いに制限される。
【０００５】
加えて、いくつかの現在の主流のＳＬＡＭアプローチは通常、複数の視覚的な測定と組み合わせることにより実施される。現在のポピュラーな複数の視覚測定方法は、受動的な単眼または両眼レンズを用いることが多い。人間の一対の目と同様に、視覚的な測定の基本的な原理は、異なる複数の視野角の視差を用いて関心対象の被写体の３次元的な構造を計算し、位置推定を実現するということである。単眼レンズの場合、視差は並進によってのみ生成され得る。ゆえに、その３次元環境を検出する能力は、その動き特性に依存し、比較的制限される。
【０００６】
双眼カメラの視差は、第１レンズと第２レンズとの間の基準線により生じさせられる。ゆえに、その画像立体環境の能力は、基準線の長さに関連している。長さが固定されているとき、近すぎる、または遠すぎる被写体は、死角の存在が原因となり検出可能ではない。能動的な深度センサ（構造化光、ＴＯＦ）の開発に伴い、能動的な深度センサに基づくＳＬＡＭは新たな研究のホットスポットとなっている。しかし、それらの性能の限界、それら能動的なセンサの設計構造およびコストに起因して、それらの適用可能な状況は小規模の屋内の場面である。例えば、太陽光のスペクトル全体が原因となり、構造化光に基づく深度センサは屋外では適用可能ではない。さらに、ＴＯＦ深度センサは、屋外で用いられたとき、特定の放射光の比較的強いエネルギー、および比較的洗練されたセンサ設計等に依存する。ゆえに、それらは小規模の飛行プラットフォームには適切ではない。
【０００７】
他方、それらの物理的な原理の限界に起因して、いくつかの他の技術、例えば、慣性測定ユニット（ＩＭＵ）、気圧計、および他のセンサを正確にＳＬＡＭシステムにおいて用いて、的確であり、かつ広く適用可能なＳＬＡＭシステムを構築することは困難である。
【０００８】
以上のことを鑑みて、様々な状況下で正確であり、かつより実用的なＳＬＡＭシステムおよび方法の必要性がある。
【発明の概要】
【０００９】
本明細書に開示される第１態様によると、マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、
【００１０】
マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、
【００１１】
被写体距離を取得するステップに基づきマイクロレンズアレイから２つのレンズを動的に選択するステップと
を備える方法が明記される。
【００１２】
開示されている複数の方法の例示的実施形態において、２つのレンズを動的に選択するステップは、マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップを有する。
【００１３】
開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を繰り返し取得するステップを有し、
【００１４】
マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップは、変化する被写体距離を繰り返し取得するステップに基づく。
【００１５】
開示されている複数の方法の複数の例示的実施形態は、第１レンズおよび第２レンズを選択するステップに基づき基準線を設定するステップをさらに備える。
【００１６】
開示されている複数の方法の複数の例示的実施形態は、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離に基づき基準線を自動的に調節するステップをさらに備える。
【００１７】
開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、
【００１８】
第１レンズを介して関心対象の被写体の第１画像を取得するステップと、
【００１９】
第２レンズを介して関心対象の被写体の第２画像を取得するステップと、
【００２０】
第１画像と第２画像との間の両眼視差を決定するステップと
を有し、
【００２１】
被写体距離を取得するステップは、両眼視差を決定するステップに基づき被写体距離を計算するステップを有する。
【００２２】
開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、両眼視差を決定するステップの前に第１レンズおよび第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するステップをさらに有する。
【００２３】
開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、
【００２４】
第１画像上の複数の特徴点を取得するステップと、
【００２５】
第１画像の複数の特徴点の、第２画像の複数の点とのマッチングを行うステップと
を有する。
【００２６】
開示されている複数の方法の例示的実施形態において、複数の特徴点は、第１画像または第２画像のうち一方の複数の画素を含む。
【００２７】
開示されている複数の方法の例示的実施形態において、両眼視差を決定するステップは、少なくとも５画素および画像の幅の５分の１またはそれより短い両眼視差を決定するステップを含む。
【００２８】
開示されている複数の方法の例示的実施形態において、複数の特徴点のマッチングを行うステップは、
【００２９】
第２画像を走査して、第１画像の選択された特徴点に一致する第２画像の点を識別するステップと、
【００３０】
第１画像の選択された特徴点と点との間の類似性を計算するステップと
を含む。
【００３１】
開示されている複数の方法の例示的実施形態において、類似性を計算するステップは、第１画像の選択された特徴点を、第２画像上の点を中心とした３×３画素のエリアと比較するステップを含む。
【００３２】
開示されている複数の方法の例示的実施形態において、３×３画素のエリアを比較するステップは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するステップを含む。
【００３３】
開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、
【００３４】
マイクロレンズアレイと複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定するステップと、
【００３５】
複数の特徴距離を用いて被写体距離を決定するステップと
をさらに有する。
【００３６】
開示されている複数の方法の例示的実施形態において、被写体距離を決定するステップは、複数の特徴距離の平均に基づき被写体距離を取得するステップを含む。
【００３７】
開示されている複数の方法の例示的実施形態において、被写体距離を決定するステップは、複数の特徴点のうち１または複数を選択するステップと、選択された特徴点の特徴距離に基づき被写体距離を取得するステップとを含む。
【００３８】
開示されている複数の方法の例示的実施形態において、特徴点を選択するステップは、マイクロレンズアレイに最も近い予め定められた割合の複数の特徴点を選択するステップと、マイクロレンズアレイから最も遠い選択された特徴点の特徴距離として被写体距離を取得するステップとを含む。
【００３９】
開示されている複数の方法の例示的実施形態において、第１レンズおよび第２レンズを選択するステップは、
【００４０】
マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、被写体距離の検出範囲を推定するステップと、
【００４１】
被写体距離の推定された検出範囲に基づき基準線範囲を計算するステップと、
【００４２】
被写体距離の推定された検出範囲に基づき基準線範囲を計算するステップと、
【００４３】
予め定められたレベルより大きい視差を確かなものにしながら最小基準線により選択するステップと
を含む。
【００４４】
開示されている複数の方法の例示的実施形態において、第１レンズおよび第２レンズを選択するステップは、
【００４５】
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは被写体距離であり、ｆは、複数の選択されたレンズの修正された焦点距離であり、Ｔは、２つの最も近いレンズ間の基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定するステップと、
【００４６】
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は視差である］により利用可能な複数の基準線の範囲を計算するステップと、
【００４７】
視差ｄ＞１０の関係が満たされることを確保しながら最小基準線Ｔにより第１レンズおよび第２レンズを選択するステップと
を含む。
【００４８】
開示されている複数の方法の例示的実施形態において、第１レンズおよび第２レンズを選択するステップは、第１レンズの視野が少なくとも５０％だけ第２レンズの視野と重なるまで基準線を大きくするステップを含む。
【００４９】
開示されている複数の方法の複数の例示的実施形態は、基準線の自動調節の後に立体画像化システムの複数の外部パラメータを較正するステップをさらに備える。
【００５０】
開示されている複数の方法の例示的実施形態において、較正するステップは、立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを較正するステップを有する。
【００５１】
開示されている複数の方法の例示的実施形態において、較正するステップは、２つのレンズを選択するステップに従って、複数の並進に関する外部パラメータを最初に較正するステップを有する。
【００５２】
開示されている複数の方法の例示的実施形態において、較正するステップは、最初に較正するステップの後に、外部パラメータを較正して外部パラメータを最適化するステップをさらに有する。
【００５３】
開示されている複数の方法の例示的実施形態において、立体画像化システムは、モバイルプラットフォームに乗せて設置され、自動的に調節するステップは、モバイルプラットフォームの移動モードに依存する。
【００５４】
開示されている複数の方法の例示的実施形態において、モバイルプラットフォームは無人航空機（ＵＡＶ）であり、移動モードはＵＡＶの飛行モードである。
【００５５】
本明細書に開示されている他の態様によると、上記の複数の方法の何れか１つに従って自動的な基準線調節を実行するよう構成された立体画像化システムが明記される。
【００５６】
本明細書に開示されている他の態様によると、上記の複数の方法の何れか１つに従って、マイクロレンズアレイを有する立体画像化システムの基準線を自動的に調節するための複数の命令を備えるコンピュータプログラムプロダクトが明記される。
【００５７】
開示されている装置の例示的実施形態において、装置は、
【００５８】
個別に、または１または複数の他のレンズとの組み合わせで画像を取得するようそれぞれが構成された複数のレンズを有するマイクロレンズアレイと、
【００５９】
マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを動的に選択するよう構成されたコントローラと
を備える。
【００６０】
開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するよう構成される。
【００６１】
開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を取得し、変化する被写体距離の繰り返しの取得に基づき、マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するよう構成される。
【００６２】
開示されている装置の例示的実施形態において、コントローラは、第１レンズおよび第２レンズに基づき基準線を設定するよう構成される。
【００６３】
開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離に基づき基準線を動的に調節するよう構成される。
【００６４】
開示されている装置の例示的実施形態において、コントローラは、
【００６５】
第１レンズを介して関心対象の被写体の第１画像を取得し、
【００６６】
第２レンズを介して関心対象の被写体の第２画像を取得し、
【００６７】
第１画像と第２画像との間の両眼視差を決定し、
【００６８】
両眼視差の決定に基づき被写体距離を計算する
ことにより、被写体距離を取得するよう構成される。
【００６９】
開示されている装置の例示的実施形態において、コントローラは、両眼視差の決定の前に第１レンズおよび第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するよう構成される。
【００７０】
開示されている装置の例示的実施形態において、コントローラは、第１画像上の複数の特徴点を取得し、第１画像の複数の特徴点の、第２画像の複数の点とのマッチングを行うよう構成される。
【００７１】
開示されている装置の例示的実施形態において、複数の特徴点は、第１画像または第２画像のうち一方の複数の画素を含む。
【００７２】
開示されている装置の例示的実施形態において、コントローラは、少なくとも５画素および画像の幅の５分の１またはそれより短い両眼視差を決定するよう構成される。
【００７３】
開示されている装置の例示的実施形態において、コントローラは、第２画像を走査して、第１画像の選択された特徴点に一致する第２画像の点を識別し、第１画像の選択された特徴点と点との間の類似性を計算するよう構成される。
【００７４】
開示されている装置の例示的実施形態において、コントローラは、第１画像の各選択された特徴点を、第２画像上の点を中心とした３×３画素のエリアと比較するよう構成される。
【００７５】
開示されている装置の例示的実施形態において、コントローラは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するよう構成される。
【００７６】
開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイと複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定し、複数の特徴距離を用いて被写体距離を決定するよう構成される。
【００７７】
開示されている装置の例示的実施形態において、被写体距離は、複数の特徴距離の平均である。
【００７８】
開示されている装置の例示的実施形態において、コントローラは、複数の特徴点のうち１または複数を選択し、選択された特徴点の特徴距離に基づき被写体距離を取得するよう構成される。
【００７９】
開示されている装置の例示的実施形態において、複数の特徴点は、マイクロレンズアレイに最も近い、またはマイクロレンズアレイから最も遠い予め定められた割合の複数の特徴点が選択される。
【００８０】
開示されている装置の例示的実施形態において、コントローラは、
【００８１】
マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、被写体距離の検出範囲を推定し、
【００８２】
被写体距離の推定された検出範囲に基づき基準線範囲を計算し、
【００８３】
視差が予め定められたレベルより大きいことを確保しながら最小基準線により選択する
ことにより、第１レンズおよび第２レンズを選択するよう構成される。
【００８４】
開示されている装置の例示的実施形態において、第１レンズおよび第２レンズは、
【００８５】
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは被写体距離であり、ｆは、選択された第１レンズおよび第２レンズの修正された焦点距離であり、Ｔは、２つの最も近いマイクロレンズ間の基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定し、
【００８６】
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は視差である］により利用可能な複数の基準線の範囲を計算し、
【００８７】
視差ｄ＞１０の関係を確かなものにしながら最小基準線Ｔにより第１レンズおよび第２レンズを選択する
ことにより選択される。
【００８８】
開示されている装置の例示的実施形態において、コントローラは、第１レンズの視野が少なくとも５０％だけ第２レンズの視野と重なるまで基準線を大きくするよう構成される。
【００８９】
開示されている装置の例示的実施形態において、コントローラは、基準線の調節の後に立体画像化システムの複数の外部パラメータを較正するよう構成される。
【００９０】
開示されている装置の例示的実施形態において、複数の外部パラメータは、立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを含む。
【００９１】
開示されている装置の例示的実施形態において、複数の並進に関する外部パラメータは、第１レンズおよび第２レンズに従って最初に較正される。
【００９２】
開示されている装置の例示的実施形態において、コントローラは、最初の較正の後に複数の外部パラメータを較正して、外部パラメータを最適化するよう構成される。
【００９３】
開示されている装置の例示的実施形態において、立体画像化システムは無人航空機（ＵＡＶ）であり、基準線の調節は、ＵＡＶの飛行モードに依存する。
【００９４】
開示されている装置の例示的実施形態において、立体画像化システムは赤外線画像化システムである。
【００９５】
開示されている装置の例示的実施形態において、立体画像化システムはＸ線画像化システムである。
【００９６】
本明細書に開示されている他の態様によると、マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行する方法であって、
【００９７】
上記の方法の何れか１つを通じてマイクロレンズアレイにより第１立体フレームおよび第２立体フレームを取得するステップと、
【００９８】
第１立体フレームに対する第２フレームの複数の回転を慣性測定ユニットＩＭＵにより測定して回転データを生成するステップと、
【００９９】
回転データを第１立体フレームおよび第２立体フレームと組み合わることにより第１立体フレームおよび第２立体フレームのマッチングを行うステップと
を備え、
【０１００】
第１立体フレームは、予め定められた割合だけ第２立体フレームと重なる、方法が明記される。
【０１０１】
開示されている複数の方法の例示的実施形態において、第１立体フレームおよび第２立体フレームを取得するステップは、異なる複数の時点において第１立体フレームおよび第２立体フレームを取得するステップを有する。
【０１０２】
開示されている装置の例示的実施形態において、異なる複数の時点において第１立体フレームおよび第２立体フレームを取得するステップは、６０分の１秒またはそれより長い、および２０分の１秒またはそれより短い間隔で第１立体フレームおよび第２立体フレームを取得するステップを含む。
【０１０３】
開示されている複数の方法の複数の例示的実施形態は、
【０１０４】
第１立体フレームに基づき立体点クラウドを取得するステップをさらに備え、
【０１０５】
立体点クラウドは複数の立体特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝である。
【０１０６】
開示されている複数の方法の複数の例示的実施形態は、
【０１０７】
立体点クラウドに基づきｘ−ｙ面における第２投射アレイ
【数１】
2017511495.tif 000003
を取得するステップをさらに備える。
【０１０８】
開示されている複数の方法の例示的実施形態において、第２投射アレイを取得するステップは、
【０１０９】
立体点クラウドに基づきｘ−ｙ面における第１投射アレイ
【数２】
2017511495.tif 000004
を取得するステップと、
【０１１０】
請求項９から１１の何れか一項に記載の方法を用いて、第２立体画像に対して第１投射アレイの複数の点のマッチングを行って、第２投射アレイ
【数３】
2017511495.tif 000005
を生成するステップと
を有する。
【０１１１】
開示されている複数の方法の複数の例示的実施形態は、
【０１１２】
回転データ、立体点クラウド、および第２投射アレイに基づき並進アレイＴを計算するステップをさらに備える。
【０１１３】
開示されている複数の方法の例示的実施形態において、並進アレイＴを計算するステップは、関係
【０１１４】
【数４】
2017511495.tif 000006
【０１１５】
［Ｒは、複数の回転測定値のアレイであり、Ｐｊは立体点であり、Ｔは、計算されることになる並進アレイを表し、μは乱数である］を適用するステップを有する。
【０１１６】
開示されている複数の方法の例示的実施形態において、
【数５】
2017511495.tif 000007
を適用するステップは、立体点クラウドから選択される少なくとも２つの点、およびそれらの、第２投射アレイの一致している２つの点に関して一式の数式を解くことによりＴを計算するステップをさらに含む。
【０１１７】
開示されている複数の方法の複数の例示的実施形態は、
【０１１８】
立体点クラウドから選択される複数の点、およびそれらの、第２投射アレイの対応する複数の投射点を用いて並進アレイＴを数式
【数６】
2017511495.tif 000008
へ導入することによりＴを検証して、一致している複数の点の計数を得るステップと、
【０１１９】
一致している複数の点の最大計数を有する並進アレイＴを選択された並進アレイＴとして選択するステップと
をさらに備える。
【０１２０】
開示されている複数の方法の複数の例示的実施形態は、
【０１２１】
回転データ、選択された並進Ｔ、および関係
【数７】
2017511495.tif 000009
を用いて第２フレームに関して立体点クラウドを計算するステップをさらに備える。
【０１２２】
開示されている複数の方法の複数の例示的実施形態は、
【０１２３】
上記にて述べた方法を介して、マイクロレンズアレイにより他の立体フレームを取得するステップと、
【０１２４】
上記の複数のステップを、第２立体フレームを第１立体フレームとし、新たに取得された立体フレームを第２立体フレームとして繰り返すステップと
をさらに備える。
【０１２５】
本明細書に開示されている他の態様によると、上記の複数の方法の何れかに従って自動位置推定および地図生成を実行するよう構成された同時位置推定および地図生成システムが明記される。
【０１２６】
本明細書に開示されている他の態様によると、マイクロレンズアレイを有する立体画像化システムにより、上記の複数の方法の何れかに従って同時位置推定および地図生成を自動的に実行するための複数の命令を備えるコンピュータプログラムプロダクトが明記される。
【０１２７】
本明細書に開示されている他の態様によると、マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行するための装置であって、
【０１２８】
第１時点における第１立体フレームに対する第２時点において取得される第２立体フレームの複数の回転を測定するよう構成された慣性測定ユニットＩＭＵと、
【０１２９】
上記にて述べた複数の方法の何れかを通じて、マイクロレンズアレイにより第１立体フレームおよび第２立体フレームを取得し、
【０１３０】
ＩＭＵから第２立体フレームの回転データを取得し、
【０１３１】
回転データを第１立体フレームおよび第２立体フレームと組み合わせることにより第１立体フレームおよび第２立体フレームのマッチングを行うよう構成されたコントローラと
を備え、
【０１３２】
第１立体フレームは、予め定められた割合だけ第２立体フレームと重なる、装置が明記される。
【０１３３】
開示されている装置の例示的実施形態において、第１立体フレームおよび第２立体フレームは、異なる複数の時点において取得される。
【０１３４】
開示されている装置の例示的実施形態において、異なる複数の時点間の間隔は、６０分の１秒またはそれより長く、および２０分の１秒またはそれより短い。
【０１３５】
開示されている装置の例示的実施形態において、コントローラはさらに、第１立体フレームに基づき立体点クラウドを取得するよう構成されており、立体点クラウドは、複数の立体特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝である。
【０１３６】
開示されている装置の例示的実施形態において、コントローラはさらに、立体点クラウドに基づきｘ−ｙ面における第２投射アレイ
【数８】
2017511495.tif 000010
を取得するよう構成される。
【０１３７】
開示されている装置の例示的実施形態において、コントローラは、
【０１３８】
立体点クラウドに基づきｘ−ｙ面における第１投射アレイ
【数９】
2017511495.tif 000011
を取得し、
【０１３９】
請求項１０から１２の何れか一項に記載の方法を用いて、第２立体画像に対して第１投射アレイの複数の点のマッチングを行って、第２投射アレイ
【数１０】
2017511495.tif 000012
を生成する
ことにより第２投射アレイを取得するよう構成される。
【０１４０】
開示されている装置の例示的実施形態において、コントローラはさらに、回転データ、立体点クラウド、および第２投射アレイに基づき並進アレイＴを計算するよう構成される。
【０１４１】
開示されている装置の例示的実施形態において、並進アレイＴは、関係
【０１４２】
【数１１】
2017511495.tif 000013
【０１４３】
［Ｒは、複数の回転測定値のアレイであり、Ｐｊは、立体点クラウドの立体点であり、Ｔは、計算されることになる並進アレイを表し、μは乱数である］を適用することにより計算される。
【０１４４】
開示されている装置の例示的実施形態において、並進アレイＴは、立体点クラウドから選択される少なくとも２つの点、およびそれらの、第２投射アレイの一致している２つの点に関して一式の数式を解くことにより計算される。
【０１４５】
開示されている装置の例示的実施形態において、コントローラは、立体点クラウドから選択される複数の点、およびそれらの、第２投射アレイの対応する複数の投射点を用いて並進アレイＴを数式
【数１２】
2017511495.tif 000014
へ導入することによりＴを検証して、一致している複数の点の計数を得、
【０１４６】
一致している複数の点の数が最も多い並進アレイＴを選択された並進アレイＴとして選択するよう構成される。
【０１４７】
開示されている装置の例示的実施形態において、コントローラは、回転データ、選択された並進Ｔ、および関係
【数１３】
2017511495.tif 000015
を用いて第２フレームに関して立体点クラウドを計算するよう構成される。
【０１４８】
開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイにより、上記の方法を通じて他の立体フレームを取得し、第２立体フレームを第１立体フレームとし、新たに取得された立体フレームを第２立体フレームとするよう構成される。
【図面の簡単な説明】
【０１４９】
【図１】マイクロレンズアレイとセンサアレイとを含む立体画像化システムの実施形態を示す例示的な最上位のブロック図である。
【０１５０】
【図２】図１のマイクロレンズアレイの実施形態を示す例示的な詳細図である。
【０１５１】
【図３】マイクロレンズアレイが立体知覚において用いられる、図１の立体画像化システムの代替的実施形態を示す例示的な詳細図である。
【０１５２】
【図４】被写体距離が三角測量を介して決定される、図３の立体画像化システムの代替的実施形態を示す例示的な詳細図である。
【０１５３】
【図５】マイクロレンズアレイのためのコントローラを含む、図１の立体画像化システムの実施形態を示す例示的な最上位のブロック図である。
【０１５４】
【図６】被写体距離に基づく、図１の立体画像化システムの方法の実施形態を示す例示的な最上位のフローチャートである。
【０１５５】
【図７】図１の立体画像化システムの基準線を被写体距離に基づき調節する方法の実施形態を示す例示的なフローチャートである。
【０１５６】
【図８】図７の立体画像化システムの基準線を被写体距離に基づき調節する方法の他の実施形態を示す例示的なフローチャートである。
【０１５７】
【図９】図８の方法に従って被写体距離を決定する方法の実施形態を示す例示的な図である。
【０１５８】
【図１０】選択された複数のマイクロレンズに関して修正された焦点距離を取得するステップを含む、図８の方法の代替的実施形態を示す例示的な図である。
【０１５９】
【図１１】利用可能な複数の基準線の範囲を用いて基準線が推定される、図６の方法の他の代替的実施形態を示す例示的な図である。
【０１６０】
【図１２】同時位置推定および地図生成（ＳＬＡＭ）のための方法の実施形態を示す例示的な最上位の図である。
【０１６１】
【図１３】複数の対の立体画像のマッチングが行われる、図１０の方法の代替的実施形態を示す例示的な図である。
【０１６２】
図面は縮尺通りに描かれていないこと、例示の目的のために、同様の構造または機能の構成要素が概して、複数の図面を通じて同様の参照数詞により表されていることに留意されるべきである。図面が、好ましい実施形態の説明を容易にすることのみを意図されていることにも留意されるべきである。図面は説明されている複数の実施形態のあらゆる態様を示しておらず、本開示の範囲を限定しない。
【発明を実施するための形態】
【０１６３】
現在利用可能であるＳＬＡＭシステムは広く適用可能ではなく、正確な位置推定および地図生成が可能ではないので、マイクロレンズアレイを有する画像化システムの基準線を調節して、それらの要求を満たすことが出来るＳＬＡＭシステムおよび方法が望ましいことが分かり、それらＳＬＡＭシステムおよび方法は、ドローンシステムおよび他の複数のモバイルデバイスシステムなどの広い範囲のシステム用途のために基礎を提供し得る。この結果は、図１に開示されている一実施形態に従って達成され得る。
【０１６４】
ここで図１を参照すると、関心対象の被写体１９８から反射された光を受光するために、マイクロレンズアレイ１０２を有する例示的な立体画像化システム１００が示されている。マイクロレンズアレイ１０２の（図２に示されている）各マイクロレンズ（またはレンズ）１０２Ａは、センサアレイ１０４のそれぞれのセンサに対応する。マイクロレンズアレイ１０２の複数のレンズ１０２Ａを介して受光された光は、センサアレイ１０４の対応する複数のセンサに提供される。典型的には、立体画像化のために、第１レンズ１０２ｂおよび第２レンズ１０２ｃなどの２つのレンズ１０２Ａが構成される。しかし、マイクロレンズアレイ１０２の任意の適切な数のレンズ１０２Ａが選択され得る。対応する複数のセンサは、センサアレイ１０４により生成される複数の画像を表すデータフロー１３３を生成する。典型的には、生成される画像の数は、マイクロレンズアレイ１０２の選択されるマイクロレンズ１０２Ａの数と等しい。データフロー１３３は、画像信号プロセッサ（ＩＳＰ）１１０に提供される。本例示的実施形態において、データフロー１３３は、センサアレイ１０４により生成される、内部メモリおよび／または外部メモリであり得るメモリ１０６に格納される２つの画像１０６Ａおよび１０６Ｂを表す。例示のみを目的として、複数の対の画像を処理するものとして本明細書においては示され説明されているが、立体画像化システム１００は、任意の適切な数の画像を処理するよう適合され得る。
【０１６５】
関心対象の被写体１９８を画像化するとき、選択された各マイクロレンズ１０２Ａおよび対応するセンサにより生成される複数の画像は、選択された視野角からの関心対象の被写体１９８を表し得る。複数のマイクロレンズ１０２Ａを選択することにより、関心対象の被写体１９８は、複数の異なる視野角から画像化され得る。ＩＳＰ１１０は、結果として得られる複数の画像を処理して、データフロー１３７を通じ立体画像１９９を生成し得る。一実施形態において、ＩＳＰ１１０は、ＳＬＡＭシステム（不図示）の一部として、位置推定を目的として、立体画像１９９を生成し得る。図１に示されているように、立体撮像装置１００のマイクロレンズアレイ１０２、センサアレイ１０４、メモリ１０６、および／またはＩＳＰ１１０は、コントローラ１２０の制御の下、動作し得る。追加的に、および／または代替的に、ＩＳＰ１１０は、立体撮像装置１００の全体または一部の制御を提供し得る。
【０１６６】
図１に示されるように、例示的な立体撮像装置１００は、オプションの慣性測定ユニット（ＩＭＵ）１５０と通信を行い得る。ＩＭＵ１５０は、２つの時点間の、立体撮像装置１００の複数の回転測定値を提供する役割を担い得る。ＩＳＰ１１０は複数の回転測定値を利用して、立体撮像装置１００の移動経路に沿って、異なる複数の時点の２つの立体フレームを組み合わせて、途切れない複数の地図生成を生成し得る。途切れない複数の地図生成は、複数のＳＬＡＭシステムの第２の部分である。立体撮像装置１００とは別個の（またはその外部の）コンポーネントとして示されているが、ＩＭＵ１５０は、立体撮像装置１００内部に配置されてもよい。
【０１６７】
本明細書に開示されている複数のアプローチは、複数のＳＬＡＭシステムが、様々な屋内および／または屋外環境においてより的確に、かつ、より実際的に実行することを可能とする。ゆえに、複数のＳＬＡＭシステムは、構造化光および／または飛行時間（ＴＯＦ）深度センサを用いる従来の複数のシステムと比較してより大きな利用範囲を有し得る。
【０１６８】
図２は、図１のマイクロレンズアレイ１０２の実施形態の例示的配置を示す。図２のマイクロレンズアレイ１０２は、４×４のアレイのマイクロレンズであり、合計１６のマイクロレンズ１０２Ａを提供するものとして示されている。複数のマイクロレンズ１０２Ａのそれぞれは、別々に、および／または、マイクロレンズアレイ１０２の任意の数の他のマイクロレンズ１０２Ａと組み合わせて複数の画像を撮像するのに用いられ得る。２つの選択されたマイクロレンズ１０２Ａが複数の画像を生成するのに用いられるとき、例えば、２つのマイクロレンズ１０２Ａ間の距離が、両眼撮像装置の基準線を規定する。すなわち、立体撮像装置１００は、マイクロレンズアレイ１０２の２つの選択されたマイクロレンズ１０２Ａが複数の画像を生成するために用いられるとき、両眼撮像装置を形成する。両眼撮像装置の一実施形態についての例示的な複数の詳細は、図３を参照して以下に述べられている。
【０１６９】
再び図２を参照すると、マイクロレンズアレイ１０２の、最長距離を有する第１レンズ１０２ｂおよび第２レンズ１０２ｃなどの２つのレンズ１０２Ａが、両眼撮像装置の最大基準線Ｔｍａｘを規定する。第１レンズ１０２ｄおよび第２レンズ１０２ｅなどの互いに最も近い２つのレンズ１０２Ａが、最小基準線Ｔｍｉｎを規定する。４×４のマイクロレンズアレイ１０２が示されている図２において、Ｔｍａｘは、対角線上に位置付けられている、最も外側の２つのマイクロレンズ１０２Ａ間の距離である。Ｔｍｉｎは、より短い距離を有する何れかの、同じ行または列内の任意の２つの隣接するマイクロレンズ１０２Ａ間の距離である。
【０１７０】
立体視の複数の原理に基づき、基準線Ｔの値を下げることにより、検出範囲の下側の閾値および／またはその範囲の上側の閾値が下げられ得る。Ｔを大きくすることにより、逆の効果が得られ得る。ゆえに、従来の両眼撮像装置は、下側の閾値および上側の閾値の両方を考慮に入れられないので、立体撮像装置１００は、固定された基準線を有する従来のデバイスより複数の利点を有し得る。
【０１７１】
他方、マイクロレンズアレイ１０２は、図２に示されているように、複数のマイクロレンズ１０２Ａの選択に基づき、予め定められた範囲の異なる複数の基準線を提供し得る。より近い被写体の立体的な位置は、より小さい複数の基準線を有する複数のマイクロレンズ１０２Ａを用いて計算され得、より遠い被写体の立体的な位置は、より大きな複数の基準線を有するマイクロレンズ１０２Ａを用いて計算され得る。ゆえに、立体視の範囲は、図２のマイクロレンズアレイ１０２を介して広められ得る。例示のみを目的として、４×４のアレイの１６のマイクロレンズ１０２Ａを提供するものとして図２を参照して示され説明されているが、マイクロレンズアレイ１０２は、任意の適切な構成またはサイズで提供される任意の適切な数のマイクロレンズ１０２Ａを含み得る。複数のマイクロレンズ１０２Ａにおける複数の行および列のアレイとして提供された場合、マイクロレンズアレイ１０２は、マイクロレンズアレイ１０２の列の数と異なり、またはそれと同じ数の行を含み得る。マイクロレンズアレイ１０２における隣接する複数のマイクロレンズ１０２Ａ間のスペースは、マイクロレンズアレイ１０２における選択された複数の対の隣接するマイクロレンズ１０２Ａに関して同じであり得る、および／または異なり得る。
【０１７２】
ここで図３を参照すると、マイクロレンズアレイ１０２と関心対象の被写体１９８との間の被写体距離Ｚを確かなものにするシステムが示されている。図３は、マイクロレンズアレイ１０２の２つの選択されたレンズ１０２Ａ、第１レンズ３１０ａおよび第２レンズ３１０ｂ、を参照し、立体知覚の使用を示している。本明細書の例示においてマイクロレンズアレイ１０２の複数のレンズ１０２Ａが用いられているが、任意の種類のレンズアレイまたはマイクロレンズアレイが適用可能である。ゆえに、複数のレンズ１０２Ａおよびマイクロレンズ１０２Ａは互いに完全に入れ替え可能である。マイクロレンズ３１０ａおよび３１０ｂのそれぞれは同じ関心対象の被写体１９８を知覚するが、座標軸（ｘ１，ｙ１，ｚ１）および（ｘ２，ｙ２，ｚ２）で示される異なる空間座標で知覚する。マイクロレンズ３１０ａおよび３１０ｂは、それらのそれぞれの光軸３３０ａおよび３３０ｂに沿って関心対象の被写体１９８を知覚し、それにより、関心対象の被写体１９８の２つの異なる２次元画像３２０ａおよび３２０ｂを得ることになる。典型的には、マイクロレンズ３１０ａおよび３１０ｂの光軸３３０ａおよび３３０ｂが一致するようにマイクロレンズ３１０ａおよび３１０ｂが位置付けられない限り、異なる複数の位置および／または角度から撮像される２次元画像３２０ａおよび３２０ｂは異なる。したがって、殆どの状況において、図４を参照して以下により詳細に説明されるように、画像３２０ａおよび３２０ｂ間には、（例えば、数式４で表される）両眼視差ｄが見つけられ得る。
【０１７３】
ここで図４を参照すると、２次元画像３２０ａおよび３２０ｂが比較されて、一対のマイクロレンズ３１０ａおよび３１０ｂと、関心対象の被写体１９８との間の被写体距離Ｚを確かなものにし得る。画像３２０ａおよび３２０ｂ間の両眼視差ｄを用いて被写体距離Ｚを確かなものにするのに、三角測量法が用いられ得る。具体的に、その座標（Ｘｉ，Ｙｉ，Ｚｉ）により表される、インデックスｉを有する関心対象の被写体１９８の位置は、以下のように得られる。
【数１４】
2017511495.tif 000016
数式（１）
【数１５】
2017511495.tif 000017
数式（２）
【数１６】
2017511495.tif 000018
数式（３）
ここで、ｃｘおよびｃｙは、マイクロレンズ３１０ａおよび３１０ｂのそれぞれの中心座標を表し、ｘｉおよびｙｉは、画像３２０ａおよび３２０ｂの一方または両方における関心対象の被写体１９８の複数の座標を表し、Ｔは基準線（言い換えると、マイクロレンズ３１０ａおよび３１０ｂの中心座標間の距離）であり、ｆは、マイクロレンズ３１０ａおよび３１０ｂの修正された焦点距離であり、ｉは、複数の関心対象の被写体１９８に亘る、および／または関心対象の被写体１９８の複数の特徴点３５５に亘るインデックスであり、ｄは、ここで
【数１７】
2017511495.tif 000019
数式（４）
として表される、画像３２０ａおよび３２０ｂ間の両眼視差である。
【０１７４】
図５は、立体画像化システム１００の基準線Ｔを調節するための例示的な方法１００の実施形態を示す。図５において、立体画像化システム１００は、（図１に示される）コントローラ１２０と（図１に示される）マイクロレンズアレイ１０２とを有するものとして示されている。コントローラ１２０は、マイクロレンズアレイ１０２の動作を制御することによりマイクロレンズアレイ１０２とインタラクトする。図５において、コントローラ１２０は、マイクロレンズアレイ１０２から１または複数のマイクロレンズ１０２Ａを選択して、立体画像化のために望ましい基準線を生成し得る。マイクロレンズアレイ１０２は、（図１に示される）マイクロレンズアレイ１０２と（図１に示される）関心対象の被写体１９８との間の被写体距離Ｚを取得および／または推定するための基準として用いられる複数の画像を撮像するのに用いられる。常に変化し得る被写体距離Ｚは、予め定められた時間間隔に従って繰り返し取得または推定され得る。いくつかの実施形態において、時間間隔は、６０分の１秒から２０分の１秒の範囲内に限定され得る。
【０１７５】
加えて、コントローラ１２０は、マイクロレンズアレイ１０２から２つのマイクロレンズ３１０ａおよび３１０ｂを選択するために、マイクロレンズアレイ１０２を介して生成された複数の画像の受信を制御し、それら画像に基づき望ましい基準線を計算し得る。望ましい基準線の計算、および／または、２つのマイクロレンズ３１０ａおよび３１０ｂの選択は、繰り返し取得される、変化する被写体距離に基づき得る。
【０１７６】
ここで図６を参照すると、立体画像化システム１００の基準線Ｔを調節するための例示的な方法２００の実施形態が示されている。方法２００の一実施形態は、基準線Ｔが自動的に、および／または手動で調節されることを可能とする。６１０で、（図１に示される）立体画像化システム１００またはマイクロレンズアレイ１０２と（図１に示される）関心対象の被写体１９８との間の被写体距離Ｚが取得される。被写体距離Ｚは、所望に応じて、いくつかの様々な方法の何れかを用いて取得され得る。いくつかの実施形態において、被写体距離Ｚは、立体視を介して、（図１に示される）マイクロレンズアレイ１０２から選択される（図２に示される）複数のマイクロレンズ１０２Ａを用いて取得され得る。例えば、２つのマイクロレンズ１０２Ａはそれぞれ、関心対象の被写体１９８の（図３から４に示される）それぞれの画像３２０ａ、３２０ｂを取得し得る。取得された画像３２０ａ、３２０ｂの重複する複数の部分が解析されて、関心対象の被写体１９８までの被写体距離Ｚを評価し得る。代替的に、および／または追加的に、被写体距離Ｚは、レーザーを用いる、および／または超音波を用いるなどの複数の非立体視方法を用いて取得され得る。６８０で、被写体距離Ｚに従って基準線Ｔを得るよう、一対のレンズ１０２Ａが自動的に選択される。レンズの選択は、図１１を参照してより詳細に説明される。
【０１７７】
方法３００の代替的実施形態は図７に示されている。ここで、方法３００は、立体視に基づき、第１レンズ３１０ａおよび第２レンズ３１０ｂを用いて被写体距離Ｚを取得する。６１１Ａで、（図３および４に示される）関心対象の被写体１９８の（図３および４に示される）第１画像３２０ａが第１レンズ３１０ａを用いて取得される。６１１Ｂで、関心対象の被写体１９８の（図３および４に示される）第２画像３２０ｂが第２レンズ３１０ｂを用いて取得される。第１および第２画像３２０ａ、３２０ｂは、同時に、および／または連続的に行うことを含む任意の従来のやり方で取得され得る。好ましい実施形態において、第１および第２画像３２０ａ、３２０ｂは有利には、関心対象の被写体１９８および／または立体画像化システム１００の経時的なずれに起因するエラーを減らすよう同時に取得される。
【０１７８】
６１４で、第１画像３２０ａと第２画像３２０ｂとの間の両眼視差ｄが計算される。代替的に、および／または追加的に、マイクロレンズ３１０ａ、３１０ｂの一方（または両方）の焦点距離が、６１４で両眼視差ｄを決定するのに用いられ得る。視差ｄを計算するための例示的実施形態は、図７を参照して以下により詳細に説明される。
【０１７９】
６１９で、被写体距離Ｚが計算される。被写体距離Ｚは、任意の適切なやり方で計算され得る。例示的なやり方は、計算された両眼視差ｄを用いることを含む。例えば、被写体距離Ｚは、両眼視差ｄ、第１レンズ３１０ａおよび第２レンズ３１０ｂ間の基準線Ｔ、および６１５に明記されているように修正された焦点距離ｆの関数として見つけられ得る。そのような関数は、
【数１８】
2017511495.tif 000020
数式（５）
として表され得る。ここで、Ｔは基準線（言い換えると、マイクロレンズ３１０ａおよび３１０ｂの中心座標間の距離）であり、ｆは、マイクロレンズ３１０ａおよび３１０ｂの修正された焦点距離であり、
【数１９】
2017511495.tif 000021
は、関心対象の被写体１９８の画像３２０ａおよび３２０ｂ間の両眼視差であり、
【数２０】
2017511495.tif 000022
は、
【数２１】
2017511495.tif 000023
により表される第１画像３１０ａ上の点に一致する、第２画像３１０ｂ上の点である。
【０１８０】
システム４００の他の実施形態は図８に示されている。図８において、新たなステップが導入されていることを除き、全てのステップが図７に示されているシステム３００と同じである。図８において、代替的実施形態が、修正された焦点距離ｆが２つの選択されたマイクロレンズ３１０ａ、３１０ｂの焦点距離に基づき計算され得る６１５におけるステップを有するものとして示されている。第１レンズ３１０ａおよび第２レンズ３１０ｂの焦点距離は通常同じであり得るが、またそれらは異なり得る。修正された焦点距離を計算する全ての方法が本明細書において適用され得る。実施形態において、「Ｓｔｅｒｅｏ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ」（Ｍａｒｋｕｓ  Ｍａｎｎ，Ｓｔｅｒｅｏ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ，（Ｄｅｃｅｍｂｅｒ  １０，２００４），ａｖａｉｌａｂｌｅ  ａｔ  ｈｔｔｐ：／／ｃｓ．ｎｙｕ．ｅｄｕ／ｃｏｕｒｓｅｓ／ｆａｌｌ１４／ＣＳＣＩ−ＧＡ．２２７１−００１／０６ＳｔｅｒｅｏＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ．ｐｄｆ）に示される修正された焦点距離を計算する複数の方法が本明細書において用いられ得る。
【０１８１】
図７および図８に関する説明に基づき、
【数２２】
2017511495.tif 000024
が知られている要素なので、視差ｄが、第２画像３２０ｂ上の一致している点
【数２３】
2017511495.tif 000025
を用いて計算され得る。図９において、第２画像３２０ｂ上の一致している点
【数２４】
2017511495.tif 000026
の位置を確認する例示的実施形態が、例示のみを目的として明記されている。図９において、ＩＬは第１画像３２０ａを表し、ＩＲは、同じ関心対象の被写体１９８の第２画像３２０ｂを表す。第１画像３２０ａ上の点
【数２５】
2017511495.tif 000027
は知られており、第２画像３２０ｂ上の一致している点
【数２６】
2017511495.tif 000028
は、以下の数式
【数２７】
2017511495.tif 000029
数式（６）
により表され得る、第１画像３２０ａの点
【数２８】
2017511495.tif 000030
と「類似性の最も高い」点として定義され得、ここで、ｄは、（図３および図４に示される）２つの選択されたマイクロレンズ３１０ａ、３１０ｂの視差を表し、ＩＬは第１画像３２０ａであり、ＩＲは、同じ関心対象の被写体１９８の第２画像３２０ｂを表し、
【数２９】
2017511495.tif 000031
は、第１画像３２０ａの点
【数３０】
2017511495.tif 000032
である。
【０１８２】
起こり得るマッチングのエラーが原因となり、マッチングの的確性および視野範囲を確かなものにするには、視差ｄは特定の予め定められた複数の値より小さくてはならず、またはより大きくてはならない。本開示に係る好ましい実施形態において、視差ｄは、５画素より大きく、第１画像３２０ａと同じサイズであり得る第２画像３２０ｂの幅の５分の１未満である。例示的な例として、ｆ＝４８０、Ｔ＝０．１５ｍであり、画像解像度が３２０×２４０画素であるとすると、有効視野範囲は１．５ｍから１５．４ｍが差し引かれ得る。
【０１８３】
類似性の決定において、画像３１０ａ、３１０ｂのそれぞれから、それぞれが中心に比較点を有する３×３画素のブロックが取り上げられる。第１および第２画像３２０ａおよび３２０ｂがカラー画像であるとき、複数の色成分の複数の値が、３×３画素のブロックの各画素に関して比較され得る。逆に、画像３２０ａおよび３２０ｂが白黒画像であるとき、各画素に関する複数のグレースケール値が比較され得る。数式６に基づき、９つの画素全てに関する複数の値の差の合計が最も小さい点が一致している点として選択される。この処理は、第１画像３１０ａ上の選択された特徴点全てに関して繰り返され得る。
【０１８４】
ここで図１０を参照すると、関心対象の被写体１９８の複数の特徴点３５５を用いて、被写体距離Ｚを取得する方法６００の他の代替的実施形態が示されている。９２２で、関心対象の被写体１９８上の複数の特徴点３５５が取得される。特徴点３５５は、様々な異なる方法のうち１または複数を用いて選択され得る。１つの例示的実施形態において、複数の特徴点３５５は、関心対象の被写体１９８の事前定義された複数の形状として識別され得る。他の実施形態において、複数の特徴点３５５は、特定の色または輝度を有する関心対象の被写体１９８の１または複数の部分として認識され得る。他の実施形態において、複数の特徴点３５５は、関心対象の被写体１９８の無作為な複数の部分として選択され得る。他の実施形態において、複数の特徴点３５５は、関心対象の被写体１９８上の規則的に隔てられた複数の間隔をおいて、例えば、１画素毎、１画素おき、２画素おき、３画素おき、などで選択され得る。複数の特徴点３５５は、所望に応じて、変化する複数の形状およびサイズであり得る。いくつかの実施形態において、上記にて説明された複数の方法の組み合わせを用いて複数の特徴点３５５が選択され得る。
【０１８５】
９２４で、選択された複数の特徴点３５５の、第１画像３１０ａから第２画像３１０ｂへのマッチングが行われ得る。好ましい実施形態において、複数の特徴点のマッチングは２つのステップから成る。９２４Ａで、第１画像の特徴点３５５が選択される。計算された点から開始して、マイクロレンズ３１０ａ、３１０ｂの中央の線と平行な線に沿って、一致している点が走査される。マッチングの開始点は、第１画像３１０ａ上の点の複数の座標、基準線の方向および／または長さに基づき計算され得る。好ましくは、選択された線に沿った１方向のみに限定されるが、走査は、１または複数の予め定められた方向の何れかの方向に実行され得る。
【０１８６】
９２４Ｂで、各点に関して走査を行いつつ、図８を参照して本明細書においてより詳細に説明されている方法により、２つの点間の類似性が計算され、第１画像３１０ａの特徴点との複数の差の合計が最小の第２画像３１０ｂの点が選択される。
【０１８７】
９２６で、各特徴点３５５と立体画像化システム１００との間の特徴距離ｚが見つけられる。各特徴距離ｚは、（図３および４に示される）第１レンズ３１０ａにより取得される（図３および４に示される）第１画像３２０ａにおける特徴点３５５の位置と、（図３および４に示される）第２レンズ３１０ｂにより取得される（図３および４に示される）第２画像３２０ｂの特徴点３５５の位置との間の両眼視差ｄを用いることを含む任意の適切なやり方で見つけられ得る。両眼視差ｄを用いて、特徴距離ｚが、上記にて説明されたやり方で数式１から４を介して見つけられ得る。
【０１８８】
９２８で、被写体距離Ｚが、９２６で見つけられた複数の特徴距離ｚを用いて見つけられる。関心対象の被写体１９８の個別の複数の特徴距離ｚに基づき被写体距離Ｚを決定するのに、様々な方法の何れかが用いられ得る。一実施形態において、被写体距離Ｚは、複数の特徴距離ｚの平均に基づき見つけられる。例示的な種類の平均は、算術平均、幾何平均、メジアン、および／または最頻値を含み得るが、これらに限定されない。他の実施形態において、被写体距離Ｚは、複数の特徴点３５５のうち１または複数を選択し、選択された特徴点３５５の複数の特徴距離ｚに基づき、被写体距離Ｚを取得することにより見つけられ得る。
【０１８９】
図１１は、マイクロレンズアレイ１０２から異なるレンズ１０２Ａを選択する方法７００の実施形態を示す。第１画像３２０ａが取得された後短い時間間隔をおいて第２画像３２０ｂが取得されるとする。いくつかの実施形態において、時間間隔は、６０分の１秒から２０分の１秒の範囲内に限定され得る。時間間隔の短さが原因となり、典型的に、被写体距離Ｚの変化は無視出来る程度であり、したがって、被写体距離Ｚ、およびその対応基準線の計算において無視され得る。言い換えると、被写体距離Ｚの変化は方法７００の実行に実質的に影響を与えない可能性が高い。しかし、被写体距離Ｚの急な、または突然の変化は、以下の段落において説明されている例示的な方法のより長い計算を引き起こし得る。そのような急な、または突然の変化が稀であることが原因となり、計算の合計量は実質的に影響を受けない。
【０１９０】
基準線を推定するとき、９５２で、被写体距離Ｚの検出範囲（ＺｍｉｎからＺｍａｘ）が以下の数式を用いて推定される。
【数３１】
2017511495.tif 000033
数式（７）
ここで、Ｚは、マイクロレンズアレイ１０２Ａと関心対象の被写体１９８との間の被写体距離であり、ｆは、第１レンズ３１０ａおよび第２レンズ３１０ｂの修正された焦点距離であり、Ｔは、２つの第１レンズおよび第２レンズ３１０Ａ、３１０Ｂ間の基準線であり、ｘｌは第１画像３２０ａ上の特徴点であり、ｘｒは、ｘｌに対応する一致している点である。修正された焦点距離ｆの計算は、図８を参照して説明される。ここで、特徴点ｘｌおよびｘｒは、図１０を参照して上記にてより詳細に述べられているやり方で選択され得る。いくつかの実施形態において、ｘｌおよびｘｒは、最小被写体距離を有する、および／または最大被写体距離を有する点から選択され得る。好ましくは、ｘｌおよびｘｒは、平均的な被写体距離を有する点から選択され得る。平均的な被写体距離は、算術平均、幾何平均、メジアン、および／または最頻値を決定することを含むがこれらに限定されない任意の従来のやり方で決定され得る。好ましい実施形態において、マイクロレンズアレイ１０２上で利用可能な２つの最も近いレンズ３１０ａ、３１０ｂが、最短の基準線Ｔを提供するよう選択される。
【０１９１】
検出範囲（ＺｍｉｎからＺｍａｘ）が推定されるとき、基準線Ｔは予め定められた視差ｄ、修正された焦点距離ｆ、および検出範囲（ＺｍｉｎからＺｍａｘ）に基づき計算され得る。基準線Ｔを計算するために、９５６で、第１レンズ３１０ａおよび第２レンズ３１０ｂの選択を取得するのに以下の数式が適用され得る。
【数３２】
2017511495.tif 000034
数式（８）
ここで、ｄは、第１レンズ３１０ａおよび第２レンズ３１０ｂにより生成される視差であり、Ｚは被写体距離であり、ｆは、第１レンズ３１０ａおよび第２レンズ３１０ｂの修正された焦点距離である。いくつかの好ましい実施形態において、ｄは、１０またはそれより多くのの画素であるよう選択される。いくつかの他の実施形態において、被写体距離Ｚは、上記にて計算された最小被写体距離Ｚｍｉｎであり得る。好ましい実施形態において、基準線Ｔは、数式８において条件ｄ＞１０が満たされつつ、マイクロレンズアレイの任意の２つのレンズによる最小である利用可能な距離として選択される。２つのレンズ３１０ａ、３１０ｂの最初の選択の後、異なる複数のレンズ１０２Ａを選択することにより視差が大きく、または小さくされ得る。好ましい実施形態において、視差は大きくさえすればよい。
【０１９２】
図１２は、同時位置推定および地図生成（ＳＬＡＭ）を実行する方法８００の例示的実施形態を示す。図１２において、８１０で、（図１に示される）立体撮像装置１００が複数の画像の２つの立体フレームを取得する。２つのフレームは、図１から図１１を参照して上記にて説明された複数の方法の何れかに従うことを含む任意の適切なやり方で取得され得る。８２０で、関心対象の被写体１９８の被写体距離Ｚが計算され得る。被写体距離Ｚは、図１から図１１を参照して上記にて説明された複数の方法の何れかに従うことを含む任意の適切なやり方で計算され得る。８３０で、第１および第２フレーム上の複数の特徴点のマッチングを行うことにより２つのフレームのマッチングが行われる。８４０で、取得された複数のフレームを用いて、３つの並進移動および３つの回転における６つの動きが推定される。複数の回転は、回転データを得る慣性測定ユニット（ＩＭＵ）１５０により取得され得、複数の並進は、回転データに基づき計算される。
【０１９３】
複数の回転および複数の並進が取得されたとき、以下のセクションに説明されるように、８５０のように複数の測定値が複数のフレームに適用される。また８５０で、画像の次のフレームが取得され、システムは、新たに取得されたフレームを計算するために処理を繰り返す。処理は、途切れのない地図生成を実現するために何度も継続される。
【０１９４】
図１３は、（図１２に示される）方法８００の代替的実施形態を示す。図１２に示されるように、８１１で、２つの立体フレーム、１つの第１立体フレームおよび第２立体フレームが、図１から図１１を参照して説明されている複数の方法の何れかにより取得される。図１から図１１を参照して説明されるように、複数の立体フレームは、複数の立体点から成り、それらの点のそれぞれは、ｘ、ｙおよびｚの座標値により表される。本明細書に説明されている２つのフレームは、（図１に示される）立体撮像装置１００の移動経路と共に、異なる複数の時点において取得される。
【０１９５】
８３１における第１フレームおよび第２フレームのマッチングは２つのステップから成る。８３１の第１ステップとして、８３２で、第１フレーム｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝に基づき立体点クラウドが取得される。各Ｐは、第１フレームの特徴点である。ｘ−ｙ面において、立体点クラウドは、
【数３３】
2017511495.tif 000035
により表され得る。取得される特徴点の数は、処理速度、フレームのサイズ、フレームの解像度、並びに、コントローラ１２０の計算能力等に基づき異なる。本明細書に開示される典型的な実施形態において、例として点の数は、１００から２００の範囲内であり得る。
【０１９６】
８３１の複数のフレームのマッチングの第２ステップとして、８３４で、第２投射アレイが第２フレーム
【数３４】
2017511495.tif 000036
において計算される。第２投射アレイの点
【数３５】
2017511495.tif 000037
のそれぞれは、ｘ−ｙ面に投射された、第１フレームの点クラウドの点Ｐｊまたは
【数３６】
2017511495.tif 000038
に対応する一致している点を表す。クラウドアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝の全ての点が第２フレームに対してマッチングが行われた場合、第２投射アレイのサイズは、クラウドアレイのサイズと同じであり得る。しかし、殆どの場合、全ての点が第２フレームに対してマッチングが行われ得るわけではないので、第２投射アレイのサイズは、クラウドアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝のサイズ未満である。第１フレームの点クラウドの第２フレームに対するマッチングは、図９を参照して説明されている、２つの点の類似性を決定するのに３×３画素が比較される方法により達成され得る。
【０１９７】
次に、８４１で、第１立体フレームに対する第２立体フレームの動きが測定される。８４１は３つのステップから成る。８４２で、ＩＭＵ１５０は、複数の回転測定値を測定するよう構成され、それらはコントローラ１２０に渡される。複数の回転測定値は、３次元アレイＲにより表される。回転測定値アレイＲにより、第１フレームの点クラウドアレイと第２フレームの投射された点アレイとの間の関係は
【数３７】
2017511495.tif 000039
数式（９）
として表され得、ここで、Ｒは、複数の回転測定値を表す３次元アレイであり、Ｐｊは、第１フレームの立体点であり、Ｔは、計算されることになる第２フレームの並進の３次元アレイを表し、μは、因数としての働きをする乱数である。
【０１９８】
ＩＭＵ１５０により測定される相対的な回転アレイの的確性を保証すべく、第１フレームが撮像された時点と第２フレームが撮像された時点との間の間隔は比較的短い。第１フレームおよび第２フレーム間の間隔は通常、実際の用途の要求に依存して、２０分の１から６０分の１秒の範囲内であり得る。
【０１９９】
数式９には３つの知られていない値（Ｔｘ，Ｔｙ，Ｔｚ）がある。ゆえに、数学の原理によると、８４４でそれら３つの知られていない値を有するアレイＴを一緒に解くには３つの数式が必要とされる。しかし、投射された複数の点のそれぞれは、ｘｉおよびｙｉにおいて２つの値のみを有する。したがて、Ｔにおける３つの知られていない値を解くために、２つのそのような点に関して利用可能な４つの数式のうち３つの数式を組み合わせる必要がある。
【０２００】
現実的には、第１立体フレームと第２立体フレームとの間の複数の点のマッチングにおけるエラーおよび／または不的確性が原因となり、計算されたＴが的確ではないかもしれない。８４６で、計算された並進アレイＴが数式９に導入され、数式において定義されている関係に適合する点の数を決定するよう計算が行われる。そして、８４４でＴを解くのに他の一対の点が用いられ得、それはその後、８４６で数式９の関係に適合する点の数を決定するよう計算するのに用いられる。この処理は予め定められた数の複数の対の点に関して繰り返され、その結果として、各Ｔの数式９に適合する点の数と共に予め定められた数の複数のＴが得られる。
【０２０１】
５４８で、適合する複数の点の複数の数が比較され、適合する点の数が最も多いＴが選択される。
【０２０２】
８５１で、計算されたＴおよび測定されたＲを用いて、修正された数式９
【数３８】
2017511495.tif 000040
数式（１０）を用いて第２立体フレームに関する立体点クラウドを取得し得る。
【０２０３】
８６１で、第２立体フレームの計算された立体点クラウドが、第１立体フレームの立体点クラウドと融合される。第１立体フレームは第２立体フレームと置き換えられ、新たな第２立体フレームが次の時点において取得される。図１３を参照して説明された処理が何度も繰り返され、途切れない位置推定および地図生成が実行され得る。
【０２０４】
説明されている複数の実施形態は、様々な複数の変更及び代替的な複数の形態の対象であり得るものであり、これらの複数の具体例は、複数の図面において、例として示されたものであり、本明細書において詳細に説明されている。しかしながら、説明されている複数の実施形態は、開示された特定の複数の形態または複数の方法に限定されるものではなく、反対に、本開示は、全ての変更、均等物及び代替物を包含するものであることが理解されるべきである。
【図１】
2017511495.tif 000054
【図２】
2017511495.tif 000055
【図３】
2017511495.tif 000056
【図４】
2017511495.tif 000057
【図５】
2017511495.tif 000058
【図６】
2017511495.tif 000059
【図７】
2017511495.tif 000060
【図８】
2017511495.tif 000061
【図９】
2017511495.tif 000062
【図１０】
2017511495.tif 000063
【図１１】
2017511495.tif 000064
【図１２】
2017511495.tif 000065
【図１３】
2017511495.tif 000066
【手続補正書】
【提出日】平成28年6月28日(2016.6.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、
前記マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、
前記被写体距離を取得する前記ステップに基づき、前記マイクロレンズアレイから２つのレンズを選択するステップと
を含む方法。
【請求項２】
前記２つのレンズを選択するステップは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップを有する、請求項１に記載の方法。
【請求項３】
前記被写体距離を取得するステップは、前記マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を繰り返し取得するステップを有し、
ステップは、前記変化する被写体距離を繰り返し取得する前記ステップに基づき、前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択する、請求項２に記載の方法。
【請求項４】
前記第１レンズおよび前記第２レンズを選択するステップに基づき前記基準線を設定するステップをさらに含む、請求項２または請求項３に記載の方法。
【請求項５】
前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき、前記基準線を自動的に調節するステップをさらに含む、請求項４に記載の方法。
【請求項６】
前記被写体距離を取得するステップは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得するステップと、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得するステップと、
前記第１画像と前記第２画像との間の両眼視差を決定するステップと
を有し、
前記被写体距離を取得するステップは、前記両眼視差を決定するステップに基づき前記被写体距離を計算するステップを有する、請求項２に記載の方法。
【請求項７】
前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップの前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するステップをさらに有する、請求項６に記載の方法。
【請求項８】
前記被写体距離を取得するステップは、
前記第１画像上の複数の特徴点を取得するステップと、
前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うステップと
を有する、請求項６または請求項７に記載の方法。
【請求項９】
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、請求項８に記載の方法。
【請求項１０】
前記両眼視差を決定するステップは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するステップを含む、請求項８または請求項９に記載の方法。
【請求項１１】
前記複数の特徴点のマッチングを行うステップは、
前記第２画像を走査して、前記第１画像の選択された特徴点に一致している前記第２画像の点を識別するステップと、
前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するステップと
を含む、請求項８から１０の何れか一項に記載の方法。
【請求項１２】
前記類似性を計算する前記ステップは、前記第１画像の前記選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記３×３画素のエリアを比較するステップは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するステップを含む、請求項１２に記載の方法。
【請求項１４】
前記被写体距離を取得するステップは、
前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定するステップと、
複数の前記特徴距離を用いて前記被写体距離を決定するステップと
をさらに有する、請求項８から請求項１３の何れか一項に記載の方法。
【請求項１５】
前記被写体距離を決定するステップは、前記複数の特徴距離の平均に基づき前記被写体距離を取得するステップを含む、請求項１４に記載の方法。
【請求項１６】
前記被写体距離を決定するステップは、前記複数の特徴点のうち１または複数を選択するステップと、選択された前記１または複数の特徴点の前記特徴距離に基づき前記被写体距離を取得するステップとを含む、請求項１４または請求項１５に記載の方法。
【請求項１７】
前記１または複数の特徴点を選択するステップは、前記マイクロレンズアレイに最も近い予め定められた割合の複数の特徴点を選択するステップと、前記マイクロレンズアレイから最も遠い選択された特徴点の前記特徴距離として前記被写体距離を取得するステップとを含む、請求項１６に記載の方法。
【請求項１８】
前記２つのレンズを動的に選択するステップは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定するステップと、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算するステップと、
予め定められたレベルより大きい視差を確かなものにしながら最小基準線により選択するステップと
を有する、請求項１から請求項１７の何れか一項に記載の方法。
【請求項１９】
前記第１レンズおよび前記第２レンズを選択するステップは、
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは前記被写体距離であり、ｆは、選択された前記第１レンズおよび前記第２レンズの前記修正された焦点距離であり、Ｔは、２つの最も近いレンズ間の前記基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定するステップと、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は前記視差である］により利用可能な複数の基準線の範囲を計算するステップと、
前記視差ｄ＞１０の関係が満たされることを確保しながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択するステップと
を含む、請求項７に記載の方法。
【請求項２０】
前記第１レンズおよび前記第２レンズを選択するステップは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくするステップを含む、請求項２から１７の何れか一項に記載の方法。
【請求項２１】
前記基準線を前記自動的に調節するステップの後に前記立体画像化システムの複数の外部パラメータを較正するステップをさらに含む、請求項５に記載の方法。
【請求項２２】
前記較正するステップは、前記立体画像化システムの並進に関する外部パラメータおよび回転に関する外部パラメータのうち少なくとも１つを較正するステップを有する、請求項２１に記載の方法。
【請求項２３】
前記較正するステップは、複数の前記並進に関する外部パラメータを最初に較正するステップを有する、請求項２２に記載の方法。
【請求項２４】
前記較正するステップの後には、前記外部パラメータを較正して前記外部パラメータを最適化するステップをさらに有する、請求項２３に記載の方法。
【請求項２５】
前記立体画像化システムは、モバイルプラットフォームに乗せて設置され、自動的に調節する前記ステップは、前記モバイルプラットフォームの移動モードに依存する、請求項５から２３の何れか一項に記載の方法。
【請求項２６】
前記モバイルプラットフォームは無人航空機（ＵＡＶ）であり、前記移動モードは前記ＵＡＶの飛行モードである、請求項２５に記載の方法。
【請求項２７】
請求項１から２６の何れか一項に記載の方法に従って自動的な基準線調節を実行するよう構成された、立体画像化システム。
【請求項２８】
請求項１から２６の何れか一項に記載の方法に従って、マイクロレンズアレイを有する立体画像化システムの基準線を自動的に調節するための複数の命令を備える、コンピュータプログラムプロダクト。
【請求項２９】
１または複数の他のレンズとの組み合わせで画像を取得する複数のレンズを有するマイクロレンズアレイと、
前記マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを選択するコントローラと
を備える、立体画像化システムの基準線を設定する装置。
【請求項３０】
前記コントローラは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択する、請求項２９に記載の装置。
【請求項３１】
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離を取得し、前記変化する被写体距離の繰り返しの前記取得に基づき、前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択する、請求項３０に記載の装置。
【請求項３２】
前記コントローラは、前記第１レンズおよび前記第２レンズに基づき前記基準線を設定する、請求項３１に記載の装置。
【請求項３３】
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を調節する、請求項３２に記載の装置。
【請求項３４】
前記コントローラは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得し、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得し、
前記第１画像と前記第２画像との間の両眼視差を決定し、
前記両眼視差の前記決定に基づき前記被写体距離を計算する
ことにより、前記被写体距離を取得する、請求項３１から３３の何れか一項に記載の装置。
【請求項３５】
前記コントローラは、前記両眼視差の前記決定の前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算する、請求項３４に記載の装置。
【請求項３６】
前記コントローラは、前記第１画像上の複数の特徴点を取得し、前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うよ、請求項３４または３５に記載の装置。
【請求項３７】
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、請求項３６に記載の装置。
【請求項３８】
前記コントローラは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定する、請求項３６または３７に記載の装置。
【請求項３９】
前記コントローラは、前記第２画像を走査して、前記第１画像の選択された特徴点に一致する前記第２画像の点を識別し、前記第１画像の前記選択された特徴点と前記点との間の類似性を計算する、請求項３８に記載の装置。
【請求項４０】
前記コントローラは、前記第１画像の各選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較する、請求項３９に記載の装置。
【請求項４１】
前記コントローラは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較する、請求項４０に記載の装置。
【請求項４２】
前記コントローラは、前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定し、複数の前記特徴距離を用いて前記被写体距離を決定するよう構成される、請求項３６から４１の何れか一項に記載の装置。
【請求項４３】
前記被写体距離は、前記複数の特徴距離の平均である、請求項４２に記載の装置。
【請求項４４】
前記コントローラは、前記複数の特徴点のうち１または複数を選択し、選択された前記１または複数の特徴点の前記特徴距離に基づき前記被写体距離を取得する、請求項４２または４３に記載の装置。
【請求項４５】
前記複数の特徴点は、前記マイクロレンズアレイに最も近い、または前記マイクロレンズアレイから最も遠い予め定められた割合の複数の特徴点が選択される、請求項４４に記載の装置。
【請求項４６】
前記コントローラは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定し、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算し、
視差が予め定められたレベルより大きいことを確保しながら最小基準線により選択する
ことにより、前記第１レンズおよび前記第２レンズを選択する、請求項３０から４５の何れか一項に記載の装置。
【請求項４７】
前記第１レンズおよび前記第２レンズは、
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは前記被写体距離であり、ｆは、選択された前記第１レンズおよび前記第２レンズの前記修正された焦点距離であり、Ｔは、２つの最も近いマイクロレンズ間の前記基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定し、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は前記視差である］により利用可能な複数の基準線の範囲を計算し、
前記視差ｄ＞１０の関係を確かなものにしながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択する
ことにより選択される、請求項３５に記載の装置。
【請求項４８】
前記コントローラは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくする、請求項３０から４７の何れか一項に記載の装置。
【請求項４９】
前記コントローラは、前記基準線の前記調節の後に前記立体画像化システムの複数の外部パラメータを較正する、請求項３３に記載の装置。
【請求項５０】
前記複数の外部パラメータは、前記立体画像化システムの並進に関する外部パラメータおよび回転に関する外部パラメータのうち少なくとも１つを含む、請求項４９に記載の装置。
【請求項５１】
複数の前記並進に関する外部パラメータは、前記第１レンズおよび前記第２レンズに従って最初に較正される、請求項５０に記載の装置。
【請求項５２】
前記コントローラは、最初の前記較正の後に前記複数の外部パラメータを較正して、前記外部パラメータを最適化するよう構成される、請求項５１に記載の装置。
【請求項５３】
前記立体画像化システムは無人航空機（ＵＡＶ）であり、前記基準線の前記調節は、前記ＵＡＶの飛行モードに依存する、請求項５２に記載の装置。
【請求項５４】
前記立体画像化システムは赤外線画像化システムである、請求項３０から５３の何れか一項に記載の装置。
【請求項５５】
前記立体画像化システムはＸ線画像化システムである、請求項３０から５４の何れか一項に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２０４
【補正方法】変更
【補正の内容】
【０２０４】
説明されている複数の実施形態は、様々な複数の変更及び代替的な複数の形態の対象であり得るものであり、これらの複数の具体例は、複数の図面において、例として示されたものであり、本明細書において詳細に説明されている。しかしながら、説明されている複数の実施形態は、開示された特定の複数の形態または複数の方法に限定されるものではなく、反対に、本開示は、全ての変更、均等物及び代替物を包含するものであることが理解されるべきである。
［項目１］
マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、
前記マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、
前記被写体距離を取得する前記ステップに基づき前記マイクロレンズアレイから２つのレンズを動的に選択するステップと
を備える方法。
［項目２］
前記２つのレンズを動的に選択する前記ステップは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップを有する、項目１に記載の方法。
［項目３］
前記被写体距離を取得する前記ステップは、前記マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を繰り返し取得するステップを有し、
前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択する前記ステップは、前記変化する被写体距離を繰り返し取得する前記ステップに基づく、項目２に記載の方法。
［項目４］
前記第１レンズおよび前記第２レンズを選択する前記ステップに基づき前記基準線を設定するステップをさらに備える、項目２または項目３に記載の方法。
［項目５］
前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を自動的に調節するステップをさらに備える、項目４に記載の方法。
［項目６］
前記被写体距離を取得する前記ステップは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得するステップと、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得するステップと、
前記第１画像と前記第２画像との間の両眼視差を決定するステップと
を有し、
前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップに基づき前記被写体距離を計算するステップを有する、項目２に記載の方法。
［項目７］
前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップの前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するステップをさらに有する、項目６に記載の方法。
［項目８］
前記被写体距離を取得する前記ステップは、
前記第１画像上の複数の特徴点を取得するステップと、
前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うステップと
を有する、項目６または項目７に記載の方法。
［項目９］
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、項目８に記載の方法。
［項目１０］
前記両眼視差を決定する前記ステップは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するステップを含む、項目８または項目９に記載の方法。
［項目１１］
前記複数の特徴点のマッチングを行う前記ステップは、
前記第２画像を走査して、前記第１画像の選択された特徴点に一致している前記第２画像の点を識別するステップと、
前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するステップと
を含む、項目８から１０の何れか一項に記載の方法。
［項目１２］
前記類似性を計算する前記ステップは、前記第１画像の前記選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するステップを含む、項目１１に記載の方法。
［項目１３］
３×３画素のエリアを比較する前記ステップは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するステップを含む、項目１２に記載の方法。
［項目１４］
前記被写体距離を取得する前記ステップは、
前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定するステップと、
複数の前記特徴距離を用いて前記被写体距離を決定するステップと
をさらに有する、前記項目の何れか一項に記載の方法。
［項目１５］
前記被写体距離を決定する前記ステップは、前記複数の特徴距離の平均に基づき前記被写体距離を取得するステップを含む、項目１４に記載の方法。
［項目１６］
前記被写体距離を決定する前記ステップは、前記複数の特徴点のうち１または複数を選択するステップと、選択された前記特徴点の前記特徴距離に基づき前記被写体距離を取得するステップとを含む、項目１４または項目１５に記載の方法。
［項目１７］
前記特徴点を選択する前記ステップは、前記マイクロレンズアレイに最も近い予め定められた割合の複数の特徴点を選択するステップと、前記マイクロレンズアレイから最も遠い選択された前記特徴点の前記特徴距離として前記被写体距離を取得するステップとを含む、項目１６に記載の方法。
［項目１８］
前記２つのレンズを動的に選択する前記ステップは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定するステップと、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算するステップと、
予め定められたレベルより大きい視差を確かなものにしながら最小基準線により選択するステップと
を有する、前記項目の何れか一項に記載の方法。
［項目１９］
前記第１レンズおよび前記第２レンズを選択する前記ステップは、
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは前記被写体距離であり、ｆは、前記複数の選択されたレンズの前記修正された焦点距離であり、Ｔは、２つの最も近いレンズ間の前記基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定するステップと、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は前記視差である］により利用可能な複数の基準線の範囲を計算するステップと、
前記視差ｄ＞１０の関係が満たされることを確保しながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択するステップと
を含む、項目２から１８の何れか一項に記載の方法。
［項目２０］
前記第１レンズおよび前記第２レンズを選択する前記ステップは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくするステップを含む、項目２から１９の何れか一項に記載の方法。
［項目２１］
前記基準線の前記自動調節の後に前記立体画像化システムの複数の外部パラメータを較正するステップをさらに備える、項目５に記載の方法。
［項目２２］
較正する前記ステップは、前記立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを較正するステップを有する、項目２１に記載の方法。
［項目２３］
較正する前記ステップは、前記２つのレンズを選択する前記段階に従って、複数の前記並進に関する外部パラメータを最初に較正するステップを有する、項目２２に記載の方法。
［項目２４］
較正する前記ステップは、最初に較正する前記段階の後に、前記外部パラメータを較正して前記外部パラメータを最適化するステップをさらに有する、項目２３に記載の方法。
［項目２５］
前記立体画像化システムは、モバイルプラットフォームに乗せて設置され、自動的に調節する前記ステップは、前記モバイルプラットフォームの移動モードに依存する、項目５から２３の何れか一項に記載の方法。
［項目２６］
前記モバイルプラットフォームは無人航空機（ＵＡＶ）であり、前記移動モードは前記ＵＡＶの飛行モードである、項目２４に記載の方法。
［項目２７］
項目１から２６の何れか一項に従って自動的な基準線調節を実行するよう構成された、立体画像化システム。
［項目２８］
項目１から２６の何れか一項に従って、マイクロレンズアレイを有する立体画像化システムの基準線を自動的に調節するための複数の命令を備える、コンピュータプログラムプロダクト。
［項目２９］
個別に、または１または複数の他のレンズとの組み合わせで画像を取得するようそれぞれが構成された複数のレンズを有するマイクロレンズアレイと、
前記マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを動的に選択するよう構成されたコントローラと
を備える、立体画像化システムの基準線を設定するための装置。
［項目３０］
前記コントローラは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するよう構成される、項目２９に記載の装置。
［項目３１］
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離を取得し、前記変化する被写体距離の繰り返しの前記取得に基づき、前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択するよう構成される、項目３０に記載の装置。
［項目３２］
前記コントローラは、前記第１レンズおよび前記第２レンズに基づき前記基準線を設定するよう構成される、項目３１に記載の装置。
［項目３３］
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を動的に調節するよう構成される、項目３２に記載の装置。
［項目３４］
前記コントローラは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得し、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得し、
前記第１画像と前記第２画像との間の両眼視差を決定し、
前記両眼視差の前記決定に基づき前記被写体距離を計算する
ことにより、前記被写体距離を取得するよう構成される、項目３１から３３の何れか一項に記載の装置。
［項目３５］
前記コントローラは、前記両眼視差の前記決定の前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するよう構成される、項目３４に記載の装置。
［項目３６］
前記コントローラは、前記第１画像上の複数の特徴点を取得し、前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うよう構成される、項目３４または３５に記載の装置。
［項目３７］
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、項目３６に記載の装置。
［項目３８］
前記コントローラは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するよう構成される、項目３６または３７に記載の装置。
［項目３９］
前記コントローラは、前記第２画像を走査して、前記第１画像の選択された特徴点に一致する前記第２画像の点を識別し、前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するよう構成される、項目３８に記載の装置。
［項目４０］
前記コントローラは、前記第１画像の各選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するよう構成される、項目３９に記載の装置。
［項目４１］
前記コントローラは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するよう構成される、項目４０に記載の装置。
［項目４２］
前記コントローラは、前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定し、複数の前記特徴距離を用いて前記被写体距離を決定するよう構成される、項目３６から４１の何れか一項に記載の装置。
［項目４３］
前記被写体距離は、前記複数の特徴距離の平均である、項目４２に記載の装置。
［項目４４］
前記コントローラは、前記複数の特徴点のうち１または複数を選択し、選択された前記特徴点の前記特徴距離に基づき前記被写体距離を取得するよう構成される、項目４２または４３に記載の装置。
［項目４５］
前記複数の特徴点は、前記マイクロレンズアレイに最も近い、または前記マイクロレンズアレイから最も遠い予め定められた割合の複数の特徴点が選択される、項目４４に記載の装置。
［項目４６］
前記コントローラは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定し、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算し、
視差が予め定められたレベルより大きいことを確保しながら最小基準線により選択する
ことにより、前記第１レンズおよび前記第２レンズを選択するよう構成される、項目３０から４５の何れか一項に記載の装置。
［項目４７］
前記第１レンズおよび前記第２レンズは、
Ｚ＝ｆ×（Ｔ／（ｘｌ−ｘｒ））［Ｚは前記被写体距離であり、ｆは、選択された前記第１レンズおよび前記第２レンズの前記修正された焦点距離であり、Ｔは、２つの最も近いマイクロレンズ間の前記基準線であり、（ｘｌ−ｘｒ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定し、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘｌ−ｘｒ）は前記視差である］により利用可能な複数の基準線の範囲を計算し、
前記視差ｄ＞１０の関係を確かなものにしながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択する
ことにより選択される、項目３０から４６の何れか一項に記載の装置。
［項目４８］
前記コントローラは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくするよう構成される、項目３０から４７の何れか一項に記載の装置。
［項目４９］
前記コントローラは、前記基準線の前記調節の後に前記立体画像化システムの複数の外部パラメータを較正するよう構成される、項目３３から４８の何れか一項に記載の装置。
［項目５０］
前記複数の外部パラメータは、前記立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを含む、項目４９に記載の装置。
［項目５１］
複数の前記並進に関する外部パラメータは、前記第１レンズおよび前記第２レンズに従って最初に較正される、項目５０に記載の装置。
［項目５２］
前記コントローラは、最初の前記較正の後に前記複数の外部パラメータを較正して、前記外部パラメータを最適化するよう構成される、項目５１に記載の装置。
［項目５３］
前記立体画像化システムは無人航空機（ＵＡＶ）であり、前記基準線の前記調節は、前記ＵＡＶの飛行モードに依存する、項目５２に記載の装置。
［項目５４］
前記立体画像化システムは赤外線画像化システムである、項目３０から５３の何れか一項に記載の装置。
［項目５５］
前記立体画像化システムはＸ線画像化システムである、項目３０から５４の何れか一項に記載の装置。
［項目５６］
マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行する方法であって、
項目２から２６の何れか一項に記載の方法を通じて前記マイクロレンズアレイにより第１立体フレームおよび第２立体フレームを取得する段階と、
第１立体フレームに対する前記第２フレームの複数の回転を慣性測定ユニットＩＭＵにより測定して回転データを生成する段階と、
前記回転データを前記第１立体フレームおよび前記第２立体フレームと組み合わることにより前記第１立体フレームおよび前記第２立体フレームのマッチングを行う段階と
を備え、
前記第１立体フレームは、予め定められた割合だけ前記第２立体フレームと重なる、方法。
［項目５７］
前記第１立体フレームおよび前記第２立体フレームを取得する前記段階は、異なる複数の時点において前記第１立体フレームおよび前記第２立体フレームを取得する段階を有する、項目５６に記載の同時位置推定および地図生成のための方法。
［項目５８］
異なる複数の時点において前記第１立体フレームおよび前記第２立体フレームを取得する前記段階は、６０分の１秒またはそれより長い、および２０分の１秒またはそれより短い間隔で前記第１立体フレームおよび前記第２立体フレームを取得する段階を含む、項目５７に記載の同時位置推定および地図生成のための方法。
［項目５９］
前記第１立体フレームに基づき立体点クラウドを取得する段階をさらに備え、
前記立体点クラウドは複数の立体特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝である、項目５８に記載の同時位置推定および地図生成のための方法。
［項目６０］
前記立体点クラウドに基づきｘ−ｙ面における第２投射アレイ
【数３９】
2017511495.tif 000067
を取得する段階をさらに備える、項目５９に記載の同時位置推定および地図生成のための方法。
［項目６１］
前記第２投射アレイを取得する前記段階は、
前記立体点クラウドに基づきｘ−ｙ面における第１投射アレイ
【数４０】
2017511495.tif 000068
を取得する段階と、
項目１１から１３の何れか一項に記載の方法を用いて、前記第２立体画像に対して前記第１投射アレイの複数の点のマッチングを行って、前記第２投射アレイ
【数４１】
2017511495.tif 000069
を生成する段階と
を有する、項目６０に記載の同時位置推定および地図生成のための方法。
［項目６２］
前記回転データ、前記立体点クラウド、および前記第２投射アレイに基づき並進アレイＴを計算する段階をさらに備える、項目６１に記載の同時位置推定および地図生成のための方法。
［項目６３］
前記並進アレイＴを計算する前記段階は、関係
【数４２】
2017511495.tif 000070
［Ｒは、複数の回転測定値のアレイであり、Ｐｊは立体点であり、Ｔは、計算されることになる並進アレイを表し、μは乱数である］を適用する段階を有する、項目６２に記載の同時位置推定および地図生成のための方法。
［項目６４］
【数４３】
2017511495.tif 000071
を適用する前記段階は、前記立体点クラウドから選択される少なくとも２つの点、およびそれらの、前記第２投射アレイの一致している２つの点に関して一式の数式を解くことによりＴを計算する段階をさらに含む、項目６３に記載の同時位置推定および地図生成のための方法。
［項目６５］
前記立体点クラウドから選択される複数の点、およびそれらの、前記第２投射アレイの対応する複数の投射点を用いて前記並進アレイＴを数式
【数４４】
2017511495.tif 000072
へ導入することによりＴを検証して、一致している複数の点の計数を得る段階と、
一致している複数の点の最大計数を有する並進アレイＴを選択された並進アレイＴとして選択する段階と
をさらに備える、項目６２から６４の何れか一項に記載の同時位置推定および地図生成のための方法。
［項目６６］
前記回転データ、前記選択された並進Ｔ、および前記関係
【数４５】
2017511495.tif 000073
を用いて前記第２フレームに関して立体点クラウドを計算する段階をさらに備える、項目６５に記載の同時位置推定および地図生成のための方法。
［項目６７］
項目２から２６の何れか一項に記載の方法を通じて、前記マイクロレンズアレイにより他の立体フレームを取得する段階と、
項目５６から６６に規定される複数の前記段階を、前記第２立体フレームを前記第１立体フレームとし、新たに取得された前記立体フレームを前記第２立体フレームとして繰り返す段階と
をさらに備える、項目５６から６６の何れか一項に記載の同時位置推定および地図生成のための方法。
［項目６８］
項目５６から６７の何れか一項に従って自動位置推定および地図生成を実行するよう構成された同時位置推定および地図生成システム。
［項目６９］
マイクロレンズアレイを有する立体画像化システムにより、項目５６から６７の何れか一項に従って同時位置推定および地図生成を自動的に実行するための複数の命令を備える、コンピュータプログラムプロダクト。
［項目７０］
マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行するための装置であって、
第１時点における第１立体フレームに対する第２時点において取得される第２立体フレームの複数の回転を測定するよう構成された慣性測定ユニットＩＭＵと、
項目２から２６の何れか一項の方法を通じて、前記マイクロレンズアレイにより前記第１立体フレームおよび前記第２立体フレームを取得し、前記ＩＭＵから前記第２立体フレームの回転データを取得し、前記回転データを前記第１立体フレームおよび前記第２立体フレームと組み合わせることにより前記第１立体フレームおよび前記第２立体フレームのマッチングを行うよう構成されたコントローラと
を備え、
前記第１立体フレームは、予め定められた割合だけ前記第２立体フレームと重なる、装置。
［項目７１］
前記第１立体フレームおよび前記第２立体フレームは、異なる複数の時点において取得される、項目７０に記載の同時位置推定および地図生成のための装置。
［項目７２］
前記異なる複数の時点間の間隔は、６０分の１秒またはそれより長く、および２０分の１秒またはそれより短い、項目７１に記載の同時位置推定および地図生成のための装置。
［項目７３］
前記コントローラはさらに、前記第１立体フレームに基づき立体点クラウドを取得するよう構成され、
前記立体点クラウドは、複数の立体特徴点のアレイ｛Ｐ１，Ｐ２，Ｐ３…，Ｐｎ｝である、項目７２に記載の同時位置推定および地図生成のための装置。
［項目７４］
前記コントローラはさらに、前記立体点クラウドに基づきｘ−ｙ面における第２投射アレイ
【数４６】
2017511495.tif 000074
を取得するよう構成される、項目７３に記載の同時位置推定および地図生成のための装置。
［項目７５］
前記コントローラは、
前記立体点クラウドに基づきｘ−ｙ面における第１投射アレイ
【数４７】
2017511495.tif 000075
を取得し、
項目１１から１３の何れか一項に記載の方法を用いて、前記第２立体画像に対して前記第１投射アレイの複数の点のマッチングを行って、前記第２投射アレイ
【数４８】
2017511495.tif 000076
を生成する
ことにより前記第２投射アレイを取得するよう構成される、項目７４に記載の同時位置推定および地図生成のための装置。
［項目７６］
前記コントローラはさらに、前記回転データ、前記立体点クラウド、および前記第２投射アレイに基づき並進アレイＴを計算するよう構成される、項目７５に記載の同時位置推定および地図生成のための装置。
［項目７７］
前記並進アレイＴは、関係
【数４９】
2017511495.tif 000077
［Ｒは、複数の回転測定値のアレイであり、Ｐｊは、前記立体点クラウドの立体点であり、Ｔは、計算されることになる前記並進アレイを表し、μは乱数である］を適用することにより計算される、項目７６に記載の同時位置推定および地図生成のための装置。
［項目７８］
前記並進アレイＴは、前記立体点クラウドから選択される少なくとも２つの点、およびそれらの、前記第２投射アレイの一致している２つの点に関して一式の数式を解くことにより計算される、項目７７に記載の同時位置推定および地図生成のための装置。
［項目７９］
前記コントローラは、
前記立体点クラウドから選択される複数の点、およびそれらの、前記第２投射アレイの対応する複数の投射点を用いて前記並進アレイＴを数式
【数５０】
2017511495.tif 000078
へ導入することによりＴを検証して、一致している複数の点の計数を得、
一致している複数の点の数が最も多い並進アレイＴを選択された並進アレイＴとして選択するよう構成される、項目７０から７８の何れか一項に記載の同時位置推定および地図生成のための装置。
［項目８０］
前記コントローラは、前記回転データ、前記選択された並進Ｔ、および前記関係
【数５１】
2017511495.tif 000079
を用いて前記第２フレームに関して立体点クラウドを計算するよう構成される、項目７９に記載の同時位置推定および地図生成のための装置。
［項目８１］
前記コントローラは、前記マイクロレンズアレイにより、項目２から２６の何れか一項に記載の方法を通じて他の立体フレームを取得し、前記第２立体フレームを前記第１立体フレームとし、新たに取得された前記立体フレームを前記第２立体フレームとするよう構成される、項目７０から８０の何れか一項に記載の同時位置推定および地図生成のための装置。
【国際調査報告】
2017511495.tif 000080
2017511495.tif 000081