(57)【要約】  テクスチャ情報及び環境情報を取得するための方法及びシステムが提供される。テクスチャ情報及び／又は環境情報は、取得された画像の様々な部分から取得してもよく、例えば無人航空機（ＵＡＶ）等の移動体の操作性を改善するために利用されてもよい。【選択図】図１
2019522287.tif 000002
【特許請求の範囲】
【請求項１】
移動体より取得された画像を処理するシステムにおいて、
第２の画像群の品質が所定の閾値より低い場合には、第１の画像群を処理してテクスチャ情報を取得し、前記第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、前記第２の画像群は前記第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントにより取得され、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するように個別に又は集合的に構成される１つ又は複数のプロセッサを含むシステム。
【請求項２】
前記環境情報は奥行き情報を含む、請求項１に記載のシステム。
【請求項３】
前記環境情報は障害物情報又は前記移動体の状態情報を含む、請求項１に記載のシステム。
【請求項４】
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて前記移動体の位置及び／又は向きを制御する制御信号を生成する、請求項１に記載のシステム。
【請求項５】
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて、前記移動体に接続された撮像装置の前記移動体に対する位置及び／又は向きを制御する制御信号を生成する、請求項１に記載のシステム。
【請求項６】
前記移動体は無人航空機（ＵＡＶ）である、請求項１に記載のシステム。
【請求項７】
前記第１の撮像用コンポーネントは第１のレンズシステムを含む、請求項１に記載のシステム。
【請求項８】
前記第２の撮像用コンポーネントは第２のレンズシステムを含む、請求項７に記載のシステム。
【請求項９】
前記１つ又は複数のプロセッサは、前記第２の画像群の品質が前記所定の閾値より高い場合には、前記第２の画像群を処理して前記移動体に用いる環境情報を取得する、請求項１に記載のシステム。
【請求項１０】
前記１つ又は複数のプロセッサは、前記第２の画像の品質が前記所定の閾値より高い場合には、環境情報を取得するために前記第１の画像群を処理しない、請求項９に記載のシステム。
【請求項１１】
前記１つ又は複数のプロセッサは、前記第２の画像の品質が前記所定の閾値より低い場合に、前記第２の撮像用コンポーネントの光軸を調整する制御信号を生成する、請求項１に記載のシステム。
【請求項１２】
前記制御信号は、前記第１の画像群の前記テクスチャ情報に依存する、請求項１１に記載のシステム。
【請求項１３】
前記１つ又は複数のプロセッサは、前記第２の画像群の画像の顕著性又は勾配を解析することによって前記第２の画像群の品質を判断する、請求項１に記載のシステム。
【請求項１４】
前記１つ又は複数のプロセッサは、前記第２の画像群内の特徴点の数又はオプティカルフローを解析することによって、前記第２の画像群の品質を判断する請求項１に記載のシステム。
【請求項１５】
前記第１の視野と前記第２の視野は重複する、請求項１に記載のシステム。
【請求項１６】
前記第２の視野は前記第１の視野により包含される、請求項１５に記載のシステム。
【請求項１７】
前記第２の視野の視野角は約５０°〜８０°であり、前記第１の視野の視野角は約９０°〜１８０°である、請求項１に記載のシステム。
【請求項１８】
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントの各々は単眼式レンズシステムを含む、請求項１に記載のシステム。
【請求項１９】
前記第１の撮像用コンポーネントは第１の撮像装置上に位置付けられ、前記第２の撮像用コンポーネントは第２の撮像装置上に位置付けられる、請求項１に記載のシステム。
【請求項２０】
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは１つの撮像装置上に位置付けられる、請求項１に記載のシステム。
【請求項２１】
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは前記移動体に搭載されている、請求項１に記載のシステム。
【請求項２２】
前記１つ又は複数のプロセッサは、前記移動体に搭載される、請求項１に記載のシステム。
【請求項２３】
前記１つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び取得ステップを繰り返すように構成される、請求項１に記載のシステム。
【請求項２４】
前記ステップは少なくとも２秒ごとに繰り返される、請求項１に記載のシステム。
【請求項２５】
移動体により取得された画像を処理する方法において、
第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、前記第１の撮像用コンポーネントは第１の視野を有するステップと、
第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、前記第２の撮像用コンポーネントは前記第１の視野より狭い第２の視野を有するステップと、
１つ又は複数のプロセッサを個別に、又は集合的に用いて、
前記第２の画像群の品質が所定の閾値より低い場合に、前記第１の画像群を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するステップと、
を含む方法。
【請求項２６】
移動体により取得された画像を処理する装置において、
第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得する第１の撮像用コンポーネントと、
前記第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得する第２の撮像用コンポーネントと、
前記第２の画像群の品質が所定の閾値より低い場合に、前記第１の画像群を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される１つ又は複数のプロセッサと、
を含む装置。
【請求項２７】
移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体において、
第１の撮像用コンポーネントを用いて第１の画像群を取得し、前記第１の撮像用コンポーネントは第１の視野を有し、
第２の撮像用コンポーネントを用いて第２の画像群を取得し、前記第２の撮像用コンポーネントは前記第１の視野より狭い第２の視野を有し、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第２の画像群の品質が所定の閾値より低いときに前記第１の画像群を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
コード、ロジック又は命令を含む非一時的コンピュータ読取可能媒体。
【請求項２８】
移動体により取得された画像を処理するシステムにおいて、
第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、前記第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、前記第２の画像群は前記第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントにより取得され、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成するように
個別に又は集合的に構成される１つ又は複数のプロセッサを含むシステム。
【請求項２９】
前記１つ又は複数のプロセッサはさらに、前記第１の画像群と前記第２の画像群の重複部分を解析して前記移動体に用いる環境情報を取得する、請求項２８に記載のシステム。
【請求項３０】
前記制御信号は、前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの光軸を調整する、請求項２８に記載のシステム。
【請求項３１】
前記移動体は無人航空機（ＵＡＶ）である、請求項２８に記載のシステム。
【請求項３２】
前記第１の撮像用コンポーネントは第１のレンズシステムを含む、請求項２８に記載のシステム。
【請求項３３】
前記第２の撮像用コンポーネントは第２のレンズシステムを含む、請求項３２に記載のシステム。
【請求項３４】
前記制御信号は、前記移動体の調整のための命令を提供し、それによって前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する、請求項２８に記載のシステム。
【請求項３５】
前記移動体の前記調整は、前記移動体の、そのピッチ、ヨー、又はロール軸に対する向きの調整である、請求項３４に記載のシステム。
【請求項３６】
前記制御信号は、前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの光軸の調整のための命令を提供する、請求項２８に記載のシステム。
【請求項３７】
前記１つ又は複数のプロセッサはさらに、前記第１の画像群と前記第２の画像群との重複部分の品質が所定の閾値より低い場合に、前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する、請求項２８に記載のシステム。
【請求項３８】
前記環境情報は奥行き情報を含む、請求項３７に記載のシステム。
【請求項３９】
前記環境情報は障害物情報又は前記移動体の状態情報を含む、請求項３７に記載のシステム。
【請求項４０】
前記１つ又は複数のプロセッサは、前記重複部分の画像の顕著性又は勾配を解析することによって前記重複部分の品質を判断する、請求項３７に記載のシステム。
【請求項４１】
前記１つ又は複数のプロセッサは、前記重複部分内の特徴点の数又はオプティカルフローを解析することによって前記重複部分の品質を判断する、請求項３７に記載のシステム。
【請求項４２】
前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの前記調整は、前記第１の視野と前記第２の視野の新しい重複部分が前記第１の画像群と前記第２の画像群の前記非重複部分の少なくとも一部を包含する、請求項２８に記載のシステム。
【請求項４３】
前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの前記調整は、前記第１の視野と前記第２の視野の新しい重複部分が以前の重複部分とは異なる大きさを有する、請求項２８に記載のシステム。
【請求項４４】
前記第１の視野と前記第２の視野の大きさは同様である、請求項２８に記載のシステム。
【請求項４５】
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは実質的に平行な光軸を有する、請求項２８に記載のシステム。
【請求項４６】
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントの各々は単眼式レンズシステムを含む、請求項２８に記載のシステム。
【請求項４７】
前記第１の撮像用コンポーネントは第１の撮像装置上に位置付けられ、前記第２の撮像用コンポーネントは第２の撮像装置上に位置付けられる、請求項２８に記載のシステム。
【請求項４８】
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは１つの撮像装置上に位置付けられる、請求項２８に記載のシステム。
【請求項４９】
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは、前記移動体に搭載される、請求項２８に記載のシステム。
【請求項５０】
前記１つ又は複数のプロセッサは、前記移動体に搭載される、請求項２８に記載のシステム。
【請求項５１】
前記１つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び生成ステップを繰り返すように構成される、請求項２８に記載のシステム。
【請求項５２】
前記ステップは少なくとも２秒ごとに繰り返される、請求項５１に記載のシステム。
【請求項５３】
移動体により取得された画像を処理する方法において、
第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、前記第１の撮像用コンポーネントは第１の視野を有するステップと、
第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、前記第２の撮像用コンポーネントは前記第１の視野と重複する第２の視野を有するステップと、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第１の画像群と前記第２の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成するステップと、
を含む方法。
【請求項５４】
移動体により取得された画像を処理する装置において、
第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得する第１の撮像用コンポーネントと、
前記第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得する第２の撮像用コンポーネントと、
前記第１の画像群と前記第２の画像群の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成する
ように個別に又は集合的に構成される１つ又は複数のプロセッサと、
を含む装置。
【請求項５５】
移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体において、
第１の撮像用コンポーネントを用いて第１の画像群を取得し、前記第１の撮像用コンポーネントは第１の視野を有し、
第２の撮像用コンポーネントを用いて第２の画像群を取得し、前記第２の撮像用コンポーネントは前記第１の視野と重複する第２の視野を有し、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第１の画像群及び前記第２の画像群の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成する
コード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体。
【請求項５６】
移動体により取得された画像を処理するシステムにおいて、
シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、前記シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される１つ又は複数のプロセッサを含むシステム。
【請求項５７】
前記環境情報は奥行き情報を含む、請求項５６に記載のシステム。
【請求項５８】
前記環境情報は障害物情報又は前記移動体の状態情報を含む、請求項５６に記載のシステム。
【請求項５９】
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて前記移動体の位置及び／又は向きを制御する制御信号を生成する、請求項５６に記載のシステム。
【請求項６０】
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて、前記移動体に接続された撮像装置の前記移動体に対する位置及び／又は向きを制御する制御信号を生成する、請求項５６に記載のシステム。
【請求項６１】
前記移動体は無人航空機（ＵＡＶ）である、請求項５６に記載のシステム。
【請求項６２】
前記撮像用コンポーネントはレンズシステムを含む、請求項５６に記載のシステム。
【請求項６３】
前記シーケンス画像は、前記撮像用コンポーネントの光軸を前記移動体に対して連続的に調整することにより取得される、請求項５６に記載のシステム。
【請求項６４】
前記撮像用コンポーネントの光軸を調整する機構をさらに含む、請求項５６に記載のシステム。
【請求項６５】
前記機構は、前記撮像用コンポーネントの前記光軸を前記移動体の移動に合わせて移動させる、請求項６４に記載のシステム。
【請求項６６】
前記機構は、前記撮像用コンポーネントの前記光軸を前記移動体に対して移動させる、請求項６４に記載のシステム。
【請求項６７】
前記機構は、前記撮像用コンポーネントを前記移動体に対して移動させる、請求項６４に記載のシステム。
【請求項６８】
前記移動は前記移動体のヨー軸の周囲での移動である、請求項６７に記載のシステム。
【請求項６９】
前記移動は前記移動体のピッチ軸又はロール軸の周囲の移動である、請求項６７に記載のシステム。
【請求項７０】
前記移動は前記移動体の外面の周囲の移動である、請求項６７に記載のシステム。
【請求項７１】
前記機構は、前記撮像用コンポーネントがその視野より大きい領域をスキャンできるようにする、請求項６４に記載のシステム。
【請求項７２】
前記撮像用コンポーネントは、前記機構を用いて２秒ごとに前記領域をスキャンする、請求項７１に記載のシステム。
【請求項７３】
前記光軸は前記スキャン中に３０度ずつ変化される、請求項７１に記載のシステム。
【請求項７４】
前記撮像用コンポーネントは単眼式レンズシステムを含む、請求項５６に記載のシステム。
【請求項７５】
前記撮像用コンポーネントは撮像装置上に位置付けられる、請求項５６に記載のシステム。
【請求項７６】
前記撮像用コンポーネントは、前記移動体に搭載される、請求項５６に記載のシステム。
【請求項７７】
前記１つ又は複数のプロセッサは、前記移動体に搭載される、請求項５６に記載のシステム。
【請求項７８】
前記１つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び取得ステップを繰り返すように構成される、請求項５６に記載のシステム。
【請求項７９】
前記ステップは少なくとも２秒ごとに繰り返される、請求項７８に記載のシステム。
【請求項８０】
移動体により取得された画像を処理する方法において、
撮像用コンポーネントを用いてシーケンス画像を取得するステップであって、前記シーケンス画像は重複部分を含むステップと、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するステップと、
を含む方法。
【請求項８１】
移動体のために画像から情報を処理する装置において、
シーケンス画像を取得する撮像用コンポーネントであって、前記シーケンス画像は重複部分を含む撮像用コンポーネントと、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される１つ又は複数のプロセッサと、
を含む装置。
【請求項８２】
画像からの情報を処理する非一時的コンピュータ読取可能媒体において、
撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて移動体に用いる環境情報を取得する
コード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
撮像装置は、無人航空機（ＵＡＶ）等の移動体に搭載され、調査、捜索、及び救助作業、探索、ならびにその他の活動に利用されてもよい。幾つかの例において、撮像装置により取得される画像は、コンピュータビジョンプロセス、例えばナビゲーション及び障害物回避に利用されてもよい。
【０００２】
画像を取得するために、１つ又は複数の撮像用コンポーネントが提供されてもよい。取得された画像は処理されて、移動体にとって有益な情報が得られる。画像処理のための既存の手法は、幾つかの例においては最適といえないかもしれない。例えば、画像の様々な部分に含まれる有益な情報は利用されないかもしれず、又は十分に利用されないかもしれない。移動体の有益さは、撮像用コンポーネントにより取得された画像の様々な部分に含まれる有益な情報を適切に考慮し、利用することによって増大されるかもしれない。
【０００３】
現在、無人航空機（ＵＡＶ）等の移動体は、画像処理効率が悪く、取得した画像の様々な部分に含まれる有益な情報を知らずに廃棄しているかもしれない。幾つかの例において、ＵＡＶは非効率的な処理により、コンピュータビジョンアプリケーションにおいて最適でない判断を下すかもしれない。例えば、２つの撮像用コンポーネントを用いるビジョンシステムの場合、環境情報は主として取得された画像の中の両眼視差に基づいて得られてもよい。例えば、１つの撮像用コンポーネントを用いるビジョンシステムでは、環境情報は主として連続的に取得された画像の中の視差に基づいて得られてもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、環境情報の効率的な取得のために、画像内の利用可能な情報のすべてを適切に考慮するＵＡＶシステムが求められている。環境情報の取得により、さらに、ＵＡＶはコンピュータビジョンアプリケーション、例えばナビゲーション、物体認識、及び障害物回避においてよりよい決定を下すことができるようになるかもしれない。例えば、両眼式撮像システムには重複する視野を有する撮像用コンポーネントが設けられてもよい。重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有益であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、単眼式撮像システムに移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、撮像用コンポーネントは単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、個別に、又は大きい視野の撮像用コンポーネントと共に、環境情報を取得するために使用されてもよく、大きい視野の撮像用コンポーネントは、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。
【課題を解決するための手段】
【０００５】
それゆえ、１つの態様において、移動体により取得された画像を処理するための方法が提供される。方法は、第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、第１の撮像用コンポーネントは第１の視野を有するステップと、第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有するステップと、１つ又は複数のプロセッサを個別に、又は集合的に用いて、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
【０００６】
他の態様において、移動体より取得された画像を処理するためのシステムが提供される。システムは１つ又は複数のプロセッサを含み、これは、第２の画像群の品質が所定の閾値より低い場合には、第１の画像群を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
【０００７】
他の態様において、移動体により取得された画像を処理するための装置が提供される。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第２の画像群の品質が所定の閾値より低い場合には第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含む。
【０００８】
他の態様において、移動体により取得された画像を処理するための非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像群を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野より狭い第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第２の画像群の品質が所定の閾値より低いときに第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック又は命令を含む。
【０００９】
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、第１の撮像用コンポーネントは第１の視野を有するステップと、第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有するステップと、１つ又は複数のプロセッサを個別に又は集合的に用いて、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
【００１０】
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは１つ又は複数のプロセッサを含み、これは、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて第１の撮像用コンポーネントと第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
【００１１】
他の態様において、移動体により取得された画像を処理する装置が提供される。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含む。
【００１２】
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像群を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第１の画像群及び第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するコード、ロジック、又は命令を含む。
【００１３】
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、撮像用コンポーネントを用いてシーケンス画像を取得するステップであって、シーケンス画像は重複部分を含むステップと、１つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて移動体に用いる環境情報を取得するステップと、を含む。
【００１４】
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは１つ又は複数のプロセッサを含み、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
【００１５】
他の態様において、移動体のために画像から情報を処理する装置が提供される。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含む。
【００１６】
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、１つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含む。
【００１７】
当然のことながら、本発明の異なる態様は、個別に、まとめて、又は相互に組み合わせて理解することができる。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は他の何れの種類の移動体にも適用されてよい。本明細書中の、例えば無人航空機等の航空車両の説明はすべて、あらゆる車両等の何れの移動体にも適用され、使用されてよい。これに加えて、本明細書において航空運動（例えば、飛行）に関して開示されているシステム、デバイス、及び方法はまた、例えば地上、水上等のその他の種類の運動、水中運動、又は宇宙空間内の運動に関しても適用されてよい。
【００１８】
本発明のその他の目的と特徴は、明細書、特許請求の範囲、及び添付の図面を参照することにより明らかとなるであろう。
【００１９】
参照による援用
本明細書中で言及されているすべての出版物、特許、及び特許出願は全て、個々の出版物、特許、又は特許出願の各々が具体的かつ個別に参照により援用されると明記されているかのように、参照によって本願に援用される。
【００２０】
本発明の新規の特徴は、付属の特許請求の範囲の中に具体的に記されている。本発明の特徴と利点は、本発明の原理が利用される例示的な実施形態を示している以下の詳細な説明と、次のような添付の図面を参照することによって、よりよく理解されるであろう。
【図面の簡単な説明】
【００２１】
【図１】撮像システムにより取得された光景の画像を示す。
【図２】実施形態による、環境情報を取得するために使用される例示的システムを示す。
【図３】実施形態による光学レンズの視野角を示す。
【図４】実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。
【図５】実施形態による、テクスチャ情報が移動体のための有益な情報を提供する例示的構成を示す。
【図６】実施形態による、制御信号に応答した撮像用コンポーネントにおける例示的な調整を示す。
【図７】実施形態による、移動体により取得された画像の処理方法を示す。
【図８】実施形態による、環境情報を取得するために使用される移動型撮像システムを示す。
【図９】実施形態による、移動体のためのテクスチャ情報が得られる例示的構成を示す。
【図１０】実施形態による、移動体により取得された画像の処理方法を示す。
【図１１】実施形態による、環境情報を選択的に取得する撮像システムを示す。
【図１２】実施形態による、異なる撮像システムが使用される例示的構成を示す。
【図１３】実施形態による、移動体により取得された画像の処理方法を示す。
【図１４】本発明の実施形態によるＵＡＶの外観を示す。
【図１５】本発明の実施形態による、支持機構と搭載を含む移動体を示す。
【図１６】本発明の実施形態による、移動体を制御するためのシステムのブロック図による略図である。
【発明を実施するための形態】
【００２２】
本明細書で提供されるシステム、方法、デバイス、及びコンピュータ読取可能媒体は、撮像用コンポーネントにより取得される画像の有益さを向上させるために使用されてもよい。例えば、本明細書で提供されるシステムにより、１つ又は複数のプロセッサが画像の中の、通常であれば考慮されないような部分から環境情報を取得することが可能となるかもしれない。その代わりに、又はそれに加えて、本明細書において提供されるシステムにより、１つ又は複数のプロセッサは、撮像用コンポーネントにより取得された１つ又は複数の画像からより多くの環境情報を取得することが可能となるかもしれない。取得された環境情報はさらに、コンピュータビジョンアプリケーションに関して利用されて、航空機等の車両の全体的性能及び／又は効率を改善できる。航空機とは、本明細書において使用されるかぎり、無人航空機（ＵＡＶ）又は他のあらゆる種類の移動体を指してもよい。したがって、ＵＡＶに関して記載されている実施形態は何れの種類の移動体にも適用可能でありうると理解すべきである。
【００２３】
幾つかの例において、システムには、異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び／又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能になるかもしれない。
【００２４】
幾つかの例において、撮像システムには、重複する視野を有する撮像用コンポーネントが提供されてもよい。重複部分は、環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得した環境情報により、移動体はより高い精度及び／又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能となるかもしれない。
【００２５】
幾つかの例において、単眼式撮像システムには、移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度と効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能となるかもしれない。
【００２６】
幾つかの例において、撮像用コンポーネントは、単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び／又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能になるかもしれない。
【００２７】
本発明の様々な態様は、個別にも集合的にも、又は相互に組み合わせても評価できると理解するものとする。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は遠隔操作される車両もしくは何れの種類の移動体にも応用されてよい。
【００２８】
図１Ａ〜Ｃは、環境情報を取得するための各種の撮像システムを示す。図１Ａは、撮像システムにより取得された光景の画像１０２Ａ及び１０４Ａを示している。幾つかの例において、撮像システムは、より広い視野を有する画像１０２Ａとより狭い視野を有する１０４Ａを取得してもよい。図１Ｂは、撮像システムにより取得された光景１０６Ｂの画像１０２Ｂ及び１０４Ｂを示している。幾つかの例において、撮像システムは、重複する視野の画像を取得するように構成されてもよい。図１Ｃは、撮像システムにより取得される光景の画像１０２Ｃ及び１０４Ｃを示している。幾つかの例において、撮像システムは、異なる時点で異なる視野の画像を取得するように構成されてもよい。例えば、撮像システムは、異なる時点に異なる光景を取得する移動撮像システムであってもよい。
【００２９】
撮像システムは、例えば撮像のために撮像用コンポーネントを利用してもよい。撮像用コンポーネントはＵＡＶに動作的に接続されてもよい。幾つかの例において、撮像用コンポーネントはＵＡＶに組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介してＵＡＶに接続されてもよい。幾つかの例において、この機構は、撮像用コンポーネントをＵＡＶに対して移動させることができるようにしてもよい。移動は、併進移動及び／又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントを１つ、２つ、又は３つの軸の周囲で移動できるように構成されてもよい。
【００３０】
幾つかの例において、取得された画像の各々は、環境情報を取得するために処理されてもよい。画像情報とは、ＵＡＶの動作にとって有益なあらゆる情報を指してもよい。例えば、環境情報はＵＡＶの奥行き及び／又は距離情報（例えば、物体までの距離）を含んでいてもよい。他の例として、環境情報は物体情報又はＵＡＶにとっての障害物情報を含んでいてもよい。他の例として、環境情報はＵＡＶの位置、ＵＡＶの向き、ＵＡＶの速度、及び／又はＵＡＶの加速度情報等のＵＡＶ状態情報を含んでいてもよい。他の例として、環境情報は温度、湿度、降水量等の環境に関するその他の情報を含んでいてもよい。幾つかの例において、環境情報とはＵＡＶの挙動に影響を与える情報を指してもよい。例えば、環境情報は位置、高度、向き、速度、加速度の変化等、ＵＡＶの状態を変化させるものであってもよい。幾つかの例において、環境情報とはＵＡＶの挙動の統制のために考慮される情報を指してもよい。ある例として、ＵＡＶに動作的に接続される１つ又は複数のプロセッサは、ナビゲーション、物体検出、障害物回避等のために環境情報を利用してもよい。
【００３１】
幾つかの例において、環境情報を取得するステップは、取得された画像のテクスチャ情報を取得するステップを含んでいてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。例えば、テクスチャ情報は色勾配、エッジ、特徴点、及びオプティカルフローを含んでいてもよく、これらは各種の適当なアルゴリズムを使って得られてもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複及び／又は非重複部分の両方から取得されてもよい。幾つかの例において、テクスチャ情報は、ＵＡＶのための環境情報を取得するための根拠として利用されてもよい。１つの例として、テクスチャ情報（例えば、画像内の色又は輝度）に基づいて、ＵＡＶが動作している環境に関する概観を取得してもよい。例えば、特徴点（例えば、コーナ点）等のテクスチャ情報に基づいて、ＵＡＶが動作している環境内に物体又は障害物があるとの判断を下してもよい。
【００３２】
幾つかの例において、広い視野の画像に含まれるテクスチャ情報は、より狭い視野の画像のデータ品質が環境情報を取得するのに不十分である場合、例えば所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶのための距離又は奥行き情報を取得でき場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶのための状態情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質を判断するための閾値は、環境情報を取得するために使用される方法の違いによって異なる設定とされてもよい。
【００３３】
図１Ａを再び参照すると、画像１０２Ａ、１０４Ａは別々の撮像用コンポーネントによって同時に、又は連続的に取得された画像の例であってもよい。幾つかの例において、画像は異なる視野を含んでいてもよい。例えば、画像１０２Ａはより狭い視野を含んでいてもよい。画像１０４Ａはより広い視野を含んでいてもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像と重複してもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像によって取り囲まれていてもよい。取得された画像は、１つ又は複数のプロセッサによって処理されてもよい。
【００３４】
幾つかの例において、より狭い視野の画像に含まれるデータは、ＵＡＶのための環境情報の取得において利用されてもよい。幾つかの例において、より狭い視野の画像に含まれるデータは、ＵＡＶのための距離情報を取得するために、ＵＡＶに動作的に連続された１つ又は複数のプロセッサによって処理されてもよい。幾つかの例において、画像１０２Ａ及び１０４Ａの重複部分に含まれるデータは、ＵＡＶのための環境情報を取得することにおいて利用されてもよく、これについては後でさらに説明する。
【００３５】
幾つかの例において、より広い視野の画像に含まれるデータは、ＵＡＶのための環境情報を取得するために利用されてもよく、又はそれに貢献してもよい。１つの例として、画像１０２Ａ（又は画像１０２Ａの非重複部分）に含まれるデータは、ＵＡＶのための距離情報の取得において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されなくてもよい。
【００３６】
より広い視野の画像は、ＵＡＶの動作のための有益な情報を含んでいるかもしれない。幾つかの例において、より広い視野の画像は、ＵＡＶのための環境情報を取得するために処理されてもよい。例えば、ＵＡＶに動作的に接続された１つ又は複数のプロセッは、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、より広い視野の画像から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、より狭い視野を有する画像に含まれるデータの処理とともに、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、１つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを選択的に処理してもよい。例えば、より広い視野の画像に含まれるデータは、より狭い視野の画像に含まれるデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値を下回るとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶに関する距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶに関する状態情報を取得できない場合であってもよい。
【００３７】
図１Ｂを再び参照すると、画像１０２Ｂ、１０４Ｂは、別々の撮像用コンポーネントにより同時に取得された画像の例であってもよい。或いは、画像は、ある時間にわたって１つの撮像用コンポーネントにより取得されたシーケンス画像の例であってもよい。画像１０２Ｂ及び１０４Ｂは、集合的に光景又は視野１０６Ｂを取得してもよい。集合的視野は、各々の画像１０２Ｂ又は１０４Ｂにより取得された１つの光景より大きくてもよい。取得された画像は、１つ又は複数のプロセッサにより処理されてもよい。
【００３８】
幾つかの例において、画像の重複部分に含まれるデータは、ＵＡＶのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分１０８Ｂ及び１１０Ｂに含まれるデータは、ＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されてＵＡＶのための距離情報が取得されてもよい。例えば、ＵＡＶから物体１１６Ｂまでの距離は、画像１０２Ｂ及び１０４Ｂ内の共通の特徴（例えば、物体）間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、画像の重複部分に含まれる特徴であるかもしれない。他の例として、部分１０８Ｂに含まれるデータ又は特徴と画像１０２Ｂ内のその相対的配置を部分１１０Ｂに含まれるデータ又は特徴と画像１０４Ｂ内のその相対的配置を比較することによって、ＵＡＶのための距離情報を取得してもよい。
【００３９】
画像の非重複部分に含まれるデータは、ＵＡＶのための環境情報を取得するために利用されず、又はそれに貢献しなくてもよい。一例として、非重複部分１１２Ｂ及び１１４Ｂに含まれるデータは、ＵＡＶのための距離情報の取得において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサによって処理されなくてもよい。例えば、画像に含まれる特徴又は物体１１８Ｂ、１２０Ｂは、ＵＡＶのための環境情報の取得において利用されなくてもよい。幾つかの例において、物体１１８Ｂ又は１２０Ｂは、ＵＡＶの挙動に影響を与える中で考慮されなくてもよい。
【００４０】
非重複部分は、ＵＡＶの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分はＵＡＶのための環境情報を取得するために処理されてもよい。例えば、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれているデータを処理してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数の実施形態は、非重複部分に含まれるデータを処理して、テクスチャ情報を取得してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して、環境情報を取得してもよい。任意選択により、環境情報は画像の非重複部分から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、１つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分に特定可能な特徴があるか否かに応じて、閾値より低いとされてもよい。幾つかの例において、重複部分内のデータ品質が所定の閾値より低いのは、ＵＡＶのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、ＵＡＶの状態情報を取得できない場合であってもよい。幾つかの場合において、重複部分内のデータ品質が所定の閾値より低いのは、重複部分内の特徴点の数が約２、５、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１２０、１４０、１６０、１８０、２００、２５０、又は３００と等しいか、それより少ない場合であってもよい。
【００４１】
図１Ｃに戻ると、画像１０２Ｃ、１０４Ｃは、撮像用コンポーネントによって連続的に取得された画像の例であってもよい。幾つかの例において、画像のシーケンスは、異なる視野又は、及び／又は異なる光景を含んでいてもよい。幾つかの例において、連続的に取得された画像は重複部分を含んでいてもよい。取得された画像は、１つ又は複数のプロセッサにより処理されてもよい。
【００４２】
幾つかの例において、シーケンス画像の重複部分に含まれるデータは、ＵＡＶのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分に含まれるデータは、ＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されて、ＵＡＶのための距離情報が取得されてもよい。例えば、ＵＡＶから物体までの距離は、シーケンス画像内の共通の特徴（例えば、物体）間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、シーケンス画像の重複部分に含まれている特徴であるかもしれない。
【００４３】
シーケンス画像の非重複部分に含まれるデータは、ＵＡＶのための環境情報の取得に使用されないか、又はそれに貢献しなくてもよい。一例として、シーケンス画像の非重複部分内に含まれるデータは、ＵＡＶのための距離情報の取得においてＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されなくてもよい。幾つかの例において、シーケンス画像の非重複部分内の物体は、ＵＡＶの挙動に影響を与える際に考慮されなくてもよい。
【００４４】
非重複部分は、ＵＡＶの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分は、ＵＡＶのための環境情報を取得するために処理されてもよい。例えば、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、画像の非重複部分から得られたテクスチャ情報に基づいて得られてもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、１つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、ＵＡＶのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、ＵＡＶに関する状態情報を取得できない場合であってもよい。
【００４５】
図２は、実施形態による、環境情報を取得するために使用される例示的システムを示す。システム２００は、光２０２を取り入れて、環境情報２２２を取得してもよい。システムは、１つ又は複数の画像（例えば、デジタル画像）を取得するための各種のコンポーネントを含んでいてもよい。幾つかの例において、各種のコンポーネントが個別又は集合的に、撮像用コンポーネントと呼ばれてもよい。例えば、撮像装置の絞り、レンズ、フィルタ、及び／又はセンサが撮像用コンポーネントと呼ばれてもよい。他の例として、撮像装置が撮像用コンポーネントと呼ばれてもよい。幾つかの例において、撮像用コンポーネントは少なくとも、光を方向付けるように構成されたレンズと、方向付けられた光を取得するための対応するセンサを指してもよい。コンポーネントの各々は同じ場所に位置付けられてもよい。例えば、システムの各コンポーネントは、１つの筐体内、例えば撮像装置の中に格納されてもよい。或いは、コンポーネントは異なる場所に位置付けられてもよい。例えば、システムは、異なる場所に位置付けられて協働する別々の複数の部品を含んでいてもよい。ある例として、システムは協働する２つ又はそれ以上のカメラ及びその他の光学素子を含んでいてもよい。他の例として、コンポーネントのいくつかは撮像装置に搭載されてもよく、その他のコンポーネントはＵＡＶと、及び／又はＵＡＶに搭載されていないコントローラに統合されてもよい。
【００４６】
システムは絞り２０３を含んでいてもよく、そこを通って光が入射してもよい。光は１つの絞りを通って入射してもよい。幾つかの実施形態において、光は、２、３、４、５、又はそれ以上の絞り等の複数の絞りを通って入射してもよい。システムは、１つ又は複数のレンズ２０６を含んでいてもよい。レンズは光ビームをイメージセンサへと方向付けてもよく、これは方向付けられた光ビームを取得する（例えば、画像データを取得する）。幾つかの例において、システムは１つ又は複数のレンズを受けるように構成されたレンズバレルを含んでいてもよい。レンズバレルは、１つ又は複数のレンズを格納していてもよい。幾つかの例において、レンズバレルは、１つ又は複数のレンズ間の距離を調整することによってシステムの焦点距離を調整するために使用されてもよい。任意選択により、ミラー、フィルタ、格子、追加のレンズ、又はダイクロイック等、光をイメージセンサへと方向付けるのを支援してもよいその他の光学素子が提供されてもよい。
【００４７】
各レンズは、対応する焦点距離又は焦点距離範囲を有していてもよい。焦点距離範囲は、範囲の下限と上限内に当てはまる複数の焦点距離を含んでいてもよい。幾つかの例において、焦点距離範囲は１つの焦点距離を含んでいてもよい。１つの焦点距離は、範囲の下限と上限の両方の役割を果たしてもよい。本明細書で使用されるかぎり、焦点距離及び焦点距離範囲は互換的に使用されてよいと理解すべきである。レンズの焦点距離は、レンズがどれだけ強力に光を収束又は発散させるかの尺度であってもよい。光学レンズの焦点距離は、当初コリメートされた光線が焦点に至るまでの距離を指してもよい。
【００４８】
レンズは、焦点レンズでもズームレンズでもよい。焦点レンズは、変化しない１つの焦点距離を有していてもよい。焦点レンズは、移動しない静止レンズを指してもよい。ズームレンズは可変的な焦点距離を有していてよく、焦点距離は複数の焦点距離（例えば、焦点距離範囲）を包含していてもよい。光学ズームレンズは、内部レンズ素子の集合の相対移動によって、焦点距離を変化させてもよい。幾つかの実施形態において、撮像用コンポーネントは、焦点レンズのみを含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントは焦点レンズとズームレンズの両方を含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントはズームレンズのみを含んでいてもよい。
【００４９】
幾つかの例において、焦点レンズの焦点距離は、１ｍｍ、２ｍｍ、４ｍｍ、６ｍｍ、５ｍｍ、６ｍｍ、８ｍｍ、１０ｍｍ、１２ｍｍ、１４ｍｍ、１６ｍｍ、１８ｍｍ、２０ｍｍ、２２ｍｍ、２４ｍｍ、２６ｍｍ、２８ｍｍ、３０ｍｍ、３５ｍｍ、４０ｍｍ、４５ｍｍ、５０ｍｍ、５５ｍｍ、６０ｍｍ、６５ｍｍ、７０ｍｍ、７５ｍｍ、８０ｍｍ、８５ｍｍ、９０ｍｍ、９５ｍｍ、１００ｍｍ、１０５ｍｍ、１１０ｍｍ、１２０ｍｍ、１３０ｍｍ、１４０ｍｍ、１５０ｍｍ、１６０ｍｍ、１７０ｍｍ、１８０ｍｍ、１９０ｍｍ、２００ｍｍ、２２０ｍｍ、２４０ｍｍ、２６０ｍｍ、２８０ｍｍ、３００ｍｍ、３２０ｍｍ、３４０ｍｍ、３６０ｍｍ、３８０ｍｍ、４００ｍｍ、４５０ｍｍ、５００ｍｍ、５５０ｍｍ、６００ｍｍ、６５０ｍｍ、７００ｍｍ、７５０ｍｍ、８００ｍｍ、８５０ｍｍ、９００ｍｍ、９５０ｍｍ、１０００ｍｍ、１１５０ｍｍ、又は１２００ｍｍ未満か、それと等しくてもよい。任意選択により、焦点レンズの適当な焦点距離は、本明細書に記載されている数値の何れより大きいか、それと等しくてもよい。焦点レンズの焦点距離は、本明細書に記載された数値の何れの２つの間の範囲内に当てはまる数値を有していてもよい。
【００５０】
システムは、１つ又は複数のセンサ２０８を含んでいてもよい。レンズにより合焦される光は、本明細書においてイメージセンサとも呼ばれる１つ又は複数のセンサへと方向付けられてもよい。例えば、システムは光子を回収して保存するためのフォトサイトを有する光センサ２１２を含んでいてもよい。光センサはさらに、収集した情報（例えば、光子）をデジタル形式に変換しても（例えば、画像を取得しても）よい。例えば、システムは、取得されるべき画像の正確な焦点を判断するための合焦センサ２１４を含んでいてもよい。例えば、システムは、取得された画像の色のバランスをとるため（例えば、人の視力のそれとマッチさせるか、コンピュータビジョンアプリケーション用に最適化するため）のバランスセンサ（例えば、ホワイトバランスセンサ）２１６を含んでいてもよい。幾つかの例において、１つのイメージセンサ２０８は複数の異なる種類のセンサの機能を含んでいてもよい。例えば、１つのセンサは、光を検出して画像を搬送する形態に変換する（例えば、画像を取得する）ほか、画像の焦点を合わせ、バランス（例えば、ホワイトバランス）をとるために使用されてもよい。
【００５１】
イメージセンサは、レンズから所定の距離だけ離れていてもよい。例えば、イメージセンサからレンズモジュールまでの距離はレンズモジュールの焦点距離に対応していてもよい。幾つかの例において、イメージセンサはレンズモジュール（例えば、ズームレンズ）までの可変的な距離を有していてもよい。イメージセンサは、取得された画像の焦点面が画像センサの平面と同一平面内にあるように位置付けられてもよい。
【００５２】
イメージセンサは、光学情報（例えば、センサ面に衝突する光は光学情報を含んでいるかもしれない）をデジタル情報（例えば、電気信号）に変換するデバイスを指してもよい。光学情報のデジタル情報への変換は、本明細書において、画像（例えば、画像データ）の取得と呼ばれてもよい。イメージセンサは、画像を構成する情報を検出し、搬送してもよい。イメージセンサは、電荷結合素子（ＣＣＤ）型、相補型金属酸化膜半導体（ＣＭＯＳ）型、Ｎ型金属酸化膜半導体（ＮＭＯＳ）型、又は裏面照明ＣＭＯＳ（ＢＳＩ−ＣＭＯＳ）型の何れであってもよい。
【００５３】
幾つかの例において、システムの撮像用コンポーネント（例えば、レンズ、センサ等）は光軸を含んでいてもよい。光軸は、それに沿ってある程度の回転対称性を有する線を指してもよい。光軸は、それに沿って光がレンズを通って伝搬する線により定義されてもよい。光軸は、レンズの中心、又は撮像用コンポーネントを通ってもよい。幾つかの例において、撮像用コンポーネントは、それに関連付けられる視野（ＦＯＶ）を有していてもよい。ＦＯＶとは、世界のうち、撮像システム上で空間内の特定の位置と向きで目に見える部分を指してもよい。画像撮影時にＦＯＶの外側にある物体は、写真に記録されないかもしれない。ＦＯＶはまた、ビューコーンの角の大きさ、すなわち視野角として表現されてもよい。光学モジュールのＦＯＶは、センサの大きさと焦点距離に依存してもよい。図３は、実施形態による光学レンズ３００の視野角を示す。光学レンズの場合、視野角αは、ＦＯＶα＝２  ａｒｃｔａｎ（ｄ／２ｆ）として計算でき、式中、ｄはイメージセンサの大きさ、ｆはレンズの焦点距離である。
【００５４】
一定の大きさのイメージセンサの場合、焦点レンズは一定のＦＯＶを有していてもよく、ＦＯＶは１つのＦＯＶ角度を包含してもよい。一定の大きさのイメージセンサの場合、ズームレンズは可変的なＦＯＶ角度範囲を有していてもよく、ＦＯＶ角度範囲は複数のＦＯＶ角度を包含してもよい。ＦＯＶは、光学モジュールの１つ又は複数のレンズ及び／又はその他の光学素子（例えば、センサ）に依存してもよい。幾つかの例において、焦点レンズのＦＯＶは、１８０°、１７０°、１６９°、１６５°、１６０°、１５５°、１５０°、１４５°、１４０°、１３５°、１３０°、１２５°、１２０°、１１５°、１１０°、１０５°、１００°、９５°、９０°、８５°、８０°、７５°、７０°、６５°、６０°、５５°、５０°、４５°、４０°、３５°、３０°、２５°、２０°、又は１５°未満か、それと等しくてもよい。任意選択により、焦点レンズのＦＯＶは、本明細書に記載されている数値の何れより大きいか、何れと等しくてもよい。焦点レンズのＦＯＶは、本明細書に記載されている数値の何れの２つ間の範囲内に当てはまる数値を有していてもよい。
【００５５】
撮像用コンポーネントは、環境（例えば、撮像システムの付近又は周囲）の画像を取得してもよい。撮像用コンポーネントは継続的に画像を取得してもよい。撮像用コンポーネントは、指定された周期で画像を取得して、ある期間にわたって一連の画像データを生成してもよい。撮像用コンポーネントは、ビデオレートの取得を提供するのに十分に高い周期で画像を取得してもよい。画像は、少なくとも１０Ｈｚ、２０Ｈｚ、３０Ｈｚ、４０Ｈｚ、５０Ｈｚ、６０Ｈｚ、７０Ｈｚ、８０Ｈｚ、９０Ｈｚ、１００Ｈｚ、１２０Ｈｚ、１５０Ｈｚ、２００Ｈｚ、２５０Ｈｚ、又は３００Ｈｚの速度で取得されてもよい。
【００５６】
図２のシステムは任意選択により、通信ユニット２１８及び／又は記憶ユニット２２０を含んでいてもよい。通信ユニットは、外部コンポーネント及び／又はデバイス、例えば携帯電話、タブレット、ＰＣ、リモートコントローラ等の移動デバイスとの通信のために使用されてもよい。通信ユニットは例えば、撮像システムにより取得された画像（例えば、出力）の送信、又は外部コンポーネントもしくはデバイスからの入力（例えば、制御信号）の受信において使用されてもよい。通信ユニットはまた、デジタル信号処理（ＤＳＰ）を介して画像を変形させることにより、（例えばイメージセンサによって）取得された画像を何らかの方法で改良するために使用されてもよい。記憶ユニットは、システムにより取得された画像を一時的又は永久的に保存するために使用されてもよい。
【００５７】
図２のシステムは、プロセッサ２１０をさらに含んでいてもよい。プロセッサは、取得された画像を処理し、及び／又はブラックレベル補正、周辺光量比補正、歪み補正、ホワイトバランス補正、カラークロストーク補正、デモザイク、色補正、グレイスケールマッピング、色空間変換、鮮明化、及びノイズ除去等の画像処理機能を実行してもよい。幾つかの例において、プロセッサは取得された画像を処理して環境情報２２２を取得してもよく、これについて以下でさらに説明する。
【００５８】
プロセッサは、ＵＡＶ又は携帯電話等の移動体に搭載されてもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されてもよい。プロセッサは、撮像装置の筐体の中にあっても、外にあってもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されていなくてもよい。プロセッサは、ジンバル等の支持機構上に提供されてもよく、これについては以下でさらに説明する。或いは、プロセッサは移動体から離れた場所に提供されてもよい。例えば、プロセッサはリモートコントローラ（例えば、セルフォン、ＰＤＡ、その他）、サーバ、地上局（例えば、デスクトップコンピュータ、ラップトップ、充電ステーション等）、又はクラウドベースのインフラストラクチャ上に提供されてもよい。１つ又は複数の光学モジュールからの情報は、無線でプロセッサに送信されてもよい。或いは、撮像用コンポーネントからの情報は物理的接続を介してプロセッサに提供されてもよい。プロセッサ２１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実装されてもよい。本明細書におけるプロセッサに関する説明は何れも、１つ又は複数のプロセッサに当てはまり、これらは個別に又は集合的に、プロセッサに関して説明した何れの機能を実行してもよい。プロセッサは、１つ又は複数のプロセッサを含んでいてもよい。プロセッサは、１つ又は複数のステップを実行するためのコード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体にしたがって１つ又は複数のステップを実行することができてもよい。メモリストレージユニットが提供されてもよく、これは非一時的コンピュータ読取可能媒体を含んでいてもよい。
【００５９】
図４は、実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。構成４０２では、第１の撮像用コンポーネント４０４と、第２の撮像用コンポーネント４０６を有する撮像システムが提供される。撮像用コンポーネント４０４及び４０６は、両者で両眼式撮像システムを提供してもよい。撮像用コンポーネントの各々は、ＵＡＶ等の移動体に動作的に接続されてもよい。例えば、第１及び／又は第２の撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、第１及び／又は第２の撮像用コンポーネントは、ある機構を介して移動体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は並進移動及び／又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、１つ、２つ、又は３つの軸の周囲で撮像用コンポーネントが移動できるように構成されてもよい。
【００６０】
撮像用コンポーネントの各々は光軸を含んでいてもよい。例えば、第１の撮像用コンポーネントは光軸４０５を含んでいてもよく、第２の撮像用コンポーネントは光軸４０７を含んでいてもよい。幾つかの例において、撮像用コンポーネント４０４及び４０６の光軸は、構成４０２に示されているように実質的に平行であってもよい。或いは、撮像用コンポーネントは、それ以外のいずれの方法でも、例えば異なる角度で配置されてよい。例えば、撮像用コンポーネントの光軸は、構成４０８に示されるように、実質的に平行でなくてもよい。撮像用コンポーネントは、水平、垂直、又は代替的な配列で配置されてもよい。撮像用コンポーネントの各々は１つの撮像装置上に位置付けられてよい。或いは、撮像用コンポーネントは異なる撮像装置上に位置付けられてもよい。
【００６１】
撮像用コンポーネントの各々は、視野（ＦＯＶ）を含んでいてもよい。撮像システムの各撮像用コンポーネントは、異なるＦＯＶを有していてもよい。或いは、撮像システムの各撮像用コンポーネントは同一の（例えば、同じ）視野を有していてもよい。幾つかの例において、撮像用コンポーネントの視野は重複していても、又は構成４０２に示されるように部分的に重複していてもよい。撮像用コンポーネントの視野は、重複部分４１０と非重複部分４１２、４１４の両方を含んでいてもよい。第１の撮像用コンポーネントは、例えば第１の撮像用コンポーネントのＦＯＶの第１の画像群を取得してもよい。第２の撮像用コンポーネントは、例えば第２の撮像用コンポーネントのＦＯＶの第２の画像群を取得してもよい。幾つかの例において、第１及び第２の画像群は実質的に同時に取得されてもよい。第１及び第２の画像群は、重複部分と非重複部分を含んでいてもよい。
【００６２】
撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、第１及び第２の画像群の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、１つ又は複数のプロセッサは、第１の撮像用コンポーネント４０４により取得された画像と第２の撮像用コンポーネント４０６により取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサはそれに加えて、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、第１の撮像用コンポーネント及び第２の撮像用コンポーネントにより得られた画像の重複及び／又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供してもよい。例えば、非重複部分から得られたテクスチャ情報は移動体にとっての関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は移動体の挙動に影響を与えるための根拠を提供してもよい。
【００６３】
図５は、実施形態による、テクスチャ情報が移動体にとって有益な情報を提供する例示的構成を示している。構成５０１では、撮像用コンポーネント５０３及び５０５は、ＵＡＶ５０７に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体５０９を含み、非重複部分は物体５０８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。例えば、１つ又は複数のプロセッサは物体５０９までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であってもよい。
【００６４】
幾つかの例において、部分（例えば、画像の重複又は非重複部分）の品質は、その部分内の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴はコンピュータアルゴリズム（例えば、プログラム）により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションのための認識可能な特徴であってもよい。幾つかの例において、部分の品質はその部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質はその部分内の特徴点の数又はオプティカルフローを解析することによって判断されてもよい。
【００６５】
幾つかの例において、画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び／又はオプティカルフローが所定の基準と比較されて、重複部分の品質が十分であるか否かが判断されてもよい。幾つかの例において、重複部分の品質は十分であるかもしれない。例えば、重複部分の中に、ＵＡＶのための環境情報を取得するのに十分な情報又はデータ（例えば、特定可能な特徴、顕著性、その他）があってもよい。
【００６６】
１つ又は複数のプロセッサは、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から取得されてもよく、環境情報は重複部分から得られる。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、ＵＡＶは、第１及び第２の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、ＵＡＶは、第１及び第２の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体５０８に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書中で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【００６７】
任意選択により、１つ又は複数のプロセッサは、重複部分の品質が不十分であるか、又はその品質が所定の基準より低い場合、画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されていてもよい。構成５１１では、撮像用コンポーネント５１３及び５１５はＵＡＶ５１７に動作的に接続されている。撮像用コンポーネントは各々、重複部分と非重複部分を有する画像群を取得する。重複部分は物体を含まず、非重複部分は物体５１８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理して、ＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分に十分な情報（例えば、特定可能な特徴、顕著性、等）がなく、環境情報が取得されないかもしれない。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
【００６８】
重複部分の品質が不十分である場合、１つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって環境情報を取得してもよい。例えば、障害物又は物体５１８に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書の中で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【００６９】
構成５２１では、撮像用コンポーネント５２３及び５２５はＵＡＶ５２７に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体５２９の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分内の情報（例えば、特定可能な特徴、顕著性、その他）が不十分で、環境情報を取得できないかもしれない。例えば、物体５２９は識別可能な特徴を持たない白壁であってもよい。例えば、物体５２９は反復的な特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
【００７０】
１つ又は複数のプロセッサはそれに加えて、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分間ら環境情報を取得できない場合に、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得してもよい。例えば、障害物又は物体５２９に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、ＵＡＶの動作の中で、又は本明細書中で前述したように、ＵＡＶの挙動に影響を与える中で利用されてもよい。
【００７１】
幾つかの例において、１つ又は複数のプロセッサは第１及び第２の撮像用コンポーネントにより取得された画像の重複部分の品質が不十分である場合に、制御信号を生成するように構成されていてもよい。制御信号は、ＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号はＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低いと、ＵＡＶの移動を停止させる、及び／又はＵＡＶを静止位置でホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低いと、１つ又は複数のプロセッサは、ＵＡＶの（例えばＵＡＶのピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第１及び第２の撮像用コンポーネントにより取得された画像の新たな重複部分が十分な品質となるまで継続されてもよい。
【００７２】
その代わりに、又はそれに加えて、画像の非重複部分から得られたテクスチャ情報及び／又は環境情報に応答して、１つ又は複数のプロセッサは、制御信号を生成するように構成されてもよい。制御信号はＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号はＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの移動を、非重複部分から特定された物体又は障害物を避けるように方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの移動を停止させ、及び又はＵＡＶを静止位置でホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの（例えばＵＡＶのピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第１の撮像用コンポーネントと第２の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるようにすることであってもよい。例えば、構成５１１に関して、ＵＡＶの向きは、第１の撮像用コンポーネントと第２の撮像用コンポーネントにより取得された画像の重複部分が物体５１８を含むように調整されてもよい。
【００７３】
幾つかの例において、制御信号は第１及び／又は第２の撮像用コンポーネントを調整してもよい。図６は、実施形態による、制御信号に応答した撮像用コンポーネントの例示的な調整を示す。例えば、構成６０１に示されているように、画像の重複部分が所定の品質より低い場合に、制御信号が生成されてもよい。その代わりに、又はそれに加えて、取得された画像の非重複部分から得られたテクスチャ情報及び／又は環境情報に基づいて、制御信号が生成されてもよい。幾つかの例において、制御信号は撮像用コンポーネントの位置又は向き等、第１及び／又は第２の撮像用コンポーネントの状態に影響を与えてもよい。幾つかの例において、制御信号は第１及び／又は第２の撮像用コンポーネントの光軸を調整してもよい。幾つかの例において、制御信号は、構成６０３に示されているように、第１及び／又は第２の撮像用コンポーネントの位置を調整してもよい。幾つかの例において、撮像用コンポーネントの位置の調整は、その撮像用コンポーネントが接続されているＵＡＶに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの位置の調整はＵＡＶの位置を変化させることによって行われてもよい。幾つかの例において、構成６０５に示されているように、第１及び／又は第２の撮像用コンポーネントの光学ズームを調整してもよい。幾つかの例において、構成６０７に示されているように、制御信号は第１及び／又は第２の撮像用コンポーネントの向きを調整してもよい。撮像用コンポーネントの向きにおける調整は、その撮像用コンポーネントが接続されているＵＡＶに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの向きの調整はＵＡＶの向きを変化させることによって行われてもよい。幾つかの例において、調整は、第１及び第２の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるまで継続されてもよい。
【００７４】
図７は、実施形態による、移動体により取得された画像の処理方法７００を示す。移動体は、本明細書中で前述したように無人航空機（ＵＡＶ）であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントに動作的に接続されていてもよい。例えば、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントは、移動体に搭載されてもよい。幾つかの例において、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。第１及び第２の撮像用コンポーネントは両眼式撮像システムを形成してもよい。
【００７５】
ステップ７０１で、第１の画像群が第１の撮像用コンポーネントを用いて取得される。第１の撮像用コンポーネントは第１の筐体内に位置付けられていてもよい。幾つかの例において、第１の撮像用コンポーネントは第１の撮像装置上に位置付けられていてもよい。第１の撮像用コンポーネントは第１のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第１の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第１の撮像用コンポーネントは１つ又は複数のセンサを含んでいてもよい。第１の撮像用コンポーネントは第１の視野を有していてもよい。幾つかの例において、第１の撮像用コンポーネントにより取得された第１の画像群は第１の視野を描写する画像群であってもよい。
【００７６】
ステップ７０３で、第２の画像群が第２の撮像用コンポーネントを用いて取得される。幾つかの例において、第２の撮像用コンポーネントは第２の筐体内に位置付けられていてもよい。第２の筐体は第１の筐体と同じであってもよい。或いは、第２の筐体は第１の筐体とは異なっていてもよい。幾つかの例において、第２の撮像用コンポーネントは第２の撮像装置上に位置付けられていてもよい。第２の撮像装置は第１の撮像装置と同じであってもよい。或いは、第２の撮像装置は第１の撮像装置とは異なっていてもよい。
【００７７】
第２の撮像用コンポーネントは第２のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第２の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第２の撮像用コンポーネントは１つ又は複数のセンサを含んでいてもよい。第２の撮像用コンポーネントは第２の視野を有していてもよい。第２の視野は第１の視野と同様の大きさ（例えば、視野角）であってもよい。或いは、第２の視野は第１の視野と異なる大きさであってもよい。幾つかの例において、第２の視野は第１の視野と重複していてもよい。したがって、第１の画像群と第２の画像群は、重複部分と非重複部分を含んでいてもよい。
【００７８】
幾つかの例において、第１の撮像用コンポーネントと第２の撮像用コンポーネントの光軸は実質的に平行であってもよい。或いは、第１及び第２の撮像用コンポーネントの光軸は、他の角度がつけられ、平行でなくてもよい。幾つかの例において、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントの光軸は、相互に関して調整可能であってもよい。したがって、第１の撮像用コンポーネントの光軸は鋭角がつけられ、平行であり、及び／又は鈍角がつけられていてもよい。
【００７９】
幾つかの例において、１つ又は複数のプロセッサが提供されてもよい。１つ又は複数のプロセッサは移動体に搭載されてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサの一部又はすべてが移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられていてもよい。ステップ７０５で、１つ又は複数のプロセッサは個別に又は集合的に、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサはさらに、第１の画像群と第２の画像群の重複部分を解析して移動体に用いる環境情報を取得するように構成されてもよい。任意選択により、１つ又は複数のプロセッサは、第１の画像群と第２の画像群の非重複部分からのテクスチャ情報と重複部分からの環境情報の両方を同時に取得してもよい。
【００８０】
幾つかの例において、第１の画像群と第２の画像群の重複部分の品質が所定の閾値より低い場合、１つ又は複数のプロセッサは、テクスチャ情報（例えば、非重複部分から得られたもの）に基づいて移動体の環境情報を取得するように構成されていてもよい。一例として、テクスチャ情報（例えば、画像内の色又は輝度）に基づいて、ＵＡＶが動作している環境に関する概観が得られてもよい。例えば、テクスチャ情報に基づいて、ＵＡＶが動作している環境内に物体又は障害物があるとの判断が得られてもよい。幾つかの例において、重複部分の品質は画像処理技術を使って解析されてもよい。一例として、１つ又は複数のプロセッサは、画像の重複部分の顕著性又は勾配を解析して品質を判断するように構成されてもよい。他の例として、１つ又は複数のプロセッサは、重複部分内の特徴点の数又はオプティカルフローを解析して品質を判断するように構成されてもよい。
【００８１】
幾つかの例において、重複部分の品質が所定の閾値より低いのは、重複部分に十分な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が所定の閾値より低いのは、その部分から奥行き情報が得られないかもしれない場合であってもよい。本明細書中で前述したように、環境情報は移動体の動作にとって有益な何れの情報を含んでいてもよい。例えば、環境情報は奥行き情報、障害物情報、物体情報、及び／又は移動体に関する状態情報を含んでいてもよい。移動体に関する状態情報は、移動体の位置、向き、速度、又は加速度を含んでいてもよい。任意選択により、ステップ７０７で、１つ又は複数のプロセッサは、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成してもよい。幾つかの例において、制御信号は、第１及び第２の画像群の重複部分の品質が所定の閾値より低い場合に生成されてもよい。その代わりに、又はそれに加えて、制御信号はステップ７０５で得られたテクスチャ情報に基づいて生成されてもよい。幾つかの例において、制御信号はテクスチャ情報から得られた環境情報に基づいて生成されてもよい。例えば、実質的に前述したように、制御信号は物体又は障害物の存在に基づいて生成されてもよい。幾つかの例において、制御信号は、非重複部分に物体又は障害物が存在すると判断された場合に生成されてもよい。調整は、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントの光軸における調整であってもよい。例えば、制御信号は画像の非重複部分から得られたテクスチャ情報及び／又は環境情報に基づいて移動体の調整を行うための命令を提供してもよい。移動体の調整は、移動体の状態における調整であってもよい。例えば、調整は移動体の位置、向き、速度、及び／又は加速度における調整であってもよい。幾つかの例において、調整は、移動体の、そのピッチ、ヨー、又はロール軸に対する向きの調整であってもよい。移動体の調整の結果として、移動体に接続された撮像用コンポーネントの光軸が相応に調整されてもよい。
【００８２】
幾つかの例において、第１及び第２の撮像用コンポーネントの調整は、第１の視野と第２の視野の新しい重複部分が、第１の画像群と第２の画像群の以前の非重複部分の少なくとも一部を包含するように構成されてもよい。幾つかの例において、第１及び／又は第２の撮像用コンポーネントの調整は、第１の視野と第２の視野の新しい重複部分が以前の重複部分とは異なる大きさになるように構成されてもよい。例えば、例えば図６の構成６０７に示されているように、第１及び第２の撮像用コンポーネントの光軸は相互に関してもよく、それによって重複部分の大きさが変化する。幾つかの例において、１つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び生成ステップは、少なくとも６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに繰り返されてもよい。
【００８３】
幾つかの例において、方法７００を実行するためのシステムが提供されてもよい。システムは１つ又は複数のプロセッサを含んでいてもよく、これは、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントにより取得され、テスクチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
【００８４】
幾つかの例において、方法７００を実行するための装置が提供されてもよい。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含んでいてもよい。
【００８５】
幾つかの例において、方法７００を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するためのコード、ロジック、又は命令を含んでいてもよい。
【００８６】
図８は、実施形態による、環境情報を取得するために使用される移動型撮像システムを示している。構成８０２では、撮像用コンポーネント８０４を有する撮像システムが提供される。撮像用コンポーネントは、単眼式撮像システムを提供してもよい。幾つかの例において、撮像用コンポーネントは、実質的に前述した両眼式撮像システムの一部であってもよい。或いは、撮像用コンポーネントは両眼式撮像システムを含んでいてもよい。撮像用コンポーネントは、ＵＡＶ等の移動体に動作的に接続されてもよい。例えば、撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介して移動物体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は、並進移動及び／又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントが１つ、２つ、又は３つの軸の周囲で移動できるように構成されてもよい。
【００８７】
撮像用コンポーネントは、ある期間にわたって調整されてもよい。幾つかの例において、調整は、撮像用コンポーネントの視野を変化させてもよい。例えば、構成８０２では、撮像用コンポーネントの視野がＦＯＶ８０６からＦＯＶ８０８へと変化する。幾つかの例において、視野の変化は撮像用コンポーネントの光軸及び／又は位置の調整によるものであってもよい。例えば、撮像用コンポーネントの光軸は、構成８０２に示されるように並進移動されてもよい。他の例として、撮像用コンポーネントの光軸は構成８２０に示されるように回転移動されてもよい。幾つかの例において、撮像用コンポーネントの光軸の調整は、撮像用コンポーネントが接続されている移動物体が調整されているときに行われてもよい。例えば、移動体が位置及び／又は向きにおいて変化されると、撮像用コンポーネントも、それに対応して位置及び／又は向きが変化してもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの光軸の調整は移動体の調整とは独立して行われてもよい。例えば、機構は、撮像用コンポーネントを、それが接続されている移動体に対して移動させるように構成されてもよい。撮像用コンポーネントの移動体に対する移動は、並進移動及び／又は回転移動であってもよい。幾つかの例において、機構は、撮像用コンポーネントを１つ、２つ、又は３つの軸に対して移動できるジンバルであってもよい。その代わりに、又はそれに加えて、視野の変化は撮像用コンポーネントの構成における調整によるものであってもよい。例えば、撮像用コンポーネントのズームレベルは、例えば光学ズーミングシステムのレンズを相対移動させることよって調整されてもよい。
【００８８】
幾つかの例において、撮像用コンポーネントは、ある領域をスキャンするように構成されていてもよい。領域は、撮像用コンポーネントの視野の大きさより大きくてもよい。領域のスキャンによって、撮像用コンポーネント及び／又は１つ又は複数のプロセッサは動作中により多くのテクスチャ情報及び／又は環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントは、ある領域を周期的にスキャンするように構成されてもよい。ある領域の周期的なスキャンは、撮像用コンポーネントの所定の移動を通じて実行されてもよい。幾つかの例において、撮像用コンポーネントの所定の移動は、撮像用コンポーネントに接続された移動体の所定の移動の結果として行われてもよい。例えば、移動体のホバリング中に、これは、そのロール、ピッチ、又はヨー軸の周囲でその向きを調整することによってある領域をスキャンしてもよい。例えば、移動体の移動中に、これは、そのロール、ピッチ、又はヨー軸の周囲のその向きを調整することによってある領域をスキャンしてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの所定の移動は移動体に対するものであってもよい。例えば、ある機構によって、撮像用コンポーネントは移動体に関して所定の通りに移動できるかもしれない。この機構は、移動体の周囲で撮像用コンポーネントを並進移動させることのできる並進又は回転機構であってもよい。この機構は、移動体の周囲で撮像用コンポーネントを回転移動させることのできる回転機構であってもよい。幾つかの例において、この機構は、撮像用コンポーネントが１つ、２つ、又は３つの軸の周囲で移動できるようなジンバルであってもよい。
【００８９】
幾つかの例において、所定の移動は、構成８０２に示されるように、撮像用コンポーネントの並進移動であってもよい。その代わりに、又はそれに加えて、所定の移動は、構成８２０に示されるように、撮像用コンポーネントの回転移動であってもよい。幾つかの例において、所定の移動は撮像用コンポーネントの並進及び回転移動を含んでいてもよい。幾つかの例において、撮像用コンポーネントは、約３０秒、２０秒、１０秒、５秒、３秒、２秒、１秒、又は０．５秒ごとに、又はそれ未満で領域をスキャンするように構成されてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約２°、５°、１０°、１５°、２０°、３０°、４５°、６０°、７５°、９０°、又はそれ以上ずつ変化させてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約０．５ｃｍ、１ｃｍ、２ｃｍ、３ｃｍ、５ｃｍ、１０ｃｍ、２０ｃｍ、又はそれ以上ずつ変化させてもよい。
【００９０】
撮像用コンポーネントは画像のシーケンス、例えばある期間にわたり撮像用コンポーネントのＦＯＶの画像を取得してもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントによるある領域のスキャン中に取得されてもよい。シーケンス画像は、２つ又はそれ以上の画像を含んでいてもよい。幾つかの例において、シーケンス画像は、前述のように、光軸が異なる向き及び／又は位置にあるときに取得されてもよい。例えば、撮像用コンポーネントは、当初時刻（ｔ１）で第１の画像８１０を取得してもよい。続いて、撮像用コンポーネントは、その位置を変化させてから、次の時刻（ｔ２）で第２の画像８１２を取得してもよい。他の例として、撮像用コンポーネントは、当初時刻（ｔ１）で第１の画像８１４を取得してもよい。続いて、撮像用コンポーネントは、構成８２０に示されるように、その向きを変えてから次の時刻（ｔ２）で第２の画像８１６を取得してもよい。シーケンス画像は、図８０２及び８２０に示されるように、重複するか、又は部分的に重複していてもよい。幾つかの例において、シーケンス画像は重複部分及び非重複部分を含んでいてもよい。
【００９１】
撮像用コンポーネントと動作的に接続された１つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、シーケンス画像の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、１つ又は複数のプロセッサは、連続的に取得された画像、例えばｔ１で取得された画像とｔ２で取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像内の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより得られたシーケンス画像の重複部分及び／又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、シーケンス画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供するかもしれない。例えば、非重複部分の中のテクスチャ情報は、移動体委にとって関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は、移動体の挙動に影響を与える根拠を提供してもよい。
【００９２】
図９は、実施形態による、テクスチャ情報を移動体に関して取得する例示的な構成を示している。構成９０１では、撮像用コンポーネント９０３がＵＡＶ９０５に動作的に接続されている。撮像用コンポーネントは、異なる視野のシーケンス画像を取得してもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を含んでいてもよい。例えば、撮像用コンポーネント９０３は、第１の時刻（ｔ１）、第２の時刻（ｔ２）及び第３の時刻（ｔ３）で、異なる視野の３つの画像のシーケンスを取得してもよい。重複部分は物体９０７を含み、非重複部分は物体９０８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、シーケンス画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。例えば、１つ又は複数のプロセッサはシーケンス画像の重複部分に含まれるデータを処理することによって物体９０７の距離を判断してもよい。これは、シーケンス画像の重複部分の品質が十分である場合に可能であるかもしれない。
【００９３】
幾つかの例において、部分（例えば、画像の重複又は非重複部分）の品質は、その部分の中の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は、その部分の中の特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、コンピュータアルゴリズム（例えば、プログラム）により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションにとって認識可能な特徴であってもよい。幾つかの例において、その部分の品質は、その部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質は、その部分の中のオプティカルフローに関する特徴点の数又は情報を解析することによって判断されてもよい。例えば、画像の部分の品質が十分であるのは、その部分の中の特徴点の数が約１、２、５、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１２０、１４０、１６０、１８０、２００、２５０、又は３００と等しいか、それより大きい場合であってもよい。
【００９４】
幾つかの例において、シーケンス画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び／又はオプティカルフローを所定の基準と比較して、重複部分の品質が十分か否かを判断してもよい。幾つかの例において、重複部分の品質は十分でないかもしれない。例えば、重複部分に、ＵＡＶのための環境情報を取得するのに十分な情報又はデータ（例えば、特定可能な特徴、顕著性、その他）があるかもしれない。
【００９５】
１つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から得られてもよく、環境情報は重複部分から得られる。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、ＵＡＶはより大量の環境情報を取得できるかもしれない。例えば、障害物又は物体９０８に関する情報は、画像の非重複部分を処理することによって取得されたテクスチャ情報に基づいて取得されてもよい。環境情報は、ＵＡＶの動作において、又は本明細書で前述したように、ＵＡＶの挙動に影響を与える中でさらに利用されてもよい。
【００９６】
任意選択により、１つ又は複数のプロセッサは、重複部分の品質が不十分であるか、その品質が所定の基準より低い場合に、シーケンス画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されてもよい。構成９１１では、撮像用コンポーネント９１３はＵＡＶ９１５に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分に物体は含まれず、非重複部分は物体９１８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。例えば、重複部分の中の情報（例えば、特定可能な特徴、顕著性、その他）が不十分であり、環境情報が得られないかもしれない。シーケンス画像の重複部分の品質は不十分であるかもしれない。
【００９７】
重複部分の品質が不十分であると、１つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報はＵＡＶのための環境情報を提供する根拠として利用されてもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得することができるかもしれない。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントによって取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、環境情報を取得してもよい。例えば、障害物又は物体９１８に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【００９８】
構成９２１では、撮像用コンポーネント９２３はＵＡＶ９２５に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分は物体９２８の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分の中の情報（例えば、特定可能な特徴、顕著性その他）が不十分で、環境情報が得られないかもしれない。例えば、物体９２８は、識別可能な特徴を持たない白壁であってもよい。例えば、物体９２８は反復的特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
【００９９】
１つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体９２８に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【０１００】
幾つかの例において、１つ又は複数のプロセッサは、撮像用コンポーネントにより取得されたシーケンス画像の重複部分の品質が不十分である場合に制御信号を生成するように構成されてもよい。制御信号はＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号は、ＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低い場合、ＵＡＶの移動を停止させる、及び／又はＵＡＶを静止位置にホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低い場合、１つ又は複数のプロセッサは、ＵＡＶの（例えば、ＵＡＶのピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新しい重複部分の品質が十分になるまで継続されてもよい。幾つかの例において、画像の重複部分が所定の品質より低い場合、１つ又は複数のプロセッサは、実質的に前述のように、ある領域をスキャンするための制御信号を生成してもよい。
【０１０１】
その代わりに、又はそれに加えて、シーケンス画像の非重複部分から得かられたテクスチャ情報及び／又は環境情報に応答して、１つ又は複数のプロセッサは、制御信号を生成するように構成されていてもよい。制御信号は、ＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号は、ＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、非重複部分から特定された物体又は障害物を回避するようにＵＡＶの移動を方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの移動を停止させ、及び／又はＵＡＶを静止位置にホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得かられたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの（例えば、ピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新たな重複部分が十分な品質又は所定の閾値より高い品質となるようにするものであってもよい。例えば、構成９１１に関して、調整は、ＵＡＶの向きの調整後、撮像用コンポーネントが物体９１８を含む領域をスキャンし、撮像用コンポーネントにより取得されるシーケンス画像の重複部分にその物体が含まれるようにするものであってもよい。
【０１０２】
図１０は、実施形態による、移動体により取得された画像の処理方法１０００を示す。移動体は、本明細書中で前出したように、無人航空機（ＵＡＶ）であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
【０１０３】
ステップ１００１で、撮像用コンポーネントを用いてシーケンス画像が取得される。撮像用コンポーネントは、筐体内にあってもよい。幾つかの例において、撮像用コンポーネントは撮像装置上に位置付けられていてもよい。撮像用コンポーネントはレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、撮像用コンポーネントは１つ又は複数のセンサを含んでいてもよい。撮像用コンポーネントは視野を有していてもよい。シーケンス画像は、２つ又はそれ以の画像を含んでいてもよい。幾つかの例において、シーケンス画像は異なる視野を含んでいてもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を有する２つ又はそれ以上の画像を含んでいてもよい。
【０１０４】
幾つかの例において、シーケンス画像は、移動体の移動中、例えば前方移動中、後方移動中、その他の間に取得されてもよい。その代わりに、又はそれに加えて、シーケンス画像は移動体が実質的に静止している間に取得されてもよい。例えば、移動体は、ホバリングしているが、そのピッチ、ヨー、又はロール軸の周囲で回転していてもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントの光軸を移動体に対して連続的に調整することによって取得されてもよい。
【０１０５】
幾つかの例において、撮像用コンポーネントの光軸を調整するための機構が提供されてもよい。幾つかの例において、この機構により、撮像用コンポーネントはその視野より大きい領域をスキャンすることができるかもしれない。任意選択により、撮像用コンポーネントはその機構を用いて約６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに領域をスキャンするように構成されていてもよい。幾つかの例において、撮像用コンポーネントの光軸は、スキャン中に約２°、５°、１０°、１５°、２０°、３０°、４５°、６０°、７５°、９０°、又はそれ以上ずつ変化されてもよい。
【０１０６】
機構は、移動体の移動に合わせて撮像用コンポーネントの光軸を移動させてもよい。例えば、機構は、移動体に搭載された、移動体の移動を可能にする推進機構であってもよい。幾つかの例において、機構は、撮像用コンポーネントの光軸を移動可能物体に対して移動させてもよい。例えば、機構は、撮像用コンポーネントを移動体に対して移動させることのできる並進又回転機構であってもよい。例えば、機構は、撮像用コンポーネントを１つ、２つ、又は３つの軸の周囲で回転させることのできるジンバルであってもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のヨー軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のロール軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のピッチ軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体の外面の周囲で移動させることができてもよい。
【０１０７】
幾つかの例において、１つ又は複数のプロセッサが提供されてもよい。１つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えと、１つ又は複数のプロセッサの一部又は全部は移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられてもよい。１つ又は複数のプロセッサは、ステップ１００３で、個別に、又は集合的にシーケンス画像の非重複部分を処理して、テクスチャ情報を取得してもよい。
【０１０８】
ステップ１００５で、１つ又は複数のプロセッサはテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。環境情報は、実質的に前述したものであってもよく、例えば移動体の動作に有益な情報であってもよい。幾つかの例において、環境情報は奥行き情報を含む。幾つかの例において、環境情報は障害物情報又は移動体の状態情報を含む。
【０１０９】
任意選択により、１つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び／又は向きを制御すための制御信号を生成するように構成されていてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び／又は向きを取得した環境情報に基づいて制御するための制御信号を生成するように構成されていてもよい。幾つかの例において、１つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに繰り返されてもよい。
【０１１０】
幾つかの例において、方法１０００を実行するためのシステムが提供されてもよい。システムは、１つ又は複数のプロセッサを含んでいてもよく、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別にまた集合的に構成される。
【０１１１】
幾つかの例において、方法１０００を実行するための装置が提供されてもよい。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体のための地環境情報を取得するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含んでいてもよい。
【０１１２】
幾つかの例において、方法１０００を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、１つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するためのコード、ロジック、又は命令を含んでいてもよい。
【０１１３】
上述の方法及びシステムは、個別に、又は相互に集合的に利用されてもよい。幾つかの例において、両眼式撮像システムは単眼式撮像システムと併用されてもよい。幾つかの例において、単眼式撮像システムは両眼式撮像システムを補助するものであってもよい。例えば、両眼式撮像システムは、第１の撮像用コンポーネントと第２の撮像用コンポーネントを含んでいてもよい。２つの撮像用コンポーネントにより取得された画像の重複部分が処理されて、ＵＡＶのための環境情報が判断されてもよい。さらに、第１の撮像用コンポーネントと第２の撮像用コンポーネントの各々は、単眼式撮像システムを提供してもよい。第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントにより取得されたシーケンス画像の重複部分が処理されて、ＵＡＶのための環境情報が判断されてもよい。これは、例えばデータ品質が不十分であるか、所定の閾値より低い場合に、両眼式撮像システムが環境情報を取得する代わりに行われてもよい。したがって、撮像用コンポーネントは、両眼式撮像システム及び単眼式撮像システムにおいて、環境情報を有効に取得するために選択的に利用されてもよい。例えば、狭い視野の両眼式撮像システムを利用して環境情報を取得してもよく、歪みがより大きいかもしれない広い視野の単眼式撮像システムは、それが有利なときあるいは必要なときに、環境情報を取得するために選択的に利用されてもよい。
【０１１４】
図１１は、実施形態による、環境情報を選択的に取得する撮像システムを示す。異なる視野を有する撮像用コンポーネントを含む撮像システムが図１１に示されているが、これは限定的な意味ではない。例えば、両眼式撮像システム又は単眼式撮像システムの選択的な利用は、２つ又はそれ以上の撮像用コンポーネントを有する何れの撮像システムにも応用されてよい。撮像システムは、第１の撮像用コンポーネント１１０１を含んでいてもよい。第１の撮像用コンポーネントは第１の視野を有していてもよい。幾つかの例において、第１の視野は約１８０°、１７０°、１６９°、１６５°、１６０°、１５５°、１５０°、１４５°、１４０°、１３５°、１３０°、１２５°、１２０°、１１５°、１１０°、１０５°、１００°、９５°、９０°、８５°、８０°、７５°、７０°、６５°、６０°、５５°、５０°、４５°、４０°、３５°、又は３０°より小さいか、それと等しくてもよい。撮像システムは第２の撮像用コンポーネント１１０３を含んでいてもよい。第２の撮像用コンポーネントは第２の視野を有していてもよい。幾つかの例において、第２の視野は約１８０°、１７０°、１６９°、１６５°、１６０°、１５５°、１５０°、１４５°、１４０°、１３５°、１３０°、１２５°、１２０°、１１５°、１１０°、１０５°、１００°、９５°、９０°、８５°、８０°、７５°、７０°、６５°、６０°、５５°、５０°、４５°、４０°、３５°、又は３０°より小さいか、それと等しくてもよい。第２の視野は第１の視野より小さくてもよい。第２の視野は、幾つかの例において、第１の視野より狭くてもよい。
【０１１５】
幾つかの例において、第２の視野は、例えば図１１に示されているように、第１の視野により包含されていてもよい。別の例において、第２の視野は第１の視野と部分的に重複していてもよい。任意選択により、第２の視野は第１の視野と重複しなくてもよい。幾つかの例において、第１及び第２の撮像用コンポーネントは、相互に関して調整されてもよい。例えば、第１及び第２の撮像用コンポーネントは、相互に関して並進及び／又は回転可能であってもよい。幾つかの例において、撮像用コンポーネント１１０１及び１１０３は各々、単眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。或いは、撮像用コンポーネント１１０１及び１１０３は各々、両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。ある例として、撮像用コンポーネント１１０３は、両眼式撮像システムを含み、重複する画像群を（例えば、実質的に同時に）取得してもよい。幾つかの例において、撮像用コンポーネント１１０１及び１１０３は、両者で両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。
【０１１６】
撮像用コンポーネントの各々は、ＵＡＶ等の移動体に動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に組み込まれても。その代わりに、又はそれに加えて、撮像用コンポーネントは、実質的に前述したように、ある機構を介して可動式物体に接続されてもよい。
【０１１７】
撮像用コンポーネントは各々、画像群を取得してもよい。例えば、第１の撮像用コンポーネントは、第１の画像群１１０５を取得してもよく、第２の撮像用コンポーネントは第２の画像群１１０７を取得してもよい。幾つかの例において、第１及び第２の画像群の各々は、単眼式撮像システムを用いて異なる時点で取得された画像を含んでいてもよい。幾つかの例において、第１の画像群と第２の画像群は、実質的に同時に取得されてもよい。第１の画像群及び／又は第２の画像群は各々、ある期間にわたって取得されたシーケンス画像であってもよい。幾つかの例において、第２の画像群は環境情報を取得するのにより適しているかもしれない。幾つかの例において、第１の画像群は、第２の画像群と比較して、画像エッジにおける精度がより低いかもしれない。幾つかの例において、第１及び／又は第２の画像群の何れかが両眼式撮像システムを用いて取得された重複する画像群を含んでいてもよい。
【０１１８】
撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、環境情報を取得するように構成されていてもよい。幾つかの例において、１つ又は複数のプロセッサは、実質的に両眼式撮像システムに関して上述したように、第１及び第２の画像群の両方に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、１つ又は複数のプロセッサは、第１の画像群と第２の画像群に含まれるデータ間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第１の画像群（例えばシーケンス画像）に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、１つ又は複数のプロセッサは、第１の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第２の画像群（例えば、シーケンス画像）に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、１つ又は複数のプロセッサは、第２の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、両眼式撮像システムに関して説明したように、第２の画像群に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、撮像用コンポーネント１１０３は両眼式撮像システムを提供してもよく、第２の画像群は、それ自体で重複する画像群を含んでいてもよい。
【０１１９】
図１２は、実施形態による、異なる撮像システムが利用される例示的な構成を示している。構成１２０１では、撮像用コンポーネント１２０３、１２０５を含む撮像システムが、撮像用コンポーネント１２０５を含む撮像システムにより補助されている。撮像用コンポーネントの各々は、単眼式撮像システム及び／又は両眼式撮像システムを提供するか、又はその一部として使用されてもよい。撮像用コンポーネントは各々、画像群（例えば、シーケンス画像）を取得する。実質的に同時に取得された画像群は重複部分を含んでいてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分を含んでいなくてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は物体１２０７を含み、非重複部分は物体１２０９を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理して、ＵＡＶのための環境情報を取得してもよい。例えば、１つ又は複数のプロセッサは、物体１２０７までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であるかもしれない。１つ又は複数のプロセッサはさらに、撮像用コンポーネント１２０５により取得されたシーケンス画像の重複部分を処理して、例えば単眼式システムに関してＵＡＶのための環境情報を取得するように構成されていてもよい。
【０１２０】
幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、ＵＡＶは、より正確及び／又は精密な環境情報を取得できるかもしれない。幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、ＵＡＶはより多くの環境情報を取得してもよい。例えば、障害物又は物体１２０９に関する情報（例えば、物体１２０９までの距離）に関する情報は、広い視野を有する単眼式撮像システムに基づいて取得されてもよく、障害物又は物体１２０７に関する情報（例えば、物体１２０７までの距離）は両眼式撮像システムに基づいて取得されてもよい。両眼式撮像システムは、ＵＡＶの正確で精密な情報を提供してもよく、広い視野を有する単眼式撮像システムは、補助的な環境情報を提供してもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書中で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。任意選択により、１つ又は複数のプロセッサは、両眼式撮像システムに環境情報を取得するのに問題がある場合に、単眼式撮像システムからの環境情報を取得するように構成されてもよい。構成１２１１では、撮像用コンポーネント１２１３、１２１５を含む両眼式撮像が、撮像用コンポーネント１２１５を含む単眼式撮像システムにより補助されている。撮像用コンポーネントは各々、画像群（例えばシーケンス画像）を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は、物体を含まず、非重複部分は物体１２１９を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理して、ＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分の中の情報（例えば、特定可能な特徴、顕著性、その他）が不十分であり、環境情報が取得されないかもしれない。
【０１２１】
重複部分の品質が不十分である場合、１つ又は複数のプロセッサは、例えば単眼式撮像システムに関して、撮像用コンポーネント１２１５により取得されたシーケンス画像重複部分を処理し、ＵＡＶのための環境情報を取得するように構成されていてもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内に特定可能な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内にわずかな特定可能な特徴しかない場合であってもよい。幾つかの例において、重複部分のデータ品質の品質が不十分であるのは、ＵＡＶに関する距離又は奥行き情報が取得できない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、速度又は位置情報等のＵＡＶに関する状態情報が取得できない場合であってもよい。それの品質が不十分であるのは、重複部分内の特徴点の数が２、５、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１２０、１４０、１６０、１８０、２００、２５０、又は３００と等しいかこれより少ない場合である。
【０１２２】
幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、ＵＡＶは、より正確又は精密な環境情報を取得できるもかもしれない。幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、ＵＡＶは、より多くの環境情報を取得できるもかもしれない。例えば、障害物又は物体１２１９に関する情報（例えば、物体１２１９までの距離）は、両眼式撮像システムが環境情報を取得できない場合に、広い視野の単眼式撮像システムに基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書中で前述したように、ＵＡＶの挙動に影響を与える中で利用されてもよい。
【０１２３】
構成１２２１では、撮像用コンポーネント１２２３、１２２５を含む両眼式撮像システムは、撮像用コンポーネント１２２５を含む単眼式撮像システムによって補助される。撮像用コンポーネントは各々、画像群（例えば、シーケンス画像）を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分はある物体の、特定可能な特徴を持たない部分を含み、非重複部分はその物体の、特定可能な特徴を有する部分を含む。したがって、実質的に構成１２１１に関して説明したように、単眼式撮像システムは両眼式撮像システムの補助及び／又は代替として使用されてもよい。
【０１２４】
図１３は、実施形態による、移動体により取得された画像の処理方法を示す。移動体は、本明細書で前述したように無人航空機（ＵＡＶ）であってもよい。或いは、移動体は、他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されていてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
【０１２５】
ステップ１３０１で、第１の撮像用コンポーネントを用いて第１の画像群が取得される。第１の撮像用コンポーネントは第１のレンズシステムを含んでいてもよい。第１の撮像用コンポーネントは、撮像装置上に位置付けられていてもよい。第１の撮像用コンポーネントは、移動体に搭載されていてもよい。幾つかの例において、第１の画像群はシーケンス画像を含んでいてもよい。第１の撮像用コンポーネントは第１の視野を有していてもよい。幾つかの例において、第１の視野は約９０°〜１８０°の間の視線角を有していてもよい。
【０１２６】
ステップ１３０３で、第２の撮像用コンポーネントを用いて第２の画像群が取得される。第２の撮像用コンポーネントは第２のレンズシステムを含んでいてもよい。第２の撮像用コンポーネントは撮像装置上に位置付けられてもよい。幾つかの例において、第２の撮像用コンポーネントは、第１の撮像用コンポーネントとは異なる撮像装置上に位置付けられていてもよい。或いは、第２の撮像用コンポーネントは、第１の撮像用コンポーネントと同じ撮像装置上に位置付けられていてもよい。第２の撮像用コンポーネントは移動体に搭載されていてもよい。第２の撮像用コンポーネントは第２の視野を有していてもよい。第２の視野は、幾つかの例において、第１の視野より狭くてもよい。幾つかの例において、第１の視野と第２の視野は重複していてもよい。幾つかの例において、第２の視野は第１の視野により包含されてもよい。幾つかの例において、第２の視野は約５０°〜８０°の間の視野角を有していてもよい。第１の撮像用コンポーネントと第２の撮像用コンポーネントの各々は、単眼式レンズシステムを含んでいてもよい。
【０１２７】
幾つかの例において、１つ又は複数のプロセッサが提供されてもよい。１つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサの一部又は全部が移動体に搭載されていなくてもよい。例えば、プロセッサの一部は移動体に動作的に接続されたリモートコントローラ又は移動デバイスに位置付けられてもよい。１つ又は複数のプロセッサは個別に、又は集合的に、ステップ１３０５で第１の画像群を処理し、テクスチャ情報を取得してもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複部分及び／又は非重複部分の両方から得られてもよい。幾つかの例において、１つ又は複数のプロセッサは、第２の画像の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得してもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサは、第２の画像群の品質が所定の閾値より高い場合に、第２の画像群を処理して移動体に用いる環境情報を取得するように構成されてもよい。１つ又は複数のプロセッサは、第２の画像群の画像の顕著性又は勾配を解析することにより、第２の画像群の品質を判断するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、第２の画像群内の特徴点の数又はオプティカルフローを解析することにより、第２の画像群の品質を判断するように構成されてもよい。
【０１２８】
ステップ１３０７で、１つ又は複数のプロセッサは、ステップ１３０５で得られたテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。幾つかの例において、環境情報は奥行き情報を含む。その代わりに、又はそれに加えて、環境情報は移動体の障害物情報又は状態情報を含む。幾つかの例において、１つ又は複数のプロセッサは、第２の画像の品質が所定の閾値より高い場合には、移動体に用いる環境情報を取得するために第１の画像群の一部を処理しないように構成されてもよい。
【０１２９】
任意選択により、１つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び／又は向きを制御するための制御信号を生成するように構成されてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び／又は向きを、取得した環境情報に基づいて制御するための制御信号を生成するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、第２の画像の品質が所定の閾値より低い場合に、第２の撮像用コンポーネントの光軸を調整するための制御信号を生成するように構成されてもよい。制御信号は、第１の画像群のテクスチャ情報に依存してもよい。
【０１３０】
幾つかの例において、１つ又は複数のプロセッサは、移動体の飛行中に処理及び取得ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに繰り返されてもよい。
【０１３１】
幾つかの例において、方法１３００を実行するためのシステムが提供されてもよい。システムは、１つ又は複数のプロセッサを含んでいてもよく、これは、第２の画像群の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
【０１３２】
幾つかの例において、方法１３００を実行するための装置が提供されてもよい。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第２の画像群の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又はまとめて構成された１つ又は複数のプロセッサと、を含んでいてもよい。
【０１３３】
幾つかの例において、方法１３００を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像群を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野より狭い第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第２の画像群の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含んでいてもよい。
【０１３４】
本明細書に記載されたシステム、デバイス、及び方法は、移動体及び静止物体を含めた様々な物体に応用できる。前述のように、本明細書におけるＵＡＶ等の航空機に関する説明は何れの移動体にも当てはまり、そのために使用されてもよい。本明細書における航空機に関する説明はすべて、ＵＡＶに特に応用されてもよい。本発明の移動体は、何れの適当な環境内で移動するようにも構成でき、例えば空中（例えば、固定翼航空機、回転翼航空機、又は固定翼も回転翼も持たない航空機）、水中（例えば、船舶又は潜水艦）、地上（例えば、乗用車、トラック、バス、バン、オートバイ、自転車等の自動車、ステッキ、釣竿等の移動可能な構造若しくは支持体、又は列車）、地下（例えば、地下鉄）、宇宙（例えば、宇宙飛行機、人工衛星、又は宇宙探査機）、又はこれらの環境のあらゆる組合せがある。移動体は、本明細書の他の箇所に記載されている車両等の車両とすることかできる。幾つかの実施形態において、移動体は生体、例えば人間又は動物により担持され、又は生体から取り外すことができる。適当な動物としては、アビン（ａｖｉｎｅｓ）、イヌ、ネコ、ウマ、ウシ、ヒツジ、ブタ、デルフィン（ｄｅｌｐｈｉｎｅｓ）、げっ歯類、又は昆虫を含むことができる。
【０１３５】
移動体は、環境内で６自由度（例えば、並進３自由度及び回転３自由度）に関して自由に移動できてもよい。或いは、移動体の移動は、１つ又は複数の自由度に関して、例えば所定の経路、軌道、又は方位によって制約できる。移動は、例えばエンジン又はモータ等、何れの適当な作動機構によっても作動させることができる。移動体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せ等の、何れの適当なエネルギー源によっても動力供給できる。移動体は、本明細書の別の箇所で説明されているように、推進システムを介した自走式であってもよい。推進システムは任意選択により、エネルギー源、例えば電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せにより動作してもよい。或いは、移動体は、生体により担持されてもよい。
【０１３６】
幾つかの例において、移動体は航空車両とすることができる。例えば、航空車両は、固定翼航空機（例えば、飛行機、グライダ）、回転翼航空機（例えば、ヘリコプタ、ロータクラフト）、固定翼と回転翼の両方を有する航空機、又は何れも持たない航空機（例えば、飛行船、熱気球）であってもよい。航空車両は自走式とすることができ、例えば、空中で自走式とすることができる。自走式航空車両は、推進システム、例えば１つ又は複数のエンジン、モータ、車輪、アクスル、磁石、ロータ、プロペラ、ブレード、ノズル、若しくはこれらのあらゆる適当な組合せ等の推進システムを利用できる。幾つかの例において、推進システムは、移動体が離陸し、着陸し、その現在の位置及び／又は方位を保持し（ホバリング等）、向きを変え、及び／又は位置を変えることができるようにするために使用できる。
【０１３７】
移動体は、使用者が遠隔的に制御でき、又は移動体内又はその上にいる搭乗者がローカルで制御することもできる。移動体は、別の車両内の搭乗者を介して遠隔的に制御されてもよい。幾つかの実施形態において、移動体はＵＡＶなどの無人移動体である。ＵＡＶ等の無人移動体では、移動体に搭乗者がいないかもしれない。移動体は、人間もしくは自動制御システム（例えば、制御システム）又はそれらのあらゆる適当な組み合わせによって制御できる。移動体は、人工知能を備えて構成されたロボット等の自律型又は半自律型ロボットとすることができる。
【０１３８】
移動体は、何れの適当な大きさ及び／又は寸法を有することもできる。幾つかの実施形態において、移動体は、車両内又はその上に人間の乗員がいるような大きさ及び／又は寸法であってもよい。或いは、移動体は、車両内又はその上に人間の乗員が乗ることができるものより小さい大きさ及び／又は寸法であってもよい。移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び／又は寸法であってもよい。或いは、移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び／又は寸法より大きくてもよい。幾つかの例において、移動体の最大寸法（例えば、長さ、幅、高さ、直径、対角線）が約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍ未満又はこれと同等であってもよい。最大寸法は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍより大きいか、これと同等であってもよい。例えば、移動体の反対のロータのシャフト間の距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍ未満又はこれと同等であってもよい。或いは、反対のロータのシャフト間の距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍより大きいか、又はこれと同等であってもよい。
【０１３９】
幾つかの実施形態において、移動体の体積は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、又は５ｃｍ×５ｃｍ×３ｃｍ未満であってもよい。移動体の全体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、又は１０ｍ３未満又はこれと同等であってもよい。反対に、移動体の全体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、又は１０ｍ３より大きいか、これと同等であってもよい。
【０１４０】
幾つかの実施形態において、移動体の設置面積（これは、移動体により取り囲まれる横方向の断面積を指してもよい）は、約３２，０００ｃｍ２、２０，０００ｃｍ２、１０，０００ｃｍ２、１，０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、又は５ｃｍ２未満又はこれと同等であってもよい。反対に、設置面積は、約３２，０００ｃｍ２、２０，０００ｃｍ２、１０，０００ｃｍ２、１，０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、又は５ｃｍ２より大きいか、これと同等であってもよい。
【０１４１】
幾つかの実施形態において、移動体の重量は１０００ｋｇより大きくてもよい。移動体の重量は、約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ，１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、又は０．０１ｋｇ未満又はこれと同等であってもよい。反対に、重量は、約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、又は０．０１ｋｇより大きいか、又はこれと等しくてもよい。
【０１４２】
幾つかの実施形態において、移動体は、移動体により担持される負荷に関して小さくてもよい。負荷は、本明細書により詳しく説明するように、搭載物及び／又は支持機構を含んでいてもよい。幾つかの例において、移動体の重量対負荷の重量の比は、約１：１より大きいか、それ未満か、又はこれと同等であってもよい。任意選択により、支持機構の重量対負荷の重量の比は、約１：１より大きいか、それ未満か、それと同等であってもよい。希望により、移動体の重量対負荷の重量の比は、１：２、１：３、１：４、１：５、１：１０、又はそれ以下未満か、これと同等であってもよい。反対に、移動体の重量対負荷の重量の比はまた、２：１、３：１、４：１、５：１、１０：１、又はそれ以上より大きいか、これと同等であってもよい。
【０１４３】
幾つかの実施形態において、移動体は、消費エネルギーが低くてもよい。例えば、移動体が使用するのは、約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈ、又はそれ以下未満であってもよい。幾つかの例において、移動体の支持機構はエネルギー消費が低くてもよい。例えば、支持機構が使用するのは、約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈ、又はそれ以下未満であってもよい。任意選択により、移動体の搭載物は、消費エネルギーが低くてもよく、例えば約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈ、又はそれ以下未満であってもよい。
【０１４４】
図１４は、本発明の実施形態による無人航空機（ＵＡＶ）１４００を示す。ＵＡＶは、本明細書に記載されている移動体の一例であってもよく、そこにバッテリアセンブリを放電させる方法と装置が適用されてもよい。ＵＡＶ１４００は、４つの回転翼１４０２、１４０４、１４０６、及び１４０８を有する推進システムを含むことができる。いくつの回転翼が提供されてもよい（例えば、１、２、３、４、５、６、又はそれ以上）。無人航空機の回転翼、回転翼アセンブリ、又はその他の推進システムにより、無人航空機はホバリングし／位置を保持し、向きを変え、及び／又は位置を変えることができるかもしれない。対向する回転翼のシャフト間の距離は、何れの適当な長さ１４１０とすることもできる。例えば、長さ１４１０は、２ｍ未満又はそれと等しいか、５ｍ未満かそれと等しくすることができる。幾つかの実施形態において、長さ１４１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、又は５ｃｍ〜５ｍの範囲内とすることができる。ＵＡＶに関する本明細書内の何れの説明も、異なる種類の移動体等の移動体にも当てはまり、又はその逆でもある。ＵＡＶは、本明細書に記載されているような離陸補助システム又は方法を使用してもよい。
【０１４５】
幾つかの実施形態において、移動体は負荷を担持するように構成できる。負荷は、乗客、貨物、機器、器具、及びその他のうちの１つ又は複数を含むことができる。負荷は、筐体内に提供できる。筐体は、移動体の筐体とは別であっても、移動体のための筐体の部分であってもよい。或いは、負荷は筐体と共に提供でき、その一方で、移動体は筐体を持たない。或いは、負荷の一部又は負荷の全体が筐体を持たずに提供されてもよい。負荷は、移動体に関して強固に固定できる。任意選択により、負荷は、移動体に対して移動可能とすることができる（例えば、移動体に関して並進可能又は回転可能）。積載物には、本明細書の他の箇所に記載されているように、搭載物及び／又は支持機構を含むことができる。
【０１４６】
幾つかの実施形態において、移動体、支持機構、及び搭載物の、固定された参照フレーム（例えば周囲環境）及び／また相互に関する移動は、端末によって制御できる。端末は、移動体、支持機構、及び／又は搭載物から離れたロケーションにあるリモート制御デバイスとすることができる。端末は、支持台上に設置し、又は固定することができる。或いは、端末は、ハンドヘルド又はウェアラブルデバイスとすることができる。例えば、端末はスマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロフォン、又はこれらの適当な組み合わせを含むことができる。端末は、ユーザインタフェース、たとえはキーボード、マウス、ジョイスティック、タッチスクリーン、又はティスプレイを含むことができる。何れの適当なユーザ入力を使って端末と相互作用することもでき、例えば、手入力されるコマンド、音声制御、ジェスチャ制御、又は位置制御（例えば、端末の動き、ロケーション、又は傾きを通じたもの）がある。
【０１４７】
端末は、移動体、支持機構、及び／又は搭載物の何れの適当な状態を制御するためも使用できる。例えば端末は、移動体、支持機構、及び／又は搭載物の、固定参照に関する位置及び／また方位を、相互から及び／又は相互に制御するために使用できる。幾つかの実施形態において、端末は、移動体、支持機構、及び／又は搭載物の個々の要素、例えば支持機構の作動アセンブリ、搭載物のセンサ、又は搭載物のエミッタを制御するために使用できる。端末は、移動体、支持機構、又は搭載物のうちの１つまた複数と通信するようになされた無線通信デバイスを含むことができる。
【０１４８】
端末は、移動体、支持機構、及び／又は搭載物の情報を閲覧するための適当な表示ユニットを含むことができる。例えば、端末は、移動体、支持機構、及び／又は搭載物の位置、並進速度、並進加速度、方位、角速度、角加速度、又はこれらのあらゆる適当な組合せに関する情報を表示するように構成できる。幾つかの実施形態において、端末は、搭載物により提供された情報、例えば機能的搭載物により提供されたデータ（例えば、カメラ又はその他の撮像装置により記録された画像）を表示できる。
【０１４９】
任意選択により、同じ端末を移動体、支持機構、及び／又は搭載物、又は移動体、支持機構、及び／又は搭載物の状態の制御と、移動体、支持機構、及び／又は搭載物からの情報の受信及び／又は表示の両方に使用してもよい。例えば、端末は、搭載物の環境に関する位置を制御してもよく、その一方で、搭載物により取得された画像データ又は搭載物の位置に関する情報を表示する。或いは、異なる端末が異なる機能のために使用されてもよい。例えば、第１の端末は移動体、支持機構、及び／又は搭載物の移動又は状態を制御してもよく、その一方で、第２の端末は移動体、支持機構、及び／又は搭載物からの情報を受け取り、及び／又は表示してもよい。例えば、第１の端末は、搭載物の、環境に関するポジショニングを制御するために使用されてもよく、その一方で、第２の端末は搭載物により取得された画像データを表示する。移動体と、移動体の制御とデータ受信の両方を行う統合型端末との間又は、移動体と、移動体の制御とデータ受信の両方を行う複数の端末との間では、各種の通信モードが利用されてもよい。例えば、少なくとも２種類の通信モードが、移動体と、移動体の制御と移動体からのデータ受信の両方を行う端末との間に形成されてもよい。
【０１５０】
図１５は、本発明の実施形態による、支持機構１５０２と搭載物１５０４を含む移動体１５００を示している。移動体１５００は航空機として描かれているが、この図は限定的とされるものではなく、本明細書において前述したように、何れの適当な種類の移動体も使用できる。当業者であればわかるように、本明細書において航空機システムに関して記載された実施形態の何れも、あらゆる適当な移動体（例えば、ＵＡＶ）に適用できる。幾つかの例において、搭載物１５０４は、支持機構１５０２を必要とせずに、移動体１５００上に提供されてもよい。移動体１５００は、推進機構１５０６、検知システム１５０８、及び通信システム１５１０を含んでいてもよい。
【０１５１】
推進機構１５０６は、前述したように、１つ又は複数のロータ、プロペラ、ブレード、エンジン、モータ、車輪、アクスル、磁石、又はノズルを含むことができる。移動体は、１つ以上の、２つ以上の、３つ以上の、又は４つ以上の推進機構を有していてもよい。推進機構は、全てが同じ種類であってもよい。或いは、１つ又は複数の推進機構は異なる種類の推進機構とすることができる。推進機構１５０６は移動体１５００上に、何れかの適当な手段、例えば本明細書中の他の箇所に記載されているように、支持要素（例えば、駆動シャフト）を用いて取り付けることができる。推進機構１５０６は、移動体１５００の何れかの適当な部分、例えば上面、下面、前面、背面、又はこれらの適当な組合せに取り付けることができる。
【０１５２】
幾つかの実施形態において、推進機構１５０６は、移動体１５００を表面から垂直に離陸させ、又は表面に垂直に着陸させることができ、移動体１５００の水平移動は一切必要としない（例えば、滑走路上の移動が不要）。任意選択により、推進機構１５０６は、移動体１５００が指定された位置及び／又は方位で空中においてホバリングできるように動作可能とすることができる。推進機構１５０６の１つ又は複数は、他の推進機構と独立して制御されてもよい。或いは、推進機構１５０６は、同時に制御されるべく構成できる。例えば、移動体１５００は、移動体を浮揚させ、及び／又は推進させることのできる複数の水平向きのロータを有することができる。複数の水平向きのロータは、垂直離陸、垂直着陸、及びホバリング能力を移動体１５００に提供するために作動できる。幾つかの実施形態において、水平向きのロータの１つ又は複数は、時計回り方向に旋回してもよく、水平向きのロータの１つ又は複数は反時計回り方向に旋回してもよい。例えば、時計回りのロータの数は反時計回りのロータの数と等しくてもよい。水平向きのロータの各々の回転速度を個別に変化させて、各ロータによって起こされる浮揚及び／又は推進を制御することにより、移動体１５００の（例えば、並進３自由度まで及び回転３自由度までに関する）空間配置、速度、及び／又は加速度を調整するために個別に変化させることができる。
【０１５３】
検知システム１５０８は、１つまた複数のセンサを含むことができ、これは、移動体１５００の（例えば、最大並進３自由度及び最大回転３自由度に関する）空間配置、速度、及び／又は加速度を検知してもよい。１つ又は複数のセンサは、全地球測位システム（ＧＰＳ）センサ、運動センサ、慣性センサ、近接性センサ、又は画像センサを含むことができる。検知システム１５０８により提供された検知データは、移動体１５００の空間配置、速度、及び／又は方位を（例えば、後述のように、適当な処理ユニット及び／又は制御モジュールを使って）制御するために使用できる。或いは、検知システム１５０８は、移動体を取り囲む環境に関するデータ、例えば、天候条件、潜在的障害物との近接性、地理的特徴のロケーション、人工構造物のロケーション、及びその他を提供するために使用できる。
【０１５４】
通信システム１５１０は、通信システム１５１４を有する端末１５１２と無線信号１５１６を介して通信できる。通信システム１５１０、１５１４としては、無線通信に適した何れの数の送信機、受信機、及び／又はトランシーバが含まれていてもよい。通信は、データを一方向にのみ送信できる一方向通信であってもよい。例えば、一方向通信は、移動体１５００が端末１５１２にデータを送信することだけ、又はその逆が関わっていてもよい。データは、通信システム１５１０の１つ又は複数の送信機から通信システム１５１４の１つ又は複数の受信機に送信されてもよく、又はその逆でもよい。或いは、通信は双方向通信であってもよく、これによってデータは移動体１５００と端末１５１２との間で双方向に送信可能である。双方向通信には、通信システム１５１０の１つ又は複数の送信機から通信システム１５１４の１つ又は複数の受信機へのデータ送信及びその逆が関わることができる。
【０１５５】
幾つかの実施形態において、端末１５１２は、制御データを移動体１５００、支持機構１５０２、及び搭載物１５０４のうちの１つ又は複数に制御データを提供し、移動体１５００、支持機構１５０２、及び搭載物１５０４からの情報（例えば、移動体、支持機構、又は搭載物の位置及び／又は運動情報、搭載物により検知されたデータ、例えば搭載物カメラにより取得された画像データ）を受け取ることができる。幾つかの例において、端末からの制御データは、移動体、支持機構、及び／又は搭載物の相対位置、移動、作動、又は制御に関する命令を含んでいてもよい。例えば、制御データは、移動体のロケーション及び／又は方位（例えば、推進機構１５０６の制御を通じて）、又は搭載物の移動体に関する移動（例えば、支持機構１５０２の制御を通じて）を変更させるものであってもよい。端末からの制御データは、搭載物の制御、例えばカメラ又はその他の撮像装置の動作の制御（静止画又は動画の撮影、ズームイン又はアウト、電源オン又はオフ、画像モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露出時間の変更、視野角又は視野の変更）を行わせるものであってもよい。幾つかの例において、移動体、支持機構、及び／又は搭載物からの通信は、（例えば、検知システム１５０８の、又は搭載物１５０４の）１つ又は複数のセンサからの情報を含んでいてもよい。通信は、１つ又は複数の異なる種類のセンサ（例えば、ＧＰＳセンサ、運動センサ、慣性センサ、近接性センサ、又は画像センサ）からの検知情報を含んでいてもよい。このような情報は、移動体、支持機構、及び／又は搭載物の位置（例えば、ロケーション、方位）、移動、又は加速度に関していてもよい。搭載物からのこのような情報には、搭載物により取得されたデータ又は検知された搭載物の状態が含まれていてもよい。端末１５１２により送信される制御データは、移動体１５００、支持機構１５０２、又は搭載物１５０４のうちの１つ又は複数の状態を制御するべく構成できる。その代わりに、又はそれと組み合わせて、支持機構１５０２と搭載物１５０４はまた、各々、端末１５１２と通信するべく構成された通信モジュールを含むことができ、それによって端末は移動体１５００、支持機構１５０２、及び搭載物１５０４の各々と個別に通信し、これを制御できる。
【０１５６】
幾つかの実施形態において、移動体１５００は、端末１５１２に加えて、又は端末１５１２の代わりに他の遠隔デバイスと通信するべく構成できる。端末１５１２はまた、他の遠隔デバイス及び移動体１５００と通信するべく構成されてもよい。例えば、移動体１５００及び／又は端末１５１２は、他の移動体、又は他の移動体の支持機構若しくは搭載物と通信してもよい。希望に応じて、遠隔デバイスは第２の端末又はその他のコンピューティングデバイス（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又はその他のモバイルデバイス）であってもよい。遠隔デバイスは、移動体１５００にデータを送信し、移動体１５００からデータを受信し、端末１５１２にデータを送信し、及び／又は端末１５１２からデータを受信するべく構成できる。任意選択により、遠隔デバイスはインターネット又はその他の電気通信ネットワークに接続でき、それによって移動体１５００及び／又は端末１５１２から受け取ったデータをウェブサイト又はサーバにアップロードできる。
【０１５７】
図１６は、本発明の実施形態による、移動体を制御するためのシステム１６００のブロック図による略図である。システム１６００は、本明細書で開示されているシステム、デバイス、及び方法の何れの適当な実施形態とも併用できる。システム１６００は、検知モジュール１６０２と、処理ユニット１６０４と、非一時的コンピュータ読取可能媒体１６０６と、制御モジュール１６０８と、通信モジュール１６１０と、を含むことができる。
【０１５８】
検知モジュール１６０２は、移動体に関する情報を異なる方法で収集する異なる種類のセンサを利用できる。異なる種類のセンサは、異なる種類の信号又は異なる発生源からの信号を検知してもよい。例えば、センサは、慣性センサ、ＧＰＳセンサ、近接性センサ（例えば、ライダ）、又は映像／画像センサ（例えば、カメラ）を含むことができる。検知モジュール１６０２は、複数のプセッサを有する処理ユニット１６０４に動作的に連結できる。幾つかの実施形態において、検知モジュールは、検知データを適当な外部デバイス又はシステムに直接送信するべく構成された送信モジュール１６１２（例えば、Ｗｉ−Ｆｉ画像送信モジュール）に動作的に連結できる。例えば、送信モジュール１６１２は、検知モジュール１６０２のカメラにより取得された画像を遠隔端末に送信するために使用できる。
【０１５９】
処理ユニット１６０４は、１つ又は複数のプロセッサ、例えばプログラム可能プロセッサ（例えば、中央処理ユニット（ＣＰＵ））有することができる。処理ユニット１６０４は、非一時的なコンピュータ読取可能媒体１６０６に動作的に接続できる。非一時的なコンピュータ読取可能媒体１６０６は、処理ユニット１６０４によって１つ又は複数のステップを行うために実行可能なロジック、コード、及び／又はプログラム命令を記憶できる。非一時的なコンピュータ読取可能媒体は、１つ又は複数のメモリユニット（例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）等の取り外し可能媒体又は外付け記憶装置）を含むことができる。幾つかの実施形態において、検知モジュール１６０２からのデータは、非一時的なコンピュータ読取可能媒体１６０６のメモリユニットに直接搬送され、その中に保存できる。非一時的なコンピュータ読取可能媒体１６０６のメモリユニットは、処理ユニット１６０４が本明細書に記載されている方法の何れかの適当な実施形態を行うために実行可能なロジック、コード、及び／又はプログラム命令を記憶できる。例えば、処理ユニット１６０４は、処理ユニット１６０４の１つ又は複数のプロセッサに検知モジュールにより作成される検知データを解析させる命令を実行するべく構成できる。メモリユニットは、処理ユニット１６０４により処理されることになる、検知モジュールからの検知データを保存できる。幾つかの実施形態において、非一時的なコンピュータ読取可能媒体１６０６のメモリニットは、処理ユニット１６０４により生成される処理結果を保存するために使用できる。
【０１６０】
幾つかの実施形態において、処理ユニット１６０４は、移動体の状態を制御するべく構成された制御モジュール１６０８に動作的に連結できる。例えば、制御モジュール１６０８は、移動体の推進機構を制御して、移動体の、６自由度に関する空間配置、速度、及び／又は加速度を調整するべく構成できる。その代わりに、又はそれと組み合わせて、制御モジュール１６０８は、支持機構、搭載物、又は検知モジュールの状態のうちの１つ又は複数を制御できる。
【０１６１】
処理ユニット１６０４は、１つ又は複数の外部デバイス（例えば、端末、表示デバイス、又はその他の遠隔コントローラ）にデータを送信し、及び／又はそこからデータを受信するべく構成された通信モジュール１６１０に動作的に連結できる。何れの適当な通信手段も使用でき、例えば有線通信又は無線通信がある。例えば、通信モジュール１６１０は、Ｌｏｃａｌ  Ａｒｅａ  Ｎｔｗｏｒｋ（ＬＡＮ）、Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＷＡＮ）、赤外線、無線、Ｗｉ−Ｆｉ、ポイント・トゥー・ポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信、及びその他のうちの１つ又は複数を利用できる。任意選択により、中継局、例えばタワー、衛星、又は移動局を使用できる。無線通信は、近接性依存でも、近接性非依存でもよい。幾つかの実施形態において、Ｌｉｎｅ−ｏｆ−Ｓｉｇｈｔが通信に必要であっても、なくてもよい。通信モジュール１６１０は、検知モジュール１６０２からの検知データのうちの１つ又は複数、及び／又は処理ユニット１６０４により生成された処理結果、端末若しくは遠隔コントローラからの所定の制御データ、ユーザコマンド、及びその他のうちの１つ又は複数を送信及び／又は受信できる。
【０１６２】
システム１６００のコンポーネントは、何れの適当な構成にも配置できる。例えば、システム１６００のコンポーネントの１つ又は複数を移動体、支持機構、搭載物、端末、検知システム、又は上記のうちの１つ又は複数と通信するその他の外部デバイスに位置付けることができる。これに加えて、図１６は１つの処理ユニット１６０４、１つの非一時的なコンピュータ読取可能媒体１６０６を示しているが、当業者であればわかるように、これは限定的とするものではなく、システム１６００は複数の処理ユニット、及び／又は非一時的なコンピュータ読取可能媒体を含むことができる。幾つかの実施形態において、複数の処理ユニット、及び／又は非一時的なコンピュータ読取可能媒体のうちの１つ又は複数を異なるロケーション、例えば移動体、支持機構、搭載物、端末、検知モジュール、上記の１つ又は複数と通信するその他の外部デバイス、又はこれらの組合せに位置付けることができ、それによってシステム１６００が実行する処理及び／又は記憶機能の何れの適当な局面も上記のロケーションの１つ又は複数において実行可能となる。
【０１６３】
本明細書では、本発明の好ましい実施形態を図示し、説明したが、当業者にとっては、かかる実施形態は例として提供されているにすぎないことが明白であろう。システムに関して説明したすべての要素は本発明の方法の実践に適用され、またその逆でもある。ここで、当業者は、本発明から逸脱せずに様々な改変、変更、及び置換を着想するであろう。理解するべき点として、本明細書において説明されている本発明の実施形態の様々な代替案が本発明の実施形態に利用されてもよい。以下の特許請求の範囲が本発明の範囲を定義しており、これらの特許請求の範囲及びそれらの均等物の範囲内の方法と構造がそれによって包含されることが意図されている。
【図１Ａ】
2019522287.tif 000003
【図１Ｂ】
2019522287.tif 000004
【図１Ｃ】
2019522287.tif 000005
【図２】
2019522287.tif 000006
【図３】
2019522287.tif 000007
【図４】
2019522287.tif 000008
【図５】
2019522287.tif 000009
【図６】
2019522287.tif 000010
【図７】
2019522287.tif 000011
【図８】
2019522287.tif 000012
【図９】
2019522287.tif 000013
【図１０】
2019522287.tif 000014
【図１１】
2019522287.tif 000015
【図１２】
2019522287.tif 000016
【図１３】
2019522287.tif 000017
【図１４】
2019522287.tif 000018
【図１５】
2019522287.tif 000019
【図１６】
2019522287.tif 000020
【手続補正書】
【提出日】平成30年12月21日(2018.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体により取得された画像を処理する方法において、
第１の撮像装置を用いて、第１の視野を有する第１の画像群を取得するステップと、
第２の撮像装置を用いて、前記第１の視野より狭い第２の視野を有する第２の画像群を取得するステップと、
前記第２の画像群の品質が所定の閾値より低い場合に、前記第１の画像群を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するステップと、
を含む方法。
【請求項２】
前記環境情報は奥行き情報を含む、請求項１に記載の方法。
【請求項３】
前記環境情報は障害物情報又は前記移動体の状態情報を含む、請求項１又は請求項２に記載の方法。
【請求項４】
前記環境情報に基づいて前記移動体の位置及び向きの少なくとも１つを制御する制御信号を生成するステップをさらに含む、請求項１から請求項３の何れか１項に記載の方法。
【請求項５】
前記環境情報に基づいて、前記移動体に接続された撮像装置の前記移動体に対する位置及び向きの少なくとも１つを制御する制御信号を生成するステップをさらに含む、請求項１から請求項４の何れか１項に記載の方法。
【請求項６】
前記移動体は無人航空機（ＵＡＶ）である、請求項１から請求項５の何れか１項に記載の方法。
【請求項７】
前記第２の画像群の品質が前記所定の閾値より高い場合には、前記第２の画像群を処理して前記移動体に用いる環境情報を取得する、請求項１から請求項６の何れか１項に記載の方法。
【請求項８】
前記第２の画像の品質が前記所定の閾値より高い場合には、環境情報を取得するために前記第１の画像群を処理しない、請求項１から請求項７の何れか１項に記載の方法。
【請求項９】
前記第２の画像の品質が前記所定の閾値より低い場合に、前記第２の撮像装置の光軸を調整する制御信号を生成するステップをさらに含む、請求項１から請求項８の何れか１項に記載の方法。
【請求項１０】
前記制御信号は、前記第１の画像群の前記テクスチャ情報に基づく、請求項９に記載の方法。
【請求項１１】
前記品質は、前記第２の画像群の画像の顕著性又は勾配を解析することによって判断される、請求項１に記載の方法。
【請求項１２】
前記品質は、前記第２の画像群内の特徴点の数又はオプティカルフローを解析することによって判断する、請求項１に記載の方法。
【請求項１３】
前記第１の視野と前記第２の視野は重複する、請求項１から請求項１２の何れか１項に記載の方法。
【請求項１４】
前記第１の撮像装置及び前記第２の撮像装置は前記移動体に搭載されている、請求項１から請求項１３の何れか１項に記載の方法。
【請求項１５】
請求項１から請求項１４の何れか１項に記載の方法を実行する、１つ又は複数のプロセッサを備える、システム。
【請求項１６】
前記１つ又は複数のプロセッサは、前記移動体の飛行中に請求項１から請求項１４の何れか１項に記載の方法を実行する、システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体より取得された画像の処理に関する。
【背景技術】
【０００２】
撮像装置は、無人航空機（ＵＡＶ）等の移動体に搭載され、調査、捜索、及び救助作業、探索、ならびにその他の活動に利用されてもよい。幾つかの例において、撮像装置により取得される画像は、コンピュータビジョンプロセス、例えばナビゲーション及び障害物回避に利用されてもよい。
画像を取得するために、１つ又は複数の撮像用コンポーネントが提供されてもよい。取得された画像は処理されて、移動体にとって有益な情報が得られる。画像処理のための既存の手法は、幾つかの例においては最適といえないかもしれない。例えば、画像の様々な部分に含まれる有益な情報は利用されないかもしれず、又は十分に利用されないかもしれない。移動体の有益さは、撮像用コンポーネントにより取得された画像の様々な部分に含まれる有益な情報を適切に考慮し、利用することによって増大されるかもしれない。
【０００３】
現在、無人航空機（ＵＡＶ）等の移動体は、画像処理効率が悪く、取得した画像の様々な部分に含まれる有益な情報を知らずに廃棄しているかもしれない。幾つかの例において、ＵＡＶは非効率的な処理により、コンピュータビジョンアプリケーションにおいて最適でない判断を下すかもしれない。例えば、２つの撮像用コンポーネントを用いるビジョンシステムの場合、環境情報は主として取得された画像の中の両眼視差に基づいて得られてもよい。例えば、１つの撮像用コンポーネントを用いるビジョンシステムでは、環境情報は主として連続的に取得された画像の中の視差に基づいて得られてもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、環境情報の効率的な取得のために、画像内の利用可能な情報のすべてを適切に考慮するＵＡＶシステムが求められている。環境情報の取得により、さらに、ＵＡＶはコンピュータビジョンアプリケーション、例えばナビゲーション、物体認識、及び障害物回避においてよりよい決定を下すことができるようになるかもしれない。例えば、両眼式撮像システムには重複する視野を有する撮像用コンポーネントが設けられてもよい。重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有益であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、単眼式撮像システムに移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、撮像用コンポーネントは単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、個別に、又は大きい視野の撮像用コンポーネントと共に、環境情報を取得するために使用されてもよく、大きい視野の撮像用コンポーネントは、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。
【課題を解決するための手段】
【０００５】
それゆえ、１つの態様において、移動体により取得された画像を処理するための方法が提供される。方法は、第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、第１の撮像用コンポーネントは第１の視野を有するステップと、第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有するステップと、１つ又は複数のプロセッサを個別に、又は集合的に用いて、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
【０００６】
他の態様において、移動体より取得された画像を処理するためのシステムが提供される。システムは１つ又は複数のプロセッサを含み、これは、第２の画像群の品質が所定の閾値より低い場合には、第１の画像群を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
【０００７】
他の態様において、移動体により取得された画像を処理するための装置が提供される。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第２の画像群の品質が所定の閾値より低い場合には第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含む。
【０００８】
他の態様において、移動体により取得された画像を処理するための非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像群を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野より狭い第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第２の画像群の品質が所定の閾値より低いときに第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック又は命令を含む。
【０００９】
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、第１の撮像用コンポーネントは第１の視野を有するステップと、第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有するステップと、１つ又は複数のプロセッサを個別に又は集合的に用いて、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
【００１０】
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは１つ又は複数のプロセッサを含み、これは、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて第１の撮像用コンポーネントと第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
【００１１】
他の態様において、移動体により取得された画像を処理する装置が提供される。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含む。
【００１２】
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像群を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第１の画像群及び第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するコード、ロジック、又は命令を含む。
【００１３】
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、撮像用コンポーネントを用いてシーケンス画像を取得するステップであって、シーケンス画像は重複部分を含むステップと、１つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて移動体に用いる環境情報を取得するステップと、を含む。
【００１４】
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは１つ又は複数のプロセッサを含み、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
【００１５】
他の態様において、移動体のために画像から情報を処理する装置が提供される。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含む。
【００１６】
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、１つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含む。
【００１７】
当然のことながら、本発明の異なる態様は、個別に、まとめて、又は相互に組み合わせて理解することができる。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は他の何れの種類の移動体にも適用されてよい。本明細書中の、例えば無人航空機等の航空車両の説明はすべて、あらゆる車両等の何れの移動体にも適用され、使用されてよい。これに加えて、本明細書において航空運動（例えば、飛行）に関して開示されているシステム、デバイス、及び方法はまた、例えば地上、水上等のその他の種類の運動、水中運動、又は宇宙空間内の運動に関しても適用されてよい。
【００１８】
本発明のその他の目的と特徴は、明細書、特許請求の範囲、及び添付の図面を参照することにより明らかとなるであろう。
【００１９】
参照による援用
本明細書中で言及されているすべての出版物、特許、及び特許出願は全て、個々の出版物、特許、又は特許出願の各々が具体的かつ個別に参照により援用されると明記されているかのように、参照によって本願に援用される。
【００２０】
本発明の新規の特徴は、付属の特許請求の範囲の中に具体的に記されている。本発明の特徴と利点は、本発明の原理が利用される例示的な実施形態を示している以下の詳細な説明と、次のような添付の図面を参照することによって、よりよく理解されるであろう。
【図面の簡単な説明】
【００２１】
【図１Ａ】撮像システムにより取得された光景の画像を示す。
【図１Ｂ】撮像システムにより取得された光景の画像を示す。
【図１Ｃ】撮像システムにより取得された光景の画像を示す。
【図２】実施形態による、環境情報を取得するために使用される例示的システムを示す。
【図３】実施形態による光学レンズの視野角を示す。
【図４】実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。
【図５】実施形態による、テクスチャ情報が移動体のための有益な情報を提供する例示的構成を示す。
【図６】実施形態による、制御信号に応答した撮像用コンポーネントにおける例示的な調整を示す。
【図７】実施形態による、移動体により取得された画像の処理方法を示す。
【図８】実施形態による、環境情報を取得するために使用される移動型撮像システムを示す。
【図９】実施形態による、移動体のためのテクスチャ情報が得られる例示的構成を示す。
【図１０】実施形態による、移動体により取得された画像の処理方法を示す。
【図１１】実施形態による、環境情報を選択的に取得する撮像システムを示す。
【図１２】実施形態による、異なる撮像システムが使用される例示的構成を示す。
【図１３】実施形態による、移動体により取得された画像の処理方法を示す。
【図１４】本発明の実施形態によるＵＡＶの外観を示す。
【図１５】本発明の実施形態による、支持機構と搭載を含む移動体を示す。
【図１６】本発明の実施形態による、移動体を制御するためのシステムのブロック図による略図である。
【発明を実施するための形態】
【００２２】
本明細書で提供されるシステム、方法、デバイス、及びコンピュータ読取可能媒体は、撮像用コンポーネントにより取得される画像の有益さを向上させるために使用されてもよい。例えば、本明細書で提供されるシステムにより、１つ又は複数のプロセッサが画像の中の、通常であれば考慮されないような部分から環境情報を取得することが可能となるかもしれない。その代わりに、又はそれに加えて、本明細書において提供されるシステムにより、１つ又は複数のプロセッサは、撮像用コンポーネントにより取得された１つ又は複数の画像からより多くの環境情報を取得することが可能となるかもしれない。取得された環境情報はさらに、コンピュータビジョンアプリケーションに関して利用されて、航空機等の車両の全体的性能及び／又は効率を改善できる。航空機とは、本明細書において使用されるかぎり、無人航空機（ＵＡＶ）又は他のあらゆる種類の移動体を指してもよい。したがって、ＵＡＶに関して記載されている実施形態は何れの種類の移動体にも適用可能でありうると理解すべきである。
【００２３】
幾つかの例において、システムには、異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び／又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能になるかもしれない。
【００２４】
幾つかの例において、撮像システムには、重複する視野を有する撮像用コンポーネントが提供されてもよい。重複部分は、環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得した環境情報により、移動体はより高い精度及び／又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能となるかもしれない。
【００２５】
幾つかの例において、単眼式撮像システムには、移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度と効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能となるかもしれない。
【００２６】
幾つかの例において、撮像用コンポーネントは、単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び／又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報（例えば、速度、位置）を計算することが可能になるかもしれない。
【００２７】
本発明の様々な態様は、個別にも集合的にも、又は相互に組み合わせても評価できると理解するものとする。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は遠隔操作される車両もしくは何れの種類の移動体にも応用されてよい。
【００２８】
図１Ａ〜Ｃは、環境情報を取得するための各種の撮像システムを示す。図１Ａは、撮像システムにより取得された光景の画像１０２Ａ及び１０４Ａを示している。幾つかの例において、撮像システムは、より広い視野を有する画像１０２Ａとより狭い視野を有する１０４Ａを取得してもよい。図１Ｂは、撮像システムにより取得された光景１０６Ｂの画像１０２Ｂ及び１０４Ｂを示している。幾つかの例において、撮像システムは、重複する視野の画像を取得するように構成されてもよい。図１Ｃは、撮像システムにより取得される光景の画像１０２Ｃ及び１０４Ｃを示している。幾つかの例において、撮像システムは、異なる時点で異なる視野の画像を取得するように構成されてもよい。例えば、撮像システムは、異なる時点に異なる光景を取得する移動撮像システムであってもよい。
【００２９】
撮像システムは、例えば撮像のために撮像用コンポーネントを利用してもよい。撮像用コンポーネントはＵＡＶに動作的に接続されてもよい。幾つかの例において、撮像用コンポーネントはＵＡＶに組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介してＵＡＶに接続されてもよい。幾つかの例において、この機構は、撮像用コンポーネントをＵＡＶに対して移動させることができるようにしてもよい。移動は、併進移動及び／又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントを１つ、２つ、又は３つの軸の周囲で移動できるように構成されてもよい。
【００３０】
幾つかの例において、取得された画像の各々は、環境情報を取得するために処理されてもよい。画像情報とは、ＵＡＶの動作にとって有益なあらゆる情報を指してもよい。例えば、環境情報はＵＡＶの奥行き及び／又は距離情報（例えば、物体までの距離）を含んでいてもよい。他の例として、環境情報は物体情報又はＵＡＶにとっての障害物情報を含んでいてもよい。他の例として、環境情報はＵＡＶの位置、ＵＡＶの向き、ＵＡＶの速度、及び／又はＵＡＶの加速度情報等のＵＡＶ状態情報を含んでいてもよい。他の例として、環境情報は温度、湿度、降水量等の環境に関するその他の情報を含んでいてもよい。幾つかの例において、環境情報とはＵＡＶの挙動に影響を与える情報を指してもよい。例えば、環境情報は位置、高度、向き、速度、加速度の変化等、ＵＡＶの状態を変化させるものであってもよい。幾つかの例において、環境情報とはＵＡＶの挙動の統制のために考慮される情報を指してもよい。ある例として、ＵＡＶに動作的に接続される１つ又は複数のプロセッサは、ナビゲーション、物体検出、障害物回避等のために環境情報を利用してもよい。
【００３１】
幾つかの例において、環境情報を取得するステップは、取得された画像のテクスチャ情報を取得するステップを含んでいてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。例えば、テクスチャ情報は色勾配、エッジ、特徴点、及びオプティカルフローを含んでいてもよく、これらは各種の適当なアルゴリズムを使って得られてもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複及び／又は非重複部分の両方から取得されてもよい。幾つかの例において、テクスチャ情報は、ＵＡＶのための環境情報を取得するための根拠として利用されてもよい。１つの例として、テクスチャ情報（例えば、画像内の色又は輝度）に基づいて、ＵＡＶが動作している環境に関する概観を取得してもよい。例えば、特徴点（例えば、コーナ点）等のテクスチャ情報に基づいて、ＵＡＶが動作している環境内に物体又は障害物があるとの判断を下してもよい。
【００３２】
幾つかの例において、広い視野の画像に含まれるテクスチャ情報は、より狭い視野の画像のデータ品質が環境情報を取得するのに不十分である場合、例えば所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶのための距離又は奥行き情報を取得でき場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶのための状態情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質を判断するための閾値は、環境情報を取得するために使用される方法の違いによって異なる設定とされてもよい。
【００３３】
図１Ａを再び参照すると、画像１０２Ａ、１０４Ａは別々の撮像用コンポーネントによって同時に、又は連続的に取得された画像の例であってもよい。幾つかの例において、画像は異なる視野を含んでいてもよい。例えば、画像１０２Ａはより狭い視野を含んでいてもよい。画像１０４Ａはより広い視野を含んでいてもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像と重複してもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像によって取り囲まれていてもよい。取得された画像は、１つ又は複数のプロセッサによって処理されてもよい。
【００３４】
幾つかの例において、より狭い視野の画像に含まれるデータは、ＵＡＶのための環境情報の取得において利用されてもよい。幾つかの例において、より狭い視野の画像に含まれるデータは、ＵＡＶのための距離情報を取得するために、ＵＡＶに動作的に連続された１つ又は複数のプロセッサによって処理されてもよい。幾つかの例において、画像１０２Ａ及び１０４Ａの重複部分に含まれるデータは、ＵＡＶのための環境情報を取得することにおいて利用されてもよく、これについては後でさらに説明する。
【００３５】
幾つかの例において、より広い視野の画像に含まれるデータは、ＵＡＶのための環境情報を取得するために利用されてもよく、又はそれに貢献してもよい。１つの例として、画像１０２Ａ（又は画像１０２Ａの非重複部分）に含まれるデータは、ＵＡＶのための距離情報の取得において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されなくてもよい。
【００３６】
より広い視野の画像は、ＵＡＶの動作のための有益な情報を含んでいるかもしれない。幾つかの例において、より広い視野の画像は、ＵＡＶのための環境情報を取得するために処理されてもよい。例えば、ＵＡＶに動作的に接続された１つ又は複数のプロセッは、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、より広い視野の画像から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、より狭い視野を有する画像に含まれるデータの処理とともに、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、１つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを選択的に処理してもよい。例えば、より広い視野の画像に含まれるデータは、より狭い視野の画像に含まれるデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値を下回るとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶに関する距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、ＵＡＶに関する状態情報を取得できない場合であってもよい。
【００３７】
図１Ｂを再び参照すると、画像１０２Ｂ、１０４Ｂは、別々の撮像用コンポーネントにより同時に取得された画像の例であってもよい。或いは、画像は、ある時間にわたって１つの撮像用コンポーネントにより取得されたシーケンス画像の例であってもよい。画像１０２Ｂ及び１０４Ｂは、集合的に光景又は視野１０６Ｂを取得してもよい。集合的視野は、各々の画像１０２Ｂ又は１０４Ｂにより取得された１つの光景より大きくてもよい。取得された画像は、１つ又は複数のプロセッサにより処理されてもよい。
【００３８】
幾つかの例において、画像の重複部分に含まれるデータは、ＵＡＶのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分１０８Ｂ及び１１０Ｂに含まれるデータは、ＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されてＵＡＶのための距離情報が取得されてもよい。例えば、ＵＡＶから物体１１６Ｂまでの距離は、画像１０２Ｂ及び１０４Ｂ内の共通の特徴（例えば、物体）間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、画像の重複部分に含まれる特徴であるかもしれない。他の例として、部分１０８Ｂに含まれるデータ又は特徴と画像１０２Ｂ内のその相対的配置を部分１１０Ｂに含まれるデータ又は特徴と画像１０４Ｂ内のその相対的配置を比較することによって、ＵＡＶのための距離情報を取得してもよい。
【００３９】
画像の非重複部分に含まれるデータは、ＵＡＶのための環境情報を取得するために利用されず、又はそれに貢献しなくてもよい。一例として、非重複部分１１２Ｂ及び１１４Ｂに含まれるデータは、ＵＡＶのための距離情報の取得において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサによって処理されなくてもよい。例えば、画像に含まれる特徴又は物体１１８Ｂ、１２０Ｂは、ＵＡＶのための環境情報の取得において利用されなくてもよい。幾つかの例において、物体１１８Ｂ又は１２０Ｂは、ＵＡＶの挙動に影響を与える中で考慮されなくてもよい。
【００４０】
非重複部分は、ＵＡＶの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分はＵＡＶのための環境情報を取得するために処理されてもよい。例えば、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれているデータを処理してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数の実施形態は、非重複部分に含まれるデータを処理して、テクスチャ情報を取得してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して、環境情報を取得してもよい。任意選択により、環境情報は画像の非重複部分から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、１つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分に特定可能な特徴があるか否かに応じて、閾値より低いとされてもよい。幾つかの例において、重複部分内のデータ品質が所定の閾値より低いのは、ＵＡＶのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、ＵＡＶの状態情報を取得できない場合であってもよい。幾つかの場合において、重複部分内のデータ品質が所定の閾値より低いのは、重複部分内の特徴点の数が約２、５、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１２０、１４０、１６０、１８０、２００、２５０、又は３００と等しいか、それより少ない場合であってもよい。
【００４１】
図１Ｃに戻ると、画像１０２Ｃ、１０４Ｃは、撮像用コンポーネントによって連続的に取得された画像の例であってもよい。幾つかの例において、画像のシーケンスは、異なる視野又は、及び／又は異なる光景を含んでいてもよい。幾つかの例において、連続的に取得された画像は重複部分を含んでいてもよい。取得された画像は、１つ又は複数のプロセッサにより処理されてもよい。
【００４２】
幾つかの例において、シーケンス画像の重複部分に含まれるデータは、ＵＡＶのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分に含まれるデータは、ＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されて、ＵＡＶのための距離情報が取得されてもよい。例えば、ＵＡＶから物体までの距離は、シーケンス画像内の共通の特徴（例えば、物体）間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、シーケンス画像の重複部分に含まれている特徴であるかもしれない。
【００４３】
シーケンス画像の非重複部分に含まれるデータは、ＵＡＶのための環境情報の取得に使用されないか、又はそれに貢献しなくてもよい。一例として、シーケンス画像の非重複部分内に含まれるデータは、ＵＡＶのための距離情報の取得においてＵＡＶに動作的に接続された１つ又は複数のプロセッサにより処理されなくてもよい。幾つかの例において、シーケンス画像の非重複部分内の物体は、ＵＡＶの挙動に影響を与える際に考慮されなくてもよい。
【００４４】
非重複部分は、ＵＡＶの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分は、ＵＡＶのための環境情報を取得するために処理されてもよい。例えば、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、画像の非重複部分から得られたテクスチャ情報に基づいて得られてもよい。幾つかの例において、ＵＡＶに動作的に接続された１つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、１つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、ＵＡＶのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、ＵＡＶに関する状態情報を取得できない場合であってもよい。
【００４５】
図２は、実施形態による、環境情報を取得するために使用される例示的システムを示す。システム２００は、光２０２を取り入れて、環境情報２２２を取得してもよい。システムは、１つ又は複数の画像（例えば、デジタル画像）を取得するための各種のコンポーネントを含んでいてもよい。幾つかの例において、各種のコンポーネントが個別又は集合的に、撮像用コンポーネントと呼ばれてもよい。例えば、撮像装置の絞り、レンズ、フィルタ、及び／又はセンサが撮像用コンポーネントと呼ばれてもよい。他の例として、撮像装置が撮像用コンポーネントと呼ばれてもよい。幾つかの例において、撮像用コンポーネントは少なくとも、光を方向付けるように構成されたレンズと、方向付けられた光を取得するための対応するセンサを指してもよい。コンポーネントの各々は同じ場所に位置付けられてもよい。例えば、システムの各コンポーネントは、１つの筐体内、例えば撮像装置の中に格納されてもよい。或いは、コンポーネントは異なる場所に位置付けられてもよい。例えば、システムは、異なる場所に位置付けられて協働する別々の複数の部品を含んでいてもよい。ある例として、システムは協働する２つ又はそれ以上のカメラ及びその他の光学素子を含んでいてもよい。他の例として、コンポーネントのいくつかは撮像装置に搭載されてもよく、その他のコンポーネントはＵＡＶと、及び／又はＵＡＶに搭載されていないコントローラに統合されてもよい。
【００４６】
システムは絞り２０３を含んでいてもよく、そこを通って光が入射してもよい。光は１つの絞りを通って入射してもよい。幾つかの実施形態において、光は、２、３、４、５、又はそれ以上の絞り等の複数の絞りを通って入射してもよい。システムは、１つ又は複数のレンズ２０６を含んでいてもよい。レンズは光ビームをイメージセンサへと方向付けてもよく、これは方向付けられた光ビームを取得する（例えば、画像データを取得する）。幾つかの例において、システムは１つ又は複数のレンズを受けるように構成されたレンズバレルを含んでいてもよい。レンズバレルは、１つ又は複数のレンズを格納していてもよい。幾つかの例において、レンズバレルは、１つ又は複数のレンズ間の距離を調整することによってシステムの焦点距離を調整するために使用されてもよい。任意選択により、ミラー、フィルタ、格子、追加のレンズ、又はダイクロイック等、光をイメージセンサへと方向付けるのを支援してもよいその他の光学素子が提供されてもよい。
【００４７】
各レンズは、対応する焦点距離又は焦点距離範囲を有していてもよい。焦点距離範囲は、範囲の下限と上限内に当てはまる複数の焦点距離を含んでいてもよい。幾つかの例において、焦点距離範囲は１つの焦点距離を含んでいてもよい。１つの焦点距離は、範囲の下限と上限の両方の役割を果たしてもよい。本明細書で使用されるかぎり、焦点距離及び焦点距離範囲は互換的に使用されてよいと理解すべきである。レンズの焦点距離は、レンズがどれだけ強力に光を収束又は発散させるかの尺度であってもよい。光学レンズの焦点距離は、当初コリメートされた光線が焦点に至るまでの距離を指してもよい。
【００４８】
レンズは、焦点レンズでもズームレンズでもよい。焦点レンズは、変化しない１つの焦点距離を有していてもよい。焦点レンズは、移動しない静止レンズを指してもよい。ズームレンズは可変的な焦点距離を有していてよく、焦点距離は複数の焦点距離（例えば、焦点距離範囲）を包含していてもよい。光学ズームレンズは、内部レンズ素子の集合の相対移動によって、焦点距離を変化させてもよい。幾つかの実施形態において、撮像用コンポーネントは、焦点レンズのみを含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントは焦点レンズとズームレンズの両方を含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントはズームレンズのみを含んでいてもよい。
【００４９】
幾つかの例において、焦点レンズの焦点距離は、１ｍｍ、２ｍｍ、４ｍｍ、６ｍｍ、５ｍｍ、６ｍｍ、８ｍｍ、１０ｍｍ、１２ｍｍ、１４ｍｍ、１６ｍｍ、１８ｍｍ、２０ｍｍ、２２ｍｍ、２４ｍｍ、２６ｍｍ、２８ｍｍ、３０ｍｍ、３５ｍｍ、４０ｍｍ、４５ｍｍ、５０ｍｍ、５５ｍｍ、６０ｍｍ、６５ｍｍ、７０ｍｍ、７５ｍｍ、８０ｍｍ、８５ｍｍ、９０ｍｍ、９５ｍｍ、１００ｍｍ、１０５ｍｍ、１１０ｍｍ、１２０ｍｍ、１３０ｍｍ、１４０ｍｍ、１５０ｍｍ、１６０ｍｍ、１７０ｍｍ、１８０ｍｍ、１９０ｍｍ、２００ｍｍ、２２０ｍｍ、２４０ｍｍ、２６０ｍｍ、２８０ｍｍ、３００ｍｍ、３２０ｍｍ、３４０ｍｍ、３６０ｍｍ、３８０ｍｍ、４００ｍｍ、４５０ｍｍ、５００ｍｍ、５５０ｍｍ、６００ｍｍ、６５０ｍｍ、７００ｍｍ、７５０ｍｍ、８００ｍｍ、８５０ｍｍ、９００ｍｍ、９５０ｍｍ、１０００ｍｍ、１１５０ｍｍ、又は１２００ｍｍ未満か、それと等しくてもよい。任意選択により、焦点レンズの適当な焦点距離は、本明細書に記載されている数値の何れより大きいか、それと等しくてもよい。焦点レンズの焦点距離は、本明細書に記載された数値の何れの２つの間の範囲内に当てはまる数値を有していてもよい。
【００５０】
システムは、１つ又は複数のセンサ２０８を含んでいてもよい。レンズにより合焦される光は、本明細書においてイメージセンサとも呼ばれる１つ又は複数のセンサへと方向付けられてもよい。例えば、システムは光子を回収して保存するためのフォトサイトを有する光センサ２１２を含んでいてもよい。光センサはさらに、収集した情報（例えば、光子）をデジタル形式に変換しても（例えば、画像を取得しても）よい。例えば、システムは、取得されるべき画像の正確な焦点を判断するための合焦センサ２１４を含んでいてもよい。例えば、システムは、取得された画像の色のバランスをとるため（例えば、人の視力のそれとマッチさせるか、コンピュータビジョンアプリケーション用に最適化するため）のバランスセンサ（例えば、ホワイトバランスセンサ）２１６を含んでいてもよい。幾つかの例において、１つのイメージセンサ２０８は複数の異なる種類のセンサの機能を含んでいてもよい。例えば、１つのセンサは、光を検出して画像を搬送する形態に変換する（例えば、画像を取得する）ほか、画像の焦点を合わせ、バランス（例えば、ホワイトバランス）をとるために使用されてもよい。
【００５１】
イメージセンサは、レンズから所定の距離だけ離れていてもよい。例えば、イメージセンサからレンズモジュールまでの距離はレンズモジュールの焦点距離に対応していてもよい。幾つかの例において、イメージセンサはレンズモジュール（例えば、ズームレンズ）までの可変的な距離を有していてもよい。イメージセンサは、取得された画像の焦点面が画像センサの平面と同一平面内にあるように位置付けられてもよい。
【００５２】
イメージセンサは、光学情報（例えば、センサ面に衝突する光は光学情報を含んでいるかもしれない）をデジタル情報（例えば、電気信号）に変換するデバイスを指してもよい。光学情報のデジタル情報への変換は、本明細書において、画像（例えば、画像データ）の取得と呼ばれてもよい。イメージセンサは、画像を構成する情報を検出し、搬送してもよい。イメージセンサは、電荷結合素子（ＣＣＤ）型、相補型金属酸化膜半導体（ＣＭＯＳ）型、Ｎ型金属酸化膜半導体（ＮＭＯＳ）型、又は裏面照明ＣＭＯＳ（ＢＳＩ−ＣＭＯＳ）型の何れであってもよい。
【００５３】
幾つかの例において、システムの撮像用コンポーネント（例えば、レンズ、センサ等）は光軸を含んでいてもよい。光軸は、それに沿ってある程度の回転対称性を有する線を指してもよい。光軸は、それに沿って光がレンズを通って伝搬する線により定義されてもよい。光軸は、レンズの中心、又は撮像用コンポーネントを通ってもよい。幾つかの例において、撮像用コンポーネントは、それに関連付けられる視野（ＦＯＶ）を有していてもよい。ＦＯＶとは、世界のうち、撮像システム上で空間内の特定の位置と向きで目に見える部分を指してもよい。画像撮影時にＦＯＶの外側にある物体は、写真に記録されないかもしれない。ＦＯＶはまた、ビューコーンの角の大きさ、すなわち視野角として表現されてもよい。光学モジュールのＦＯＶは、センサの大きさと焦点距離に依存してもよい。図３は、実施形態による光学レンズ３００の視野角を示す。光学レンズの場合、視野角αは、ＦＯＶα＝２  ａｒｃｔａｎ（ｄ／２ｆ）として計算でき、式中、ｄはイメージセンサの大きさ、ｆはレンズの焦点距離である。
【００５４】
一定の大きさのイメージセンサの場合、焦点レンズは一定のＦＯＶを有していてもよく、ＦＯＶは１つのＦＯＶ角度を包含してもよい。一定の大きさのイメージセンサの場合、ズームレンズは可変的なＦＯＶ角度範囲を有していてもよく、ＦＯＶ角度範囲は複数のＦＯＶ角度を包含してもよい。ＦＯＶは、光学モジュールの１つ又は複数のレンズ及び／又はその他の光学素子（例えば、センサ）に依存してもよい。幾つかの例において、焦点レンズのＦＯＶは、１８０°、１７０°、１６９°、１６５°、１６０°、１５５°、１５０°、１４５°、１４０°、１３５°、１３０°、１２５°、１２０°、１１５°、１１０°、１０５°、１００°、９５°、９０°、８５°、８０°、７５°、７０°、６５°、６０°、５５°、５０°、４５°、４０°、３５°、３０°、２５°、２０°、又は１５°未満か、それと等しくてもよい。任意選択により、焦点レンズのＦＯＶは、本明細書に記載されている数値の何れより大きいか、何れと等しくてもよい。焦点レンズのＦＯＶは、本明細書に記載されている数値の何れの２つ間の範囲内に当てはまる数値を有していてもよい。
【００５５】
撮像用コンポーネントは、環境（例えば、撮像システムの付近又は周囲）の画像を取得してもよい。撮像用コンポーネントは継続的に画像を取得してもよい。撮像用コンポーネントは、指定された周期で画像を取得して、ある期間にわたって一連の画像データを生成してもよい。撮像用コンポーネントは、ビデオレートの取得を提供するのに十分に高い周期で画像を取得してもよい。画像は、少なくとも１０Ｈｚ、２０Ｈｚ、３０Ｈｚ、４０Ｈｚ、５０Ｈｚ、６０Ｈｚ、７０Ｈｚ、８０Ｈｚ、９０Ｈｚ、１００Ｈｚ、１２０Ｈｚ、１５０Ｈｚ、２００Ｈｚ、２５０Ｈｚ、又は３００Ｈｚの速度で取得されてもよい。
【００５６】
図２のシステムは任意選択により、通信ユニット２１８及び／又は記憶ユニット２２０を含んでいてもよい。通信ユニットは、外部コンポーネント及び／又はデバイス、例えば携帯電話、タブレット、ＰＣ、リモートコントローラ等の移動デバイスとの通信のために使用されてもよい。通信ユニットは例えば、撮像システムにより取得された画像（例えば、出力）の送信、又は外部コンポーネントもしくはデバイスからの入力（例えば、制御信号）の受信において使用されてもよい。通信ユニットはまた、デジタル信号処理（ＤＳＰ）を介して画像を変形させることにより、（例えばイメージセンサによって）取得された画像を何らかの方法で改良するために使用されてもよい。記憶ユニットは、システムにより取得された画像を一時的又は永久的に保存するために使用されてもよい。
【００５７】
図２のシステムは、プロセッサ２１０をさらに含んでいてもよい。プロセッサは、取得された画像を処理し、及び／又はブラックレベル補正、周辺光量比補正、歪み補正、ホワイトバランス補正、カラークロストーク補正、デモザイク、色補正、グレイスケールマッピング、色空間変換、鮮明化、及びノイズ除去等の画像処理機能を実行してもよい。幾つかの例において、プロセッサは取得された画像を処理して環境情報２２２を取得してもよく、これについて以下でさらに説明する。
【００５８】
プロセッサは、ＵＡＶ又は携帯電話等の移動体に搭載されてもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されてもよい。プロセッサは、撮像装置の筐体の中にあっても、外にあってもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されていなくてもよい。プロセッサは、ジンバル等の支持機構上に提供されてもよく、これについては以下でさらに説明する。或いは、プロセッサは移動体から離れた場所に提供されてもよい。例えば、プロセッサはリモートコントローラ（例えば、セルフォン、ＰＤＡ、その他）、サーバ、地上局（例えば、デスクトップコンピュータ、ラップトップ、充電ステーション等）、又はクラウドベースのインフラストラクチャ上に提供されてもよい。１つ又は複数の光学モジュールからの情報は、無線でプロセッサに送信されてもよい。或いは、撮像用コンポーネントからの情報は物理的接続を介してプロセッサに提供されてもよい。プロセッサ２１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実装されてもよい。本明細書におけるプロセッサに関する説明は何れも、１つ又は複数のプロセッサに当てはまり、これらは個別に又は集合的に、プロセッサに関して説明した何れの機能を実行してもよい。プロセッサは、１つ又は複数のプロセッサを含んでいてもよい。プロセッサは、１つ又は複数のステップを実行するためのコード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体にしたがって１つ又は複数のステップを実行することができてもよい。メモリストレージユニットが提供されてもよく、これは非一時的コンピュータ読取可能媒体を含んでいてもよい。
【００５９】
図４は、実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。構成４０２では、第１の撮像用コンポーネント４０４と、第２の撮像用コンポーネント４０６を有する撮像システムが提供される。撮像用コンポーネント４０４及び４０６は、両者で両眼式撮像システムを提供してもよい。撮像用コンポーネントの各々は、ＵＡＶ等の移動体に動作的に接続されてもよい。例えば、第１及び／又は第２の撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、第１及び／又は第２の撮像用コンポーネントは、ある機構を介して移動体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は並進移動及び／又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、１つ、２つ、又は３つの軸の周囲で撮像用コンポーネントが移動できるように構成されてもよい。
【００６０】
撮像用コンポーネントの各々は光軸を含んでいてもよい。例えば、第１の撮像用コンポーネントは光軸４０５を含んでいてもよく、第２の撮像用コンポーネントは光軸４０７を含んでいてもよい。幾つかの例において、撮像用コンポーネント４０４及び４０６の光軸は、構成４０２に示されているように実質的に平行であってもよい。或いは、撮像用コンポーネントは、それ以外のいずれの方法でも、例えば異なる角度で配置されてよい。例えば、撮像用コンポーネントの光軸は、構成４０８に示されるように、実質的に平行でなくてもよい。撮像用コンポーネントは、水平、垂直、又は代替的な配列で配置されてもよい。撮像用コンポーネントの各々は１つの撮像装置上に位置付けられてよい。或いは、撮像用コンポーネントは異なる撮像装置上に位置付けられてもよい。
【００６１】
撮像用コンポーネントの各々は、視野（ＦＯＶ）を含んでいてもよい。撮像システムの各撮像用コンポーネントは、異なるＦＯＶを有していてもよい。或いは、撮像システムの各撮像用コンポーネントは同一の（例えば、同じ）視野を有していてもよい。幾つかの例において、撮像用コンポーネントの視野は重複していても、又は構成４０２に示されるように部分的に重複していてもよい。撮像用コンポーネントの視野は、重複部分４１０と非重複部分４１２、４１４の両方を含んでいてもよい。第１の撮像用コンポーネントは、例えば第１の撮像用コンポーネントのＦＯＶの第１の画像群を取得してもよい。第２の撮像用コンポーネントは、例えば第２の撮像用コンポーネントのＦＯＶの第２の画像群を取得してもよい。幾つかの例において、第１及び第２の画像群は実質的に同時に取得されてもよい。第１及び第２の画像群は、重複部分と非重複部分を含んでいてもよい。
【００６２】
撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、第１及び第２の画像群の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、１つ又は複数のプロセッサは、第１の撮像用コンポーネント４０４により取得された画像と第２の撮像用コンポーネント４０６により取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサはそれに加えて、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、第１の撮像用コンポーネント及び第２の撮像用コンポーネントにより得られた画像の重複及び／又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供してもよい。例えば、非重複部分から得られたテクスチャ情報は移動体にとっての関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は移動体の挙動に影響を与えるための根拠を提供してもよい。
【００６３】
図５は、実施形態による、テクスチャ情報が移動体にとって有益な情報を提供する例示的構成を示している。構成５０１では、撮像用コンポーネント５０３及び５０５は、ＵＡＶ５０７に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体５０９を含み、非重複部分は物体５０８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。例えば、１つ又は複数のプロセッサは物体５０９までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であってもよい。
【００６４】
幾つかの例において、部分（例えば、画像の重複又は非重複部分）の品質は、その部分内の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴はコンピュータアルゴリズム（例えば、プログラム）により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションのための認識可能な特徴であってもよい。幾つかの例において、部分の品質はその部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質はその部分内の特徴点の数又はオプティカルフローを解析することによって判断されてもよい。
【００６５】
幾つかの例において、画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び／又はオプティカルフローが所定の基準と比較されて、重複部分の品質が十分であるか否かが判断されてもよい。幾つかの例において、重複部分の品質は十分であるかもしれない。例えば、重複部分の中に、ＵＡＶのための環境情報を取得するのに十分な情報又はデータ（例えば、特定可能な特徴、顕著性、その他）があってもよい。
【００６６】
１つ又は複数のプロセッサは、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から取得されてもよく、環境情報は重複部分から得られる。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、ＵＡＶは、第１及び第２の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、ＵＡＶは、第１及び第２の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体５０８に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書中で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【００６７】
任意選択により、１つ又は複数のプロセッサは、重複部分の品質が不十分であるか、又はその品質が所定の基準より低い場合、画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されていてもよい。構成５１１では、撮像用コンポーネント５１３及び５１５はＵＡＶ５１７に動作的に接続されている。撮像用コンポーネントは各々、重複部分と非重複部分を有する画像群を取得する。重複部分は物体を含まず、非重複部分は物体５１８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理して、ＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分に十分な情報（例えば、特定可能な特徴、顕著性、等）がなく、環境情報が取得されないかもしれない。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
【００６８】
重複部分の品質が不十分である場合、１つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって環境情報を取得してもよい。例えば、障害物又は物体５１８に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書の中で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【００６９】
構成５２１では、撮像用コンポーネント５２３及び５２５はＵＡＶ５２７に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体５２９の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分内の情報（例えば、特定可能な特徴、顕著性、その他）が不十分で、環境情報を取得できないかもしれない。例えば、物体５２９は識別可能な特徴を持たない白壁であってもよい。例えば、物体５２９は反復的な特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
【００７０】
１つ又は複数のプロセッサはそれに加えて、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分間ら環境情報を取得できない場合に、第１及び第２の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得してもよい。例えば、障害物又は物体５２９に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、ＵＡＶの動作の中で、又は本明細書中で前述したように、ＵＡＶの挙動に影響を与える中で利用されてもよい。
【００７１】
幾つかの例において、１つ又は複数のプロセッサは第１及び第２の撮像用コンポーネントにより取得された画像の重複部分の品質が不十分である場合に、制御信号を生成するように構成されていてもよい。制御信号は、ＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号はＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低いと、ＵＡＶの移動を停止させる、及び／又はＵＡＶを静止位置でホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低いと、１つ又は複数のプロセッサは、ＵＡＶの（例えばＵＡＶのピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第１及び第２の撮像用コンポーネントにより取得された画像の新たな重複部分が十分な品質となるまで継続されてもよい。
【００７２】
その代わりに、又はそれに加えて、画像の非重複部分から得られたテクスチャ情報及び／又は環境情報に応答して、１つ又は複数のプロセッサは、制御信号を生成するように構成されてもよい。制御信号はＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号はＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの移動を、非重複部分から特定された物体又は障害物を避けるように方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの移動を停止させ、及び又はＵＡＶを静止位置でホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの（例えばＵＡＶのピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第１の撮像用コンポーネントと第２の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるようにすることであってもよい。例えば、構成５１１に関して、ＵＡＶの向きは、第１の撮像用コンポーネントと第２の撮像用コンポーネントにより取得された画像の重複部分が物体５１８を含むように調整されてもよい。
【００７３】
幾つかの例において、制御信号は第１及び／又は第２の撮像用コンポーネントを調整してもよい。図６は、実施形態による、制御信号に応答した撮像用コンポーネントの例示的な調整を示す。例えば、構成６０１に示されているように、画像の重複部分が所定の品質より低い場合に、制御信号が生成されてもよい。その代わりに、又はそれに加えて、取得された画像の非重複部分から得られたテクスチャ情報及び／又は環境情報に基づいて、制御信号が生成されてもよい。幾つかの例において、制御信号は撮像用コンポーネントの位置又は向き等、第１及び／又は第２の撮像用コンポーネントの状態に影響を与えてもよい。幾つかの例において、制御信号は第１及び／又は第２の撮像用コンポーネントの光軸を調整してもよい。幾つかの例において、制御信号は、構成６０３に示されているように、第１及び／又は第２の撮像用コンポーネントの位置を調整してもよい。幾つかの例において、撮像用コンポーネントの位置の調整は、その撮像用コンポーネントが接続されているＵＡＶに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの位置の調整はＵＡＶの位置を変化させることによって行われてもよい。幾つかの例において、構成６０５に示されているように、第１及び／又は第２の撮像用コンポーネントの光学ズームを調整してもよい。幾つかの例において、構成６０７に示されているように、制御信号は第１及び／又は第２の撮像用コンポーネントの向きを調整してもよい。撮像用コンポーネントの向きにおける調整は、その撮像用コンポーネントが接続されているＵＡＶに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの向きの調整はＵＡＶの向きを変化させることによって行われてもよい。幾つかの例において、調整は、第１及び第２の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるまで継続されてもよい。
【００７４】
図７は、実施形態による、移動体により取得された画像の処理方法７００を示す。移動体は、本明細書中で前述したように無人航空機（ＵＡＶ）であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントに動作的に接続されていてもよい。例えば、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントは、移動体に搭載されてもよい。幾つかの例において、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。第１及び第２の撮像用コンポーネントは両眼式撮像システムを形成してもよい。
【００７５】
ステップ７０１で、第１の画像群が第１の撮像用コンポーネントを用いて取得される。第１の撮像用コンポーネントは第１の筐体内に位置付けられていてもよい。幾つかの例において、第１の撮像用コンポーネントは第１の撮像装置上に位置付けられていてもよい。第１の撮像用コンポーネントは第１のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第１の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第１の撮像用コンポーネントは１つ又は複数のセンサを含んでいてもよい。第１の撮像用コンポーネントは第１の視野を有していてもよい。幾つかの例において、第１の撮像用コンポーネントにより取得された第１の画像群は第１の視野を描写する画像群であってもよい。
【００７６】
ステップ７０３で、第２の画像群が第２の撮像用コンポーネントを用いて取得される。幾つかの例において、第２の撮像用コンポーネントは第２の筐体内に位置付けられていてもよい。第２の筐体は第１の筐体と同じであってもよい。或いは、第２の筐体は第１の筐体とは異なっていてもよい。幾つかの例において、第２の撮像用コンポーネントは第２の撮像装置上に位置付けられていてもよい。第２の撮像装置は第１の撮像装置と同じであってもよい。或いは、第２の撮像装置は第１の撮像装置とは異なっていてもよい。
【００７７】
第２の撮像用コンポーネントは第２のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第２の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第２の撮像用コンポーネントは１つ又は複数のセンサを含んでいてもよい。第２の撮像用コンポーネントは第２の視野を有していてもよい。第２の視野は第１の視野と同様の大きさ（例えば、視野角）であってもよい。或いは、第２の視野は第１の視野と異なる大きさであってもよい。幾つかの例において、第２の視野は第１の視野と重複していてもよい。したがって、第１の画像群と第２の画像群は、重複部分と非重複部分を含んでいてもよい。
【００７８】
幾つかの例において、第１の撮像用コンポーネントと第２の撮像用コンポーネントの光軸は実質的に平行であってもよい。或いは、第１及び第２の撮像用コンポーネントの光軸は、他の角度がつけられ、平行でなくてもよい。幾つかの例において、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントの光軸は、相互に関して調整可能であってもよい。したがって、第１の撮像用コンポーネントの光軸は鋭角がつけられ、平行であり、及び／又は鈍角がつけられていてもよい。
【００７９】
幾つかの例において、１つ又は複数のプロセッサが提供されてもよい。１つ又は複数のプロセッサは移動体に搭載されてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサの一部又はすべてが移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられていてもよい。ステップ７０５で、１つ又は複数のプロセッサは個別に又は集合的に、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサはさらに、第１の画像群と第２の画像群の重複部分を解析して移動体に用いる環境情報を取得するように構成されてもよい。任意選択により、１つ又は複数のプロセッサは、第１の画像群と第２の画像群の非重複部分からのテクスチャ情報と重複部分からの環境情報の両方を同時に取得してもよい。
【００８０】
幾つかの例において、第１の画像群と第２の画像群の重複部分の品質が所定の閾値より低い場合、１つ又は複数のプロセッサは、テクスチャ情報（例えば、非重複部分から得られたもの）に基づいて移動体の環境情報を取得するように構成されていてもよい。一例として、テクスチャ情報（例えば、画像内の色又は輝度）に基づいて、ＵＡＶが動作している環境に関する概観が得られてもよい。例えば、テクスチャ情報に基づいて、ＵＡＶが動作している環境内に物体又は障害物があるとの判断が得られてもよい。幾つかの例において、重複部分の品質は画像処理技術を使って解析されてもよい。一例として、１つ又は複数のプロセッサは、画像の重複部分の顕著性又は勾配を解析して品質を判断するように構成されてもよい。他の例として、１つ又は複数のプロセッサは、重複部分内の特徴点の数又はオプティカルフローを解析して品質を判断するように構成されてもよい。
【００８１】
幾つかの例において、重複部分の品質が所定の閾値より低いのは、重複部分に十分な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が所定の閾値より低いのは、その部分から奥行き情報が得られないかもしれない場合であってもよい。本明細書中で前述したように、環境情報は移動体の動作にとって有益な何れの情報を含んでいてもよい。例えば、環境情報は奥行き情報、障害物情報、物体情報、及び／又は移動体に関する状態情報を含んでいてもよい。移動体に関する状態情報は、移動体の位置、向き、速度、又は加速度を含んでいてもよい。任意選択により、ステップ７０７で、１つ又は複数のプロセッサは、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成してもよい。幾つかの例において、制御信号は、第１及び第２の画像群の重複部分の品質が所定の閾値より低い場合に生成されてもよい。その代わりに、又はそれに加えて、制御信号はステップ７０５で得られたテクスチャ情報に基づいて生成されてもよい。幾つかの例において、制御信号はテクスチャ情報から得られた環境情報に基づいて生成されてもよい。例えば、実質的に前述したように、制御信号は物体又は障害物の存在に基づいて生成されてもよい。幾つかの例において、制御信号は、非重複部分に物体又は障害物が存在すると判断された場合に生成されてもよい。調整は、第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントの光軸における調整であってもよい。例えば、制御信号は画像の非重複部分から得られたテクスチャ情報及び／又は環境情報に基づいて移動体の調整を行うための命令を提供してもよい。移動体の調整は、移動体の状態における調整であってもよい。例えば、調整は移動体の位置、向き、速度、及び／又は加速度における調整であってもよい。幾つかの例において、調整は、移動体の、そのピッチ、ヨー、又はロール軸に対する向きの調整であってもよい。移動体の調整の結果として、移動体に接続された撮像用コンポーネントの光軸が相応に調整されてもよい。
【００８２】
幾つかの例において、第１及び第２の撮像用コンポーネントの調整は、第１の視野と第２の視野の新しい重複部分が、第１の画像群と第２の画像群の以前の非重複部分の少なくとも一部を包含するように構成されてもよい。幾つかの例において、第１及び／又は第２の撮像用コンポーネントの調整は、第１の視野と第２の視野の新しい重複部分が以前の重複部分とは異なる大きさになるように構成されてもよい。例えば、例えば図６の構成６０７に示されているように、第１及び第２の撮像用コンポーネントの光軸は相互に関してもよく、それによって重複部分の大きさが変化する。幾つかの例において、１つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び生成ステップは、少なくとも６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに繰り返されてもよい。
【００８３】
幾つかの例において、方法７００を実行するためのシステムが提供されてもよい。システムは１つ又は複数のプロセッサを含んでいてもよく、これは、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントにより取得され、テスクチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
【００８４】
幾つかの例において、方法７００を実行するための装置が提供されてもよい。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含んでいてもよい。
【００８５】
幾つかの例において、方法７００を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野と重複する第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントを調整するための制御信号を生成するためのコード、ロジック、又は命令を含んでいてもよい。
【００８６】
図８は、実施形態による、環境情報を取得するために使用される移動型撮像システムを示している。構成８０２では、撮像用コンポーネント８０４を有する撮像システムが提供される。撮像用コンポーネントは、単眼式撮像システムを提供してもよい。幾つかの例において、撮像用コンポーネントは、実質的に前述した両眼式撮像システムの一部であってもよい。或いは、撮像用コンポーネントは両眼式撮像システムを含んでいてもよい。撮像用コンポーネントは、ＵＡＶ等の移動体に動作的に接続されてもよい。例えば、撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介して移動物体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は、並進移動及び／又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントが１つ、２つ、又は３つの軸の周囲で移動できるように構成されてもよい。
【００８７】
撮像用コンポーネントは、ある期間にわたって調整されてもよい。幾つかの例において、調整は、撮像用コンポーネントの視野を変化させてもよい。例えば、構成８０２では、撮像用コンポーネントの視野がＦＯＶ８０６からＦＯＶ８０８へと変化する。幾つかの例において、視野の変化は撮像用コンポーネントの光軸及び／又は位置の調整によるものであってもよい。例えば、撮像用コンポーネントの光軸は、構成８０２に示されるように並進移動されてもよい。他の例として、撮像用コンポーネントの光軸は構成８２０に示されるように回転移動されてもよい。幾つかの例において、撮像用コンポーネントの光軸の調整は、撮像用コンポーネントが接続されている移動物体が調整されているときに行われてもよい。例えば、移動体が位置及び／又は向きにおいて変化されると、撮像用コンポーネントも、それに対応して位置及び／又は向きが変化してもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの光軸の調整は移動体の調整とは独立して行われてもよい。例えば、機構は、撮像用コンポーネントを、それが接続されている移動体に対して移動させるように構成されてもよい。撮像用コンポーネントの移動体に対する移動は、並進移動及び／又は回転移動であってもよい。幾つかの例において、機構は、撮像用コンポーネントを１つ、２つ、又は３つの軸に対して移動できるジンバルであってもよい。その代わりに、又はそれに加えて、視野の変化は撮像用コンポーネントの構成における調整によるものであってもよい。例えば、撮像用コンポーネントのズームレベルは、例えば光学ズーミングシステムのレンズを相対移動させることよって調整されてもよい。
【００８８】
幾つかの例において、撮像用コンポーネントは、ある領域をスキャンするように構成されていてもよい。領域は、撮像用コンポーネントの視野の大きさより大きくてもよい。領域のスキャンによって、撮像用コンポーネント及び／又は１つ又は複数のプロセッサは動作中により多くのテクスチャ情報及び／又は環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントは、ある領域を周期的にスキャンするように構成されてもよい。ある領域の周期的なスキャンは、撮像用コンポーネントの所定の移動を通じて実行されてもよい。幾つかの例において、撮像用コンポーネントの所定の移動は、撮像用コンポーネントに接続された移動体の所定の移動の結果として行われてもよい。例えば、移動体のホバリング中に、これは、そのロール、ピッチ、又はヨー軸の周囲でその向きを調整することによってある領域をスキャンしてもよい。例えば、移動体の移動中に、これは、そのロール、ピッチ、又はヨー軸の周囲のその向きを調整することによってある領域をスキャンしてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの所定の移動は移動体に対するものであってもよい。例えば、ある機構によって、撮像用コンポーネントは移動体に関して所定の通りに移動できるかもしれない。この機構は、移動体の周囲で撮像用コンポーネントを並進移動させることのできる並進又は回転機構であってもよい。この機構は、移動体の周囲で撮像用コンポーネントを回転移動させることのできる回転機構であってもよい。幾つかの例において、この機構は、撮像用コンポーネントが１つ、２つ、又は３つの軸の周囲で移動できるようなジンバルであってもよい。
【００８９】
幾つかの例において、所定の移動は、構成８０２に示されるように、撮像用コンポーネントの並進移動であってもよい。その代わりに、又はそれに加えて、所定の移動は、構成８２０に示されるように、撮像用コンポーネントの回転移動であってもよい。幾つかの例において、所定の移動は撮像用コンポーネントの並進及び回転移動を含んでいてもよい。幾つかの例において、撮像用コンポーネントは、約３０秒、２０秒、１０秒、５秒、３秒、２秒、１秒、又は０．５秒ごとに、又はそれ未満で領域をスキャンするように構成されてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約２°、５°、１０°、１５°、２０°、３０°、４５°、６０°、７５°、９０°、又はそれ以上ずつ変化させてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約０．５ｃｍ、１ｃｍ、２ｃｍ、３ｃｍ、５ｃｍ、１０ｃｍ、２０ｃｍ、又はそれ以上ずつ変化させてもよい。
【００９０】
撮像用コンポーネントは画像のシーケンス、例えばある期間にわたり撮像用コンポーネントのＦＯＶの画像を取得してもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントによるある領域のスキャン中に取得されてもよい。シーケンス画像は、２つ又はそれ以上の画像を含んでいてもよい。幾つかの例において、シーケンス画像は、前述のように、光軸が異なる向き及び／又は位置にあるときに取得されてもよい。例えば、撮像用コンポーネントは、当初時刻（ｔ１）で第１の画像８１０を取得してもよい。続いて、撮像用コンポーネントは、その位置を変化させてから、次の時刻（ｔ２）で第２の画像８１２を取得してもよい。他の例として、撮像用コンポーネントは、当初時刻（ｔ１）で第１の画像８１４を取得してもよい。続いて、撮像用コンポーネントは、構成８２０に示されるように、その向きを変えてから次の時刻（ｔ２）で第２の画像８１６を取得してもよい。シーケンス画像は、図８０２及び８２０に示されるように、重複するか、又は部分的に重複していてもよい。幾つかの例において、シーケンス画像は重複部分及び非重複部分を含んでいてもよい。
【００９１】
撮像用コンポーネントと動作的に接続された１つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、シーケンス画像の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、１つ又は複数のプロセッサは、連続的に取得された画像、例えばｔ１で取得された画像とｔ２で取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像内の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより得られたシーケンス画像の重複部分及び／又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、シーケンス画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供するかもしれない。例えば、非重複部分の中のテクスチャ情報は、移動体委にとって関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は、移動体の挙動に影響を与える根拠を提供してもよい。
【００９２】
図９は、実施形態による、テクスチャ情報を移動体に関して取得する例示的な構成を示している。構成９０１では、撮像用コンポーネント９０３がＵＡＶ９０５に動作的に接続されている。撮像用コンポーネントは、異なる視野のシーケンス画像を取得してもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を含んでいてもよい。例えば、撮像用コンポーネント９０３は、第１の時刻（ｔ１）、第２の時刻（ｔ２）及び第３の時刻（ｔ３）で、異なる視野の３つの画像のシーケンスを取得してもよい。重複部分は物体９０７を含み、非重複部分は物体９０８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、シーケンス画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。例えば、１つ又は複数のプロセッサはシーケンス画像の重複部分に含まれるデータを処理することによって物体９０７の距離を判断してもよい。これは、シーケンス画像の重複部分の品質が十分である場合に可能であるかもしれない。
【００９３】
幾つかの例において、部分（例えば、画像の重複又は非重複部分）の品質は、その部分の中の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は、その部分の中の特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、コンピュータアルゴリズム（例えば、プログラム）により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションにとって認識可能な特徴であってもよい。幾つかの例において、その部分の品質は、その部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質は、その部分の中のオプティカルフローに関する特徴点の数又は情報を解析することによって判断されてもよい。例えば、画像の部分の品質が十分であるのは、その部分の中の特徴点の数が約１、２、５、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１２０、１４０、１６０、１８０、２００、２５０、又は３００と等しいか、それより大きい場合であってもよい。
【００９４】
幾つかの例において、シーケンス画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び／又はオプティカルフローを所定の基準と比較して、重複部分の品質が十分か否かを判断してもよい。幾つかの例において、重複部分の品質は十分でないかもしれない。例えば、重複部分に、ＵＡＶのための環境情報を取得するのに十分な情報又はデータ（例えば、特定可能な特徴、顕著性、その他）があるかもしれない。
【００９５】
１つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から得られてもよく、環境情報は重複部分から得られる。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、ＵＡＶはより大量の環境情報を取得できるかもしれない。例えば、障害物又は物体９０８に関する情報は、画像の非重複部分を処理することによって取得されたテクスチャ情報に基づいて取得されてもよい。環境情報は、ＵＡＶの動作において、又は本明細書で前述したように、ＵＡＶの挙動に影響を与える中でさらに利用されてもよい。
【００９６】
任意選択により、１つ又は複数のプロセッサは、重複部分の品質が不十分であるか、その品質が所定の基準より低い場合に、シーケンス画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されてもよい。構成９１１では、撮像用コンポーネント９１３はＵＡＶ９１５に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分に物体は含まれず、非重複部分は物体９１８を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。例えば、重複部分の中の情報（例えば、特定可能な特徴、顕著性、その他）が不十分であり、環境情報が得られないかもしれない。シーケンス画像の重複部分の品質は不十分であるかもしれない。
【００９７】
重複部分の品質が不十分であると、１つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び／又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報はＵＡＶのための環境情報を提供する根拠として利用されてもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得することができるかもしれない。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントによって取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、環境情報を取得してもよい。例えば、障害物又は物体９１８に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【００９８】
構成９２１では、撮像用コンポーネント９２３はＵＡＶ９２５に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分は物体９２８の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理してＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分の中の情報（例えば、特定可能な特徴、顕著性その他）が不十分で、環境情報が得られないかもしれない。例えば、物体９２８は、識別可能な特徴を持たない白壁であってもよい。例えば、物体９２８は反復的特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
【００９９】
１つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、ＵＡＶのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、ＵＡＶは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体９２８に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。
【０１００】
幾つかの例において、１つ又は複数のプロセッサは、撮像用コンポーネントにより取得されたシーケンス画像の重複部分の品質が不十分である場合に制御信号を生成するように構成されてもよい。制御信号はＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号は、ＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低い場合、ＵＡＶの移動を停止させる、及び／又はＵＡＶを静止位置にホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低い場合、１つ又は複数のプロセッサは、ＵＡＶの（例えば、ＵＡＶのピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新しい重複部分の品質が十分になるまで継続されてもよい。幾つかの例において、画像の重複部分が所定の品質より低い場合、１つ又は複数のプロセッサは、実質的に前述のように、ある領域をスキャンするための制御信号を生成してもよい。
【０１０１】
その代わりに、又はそれに加えて、シーケンス画像の非重複部分から得かられたテクスチャ情報及び／又は環境情報に応答して、１つ又は複数のプロセッサは、制御信号を生成するように構成されていてもよい。制御信号は、ＵＡＶの挙動に影響を与えてもよい。幾つかの例において、制御信号は、ＵＡＶの位置又は向き等のＵＡＶの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、非重複部分から特定された物体又は障害物を回避するようにＵＡＶの移動を方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの移動を停止させ、及び／又はＵＡＶを静止位置にホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得かられたテクスチャ情報及び／又は障害物情報に応答して、１つ又は複数のプロセッサは、ＵＡＶの（例えば、ピッチ、ヨー、又はロール軸に関する）向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新たな重複部分が十分な品質又は所定の閾値より高い品質となるようにするものであってもよい。例えば、構成９１１に関して、調整は、ＵＡＶの向きの調整後、撮像用コンポーネントが物体９１８を含む領域をスキャンし、撮像用コンポーネントにより取得されるシーケンス画像の重複部分にその物体が含まれるようにするものであってもよい。
【０１０２】
図１０は、実施形態による、移動体により取得された画像の処理方法１０００を示す。移動体は、本明細書中で前出したように、無人航空機（ＵＡＶ）であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
【０１０３】
ステップ１００１で、撮像用コンポーネントを用いてシーケンス画像が取得される。撮像用コンポーネントは、筐体内にあってもよい。幾つかの例において、撮像用コンポーネントは撮像装置上に位置付けられていてもよい。撮像用コンポーネントはレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、撮像用コンポーネントは１つ又は複数のセンサを含んでいてもよい。撮像用コンポーネントは視野を有していてもよい。シーケンス画像は、２つ又はそれ以の画像を含んでいてもよい。幾つかの例において、シーケンス画像は異なる視野を含んでいてもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を有する２つ又はそれ以上の画像を含んでいてもよい。
【０１０４】
幾つかの例において、シーケンス画像は、移動体の移動中、例えば前方移動中、後方移動中、その他の間に取得されてもよい。その代わりに、又はそれに加えて、シーケンス画像は移動体が実質的に静止している間に取得されてもよい。例えば、移動体は、ホバリングしているが、そのピッチ、ヨー、又はロール軸の周囲で回転していてもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントの光軸を移動体に対して連続的に調整することによって取得されてもよい。
【０１０５】
幾つかの例において、撮像用コンポーネントの光軸を調整するための機構が提供されてもよい。幾つかの例において、この機構により、撮像用コンポーネントはその視野より大きい領域をスキャンすることができるかもしれない。任意選択により、撮像用コンポーネントはその機構を用いて約６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに領域をスキャンするように構成されていてもよい。幾つかの例において、撮像用コンポーネントの光軸は、スキャン中に約２°、５°、１０°、１５°、２０°、３０°、４５°、６０°、７５°、９０°、又はそれ以上ずつ変化されてもよい。
【０１０６】
機構は、移動体の移動に合わせて撮像用コンポーネントの光軸を移動させてもよい。例えば、機構は、移動体に搭載された、移動体の移動を可能にする推進機構であってもよい。幾つかの例において、機構は、撮像用コンポーネントの光軸を移動可能物体に対して移動させてもよい。例えば、機構は、撮像用コンポーネントを移動体に対して移動させることのできる並進又回転機構であってもよい。例えば、機構は、撮像用コンポーネントを１つ、２つ、又は３つの軸の周囲で回転させることのできるジンバルであってもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のヨー軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のロール軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のピッチ軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体の外面の周囲で移動させることができてもよい。
【０１０７】
幾つかの例において、１つ又は複数のプロセッサが提供されてもよい。１つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えと、１つ又は複数のプロセッサの一部又は全部は移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられてもよい。１つ又は複数のプロセッサは、ステップ１００３で、個別に、又は集合的にシーケンス画像の非重複部分を処理して、テクスチャ情報を取得してもよい。
【０１０８】
ステップ１００５で、１つ又は複数のプロセッサはテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。環境情報は、実質的に前述したものであってもよく、例えば移動体の動作に有益な情報であってもよい。幾つかの例において、環境情報は奥行き情報を含む。幾つかの例において、環境情報は障害物情報又は移動体の状態情報を含む。
【０１０９】
任意選択により、１つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び／又は向きを制御すための制御信号を生成するように構成されていてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び／又は向きを取得した環境情報に基づいて制御するための制御信号を生成するように構成されていてもよい。幾つかの例において、１つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに繰り返されてもよい。
【０１１０】
幾つかの例において、方法１０００を実行するためのシステムが提供されてもよい。システムは、１つ又は複数のプロセッサを含んでいてもよく、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別にまた集合的に構成される。
【０１１１】
幾つかの例において、方法１０００を実行するための装置が提供されてもよい。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体のための地環境情報を取得するように個別に又は集合的に構成された１つ又は複数のプロセッサと、を含んでいてもよい。
【０１１２】
幾つかの例において、方法１０００を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、１つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するためのコード、ロジック、又は命令を含んでいてもよい。
【０１１３】
上述の方法及びシステムは、個別に、又は相互に集合的に利用されてもよい。幾つかの例において、両眼式撮像システムは単眼式撮像システムと併用されてもよい。幾つかの例において、単眼式撮像システムは両眼式撮像システムを補助するものであってもよい。例えば、両眼式撮像システムは、第１の撮像用コンポーネントと第２の撮像用コンポーネントを含んでいてもよい。２つの撮像用コンポーネントにより取得された画像の重複部分が処理されて、ＵＡＶのための環境情報が判断されてもよい。さらに、第１の撮像用コンポーネントと第２の撮像用コンポーネントの各々は、単眼式撮像システムを提供してもよい。第１の撮像用コンポーネント及び／又は第２の撮像用コンポーネントにより取得されたシーケンス画像の重複部分が処理されて、ＵＡＶのための環境情報が判断されてもよい。これは、例えばデータ品質が不十分であるか、所定の閾値より低い場合に、両眼式撮像システムが環境情報を取得する代わりに行われてもよい。したがって、撮像用コンポーネントは、両眼式撮像システム及び単眼式撮像システムにおいて、環境情報を有効に取得するために選択的に利用されてもよい。例えば、狭い視野の両眼式撮像システムを利用して環境情報を取得してもよく、歪みがより大きいかもしれない広い視野の単眼式撮像システムは、それが有利なときあるいは必要なときに、環境情報を取得するために選択的に利用されてもよい。
【０１１４】
図１１は、実施形態による、環境情報を選択的に取得する撮像システムを示す。異なる視野を有する撮像用コンポーネントを含む撮像システムが図１１に示されているが、これは限定的な意味ではない。例えば、両眼式撮像システム又は単眼式撮像システムの選択的な利用は、２つ又はそれ以上の撮像用コンポーネントを有する何れの撮像システムにも応用されてよい。撮像システムは、第１の撮像用コンポーネント１１０１を含んでいてもよい。第１の撮像用コンポーネントは第１の視野を有していてもよい。幾つかの例において、第１の視野は約１８０°、１７０°、１６９°、１６５°、１６０°、１５５°、１５０°、１４５°、１４０°、１３５°、１３０°、１２５°、１２０°、１１５°、１１０°、１０５°、１００°、９５°、９０°、８５°、８０°、７５°、７０°、６５°、６０°、５５°、５０°、４５°、４０°、３５°、又は３０°より小さいか、それと等しくてもよい。撮像システムは第２の撮像用コンポーネント１１０３を含んでいてもよい。第２の撮像用コンポーネントは第２の視野を有していてもよい。幾つかの例において、第２の視野は約１８０°、１７０°、１６９°、１６５°、１６０°、１５５°、１５０°、１４５°、１４０°、１３５°、１３０°、１２５°、１２０°、１１５°、１１０°、１０５°、１００°、９５°、９０°、８５°、８０°、７５°、７０°、６５°、６０°、５５°、５０°、４５°、４０°、３５°、又は３０°より小さいか、それと等しくてもよい。第２の視野は第１の視野より小さくてもよい。第２の視野は、幾つかの例において、第１の視野より狭くてもよい。
【０１１５】
幾つかの例において、第２の視野は、例えば図１１に示されているように、第１の視野により包含されていてもよい。別の例において、第２の視野は第１の視野と部分的に重複していてもよい。任意選択により、第２の視野は第１の視野と重複しなくてもよい。幾つかの例において、第１及び第２の撮像用コンポーネントは、相互に関して調整されてもよい。例えば、第１及び第２の撮像用コンポーネントは、相互に関して並進及び／又は回転可能であってもよい。幾つかの例において、撮像用コンポーネント１１０１及び１１０３は各々、単眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。或いは、撮像用コンポーネント１１０１及び１１０３は各々、両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。ある例として、撮像用コンポーネント１１０３は、両眼式撮像システムを含み、重複する画像群を（例えば、実質的に同時に）取得してもよい。幾つかの例において、撮像用コンポーネント１１０１及び１１０３は、両者で両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。
【０１１６】
撮像用コンポーネントの各々は、ＵＡＶ等の移動体に動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に組み込まれても。その代わりに、又はそれに加えて、撮像用コンポーネントは、実質的に前述したように、ある機構を介して可動式物体に接続されてもよい。
【０１１７】
撮像用コンポーネントは各々、画像群を取得してもよい。例えば、第１の撮像用コンポーネントは、第１の画像群１１０５を取得してもよく、第２の撮像用コンポーネントは第２の画像群１１０７を取得してもよい。幾つかの例において、第１及び第２の画像群の各々は、単眼式撮像システムを用いて異なる時点で取得された画像を含んでいてもよい。幾つかの例において、第１の画像群と第２の画像群は、実質的に同時に取得されてもよい。第１の画像群及び／又は第２の画像群は各々、ある期間にわたって取得されたシーケンス画像であってもよい。幾つかの例において、第２の画像群は環境情報を取得するのにより適しているかもしれない。幾つかの例において、第１の画像群は、第２の画像群と比較して、画像エッジにおける精度がより低いかもしれない。幾つかの例において、第１及び／又は第２の画像群の何れかが両眼式撮像システムを用いて取得された重複する画像群を含んでいてもよい。
【０１１８】
撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、環境情報を取得するように構成されていてもよい。幾つかの例において、１つ又は複数のプロセッサは、実質的に両眼式撮像システムに関して上述したように、第１及び第２の画像群の両方に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、１つ又は複数のプロセッサは、第１の画像群と第２の画像群に含まれるデータ間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第１の画像群（例えばシーケンス画像）に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、１つ又は複数のプロセッサは、第１の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第２の画像群（例えば、シーケンス画像）に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、１つ又は複数のプロセッサは、第２の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、１つ又は複数のプロセッサは、両眼式撮像システムに関して説明したように、第２の画像群に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、撮像用コンポーネント１１０３は両眼式撮像システムを提供してもよく、第２の画像群は、それ自体で重複する画像群を含んでいてもよい。
【０１１９】
図１２は、実施形態による、異なる撮像システムが利用される例示的な構成を示している。構成１２０１では、撮像用コンポーネント１２０３、１２０５を含む撮像システムが、撮像用コンポーネント１２０５を含む撮像システムにより補助されている。撮像用コンポーネントの各々は、単眼式撮像システム及び／又は両眼式撮像システムを提供するか、又はその一部として使用されてもよい。撮像用コンポーネントは各々、画像群（例えば、シーケンス画像）を取得する。実質的に同時に取得された画像群は重複部分を含んでいてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分を含んでいなくてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は物体１２０７を含み、非重複部分は物体１２０９を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理して、ＵＡＶのための環境情報を取得してもよい。例えば、１つ又は複数のプロセッサは、物体１２０７までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であるかもしれない。１つ又は複数のプロセッサはさらに、撮像用コンポーネント１２０５により取得されたシーケンス画像の重複部分を処理して、例えば単眼式システムに関してＵＡＶのための環境情報を取得するように構成されていてもよい。
【０１２０】
幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、ＵＡＶは、より正確及び／又は精密な環境情報を取得できるかもしれない。幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、ＵＡＶはより多くの環境情報を取得してもよい。例えば、障害物又は物体１２０９に関する情報（例えば、物体１２０９までの距離）に関する情報は、広い視野を有する単眼式撮像システムに基づいて取得されてもよく、障害物又は物体１２０７に関する情報（例えば、物体１２０７までの距離）は両眼式撮像システムに基づいて取得されてもよい。両眼式撮像システムは、ＵＡＶの正確で精密な情報を提供してもよく、広い視野を有する単眼式撮像システムは、補助的な環境情報を提供してもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書中で前述したようにＵＡＶの挙動に影響を与える中で利用されてもよい。任意選択により、１つ又は複数のプロセッサは、両眼式撮像システムに環境情報を取得するのに問題がある場合に、単眼式撮像システムからの環境情報を取得するように構成されてもよい。構成１２１１では、撮像用コンポーネント１２１３、１２１５を含む両眼式撮像が、撮像用コンポーネント１２１５を含む単眼式撮像システムにより補助されている。撮像用コンポーネントは各々、画像群（例えばシーケンス画像）を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は、物体を含まず、非重複部分は物体１２１９を含む。撮像用コンポーネントに動作的に接続された１つ又は複数のプロセッサは、画像の重複部分を処理して、ＵＡＶのための環境情報を取得してもよい。しかしながら、１つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分の中の情報（例えば、特定可能な特徴、顕著性、その他）が不十分であり、環境情報が取得されないかもしれない。
【０１２１】
重複部分の品質が不十分である場合、１つ又は複数のプロセッサは、例えば単眼式撮像システムに関して、撮像用コンポーネント１２１５により取得されたシーケンス画像重複部分を処理し、ＵＡＶのための環境情報を取得するように構成されていてもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内に特定可能な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内にわずかな特定可能な特徴しかない場合であってもよい。幾つかの例において、重複部分のデータ品質の品質が不十分であるのは、ＵＡＶに関する距離又は奥行き情報が取得できない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、速度又は位置情報等のＵＡＶに関する状態情報が取得できない場合であってもよい。それの品質が不十分であるのは、重複部分内の特徴点の数が２、５、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１２０、１４０、１６０、１８０、２００、２５０、又は３００と等しいかこれより少ない場合である。
【０１２２】
幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、ＵＡＶは、より正確又は精密な環境情報を取得できるもかもしれない。幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、ＵＡＶは、より多くの環境情報を取得できるもかもしれない。例えば、障害物又は物体１２１９に関する情報（例えば、物体１２１９までの距離）は、両眼式撮像システムが環境情報を取得できない場合に、広い視野の単眼式撮像システムに基づいて取得されてもよい。環境情報はさらに、ＵＡＶの動作において、又は本明細書中で前述したように、ＵＡＶの挙動に影響を与える中で利用されてもよい。
【０１２３】
構成１２２１では、撮像用コンポーネント１２２３、１２２５を含む両眼式撮像システムは、撮像用コンポーネント１２２５を含む単眼式撮像システムによって補助される。撮像用コンポーネントは各々、画像群（例えば、シーケンス画像）を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分はある物体の、特定可能な特徴を持たない部分を含み、非重複部分はその物体の、特定可能な特徴を有する部分を含む。したがって、実質的に構成１２１１に関して説明したように、単眼式撮像システムは両眼式撮像システムの補助及び／又は代替として使用されてもよい。
【０１２４】
図１３は、実施形態による、移動体により取得された画像の処理方法を示す。移動体は、本明細書で前述したように無人航空機（ＵＡＶ）であってもよい。或いは、移動体は、他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されていてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
【０１２５】
ステップ１３０１で、第１の撮像用コンポーネントを用いて第１の画像群が取得される。第１の撮像用コンポーネントは第１のレンズシステムを含んでいてもよい。第１の撮像用コンポーネントは、撮像装置上に位置付けられていてもよい。第１の撮像用コンポーネントは、移動体に搭載されていてもよい。幾つかの例において、第１の画像群はシーケンス画像を含んでいてもよい。第１の撮像用コンポーネントは第１の視野を有していてもよい。幾つかの例において、第１の視野は約９０°〜１８０°の間の視線角を有していてもよい。
【０１２６】
ステップ１３０３で、第２の撮像用コンポーネントを用いて第２の画像群が取得される。第２の撮像用コンポーネントは第２のレンズシステムを含んでいてもよい。第２の撮像用コンポーネントは撮像装置上に位置付けられてもよい。幾つかの例において、第２の撮像用コンポーネントは、第１の撮像用コンポーネントとは異なる撮像装置上に位置付けられていてもよい。或いは、第２の撮像用コンポーネントは、第１の撮像用コンポーネントと同じ撮像装置上に位置付けられていてもよい。第２の撮像用コンポーネントは移動体に搭載されていてもよい。第２の撮像用コンポーネントは第２の視野を有していてもよい。第２の視野は、幾つかの例において、第１の視野より狭くてもよい。幾つかの例において、第１の視野と第２の視野は重複していてもよい。幾つかの例において、第２の視野は第１の視野により包含されてもよい。幾つかの例において、第２の視野は約５０°〜８０°の間の視野角を有していてもよい。第１の撮像用コンポーネントと第２の撮像用コンポーネントの各々は、単眼式レンズシステムを含んでいてもよい。
【０１２７】
幾つかの例において、１つ又は複数のプロセッサが提供されてもよい。１つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサの一部又は全部が移動体に搭載されていなくてもよい。例えば、プロセッサの一部は移動体に動作的に接続されたリモートコントローラ又は移動デバイスに位置付けられてもよい。１つ又は複数のプロセッサは個別に、又は集合的に、ステップ１３０５で第１の画像群を処理し、テクスチャ情報を取得してもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複部分及び／又は非重複部分の両方から得られてもよい。幾つかの例において、１つ又は複数のプロセッサは、第２の画像の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得してもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサは、第２の画像群の品質が所定の閾値より高い場合に、第２の画像群を処理して移動体に用いる環境情報を取得するように構成されてもよい。１つ又は複数のプロセッサは、第２の画像群の画像の顕著性又は勾配を解析することにより、第２の画像群の品質を判断するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、第２の画像群内の特徴点の数又はオプティカルフローを解析することにより、第２の画像群の品質を判断するように構成されてもよい。
【０１２８】
ステップ１３０７で、１つ又は複数のプロセッサは、ステップ１３０５で得られたテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。幾つかの例において、環境情報は奥行き情報を含む。その代わりに、又はそれに加えて、環境情報は移動体の障害物情報又は状態情報を含む。幾つかの例において、１つ又は複数のプロセッサは、第２の画像の品質が所定の閾値より高い場合には、移動体に用いる環境情報を取得するために第１の画像群の一部を処理しないように構成されてもよい。
【０１２９】
任意選択により、１つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び／又は向きを制御するための制御信号を生成するように構成されてもよい。その代わりに、又はそれに加えて、１つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び／又は向きを、取得した環境情報に基づいて制御するための制御信号を生成するように構成されてもよい。幾つかの例において、１つ又は複数のプロセッサは、第２の画像の品質が所定の閾値より低い場合に、第２の撮像用コンポーネントの光軸を調整するための制御信号を生成するように構成されてもよい。制御信号は、第１の画像群のテクスチャ情報に依存してもよい。
【０１３０】
幾つかの例において、１つ又は複数のプロセッサは、移動体の飛行中に処理及び取得ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも６０秒、３０秒、１０秒、５秒、４秒、３秒、２秒、１秒、０．５秒、０．３秒、０．１秒、０．０５秒、又は０．０１秒ごとに繰り返されてもよい。
【０１３１】
幾つかの例において、方法１３００を実行するためのシステムが提供されてもよい。システムは、１つ又は複数のプロセッサを含んでいてもよく、これは、第２の画像群の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得し、第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、第２の画像群は第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
【０１３２】
幾つかの例において、方法１３００を実行するための装置が提供されてもよい。装置は、第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得するように構成された第１の撮像用コンポーネントと、第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得するように構成された第２の撮像用コンポーネントと、第２の画像群の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又はまとめて構成された１つ又は複数のプロセッサと、を含んでいてもよい。
【０１３３】
幾つかの例において、方法１３００を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第１の撮像用コンポーネントを用いて第１の画像群を取得し、第１の撮像用コンポーネントは第１の視野を有し、第２の撮像用コンポーネントを用いて第２の画像群を取得し、第２の撮像用コンポーネントは第１の視野より狭い第２の視野を有し、１つ又は複数のプロセッサを個別に又は集合的に用いて、第２の画像群の品質が所定の閾値より低い場合に、第１の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含んでいてもよい。
【０１３４】
本明細書に記載されたシステム、デバイス、及び方法は、移動体及び静止物体を含めた様々な物体に応用できる。前述のように、本明細書におけるＵＡＶ等の航空機に関する説明は何れの移動体にも当てはまり、そのために使用されてもよい。本明細書における航空機に関する説明はすべて、ＵＡＶに特に応用されてもよい。本発明の移動体は、何れの適当な環境内で移動するようにも構成でき、例えば空中（例えば、固定翼航空機、回転翼航空機、又は固定翼も回転翼も持たない航空機）、水中（例えば、船舶又は潜水艦）、地上（例えば、乗用車、トラック、バス、バン、オートバイ、自転車等の自動車、ステッキ、釣竿等の移動可能な構造若しくは支持体、又は列車）、地下（例えば、地下鉄）、宇宙（例えば、宇宙飛行機、人工衛星、又は宇宙探査機）、又はこれらの環境のあらゆる組合せがある。移動体は、本明細書の他の箇所に記載されている車両等の車両とすることかできる。幾つかの実施形態において、移動体は生体、例えば人間又は動物により担持され、又は生体から取り外すことができる。適当な動物としては、アビン（ａｖｉｎｅｓ）、イヌ、ネコ、ウマ、ウシ、ヒツジ、ブタ、デルフィン（ｄｅｌｐｈｉｎｅｓ）、げっ歯類、又は昆虫を含むことができる。
【０１３５】
移動体は、環境内で６自由度（例えば、並進３自由度及び回転３自由度）に関して自由に移動できてもよい。或いは、移動体の移動は、１つ又は複数の自由度に関して、例えば所定の経路、軌道、又は方位によって制約できる。移動は、例えばエンジン又はモータ等、何れの適当な作動機構によっても作動させることができる。移動体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せ等の、何れの適当なエネルギー源によっても動力供給できる。移動体は、本明細書の別の箇所で説明されているように、推進システムを介した自走式であってもよい。推進システムは任意選択により、エネルギー源、例えば電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せにより動作してもよい。或いは、移動体は、生体により担持されてもよい。
【０１３６】
幾つかの例において、移動体は航空車両とすることができる。例えば、航空車両は、固定翼航空機（例えば、飛行機、グライダ）、回転翼航空機（例えば、ヘリコプタ、ロータクラフト）、固定翼と回転翼の両方を有する航空機、又は何れも持たない航空機（例えば、飛行船、熱気球）であってもよい。航空車両は自走式とすることができ、例えば、空中で自走式とすることができる。自走式航空車両は、推進システム、例えば１つ又は複数のエンジン、モータ、車輪、アクスル、磁石、ロータ、プロペラ、ブレード、ノズル、若しくはこれらのあらゆる適当な組合せ等の推進システムを利用できる。幾つかの例において、推進システムは、移動体が離陸し、着陸し、その現在の位置及び／又は方位を保持し（ホバリング等）、向きを変え、及び／又は位置を変えることができるようにするために使用できる。
【０１３７】
移動体は、使用者が遠隔的に制御でき、又は移動体内又はその上にいる搭乗者がローカルで制御することもできる。移動体は、別の車両内の搭乗者を介して遠隔的に制御されてもよい。幾つかの実施形態において、移動体はＵＡＶなどの無人移動体である。ＵＡＶ等の無人移動体では、移動体に搭乗者がいないかもしれない。移動体は、人間もしくは自動制御システム（例えば、制御システム）又はそれらのあらゆる適当な組み合わせによって制御できる。移動体は、人工知能を備えて構成されたロボット等の自律型又は半自律型ロボットとすることができる。
【０１３８】
移動体は、何れの適当な大きさ及び／又は寸法を有することもできる。幾つかの実施形態において、移動体は、車両内又はその上に人間の乗員がいるような大きさ及び／又は寸法であってもよい。或いは、移動体は、車両内又はその上に人間の乗員が乗ることができるものより小さい大きさ及び／又は寸法であってもよい。移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び／又は寸法であってもよい。或いは、移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び／又は寸法より大きくてもよい。幾つかの例において、移動体の最大寸法（例えば、長さ、幅、高さ、直径、対角線）が約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍ未満又はこれと同等であってもよい。最大寸法は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍより大きいか、これと同等であってもよい。例えば、移動体の反対のロータのシャフト間の距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍ未満又はこれと同等であってもよい。或いは、反対のロータのシャフト間の距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、又は１０ｍより大きいか、又はこれと同等であってもよい。
【０１３９】
幾つかの実施形態において、移動体の体積は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、又は５ｃｍ×５ｃｍ×３ｃｍ未満であってもよい。移動体の全体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、又は１０ｍ３未満又はこれと同等であってもよい。反対に、移動体の全体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、又は１０ｍ３より大きいか、これと同等であってもよい。
【０１４０】
幾つかの実施形態において、移動体の設置面積（これは、移動体により取り囲まれる横方向の断面積を指してもよい）は、約３２，０００ｃｍ２、２０，０００ｃｍ２、１０，０００ｃｍ２、１，０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、又は５ｃｍ２未満又はこれと同等であってもよい。反対に、設置面積は、約３２，０００ｃｍ２、２０，０００ｃｍ２、１０，０００ｃｍ２、１，０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、又は５ｃｍ２より大きいか、これと同等であってもよい。
【０１４１】
幾つかの実施形態において、移動体の重量は１０００ｋｇより大きくてもよい。移動体の重量は、約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ，１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、又は０．０１ｋｇ未満又はこれと同等であってもよい。反対に、重量は、約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、又は０．０１ｋｇより大きいか、又はこれと等しくてもよい。
【０１４２】
幾つかの実施形態において、移動体は、移動体により担持される負荷に関して小さくてもよい。負荷は、本明細書により詳しく説明するように、搭載物及び／又は支持機構を含んでいてもよい。幾つかの例において、移動体の重量対負荷の重量の比は、約１：１より大きいか、それ未満か、又はこれと同等であってもよい。任意選択により、支持機構の重量対負荷の重量の比は、約１：１より大きいか、それ未満か、それと同等であってもよい。希望により、移動体の重量対負荷の重量の比は、１：２、１：３、１：４、１：５、１：１０、又はそれ以下未満か、これと同等であってもよい。反対に、移動体の重量対負荷の重量の比はまた、２：１、３：１、４：１、５：１、１０：１、又はそれ以上より大きいか、これと同等であってもよい。
【０１４３】
幾つかの実施形態において、移動体は、消費エネルギーが低くてもよい。例えば、移動体が使用するのは、約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈ、又はそれ以下未満であってもよい。幾つかの例において、移動体の支持機構はエネルギー消費が低くてもよい。例えば、支持機構が使用するのは、約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈ、又はそれ以下未満であってもよい。任意選択により、移動体の搭載物は、消費エネルギーが低くてもよく、例えば約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈ、又はそれ以下未満であってもよい。
【０１４４】
図１４は、本発明の実施形態による無人航空機（ＵＡＶ）１４００を示す。ＵＡＶは、本明細書に記載されている移動体の一例であってもよく、そこにバッテリアセンブリを放電させる方法と装置が適用されてもよい。ＵＡＶ１４００は、４つの回転翼１４０２、１４０４、１４０６、及び１４０８を有する推進システムを含むことができる。いくつの回転翼が提供されてもよい（例えば、１、２、３、４、５、６、又はそれ以上）。無人航空機の回転翼、回転翼アセンブリ、又はその他の推進システムにより、無人航空機はホバリングし／位置を保持し、向きを変え、及び／又は位置を変えることができるかもしれない。対向する回転翼のシャフト間の距離は、何れの適当な長さ１４１０とすることもできる。例えば、長さ１４１０は、２ｍ未満又はそれと等しいか、５ｍ未満かそれと等しくすることができる。幾つかの実施形態において、長さ１４１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、又は５ｃｍ〜５ｍの範囲内とすることができる。ＵＡＶに関する本明細書内の何れの説明も、異なる種類の移動体等の移動体にも当てはまり、又はその逆でもある。ＵＡＶは、本明細書に記載されているような離陸補助システム又は方法を使用してもよい。
【０１４５】
幾つかの実施形態において、移動体は負荷を担持するように構成できる。負荷は、乗客、貨物、機器、器具、及びその他のうちの１つ又は複数を含むことができる。負荷は、筐体内に提供できる。筐体は、移動体の筐体とは別であっても、移動体のための筐体の部分であってもよい。或いは、負荷は筐体と共に提供でき、その一方で、移動体は筐体を持たない。或いは、負荷の一部又は負荷の全体が筐体を持たずに提供されてもよい。負荷は、移動体に関して強固に固定できる。任意選択により、負荷は、移動体に対して移動可能とすることができる（例えば、移動体に関して並進可能又は回転可能）。積載物には、本明細書の他の箇所に記載されているように、搭載物及び／又は支持機構を含むことができる。
【０１４６】
幾つかの実施形態において、移動体、支持機構、及び搭載物の、固定された参照フレーム（例えば周囲環境）及び／また相互に関する移動は、端末によって制御できる。端末は、移動体、支持機構、及び／又は搭載物から離れたロケーションにあるリモート制御デバイスとすることができる。端末は、支持台上に設置し、又は固定することができる。或いは、端末は、ハンドヘルド又はウェアラブルデバイスとすることができる。例えば、端末はスマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロフォン、又はこれらの適当な組み合わせを含むことができる。端末は、ユーザインタフェース、たとえはキーボード、マウス、ジョイスティック、タッチスクリーン、又はティスプレイを含むことができる。何れの適当なユーザ入力を使って端末と相互作用することもでき、例えば、手入力されるコマンド、音声制御、ジェスチャ制御、又は位置制御（例えば、端末の動き、ロケーション、又は傾きを通じたもの）がある。
【０１４７】
端末は、移動体、支持機構、及び／又は搭載物の何れの適当な状態を制御するためも使用できる。例えば端末は、移動体、支持機構、及び／又は搭載物の、固定参照に関する位置及び／また方位を、相互から及び／又は相互に制御するために使用できる。幾つかの実施形態において、端末は、移動体、支持機構、及び／又は搭載物の個々の要素、例えば支持機構の作動アセンブリ、搭載物のセンサ、又は搭載物のエミッタを制御するために使用できる。端末は、移動体、支持機構、又は搭載物のうちの１つまた複数と通信するようになされた無線通信デバイスを含むことができる。
【０１４８】
端末は、移動体、支持機構、及び／又は搭載物の情報を閲覧するための適当な表示ユニットを含むことができる。例えば、端末は、移動体、支持機構、及び／又は搭載物の位置、並進速度、並進加速度、方位、角速度、角加速度、又はこれらのあらゆる適当な組合せに関する情報を表示するように構成できる。幾つかの実施形態において、端末は、搭載物により提供された情報、例えば機能的搭載物により提供されたデータ（例えば、カメラ又はその他の撮像装置により記録された画像）を表示できる。
【０１４９】
任意選択により、同じ端末を移動体、支持機構、及び／又は搭載物、又は移動体、支持機構、及び／又は搭載物の状態の制御と、移動体、支持機構、及び／又は搭載物からの情報の受信及び／又は表示の両方に使用してもよい。例えば、端末は、搭載物の環境に関する位置を制御してもよく、その一方で、搭載物により取得された画像データ又は搭載物の位置に関する情報を表示する。或いは、異なる端末が異なる機能のために使用されてもよい。例えば、第１の端末は移動体、支持機構、及び／又は搭載物の移動又は状態を制御してもよく、その一方で、第２の端末は移動体、支持機構、及び／又は搭載物からの情報を受け取り、及び／又は表示してもよい。例えば、第１の端末は、搭載物の、環境に関するポジショニングを制御するために使用されてもよく、その一方で、第２の端末は搭載物により取得された画像データを表示する。移動体と、移動体の制御とデータ受信の両方を行う統合型端末との間又は、移動体と、移動体の制御とデータ受信の両方を行う複数の端末との間では、各種の通信モードが利用されてもよい。例えば、少なくとも２種類の通信モードが、移動体と、移動体の制御と移動体からのデータ受信の両方を行う端末との間に形成されてもよい。
【０１５０】
図１５は、本発明の実施形態による、支持機構１５０２と搭載物１５０４を含む移動体１５００を示している。移動体１５００は航空機として描かれているが、この図は限定的とされるものではなく、本明細書において前述したように、何れの適当な種類の移動体も使用できる。当業者であればわかるように、本明細書において航空機システムに関して記載された実施形態の何れも、あらゆる適当な移動体（例えば、ＵＡＶ）に適用できる。幾つかの例において、搭載物１５０４は、支持機構１５０２を必要とせずに、移動体１５００上に提供されてもよい。移動体１５００は、推進機構１５０６、検知システム１５０８、及び通信システム１５１０を含んでいてもよい。
【０１５１】
推進機構１５０６は、前述したように、１つ又は複数のロータ、プロペラ、ブレード、エンジン、モータ、車輪、アクスル、磁石、又はノズルを含むことができる。移動体は、１つ以上の、２つ以上の、３つ以上の、又は４つ以上の推進機構を有していてもよい。推進機構は、全てが同じ種類であってもよい。或いは、１つ又は複数の推進機構は異なる種類の推進機構とすることができる。推進機構１５０６は移動体１５００上に、何れかの適当な手段、例えば本明細書中の他の箇所に記載されているように、支持要素（例えば、駆動シャフト）を用いて取り付けることができる。推進機構１５０６は、移動体１５００の何れかの適当な部分、例えば上面、下面、前面、背面、又はこれらの適当な組合せに取り付けることができる。
【０１５２】
幾つかの実施形態において、推進機構１５０６は、移動体１５００を表面から垂直に離陸させ、又は表面に垂直に着陸させることができ、移動体１５００の水平移動は一切必要としない（例えば、滑走路上の移動が不要）。任意選択により、推進機構１５０６は、移動体１５００が指定された位置及び／又は方位で空中においてホバリングできるように動作可能とすることができる。推進機構１５０６の１つ又は複数は、他の推進機構と独立して制御されてもよい。或いは、推進機構１５０６は、同時に制御されるべく構成できる。例えば、移動体１５００は、移動体を浮揚させ、及び／又は推進させることのできる複数の水平向きのロータを有することができる。複数の水平向きのロータは、垂直離陸、垂直着陸、及びホバリング能力を移動体１５００に提供するために作動できる。幾つかの実施形態において、水平向きのロータの１つ又は複数は、時計回り方向に旋回してもよく、水平向きのロータの１つ又は複数は反時計回り方向に旋回してもよい。例えば、時計回りのロータの数は反時計回りのロータの数と等しくてもよい。水平向きのロータの各々の回転速度を個別に変化させて、各ロータによって起こされる浮揚及び／又は推進を制御することにより、移動体１５００の（例えば、並進３自由度まで及び回転３自由度までに関する）空間配置、速度、及び／又は加速度を調整するために個別に変化させることができる。
【０１５３】
検知システム１５０８は、１つまた複数のセンサを含むことができ、これは、移動体１５００の（例えば、最大並進３自由度及び最大回転３自由度に関する）空間配置、速度、及び／又は加速度を検知してもよい。１つ又は複数のセンサは、全地球測位システム（ＧＰＳ）センサ、運動センサ、慣性センサ、近接性センサ、又は画像センサを含むことができる。検知システム１５０８により提供された検知データは、移動体１５００の空間配置、速度、及び／又は方位を（例えば、後述のように、適当な処理ユニット及び／又は制御モジュールを使って）制御するために使用できる。或いは、検知システム１５０８は、移動体を取り囲む環境に関するデータ、例えば、天候条件、潜在的障害物との近接性、地理的特徴のロケーション、人工構造物のロケーション、及びその他を提供するために使用できる。
【０１５４】
通信システム１５１０は、通信システム１５１４を有する端末１５１２と無線信号１５１６を介して通信できる。通信システム１５１０、１５１４としては、無線通信に適した何れの数の送信機、受信機、及び／又はトランシーバが含まれていてもよい。通信は、データを一方向にのみ送信できる一方向通信であってもよい。例えば、一方向通信は、移動体１５００が端末１５１２にデータを送信することだけ、又はその逆が関わっていてもよい。データは、通信システム１５１０の１つ又は複数の送信機から通信システム１５１４の１つ又は複数の受信機に送信されてもよく、又はその逆でもよい。或いは、通信は双方向通信であってもよく、これによってデータは移動体１５００と端末１５１２との間で双方向に送信可能である。双方向通信には、通信システム１５１０の１つ又は複数の送信機から通信システム１５１４の１つ又は複数の受信機へのデータ送信及びその逆が関わることができる。
【０１５５】
幾つかの実施形態において、端末１５１２は、制御データを移動体１５００、支持機構１５０２、及び搭載物１５０４のうちの１つ又は複数に制御データを提供し、移動体１５００、支持機構１５０２、及び搭載物１５０４からの情報（例えば、移動体、支持機構、又は搭載物の位置及び／又は運動情報、搭載物により検知されたデータ、例えば搭載物カメラにより取得された画像データ）を受け取ることができる。幾つかの例において、端末からの制御データは、移動体、支持機構、及び／又は搭載物の相対位置、移動、作動、又は制御に関する命令を含んでいてもよい。例えば、制御データは、移動体のロケーション及び／又は方位（例えば、推進機構１５０６の制御を通じて）、又は搭載物の移動体に関する移動（例えば、支持機構１５０２の制御を通じて）を変更させるものであってもよい。端末からの制御データは、搭載物の制御、例えばカメラ又はその他の撮像装置の動作の制御（静止画又は動画の撮影、ズームイン又はアウト、電源オン又はオフ、画像モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露出時間の変更、視野角又は視野の変更）を行わせるものであってもよい。幾つかの例において、移動体、支持機構、及び／又は搭載物からの通信は、（例えば、検知システム１５０８の、又は搭載物１５０４の）１つ又は複数のセンサからの情報を含んでいてもよい。通信は、１つ又は複数の異なる種類のセンサ（例えば、ＧＰＳセンサ、運動センサ、慣性センサ、近接性センサ、又は画像センサ）からの検知情報を含んでいてもよい。このような情報は、移動体、支持機構、及び／又は搭載物の位置（例えば、ロケーション、方位）、移動、又は加速度に関していてもよい。搭載物からのこのような情報には、搭載物により取得されたデータ又は検知された搭載物の状態が含まれていてもよい。端末１５１２により送信される制御データは、移動体１５００、支持機構１５０２、又は搭載物１５０４のうちの１つ又は複数の状態を制御するべく構成できる。その代わりに、又はそれと組み合わせて、支持機構１５０２と搭載物１５０４はまた、各々、端末１５１２と通信するべく構成された通信モジュールを含むことができ、それによって端末は移動体１５００、支持機構１５０２、及び搭載物１５０４の各々と個別に通信し、これを制御できる。
【０１５６】
幾つかの実施形態において、移動体１５００は、端末１５１２に加えて、又は端末１５１２の代わりに他の遠隔デバイスと通信するべく構成できる。端末１５１２はまた、他の遠隔デバイス及び移動体１５００と通信するべく構成されてもよい。例えば、移動体１５００及び／又は端末１５１２は、他の移動体、又は他の移動体の支持機構若しくは搭載物と通信してもよい。希望に応じて、遠隔デバイスは第２の端末又はその他のコンピューティングデバイス（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又はその他のモバイルデバイス）であってもよい。遠隔デバイスは、移動体１５００にデータを送信し、移動体１５００からデータを受信し、端末１５１２にデータを送信し、及び／又は端末１５１２からデータを受信するべく構成できる。任意選択により、遠隔デバイスはインターネット又はその他の電気通信ネットワークに接続でき、それによって移動体１５００及び／又は端末１５１２から受け取ったデータをウェブサイト又はサーバにアップロードできる。
【０１５７】
図１６は、本発明の実施形態による、移動体を制御するためのシステム１６００のブロック図による略図である。システム１６００は、本明細書で開示されているシステム、デバイス、及び方法の何れの適当な実施形態とも併用できる。システム１６００は、検知モジュール１６０２と、処理ユニット１６０４と、非一時的コンピュータ読取可能媒体１６０６と、制御モジュール１６０８と、通信モジュール１６１０と、を含むことができる。
【０１５８】
検知モジュール１６０２は、移動体に関する情報を異なる方法で収集する異なる種類のセンサを利用できる。異なる種類のセンサは、異なる種類の信号又は異なる発生源からの信号を検知してもよい。例えば、センサは、慣性センサ、ＧＰＳセンサ、近接性センサ（例えば、ライダ）、又は映像／画像センサ（例えば、カメラ）を含むことができる。検知モジュール１６０２は、複数のプセッサを有する処理ユニット１６０４に動作的に連結できる。幾つかの実施形態において、検知モジュールは、検知データを適当な外部デバイス又はシステムに直接送信するべく構成された送信モジュール１６１２（例えば、Ｗｉ−Ｆｉ画像送信モジュール）に動作的に連結できる。例えば、送信モジュール１６１２は、検知モジュール１６０２のカメラにより取得された画像を遠隔端末に送信するために使用できる。
【０１５９】
処理ユニット１６０４は、１つ又は複数のプロセッサ、例えばプログラム可能プロセッサ（例えば、中央処理ユニット（ＣＰＵ））有することができる。処理ユニット１６０４は、非一時的なコンピュータ読取可能媒体１６０６に動作的に接続できる。非一時的なコンピュータ読取可能媒体１６０６は、処理ユニット１６０４によって１つ又は複数のステップを行うために実行可能なロジック、コード、及び／又はプログラム命令を記憶できる。非一時的なコンピュータ読取可能媒体は、１つ又は複数のメモリユニット（例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）等の取り外し可能媒体又は外付け記憶装置）を含むことができる。幾つかの実施形態において、検知モジュール１６０２からのデータは、非一時的なコンピュータ読取可能媒体１６０６のメモリユニットに直接搬送され、その中に保存できる。非一時的なコンピュータ読取可能媒体１６０６のメモリユニットは、処理ユニット１６０４が本明細書に記載されている方法の何れかの適当な実施形態を行うために実行可能なロジック、コード、及び／又はプログラム命令を記憶できる。例えば、処理ユニット１６０４は、処理ユニット１６０４の１つ又は複数のプロセッサに検知モジュールにより作成される検知データを解析させる命令を実行するべく構成できる。メモリユニットは、処理ユニット１６０４により処理されることになる、検知モジュールからの検知データを保存できる。幾つかの実施形態において、非一時的なコンピュータ読取可能媒体１６０６のメモリニットは、処理ユニット１６０４により生成される処理結果を保存するために使用できる。
【０１６０】
幾つかの実施形態において、処理ユニット１６０４は、移動体の状態を制御するべく構成された制御モジュール１６０８に動作的に連結できる。例えば、制御モジュール１６０８は、移動体の推進機構を制御して、移動体の、６自由度に関する空間配置、速度、及び／又は加速度を調整するべく構成できる。その代わりに、又はそれと組み合わせて、制御モジュール１６０８は、支持機構、搭載物、又は検知モジュールの状態のうちの１つ又は複数を制御できる。
【０１６１】
処理ユニット１６０４は、１つ又は複数の外部デバイス（例えば、端末、表示デバイス、又はその他の遠隔コントローラ）にデータを送信し、及び／又はそこからデータを受信するべく構成された通信モジュール１６１０に動作的に連結できる。何れの適当な通信手段も使用でき、例えば有線通信又は無線通信がある。例えば、通信モジュール１６１０は、Ｌｏｃａｌ  Ａｒｅａ  Ｎｔｗｏｒｋ（ＬＡＮ）、Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＷＡＮ）、赤外線、無線、Ｗｉ−Ｆｉ、ポイント・トゥー・ポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信、及びその他のうちの１つ又は複数を利用できる。任意選択により、中継局、例えばタワー、衛星、又は移動局を使用できる。無線通信は、近接性依存でも、近接性非依存でもよい。幾つかの実施形態において、Ｌｉｎｅ−ｏｆ−Ｓｉｇｈｔが通信に必要であっても、なくてもよい。通信モジュール１６１０は、検知モジュール１６０２からの検知データのうちの１つ又は複数、及び／又は処理ユニット１６０４により生成された処理結果、端末若しくは遠隔コントローラからの所定の制御データ、ユーザコマンド、及びその他のうちの１つ又は複数を送信及び／又は受信できる。
【０１６２】
システム１６００のコンポーネントは、何れの適当な構成にも配置できる。例えば、システム１６００のコンポーネントの１つ又は複数を移動体、支持機構、搭載物、端末、検知システム、又は上記のうちの１つ又は複数と通信するその他の外部デバイスに位置付けることができる。これに加えて、図１６は１つの処理ユニット１６０４、１つの非一時的なコンピュータ読取可能媒体１６０６を示しているが、当業者であればわかるように、これは限定的とするものではなく、システム１６００は複数の処理ユニット、及び／又は非一時的なコンピュータ読取可能媒体を含むことができる。幾つかの実施形態において、複数の処理ユニット、及び／又は非一時的なコンピュータ読取可能媒体のうちの１つ又は複数を異なるロケーション、例えば移動体、支持機構、搭載物、端末、検知モジュール、上記の１つ又は複数と通信するその他の外部デバイス、又はこれらの組合せに位置付けることができ、それによってシステム１６００が実行する処理及び／又は記憶機能の何れの適当な局面も上記のロケーションの１つ又は複数において実行可能となる。
【０１６３】
本明細書では、本発明の好ましい実施形態を図示し、説明したが、当業者にとっては、かかる実施形態は例として提供されているにすぎないことが明白であろう。システムに関して説明したすべての要素は本発明の方法の実践に適用され、またその逆でもある。ここで、当業者は、本発明から逸脱せずに様々な改変、変更、及び置換を着想するであろう。理解するべき点として、本明細書において説明されている本発明の実施形態の様々な代替案が本発明の実施形態に利用されてもよい。以下の特許請求の範囲が本発明の範囲を定義しており、これらの特許請求の範囲及びそれらの均等物の範囲内の方法と構造がそれによって包含されることが意図されている。
【０１６４】
［項目１］
移動体より取得された画像を処理するシステムにおいて、
第２の画像群の品質が所定の閾値より低い場合には、第１の画像群を処理してテクスチャ情報を取得し、前記第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、前記第２の画像群は前記第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントにより取得され、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するように個別に又は集合的に構成される１つ又は複数のプロセッサを含むシステム。
［項目２］
前記環境情報は奥行き情報を含む、項目１に記載のシステム。
［項目３］
前記環境情報は障害物情報又は前記移動体の状態情報を含む、項目１に記載のシステム。
［項目４］
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて前記移動体の位置及び／又は向きを制御する制御信号を生成する、項目１に記載のシステム。
［項目５］
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて、前記移動体に接続された撮像装置の前記移動体に対する位置及び／又は向きを制御する制御信号を生成する、項目１に記載のシステム。
［項目６］
前記移動体は無人航空機（ＵＡＶ）である、項目１に記載のシステム。
［項目７］
前記第１の撮像用コンポーネントは第１のレンズシステムを含む、項目１に記載のシステム。
［項目８］
前記第２の撮像用コンポーネントは第２のレンズシステムを含む、項目７に記載のシステム。
［項目９］
前記１つ又は複数のプロセッサは、前記第２の画像群の品質が前記所定の閾値より高い場合には、前記第２の画像群を処理して前記移動体に用いる環境情報を取得する、項目１に記載のシステム。
［項目１０］
前記１つ又は複数のプロセッサは、前記第２の画像の品質が前記所定の閾値より高い場合には、環境情報を取得するために前記第１の画像群を処理しない、項目９に記載のシステム。
［項目１１］
前記１つ又は複数のプロセッサは、前記第２の画像の品質が前記所定の閾値より低い場合に、前記第２の撮像用コンポーネントの光軸を調整する制御信号を生成する、項目１に記載のシステム。
［項目１２］
前記制御信号は、前記第１の画像群の前記テクスチャ情報に依存する、項目１１に記載のシステム。
［項目１３］
前記１つ又は複数のプロセッサは、前記第２の画像群の画像の顕著性又は勾配を解析することによって前記第２の画像群の品質を判断する、項目１に記載のシステム。
［項目１４］
前記１つ又は複数のプロセッサは、前記第２の画像群内の特徴点の数又はオプティカルフローを解析することによって、前記第２の画像群の品質を判断する項目１に記載のシステム。
［項目１５］
前記第１の視野と前記第２の視野は重複する、項目１に記載のシステム。
［項目１６］
前記第２の視野は前記第１の視野により包含される、項目１５に記載のシステム。
［項目１７］
前記第２の視野の視野角は約５０°〜８０°であり、前記第１の視野の視野角は約９０°〜１８０°である、項目１に記載のシステム。
［項目１８］
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントの各々は単眼式レンズシステムを含む、項目１に記載のシステム。
［項目１９］
前記第１の撮像用コンポーネントは第１の撮像装置上に位置付けられ、前記第２の撮像用コンポーネントは第２の撮像装置上に位置付けられる、項目１に記載のシステム。
［項目２０］
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは１つの撮像装置上に位置付けられる、項目１に記載のシステム。
［項目２１］
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは前記移動体に搭載されている、項目１に記載のシステム。
［項目２２］
前記１つ又は複数のプロセッサは、前記移動体に搭載される、項目１に記載のシステム。
［項目２３］
前記１つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び取得ステップを繰り返すように構成される、項目１に記載のシステム。
［項目２４］
前記ステップは少なくとも２秒ごとに繰り返される、項目１に記載のシステム。
［項目２５］
移動体により取得された画像を処理する方法において、
第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、前記第１の撮像用コンポーネントは第１の視野を有するステップと、
第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、前記第２の撮像用コンポーネントは前記第１の視野より狭い第２の視野を有するステップと、
１つ又は複数のプロセッサを個別に、又は集合的に用いて、
前記第２の画像群の品質が所定の閾値より低い場合に、前記第１の画像群を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するステップと、
を含む方法。
［項目２６］
移動体により取得された画像を処理する装置において、
第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得する第１の撮像用コンポーネントと、
前記第１の視野より狭い第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得する第２の撮像用コンポーネントと、
前記第２の画像群の品質が所定の閾値より低い場合に、前記第１の画像群を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される１つ又は複数のプロセッサと、
を含む装置。
［項目２７］
移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体において、
第１の撮像用コンポーネントを用いて第１の画像群を取得し、前記第１の撮像用コンポーネントは第１の視野を有し、
第２の撮像用コンポーネントを用いて第２の画像群を取得し、前記第２の撮像用コンポーネントは前記第１の視野より狭い第２の視野を有し、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第２の画像群の品質が所定の閾値より低いときに前記第１の画像群を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
コード、ロジック又は命令を含む非一時的コンピュータ読取可能媒体。
［項目２８］
移動体により取得された画像を処理するシステムにおいて、
第１の画像群と第２の画像群の非重複部分を処理してテクスチャ情報を取得し、前記第１の画像群は第１の視野を有する第１の撮像用コンポーネントにより取得され、前記第２の画像群は前記第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントにより取得され、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成するように
個別に又は集合的に構成される１つ又は複数のプロセッサを含むシステム。
［項目２９］
前記１つ又は複数のプロセッサはさらに、前記第１の画像群と前記第２の画像群の重複部分を解析して前記移動体に用いる環境情報を取得する、項目２８に記載のシステム。
［項目３０］
前記制御信号は、前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの光軸を調整する、項目２８に記載のシステム。
［項目３１］
前記移動体は無人航空機（ＵＡＶ）である、項目２８に記載のシステム。
［項目３２］
前記第１の撮像用コンポーネントは第１のレンズシステムを含む、項目２８に記載のシステム。
［項目３３］
前記第２の撮像用コンポーネントは第２のレンズシステムを含む、項目３２に記載のシステム。
［項目３４］
前記制御信号は、前記移動体の調整のための命令を提供し、それによって前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する、項目２８に記載のシステム。
［項目３５］
前記移動体の前記調整は、前記移動体の、そのピッチ、ヨー、又はロール軸に対する向きの調整である、項目３４に記載のシステム。
［項目３６］
前記制御信号は、前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの光軸の調整のための命令を提供する、項目２８に記載のシステム。
［項目３７］
前記１つ又は複数のプロセッサはさらに、前記第１の画像群と前記第２の画像群との重複部分の品質が所定の閾値より低い場合に、前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する、項目２８に記載のシステム。
［項目３８］
前記環境情報は奥行き情報を含む、項目３７に記載のシステム。
［項目３９］
前記環境情報は障害物情報又は前記移動体の状態情報を含む、項目３７に記載のシステム。
［項目４０］
前記１つ又は複数のプロセッサは、前記重複部分の画像の顕著性又は勾配を解析することによって前記重複部分の品質を判断する、項目３７に記載のシステム。
［項目４１］
前記１つ又は複数のプロセッサは、前記重複部分内の特徴点の数又はオプティカルフローを解析することによって前記重複部分の品質を判断する、項目３７に記載のシステム。
［項目４２］
前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの前記調整は、前記第１の視野と前記第２の視野の新しい重複部分が前記第１の画像群と前記第２の画像群の前記非重複部分の少なくとも一部を包含する、項目２８に記載のシステム。
［項目４３］
前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントの前記調整は、前記第１の視野と前記第２の視野の新しい重複部分が以前の重複部分とは異なる大きさを有する、項目２８に記載のシステム。
［項目４４］
前記第１の視野と前記第２の視野の大きさは同様である、項目２８に記載のシステム。
［項目４５］
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは実質的に平行な光軸を有する、項目２８に記載のシステム。
［項目４６］
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントの各々は単眼式レンズシステムを含む、項目２８に記載のシステム。
［項目４７］
前記第１の撮像用コンポーネントは第１の撮像装置上に位置付けられ、前記第２の撮像用コンポーネントは第２の撮像装置上に位置付けられる、項目２８に記載のシステム。
［項目４８］
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは１つの撮像装置上に位置付けられる、項目２８に記載のシステム。
［項目４９］
前記第１の撮像用コンポーネントと前記第２の撮像用コンポーネントは、前記移動体に搭載される、項目２８に記載のシステム。
［項目５０］
前記１つ又は複数のプロセッサは、前記移動体に搭載される、項目２８に記載のシステム。
［項目５１］
前記１つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び生成ステップを繰り返すように構成される、項目２８に記載のシステム。
［項目５２］
前記ステップは少なくとも２秒ごとに繰り返される、項目５１に記載のシステム。
［項目５３］
移動体により取得された画像を処理する方法において、
第１の撮像用コンポーネントを用いて第１の画像群を取得するステップであって、前記第１の撮像用コンポーネントは第１の視野を有するステップと、
第２の撮像用コンポーネントを用いて第２の画像群を取得するステップであって、前記第２の撮像用コンポーネントは前記第１の視野と重複する第２の視野を有するステップと、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第１の画像群と前記第２の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成するステップと、
を含む方法。
［項目５４］
移動体により取得された画像を処理する装置において、
第１の視野を有する第１の撮像用コンポーネントであって、第１の画像群を取得する第１の撮像用コンポーネントと、
前記第１の視野と重複する第２の視野を有する第２の撮像用コンポーネントであって、第２の画像群を取得する第２の撮像用コンポーネントと、
前記第１の画像群と前記第２の画像群の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成する
ように個別に又は集合的に構成される１つ又は複数のプロセッサと、
を含む装置。
［項目５５］
移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体において、
第１の撮像用コンポーネントを用いて第１の画像群を取得し、前記第１の撮像用コンポーネントは第１の視野を有し、
第２の撮像用コンポーネントを用いて第２の画像群を取得し、前記第２の撮像用コンポーネントは前記第１の視野と重複する第２の視野を有し、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第１の画像群及び前記第２の画像群の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記第１の撮像用コンポーネント及び／又は前記第２の撮像用コンポーネントを調整する制御信号を生成する
コード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体。
［項目５６］
移動体により取得された画像を処理するシステムにおいて、
シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、前記シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される１つ又は複数のプロセッサを含むシステム。
［項目５７］
前記環境情報は奥行き情報を含む、項目５６に記載のシステム。
［項目５８］
前記環境情報は障害物情報又は前記移動体の状態情報を含む、項目５６に記載のシステム。
［項目５９］
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて前記移動体の位置及び／又は向きを制御する制御信号を生成する、項目５６に記載のシステム。
［項目６０］
前記１つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて、前記移動体に接続された撮像装置の前記移動体に対する位置及び／又は向きを制御する制御信号を生成する、項目５６に記載のシステム。
［項目６１］
前記移動体は無人航空機（ＵＡＶ）である、項目５６に記載のシステム。
［項目６２］
前記撮像用コンポーネントはレンズシステムを含む、項目５６に記載のシステム。
［項目６３］
前記シーケンス画像は、前記撮像用コンポーネントの光軸を前記移動体に対して連続的に調整することにより取得される、項目５６に記載のシステム。
［項目６４］
前記撮像用コンポーネントの光軸を調整する機構をさらに含む、項目５６に記載のシステム。
［項目６５］
前記機構は、前記撮像用コンポーネントの前記光軸を前記移動体の移動に合わせて移動させる、項目６４に記載のシステム。
［項目６６］
前記機構は、前記撮像用コンポーネントの前記光軸を前記移動体に対して移動させる、項目６４に記載のシステム。
［項目６７］
前記機構は、前記撮像用コンポーネントを前記移動体に対して移動させる、項目６４に記載のシステム。
［項目６８］
前記移動は前記移動体のヨー軸の周囲での移動である、項目６７に記載のシステム。
［項目６９］
前記移動は前記移動体のピッチ軸又はロール軸の周囲の移動である、項目６７に記載のシステム。
［項目７０］
前記移動は前記移動体の外面の周囲の移動である、項目６７に記載のシステム。
［項目７１］
前記機構は、前記撮像用コンポーネントがその視野より大きい領域をスキャンできるようにする、項目６４に記載のシステム。
［項目７２］
前記撮像用コンポーネントは、前記機構を用いて２秒ごとに前記領域をスキャンする、項目７１に記載のシステム。
［項目７３］
前記光軸は前記スキャン中に３０度ずつ変化される、項目７１に記載のシステム。
［項目７４］
前記撮像用コンポーネントは単眼式レンズシステムを含む、項目５６に記載のシステム。
［項目７５］
前記撮像用コンポーネントは撮像装置上に位置付けられる、項目５６に記載のシステム。
［項目７６］
前記撮像用コンポーネントは、前記移動体に搭載される、項目５６に記載のシステム。
［項目７７］
前記１つ又は複数のプロセッサは、前記移動体に搭載される、項目５６に記載のシステム。
［項目７８］
前記１つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び取得ステップを繰り返すように構成される、項目５６に記載のシステム。
［項目７９］
前記ステップは少なくとも２秒ごとに繰り返される、項目７８に記載のシステム。
［項目８０］
移動体により取得された画像を処理する方法において、
撮像用コンポーネントを用いてシーケンス画像を取得するステップであって、前記シーケンス画像は重複部分を含むステップと、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するステップと、
を含む方法。
［項目８１］
移動体のために画像から情報を処理する装置において、
シーケンス画像を取得する撮像用コンポーネントであって、前記シーケンス画像は重複部分を含む撮像用コンポーネントと、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される１つ又は複数のプロセッサと、
を含む装置。
［項目８２］
画像からの情報を処理する非一時的コンピュータ読取可能媒体において、
撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、
１つ又は複数のプロセッサを個別に又は集合的に用いて、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて移動体に用いる環境情報を取得する
コード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体。
【国際調査報告】
2019522287.tif 000021
2019522287.tif 000022