(57)【要約】  マルチセンサを使用してオムニステレオビデオを捕捉するためのシステム及び方法が開示される。システムは、左方カメラ、右方カメラ及び観察円を含む。マルチセンサ手法を使用してオムニステレオビデオを捕捉するための方法は、左方カメラを使用してシーンの画像を捕捉するステップと、右方カメラを使用してシーンの画像を捕捉するステップと、演算方法を使用して左方カメラ及び右方カメラからの各画像を処理するステップと、演算方法を通じて最終的なオムニステレオフレームを得るステップとを含む。
2021514573.tif 000002
【特許請求の範囲】
【請求項１】
オムニステレオ画像を捕捉するためのシステムであって、
（ａ）第１の左眼カメラ、第２の左眼カメラ及び第３の左眼カメラを含む少なくとも３つの左眼カメラと、（ｂ）第１の右眼カメラ、第２の右眼カメラ及び第３の右眼カメラを含む少なくとも３つの右眼カメラとを含むマルチセンサユニットであって、前記少なくとも３つの左眼カメラ及び前記少なくとも３つの右眼カメラが、観察円又は観察楕円に沿って配列され、前記観察円又は前記観察楕円の接線方向に向けられる、マルチセンサユニットと、
機械可読命令セットを格納するメモリと、
前記機械可読命令セットを実行するプロセッサであって、前記機械可読命令セットが、
前記少なくとも３つの左眼カメラ及び前記少なくとも３つの右眼カメラを較正することと、
前記少なくとも３つの左眼カメラによって捕捉された画像に基づいて左眼パノラマを演算し、前記少なくとも３つの右眼カメラによって捕捉された画像に基づいて右眼パノラマを演算することと、
前記オムニステレオ画像を得るために、前記左眼パノラマと前記右眼パノラマを組み合わせることと
を行うためのものである、プロセッサと
を含む、システム。
【請求項２】
前記左眼パノラマが、前記少なくとも３つの左眼カメラによって捕捉された前記画像のスティッチング若しくは合成を必要とすることなく演算されるか、又は、前記右眼パノラマが、前記少なくとも３つの右眼カメラによって捕捉された画像のスティッチング若しくは合成を必要とすることなく演算される、請求項１に記載のシステム。
【請求項３】
前記第１の右眼カメラの第１の右視野の第２の端が、前記第２の右眼カメラの第２の右視野の第１の端と一致し、前記第２の右眼カメラの前記第２の右視野の第２の端が、前記第３の右眼カメラの第３の右視野の第１の端と一致し、前記第３の右眼カメラの前記第３の右視野の第２の端が、前記第１の右眼カメラの前記第１の右視野の第１の端と一致し、前記第１、第２及び第３の右眼カメラが、前記第１の右視野と前記第２の右視野と前記第３の右視野との間の欠落エリア又は重複を取り除くために左方の接線方向視野線を捕捉するため、第１の方向において前記観察円の接線方向に設置され、前記第１の左眼カメラの第１の左視野の第２の端が、前記第３の左眼カメラの第３の左視野の第１の端と一致し、前記第３の左眼カメラの前記第３の左視野の第２の端が、前記第２の左眼カメラの第２の左視野の第１の端と一致し、前記第２の左眼カメラの前記第２の左視野の第２の端が、前記第１の左眼カメラの前記第１の左視野の第１の端と一致し、前記第１、第２及び第３の左眼カメラが、前記第１の左視野と前記第２の左視野と前記第３の左視野との間の欠落部分又は重複を取り除くために左方の接線方向視野線を捕捉するため、第２の方向において前記観察円の接線方向に設置される、請求項１に記載のシステム。
【請求項４】
前記少なくとも３つの左眼カメラが、前記観察円又は前記観察楕円の周りで時計回り方向に向けられ、前記少なくとも３つの右眼カメラが、前記観察円又は前記観察楕円の周りで反時計回り方向に向けられる、請求項１に記載のシステム。
【請求項５】
前記マルチセンサユニットが、３つの左眼カメラ及び３つの右眼カメラを含み、各カメラが、前記観察円又は前記観察楕円に沿って同じ方向に配列された他のカメラの使用可能な視野と位置合わせされた少なくとも１２０度の使用可能な視野を含む、請求項１に記載のシステム。
【請求項６】
前記マルチセンサユニットが、６つの左眼カメラ及び６つの右眼カメラを含み、各カメラが、前記観察円又は前記観察楕円に沿って同じ方向に配列された他のカメラの使用可能な視野と位置合わせされた少なくとも６０度の使用可能な視野を含む、請求項１に記載のシステム。
【請求項７】
前記オムニステレオ画像の視界が、水平方向（Ｈ）に少なくとも３６０度×垂直方向（Ｖ）に１８０度である、請求項１に記載のシステム。
【請求項８】
前記少なくとも左眼カメラ及び前記少なくとも３つの右眼カメラによって捕捉されたシーンの前記画像が、演算方法によって処理され、前記演算方法が、全方位画像を得るために、前記シーンの各画像を加算し、前記総和画像を２π／ｎで除算する、請求項１に記載のシステム。
【請求項９】
前記マルチセンサユニットが、オムニステレオ画像又はビデオを得るために、移動体に搭載されるように構成される、請求項１に記載のシステム。
【請求項１０】
前記移動体が、車、ドローン又はロボットである、請求項９に記載のシステム。
【請求項１１】
マイクロフォンを使用してオムニステレオ画像又はビデオに沿って音声が記録される、請求項１に記載のシステム。
【請求項１２】
前記カメラの各々が、広角レンズ又は魚眼レンズを採用する、請求項１に記載のシステム。
【請求項１３】
オムニステレオ画像を形成するための方法であって、
観察円又は観察楕円に沿って配列され、前記観察円又は前記観察楕円の接線方向に向けられた少なくとも３つの左眼カメラ及び少なくとも３つの右眼カメラから画像を得ることと、
前記少なくとも３つの左眼カメラ及び前記少なくとも３つの右眼カメラを較正することと、
１つ又は複数のプロセッサを用いて、前記少なくとも３つの左眼カメラによって捕捉された画像に基づいて左眼パノラマを演算し、前記少なくとも３つの右眼カメラによって捕捉された画像に基づいて右眼パノラマを演算することと、
前記１つ又は複数のプロセッサを用いて、前記オムニステレオ画像を得るために、前記左眼パノラマと前記右眼パノラマを組み合わせることと
を含む、方法。
【請求項１４】
前記少なくとも３つの左眼カメラ及び前記少なくとも３つの右眼カメラを較正することが、前記左眼カメラ及び前記右眼カメラの対を複数のカテゴリのうちの１つに分類することと、前記左眼カメラ及び前記右眼カメラの前記対をカテゴリ別に位置合わせすることとを含む、請求項１３に記載の方法。
【請求項１５】
前記少なくとも３つの左眼カメラ及び前記少なくとも３つの右眼カメラを較正することが、前記少なくとも３つの左眼カメラ及び前記少なくとも３つの右眼カメラによって捕捉された広角画像又は魚眼画像を正距円筒画像に変換することを含む、請求項１４に記載の方法。
【請求項１６】
前記左眼パノラマが、前記少なくとも３つの左眼カメラによって捕捉された前記画像のスティッチング若しくは合成を必要とすることなく演算されるか、又は、前記右眼パノラマが、前記少なくとも３つの右眼カメラによって捕捉された画像のスティッチング若しくは合成を必要とすることなく演算される、請求項１３に記載の方法。
【請求項１７】
前記左眼パノラマ及び前記右眼パノラマに基づいて深度画像を計算することをさらに含む、請求項１３に記載の方法。
【請求項１８】
オムニステレオ画像を形成するために画像の収集に使用されるカメラを較正するための方法であって、
観察円又は観察楕円に沿って配列され、前記観察円又は前記観察楕円の接線方向に向けられた複数の左眼カメラ及び複数の右眼カメラの各々に対する内部及び外部カメラパラメータを決定することと、
１つ又は複数のプロセッサを用いて、前記複数の左眼カメラ及び前記複数の右眼カメラの左右対を少なくとも第１のカテゴリ、第２のカテゴリ又は第３のカテゴリに分類することと、
前記第１のカテゴリに収まる前記左右対のカメラを位置合わせすることと、
前記第２のカテゴリに収まる前記左右対のカメラを位置合わせすることと、
前記第１のカテゴリに収まる前記左右対及び前記第２のカテゴリに収まる前記左右対の外部パラメータを使用することによって、前記第３のカテゴリに収まる前記左右対のカメラを位置合わせすることと
を含む、方法。
【請求項１９】
前記第１のカテゴリが、直線対カテゴリであり、左方カメラと右方カメラは同じ方向に向いている、請求項１８に記載の方法。
【請求項２０】
前記第２のカテゴリが、垂直対カテゴリであり、左方カメラと右方カメラが、互いに垂直方向に向いており、シーンの重複部分を捕捉する、請求項１９に記載の方法。
【請求項２１】
前記第３のカテゴリが、連続対カテゴリであり、左方カメラと右方カメラが、互いに垂直方向に向いており、前記シーンの重複部分を捕捉しない、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
この出願は、２０１８年２月１７日に出願されたインド仮特許出願第２０１８４１００６１１９号の利益を主張し、同出願は、参照により本明細書に組み込まれる。
【０００２】
発明の背景
技術分野
本明細書の実施形態は、概して、オムニステレオビデオを捕捉することに関し、より具体的には、複数のセンサを使用してオムニステレオビデオを捕捉するためのシステム及び方法に関する。
【背景技術】
【０００３】
関連技術の説明
オムニステレオビデオを捕捉するための既存の手法は、カメラ、マルチカメラリグ又は単一のセンサに基づく光学系を動かすことを伴う。しかし、単一のセンサに基づく光学系では、高解像度のオムニステレオビデオを生成することはできず、小さな開口で十分な光を捕捉する上で問題を有する。また、高いフレームレートビデオや周囲光が少ない屋内シーンを捕捉する間にも問題が生じる。既存のマルチカメラリグは重く嵩張るものであり、視野をスティッチングするために高演算が必要であり、オムニステレオビデオをリアルタイムで捕捉しない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明の概要
マルチセンサを用いてリアルタイムでオムニステレオビデオを捕捉するためのシステム及び方法の改善の必要性が存在する。さらに、視差のない、スティッチング不要の及び／又はステレオ視差問題が少ないオムニステレオビデオを捕捉するためのシステム及び方法の必要性が存在する。
【課題を解決するための手段】
【０００５】
本発明の態様は、オムニステレオ画像を捕捉するためのシステムであって、（ａ）第１の左眼カメラ、第２の左眼カメラ及び第３の左眼カメラを含む少なくとも３つの左眼カメラと、（ｂ）第１の右眼カメラ、第２の右眼カメラ及び第３の右眼カメラを含む少なくとも３つの右眼カメラとを含むマルチセンサユニットであって、上記少なくとも３つの左眼カメラ及び上記少なくとも３つの右眼カメラが、観察円に沿って配列され、観察円の接線方向に向けられる、マルチセンサユニットと、機械可読命令セットを格納するメモリと、機械可読命令セットを実行するプロセッサであって、機械可読命令セットが、少なくとも３つの左眼カメラ及び少なくとも３つの右眼カメラを較正することと、少なくとも３つの左眼カメラによって捕捉された画像に基づいて左眼パノラマを演算し、少なくとも３つの右眼カメラによって捕捉された画像に基づいて右眼パノラマを演算することと、オムニステレオ画像を得るために、左眼パノラマと右眼パノラマを組み合わせることとを行うためのものである、プロセッサとを含む、システムを対象とし得る。
【０００６】
いくつかの実施形態では、左眼パノラマは、少なくとも３つの左眼カメラによって捕捉された画像のスティッチング若しくは合成を必要とすることなく演算することができるか、又は、右眼パノラマは、少なくとも３つの右眼カメラによって捕捉された画像のスティッチング若しくは合成を必要とすることなく演算することができる。いくつかの実施形態では、少なくとも３つの左眼カメラは、観察円の周りで時計回り方向に向けられ、少なくとも３つの右眼カメラは、観察円の周りで反時計回り方向に向けられる。いくつかの実施形態では、マルチセンサユニットは、３つの左眼カメラ及び３つの右眼カメラを含み、各カメラは、観察円に沿って同じ方向に配列された他のカメラの使用可能な視野と位置合わせされた少なくとも１２０度の使用可能な視野を含む。いくつかの実施形態では、マルチセンサユニットは、６つの左眼カメラ及び６つの右眼カメラを含み、各カメラは、観察円に沿って同じ方向に配列された他のカメラの使用可能な視野と位置合わせされた少なくとも６０度の使用可能な視野を含む。いくつかの実施形態では、オムニステレオ画像の視界は、水平方向（Ｈ）に少なくとも３６０度×垂直方向（Ｖ）に１８０度である。いくつかの実施形態では、少なくとも左眼カメラ及び少なくとも３つの右眼カメラによって捕捉されたシーンの画像は、演算方法によって処理され、演算方法は、全方位画像を得るために、シーンの各画像を加算し、総和画像を２π／ｎで除算する。いくつかの実施形態では、マルチセンサユニットは、オムニステレオ画像又はビデオを得るために、移動体に搭載するように構成される。移動体は、車、ドローン又はロボットであり得る。いくつかの実施形態では、マイクロフォンを使用してオムニステレオ画像又はビデオに沿って音声が記録される。いくつかの実施形態では、カメラの各々は、広角レンズ又は魚眼レンズを採用する。
【０００７】
本発明の追加の態様は、オムニステレオ画像を形成するための方法であって、観察円に沿って配列され、観察円の接線方向に向けられた少なくとも３つの左眼カメラ及び少なくとも３つの右眼カメラから画像を得ることと、少なくとも３つの左眼カメラ及び少なくとも３つの右眼カメラを較正することと、１つ又は複数のプロセッサを用いて、少なくとも３つの左眼カメラによって捕捉された画像に基づいて左眼パノラマを演算し、少なくとも３つの右眼カメラによって捕捉された画像に基づいて右眼パノラマを演算することと、１つ又は複数のプロセッサを用いて、オムニステレオ画像を得るために、左眼パノラマと右眼パノラマを組み合わせることとを含む、方法を対象とし得る。
【０００８】
いくつかの実施形態では、少なくとも３つの左眼カメラ及び少なくとも３つの右眼カメラを較正することは、左眼カメラ及び右眼カメラの対を複数のカテゴリのうちの１つに分類することと、左眼カメラ及び右眼カメラの対をカテゴリ別に位置合わせすることとを含む。いくつかの実施形態では、少なくとも３つの左眼カメラ及び少なくとも３つの右眼カメラを較正することは、少なくとも３つの左眼カメラ及び少なくとも３つの右眼カメラによって捕捉された広角画像又は魚眼画像を正距円筒画像に変換することを含む。いくつかの実施形態では、左眼パノラマは、少なくとも３つの左眼カメラによって捕捉された画像のスティッチング若しくは合成を必要とすることなく演算されるか、又は、右眼パノラマは、少なくとも３つの右眼カメラによって捕捉された画像のスティッチング若しくは合成を必要とすることなく演算される。方法は、左眼パノラマ及び右眼パノラマに基づいて深度画像を計算することをさらに含み得る。
【０００９】
本発明のさらなる態様は、オムニステレオ画像を形成するために画像の収集に使用されるカメラを較正するための方法であって、観察円に沿って配列され、観察円の接線方向に向けられた複数の左眼カメラ及び複数の右眼カメラの各々に対する内部及び外部カメラパラメータを決定することと、１つ又は複数のプロセッサを用いて、複数の左眼カメラ及び複数の右眼カメラの左右対を少なくとも第１のカテゴリ、第２のカテゴリ又は第３のカテゴリに分類することと、第１のカテゴリに収まる左右対のカメラを位置合わせすることと、第２のカテゴリに収まる左右対のカメラを位置合わせすることと、第１のカテゴリに収まる左右対及び第２のカテゴリに収まる左右対の外部パラメータを使用することによって、第３のカテゴリに収まる左右対のカメラを位置合わせすることとを含む、方法を対象とし得る。
【００１０】
いくつかの実施形態では、第１のカテゴリは、直線対カテゴリであり、左方カメラと右方カメラは同じ方向に向いている。いくつかの実施形態では、第２のカテゴリは、垂直対カテゴリであり、左方カメラと右方カメラは、互いに垂直方向に向いており、シーンの重複部分を捕捉する。いくつかの実施形態では、第３のカテゴリは、連続対カテゴリであり、左方カメラと右方カメラは、互いに垂直方向に向いており、シーンの重複部分を捕捉しない。
【００１１】
本開示の追加の態様及び利点は、以下の詳細な説明から当業者に容易に明らかになるであろう。以下の詳細な説明では、本開示を実行するために企図される最良の形態の単なる例示として、本開示の例示的な実施形態のみが示され、説明される。気付いていようが、本開示は、他の異なる実施形態が可能であり、そのいくつかの詳細は、様々な明らかな点において変更が可能であり、それらはすべて、本開示から逸脱しないものである。それに従って、図面及び説明は、本質的に例示と見なされるものであり、制限と見なすべきではない。
【００１２】
参照による引用
この明細書で言及されるすべての刊行物、特許及び特許出願は、個々の刊行物、特許又は特許出願の各々が参照により組み込まれることが具体的に及び個別に示されるのと同じ程度に、参照により本明細書に組み込まれる。
【００１３】
図面の簡単な説明
本発明の新規の特徴は、添付の特許請求の範囲に詳細に記載される。本発明の特徴及び利点のより良い理解は、本発明の原理が利用される例示的な実施形態について記載する以下の詳細な説明及び添付の図面を参照することによって得られよう。
【図面の簡単な説明】
【００１４】
【図１】本明細書の実施形態による、ベースラインに等しい直径を有する観察円を形成する４つの左方カメラのシステム図を示す。
【図２】本明細書の実施形態による、ベースラインに等しい直径を有する観察円を形成する４つの右方カメラのシステム図を示す。
【図３】本明細書の実施形態による、観察円に沿って配列された４つの左方カメラ及び４つの右方カメラのシステム図を示す。
【図４】本明細書の実施形態による、観察円に沿って配列された３つの左方カメラのシステム図を示す。
【図５】本明細書の実施形態による、観察円に沿って配列された３つの右方カメラのシステム図を示す。
【図６】本明細書の実施形態による、シーンの全方位画像を捕捉する６つの左方カメラのシステム図を示す。
【図７】本明細書の実施形態による、シーンの全方位画像を捕捉する６つの右方カメラのシステム図を示す。
【図８】本明細書の実施形態による、全方位画像を得るために演算方法を使用して複数の画像を処理するための方法を示す。
【図９Ａ】本明細書の実施形態による、車の上部に搭載するように構成されたカメラの可能な位置の１つを示す。
【図９Ｂ】本明細書の実施形態による、車の上部に搭載するように構成されたカメラの可能な位置の１つを示す。
【図９Ｃ】本明細書の実施形態による、車の上部に搭載するように構成されたカメラの別の可能な位置を示す。
【図９Ｄ】本明細書の実施形態による、車の上部に搭載するように構成されたカメラの別の可能な位置を示す。
【図１０Ａ】本明細書の実施形態による、ドローンに搭載された複数のカメラの構成を示す。
【図１０Ｂ】本明細書の実施形態による、ドローンに搭載された複数のカメラの構成を示す。
【図１１Ａ】本明細書の実施形態による、ロボットに搭載された複数のカメラの構成を示す。
【図１１Ｂ】本明細書の実施形態による、ロボットに搭載された複数のカメラの構成を示す。
【図１２】本明細書の実施形態による、マルチセンサ手法を使用してオムニステレオビデオを捕捉するための方法を示す。
【図１３】音声を伴うシステム統合のアーキテクチャを示す。
【図１４】音声統合デバイスの内部アーキテクチャを示す。
【図１５】支持可能なカメラの概略図の例を示す。
【図１６Ａ】カメラ較正のための配列の例を提供する。
【図１６Ｂ】カメラ較正のための配列の例を提供する。
【図１７】カメラ較正のための方法の例を提供する。
【図１８】ビデオ安定化のための方法の例を提供する。
【図１９】カメラの可能な配列のシステム図を示す。
【図２０】システムの１つ又は複数のハードウェアコンポーネントの例示的なアーキテクチャを示す。
【図２１】システム用のハードウェアアーキテクチャの追加の例を示す。
【図２２】システム用のハードウェアアーキテクチャのさらなる例を示す。
【発明を実施するための形態】
【００１５】
発明の詳細な説明
本明細書の実施形態並びにその様々な特徴及び有利な詳細は、添付の図面に示され且つ以下の説明で詳述される非限定的な実施形態を参照してさらに完全に説明される。周知のコンポーネント及び処理技法の説明は、本明細書の実施形態をいたずらに分かりにくくしないために省略される。本明細書で使用される例は、本明細書の実施形態を実践できる方法を容易に理解すること、さらに、当業者が本明細書の実施形態を実践できるようにすることのみを意図する。それに従って、例は、本明細書の実施形態の範囲を制限するものと解釈されてはならない。ここで図面を参照すると、より具体的には、図１〜１０を参照すると（図全体を通じて、同様の参照文字は対応する特徴を一貫して示す）、好ましい実施形態が示されている。
【００１６】
画像を捕捉するため、１つ、２つ又はそれ以上のカメラが利用される。本明細書におけるカメラの説明は、いかなるタイプの画像捕捉デバイスも指し得る。カメラは、動画データ（例えば、ビデオ）を捕捉する映画又はビデオカメラであり得る。カメラは、静止画（例えば、写真）を捕捉する静止カメラであり得る。カメラは、動画データと静止画の両方を捕捉するものであり得る。カメラは、動画データの捕捉と静止画の捕捉とを切り替えることができる。本明細書で提供されるある実施形態は、カメラの文脈において説明されるが、本開示は適切ないかなる撮像デバイスにも適用できること、また同様に、カメラに関連する本明細書の説明は適切ないかなる撮像デバイスにも適用できること、また同様に、カメラに関連する本明細書の説明は他のタイプの撮像デバイスにも適用できることが理解されるものとする。カメラは、３Ｄシーン（例えば、環境、１つ又は複数の物体など）の２Ｄ画像を生成するために使用することができる。カメラによって生成された画像は、３Ｄシーンを２Ｄ画像面に投影したものを表し得る。それに従って、２Ｄ画像の各ポイントは、シーンの３Ｄ空間座標に対応する。カメラは、光学素子（例えば、レンズ、鏡、フィルタなど）を含み得る。カメラは、カラー画像、グレースケール画像及び同様のものを捕捉することができる。カメラは、画像捕捉を支援するためのセンサ又はセンサアレイを含み得る。いくつかの例では、カメラは、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを利用することができる。いくつかの例では、本明細書で提供されるシステム及び方法は、レーザ、ＬｉＤＡＲ（すなわち、ソリッドステートＬｉＤＡＲ）、超音波センサなどのアクティブセンサを使用することができる。本明細書におけるカメラの説明は、他のタイプのセンサにも適用することができる。
【００１７】
カメラは、特定の画像解像度で、１つの画像フレーム又は一続きの画像フレームを捕捉することができる。いくつかの実施形態では、画像フレーム解像度は、フレーム内の画素数によって定義することができる。いくつかの実施形態では、画像解像度は、約３５２×４２０画素、４８０×３２０画素、７２０×４８０画素、１２８０×７２０画素、１４４０×１０８０画素、１９２０×１０８０画素、２０４８×１０８０画素、３８４０×２１６０画素、４０９６×２１６０画素、７６８０×４３２０画素又は１５３６０×８６４０画素以上であり得る。いくつかの実施形態では、カメラは、４Ｋカメラ又はより高い解像度を有するカメラであり得る。カメラの画素は、正方形であり得る。他の実施形態では、非正方形の画素又は他の光学的歪みを考慮することができる。
【００１８】
カメラは、特定の捕捉率で一続きの画像フレームを捕捉することができる。いくつかの実施形態では、一続きの画像は、約２４ｐ、２５ｐ、３０ｐ、４８ｐ、５０ｐ、６０ｐ、７２ｐ、９０ｐ、１００ｐ、１２０ｐ、３００ｐ、５０ｉ又は６０ｉなどの標準ビデオフレームレートで捕捉することができる。いくつかの実施形態では、一続きの画像は、０．０００１秒、０．０００２秒、０．０００５秒、０．００１秒、０．００２秒、０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒又は１０秒ごとに大体１つの画像又はそれ以下のレートで捕捉することができる。いくつかの実施形態では、捕捉率は、ユーザ入力及び／又は外部条件（例えば、照明明度）に応じて変更することができる。カメラは、ローリングシャッタ又はグローバルシャッタを利用することができる。カメラは、固定焦点レンズを利用することができる。フルフォーカスカメラなどの固定焦点カメラを利用することができる。
【００１９】
カメラは、いかなる感度も有し得る。例えば、カメラは、約１００、２００、３００、４００、５００、６００、７００、８００、１０００ｍＶ／Ｌｕｘ−ｓｅｃより高い、低い又は等しい感度を有し得る。
【００２０】
いくつかの例では、カメラは、低い光感度を有するセンサを採用することができる。このセンサは、夜間又は屋内などの微光設定でのカメラの動作に対して好ましいものであり得る。或いは、いかなるレベルの光感度のセンサも使用することができる。画像センサの量子効率は、３０％、４０％、５０％、６０％、７０％、８０％、９０％又は９５％を超えるものであり得る。
【００２１】
カメラは、環境の画像を捕捉するためにいかなる事項においても配列することができる。いくつかの例では、パノラマ画像を捕捉することが望ましい場合がある。いくつかの例では、少なくとも１８０度、２７０度又は３６０度の視界を捕捉することが望ましい場合がある。そのような視界を水平方向に及び／又は垂直方向に捕捉することが望ましい場合がある。いくつかの例では、水平方向に３６０度の視界は、カメラの組合せを使用して捕捉することができる。垂直方向に３６０度の視界は、カメラの組合せを使用して捕捉しても、捕捉しなくともよい。
【００２２】
観察円を形成するため、いかなる数のカメラも配列することができる。カメラは、観察円の接線方向を実質的に向くように配列することができる。観察円は、実質的に水平方向又は横方向配向を有し得る。カメラは、カメラの中心軸が観察円と同一平面上に存在するように観察円の接線方向に面することができる。同様に、観察楕円を形成するため、いかなる数のカメラも配列することができる。カメラは、観察楕円の接線方向に同様に配列することができる。本明細書における観察円の説明は、観察楕円にも適用することができる。カメラは、観察円及び／又は観察楕円の周りで実質的に等間隔に（例えば、等角度で）配置することができる。或いは、カメラは、異なる間隔で配置することができるが、それらの配置は、カメラ同士で互いに知り得るものである。
【００２３】
カメラは、左向き及び／又は右向きであり得る。いくつかの例では、左向きカメラと右向きカメラを両方とも採用することができる。いくつかの例では、同じ数の左向き及び右向きカメラを使用することができる。
【００２４】
いくつかの実施形態では、配列内のカメラの各々は、同じタイプのカメラであり得る。カメラは、同じタイプのセンサを採用することができる。各センサは、同じタイプ及び／又はモデルであり得る。或いは、配列内のカメラの１つ又は複数の特性は異なり得る。いくつかの例では、特性の違いは分かっており、捕捉された画像の違いを補正するために使用することができる。
【００２５】
観察円及び／又は観察楕円の周りの接線方向配列を有するカメラを採用することにより、カメラが半径方向外向きに面している従来の配列に勝る利点を提供することができる。半径方向構成では、左眼視野と右眼視野は両方とも、すべてのカメラを使用して捕捉される。しかし、接線方向配列では、向き選択可能なセンサはそれぞれ、個々の眼の視野に対して使用される。例えば、観察円の周りで同じ方向（例えば、時計回り方向）に向いている左方カメラは、左眼の視野を捕捉するために使用することができ、同じ方向（例えば、反時計回り方向）に向いている右方カメラは、右眼の視野を捕捉するために使用することができるなど、その逆も同様である。これにより、オムニステレオ画像の生成に必要な演算量が大幅に低減される。演算の低減により、より簡単なプロセッサの使用或いはより迅速な画像処理及び／又はより少ない電力使用を有利に行うことができる。また、この接線方向配列は、全方位画像におけるある視野から別の視野への視差ジャンプを低減することもできる。
【００２６】
図１は、本明細書の実施形態による、ベースラインに等しい直径を有する観察円を形成する４つの左方カメラのシステム図を示す。システム図は、第１の左方カメラ１０２、第２の左方カメラ１０４、第３の左方カメラ１０６、第４の左方カメラ１０８及び観察円１１０を含む。ベースラインによって水平方向に移動させた第１の左方カメラ１０２、第２の左方カメラ１０４、第３の左方カメラ１０６、第４の左方カメラ１０８によって撮られた画像からは、３６０°情報を抽出することができる。観察円の直径は、ベースラインに等しい。
【００２７】
各視点に対し、時計回り方向の接線方向視野線のセットは、左眼視野を説明し、反時計回り方向の接線方向視野線のセットは、右眼視野を説明する。
【００２８】
ステレオ情報を正確に捕捉するには、カメラは、観察円に接するすべての視野線を捕捉できる必要がある。各カメラの使用可能な視界は２π／ｎであり、ｎは、左眼用のカメラの数である。いくつかの例では、所望の視界を捕捉するため、標準カメラレンズを使用することができる。他の例では、所望の視界を捕捉するため、広角レンズ又は魚眼レンズを採用することができる。例えば、ｎ＜８の場合、所望の視界は、４５度より大きい。そのような例では、広角又は魚眼レンズを使用することができる。
【００２９】
図２は、本明細書の実施形態による、ベースラインに等しい直径を有する観察円を形成する４つの右方カメラのシステム図を示す。システム図は、第１の右方カメラ２０２、第２の右方カメラ２０４、第３の右方カメラ２０６、第４の右方カメラ２０８及び観察円２１０を含む。ベースラインによって水平方向に移動させた第１の右方カメラ２０２、第２の右方カメラ２０４、第３の右方カメラ２０６、第４の右方カメラ２０８によって撮られた画像からは、３６０°情報を抽出することができる。各カメラの使用可能な視界は２π／ｎであり、ｎは、右眼／左眼用のカメラの数である。実施形態では、ｘ＝ｒｃｏｓθ及びｙ＝ｒｓｉｎθ（ｒ＝ベースライン／２）に位置するカメラの中心及びカメラの中心軸は、ｘｃｏｓθ＋ｙｓｉｎθ＝ｒ（ｒは半径である）の線に沿ったものである。
【００３０】
実施形態では、３つの左眼及び３つの右方カメラ、各カメラは、１２０度視界を捕捉する。別の実施形態では、６つの左眼カメラ及び６つの右方カメラ、各カメラは、６０度視界を捕捉する。以前に説明したように、いかなる数（ｎ）の左方カメラ及び／又は右方カメラも使用することができる。例えば、ｎは、約２、３、４、５、６、７、８、９、１０、１１、１２、１５又は２０より大きい、小さい又は等しいものであり得る。カメラの数（ｎ）は、これらの２つの値の間の範囲内であり得る。いくつかの例では、数（ｎ）は、２、３又は４の倍数であり得る。いくつかの例では、利用可能なカメラレンズ視界及び／又は全３６０度パノラマをカバーするという要望に基づいて、そのような倍数が好ましい場合がある。カメラの数は、カメラタイプ及び／又はカメラを支持する土台となる物体に基づいて選択することができる。カメラの数は、観察円及び／又は楕円の半径に基づいて選択することができる。
【００３１】
オムニステレオビデオは、左眼及び右眼視野によって別々に捕捉される。左眼と右眼の両方に対して等しい数（ｎ）のカメラが使用され、図１及び２に示されるように、観察円の接線方向に設置される。例えば、図１及び２に示されるようにｎ＝４であるが、ｎはいかなる数でもあり得る。センサの蓄積配列は、図３に示されている。２ｎ個の視野（１つのｎは左用、もう１つのｎは右用）が捕捉された時点で、最終的なオムニステレオフレームを得るために、演算方法を使用して、２ｎ個の視野が処理される。ｘ２＋ｙ２＝ｒ２（ｒ＝ｂ／２）であり、ｂは、必要な立体視のベースラインである。カメラは、人間と人間以外の両方が視聴することができるステレオパノラマに対して使用することができるため、ｂは、その応用に基づいて適応させることができる。演算方法は、レンズレベル較正及びアセンブリレベル較正を含む。
【００３２】
図３は、本明細書の実施形態による、観察円（３１０）に沿って配列された左方及び右方カメラのシステム図を示す。分解図は、互いに隣接して設置された右方カメラ（３０１、３０３、３０５、３０７）及び左方カメラ（３０２、３０４、３０６、３０８）を含む。
【００３３】
いくつかの例では、カメラは、対で配列することができる。例えば、左方カメラと右方カメラは、観察円の周りで共に対を成すことができる。例えば、右方カメラ３０１は、左方カメラ３０２と対を成すことができる。対のカメラは、実質的に互いに背を向けるように（例えば、反対方向に）配列することができる。対を成すカメラの視野軸は、実質的に同一線上に存在し得る。対のカメラは、背中合わせに配列することができる。
【００３４】
図１５は、カメラ用の可能な支持体を示す。例えば、対のカメラ１５０１、１５０２は、共通の支持体１５０３を共有することができる。共通の支持体は、いかなる形状又は配列も有し得る。共通の支持体は、２つのカメラ間に配置しても、配置しなくともよい。共通の支持体は、２つのカメラの真下、２つのカメラの側面又は２つのカメラの上方に配置することができる。共通の支持体は、カメラの重量を支えることができる。
【００３５】
別の実施形態では、カメラ１５０１、１５０２の各々に別個の支持体１５０４、１５０５を提供することができる。別個の支持体は、それらのそれぞれのカメラの重量を支えることができる。別個の支持体は、カメラ間、カメラの真下、カメラの側面又はカメラの上方など、カメラに対していかなる様式でも配置することができる。別個の支持体は、任意選択により、カメラ同士で互いに動けるようにすることができる。或いは、別個の支持体は、カメラ同士で互いに固定された位置に維持することができる。
【００３６】
支持体（例えば、共通の支持体又は別個の支持体）は、土台となる物体に対して実質的に振れないようにカメラを保持することができる。支持体は、実質的に剛性であり得る。カメラは、土台となる物体に対して固定された位置を有し得る。カメラは、カメラ同士で互いに固定された位置を有し得る。或いは、支持体は、可撓性であり得る。支持体は、土台となる物体に対するカメラの動きを可能にするものであり得る。任意選択により、支持体は、１つ又は複数の湿し機構を含み得る。支持体は、土台となる物体からの振動を低減し、カメラの振れをさらに抑えるようにすることができる。支持体は、カメラの振動を低減するカメラスタビライザを含んでも、含まなくともよい。支持体は、１つのカメラ又は対のカメラを部分的に又は安全に取り囲むものであっても、取り囲まないものであってもよい。支持体は、任意選択により、１つのカメラ又は対のカメラの周りでリングを形成することができる。
【００３７】
いくつかの例では、カメラは、カメラ同士で互いに及び／又は土台となる物体に対して実質的に静止しているようにすることができる。或いは、カメラは、カメラ同士で互いに及び／又は土台となる物体に対して動けるようにすることができる。支持体は、カメラが別のカメラに対して及び／又は土台となる物体に対して動けるようにすることができるアクチュエータを含んでも、含まなくともよい。
【００３８】
カメラは、支持体に永久的に取り付けるか又は固定することができる。或いは、カメラは、支持体から取り外し可能であり得る。いくつかの例では、カメラは、取り付け又は切り離しを繰り返し可能に行うことができる。支持体は、土台となる物体に固定するか又は永久的に取り付けることができる。或いは、支持体は、土台となる物体から取り外し可能であり得る。支持体は、取り付け又は切り離しを繰り返し可能に行うことができる。１つ又は複数の支持体の位置は、カメラを望ましい様式で配列できるように調整することができる。例えば、支持体は、カメラが観察円又は楕円の周りに配置されるように、土台となる物体に対してカメラを保持することができる。支持体は、カメラが観察円又は楕円の接線方向に向くように調整可能であり得る。
【００３９】
図４は、本明細書の実施形態による、ベースラインに等しい直径を有する観察円を形成する３つの左方カメラのシステム図を示す。システム図は、第１の左方カメラ４０２、第２の左方カメラ４０４、第３の左方カメラ４０６及び観察円４１０を含む。
【００４０】
図５は、本明細書の実施形態による、ベースラインに等しい直径を有する観察円を形成する３つの右方カメラのシステム図を説明する。システム図は、第１の右方カメラ５０２、第２の右方カメラ５０４、第３の右方カメラ５０６及び観察円５１０を含む。
【００４１】
図６及び図７は、本明細書の実施形態による、シーンのオムニステレオ画像を捕捉する左方及び右方カメラのシステム図を示す。図は、シーンの画像を捕捉する第１の左方カメラ７０２、第２の左方カメラ７０４、第３の左方カメラ７０６及び第４の左方カメラ７０８（６０２、６０４…６１２）を含む。画像は、Ｉ１、Ｉ２…ＩＮを含み、Ｉ１は第１の画像であり、Ｉ２は第２の画像であり、ＩＮはｎ番目の画像である。実施形態では、最終的なオムニステレオフレームは、演算方法によって得られる。実施形態では、カメラ設計を使用して捕捉することができるオムニステレオ画像の最大視界は、３６０度（Ｈ）×１８０度（Ｖ）である。Ｈは水平方向を表し、Ｖは垂直方向を表す。
【００４２】
図１９は、カメラの例示的な配列を示す。いくつかの実施形態では、カメラは、観察円又は観察楕円の接線方向に配置することができる。いくつかの実施形態では、同じ数の左方カメラ右方カメラを提供することができる。左方及び右方カメラは、互いに対を成しても、対を成さなくともよい。いくつかの例では、０、１、２又はそれ以上の左方及び右方カメラは、共に対を成すことができ（例えば、カメラ１９０１、１９０２）、０、１、２又はそれ以上の右方カメラ及び／又は左方カメラは、別々に提供することができる（例えば、カメラ１９０３、１９０４、１９０５、１９０６）。いくつかの実施形態では、水平方向に３６０度未満の画像を捕捉することが望ましい場合がある。図１９に示される配列などのカメラ配列は、水平方向に約１８０度より大きい、小さい若しくは等しい又は他の任意の値の視界をカバーするために提供することができる。対を成さないカメラは、所望の視界をカバーするように向けることができる。提供されるカメラは、観察円及び／又は観察楕円の周りで等間隔に配置しても、等間隔に配置しなくともよい。いくつかの例では、カメラは、所望の視界を捕捉するように配置することができ、所望の視界を捕捉するために追加のカメラが不要である際は、１つ又は複数の設置間隙を提供することができる。
【００４３】
いくつかの実施形態では、観察円は、水平パノラマを提供するために水平方向に提供することができる。或いは、接線方向に配置されたカメラを有する観察円は、垂直パノラマを提供するために垂直方向に配置することができる、或いは、他の任意の角度（例えば、３０度角度、４５度角度、６０度角度など）で配置することができる。いくつかの例では、カメラは、環境の球形パノラマを提供するために、水平方向の観察円と垂直方向の観察円の両方の周りに配置することができる。追加のいかなるカメラも提供することができる。例えば、水平方向の観察円、垂直方向の観察円又は観察円の組合せに対して、１つ、２つ又はそれ以上の追加のカメラを提供することができる。例えば、本明細書で説明されるようなカメラの配列を有する水平方向の観察円に加えて、１つ又は複数の上向きカメラを提供することができる。それに加えて又はその代替として、本明細書で説明されるようなカメラの配列を有する水平方向の円に加えて、１つ又は複数の下向きカメラを提供することができる。同様に、本明細書で説明されるようなカメラの配列を有する垂直方向の観察円に加えて、１つ若しくは複数の右向きカメラ及び／又は１つ若しくは複数の左向きカメラを提供することができる。
【００４４】
また、カメラ設計は、オムニステレオビデオを捕捉するために、車、車両、ロボット及びドローンなどのいかなる種類の機械にも使用することができる。オムニステレオコンテンツは、（ｉ）バーチャルリアリティ及びオーグメンテッドリアリティ（頭部装着型ディスプレイを使用してオムニステレオ画像／ビデオを視聴することができる）並びに（ｉｉ）機械視覚（機械の自律ナビゲーションのためにさらに使用される深度マップ、視差マップのようなやるべきことのタスク）の複数の目的のために使用することができる。
【００４５】
図８は、本明細書の実施形態による、全方位画像を得るために演算方法を使用して複数の画像を処理するための方法を示す。シーンの複数の画像は、演算方法によって処理され、演算方法は、全方位画像を得るために、シーンの各画像を加算し、次いで、総和画像を２π／ｎで除算する。各カメラの使用可能な視界は２π／ｎであり得る。カメラの視界がさらに大きくなったとしても、いくつかの例では、視界の２π／ｎ部分しか利用できない場合がある。
【００４６】
そのような演算は、個々の眼の視野に対して起こり得る。例えば、すべての左方カメラからの画像は、本明細書で説明されるように処理及び加算することができる。次いで、総和画像を２π／ｎで除算して、左眼全方位画像を得ることができる。同様に、すべての右方カメラからの画像は、本明細書で説明されるように処理及び加算することができる。総和画像を２π／ｎで除算して、右眼全方位画像を得ることができる。右眼画像と左眼画像は、互いにわずかに異なっても、異ならなくともよい。右眼画像と左眼画像は、ステレオパノラマに役立てることができる。いくつかの例では、ベースライン（及び／又は観察円／楕円の半径若しくは形状）は、応用に基づいて適応させることができる。カメラによって捕捉された画像は、人間及び／又は人間以外への応用に使用することができる。ステレオパノラマは、バーチャル及び／又はオーグメンテッドリアリティへの応用に役立てることができる。例えば、オムニステレオ画像又はビデオは、頭部装着型ディスプレイを使用して視聴することができる。個々の眼の視野は、観察者の眼に対応し得る（例えば、左眼パノラマは観察者の左眼に表示することができ、右眼パノラマは観察者の右眼に表示することができる）。画像は、ヘルメット、ゴーグル、眼鏡又は他の任意のタイプのディスプレイ上に表示することができる。画像は、任意選択により、機械視覚への応用に使用することができる。例えば、画像は、自律又は半自律ナビゲーションに役立てることができるマップに利用することができる。画像は、物体の検出に役立てることができる。物体の検出は、物体を探索している際、環境を調査している際、衝突回避又は他の任意の応用に役立てることができる。本明細書で提供されるシステム及び方法は、コンピュータ深度画像に採用することができる。いくつかの例では、右のパノラマ画像及び左のパノラマ画像は、深度画像を計算するために使用することができる。深度画像は、機械視覚への応用に役立てることができる。
【００４７】
いくつかの実施形態では、様々なカメラによって捕捉される画像の各々は、個々のカメラのそれぞれの視界内の環境の画像を含み得る。複数のカメラが配列される際、カメラは、環境の画像部分の重複が可能な視界を有し得る。或いは、カメラの視界を提供することができ、視界に重複がないようにカメラを配列することができる。重複が生じた際は、演算は、画像をどのように調整するか及び／又は画像部分をどのように選択するかを決定することができる。
【００４８】
以前に論じたように、カメラは、いかなる様式でも配列することができる。いくつかの例では、カメラは、土台となる物体の周りに提供することができる。カメラは、土台となる物体によって支持することができる。土台となる物体は、移動物体であり得る。或いは、土台となる物体は、静止物体であり得る。土台となる物体は、自走式物体であっても、自走式物体でなくともよい。例えば、土台となる物体は、車両（例えば、陸上車両、空中車両（例えば、ＵＡＶ）、水上車両、宇宙船など）であり得る。土台となる物体は、人間又は動物が着用できる着用可能デバイス（例えば、頭上、顔の周り、胴体の周り、腕、手、足又は他の任意の部分）であり得る。土台となる物体は、ハンドヘルド物体、ブーム又は他の任意の物体であり得る。
【００４９】
カメラは、観察円に配列することができる。観察円は、土台となる物体又は土台となる物体の一部の周りであり得る。カメラは、実質的に同一平面上に配列することができる。カメラは、同じ高さに配置されても、異なる高さに配置されてもよい。カメラは、実質的に水平方向の視野軸を有し得る。カメラは、単一の平面上又は互いに実質的に平行な複数の平面上にある視野軸を有し得る。
【００５０】
図９Ａ及び図９Ｂは、本明細書の実施形態による、車の上部に搭載するように構成された複数のカメラの側面図及び等角図をそれぞれ示す。複数のカメラは、第１のカメラ９０２、第２のカメラ９０４、第３のカメラ９０６及び第４のカメラ９０８を含む。複数のカメラは、左右視野を捕捉する。複数のカメラが左右視野を捕捉した後、左右視野は、シーンのオムニステレオビデオを得るために演算方法を使用して処理される。４セットのカメラが例として提供されているが、本明細書の他の場所で説明されるように、他のいかなる数のカメラも使用することができる。
【００５１】
カメラは、実質的に観察円又は楕円上に位置するように車両の周りに配列することができる。カメラは、観察円又は楕円の接線方向にあり得る。カメラは、車両の右前方の角、車両の左前方の角、車両の右後方の角及び車両の左後方の角に配置することができる。カメラは、車両の長さに沿って伸びる軸に対して約４５度（又は１３５度）に向けることができる。カメラは、車両の周りの３６０度視野を捕捉することができる。
【００５２】
カメラは、車両に対していかなる高さにも設置することができる。カメラは、車両の周りにおいてカメラ同士で互いに実質的に同じ高さであり得る。カメラは、高さに関して、カメラ同士で互いに２フィート、１フィート、６インチ、３インチ又は１インチ以内にあり得る。カメラは、視界が車両の周りの所望のパノラマ範囲を提供できるほど十分に重複するような高さに配置することができる。カメラは、車両の屋根の近く、車両のバンパの近く、車両のドアハンドルレベルを聞く又は車両の他の任意の高さに設置することができる。カメラは、車両の部分がカメラによる画像捕捉を妨げないように、車両の周りに配置することができる。
【００５３】
図１０Ａ及び１０Ｂは、本明細書の実施形態による、ドローンに搭載された複数のカメラの構成を示す。ドローン１０１０は、第１のカメラ１００２、第２のカメラ１００４、第３のカメラ１００６及び第４のカメラ１００８を有するように構成される。複数のカメラは、第１のカメラ１００２、第２のカメラ１００４、第３のカメラ１００６及び第４のカメラ１００８を含む。複数のカメラは、左右視野を捕捉する。複数のカメラが左右視野を捕捉した後、左右視野は、シーンのオムニステレオビデオを得るために演算方法を使用して処理される。カメラは、水平視差ステレオパノラマと共に音声を捕捉するように適応させた１つ又は複数のマイクロフォンを含む。４セットのカメラが例として提供されているが、本明細書の他の場所で説明されるように、他のいかなる数のカメラも使用することができる。
【００５４】
車両の場合と同様に、カメラは、実質的に観察円又は楕円上に位置するようにドローンの周りに配列することができる。カメラは、観察円又は楕円の接線方向にあり得る。カメラは、ドローンの周りにおいてカメラ同士で互いに９０度を成すように配置することができる。例えば、左方カメラは、観察円の周りにおいて９０度間隔で配置することができ、右方カメラは、観察円の周りにおいて９０度間隔で配置することができる。観察円は、ドローンの胴体又はドローン全体を包含し得る。カメラは、ドローンの周りの３６０度視野を捕捉することができる。
【００５５】
カメラは、ドローンに対していかなる垂直設置でも設置することができる。カメラは、ドローンの周りにおいてカメラ同士で互いに実質的に同じ垂直設置であり得る。カメラは、高さに関して、カメラ同士で互いに１フィート、６インチ、５インチ、４インチ、３インチ、２インチ、１インチ、１／２インチ、１／４インチ又は１／８インチ以内にあり得る。カメラは、視界がドローンの周りの所望のパノラマ範囲を提供できるほど十分に重複するような高さに配置することができる。カメラは、ドローンの１つ若しくは複数のロータ／プロペラの真下、ドローンの１つ若しくは複数のアームの真下、ドローンの１つ若しくは複数のアーム若しくはロータ／プロペラの単独又は上方、又は、ドローンの他の任意の高さに設置することができる。カメラは、ドローンの部分がカメラによる画像捕捉を妨げないように、ドローンの周りに配置することができる。
【００５６】
図１１Ａ及び１１Ｂは、本明細書の実施形態による、ロボットに搭載された複数のカメラの構成を示す。ロボット１１０４は、複数のカメラ１１０２を有するように構成される。複数のカメラは、左右視野を捕捉する。複数のカメラが左右視野を捕捉した後、左右視野は、シーンのオムニステレオビデオを得るために演算方法を使用して処理される。３セットのカメラが例として提供されているが、本明細書の他の場所で説明されるように、他のいかなる数のカメラも使用することができる。
【００５７】
同様に、カメラは、実質的に観察円又は楕円上に位置するようにロボットの周りに配列することができる。カメラは、観察円又は楕円の接線方向にあり得る。カメラは、ロボットの周りにおいてカメラ同士で互いに１２０度を成すように配置することができる。例えば、左方カメラは、観察円の周りにおいて１２０度間隔で配置することができ、右方カメラは、観察円の周りにおいて１２０度間隔で配置することができる。観察円は、ロボット全体又はロボットのほんの一部分を包含し得る。例えば、観察円は、ロボットの頭部より小さくとも、ロボットのボディを包含してもよい。カメラは、ドローンの周りの３６０度視野を捕捉することができる。
【００５８】
カメラは、ロボットに対していかなる垂直設置でも設置することができる。カメラは、ロボットの周りにおいてカメラ同士で互いに実質的に同じ垂直設置であり得る。カメラは、高さに関して、カメラ同士で互いに１フィート、６インチ、５インチ、４インチ、３インチ、２インチ、１インチ、１／２インチ、１／４インチ又は１／８インチ以内にあり得る。カメラは、視界がロボットの周りの所望のパノラマ範囲を提供できるほど十分に重複するような高さに配置することができる。カメラは、ロボットの頭頂部、ロボットの頭部の周り、ロボットの胴体の周り、ロボットのアームの周り、ロボットの腰の周り、ロボットの足の周り、又は、ロボットの他の任意の高さに設置することができる。ロボットは、人型ロボットであっても、人型ロボットでなくともよい。ロボットは、１つ又は複数のホイール、足、ロータ、プロペラ、トレッド、パドル又は他の任意の推進機構を用いて推進することができる。カメラは、ロボットの部分がカメラによる画像捕捉を妨げないように、ロボットの周りに配置することができる。
【００５９】
カメラは、同様に、人間又は動物などの生物に配置することができる。カメラは、人間又は動物が着用できる着用可能デバイスによって支持することができる。本明細書におけるロボットの周りのカメラ設置の説明は、人間又は動物にも適用することができる。
【００６０】
図１２は、本明細書の実施形態による、マルチセンサ手法を使用してオムニステレオビデオを捕捉するための方法を示す。ステップ１２０２では、左方カメラと右方カメラの両方からシーンの画像を同時に捕捉して左眼パノラマ及び右眼パノラマを得るために、較正方法を使用して左方及び右方カメラを位置合わせする。ステップ１２０４では、左眼画像及び右眼画像を生成するために、演算方法を使用して左眼パノラマ及び右眼パノラマを演算する。ステップ１２０６では、オムニステレオ画像を得るために、左眼画像と右眼画像を組み合わせる。
【００６１】
左方カメラは、較正方法を使用して位置合わせすることができる。較正方法の例は、本明細書の他の場所でより詳細に説明される。公知の又は後に開発される他の較正方法を利用することができる。左方カメラは、較正方法に基づいて位置合わせすることができる。
【００６２】
右方カメラは、較正方法を使用して位置合わせすることができる。較正方法の例は、本明細書の他の場所でより詳細に説明される。公知の又は後に開発される他の較正方法を利用することができる。右方カメラは、較正方法に基づいて位置合わせすることができる。右方カメラと左方カメラに対して同じ較正方法を使用することができる。或いは、異なる較正方法を採用することができる。いくつかの例では、較正方法は、１つ又は複数の命令セット、検知された環境条件、土台となる物体又はカメラに基づいて選択することができる。
【００６３】
利用される較正技法は、理想的なレンズモデルと使用されたカメラレンズ組合せとの差、歪みなどの光学的欠陥、画像間の露光差、口径食、カメラ反応及び色収差を最小限に抑えるか又は低減することができる。
【００６４】
カメラを位置合わせする際、カメラの配置を変更しても、変更しなくともよい。いくつかの例では、カメラの配置は、手動で変更することができる。或いは、カメラの配置は、１つ又は複数のアクチュエータを用いて変更することができる。１つのカメラ又は１対のカメラ用の１つ又は複数の支持体は、カメラを位置合わせできるようにするためのアクチュエータを含み得る。カメラを物理的に移動することも、カメラの１つ又は複数の回転軸（例えば、ピッチ、ロール、ヨー）を変更することもできる。カメラの位置の変更又は維持を行うため、プロセッサによって１つ又は複数の制御信号を生成し、アクチュエータに送信することができる。
【００６５】
いくつかの例では、カメラの位置合わせによって必ずしもカメラの動きが生じるわけではない。いくつかの例では、カメラを位置合わせすることは、カメラの配置についてのデータ（例えば、場所、角度など）を集めることと、カメラによって捕捉された画像を処理する際に、カメラの配置についての情報を使用することとを含み得る。互いに対する、土台となる物体に対する及び／又は環境に対するカメラの配置は、カメラによって捕捉された画像を処理する際に考慮することができる。視界の使用可能な部分は、情報に基づいて調整することができる。いくつかの例では、画像を共に組み合わせる際の計算は、情報に基づいて調整することができる。
【００６６】
いくつかの例では、位置合わせは、合成されている画像の視点とマッチするように画像を変換するために使用することができる。位置合わせでは、画像が新しい座標系（所望の視点とマッチする画像を出力できるもの）を取り入れられるように、座標系の変更を採用することができる。これは、画像の平行移動、画像の回転、相似変換（画像の平行移動、回転及びスケーリングを利用するもの）、射影変換又は他の任意のタイプの変換を含み得る。
【００６７】
いくつかの例では、１つ又は複数のカメラ設定は、較正ステップに基づいて調整することができる。例えば、シャッタ速度、焦点深度、開口、ＩＳＯ又は他の任意の因子などの因子を調整することができる。
【００６８】
カメラの較正後、様々なカメラによって画像を捕捉することができる。観察円の周りのカメラは、画像を同時に捕捉することができる。右眼カメラと左眼カメラの両方とも、画像を捕捉することができる。いくつかの例では、すべてのカメラは、ビデオ画像又は一連の静止画像を同時にライブ捕捉することができる。
【００６９】
左眼パノラマは、１つ又は複数の演算方法を使用して演算することができる。同様に、右眼パノラマは、１つ又は複数の演算方法を使用して演算することができる。左眼及び右眼パノラマは、互いに独立して計算することができる。各側に対して、同じ演算を使用することができる。或いは、異なる演算を使用することができる。いくつかの例では、演算方法は、提供される命令若しくは検知された環境情報、土台となる物体及び／又はカメラに基づいて、複数の利用可能な演算方法から選択することができる。演算方法は、較正段階で集められた情報を組み込んでも、組み込まなくともよい。
【００７０】
当技術分野で公知の又は後に開発されるいかなる演算方法も使用することができる。好ましい実施形態では、結果として得られるパノラマ画像を構築するために、スティッチング技法は必要ではない場合がある。代替の例では、複数のカメラからの画像を組み合わせるために、画像スティッチング技法を採用することができる。いくつかの例では、演算方法は、キーポイント検出などの特徴検出を採用することができる。コーナー、ブロブ、Harrisコーナー及びHarrisコーナーのガウシアンフィルタ画像の差分（ＤｏＧ：difference of gaussian）は繰り返し可能であり且つ特徴的であるため、利用することができる特徴。いくつかの例では、演算方法は、画像レジストレーションを採用することができる。１つ又は複数の特徴が共にマッチし得る。任意選択により、これは、重複画素の差を最小限に抑えるように実施することができる。任意選択により、ＲＡＮＳＡＣ反復法を採用することができる。
【００７１】
得られた画像は合成することができる。画像は、共に融合することができる。これは、色調整、動き補償、ゴースト除去、又は、画像のシームレスな組合せを形成するための他の任意のタイプの技法を含み得る。結果として得られた画像は、地図投影法を使用して配列することができる。例えば、直線投影、円筒投影、球面投影又は速記若しくは魚眼投影を採用することができる。
【００７２】
任意選択により、カメラから捕捉された画像は、パノラマを形成するために並べて線形連結することができる。いくつかの例では、追加の処理は不要であり得る。従って、カメラが接線方向に面することにより、計算を簡素化することができる。これにより、画像処理が少なくて済む。カメラの配列は、より簡単な処理を有利に可能にすることができ、それにより、コスト、サイズ及び／又は電力消費量を低減することができる。いくつかの実施形態では、深度演算を使用してカメラを位置合わせすることができる。位置合わせが終了した後、３６０度パノラマなどのパノラマを作成するために、個々の画像を並べて置くことができる。
【００７３】
左眼画像と右眼画像は、組み合わせて、オムニステレオ画像を提供することができる。結果として得られたオムニステレオ画像は、環境を観察している個人が両眼で見ることができるような現実的な視野を有利に提供することができる。オムニステレオ画像は、いかなる視界も有し得る。いくつかの例では、視界は、水平方向に少なくとも９０度、１８０度、２７０度又は３６０度を包含し得る。視界は、垂直方向に少なくとも９０度、１８０度、２７０度又は３６０度を包含し得る。視界は、本明細書で提供される値のいずれかの値以下であり得る。例えば、最大視界は、水平方向に３６０度及び垂直方向に１８０度であり得る。視界は、次元のいかなる組合せでもあり得る。
【００７４】
図１６Ａ及び１６Ｂは、カメラ較正のための配列の例を示す。図１６Ａは、４つの左方カメラ及び４つの右方カメラを有する可能なカメラ配列を示す。本明細書の他の場所で説明されるように、いかなる数及び設置のカメラも採用することができる。カメラは、任意選択により、観察円又は楕円の周りに等しく配置することができる。
【００７５】
カメラ対の構成は、１つ又は複数のカテゴリに分類することができる。例えば、カメラ対は、図１６Ｂに示されるように、直線対、垂直対及び連続対として分類することができる。
【００７６】
レンズ間の回転がゼロに近い標準のステレオ対であり得る直線対の後部及び前部レンズ。例えば、実質的に同じ方向に面している（例えば、それらの視野軸は実質的に平行であり得る）カメラ１Ｆ及びカメラ３Ｂは、直線対と見なすことができる。垂直対は、ある軸におけるレンズ間の回転が約９０度であり、残りの軸ではゼロに近いステレオ対であり得る後部及び前部レンズの対を含み得る。例えば、カメラ１Ｆ及びカメラ２Ｂは、ステレオ対と見なすことができる。カメラは、互いに実質的に垂直な方向に面することができる（例えば、それらの視野軸は垂直であり得る）。それらの視界は、同じ又は同様のエリアを囲い込むことができる。連続対は、本質的に隣接する前部レンズの対又は後部レンズの対をそれぞれ含み得る。例えば、カメラ１Ｆ及びカメラ２Ｆは、連続対と見なすことができる。これらのカメラは、互いに実質的に垂直な方向に面することができる（例えば、それらの視野軸は垂直であり得る）が、同じ視界又はエリアに向くことはできない。
【００７７】
４つのカメラが例として提供されているが、この較正技法は、いかなる数のカメラにも適用することができる。カメラの異なる配列において同じカテゴリを採用することができる。例えば、６つの右方カメラ及び６つの左方カメラが採用された場合、依然として、直線対、垂直対及び連続対が存在し得る。或いは、カメラの数に基づいて、異なるカテゴリを提供することができる。
【００７８】
図１７は、較正のための方法の例を示す。いくつかの実施形態では、カメラは、広角レンズ又は魚眼レンズを利用することができる。そのようなレンズが採用される場合は、広角又は魚眼画像を正距円筒画像に変換することができる（１７０１）。長方形の画像を捕捉する標準レンズが採用される場合は、このステップは不要であり得る。
【００７９】
次いで、内部及び外部カメラパラメータカメラを見出すことができる（１７０２）。いくつかの例では、内部パラメータは、焦点距離、画像センサフォーマット、主点を組み込むことができる。いくつかの例では、レンズ歪みは、内部パラメータの別の例であり得る。内部パラメータは、カメラと画像フレーム内の画素座標との間のマッピングを可能にすることができる。任意選択により、外部パラメータは、環境内（例えば、ワールド座標内）のカメラの視野中心及び／又はカメラの方位などのカメラの配置情報を組み込むことができる。ワールドフレーム内のカメラの場所及び角度を決定することができる。
【００８０】
直線対のカメラを位置合わせすることができる（１７０３）。位置合わせは、本明細書の他の場所で説明されるようなステップ又は特性のいずれも組み込むことができる。
【００８１】
垂直対のカメラを位置合わせすることができる（１７０４）。そのような位置合わせは、順番に又は直線対のカメラの位置合わせと並行して起こり得る。そのような位置合わせは、いかなる順番でもて起こり得る。
【００８２】
直線対及び垂直対の外部パラメータを使用して連続対のカメラを位置合わせすることができる（１７０５）。
【００８３】
連続対の位置合わせの後、両方の画像の共通の特徴は、同じ水平方向のエピポーラ線上にあり得る。調整後、一方のレンズを−π／ｎ回転し、他方のレンズを＋π／ｎ回転することができる。画像をπ／ｎ及び＝π／ｎそれぞれ回転することができる。
【００８４】
図１８は、ビデオ安定化のための方法の例を提供する。ビデオ安定化（又は画像安定化）は、一方から他方へのオプティカルフローを演算すること（１８０１）を含み得る。そのような演算は、キューブマップ上で起こり得る。
【００８５】
フレームの平均オプティカルフローが閾値（例えば、ｔｈ＿｛ｏｆ｝）を超えるかどうかについての判断を行うことができる（１８０２）。平均オプティカルフローが閾値以上である場合は、フレームは、キーフレームと見なすことができる（１８０３）。開始フレーム（例えば、第１のフレーム）は、キーフレームと見なすことができる。平均オプティカルフローが閾値未満である場合は、フレームは、非キーフレームと見なすことができる（１８０４）。
【００８６】
キーフレーム間のカメラ回転を推定することができる（１８０５）。いくつかの例では、カメラ回転を推定するためにNisterの５点アルゴリズムを採用することができる。回転は、第１のフレームに基づき得る（すなわち、第１のフレームに対するものであり得る）。
【００８７】
非キーフレームに対するカメラ回転を推定することができる（１８０６）。回転を推定するため、最適化アルゴリズムを使用することができる。回転は、第１のフレームに基づき得る（すなわち、第１のフレームに対するものであり得る）。
【００８８】
カメラ経路全体に対してスムーズなカメラ軌跡を得ることができる（１８０７）。スムーズなカメラ軌跡は、新しい回転を組み込むことができる。
【００８９】
安定化ビデオを得るために追加の回転を適用することができる（１８０８）。一例では、回転は、３６０×１８０の認識回転であり得る。この回転は、結果として得られるパノラマ画像が水平方向に３６０度及び垂直方向に１８０度を包含する場合に適用可能であり得る。回転は、パノラマ画像の範囲に相当し得る。
【００９０】
較正ステップ及び／又は演算ステップのいずれも、カメラ内又はカメラ外で起こり得る。本明細書で提供されるステップのいずれも、カメラ内又はカメラ外に位置し得る１つ又は複数のプロセッサを用いて起こり得る。プロセッサは、カメラの１つ若しくは複数の支持体上に、土台となる物体上に又は土台となる物体から離れて位置し得る。例えば、プロセッサは、ユーザデバイス（例えば、デスクトップコンピュータ、ラップトップ、スマートフォン、タブレット、携帯情報端末など）若しくは他の任意のデバイス（例えば、サーバ）又はデバイスの組合せ（例えば、クラウドコンピューティングインフラ、ピアツーピアネットワーク）に位置し得る。カメラによって捕捉される画像は、演算のためにプロセッサによって得ることができる。画像は、有線接続又は無線通信を介して１つ又は複数のプロセッサに提供することができる。例えば、カメラは、土台となる物体上に装着するか又は土台となる物体によって着用することができる。任意選択により、オムニステレオ画像は、カメラ内又はカメラの支持体において構築することができる。オムニステレオ画像は、土台となる物体で又は土台となる物体上で構築することができる。或いは、オムニステレオ画像は、リモートで構築することができる。オムニステレオビデオ及び／又は画像は、リアルタイム（例えば、画像捕捉から１分、３０秒、２０秒、１５秒、１０秒、５秒、３秒、２秒、１秒、０．５秒、０．１秒、０．０５秒又は０．０１秒以内）で作成することができる。本明細書で提供されるシステム及び方法は、オムニステレオ画像のリアルタイム形成を可能にすることができる高速処理を有利に行うことができる。或いは、演算を後の時間に行い、オムニステレオ画像を後の時間に形成することができる。
【００９１】
図１３は、本明細書の実施形態による、コンピュータ命令セットを有するメモリ１３０２と、バス１３０４と、ディスプレイ１３０６と、スピーカ１３０８と、本明細書の方法のいずれか１つ又は複数を実行するために命令セットの処理が可能なプロセッサ１３１０とを有するパーソナル通信デバイスの分解図を示す。また、プロセッサ１３１０は、１つ又は複数のディスプレイ１３０６を介して出力するためにビデオ形式で、或いは、スピーカ及び／又はイヤホン１３０８を介して出力するために音声形式で、デジタルコンテンツを消費できるようにすることもできる。また、プロセッサ１３１０は、本明細書で説明される及び本明細書の実施形態による方法を実行することもできる。
【００９２】
デジタルコンテンツは、将来の処理又は消費のためにメモリ１３０２に格納することもできる。また、メモリ１３０２は、将来利用可能な又は過去に格納されたデジタルコンテンツについての情報（例えば、検出された情報ビット）を含む、プログラム特有の情報及び／又はサービス情報（ＰＳＩ／ＳＩ）を格納することもできる。パーソナル通信デバイスのユーザは、この格納された情報をディスプレイ１３０６上で閲覧し、入力（キーパッド、スクロール若しくは他の入力デバイス又はそれらの組合せの形態を取ることができる）を介して閲覧、視聴又は他の用途のためのアイテムを選択することができる。デジタルコンテンツが選択されると、プロセッサ１３１０は、情報を渡すことができる。コンテンツ及びＰＳＩ／ＳＩは、バス１３０４を使用してパーソナル通信デバイス内の機能間で渡し合うことができる。
【００９３】
本明細書の実施形態によって提供される技法は、集積回路チップ（図示せず）上で実装することができる。チップ設計は、グラフィカルコンピュータプログラミング言語で作成され、コンピュータ記憶媒体（ディスク、テープ、物理ハードディスク又は仮想ハードディスク（記憶装置アクセスネットワーク内のなど）など）に格納される。設計者がチップ又はチップを製作するために使用されるフォトリソグラフィマスクを製作しない場合は、設計者は、物理的な手段によって（例えば、設計を格納する記憶媒体のコピーを提供することによって）又は電子的に（例えば、インターネットを通じて）、結果として得られた設計をそのようなエンティティに直接又は間接的に送信する。
【００９４】
次いで、格納された設計は、ウエハ上に形成される問題のチップ設計の複数のコピーを典型的に含むフォトリソグラフィマスクの製作のために、適切なフォーマット（例えば、ＧＤＳＩＩ）に変換される。フォトリソグラフィマスクは、エッチング又は別の方法での処理が行われるウエハのエリア（及び／又はウエハ上の層）を定義するために利用される。
【００９５】
結果として得られた集積回路チップは、製作者によって、ベアダイとして未処理のウエハ形態で（すなわち、パッケージ化されていない複数のチップを有する単一のウエハとして）又はパッケージ化された形態で分配することができる。後者の事例では、チップは、単一チップパッケージ（マザーボードに取り付けられたリードを有するプラスチックキャリア若しくは他の高レベルのキャリアなど）又はマルチチップパッケージ（表面相互接続及び埋め込み相互接続の一方又は両方を有するセラミックキャリアなど）に装着される。いずれの事例でも、チップは、次いで、（ａ）中間製品（マザーボードなど）又は（ｂ）最終製品の一部として、他のチップ、離散回路素子及び／又は他の信号処理デバイスと統合される。最終製品は、おもちゃ及び他の低性能応用から高度なコンピュータ製品（ディスプレイ、キーボード又は他の入力デバイス及び中央プロセッサを有する）までの範囲の集積回路チップを含むいかなる製品でもあり得る。
【００９６】
本明細書の実施形態は、完全なハードウェア実施形態、完全なソフトウェア実施形態又はハードウェア要素とソフトウェア要素の両方を含む実施形態の形態を取ることができる。ソフトウェアで実装される実施形態は、これらに限定されないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。その上、本明細書の実施形態は、コンピュータ若しくは任意の命令実行システムによって使用するための又はコンピュータ若しくは任意の命令実行システムに関連するプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態を取ることができる。この説明の目的のため、コンピュータ使用可能又はコンピュータ可読媒体は、命令実行システム、装置若しくはデバイスによって使用するための又は命令実行システム、装置若しくはデバイスに関連するプログラムを含む、格納する、伝達する、伝播する又は運ぶことができるいかなる装置でもあり得る。
【００９７】
媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム（又は装置若しくはデバイス）或いは伝播媒体であり得る。コンピュータ可読媒体の例は、半導体若しくはソリッドステートメモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛性磁気ディスク及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク読み取り／書き込み（ＣＤ−Ｒ／Ｗ）及びＤＶＤを含む。
【００９８】
プログラムコードの格納及び／又は実行に適したデータ処理システムは、システムバスを通じてメモリ要素に直接又は間接的に結合された少なくとも１つのプロセッサを含む。メモリ要素は、プログラムコードの実際の実行の間に採用されるローカルメモリ、大容量記憶装置、及び、実行の間に大容量記憶装置からコードを回収しなければならない回数を低減するために少なくともいくつかのプログラムコードの一時的な格納を提供するキャッシュメモリを含み得る。
【００９９】
入力／出力（Ｉ／Ｏ）デバイス（これらに限定されないが、キーボード、ディスプレイ、ポインティングデバイス、リモート制御などを含む）は、直接又は介在Ｉ／Ｏコントローラを通じてシステムに結合することができる。また、介在プライベート又はパブリックネットワークを通じてデータ処理システムを他のデータ処理システム又はリモートプリンタ若しくは記憶装置に結合できるようにするために、システムにネットワークアダプタを結合することもできる。モデム、ケーブルモデム及びイーサネットカードは、現在利用可能なタイプのネットワークアダプタのほんの数例である。
【０１００】
本明細書の実施形態を実践するための代表的なハードウェア環境は、図１４で描写される。この概略図面は、本明細書の実施形態による、情報処理／コンピュータシステムのハードウェア構成を示す。システムは、少なくとも１つのプロセッサ又は中央処理装置（ＣＰＵ）１０を含む。ＣＰＵ  １０は、ランダムアクセスメモリ（ＲＡＭ）１４、読み取り専用メモリ（ＲＯＭ）１６及び入力／出力（Ｉ／Ｏ）アダプタ１８などの様々なデバイスにシステムバス１２を介して相互接続される。Ｉ／Ｏアダプタ１８は、ディスクユニット１１及びテープドライブ１３又はシステムによる読み取りが可能な他のプログラム記憶装置などの周辺デバイスに接続することができる。システムは、プログラム記憶装置上の発明的命令を読み取り、これらの命令に従って本明細書の実施形態の方法を実行することができる。
【０１０１】
システムは、ユーザ入力を集めるために、キーボード１５、マウス１７、スピーカ２４、マイクロフォン２２及び／又は他のユーザインタフェースデバイス（タッチスクリーンデバイス（図示せず）若しくはリモート制御など）をバス１２に接続するユーザインタフェースアダプタ１９をさらに含む。それに加えて、通信アダプタ２０は、データ処理ネットワーク２５にバス１２を接続し、ディスプレイアダプタ２１は、例えば、モニタ、プリンタ又は送信機などの出力デバイスとして具体化することができるディスプレイデバイス２３にバス１２を接続する。
【０１０２】
図２０は、システムの１つ又は複数のハードウェアコンポーネントの例示的なアーキテクチャを示す。任意選択により、１つ又は複数のＦＰＧＡをシステムに組み込むことができる。一例では、モバイル画像センサ及び／又はディスプレイ用の様々なプロトコル及びインタフェースをサポートすることができるプログラム可能なビデオブリッジングデバイスを提供することができる。MIPI DPI、MIPI DBI、ＣＭＯＳカメラ及びディスプレイインタフェース、Ｏｐｅｎ  ＬＤＩ、ＦＰＤ−Ｌｉｎｋ、ＦＬＡＴＬＩＮＫ、MIPI D-PHY、MIPI CSI-2、MIPI DSI、ＳＬＶＳ２００、ＳｕｂＬＶＤＳ、ＨｉＳＰｉ又はその他などの様々なビデオインタフェースをサポートすることができる。システムは、超低電力を使用することができる。スリープモードをサポートすることができる。いくつかの実施形態では、正常な動作は、次の任意の２つの値、すなわち、１ｍＷ、３ｍＷ、５ｍＷ、１０ｍＷ、２０ｍＷ、３０ｍＷ、５０ｍＷ、７５ｍＷ、１００ｍＷ、１５０ｍＷ、２００ｍＷ、３００ｍＷ又は５００ｍＷの間の範囲内に収まり得る。いくつかの例では超小型フットプリントパッケージを提供することができる。例えば、フットプリントは、５０、４０、３０、２５、２０、１５、１０、５、３、２、１、０．５又は０．１平方インチ以下であり得る。
【０１０３】
ＦＰＧＡは、フレキシブルMIPI-CSI及びDSIブリッジングソリューションとして望ましいものであり得る。いくつかの例では、最大で２つの埋め込みハードＤ−ＰＨＹブロックが存在し得、フレキシブルプログラマブルＩ／Ｏの２つのバンクは、Ｄ−ＰＨＹ  Ｒｘ、ｓｕｂＬＶＤＳ、ＳＬＶＳ２００、ＬＶＤＳ及び／又はＣＭＯＳなどの様々な規格をサポートする。ＬＵＴ、メモリ及びシステムリソースを提供して広範なブリッジングオプションを実施するため、プログラマブル論理コアを提供することができる。
【０１０４】
本明細書で提供されるシステム及び方法は、カメラがプロセッサとインタフェースを取ることができるようにする。異なるインタフェースを有する様々なカメラ及び／又はプロセッサを適応させることができる。
【０１０５】
図２１は、システム用のハードウェアアーキテクチャの追加の例を示す。システムは、様々なカメラからビデオを同時に捕捉することができる。ビデオは、連続的に又は周期的に捕捉することができる。いくつかの例では、マイクロフォンインタフェースを提供することができる。任意選択により、メモリカードなどの取り外し可能なメモリ記憶装置を使用することができる。例えば、マイクロＳＤカードスロットを提供することができる。Wi-Fi通信インタフェースなどの通信インタフェースを提供することができる。データ転送インタフェースを提供することができる。データは、無線で及び／又は有線接続上で転送することができる。例えば、ＵＳＢインタフェースを提供することができる。任意選択により、システムは、電池式のものであり得る。ローカル電源を提供することができる。或いは、外部電源に結合するために、インタフェースを提供することができる。
【０１０６】
様々なカメラモジュール２１０１、２１０２は、１つ又は複数のプロセッサ２１０３、２１０４とインタフェースを取ることができる。一例では、１つ又は複数のＳＣ２０００プロセッサを提供することができる。画像プロセッサは、望ましいいかなる性能特性も有することができる。例えば、画像処理性能は、少なくとも毎秒０．１、０．３、０．５、０．７、１．０、１．２、１．５又は２．０ギガ画素に達することができる。いくつかの例では、低電力消費量を維持しながらこの画像処理性能を達成することができる。例えば、電力消費量は、０．０１Ｗ、０．０５Ｗ、０．１Ｗ、０．５Ｗ、１．０Ｗ、１．５Ｗ、１．７Ｗ、２．０Ｗ、２．５Ｗ、３．０Ｗ又は５．０Ｗ未満であり得る。
【０１０７】
カメラからのビデオは、共に組み合わせること及び／又はスティッチングすることができる。魚眼レンズを使用すると、リアルタイムで歪みを補正することによって、ワインダ画角でビデオを捕捉することが可能であり得る。
【０１０８】
任意選択により、各カメラは、それ自体のプロセッサを有し得る。或いは、１つ又は複数のカメラは、プロセッサを共有することができる。一例では、プロセッサのうちの１つは、マスタプロセッサ２１０３であり得る。他のプロセッサは、スレーブプロセッサであり得る。マスタプロセッサは、画像又はビデオを捕捉するためのコマンドを１つ又は複数のスレーブモジュール２１０４に送信することができる。１つ又は複数のスレーブモジュールは、ＳＰＩ若しくはアドレス、データ及び／又はＣＳラインを使用して、ビデオ又は写真の生データをマスタモジュールに送信することができる。
【０１０９】
マスタモジュール２１０３は、生データをメモリに保存することができる。メモリは、ＳＤカード２１０５などの取り外し可能なメモリであり得る。いくつかの例では、データは、通信ユニット（例えば、Wi-Fiモジュール２１０６）を介して外部デバイスに同時に転送することもできる。外部デバイスは、モバイルデバイス（例えば、スマートフォン、タブレット、ラップトップ）又はコンピュータ、サーバ、クラウドコンピューティングインフラなどを含み得る。転送されたデータは、任意選択により、プレビューすることができる。外部デバイスは、データの受信及びそのデータの所望のフォーマットへの変換を行うアプリケーションを含み得る。例えば、モバイルデバイス上のモバイルアプリケーションは、カメラから生データを受信し、１つ又は複数のアルゴリズム又は演算を使用して、その生データをパノラマ画像又はオムニステレオ画像に変換することができる。カメラ又はプロセッサ／モジュール上で画像の前処理及び／又は演算が起こっても、起こらなくともよい。いくつかの例では、前処理及び／又は演算は、外部デバイスで起こる。
【０１１０】
図２２は、システム用のハードウェアアーキテクチャのさらなる例を示す。システムは、様々なカメラからビデオを同時に捕捉することができる。ビデオは、連続的に又は周期的に捕捉することができる。いくつかの例では、マイクロフォンインタフェースを提供することができる。任意選択により、メモリカードなどの取り外し可能なメモリ記憶装置を使用することができる。例えば、マイクロＳＤカードスロットを提供することができる。Wi-Fi通信インタフェースなどの通信インタフェースを提供することができる。データ転送インタフェースを提供することができる。データは、無線で及び／又は有線接続上で転送することができる。例えば、ＵＳＢインタフェースを提供することができる。任意選択により、システムは、電池式のものであり得る。ローカル電源を提供することができる。或いは、外部電源に結合するために、インタフェースを提供することができる。
【０１１１】
様々なカメラモジュール２２０１は、ＦＰＧＡ  ２２０３とインタフェースを取ることができる。カメラモジュールは、任意選択により、MIPI CSO-2 Txモジュールを有し得る。任意選択により、ＦＰＧＡは、MIPI CSO-2 Rxモジュール用のＩＰコアを有し得る。他のいかなる組合せも提供することができる。MIPI IPコア２２０４は、ＩＳＰ  ＩＰブロック２２０５とインタフェースを取ることができる。ＩＳＰブロックは、カメラから生データを得て、画像を処理することができる。ＩＳＰ  ＩＰブロックは、１つ又は複数のサブブロックを含み得る。サブブロックの例は、画像クロッパ、欠陥画素補正、黒レベル補正、ビネット補正、自動ホワイトバランス及び／又はカラーフィルタアレイを含み得る。ＦＰＧＡは、Wi-Fiモジュール２２０６などの通信ユニットを含み得る。通信ユニットは、データを外部デバイスに送信できるように及び／又はプレビューのためにクラウドにアップロードできるようにすることができる。任意選択により、１つ又は複数のメモリユニットを提供することができる。一例では、ＳＤカード２２０７などの取り外し可能なメモリを提供することができる。また、ＲＡＭメモリ２２０８も提供することができる。
【０１１２】
カメラからのビデオは、共に組み合わせること及び／又はスティッチングすることができる。魚眼レンズを使用すると、リアルタイムで歪みを補正することによって、ワインダ画角でビデオを捕捉することが可能であり得る。
【０１１３】
いくつかの実施形態では、ＦＰＧＡコアに対して、必要なビデオフォーマット及び任意選択の特徴に従ってＩＰの最適化のカスタマイズを可能にするために、ＳＶＴＰｌｕｓ−ＣＳＩ２−Ｆ設計を採用することができる。これにより、ＦＰＧＡサイズの最適化又は改善や、電力消費量の低減を有利に可能にすることができる。
【０１１４】
ＦＰＧＡコアは、任意選択により、１つのクロックレーン及び１〜８のデータレーンを含み得る。簡単なインタフェースを提供することができる。例えば、初期ＨＤ（Early-HD）信号によってレガシ並列ビデオ入力を増大することができる。入力インタフェースは、１クロックあたり１、２又は４つの並列画素を含み得る。ＣＳＩ２  ２．０画素フォーマットのいずれか又はすべてのサポートを提供するため、カスタマイズされた画素フォーマットサポートを提供することができる。任意選択により、パッシブ又はアクティブであり得る簡単なＦＰＧＡ外部のアナログフロントエンドを提供することができる。ＣＳＩ２仕様に従って、任意選択のＤＰＣＭ圧縮スキームを使用することができる。任意選択の較正パケット生成を提供することができる。使い易いプログラミングガイドをＩＰで提供することができる。
【０１１５】
入力は、MIPI CSI2によってサポートされる多くのフォーマットのうちの１つの並列ビデオストリームであり得る。任意選択により、１クロックあたり１、２又は４つの並列画素を入力として提供することができる。ＨＤ入力は、ビデオライン全体にわたってアクティブであり得、ＶＤ入力は、ビデオフレームをカプセル化する。典型的な並列ビデオ源は、いかなる並列出力デジタルカメラも含み得る。
【０１１６】
遅延ユニットを提供することができる。ＳＶＴＰｌｕｓ−ＣＳＩ２−Ｆは、ロングパケットの生成を開始するために、初期ＨＤ（ＥＨＤ：Early-HD）信号を使用する。多くのカメラは、ビデオストリームの開始前に内部表示を有し得、その内部表示は、ＥＨＤとして使用することができる（例えば、画像センサでは、開始カラムアナログ／デジタル変換）。それらの事例では、遅延ユニットは不要であり得る。そうでない場合は、任意選択の遅延ユニットを追加し、並列ビデオストリームを遅延させてＳＶＴＰｌｕｓコアに送ることができる。画素入力、ＨＤ及びＶＤが遅延されている間、オリジナルのＨＤがＥＨＤとして使用される。
【０１１７】
ＳＶＴＰｌｕｓ−Ｐａｒ−Ｏｕｔは、ＩＰのＲＴＬ部分であり得る。ＤＰＨＹレーンは、２つの動作モード、すなわち、各レーンが差動送信機である高速モードと、各レーンの２つのワイヤの各々がプロトコルによって定義されるような異なるＣＭＯＳレベルを想定できる低電力モードとを有し得る。ＳＶＴＰｌｕｓ−Ｐａｒ−Ｏｕｔは、低電力レベルを直接駆動し、高速モードのための並列バイトを出力することができ、次いで、並列バイトは直列化される。
【０１１８】
１つ又は複数のより多くのシリアライザを提供することができる。任意選択により、１つのレーンあたり１つのシリアライザを提供することができる。ＳＶＴＰｌｕｓ−ＣＳＩ２−Ｆデリバリは、ＲＴＬシリアライザを含み、ＲＴＬシリアライザは、必要とされる高ビットレートが高くない場合に使用することができる。高ビットレートの場合、Ｉ／Ｏバウンド高速シリアライザを使用することができる。そのようなシリアライザは、ＦＰＧＡ特有のものであり、典型的には、ＦＰＧＡベンダによって提供されるツールによって生成される。
【０１１９】
直列化された高速レーンは、差動ＬＶＤＳ対で、ＳＶＴＰｌｕｓ−ｐａｒ−ｏｕｔによって生成された低電力信号と共に、ＦＰＧＡから出力し、アナログフロントエンドユニットに送信することができ、それにより、ＤＰＨＹレーンが駆動される。アナログフロントエンドは、アクティブコンポーネントによって実装されるＤＰＨＹ準拠性ものでも、パッシブコンポーネントのみが必要とされるＤＰＨＹ互換性のもの（しかし、徹底的なＤＰＨＹコンプライアンスは提供されない）でもよい。
【０１２０】
ＳＶＴＰｌｕｓ−ｐａｒ−ｏｕｔの動作は、ユーザアクセス可能レジスタ２４０６によって管理及び監視される。レジスタは、ＡＭＢＡ−ＡＰＢサイクルによってアクセスされる。或いは、Ｉ２Ｃ／ＡＭＢＡモジュールをオーダーし、レジスタへのＩ２Ｃアクセスを可能にすることができる。
【０１２１】
並列ビデオ入力及びＤＰＨＹレーン出力におけるビットレートは、マッチするようにすることができる。このマッチは、２つのクロック、すなわち、レーン用のＦＣＬＫと、入力経路用のＰＩＸ−ＣＬＫとを生成することによって得られる。ＦＣＬＫ／ＰＩＸ−ＣＬＫの周波数比は、２＊ＰＰＣ＊ＢＰＰ／レーンと等しくなければならず、ＰＰＣは、入力における並列画素の数（１、２又は４つ）であり、ＢＰＰは、１つの画素あたりのビット数であり、レーンは、構成されたＤＰＨＹレーンの数である。ＦＣＬＫ及びＰＩＸ−ＣＬＫは、典型的には、ＤＰＨＹクロックレーンによって必要とされるＦＣＬＫ−９０（ＦＣＬＫの９０度シフト）と共に、ＰＬＬによって生成される。第３のクロックであるＣＰＵ−ＣＬＫは、レジスタＩ／Ｏのために使用される。
【０１２２】
１つ又は複数の外部パラメータを提供することができる。いくつかのアプリケーションは、ＣＳＩ２仮想チャネル及び／又は異なるデータタイプを使用するいくつかのビデオ源の多重化を必要とし得る。この多重化は、ＩＰレジスタにおいてビデオパラメータを再プログラムすることによって行うことができるが、より効率的な多重化のため、顧客は、ＩＰ外部でのハードウェア多重化の使用を希望する場合がある。この事例では、ＩＰは、外部パラメータオプション付きでオーダーすることができる（パラメータは追加のパッドを介してＩＰに入力され、対応するレジスタを実装する必要はない）。
【０１２３】
ＩＳＰコアは、補正ツールを提供して、送信又は格納前に、カメラセンサアレイから生の画像を取り入れ、補間し、ホワイトバランスを行い、色を補正し、雑音を低減し、画像を調整するように設計することができる。このＩＰは、デジタルカメラ画像センサからの出力を復号し、それを可視画像に変えることができる。典型的には、センサ出力は、従来のＲＧＢラスタ画像フォーマットでは配列されず、代わりに、「ベイヤー配列」又は画素の同様の配列を使用する。センサは、デッド又は雑音が多い画素を含み、解決する必要がある照明ムラ及び他の画像品質異常に悩まされる場合が多い。
【０１２４】
ＩＳＰ  ＩＰは、１つ又は複数のサブブロックを含み得る。例えば、画像クロッパブロックは、センサ出力を幾何学的に切り取って望まないエッジを取り除くために使用することができる。欠陥画素補正ブロックは、各画素及びその近隣の統計分析によって、欠陥画素を特定して交換するように設計することができる。黒レベル補正ブロックは、赤色、緑色及び青色成分に存在するいかなるオフセット（又はキャスト）も取り除くように設計することができる。このオフセットは、センサ「暗電荷」及び他のアーチファクトによって生じ得る。ユーザ定義の行列（例えば、３２×３２行列）を提供することができるビネット補正ブロックは、画像開口又はズームによって生じる強度変動（典型的には、本質的に円形）を取り除くように設計することができる。自動ホワイトバランスブロックは、ＣＩＥ標準光源Ｄ６５に対する光スペクトル差によって生じる色の歪みを補償するように設計することができる。また、このブロックは、自動露光を実行することもできる。カラーフィルタアレイブロックは、センサからの画像のベイヤー配列を解除して、赤色、緑色及び青色データの連続ストリームを作成するために使用することができる。
【０１２５】
本明細書で提供されるシステム及び方法は、いかなるタイプの応用にも役立てることができる。例えば、本明細書で提供されるシステム及び方法は、バーチャルリアリティ及び／又はオーグメンテッドリアリティへの応用に役立てることができる。システム及び方法は、映画観察、テレプレゼンス、ビデオ会議、イベント／ニューステレビ放送及び／又はゲームにおいて使用することができる。また、本明細書で提供されるシステム及び方法は、自律機械への応用に利用することもできる。例えば、システム及び方法は、自動運転車、ＡＤＡＳ、ロボット工学及び／又はドローンに対して使用することができる。本明細書で提供されるシステム及び方法は、マッピングへの応用に対して使用することができる。これらのマッピングは、市街地図及び／又は三次元再構築を含み得る。本明細書で提供されるシステム及び方法は、医療への応用に対して使用することができる。それらのシステム及び方法は、患者の健康状態モニタリング又は侵襲的全身画像診断に対して使用することができる。本明細書で提供されるシステム及び方法は、自動搬送車（ＡＧＶ）、フリート管理、ロボットアームなど、工業への応用を支援することができる。いくつかの例では、本明細書で提供されるシステム及び方法は、共同ボット、材料搬送及び／又は投下、監視カメラ、アンチドローンシステム、国境監視、スマート兵器或いは他の応用に役立てることができる。本明細書で提供されるシステム及び方法は、モバイルカメラ付属品、スタンドアロンカメラ、モバイルカメラレンズ、アクションカメラ又はＤＳＬＲ付属品など、消費者への応用に役立てることができる。システム及び方法は、スマートシティ、スマートポール又はスマートホームなど、監視又はスマートビルディングへの応用を有し得る。
【０１２６】
特有の実施形態の前述の説明は、一般的な概念から逸脱することなく、他の者が、現在の知識を利用することによって、様々な応用に対してそのような特有の実施形態を容易に変更すること及び／又は適応させることができる本明細書の実施形態の一般的な性質を完全に明らかにし、従って、そのような適応及び変更は、開示される実施形態の同等物の意味及び範囲内で理解されることが意図されるべきであり、意図されるものである。本明細書で採用される表現又は専門用語は、説明を目的とするものであって、制限を目的とするものではないことを理解されたい。従って、好ましい実施形態の観点から本明細書の実施形態について説明してきたが、当業者であれば、精神及び範囲内で変更を加えて本明細書の実施形態を実践できることが認識されよう。
【０１２７】
本発明の好ましい実施形態を本明細書で示し、説明してきたが、当業者であれば、そのような実施形態は単なる例として提供されることが明らかであろう。ここでは、本発明から逸脱することなく、多くの変形、変化及び代用が当業者に思い当たるであろう。本発明の実践において、本明細書で説明される発明の実施形態の様々な代替の形態を採用できることを理解すべきである。以下の請求項は本発明の範囲を定義し、これらの請求項及びそれらの均等物の範囲内の方法及び構造を対象とすることが意図される。
【図１】
2021514573.tif 000003
【図２】
2021514573.tif 000004
【図３】
2021514573.tif 000005
【図４】
2021514573.tif 000006
【図５】
2021514573.tif 000007
【図６】
2021514573.tif 000008
【図７】
2021514573.tif 000009
【図８】
2021514573.tif 000010
【図９Ａ】
2021514573.tif 000011
【図９Ｂ】
2021514573.tif 000012
【図９Ｃ】
2021514573.tif 000013
【図９Ｄ】
2021514573.tif 000014
【図１０Ａ】
2021514573.tif 000015
【図１０Ｂ】
2021514573.tif 000016
【図１１Ａ】
2021514573.tif 000017
【図１１Ｂ】
2021514573.tif 000018
【図１２】
2021514573.tif 000019
【図１３】
2021514573.tif 000020
【図１４】
2021514573.tif 000021
【図１５】
2021514573.tif 000022
【図１６Ａ】
2021514573.tif 000023
【図１６Ｂ】
2021514573.tif 000024
【図１７】
2021514573.tif 000025
【図１８】
2021514573.tif 000026
【図１９】
2021514573.tif 000027
【図２０】
2021514573.tif 000028
【図２１】
2021514573.tif 000029
【図２２】
2021514573.tif 000030
【国際調査報告】
2021514573.tif 000031
2021514573.tif 000032
2021514573.tif 000033