(57)【要約】撮像システムは、各々が概念的な４面体の頂点から外向きに向く４つの画像センサを備え、画像センサの光軸は、概念的な４面体の各々の中線と実質的に同一線上にあり、各画像センサの焦点面アレイは、そのそれぞれの画像センサのレンズシステムと概念的な４面体の重心との間に位置付けられる。撮像システムは、撮像システムを包囲する空間の球面画像を生成するための画像データを取得するために使用されることができる。この画像データから球面画像を生成する方法は、各画像の画像面と個々に整列させられる円筒投影に従って、球面座標を画像内の画素に割り当て、重複画素を混合して、空白画素空間を充填する。本方法は、任意のプラトンの立体の頂点または面の重心からの外向きの図を表す、画像データに適用されることができる。
2016506551.tif 000002
【特許請求の範囲】
【請求項１】
球面画像を生成する方法であって、
一組の画像を受信することであって、
各画像は、概念的なプラトンの立体の一意の包囲点からの視野を光軸に沿って外向きに表す画像面を画定し、前記光軸は、前記概念的なプラトンの立体の重心とそれぞれの包囲点との間の概念的な線と実質的に同一線上にあり、
各包囲点は、
（ａ）前記概念的なプラトンの立体の一組の全ての頂点、および
（ｂ）前記概念的なプラトンの立体の一組の全ての面の重心
から成る群から選択される一組の包囲点の構成要素であり、
前記組における画像の数は、前記概念的なプラトンの立体に対する選択された組の包囲点における包囲点の数に等しく、
各画像の前記視野は、各隣接画像の前記視野と少なくとも実質的に隣接する、ことと、
円筒投影に従って、概念的な球体上の球面座標を各画像内の各画素に割り当てることであって、前記円筒投影は、その画像の前記画像面と整列させられている、ことと、
球面画像テンプレートに従って前記画素から導出される色を前記球面画内の画素位置に割り当てるために、前記球面座標を使用することと
を含み、
前記概念的な球体は、前記概念的なプラトンの立体の前記頂点に交差し、
前記概念的な球体は、前記概念的なプラトンの立体の前記重心を中心とし、
各画像の前記画像面は、前記概念的な球体に実質的に接しており、
前記円筒投影は、前記円筒投影の概念的な円筒によってその画像の前記画像面と整列させられており、前記概念的な円筒は、前記画像面に実質的に接しているその円筒壁、および前記概念的なプラトンの立体の前記重心に交差するその縦軸を有している、
方法。
【請求項２】
前記概念的なプラトンの立体は、概念的な正４面体であり、各包囲点は、前記概念的な正４面体の頂点であり、前記組における画像の数は、４である、請求項１に記載の方法。
【請求項３】
各画像は、少なくとも１２９．５度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項４】
各画像は、少なくとも１３５度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項５】
各画像は、少なくとも１６５度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項６】
各画像は、約１６５度〜約１７０度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項７】
受信されるときの前記画像は、単一の複合画像に多重化されており、前記方法は、各画像内の各画素に対して、前記概念的な球体の表面上へのその画素の投影を表す前記球面座標を見出す前に、前記複合画像から各画像を分離することをさらに含む、請求項２、３、４、５、または６のいずれか１項に記載の方法。
【請求項８】
各画像の前記視野は、各隣接画像の前記視野に重複している、請求項２、３、４、５、６、または７のいずれか１項に記載の方法。
【請求項９】
前記球面画像テンプレートは、正距円筒画像テンプレートである、請求項２、３、４、５、６、７、または８のいずれか１項に記載の方法。
【請求項１０】
その画像の前記画像面と整列させられている前記円筒投影に従って、前記球面座標をそれぞれの画素に割り当てることは、前記円筒投影から導出される事前計算された参照テーブルに従って、前記球面座標をそれぞれの画素に割り当てることを含む、請求項２、３、４、５、６、７、８、または９のいずれか１項に記載の方法。
【請求項１１】
前記事前計算された参照テーブル内の前記球面座標は、前記円筒投影から導出されることに加えて、歪み補正のための位置調整を含む、請求項１０に記載の方法。
【請求項１２】
前記円筒投影は、ミラー円筒投影である、請求項２、３、４、５、６、７、８、９、１０、または１１のいずれか１項に記載の方法。
【請求項１３】
前記球面座標を各画像内の各画素に割り当てることは、
各々が一意の球面座標を有する一意の画素と、
画素群であって、各画素群は、球面座標が同一である複数の画素を含む、画素群と
をもたらし、
前記球面画像テンプレートに従って色を前記球面画像内の前記画素位置に割り当てるために、前記球面座標を使用することは、
一意の画素に割り当てられる球面座標にマップする、前記球面画像内の各画素位置に対して、その一意の画素の前記色を前記球面画像内のその画素位置に割り当てることと、
画素群における前記複数の画素に割り当てられる球面座標にマップする、前記球面画像内の各画素位置に対して、前記画素群における前記複数の画素から混合された色を前記球面画像内のその画素位置に割り当てることと
を含む、請求項２、３、４、５、６、７、８、９、１０、１１、または１２のいずれか１項に記載の方法。
【請求項１４】
いずれの画素にも割り当てられないままである球面座標にマップする、前記球面画像内の各画素位置に対して、前記球面画像内の近隣画素位置をオーバーサンプリングすることによって決定される色を前記球面画像内のその画素位置に割り当てることをさらに含む、請求項１３に記載の方法。
【請求項１５】
各画像は、複数の画像を含むビデオストリーム中の１つの画像である、請求項２、３、４、５、６、７、８、９、１０、１１、１２、１３、または１４のいずれか１項に記載の方法。
【請求項１６】
歪みに対して各画像を補正することをさらに含む、請求項２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、または１５のいずれか１項に記載の方法。
【請求項１７】
前記組の包囲点は、前記概念的なプラトンの立体の前記組の全ての頂点である、請求項１、７、８、９、１０、１１、１２、１３、１４、１５、または１６のいずれか１項に記載の方法。
【請求項１８】
前記組の包囲点は、前記概念的なプラトンの立体の前記組の全ての面の重心である、請求項１、７、８、９、１０、１１、１２、１３、１４、１５、または１６のいずれか１項に記載の方法。
【請求項１９】
受信されるときの前記画像は、単一の複合画像に多重化されており、
前記方法は、各画像内の各画素に対して、前記概念的な球体の表面上へのその画素の投影を表す前記球面座標を見出す前に、前記複合画像から各画像を分離することをさらに含む、請求項１、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、または１８のいずれか１項に記載の方法。
【請求項２０】
データ処理システムの少なくとも１つのプロセッサによって実行されると、前記データ処理システムに請求項１〜１９のいずれか１項の方法を実行させる命令を具現化する有形コンピュータ読み取り可能な媒体を備えているコンピュータプログラム製品。
【請求項２１】
データ処理システムであって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに連結されているメモリと
を備え、
前記メモリは、命令を含み、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記データ処理システムに請求項１〜１９のいずれか１項の方法を実行させる、データ処理システム。
【請求項２２】
球面画像の作成を可能にするための撮像システムであって、前記撮像システムは、
支持フレームと、
前記支持フレームによって保持されている４つの画像センサと
を備え、
各画像センサは、光軸を有するレンズシステムと、前記レンズシステムの前記光軸と整列させられている焦点面アレイとを備え、
各画像センサは、各隣接画像センサの視野と少なくとも実質的に隣接する視野を有し、
前記画像センサは、
各レンズシステムの前記光軸が、共通の概念的な正４面体の中線と実質的に同一線上にあり、
各焦点面アレイが、そのそれぞれの画像センサの前記レンズシステムと前記概念的な４面体の重心との間に位置付けられ、
各画像センサが、前記概念的な４面体の前記重心に対して外向きに面するように
配列されている、撮像システム。
【請求項２３】
各画像センサは、少なくとも１２９．５度の視野を有する、請求項２２に記載の撮像システム。
【請求項２４】
各画像センサは、各隣接画像センサの視野に重複する視野を有する、請求項２２に記載の撮像システム。
【請求項２５】
各画像センサは、少なくとも１３５度の視野を有する、請求項２４に記載の撮像システム。
【請求項２６】
各画像センサは、少なくとも１６５度の視野を有する、請求項２４に記載の撮像システム。
【請求項２７】
各画像センサは、約１６５度〜約１７０度の視野を有する、請求項２４に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像システムおよび方法に関し、より具体的には、球面画像を生成するためのシステムおよび方法に関する。
【背景技術】
【０００２】
球面視野の全体または実質的に全体を記録するために利用可能な多種多様の撮像システムがある。
【０００３】
そのような撮像システムの一実施例は、各々が１８０度の視野を有する、２つの画像センサが、互いに反対に配列される二重半球面レンズシステムである。次いで、球面視野全体を表す画像を生成するように、各センサからの画像を組み合わせることができる。そのようなシステムは、高い歪みに悩まされる傾向がある。
【０００４】
個々の画像センサの数を増加させることによって、歪みの量を低減させることができるが、これは、概して、撮像システム自体ならびに後続の画像処理の両方の費用および複雑性を増加させる。これは、より多くの画像センサが必要とされるためであり、これは順に、個々の画像を組み合わせるために処理される必要があるデータの量の増加をもたらす。
【０００５】
１２０５１  Ｒｉｖｅｒｓｉｄｅ  Ｗａｙ，Ｒｉｃｈｍｏｎｄ，ＢＣ，Ｃａｎａｄａ，Ｖ６Ｗ  １Ｋ７に住所を有する、Ｐｏｉｎｔ  Ｇｒｅｙ  Ｒｅｓｅａｒｃｈ  Ｉｎｃ．によって提供されるＬａｄｙｂｕｇ（登録商標）商標撮像システムは、５つの離間した画像センサが共通リングから外向きに向くように配列され、１つの画像センサがリングに対して軸方向に向くように配列される、６つの画像センサを使用する。しかしながら、これらの画像センサは、球面視野全体を捕捉しない。
【０００６】
別の種類の撮像システムは、１２面体の幾何学形状に基づく。この種類の撮像システムの一実施形態は、１２面体筐体の面から外向きに向くように配列される画像センサを使用する。そのようなシステムは、ＭｃＣｕｔｃｈｅｎへの米国特許第５，０２３，７２５号（特許文献１）で説明される。ＭｃＣｕｔｃｈｅｎへの後続の特許、すなわち、米国特許第６，１４１，０３４号（特許文献２）は、字光学部を伴う４面体レンズマウントで分割レンズを使用する、１２面体撮像システムの別の実施形態を教示し、各画像センサは単一の１２面体の頂点を包囲する３つの５角形を記録する。分割レンズシステムおよび十字光学部は、レンズシステム構成要素とカメラとの間の不整列のリスクを増加させ得る。
【０００７】
また、個々の画像を一緒に融合させて球面視野を表すために使用される方法の多くは、平面画像上の画素位置を湾曲球面上の位置と相関させなければならないため、歪みを受ける。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第５，０２３，７２５号明細書
【特許文献２】米国特許第６，１４１，０３４号明細書
【発明の概要】
【課題を解決するための手段】
【０００９】
撮像システムは、概念的な４面体の頂点から外向きに向くように配列される、４つの画像センサを備え、撮像システムを包囲する空間の球面画像を生成するための画像データを取得するために使用されることができる。この画像データから球面画像を生成する方法は、各画像の画像面と個々に整列させられる円筒投影に従って、球面座標を画像内の画素に割り当て、次いで、重複画素を混合して、空白画素空間を充填する。本方法は、任意のプラトンの立体の頂点から、または面の重心からの外向きの図を表す、画像データに適用されることができる。
【００１０】
撮像システムは、支持フレームと、支持フレームによって保持されている４つの画像センサとを備え、各画像センサは、光軸を有するレンズシステムと、レンズシステムの光軸と整列させられている焦点面アレイとを備える。各画像センサは、各隣接画像センサの視野と少なくとも実質的に隣接する視野を有する。画像センサは、各レンズシステムの光軸が、共通の概念的な正４面体の中線と実質的に同一線上にあり、各焦点面アレイが、そのそれぞれの画像センサのレンズシステムと概念的な４面体の重心との間に位置付けられ、各画像センサが、概念的な４面体の重心に対して外向きに面するように、配列される。
【００１１】
各画像センサは、好ましくは、少なくとも１２９．５度の視野を有する。好ましくは、各画像センサは、各隣接画像センサの視野に重複する視野を有し、各画像センサは、好ましくは、少なくとも１３５度の視野、より好ましくは、少なくとも１６５度の視野、なおもより好ましくは、約１６５度〜約１７０度の視野を有する。
【００１２】
球面画像を生成するための例示的な方法は、４つの画像を受信することを含む。各画像は、概念的な４面体の重心とそれぞれの包囲点との間の概念的な線と実質的に同一線上にある光軸に沿って外向きに、概念的な正４面体の一意の頂点からの視野を表す、画像面を画定する。各画像の視野は、各隣接画像の視野と少なくとも実質的に隣接する。本方法はさらに、その画像の画像面と整列させられる円筒投影に従って、概念的な球体上の球面座標を各画像内の各画素に割り当てることと、球面画像テンプレートに従って画素から導出される色を球面画内の画素位置に割り当てるために、球面座標を使用することとを含む。概念的な球体は、概念的な４面体の頂点に交差し、概念的な４面体の重心を中心とし、各画像の画像面は、概念的な球体に実質的に接している。円筒投影は、画像面に実質的に接しているその円筒壁、および概念的な４面体の重心に交差する、その縦軸を有する、円筒投影の概念的な円筒によって、その画像の画像面と整列させられる。
【００１３】
一実施形態では、各画像は、少なくとも１２９．５度、好ましくは、少なくとも１３５度、より好ましくは、少なくとも１６５度、なおもより好ましくは、約１６５度〜約１７０度の視野を表す画像面を画定する。
【００１４】
上記の方法は、球面画像を生成するためのより一般的な方法の具体的実装である。より一般的な方法は、各画像が、概念的なプラトンの立体の重心とそれぞれの包囲点との間の概念的な線と実質的に同一線上にある光軸に沿って外向きに、概念的なプラトンの立体の一意の包囲点からの視野を表す画像面を画定する、一組の画像を受信することを含む。各包囲点は、（ａ）概念的なプラトンの立体の一組の全ての頂点、および（ｂ）概念的なプラトンの立体の一組の全ての面の重心から成る群から選択される一組の包囲点の構成要素であり、その組における画像の数は、概念的なプラトンの立体に対する選択された組の包囲点における包囲点の数に等しい。したがって、一実施形態では、一組の包囲点は、概念的なプラトンの立体の一組の全ての頂点であり、別の実施形態では、一組の包囲点は、概念的なプラトンの立体の一組の全ての面の重心である。各画像の視野は、各隣接画像の視野と少なくとも実質的に隣接する。次いで、本方法は、その画像の画像面と整列させられる円筒投影に従って、概念的な球体上の球面座標を各画像内の各画素に割り当て、球面画像テンプレートに従って画素から導出される色を球面画像内の画素位置に割り当てるために、球面座標を使用する。概念的な球体は、概念的なプラトンの立体の頂点に交差し、概念的なプラトンの立体の重心を中心とし、各画像の画像面は、概念的な球体に実質的に接している。円筒投影は、画像面に実質的に接しているその円筒壁、および概念的なプラトンの立体の重心に交差する、その縦軸を有する、円筒投影の概念的な円筒によって、その画像の画像面と整列させられる。
【００１５】
上記の方法では、各画像の視野は、好ましくは、各隣接画像の視野に重複する。
【００１６】
上記の方法で使用される球面画像テンプレートは、例えば、正距円筒画像テンプレートであり得る。
【００１７】
上記の方法のいくつかの実施形態では、その画像の画像面と整列させられる円筒投影に従って、球面座標をそれぞれの画素に割り当てることは、円筒投影から導出される事前計算された参照テーブルに従って、球面座標をそれぞれの画素に割り当てることを含む。事前計算された参照テーブル内の球面座標は、円筒投影から導出されることに加えて、歪み補正のための位置調整を含み得る。上記の方法のある好ましい実施形態では、円筒投影は、ミラー円筒投影である。
【００１８】
上記の方法の特定の実施形態では、球面座標を各画像内の各画素に割り当てることは、各々が一意の球面座標を有する一意の画素と、画素群であって、各画素群は、球面座標が同一である複数の画素を含む、画素群とをもたらす。そのような実施形態では、球面画像テンプレートに従って色を球面画像内の画素位置に割り当てるために、球面座標を使用することは、一意の画素に割り当てられる球面座標にマップする、球面画像内の各画素位置に対して、その一意の画素の色を球面画像内のその画素位置に割り当てることと、画素群の中の複数の画素に割り当てられる球面座標にマップする、球面画像内の各画素位置に対して、画素群の中の複数の画素から混合された色を球面画像内のその画素位置に割り当てることとを含み得る。上記の方法のそのような実施形態はさらに、いずれの画素にも割り当てられないままである球面座標にマップする、球面画像内の各画素位置に対して、球面画像内の近隣画素位置をオーバーサンプリングすることによって決定される色を球面画像内のその画素位置に割り当てることを含み得る。
【００１９】
本方法はさらに、歪みに対して各画像を補正することを含み得る。
【００２０】
各画像は、複数の画像を含むビデオストリーム中の１つの画像であり得る。
【００２１】
受信されるときの画像は、単一の複合画像に多重化されていることがあり、その場合、上記の方法はさらに、各画像内の各画素に対して、概念的な球体の表面上へのその画素の投影を表す球面座標を見出す前に、複合画像から各画像を分離することを含み得る。
【００２２】
上記の方法を実行するための命令を具現化する、有形コンピュータ使用可能媒体を備えているコンピュータプログラム製品、および上記の方法を実装するためのコンピュータシステムも開示される。
【図面の簡単な説明】
【００２３】
これらおよび他の特徴は、添付図面が参照される以下の説明から、より明白となるであろう。
【図１】図１は、４面体撮像システムのための４つの画像センサの例示的な幾何学的配列を示す。
【図２Ａ】図２Ａは、図１の４面体撮像システムの例示的な物理的実施形態の斜視図である。
【図２Ｂ】図２Ｂは、図２Ａに示される例示的な物理的実施形態の分解斜視図である。
【図３】図３は、４面体撮像システムのための例示的な電子ハードウェア配列の概略図を示す。
【図３Ａ】図３Ａは、例示的な多重化配列を示す。
【図４】図４は、４面体幾何学形状に基づいて球面画像を生成するための例示的な方法を示す、フローチャートである。
【図５】図５は、図４の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列である。
【図６】図６Ａおよび６Ｂは、地球への例示的な円筒投影の適用を示す。
【図７】図７は、画像面との円筒投影の整列を示す。
【図８】図８Ａ−８Ｄは、円筒投影が図５に示される幾何学的配列で各画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図９】図９Ａ−９Ｄは、その向きが一定に保たれた、図２Ａの例示的な物理的実施形態に対する、図５に示される幾何学的配列での画像面の配列を示し、かつ円筒投影をそれぞれの画像面と整列させる概念的な円筒の異なる向きを示す。
【図１０】図１０は、球面画像テンプレートに従って色を球面画像内の画像空間に割り当てるための例示的な方法を示す、フローチャートである。
【図１１】図１１は、プラトンの立体の幾何学形状に基づいて球面画像を生成するための例示的な方法を示す、フローチャートである。
【図１２】図１２Ａは、立方体を示す。図１２Ｂは、８面体を示す。図１２Ｃは、１２面体を示す。図１２Ｄは、２０面体を示す。
【図１３Ａ】図１３Ａは、概念的なプラトンの立体が概念的な立方体であり、包囲点が概念的な立方体の頂点である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１３Ｂ】図１３Ｂは、円筒投影が図１３Ａに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１３Ｃ】図１３Ｃは、概念的なプラトンの立体が概念的な立方体であり、包囲点が立方体の面の重心である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１３Ｄ】図１３Ｄは、円筒投影が図１３Ｃに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１４Ａ】図１４Ａは、概念的なプラトンの立体が概念的な８面体であり、包囲点が概念的な８面体の頂点である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１４Ｂ】図１４Ｂは、円筒投影が図１４Ａに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１４Ｃ】図１４Ｃは、概念的なプラトンの立体が概念的な８面体であり、包囲点が概念的な８面体の面の重心である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１４Ｄ】図１４Ｄは、円筒投影が図１４Ｃに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１５Ａ】図１５Ａは、概念的なプラトンの立体が概念的な２０面体であり、包囲点が概念的な２０面体の頂点である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１５Ｂ】図１５Ｂは、円筒投影が図１５Ａに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１５Ｃ】図１５Ｃは、概念的なプラトンの立体が概念的な２０面体であり、包囲点が概念的な２０面体の面の重心である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１５Ｄ】図１５Ｄは、円筒投影が図１５Ｃに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１６Ａ】図１６Ａは、概念的なプラトンの立体が概念的な１２面体であり、包囲点が概念的な１２面体の頂点である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１６Ｂ】図１６Ｂは、円筒投影が図１６Ａに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１６Ｃ】図１６Ｃは、概念的なプラトンの立体が概念的な１２面体であり、包囲点が概念的な１２面体の面の重心である、図１１の方法に従って球面画像を生成するために使用される画像の画像面の幾何学的配列を示す。
【図１６Ｄ】図１６Ｄは、円筒投影が図１６Ｃに示される幾何学的配列で画像面と整列させられる、円筒投影の概念的な円筒の例示的な向きを示す。
【図１７】図１７は、本明細書で説明される種々の方法を実装する際に使用され得る、例示的なコンピュータシステムの概略図である。
【図１８】図１８は、本明細書で説明される種々の方法を実装する際に使用され得る、例示的なスマートフォンの概略図である。
【発明を実施するための形態】
【００２４】
ここで、４面体撮像システムのための４つの画像センサ１０４の例示的な幾何学的配列１００を示す、図１を参照する。４面体撮像システムの例示的な物理的構造が、図２Ａおよび２Ｂに示され、以下で説明される。４面体撮像システムを包囲する空間を表す画像データを捕捉するために、４面体撮像システムを使用することができ、次いで、例えば、以下で説明される方法のうちの１つに従って、その周辺空間の正距円筒画像（ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  ｉｍａｇｅ）使用することができる。画像センサ１０４は、各々、光軸１０８を有するレンズシステム１０６と、それぞれのレンズシステム１０６の光軸１０８と整列させられる焦点面アレイ１１０とを備える。図１に示される例示的な幾何学的配列１００では、各画像センサ１０４のレンズシステム１０６および焦点面アレイ１１０は、レンズシステム１０６および焦点面アレイ１１０を支持し、それぞれの光軸１０８との焦点面アレイ１１０の整列を維持する、それぞれのセンサ筐体１１２によって保持される。
【００２５】
図１に示される例示的な幾何学的配列１００では、４つの画像センサ１０４は、互に対して４面体配列で維持される。具体的には、４面体配列では、各レンズシステム１０６の光軸１０８は、概念的な正４面体１４０の中線１３８と実質的に同一線上にあり、各焦点面アレイ１１０は、それぞれの画像センサ１０４のレンズシステム１０６と概念的な４面体１４０の重心１４２との間に位置付けられる。図１で見ることができるように、各画像センサは、概念的な４面体の重心に対して外向きに面する。
【００２６】
概念的な４面体１４０の重心１４２をデカルト座標システムにおける原点として取り、１つのレンズシステム（レンズシステム１と称される）をｚ軸と同一線上であるものとして扱うと、それぞれのレンズシステム１０６の光軸１０８に対する単位ベクトルは、以下の表で特定される座標を有する。
【００２７】
【表１】
2016506551.tif 000003
【００２８】
４面体撮像システムは、上記の幾何学形状が保持される限り、サイズが拡張可能である。より大型のバージョンは、より大型のレンズアセンブリおよびより大型の焦点面アレイが、より高解像度の画像を取得することを可能にし、追加の内蔵画像処理および他の電子機器のための空間を有するであろう一方で、より小型のバージョンは、より可搬であり、データ記憶、画像処理、および他の機能のための非内蔵電子機器と通信することができる。
【００２９】
図１を参照し続けると、各画像センサ１０４は、各隣接画像センサ１０４の視野１１４と少なくとも実質的に隣接する（すなわち、その縁に接触するのみである）視野１１４を有する。図１に示される画像センサ１０４の４面体配列については、１２９．５度の視野が隣接するであろう。好ましくは、各画像センサ１０４は、各隣接画像センサ１０４の視野１１４に重複する視野１１４を有する。したがって、各画像センサ１０４は、好ましくは、少なくとも１３５度、より好ましくは、少なくとも１６５度、最も好ましくは、約１６５度〜約１７０度の視野１１４を有する。したがって、画像センサ１０４のうちの１つによって捕捉される各画像は、それぞれの頂点１４４からの中線１３８と実質的に同一線上にある光軸１０８に沿って外向きに、少なくとも１２９．５度の視野１１４を表す画像面を画定するであろう。すなわち、光軸１０８は、概念的な４面体１４０の重心１４２と概念的な４面体１４０の各々の頂点１４４との間に延びる概念的な線と同一線上にある。
【００３０】
互に対する画像センサ１０４の配列は、各画像センサ１０４の視野１１４と組み合わせて、画像センサ１０４が、例えば、以下で説明される方法に従って、撮像システム１００を包囲する空間の正距円筒画像等の球面画像を生成するために十分な画像データを集合的に取得することを可能にする。
【００３１】
図示を容易にするために、単純に単一のレンズで構成されるものとして図１、２Ａ、および２Ｂに示されているが、画像センサのレンズシステム１０６は、複数の個々のレンズを備え得る。焦点面アレイ１１０は、例えば、ＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（電荷結合素子）センサであり得る。センサ筐体１１２は、１部品構造または多重部品構造であり得る。好ましくは、画像センサ１０４は、機械的ズーム／拡大特徴を含まないが、それぞれの画像センサ１０４の焦点を調整するための機構を含み得る。センサ筐体１１２は、任意の好適な形状を有し得る。画像センサ１０４は、当技術分野で公知であるような従来の画像センサであり得るか、または本願の出願の後に入手可能となる画像センサであり得る。現在の好ましい実施形態では、レンズシステム１０６は、各々、Ｕｎｔｅｒｅｒ  Ｄａｍｍｗｅｇ  １２，７６１４９  Ｋａｒｌｓｒｕｈｅ，Ｇｅｒｍａｎｙに住所を有する、Ｌｅｎｓａｔｉｏｎ  ＧｍｂＨによって提供されるＬｅｎｓａｇｏｎモデルＢＦＭ１２２０ｃレンズを備え、焦点面アレイ１１０は、各々、４２７５  Ｂｕｒｔｏｎ  Ｄｒｉｖｅ，Ｓａｎｔａ  Ｃｌａｒａ，Ｃａｌｉｆｏｒｎｉａ  ９５０５４，ＵＳＡに住所を有する、ＯｍｎｉＶｉｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｉｅｓによって提供されるＯｍｎｉＶｉｓｉｏｎモデルＯＶ５６５０  ＣＭＯＳ画像センサを備える。
【００３２】
ここで、例示的な撮像システム１００の現在の好ましい物理的実施形態２００を示す、図２Ａおよび２Ｂを参照する。図２Ａおよび２Ｂに示される物理的構造は、例示にすぎず、多くの他の物理的構造が、所望の４面体関係で画像センサを維持するために使用され得る。
【００３３】
ここで具体的に図２Ｂを参照すると、例示的な物理的実施形態２００では、支持フレームは、３つのハーネス２２０と、画像センサ支持基盤３２２とを備える。３つのハーネスは、画像センサ１０４のうちの３つを保持する主要フレームを形成するように、互に固定され、そして、第４の画像センサ１０４は、３つのハーネス２２０によって形成される主要フレームによって保持される、画像センサ支持基盤３２２によって保持される。内蔵プロセッサ３５４（図３）のためのプリント回路基板（ＰＣＢ）２２４、ヒートシンク２２６、およびビデオミキサ３５０（図３）のためのＰＣＢ２２８は、画像センサ支持基盤３２２と３つのハーネス２２０によって形成される主要フレームとの間に挟まれる。
【００３４】
画像センサ１０４、ハーネス２２０、画像センサ支持基盤３２２、およびＰＣＢ２２４、２２８、ならびにヒートシンク２２６は、全て外側シェル２３０（図２Ａ）内に収納される。外側シェル２３０は、画像センサ１０４のうちの１つのレンズシステム１０６と整列させられる、その開口２３４を各々が有する、４つの相互接続された環状パネル２３２によって形成される。衝撃リング２３８は、環状パネル２３２の各々とそれぞれの画像センサ１０４との間に挿入される。４つの凸状パネル２４０は、環状パネル２３２の間の空間に嵌入し、図２Ａで最も良く見られるような略球形を外側シェル２３０に与える。凸状パネル２４０のうちの１つは、制御インターフェース、この場合は支持フレームによって保持されるボタンパネル２４６上の単一のボタン２４４のための開口２４２を有する。凸状パネル２４０のうちの別の１つは、図示した実施形態では、通信ＰＣＢ２４８、メス型ＵＳＢコネクタ２５０を保持し、この凸状パネル２４０は、オス型ＵＳＢコネクタを受け取るための開口２５２を含む。図示を簡単にするために、構成要素の間の電気接続は、図２Ｂでは示されていない。
【００３５】
画像センサ１０４は、有線接続を介して電力供給部に、および撮像システム１００から遠隔にあるデータ処理システムに連結され得、それによって、画像センサ１０４の制御および生成される画像の処理は、完全または実質的に完全に非内蔵データ処理システムによって実行される。しかしながら、好ましくは、画像処理システム１００は、内蔵電力供給部、内蔵処理ユニット、内蔵データ記憶装置、ならびに制御インターフェースを含み、随意に、表示ユニットを含み得る。画像処理システム１００はまた、好ましくは、内蔵処理ユニットおよび内蔵データ記憶装置が、有線または無線のいずれか一方で、あるいは両方によって、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン等の外部データ処理システムに連結されることを可能にするデータ転送インターフェースも含む。図２Ａおよび２Ｂに示される例示的実施形態では、データ転送インターフェースは、メス型ＵＳＢコネクタ２５０を備える。
【００３６】
図３は、４面体撮像システムのための例示的な電子ハードウェア配列３００の概略図を示す。図３の概略図３００は、４面体撮像システムに含まれ得る、一連の構成要素および特徴を図示することを目的としており、したがって、図２Ａおよび２Ｂに示される４面体撮像システムの例示的な物理的実施形態２００に正確には一致しない。図３では、「Ａ」、「Ｂ」、「Ｃ」、および「Ｄ」という文字は、４つの画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄを互いに区別するために使用される。画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄの各々、具体的には、それらの焦点面アレイ１１０（図１および２）は、内蔵ビデオミキサ３５０と通信する。
【００３７】
画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄが起動されると、ビデオミキサ３５０は、それらを同期させて、画像内の物体移動または撮像システム１００の移動の影響を未然に防ぐために、各１つが実質的に同時に画像を生成していることを確実にする。動作中であるとき、各画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄは、好ましくは、１秒につき３０フレームで、ビデオストリームをビデオミキサ３５０に伝送する。ビデオミキサ３５０は、画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄから受信されるビデオストリームに含まれる画像を処理し、４つの個々のビデオストリームを同期させて、同様に好ましくは、１秒につき３０フレームで、単一の多重化ビデオストリームに多重化する。図３Ａは、現在の好ましい多重化配列を示し、各画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄからの個々の画像３９０Ａ、３９０Ｂ、３９０Ｃ、３９０Ｄが、複合画像３９２の各四半分の中に１つの個々の画像３９０Ａ、３９０Ｂ、３９０Ｃ、３９０Ｄを伴って、単一の複合画像３９２に組み込まれる。多重化ビデオストリームは、時間順の一連のこれらの複合画像３９２を備える。画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄからのビデオストリームの中の画像３９０Ａ、３９０Ｂ、３９０Ｃ、３９０Ｄは、多重化ビデオストリーム内の所与の複合画像３９２の中の各画像３９０Ａ、３９０Ｂ、３９０Ｃ、３９０Ｄが、実質的に同一の瞬間に対応するように、ビデオミキサ３５０によって同期させられる。一実施形態では、複合画像は、１４４０×１４４０画素であり、各四半分は、７２０×７２０画素である。好ましくは、複合画像３９２の中の各個々の画像３９０Ａ、３９０Ｂ、３９０Ｃ、３９０Ｄの解像度は、より高速のデータスループットを促進するよう、それぞれの画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄ上の焦点面アレイ１１０の実際の解像度より低い。画像雑音を低減させながら、複合画像３９２の中の個々の画像３９０Ａ、３９０Ｂ、３９０Ｃ、３９０Ｄの鮮度および色深度を向上させるために、「ビニング」、つまり、画素のクラスタを、その色がクラスタの中の画素の色から導出される単一の画素に組み込むプロセスが、画像を多重化するときに使用される。
【００３８】
ビデオミキサ３５０はまた、制御信号を画像センサ１０４に伝送する。ビデオミキサ３５０は、内蔵メモリ３５２Ａを含み得るか、またはビデオミキサ３５０の外部のメモリ３５２Ｂと通信し得るか、あるいは両方である。現在の好ましい実施形態では、ビデオミキサ３５０は、１０１  Ｉｎｎｏｖａｔｉｏｎ  Ｄｒｉｖｅ，Ｓａｎ  Ｊｏｓｅ，ＣＡ  ９５１３４，ＵＳＡに住所を有する、Ａｌｔｅｒａ  Ｃｏｒｐｏｒａｔｉｏｎによって提供される、Ａｌｔｅｒａ  Ｃｙｃｌｏｎｅ  ＩＶモデルＥＰ４ＣＥ５５フィールドプログラマブルゲートアレイ（ＦＰＧＡ）である。
【００３９】
図３を参照し続けると、撮像システム１００はさらに、内蔵プロセッサ３５４を備える。プロセッサ３５４は、内蔵メモリ３５６Ａを含み、撮像システム１００は、プロセッサ３５４に連結される随意的な追加のメモリ３５６Ｂを含み得る。プロセッサは、例えば、マルチポイント制御ユニットまたはＦＰＧＡ、あるいは別の種類のプロセッサであり得る。現在の好ましい実施形態では、プロセッサ３５４は、１２５００  ＴＩ  Ｂｏｕｌｅｖａｒｄ，Ｄａｌｌａｓ，Ｔｅｘａｓ  ７５２４３  ＵＳＡ（郵便宛先住所：Ｐ．Ｏ．Ｂｏｘ  ６６０１９９，Ｄａｌｌａｓ，ＴＸ  ７５２６６−０１９９，ＵＳＡ）に住所を有する、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ  Ｉｎｃ．によって提供されるモデルＴＭＳ３２０ＤＭ３６８プロセッサである。加えて、撮像システム１００は、記憶装置アダプタ３６２と、ヒューマンマシンインターフェース（ＨＭＩ）３６４と、グラフィカルディスプレイ３６６と、３軸加速度計３６８と、無線モジュール３７０と、外部通信アダプタ３７２と、マイクロホン３７４と、随意的なスピーカ３７６と、電力管理モジュール３７８とを備え、それらの各々は、以下でさらに議論される。
【００４０】
プロセッサ３５４は、ビデオミキサ３５０と通信し、そこから多重化ビデオストリームを受信する。プロセッサ３５４はまた、記憶および／または伝送のために、多重化ビデオストリームを圧縮多重化ビデオストリームに圧縮する。圧縮は、好ましくは、Ｈ．２６４ビデオ圧縮形式によるが、他の形態（例えば、ＪＰＥＧ圧縮）も使用され得、または圧縮が省略され得る。随意に、撮像システム１００は、圧縮を行うための別個のエンコーダを含み得る。
【００４１】
図３に示される例示的実施形態では、プロセッサ３５４は、取り外し可能な記憶デバイスを受け取ることができる記憶装置アダプタ３６２と通信する。好ましい実施形態では、記憶装置アダプタ３６２は、標準ＳＤカードスロット、ミニＳＤメモリカードスロット、またはマイクロＳＤメモリカードスロットのうちのいずれかであり得る、内蔵メモリカードスロット、例えば、セキュアデジタル（ＳＤ）メモリカードスロットである。他の種類のメモリカードスロットもまた、使用され得る。代替として、または加えて、撮像システム１００は、フラッシュメモリ等の非取り外し可能な記憶装置３５６を含み得る。プロセッサ３５４はまた、ＨＭＩ３６４およびグラフィカルディスプレイ３６６と通信する。ＨＭＩ３６４は、撮像システム１００の動作を制御するために、命令をプロセッサ３５４に提供するための１つ以上のボタンから成り得る。例えば、ＨＭＩ３６４は、回数および経過した時間の長さに基づいて、異なるコマンドを提供する、図２Ａおよび２Ｂに示されるような単一のボタン２４４から成り得るか、または１つ以上の機能を各々が有する複数のボタンを供え得る。例えば、ＨＭＩ３６４は、「ＲＥＣ．」、「ＳＴＯＰ」、「ＰＬＡＹ」、「ＦＦ」、「ＲＥＶ」、および「ＭＥＮＵ」と印付けられた６つのボタンから成り得る。「ＭＥＮＵ」ボタンは、プロセッサにグラフィカルディスプレイ３６６上で種々のオプションを表示させ得、次いで、ユーザは、これらのオプションの間でナビゲートして選択するために他のボタンを使用することができる。グラフィカルディスプレイ３６６は、撮像システム１００によって記録されるビデオの再生を可能にする。代替として、または加えて、ＨＭＩ３６４およびグラフィカルディスプレイ３６６のある側面が、複合タッチスクリーンディスプレイに統合され得る。また、随意に、グラフィカルディスプレイ３６６は、省略され得る。例えば、撮像システム１００の状態を示すために、１つ以上のＬＥＤが使用され得る。
【００４２】
３軸加速度計３６８はまた、プロセッサ３５４に連結され、それと同期して多重化ビデオストリームに含まれるか、またはそれに関連付けられることができる、撮像システム１００の向きについての情報を提供する。向き情報が画像データの処理で使用されない場合、加速度計３６８は省略され得る。
【００４３】
無線モジュール３７０は、撮像システム１００が遠隔コンピュータデバイスと無線で通信することを可能にするように、プロセッサに連結される。無線モジュール３７０は、例えば、ＩＥＥＥ  ８０２．１１規格に準拠するローカルエリアネットワーク（ＷＬＡＮ）モジュール（すなわち、Ｗｉ−Ｆｉモジュール）であり得る。図３に示される例示的実施形態では、無線モジュール３７０は、Ｗｉ−Ｆｉモジュールである。同様に、外部通信アダプタ３７２は、撮像システム１００が有線接続を介して遠隔コンピュータデバイスと通信することを可能にするように、プロセッサに連結される。図３に示される例示的実施形態では、外部通信アダプタ３７２は、ユニバーサルシリアルバス（ＵＳＢ）コネクタであるが、他の種類の外部通信アダプタもまた、使用され得る。
【００４４】
撮像システム１００は、好ましくは、音声がビデオに関連して記録されることを可能にするように、プロセッサ３５４に連結されるマイクロホン３７４を含み、さらに、好ましくは、記録された音声を再生するように随意的なスピーカ３７６も含む。撮像システム１００はさらに、電力を種々の構成要素に送達するように、電力管理モジュール３７８を備える。電力管理モジュール３７８は、電力管理モジュール３７８を制御するプロセッサ３５４に連結され、さらに、ＵＳＢコネクタ３７２、撮像デバイス１００上の外部電気接続３８０（例えば、取り外し可能な電力コードのためのコネクタ）、および１つ以上の内蔵バッテリ３８２にも連結される。電力管理モジュール３７８は、ＵＳＢ接続３７２、外部電気接続３８０、および１つ以上の内蔵バッテリ３８２のうちのいずれか１つから電力を受け取り、その電力を調節して種々の構成要素に送達することができ、さらに、１つ以上の内蔵バッテリ３８２を充電するために、ＵＳＢ接続３７２および外部電気接続３８０からの電力を調節して使用することもできる。他の実施形態では、構成要素は、１つ以上の内蔵バッテリ３８２のみから直接電力を引き出し得、電力管理モジュール３７８は、ＵＳＢ接続３７２および外部電気接続３８０から電力を受け取って調節し、１つ以上のバッテリ３８２を管理することに限定され得る。
【００４５】
図４は、正距円筒画像等の球面画像を生成するための例示的な方法４００を示す、フローチャートである。ステップ４０２で、方法４００は、４つの画像を受信する。ここで図５を参照すると、ステップ４０２で受信される４つの画像の各々は、概念的な４面体の重心５８６とそれぞれの頂点５８８との間の概念的な線５７８（すなわち、その頂点に対する中線）と実質的に同一線上にある光軸５９０に沿って外向きに、概念的な正４面体５８２の一意の頂点５８８からの視野５１４を表す、画像面５８４を画定する。
したがって、画像面５８４は、そのそれぞれの頂点５８８に対する概念的な４面体５８２の中線に実質的に垂直であり、各頂点５８８に対して１つの画像がある。画像は、上記で説明されるような４面体撮像システムの画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄによって捕捉される画像であり得、方法４００は、例えば、４面体撮像システムからこれらの画像を受信した別個のデータ処理システムによって実行され得る。各画像によって表される視野５１４は、各隣接画像によって表される視野５１４と少なくとも実質的に隣接し、つまり、１２９．５度である。好ましくは、各画像によって表される視野５１４は、各隣接画像の視野５１４に重複する。各画像は、好ましくは、少なくとも１３５度、より好ましくは、少なくとも１６５度、最も好ましくは、約１６５度〜約１７０度の視野５１４を表す。
【００４６】
説明を容易にするために、一組の４つの画像に関して説明されているが、繰り返される適用によって、方法４００は、各ストリーム内の画像が、上記で説明され、図５に示される幾何学形状に一致する、４つの同期化ビデオストリームを処理するために使用され得る。そのような場合において、ビデオストリームは、４つの別個のビデオストリームであり得るか、または例えば、図３Ａに関して上記で説明されるように、単一の複合ビデオストリームに多重化され得る。４つの画像が単一の複合画像に多重化されている場合、方法４００は、複合画像から各画像を分離する随意的なステップ４０４を含む。分離ステップ４０４は、複合画像を実際に分解することを伴う必要はなく、複合画像内の既知の境界に基づいて個々の画像を識別することから成り得る。
【００４７】
随意的なステップ４０６で、方法４００は、歪みに対して画像を補正する。ある量の歪みは、任意のレンズシステムに固有であり、概して、レンズの視野が増加すると増加する。画像歪みは、２つのカテゴリ、すなわち、半径方向歪みおよび偏心歪みに分類される。半径方向歪みは、真っ直ぐな線を広角レンズ上で屈曲して見えさせるものであり、偏心歪みは、レンズシステムの主点の後ろで正確に中心に置かれていない焦点面アレイに起因する。歪み補正は、画素のうちのいくつかまたは全ての座標場所を新しい座標場所に調整することを伴う。未補正画像上の各画素は、関連ＸおよびＹ座標を有し、半径方向歪みおよび偏心歪みの補正は、それを歪み補正場所に配置している画素に対する新しいＸおよびＹ座標を決定するように、各画像に適用される。
【００４８】
必要な歪み補正を達成するために、一組の一般化調整パラメータが、関連画像を捕捉した特定の種類の画像センサ（すなわち、レンズアセンブリおよび焦点面アレイ）に対して計算される。したがって、画像センサ１０４の全てが同一の種類である、上記で説明される種類の４面体撮像システムについては、一組の調整パラメータが、画像の全てに一様に適用される。市販のレンズについては、レンズ製造業者は、半径方向歪みに対する調整パラメータを決定するための開始点を与える仕様を提供し得る。４つの画像上に高密度点範囲を同時に生成するために、画像内で容易に識別され、画像センサからの既知の距離に位置する標的の試験画像を使用して、半径方向歪みに対するより精密な調整パラメータを計算することができる。偏心歪みに対する調整パラメータを決定するために、同一の手順を使用することができる。
【００４９】
好適な調整パラメータがレンズアセンブリおよび焦点面アレイの所与の組み合わせについて計算されると、レンズアセンブリおよび焦点面アレイのその組み合わせを使用して、これらの調整パラメータを任意の４面体撮像システムに適用することができる。歪み補正手順は、レンズアセンブリおよび焦点面アレイの所与の組み合わせについて一貫し、かつ反復するため、画素補正値は、好ましくは、各画像について個別的に計算されるのではなく、むしろ効率のために参照テーブルに記憶される調整値を使用することによって計算される。未補正画素位置は、歪みを補正するための、それぞれの画素を画像内の補正画素位置に再マップする、所定の調整値を有し、補正画素位置は、参照テーブルに記憶されることができる。したがって、未補正画像内に座標（Ｘ，Ｙ）を有する任意の所与の恣意的な画素について、データ処理システムは、参照テーブル内のこれらの座標を調べ、参照テーブルに従って、その画素に補正画像内の新しい座標（ＸＣ，ＹＣ）を割り当てるであろう。随意に、各撮像デバイスは、製造後および出荷前に個々に較正されることができ、参照テーブルは、レンズアセンブリおよび焦点面アレイの特定の組み合わせに固有の歪みに加えて、画像センサ１０４間の不整列等の個々の因子に対処するように微調整されることができる。加えて、撮像デバイスは、例えば、電源投入時に、リアルタイム較正を実行するための内蔵ハードウェアおよび／またはソフトウェアを提供され得、参照テーブルを動的に更新することができる。
【００５０】
歪み補正ステップ（ステップ４０６）は、後続のステップが正しく実行されるために、ステップ４０２で受信される画像がすでに十分に歪みを含まない場合、省略され得る。例えば、画像は、内蔵歪み補正能力を有する、４面体撮像システムから受信され得る。好ましくは、以下でさらに詳細に説明されるように、歪み補正調整は、方法４００における後続のステップ（ステップ４０８）に組み込まれる。
【００５１】
ステップ４０８では、方法４００は、概念的な球体５８０（図５）上の球面座標を各画像内の各画素に割り当てる。「球面座標」という用語は、関連基準座標系内での概念的な球体５８０（図５）の表面上の一意の位置の完全な識別を表し、例えば、一組のデカルト（Ｘ，Ｙ，Ｚ）座標または一組の極（ｒ，Θ）座標であり得る。
【００５２】
ここで図５を参照すると、概念的な球体５８０は、概念的な４面体５８２および各画像の画像面５８４に対する特定の幾何学的関係を有する。図５で見ることができるように、概念的な球体５８０の表面は、概念的な４面体５８２の頂点５８８に交差し、概念的な球体５８０は、概念的な４面体５８２の重心５８６を中心とし、各画像の画像面５８４は、概念的な球体５８０に実質的に接している。
【００５３】
球面座標を画素に割り当てること（ステップ４０８）は、画素が整列させられている画像の画像面と整列させられる、円筒投影に従って実行される。円筒投影は、一種の地図投影であり、この地図投影は、球体の表面上の位置を平面上の位置にマップする数学関数である。地球の球面を長方形の平面的な地図上にマップするために使用されるメルカトル投影図法が、円筒投影の周知の実施例である。円筒投影は、典型的には、球面上の位置、例えば、緯度および経度を取り、対応する平面位置の（ｘ，ｙ）値を返す形態で表現される。しかしながら、概念的な球体５８０が、無限数の点を有する一方で、各画像は、有限数の画素を有する。関連円筒投影を逆転させることによって、所与の平面座標に対して、その円筒投影に従って、その平面座標にマップされるであろう球体上の位置を決定することが可能である。
【００５４】
ここで、地球への例示的な円筒投影の適用を示す、図６Ａおよび６Ｂを参照する。概観では、円筒投影を得るために、概念的な中空円筒６０２が、マップされる球体６０４、この場合は地球に実質的に接して配列される（図６Ａ）。次いで、球体６０４上の点は、使用される特定の円筒投影のための公式に従って、概念的な円筒６０２上に投影され、次いで、概念的な円筒６０２は、その縦軸６０８と平行である概念的な線６０６に沿って、概念的に「スライス」され、平面６１０に概念的に「広げられる」（図６Ｂ）。球体に対する概念的な円筒の向きは、球体上の点が概念的な円筒上の点に、したがって、「広げられた」概念的な円筒の平面上の点にどのようにマップされるかに影響を及ぼすであろう。球体に対する概念的な円筒の向きを変動させることは、球体上の同一の点が平面上の異なる位置にマップされることを生じるであろう。
【００５５】
特定の画像の画素への球面座標の割り当ては、その画像の画像面と整列させられた円筒投影に従って実行され、換言すると、円筒投影の概念的な円筒は、概念的な球体５８０に対するそれぞれの画像面５８４の向きに一致するように、概念的な球体５８０に対して方向づけられる。この向きは、図７で幾何学的に図示されている。
【００５６】
上記のように、各画像の画像面５８４は、概念的な球体５８０に実質的に接しており、それぞれの頂点５８８に対する概念的な４面体５８２の中線５７８に実質的に垂直である。１つのそのような画像面５８４が、図７に示されている。図７に示されるように、円筒投影は、その円筒壁７９４が、画像面５８４に実質的に接しており、概念的な円筒７９２の縦軸７９６が、概念的な球体５８０の中心でもある概念的な４面体５８２の重心５８６に交差するように、概念的な円筒７９２が方向づけられている場合、画像面５８４と整列させられている。
【００５７】
円筒投影がそのように整列させられている場合、歪みを伴わずに、画像面５８４上の位置と円筒壁７９４上の位置との間に直接対応がある。画像面５８４は、概念的な球体５８０の周囲から「広げられている」、図７の斜線によって表される円筒壁７９４の一部７９８があるかのように数学的に扱われることができる。円筒壁７９４の一部７９８があるかのように画像面５８４を扱うことによって、円筒投影のための公式に従って、画像面５８４上の平面位置と概念的な球体５８０の球面位置との間の対応を決定することができる。画像内の各画素がそれぞれの画像面５８４上の位置に対応するので、球面座標がその画像内の画素に割り当てられることができる。
【００５８】
その円筒壁７９４が、画像面５８４に実質的に接しており、概念的な円筒７９２の縦軸７９６が、概念的な４面体５８２の重心５８６に交差する（したがって、概念的な球体５８０の中心にも交差する）ように、概念的な円筒７９２が方向づけられる限り、画像面５８４に垂直な軸に対する、概念的な円筒７９２の枢動位置が重要ではないことに留意されたい。
【００５９】
ここで、円筒投影が各画像面５８４Ａ、５８４Ｂ、５８４Ｃ、および５８４Ｄと整列させられる、概念的な円筒７９２の例示的な向きを示す、図８Ａ−８Ｄを参照する。中線は、それぞれの参照数字５７８Ａ、５７８Ｂ、５７８Ｃ、および５７８Ｄによって表される。概念的な球体５８０、概念的な４面体５８２、ならびに画像面５８４Ａ、５８４Ｂ、５８４Ｃ、および５８４Ｄの各々の向きは、円筒投影を各それぞれの画像面５８４Ａ、５８４Ｂ、５８４Ｃ、および５８４Ｄと整列させる、概念的な円筒７９２の異なる向きを示すように、図８Ａ−８Ｄの全体を通して一定に保たれる。図８Ａは、円筒投影を第１の画像面５８４Ａと整列させるように方向づけられた概念的な円筒７９２を示し、図８Ｂは、円筒投影を第２の画像面５８４Ｂと整列させるように方向づけられた概念的な円筒７９２を示し、図８Ｃは、円筒投影を第３の画像面５８４Ｃと整列させるように方向づけられた概念的な円筒７９２を示し、図８Ｄは、円筒投影を第４の画像面５８４Ｄと整列させるように方向づけられた概念的な円筒７９２を示す。各場合において、それぞれの画像面５８４Ａ、５８４Ｂ、５８４Ｃ、および５８４Ｄは、それが、概念的な球体５８０の周囲から「広げられている」、図８Ａ−８Ｄの斜線によって表される円筒壁７９４の一部７９８Ａ、７９８Ｂ、７９８Ｃ、７９８Ｄがあるかのように数学的に扱われることができ、それによって、球面座標がそれぞれの画像内の画素に割り当てられることを可能にする。その特定の画像の画像面と個々に整列させられる円筒投影に従って、球面座標を各画像内の画素に割り当てることによって、良好な適合が画像と概念的な球体との間で達成される。
【００６０】
上記のように、方法４００のステップ４０２（図４）で受信される４つの画像の各々は、上記で説明されるような４面体撮像システムの画像センサ１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄによって捕捉される画像であり得る。図９Ａ、９Ｂ、９Ｃ、および９Ｄは、それに対する画像面５８４Ａ、５８４Ｂ、５８４Ｃ、および５８４Ｄの配列を示すように、および上記で説明されるように球面座標が画素に割り当てられることを可能にするために、円筒投影をそれぞれの画像面５８４Ａ、５８４Ｂ、５８４Ｃ、および５８４Ｄと整列させる、概念的な円筒７９２の異なる向きを示すように、その向きが一定に保たれた、４面体撮像システムの例示的な物理的実施形態２００を示す。
【００６１】
図４を再度参照すると、好ましい実施形態では、ステップ４０８で、球面座標は、円筒投影から導出される事前計算された参照テーブルに従って、それぞれの画素に割り当てられる。互に対する、および概念的な球体５８０に対する画像面５８４のサイズ、位置、および向きは、既知であり、かつ一貫しており、したがって、概念的な球体５８０に対する各画素の空間的関係もまた、既知であり、かつ一貫している。したがって、概念的な球体５８０の表面上へのそれぞれの画像面５８４からの各画素の投影を表す、球面座標は、画像が処理されるたびに計算されるよりもむしろ、事前に計算され、参照テーブルに記憶されることができる。
【００６２】
特に好ましい実施形態では、ステップ４０８で使用される、事前計算された参照テーブル内の球面座標は、円筒投影から導出されることに加えて、歪み補正のための位置調整を含む。したがって、任意の所与の画素について、参照テーブル内の関連球面座標は、その画素の歪み補正された画素位置の概念的な球体５８０の表面上への画像面５８４からの投影を表すであろう。
【００６３】
特に好ましい実施形態では、それに従って球面座標が画素に割り当てられる円筒投影は、ミラー円筒投影である。逆ミラー投影、つまり、所与の平面座標について、ミラー円筒投影に従って、その平面座標にマップされるであろう球体上の位置を求める関数は、以下によって求められる。
【００６４】
【数１】
2016506551.tif 000004
【００６５】
Φは、緯度であり、λは、経度である。
【００６６】
緯度および経度は、以下の方程式を介して、概念的な球体の中心を原点として用いて、デカルト座標にマップすることができる。
【００６７】
【数２】
2016506551.tif 000005
【００６８】
好まれるが、ミラー円筒投影は、それに従って球面座標がステップ４０８で画素に割り当てられ得る、円筒投影の一実施例にすぎない。メルカトル、中心円筒、ガル立体図法、ブラウン立体図法、正距投影および正積投影を含む他の好適な円筒投影もまた、使用され得る。これらの投影およびそれらの反転のための公式は、周知であり、ここでは繰り返されない。
【００６９】
図４を参照し続けると、ステップ４１０では、方法４００は、球面画像テンプレートに従って色を球面画像内の画像空間に割り当てるために、ステップ４０８で割り当てられる球面座標を使用する。本明細書で使用される場合、「球面画像テンプレート」という用語は、既知のマッピングに従って、画像内の各画素位置が概念的な球体の表面上の位置と一意的に対応する、任意の画素ベースのコンピュータ使用可能画像形式を指し、「球面画像」という用語は、画素位置がデータ投入される、すなわち、色が画素位置に割り当てられている球面画像テンプレートを指す。好適にプログラムされたコンピュータ、つまり、好適な球面視認ソフトウェアを用いてプログラムされたコンピュータは、表面画素が球面画像の画素に対応する球体の３次元モデルを生成するために、各画素位置と概念的な球体上の位置との間の一意の対応を使用することができる。例えば、ユーザは、ユーザの視点が概念的な球体の内側または外側のいずれか一方にあるモデルを提示され得、ユーザは、球体に対して視点を回転させることを可能にされ得る。本明細書で説明される例示的な方法４００は、具体的には、球面画像を生成するために、４面体撮像システムによって捕捉される「実世界」の画像を使用することに適合される（が限定されない）。次いで、これらの球面画像は、ユーザの視点が概念的な球体の内側からである「実世界」をシミュレートする、没入型環境を生成するために使用されることができる。
【００７０】
好ましくは、正距投影が、画素位置と概念的な球体の表面上の位置との間の単純な関係を有するので、それに従って色がステップ４０８で割り当てられる球面画像テンプレートは、正距円筒画像テンプレートである。しかしながら、他の種類の球面画像テンプレートもまた、使用され得る。
【００７１】
概して、球面座標を各画像内の各画素に割り当てることにより、一意の画素および画素群の両方をもたらす。本明細書で使用される場合、「一意の画素」という用語は、一意の球面座標、つまり、いなかる他の画素にも割り当てられていない球面座標を割り当てられた画素を指す。本明細書で使用される場合、「画素群」という用語は、球面座標が同一である複数の画素、つまり、各々が同一の球面座標を割り当てられている、一組の画素を指す。画像センサの視野が実質的に隣接する場合、画素群がほとんどなく、画素群の数は、画像センサの視野の間の重複の程度が増加すると増加するであろう。
【００７２】
ここで図１０を参照すると、一意の画素および画素群の両方がある場合において、球面画像テンプレートに従って色を球面画像内の画素位置に割り当てるために球面座標を使用するステップ（ステップ４１０）は、複数のサブステップを含み得る。サブステップ４１０Ａでは、一意の画素に割り当てられる球面座標にマップする、球面画像内の各画素位置については、その一意の画素の色は、球面画像内のその画素位置に割り当てられ、サブステップ４１０Ｂでは、画素群の中の複数の画素に割り当てられる球面座標にマップする、球面画像内の各画素位置については、画素群の中の複数の画素から混合された色が、球面画像内のその画素位置に割り当てられる。現在公知である、または以降で開発される、任意の好適な混合アルゴリズムが、このプロセスに使用され得る。
【００７３】
加えて、多くの場合、いずれの画素にも割り当てられないままである１つ以上の球面座標がある、事例があるであろう。結果として生じる球面画像内の何もない空間（すなわち、空白画素）を回避するために、ステップ４１０は、いずれの画素にも割り当てられないままである球面座標にマップする、球面画像内の各画素位置に、球面画像テンプレート内の近隣画素位置の色をオーバーサンプリングすることによって決定される色を割り当てるというさらに随意的なサブステップ４１０Ｃを含み得る。ステップ４１０Ａおよび４１０Ｂが、任意の順番で、または実質的に同時に実行され得る一方で、ステップ４１０Ｃは、（色がサブステップ４１０Ｃで割り当てられるもの以外の）画素位置が、オーバーサンプリングを支持するために割り当てられた色をすでに有しているように、ステップ４１０Ａおよび４１０Ｂの後に実行されるべきである。現在公知である、または以降で開発される、任意の好適なオーバーサンプリングアルゴリズムが、このプロセスに使用され得る。例えば、サブステップ４１０Ｃは、色が割り当てられている球面画像テンプレート内の画素位置に対する球面画像テンプレート内の４つの最も近い画素位置に基づく、双線形補間を含み得る。
【００７４】
図４に示される方法４００は、球面画像を生成するためのより一般的な方法の特定の事例である。このより一般的な方法は、参照数字１１００によって示され、図１１に示されている。上記のように、方法４００は、概念的な４面体の頂点からの外向きの図を表す、画像を使用する。４面体は、同数の面が各頂点で交わる、合同な正多角形によって面が形成される正凸多面体であるプラトンの立体の一例である。他のプラトンの立体は、図１２Ａに示される立方体または６面体、図１２Ｂに示される８面体（８つの正三角形面）、図１２Ｃに示される１２面体（１２個の正５角形面）、および図１２Ｄに示される２０面体（２０個の正三角形面）である。４面体は、最も少ない頂点および最も少ない面を有するため、方法１１００のための好ましいプラトンの立体であり、したがって、最小数の画像センサが、対応する撮像システムのために必要とされるが、方法１１００は、概念的なプラトンの立体の一組の包囲点の各構成要素からの外向きの図を表す、任意の一組の画像とともに使用され得る。
【００７５】
本明細書で使用される場合、「包囲点」という用語は、プラトンの立体を参照して使用されるとき、プラトンの立体の頂点およびプラトンの立体の面の重心を意味する。したがって、明確に異なる２組の包囲点、すなわち、プラトンの立体の全ての頂点から成る一組、およびプラトンの立体の面の各々の重心からなる一組がある。「包囲点」という用語は、各一組の中の各点が他方の一組の中の点によって包囲されるため使用される。具体的には、各頂点は、その頂点を形成する隣接面の重心によって包囲され、各面の重心は、その面の境界を画定する頂点によって包囲される。
【００７６】
ここで、具体的に図１１を参照し、正距円筒画像等の球面画像を生成するための例示的な方法１１００を説明する。ステップ１１０２では、方法１１００は、一組の画像を受信する。随意に、ステップ１１０２で受信される画像は、複合画像に多重化され得、その場合、方法１１００は、複合画像から各画像を分離するという随意的なステップ１１０４を含むであろう。方法４００と同様に、分離ステップ１１０４は、複合画像が実際に分解されることを要求せず、分離ステップ１１０４は、複合画像内の既知の境界に基づいて個々の画像を識別することから成り得る。
【００７７】
ステップ１１０２で受信される各画像は、概念的なプラトンの立体の重心とそれぞれの包囲点との間の概念的な線と実質的に同一線上にある光軸に沿って外向きに、概念的なプラトンの立体の一意の包囲点からの視野を表す画像面を画定する。したがって、包囲点が面の重心である場合、各光軸は、それぞれの面と実質的に垂直であろう。関連画像に対してステップ１１０２で受信される各包囲点は、（ａ）概念的なプラトンの立体の一組の全ての頂点、および（ｂ）概念的なプラトンの立体の一組の全ての面の重心から成る群から選択される一組の包囲点の構成要素である。ステップ１１０２で受信される一組の画像の中の画像の数は、概念的なプラトンの立体に対する選択された組の包囲点における包囲点の数に等しく、１つの画像は、選択された組の中の各包囲点に対応する。選択された組の包囲点が、概念的なプラトンの立体の一組の全ての頂点である場合、ステップ１１０２で受信される各画像は、概念的なプラトンの立体の一意の頂点からの視野を表す、画像面を画定し、その組における画像の数は、頂点の数に等しい。選択された組の包囲点が、概念的なプラトンの立体の一組の全ての面の重心である場合、ステップ１１０２で受信される各画像は、概念的なプラトンの立体の一意の面の重心からの視野を表す、画像面を画定し、その組における画像の数は、概念的なプラトンの立体内の面の数に等しく、１つの画像は、各面に対応する。
【００７８】
各画像の視野は、各隣接画像の視野と少なくとも実質的に隣接し、好ましくは、各隣接画像の視野に重複する。例示的な方法４００と同様に、ステップ１１０２で受信される一組の画像の中の各画像は、複数の画像を含むビデオストリームの中の１つの画像であり得、各画像がビデオストリームの中の１つの画像である、一組の画像への繰り返しの適用によって、方法１１００は、球面ビデオを生成するために使用され得る。
【００７９】
図１３Ａおよび１３Ｃは、各々、概念的なプラトンの立体が立方体である、例示的な幾何学形状を示す。
【００８０】
概念的なプラトンの立体が、概念的な立方体１３８２であり、選択された組の包囲点が、概念的な立方体１３８２の一組の全ての頂点１３８８である場合に対する幾何学形状が、図１３Ａに示されている。この場合、一組の８つの画像が、ステップ１１０２で受信され、これらの画像の各々は、概念的な立方体１３８２の重心１３８６とそれぞれの頂点１３８８との間の概念的な線１３７８と実質的に同一線上にある光軸１３９０Ａに沿って外向きに、概念的な立方体１３８２の一意の頂点１３８８からの視野を表す、画像面１３８４Ａを画定する。したがって、各画像面１３８４Ａは、概念的な立方体１３８２の重心１３８６とそれぞれの頂点１３８８との間の概念的な線１３７８に実質的に垂直である。また、図１３Ａには、以下で説明されるステップ１１０８で使用され得る、表面が概念的な立方体１３８２の頂点１３８８に交差し、概念的な立方体１３８２の重心１３８６を中心とする、概念的な球体１３８０も示されている。各画像の画像面１３８４Ａは、概念的な球体１３８０に実質的に接している。
【００８１】
図１３Ｃは、概念的なプラトンの立体が概念的な立方体１３８２であり、選択された組の包囲点が、概念的な立方体１３８２の一組の全ての面１３９１の重心１３８９である場合に対する幾何学形状を示す。一組の６つの画像が、ステップ１１０２で受信され、これらの画像の各々は、概念的な立方体１３８２の重心１３８６とそれぞれの面１３９１の重心１３８９との間の概念的な線１３７９と実質的に同一線上にある光軸１３９０Ｃに沿って外向きに、概念的な立方体１３８２の一意の面１３９１の重心１３８９からの視野を表す、画像面１３８４Ｃを画定する。したがって、画像面１３８４Ｃは、概念的な立方体１３８２の重心１３８６とそれぞれの面１３９１の重心１３８９との間の概念的な線１３７９に実質的に垂直である。また、図１３Ｃには、以下で説明されるステップ１１０８で使用され得る、表面が概念的な立方体１３８２の頂点１３８８に交差し、概念的な立方体１３８２の重心１３８６を中心とする、概念的な球体１３８０も示されている。各画像の画像面１３８４Ｃは、概念的な球体１３８０に実質的に接している。
【００８２】
図１４Ａおよび１４Ｃは、概念的なプラトンの立体が８面体である、幾何学形状を示す。
【００８３】
概念的なプラトンの立体が、概念的な８面体１４８２であり、選択された組の包囲点が、概念的な８面体１４８２の一組の全ての頂点１４８８である場合に対する幾何学形状が、図１４Ａに示されている。そのような実施形態について、一組の６つの画像が、ステップ１１０２で受信される。６つの画像の各々は、概念的な８面体１４８２の重心１４８６とそれぞれの頂点１４８８との間の概念的な線１４７８と実質的に同一線上にある光軸１４９０Ａに沿って外向きに、概念的な８面体１４８２の一意の頂点１４８８からの視野を表す、画像面１４８４Ａを画定する。各画像面１４８４Ａは、概念的な８面体１４８２の重心１４８６とそれぞれの頂点１４８８との間の概念的な線１４７８に実質的に垂直である。図１４Ａはまた、表面が概念的な８面体１４８２の頂点１４８８に交差し、概念的な８面体１４８２の重心１４８６を中心とする、各画像の画像面１４８４Ａが概念的な球体１４８０に実質的に接している、概念的な球体１４８０も示す。概念的な球体１４８０は、以下で説明されるステップ１１０８で使用され得る。
【００８４】
図１４Ｃは、概念的なプラトンの立体が概念的な８面体１４８２であり、選択された組の包囲点が、概念的な８面体１４８２の一組の全ての面１４９１の重心１４８９である場合に対する幾何学形状を示す。そのような実施形態について、一組の８つの画像が、ステップ１１０２で受信される。８つの画像の各々は、光軸１４９０Ｃに沿って外向きに、概念的な８面体１４８２の一意の面１４９１の重心１４８９からの視野を表す、画像面１４８４Ｃを画定する。光軸１４９０Ｃは、概念的な８面体１４８２の重心１４８６とそれぞれの面１４９１の重心１４８９との間の概念的な線１４７９と実質的に同一線上にある。画像面１４８４Ｃは、概念的な８面体１４８２の重心１４８６とそれぞれの面１４９１の重心１４８９との間の概念的な線１４７９に実質的に垂直である。図１４Ｃはまた、表面が概念的な８面体１４８２の頂点１４８８に交差し、概念的な８面体１４８２の重心１４８６を中心とする、各画像の画像面１４８４Ｃが概念的な球体１４８０に実質的に接している、概念的な球体１４８０も示す。概念的な球体１４８０は、以下で説明されるステップ１１０８で使用され得る。
【００８５】
図１５Ａおよび１５Ｃは、概念的なプラトンの立体が２０面体である、幾何学形状を示す。
【００８６】
ここで、概念的なプラトンの立体が、概念的な２０面体１５８２であり、選択された組の包囲点が、概念的な２０面体１５８２の一組の全ての頂点１５８８である場合に対する幾何学形状を示す、図１５Ａを参照する。頂点１５８８である包囲点を伴う概念的なプラトンの立体としての２０面体については、一組の１２個の画像が、ステップ１１０２で受信され、それらの各々は、概念的な２０面体１５８２の重心１５８６とそれぞれの頂点１５８８との間の概念的な線１５７８と実質的に同一線上にある光軸１５９０Ａに沿って、概念的な２０面体１５８２の一意の頂点１５８８からの外向きの視野を表す、画像面１５８４Ａを画定する。図示を簡単にするために、代表的な一組の画像面１５８４Ａ、光軸１５９０Ａ、および概念的な線１５７８のみが示されている。この配列を用いると、画像面１５８４Ａは、概念的な２０面体１５８２の重心１５８６とそれぞれの頂点１５８８との間の概念的な線１５７８に実質的に垂直である。加えて、図１５Ａは、以下で説明されるようなステップ１１０８で使用され得る、概念的な球体１５８０を示す。概念的な球体１５８０の表面は、概念的な２０面体１５８２の頂点１５８８に交差し、概念的な球体１５８０は、概念的な２０面体１５８２の重心１５８６を中心とする。各画像の画像面１５８４Ａは、概念的な球体１５８０に実質的に接している。
【００８７】
図１５Ｃは、概念的なプラトンの立体が概念的な２０面体１５８２であり、選択された組の包囲点が、概念的な２０面体１５８２の一組の全ての面１５９１の重心１５８９である場合に対する幾何学形状を示す。本実施形態では、一組の２０個の画像が、ステップ１１０２で受信され、それらの各々は、概念的な２０面体１５８２の重心１５８６とそれぞれの面１５９１の重心１５８９との間の概念的な線１５７９と実質的に同一線上にある光軸１５９０Ｃに沿った、概念的な２０面体１５８２の一意の面１５９１の重心１５８９からの外向きの視野を表す、画像面１５８４Ｃを画定する。図１５Ａのように、図示を簡単にするために、代表的な一組の画像面１５８４Ｃ、光軸１５９０Ｃ、および概念的な線１５７９のみが示されている。この配列を用いると、画像面１５８４Ｃは、概念的な２０面体１５８２の重心１５８６とそれぞれの面１５９１の重心１５８９との間の概念的な線１５７９に実質的に垂直である。加えて、図１５Ｃは、以下で説明されるようなステップ１１０８で使用され得る、概念的な球体１５８０を示す。概念的な球体１５８０の表面は、概念的な２０面体１５８２の頂点１５８８に交差し、概念的な球体１５８０は、概念的な２０面体１５８２の重心１５８６を中心とする。各画像の画像面１５８４Ｃは、概念的な球体１５８０に実質的に接している。
【００８８】
図１６Ａおよび１６Ｃは、概念的なプラトンの立体が１２面体である、幾何学形状を示す。
【００８９】
概念的なプラトンの立体が、概念的な１２面体１６８２であり、選択された組の包囲点が、概念的な１２面体１６８２の一組の全ての頂点１６８８である場合に対する幾何学形状が、図１６Ａに示されている。本実施形態では、一組の２０個の画像がステップ１１０２で受信される。２０個の画像は、各々、概念的な１２面体１６８２の重心１６８６とそれぞれの頂点１６８８との間の概念的な線１６７８と実質的に同一線上にある光軸１６９０Ａに沿って外向きに、概念的な１２面体１６８２の一意の頂点１６８８からの視野を表す、画像面１６８４Ａを画定する。図示を簡単にするために、代表的な一組の画像面１６８４Ａ、光軸１６９０Ａ、および概念的な線１６７８のみが示されている。画像面１６８４Ａは、概念的な１２面体１６８２の重心１６８６とそれぞれの頂点１６８８との間の概念的な線１６７８に実質的に垂直である。図１６Ａはさらに、概念的な球体１６８０を示す。概念的な球体１６８０は、以下で説明されるステップ１１０８で使用され得、概念的な１２面体１６８２の頂点１６８８に交差する表面を有し、また、概念的な１２面体１６８２の重心１６８６を中心とし、各画像の画像面１６８４Ａは、概念的な球体１６８０に実質的に接している。
【００９０】
図１６Ｃは、概念的なプラトンの立体が概念的な１２面体１６８２であり、選択された組の包囲点が、概念的な１２面体１６８２の一組の全ての面１６９１の重心１６８９である実施形態に対する幾何学形状を示す。本実施形態では、一組の１２個の画像、すなわち、各面に１つの画像が、ステップ１１０２で受信される。１２個の画像は、各々、概念的な１２面体１６８２の重心１６８６とそれぞれの面１６９１の重心１６８９との間の概念的な線１６７９と実質的に同一線上にある光軸１６９０Ｃに沿って外向きに、概念的な１２面体１６８２の一意の面１６９１の重心１６８９からの視野を表す、画像面１６８４Ｃを画定する。図１６Ａと同様に、図示を簡単にするために、代表的な一組の画像面１６８４Ｃ、光軸１６９０Ｃ、および概念的な線１６７９のみが示されている。選択された包囲点が面の重心である他の場合のように、画像面１６８４Ｃは、概念的な１２面体１６８２の重心１６８６とそれぞれの面１６９１の重心１６８９との間の概念的な線１６７９に実質的に垂直である。図１６Ｃはさらに、以下で説明されるステップ１１０８で使用され得る、概念的な１２面体１６８２の頂点１６８８に交差する表面を有し、また、概念的な１２面体１６８２の重心１６８６を中心とする、各画像の画像面１６８４Ｃが概念的な球体１６８０に実質的に接している、概念的な球体１６８０を示す。
【００９１】
随意的なステップ１１０６では、方法１１００は、例えば、方法４００に関して上記で説明されるように、歪みに対して画像を補正する。
【００９２】
ステップ１１０８では、方法１１００は、その画像の画像面と整列させられる円筒投影に従って、概念的な球体上の球面座標を各画像内の各画素に割り当てる。上記のように、この手順で使用される概念的な球体は、概念的なプラトンの立体の頂点に交差し、概念的なプラトンの立体の重心を中心とし、各画像の画像面は、概念球面に実質的に接している。
【００９３】
各画像の画像面との円筒投影の整列は、図４に示される方法４００に関して上記で示され、説明されるものに類似する様式で、それぞれの画像の画像面に実質的に接しているその円筒壁、および概念的なプラトンの立体の重心に交差するその縦軸を有する、円筒投影の概念的な円筒によって達成される。上記のように、その特定の画像の画像面と個々に整列させられる円筒投影に従って、球面座標を各画像内の画素に割り当てることにより、画像と概念的な球体との間の良好な適合を達成する。方法４００と同様に、例示的な方法１１００では、円筒投影は、好ましくは、ミラー円筒投影であるが、他の円筒投影もまた、使用され得る。
【００９４】
図１３Ｂは、概念的なプラトンの立体が概念的な立方体１３８２であり、包囲点がその頂点１３８８である場合において、画像面１３８４Ａのうちの１つと整列させられる円筒投影のための概念的な円筒１３９２Ｂの向きを示し、図１３Ｄは、概念的なプラトンの立体が概念的な立方体１３８２であり、包囲点が概念的な立方体１３８２の面１３９１の重心１３８９である場合において、画像面１３８４Ｃのうちの１つと整列させられる円筒投影のための概念的な円筒１３９２Ｄの向きを示す。それぞれの場合において、画像面１３８４Ａ、１３８４Ｃは、それが、概念的な球体１３８０の周囲から「広げられている」、円筒壁１３９４Ｂ、１３９４Ｄの一部１３９８Ｂ、１３９８Ｄがあるかのように数学的に扱われることができ、それによって、球面座標がその画像内の画素に割り当てられることを可能にする。示されるように、円筒１３９２Ｂ、１３９２Ｄの縦軸１３９６Ｂ、１３９６Ｄは、概念的な立方体１３８２の重心１３８６に交差する。
【００９５】
ここで、図１４Ｂおよび１４Ｄを参照する。図１４Ｂは、概念的なプラトンの立体が概念的な８面体１４８２であり、包囲点がその頂点１４８８である場合において、画像面１４８４Ａのうちの１つと整列させられる円筒投影のための概念的な円筒１４９２Ｂの向きを示す。図１４Ｄは、概念的なプラトンの立体が概念的な８面体１４８２であり、包囲点が概念的な８面体１４８２の面１４９１の重心１４８９である場合において、画像面１４８４Ｃのうちの１つと整列させられる円筒投影のための概念的な円筒１４９２Ｄの向きを示す。両方の場合において、円筒１４９２Ｂ、１４９２Ｄの縦軸１４９６Ｂ、１４９６Ｄは、概念的な８面体１４８２の重心１４８６に交差する。この画像面１４８４Ａ、１４８４Ｃとの円筒投影の整列は、球面座標をその画像内の画素に割り当てることができるように、画像面１４８４Ａ、１４８４Ｃが、円筒壁１４９４Ｂ、１４９４Ｄの「広げられた」部分１４９８Ｂ、１４９８Ｄがあるかのように、画像面１４８４Ａ、１４８４Ｃが数学的に扱われることを可能にする。
【００９６】
図１５Ｂは、概念的なプラトンの立体が概念的な２０面体１５８２であり、包囲点がその頂点１５８８である場合において、画像面１５８４Ｂのうちの１つと整列させられる円筒投影のための概念的な円筒１５９２Ｂの向きを示す一方で、図１５Ｄは、概念的なプラトンの立体が概念的な２０面体１５８２であり、包囲点が概念的な２０面体１５８２の面１５９１の重心１５８９である場合において、画像面１５８４Ｄのうちの１つと整列させられる円筒投影のための概念的な円筒１５９２Ｄの向きを示す。円筒投影がそのように整列させられると、画像面１５８４Ｂ、１５８４Ｄが、概念的な球体１５８０の周囲から「広げられている」円筒壁１５９４Ｂ、１５９４Ｄの一部１５９８Ｂ、１５９８Ｄがあるかのように、画像面１５８４Ｂ、１５８４Ｄを数学的に扱うことができる。これは、その画像内の画素への球面座標の割当を可能にする。
【００９７】
概念的なプラトンの立体が概念的な１２面体１６８２である場合について、画像面１６８４Ａ、１６８４Ｂのうちの１つと整列させられる円筒投影に対する概念的な円筒１６９２Ａ、１６９２Ｂの向きが、それぞれ、図１６Ｂおよび１６Ｄに示されている。図１６Ｂは、包囲点が頂点１６８８である向きを示す一方で、図１６Ｄは、包囲点が面１５９１の重心１６８９である向きを示す。図示した整列は、球面座標がその画像内の画素に割り当てられることを可能にするよう、画像面１６８４Ａ、１６８４Ｃが円筒壁１６９４Ｂ、１６９４Ｄの「広げられた」部分１６９８Ｂ、１６９８Ｄとして数学的に扱われることを可能にする。
【００９８】
上記の場合の各々において、概念的なプラトンの立体が、概念的な４面体、概念的な立方体、概念的な８面体、概念的な１２面体、または概念的な２０面体であろうと、および包囲点が頂点または面の重心であろうと、球面座標は、概念的な円筒がその画像の画像面と特異的に整列させられる円筒投影に従って、各画像に割り当てられる。球面座標は、円筒投影から導出される事前計算された参照テーブルに従って、それぞれの画素に割り当てられ得、そのような参照テーブルは、円筒投影から導出されることに加えて、歪み補正のための位置調整を含み得る。
【００９９】
ここで図１１を参照すると、ステップ１１１０では、方法１１００は、球面画像テンプレートに従って、画素から導出される色を球面画像内の画素位置に割り当てるために、ステップ１１０８で割り当てられた球面座標を使用する。方法４００のように、方法１１００では、球面画像テンプレートは、好ましくは、正距円筒画像テンプレートである。
【０１００】
球面座標を各画像内の各画素に割り当てることにより、一意の画素および画素群をもたらすであろう。したがって、方法１１００のステップ１１１０は、方法４００のステップ４１０と実質的に同一であり得、そのような実施形態については、図１０は、方法４００のステップ４１０のサブステップに加えて、方法１１００のステップ１１１０のサブステップ１１１０Ａ、１１１０Ｂ、および１１１０Ｃを図示する。
【０１０１】
方法４００におけるステップ４１０と同様に、方法１１００のステップ１１１０は、図１０に示されるようなサブステップ１１１０Ａおよび１１１０Ｂを含み得る。サブステップ１１１０Ａでは、方法１１００は、一意の画素に割り当てられる球面座標にマップする球面画像内の各画素位置に、その一意の画素の色を割り当て、サブステップ１１１０Ｂでは、方法１１００は、画素群に割り当てられる球面座標にマップする球面画像内の各画素位置に、その画素群から混合させられる色を割り当てる。
【０１０２】
また、方法４００と同様に、方法１１００は、いずれの画素にも割り当てられないままである球面座標にマップする球面画像内の各画素位置に、球面画像内の近隣画素位置をオーバーサンプリングすることによって決定される色を割り当てるというさらなるサブステップ１１１０Ｃをステップ１１１０に含むことによって、結果として生じる球面画像内の何もない空間を回避し得る。ステップ１１１０Ａおよび１１１０Ｂが、任意の順番で、または実質的に同時に実行され得る一方で、ステップ１１１０Ｃは、サブステップ１１１０Ｃでオーバーサンプリングを支持するよう、他の画素位置にデータ投入するために、ステップ１１１０Ａおよび１１１０Ｂの後に実行されるべきである。
【０１０３】
本明細書で説明される方法は、プラトンの撮像システム、例えば、上記で説明されるような４面体撮像システムによって捕捉される画像を受信し得る、デスクトップまたはラップトップコンピュータ、あるいはスマートフォンまたはタブレットコンピュータ等のモバイル無線電気通信コンピュータデバイス等の任意の好適なコンピュータまたはマイクロプロセッサベースのシステム上で実装され得る。単一の球面画像への一組の画像の処理は、単一の球面画像または球面ビデオフィードのいずれか一方について、これらの非内蔵デバイス上で完了することができる。これは、非内蔵技術の計算能力を利用することによって、標準ビデオフレームレートで高解像度ビデオ画像の処理を可能にする。コンピュータまたはマイクロプロセッサベースのシステムは、有線または無線接続でプラトンの撮像システムに直接連結され得、または別個の記憶媒体あるいはインターネット等のネットワーク接続から画像を取得し得る。
【０１０４】
それに関して本明細書で説明される方法が実装され得る、例証的なコンピュータシステムが、図１７でブロック図として提示されている。例証的なコンピュータシステムは、概して、参照番号１７００によって表され、ディスプレイ１７０２と、キーボード１７０４Ａおよびポインティングデバイス１７０４Ｂの形態の入力デバイスと、コンピュータ１７０６と、外部デバイス１７０８とを含む。ポインティングデバイス１７０４Ｂがマウスとして描写されているが、他の種類のポインティングデバイスもまた、使用され得ることが理解されるであろう。
【０１０５】
コンピュータ１７０６は、中央処理装置（ＣＰＵ）１７１０等の１つ以上のプロセッサまたはマイクロプロセッサを含み得る。ＣＰＵ１７１０は、内部メモリ１７１２、好ましくは、ランダムアクセスメモリ（ＲＡＭ）および／または読み取り専用メモリ（ＲＯＭ）、およびおそらく追加のメモリ１７１４に記憶されたソフトウェアを実行するように、算術計算および制御機能を果たす。追加のメモリ１７１４は、例えば、大容量メモリ記憶装置、ハードディスクドライブ、光ディスクドライブ（ＣＤおよびＤＶＤドライブを含む）、磁気ディスクドライブ、磁気テープドライブ（ＬＴＯ、ＤＬＴ、ＤＡＴ、およびＤＣＣを含む）、フラッシュドライブ、ビデオゲームデバイスで見出されるもの等のプログラムカートリッジおよびカートリッジインターフェース、ＥＰＲＯＭまたはＰＲＯＭ等の取り外し可能なメモリチップ、ホログラフィック記憶装置等の新たな記憶媒体、または当技術分野で公知であるような同様の記憶媒体を含み得る。この追加のメモリ１７１４は、物理的にコンピュータ１７０６の内部に、または図１７に示されるように外部に、あるいは両方にあり得る。
【０１０６】
コンピュータシステム１７００はまた、コンピュータプログラムまたは他の命令がロードされることを可能にするための他の同様の手段を含み得る。そのような手段は、例えば、ソフトウェアおよびデータがコンピュータシステム１７００と外部システムおよびネットワークとの間で転送されることを可能にする、通信インターフェース１７１６を含むことができる。通信インターフェース１７１６の実施例は、モデム、Ｅｔｈｅｒｎｅｔ（登録商標）カード等のネットワークインターフェース、無線通信インターフェース、またはシリアルあるいはパラレル通信ポートを含むことができる。通信インターフェース１７１６を介して転送されるソフトウェアおよびデータは、通信インターフェース１７１６によって受信されることが可能な電子、音響、電磁、光学、または他の信号であり得る、信号の形態である。当然ながら、複数のインターフェースを単一のコンピュータシステム１７００上に提供することができる。
【０１０７】
コンピュータ１７０６への入力およびそこからの出力は、入力／出力（Ｉ／Ｏ）インターフェース１７１８によって管理される。このＩ／Ｏインターフェース１７１８は、ディスプレイ１７０２、キーボード１７０４Ａ、外部デバイス１７０８、およびコンピュータシステム１７００の他のそのような構成要素の制御を管理する。コンピュータ１７０６はまた、グラフィカル処理ユニット（ＧＰＵ）１７２０も含む。後者はまた、数学的計算のために、（ＣＰＵ）１７１０の付属として、またはその代わりに、計算目的で使用され得る。
【０１０８】
コンピュータシステム１７００の種々の構成要素は、直接的に、または好適なバスに連結することによってのいずれかで、互に連結される。
【０１０９】
図１８は、スマートフォン１８００の形態の例示的なネットワークモバイル無線電気通信コンピュータデバイスを示す。スマートフォン１８００は、ディスプレイ１８０２と、キーボード１８０４の形態の入力デバイスと、内蔵コンピュータシステム１８０６とを含む。ディスプレイ１８０２は、タッチスクリーンディスプレイであり得、それによって、追加の入力デバイスとして、またはキーボード１８０４の代替案としての機能を果たし得る。内蔵コンピュータシステム１８０６は、内部メモリ１８１２、好ましくは、ランダムアクセスメモリ（ＲＡＭ）および／または読み取り専用メモリ（ＲＯＭ）に記憶されたソフトウェアを実行するように、算術計算および制御機能を果たすための１つ以上のプロセッサまたはマイクロプロセッサを有する、中央処理装置（ＣＰＵ）１８１０を備え、典型的には、スマートフォン１８００に組み込まれ得る、または取り外し可能なフラッシュカードを備え得る、あるいは両方である、フラッシュメモリを備えるであろう、追加のメモリ１８１４に連結される。スマートフォン１８００はまた、ソフトウェアおよびデータがスマートフォン１８００と外部システムおよびネットワークとの間で転送されることを可能にする、通信インターフェース１８１６も含む。通信インターフェース１８１６は、典型的には、セルラーネットワーク、無線デジタルネットワーク、またはＷｉ−Ｆｉネットワークのうちの１つ以上に接続するための無線通信を備えるであろう、１つ以上の無線通信モジュール１８２４に連結される。通信インターフェース１８１６はまた、典型的には、外部コンピュータシステムへのスマートフォン１８００の有線接続も可能にするであろう。マイクロホン１８２６およびスピーカ１８２８は、内蔵コンピュータシステム１８０６によって管理される電話機能を支援するように、内蔵コンピュータシステム１８０６に連結され、ＧＰＳ受信機ハードウェア１８２２もまた、内蔵コンピュータシステム１８０６によるナビゲーション動作を支援するように、通信インターフェース１８１６に連結され得る。内蔵コンピュータシステム１８０６からの入力、およびそこからの出力は、ディスプレイ１８０２、キーボード１８０４、マイクロホン１８２６、およびスピーカ１８２８の制御を管理する、入力／出力（Ｉ／Ｏ）インターフェース１８１８によって管理される。内蔵コンピュータシステム１８０６はまた、別個のグラフィカル処理ユニット（ＧＰＵ）１８２０を含み得る。種々の構成要素は、直接的に、または好適なバスに連結することによってのいずれかで、互に連結される。
【０１１０】
本明細書で説明される方法は、本方法を実行するためにそれとともに具現化されたコンピュータ読み取り可能なプログラムコードを有する、不揮発性メモリ等のコンピュータ読み取り可能な記憶媒体を備えているコンピュータプログラム製品として提供され得る。したがって、不揮発性メモリは、プロセッサによって実行されると、コンピュータデバイスに関連方法を実行させる命令を含むであろう。
【０１１１】
上記のシステムおよび方法は、完全にハードウェアで、完全にソフトウェアで、またはハードウェアおよびソフトウェアの組み合わせを介して実装され得る。好ましい実施形態では、実装は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むが、それらに限定されない、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせを介したものである。さらに、上記のシステムおよび方法は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供する、コンピュータ使用可能またはコンピュータ読み取り可能な媒体からアクセス可能であるコンピュータプログラム製品の形態で実装され得る。そのような実施形態では、コンピュータプログラム製品は、スマートフォン１８００の内蔵コンピュータシステム１８０６のメモリ１８１２またはコンピュータ１７０６のメモリ１７１２等のコンピュータ内のコンピュータ使用可能またはコンピュータ読み取り可能な媒体上に、あるいはスマートフォン１８００の内蔵コンピュータシステム１８０６またはコンピュータ１８０６の外部のコンピュータ使用可能またはコンピュータ読み取り可能な媒体上に、あるいはそれらの組み合わせの上に常駐し得る。
【０１１２】
いくつかの現在の好ましい実施形態を一例として説明してきた。請求項の範囲から逸脱することなく、いくつかの変更および修正を行うことができることが、当業者に明白であろう。
【図１】
2016506551.tif 000006
【図２Ａ】
2016506551.tif 000007
【図２Ｂ】
2016506551.tif 000008
【図３】
2016506551.tif 000009
【図３Ａ】
2016506551.tif 000010
【図４】
2016506551.tif 000011
【図５】
2016506551.tif 000012
【図６】
2016506551.tif 000013
【図７】
2016506551.tif 000014
【図８Ａ】
2016506551.tif 000015
【図８Ｂ】
2016506551.tif 000016
【図８Ｃ】
2016506551.tif 000017
【図８Ｄ】
2016506551.tif 000018
【図９Ａ】
2016506551.tif 000019
【図９Ｂ】
2016506551.tif 000020
【図９Ｃ】
2016506551.tif 000021
【図９Ｄ】
2016506551.tif 000022
【図１０】
2016506551.tif 000023
【図１１】
2016506551.tif 000024
【図１２】
2016506551.tif 000025
【図１３Ａ】
2016506551.tif 000026
【図１３Ｂ】
2016506551.tif 000027
【図１３Ｃ】
2016506551.tif 000028
【図１３Ｄ】
2016506551.tif 000029
【図１４Ａ】
2016506551.tif 000030
【図１４Ｂ】
2016506551.tif 000031
【図１４Ｃ】
2016506551.tif 000032
【図１４Ｄ】
2016506551.tif 000033
【図１５Ａ】
2016506551.tif 000034
【図１５Ｂ】
2016506551.tif 000035
【図１５Ｃ】
2016506551.tif 000036
【図１５Ｄ】
2016506551.tif 000037
【図１６Ａ】
2016506551.tif 000038
【図１６Ｂ】
2016506551.tif 000039
【図１６Ｃ】
2016506551.tif 000040
【図１６Ｄ】
2016506551.tif 000041
【図１７】
2016506551.tif 000042
【図１８】
2016506551.tif 000043
【手続補正書】
【提出日】平成27年7月14日(2015.7.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
球面画像を生成する方法であって、
一組の画像を受信することであって、
各画像は、概念的なプラトンの立体の一意の包囲点からの視野を光軸に沿って外向きに表す画像面を画定し、前記光軸は、前記概念的なプラトンの立体の重心とそれぞれの包囲点との間の概念的な線と実質的に同一線上にあり、
各包囲点は、
（ａ）前記概念的なプラトンの立体の一組の全ての頂点、および
（ｂ）前記概念的なプラトンの立体の一組の全ての面の重心
から成る群から選択される一組の包囲点の構成要素であり、
前記組における画像の数は、前記概念的なプラトンの立体に対する選択された組の包囲点における包囲点の数に等しく、
各画像の前記視野は、各隣接画像の前記視野と少なくとも実質的に隣接する、ことと、
円筒投影に従って、概念的な球体上の球面座標を各画像内の各画素に割り当てることであって、前記円筒投影は、その画像の前記画像面と整列させられている、ことと、
球面画像テンプレートに従って前記画素から導出される色を前記球面画内の画素位置に割り当てるために、前記球面座標を使用することと
を含み、
前記概念的な球体は、前記概念的なプラトンの立体の前記頂点に交差し、
前記概念的な球体は、前記概念的なプラトンの立体の前記重心を中心とし、
各画像の前記画像面は、前記概念的な球体に実質的に接しており、
前記円筒投影は、前記円筒投影の概念的な円筒によってその画像の前記画像面と整列させられており、前記概念的な円筒は、前記画像面に実質的に接しているその円筒壁、および前記概念的なプラトンの立体の前記重心に交差するその縦軸を有している、
方法。
【請求項２】
前記概念的なプラトンの立体は、概念的な正４面体であり、各包囲点は、前記概念的な正４面体の頂点であり、前記組における画像の数は、４である、請求項１に記載の方法。
【請求項３】
各画像は、少なくとも１２９．５度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項４】
各画像は、少なくとも１３５度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項５】
各画像は、少なくとも１６５度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項６】
各画像は、約１６５度〜約１７０度の視野を表す画像面を画定する、請求項２に記載の方法。
【請求項７】
受信されるときの前記画像は、単一の複合画像に多重化されており、前記方法は、各画像内の各画素に対して、前記概念的な球体の表面上へのその画素の投影を表す前記球面座標を見出す前に、前記複合画像から各画像を分離することをさらに含む、請求項２、３、４、５、または６のいずれか１項に記載の方法。
【請求項８】
各画像の前記視野は、各隣接画像の前記視野に重複している、請求項２、３、４、５、６、または７のいずれか１項に記載の方法。
【請求項９】
前記球面画像テンプレートは、正距円筒画像テンプレートである、請求項２、３、４、５、６、７、または８のいずれか１項に記載の方法。
【請求項１０】
その画像の前記画像面と整列させられている前記円筒投影に従って、前記球面座標をそれぞれの画素に割り当てることは、前記円筒投影から導出される事前計算された参照テーブルに従って、前記球面座標をそれぞれの画素に割り当てることを含む、請求項２、３、４、５、６、７、８、または９のいずれか１項に記載の方法。
【請求項１１】
前記事前計算された参照テーブル内の前記球面座標は、前記円筒投影から導出されることに加えて、歪み補正のための位置調整を含む、請求項１０に記載の方法。
【請求項１２】
前記球面座標を各画像内の各画素に割り当てることは、
各々が一意の球面座標を有する一意の画素と、
画素群であって、各画素群は、球面座標が同一である複数の画素を含む、画素群と
をもたらし、
前記球面画像テンプレートに従って色を前記球面画像内の前記画素位置に割り当てるために、前記球面座標を使用することは、
一意の画素に割り当てられる球面座標にマップする、前記球面画像内の各画素位置に対して、その一意の画素の前記色を前記球面画像内のその画素位置に割り当てることと、
画素群における前記複数の画素に割り当てられる球面座標にマップする、前記球面画像内の各画素位置に対して、前記画素群における前記複数の画素から混合された色を前記球面画像内のその画素位置に割り当てることと
を含む、請求項２、３、４、５、６、７、８、９、１０、または１１のいずれか１項に記載の方法。
【請求項１３】
いずれの画素にも割り当てられないままである球面座標にマップする、前記球面画像内の各画素位置に対して、前記球面画像内の近隣画素位置をオーバーサンプリングすることによって決定される色を前記球面画像内のその画素位置に割り当てることをさらに含む、請求項１２に記載の方法。
【請求項１４】
各画像は、複数の画像を含むビデオストリーム中の１つの画像である、請求項２、３、４、５、６、７、８、９、１０、１１、１２、または１３のいずれか１項に記載の方法。
【請求項１５】
歪みに対して各画像を補正することをさらに含む、請求項２、３、４、５、６、７、８、９、１０、１１、１２、１３、または１４のいずれか１項に記載の方法。
【請求項１６】
前記組の包囲点は、前記概念的なプラトンの立体の前記組の全ての頂点である、請求項１、７、８、９、１０、１１、１２、１３、１４、または１５のいずれか１項に記載の方法。
【請求項１７】
前記組の包囲点は、前記概念的なプラトンの立体の前記組の全ての面の重心である、請求項１、７、８、９、１０、１１、１２、１３、１４、または１５のいずれか１項に記載の方法。
【請求項１８】
受信されるときの前記画像は、単一の複合画像に多重化されており、
前記方法は、各画像内の各画素に対して、前記概念的な球体の表面上へのその画素の投影を表す前記球面座標を見出す前に、前記複合画像から各画像を分離することをさらに含む、請求項１、７、８、９、１０、１１、１２、１３、１４、１５、１６、または１７のいずれか１項に記載の方法。
【請求項１９】
データ処理システムの少なくとも１つのプロセッサによって実行されると、前記データ処理システムに請求項１〜１８のいずれか１項の方法を実行させる命令を具現化する有形コンピュータ読み取り可能な媒体を備えているコンピュータプログラム製品。
【請求項２０】
データ処理システムであって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに連結されているメモリと
を備え、
前記メモリは、命令を含み、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記データ処理システムに請求項１〜１８のいずれか１項の方法を実行させる、データ処理システム。
【請求項２１】
球面画像の作成を可能にするための撮像システムであって、前記撮像システムは、
支持フレームと、
前記支持フレームによって保持されている４つの画像センサと
を備え、
各画像センサは、光軸を有するレンズシステムと、前記レンズシステムの前記光軸と整列させられている焦点面アレイとを備え、
各画像センサは、各隣接画像センサの視野と少なくとも実質的に隣接する視野を有し、
前記画像センサは、
各レンズシステムの前記光軸が、共通の概念的な正４面体の中線と実質的に同一線上にあり、
各焦点面アレイが、そのそれぞれの画像センサの前記レンズシステムと前記概念的な４面体の重心との間に位置付けられ、
各画像センサが、前記概念的な４面体の前記重心に対して外向きに面するように
配列されている、撮像システム。
【請求項２２】
各画像センサは、少なくとも１２９．５度の視野を有する、請求項２１に記載の撮像システム。
【請求項２３】
各画像センサは、各隣接画像センサの視野に重複する視野を有する、請求項２１に記載の撮像システム。
【請求項２４】
各画像センサは、少なくとも１３５度の視野を有する、請求項２３に記載の撮像システム。
【請求項２５】
各画像センサは、少なくとも１６５度の視野を有する、請求項２３に記載の撮像システム。
【請求項２６】
各画像センサは、約１６５度〜約１７０度の視野を有する、請求項２３に記載の撮像システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
上記の方法を実行するための命令を具現化する、有形コンピュータ使用可能媒体を備えているコンピュータプログラム製品、および上記の方法を実装するためのコンピュータシステムも開示される。
本発明はさらに、例えば、以下を提供する。
（項目１）
球面画像を生成する方法であって、
一組の画像を受信することであって、
各画像は、概念的なプラトンの立体の一意の包囲点からの視野を光軸に沿って外向きに表す画像面を画定し、前記光軸は、前記概念的なプラトンの立体の重心とそれぞれの包囲点との間の概念的な線と実質的に同一線上にあり、
各包囲点は、
（ａ）前記概念的なプラトンの立体の一組の全ての頂点、および
（ｂ）前記概念的なプラトンの立体の一組の全ての面の重心
から成る群から選択される一組の包囲点の構成要素であり、
前記組における画像の数は、前記概念的なプラトンの立体に対する選択された組の包囲点における包囲点の数に等しく、
各画像の前記視野は、各隣接画像の前記視野と少なくとも実質的に隣接する、ことと、
円筒投影に従って、概念的な球体上の球面座標を各画像内の各画素に割り当てることであって、前記円筒投影は、その画像の前記画像面と整列させられている、ことと、
球面画像テンプレートに従って前記画素から導出される色を前記球面画内の画素位置に割り当てるために、前記球面座標を使用することと
を含み、
前記概念的な球体は、前記概念的なプラトンの立体の前記頂点に交差し、
前記概念的な球体は、前記概念的なプラトンの立体の前記重心を中心とし、
各画像の前記画像面は、前記概念的な球体に実質的に接しており、
前記円筒投影は、前記円筒投影の概念的な円筒によってその画像の前記画像面と整列させられており、前記概念的な円筒は、前記画像面に実質的に接しているその円筒壁、および前記概念的なプラトンの立体の前記重心に交差するその縦軸を有している、
方法。
（項目２）
前記概念的なプラトンの立体は、概念的な正４面体であり、各包囲点は、前記概念的な正４面体の頂点であり、前記組における画像の数は、４である、項目１に記載の方法。
（項目３）
各画像は、少なくとも１２９．５度の視野を表す画像面を画定する、項目２に記載の方法。
（項目４）
各画像は、少なくとも１３５度の視野を表す画像面を画定する、項目２に記載の方法。
（項目５）
各画像は、少なくとも１６５度の視野を表す画像面を画定する、項目２に記載の方法。
（項目６）
各画像は、約１６５度〜約１７０度の視野を表す画像面を画定する、項目２に記載の方法。
（項目７）
受信されるときの前記画像は、単一の複合画像に多重化されており、前記方法は、各画像内の各画素に対して、前記概念的な球体の表面上へのその画素の投影を表す前記球面座標を見出す前に、前記複合画像から各画像を分離することをさらに含む、項目２、３、４、５、または６のいずれか１項に記載の方法。
（項目８）
各画像の前記視野は、各隣接画像の前記視野に重複している、項目２、３、４、５、６、または７のいずれか１項に記載の方法。
（項目９）
前記球面画像テンプレートは、正距円筒画像テンプレートである、項目２、３、４、５、６、７、または８のいずれか１項に記載の方法。
（項目１０）
その画像の前記画像面と整列させられている前記円筒投影に従って、前記球面座標をそれぞれの画素に割り当てることは、前記円筒投影から導出される事前計算された参照テーブルに従って、前記球面座標をそれぞれの画素に割り当てることを含む、項目２、３、４、５、６、７、８、または９のいずれか１項に記載の方法。
（項目１１）
前記事前計算された参照テーブル内の前記球面座標は、前記円筒投影から導出されることに加えて、歪み補正のための位置調整を含む、項目１０に記載の方法。
（項目１２）
前記円筒投影は、ミラー円筒投影である、項目２、３、４、５、６、７、８、９、１０、または１１のいずれか１項に記載の方法。
（項目１３）
前記球面座標を各画像内の各画素に割り当てることは、
各々が一意の球面座標を有する一意の画素と、
画素群であって、各画素群は、球面座標が同一である複数の画素を含む、画素群と
をもたらし、
前記球面画像テンプレートに従って色を前記球面画像内の前記画素位置に割り当てるために、前記球面座標を使用することは、
一意の画素に割り当てられる球面座標にマップする、前記球面画像内の各画素位置に対して、その一意の画素の前記色を前記球面画像内のその画素位置に割り当てることと、
画素群における前記複数の画素に割り当てられる球面座標にマップする、前記球面画像内の各画素位置に対して、前記画素群における前記複数の画素から混合された色を前記球面画像内のその画素位置に割り当てることと
を含む、項目２、３、４、５、６、７、８、９、１０、１１、または１２のいずれか１項に記載の方法。
（項目１４）
いずれの画素にも割り当てられないままである球面座標にマップする、前記球面画像内の各画素位置に対して、前記球面画像内の近隣画素位置をオーバーサンプリングすることによって決定される色を前記球面画像内のその画素位置に割り当てることをさらに含む、項目１３に記載の方法。
（項目１５）
各画像は、複数の画像を含むビデオストリーム中の１つの画像である、項目２、３、４、５、６、７、８、９、１０、１１、１２、１３、または１４のいずれか１項に記載の方法。
（項目１６）
歪みに対して各画像を補正することをさらに含む、項目２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、または１５のいずれか１項に記載の方法。
（項目１７）
前記組の包囲点は、前記概念的なプラトンの立体の前記組の全ての頂点である、項目１、７、８、９、１０、１１、１２、１３、１４、１５、または１６のいずれか１項に記載の方法。
（項目１８）
前記組の包囲点は、前記概念的なプラトンの立体の前記組の全ての面の重心である、項目１、７、８、９、１０、１１、１２、１３、１４、１５、または１６のいずれか１項に記載の方法。
（項目１９）
受信されるときの前記画像は、単一の複合画像に多重化されており、
前記方法は、各画像内の各画素に対して、前記概念的な球体の表面上へのその画素の投影を表す前記球面座標を見出す前に、前記複合画像から各画像を分離することをさらに含む、項目１、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、または１８のいずれか１項に記載の方法。
（項目２０）
データ処理システムの少なくとも１つのプロセッサによって実行されると、前記データ処理システムに項目１〜１９のいずれか１項の方法を実行させる命令を具現化する有形コンピュータ読み取り可能な媒体を備えているコンピュータプログラム製品。
（項目２１）
データ処理システムであって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに連結されているメモリと
を備え、
前記メモリは、命令を含み、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記データ処理システムに項目１〜１９のいずれか１項の方法を実行させる、データ処理システム。
（項目２２）
球面画像の作成を可能にするための撮像システムであって、前記撮像システムは、
支持フレームと、
前記支持フレームによって保持されている４つの画像センサと
を備え、
各画像センサは、光軸を有するレンズシステムと、前記レンズシステムの前記光軸と整列させられている焦点面アレイとを備え、
各画像センサは、各隣接画像センサの視野と少なくとも実質的に隣接する視野を有し、
前記画像センサは、
各レンズシステムの前記光軸が、共通の概念的な正４面体の中線と実質的に同一線上にあり、
各焦点面アレイが、そのそれぞれの画像センサの前記レンズシステムと前記概念的な４面体の重心との間に位置付けられ、
各画像センサが、前記概念的な４面体の前記重心に対して外向きに面するように
配列されている、撮像システム。
（項目２３）
各画像センサは、少なくとも１２９．５度の視野を有する、項目２２に記載の撮像システム。
（項目２４）
各画像センサは、各隣接画像センサの視野に重複する視野を有する、項目２２に記載の撮像システム。
（項目２５）
各画像センサは、少なくとも１３５度の視野を有する、項目２４に記載の撮像システム。
（項目２６）
各画像センサは、少なくとも１６５度の視野を有する、項目２４に記載の撮像システム。
（項目２７）
各画像センサは、約１６５度〜約１７０度の視野を有する、項目２４に記載の撮像システム。
【国際調査報告】
2016506551.tif 000044
2016506551.tif 000045