(57)【要約】本発明は、観察者の周りの水平方向及び垂直方向３６０°の視界領域の完全な立体視球面画像を得るための新規な画像システムを提供する。本システムにより得られる画像は、立体視表示に適切な手段により表示され、これにより観察者は立体的な奥行きを実感しながら自分の周囲すべてを見ることができる。本発明によるシステムは、カメラのレンズが湾曲面に球体の中心から外側に向くよう設置された複数のカメラからなるカメラアレイにより構成される。本システムによりキャプチャされた画像群は、３次元的に見えるように、立体視画像のペアセットの各ペアの第１画像が観察者の右目に、第２画像が左目に対応するよう形成される。
2004514951.tif 000002
【特許請求の範囲】
【請求項１】
完全な立体視湾曲画像あるいはその連続部分をキャプチャする撮影システムであって：
複数のカメラからなる３次元カメラアレイ；
からなり、前記複数のカメラの複数のレンズすべてが湾曲面に該湾曲面の共通の中心から外側に向くよう設置され、前記複数のレンズすべてによりキャプチャされる視界の全体は前記撮影システムの周囲の全視界領域あるいはその連続部分をカバーし、前記視界の全体における任意の点が前記複数のレンズの少なくとも２つによりキャプチャされることを特徴とするシステム。
【請求項２】
請求項１記載のシステムであって、前記湾曲面は球面であることを特徴とするシステム。
【請求項３】
請求項２記載のシステムであって、前記複数のカメラは特定の構成により配置され、前記複数のレンズの何れか１つのレンズは、該レンズの視界が水平軸に関して前記レンズの両側にある隣接する２つのレンズの視界とかなりの程度オーバーラップし、水平軸に関して前記レンズの上方または下方にある隣接するレンズの視界とごくわずかな程度オーバーラップすることを特徴とするシステム。
【請求項４】
請求項２記載のシステムであって、前記複数のカメラは特定の構成により配置され、前記複数のレンズの何れか１つのレンズは、該レンズの視界が該レンズの周囲の隣接するレンズすべての視界とかなりの程度オーバーラップし、前記複数のレンズは前記球面上に随意的に等間隔で配置されていることを特徴とするシステム。
【請求項５】
請求項１記載のシステムであって、前記複数のカメラのそれぞれによりキャプチャされた画像情報は別々に保存されていることを特徴とするシステム。
【請求項６】
請求項１記載のシステムであって、前記複数のレンズの総数は好ましくは１８から２２であることを特徴とするシステム。
【請求項７】
請求項１記載のシステムであって、前記複数のレンズは好ましくは３５ｍｍから７０ｍｍの範囲にあることを特徴とするシステム。
【請求項８】
請求項１記載のシステムであって、前記複数のカメラの振動を抑え、前記複数のカメラを相対的に固定した位置に保持する安定化手段をさらに備えることを特徴とするシステム。
【請求項９】
請求項１記載のシステムであって、前記カメラアレイは該カメラアレイの回転及び平行移動を可能にする手段を有する支持装置に装着されることを特徴とするシステム。
【請求項１０】
請求項１記載のシステムであって、前記複数のカメラはビデオカメラであることを特徴とするシステム。
【請求項１１】
請求項１０記載のシステムであって、前記ビデオカメラはデジタルビデオカメラであることを特徴とするシステム。
【請求項１２】
請求項１記載のシステムであって、前記複数のカメラの何れかによりキャプチャされた画像情報を処理し、画質の向上のため余分なデータを取り除く画像処理手段をさらに備えることを特徴とするシステム。
【請求項１３】
請求項１記載のシステムであって、前記複数のレンズの何れかのレンズによりキャプチャされた複数の画像の何れかの境界、あるいは前記複数の画像の各領域内の所定の点の集まりをマークするマーキング手段をさらに備えることを特徴とするシステム。
【請求項１４】
完全な立体視湾曲画像あるいはその連続部分を生成するマルチレンズカメラ装置であって：
湾曲面に設置され、該湾曲面の共通の中心から外側に向けられた複数のレンズ；及び
該複数のレンズのそれぞれによりキャプチャされた複数の画像の画像情報を記録かつ随意的に記憶する手段；
からなり、前記複数のレンズすべてによりキャプチャされる視界の全体は前記カメラの周囲の全視界領域あるいはその連続部分をカバーし、前記視界の全体における任意の点が前記複数のレンズの少なくとも２つによりキャプチャされることを特徴とする装置。
【請求項１５】
立体視表示を可能にする手段により観察者に表示される視界領域の完全あるいは部分的な立体視湾曲画像をキャプチャするプロセスであって：
複数のカメラからなる３次元カメラアレイを配置するステップ；
からなり、前記複数のカメラの複数のレンズすべてが湾曲面に該湾曲面の共通の中心から外側に向くよう設置され、前記複数のレンズすべてによりキャプチャされる視界の全体は前記カメラアレイの周囲の全視界領域あるいはその連続部分をカバーし、前記視界の全体における任意の点が前記複数のレンズの少なくとも２つによりキャプチャされることを特徴とするプロセス。
【請求項１６】
請求項１５記載のプロセスであって、前記湾曲面は球面であることを特徴とするプロセス。
【請求項１７】
立体視表示を可能にする手段を備えるシステムにより観察者に表示される視界領域の完全な立体視湾曲画像をキャプチャし、表示するプロセスであって：
画像群をキャプチャするための複数のレンズからなる３次元レンズアレイを配置するステップ；
立体視表示のため前記システムから前記観察者の視界の座標を受け取るステップ；
前記画像群から前記観察者の視界をカバーする立体視画像ペアを形成するステップ；及び
立体視表示のための前記システムにより前記立体視画像ペアを前記観察者に表示するステップ；
からなり、前記複数のレンズすべてによりキャプチャされる視界の全体は前記レンズアレイの周囲の全視界領域をカバーし、前記視界の全体における任意の点が前記複数のレンズの少なくとも２つによりキャプチャされることを特徴とするプロセス。
【請求項１８】
請求項１７記載のプロセスであって、前記画像群から立体視画像ペアを形成するステップは：
前記観察者の視界を前記画像群に投影するステップ；
該画像群から少なくとも部分的に前記観察者の視界とオーバーラップする画像グループを選択するステップ；
左画像部分のグループと右画像部分のグループを得るために、観察者の目線に垂直で画像中心を通る直線により、前記選択された画像グループの各画像を左部と右部に分割するステップ；
前記左画像部分のグループから選択される左部のグループを得るために、前記観察者の視界と重複する部分を選択するステップ；
前記選択される左部のグループを前記立体視画像ペアの右画像となる単一の２次元第１画像に統合するステップ；
前記右画像部分のグループから選択される右部のグループを得るために、前記観察者の視界と重複する部分を選択するステップ；及び
前記選択される右部のグループを前記立体視画像ペアの左画像となる単一の２次元第２画像に統合するステップ；
からなることを特徴とするプロセス。
【請求項１９】
請求項１７記載のプロセスであって、画質の向上、隣接画像間の画像バランス、及び余分なデータを取り除くために、前記画像群の各画像を処理するステップをさらに備えることを特徴とするプロセス。
【請求項２０】
立体視表示を可能にする手段を備えるシステムにより観察者に表示される視界領域の完全な立体視湾曲画像をキャプチャし、表示するプロセスであって：
少なくとも１つのカメラにより、異なるアングル及び（または）異なる場所から撮影された画像群をキャプチャするステップ；
立体視表示のための前記システムから、前記観察者の視界の座標を受け取るステップ；
前記画像群から、前記観察者の視界をカバーする立体視画像ペアを形成するステップ；及び
立体視画像表示のための前記システムにより、前記立体視画像ペアを前記観察者に表示するステップ；
からなり、前記複数の画像の全体領域は前記視界領域をカバーし、前記視界の全体における任意の点が前記画像群の少なくとも２つによりキャプチャされることを特徴とするプロセス。
【請求項２１】
請求項２０記載のプロセスであって、前記画像群から立体視画像ペアを形成するステップは：
前記観察者の視界を前記画像群に投影するステップ；
該画像群から少なくとも部分的に前記観察者の視界とオーバーラップする画像グループを選択するステップ；
左画像部分のグループと右画像部分のグループを得るために、観察者の目線に垂直で画像中心を通る直線により、前記選択された画像グループの各画像を左部と右部に分割するステップ；
前記左画像部分のグループから選択される左部のグループを得るために、前記観察者の視界と重複する部分を選択するステップ；
前記選択される左部のグループを前記立体視画像ペアの右画像となる単一の２次元第１画像に統合するステップ；
前記右画像部分のグループから選択される右部のグループを得るために、前記観察者の視界と重複する部分を選択するステップ；及び
前記選択される右部のグループを前記立体視画像ペアの左画像となる単一の２次元第２画像に統合するステップ；
からなることを特徴とするプロセス。
【請求項２２】
完全な立体視球面画像あるいはその連続部分をキャプチャする前記撮影システムと実質的に等価な撮影システム。
【請求項２３】
視界領域の完全な立体視球面画像をキャプチャし、表示する前記プロセスと実質的に等価なプロセス。
【発明の詳細な説明】
【０００１】
［発明の背景及び技術分野］
本発明は、立体視撮影システムに関し、特に、観察者を水平及び垂直両方向に３６０度包囲する完全な球体の立体視画像またはその連続部分を生成する互いに平行でない光軸を有する球面レンズアレイを備える撮影システム及びその方法に関する。
【０００２】
［関連技術の説明］
立体視撮影システム及びパノラマ撮影システムは技術的に既知のものである。従来技術による立体視撮影では、互いに平行な光軸を有し、レンズ間の距離が一定に保たれたツインカメラにより立体写真対（ｓｔｅｒｅｏ ｐａｉｒ）が撮影される。その後、この得られたペア画像が、従来技術による立体視表示技術を利用して表示される。これらの従来技術は、一般に、右レンズで撮影された像を観察者の右目に、左レンズで撮影された像を観察者の左目に表示するという基本原理に基づいている。
【０００３】
従来技術によるパノラマ撮影では、完全な円に至るまでの広い視野をカバーできるように、魚眼レンズのような広角レンズが利用されたり、あるいは隣接した画像を若干ののりしろを介し繋ぎ合わせることによりパノラマ画像が形成される。最近では、球面画像の形成にパノラマ撮影に使われるテクニックが利用されている。しかしながら、このようなテクニックにより得られるパノラマあるいは球面画像は立体視画像ではないし、そのような画像では観察者に奥行きを実感させることはできない。
【０００４】
また、いわゆる「バーチャルリアリティ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）」という分野が近年注目されている。しかしながら、コンピュータ（あるいは他の合成手段）により生成された画像でなく実在の画像に基づいたバーチャルリアリティのための画像システムは、十分な画質を有する画像の形成にはまだ程遠いという状況である。これは主に、完全な球面でかつ立体的な実在画像の形成に関する困難さに起因している。
【０００５】
したがって、完全な球面でかつ完全に立体的な実在画像を形成することができる改良された撮影システムの必要性が存在する。
【０００６】
本発明は、互いに平行でない光軸を有する複数のレンズにより、レンズのアングルがかなりの程度オーバーラップしている状態で撮影された画像を重ね合わせることによる立体視画像を形成することに関するものである。本発明は、共通の中心から水平及び垂直方向に全周囲をカバーするよう位置決めされた複数のカメラからなる３次元カメラアレイによる完全な球面立体視撮影を可能にする。
［発明の概要］
本発明は、水平及び垂直方向に３６０°の範囲で観察者の周囲の視界に関する完全球面立体視画像の形成が可能な新規な画像システムを提供することにある。立体視画像の表示に適切な手段により本発明により得られた画像を表示することにより、観察者は表示された画像の立体的な奥行きを感じながら、自らの周囲の水平方向にも垂直方向にも観察することができる。
【０００７】
本発明による一形態は、３次元カメラアレイを備えた完全な立体視球面画像あるいはその連続部分をキャプチャできる撮影システムである。複数のカメラが、全てのレンズが球面上に位置するように、共通の中心から等しい距離に配置され、該共通の中心から外部に向くように設置される。これら全てのレンズによりキャプチャされる全体の視界は、前記撮影システムの周りの視界全体あるいはその連続部分をカバーし、前記全体の視界における任意の点が少なくとも２つのレンズによりキャプチャされる。本発明の実施例では、複数のカメラが、複数のレンズの何れか１つの視界が水平軸に関してレンズのサイドにある２つの隣接レンズの視界とかなりの程度オーバーラップし、水平軸に関してレンズの上方あるいは下方にある隣接レンズの視界とごくわずかな程度オーバーラップするよう配置される。本実施例によると、視界の全体は完全な球状の立体視パノラマ画像を全体として構成し、各パノラマ画像内の任意の点は少なくとも２つのレンズによりキャプチャされる。
【０００８】
第２の実施例では、複数のレンズの何れかの視界がこのレンズの周囲に隣接するすべてのレンズの視界とかなりの程度オーバーラップし、これら複数のレンズは球面に随意的に等間隔で配置される。各カメラによりキャプチャされた画像情報は、別々に保存される。さらに本発明は、複数のレンズの何れかによりキャプチャされた複数の画像の何れかの境界あるいは各画像領域の所定の点の集まりをマークするマーキング手段と、複数のカメラの何れかによりキャプチャされた画像情報を処理し、画質の向上のため余分なデータを取り除く画像処理手段を備える。
【０００９】
本発明の第２の形態は、完全な立体視球面画像を生成するマルチレンズカメラ装置である。この装置は、球面上に配置された複数のレンズと、各レンズによりキャプチャされる画像情報の記録及び随意的な保存を行う手段から構成される。これらのレンズは球面上に配置され、これらすべてのレンズによりキャプチャされる全体の視界は、カメラ装置の周囲の視界領域全体をカバーし、この全体の視界における任意の点が少なくとも２つ以上のレンズによりキャプチャされる。
【００１０】
本発明の第３の形態は、複数のカメラからなる３次元カメラアレイを配置するステップからなり、立体視表示を可能にする手段により観察者に表示される視界領域の完全あるいは部分的な立体視球面画像をキャプチャするプロセスである。このプロセスは、すべてのカメラのレンズが球面上にこれらレンズのすべての光軸が球体の中心で交わるよう設置され、これらのレンズによりキャプチャされる全体の視界がカメラアレイの周囲の視界領域全体をカバーし、この全体の視界における任意の点が少なくとも２つのレンズによりキャプチャされることを特徴とする。
【００１１】
本発明の第４の形態は、立体視表示を可能にする手段を備えるシステムにより、観察者に表示される視界領域の完全な立体視球面画像をキャプチャし、表示するプロセスである。このプロセスは、ａ）すべてのレンズによりキャプチャされる全体の視界がレンズアレイの周りの視界領域全体をカバーし、この全体の視界における任意の点が少なくとも２つのレンズによりキャプチャされるように、画像群をキャプチャする３次元レンズアレイを配置するステップ；ｂ）立体視表示のためのシステムから、観察者の視界の座標を受け取るステップ；ｃ）画像群から観察者の視界をカバーする立体視画像ペアを形成するステップ；ｄ）立体視表示のためのシステムにより立体視画像ペアを観察者に表示するステップ；から構成される。画像群から立体視画像ペアを形成するステップは、ａ）観察者の視界を画像群に投影するステップ；ｂ）画像群から、少なくとも部分的に観察者の視界とオーバーラップする画像グループを選択するステップ；ｃ）左画像部分のグループと右画像部分のグループ得るために、観察者の目線に垂直で画像中心を通る直線により選択された画像グループの各画像を左部と右部に分割するステップ；ｄ）選択される左部のグループを得るために、左画像部分のグループから観察者の視界とオーバーラップする部分を選択するステップ；ｅ）選択された左部を立体視ペアの右側画像である単一の２次元第１画像に統合するステップ；ｆ）選択される右部のグループを得るために、右画像部分のグループから観察者の視界とオーバーラップする部分を選択するステップ；ｇ）選択された右部を立体視ペアの左側画像である単一の２次元第２画像に統合するステップ；から構成される。
［好適実施例の詳細な説明］
本発明は、完全な立体視球面画像あるいはその連続部分を同時にキャプチャするシステム及び方法を提供する。立体視画像を形成するための本発明による方法は光学原理に基づくものであり、したがって任意の撮影技術に適用可能である。本発明の実施例では、本発明によるシステムはデジタルビデオカメラを備えるが、アナログビデオカメラやフィルムカメラが使われてもよい。本発明によるシステムでは、静止画あるいは動画のための時系列画像が生成されてもよい。
【００１２】
本発明による装置は、３次元カメラアレイからなり、各カメラは共通の中心からその主光軸が中心で一致するよう方向付けされている。このような構成では、周囲の画像をキャプチャできるようレンズは湾曲面に配置される。本実施例によると、各カメラは共通の中心から等しい距離に配置される。しかしながら、本発明の基本原理が適用される限り、任意の湾曲面あるいはオブジェクト（例えば、楕円）が用いられてもよい。
【００１３】
図１Ａ及び図１Ｂは、このようにして構成された球体上に配置された（１により示される）レンズ位置を示す外部斜視図である。図２は、等間隔で配置され、中心から放射状に（１５により示される）主光軸が球体の中心で一致するよう外に向かって位置づけされた８つのカメラを示す球体の中心に関する断面図である。レンズ１によりキャプチャされた画像の集合は、カメラシステムの周囲の完全な球面の視界を水平及び垂直両方向に３６０°カバーする。
【００１４】
このような構成とするため、カメラの実際の搭載は様々な方法により実現されうる。例えば、カメラは、球状のオブジェクトに指定された間隔で搭載されてもよいし、あるいは蜂の巣形状の構造体に搭載されてもよい。
【００１５】
本発明による装置は、カメラシステムの回転及び平行移動を可能にする手段を備えた支持装置８に搭載されてもよい。そのような支持装置は、トラックイン／トラックアウト（ｔｒａｃｋ−ｉｎ／ｔｒａｃｋ−ｏｕｔ）及びトラックライト／トラックレフト（ｔｒａｃｋ−ｒｉｇｈｔ／ｔｒａｃｋ−ｌｅｆｔ）を可能にする回転手段、及びティルト（ｔｉｌｔ）やパン（ｐａｎ）を可能にする手段やクレーンアップ／クレーンダウン（ｃｒａｎｅ−ｕｐ／ｃｒａｎｅ−ｄｏｗｎ）を可能にする手段を備えた三脚であってもよい。本発明による装置はさらに、システムの振動を防ぎ、相対的に固定された位置にカメラを保持する安定化システムを備えている。本発明による装置はさらに、支持装置８から独立した球体の回転、パンニング及びティルティングを可能にする内部ロボットを備えていてもよい。
【００１６】
図１と図２に図示された構成では、球体上に配置されているレンズの総数は１８である。地球に関するアナロジーを利用して、レンズは以下のように配置される。すなわち、完全な球面の視界を得るために、８つのレンズが３６０°のパノラマ視界をキャプチャするため赤道に沿って配置され、４つのレンズが水平線上下の視界をキャプチャするため赤道を挟んだ各側の高緯度／低緯度に沿って配置され、各極に１つずつレンズが配置される。
【００１７】
レンズ総数は１８〜２２であることが好ましい。しかしながら、以下で説明されるように、形成される画像の質に依存して、カメラの総数は可変であってよい。
【００１８】
図３は、隣接する３つのカメラ５、５’及び５’’とそれぞれの視界１１、１２及び１３を示す。本発明のメインとなるアイディアは、全体の視界における任意の点が少なくとも２つのカメラレンズによりキャプチャされ、それにより立体視球面画像を形成できるようカメラを配置することにある。球面から所定の距離ｄ以上離れた任意の点が少なくとも２つのレンズの視界によりカバーされている。図３に示されるように、視界１２の左半分は視界１１と重複し、一方、右半分は視界１３と重複している。このように視界１２の任意の点が少なくとも１つ以上のレンズによりカバーされる。距離ｄは隣接するレンズの光軸間の角度α、各レンズのカバー範囲角β及び球体半径ｒの関数である。
【００１９】
考慮されるべきもう１つの要因は、キャプチャされる画像の所望の画質である。カバー範囲（視界）のレンズ角が小さいほど、得られる画像の画質は高いものとなる。ベストの画質はレンズカバー範囲の中心部分において得られる。レンズのカバー範囲角が大きくなればなるほど、歪みを有する境界部分の範囲もまた拡大する。従って、装置に要されるレンズ数は所望の画質の関数となる。より良い画質のためには、視界の小さなレンズを多数使用する必要がある。レンズのカバー範囲角は３０°〜６５°（３５〜７０ｍｍのレンズ）の範囲にあることが好ましい。
【００２０】
各レンズは同一のものであること、すなわち同一のカバー範囲角と同一の焦点長さを持つことが好ましい。しかしながら、異なるカバー範囲角を有するレンズを用いて、高い画質が要求されない領域には大きいカバー範囲角を有するレンズが使用されてもよい。
【００２１】
本発明によると、カメラは２つの基本構成、すなわち、球面上の２つの基本的レンズ配置で構成されうる。第１の構成によると、球体は、地球の周囲の緯度線に相当する平行線に分割される。各平行線上で、この平行線上の複数のレンズによりキャプチャされる全体の視界における任意の点が、少なくとも２つのレンズによりカバーされ、隣接する平行線間でわずかな重複部分ができるよう配置される。平行線の長さは高緯度の極方向に向かうにつれて減少し、各平行線をカバーするレンズ数は減少する。さらに、各極に２つのレンズを配置することにより、上方及び下方視界が得られ、完全な球面画像を得ることができる。そのような構成は、あたかも従来技術によるティルト及びパン表示システムが用いられているかのように、立体視球面画像の形成を容易にする。観察者の視界は地面に対して実質的に平行である、すなわち、観察者の両眼は地面に対して実質的に平行であると仮定されている。本発明では、観察者の視界は観察者の両眼を結ぶベクトルとして定義される。
【００２２】
第２の構成によると、カメラは緯度や経度と無関係に配置されている。この「モザイク風」の構成によると、各レンズの視界は、レンズが等間隔に球面に分布している場合、隣接するあらゆるレンズの視界とかなりの程度オーバーラップする。この構成では、視界全体における任意の点がこの点の近傍に位置するレンズによりキャプチャされる。この構成によると、観察者の目線が地面に関して傾いていたとしても、キャプチャされる全体の画像はすべての観察点から立体的に感知することが可能となる。
【００２３】
本発明は、上述されたシステムにおいて使用されているタイプのカメラに制限されない。本発明の好適な実施例によると、カメラにはＣＣＤセンサのような電気光学センサを備えたデジタルビデオカメラが利用される。市場において入手可能なデジタルビデオカメラが利用されてもよい。
【００２４】
本実施例によると、各レンズによりキャプチャされたデジタル画像は、符号化デジタル画像情報の形で、通信手段を介して画像が記憶されているリモート記憶手段に送信される。デジタルカメラを使うことにより、キャプチャされた画像の操作が可能になり、記憶する前に画質の調整が容易になる。しかしながら、非デジタルカメラが用いられたとしても、さらなる操作及び（または）既知の表示技術と互換性のあるフォーマットへの変換のため、記憶された画像情報をデジタル化することも可能である。
【００２５】
本発明の好適な実施例によると、カメラシステムはさらに、球体の動きと安定化のための内部ロボットを制御するためのソフトウェアを有する内部コンピュータシステムを備える。コンピュータシステムはさらに、中央処理部、記憶装置、メモリ装置、及び記憶前にキャプチャされた画像を処理するアルゴリズムを備えていてもよい。また、画像の処理はリモートコンピュータにおいて実行されてもよい。
【００２６】
各カメラによりキャプチャされたデジタル画像情報は、内部コンピュータにより処理され、各画像から歪み（ｄｉｓｔｏｒｔｉｏｎ）が取り除かれる。画像は隣接した画像間の適切なオーバーラップを残すよう所定のサイズにカットされ、不要な情報の記憶スペースを節約するため画像の端が切り落とされる。歪みを補正し、画質を高めるために、画像の中のある部分を引き伸ばしたり、縮小するような既知の手法が画質の向上に利用されてもよい。画像のバランスをとり、隣接した画像間の整合性をとるために、画像処理には、標準的なカメラ制御ユニット（ＣＣＵ）により用いられている処理方法が利用されてもよい。
【００２７】
本発明の好適な実施例によると、カメラシステムはさらに、レンズの境界、各レンズのレンズ領域及び（または）縁にある点の集合をマークするマーキング手段を備えている。マーキング手段は、小型のダイオードレーザーのような１つ以上のレーザー源、あるいは可視光線または不可視光線を生成する他の小型の放射源から構成されてもよい。このようなビームが、レンズの境界やレンズ領域の所定の点の集合を走査し、キャプチャされた画像におけるマーカーの集合を形成する。
【００２８】
マーカーの集合は、画像間の相対的な位置決めのためにコンピュータシステムにより認識及び利用される。カメラの相対位置が固定されているにもかかわらず、動作中に若干の位置ずれが生じる。マーカーシステムはそのような位置ずれによる画像のずれを解消する。各画像において、歪みを取り除き、画質を高めるために、マークされた境界や点が既知の画像処理方法に従って画像処理に利用される。
【００２９】
本発明は、市場で入手可能なカメラのアレイに制限されるものではない。本発明の趣旨に従って設計されたマルチレンズカメラによる実現も可能であるということは当業者には理解可能であろう。球面上に分布されたレンズセットと各レンズによりキャプチャされた画像情報を記録するためのセンサ手段からなるマルチレンズカメラ装置は、基本的なカメラ素子から構成可能である。センサ手段は、それぞれが１つのレンズに対応するＣＣＤチップのような電気光学センサセットからなり、この電気光学センサセットによりレンズによりキャプチャされた画像の受信及び画符号化デジタル情報への変換が行われる。他の構成では、センサの数がレンズの数よりも少なく設置され、適当な光学素子を利用することにより、各センサにより１つ以上のレンズからの画像情報が受信される。例えば、センサ手段は単一の電気光学センサから構成されていてもよい。この場合、カメラ装置は各レンズにより形成された画像をこの単一のセンサに投影する適当な光学素子を備える。このような構成では、センサはすべての画像を同時にキャプチャ可能な大きさに設計される。また、すべての画像が同一のセンサ領域に次々と投影されてもよい。この場合、レンズ間の切り替えを行うシャッターシステムを制御するための特別な機構が必要となる。（同様な機構により、セルロイドフィルム機構における画像の投影が可能である。）
図４及び図５は、画像の記録及び表示に関する主要なステップを示している。ステップ５１０においてレンズ１のそれぞれによりキャプチャされた画像（あるいは画像系列）情報が、ステップ５２０において画質の向上のため画像プロセッサ３０により随意的に処理される。ステップ５３０において、これらの画像は記録システム４０により記録され、適当な記憶媒体に随意的に記憶される。カメラ５のそれぞれからの（アナログあるいはデジタル、１つの画像あるいは画像系列）画像情報が、レンズ指標と時間指標とともに記録される。レンズ指標は、レンズ特徴と球体座標に関する位置についての情報を含む。従って、記録される画像群が、各画像が個別に記憶され、隣接画像に関する相対位置についての情報を含むように形成される。
【００３０】
ステップ５２０における画像処理は随意的なものである。使用されるレンズの光学特性と所望の画質に依存して、様々な画像処理手法が利用されてもよい。これらの手法には、歪みのある領域を完全に取り除くため画像境界部を単純に削除するというものから、歪みの補正及び画質向上のため画像の一部を引き伸ばしたり、縮小したりするというより高度な画像処理方法まで様々である。この画像処理はまた、画像のバランスをとり、隣接画像間の整合性をとるために、標準的なカメラ制御ユニット（ＣＣＵ）を用いた処理方法を採用してもよい。
【００３１】
記録された画像は既知のバーチャルリアリティ装置６０を利用した表示システム５０を介して観察者に表示される。また、表示システム５０はカメラシステムから直接にリアルタイムで画像情報を受信視してもよい。
【００３２】
本発明では、画像処理は随意的なステップである。上述のように、より高い画質を実現するため、立体視効果とは関係なく各画像に画像処理が実行される。本発明によると、立体視効果は光学原理にのみ基づくものであり、以下で説明されるようにそのための画像処理は必要とされない。
【００３３】
図６は、表示パラメータに従い観察者に表示するために、記録された画像群から立体視画像のペアを生成するステップを示すフローチャートである。観察者の表示パラメータはバーチャルリアリティに関する既知の手段６０を利用することにより検出される。この手段は、観察者の頭の位置を検出するためのセンサを備えたヘッドセットあるいは手の位置を検出するためのセンサを備えたバーチャルグローブから構成されてもよい。コンピュータスクリーンのようなフラットスクリーンに表示するため、この目的のためにプログラムされたポインティングデバイス（例えば、マウスやジョイスティック）から表示パラメータは取得される。
【００３４】
ステップ６１０において、観察者がバーチャルリアリティヘッドセットの装着中に頭を動かすことによって、あるいはコンピュータ装置に接続されたポインティングデバイスによりある視界を選択すると、表示システムにより表示パラメータが検出・受信される。観察者の表示パラメータには、観察者の表示方向と観察者の目線が含まれる。
【００３５】
ステップ６２０において、これらの表示パラメータに従い、観察者の視界がその周囲の球体の座標に関して決定され、記録されている画像群に投影される。ステップ６３０において、観察者の視界を少なくとも部分的に重複しているすべての画像が、記録画像群から選択される。
【００３６】
ステップ６４０〜６８０は、本発明の光学原理に基づいた統合画像のペアを生成するための画像組織化アルゴリズムを示す。そのような統合画像のペアにより、３次元パノラマ画像の認識が可能となる。このアルゴリズムはまた、１つ（あるいは複数の）カメラによりキャプチャされた画像に適用されてもよい。この場合、画像は同じカメラの異なるアングルそして（または）異なる位置から撮影される。これは、立体視球面静止画像の形成に好適に適用される。
【００３７】
まず、立体視画像ペアが以下の方法により選択された画像群から形成される。選択された各画像は、観察者の目線に従い画像の中心を通り目線に垂直な直線により左右に分割される（ステップ６４０）。ステップ６５０において、ステップ６４０において生成された観察者の視界に含まれる左部分のすべてが、観察者の視界に一致する１つの２次元画像に統合される。この形成された画像が、観察者の右目に表示される立体視ペアの右画像となる（ステップ６６０）。同一の直線に従って、ステップ６４０において生成された右部分を統合することにより左画像が形成される（ステップ６７０、６８０及び６９０）。
【００３８】
図７は、本発明による立体視ペアの生成例を示す。フレーム１００は表示システム６０により受け取られた観察者の視界を表す。図示されたフレームは矩形形状を有する。しかしながら、カメラの技術的能力に依存して、同一の立体視原理が丸いフレームに適用されてもよい。フレーム３１、３２及び３３は、カメラシステム１０のレンズにより（下方から）撮影された観察者の視界１００をオーバーラップする３つの隣接画像を示す。フレーム３１と３３がフレーム１００のそれぞれ左側と右側を部分的にオーバーラップしている一方、真ん中のフレーム３２はフレーム１００を完全にカバーしている。図６のステップ６４０〜６６０に従って、観察者の右目に表示される新たな画像４０が、画像３２の左部と画像３３の左部を統合することにより形成される。同様にして左画像４１は、画像３１の右部と画像３２の右部を統合することにより形成され、ペア画像が形成される。新たに生成された画像４０と４１はともに、観察者の視界をカバーしているが、これらは明らかに同一のものではない。これらは２つの視点から撮影されているので、観察者に立体的な感覚を与えることができる。この新たな画像ペアは、観察者の視界方向に向いた光軸と水平方向のずれを有する２つのバーチャルレンズにより撮影された画像と一致する。
【００３９】
図７に示されるプロセスは、観察者の視界が３つの記録画像にオーバーラップしているケースを扱っている。しかしながら、観察者の視界がより多くの記録が像を含んでいるとき（例えば、異なる緯度から画像の上方及び下方部分を含むとき、あるいは各画像が観察者の視界をごくわずかにしかカバーしていないとき）、各記録画像から適当な部分を統合し、余分な情報を取り除くことにより、立体視ペアが同一の直線に沿って形成される。（上述の第２のカメラ配置を用いるとき、すなわち、各レンズの視界がそれに隣接するレンズの視界にかなりの程度オーバーラップし、レンズが球面に等間隔に分布しているとき）同様のことが観察者の目線が地面に対し傾いている（観察者の両眼が地面に対して同じ高さにない）ケースにも成り立つ。このようなケースでは、録画された画像群に観察者の視界を投影し、傾斜角に最も近いアングルを互いに形成する画像を選ぶことによって、録画画像が選択される。適当な画像を選択することにより、立体視ペアが図６のステップ６４０〜６８０により生成される。
【００４０】
このように形成された立体視画像ペアが、テレビやコンピュータスクリーンのようなフラットスクリーン上に、あるいはバーチャルリアリティーヘッドセットのような表示装置を利用することにより表示される。フラットスクリーンに表示されるとき、立体視表示のための標準的なカラーフィルタリング方法に従って、あるいは立体視表示の既知の手法により、適当な視野から観察された立体視ペアとして表示される。表示される画像は上述のように観察者の視点に従い変化する。
【００４１】
本発明はこれまで示されてきたものに限定されるものではない。本発明の範囲は請求項によってのみ定義される。
【図面の簡単な説明】
【図１】
図１Ａ及び１Ｂは、本発明による球面上のレンズ構成を示す斜視図である。
【図２】
図２は、完全な立体視パノラマの１ラインを生成するカメラ位置を示す球体中心を通る水平断面図である。
【図３】
図３は、立体視画像を形成する隣接するカメラ間の重複部分を示す。
【図４】
図４は、システムを構成する各レンズからの画像情報を記録するメインステップを示すフローチャートである。
【図５】
図５は、本発明のブロック図である。
【図６】
図６は、観察者の表示パラメータにより立体視ペアを形成するステップを示したフローチャートである。
【図７】
図７は、図６に示されたプロセスの一例を示す。
【図１】
2004514951.tif 000003
【図４】
2004514951.tif 000004
【図５】
2004514951.tif 000005
【図６】
2004514951.tif 000006
【図７】
2004514951.tif 000007
【国際公開パンフレット】
2004514951.tif 000008
2004514951.tif 000009
2004514951.tif 000010
2004514951.tif 000011
2004514951.tif 000012
2004514951.tif 000013
2004514951.tif 000014
2004514951.tif 000015
2004514951.tif 000016
2004514951.tif 000017
2004514951.tif 000018
2004514951.tif 000019
2004514951.tif 000020
2004514951.tif 000021
2004514951.tif 000022
2004514951.tif 000023
2004514951.tif 000024
2004514951.tif 000025
2004514951.tif 000026
2004514951.tif 000027
2004514951.tif 000028
2004514951.tif 000029
2004514951.tif 000030
2004514951.tif 000031
2004514951.tif 000032
2004514951.tif 000033
2004514951.tif 000034
2004514951.tif 000035
【国際公開パンフレット（コレクトバージョン）】
2004514951.tif 000036
2004514951.tif 000037
【国際調査報告】
2004514951.tif 000038