(57)【要約】複数の第１画像取り込み装置を含むイメージングシステム。オーバラップした複数の直線的画像が取り込まれて二分され、各左半部分がつなぎ合わされて第１等矩形画像に変換され、各右半分は、つなぎ合わされて第２等矩形画像に変換される。第１等矩形画像及び第２等矩形画像は、立体方位で表示され、立体等矩形画像を生成する。該イメージングシステムを用いて、複数の連続画像を取り込み、フルモーションの立体等矩形画像を生成することができる。
2006515128.tif 000002
【特許請求の範囲】
【請求項１】
第１画像を取り込むための第１画像取り込みユニットと、
第２画像を取り込むための第２画像取り込みユニットと、
第３画像を取り込むための第３画像取り込みユニットと、
前記第１画像の第１部分を前記第２画像の部分と結合して第１結合画像を生成する手段と、
前記第１画像の第２部分を前記第３画像の部分と結合して第２結合画像を生成する手段と
を含むイメージングシステム。
【請求項２】
前記第１画像取り込みユニット、前記第２画像取り込みユニット、前記第３画像取り込みユニットは、互いに対して約５から約４５度離れて円弧に沿って位置付けられることを特徴とする請求項１に記載のイメージングシステム。
【請求項３】
前記第１画像に関連する画像平面は、前記第２画像に関連する画像平面に約０．５から約３０パーセントだけオーバラップすることを特徴とする請求項１に記載のイメージングシステム。
【請求項４】
前記第１画像に関連する画像平面は、前記第２画像に関連する画像平面に約１から約２０パーセントだけ垂直方向でオーバラップすることを特徴とする請求項１に記載のイメージングシステム。
【請求項５】
前記第１画像と前記第２画像は、ほぼ直線で形成されることを特徴とする請求項１に記載のイメージングシステム。
【請求項６】
前記第１結合画像と前記第２結合画像は、少なくとも部分的に等矩形であることを特徴とする請求項１に記載のイメージングシステム。
【請求項７】
前記第１結合画像と第２結合画像は、立体画像となるように表示することができることを特徴とする請求項１に記載のイメージングシステム。
【請求項８】
前記第１結合画像と前記第２結合画像を立体画像を提供するよう表示する手段を更に含むことを特徴とする請求項１に記載のイメージングシステム。
【請求項９】
複数の前記第１結合画像と第２結合画像を動画立体画像として連続的に表示する手段を更に含むことを特徴とする請求項１に記載のイメージングシステム。
【請求項１０】
前記第１結合画像を十分な複数の画像と結合してシーンの少なくとも約９０度を表す第１結合パノラマ画像を生成し、前記第２結合画像を十分な複数の他の画像と結合して前記シーンの約９０度を表す第２結合パノラマ画像を生成する手段と、前記第１結合パノラマ画像と前記第２結合パノラマ画像は、立体パノラマ画像を提供するよう表示される手段とを更に含むことを特徴とする請求項１に記載のイメージングシステム。
【請求項１１】
結合パノラマ画像の第１セットと結合パノラマ画像の第２セットとを連続して表示し、動画立体パノラマ画像を提供する手段を更に含むことを特徴とする請求項１０に記載のイメージングシステム。
【請求項１２】
前記第１結合画像と第２結合画像は、デジタル画像と結合されて該デジタル画像を含む立体画像を生成することを特徴とする請求項１に記載のイメージングシステム。
【請求項１３】
画像を提供する画像取り込みユニットと、
前記画像の第１部分を使用して第１立体画像を提供する手段と、
前記画像の第２部分を使用して第２立体画像を提供する手段と
を含むイメージングシステム。
【請求項１４】
前記第１立体画像と第２立体画像とを結合してパノラマ立体画像にする手段を更に含むことを特徴とする請求項１３に記載のイメージングシステム。
【請求項１５】
複数の画像を提供するための複数の画像取り込みユニットと、
前記複数の画像から選択された画像をそれらの画像と結合して結合画像を生成する手段と、
前記結合画像を第１パノラマ画像と第２パノラマ画像に結合する手段と、
前記第１パノラマ画像と第２パノラマ画像を表示してパノラマ立体画像を提供する手段と
を更に含むことを特徴とする請求項１３に記載のイメージングシステム。
【請求項１６】
前記第１パノラマ画像は、シーンの約９０度を表示することを特徴とする請求項１５に記載のイメージングシステム。
【請求項１７】
前記パノラマ立体画像は、シーンの約１８０度を表示することを特徴とする請求項１５に記載のイメージングシステム。
【請求項１８】
第１画像を取得する段階と、
第２画像を取得する段階と、
第３画像を取得する段階と、
前記第１画像の第１部分を前記第２画像の部分と結合して第１結合画像を生成する段階と、
前記第１画像の第２部分を前記第３画像の部分と結合して第２結合画像を生成する段階と、
前記第１結合画像と前記第２結合画像を立体画像として表示する段階と、
を含む方法。
【請求項１９】
円弧に沿って位置付けられた複数の画像取り込みユニットから、前記第１画像、前記第２画像、前記第３画像を取得する段階を更に含む請求項１８に記載の方法。
【請求項２０】
前記複数の画像取り込みユニットは、前記円弧に沿って単一の方向に約５度から約４５度離れて位置付けられていることを特徴とする請求項１９に記載の方法。
【請求項２１】
連続した複数の第１結合画像と連続した複数の第２結合画像とを表示して動画立体画像を提供する段階を更に含む請求項１８に記載の方法。
【請求項２２】
前記動画立体画像は、シーンの約１８０度を表すことを特徴とする請求項２１に記載の方法。
【請求項２３】
複数の位置合わせ画素ペアを定める段階を更に含む請求項１８に記載の方法。
【請求項２４】
前記複数の位置合わせ画素ペアを変換して画像位置合わせの間隔を最小にする段階を更に含む請求項２３に記載の方法。
【請求項２５】
前記複数の位置合わせ画素ペアのうちの１つの画素を表すベクトルを定める段階を更に含む請求項２３に記載の方法。
【請求項２６】
ソース回転角に対するように前記ベクトルを変換ベクトルに変換する段階を更に含む請求項２５に記載の方法。
【請求項２７】
前記変換ベクトルをパノラマ画像の画素と関連付ける段階を更に含む請求項２６に記載の方法。
【請求項２８】
前記パノラマ画像の画素に関連する間隔を画像バッファの画素に関連する間隔と比較することによって、前記画像バッファの画素の視認性を調整する段階を更に含む請求項２７に記載の方法。
【請求項２９】
オーバラップ領域の画素の視認性を下げることによって画像バッファの画像のオーバラップエッジをフェザリングする段階を更に含む請求項２１に記載の方法。
【請求項３０】
第１画像を取り込むための第１画像取り込みユニットと、
第２画像を取り込むための第２画像取り込みユニットと、
第３画像を取り込むための第３画像取り込みユニットと、
前記第１、第２、第３画像取り込みユニットに動作可能に結合されて前記第１、第２、第３画像を受信する処理ユニットと、
を備え、
前記第１画像の第１部分が前記第２画像の部分と結合されて第１結合画像を提供し、前記第１画像の第２部分が前記第３画像の部分と結合されて第２結合画像を提供し、更に前記第１結合画像と第２結合画像を表示して立体画像を提供することができることを特徴とするイメージングシステム。
【請求項３１】
前記第１、前記第２、前記第３画像取り込みユニットは、ほぼ弓形の経路に沿って互いにほぼ等間隔で位置付けられることを特徴とする請求項３０に記載のイメージングシステム。
【請求項３２】
前記ほぼ弓形の経路は、略球形体によって定められることを特徴とする請求項３１に記載のイメージングシステム。
【請求項３３】
前記第１画像取り込みユニットと第２画像取り込みユニットが、円弧に沿って約５度から約４５度の角度間隔によって互いに隔てられ、前記第２画像取り込みユニットと第３画像取り込みユニットは、前記円弧に沿ってほぼ前記の角度間隔だけ互いに隔てられることを特徴とする請求項３０に記載のイメージングシステム。
【請求項３４】
前記第１画像取り込みユニットに関連する視野は、あるオーバラップ量で前記第２画像取り込みユニットに関連する視野とオーバラップし、前記第２画像取り込みユニットに関連する視野は、前記オーバラップ量で前記第３画像取り込みユニットに関連する視野とオーバラップすることを特徴とする請求項３０に記載のイメージングシステム。
【請求項３５】
前記オーバラップ量は、約１０パーセントから約９０パーセントであることを特徴とする請求項３４に記載のイメージングシステム。
【請求項３６】
前記第１画像取り込みユニットに関連する定められた画像平面は、約１から約２０パーセントだけ前記第２画像取り込みユニットに関連する定められた画像平面とオーバラップすることを特徴とする請求項３０に記載のイメージングシステム。
【請求項３７】
前記第１画像の第１部分は、前記第１画像の約２０パーセントから約８０パーセントの間であり、前記第２画像の部分は、前記第２画像の約２０パーセントから約８０パーセントの間であることを特徴とする請求項３０に記載のイメージングシステム。
【請求項３８】
複数の前記第１結合画像と第２結合画像は、動きを伝達するために連続して表示されることを特徴とする請求項３０に記載のイメージングシステム。
【請求項３９】
前記第１結合画像は、十分な複数の画像と結合されてシーンの約９０度を表す第１結合パノラマ画像を生成し、前記第２結合画像は、十分な複数の他の画像と結合されて前記シーンの約９０度を表す第２結合パノラマ画像を生成し、更に前記第１結合パノラマ画像と前記第２結合パノラマ画像は、立体パノラマ画像を提供するよう表示されることを特徴とする請求項３０に記載のイメージングシステム。
【請求項４０】
第１結合パノラマ画像のセット及び第２結合パノラマ画像のセットを連続して表示して、動画立体パノラマ画像を提供することを特徴とする請求項３９に記載のイメージングシステム。
【請求項４１】
画像を提供するための画像取り込みユニットと、
前記画像取り込みユニットに結合されて、前記画像の第１部分を受け取って第１立体画像を提供し、且つ前記画像の第２部分を受け取って第２立体画像を提供する処理ユニットと
を備えるイメージングシステム。
【請求項４２】
前記第１立体画像と前記第２立体画像は、パノラマ立体画像に結合されることを特徴とする請求項４１に記載のイメージングシステム。
【請求項４３】
前記処理ユニットに結合されて複数の画像を提供するための複数の画像取り込みユニットを更に備え、
前記複数の画像の選択された画像が、少なくとも１つの他の画像と結合されて複数の結合画像を生成し、前記複数の結合画像は、第１パノラマ画像及び第２パノラマ画像を提供するように結合され、前記第１パノラマ画像と前記第２パノラマ画像は、パノラマ立体画像を提供するように結合されることを特徴とする請求項４１に記載のイメージングシステム。
【請求項４４】
前記第１パノラマ画像は、シーンの約９０度を表示することを特徴とする請求項４３に記載のイメージングシステム。
【請求項４５】
前記パノラマ立体画像は、シーンの約１８０度を表示することを特徴とする請求項４３に記載のイメージングシステム。
【請求項４６】
前記処理ユニットに結合されたイメージングユニットを更に備えることを特徴とする請求項４１に記載のイメージングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、一般に、パノラマ画像取り込み装置に関し、更に具体的には、立体パノラマ画像を生成するためのパノラマ画像取り込み装置に関する。
【背景技術】
【０００２】
パノラマカメラは当該技術分野で公知である。このようなカメラは、単一の回転可能なカメラを使用する場合が多い。このような装置は、静止画像に好適であるが、静止していない対象物を取り込むために使用される場合には通常、ぼけた画像又は歪んだ画像を生成する。また、複数の画像取り込み装置を有する画像取り込みシステムを用いることは、当該技術分野で公知である。この方法では、複数の画像をほぼ同時に取り込むことができ、当該技術分野で公知のプロセスを用いて共につなぎ合わせることができる。このようなシステムは、動いている対象を取り込むことに伴う問題をかなり排除するが、このようなシステムは立体画像を生成するための手段を提供するものではない。
【０００３】
立体画像を取り込むために「魚眼」レンズを使用することも当該技術分野では公知である。しかしながら、このような画像は、結果として得られる画像に多大な歪みを持ち込み、比較的低品質の画像を取り込む。従って、歪みが少なく高品質のパノラマ画像を生成することが望ましいであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、立体画像を取り込むためには、２つのイメージングシステムが特定の画像を取り込むために互いに隣接して位置付けられる。残念ながら、この方法は、１つの画像取り込み装置が隣接する画像取り込み装置の視野に必然的に入るので、立体パノラマ画像を生成するところまで外挿することができない。従って、特定の画像の立体表示のためのパノラマ画像の立体ペアを生成するために用いることができるパノラマ画像取り込みシステムを提供することが望まれる。
【課題を解決するための手段】
【０００５】
本発明によって提供される利点において、画像取り込みシステムは、パノラマ画像の立体映像ペアを生成する。
【０００６】
本発明は、シームレスなパノラマ画像を生成するための画像取り込みシステムを提供できる利点を有する。
【０００７】
本発明は、動いている立体パノラマ画像を生成するための画像取り込みシステムを提供できる利点を有する。
【０００８】
本発明は最小の歪みの立体パノラマ画像を提供できる利点を有する。
【０００９】
本発明は、フルモーションでリアルタイムのパノラマ立体映像イメージングのためのイメージングシステムを提供できる利点を有する。
【００１０】
本発明の好ましい実施態様では、第１画像取り込み装置、第２画像取り込み装置、第３画像取り込み装置を含むイメージングシステムを設けることが望ましい。本実施態様は、第１画像取り込み装置を使用して取り込まれた第１画像の少なくとも第１の部分を、第２画像取り込み装置を使用して取り込まれた第２画像の部分と結合させて、第１結合画像を生成するための手段を提供する。第１画像の少なくとも第２の部分を、第３画像取り込み装置を使用して取り込まれた第３画像の少なくとも１部分と結合させて、第２結合画像を生成するための手段をも提供する。
【００１１】
好ましい実施態様において、複数の画像取り込み装置が複数の画像を生成するために用いられ、それらの画像の各部分が隣接した画像の一部と結合されて、第１結合パノラマ画像を生成する。同様に、各画像の第２部分が隣接した画像の別の部分と結合されて、第２結合パノラマ画像を生成する。好ましくは、第１結合パノラマ画像と第２結合パノラマ画像は、立体パノラマ画像を生成するように立体的な方位で表示される。本発明のイメージングシステムを用いると、複数の画像を取り込み、フルモーションの立体パノラマ画像を生成することができる。
【発明を実施するための最良の形態】
【００１２】
次に、例証として添付の図面を参照しながら本発明を説明する。
【００１３】
図１を参照すると、プラスチック又は他の同様の軽量材料製の本体（１２）を有するカメラ（１０）が示されている。好ましい実施形態において、本体（１２）は、直径が好ましくは約０．００１から約５００センチメートルの間、更に好ましくは約１０から約５０センチメートルの間のほぼ球体である。本体（１２）の表面にわたってほぼ等間隔で配置された複数のレンズ（１４）が備えられている。該レンズ（１４）は、好ましくは約５オングストロームから約１０センチメートル、更に好ましくは約０．５から約５センチメートルの間の直径を有する円形レンズであるのが好ましい。好ましい実施形態において、レンズは、ＮＹ１１７２５、Ｃｏｍｍａｃｋ、Ｍａｌｌ  Ｄｒｉｖｅ５５所在のＣＢＣ  Ａｍｅｒｉｃａによって製造されたモデルナンバーＢＣＬ３８Ｃ３．８ミリメートルマイクロレンズである。図２に示されるように、レンズ（１４）は、当該技術分野でよく知られるような電荷結合素子（ＣＣＤ）組立体（１６）と各々関連付けられている。好ましい実施形態では、Ｐａｎａｓｏｎｉｃによって製造されＲｏｃｋ２０００．ｃｏｍから入手可能なＧＰ−ＣＸ１７１／ＬＭ  ＣＣＤカラーボードカメラが使用されるが、任意の既知の画像取り込みシステムを使用してもよい。従って、本開示の目的において、レンズ（１４）及び／又はＣＣＤ組立体（１６）もまた、「画像取り込みユニット」（２６）、（４０）、（５４）として説明することができる。図２に示されるように、画像取り込みユニット（２６）、（４０）、（５４）の全ては、画像取り込み装置（１４）及び／又は（１６）から画像を受け取ることができる処理ユニット（ＣＰＵ）（２２）に動作可能に結合されている。好ましい実施形態において、ＣＰＵ（２２）は、ＣＡ９４０８６、Ｓｕｎｎｙｖａｌｅ、Ｐｏｎｔｒｅｒｏ４８０所在の３Ｄｌａｂｓによって製造されたＯｘｙｇｅｎ  ＧＶＸ２１０グラフィックスカードを備えたＰｅｎｔｉｕｍ（登録商標）４、９００ＭＨｚクラスのパーソナルコンピュータである。ＣＰＵは当該技術分野で公知の任意のタイプとすることができるが、当該技術分野で公知の方法でクワッドバッファリング(quad buffering)やページフリッピングソフトウェア(page flipping software)を利用するのが好ましい。ＣＰＵ（２２）は、ヘッドマウントディスプレイ（２４）に結合される。好ましい実施形態では、これは、ＮＹ１４６２３、Ｒｏｃｈｅｓｔｅｒ、Ｂｒｉｇｈｔｏｎ  Ｈｅｎｒｉｅｔｔａ  Ｔｏｗｎｌｉｎｅ  Ｒｏａｄ２１６６に所在のＩｎｔｅｒａｃｔｉｖｅ  Ｉｍａｇｉｎｇ  Ｓｙｓｔｅｍｓによって製造されたＶＦＸ３Ｄである。
【００１４】
図２で示されるように、レンズ（１４）は、互いに分散させらており、本体（１２）によって定められたほぼアーチ形の経路又はラインに沿って互いに約２０度オフセットしている。ほぼアーチ形の経路の方向に沿って約５から約４５度とすることができるこのオフセットによって、各レンズ（１４）及び／又は画像取り込みユニット（２６）、（４０）、（５４）に、ほぼ同様の焦点を持たせることが可能となる。各レンズ（１４）は、横方向に並んだレンズの視野を約１０ないし約９０パーセント、好ましくは約５０から約６５パーセントだけオーバラップさせた約５３度の視野を有する。図２で示されるように、第１画像取り込みユニット（２６）は、左側平面（３０）で一方の側に境界付けられ、右側平面（３２）で反対の側に境界付けられた画像を二分する光学軸（２８）と関連付けられる。画像取り込みユニット（２６）のレンズ（１４）は、左の画像平面（３６）と右の画図平面（３８）とに分割された定められた画像平面（３４）に合焦される。
【００１５】
同様に、第２画像取り込みユニット（４０）にも、光学軸（４２）、左側平面（４４）、右側平面（４６）、定められた画像平面（４８）、左の画像平面（５０）、右の画像平面（５２）が設けられている。第１画像取り込みユニット（２６）の右側の第３画像取り込みユニット（５４）には、光学軸（５６）、左側平面（５８）、右側平面（６０）、定められた画像平面（６２）、左の画像平面（６４）、右の画像平面（６６）が設けられている。
【００１６】
複数の画像取り込みユニット（２６）、（４０）、（５４）を設け、定められた画像平面（３４）、（４８）、（６２）を半分などの部分に分割し、かつ画像取り込みユニット（２６）、（４０）、（５４）を図２に示されるように配向することによって、最終パノラマ画像に関連する全てのポイントは、少なくとも２つの隣接する画像取り込みユニット（２６）、（４０）、及び／又は（５４）の定められた画像平面内に存在する。図５Ａ−５Ｂに示されるように、隣接する画像取り込みユニットの定められた画像平面は、垂直方向で、好ましくは約１−２０パーセント、更に好ましくは約５−１０パーセント、及び好ましい実施形態においては約７パーセント、オーバラップする。同様に、隣接する画像取り込みユニットの定められた画像平面は、水平方向で、好ましくは約２０パーセント、更に好ましくは約５−１０パーセント、及び好ましい実施形態では約６パーセント、オーバラップする。これらのオーバラップは、以下に説明される「ステッチング（つなぎ合わせ）」プロセスを助ける。
【００１７】
シーンの約１８０度（例えば半球体）を表示することができる本発明の最終パノラマ画像（６８）を生成するために、第１パノラマ画像（７２）と第２パノラマ画像（７４）が生成される（図３、図４Ａ−４Ｂ）。パノラマ画像（７２）、（７４）の各々は、シーンの約９０度（例えば半球体の約半分）を表示することができる。第１パノラマ画像（７２）を生成するために、第１画像取り込みユニット（２６）の左画像平面（３６）に関連する画像（７６）は、第２画像取り込みユニット（４０）の左画像平面（５０）に関連する画像（７８）、及び第３画像取り込みユニット（５４）の左画像平面（６４）に関連する画像（８０）と結合される（図２、４Ａ、５Ａ）。図２に示されるように、関連する画像平面（３６）、（５０）、（６４）は、好ましくは約０．５−３０パーセント、更に好ましくは約１０−２０パーセント、好ましい実施形態では約１３パーセントだけオーバラップするが、互いに平行ではなく、更に第１パノラマ画像（７２）を定める曲線に必ずしも接していない（図２、４Ａ）。従って、平面（３６）、（５０）、（６４）に関連する画像（７６）、（７８）、（８０）、（８２）、（８４）、（８６）は、以下に説明されるように１つにステッチングして最終パノラマ画像（６８）を形成する前に、平行でない方向に関連する歪みを除去するために変換する必要がある（図２、３、４Ａ−４Ｂ、５Ａ−５Ｂ）。
【００１８】
左画像平面（３８）、（５２）、（６６）に関連する画像（７６）、（７８）、（８０）と、右画像平面（３６）、（５０）、（６４）に関連する画像（８２）、（８４）、（８６）が、画像取り込みユニット（２６）、（４０）、（５４）の全てにより収集され受け取られると、画像は、配線、無線、或いは任意の望ましい接続を介してＣＰＵ（２２）に伝送される。次いで、ＣＰＵ（２２）は、図６Ａ−６Ｃで説明されるプロセスに従って画像を変換させるように動作する。ブロック（８８）に示されるように、好ましい実施形態ではほぼ直線の画像であるが、勿論任意のタイプの画像とすることができるソース画像が、ＣＰＵ（２２）によって画像取り込みユニット（２６）、（４０）、（５４）から得られ、或いは受け取られる（図２、４Ａ、４Ｂ、及び６Ａ−６Ｃ）。ブロック（９４）に示されるように、次に、ＣＰＵ（２２）は、未変換のソース画像のための位置合わせ画素ペアを決める。
【００１９】
その後、ブロック（９６）に示されるように、ＣＰＵ（２２）は、入力ファイルを作成する。入力ファイルは、最終パノラマ画像（６８）の高さと幅、ソース情報、位置合わせポイント情報を含む。ソース情報は、ソース画像のファイル名とパス、画素におけるソース画像の高さと幅を含み、さらに関連する画像取り込みユニットのソースのヨー角、ピッチ角、ロール角を含む。画像取り込みユニットの水平視野は、好ましくは約１から約８０度の間、更に好ましくは約３０から約６０度の間、好ましい実施形態では約５３度であり、ソース画像の関連する左側平面と右側平面、Ｘシフト、Ｙシフト、ズーム値によって定義される。位置合わせポイントに関連する情報は、位置合わせポイントの第１画素位置に関連するソース画像に関する情報、第１ソース画像の水平及び垂直画素位置、第２画素位置に関連するソース画像に関する情報のリストインデックスを含み、さらに第２ソース画像の水平及び垂直画素位置を含む。
【００２０】
画像平面（３６、３８、５０、５２、６４、６６）に関連する画像（７６−８６）は、ほぼ直線の標準フラットフィールド画像であり、パノラマ画像（７２、７４）は、図４Ａ−４Ｂに示されるような方法で球形表面上への画素マッピングを表す、少なくとも部分的に等矩形(equirectangular)である。従って、ＣＰＵ（２２）が入力ファイルを作成すると、ブロック（９８）で示されるように、位置合わせ画素ペアを、最終パノラマ画像（６８）における該画素ペアの位置を特定するために変換する。
【００２１】
任意のソース画像で開始し、最終パノラマ画像（６８）上に位置付ける、三次元空間における所与の位置合わせ画素ペアの第１画素を表すベクトルが定められる。これは、各画素に以下のマトリックス変換を適用することによって達成される。
【００２２】
セグメントｘを定める：画像の中心を基準とするようにソース画像の画素の水平位置を変える。次いで、ソース画像のＸシフトとズーム変数を補正する。
【００２３】
セグメントｙを定める：画像の中心を基準とするようにソース画像の画素の垂直位置を変える。次いで、ソース画像のＹシフトとズーム変数を補正する。
【００２４】
セグメントｚを定める：種々のソース画像変数を使用して、画素での画像サイズによって与えられるスケールに対応するｚセグメントを決定する。
【００２５】
ソースカメラの回転角に対応するようにベクトルを変換する。これは、３つの回転マトリックスの各々によってベクトルを変換することにより計算される。
【数１】
2006515128.tif 000003
【００２６】
マトリックス変換では、画素ベクトルは、三次元空間でのそのポイントのグローバル位置ｇｌｏｂＸ、ｇｌｏｂＹ、ｇｌｏｂＺを表す。次いで、ＣＰＵ（２２）はこれらの位置を球体座標に変換し、これらを最終パノラマ座標に直接適用する。ベクトルのヨー角は、その水平パノラマ位置である、新しいＸを表わし、ピッチ角は、その垂直パノラマ位置である、新しいＹを表す。
【００２７】
ブロック（１００）で示されるように、位置合わせ画素ペアが、この方法で最終パノラマ画像（６８）にマップされると、ＣＰＵ（２２）は、位置合わせ画素ペア間の間隔を計算する。所与のソース画像の位置合わせ画素ペアの平均間隔が、初期変換時の場合のように未だ最小でない場合には、ブロック（１０２）で示されるように、ソース画像のヨーがわずかに変更され、その後プロセスはブロック（９８）に戻り、位置合わせ画素ペアを最終パノラマ画像（６８）における画素ポイントに再度変換する。ヨーを変更するこのプロセスは、ソース画像の位置合わせ画素ペアの平均間隔が最小になるまで続く。その後、関連する位置合わせ画素ペアの平均間隔が最小になるまで、ピッチ、ロール、Ｘシフト、Ｙシフト、ズームが変更される。特定のソース画像のヨー、ピッチ、ロール、Ｘシフト、Ｙシフト、ズームが最適化されると、ブロック（１０４）で示されるように、全ソース画像に対して、これらの全てが最適化されるまでこの変換手順が繰り返される。
【００２８】
ブロック（１０６）で示されるように、このようにしてソース画像の全ての最適化が完了すると、全ソース画像の位置合わせ画素ペアの平均間隔が計算され、これらが未だ最小でない場合には、ブロック（１０８）で示されるようにソース画像のヨー、ピッチ、ロール、Ｘシフト、Ｙシフト、ズームが変更されて、プロセスがブロック（９８）に戻り、位置合わせ画素ペア間の間隔がソース画像の全てにおいて最小になるまでプロセスが継続する。
【００２９】
位置合わせ画素ペア間の平均間隔が全ソース画像にわたり最小化されると、ブロック（１１０）で示されるように、出力ファイルが作成され、第１パノラマ画像（７２）の高さと幅、各特定のソース画像に対するヨー、ピッチ、ロール、Ｘシフト、Ｙシフト、ズーム変換画像情報を識別する。その後、ブロック（１１２）で示されるように、所与のソース画像内の各画素に対して、上記に説明されたベクトル変換を使用して三次元空間での特定の画素の位置を表すベクトルが定められる。
【００３０】
ベクトルが定められると、ブロック（１１４）で示されるように、ベクトルは、出力ファイルにおいて定義されたようなソース画像に関連するヨー、ピッチ、ロール、Ｘシフト、Ｙシフト、ズーム情報を反映するように変換される。ベクトルの変換完了後、ブロック（１１６）で示されるように、変換されたベクトルは、最終パノラマ画像（６８）の画素に関連付けられる。ブロック（１１８）で示されるように、このプロセスは、特定のソース画像の画素の全てがベクトルに変換され、これらの位置が最終パノラマ画像（６８）上に位置付けられるまで繰り返される。
【００３１】
ブロック（１２０）で示されるように、所与のソース画像の画素の全てが最終パノラマ画像（６８）上に位置付けられると、各々が最終パノラマ画像（６８）の高さと幅にほぼ等しい高さと幅を有する２つの画像バッファ（９０）、（９２）が生成される（図３、５Ａ−５Ｂ、６Ｂ）。ブロック（１２２）で示されるように、画像バッファ（９０）、（９２）が生成されると、特定のソース画像の四辺形の４つの隣接する画素に関連するベクトル変換情報を用いて、適切な画像バッファ（９０）又は（９２）上に画素の四辺形を描画する（図５Ａ−５Ｂ、６Ｃ）。画素が左画像平面（３８）、（５２）、又は（６６）にある場合には、該画素は左画像バッファ（９０）に書き込まれる。画素が右画像平面（３６）、（５０）、又は（６４）にある場合には、該画素は右画像バッファ（９２）内にある（図２、５Ａ−５Ｂ）。
【００３２】
ブロック（１２４）で示されるように、変換により画像バッファ上の画素の四辺形が拡大する可能性があるので、関連する画像バッファ（９０）又は（９２）において画素が直線位置から等矩形位置に変換されると、画素間のギャップが生じる可能性がある（図５Ａ−５Ｂ、６Ｃ）。画素の四辺形が関連する画像バッファ（９０）又は（９２）上に位置付けられるとき、それにより生成されたギャップは、当該技術分野で公知の方法で、恐らくはコーナー画素カラーの線形グラディエントを使用して可能な限り平滑にフィルされる。公知の線形グラディエントフィル(linear gradient fill)技術を、画像間の目に見える継ぎ目を無くすために使用できる。付加的なソース画像情報が画像バッファ（９０）、（９２）に加えられると、画素データで既にフィルされた画像バッファ（９０）、（９２）の領域に対し、新たにオーバラップする画素のアルファ透明度が直線的に低下し、以下に説明されるように結果として得られた継ぎ目を平滑にする。
【００３３】
従って、関連する画像バッファ（９０）又は（９２）に四辺形をマッピングする場合には、ＣＰＵ（２２）は、ギャップを隣接する画素と比較することを含むことができる当該技術分野で公知の任意の方法を使用して、内部画素値を内挿することによってギャップを除去するか、或いは、動画取り込みシステムにおける直前のフレームと直後のフレームとを利用してギャップの最も適切な画素値を外挿することによってギャップを「ホワイトボクシング(white boxing)」することができる。ブロック（１２６）で示されるように、ブロック（１２２）、（１２４）は、ソース画像画素の全てが適切な画像バッファ（９０）又は（９２）にマップされるまで繰り返される。
【００３４】
全ての画素のマップが完了すると、ブロック（１２８）で示されるように、第１画像バッファ画素が第１パノラマ画像画素と比較される。第１パノラマ画像（７２）が第１画像バッファ（９０）の画素と関連する画素を持たない場合には、ＣＰＵ（２２）は視認性を最大にするよう第１画像バッファ（９０）の画素を設定する。第１パノラマ画像（７２）が既に第１画像バッファ（９０）の画素に関連する画素を有する場合には、既存の画素が第１画像バッファ（９０）の対応する画素と比較される。第１画像バッファ（９０）の画素が、既存の画素に比べてそのそれぞれのソース画像の中心までの間隔が短い場合には、第１画像バッファ（９０）の画素は、視認性を最大にするように設定される。逆に、第１画像バッファ（９０）の画素が、既存の画素に比べてそのそれぞれのソース画像の中心までの間隔が長い場合には、第１画像バッファ（９０）の画素は視認性を最小にするように設定される。プロセスは、第２画像バッファ（９２）の画素を第２パノラマ画像（７４）にマージするために繰り返される。
【００３５】
ブロック（１３０）で示されるように、画像バッファ（９０）、（９２）の画像のオーバラップエッジは、オーバラップの領域全体の画素の視認性を低下させることによってフェザリングされる。このフェザリングは、画像が画像バッファ（９０）、（９２）からパノラマ画像（７２）、（７４）にマージされると、画像のオーバラップ領域を平滑にする。ブロック（１３２）で示されるように、画像バッファ画素が適切な視認性に設定され、画像バッファの画像がフェザリングされると、画像バッファ内の画像が、第１と第２パノラマ画像（７２）、（７４）にマージされる。ブロック（１３４）で示されるように、ブロック（１２２）から（１３２）が、全てのソース画像が第１と第２パノラマ画像（７２）、（７４）にマージされるまで繰り返される。上述のように、画像取り込みユニット（２６）、（４０）、（５４）の左画像平面（３６）、（５０）、（６４）に関連する画像（７６）、（７８）、（８０）は、第１パノラマ画像（７２）を生成するために使用され、画像取り込みユニット（２６）、（４０）、（５４）の右画像平面（３８）、（５２）、（６６）に関連する画像（８２）、（８４）、（８６）は、第２パノラマ画像（７４）を生成するために使用される。
【００３６】
最終パノラマ画像（７２）、（７４）の両方が生成されると、ブロック（１３８）で示されるように、パノラマ画像（７２）、（７４）は、最終パノラマ画像（６８）として一緒に表示することができる（図３、４Ａ、４Ｂ）。パノラマ画像（７２）、（７４）は、逆方向に偏光にされ、図３に示されるように標準パノラマ画面（１４０）上に表示されて、逆偏光のレンズを有するメガネ（１４２）を用いて見ることができる。或いは、パノラマ画像（７２）、（７４）は、図１に示されるヘッドマウントディスプレイ（２４）に伝達することができる。ＣＰＵ（２２）は、公知の「ページフリッピング」技術を使用して複数のパノラマ画像をヘッドマウントディスプレイ（２４）に送り、必要に応じてヘッドマウントディスプレイ（２４）の左右のディスプレイに画像を送り且つ個別に表示することができる。このプロセスを用いると、フル２４フレームパーセカンド（ｆｔｐ）の映画として表示を動画化し、或いは各表示に対して複数の画像を表示することができる。従って、イメージングシステム（図２を参照）は、第１画像（３６）を取り込むための第１画像取り込みユニット（２６）、第２画像（５０）を取り込むための第２画像取り込みユニット（４０）、第３画像（６４）を取り込むための第３画像取り込みユニット（５４）を含み、さらに第１画像（３６）の第１部分を第２画像（５０）の一部分と結合させて第１結合画像を生成する手段（２２）と、第１画像（３６）の第２部分と第３画像（６４）の部分を結合させて第２結合画像を生成する手段（２２）を含むことができる。第１画像の第１部分は、最大第１画像全体までの任意の量とすることができ、或いは第１画像の約２０パーセントと約８０パーセントの間とすることができる。第２画像の部分は、最大第２画像全体までの任意の量とすることができ、或いは第２画像の約２０パーセントと約８０パーセントの間とすることができる。第１と第２結合画像は、立体的な動きを伝達するように反復的に生成し、表示することができる。
【００３７】
また、イメージングシステムは、画像を提供するための画像取り込みユニット（２６）、画像の第１部分を使用して第１立体画像を提供する手段（２２）、画像の第２部分を使用して第２立体画像を提供する手段（２２）を含むことができる。
【００３８】
ヘッドマウントディスプレイユニット（２４）は、当該技術分野でよく知られたような方位センサ（１４４）を備えれば、センサ（１４４）が移動するとヘッドマウントディスプレイ（２４）に提供される画像を変えることができる。このようにして、ユーザ（図示せず）は、上下、及び任意の方向を見て、ユーザの視線のベクトルに関連する該当する部分の最終パノラマ画像（６８）を視認することができ、三次元空間を実際に見渡すような知覚を得ることができる。
【００３９】
本発明の別の実施形態において、カメラ（１０）には、互いにほぼ平行に向けられたほぼ直線の取り込みシステムを有する複数の画像取り込みペアを備えることができる。該ペアは、所要の立体画像を得るために所定の因子によってオフセットさせることができる。画像がペアで取り込まれるので、この実施形態に関連する変換プロセスは、画像を半分に分割し各半部分からの画素を別々の画像バッファに送る以外は上記に説明されたものと同一であり、各画像取り込み装置ペアの「左」画像取り込み装置からの画像に関連する画素の全ては、一方の画像バッファに送られ、「右」画像取り込み装置からの画像に関連する画素の全ては、もう片方の画像バッファに送られる。
【００４０】
本発明の別の実施形態において、カメラ（１０）及びＣＰＵ（２２）を用いて、２４ｆｐｓ又はそれ以上を取り込み、リアルタイムで動画として最終立体パノラマ画像（６８）を表示することができる。
【００４１】
本発明の更に別の実施形態では、当該技術分野でよく知られるような方法で生成されたコンピュータ生成グラフィック情報がＣＰＵ（２２）の最終パノラマ画像（７２）、（７４）と結合され、カメラ（１０）で取り込まれた実際の画像をシームレスに統合し、デジタル化されたバーチャルリアリティ画像（１４６）を提供する（図３）。この結合は、リアルとバーチャルによるパノラマ立体バーチャル画像のシームレス表示を生成する。
【００４２】
本発明の更に別の実施形態において、カメラ（１０）によって取り込まれた画像は、上記の変換手順を用いて変換され、シームレスな３６０度パノラマモノグラフ画像を生成する。図１に示されるように、カメラ（１０）は、支持ポスト（１４８）と、遠隔制御車両などと関連して使用されるものと同様又は同一の遠隔制御キャリッジ（１５０）のような輸送ユニットを備えている。画像取り込みユニットの左画像平面に関連する画像は、結合画像を生成するために使用され、画像取り込みユニットの右画像平面に関連する画像は、結合画像において見えてしまうはずの支持ポスト（１４８）や、キャリッジ（１５０）、他の任意のカメラ装置を隠すために結合画像を上書きし且つフィルするために使用することができる。前述の変換手順は、このような上書きとフィリングのために用いることができる。このように、不要な情報を含まない画像だけが最終パノラマ画像（１５２）にマップされ、球面スクリーン（１５４）又はヘッドマウントディスプレイ（２４）上に表示される（図１、７）。キャリッジ（１５０）の占有面積によって覆われた領域を反映した画像の部分について、上記に詳述された内挿とフェザリング技術を利用して、キャリッジ（１５０）の下にある画像を近似して、完全に遮るものがない３６０度画像の外観を生成することができる。
【００４３】
本発明をその好ましい実施形態に関して説明してきたが、本発明においては、添付の請求項によって定義される本発明の十分に意図された範囲内にある変更及び修正を行うことができるので、これらの実施形態は本発明を限定するものではない点を理解されたい。
【図面の簡単な説明】
【００４４】
【図１】本発明のイメージングシステムの正面図を示す。
【図２】本発明のイメージングシステムの隣接した画像取り込み装置の画像取り込み範囲のグラフィック表示を示す。
【図３】画面に表示された最終的なパノラマ立体画像の底面透視図及び画像を見るのに使用される偏光メガネを示す。
【図４Ａ】左のパノラマ画像を示す。
【図４Ｂ】右のパノラマ画像を示す。
【図５Ａ】第１画像バッファに関連する画像を示す。
【図５Ｂ】第２画像バッファに関連する画像を示す。
【図６Ａ】イメージング装置で取り込まれた複数の画像を第１パノラマ画像及び第２パノラマ画像に変換して立体パノラマ画像を生成する、本発明の装置のイメージングシステムに関連して用いられる変換プロセスのフローチャートである。
【図６Ｂ】イメージング装置で取り込まれた複数の画像を第１パノラマ画像及び第２パノラマ画像に変換して立体パノラマ画像を生成する、本発明の装置のイメージングシステムに関連して用いられる変換プロセスのフローチャートである。
【図６Ｃ】イメージング装置で取り込まれた複数の画像を第１パノラマ画像及び第２パノラマ画像に変換して立体パノラマ画像を生成する、本発明の装置のイメージングシステムに関連して用いられる変換プロセスのフローチャートである。
【図７】図１のカメラを使用して生成された３６０度遮るのもがないパノラマ立体画像の透視図を示す。
【図１】
2006515128.tif 000004
【図２】
2006515128.tif 000005
【図３】
2006515128.tif 000006
2006515128.tif 000007
2006515128.tif 000008
2006515128.tif 000009
【図６Ａ】
2006515128.tif 000010
【図６Ｂ】
2006515128.tif 000011
【図６Ｃ】
2006515128.tif 000012
【図７】
2006515128.tif 000013
【国際調査報告】
2006515128.tif 000014
2006515128.tif 000015
2006515128.tif 000016