知覚深度を有するビデオを提供するビデオ画像キャプチャ装置であって、ビデオフレームをキャプチャする画像センサ、シーンを前記画像センサに単一視野から画像化する光学システム、前記画像センサによりキャプチャされたビデオ画像シーケンスを格納するデータ記憶システム、前記ビデオ画像シーケンスについて、前記画像キャプチャ装置の相対位置を検知する位置検知装置、検知した前記画像キャプチャ装置の相対位置の指標を格納されたビデオ画像シーケンスと関連付けて前記データ記憶システムに格納する手段、データプロセッサ、前記データプロセッサに通信可能に接続されたメモリシステムであって、前記データプロセッサに、前記画像キャプチャ装置の格納された相対位置に応じて、ビデオ画像のステレオ対を選択し、前記ビデオ画像のステレオ対のシーケンスを用いて、知覚深度を有するビデオを提供する、ことにより知覚深度を有するビデオを提供させるよう構成された命令を格納するメモリシステム、を有するビデオ画像キャプチャ装置。前記位置検知装置は、加速度計、ジャイロスコープ装置又は全地球測位システム装置を有する、請求項1に記載のビデオ画像キャプチャ装置。前記位置検知装置は、前記ビデオ画像キャプチャ装置から取り外し可能である、請求項1に記載のビデオ画像キャプチャ装置。前記の取り外し可能な位置検知装置は、取り外し可能メモリカードレセプタクル内に合う形式である、請求項3に記載のビデオ画像キャプチャ装置。取り外し可能な動き追跡装置は、前記データプロセッサに知覚深度を有するビデオを提供させるよう構成された命令を格納する前記メモリシステムを更に有する、請求項3に記載のビデオ画像キャプチャ装置。前記位置検知装置は、前記ビデオ画像キャプチャ装置の外部にあり、有線又は無線接続を用いて前記ビデオ画像キャプチャ装置と通信する、請求項1に記載のビデオ画像キャプチャ装置。前記ビデオ画像のステレオ対は、前記ビデオ画像キャプチャ装置の前記検知された相対位置が特定の距離だけ変化しているビデオ画像対を特定することにより選択される、請求項1に記載のビデオ画像キャプチャ装置。前記特定の距離は、水平方向の距離である、請求項7に記載のビデオ画像キャプチャ装置。前記特定の距離は、前記画像キャプチャ装置の前記検知された相対位置が前記画像キャプチャ装置の垂直方向又は回転方向の動きを示すとき、減少する、請求項7に記載のビデオ画像キャプチャ装置。前記特定の距離は、前記画像キャプチャ装置の前記検知された相対位置が前記画像キャプチャ装置の所定の範囲外の動きを示すとき、零まで減少する、請求項7に記載のビデオ画像キャプチャ装置。前記データプロセッサに知覚深度を有するビデオを提供させるよう構成された前記命令は、前記シーン内のオブジェクトの動きを決定するために前記キャプチャされたビデオ画像シーケンスを分析するステップを含み、前記ビデオ画像のステレオ対の選択は、前記の決定したオブジェクトの動きに更に応じる、請求項1に記載のビデオ画像キャプチャ装置。前記シーン内の前記オブジェクトの動きは、前記キャプチャされたビデオ画像シーケンス内の対応するオブジェクトの相対位置を相関させることにより決定される、請求項11に記載のビデオ画像キャプチャ装置。前記ビデオ画像のステレオ対の選択は、前記ビデオ画像キャプチャ装置の前記格納された相対位置に応じて前記ビデオ画像のステレオ対のフレームオフセットを決定するステップ、前記オブジェクトの動きが所定の範囲外であると決定されたとき、前記フレームオフセットを減少させるステップ、前記減少したフレームオフセットを用いてビデオ画像のステレオ対を選択するステップ、を有する、請求項11に記載のビデオ画像キャプチャ装置。前記フレームオフセットは、オブジェクトの動きの量が所定の範囲外であるとき、零まで減少される、請求項13に記載のビデオ画像キャプチャ装置。前記知覚深度を有するビデオは、前記格納されたビデオ画像のステレオ対に関連する前記ビデオ画像のステレオ対の間のフレームオフセットの指標を格納することにより提供される、請求項1に記載のビデオ画像キャプチャ装置。前記フレームオフセットの指標は、前記キャプチャされたビデオ画像シーケンスを格納するために用いられるデジタルビデオファイル内のメタデータとして格納される、請求項15に記載のビデオ画像キャプチャ装置。前記フレームオフセットの指標は、デジタルメタデータファイルに格納され、前記デジタルメタデータファイルは、前記キャプチャされたビデオ画像シーケンスを格納するために用いられるデジタルビデオファイルと関連付けられる、請求項15に記載のビデオ画像キャプチャ装置。前記知覚深度を有するビデオは、ビデオフレーム毎に画像のステレオ対を格納することにより提供される、請求項1に記載のビデオ画像キャプチャ装置。前記知覚深度を有するビデオは、左目と右目のための相補的カラーフィルタを有する眼鏡で見るのに適したアナグリフ画像を格納することにより提供される、請求項1に記載のビデオ画像キャプチャ装置。カラー画像ディスプレイ、前記カラー画像ディスプレイに前記アナグリフ画像を表示する手段、を更に有する請求項19に記載のビデオ画像キャプチャ装置。立体画像を見るために配置されたレンチキュラーアレイを備えた画像ディスプレイ、前記画像ディスプレイに前記知覚深度を有するビデオを表示する手段、を更に有する請求項1に記載のビデオ画像キャプチャ装置。単一の画像キャプチャ装置でキャプチャされたビデオから知覚深度を有するビデオを提供する必要がある。ここで、知覚深度は、画像キャプチャ装置又はシーン内のオブジェクトの動きに一貫性のないとき、画像品質を向上させ、深さの知覚を向上させる。本発明は、知覚深度を有するビデオを提供するビデオ画像キャプチャ装置であって、ビデオフレームをキャプチャする画像センサ、シーンを前記画像センサに単一視野から画像化する光学システム、前記画像センサによりキャプチャされたビデオ画像シーケンスを格納するデータ記憶システム、前記ビデオ画像シーケンスについて、前記画像キャプチャ装置の相対位置を検知する位置検知装置、検知した前記画像キャプチャ装置の相対位置の指標を格納されたビデオ画像シーケンスと関連付けて前記データ記憶システムに格納する手段、データプロセッサ、前記データプロセッサに通信可能に接続されたメモリシステムであって、前記データプロセッサに、前記画像キャプチャ装置の格納された相対位置に応じて、ビデオ画像のステレオ対を選択し、前記ビデオ画像のステレオ対のシーケンスを含む、知覚深度を有するビデオを提供する、ことにより知覚深度を有するビデオを提供させるよう構成された命令を格納するメモリシステム、を有するビデオ画像キャプチャ装置を提示する。本発明は、知覚深度を有するビデオ画像が単眼画像キャプチャ装置でキャプチャされたシーンのビデオ画像を用いて提供できるという利点を有する。知覚深度を有するビデオは、知覚深度のより一貫した感覚を提供するために、画像キャプチャ装置の相対位置に応じて形成される。本発明は、知覚深度を有するビデオ画像の生成と調和しない画像キャプチャ装置の動きが検出されたとき、知覚深度を有しない画像が提供できるという更なる利点を有する。知覚深度を有する画像の生成は、ビューアの左目と右目が異なる遠近感の画像を見るように提示されるべき異なる視点を有する2以上の画像を必要とする。立体画像の最も単純な場合では、異なる視点を有する2つの画像が、ステレオペアとしてビューアに提示される。ここで、ステレオペアは、ビューアの左目のための画像及びビューアの右目のための画像を有する。知覚深度を有するビデオは、ビューアに連続的に提示されるステレオペアのシリーズを有する。本発明は、単一視野のみを有するビデオ画像キャプチャ装置を用いてキャプチャされたビデオから知覚深度を有するビデオを生成する方法を提供する。通常、単一の視野は、1つのレンズ及び1つの画像センサを有する1つの電子画像キャプチャユニットを備えたビデオ画像キャプチャ装置により提供される。しかしながら、本発明は、1つのみの電子画像キャプチャユニット又は1つのみのレンズ及び1つの画像センサがビデオをキャプチャするために一度に用いられる場合、1つより多い電子画像キャプチャユニット、1以上のレンズ又は1以上の画像センサを備えたビデオ画像キャプチャ装置にも等しく適用可能である。図1を参照すると、特定の実施形態では、ビデオ画像キャプチャ装置10の構成要素が示される。これらの構成要素は、構造的支持及び保護を提供する本体内に配置される。本体は、特定の使用及び様式を考慮した要件に適合するために変化し得る。電子画像キャプチャユニット14は、ビデオ画像キャプチャ装置10の本体内に取り付けられ、少なくとも、取り込みレンズ16及び取り込みレンズ16に沿って置かれた画像センサ18を有する。シーンからの光は、光路20に沿って、取り込みレンズ16を通り、画像センサ18にぶつかり、アナログ電子画像を生成する。用いられる画像センサの種類は変化し得るが、好適な実施形態では、画像センサは固体画像センサである。例えば、画像センサは、電荷結合素子CCD、CMOSセンサCMOS又は電荷注入装置CIDであってもよい。通常、電子画像キャプチャ装置14は、画像センサ18に関連する他の構成要素も含む。標準的な画像センサ18は、クロックドライバ本願明細書ではタイミング生成器とも称される、アナログ信号プロセッサASP及びアナログ-デジタル変換器/増幅器A/Dコンバータとして動作する別個の構成要素を伴う。このような構成要素は、単一のユニットに画像センサ18と一緒に組み込まれることが多い。例えば、CMOS画像センサは、他の構成要素が同一の半導体ダイに統合されるようなプロセスで製造される。通常、電子画像キャプチャユニット14は、2以上の色チャネルで画像をキャプチャする。現在、単一の画像センサ18がカラーフィルタアレイと一緒に用いられることが望ましいが、複数の画像センサ及び異なる種類のフィルタも用いることができる。適切なフィルタは、当業者に良く知られており、幾つかの例は、画像センサ18に組み込まれ、統合された構成要素を与える。画像センサ18の各ピクセルからの電子信号は、ピクセルに到達する光の強度と、ピクセルが入射光からの信号を累積又は統合させる時間長との両方に関連する。この時間は、積分時間又は露光時間と呼ばれる。積分時間は、開状態と閉状態との間で切り替え可能なシャッタ22により制御される。シャッタ22は、機械的、電子機械的であり、又は電子画像キャプチャユニット14のハードウェアとソフトウェアの論理的機能として設けられ得る。例えば、幾つかの種類の画像センサ18は、画像センサ18をリセットし次に画像センサ18を特定時間後に読み出すことにより、積分時間を電子的に制御させる。CCD画像センサを用いるとき、積分時間の電子制御は、非感光領域内に設けられた遮光レジスタに蓄積された電荷をシフトすることによりもたらされる。遮光レジスタは、フレーム転送装置CCD等の場合には全てのピクセルのために存在し、又はインターライン転送装置CCD等の場合にはピクセル行と列との間の行又は列の形式で存在し得る。適切な装置及び手順が当業者に良く知られている。したがって、タイミング生成器24は、画像をキャプチャするために画像センサ18のピクセルについて積分時間が生じるときを制御する方法を提供できる。図1のビデオ画像キャプチャ装置10では、シャッタ22及びタイミング生成器24は、一緒に積分時間を決定する。全体の光強度及び積分時間の組合せは、露光と呼ばれる。画像センサ18の感度及び雑音特性と結合された露光は、キャプチャされた画像で与えられる信号対雑音比を決定する。等価な露光は、光強度と積分時間との種々の組合せにより達成できる。露光は等価だが、シーンの特性又は関連する信号対雑音比に基づきシーンの画像をキャプチャする、光強度と積分時間との特定の露光の組合せは、他の等価な露光より望ましい。図1は、幾つかの露光制御要素を示すが、幾つかの実施形態は、これらの要素のうちの1又は複数を有しなくてもよく、或いは、露光を制御する代替のメカニズムがあってもよい。ビデオ画像キャプチャ装置10は、示されたものを代替する特徴を有し得る。例えば、絞りとしても機能するシャッタは、当業者に良く知られている。図示されたビデオ画像キャプチャ装置10では、フィルタ組立体26及び開口28は、画像センサ18における光強度を変更する。それぞれ調整可能である。開口28は、機械的絞り又は調整可能な開口示されないを用い光路20の光を遮断して、画像センサ18に到達する光の強度を制御する。開口の大きさは、連続的に若しくは段階的に調整可能であり、又は変更可能である。代替として、開口28は、光路20の中へ及び外へ移動できる。フィルタ組立体26は、同様に変更できる。例えば、フィルタ組立体26は、回転又は光路内へ移動できる異なる減光フィルタのセットを有し得る。他の適切なフィルタ組立体及び開口が当業者に良く知られている。ビデオ画像キャプチャ装置10は、光学システム44を有する。光学システム44は、取り込みレンズ16を含み、オペレータがキャプチャされるべき画像を構成するのを助けるファインダの構成要素示されないも含み得る。光学システム44は、多くの異なる形式を取ることができる。例えば、取り込みレンズ16は、光学ファインダと完全に別個であり、又は画像キャプチャの前後でプレビュー画像が連続的に示される内部ディスプレイの上に設けられた接眼レンズを有するデジタルビューファインダを含み得る。ここで、プレビュー画像は、通常、連続的にキャプチャされる低解像度の画像である。ビューファインダレンズユニット及び取り込みレンズ16は、1又は複数の構成要素を共有し得る。上述の及び他の代替の光学システムの詳細は、当業者に良く知られている。便宜上、光学システム44は、概して、以下では、デジタルビデオカメラのような画像キャプチャ装置でキャプチャする前に画像を構成するために一般的に行われるように、シーンのプレビュー画像を見るために用いることができる撮影中デジタルビューファインダディスプレイ76又は画像ディスプレイ48を有する実施形態に関連して議論される。取り込みレンズ16は、単一の焦点距離及び手動フォーカシング又は固定フォーカスを有するような単純なものであり得るが、これが好適なものではない。図1に示したビデオ画像キャプチャ装置10では、取り込みレンズ16は、ズーム制御50により、他のレンズ要素に対して、1つのレンズ要素又は複数のレンズ要素が駆動される電動ズームレンズである。これは、レンズの有効焦点距離を変化させる。デジタルズームデジタル画像のデジタル的な拡大は、光学ズームの代わりに又はそれと組み合わせて用いることもできる。取り込みレンズ16は、マクロ近焦点機能を提供するようマクロ制御52により光路に挿入又は光路から除去できるレンズ要素又はレンズグループ示されないも有し得る。ビデオ画像キャプチャ装置10の取り込みレンズ16は、自動焦点方式でもよい。例えば、自動焦点システムは、受動的若しくは能動的自動焦点又はそれら2つの組合せを用いて焦点合わせを提供できる。図1を参照すると、取り込みレンズ16の1又は複数の焦点要素別個に示されないは、シーンの特定の距離からの光を画像センサ18上に焦点を合わせるために、焦点制御54により駆動される。自動焦点システムは、異なるレンズ焦点設定でプレビュー画像をキャプチャすることにより、動作できる。或いは、自動焦点システムは、ビデオ画像キャプチャ装置10からシーンまでの距離に関連する信号をシステム制御部66へ送る1又は複数の検知要素を含むレンジファインダを有し得る。システム制御部66は、プレビュー画像又はレンジファインダからの信号の焦点分析を行い、焦点制御54を動作させて、取り込みレンズ16の焦点合わせ可能な1又は複数のレンズ要素別個に示されないを移動させる。自動焦点方法は、当業界で良く知られている。ビデオ画像キャプチャ装置10は、シーンの輝度を測定する手段を有する。輝度測定は、プレビュー画像のピクセルコード値を分析することにより、又は輝度センサ58の使用を通じて、行うことができる。図1では、輝度センサ58は、1又は複数の別個の構成要素として示される。輝度センサ58は、電子画像キャプチャユニット14のハードウェアとソフトウェアの論理的機能として設けられ得る。輝度センサ58は、1又は複数の画像センサ18の露光設定の選択で用いるために、シーンの光強度を表す1又は複数の信号を提供するために用いることができる。選択肢として、輝度センサ58からの信号は、カラーバランス情報も提供できる。シーンの照明及び色値の一方又は両方を提供するために用いることができ電子画像キャプチャユニット14と別個の適切な輝度センサ58の例は、米国特許第4887121号に開示されている。露光は、自動露光制御により決定できる。自動露光制御は、システム制御部66内に実装でき、従来知られているもの、例えば米国特許第5335041号に開示されたものから選択できる。撮像されるべきシーンの輝度測定に基づき、輝度センサ58により提供される又はプレビュー画像内のピクセル値からの測定により提供されるように、電子画像システムは、通常、自動露光制御処理を用いて、効果的な輝度及び良好な信号対雑音比を有する画像を生成する効果的な露光時間teを決定する。本発明では、露光時間は、自動露光制御により決定され、プレビュー画像のキャプチャのために用いられ、シーンの輝度及び予測動きブラーに基づきアーカイバル画像キャプチャのキャプチャのために変更できる。ここで、アーカイバル画像は、キャプチャ条件露光時間を含むが本発明の方法に基づき定められた後にキャプチャされる最終的な画像である。当業者は、露光時間が短いほど、アーカイバル画像には動きブラーが少なく雑音が多いことを理解するだろう。図1のビデオ画像キャプチャ装置10は、フラッシュユニット60を任意的に有する。フラッシュユニット60は、キセノンフラッシュ管又はLEDのような電子制御フラッシュ61を有する。通常、フラッシュユニット60は、ビデオ画像キャプチャ装置10が静止画像をキャプチャするために用いられるときにのみ用いられる。フラッシュセンサ62は、任意的に設けることができ、アーカイバル画像キャプチャの間にシーンから検知された又はアーカイバル画像キャプチャの前のプレフラッシュの目的の光に応答する信号を出力する。フラッシュセンサ信号は、専用フラッシュ制御63により又は制御ユニット65に応じてフラッシュユニットの出力を制御するのに用いられる。代替として、フラッシュ出力は、固定であるか、又は焦点距離のような他の情報に基づき変化できる。フラッシュセンサ62及び輝度センサ58の機能は、キャプチャユニット及び制御ユニットの単一の構成要素又は論理機能に組み合わせることができる。画像センサ18は、取り込みレンズ16により提供されるシーンの画像を受け、画像をアナログ電子画像に変換する。電子画像センサ18は、画像センサドライバにより動作される。画像センサ18は、種々のビン構成を含む種々のキャプチャモードで動作できる。ビニングbinning構成は、ピクセルが光電生成された電荷を個々に収集するために用いられるか否かを決定することによりキャプチャ中に最大解像度で動作するか、又は隣接ピクセルと一緒に電気的に接続されることによりキャプチャ中に低解像度で動作する。ビニング比は、キャプチャ中に電気的に共に接続されるピクセルの数を表す。ビニング比が高いほど、多くのピクセルがキャプチャ中に共に電気的に接続され、相応してビニングされたピクセルの感度を増大させ、画像センサの解像度を低減させることを示す。標準的なビニング比は、例えば2x、3x、6x、及び9xを含む。ビニングパターンで一緒にビニングされる隣接ピクセルの分布は、同様に変化できる。通常、同様の色の隣接ピクセルは、一緒にビニングされ、画像センサにより提供される色情報を一定に保つ。本発明は、他の種類のビニングパターンを有する画像キャプチャ装置に同等に適用できる。制御ユニット65は、露光調節要素及び他のカメラ構成要素を制御又は調節し、画像及び他の信号の転送を実現し、画像に関する処理を実行する。図1に示された制御ユニット65は、システム制御部66、タイミング生成器24、アナログ信号プロセッサ68、アナログ-デジタルA/D変換器80、デジタル信号プロセッサ70及び種々のメモリDSPメモリ72a、システムメモリ72b、メモリカードインタフェース83及びソケット82と共にメモリカード72c、及びプログラムメモリ72dを有する。制御ユニット65の要素に適した構成要素は、当業者に良く知られている。これらの構成要素は、列挙されたように、又は単一の物理装置により若しくは多数の別個の構成要素により提供できる。システム制御部66は、データ操作及び汎用プログラムの実行のためのRAMを有する内蔵マイクロプロセッサのような適切に構成されたマイクロコンピュータの形式を取ることができる。制御ユニット65の変更は、本願明細書の他の部分に記載されたように、役に立つ。タイミング生成器24は、時間的関係にある全ての電子構成要素のために制御信号を供給する。個々のビデオ画像キャプチャ装置10の較正値は、EEPROMのような較正メモリ別個に示されないに格納され、システム制御部66に供給される。ユーザインタフェース後述するの構成要素は、制御ユニット65に接続され、システム制御部66で実行されるソフトウェアプログラムの組合せを用いることにより機能する。制御ユニット65は、ズーム制御50、焦点制御54、マクロ制御52、ディスプレイ制御64、並びにシャッタ22、開口28、フィルタ組立体26、ビューファインダディスプレイ76及び状態ディスプレイ74のための他の制御示されないを含む種々の制御及び関連するドライバ及びメモリを動作させる。ビデオ画像キャプチャ装置10は、キャプチャされた画像の情報又はプレキャプチャ情報の補足情報を提供する他の構成要素を含み得る。このような補足情報構成要素の例は、図1に示した方位センサ78及び位置センサ79である。方位センサ78は、ビデオ画像キャプチャ装置10がランドスケープモード又はポートレートモードに配置されているかを検知するために用いることができる。位置センサ79は、ビデオ画像キャプチャ装置10の位置を検知するために用いることができる。例えば、位置センサ79は、カメラ位置の動きを検知する1又は複数の加速度計を有し得る。代替として、位置センサ79は、絶対的な地理的位置を決定するために全地球測位システム衛星から信号を受信するGPS受信機であり得る。補足情報を供給する構成要素の他の例は、リアルタイムクロック、慣性位置測定センサ、ユーザキャプション又は他の情報を入力するためのキーパッド又はタッチスクリーンのようなデータ入力装置を含む。図示され説明された回路は、当業者に良く知られた種々の方法で変更できることが理解されるだろう。また、物理的回路の観点からここに記載された種々の特徴は、代替としてファームウェア若しくはソフトウェア機能又はそれらの組合せとして提供することもできる。同様に、ここに別個のユニットとして示された構成要素は、適宜組み合せ又は共有することができる。複数の構成要素は、分散した場所に設けることができる。画像センサ18からの初期電子画像は、アナログ信号プロセッサ68及びA/D変換器80により、増幅されてアナログからデジタルに変換され、デジタル電子画像になり、次にDSPメモリ72aを用いてデジタル信号プロセッサ70で処理され、システムメモリ72b又は取り外し可能メモリカード72cに格納される。データバス81として示した信号線は、画像センサ18、システム制御部66、デジタル信号プロセッサ70、画像ディスプレイ48及び他の電子構成要素を電子的に接続し、アドレス信号及びデータ信号の経路を提供する。メモリは、半導体メモリ又は磁気メモリ等に設けられた物理記憶の1又は複数の適切な大きさの論理ユニットを表す。DSPメモリ72a、システムメモリ72b、メモリカード72c及びプログラムメモリ72dは、それぞれ、任意の種類のランダムアクセスメモリであり得る。例えば、メモリは、フラッシュEPROMメモリのような内部メモリ、又は代替としてコンパクトフラッシュカードのような取り外し可能メモリ、又は両者の組合せであり得る。取り外し可能メモリカード72cは、ア―カイバル画像記憶のために設けることができる。取り外し可能メモリカード72cは、ソケット82に挿入されシステム制御部66にメモリカードインタフェース83を介して接続されるコンパクトフラッシュCF又はセキュアデジタルSD型カードのような任意の種類であり得る。用いられる他の種類の記憶装置は、PCカード又はマルチメディアカードMMCを含むが、これらに限定されない。制御ユニット65、システム制御部66及びデジタル信号プロセッサ70は、画像記憶のために用いられる同一の物理メモリに格納されたソフトウェアにより制御できる。しかし、制御ユニット65、デジタル信号プロセッサ70及びシステム制御部66は、例えばROM又はEPROMファームウェアメモリ内の専用プログラムメモリ72dに格納されたファームウェアにより制御されることが望ましい。別個の専用メモリユニットは、他の機能をサポートするために設けることができる。キャプチャされた画像が格納されるメモリは、ビデオ画像キャプチャ装置10に固定された、又は取り外し可能装置又はそれらの組合せに格納される。用いられるメモリの種類、及び光若しくは磁気若しくは電子のような情報の格納方法は、本発明の機能にとって重要ではない。例えば、取り外し可能メモリは、フロッピーディスク、CD、DVD、テープカセット又はフラッシュメモリカード若しくはメモリスティックであり得る。取り外し可能メモリは、ビデオ画像キャプチャ装置10へ及びそれから、デジタル形式で、画像レコードを転送するために用いることができる。或いは、これらの画像レコードは、電子信号として、例えばインタフェースケーブル又は無線接続を介して送信できる。デジタル信号プロセッサ70は、システム制御部66に加え、本実施形態では2個のプロセッサ又は制御部のうちの1つである。複数の制御部及びプロセッサの中でのカメラ機能のこのような分配は典型的であるが、これらの制御部及びプロセッサは、カメラの機能的動作及び本発明の適用に影響を与えることなく、種々の方法で組み合わせることができる。これらの制御部及びプロセッサは、1又は複数のデジタル信号プロセッサ装置、マイクロコントローラ、プログラマブル論理装置、又は他のデジタル論理回路を有し得る。このような制御部又はプロセッサの組合せが記載されたが、1つの制御部又はプロセッサが必要な全ての機能を実行できることが明らかである。これらの変形の全ては、同一の機能を実行できる。示した実施形態では、制御ユニット65及びデジタル信号プロセッサ70は、プログラムメモリ72dに恒久的に格納され画像キャプチャ中に実行するためにシステムメモリ72bにコピーされたソフトウェアプログラムに従って、DSPメモリ72a内のデジタル画像データを操作する。制御ユニット65及びデジタル信号プロセッサ70は、画像処理を実施するのに必要なソフトウェアを実行する。デジタル画像は、デジタル画像を向上させるために、デジタルカメラのような他の画像キャプチャ装置と同じ様に変更され得る。例えば、デジタル画像は、補間及び輪郭強調を提供するためにデジタル信号プロセッサ70により処理され得る。電子アーカイバル画像のデジタル処理は、JPEG圧縮及びファイルフォーマットのようなファイル転送に関する変更を含み得る。メタデータは、当業者に良く知られた方法でデジタル画像データと共に提供することができる。システム制御部66は、プログラムメモリ72dに格納されたソフトウェアプログラムに基づき画像キャプチャ装置の全体の動作を制御する。プログラムメモリ72dは、フラッシュEEPROM又は他の不揮発性メモリを含み得る。このメモリは、キャリブレーションデータ、ユーザ設定選択、及び画像キャプチャ装置がオフにされるとき保存されなければならない他のデータを格納するためにも用いることができる。システム制御部66は、マクロ制御52、フラッシュ制御63、焦点制御54、ズーム制御50、及び上述のようなキャプチャユニットの構成要素の他のドライバに命令し、タイミング生成器24に画像センサ18及び関連要素を動作するよう命令し、制御ユニット65及びデジタル信号プロセッサ70にキャプチャした画像データを処理するよう命令することにより、画像キャプチャのシーケンスを制御する。画像がキャプチャされ処理された後、システムメモリ72b又はDSPメモリ72aに格納された最終画像ファイルは、ホストコンピュータへホストインタフェース84を介して転送され、取り外し可能メモリカード72c又は他の記憶装置に格納され、ユーザのために画像ディスプレイ48に表示される。ホストインタフェース84は、表示し、記憶し、操作し又は印刷するために画像データを転送するために、パーソナルコンピュータ又は他のホストコンピュータへの高速接続を提供する。このインタフェースは、IEEE1394又はUSB2.0シリアルインタフェース又は任意の他の適切なデジタルインタフェースであり得る。この方法においてデジタル形式での画像の転送は、物理媒体上又は伝送される電子信号のようなものであり得る。図示のビデオ画像キャプチャ装置10では、処理された画像は、システムメモリ72b内のディスプレイバッファにコピーされ、プレビュー画像のためのビデオ信号を生成するためにビデオエンコーダ86を介して連続的に読み出される。この信号は、ディスプレイ制御部64又はデジタル信号プロセッサ70により処理され、撮影中画像ディスプレイ48でプレビュー画像として提示され、又は外部モニタに表示するためにビデオ画像キャプチャ装置10から直接出力され得る。ビデオ画像キャプチャ装置10がビデオキャプチャのために用いられる場合、ビデオ画像はアーカイバルである。ビューファインダのプレビュー画像又は静止画アーカイバル画像キャプチャの前の画像構成として用いられる場合、ビデオ画像は非アーカイバルである。ビデオ画像キャプチャ装置10は、オペレータに出力を提供しオペレータ入力を受けるユーザインタフェースを有する。ユーザインタフェースは、1又は複数のユーザ入力制御93及び画像ディスプレイ48を有する。ユーザ入力制御93は、ボタン、ロッカースイッチ、ジョイスティック、回転ダイヤル、タッチスクリーン等の組合せの形式で提供することができる。ユーザ入力制御93は、画像キャプチャボタン、レンズユニットのズームを制御するズームイン/アウト制御、及び他のユーザ制御を有し得る。ユーザインタフェースは、露光レベル、残りの露光、バッテリ状態、フラッシュ状態等のようなカメラ情報をオペレータに提示する1又は複数のディスプレイ又はインジケータを有し得る。画像ディスプレイ48は、カメラ設定のような非画像情報を表示するために代わりに又は追加で用いることもできる。例えば、オプション選択肢を提示するメニュー及びキャプチャした画像を検査するレビューモードを含むグラフィカルユーザインタフェースGUIが設けられ得る。画像ディスプレイ48及びデジタルビューファインダディスプレイ76の両方は、同じ機能を提供し、一方又は他方が除去されてもよい。ビデオ画像キャプチャ装置10は、音声情報を提示するスピーカを含み得る。この音声情報は、ビデオキャプチャに関し、状態ディスプレイ74、画像ディスプレイ48又はそれら両方に示された視覚的警告の代わりに又はそれに加えて音声の警告を提供し得る。ユーザインタフェースの構成要素は、制御ユニットに接続され、システム制御部66で実行されるソフトウェアプログラムの組合せを用いることにより機能する。電子画像は、最終的に、ディスプレイ制御部64により動作される画像ディスプレイ48へ送信される。異なる種類の画像ディスプレイ48を用いることができる。例えば、画像ディスプレイ48は、液晶ディスプレイLCD、陰極線管ディスプレイ、又は有機発光ダイオードOLEDであり得る。画像ディスプレイ48は、望ましくは、カメラ本体に取り付けられ、写真を撮る人により直ちに見えるようにされる。画像ディスプレイ48に画像を示すステップの一部として、ビデオ画像キャプチャ装置10は、特定のディスプレイへの較正のために画像を変更できる。例えば、画像ディスプレイ48及び画像センサ18並びに電子画像キャプチャユニット14の他の構成要素のグレースケール、色域及び白色点の観点から異なる性能に対応するよう各画像を変更する変換が提供され得る。望ましくは、画像ディスプレイ48は、画像の全体を示すことができるよう選択される。しかしながら、更に限られたディスプレイを用いることができる。後者の場合には、画像を表示するステップは、画像の一部、コントラストレベル、又は画像内の情報の他の一部を切り出す較正ステップを含む。また、ここの記載されたビデオ画像キャプチャ装置10は、請求項に定められたものを除いて、特定の特徴セットに限定されないことが理解されるだろう。例えば、ビデオ画像キャプチャ装置10は、専用ビデオカメラであり、又はビデオシーケンスをキャプチャできるデジタルカメラであり得、取り外し可能及び交換可能のようなここに詳細に議論されなかった種々の特徴を有し得る。ビデオ画像キャプチャ装置10は、ポータブルであり又は位置が固定され、撮像に関連する又は関連しない1又は複数の他の機能を提供できる。例えば、ビデオ画像キャプチャ装置10は、携帯電話機のカメラであり、又は特定の他の方法で通信機能を提供できる。同様に、ビデオ画像キャプチャ装置10は、コンピュータハードウェア及びコンピュータ制御機器を有し得る。ビデオ画像キャプチャ装置10は、複数の電子画像キャプチャユニット14を有し得る。図2Aは、ビデオ画像キャプチャ装置20及びその関連視野215の説明を示す。ここでは、3個のオブジェクトピラミッドオブジェクト220、ボールオブジェクト230、及び方形ブロックオブジェクト240が視野215に置かれる。オブジェクトは、画像キャプチャ装置から異なる距離に置かれる。図2Bは、図2Aのビデオ画像キャプチャ装置210によりキャプチャされた、視野215のキャプチャ画像フレーム250の説明を示す。ピラミッドオブジェクト位置260、ボールオブジェクト位置270及び方形オブジェクト位置280は、それぞれ、図2Aに示されたような視野215内のピラミッドオブジェクト220、ボールオブジェクト230及び方形ブロックオブジェクト240の位置を示す。図3A及び4Aは、ビデオ画像キャプチャ装置210がキャプチャとキャプチャの間で移動するとき、視野215がどのように変化するかを示す。図3Aは、キャプチャとキャプチャの間のビデオ画像キャプチャ装置210の横方向の動きdに対する視野の変化に対応するキャプチャ画像フレーム350の説明を示す。この例では、視野215は視野315に変化し、キャプチャ画像フレーム350内で新しいオブジェクト位置ピラミッドオブジェクト位置360、ボールオブジェクト位置370及び方形ブロックオブジェクト位置380を生じる。オブジェクトピラミッドオブジェクト220、ボールオブジェクト230、及び方形ブロックオブジェクト240間の相対位置は、視野内で同じ距離だけ全て横方向にシフトし、視野はシーン内で角度の付いた境界を有するので、キャプチャされた画像内のオブジェクト位置の変化は、ビデオ画像キャプチャ装置210からのオブジェクトの距離により影響を受ける。その結果、図2Bと図3Bの比較は、キャプチャされた画像内のオブジェクト位置が画像キャプチャ装置の横方向の動きに対してどれだけ変化したかを示す。オブジェクト位置の変化視差として知られるをより明確に視覚化するために、図5Aは、図2Bのキャプチャ画像フレーム250の、図3Bのキャプチャ画像フレーム350との画像オーバレイ550を示す。ピラミッドオブジェクト220は、ビデオ画像キャプチャ装置210に最も近いので、大きなピラミッドオブジェクト視差555を有する。方形ブロックオブジェクト240は、ビデオ画像キャプチャ装置210から最も遠いので、小さな方形ブロックオブジェクト視差565を有する。ボールオブジェクト230は、ビデオ画像キャプチャ装置210から中程度の距離を有するので、中程度のボールオブジェクト視差560を有する。図4Aは、キャプチャとキャプチャの間のビデオ画像キャプチャ装置210の回転の動きrに対する視野の変化に対応するキャプチャ画像フレーム450の説明を示す。ビデオ画像キャプチャ装置210のこの回転の動きでは、視野215は視野415に変化する。このレイでは、オブジェクトは、全て、同じ角度量だけ動き、画像全域の全ての画像の横方向の動きとしてキャプチャ画像フレーム内に現れる。図2Bと図4Bの比較は、オブジェクトがピラミッドオブジェクト位置460、ボールオブジェクト位置470及び方形ブロックオブジェクト位置480へシフトしていることを示す。オブジェクト位置の変化をより明確に視覚化するために、図5Bは、図2Bのキャプチャ画像フレーム250の、図4Bのキャプチャ画像フレーム450との画像オーバレイ580を示す。この例では、ピラミッドオブジェクト220はピラミッドオブジェクト視差585を有し、方形ブロックオブジェクト240は方形ブロックオブジェクト視差595を有し、ボールオブジェクト230はボールオブジェクト視差590を有し、これらは全てほぼ等しい大きさである。奥行きの知覚を生成するために、ビューアの左目と右目に異なる視点を有する画像を提示することは、当業者に良く知られている。ビューアにステレオペア画像を同時に又は交互に提示する種々の方法が利用可能であり、当業者に良く知られている。これらの方法は、偏光型ディスプレイ、レンズ式ディスプレイ、バリア方式ディスプレイ、シャッタ-グラス方式ディスプレイ、アナグリフディスプレイ、及びその他を含む。本発明に従って形成された知覚深度を有するビデオは、これらの種類の立体ディスプレイのうちの任意のものに表示できる。幾つかの実施形態では、ビデオ画像キャプチャ装置は、ビデオ画像キャプチャ装置で直接的に知覚深度を有するビデオを見るための手段を有し得る。例えば、レンチキュラーアレイを画像ディスプレイ48図1に配置し、知覚深度を有するビデオを直接見ることを可能にできる。当業者に知られているように、ステレオ画像ペアの中の左画像及び右画像の列は、交互にされ、レンチキュラーアレイの後に表示され、左及び右のステレオ画像が、レンチキュラーアレイによりビューアの左目及び右目にそれぞれ向けられ、立体画像の光景を提供できるようにする。代替の実施形態では、ステレオ画像ペアは、画像ディスプレイ48で直接表示するために、アナグリフ画像としてエンコードされ得る。この例では、ユーザは、各目に対して相補的カラーフィルタを有するアナグリフグラスを用いて知覚深度を有するビデオを直接見ることができる。本発明は、単眼ビデオ画像キャプチャ装置210を用いてキャプチャされたビデオシーケンスからステレオペアを選択することにより、ステレオペアを含む知覚深度を有するビデオを生成する方法を提供する。この方法の特徴は、各ステレオペアの中のビデオ画像がキャプチャビデオシーケンスから選択され、各ステレオペアの中のビデオ画像がキャプチャビデオシーケンス中の多数のビデオ画像により隔てられ、ステレオペアが知覚深度を提供するために視点において所望の差を提供するようにする。ステレオペアの中のビデオ画像を隔てる多数のビデオ画像は、フレームオフセットと称される。本発明に従ってステレオペアのビデオ画像を選択するとき、ステレオペアの中で所望の知覚深度を提供するビデオ画像間の視点の変化を提供するために、画像キャプチャ装置の動きが考慮されて適切なフレームオフセットを決定する。ビデオキャプチャ中のビデオ画像キャプチャ装置210の横方向の動きは、図3Aに示されるように、フレームオフセットを増大することにより、横方向の動きd又はステレオペアの中のビデオ画像間の基準線が増大するにつれて増大する知覚の深度を提供する。このシナリオでは、画像キャプチャ装置に近いオブジェクトは、画像キャプチャ装置210から遠いオブジェクトより大きな視差を示すので、視野の中の異なるオブジェクトに対する知覚深度は、ビデオ画像キャプチャ装置210からのオブジェクトの実際の距離と一致する。視差は、ステレオミスマッチ又はパララックスと称される場合がある。ビデオ画像間の横方向の動きの距離での視差の変化は、図5Aに示される。これと対照的に、図4Aに示されるようなビデオキャプチャ中の画像キャプチャ装置の回転の動きは、画像キャプチャ装置の純粋な回転の動きがシーンにおける新たな視点を提供しないので、画像キャプチャ装置からのオブジェクトの実際の距離と一致しない知覚深度を提供する。むしろ、これは単に異なる視野を提供する。その結果、ビデオ画像キャプチャ装置210に近いオブジェクトは、ビデオ画像キャプチャ装置210から遠く離れたオブジェクトと、ステレオペアの中で同じ視差を示す。この効果は、それぞれ図2B及び4Bのキャプチャ画像フレーム250及び450の画像オーバレイ580を示す図5Bから分かる。先に記したように、異なるオブジェクトに対する視差は、画像キャプチャ装置のこの回転の動きでは同じである。シーン内の全てのオブジェクトは、同じ視差を有するので、画像キャプチャ装置が回転して動いた場合のフレームオフセットを有するビデオ画像を含むステレオペアは、知覚深度を示さない。ビデオ画像のキャプチャとキャプチャの間の画像キャプチャ装置の縦方向の動きは、深度の知覚を提供するステレオペアの中の視差を生成しない。この効果は、ビューアの目が水平方向に離れているという事実による。縦方向の視差を有するステレオ画像ペアは、見難いので、回避されるべきである。幾つかの実施形態では、シーン内のオブジェクトの局所的な動きも、単眼ビデオ画像キャプチャ装置でキャプチャされたビデオから知覚深度を有するビデオを生成するときに考慮される。これは、ステレオペアの中の異なるビデオ画像は、異なる時間にキャプチャされているからである。幾つかの例では、局所的な動きは、画像キャプチャ装置の動きと同様に、シーン内のオブジェクトについて異なる視点を提供し、局所的な動きが存在するビデオ画像を含むステレオペアが深度の知覚を提供できるようにする。これは、横方向に生じる局所的な動きに対して特に当てはまる。本発明は、知覚深度を有するビデオのビデオ画像のステレオペアを形成するために、キャプチャされた単眼ビデオ内のビデオ画像を選択する方法を提供する。方法は、ビデオ画像間の動きを特定するためのキャプチャ後のビデオ画像の分析に加えて、各ビデオ画像について画像キャプチャ装置の相対位置を決定するために、単眼ビデオのキャプチャ中に画像キャプチャ装置の動き追跡情報を集めるステップを有する。画像キャプチャ装置の動き追跡情報及びキャプチャ後のビデオ画像の分析を用いることにより、横方向の動き、縦方向の動き、回転の動き、局所的な動き及びこれらの組合せを含む種々の動きの種類が特定できる。動きの速度も決定できる。本発明は、特定された動きの種類及び動きの速度を用い、ビデオに知覚深度を補うステレオペアの中のビデオ画像間のフレームオフセットを選択する。ビデオキャプチャ中のビデオ画像キャプチャ装置210の横方向の動き速度が一定である単純な例では、ステレオペアのビデオ画像を選択するのに一定のフレームオフセットを用いることができる。例えば、ステレオペアのために選択されたビデオフレーム間に20mmの基準線を設けるため、ビデオ画像キャプチャ装置210が20mmの距離を移動したビデオフレームが特定できる。基準線は、ステレオペアについてのカメラ位置間の水平オフセットである。100mm/秒の横方向速度で移動している画像キャプチャ装置で30フレーム/秒でキャプチャされたビデオでは、約20mmの基準線を提供するフレームオフセットは6フレームである。ビデオキャプチャ中にビデオ画像キャプチャ装置210の横方向の動き速度が変化する例では、ステレオペア内で一定の基準線を提供するため、フレームオフセットは動きの速度の変化に応答して変化する。例えば、動きの速度が50mm/秒まで遅くなる場合、フレームオフセットは12フレームまで増大する。反対に、動きの速度が200mm/秒まで増大する場合、フレームオフセットは3フレームまで減少する。幾つかの実施形態では、自然に見える立体画像を提供するために、基準線は、人間の観察者の目と目の間の標準的な距離に対応して設定できる。他の実施形態では、所望の程度の知覚深度を提供するために、基準線の値は、ユーザにより選択できる。ここで、基準線の値が大きいほど知覚深度が大きく、基準線の値が小さいほど知覚深度は小さくなる。ビデオ画像キャプチャ装置210の純粋な縦方向の動きの場合には、通常、ステレオペアのビデオ画像を選択するのに、小さいフレームオフセット又は全くフレームオフセットがないが用いられるべきである。これは、縦方向の視差が深度として知覚されず、縦方向の視差を有し生成されたステレオペアは見難いからである。この例では、フレームオフセットは、例えば0乃至2フレームであり得る。ここで、零のフレームオフセットは、同じビデオ画像がステレオペア内の両方のビデオ画像に対して用いられること、及びステレオペアがビューアに知覚深度を提供しないが、見易いことを示す。ビデオ画像キャプチャ装置210の純粋な回転の動きの例では、縦方向の動きの例と同様の理由で、通常、小さいフレームオフセットが用いられるべきである。これは、回転方向の視差が深度として知覚されないためである。この例では、フレームオフセットは、例えば、0乃至2フレームであり得る。局所的な動きが存在するとき、フレームオフセットは、画像キャプチャ装置の動き追跡により決定されるような全体の動きグローバルモーション、局所的な動き単独、又は全体的動きと局所的動きの組合せに基づき選択できる。いずれの場合も、横方向の動き速度が一定の例で前述したように、局所的な動きの横方向の速度が増大すると、フレームオフセットは減少する。同様に、局所的な動きが縦方向の動き又は回転の動きを主に有する場合、フレームオフセットは同様に減少する。本発明は、ビデオ画像キャプチャ装置210の動きの動き追跡情報を用い、ビデオ画像間の横方向及び縦方向の動きを特定する。幾つかの実施形態では、動き追跡情報は、位置センサを用いて、ビデオと一緒にキャプチャされる。例えば、この動き追跡情報は、加速度計で集めることができる。ここで、データは、加速度の観点で提供され、時間にわたる積分により速度及び位置に変換される。他の実施形態では、動き追跡情報は、キャプチャビデオフレームを分析してビデオ画像キャプチャ装置210の動きを推定することにより決定できる。ビデオキャプチャ中の画像キャプチャ装置の回転の動きは、ジャイロスコープを用いて集められた動き追跡情報から、又は代替としてビデオ画像の分析により決定できる。ジャイロスコープは、画像キャプチャ装置の回転速度情報を直接、角速度の観点で提供できる。ビデオ画像を分析して画像キャプチャ装置の回転の動きを決定する例では、連続ビデオ画像を互いに比較し、ビデオ画像内のオブジェクトの相対位置を決定する。ビデオ画像内のオブジェクトの相対位置は、オブジェクト位置の変化をフレームレートからのビデオ画像間のキャプチャの時間で分解することにより、ピクセル/秒の観点で画像の動き速度に変換される。ビデオ画像内の異なるオブジェクトの均一な画像動き速度は、回転の動きの兆候である。連続ビデオ画像内のオブジェクト位置の比較によるビデオ画像の分析は、ビデオ画像キャプチャ装置210の局所的な動き及び横方向若しくは縦方向の動きを決定するためにも用いることができる。これらの例では、ビデオ画像間のオブジェクトの動きは、不均一である。人々がシーンを通じて移動しているようなオブジェクトの局所的な動きの例では、オブジェクトは、異なる方向に、異なる画像動き速度で移動する。ビデオ画像キャプチャ装置210の横方向又は縦方向の動きの例では、オブジェクトは、オブジェクトがビデオ画像キャプチャ装置210からどれだけ離れているかに依存して、同じ方向に同じ画像動き速度で移動する。表1は、動き追跡情報とビデオ画像分析の組合せから特定された動きの種類のまとめ、及び本発明の実施形態により提供されたステレオペアのフレームオフセットを決定するために用いられた結果として生じた技術である。表1の情報から分かるように、動き追跡情報及びビデオ画像分析の両方が、異なる種類の動き及びビデオキャプチャ中に現れる若しくはシーン内に存在し得る動きを区別するのに有用である。幾つかの実施形態では、ビデオ画像キャプチャ装置210は、加速度計のような位置センサを有しなくてもよい。この例では、画像分析が、依然として、フレームオフセットを選択するのに有用な情報を提供する。しかし、幾つかの例では、異なる種類のカメラの動きを区別できなくてもよい。通常、ユーザにとって見難いシナリオを回避するために、カメラの動きに有意な不確実性が存在する場合には、小さいフレームオフセットを用いることが望ましい。[表1]特定された動き、及び結果として生じたステレオペア間のフレームオフセット図6Aは、本発明の一実施形態による、知覚深度を有するビデオを形成する方法のフローチャートである。基準線を選択するステップ610では、ステレオペアの中で所望の程度の深度知覚を提供する基準線615がユーザにより選択される。基準線615は、ステレオペアの中のビデオ画像間の横方向のオフセット距離の形式、又はステレオペアの中のビデオ画像内のオブジェクト間のピクセルオフセットの形式である。ビデオをキャプチャするステップ620で、単眼ビデオ画像キャプチャ装置でビデオ画像シーケンスがキャプチャされる。好適な実施形態では、動き追跡情報625は、位置センサを用いて、ビデオ画像640と一緒に同期した形式でキャプチャされる。動き追跡情報を分析するステップ630では、動き追跡情報625は、ビデオキャプチャ処理中のカメラの動き635を特徴付けるために分析される。幾つかの実施形態では、カメラの動き635は、ビデオ画像キャプチャ装置の動きの種類及び速度を表す。ビデオ画像を分析するステップ645では、ビデオ画像640は、シーン内の画像の動き650を特徴付けるために、分析され互いに比較される。画像の動き650は、画像の動きの種類及び画像の動きの速度を表し、全体的な画像の動き及び局所的な画像の動きの両方を含み得る。ビデオ画像の比較は、ビデオ画像内の対応するオブジェクトの相対位置をピクセル毎に又はブロック毎に相関させることにより行うことができる。ピクセル毎の相関は、より正確な画像の動きの速度を提供するが、遅く、高い計算能力を必要とする。また、ブロック毎の相関は、あまり正確でない動き速度の指標を提供するが、少ない計算能力しか必要とせず、速い。ビデオ画像を比較して動きの種類及び画像の動きの速度を決定する効率的な方法は、MPEGビデオエンコーディング方式と関連するレバレッジ計算によっても行うことができる。MPEGは、圧縮ビデオデータをエンコーディングする一般的な規格であり、Iフレーム、Pフレーム及びBフレームの使用に頼る。Iフレームは画面内符号化される。つまり、Iフレームは、他のフレームを参照せずに再構成することができる。Pフレームは、最後のIフレーム又はPフレームから前方予測される。つまり、Pフレームは、他のフレームI又はPのデータ無しでは再構成できない。Bフレームは、最後の/次のIフレーム又はPフレームから前方予測及び後方予測される。つまり、Bフレームは、再構成するためには2つの他のフレームを必要とする。Pフレーム及びBフレームは、画面間符号化フレームと称される。図9は、MPEG符号化フレームシーケンスの例を示す。Pフレーム及びBフレームは、それらに関連したブロック動きベクトルを有する。これは、MPEGデコーダが、Iフレームを開始点として使用して、フレームを再構成することを可能にする。MPEG-1及びMPEG-2では、これらのブロック動きベクトルは、16x16ピクセルブロックマクロブロックと称されるで計算され、水平及び垂直動き成分として表される。マクロブロック内の動きが相反する場合、Pフレーム及びBフレームは、ブロック動きベクトルの代わりに実際のシーンの内容を画面内符号化することもできる。MPEG-4では、マクロブロックは、可変サイズであり、16x16ピクセルに限定されない。好適な実施形態では、MPEGのP及びBフレームと関連するブロック動きベクトルは、ビデオシーケンス内の全体的な画像の動き及び局所的な画像の動きの両方を決定するために用いることができる。全体的な画像の動きは、通常、ビデオ画像キャプチャ装置210の動きと関連する。P及びBフレームの何れかから決定された又は代替として動き追跡情報625から決定されたビデオ画像キャプチャ装置210と関連する全体的な画像の動きは、MPEG動きベクトルから減算され、局所的な画像の動きの推定を与えることができる。次に、フレームオフセットを決定するステップ655は、決定されたカメラの動き635及び画像の動き650に応答してステレオ画像ペアを形成するために基準線615と一緒に用いられるフレームオフセット660を決定するために用いられる。好適な実施形態では、カメラの動き635及び画像の動き650の動きの種類及び動きの速度は、キャプチャビデオ中の各ビデオ画像に用いるべきフレームオフセットを決定するために、表1と一緒に用いられる。例えば、位置センサからの動きカメラの動き635が横方向の動きに対応すると決定され、且つ画像分析からの動き画像の動き650が均一な横方向の動きであると決定された場合、カメラの動きの種類は横方向であると結論づけることができ、フレームオフセットは位置センサからの検知位置に基づき決定することができる。幾つかの実施形態では、フレームオフセットΔNfは、カメラの横方向の位置が基準線615によりシフトされているフレームを特定することにより決定される。他の実施形態では、横方向の速度VXは、特定のフレームに対して決定され、フレームオフセットは相応して決定される。この例では、選択されるフレーム間の時間差Δtは、次式により基準線Δxbから決定できる。次に、フレームオフセットΔNfは、次式を用いてRfから決定できる。次に、知覚深度を有するビデオ670は、知覚深度を有するビデオを形成するステップ665を用いて形成される。知覚深度を有するビデオ670は、それぞれステレオ画像ペアを含むステレオビデオフレームのシーケンスを有する。次に、i番目のステレオビデオフレームSiのステレオ画像ペアは、i番目のビデオフレームFiをフレームオフセットFiΔNfだけ離れたビデオフレームと対にすることにより形成できる。望ましくは、カメラが右へ動いている場合、i番目のフレームは、ステレオペアの左画像として用いられ、カメラが左へ動いている場合、i番目のフレームは、ステレオペアの右画像として用いられるべきである。知覚深度を有するビデオ670は、次に、当業者に知られた任意の方法を用いてステレオデジタルビデオファイルに格納され得る。知覚深度を有するビデオ670は、前述したような従来知られた任意の立体画像表示技術例えば、左目と右目の直交偏光フィルタを有する眼鏡と結合された偏光型ディスプレイ、レンチキュラーディスプレイ、バリアディスプレイ、シャッタグラスディスプレイ及び左目と右目の相補型カラーフィルタを有する眼鏡と結合されたアナグリフディスプレイを用いてユーザにより見ることができる。本発明の代替の実施形態は、図6Bに示される。この例では、フレームオフセット660は、図6Aに関して記載したのと同じステップを用いて決定される。この例では、しかしながら、知覚深度を有するビデオ670を形成し格納するのではなく、ステレオペアメタデータを有するビデオを格納するステップ675が用いられ、後の時間に知覚深度を有するビデオを形成するために用いることができる情報を格納する。このステップは、キャプチャビデオ画像640を、どのビデオフレームがステレオペアのために用いられるべきかを示すメタデータと一緒に格納し、ステレオペアメタデータを有するビデオ680を形成する。幾つかの実施形態では、ビデオと共に格納されたステレオペアメタデータは、単に、ビデオフレーム毎に決定されたフレームオフセットである。特定のビデオフレームのフレームオフセットは、ビデオフレームと関連付けられたメタデータタグとして格納できる。代替としてフレームオフセットメタデータは、ビデオファイルと関連付けられた別個のメタデータファイルに格納できる。知覚深度を有するビデオを表示することが望ましいとき、フレームオフセットメタデータは、ステレオ画像ペアを形成するために用いられるべき片方のビデオフレームを特定するために用いることができる。代替の実施形態では、ステレオペアメタデータは、フレームオフセットではなく、フレーム番号又は他の適切なフレーム識別子であり得る。図6Bに示した方法は、知覚深度を有する3Dビデオを提供できる能力を保ちながら、図6Aの実施形態と比べてビデオファイルのファイルサイズを低減するという利点を有する。ビデオファイルは、フォーマット変換の実行を要せず、従来の2Dビデオディスプレイでも見ることができる。フレームオフセットのファイルサイズは比較的小さいので、フレームオフセットデータはキャプチャビデオのメタデータと共に格納できる。通常、位置センサ79図1が、動き追跡情報625図6Aを与えるために用いられる。本発明の幾つかの実施形態では、位置センサ79は、位置情報又は動き追跡情報をビデオ画像キャプチャ装置210に提供する立体変換ソフトウェアと一緒に、1又は複数の加速度計若しくはジャイロスコープを含む取り外し可能メモリカードにより提供できる。このアプローチは、位置センサを任意的な付属品として提供し、ビデオ画像キャプチャ装置210の基本コストを出来る限り低くし、一方ではビデオ画像キャプチャ装置210を本発明の前述の実施形態で記載したような知覚深度を有するビデオを生成するために用いることを依然として可能にする。取り外し可能メモリカードは、図1のメモリカード72cの代替として用いることができる。幾つかの実施形態では、取り外し可能メモリカードは、単に位置センサの役目をし、位置データ又は特定の他の形式の動き追跡情報をビデオ画像キャプチャ装置210内のプロセッサに提供する。他の構成では、取り外し可能メモリカードは、適切なソフトウェアと一緒に、知覚深度を有するビデオを形成するプロセッサも含み得る。図7は、ビルトイン動き追跡装置を有する取り外し可能メモリカード710を示す。この使用に適切な動き追跡装置は、STMicroから、3.0x5.0x0.9mmの大きさの3軸加速度計及び4.4x7.5x1.1mmの大きさの3軸ジャイロスコープの形式で入手可能である。図7は、SD取り外し可能メモリカード710及び上述の3軸ジャイロスコープ720及び3軸加速度計730の相対的な大きさを示す。図8は、カードの取り外し可能メモリカード内に知覚深度を有するビデオ画像を形成するために必要な構成要素を含む、ビルトイン動き追跡装置を有する取り外し可能メモリカード710のブロック図である。図7を参照して記載したように、取り外し可能メモリカード710は、動き追跡情報625をキャプチャするジャイロスコープ720及び加速度計730を含む。ジャイロスコープ720及び加速度計730からの信号をデジタル化するために、1又は複数のアナログ-デジタルA/D変換器850が用いられる。動き追跡情報625は、任意的に、知覚深度を有するビデオ画像を形成するのに使用するため又は他の用途のために、ビデオ画像キャプチャ装置210のプロセッサへ直接送ることができる。ビデオ画像キャプチャ装置210によりキャプチャされたビデオ画像640は、動き追跡情報625と同期してメモリ860に格納される。図6A又は6Bのフローチャートのステップを通じて知覚深度を有するビデオ670を形成するためにキャプチャビデオ画像640の変換を実施する立体変換ソフトウェア830は、メモリ860に、又はASICのような特定の他の形式の記憶装置にも格納できる。幾つかの実施形態では、メモリ860の一部は、取り外し可能メモリカード710とビデオ画像キャプチャ装置の他のメモリとの間で共有できる。幾つかの実施形態では、立体変換ソフトウェア830は、知覚深度を有するビデオを生成する種々のモードの間で選択する及び基準線615のような種々の選択肢を指定するユーザ入力870を受け付ける。通常、ユーザ入力870は、図1に示したようなビデオ画像キャプチャ装置210のユーザ入力制御93を通じて供給できる。立体変換ソフトウェア830は、プロセッサ840を用い、格納されたビデオ画像640及び動き追跡情報625を処理して知覚深度を有するビデオ670を生成する。プロセッサ840は、取り外し可能メモリカード710の内部にあるか、又は代替としてビデオ画像キャプチャ装置の内部のプロセッサであり得る。知覚深度を有するビデオ670は、メモリ860に格納されるか、又はビデオ画像キャプチャ装置若しくはホストコンピュータにある特定の他のメモリに格納できる。幾つかの実施形態では、位置センサ79は、有線若しくは無線接続を用いてビデオ画像キャプチャ装置210と通信する外部位置検知アクセサリとして設けることができる。例えば、外部位置検知アクセサリは、USB若しくはBluetooth接続を用いてビデオ画像キャプチャ装置210に接続できる全地球測位システム受信機を含むドングルであり得る。外部位置検知アクセサリは、受信信号を処理しビデオ画像キャプチャ装置210と通信するソフトウェアを含み得る。外部位置検知アクセサリは、図6A又は6Bのフローチャートのステップを通じて知覚深度を有するビデオ670を形成するためにキャプチャビデオ画像640の変換を実施する立体変換ソフトウェア830も含み得る。幾つかの実施形態では、画像処理は、知覚深度を有するビデオを形成するステップ665においてステレオ画像ペア内のビデオフレームの一方又は両方を調整して見る経験を向上させるために用いることができる。例えば、ビデオ画像キャプチャ装置210が縦方向に動いたこと又は2つのビデオフレームがキャプチャされた時間の間で傾いたことを検出した場合、ビデオフレームの一方又は両方は、縦方向にシフトされるか又は回転され、ビデオフレームを更に良好に揃える。動き追跡情報625は、適切な量のシフト及び回転を決定するために用いることができる。シフト又は回転がビデオフレームに適用される場合には、通常、ビデオフレームをトリミングし、シフト/回転画像がフレームを満たすようにすることが望ましい。