(57)【要約】  知覚される奥行きを有するビデオを提供するための方法であって、単一視点の画像捕捉装置を用いてシーンの一連のビデオ画像を捕捉するステップと、前記画像捕捉装置の相対位置を、前記一連のビデオ画像におけるビデオ画像の各々に関して求めるステップと、前記画像捕捉装置の前記求められた相対位置に応答してビデオ画像のステレオペアを選択するステップと、前記選択されたビデオ画像のステレオペアに基づいて、知覚される奥行きを有するビデオを形成するステップとを含む方法。
2013529864.tif 000002
【特許請求の範囲】
【請求項１】
知覚される奥行きを有するビデオを提供するための方法であって、
単一視点の画像捕捉装置を用いてシーンの一連のビデオ画像を捕捉するステップと、
前記画像捕捉装置の相対位置を、前記一連のビデオ画像におけるビデオ画像の各々に関して求めるステップと、
前記画像捕捉装置の前記求められた相対位置に応答して、前記一連のビデオ画像からビデオ画像のステレオペアを選択するステップと、
前記選択されたビデオ画像のステレオペアに基づいて、知覚される奥行きを有するビデオを形成するステップとを含む方法。
【請求項２】
ビデオ画像の前記ステレオペアが、前記画像捕捉装置の前記求められた相対位置が特定の距離だけ変化したところのビデオ画像のペアを識別することにより選択される請求項１に記載の方法。
【請求項３】
前記特定の距離が水平方向における距離である請求項２に記載の方法。
【請求項４】
前記画像捕捉装置の前記求められた相対位置の変化が前記画像捕捉装置の垂直方向又は回転方向の運動を示す場合に前記特定の距離が低減される請求項２に記載の方法。
【請求項５】
前記画像捕捉装置の前記求められた相対位置の変化が、前記画像捕捉装置の運動が定められた範囲外にあることを示す場合に、前記特定の距離がゼロに低減される請求項２に記載の方法。
【請求項６】
前記シーンにおける物体の移動を求めるために前記捕捉された一連のビデオ画像を分析することをさらに含み、ビデオ画像の前記ステレオペアの選択が、さらに、前記求められた物体の移動に応答している請求項１に記載の方法。
【請求項７】
前記シーンにおける物体の移動が、前記捕捉された一連のビデオ画像における対応する物体の相対位置を相関させることにより求められる請求項６に記載の方法。
【請求項８】
ビデオ画像の前記ステレオペアの選択が、
ビデオ画像の前記ステレオペアのためのフレームオフセットを、前記画像捕捉装置の前記求められた相対位置に応答して求めるステップと、
前記物体移動が定められた範囲外にあると判定された場合に前記フレームオフセットを低減するステップと、
前記低減されたフレームオフセットを用いるビデオ画像のステレオペアを選択するステップとを含む請求項６に記載の方法。
【請求項９】
前記物体移動の量が定められた範囲外にある場合に前記フレームオフセットがゼロに低減される請求項８に記載の方法。
【請求項１０】
前記画像捕捉装置の前記相対位置が位置検出装置を用いて求められる、請求項１に記載の方法。
【請求項１１】
前記位置検出装置が加速度計又はジャイロスコープを含む請求項１０に記載の方法。
【請求項１２】
前記位置検出装置がグローバルポジショニングシステム（ＧＰＳ）装置である請求項１０に記載の方法。
【請求項１３】
前記画像捕捉装置の前記相対位置が、前記捕捉された一連のビデオ画像を分析することにより求められる請求項１に記載の方法。
【請求項１４】
知覚される奥行きを有する前記ビデオが、左眼及び右眼のための補色フィルタを有する眼鏡を用いて見ることに適したアナグリフ画像を形成することにより提供される請求項１に記載の方法。
【請求項１５】
知覚される奥行きを有する前記ビデオが、各ビデオフレームのための画像のステレオペアを記憶することにより提供される請求項１に記載の方法。
【請求項１６】
さらに、知覚される奥行きを有する前記ビデオを立体ディスプレイに表示することを含む請求項１に記載の方法。
【請求項１７】
ビデオ画像の前記ステレオペアの選択が、さらに、所望の知覚される奥行きの程度を示すユーザ入力に応答して行われる請求項１に記載の方法。
【請求項１８】
知覚される奥行きを有するビデオを提供するための方法であって、
単一視点の画像捕捉装置を用いてシーンの一連のビデオ画像を捕捉するステップと、
前記画像捕捉装置の相対位置を前記一連のビデオ画像に関して求めるステップと、
前記画像捕捉装置の前記求められた相対位置に応答して、前記一連のビデオ画像における各ビデオ画像のためのフレームオフセットを求めるステップと、
前記捕捉された一連のビデオ画像をデジタルメモリに記憶するステップと、
各ビデオ画像に関する前記フレームオフセットの指示をデジタルメモリ内に記憶し、それにより、前記フレームオフセットに基づいてビデオ画像のステレオペアが、知覚される奥行きを有するビデオを提供するために後で形成されることができるようにするステップと、
前記フレームオフセットの前記記憶された指示を、前記記憶された一連のビデオ画像に関連付けるステップとを含む方法。
【請求項１９】
前記記憶された前記フレームオフセットの指示が、前記記憶された一連のビデオ画像に、前記一連のビデオ画像を記憶するために用いられるデジタルビデオファイルにメタデータを追加することにより関連付けられる請求項１８に記載の方法。
【請求項２０】
前記各ビデオ画像のための前記記憶されたフレームオフセットの指示がデジタルメタデータファイルに記憶され、前記デジタルメタデータファイルが、前記捕捉された一連のビデオ画像を記憶するために用いられるデジタルビデオファイルに関連付けられる請求項１８に記載の方法。
【請求項２１】
さらに、ビデオ画像のステレオペアを、各ビデオ画像のための前記記憶されたフレームオフセットの指示に基づいて連続して形成するステップと、
知覚される奥行きを有するビデオを、ビデオ画像の前記ステレオペアを用いて提供するステップとを含む請求項１８に記載の方法。
【請求項２２】
前記捕捉された一連のビデオ画像にメタデータが関連付けられ、前記ビデオ捕捉装置が定められた範囲外にあると判定された場合には、前記捕捉されたシーケンスの、知覚される奥行きを有するビデオを形成するのに不適切な部分を示す請求項１８に記載の方法。
【請求項２３】
知覚される奥行きを有するビデオを提供するための方法であって、
単一視点の画像捕捉装置を用いてビデオを捕捉するステップと、
前記ビデオの捕捉中の前記画像捕捉装置の移動を求めるステップと、
前記ビデオの捕捉中のシーン内の物体の移動を求めるステップと、
前記捕捉されたビデオから選択されたビデオ画像のステレオペアから成る知覚される奥行きを有するビデオを提供するステップと、
を含み、前記画像が、前記画像捕捉装置の前記求められた移動及び前記求められた物体移動に従って選択される方法。
【請求項２４】
前記ステレオペアにおける前記ビデオ画像間のフレームオフセットが、前記画像捕捉装置の前記求められた移動の速度及び方向、並びに、前記求められた物体移動の速度及び方向に従って選択される請求項２３に記載の方法。
【請求項２５】
前記ステレオペアにおける前記ビデオ画像間のフレームオフセットが、前記画像捕捉装置の前記求められた移動の方向が、水平方向、垂直方向、回転方向又はこれらの方向の組合せのいずれであるかに従って選択される請求項２３に記載の方法。
【請求項２６】
前記画像捕捉装置の前記移動が加速度計又はジャイロスコープを用いて求められる、請求項２３に記載の方法。
【請求項２７】
シーン内の物体の移動が、前記捕捉されたビデオの圧縮版に関連付けられたＭＰＥＧベクトルに従って求められる、請求項２３に記載の方法。
【請求項２８】
ビデオ画像の前記ステレオペアの前記選択が、さらに、所望の程度の知覚される奥行きを指示するユーザ入力に従う請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一視点の画像捕捉装置を用いて捕捉されたビデオから、知覚される奥行きを有するビデオを提供するための方法に関する。
【背景技術】
【０００２】
シーンの立体画像は、一般的に、同一シーンの異なる視点を有する２つ以上の画像を組み合わせることにより生成される。典型的に、立体画像は、シーンの異なる視点を提供するための距離だけ分離された２つ（又はそれより多く）の画像捕捉デバイスを有する画像捕捉装置により同時に捕捉される。しかし、ステレオ画像捕捉のためのこの方法は、２つ（又はそれより多く）の画像捕捉デバイスを有するより複雑な画像捕捉システムを必要とする。
【０００３】
単一の画像捕捉装置を用いて時系列順のビデオ画像を含むビデオを捕捉し、次いで、このビデオを、知覚される奥行きを有するビデオを生成するために修正する、立体ビデオを生成するための方法が提示されてきた。捕捉されたビデオは、「疑似立体システム」("Quasi-stereoscopic systems")と題された、エヌ・カファレル・ジュニア(N. Cafarell, Jr.)に付与された特許文献１において、知覚される奥行きを有するビデオを、単一視点の画像捕捉装置を用いて捕捉されたビデオから提供する方法が開示されている。知覚される奥行きを有するビデオは、見る人の左眼及び右眼にビデオ画像を示すことにより生成され、左右の眼に示されるこれらのビデオ画像のタイミングは一定のフレームオフセット分だけ異なり、これにより、一方の眼が他方の眼よりも時間系的により早くビデオ画像を受け入れる。カメラの位置及びシーン内の物体の位置は、一般に、時間と共に変化するため、時間による知覚の異なりが、見る人の脳により奥行きとして解釈される。しかし、画像捕捉装置及びシーン内の物体の運動の量が一般的に時間と共に変化するため、奥行きの知覚はしばしば一貫性に欠ける。
【０００４】
「電子３次元視聴システム」("Electronic three dimensional viewing system")と題された、ダッソ(Dasso)に付与された特許文献２もまた、単一視点の画像捕捉装置を用いて捕捉されたビデオから、知覚される奥行きを有するビデオを提供する。知覚される奥行きを有するビデオは、見る人の左右の眼に提示されるビデオ間の一定のフレームオフセット（例えば１フレーム〜５フレーム）を有するビデオを、見る人の左右の眼に提供することにより生成される。この特許において、左右の眼に提示されるビデオ画像は、また、一方の眼に提示されるビデオ画像が他方の眼に提示されるビデオ画像と比較して、位置移動され、拡大され又は明るくされ、それにより、知覚される奥行きがさらに強調されるという点で異なり得る。しかし、この場合もまた、フレームオフセットが一定であるため、ビデオ捕捉中に存在する変化する運動により、奥行きの知覚は一貫性に欠けるであろう。
【０００５】
「一連の画像をコンピュータ処理された３次元グラフィックと組み合わせるためのシステム」("System for combining a sequence of images with computer-generated three dimensional animations")と題された、ナットレス(Nattress)の特許文献３において、一連の画像をコンピュータ処理された３次元アニメーションと組み合わせるためのシステムが記載されている。この特許出願の方法は、連続した各画像を捕捉するときに画像捕捉装置の位置を測定し、それにより、画像捕捉装置の視点を識別することをより容易にし、そして、それにより、捕捉された画像をコンピュータ処理されたアニメーション中の画像と組み合わせることをより容易にすることを含む。
【０００６】
単一視点の画像捕捉装置を用いて捕捉されたビデオを、捕捉後に、知覚される奥行きを有するビデオに変換するための方法が、「２次元／３次元画像変換及び最適化」("Methods and systems for 2D/3D image conversion and optimization")と題された、ナスケ(Naske)らの特許文献４に開示されている。この方法において、連続的なビデオ画像が、シーン内の運動の方向及び速度を求めるために互いに比較される。捕捉されたビデオに対してフレームオフセットを有する第２のビデオが発生され、このフレームオフセットは、連続的なビデオ画像を互いに比較したときに、急速な運動又は垂直方向の運動が検出された場合、不自然な作用を回避するために低減される。しかし、カメラ及びシーン内の物体の運動量は、時間と共になお変化するため、奥行きの知覚はやはり一貫性に欠けることになり、ビデオの捕捉中に生じる運動と共に変化するであろう。
【０００７】
特許文献５において、画像捕捉装置の測定された位置が、画像捕捉装置を用いて異なる位置にて捕捉された画像のペアから範囲マップを求めるために用いられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第２，８６５，９８８号明細書
【特許文献２】米国特許第５，７０１，１５４号明細書
【特許文献３】米国特許出願公開第２００５／０１６８４８５号明細書
【特許文献４】米国特許出願公開第２００８／００８５０４９号明細書
【特許文献５】米国特許出願公開第２００９／０００３６５４号明細書
【特許文献６】国際公開第２０１０／０３２０５８号
【特許文献７】米国特許出願公開第２００９／３１７０６２号明細書
【特許文献８】国際公開第２００４／００８７６８号
【特許文献９】米国特許第５，７７７，６６６号明細書
【非特許文献】
【０００９】
【非特許文献１】Kim M B et al., "The adaptation of 3D stereoscopic video in MPEG-21 DIA", SIGNAL PROCESSING. IMAGE COMMUNICATION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 18, no. 8, 1 September 2003, pages 685-697, XP004452905, ISDN: 0923-5965, DOI: 10.1016/S0923-5965(03)00059-6
【発明の概要】
【発明が解決しようとする課題】
【００１０】
単一視点の画像捕捉装置により捕捉されたビデオから、知覚される奥行きを有するビデオ（画像捕捉装置又はシーン内の物体の一貫性のない運動が存在する場合にも、向上された画質及び向上された知覚される奥行きを有する、知覚される奥行きを有するビデオ）を提供する必要がまだ残っている。
【課題を解決するための手段】
【００１１】
本発明は、知覚される奥行きを有するビデオを提供するための方法を提供し、この方法は、
単一視点の画像捕捉装置を用いてシーンの一連のビデオ画像を捕捉するステップと、
前記画像捕捉装置の相対位置を、前記一連のビデオ画像におけるビデオ画像の各々に関して求めるステップと、
前記画像捕捉装置の前記求められた相対位置に応答して、前記一連のビデオ画像からビデオ画像のステレオペアを選択するステップと、
前記選択されたビデオ画像のステレオペアに基づいて、知覚される奥行きを有するビデオを形成するステップとを含む。
【００１２】
本発明は、知覚される奥行きを有するビデオ画像を、単一視点の画像捕捉装置を用いて捕捉されたシーンのビデオ画像を用いて提供することができるという利点を有する。知覚される奥行きを有するビデオは、知覚される奥行きの、より一貫性の高い感覚をもたらすために、画像捕捉装置の相対位置に応答して形成される。
【００１３】
本発明は、知覚される奥行きを有するビデオ画像の生成に反するような画像捕捉装置の運動が検知された場合には、知覚される奥行きを有さない画像が提供されることができるというさらなる利点を有する。
【００１４】
本発明の実施形態は、以下の図面を参照することにより、より良好に理解されよう。
【図面の簡単な説明】
【００１５】
【図１】ビデオ画像捕捉装置のブロック線図である。
【図２Ａ】ビデオ画像捕捉装置と、視野内の３つの物体とを示す図である。
【図２Ｂ】図２Ａに示したビデオ画像捕捉装置により捕捉されるであろう画像を示す図である。
【図３Ａ】図２Ａに示したビデオ画像捕捉装置の、ビデオ画像捕捉装置の水平方向移動により視野が変更された状態の図である。
【図３Ｂ】図３Ａに示したビデオ画像捕捉装置により捕捉されるであろう画像を示す図である。
【図４Ａ】図２Ａに示したビデオ画像捕捉装置の、ビデオ画像捕捉装置の回転により視野が変更された状態の図である。
【図４Ｂ】図４Ａに示したビデオ画像捕捉装置により捕捉されるであろう画像を示す図である。
【図５Ａ】図２Ｂの画像と図３Ｂの画像とを重ね合わせた、画像のステレオ不一致を示す図である。
【図５Ｂ】図２Ｂの画像と図４Ｂの画像とを重ね合わせた、画像のステレオ不一致を示す図である。
【図６Ａ】本発明の一実施形態による知覚される奥行きを有するビデオを形成するための方法のフローチャートである。
【図６Ｂ】本発明のさらなる実施形態による知覚される奥行きを有するビデオを形成するための方法のフローチャートである。
【図７】運動追跡デバイスが内蔵された着脱可能なメモリカードの図である。
【図８】知覚される奥行きを有するビデオを形成するために必要な構成要素をカード内部に含む、運動追跡デバイスが内蔵された着脱可能なメモリカードのブロック図である。
【図９】ＭＰＥＧ符号化が行われている一連のビデオフレームの概略図である。
【発明を実施するための形態】
【００１６】
知覚される奥行きを有する画像の生成は、異なる視点を有する２つ以上の画像が、見る人の左眼と右眼とが異なる視点の画像を見るように提示されることを必要とする。立体画像の最も簡単な場合、異なる視点を有する２つの画像がステレオペア（双眼写真）の形態で見る人に提示される。ステレオペアは、見る人の左眼のための画像と見る人の右眼のための画像から成る。知覚される奥行きを有するビデオは、見る人に連続的に提示される一連のステレオペアから成る。
【００１７】
本発明は、単一の視点のみを有するビデオ画像捕捉装置を用いて捕捉されたビデオから、知覚される奥行きを有するビデオを生成するための方法を提供する。典型的に、単一の視点は、１つのレンズ及び１つのイメージセンサから構成された１つの電子画像捕捉ユニットを有するビデオ画像捕捉装置により提供される。しかし、本発明は、１つの電子画像捕捉ユニットのみ又は１つのレンズ及び１つのイメージセンサのみがビデオを１回捕捉するために用いられるという条件を満たすならば、２つ以上の電子画像捕捉ユニット、２つ以上のレンズ又は２つ以上のイメージセンサを有するビデオ画像捕捉装置にも同等に適用可能である。
【００１８】
図１を参照すると、特定の実施形態において、ビデオ画像捕捉装置１０の部品（コンポーネント）が示されており、これらの部品は、構造的な支持及び保護をもたらす本体内に配置されている。この本体は、特定の用途及びスタイルを考慮した要求条件を満たすように変更されることができる。ビデオ画像捕捉装置１０の本体内に取り付けられている電子画像捕捉ユニット１４が、少なくとも、撮影（テイキング）レンズ１６、及び、撮影レンズ１６に位置合わせされたイメージセンサ１８を有する。シーンからの光が撮影レンズ１６を通って光路２０に沿って伝搬し、イメージセンサ１８に当たってアナログ電子画像を生成する。
【００１９】
使用するイメージセンサの種類を変更することもできるが、好ましい実施形態において、イメージセンサは固体撮像素子である。例えば、イメージセンサは、電荷結合素子（ＣＣＤ）、ＣＭＯＳセンサ（ＣＭＯＳ）、又は、電荷注入デバイス（ＣＩＤ）であり得る。一般に、電子画像捕捉ユニット１４は、イメージセンサ１８に関連するその他の部品も含むであろう。典型的なイメージセンサ１８には、クロックドライバ（本明細書にて、タイミング発生器とも称す）、アナログ信号プロセッサ（ＡＳＰ）、及び、アナログ−デジタル変換器／増幅器（Ａ／Ｄコンバータ）として機能する別個の部品が付属している。これらの部品は、しばしば、イメージセンサ１８と共に単一のユニットに組み込まれる。例えば、ＣＭＯＳイメージセンサは、その他の部品を同一の半導体ダイ上に集積させるプロセスにより製造される。
【００２０】
典型的に、電子画像捕捉ユニット１４は、３つ以上のカラーチャネルを有する画像を捕捉する。単一のイメージセンサ１８を１つのカラーフィルタアレイと共に用いることが現在は好ましいが、複数のイメージセンサ及び様々なタイプのフィルタを用いることもできる。好適なフィルタが当業者に広く知られており、イメージセンサ１８に組み込まれて一体部品として提供される場合もある。
【００２１】
イメージセンサ１８の各画素からの信号は、画素に到達する光の強度、及び、画素が入射光からの信号を蓄積又は積分することが可能にされる時間長の両方に関連している。この時間を積分時間又は露光（露出）時間と称する。
【００２２】
積分時間は、開放状態と閉鎖状態とが切り替え可能なシャッタ２２により制御される。シャッタ２２は、機械的であっても電気機械的であってもよく、又は、電子画像捕捉ユニット１４のハードウェア及びソフトウェアの論理機能として提供されることができる。例えば、幾つかのタイプのイメージセンサ１８は、イメージセンサ１８をリセットし、次いで、その後しばらくしてイメージセンサ１８を読み出すことにより、積分時間が電子的に制御されることを可能にする。ＣＣＤイメージセンサを用いる場合、積分時間の電子制御は、蓄積された電荷を、非感光性の領域に設けられた遮光レジスタ下に移動させることにより行うことができる。この遮光レジスタは、フレーム転送装置ＣＣＤでのように全ての画素に対するものであっても、或いは、インターライン転送装置ＣＣＤでのように、画素の行又は列間の行又は列の形態であってもよい。好適な装置及び手順が当業者に公知である。そして、タイミング発生器２４が、イメージセンサ１８上の画素が画像を捕捉する積分時間がいつ生じるかを制御する方法をもたらすことができる。図１に示されているビデオ画像捕捉装置１０において、シャッタ２２とタイミング発生器２４とが協働して積分時間を決定する。
【００２３】
全光強度と積分時間との組合せが、露光と称される。イメージセンサ１８の感度及びノイズ特性と組み合わされた露光が、捕捉された画像にて生じる信号対ノイズ比を決定する。等価な露光が、光強度と積分時間との様々な組合せにより達成されることができる。露光が等価であっても、光強度と積分時間とによる特定の露光の組合せが、シーンの画像を捕捉するためのその他の等価な露光よりも好ましい場合があり、これは、シーンの特性又は関連する信号対ノイズ比に基づく。
【００２４】
図１は、多数の露光制御要素を示しているが、幾つかの実施形態は、これらの要素の１以上を含まない場合があり、或いは、露光を制御するための別の機構があってもよい。ビデオ画像捕捉装置１０は、図示されているものとは異なる特徴物を有することもできる。例えば、ダイヤフラムとしても機能するシャッタが、当業者に広く知られている。
【００２５】
図示されているビデオ画像捕捉装置１０において、フィルタアセンブリ２６及びアパーチャ２８は、イメージセンサ１８における光強度を調整する。各々が調節可能であり得る。アパーチャ２８は、イメージセンサ１８に到達する光の強度を、光路２０における光を遮断するための機械的ダイヤフラム又は調節可能なアパーチャ（図示せず）を用いて制御する。アパーチャの寸法は、連続的に調節可能であっても、段階的に変更されても、或いは、他の方法で変更されてもよい。或いは、アパーチャ２８は、光路２０の内外に移動されることができる。フィルタアセンブリ２６も同様に変更されることができる。例えば、フィルタアセンブリ２６は、回転されるか又はその他の方法で光路内に移動されることができる様々な中性密度フィルタのセットを含むことができる。その他の好適なフィルタアセンブリ及びアパーチャが当業者に公知である。
【００２６】
ビデオ画像捕捉装置１０は、撮影レンズ１６を含む光学システム４４を有し、光学システム４４は、捕捉されるべき画像を操作者が構成することを補助するためのビューファインダの部品（図示せず）も含むことができる。光学システム４４は、多くの異なる形態であり得る。例えば、撮影レンズ１６が光学ビューファインダから完全に分離されていてもよく、或いは、画像捕捉の前後にプレビュー画像が連続的に示される内部ディスプレイ上に設けられたアイピースを有するデジタルビューファインダを含むこともできる。プレビュー画像は、典型的には、連続的に捕捉される、より低解像度の画像である。また、ビューファインダレンズユニットと撮影レンズ１６とが、１以上の部品を共有することもできる。これら及びその他の光学システムの詳細は当業者に公知である。便宜上、以下に光学システム４４を、オンカメラ(on-camera)デジタルビューファインダディスプレイ７６又は画像ディスプレイ４８を有する一実施形態に関して概説する。画像ディスプレイ４８は、シーンのプレビュー画像を、画像捕捉装置（例えばデジタルビデオカメラ）による捕捉の前に画像を構成するために一般的に行われているように見るために用いることができる。
【００２７】
撮影レンズ１６は、例えば単一の焦点距離及び手動焦点合わせ、又は固定焦点を有するような単純なものであってもよいが、これは好ましくはない。図１に示されているビデオ画像捕捉装置１０において、撮影レンズ１６は、レンズ要素又は複数のレンズ要素がズームコントロール５０により他のレンズ要素に対して駆動される電動ズームレンズである。これは、レンズの有効焦点距離が変更されることを可能にする。デジタルズーム機能（デジタル画像のデジタル拡大）も、光学ズーム機能の代わりに、又は光学ズーム機能と組み合わせて用いられることができる。撮影レンズ１６は、マクロ（クロースフォーカス）性能をもたらすようにマクロコントロール５２により光学路に差し込まれ又は光学路から取り外されることができるレンズ要素又はレンズ群（図示せず）も含むことができる。
【００２８】
ビデオ画像捕捉装置１０の撮影レンズ１６は、オートフォーカス（自動焦点）式であってもよい。例えば、オートフォーカスシステムが、パッシブオートフォーカス又はアクティブオートフォーカス、或いはこれらの２つの組合せを用いて焦点合わせを行うことができる。図１を参照すると、撮影レンズ１６の１以上のフォーカス要素（別個には図示せず）が、フォーカスコントロール５４により、シーンにおける特定の距離からの光の焦点をイメージセンサ１８上に合わせるために駆動される。オートフォーカスシステムは、様々なレンズフォーカス設定でプレビュー画像を捕捉することにより動作することができ、或いは、オートフォーカスシステムは、ビデオ画像捕捉装置１０からシーンまでの距離に関する信号をシステムコントローラ６６に送信する１以上の検出要素を有するレンジファインダ５６を有することができる。システムコントローラ６６は、プレビュー画像又はレンジファインダからの信号の焦点分析をし、次いで、フォーカスコントロール５４を動作させて、撮影レンズ１６の焦点合わせ可能な１又は複数のレンズ要素（別個には図示せず）を移動させる。オートフォーカス方式は当分野で公知である。
【００２９】
ビデオ画像捕捉装置１０は、シーンの明るさ（輝度）を測定するための手段を含む。輝度測定は、プレビュー画像の画素コード値を分析することにより、或いは、輝度センサ５８の使用により行われことができる。図１にて、輝度センサ５８は１以上の別個の部品として示されている。また、輝度センサ５８は、電子画像捕捉ユニット１４のハードウェア及びソフトウェアの論理機能として設けられることもできる。輝度センサ５８は、シーンの光強度を示す１以上の信号を提供するために用いられることができ、これらの信号は、１以上のイメージセンサ１８のための露光設定の選択に用いられる。オプションとして、輝度センサ５８からの信号は、カラーバランス情報を提供することもできる。シーン照明及び色値の一方又は両方を提供するために用いられることができ、且つ、電子画像捕捉ユニット１４から分離されている適切な輝度センサ５８の例が、米国特許第４，８８７，１２１号に開示されている。
【００３０】
露光は自動露光制御により決定されることができる。自動露光制御は、システムコントローラ６６内で実行されることができ、また、当分野で公知の自動露光制御から選択されることができ、この一例が、米国特許第５，３３５，０４１号に開示されている。画像化されるべきシーンの明るさ測定値（輝度センサ５８により提供され、又は、プレビュー画像内の画素値から得られる測定値により提供される）に基づいて、電子画像形成システムは、典型的に、自動露光制御処理を用いて、有効な輝度及び良好な信号対ノイズ比を有する画像を生じる有効な露光時間（ｔe）を決定する。本発明において、自動露光制御により決定される露光時間（ｔe）は、プレビュー画像の捕捉のために用いられ、次いで、アーカイバル（保存用）画像の捕捉のために、シーンの明るさ、及び、予測される運動ぼやけ(motion blur)に基づいて変更され得る。アーカイバル画像は、捕捉状態（露光時間を含む）が本発明の方法に基づいて画定された後に捕捉された最終画像である。当業者には、露光時間が短いほど、アーカイバル画像において運動ぼやけが少なくなり、ノイズがより多く生じることが理解されよう。
【００３１】
図１に示したビデオ画像捕捉装置１０は、電子制御フラッシュ６１（例えばキセノン閃光管又はＬＥＤ）を有するフラッシュユニット６０を任意に含む。一般に、フラッシュユニット６０は、ビデオ画像捕捉装置１０が静止画像を捕捉するために用いられるときにのみ用いられるであろう。フラッシュセンサ６２は任意に設けられることができ、アーカイバル画像の捕捉中にシーンから検知された光に応答して、或いは、アーカイバル画像捕捉より前のプレフラッシュにより信号を出力する。フラッシュセンサ信号は、専用のフラッシュコントロール６３により、又は、コントロールユニット６５の一機能として、フラッシュユニットの出力の制御に用いられる。或いは、フラッシュ出力は、一定であっても、又は、その他の情報（例えば焦点距離）に基づいて変更されてもよい。フラッシュセンサ６２と輝度センサ５８の機能を組み合わせて、捕捉ユニット及びコントロールユニットの単一の部品又は論理機能にすることもできる。
【００３２】
イメージセンサ１８は、撮影レンズ１６により提供されるシーンの画像を受けて、この画像をアナログ電子画像に変換する。電子イメージセンサ１８はイメージセンサドライバにより動作される。イメージセンサ１８は、様々なビニング配列を含む様々な捕捉モードで動作されることができる。ビニング配列は、光電的に発生された電荷を画素が個々に集め、それにより捕捉中に最大解像度で動作するか、或いは、隣接する画素が電気的に接続され、それにより、捕捉中により低い解像度で動作するかを決定する。ビニング比(binning ratio)は、捕捉中に互いに電気接続される画素の個数を示す。ビニング比がより高いことは、より多くの画素が捕捉中に互いに電気接続され、それに対応して、ビニングされた画素の感度が増大し、且つ、イメージセンサの解像度が低減することを示す。典型的なビニング比は、例えば、２×２、３×３、６×６、及び９×９である。所定のビニングパターンで互いにビニングされた隣り合う画素の分布を変更することもできる。典型的には、類似の色の隣り合う画素が互いにビニングされて、イメージセンサにより提供される色情報の一貫性を維持する。本発明は、その他のタイプのビニングパターンを有する画像捕捉装置にも同様に適用されることができる。
【００３３】
コントロールユニット６５は、露光調整要素及びその他のカメラ部品を制御又は調節し、画像及びその他の信号の転送を容易にし、且つ、画像に関する処理を実行する。図１に示されているコントロールユニット６５は、システムコントローラ６６、タイミング発生器２４、アナログ信号プロセッサ６８、アナログ−デジタル（Ａ／Ｄ）変換器８０、デジタル信号プロセッサ７０、並びに、様々なメモリ（ＤＳＰメモリ７２ａ、システムメモリ７２ｂ、メモリカード７２ｃ（メモリカードインタフェース８３とソケット８２を含む）、及びプログラムメモリ７２ｄ）を含む。コントロールユニット６５の要素のための好適な部品は当業者に公知である。これらの部品は、以上に列挙したように、又は、単一の物理的デバイスにより、若しくは、より多数の別々の部品により設けられることができる。システムコントローラ６６は、適切に構成されたマイクロコンピュータの形態、例えば、データ処理及び一般的なプログラム実行のためのＲＡＭを有する内蔵マイクロプロセッサであり得る。コントロールユニット６５の変更例が実際にあり、例えば、本明細書にて他の箇所に記載するようなユニットである。
【００３４】
タイミング発生器２４は、タイミング関係にある全ての電子部品に制御信号を供給する。個々のビデオ画像捕捉装置１０のための較正値が較正メモリ（別個に図示せず）、例えばＥＥＰＲＯＭに記憶され、システムコントローラ６６に供給される。ユーザインタフェースの部品（後述する）がコントロールユニット６５に接続されており、システムコントローラ６６にて実行されるソフトウェアプログラムの組合せを用いることにより機能する。また、コントロールユニット６５は、様々な制御部（ズームコントロール５０、フォーカスコントロール５４、マクロコントロール５２、ディスプレイコントローラ６４を含む）とこれらに関連するドライバ及びメモリを動作させ、また、シャッタ２２、アパーチャ２８、フィルタアセンブリ２６、ビューファインダディスプレイ７６及びステータスディスプレイ７４のためのその他の制御部（図示せず）を動作させる。
【００３５】
ビデオ画像捕捉装置１０は、捕捉された画像情報又は捕捉前(pre-capture)情報に対する補足的情報を提供するためのその他の部品を含むことができる。このような補足的情報を提供する部品の例は、図１に示されている方位センサ７８及び位置センサ７９である。方位センサ７８は、ビデオ画像捕捉装置１０がランドスケープモード又はポートレートモードのいずれに向けられているかを検知するために用いられることができる。位置センサ７９は、ビデオ画像捕捉装置１０の位置を検知するために用いられることができる。例えば、位置センサ７９は、カメラの位置の移動を検知するための１以上の加速度計を含むことができる。或いは、位置センサ７９は、地理的絶対位置を求めるために全地球測位システム（グローバルポジショニングシステム）衛星からの信号を受信するＧＰＳレシーバであり得る。補足的情報を提供するための部品のその他の例は、リアルタイムクロック、慣性位置測定センサ、及び、ユーザキャプション又はその他の情報の入力のためのデータエントリデバイス（例えば、キーパッド又はタッチスクリーン）である。
【００３６】
本件にて図示され且つ説明される回路が、当業者に公知の様々な方法で変更され得ることが理解されよう。また、物理的回路に関して本文中に記載される様々な特徴物が、これらとは異なるように、ファームウェア機能又はソフトウェア機能として、或いはこれらの２つの機能の組合せとして提供されることができることも理解されよう。同様に、本明細書にて別々のユニットとして示されている部品が、好都合に組み合わされ又は共有されることもできる。複数の部品を、分散された場所に設けることもできる。
【００３７】
イメージセンサ１８からの最初の電子画像は、増幅され、アナログ信号プロセッサ６８及びＡ／Ｄ変換器８０によりアナログからデジタルに変換されて、デジタル電子画像にされる。次いで、このデジタル電子画像は、デジタル信号プロセッサ７０にてＤＳＰメモリ７２ａを用いて処理され、システムメモリ７２ｂ又はリムーバブル（着脱可能な）メモリカード７２ｃに保存される。データバス８１として示されている信号線が、イメージセンサ１８、システムコントローラ６６、デジタル信号プロセッサ７０、画像ディスプレイ４８、及びその他の電子部品を電子的に接続し、また、アドレス及びデータ信号のための経路を提供する。
【００３８】
「メモリ」(memory)は、半導体メモリ又は磁気メモリなどとして提供される物理的メモリから成る、適切なサイズの１以上の論理ユニットのことである。ＤＳＰメモリ７２ａ、システムメモリ７２ｂ、メモリカード７２ｃ及びプログラムメモリ７２は、各々、任意のタイプのランダムアクセスメモリであってよい。例えば、メモリは、内蔵メモリ（例えばフラッシュＥＰＲＯＭメモリ）であっても、若しくは、着脱可能な（リムーバブル）メモリ（例えばコンパクトフラッシュ（登録商標）カード）であっても、又は、これらの両方の組合せであってもよい。着脱可能なメモリカード７２ｃを、アーカイバル画像の保存のために設けてもよい。着脱可能なメモリカード７２ｃは、ソケット８２に差し込まれ、メモリカードインタフェース８３を介してシステムコントローラ６６に接続される任意のタイプのカードであってよく、例えばコンパクトフラッシュ（ＣＦ）（登録商標）又はセキュアデジタル（ＳＤ）タイプのカードである。使用されるその他のタイプの記憶手段は、限定はしないが、ＰＣカード又はマルチメディアカード（ＭＭＣ）を含む。
【００３９】
コントロールユニット６５、システムコントローラ６６及びデジタル信号プロセッサ７０は、画像保存のために用いられるメモリと同一の物理的メモリに格納されているソフトウェアにより制御されることもできるが、コントロールユニット６５、デジタル信号プロセッサ７０及びシステムコントローラ６６が、専用のプログラムメモリ７２ｄ（例えばＲＯＭ又はＥＰＲＯＭファームウェアメモリ）に格納されているファームウェアにより制御されることが好ましい。その他の機能を補助するために別個の専用のメモリユニットも設けることができる。捕捉された画像が保存されるメモリは、ビデオ画像捕捉装置１０内に取り付けられても、又は、着脱可能であっても、或いは、これらの両方の組合せであってもよい。用いられるメモリのタイプ及び情報記憶の方法（例えば、光学式、磁気式、又は電子式）は、本発明の機能にとって重要ではない。例えば、着脱可能なメモリは、フロッピーディスク（登録商標）、ＣＤ、ＤＶＤ、テープカセット、又は、フラッシュメモリカード若しくはメモリスティックであってよい。着脱可能なメモリは、画像記録を、ビデオ画像捕捉装置１０に又はビデオ画像捕捉装置１０からデジタル形式で送信するために用いられることができ、或いは、これらの画像記録は、電子信号として、例えば、インタフェースケーブル又はワイヤレス接続を介して送信されることもできる。
【００４０】
システムコントローラ６６に加え、この実施形態における２つのプロセッサ又はコントローラの一方が、デジタル信号プロセッサ７０である。このようにカメラ機能制御を複数のコントローラ及びプロセッサ間で分担することは一般的であるが、これらのコントローラ又はプロセッサを、カメラの機能動作及び本発明の適用に影響を与えずに様々な方法で組み合わせることもできる。これらのコントローラ又はプロセッサは、１以上のデジタル信号プロセッサ装置、マイクロコントローラ、プログラム可能な論理デバイス、又はその他のデジタル論理回路を含むことができる。このようなコントローラ又はプロセッサの組合せを記載してきたが、１つのコントローラ又はプロセッサが、要求される機能の全てを実行可能であることが理解されよう。これらの変型例の全てが同一の機能を実行することができる。
【００４１】
例示された実施形態において、コントロールユニット６５及びデジタル信号プロセッサ７０は、ＤＳＰメモリ７２ａ中のデジタル画像データを、プログラムメモリ７２ｄに永久的に記憶され且つ画像捕捉中の実行のためにシステムメモリ７２ｂにコピーされたソフトウェアプログラムに従って処理する。コントロールユニット６５及びデジタル信号プロセッサ７０は、画像処理を実行するために必要なソフトウェアを実行する。また、デジタル画像は、デジタル画像の画質を向上させるために、他の画像捕捉装置（例えばデジタルカメラ）での方法と同じ方法で修正されることもできる。例えば、デジタル画像は、補間及びエッジ強調（エンハンスメント）を行うために信号プロセッサ７０により処理されることができる。電子アーカイバル画像のデジタル処理は、ファイル転送に関する変更、例えばＪＰＥＧ圧縮、及びファイルフォーマットを含むことができる。また、メタデータもデジタル画像データに、当業者に公知の方法で与えられることができる。
【００４２】
システムコントローラ６６は、フラッシュＥＥＰＲＯＭ又はその他の不揮発性メモリを含むことができるプログラムメモリ７２ｄに記憶されたソフトウェアプログラムに基づいて画像捕捉装置の全体動作を制御する。このメモリは、また、画像捕捉装置の電源が切られたときに保存されなければならない較正データ、ユーザ設定の選択、及びその他のデータを記憶させるためにも用いられることができる。システムコントローラ６６は、画像捕捉のシーケンスを制御する。これは、マクロコントロール５２、フラッシュコントロール６３、フォーカスコントロール５４、ズームコントロール５０、及び、先に記載した捕捉ユニット部品のその他のドライバに命令を送ること、タイミング発生器２４に、イメージセンサ１８及び関連する要素を動作させるように命令を送ること、及び、コントロールユニット６５及びデジタル信号プロセッサ７０に、捕捉された画像データを処理するように命令を送ることにより行われる。画像が捕捉されて処理された後、システムメモリ７２ｂ又はＤＳＰメモリ７２ａの中に記憶された最終画像ファイルは、ホストインタフェース８４を介してホストコンピュータに転送され、着脱可能なメモリカード７２ｃ又はその他の記憶デバイスに記憶され、画像ディスプレイ４８上でユーザに対して表示される。ホストインタフェース８４は、画像データを表示、保存、操作又は印刷のために転送するため、パーソナルコンピュータ又はその他のホストコンピュータに高速接続する。このインタフェースは、ＩＥＥＥ１３９４又はＵＳＢ２．０シリアルインタフェースであっても、或いはその他の任意の適切なデジタルインタフェースであってもよい。この方法において、デジタル形式での画像の転送は、物理的媒体上でも、又は、送信された電子信号としても可能である。
【００４３】
図示されているビデオ画像捕捉装置１０において、処理された画像は、システムメモリ７２ｂ中のディスプレイバッファにコピーされ、そして、ビデオエンコーダ８６を介して連続的に読み出されて、プレビュー画像のためのビデオ信号を生成する。この信号は、ディスプレイコントローラ６４又はデジタル信号プロセッサ７０により処理され、プレビュー画像としてオンカメラ画像ディスプレイ４８上に表示されるか、又は、外部モニタで表示するためにビデオ画像捕捉装置１０から直接出力されることができる。ビデオ画像は、ビデオ画像捕捉装置１０がビデオ捕捉のために用いられる場合にはアーカイバルであり、保存用静止画像捕捉前のビューファインディング又は画像構成のためのプレビュー画像として用いられる場合には非アーカイバルである。
【００４４】
ビデオ画像捕捉装置１０は、操作者に出力を提供し且つ操作者の入力を受け入れるユーザインタフェースを有する。ユーザインタフェースは、１以上のユーザ入力コントロール９３及び画像ディスプレイ４８を含む。ユーザ入力コントロール９３は、ボタン、ロッカースイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンなどの組合せの形態で設けられることができる。ユーザ入力コントロール９３は、画像捕捉（撮影）ボタン、レンズユニットのズーミングを制御する「ズームイン／アウト」コントロール、及びその他のユーザコントロールを含む。
【００４５】
ユーザインタフェースは、カメラ情報（例えば露光レベル、露光残り、電池の状態、フラッシュの状態など）を操作者に提示するための１以上のディスプレイ又はインジケータを含む。その代わりに、又はこれに加えて、画像ディスプレイ４８が、画像に関係のない情報（例えばカメラ設定）を表示するために用いられることもできる。例えば、グラフィカルユーザインタフェース（ＧＵＩ）を設けることができ、このＧＵＩが、オプション選択、及び、捕捉された画像を確認するためのレビューモードを提示するメニューを含む。画像ディスプレイ４８とデジタルビューファインダディスプレイ７６とが共に同一の機能を果たすこともでき、これらのうちの一方又は他方を設けないことも可能である。ビデオ画像捕捉装置１０は、ビデオ捕捉に関する音声情報を提供するスピーカを含むことができ、スピーカは、視覚的警告（ステータスディスプレイ７４、画像ディスプレイ４８又はこれらの両方に表示される）の代わりに、又は、これに加えて、音声警告を提供することができる。ユーザインタフェースの部品はコントロールユニットに接続されており、システムコントローラ６６にて実行されるソフトウェアプログラムの組合せを用いることにより機能する。
【００４６】
電子画像は、最終的に、ディスプレイコントローラ６４により動作される画像ディスプレイ４８に送信される。様々なタイプの画像ディスプレイ４８を用いることができる。例えば、画像ディスプレイ４８は、液晶ディスプレイ（ＬＣＤ）、ブラウン管ディスプレイ、又は、有機ＥＬディスプレイ（ＯＬＥＤ）であり得る。画像ディスプレイ４８は、好ましくは、撮影者が容易に見ることができるようにカメラ本体上に取り付けられる。
【００４７】
画像を画像ディスプレイ４８に表示することの一部として、ビデオ画像捕捉装置１０は、画像を特定のディスプレイに合わせて較正するように修正することができる。例えば、各画像を、画像ディスプレイ４８のグレースケール、色域、及びホワイトポイント、並びに、イメージセンサ１８、及び、電子画像捕捉ユニット１４のその他の部品に関する様々な性能に適合するように修正する変換を行うことができる。画像ディスプレイ４８が、画像全体が示されるように選択されることが好ましい。しかし、より制限されたディスプレイを用いることもできる。後者の場合、画像の表示は、画像の一部、又は、コントラストレベル、若しくは画像の情報の他の何らかの部分を取り除く較正ステップを含む。
【００４８】
また、本明細書に記載されるビデオ画像捕捉装置１０が、特許請求の範囲により画定される以外には、特定の特徴群に限定されないことも理解されよう。例えば、ビデオ画像捕捉装置１０は、専用のビデオカメラであっても、また、ビデオシーケンスを捕捉することができる、本明細書にて詳述しない様々な特徴物（例えば、着脱可能で交換可能なレンズ）のいずれをも含み得るデジタルカメラであってもよい。また、ビデオ画像捕捉装置１０は、持ち運び可能であっても、或いは、所定位置に固定されてもよく、また、画像形成に関連する、又は関連しない１以上のその他の機能を有することもできる。例えば、ビデオ画像捕捉装置１０は携帯電話のカメラであってよく、或いは、その他の何らかの方法で通信機能を提供することができる。同様に、ビデオ画像捕捉装置１０は、コンピュータハードウェア及びコンピュータ制御機器を含むことができる。また、ビデオ画像捕捉装置１０は、複数の電子画像捕捉ユニット１４を含むことができる。
【００４９】
図２Ａは、ビデオ画像捕捉装置２１０及びこの装置に関連する視野２１５を示す。視野２１５内に、３つの物体（ピラミッド状の物体２２０、ボール状の物体２３０、及び、矩形ブロック状の物体２４０）が配置されている。これらの物体は、画像捕捉装置から異なる距離に配置されている。図２Ｂは、図２Ａに示したビデオ画像捕捉装置２１０により捕捉された視野２１５の捕捉された画像フレーム２５０を示す図である。ピラミッド状物体の位置２６０、ボール状物体の位置２７０、及び、矩形ブロック状物体の位置２８０は、それぞれ、図２Ａに見られた視野２１５内のピラミッド状物体２２０、ボール状物体２３０、及び矩形ブロック状物体２４０の位置を示す。
【００５０】
図３Ａ及び図４Ａは、ビデオ画像捕捉装置２１０が個々の捕捉（撮像）の間に移動するときに視野２１５がどのように変化するかを示す。図３Ａは、ビデオ画像捕捉装置２１０の捕捉間の水平方向移動（ｄ）に関する視野の変化に対応している捕捉された画像フレーム３５０を示す図である。この場合、視野２１５は視野３１５に変化し、それにより、新しい物体位置（ピラミッド状物体の位置３６０、ボール状物体の位置３７０、及び、矩形ブロック状物体の位置３８０）を、捕捉された画像フレーム３５０内にもたらす。
【００５１】
視野がシーン内に角度境界を有するため、物体（ピラミッド状物体２２０、ボール状物体２３０、及び矩形ブロック状物体２４０）の相対位置は視野内で全て水平方向に同一距離移動されるが、捕捉された画像における物体の位置の変化は、ビデオ画像捕捉装置２１０からの物体の距離により影響を受ける。その結果、図２Ｂを図３Ｂと比較することにより、捕捉された画像における物体の位置が画像捕捉装置の水平方向移動に関してどのように変化するかが示される。
【００５２】
物体位置の変化（視差として知られている）をより明確に視覚化するために、図５Ａは、図２Ｂに示した捕捉された画像フレーム２５０と、図３Ｂに示した捕捉された画像フレーム３５０との画像重ね合わせ５５０を示す。ピラミッド状物体２２０はビデオ画像捕捉装置２１０に最も近いため、ピラミッド状物体の視差５５５は大きい。矩形ブロック状物体２４０はビデオ画像捕捉装置２１０から最も遠いため、矩形ブロック状物体の視差５６５は小さい。ボール状物体２３０はビデオ画像捕捉装置２１０から中程度の距離にあるため、ボール状物体２３０の視差５６０は中程度の大きさである。
【００５３】
図４Ａは、ビデオ画像捕捉装置２１０の捕捉間の回転運動（ｒ）に関する視野の変化に対応している捕捉された画像フレーム４５０の図である。ビデオ画像捕捉装置２１０のこの回転運動に対して視野２１５は視野４１５に変化する。この場合、物体は全て同一角度量だけ移動し、これは、捕捉された画像フレーム内に、全ての物体の画像を横切る水平方向移動として現れる。図２Ｂを図４Ｂと比較すると、物体がピラミッド状物体の位置４６０、ボール状物体の位置４７０、及び、矩形ブロック状物体の位置４８０に移動していることが分かる。
【００５４】
物体位置の変化をより明確に視覚化するために、図５Ｂは、図２Ｂに示した捕捉された画像フレーム２５０と、図４Ｂに示した捕捉された画像フレーム４５０との画像重ね合わせ５８０を示す。この場合、ピラミッド状物体２２０はピラミッド状物体の視差５８５を有し、矩形ブロック状物体２４０は矩形ブロック状物体の視差５９５を有し、ボール状物体２３０はボール状物体の視差５９０を有し、これらの視差の大きさは全てほぼ等しい。
【００５５】
見る人の左眼と右眼とに、異なる視点を有する画像を提示することにより奥行きの知覚をつくり出すことは、当業者によく知られている。見る人にステレオペア画像を同時に又は別の方法で提示する様々な方法が利用可能であり、当分野にてよく知られており、これらは、偏光ベースのディスプレイ、レンチキュラーディスプレイ、バリアディスプレイ、シャッターガラスベースのディスプレイ、アナグリフディスプレイ、及びその他のディスプレイを含む。本発明により形成される、知覚される奥行きを有するビデオは、これらのタイプの立体ディスプレイのいずれにおいても表示することができる。幾つかの実施形態において、ビデオ画像捕捉装置は、知覚される奥行きを有するビデオをビデオ画像捕捉装置にて直接見るための手段を含むことができる。例えば、知覚される奥行きを有するビデオを直接見ることを可能にするために、レンチキュラーアレイを画像ディスプレイ４８（図１）の上に配置することができる。次いで、当分野で周知のように、ステレオ画像ペアにおける左右画像列をレンチキュラーアレイの後ろに挟んで表示することができ、これにより、左右のステレオ画像が、見る人の左眼及び右眼にそれぞれレンチキュラーアレイにより向けられ、それにより立体画像を見ることができる。別の実施形態において、ステレオ画像ペアは、画像ディスプレイ４８での直接表示のためにアナグリフ画像として符号化することができる。この場合、ユーザは、知覚される奥行きを有するビデオを、左右の眼のための補色フィルタを有するアナグリフ眼鏡を用いて直接見ることができる。
【００５６】
本発明は、ステレオペアから成る知覚される奥行きを有するビデオを、単一視覚のビデオ画像捕捉装置２１０により捕捉されたビデオシーケンスからステレオペアを選択することにより生成するための方法を提供する。この方法の特徴は、ステレオペアごとに、そのステレオペア内のビデオ画像が、捕捉されたビデオシーケンス内のいくつかのビデオ画像により互いに離隔されるように、選択され、これにより、知覚される奥行きを与えるための所望の視点差をもたらすようにしていることである。ステレオペア内のビデオ画像同士の間にあるビデオ画像の個数をフレームオフセットと称する。
【００５７】
本発明によりステレオペアのためのビデオ画像を選択する場合、画像捕捉装置の移動が考慮される。これは、所望の知覚される奥行きをステレオペアにてもたらすようなビデオ画像間の視点の変化をもたらすために適切なフレームオフセットを判定するためである。図３Ａに示されているような、ビデオ捕捉中のビデオ画像捕捉装置２１０の水平方向移動が奥行きの知覚をもたらすことになり、この奥行き知覚は、水平方向移動（ｄ）又はステレオペア内のビデオ画像同士の間のベースラインが増大される（フレームオフセットを増大することによる）ときに増大する。このシナリオにおいて、視野内の異なる物体に関する知覚される奥行きは、物体のビデオ画像捕捉装置２１０からの実際の距離に相応するであろう。なぜなら、画像捕捉装置により近い物体が、ビデオ画像捕捉装置２１０からより遠い物体よりも大きい視差を示すからである。（視差は、ステレオ不一致又はパララックスと称される場合もある。）ビデオ画像間の水平方向移動に関する距離によるこのような視差のばらつきが図５Ａに示されている。
【００５８】
これとは対照的に、図４Ａに示したように画像捕捉装置をビデオ捕捉中に回転移動させる場合、もたらされる知覚される奥行きは、画像捕捉装置からの物体の実際の距離に相応しないものとなろう。なぜなら、画像捕捉装置の純粋な回転移動は、シーン上の新しい視点をもたらさないからである。むしろ、この回転移動は、異なる視野をもたらすだけである。その結果、ビデオ画像捕捉装置２１０により近い物体が、ビデオ画像捕捉装置２１０からより遠い位置の物体と同じ視差をステレオペアにてもたらすことになる。この効果は、図２Ｂに示した捕捉された画像フレーム２５０と、図４Ｂに示した捕捉された画像フレーム４５０との画像重ね合わせ５８０を示す図５Ｂに見られる。上述のように、異なる物体の視差は、画像捕捉装置のこの回転移動に対して同一である。シーンにおける全ての物体が同一の視差を有するため、画像捕捉装置の回転移動によるフレームオフセットを有するビデオ画像から成るステレオペアは、知覚される奥行きを示さない。
【００５９】
ビデオ画像の捕捉間での画像捕捉装置の垂直方向移動は、奥行き知覚を与えるであろうステレオペアの視差を生じない。この効果は、見る人の眼が水平方向に離れているという事実による。垂直方向の視差を含むステレオ画像ペアは、見るのが快適でなく、従って、避けられるであろう。
【００６０】
幾つかの実施形態において、知覚される奥行きを有するビデオを、単一の視点を有するビデオ画像捕捉装置により捕捉されたビデオから生成する場合、シーン内の物体の局所運動も考慮される。なぜなら、ステレオペアにおける異なるビデオ画像は、異なる時点で捕捉されていたであろうからである。幾つかの場合において、局所運動は、シーン内の物体に、画像捕捉装置の移動に類似した異なる視点をもたらし、これにより、局所運動が生じているビデオ画像から成るステレオペアが、奥行きの知覚をもたらすことができる。これは、水平方向に生じる局所運動に関して特にあてはまることである。
【００６１】
本発明は、知覚される奥行きを有するビデオのためのビデオ画像のステレオペアを形成するために、捕捉された単一視点のビデオ内でビデオ画像を選択するための方法を提供する。この方法は、単一視点のビデオの捕捉中の画像捕捉装置に関する動作追跡情報を収集し、それにより、画像捕捉装置の相対位置を各ビデオ画像に関して求めること、そしてまた、捕捉後のビデオ画像の分析によりビデオ画像間の運動を識別することを含む。画像捕捉装置に関する動作追跡情報、及び、捕捉後のビデオ画像の分析を用いることにより、水平方向運動、垂直方向運動、回転運動、局所運動、及びこれらの運動の組合せを含む様々な運動タイプを識別することができる。また、運動の速度も求めることができる。本発明は、識別された運動タイプ及び運動の速度を利用し、それにより、知覚される奥行きを有するビデオを生成する、ステレオペアにおけるビデオ画像間のフレームオフセットを選択する。
【００６２】
ビデオ捕捉中のビデオ画像捕捉装置２１０の一定の水平方向移動速度の最も簡単な場合、ステレオペアのためのビデオ画像の選択において一定のフレームオフセットを用いることができる。例えば、ステレオペアのために選択されるビデオフレームの間に２０ｍｍのベースラインを設けるために、ビデオ画像捕捉装置２１０が２０ｍｍの距離移動したところのビデオフレームが識別される（ベースラインは、ステレオペアのためのカメラ位置間の水平方向のオフセットである）。１００ｍｍ／秒の水平方向速度で移動している画像捕捉装置により３０フレーム／秒で捕捉されたビデオにおいて、約２０ｍｍのベースラインを設けるためには、フレームオフセットは６フレームとなろう。ビデオ画像捕捉装置２１０の水平方向移動速度がビデオ捕捉中に変化している場合、フレームオフセットは、ステレオペアに一定のベースラインを設けるために、移動速度の変化に対応して変更される。例えば、移動速度が５０ｍｍ／秒に低減する場合、フレームオフセットは１２フレームに増やされ、反対に、移動速度が２００ｍｍ／秒に増大する場合、フレームオフセットは３フレームに減らされる。或る実施形態において、ベースラインは、自然な見え方のステレオ画像を提供するために、人間の観察者の両眼間の通常の距離に対応するように設定されることができる。その他の実施形態において、ベースライン値は、所望の程度の知覚される奥行きをもたらすようにユーザにより選択されることができる。より大きいベースラインの値は、より大きい知覚される奥行をもたらし、より小さいベースラインの値は、より小さい知覚される奥行をもたらす。
【００６３】
ビデオ画像捕捉装置２１０を純粋に垂直方向移動させる場合、ステレオペアのためのビデオ画像の選択において、一般に、小さいフレームオフセットが用いられるべきである（又はフレームオフセットは全く行われない）。なぜなら、垂直方向の視差は奥行きとして知覚されないであろうし、垂直方向の視差により生成されるステレオペアは見るのが快適でないからである。この場合、フレームオフセットは、例えば、ゼロフレーム〜２フレームである。フレームオフセットがゼロとは、ステレオペアにおけるビデオ画像の両方に同一のビデオ画像が用いられ、ステレオペアは、知覚される奥行きを見る人に全くもたらさずに、より快適に見られることを意味する。
【００６４】
ビデオ画像捕捉装置２１０を純粋に回転移動させる場合、回転方向の視差は奥行きとして知覚されないであろうから、垂直方向の移動の場合と同様の理由により、一般に、小さいフレームオフセットが用いられるべきである。この場合、フレームオフセットは、例えば、ゼロフレーム〜２フレームである。
【００６５】
局所運動が存在する場合、フレームオフセットは、画像捕捉装置の運動追跡により求められる全体運動（グローバル運動）、局所運動のみ、又は、全体運動と局所運動との組合せに基づいて選択されることができる。いずれの場合においても、局所運動の水平方向速度が増大すると、フレームオフセットは、一定の水平方向移動速度の場合に関して先に述べたように低減される。同様に、局所運動が主に垂直方向運動又は回転運動から構成される場合にも、フレームオフセットは低減される。
【００６６】
本発明は、ビデオ画像間の水平方向移動及び垂直方向移動を識別するために、ビデオ画像捕捉装置２１０の運動追跡情報を用いる。幾つかの実施形態において、運動追跡情報は、位置センサを用いてビデオと共に捕捉される。例えば、この運動追跡情報は、加速度計により収集されることができ、このデータは加速に関して提供され、時間積分により速度及び位置に変換される。別の実施形態において、運動追跡情報は、ビデオ画像捕捉装置２１０の運動を推定するために、捕捉されたビデオフレームを分析することにより求めてもよい。
【００６７】
ビデオ捕捉中の画像捕捉装置の回転移動は、ジャイロスコープを用いて収集された運動追跡情報から、或いは、ビデオ画像の分析により求めてもよい。ジャイロスコープは、画像捕捉装置の回転速度情報を角速度に関して直接提供することができる。画像捕捉装置の回転移動を求めるためにビデオ画像を分析する場合には、ビデオ画像中の物体の相対位置を求めるために連続的なビデオ画像が互いに比較される。物体位置の変化を、フレームレートから求められるビデオ画像の捕捉動作同士の間の時間により因数分解することにより、ビデオ画像中の物体の相対位置は画像移動速度（単位は画素／秒）に変換される。ビデオ画像中の異なる物体に対して画像移動速度が均一であることが、回転移動を示す証拠である。
【００６８】
連続ビデオ画像における物体位置の比較によるビデオ画像の分析を、ビデオ画像捕捉装置２１０の局所運動、水平方向移動又は垂直方向移動を求めるためにも用いることができる。これらの場合、ビデオ画像間の物体の移動は非均一である。物体の局所運動の場合、例えば、人々がシーンを通って移動すると、物体は様々な方向に移動することになり、画像移動速度は様々に異なる。ビデオ画像捕捉装置２１０の水平方向移動又は垂直方向移動の場合、物体は、同一方向に、且つ、物体がビデオ画像捕捉装置２１０からどれだけ遠いかに依る様々な画像移動速度で移動するであろう。
【００６９】
表１は、運動追跡情報とビデオ画像の分析との組合せから識別される運動タイプ、及び、その結果の、本発明の実施形態により提供されるステレオペアのためのフレームオフセットを求めるために用いられる技術の概要である。表１の情報から理解されるように、運動追跡情報とビデオ画像の分析は両方共、ビデオ捕捉中に生じ得る、又はシーン内に存在し得る様々なタイプの移動及び運動を区別することを可能にするのに有用である。
【００７０】
幾つかの実施形態において、ビデオ画像捕捉装置２１０が、位置センサ、例えば加速度計を含まない場合がある。この場合、画像分析は、フレームオフセットを選択するための有用な情報を提供することはまだ可能であるが、様々なタイプのカメラ運動を区別できない場合もある。一般に、カメラの運動のタイプが非常に曖昧である場合には、小さいフレームオフセットを用いることが、ユーザにとって快適でない見え方を回避するために好ましいであろう。
【００７１】
【表１】
2013529864.tif 000003
【００７２】
図６Ａは、知覚される奥行きを有するビデオを本発明の一実施形態に従って形成する方法のフローチャートである。ベースラインを選択するステップ６１０において、所望の程度の奥行き知覚をステレオペアにてもたらすベースライン６１５がユーザにより選択される。ベースライン６１５は、ステレオペアにおけるビデオ画像間の水平方向のオフセット距離の形態であり、又は、ステレオペアにおけるビデオ画像中の物体間の画素オフセット（ずれ）の形態である。
【００７３】
ビデオを捕捉するステップ６２０において、一連のビデオ画像６４０が単一視点のビデオ画像捕捉装置により捕捉される。好ましい実施形態において、運動追跡情報６２５も、位置センサを用いて、ビデオ画像６４０と共に同期された形態で捕捉される。
【００７４】
運動追跡情報を分析するステップ６３０において、運動追跡情報６２５は、ビデオ捕捉プロセス中のカメラ運動６３５を特徴付けるために分析される。幾つかの実施形態において、カメラ運動６３５は、ビデオ画像捕捉装置の移動のタイプ及び速度を示すものである。
【００７５】
ビデオ画像を分析するステップ６４５において、ビデオ画像６４０は、シーン中の画像運動６５０を特徴付けるために分析され、且つ互いに比較される。画像運動６５０は、画像移動のタイプ及び画像移動速度を示すものであり、画像のグローバル（全体的）運動及び画像の局所運動を含み得る。
【００７６】
ビデオ画像の比較は、ビデオ画像中の対応する物体の相対位置をピクセルバイピクセルベース（画素同士の比較）で、又はブロックバイブロックベース（ブロック同士の比較）で相関させることにより行うことができる。ピクセルバイピクセル相関は、より正確な画像移動速度を提供するが、処理が遅く、且つ高度の計算能力を要求する。ブロックバイブロック相関は、移動速度の測定の正確性がより低いが、要求される計算能力がより低く、且つ処理がより速い。
【００７７】
また、画像移動の移動タイプ及び速度を求めるためにビデオ画像を比較する非常に効率的な方法は、ＭＰＥＧビデオ符号化スキームに関する計算を利用することによっても行うことができる。ＭＰＥＧは、圧縮ビデオデータを符号化するための一般的な規格であり、Ｉフレーム、Ｐフレーム、Ｂフレームの使用に依存する。Ｉフレームは、イントラ符号化（フレーム内符号化）されており、すなわち、その他のフレームを全く参照せずに再構築されることができる。Ｐフレームは、直前のＩフレーム又はＰフレームから順方向予測され、すなわち、Ｐフレームを、別のフレーム（Ｉフレーム又はＰフレーム）のデータなしで再構築することは不可能である。Ｂフレームには、直前の／次のＩフレーム又はＰフレームから順方向予測及び逆方向予測の両方が行われ、すなわち、Ｂフレームを再構築するためにはその他の２つのフレームが必要である。Ｐフレーム及びＢフレームはインター（フレーム間）符号化フレームと称される。
【００７８】
図９は、ＭＰＥＧ符号化されたフレームシーケンスの一例を示す。Ｐフレーム及びＢフレームは、これらのフレームに関連するブロック運動ベクトルを有し、これが、ＭＰＥＧデコーダがフレームを、Ｉフレームを開始点として用いて再構築することを可能にする。ＭＰＥＧ−１及びＭＰＥＧ−２において、これらのブロック運動ベクトルは、１６×１６画素ブロック（マクロブロックと称する）ごとに算出され、水平方向及び垂直方向の運動成分として示される。マクロブロック内の運動が相反する場合には、Ｐフレーム及びＢフレームが、ブロック運動ベクトルの代わりに実際のシーン内容をイントラ符号化することもできる。ＭＰＥＧ−４において、マクロブロックは様々なサイズであってよく、１６×１６画素に限定されない。
【００７９】
好ましい実施形態において、ＭＰＥＧのＰフレーム及びＢフレームに関連するブロック運動ベクトルは、ビデオシーケンス中の画像のグローバル運動及び画像の局所運動の両方を求めるために用いられることができる。画像グローバル運動は、典型的に、ビデオ画像捕捉装置２１０の運動に関連している。ビデオ画像捕捉装置２１０に関連する画像グローバル運動（Ｐフレーム及びＢフレームのいずれかにより求められ、或いは、運動追跡情報６２５により求められる）をＭＰＥＧ運動ベクトルから減算し、それにより、画像の局所運動を概算することができる。
【００８０】
次いで、ステレオ画像ペアを、求められたカメラ運動６３５及び画像運動６５０に応答してベースライン６１４と共に形成するために、フレームオフセット決定ステップ６５５を用いてフレームオフセット６６０を求める。好ましい実施形態において、カメラ運動６３５及び画像運動６５０の運動タイプ及び運動速度が、表１と共に用いられ、これにより、捕捉されたビデオにおける各ビデオ画像のために用いられるべきフレームオフセットが求められる。例えば、位置センサから知られる運動（カメラ運動６３５）が水平方向運動に対応していると判定され、且つ、画像分析から知られる運動（画像運動６５０）が均一な水平方向運動であると判定される場合、カメラ運動タイプは水平方向であると結論付けられることができ、フレームオフセットは、位置センサにより検出された位置に基づいて求めることができる。
【００８１】
或る実施形態において、フレームオフセットΔＮfは、カメラの水平方向位置がベースライン６１５だけ移動されたところのフレームを識別することにより求められる。その他の実施形態において、水平方向速度Ｖxが、特定のフレームに関して求められ、それに従ってフレームオフセットが求められる。この場合、選択されるべきフレーム間の時間差Δｔは、ベースラインΔｘbから、以下の式、
Δｔ＝Δｘb／Ｖx    （１）
により求めることができる。そして、フレームオフセットΔＮfは、フレームレートＲfから、以下の式、
ΔＮf＝ＲfΔｔ＝ＲfΔｘb／Ｖx    （２）
を用いて求めることができることができる。
【００８２】
次いで、知覚される奥行きを有するビデオ６７０が、知覚される奥行きを有するビデオを形成するステップ６６５を用いて形成される。知覚される奥行きを有するビデオ６７０は、一連のステレオビデオフレームを含み、これらのビデオフレームの各々がステレオ画像ペアから構成されている。次いで、ｉth（ｉ番目の）ステレオビデオフレームＳ（ｉ）のためのステレオ画像ペアを形成することができ、これは、ｉthビデオフレームＦ（ｉ）を、フレームオフセットＦ（ｉ＋ΔＮf）だけ分離されたビデオフレームとペアにすることにより行われる。好ましくは、カメラが右側に移動している場合、ｉthフレームはステレオペアの左側の画像として用いられるべきであり、カメラが左側に移動している場合、ｉthフレームはステレオペアの右側の画像として用いられるべきである。次いで、知覚される奥行きを有するビデオ６７０は、ステレオデジタルビデオファイルに、当業者に公知の任意の方法で記憶することができる。そして、記憶された、知覚される奥行きを有するビデオ６７０は、ユーザにより、当分野で公知の任意のステレオ画像表示技術、例えば、先に概説したような技術（例えば、左眼及び右眼のための直交偏光フィルタを有する眼鏡と組み合わせられる偏光ベースのディスプレイ、レンチキュラーディスプレイ、バリアディスプレイ、シャッターガラスベースのディスプレイ、及び、左眼及び右眼のための補色フィルタを有するメガネと組み合わせられるアナグリフディスプレイ）を用いて見ることができる。
【００８３】
本発明の別の実施形態が、図６Ｂに示されている。この場合、フレームオフセット６６０は、図６Ａに関して記載したステップと同一のステップを用いて求められる。しかし、この実施形態においては、知覚される奥行きを有するビデオ６７０を形成及び記憶するのではなく、ステレオペアのメタデータを有するビデオを記憶するステップ６７５が用いられて、知覚される奥行きを有するビデオを後で形成するための情報を記憶する。このステップは、捕捉されたビデオ画像６４０を、どのビデオフレームがステレオペアに用いられるべきかを示すメタデータと共に記憶し、ステレオペアメタデータを有するビデオ６８０を形成する。幾つかの実施形態において、ビデオと共に記憶されるステレオペアメタデータは、単に、各ビデオフレームのための求められたフレームオフセットである。特定のビデオフレームのためのフレームオフセットは、ビデオフレームに関連するメタデータタグとして記憶されることができる。或いは、フレームオフセットメタデータは、ビデオファイルに関連する別箇のメタデータファイルに記憶されることができる。知覚される奥行きを有するビデオを表示することが要求されると、フレームオフセットメタデータが用いられて、ステレオ画像ペアを形成するために用いられるべきもう一方の(companion)ビデオフレームを識別することができる。別の実施形態において、ステレオペアメタデータは、フレームオフセットでなく、フレーム番号又はその他の適切なフレーム識別子であり得る。
【００８４】
図６Ｂに示した方法は、図６Ａの実施形態と比較して、知覚される奥行きを有する３Ｄ（３次元）ビデオを提供する性能を有しつつ、ビデオファイルのサイズを低減するという利点を有する。また、このビデオファイルを、従来の２次元ビデオディスプレイ上でも何らのフォーマット変換を行う必要もなく見ることができる。なぜなら、フレームオフセットの寸法が比較的小さく、フレームオフセットデータがメタデータと共に、捕捉されたビデオのために記憶されることができるからである。
【００８５】
典型的には、運動追跡情報６２５（図６Ａ）を提供するために位置センサ７９（図１）が用いられる。本発明の幾つかの実施形態において、位置センサ７９は、着脱可能なメモリカードにより設けられることができ、このメモリカードは、１以上の加速度計又はジャイロスコープを立体化（ステレオ）変換ソフトウェアと共に含んで、位置情報又は運動追跡情報をビデオ画像捕捉装置２１０に提供する。この方法は、位置センサをオプショナルアクセサリとして設けることを可能にし、これにより、ビデオ画像捕捉装置２１０の基本コストを可能な限り低く維持し、尚且つ、ビデオ画像捕捉装置２１０が、知覚される奥行きを有するビデオを本発明の上述の実施形態に記載したように生成することを可能にする。着脱可能なメモリカードは、図１のメモリカード７２ｃの代替として用いられることができる。幾つかの実施形態において、着脱可能なメモリカードは、位置センサとして機能するだけであり、位置データ又は他の何らかの形態の運動追跡情報をビデオ画像捕捉装置２１０内のプロセッサに提供する。その他の構成において、着脱可能なメモリカードは、また、プロセッサを、知覚される奥行きを有するビデオを形成するための適切なソフトウェアと共に含むことができる。
【００８６】
図７は、運動追跡デバイスが内蔵された着脱可能なメモリカード７１０の図である。この用途に適した運動追跡デバイスは、ＳＴマイクロエレクトロニクス社(ST Micro)から、３．０ｍｍ×５．０ｍｍ×０．９ｍｍの寸法の３軸加速度計（加速度センサ）、及び、４．４ｍｍ×７．５ｍｍ×１．１ｍｍの３軸ジャイロスコープの形態で入手可能である。図７は、着脱可能なＳＤメモリカード７１０、並びに、上記の３軸ジャイロスコープ７２０及び３軸加速度計７３０の相対寸法を示す。
【００８７】
図８は、運動追跡デバイスが内蔵された着脱可能なメモリカード７１０のブロック図であり、メモリカード７１０は、知覚される奥行きを有するビデオ画像を形成するのに必要な部品をその内部に含む。図７に関して説明したように、着脱可能なメモリカード７１０は、運動追跡情報６２５を捕捉するジャイロスコープ７２０及び加速度計７３０を含む。１以上のアナログ−デジタル（Ａ／Ｄ）変換器８５０が、ジャイロスコープ７２０及び加速度計７３０からの信号をデジタル化するために用いられる。運動追跡情報６２５は、知覚される奥行きを有するビデオ画像の形成に用いられるために、又はその他の用途のために、ビデオ画像捕捉装置２１０のプロセッサに任意に直接送信されることができる。ビデオ画像捕捉装置２１０により捕捉されたビデオ画像６４０は、運動追跡情報６２５と同期するようにメモリ８６０に記憶される。
【００８８】
捕捉されたビデオ画像６４０の、知覚される奥行きを有するビデオ６７０を形成するための変換を、図６Ａ又は図６Ｂに示したフローチャートのステップにより実行するための立体化変換ソフトウェア８３０も、メモリ８６０内に、或いは他の何らかの形態の記憶装置（例えばＡＳＩＣ）に記憶されることができる。幾つかの実施形態において、メモリ８６０の一部は、着脱可能なメモリカード７１０とビデオ画像捕捉装置上のその他のメモリとの間で共有されることができる。幾つかの実施形態において、立体化変換ソフトウェア８３０は、知覚される奥行きを有するビデオを生成するための、及び、様々なオプション（例えばベースライン６１５）を特定するための様々なモード間での選択を行うためにユーザ入力８７０を受け入れる。一般に、ユーザ入力８７０は、図１に示したようなビデオ画像捕捉装置１０のためのユーザ入力コントロール９３を通して供給されることができる。立体化変換ソフトウェア８３０はプロセッサ８４０を用いて、記憶されたビデオ画像６４０及び運動追跡情報６２５を、知覚される奥行きを有するビデオ６７０を生成するために処理する。プロセッサ８４０は、着脱可能なメモリカード７１０の内部にあっても、或いは、ビデオ画像捕捉装置内にあるプロセッサであってもよい。知覚される奥行きを有するビデオ６７０はメモリ８６０に記憶されることができ、或いは、ビデオ画像捕捉装置又はホストコンピュータの他の何らかのメモリに記憶されることができる。
【００８９】
幾つかの実施形態において、位置センサ７９は、有線又は無線接続を用いてビデオ画像捕捉装置２１０と通信する外付けの位置検出アクセサリとして設けてもよい。例えば、この外付けの位置検出アクセサリは、ＵＳＢ又はブルートゥース接続を用いてビデオ画像捕捉装置２１０に接続されることができるＧＰＳレシーバを含むドングルであり得る。外付けの位置検出アクセサリは、受信された信号を処理し、且つ、ビデオ画像捕捉装置２１０と通信するためのソフトウェアを含むことができる。また、この外付けの位置検出アクセサリは、立体化変換ソフトウェア８３０（捕捉されたビデオ画像６４０の、知覚される奥行きを有するビデオ６７０を形成するための変換を、図６Ａ又は図６Ｂのフローチャートのステップにより実行する）も含むことができる。
【００９０】
幾つかの実施形態において、視聴経験の改良をもたらすために、知覚される奥行きを有するビデオを形成するステップ６６５において、ステレオ画像ペアのビデオフレームの一方又は両方を調整するための画像処理を用いることができる。例えば、２つのビデオフレームが捕捉される間の時間にビデオ画像捕捉装置２１０が垂直方向に移動され又は傾けられたことが検出された場合、ビデオフレームの一方又は両方が垂直方向に移動され又は回転され、それにより、ビデオフレームがより良好に位置合わせされることができる。運動追跡情報６２５は、移動又は回転の適切な量を求めるために用いられることができる。移動及び回転がビデオフレーム加えられる場合、一般に、移動／回転された画像がフレームを満たすようにビデオフレームをトリミングすることが望ましいであろう。
【符号の説明】
【００９１】
１０  ビデオ画像捕捉装置、１４  電子画像捕捉ユニット、１６  レンズ、１８  イメージセンサ、２０  光路、２２  シャッタ、２４  タイミング発生器、２６  フィルタアセンブリ、２８  アパーチャ、４４  光学システム、４８  画像ディスプレイ、５０  ズームコントロール、５２  マクロコントロール、５４  フォーカスコントロール、５６  レンジファインダ、５８  輝度センサ、６０  フラッシュシステム、６１  フラッシュ、６２  フラッシュセンサ、６３  フラッシュコントロール、６４  ディスプレイコントローラ、６５  コントロールユニット、６６  システムコントローラ、６８  アナログ信号プロセッサ、７０  デジタル信号プロセッサ、７２ａ  デジタル信号プロセッサ（ＤＳＰ）メモリ、７２ｂ  システムメモリ、７２ｃ  メモリカード、７２ｄ  プログラムメモリ、７４  ステータスディスプレイ、７６  ビューファインダディスプレイ、７８  方位センサ、７９  位置センサ、８０  アナログ−デジタル（Ａ／Ｄ）変換器、８１  データバス、８２  ソケット、８３  メモリカードインタフェース、８４  ホストインタフェース、８６  ビデオエンコーダ、９３  ユーザ入力コントロール、２１０  ビデオ画像捕捉装置、２１５  視野、２２０  ピラミッド状物体、２３０  ボール状物体、２４０  矩形ブロック状物体、２５０  捕捉された画像フレーム、２６０  ピラミッド状物体の位置、２７０  ボール状物体の位置、２８０  矩形ブロック状物体の位置、３１５  視野、３５０  捕捉された画像フレーム、３６０  ピラミッド状物体の位置、３７０  ボール状物体の位置、３８０  矩形ブロック状物体の位置、４１５  視野、４５０  捕捉された画像フレーム、４６０  ピラミッド状物体の位置、４７０  ボール状物体の位置、４８０  矩形ブロック状物体の位置、５５０  画像重ね合わせ、５５５  ピラミッド状物体の視差、５６０  ボール状物体の視差、５６５  矩形ブロック状物体の視差、５８０  画像重ね合わせ、５８５  ピラミッド状物体の視差、５９０  ボール状物体の視差、５９５  矩形ブロック状物体の視差、６１０  ベースラインを選択するステップ、６１５  ベースライン、  ６２０  ビデオ捕捉ステップ、６２５  運動追跡情報、６３０  運動追跡情報を分析するステップ、６３５  カメラ運動ステップ、６４０  ビデオ画像、６４５  ビデオ画像を分析するステップ、６５０  画像運動、６５５  フレームオフセットを求めるステップ、６６０  フレームオフセット、６６５  知覚される奥行きを有するビデオを形成、６７０  知覚される奥行きを有するビデオ、６７５  ステレオペアメタデータを有するビデオを記憶するステップ、６８０  ステレオペアメタデータを有するビデオ、７１０  着脱可能なメモリカード、７２０  ジャイロスコープ、７３０  加速度計、８３０  立体変換ソフトウェア、８４０  プロセッサ、８５０  アナログ−デジタル（Ａ／Ｄ）変換器、８６０  メモリ、８７０  ユーザ入力。
【図１】
2013529864.tif 000004
【図２Ａ】
2013529864.tif 000005
【図２Ｂ】
2013529864.tif 000006
【図３Ａ】
2013529864.tif 000007
【図３Ｂ】
2013529864.tif 000008
【図４Ａ】
2013529864.tif 000009
【図４Ｂ】
2013529864.tif 000010
【図５Ａ】
2013529864.tif 000011
【図５Ｂ】
2013529864.tif 000012
【図６Ａ】
2013529864.tif 000013
【図６Ｂ】
2013529864.tif 000014
【図７】
2013529864.tif 000015
【図８】
2013529864.tif 000016
【図９】
2013529864.tif 000017
【国際調査報告】
2013529864.tif 000018
2013529864.tif 000019
2013529864.tif 000020
2013529864.tif 000021
2013529864.tif 000022