(57)【特許請求の範囲】
【請求項１】
像面と、
光軸を有するレンズであって、前記像面上に三次元物体の像の焦点を合わせる前記レンズと、
レンズ・アパーチャを規定する光学要素であって、前記レンズ・アパーチャを通過した光から前記物体の像を作成する前記レンズに隣接して位置する前記光学要素と、
前記光学要素と結合して動かすアクチュエータであって、前記レンズの前記光軸に対して前記レンズ・アパーチャのパララックス走査動作を実行し、前記像面上の前記物体の像の連続記録を記録し、前記像の記録は、３Ｈｚから６Ｈｚの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成するためのアクチュエータと
を備え、
前記アパーチャの前記走査動作は、前記レンズの前記光軸を横切るＸおよびＹ軸の動き、および前記光軸に平行なＺ成分の動きを含んでいることを特徴とする自己立体視映像化装置。
【請求項２】
前記光学要素は、前記レンズと前記像面との間に置かれている請求項１記載の自己立体視映像化装置。
【請求項３】
前記光学要素は、前記物体と前記レンズとの間に置かれている請求項１記載の自己立体視映像化装置。
【請求項４】
前記光学要素は、前記レンズのアイリスの位置に置かれている請求項１記載の自己立体視映像化装置。
【請求項５】
前記アパーチャの前記走査動作は、前記レンズの前記光軸を横切る平面内である請求項１記載の自己立体視映像化装置。
【請求項６】
前記光学要素は不透明のシートであり、前記アパーチャはスルーホールである請求項５記載の自己立体視映像化装置。
【請求項７】
前記ホールは、ハードなエッジを有する請求項６記載の自己立体視映像化装置。
【請求項８】
前記ホールは、ソフトなエッジを有する請求項６記載の自己立体視映像化装置。
【請求項９】
前記ホールは円形、楕円形、多角形および不規則な形の構成の一つを有する請求項６記載の自己立体視映像化装置。
【請求項１０】
前記アパーチャの前記走査動作は、前記レンズの前記光軸に関して対称である請求項５記載の自己立体視映像化装置。
【請求項１１】
前記アパーチャの前記走査動作は、円形、楕円形、８の字形状、および多角形の走査パターンの一つをトレースする請求項５記載の自己立体視映像化装置。
【請求項１２】
前記アパーチャの前記走査動作は、リサージュの走査パターンをトレースする請求項５記載の自己立体視映像化装置。
【請求項１３】
さらに、前記アパーチャの開口サイズを調整する手段を含む請求項１記載の自己立体視映像化装置。
【請求項１４】
さらに、前記アパーチャの前記走査動作によりトレースされるパターンを変える手段を含む請求項１記載の自己立体視映像化装置。
【請求項１５】
前記光学要素は、第１のアパーチャを構成する第１の光学要素であり、前記アクチュエータは第１のアクチュエータであり、前記第１の光学要素は前記レンズの後に置かれており、
第２のアパーチャを構成する第２の光学要素であって、前記レンズの前でかつ隣りに置かれている第２の光学要素と、
前記第２の光学要素を動かすように結合されている第２のアクチュエータであって、前記レンズの前記光軸に関して前記第２のアパーチャの走査動作を作成する第２のアクチュエータと
を含む請求項１記載の自己立体視映像化装置。
【請求項１６】
前記光学要素は、
第１の方向に伸びた第１のスルースリットを有する第１の不透明のシートと、
概略的に前記第１の方向に直角である第２の方向に伸びた第２のスルースリットを有する第２の不透明のシートと
を含み、前記第１のシートおよび前記第２のシートは、平行に並列の関係で配置されて、前記第１と第２のスリットの交点が前記光学要素の前記アパーチャを規定しており、前記アクチュエータは、
前記第１のシートを前記第２の方向に往復運動をさせるように結合している第１のアクチュエータと、
前記第２のシートを前記第１の方向に往復運動をさせるように結合している第２のアクチュエータと
を含み、これにより前記アパーチャの走査動作を実行する請求項１記載の自己立体視映像化装置。
【請求項１７】
前記第１と第２のアクチュエータを制御して、前記第１と第２のシートの相対的な位相、周波数および往復運動のストロークの少なくても１つを調整するコントローラを含み、これにより、アパーチャのパララックス走査運動によりトレースされるパターンを変化させる請求項１６記載の自己立体視映像化装置。
【請求項１８】
像面と、
光軸を有するレンズであって、前記像面上に三次元物体の像の焦点を合わせる前記レンズと、
前記レンズに隣接する光学要素と、
焦点の合った物体の像の記録が取られている間、前記レンズの前記光軸からのオフセットで少なくても２つのディスパリティ位置に置かれているレンズ・アパーチャを構成するように、前記光学要素と結合して動かすアクチュエータと、
前記レンズ・アパーチャの開口サイズを調整する手段と
を備え、これにより、物体の異なるパララックス視野を有する前記像面上の像の記録を提供し、前記像の記録は、３Ｈｚから６Ｈｚの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成する自己立体視映像化装置。
【請求項１９】
前記アクチュエータは、前記光学要素を活性化して、前記レンズ・アパーチャを、ディスパリティ位置を通るパララックス走査動作で動かす請求項１８記載の自己立体視映像化装置。
【請求項２０】
さらに、前記レンズ・アパーチャの前記走査動作によりトレースされるパターンを変化させる手段を含む請求項１８記載の自己立体視映像化装置。
【請求項２１】
前記アクチュエータは、複数のレンズ・アパーチャを同時に構成するように条件付けされている請求項１８記載の自己立体視映像化装置。
【請求項２２】
前記光学要素はセルの平面状配列で構成され、電気的に前記光学要素を活性化して、前記セルを透明と不透明との状態の間に選択的にスイッチし、前記透明な状態にある前記セルは、前記レンズ・アパーチャを構成する請求項１８記載の自己立体視映像化装置。
【請求項２３】
さらに、前記アクチュエータを制御して、多数の前記セルを透明な状態に活性化して、前記レンズ・アパーチャの開口サイズを変化させる手段を含む請求項２２記載の自己立体視映像化装置。
【請求項２４】
さらに、前記アクチュエータを制御して、前記セルを透明な状態と不透明な状態との間に連続的に活性化して、前記レンズ・アパーチャのディスパリティ位置を通るパララックス走査動作を実行する手段を含む請求項２２記載の自己立体視映像化装置。
【請求項２５】
映像化されるシーンに向けられた光軸を有する映像化レンズを提供するステップと、
レンズ・アパーチャを規定するステップと、
前記レンズの前記光軸からのオフセットの様々なディスパリティ位置を通るパララックス走査動作で、レンズと相対的にレンズ・アパーチャを動かすステップと、
複数の前記ディスパリティ位置から前記レンズ・アパーチャを介して見たシーンの時間空間上の像の連続を生成するステップと、
時間空間上の像を記録し、前記像は、３Ｈｚから６Ｈｚの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成するステップと、
前記アパーチャの開口サイズを調整するステップと
を含む自己立体視映像化方法。
【請求項２６】
前記動かすステップは、前記レンズ・アパーチャの調整可能なパララックス走査動作を実行する請求項２５記載の自己立体視映像化方法。
【請求項２７】
さらに、前記レンズ手段および前記アパーチャを具備するカメラを備えるステップと、
前記カメラと目的物体との間の既知の距離に位置する参照物体を含むシーンに前記カメラを向けるステップと、
前記レンズ手段を前記参照物体に焦点を合わせるステップと、
記録された参照物体の像に対する前記記録された目的物体の像の動きを定量化し、前記参照物体と目的物体の間の距離を定めるステップと
を含む請求項２５記載の自己立体視映像化方法。
【請求項２８】
さらに、前記カメラをロボット装置の一部の上に乗せるステップと
ロボット装置の一部の動きを制御して、前記参照物体と前記目的物体の間の予め定めた距離を基にした前記目的物体に対する操作位置にするステップ
を含む請求項２７記載の自己立体視映像化方法。
【請求項２９】
さらに、前記レンズ手段およびアパーチャを具備するカメラを備えるステップと、
複数の物体を含むシーンにカメラを向けるステップと、
記録した時間空間上のシーンの像から、前記物体の像の相対的動きを検出するステップと、
前記検出した目的物体の相対的動きに従って、レンズ・アパーチャが通って動くディスパリティ位置の光軸オフセットを調整して、前記動かすステップを制御するステップと
を含む請求項２５記載の自己立体視映像化方法。
【請求項３０】
像面を備えるステップと、
光軸を有するレンズを備えるステップと、
前記光軸を物体に向けるステップと、
前記光軸からのオフセットのディスパリティ位置の連続にレンズ・アパーチャを作成するステップと、
前記像面上に現れる前記物体の像を観察するステップと、
前記像面上に現れる前記物体の像の動きを消去するように焦点設定を調整するステップと
を備える自己立体視映像化方法。
【請求項３１】
さらに、前記焦点設定から物体の距離を定めるステップを含む請求項３０記載の自己立体視映像化方法。
【請求項３２】
像面と、
前記像面上に三次元物体の像の焦点を合わせるレンズであって、光軸を有する前記レンズと、
アパーチャを規定する光学要素であって、前記アパーチャを通過した光から像面上に記録されるシーンの像を作成する前記レンズに隣接して位置する前記光学要素と、
前記光学要素と結合したアクチュエータであって、前記光軸を横断する方向に前記アパーチャのパララックス走査動作を作成し、前記像面上に記録された前記像は、３Ｈｚから６Ｈｚの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成するためのアクチュエータと、
前記アパーチャに制御された動作を実行するために、前記アクチュエータを選択的に活性化するように結合した手段と、
前記結合した手段は、前記アクチュエータを選択的に活性化して、前記アパーチャのパララックス走査動作を実行し、
前記結合した手段は、カメラにマウントされている動きセンサであって、該動きセンサは、前記アクチュエータを活性化して正しくないカメラの動きの方向と逆の方向にアパーチャの動きを実行して、これにより、前記像面上に現れる前記シーンの像を安定化する
ことを特徴とするシーンのビデオ像を記録するカメラ。
【請求項３３】
コンピュータ・シミュレーションを使用する自己立体視映像化方法において、
映像化する物体を規定するステップと、
前記物体を含むシーンを規定するステップと、
像面、レンズおよびレンズ・アパーチャのパラメータを定義してカメラをシミュレートするステップと、
レイ・トレーシング・アルゴリズムを使用して、前記レンズ・アパーチャの所望のパララックス走査パターン動作をシミュレトすることにより前記物体の像を描画するステップで、前記像は、３Ｈｚから６Ｈｚの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成し、
前記描画した像を格納するステップと
を備える自己立体視映像化方法。
【発明の詳細な説明】
技術分野
本発明は、三次元のイルージョン（illusion：錯覚）として表示することができる映像を生成するための立体映像装置および方法に関し、特に、特別な見るための補助器具を用いることなく、三次元として知覚できる映像をディスプレイ上に生成する自己立体視映像化（autostereoscopic imaging）装置および方法に関する。
背景技術
三次元としてのイルージョン（錯覚）を生じるように表示できる二次元映像の生成は、視覚技術においては、以前から存在している課題である。そのような三次元のイルージョンを生じる方法や装置は、ある程度まで、人間の奥行き（depth）の認識の心理学へのより一層の理解と並行する必要がある。
双眼（binocular）（立体：stereo）視は、オーバーラップする視野でシーン（scene：場面）を見る２つの目が必要である。おのおのの目は、シーンを少し異なっているパララックス（parallax：視差）角度から見て、網膜上にシーンの焦点を合せる。二次元の網膜上の像は、視神経により脳の視覚皮質に送られ、合成されて、ステレオプシス（stereopsis：双眼視による奥行きの認識）として知られる処理で、シーンの三次元モデルを形成する。
三次元空間の奥行きの知覚は、見られているシーンの様々な種類の情報（キュー：cue）による。これには、例えば、相対的サイズ、線形遠近法（linear perspective）、重なり（interposition）、光と影、グラーディエント（階調度：gradient）（単眼（monocular）のキュー）、そして、網膜上の像のサイズ、網膜上のディスパリティ（disparity；不一致）、目の調節（accomodation）、収束（convergence）（双眼のキュー）、および、見られているシーンの主体との親密度（学習のキュー）がある。
網膜上のディスパリティは、これは人間の目の間の間隔（separation）であるが、パララックスの情報を提供している。現在よく知られているが、奥行きの認識は、左目と右目とが、交互に脳に対して奥行きの情報を提供する場合に、時間間隔が１００ｍｓを越えないかぎり獲得できる。目に対して交互に覆いをし、覆いをはずしても、脳はパララックス情報を三次元シーンから周期１００ｍｓづつまで抽出していることが実証されている。脳は、適切に順序つけられている場合には、両方の目に呈示されているパララックス情報を受領し、処理することができる。理想的な視覚順序周期率（view cycle sequencing rate）は、３〜６Ｈｚの間と特定されている。
本当の三次元映像表示は２つの主要なカテゴリに分割できる。実体視（stereoscopic）又は立体視（binocular）と、自己立体視（autostereoscopic）とである。立体視技術（立体鏡（stereoscope）、偏光、アナグリフ（anagliphic）、プルフリッヒ（Pulfrich）、およびシャッタの技術を含む）は、見る人に対して、見るための器具、例えば偏光眼鏡が必要である。自己立体視技術、例えばホログラフィ（holography）、レンチキュラー・スクリーン（lenticular screen）、パララックス・バリア（parallax barrier）、オルターネイティング・ペア（alternating-pair）、およびパララックス走査（parallax scan）は、本当の三次元イルージョンとして、特別な見るための眼鏡の使用せずに映像を生成する。
従来の自己立体視テレビジョンおよび映画のシステムは、異なる視点から２台のカメラで記録したシーンの映像を、交互に表示するアプローチを利用している。Imsandへの米国特許第４，００６，２９１号、McElveenへの米国特許第４，３０３，３１６号、Jones他への米国特許第４，４２９，３２８号、MayhewおよびPrichardへの米国特許第４，９９６，４３６号は、すべて、水平に、垂直に、または水平および垂直の組み合わせで、異なる位置から見たシーンを２台のカメラで記録することを利用している。この自己立体視のアプローチは、表示されたとき三次元のイルージョンを生じる映像を生成するが、一方、２台の正確なマッチングが要求される。カメラの不適切な配置、焦点距離および／または焦点のミスマッチ、クロミナンス（chrominance）と照度（illuninance）のミスマッチ、および誤った位置の収束点が全て、映像の不安定に寄与している。また、映像の記録のディスパリティ（disparity）、収束（convergennce）および時間移動率（time-displacement rate）を、調和したやりかたで、安定した映像に保つように連続的に調整するために、相当な操作者の熟練が要求される。
映像の安定性は、マスキング技術を使用することにより、より識別されにくくすることができる。カメラの動きは、映像の前後の動き（rocking motion）を隠すのに大変効果的である。明らかに、これは、脳が、カメラの動きによりも、前後の動きに重要性を置いていないからである。これは、歩いているまたは走っている間に明確に見ることができるようにしている、ある種の自然な安定化現象または脳のメカニズムの結果である。そうでなければ、映像はバウンドして見えるはずである。
２台のカメラの自己立体視システムに関連する欠点を避けるため、単一カメラ／単一レンズを使用する自己立体視方法および装置が開発された。Mayhew他の米国特許第５，０１４，１２６号および第５，１５７，４８４号は、表示されたとき、見る人に三次元として知覚される映像を記録することのできる、単一カメラの自己立体視システムを開示している。本願と共通に譲渡され、出願中である米国出願０８／１１５，１０１号（１９９３年９月２日  Fernekes他により出願）は、振動のパララックス走査の動きを受けて１台のカメラで映像を記録する方法および装置を開示している。
上記の引用した従来の開示された単一カメラの自己立体視映像化システムは、助けなしの目でみたとき、三次元として知覚できる高品質で安定した映像を作成するのに効果的であるが、あいにくと、装置は、ややかさばり、重く、相対的に構成は複雑であり、そして、動作中に相当の量の電力を消費する。
発明の開示
本発明の主要な目的は、表示されるときに三次元として助けなしの目で知覚することができる、二次元の映像を作成する改良した方法および装置を提供する。本発明の方法および装置は、三次元の映像への自己立体視のアプローチを利用して、立体視のアプローチに内在している欠点を避けている。本発明の自己立体視の方法および装置は、映画やビデオのカメラのような、単一の映像化装置を利用して、２台のカメラの自己立体視のアプローチの短所を避けている。その上、本発明の装置は、大きさがコンパクトで、重さが軽く、組み立てと操作が効率的で、従来の映画やビデオのカメラに実装するのに便利である。
これらの目的や利点を達成するために、本発明の改良された１台カメラの自己立体視映像化方法は、シーンに向けた光軸を有する映像レンズを提供するステップと、レンズの光軸から離れた様々なディスパリティ点（diverse disparity points）を通るパララックス走査パターン中でレンズに対してアパーチャ（開口部：aperture）を動かすステップと、複数のディスパリティ点からアパーチャを介して見たシーンの時間空間（time-spaced）上の映像の連続を発生するステップと、映像を記録するステップとを備える。この方法は、映画カメラまたはビデオ・カメラのような映像装置、または、レンズ、アパーチャおよびレンズ・アパーチャの動きをシミュレートするように適切にプログラムされたコンピュータを使用して、実施することができる。
本発明の装置は、その一番の基本的な形態において、像面（imaging plane）と、視野中の物体（object）の映像を像面に焦点を合わせるためのレンズと、レンズに隣接して配置されアパーチャを提供する光学要素（optical element：オプティカル・エレメント）と、および、レンズの光軸（optical axis）に対してアパーチャのパララックス走査の動きを作り出すような光学要素を振動するアクチュエータとを含む。時間空間上の記録の連続は、レンズの光軸からオフセット（offset）のディスパリティ点または複数の異なるパララックスの視野から見たとして、像面上に焦点を結んでいる物体の像から作成する。
本発明の方法および装置により、対応する時間空間（time-spaced）上の連続として記録されている二次元の映像の記録の表示を、三次元のイルージョンとして知覚できる。
本発明の単一カメラの自己立体視映像化方法および装置は、多数の変更が容易に可能である。アパーチャはレンズの前または後に、あるいは複数のレンズのセットの間に配置することができる。アパーチャは様々な大きさと形をとることができ、大きさは調節することができ、および／または、異なるエッジの特性を有することができる。その上、２つ以上のアパーチャも利用できる。アパーチャのパララックス走査の動きのパターンは、円形から複雑なリサージュ構成の長方形までの範囲の様々な構成とすることができる。光学要素は、レンズ・アパーチャを形成している１つ以上のスルーホール（貫通孔）またはスリットを有する１個以上の不透明のカードの形態をとることができる。また、光学要素は、不透明と透明との間で選択的にスイッチすることができるセルのマトリクス配列を提供する液晶パネルまたは強誘電体（ferro-electric）パネル（空間光変調器）として実装することができる。
その上、パララックス走査の動作中にレンズ・アパーチャから見た物体の映像から得られる奥行きの情報は、距離測定のアプリケーション中で利用することができる。さらに、制御されたレンズ・アパーチャの動きは、正しくない（spurious）カメラの動きを補償でき、それにより映像の記録を安定化することができる。
前述の概略的な記述および後述の詳細な説明の双方は、例示であり、請求された本発明にさらなる説明を提供する意図であることを理解すべきである。
添付された図面は、さらに本発明の理解を提供するために含まれており、この明細書に含まれ、明細書の一部を構成し、本発明の実施形態を例示し、記述とともに本発明の原理を説明するのに役立っている。
【図面の簡単な説明】
図１は、本発明の実施形態の概略を示している斜視図である。
図２は、本発明の他の実施形態の概略を示している斜視図である。
図３は、本発明の図１および図２の実施形態で用いることができる他の光学要素の概略を示している斜視図である。
図４は、本発明の別の実施形態の概略を示している側面図である。
図５（ａ）〜図５（ｄ）は、図１および図２の実施形態で利用できる様々なアパーチャ構成を示している。
図６（ａ）〜図６（ｆ）は、図１〜図４の光学要素により実行される他のパララックス操作パターンを示している。
図７は、本発明を実施する図１および図２の自己立体視映像化の実施形態に適用される典型的な様々なコントロールを示すブロック図である。
図８は、図１、図２および図４の実施形態に使用できる他の光学要素の正面図である。
図９は、コンピュータ生成映像へ本発明を適応することを示しているフローチャートである。
図１０（ａ）〜図１０（ｃ）は、本発明の自己立体視映像化装置の動作を示す概略図である。
図１１は、本発明を距離測定に適用していることを示す概略図である。
図１２は、カメラ映像の安定に本発明を適用することを示す概略図である。
図１３は、本発明の自己立体視映像化装置にディスパリティの自動制御を適用することを示す概略図である。
詳細な説明
図１〜図８に示されている本発明の自己立体視映像化装置（autostereoscopic imaging apparatus）は、立体視映像化装置のアプリケーションに関し、シーンの時間空間の（time-spaced）連続する映像は、連続映像の表示で三次元として知覚されるように、単一の映像化装置により記録される。このように、図１に示されるように、自己立体視映像化装置は、概略的に２０として示されているが、フィルム・カメラまたはビデオ・カメラのような適切な映像化装置の像面（imaging plane）２２を含んでいる。参照２４は、カメラ・レンズを示しており、実際には、通常、複数のレンズの組またはシステムで構成されている。レンズ２４は、映像化されるシーン中の離れた物体（object）２６を向いている光軸（optical axis）２５を有している。従来の様に、レンズ２４の位置は、矢印２７に示されるように、光軸に沿って前後に調節され、物体２６の像２６ａを像面２２上に焦点を合わせる。像面２２は、フィルム・カメラのフィルム面またはビデオ・カメラのＣＣＤアレイを示している。
本発明のこの実施形態の特徴によれば、光学要素２８は、スルーホールまたはアパーチャ３０を形成している不透明のカード２９で構成され、物体２６と像面２２との間に位置している。図１は、光学要素の位置をレンズ２４の直後に、すなわち、レンズと像面２２の間に示されているが、一方、図２は、光学要素２８は、レンズ２４の直前に示されている。好ましくは、光学要素は、カメラで通常使用されている複数のレンズの組のレンズの間に置くことのできるレンズ・アイリス（lens iris）（図示せず）に、できるだけ近づけて配置する。理想的には、光学要素２８は、レンズ・アイリスの位置を占め、置き換えるのがよい。
光学要素は、概略的に３２として示されているように、レンズ光軸２５に関してパララックス走査動作で、アパーチャ３０を動かす操作をするアクチュエータまたはモータ３４に機械的に結合している。アパーチャ３０に対する円状のパララックス走査パターンは、図１の矢印３６で示されている。一方、矩形状の走査パターンは図２の矢印３８で示されている。他のパララックス走査パターンは、図６（ａ）〜図６（ｆ）に示されている。通常、アパーチャ走査パターンは、レンズの光軸２５を中心にしている。しかしながら、ある条件下では、所望の視覚的効果を、走査パターンがこの光軸に関して中心から外れるときに得ることができる。走査パターンは通常、光学要素２８の平面内で光軸２５を横切っている水平（Ｘ）および垂直（Ｙ）の動きに制限されている。図１の矢印３５で示されている光軸に平行するＺ軸の動きは、Ｘ軸およびＹ軸の動きに関連して特別の効果を導入し、動きアーティファクト（motion artifact）をマスクすることができることを理解すべきである。
図２を参照すると、物体２６の頭部（top）からの光線４０は、アパーチャ３０を通って通過し、レンズ２４で像面２２上の下方の位置に再び向けられ、ここで物体の頭部の焦点が合った像が形成される。同時に、物体２６の底部（bottom）からの光線４１が、アパーチャ３０を通して通過し、レンズ２４で像面２２上の上の方の位置に再び向けられ、ここで物体の底部の焦点が合った像が形成される。物体の頭部と底部との間の部分からの光線は、同様に、アパーチャ３０とレンズ２４を通過し、焦点の合った像２６ａの形成を完成させる。アパーチャ３０が図２に示される位置にあるときに、像２６ａが記録される場合、この像の視点（point of view）は、矢印４２で示される垂直のディスパリティ（vertical disparity）を有する。この矢印４２は、光軸２５の下の距離に等しい。アパーチャが図２に示されている点線の位置３０ａにあるときに、物体の像が記録される場合、矢印４２ａで示されるように、視点は光軸の上の垂直のオフセットと等しいディスパリティを有する。同様に、像の記録は、アパーチャ３０が点線の位置３０（ｂ）および３０（ｃ）にあるときにとられた場合、光軸２５からのアパーチャの水平オフセットと等しい、水平のディスパリティを有する。
水平または垂直または双方の複合のディスパリティであっても、視覚される像へ追加するパララックスに対して大部分の責任がある。本質的に平坦な表面を有する物体のボリューム部分は、平坦で二次元と見られる像を形成する。見方（viewing perspective）が変化しても、これらの部分の見掛けは変化しない。しかし、物体のボリュームの自然では奥行き（depth）を有している部分は、直接に見たとき、見方が変わるとともに、見掛けを変える。即ち、もっと明確にいえば、それらの位置と外観とを変える。見方の変化は、像が重ねられたとき、完全には一致しない対応するエッジを像の上に作成する。あるいはまた、これらの像はこれらのエッジに、脳に対して奥行きと知覚されるコントラストを作成する。
図３は、図１および図２で使用される、概略５０として示されている光学要素の別の実施形態を示している。この光学要素は、並列で平行の関係で配置されている一対の不透明のカード５２と５４とを含んでいる。カード５２は、垂直に細長い長方形のスリット５３を備え、一方、カード５４は、水平に細長い長方形のスリット５５を備えている。スリット５３および５５の交点において、矩形のレンズ・アパーチャ５６が形成される。アクチュエータ５８は、矢印５８ａで示すように、カード５２を水平方向に往復運動させ、アクチュエータ６０は、矢印６０ａで示すように、カード５４を垂直方向に往復運動させる。これで示されるように、カードの相対運動により、アパーチャ５６の走査運動が作成される。カードの往復運動の振幅、周波数および位相を調節することにより、図１と図２および図６（ａ）〜図６（ｆ）に示す、および他の多数のリサージュのパララックス走査パターンが簡単に実現できる。レンズ・アパーチャ構成は、図１および図２では円形、図３では矩形であるが、他の形状、例えば、図５（ａ）に示すように楕円形、図５（ｂ）に示すように８角形、図５（ｃ）に示すように十字形等がある。図５は、レンズ・アパーチャが、ハード（固い）でシャープなエッジよりは、ソフトでほつれたエッジ（frayed edge）を有していることを示している。
レンズ・アパーチャ構成に関らず、光学要素２８の不透明な材料に貫通して縁取りされていることが重要である。また、レンズ・アパーチャのパララックス走査パターンは、レンズ２４の有効口径（effective aperture）の範囲内に留まっているべきである。これは、通常、レンズの直径の８０％に対応している。このように、レンズ・アパーチャの大きさは、レンズのこの有効口径の大きさより相当小さくするべきである。そして、レンズ・アパーチャは、奥行きの知覚が得られるのに必要な十分に異なる見方（reviewing perspective）（ディスパリティ）のディスパリティの位置をとることができるようにする。このように、レンズ・アパーチャの大きさが増加すると、視野（field）の奥行き、ディスパリティおよび露光時間はすべて減少することが理解できる。反対に、レンズ・アパーチャを小さくすると、より大きい視野の奥行きが得られ、より大きいディスパリティが用意でき、より長い露光時間が必要である。
図１〜図３の実施形態は単一のパララックス走査アパーチャを利用しているが、複数のアパーチャを利用してもよい。図４に示すように、１対の光学要素７０および７２は、それぞれレンズ・アパーチャ７１および７３を形成している。光学要素７０は、レンズ２４の後に位置しており、そして、光学要素７２は、レンズの前に位置している。光学要素７０はアクチュエータ７４により振動し、一方、光学要素７２はアクチュエータ７６により振動している。これらのアクチュエータはコントローラ７８により制御され、アパーチャ７１および７３のパララックス走査動作を生じる。２つのレンズ・アパーチャの走査パターンは、同じまたは異なった構成でもよく、そして、同期していても、または、互いに独立でもよい。２つのパララックス走査アパーチャの使用は、物体２６が像面２４上に像を形成する際に、特別な効果および／または動きのアーティファクトのマスクのために使用することができる。
図７は、点線により示されているレンズ・マウント８０により支持されているレンズ２４、光学要素２８およびアクチュエータ３４を示している。レンズ・マウントに含まれているものとして、Ｆストップ調整器８４があり、レンズ・アパーチャ３０の大きさを、得られる光と所望の視野の奥行きにしたがって調節する。レンズ・マウントは、焦点調節器８６により前後に（矢印８５）動く。コントローラ８８は、アクチュエータ３４を制御してレンズ・アパーチャ３０に対して所望のパララックス走査運動を供給し、Ｆストップ調整器８４を制御して所望のレンズ・アパーチャを得、焦点調節器８６を制御して視野中の所望の主題に焦点を合わせることができる。
図８に示されているように、光学要素は、概略９０として示される液晶または強誘電体のパネル（空間光変調器）として実装することもできる。これらのパネルは、セル９２のマトリクス配列を含み、セル９２は、ドライバ９０により個々にアドレスされて駆動され、１つ以上の透明のセル９２ａを、残りの不透明のセル９２ｂ中に作成することができる。透明のセル（単数または複数）９２ａは、このように、レンズ・アパーチャ９６を構成し、図６（ａ）〜図６（ｆ）に示されるものを含む様々なパララックス走査パターンにしたがって、ドライバ９４により移動する。
ドライバ９４は、９８で示されているように、外部から手動または自動的に制御され、アパーチャのパララックス走査パターンの構成とともに、アパーチャ９６の大きさや形を変えることができる。その上、９２（ｃ）で示されているように、ドライバ９４は、アパーチャ９６に追加して、１以上のパララックス走査または定在のレンズ・アパーチャを導入することができ、特殊の効果を作成し、または動きアーティファクトをマスクすることができる。また、セルを透明と不透明の状態の間で突然にスイッチするより、遷移（transition）は、徐々に、グレイ・スケールの程度を漸進的に変えて、効果を得ることができる。実際には、ドライバ９４とコントローラ９８は、適切にプログラムされたデジタル・コンピュータにより、実施することができる。
本発明の原理は、三次元イルージョンとして表示できる映像のコンピュータによる生成に適用することができる。図９は、含まれる基本的ステップを示している。ステップ１００において、物体と物体の動きは三次元空間中に定義される。物体を含むシーンもまた三次元空間に、ステップ１０２で定義される。映像デバイスまたはカメラ、カメラ位置（視点）、イルミネーション（照明）、距離（range）等はステップ１０４で定義される。カメラの定義は、像面、レンズおよびレンズ・アパーチャのパラメータのシミュレーション、例えば大きさおよび形を含む。ステップ１０６で、映像は、レンズ・アパーチャの所望のパララックス走査パターンを、適切なレイ・トレーシング・アルゴリズムを使用して、シミュレートすることにより描画する。そして、描画した映像は、フレーム毎のベースでコンピュータ・メモリに格納する。格納された映像は、その後、メモリから取り出し、コンピュータ・モニタ上に表示され、ＴＶスクリーン上に表示するためにビデオ・テープ上に記録され、および／または、スクリーン上に投影するためにフィルム上に記録される（ステップ１１０）。
前の記述から、レンズ・アパーチャのみがパララックス走査動作を行い、レンズ２４は静止しており、そして、レンズ・アパーチャの視点は、常に、レンズの焦点が合った物体に収束されていることに注意されたい。このように、例えば、引用した米国出願番号０８／１１５，１０１号に開示されているような、従来の単一カメラの自己立体視映像化装置とは違い、セパレートの収束（convergence）の調整は、本発明の装置では避けられている。すなわち、焦点の調整は、本来的に適切な収束の設定を確立する。これは、本発明の重要な特徴である。
図１０（ａ）〜図１０（ｃ）は、本発明の重要な特徴をどのように使用して、利点を出すのかを示す概略図である。図１０（ａ）、図１０（ｂ）および図１０（ｃ）において、物体Ａ，ＢおよびＣは、像面２２に対して、近い距離（range）、中間の距離、遠い距離にある物体をそれぞれ表している。図１０（ａ）に示されているように、レンズ２４が遠い距離の物体Ｃに焦点が合っているとき、像面２２に現れているこの物体の像は、アパーチャ３０のパララックス走査動作の間、静止している。しかしながら、アパーチャ３０が、例えば、光軸２５の上の垂直ディスパリティの位置へと上方へ移動するとき、像面２２上に現れる物体ＡおよびＢの像は、点線１２０で示されるように、物体Ｃの静止している像に対して下方へ移動する。逆に、アパーチャ３０が、光軸２５の下の垂直ディスパリティの位置へと下方へ移動するとき、像面２２上に現れる物体ＡおよびＢの像は、点線１２２で示されるように、物体Ｃの静止している像に対して上方へ移動する。
レンズ２４が物体Ｂに焦点が合っているとき、図１０（ｂ）に示すように、この物体は、アパーチャ３０のパララックス走査動作の間、静止している。光軸２５の垂直ディスパリティ位置からアパーチャが上方に走査すると、像面２２上に現れる物体Ａの像は、点線１２３で示されるように、物体Ｂの静止している像に対して下方へ移動する。一方、像面２２上に現れる物体Ｃの像は、点線１２４で示されるように、物体Ｂの静止している像に対して上方へ移動する。光軸２５の垂直ディスパリティ位置からアパーチャが下方に走査すると、逆の条件が得られる。即ち、物体Ｂの静止している像に対して、物体Ａの像は上方へ移動し（点線１２５）、物体Ｃの像は下方へ移動する（点線１２６）。
レンズ２４が近い距離にある物体Ａに焦点が合っているとき、光軸２５の垂直パララックス位置からアパーチャ３０が上方に走査するとき、物体ＢおよびＣの像は、点線１２７で示されるように、静止している物体Ａの像に対して上方へ移動する。逆に、光軸２５の垂直ディスパリティ位置からレンズ・アパーチャが下方に走査すると、物体ＢおよびＣの像は、点線１２８で示されるように、静止している物体Ａの像に対して下方へ移動する。
レンズ・アパーチャ３０のパララックス走査動作中に見られるレンズの視野中の物体の像の相対的移動の現象は、その利点を距離測定のアプリケーションに利用することができる。図１０（ｃ）を考慮すると、アパーチャ３０が最大垂直ディスパリティ（光軸２５からの最大オフセット）の位置の間を走査して、レンズ２４の焦点が合っている物体Ａの静止している像に関して、物体Ｂの像の動きが最小になるようにすると仮定する。物体Ａと、像面２２のようなカメラの参照点との距離が既知であるとき、物体Ａと物体Ｂとの距離は、物体Ａの像に対する物体Ｂの動きの大きさ、または、１２９で示されているように、物体Ｂの像の動きのピーク・ツー・ピークの大きさから定めることができる。このような定め方は、光軸２５の上方および下方の両端のディスパリティ点の記録された像を用いて、三角測量法（triangulation）によりコンピュータで正確に計算される。あるいはまた、垂直ディスパリティ点の両端間のアパーチャ走査動作により作成される物体Ｂの像の計測された振幅１２９は、ルックアップ・テーブルにアクセスするために使用され、物体Ａと物体Ｂの間の距離が定められる。像面２２からの物体Ａ、ＢおよびＣの距離のより正確な近似は、これらの像の１つに、この物体が像面２２上に静止するようになるまで、レンズ２４の焦点を調節することにより得られることが理解できるであろう。物体の距離は、物体の像を表示するビデオ・スクリーン上に観察できる物体の像の全ての動きが完全に静止する焦点設定から定めることができる。
図１１は、本発明を、概略的に１３２として示されているロボットのアームにマウントしている、距離測定のビデオ・カメラ１３０への応用を示している。参照位置にあるロボットのアーム上に位置しているビデオ・カメラは、静止している参照の物体１３４と、ロボットのアームのハンド１３３により掴まれようとしている目的の物体１３６とを含むシーンを見るように方向付けられている。参照位置にあるビデオ・カメラ１３０と、参照物体１３４との間の距離は既知である。カメラ・レンズは、参照の物体１３４に焦点を合わせるとき、参照および目的の像は、レンズ・アパーチャがパララックス走査動作を行っているときに、記録される。記録された像は、コンピュータ１３８により分析され、カメラに対する目的の物体の距離を、静止している参照の像に対する目的の像の動きの大きさと、カメラと参照の像との間の既知の距離とを基にして定める。目的の物体の距離を知っているので、コンピュータは、ロボットのアーム１３２の動きを制御し、ハンド１３３を素早く目的の物体１３６に対する掴みの関係に入ることが容易にできる。ビデオ・カメラ１３０は、ロボットのアームにマウントされるよりは、参照の物体１３４からの既知の距離にある固定された参照位置に配置してもよいことを理解すべきである。
本発明により、距離を定めるのに十分なパララックス情報は、単一の映像化装置、例えば、ビデオ・カメラを使用して得ることができる。これは、２台のビデオ・カメラまたはパララックス・ミラーとプリズムの組を使用する、従来のやりかたに対して明確な利点である。
本発明の他のアプリケーションは、図１２に示してあり、動くレンズ・アパーチャ３０を利用して、例えばフィルムまたはビデオ・カメラの映像化装置１４０の正しくない動きを補償して、カメラの像面２２上に焦点を結んだ物体２６の像を安定化する。本発明のこのアプリケーションを実装するために、カメラ１４０は、加速度計のような慣性センサ（inertial sensor）１４２を装備している。このセンサはカメラの動きを示す信号をコントローラ１４４に送り、コントローラ１４４はカメラの動きの信号を、光学要素２８を駆動するように結合されているアクチュエータ３４の駆動信号に変換する。
物体２６を映像化している間に、カメラ１４０が正しくない上方への動きを経験する場合、センサ１４２は、コントローラ１４４を介して、アクチュエータ３４に信号を送り、光学要素２８、そして、レンズ・アパーチャ３０を下方に動かす。カメラの下方への動きは、レンズ・アパーチャの上方への動きを導き出す。レンズ・アパーチャを正しくないカメラの動きの方向とは逆に動かすことにより、レンズ２４によりカメラ像面上に焦点を結んでいる物体２６の像は、このようなカメラの動きに対抗して安定化することができる。本発明によるレンズ・アパーチャの補償の動きによる像の安定化は、現在のカメラ全体のジャイロ安定化や、カメラの動きを補償するミラーおよび／またはプリズムの動きの使用に比較して、費用がかからず実装することができ、このようにして、カメラ像面上に現れる物体の像を安定することができる。
図１０（ａ）〜図１０（ｃ）中の物体Ａ，ＢおよびＣのような、映像化するシーン中の物体の動きは、自動的にレンズ・アパーチャの動きを制御することに使用することもできる。図１３に示されるように、ビデオまたはフィルムのカメラのようなカメラ１５０は、物体Ａ、ＢおよびＣを含むシーン１５０を見るように狙いを定めている。カメラ・レンズ２４は、これらの物体の１つの像に対して像面２２上に焦点を合わせる。シーンの像は、フレームごとに映像フレーム・バッファ１５４に格納される。コンピュータ１５６は連続する格納された映像フレームを、映像フレームの１つから他の映像フレームの差をとるなどして比較し、焦点の合った物体の静止した像に対して他の物体の像の動きの特性を定量化する。定量化された動きの特性は、コントローラ１５８により使用されて、アクチュエータ３４により作り出される、光学要素２８中のレンズ・アパーチャ３０のパララックス走査動作を調整するように制御する。このようにして、所望の三次元効果が、像面２２上に現れる物体の像の動きを定常的に監視して、像の相対的動きの大きさにしたがって、レンズ・アパーチャの走査動作の振幅（レンズの光軸からのディスパリティ位置のオフセット）と周波数を調整して、自動的に得ることができる。
本発明は、物体の像が３から６Ｈｚの速度で記録されているときに、レンズ・アパーチャをパララックス走査動作で動かしているコンテキストで説明されているが、表示される像または物体の距離の実効的奥行きの知覚は、レンズ光軸からの異なるディスパリティ位置のオフセットに交互にレンズ・アパーチャを作成する光学要素を提供することにより、得ることができる。このように、異なるディスパリティ位置によりパララックス走査動作で単一のアパーチャを動かすよりも、等価的なパララックス走査動作は、一時的なレンズ・アパーチャを、レンズ光軸から垂直、水平、垂直および／または水平の両方のオフセットの様々なディスパリティ位置に作成することができる、一つの光学要素または複数の光学要素の組み合わせを利用して、達成することができる。このアプローチを使用することにより、１つの光学要素または複数の光学要素は、レンズ・アパーチャとともに、カメラのシャッタとして機能することができる。図８の光学要素には、特にこのアプローチで本発明を実施するのに適している。
本発明の思想と範囲から離れることなく、本発明の自己立体視映像化装置に対して様々な修正や変化が可能であることは、この分野の当業者にとっては明らかであろう。このように、本発明は、この発明の修正や変化が本発明の請求の範囲や均等の範囲にある場合、これらを含むように意図している。
【図１】
0003824170.tif 000002
【図６（ａ）】
0003824170.tif 000003
【図６（ｂ）】
0003824170.tif 000004
【図６（ｃ）】
0003824170.tif 000005
【図６（ｄ）】
0003824170.tif 000006
【図６（ｅ）】
0003824170.tif 000007
【図６（ｆ）】
0003824170.tif 000008
【図２】
0003824170.tif 000009
【図３】
0003824170.tif 000010
【図４】
0003824170.tif 000011
【図５（ａ）】
0003824170.tif 000012
【図５（ｂ）】
0003824170.tif 000013
【図５（ｃ）】
0003824170.tif 000014
【図５（ｄ）】
0003824170.tif 000015
【図７】
0003824170.tif 000016
【図８】
0003824170.tif 000017
【図９】
0003824170.tif 000018
【図１０（ａ）】
0003824170.tif 000019
【図１０（ｂ）】
0003824170.tif 000020
【図１０（ｃ）】
0003824170.tif 000021
【図１１】
0003824170.tif 000022
【図１２】
0003824170.tif 000023
【図１３】
0003824170.tif 000024