(57)【要約】      （修正有）【課題】人間の眼を介して人間の脳によって知覚されるイメージに一般的に対応するシーン（方法によって形成されたシーンを含む。）についてのイメージを形成する。【解決手段】シーン内の所与の領域を固視する際に人間の観測者が所定の「ビューイングポイント」（ＶＰ）から見ることのできる視野の全部又は一部からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又は別の方法で描写するステップと、シーンの該領域に向かってイメージを次第に拡大していくステップと、周辺視野に対応する前記シーンの領域を次第に圧縮してシーンが人間の知覚者の知覚に映るであろう態様に一般的に対応するシーンについての変更されたイメージを作るステップとを含む。【選択図】図１１
2019079552.tif 000002
【特許請求の範囲】
【請求項１】
人間の眼を介して人間の脳によって知覚されるイメージに一般的に対応するシーンにつ
いてのイメージを形成する方法であって、前記方法は、前記シーン内の所与の領域を固視
する際に人間の観測者が所定の「ビューイングポイント」（ＶＰ）から見ることのできる
視野の全部又は一部からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又
は別の方法で描写するステップと、前記シーンの前記領域に向かって前記イメージを次第
に拡大していくステップと、周辺視野に対応する前記シーンの領域を次第に圧縮して前記
シーンが人間の知覚者の知覚に映るであろう態様に一般的に対応する前記シーンについて
の変更されたイメージを作るステップとを含む、方法。
【請求項２】
人間の眼を介して人間の脳によって知覚されるイメージに一般的に対応するシーンにつ
いてのイメージを形成する方法であって、前記方法は、前記シーン内の所与の領域を固視
する際に人間の観測者が所定のビューイングポイントから見ることのできる視野の全部又
は一部からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又は別の方法で
描写するステップと、前記視野の全部からなるシーンを単眼的形式、立体視的形式、又は
キクロプス的形式でキャプチャ、記録、生成又は別の方法で描写するステップと、前記視
野の全部からなるシーンを２次元的形式又は３次元的形式でキャプチャ、記録、生成又は
別の方法で描写するステップと、前記視野の全部からなるシーンをスチル形式又は動画形
式でキャプチャ、記録、生成又は別の方法で描写するステップとを含み、座標を設定する
ステップと、前記シーンについての測定値を収集するステップと、ここで説明した前記ス
テップを行うために必要なデータについての適切なマップを作成するステップとを含む、
方法。
【請求項３】
前記視界についての境界を定義するステップと、描写されている前記ビューポイントが
前記シーンのどこに固定されているかに相当する前記イメージ内の前記固視点の場所を特
定するステップと、前記シーンとの関係で前記ビューポイントの場所を定義するステップ
と、前記シーン内で描写されている注目領域の大きさを定義するステップと、前記シーン
について関連性のある深度情報と、視角、顔の特徴及び他の関連性のあるデータ等の前記
シーンとの関係での前記観察者の位置についての情報とを提供するステップとをさらに含
む、請求項２に記載の方法。
【請求項４】
描写されている前記視野の寸法及び形状に相当する境界を有するマップを作成するステ
ップと、請求項１、２又は３の方法に従って説明した前記ステップを行うのに必要な座標
セットを該マップ内にて定義するステップとを備える、方法。
【請求項５】
ここで定義した仕様に適合するイメージを作成するために、前記シーンから記録された
前記情報を、一般的に２次元的なイメージ空間上へと変換、マッピング、投影又はプロッ
トするステップを含む、請求項４に記載の方法。
【請求項６】
前記イメージは略楕円形である、請求項５に記載の方法。
【請求項７】
前記イメージは横長でアスペクト比がおよそ１３：８である、請求項６に記載の方法。
【請求項８】
請求項１又は２に記載のイメージを形成する方法であって、前記出力イメージは、膨れ
た及び／又は陥没した支持体又はスクリーンの形式の非平面的な支持体又はスクリーンを
用いることによって前記イメージにおいて知覚される深度感を増大させる表面の上に又は
媒体を通して表示され、前記膨らみ又は陥没の場所は前記イメージ内で描写されている固
視点及び注目領域と一致し、前記イメージの外縁は描写されている前記視界の境界と一致
する、方法。
【請求項９】
請求項８に記載の方法であって、前記平面的又は非平面的なイメージの前に適切な大き
さ及び形状の開口部又は枠を適切に配置し、観察者は該開口部又は枠を通して最終的イメ
ージを見ることができ、これによってより大きな深度感を体験することできる、方法。
【請求項１０】
請求項１乃至９のいずれか一項の請求項に記載のイメージを形成する方法であって、最
終的シーンの前記観察者又は各観察者は、適切な入力又は追跡システムを通じて前記イメ
ージの特性をリアルタイムで変更でき、前記固視点の場所、前記注目領域の大きさ、前記
視界のスパン、明瞭さ、フォーカシング、二重化、コントラストの度合い、前記スクリー
ン又は支持体の形状、前記スクリーン若しくは支持体上の前記膨らみ及び／又は陥没の場
所、並びに、前記イメージ内の他の変数が前記イメージの観察者によって加えられる変更
に応じて調整可能である、方法。
【請求項１１】
（定義したところによる）前記最終的イメージを表示する表示面であって、該面は、一
般的に平面的であるが、前記表示面の観察者になると見込まれる者の固視点に対応して膨
らんでいるか又は陥没している部分と、前記観察者によって加えられた変更に応じて調整
される、前記観察者の周辺視野に対応する底上げされたエッジとを含む、表示面。
【請求項１２】
請求項１１に記載の楕円形の表示面であって、前記楕円のジオメトリは、直径がｘであ
る２つの円が、重ね合わされた状態における交差部での幅ａがｘのおよそ７０％となるよ
うに重ね合わされ、直径ｙがｘのおよそ２６％であるさらなる２つの円が、大きい前記円
の前記交差部に挿入されて重ね合わされた状態における交差部の幅ｂがｙのおよそ３５％
となるように重ね合わされ、前記楕円は前記交差する円の境界にある線によって形成され
るように、定義される、表示面。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、人間の視覚系による知覚に対応するシーンのイメージ形成に関する。
【背景技術】
【０００２】
静止画若しくは動画用のカメラ又はコンピュータアニメーションを用いるイメージ作成
技術等の従来のイメージ作成技術は、人間の視覚的体験の範囲及び本質の全容をキャプチ
ャ及び描写することに関しては一般的に不十分である。この理由は多数あるが、イメージ
が、通例、人間の観察者にとって自然に見えない態様で３次元空間を２次元平面に投影す
る線遠近法のジオメトリに基づいているという点も理由に含まれる。視界の周辺部が２次
元平面に投影された場合に線遠近法によって過度の歪曲が生じることは、レオナルドダビ
ンチの時代から芸術家たちに知られていた。このため、従来の線遠近法のイメージはワー
ルドについて制約されたビューを提示しがちであり、通例矩形状にクロッピングされたビ
ューが提示され、このため周辺視野を含めた完全視野の大部分が除外されてしまう。除外
される対象には、観察者の身体の一部又は観察者の近くに存在する物体が含まれ、これら
の物体は自然な視野においては視認され得る。結果として生成されるイメージは通常、紙
に印刷されるか平面スクリーンに表示されるか等により平面の物体として提示され、これ
により空間的な手掛かりについての矛盾が生じ、その結果、知覚される深度が減少する。
線遠近法において用いられる投影方法及び興味対象物体を拡大させがちな注目による心理
的作用、即ち知覚される物体のサイズに関する注目による心理的作用への対応の欠如に起
因して、作成されたイメージにおいては、興味対象物体は通例実世界で見られるよりは小
さく映る。また、これら作成されたイメージは、複視を介した両眼視による深度情報、す
なわち「生理学的複視」等の人間の視覚にみられる空間に関しての視覚的体験を増進させ
る他の特徴を、一般的には記録又は提示しない。また、従来のイメージングシステムは、
高められたエッジコントラスト、視界の周辺部及び非固視部分内の物体の相対的不明瞭さ
、知覚される空間の主観的湾曲、最周辺部での視野の漸進的なフェーディング及び減光、
固視点との相対的関係による物体の見かけ上のサイズの変化、一人称の視点から見た観察
者の身体のイメージ等の人間の視覚にみられる他の特徴を記録することができていない。
本願発明は、これらの効果を全て組み合わせて人間の視野についての統合的なエミュレー
ションを生じさせる。
【０００３】
人間の視界の全体を描写する手段としての本概念の１つの利点は、パノラマ等によって
もたらされるイメージフォーマットが過度に広角になることを回避できるということにあ
る。なぜならば、実際の人間の視覚と同様な態様でシーンの周辺部の大きさ及び強調度が
低減されるからである。また、興味対象物体のサイズを多くの場合小さくする魚眼レンズ
や周辺部を拡大する広角レンズ等によってもたらされる過度に歪められたイメージも回避
される。代わりに、中心視に対応し観察者の注目に最もさらされるイメージ部分に、より
重きが置かれ、このためそのイメージ部分がより大きく見えてシーンが人間の視覚系によ
って知覚される態様に似た態様で近似される。
【０００４】
本概念のさらなる利点としては、従来の線遠近法イメージに比べて、より高度な顕著性
及び突出性が、固視点及び注目領域に対応するイメージの領域に、与えられるということ
が挙げられる。広告等の用途においては、広告主が強調することを望むイメージ内の領域
又は物体に、観察者の視線を誘導できるという利点がある。
【０００５】
さらなる利点としては、上述の方法を適用することによって、結果的にもたらされるイ
メージは、従来の線遠近法又はその他の方法によってもたらされたイメージに比べて、格
段に向上した深度感の錯覚を有するように見え得るという点が挙げられ、また、結果的に
もたらされるイメージは、シーン内の興味対象若しくは注目対象の物体の相対的サイズを
小さくすることなくイメージフレーム内に格段により広角な視角を包含することができる
。
【０００６】
また、他の「中心窩化」された（“foveated”）イメージングシステムと同様に、視界
の周辺部に対応するイメージ領域内の情報について高度に圧縮し、解像度を低下させるこ
とによって、データ格納及び伝送を節約し得る。
【０００７】
本願明細書において説明される方法のさらなる利点としては、観察者の身体についての
ビューが、知覚的正確性をもって一人称の視点から提示されるという点が挙げられ、これ
により一人称視点を伝達する本方法を用いるイメージの有効性が向上する。
【０００８】
上述の問題の幾つかに対処する何個かの既知の解決策がある。これらの解決策には、極
めて広い視野角をキャプチャするが、イメージのエッジ寄りには過度の光学的歪曲が生じ
る魚眼レンズ等の広角レンズを用いる解決策が含まれる。このような歪曲は適切なソフト
ウエア処理によって修正されることができるが、これは完全な解決策ではない。なぜなら
ば、結果としてもたらされるイメージは依然として線遠近法に従って投影されており、本
目に最初に記載の通り、実際の人間の視覚系に関連づけられる多くの特徴が欠如している
からである。
【０００９】
別の手法としては、複数のイメージをスティッチングして極めて広いパノラマ視野をキ
ャプチャすることが挙げられるが、このような超広角画像フォーマットの有用性には実用
的な制限があるという短所が伴う。また、このようなパノラマでは、本願明細書にて説明
した実際の人間の視覚に関連する幾何学的構造及び他の特徴が欠如している。
【００１０】
Quicktime（登録商標）VRやCondition One （http://www.conditionone.com/）等の他
のイメージング技術は、仮想空間でスクローリングすることによって広い視野を観察者が
スキャンできるようにして観察者の指示に従ってシーンを複数のアングルから見ることが
できるようにするが、これらの方法も依然上述の不備の幾つか又は他の不備を抱えている
。
【００１１】
ビデオゲームエンジンに用いられているコンピュータアニメーション等の幾つかの形式
のコンピュータアニメーションでは、観察者の視点からみた人間の身体の部分を描写に含
めることによって観察者の視点を真似ようとする試みが行われているが、これらのビュー
は、一般的に従来の線遠近法に従ってレンダリングされており、描写されている視界の中
心内の限定的な矩形状のビューイング領域に限定されている。このため、これらにおいて
は自然な視野中で多くの場合に見られる鼻や肩等の身体の部分が除外されている。広告用
イメージの分野においては、イメージの周辺寄りのエッジを選択的にぼかすことによって
周辺視野の相対的不明瞭さを再現しようとする幾つかの試みがされたが、このような手法
は依然として上述の不備全てを補うに至らない。
【００１２】
幾つかのレンズに基づくシステム及びコンピュータに基づくシステムにおいては、広い
視野がキャプチャされると同時に、興味対象領域がより大きなサイズで又はより高い解像
度で表示されて、これによって人間の視覚の周辺領域及び中心窩領域の特定の特性が再現
される。例えば、中心窩化された及び広角中心窩化されたレンズシステムは、広い視野を
キャプチャすると共にデータ圧縮性を向上させ及びイメージの中心部の質を高めるように
設計されている（例えば、特許文献１）。しかし、一般的に、このようなシステムは、（
カメラ及びレンズを介して）シーンについての単眼的で２次元的な線遠近法的なビューを
キャプチャすることに依存しており、本願発明が特定するような、人間によって視認され
る完全視野の幾何学的構造に対応する３次元世界についての投影を生成しない。また、こ
れらのシステムは、イメージ内で移動している固視点に関しての効果又はイメージ内にお
ける注目の軌跡若しくは範囲の変化に関しての効果について補うこともない。広角中心窩
イメージは、典型的には楕円状ではなく円形状であり、また、次のような自然な視覚に伴
う特徴を有さない：複視（合焦された物体の前後のイメージについての意図的なぼかし）
、異なる深度平面間での固視箇所の変化による物体の見かけ上の大きさの変化、固視され
ている物体についてのエッジコントラストが高められること、本願発明に関して特定され
た他の方法等。
【００１３】
他の方法は、複数カメラの配列を用いて広い視野のキャプチャを行いつつも描写される
視界内の領域についての細部についてフォーカシングを行う（例えば、特許文献２）。カ
メラからのイメージについては、スティッチング及び変形が行われて閲覧用の広角中心窩
出力イメージが形成される。このようなシステムに関しては、カメラが曲がって配列され
ているために、従来の線遠近法の投影に関連づけられている過度な歪曲が回避されるとも
主張されている。これらのシステムは、人間の中心窩に対応するイメージ領域で鋭敏度を
高めることも意図している。しかし、これらのシステムは、次のような人間の視覚に伴う
幾何学的構造又は特徴に関して記録及び描写していない：３次元的深度の変化によるイメ
ージへの変更、（固視領域だけでなく）注目領域における突出性の増大、両眼間での差異
及び周辺部での不明瞭さ等。
【００１４】
眼の中心窩領域に対応するイメージ領域を向上させる他の方法には「デジタルズーム」
が含まれ、この方法では固視されるイメージ領域がイメージの周辺部に対応する領域に比
べて拡大又はエンハンスされる（例えば、特許文献３）。しかし、このような方法は（カ
メラ及びレンズを介して）２次元的な線遠近法的なイメージをキャプチャすることに依存
しており、自然な人間の視覚で知覚される幾何学的構造に基づく３次元的視野の全体を表
していない。これらの方法によってもたらされるイメージは典型的には楕円状でなく矩形
状であり、また、自然な人間の視覚の次のような追加的特徴を描写するものではない：複
視、視界における主観的な湾曲、局所的注目の効果等。
【００１５】
中心窩イメージを生成する他の方法（例えば、特許文献４、特許文献５及び特許文献６
）も、線遠近法の幾何学に基づいており、人間の視覚の主要な特徴をキャプチャ及び描写
する能力を有していない。
【００１６】
平坦な画像をのぞき穴又は開口部を通して見ることによって深度錯覚を向上させ得るこ
とは数世紀も前から知られている。下層に位置するスクリーンの一部を遮蔽するフレーム
でフラットスクリーンを覆うことによって観察者の３次元的深度知覚体験を向上させるス
クリーン鑑賞装置が設計されている（特許文献７及び特許文献８を参照）。しかし、フレ
ーム内の開口部の形状は一般的に矩形状であり楕円状ではない。さらに、本願発明によっ
て教示される楕円形フレームの活用事例は本願発明において特定されるイメージ及び表示
サポートと関連して用いられるべきプレゼンテーションシステムの統合コンポーネントと
して用いられるものであり、任意の他のイメージと共に用いられるスタンドアロン装置と
して用いられるものではない。
【００１７】
３次元空間をイメージングする現行の手法は、光の挙動及びレンズや感光板等のキャプ
チャ装置の光学的特性に基づく線遠近法の原則に依拠しがちである。しかし、装置のこの
ような原則は、人間による世界の知覚態様に影響を及ぼすと知られている次に挙げるよう
な幾つかの人間の視覚系の特徴について考慮していない：人間の眼の構造、眼を２つ用い
て見ることによって生じる結果、注目及び記憶がもたらす精神的な効果等。本願発明は、
従来利用可能なイメージング手法よりも正確に人間の視覚による実体験を近似するイメー
ジ形成プロセスが必要であるとの考えから、派生したものである。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】国際公開公報第２００８／０７７１３２号
【特許文献２】米国特許出願公開第２００４／００６１７８７号明細書
【特許文献３】米国特許出願公開第２００９／０２４５６００号明細書
【特許文献４】欧州特許第２３６２６４１号明細書
【特許文献５】米国特許第７９６５３１４号明細書
【特許文献６】英国特許第２４００２５９号明細書
【特許文献７】国際公開公報第２０１０／０９４２６９号
【特許文献８】米国特許第６１４４４１７号明細書
【発明の概要】
【００１９】
本願発明の第１の観点によれば、人間の眼を介して人間の脳によって知覚されるイメー
ジに一般的に対応するシーンについてのイメージを形成する方法であって、シーン内の所
与の領域、例えば人間の眼の中心視野又は他の何らかの固視点を固視する際に人間の観測
者が所定の「ビューイングポイント」（ＶＰ）から見ることのできる視野の全部又は一部
からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又は別の方法で描写す
るステップと、シーンの固視点の領域に向かってイメージを次第に拡大していくステップ
と、周辺視野に対応するシーンの領域を次第に圧縮してシーンが人間の知覚者の知覚に映
るであろう態様に一般的に対応するシーンについての変更されたイメージを作るステップ
とを含む、方法が提供される。
【００２０】
本願発明は、第２の観点において、二重像、増大されたコントラスト、長方形でないイ
メージフォーマット、選択的不明瞭さ及び周辺視を含む人間の自然な視覚を再現する追加
的な特徴を適切な場合においてはイメージに必要に応じて選択的に含ませるステップも任
意の順番で含む。
【００２１】
本願発明の第３の観点によれば、イメージを形成する方法であって、出力イメージは、
膨れた及び／又は凹んだ支持体又はスクリーンの形式とされる支持体又はスクリーンを用
いることによってイメージにおいて知覚される深度感を増大させる表面の上に又はそのよ
うな媒体を通して表示され、膨らみ又は陥没の場所はイメージ内で描写されている固視点
及び注目領域と一致し、イメージの外縁は描写されている視界の境界と一致し、表示面の
主要平面との関係で境界は底上げされている、方法が提供される。便宜のためには、平面
的又は非平面的なイメージの前に適切な大きさ及び形状の開口部又は枠を適切に配置して
、観察者はこれを通して最終的イメージを見ることができ、これによってより大きな深度
感を体験することできる。
【００２２】
本願発明の第４の観点によれば、視野イメージ（ＦｏＶＩ）のユーザ又は観察者は、コ
ンピュータマウス、タッチ感応式スクリーン、頭部追跡型若しくは眼球追跡型システム、
ジョイスティック若しくはゲームコンソール制御装置、又は深度若しくは運動追跡装置等
の適切な入力又は制御装置を用いてＦｏＶＩの特性を変更することができ、ＦｏＶＩ内の
ＦＰ及びＲＡは観察者又はユーザが固視している箇所に対応している（図１６）。また、
ユーザ又は観察者は、ＦＰをＦｏＶＩ内の異なるポイントに設定することによってＦｏＶ
Ｉを含む面の物理的形状を選択的に変更することができる。１つの実施形態では、ユーザ
はＦｏＶＩ内にＲＡを設定することができ、物体の見かけ上の大きさ及び位置、レンダリ
ング解像度、合焦の度合い、二重像化の度合い等を含む本願明細書にて指定したイメージ
の他の全ての特性を、更新されたＦＰと、イメージとの関係での観察者の位置の変化との
関連で、変更することができる。本願発明の別の一実施形態では、ＦｏＶＩが提示される
表示面の物理的形状が観察者によって生成された入力に応答して変更され、突出している
（膨らんでいる）又は陥没している（凹んでいる）面の部分であってＲＡに対応している
部分はＦｏＶＩ面上でのＲＡの移動に一致する（図１７）。
【００２３】
以下、本願発明について、添付の図面を単なる例示的な態様として参照して説明する。
【図面の簡単な説明】
【００２４】
【図１】描写される視覚空間の図であり、該空間は水平方向に１８０度から２００度までにわたり、垂直方向に１３０度から１５０度までにわたり、ビューイング位置（ＶＰ：Viewing Position）と視野の境界の相対関係が示されており、シーンの注目領域（ＲＡ：Region of Attention）が固視点（ＦＰ：Fixation Point）を囲んでいる。
【図２ａ】様々な幾何図法によってキャプチャされた視野データ（ＦｏＶＤ：Field of View Data）上にオーバーレイされた視野マップ（ＦｏＶＭ：Field of View Map）の例を示す図であり、魚眼図法でキャプチャされたデータが示されており、破線はＦｏＶＭの境界を示しており、これはキャプチャされる視界の縁と一致する。
【図２ｂ】様々な幾何図法によってキャプチャされたＦｏＶＤ上にオーバーレイされたＦｏＶＭの例を示す図であり、正距円筒図法でキャプチャされたデータが示されており、破線はＦｏＶＭの境界を示しており、これはキャプチャされる視界の縁と一致する。
【図２ｃ】様々な幾何図法によってキャプチャされたＦｏＶＤ上にオーバーレイされたＦｏＶＭの例を示す図であり、円筒図法でキャプチャされたデータが示されており、破線はＦｏＶＭの境界を示しており、これはキャプチャされる視界の縁と一致する。
【図２ｄ】様々な幾何図法によってキャプチャされたＦｏＶＤ上にオーバーレイされたＦｏＶＭの例を示す図であり、レクチリニア図法でキャプチャされたデータが示されており、破線はＦｏＶＭの境界を示しており、これはキャプチャされる視界の縁と一致する。
【図２ｅ】様々な幾何図法によってキャプチャされたＦｏＶＤ上にオーバーレイされたＦｏＶＭの例を示す図であり、vedutismo図法でキャプチャされたデータが示されており、破線はＦｏＶＭの境界を示しており、これはキャプチャされる視界の縁と一致する。
【図３】固視点（ＦＰ）及び注目領域（ＲＡ）の位置を定義する図であり、視野マップ（ＦｏＶＭ）内に太線で描かれた円が示されている。
【図４ａ】視野イメージ（ＦｏＶＩ：Field of View Image）の形状を示す図であり、これが最終出力イメージを作成するのに用いられるデータ空間である。
【図４ｂ】太線で描かれた楕円の幾何学的な作図を示す図である。
【図５ａ】本願発明によって生成されたイメージとの対比を前提に、従来の線遠近法を用いる方法によって生成されたイメージの一般的な幾何学的な構造を一例として図示する図であり、２次元線遠近法に基づいているシステムによって生み出された視覚データの分布を概略的に示す図である。
【図５ｂ】本願発明によって生成されたイメージとの対比を前提に、従来の線遠近法を用いる方法によって生成されたイメージの一般的な幾何学的な構造を一例として図示する図であり、本願発明によって生成されたイメージがどのようにして異なるのかを概略的に示す図であり、ここでＦＰはイメージの中心に配置され、また、ＲＡは本図の中央の膨れている領域の大きさに相当する大きさを有している。
【図６ａ】単眼的線遠近法の投影図法で投影された実際の３次元シーンのジオメトリを示す図である。
【図６ｂ】単眼的魚眼投影図法で投影された実際の３次元シーンのジオメトリを示す図である。
【図６ｃ】前２図との対比を前提に、本図は本願発明との関係で説明された方法に従うキクロプス的投影法（cyclopean projection）で投影された場合に前出のシーンがどのように見えるかを示す図であり、ここでＲＡは中央の円板であり、ＦＰは円板の中心にある。
【図７】描かれた領域が単元に分割される態様を示す例示的なＦｏＶＩ座標マップである。
【図８ａ】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【図８ｂ】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【図８ｃ】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【図８ｄ】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【図８ｅ】シーンからキャプチャされたデータから、本願発明に従って処理されたイメージへと、固視点及び注目領域をプロットするためのプロセスを示す図であり、シーン内の特定の固視点についての変換が示されている図である。
【図９ａ】視野マップ（ＦｏＶＭ）内で表されている視野を視野イメージ（ＦｏＶＩ：Field of View Image）内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点（ＦＰ）及び注目領域（ＲＡ）を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【図９ｂ】視野マップ（ＦｏＶＭ）内で表されている視野を視野イメージ（ＦｏＶＩ）内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点（ＦＰ）及び注目領域（ＲＡ）を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【図９ｃ】視野マップ（ＦｏＶＭ）内で表されている視野を視野イメージ（ＦｏＶＩ）内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点（ＦＰ）及び注目領域（ＲＡ）を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【図９ｄ】視野マップ（ＦｏＶＭ）内で表されている視野を視野イメージ（ＦｏＶＩ）内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点（ＦＰ）及び注目領域（ＲＡ）を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【図９ｅ】視野マップ（ＦｏＶＭ）内で表されている視野を視野イメージ（ＦｏＶＩ）内において視認可能な最終ビューに変換するプロセスを示す図であり、左のイメージは太線で描かれた円板によって表される元のシーンからキャプチャされたデータによって指定された固視点（ＦＰ）及び注目領域（ＲＡ）を示すとともに、シーン内の他の円板全ての相対位置を示し、右のイメージは本願発明に従って同じシーンに変換を適用したものを示し、最終的イメージにおける対応付けられた大きさ及び位置が分かるように各円板には番号が付されてあり、特定の固視点を定めた場合に同じシーンがどのように見えるかを示す図である。
【図１０ａ】視野イメージにおける深度及び両眼視差の描写を表す図であり、本図の１．は余分な円板（番号：３８）であってＦＰとインラインに配置されているがＶＰにより近い距離に配置されている円板を図９と同じシーンに加えたシーンを表し、本図の２．は視野イメージ内でどのようにして本図１．の部分で見られるシーンが変換されるかを示し、本図の２．内の破線は観察者の鼻の輪郭を表し、これが個々の眼に与えられる視界の境界を定義し、破線間の領域は両眼で同時に見られることができる視野の部分を表し、観察者との関係で特定の位置に円板３８が置かれた場合に行われるシーンについての変換を示す図であり、Ｌ及びＲはそれぞれ左眼及び右眼を意味する。
【図１０ｂ】視野イメージにおける深度及び両眼視差の描写を表す図であり、観察者との関係で特定の位置に円板３８が置かれた場合に行われるシーンについての変換を示す図であり、Ｌ及びＲはそれぞれ左眼及び右眼を意味する。
【図１０ｃ】視野イメージにおける深度及び両眼視差の描写を表す図であり、観察者により近い位置に円板３８が置かれた場合に行われるシーンについての変換を示す図であり、Ｌ及びＲはそれぞれ左眼及び右眼を意味する。
【図１０ｄ】視野イメージにおける深度及び両眼視差の描写を表す図であり、観察者により近い位置に円板３８が置かれた場合に行われるシーンについての変換を示す図であり、Ｌ及びＲはそれぞれ左眼及び右眼を意味する。
【図１１】視界の中心に二重のイメージが現れる立体視領域を作出する両眼の間の重複を表す図である。
【図１２ａ】観察者の視線が真正面に向けられている場合の鼻に関する境界（破線で表されている）の形状を示す図である。
【図１２ｂ】観察者の視線が右方に向けられている場合の鼻に関する境界（破線で表されている）の形状を示す図である。
【図１３ａ】前景において着座している人の視点から撮影された複数の線遠近法のショットとしてキャプチャされてスティッチングされたシーンについての視野全体を例示的な意味合いのみにて示す図であり、固視点はスタンド上の茶瓶の中心であり、注目領域は茶瓶全体であり、観察者との関係でのシーン内の物体の主要深度測定値は既知である。
【図１３ｂ】同じビューを従来の２４ミリメートルレンズで撮影して線遠近法に従って投影したものを示す図であり、シーンのさらに狭い範囲を描写している。
【図１３ｃ】同じ視点を本願発明によって提供される幾何学的投影方法に従って提示したものを示す図であり、茶瓶は図１３ｂの茶瓶と同じ大きさであるが、茶瓶の周囲にあるシーン空間のより広い範囲が見えているという点に留意されたい。
【図１３ｄ】同じ視点を示す図であって、次のものを含む本願発明によって指定された追加的な効果が付加されている図である：茶瓶の前後における複視、茶瓶の周囲の領域における相対的不明瞭さ、シーンの残余の部分と比較して茶瓶のコントラストが高められていること、及び茶瓶の周囲においてエッジコントラストが高められていること。
【図１３ｅ】図１３ｄの処理されたイメージと同じイメージを示す図であって、人間の視界の境界を表す楕円状のフレーム又はケラレが追加されている図である。
【図１４ａ】最終的イメージを提示するのに用いられる非平面スクリーン又はサブストレートの形状を示す図であり、イメージ内の固視点及び注目領域はスクリーン内の中央の膨らみの位置及び大きさに対応する。
【図１４ｂ】最終的イメージを提示するのに用いられる非平面スクリーン又はサブストレートの形状を示す図であり、スクリーン内の陥没部はイメージ内の固視点及び注目領域に一致する。
【図１４ｃ】最終的イメージを提示するのに用いられる非平面スクリーン又はサブストレートの形状を示す図であり、イメージから３次元深度マップが生成されて平面的でない表面が形成されるプロセスを示す図であり、該表面上にイメージが投影され、印刷され、又は、他の手段によって表示される。
【図１５】非平面スクリーン又は最終的イメージの前に配置される楕円状の開口部を示す図であり、観察者がイメージを見る開口部を示す図である。
【図１６】異なる固視点（ＦＰ）及び異なる大きさの注目領域（ＲＡ）に関してのユーザからの入力、対話的行為又は行動に応答して最終的イメージの特性に対して加えられる変更を示す図である。
【図１７】２つの異なる固視点（ＦＰ）及び注目領域（ＲＡ）に関してのユーザ起動型入力に応答するスクリーン内の膨らみの移動を示す図である。
【発明を実施するための形態】
【００２５】
図１は、通常の人間の立体視において見られる範囲についての視覚的な表示であり、こ
れはおよそ水平方向に１８０度〜２００度及び垂直方向に１３０度〜１５０度にわたる視
野を含み、通例およそ水平方向に１８０度及び垂直方向に１３０度の視野である。
【００２６】
ここで、「固視点」（ＦＰ）は、シーンとの関係で所与のビューイングポイント（ＶＰ
）に配置された人間の観測者の眼が凝視しているであろう箇所に対応するシーン内の点と
して定義される（図１）。ＲＡは「注目領域」として定義され、観察者がシーン内におい
て注目しているシーンの物体又は領域に対応する。一般に、ＦＰは通常ＲＡの中心に存在
する。シーンの総面積との関係で注目されている領域又は物体がどの程度の大きさである
かに応じて、ＲＡの大きさ及び形状が異なってくる。
【００２７】
シーンのキャプチャ、記録、生成又は描写は次の列挙に含まれる幾つかのプロセスを用
いることによって達成することができるがこれらには限定されない：深度マッピング、明
視野キャプチャ、レーザーマッピング、魚眼レンズ搭載カメラ等の適切に設計及びアレン
ジされたレンズ及び感光板を使用する手法、単一の及びスティッチングされたパノラマイ
メージ、３６０度カメラシステム、複数カメラ配列、コンピュータ生成モデル、又は、Ｖ
Ｐにいる観測者が見ることのできるシーンに関する領域内の視覚データを記録する他の装
置若しくはプロセス。イメージであるか、一連のイメージであるか、記録された光配列で
あるか、空間座標配列であるか、これらの組合せであるか否かを問わず、結果としてもた
らされるシーンの描写は以下、「視野データ」又はＦｏＶＤという。
【００２８】
ＦｏＶＤは、必要に応じて、次の内容を含む：ａ．シーン内の物体についてのＶＰとの
関係での深度値についての情報（これらの値は手動的に、光学的に、機械的に、若しくは
電子的に記録されることができ、又はＦｏＶＤにおいて利用可能な情報から算出されるこ
とができる）、ｂ．シーン内のＦＰの位置（これは手動で又は自動的に決定されることが
できる）、ｃ．視界の外縁の位置（これは手動的に、光学的に、機械的に、若しくは電子
的に記録されることができ、又はＦｏＶＤにおいて利用可能な情報から算出されることが
できる）、及び、ＦｏＶＤが平坦な１以上のイメージである場合には、ｄ．３次元空間を
平面に投影するのに用いた投影座標系（これは手動的に、光学的に、機械的に、若しくは
電子的に決定されることができ、又はレンズの光学系等のシーンを記録するのに用いたシ
ステムの特性に基づいて算出されることができる）。ＦｏＶＤは、鼻等の顔特徴の大きさ
及び位置や、シーンとの関係での頭部の角度等の、最終的イメージの外観に影響を及ぼし
得る観察者の身体的属性に関する情報を含むこともできる。
【００２９】
シーンは、単眼的形式で又は立体視的形式で、キャプチャ、記録、生成又は描写されて
ＦｏＶＤを作成することができる。単眼的形式でキャプチャされた場合、シーンのデータ
は、両眼に同時に与えられる組み合わせた視野に、即ちおよそ水平方向に１８０度〜２０
０度及び垂直方向に１３０度〜１５０度にわたる視野に、対応することになる。立体視的
にキャプチャされた場合、シーンのデータは２つの部分からなり、各々は左右の眼に与え
られる視野に、即ち各眼についておよそ水平方向に１４０度〜１６０度及び垂直方向に１
３０度〜１５０度にわたる視野に、対応し、これらが組み合わさって水平方向に１８０度
〜２００度の範囲を包括するシーンの描写を形成する。
【００３０】
シーンは、スチル形式又は動画形式でキャプチャ、記録、生成又は描写されてＦｏＶＤ
を作成することができる。スチル形式でキャプチャされた場合、それは静的なデータセッ
トを備えるのであって、該データセットは所与の固視点との関係でＶＰにいる通常の人間
たる観測者に与えられる視覚的情報のフィールド全てを含む。動画形式でキャプチャされ
た場合、それはイメージのアニメーションシーケンスとシーンを表すデータとからなる。
【００３１】
さらなるステップは、ＦｏＶＤにオーバーレイする座標マップを定義するステップを伴
い、該マップは「視野マップ」又はＦｏＶＭという。ＦｏＶＭは、シーン内の領域や物体
の位置を記録される視野全体との関係で決定するのに用いられる。本願発明の１つの実施
形態では、視野は例えば水平方向において１８０度に、及び、垂直方向に１３０度に分割
される。この場合、水平方向における各々の度数１つずつはその軸方向に関してのＶＰに
おける総視野の１８０分の１を表し、垂直方向における各々の度数１つずつはその軸方向
に関しての総視野の１３０分の１を表す。ＦｏＶＤの左端に対応するＦｏＶＭの左端にお
いて−９０の値が設定され、ＦｏＶＤの右端に対応するＦｏＶＭの右端において９０の値
が設定され、ＦｏＶＤの下端に対応するＦｏＶＭの下端において−６５の値が設定され、
ＦｏＶＤの上端に対応するＦｏＶＭの上端において６５の値が設定されて、ＦｏＶＭの外
周が、ＦｏＶＤの外周即ち描写されるシーンについての視野の外周に、対応するようにす
る（図２ａ）。シーンをキャプチャするのに用いた方法に応じてＦｏＶＭの形状は異なる
（例については、図２ｂ乃至図２ｅを参照）。
【００３２】
１つの眼のために単眼的ビューで、又は、両眼のために別々に立体視的ビューで、又は
、両眼のビューを一体化させたキクロプス的ビューで、キャプチャされたＦｏＶＤについ
て、ＦｏＶＭを生成することができる。また、必要であれば、ＦｏＶＭは適切な単位で定
義された３次元的座標系を含み、これはＦｏＶＤが作成された時点において指定された深
度次元におけるシーン内の物体とＶＰとの間の距離について測定値を提供する。
【００３３】
さらなるステップは、人間の１つの眼又は複数の眼が凝視しているシーンの部分又はシ
ーン内の物体に対応するＦＰの場所を、ＦｏＶＭ上で指定することを伴う（図３）。Ｆｏ
ＶＭの水平及び垂直方向の各軸との関係でのＦＰの場所は、シーン内のどの領域又は物体
がＦＰとして指定されているかによって異なることがあり、発明のオペレータ若しくはユ
ーザ又は人間の観察者が実際のシーン内において固視点を設定する様子をエミュレートす
る自動化プロセスによって定義されることができる。必要であれば、ＦＰの場所に関して
は、適切な単位を用いた深度次元における測定値も伴うことができ、これはＶＰとＦＰと
の間の距離に依存する。ＦＰを中心に有するＲＡの大きさは、ＦｏＶＭの面積の１％から
ＦｏＶＭの面積の９９％の間の値をとることができる。
【００３４】
さらなるステップは、本願発明に関して定義した方法に従ってＦｏＶＤを投影するため
の２次元データ空間を作成して最終的イメージを作ることを伴う。このデータ空間は、「
視野イメージ（ＦｏＶＩ：Field of View Image）」として定義される。このデータ空間
は通常横長であり、アスペクト比は１３：８であり、楕円状の形状である（図４ａ参照）
。必要に応じて他のアスペクト比又は形状をＦｏＶＩに適用してシーンを描写することが
できる。次のようにして楕円形のジオメトリを定義する：直径をｘとした２つの円を重ね
合わせて、交差部での幅ａがｘの７０％となるようにする。さらにｙをｘの２６％とした
上で直径をｙとするさらなる２つの円を設けて大きい方の円の交差部にこれらを入れ込ん
でこれらを重ね合わせてこれらの交差部の幅ｂがｙの３５％となるようにする。図４ｂに
示すように、交差する円の境界にある線から楕円形を形作る。シーンを描写するための必
要に応じて他のアスペクト比又は形状をＦｏＶＩに適用することができる。
【００３５】
各ＦｏＶＩの具体的な特性は描写されるシーン及び再現される視点によって異なるが、
ＦｏＶＩの一般的な幾何学的構造は同じシーンについての典型的な線遠近法による投影と
は異なるものとなる。例示的目的にすぎないが、線遠近法による投影における物体の大き
さ及び位置に関する視覚データが概略的に２次元的市松模様パターンとして表されたと仮
定するならば、ＦｏＶＩ内のそのデータの描写は典型的には図５に示すように異なってい
る。ＲＡに対応するシーンの領域は、任意の形状であることができ、ＲＡの外の領域又は
物体よりも通常はイメージにおいてより大きな部分を占め、視界の境界に向かうにつれて
次第に大きさが減じられていく。シーンの物体及び領域は、イメージの左及び右に近づく
につれて水平軸に沿ってますます圧縮され、イメージの上及び下に近づくにつれて垂直軸
に沿ってますます圧縮される。総合的なスケーリング効果は注意範囲及びシーン内の物体
の相対的深度によっても調整され、また、イメージの外側領域において空間的曲率が導入
されて楕円状のイメージが生成される。さらなる例示として、図６では実際の３次元空間
が投影された際のジオメトリが示されており、図６ａでは単眼的線遠近法の投影図法が、
図６ｂでは単眼的魚眼投影図法が示され、これと比較されるのが図６ｃに示されるもので
あり、同図では本願発明の方法に従ってキクロプス的投影法を用いて同じシーンが投影さ
れた場合にどのように見えるかが示される。この場合では、ＲＡは中央の灰色の円板であ
り、該円板の中心にＦＰがある。図６ｃではイメージの上部においては下部に対しての圧
縮より強い圧縮が行われていることが指摘でき、このことはシーンとの関係での観察者の
頭部の位置によって定められるイメージ内で描写される視角に起因している。
【００３６】
ＦｏＶＩ内のデータについて所望のレンダリングを達成するために、ＦｏＶＤを変換す
るプロセスは幾つかのサブステップを必要とし、これらは次に示すように特定される。ま
ず、角度、センチメートル、ピクセル又は他の単位等の適切な単位で定義された２次元的
座標マップをＦｏＶＩの上にオーバーレイする。両眼からのビューを組み合わせるキクロ
プス的イメージが作成される本願発明の１つの実施形態では、他の単位を用いても良いが
、次のように座標マップが定義される：ＦｏＶＩの中心で値を０とし、ＦｏＶＩの最も左
で値を−０．５とし、ＦｏＶＩの最も右で値を０．５とし、ＦｏＶＩの下方エッジで値を
−０．５とし、ＦｏＶＩの上方エッジで値を０．５とする。ＦｏＶＩ上での座標系の分布
態様は、描写される視点の特性及び後述のステップで指定される変数に依存する。例示す
れば、図７ではＦｏＶＩ内での座標分布の例が示される。ＦｏＶＩの周縁がＦｏＶＭ上に
マッピングされた視野の周縁に対応する。
【００３７】
さらなるステップは、ＦｏＶＭ内に配置されたＦＰ及びＲＡをＦｏＶＩ内の対応する座
標にマッピングすることを伴う（図８）。ＦｏＶＭ内で指定されているＦＰ及びＲＡの座
標がＦｏＶＩ上へとマッピングされる変換については、５つのケースが例として図８に示
されている。各ケースにおいて、変換がＦｏＶＩ内において見られるＦＰ及びＲＡの大き
さ及び位置を決定する。図８ａ（１）では、観察者が視野のどこ（幅及び深度を含む）を
固視しているか、及び、視野全体の角度で測ると注目領域がどれほどの大きさであるかを
ＦｏＶＭが記録する。図８ａ（２）は、本願発明によるとどのようにして同じ情報がＦｏ
ＶＩ内で描写されるかを示すものであり、全体の視野における割合を示し、また、ＲＡが
占有するその視野内の位置も示す。図８ｂ乃至図８ｅは、視野内の様々な固視点を基礎と
した場合の同じ変換の様子を示す。
【００３８】
さらなるステップは、ＦｏＶＭ内でキャプチャされた視野全体のデータをＦｏＶＩへと
４．１４に示した原理に基づいてマッピングすることを伴うが、視野内における部分の絶
対的位置並びにＦＰ及びＲＡとの関係に応じて、視野の異なる部分について異なる値をも
とに変換を行う。プロセスは、例示を目的として次の５つのケースで説明される。図９ａ
（１）は、各々ＶＰから等しい距離だけ離された等しい大きさの物体の半円形配列からな
るシーンについての、キクロプス的モード、即ち両眼のビューを組み合わせたモード、で
見たＦｏＶＭを示す。太線で描かれた円板がＲＡを表し、各々の中心にＦＰがある。図９
ａ（２）は、ＦｏＶＩに変換した同じシーンを示す。ＦｏＶＩ内での対応する大きさ及び
位置が見て分かるようにするために、各円板には番号が付されている。図９ａ乃至図９ｅ
は、シーン内の異なるＦＰによってどのようにＦｏＶＩが見えるかの例を示す。
【００３９】
深度による相対的な変化を表現するためにさらなるステップが実行され、このステップ
ではシーン内の奥行きに関するデータと左右の眼の差異とを用いて、同じシーンを見てい
る通常の両眼視を持った人間が見るであろう場面に対応するイメージを描写する。ＶＰと
の関係でのＦＰの深度位置を用いることによってＦｏＶＭ内のデータは図１０に示してい
るようにＦｏＶＩに変換され、各眼のシーンとの関係での位置を知る−これはシーンが記
録された時点においてキャプチャされたＦｏＶＤデータに埋め込まれた情報である。図１
０ａ（１）は、図９と同じシーンを表すが、ＦＰに沿って配置されているがＶＰにより近
い追加の円板（３８番）がある。図１０ａ（２）は、図１０ａ（１）で見られたシーンが
視野イメージにおいてどのように変換されるかを示す。図１０ａ（２）の破線は、各眼に
与えられる視野の境界を定義する観察者の鼻の輪郭を表す。破線間の領域は、同時に両眼
で見ることのできる視野の部分を表す。図１０ａにおいてＦＰは、シーンの後方で円板３
８の後ろにある円板１９上にある。したがって、図１０ａ（２）において円板３８番は、
両眼視差のため、左右の眼についてそれぞれ１回ずつ、即ち計２回出現する。ここで、円
板３８も半透明であることに留意されたい。図１０ｂではＦＰは円板３８上にあり、これ
はＶＰにさらに近づいており、そのため円板３８の背後の領域は２重になったように見え
るのであり、これも両眼視差に起因する。もっとも、この２重化は、描写されている視野
の中央の領域にある両眼間の重複領域内にて主として発生する。円板３８は今度はソリッ
ドに見える。図１０ｂ（２）の外寄りの円板は、図１０ａ（２）のそれらより中心点に近
づいていることに留意されたい。これは、固視と注目の対象が深度に関して移動する場合
にイメージの背景で発生する「知覚的ズーム」効果を表している。図１０ｃ及び図１０ｄ
は、図１０ａ及び図１０ｂと同じビュー及び変換を表すが、円板３８の位置はＶＰに近づ
くように調整されており、図１０ｃ及び図１０ｄにおけるＦＰと円板３８との差が図１０
ａ及び図１０ｂにおける差よりも小さくなるようにしてある。
【００４０】
一般的に、深度軸方向において固視領域の前方又は後方に配置されたシーン内物体又は
シーン内領域は、重複したものとしてかつ半透明なものとしてＦｏＶＩ内にてレンダリン
グされて通常の人間の両眼視で生じる生理的複視の効果をエミュレートする。２重化され
るべきシーンの物体若しくは領域の選定、又は、２重化されたレンダリング間の視差の程
度、又は、それらの半透明度は、シーン内の２重化されるべき領域若しくは物体寸法及び
位置並びにＶＰとの関係でのＦＰの寸法及び位置に依存する。通常は、２重化された物体
又は領域は２つの視点から記録され、視点の位置における差は人間の１組の眼の通常の瞳
孔間隔に等しくされる（図１１）。図１１（１）は、ＶＰとの関係でＦＰが真正面にある
場合の見通し線を示す。図１１（２）は、ＶＰとの関係でＦＰが右側にある場合の見通し
線を示す。結果として、各眼の視野における鼻によって生じる境界の位置は、ＦｏＶＩ内
で描写される全体視野との関係で、図１２ａ及び図１２ｂに示されるように変化する。
【００４１】
ＦｏＶＩ内の視覚情報は、ＲＡに対応する領域が、水平・垂直軸方向でＲＡの外となる
イメージ領域に比べてより高い解像度・精細度・鮮明度を有するようにレンダリングされ
る。ＲＡに対応するイメージの領域は、最高の解像度及び鮮明度をもって描写され、固視
領域の中心からの水平・垂直軸方向での距離の関数としてこれは次第に低下していき、イ
メージの外縁の領域が最低の精細度又は鮮明度をもって描写されるようにされる。イメー
ジの解像度・鮮明度・精細度を低下させる又は低減させるための任意の適切な方法を用い
ることができ、この方法には、ぼかし、スクランブリング、サンプリング低減、データ帯
域低減等が含まれる。
【００４２】
ＦｏＶＩ内の視覚情報は、ＲＡの前方又は後方に配置されている物体がＲＡの領域より
甘いフォーカスでレンダリングされるように整えられ、深度平面上でＲＡから遠くなるイ
メージ部分ほど漸進的により甘くなっていく。
【００４３】
ＦＰが視野の外縁寄りに位置している場合、人間が固視対象を視野の外縁寄りに向かっ
て移動させる場合に通常その人間によって見られるであろう人間の顔面の鼻（若しくは鼻
堤）、眉毛、又は頬を表す追加的なイメージコンポーネントを、ＦｏＶＩは含むことがで
きる。このような追加的コンポーネントはこれらの顔特徴の向こう側若しくは背後に位置
する物体へのビューを遮蔽することになり、又は、鼻は両眼で偏心的に見た場合に半透明
のものとしてレンダリングされる。また、ＦｏＶＩは人間の顔面に近接して配置された他
の物体の描写を含むことができ、これには眼鏡、サングラス、帽子、毛髪の房又は先述の
ように配置されると全体視野において視認可能となる他の物体等が含まれる。このような
物体は、ＦｏＶＩ内では低いフォーカス鮮明度をもってレンダリングされてＶＰにとても
近接した物体については通常の視覚で処理できないということをエミュレートすることに
なる。
【００４４】
固視領域の突出性を向上させるため、イメージの残余の部分と比較して固視される領域
又は物体のイメージコントラストを１％から１００％の係数で増大させる効果をＦｏＶＩ
に施すことができる。
【００４５】
固視領域の突出性を向上させるため、イメージの残余の部分と比較して固視される領域
又は物体のイメージ明度を１％から１００％の係数で増大させる効果をＦｏＶＩに施すこ
とができる。
【００４６】
固視領域の突出性を向上させるため、固視される領域又は物体とイメージの残余の部分
との間の知覚されるエッジコントラストを増大させるように、固視される領域又は物体の
外縁を後光又は輝きで囲む効果をＦｏＶＩに施すことができる。
【００４７】
イメージには色彩効果を加えることができ、ＦｏＶＩの最外縁について彩度及び明度を
減じることができる。
【００４８】
結果をレンダリングする、出力する、又は、印刷するステップは、描写される３次元シ
ーンに関しての２次元イメージを得るための任意の適切な手段によることができる。Ｆｏ
ＶＩは、例えばスクリーン、印刷された表面、塗装された若しくはエッチングされた表面
、光源からイメージが投影されるための表面、ホログラフィックイメージ又は他の適切な
媒体等の任意の適切な媒体上にて提示されることができる。１つの実施形態ではＦｏＶＩ
は略楕円形とされ得るが、必要に応じて他の形状を用いてシーンを描写することができる
。本願発明の１つの実施形態では、ＦｏＶＩは、モニタ等の平面的なスクリーン上若しく
は表面上に若しくは印刷されたページ上に、又は、光の投影若しくはホログラフィックな
手段によって又は他の適切な手段によって表示される。
【００４９】
例示に過ぎないが、図１３は従来の線遠近法フォーマットでキャプチャされた、及び、
本願発明との関連で説明されたステップに従って変換されたシーンを示す。
【００５０】
本願明細書にて説明した方法によって作成したＦｏＶＩを表示するのに非平面スクリー
ンも使用することができ、これは観察者に対して向上した深度錯覚を提供する。表示面は
任意の寸法とすることができ、又は、イメージを表示する用途において適切な任意の素材
によって構成されることができる。本願発明のさらな実施形態では、スクリーンや印刷さ
れた表面等の非平面的な表面にＦｏＶＩが表示され、該表面はＲＡに対応する表面の領域
が平面的表面との関係で相対的に突出している又は後退している形状にされて、表面内に
物理的な膨らみ又は凹みを形成し、それによってＦｏＶＩとの関係で適切に配置された観
察者に対してＦｏＶＩ内での見かけ上の深度感覚を増大させる。本願発明の１つの実施形
態では、イメージが出現する表面の形状は図１４ａに示すようなものであり、他の実施形
態においては図１４ｂに示すようなものである。本願発明の別の実施形態では、イメージ
用の非平面支持体はイメージから生成された３次元深度マップに従って形成され、ＦｏＶ
Ｉ内に描写されたコントゥア（contour）が表面上に印刷又は投影された際には、非平面
表面のコントゥアがＦｏＶＩ内に描写されたコントゥア上にマッピングオンする（図１４
ｃ）。本願発明の別の実施形態では、ＦｏＶＩの外エッジと周辺空間との間の境界が軟化
されるか、なだらかにされるか、隠蔽されるようにするために、ＦｏＶＩの外周において
漸進的な減光、フェーディング又は他の変更を行う。本願発明のさらなる実施形態では、
ＦｏＶＩから前方方向に向かって可変な距離進んだ所に設置された適切に形成された開口
部又は枠の後ろにＦｏＶＩが表示されて、観察者にとってはＦｏＶＩが開口部によって部
分的に遮蔽されたようにみえ、これによって深度錯覚が増大する。１つの実施形態では、
開口部は略楕円形とされ、また、図１５に示されているようにＦｏＶＩの前に配置されて
いる。
【図１】
2019079552.tif 000003
【図２ａ】
2019079552.tif 000004
【図２ｂ】
2019079552.tif 000005
【図２ｃ】
2019079552.tif 000006
【図２ｄ】
2019079552.tif 000007
【図２ｅ】
2019079552.tif 000008
【図３】
2019079552.tif 000009
【図４ａ】
2019079552.tif 000010
【図４ｂ】
2019079552.tif 000011
【図５ａ】
2019079552.tif 000012
【図５ｂ】
2019079552.tif 000013
【図６ａ】
2019079552.tif 000014
【図６ｂ】
2019079552.tif 000015
【図６ｃ】
2019079552.tif 000016
【図７】
2019079552.tif 000017
【図８ａ】
2019079552.tif 000018
【図８ｂ】
2019079552.tif 000019
【図８ｃ】
2019079552.tif 000020
【図８ｄ】
2019079552.tif 000021
【図８ｅ】
2019079552.tif 000022
【図９ａ】
2019079552.tif 000023
【図９ｂ】
2019079552.tif 000024
【図９ｃ】
2019079552.tif 000025
【図９ｄ】
2019079552.tif 000026
【図９ｅ】
2019079552.tif 000027
【図１０ａ】
2019079552.tif 000028
【図１０ｂ】
2019079552.tif 000029
【図１０ｃ】
2019079552.tif 000030
【図１０ｄ】
2019079552.tif 000031
【図１１】
2019079552.tif 000032
【図１２ａ】
2019079552.tif 000033
【図１２ｂ】
2019079552.tif 000034
【図１３ａ】
2019079552.tif 000035
【図１３ｂ】
2019079552.tif 000036
【図１３ｃ】
2019079552.tif 000037
【図１３ｄ】
2019079552.tif 000038
【図１３ｅ】
2019079552.tif 000039
【図１４ａ】
2019079552.tif 000040
【図１４ｂ】
2019079552.tif 000041
【図１４ｃ】
2019079552.tif 000042
【図１５】
2019079552.tif 000043
【図１６】
2019079552.tif 000044
【図１７】
2019079552.tif 000045
【手続補正書】
【提出日】平成31年1月22日(2019.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人間の眼を介して人間の脳によって知覚されるイメージに一般的に対応するシーンについてのイメージを形成する方法であって、前記方法は、任意の適切な順番で、
前記シーン内の固視点（ＦＰ）を固視する際に人間の観測者が所定の「ビューイングポイント」（ＶＰ）から見ることのできる視野の全部又は一部からなるシーンを描写する視野データを、キャプチャするステップであって、前記視野データは、前記ＶＰとの関係での前記シーン内の物体の深度値に関する情報をさらに含む、ステップと、
描写される視野の次元及び形状に相当する境界を有する３次元座標マップに、視野データをオーバーレイし、シーン内の領域や物体の位置を視野全体との関係で決定するステップと、
前記３次元座標マップ上で、人間が前記シーン内において注目している前記物体又は前記領域に対応する、前記固視点（ＦＰ）の場所及び注目領域（ＲＡ）の場所を指定するステップであって、前記固視点（ＦＰ）は前記注目領域（ＲＡ）の中心内に含まれる、ステップと、
前記３次元座標マップ内の前記固視点（ＦＰ）及び注目領域（ＲＡ）の座標を、２次元座標マップがオーバーレイされた２次元視野イメージ内における対応する座標上に、マッピングするステップと、
前記注目領域（ＲＡ）の外の前記シーンの領域が、前記視野の前記境界に向かうにつれて、大きさを次第に減ずるように、前記２次元視野イメージ上に、前記３次元座標マップ内の前記視野データをマッピングするステップであって、大きさの減少は、前記注目領域（ＲＡ）の大きさ、及び前記ビューイングポイント（ＶＰ）との関係での前記シーン内の物体の前記深度値に関する情報によっても調整される、ステップと、
を含む、方法。
【請求項２】
前記視野データにおいて、シーンとの関係での顔特徴の大きさ及び位置、並びに／又は、前記人間の顔面に近接して配置された物体に関する情報を提供するステップであって、前記固視点（ＦＰ）が前記視野の外縁寄りに位置している場合、顔特徴を表す追加的なイメージコンポーネントは前記視野イメージにおいてレンダリングされ、前記人間の顔面に近接して配置された他の物体は前記視野イメージにおいて低いフォーカス鮮明度をもってレンダリングされる、ステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記視野イメージは略楕円形である、請求項１又は２に記載の方法。
【請求項４】
前記視野イメージは横長でアスペクト比がおよそ１３：８である、請求項３に記載の方法。
【請求項５】
出力視野イメージを、非平面的な支持体又はスクリーンを用いて前記出力視野イメージにおいて知覚される深度感を増大させる表面の上に又は媒体を通して表示するステップをさらに含む、請求項１乃至請求項４のいずれか一項に記載の方法。
【請求項６】
前記出力視野イメージから前方方向に向かって可変な距離進んだ所に適切な大きさ及び形状の開口部又は枠を配置するステップと、
観察者にとって前記出力視野イメージが前記開口部又は枠によって部分的に遮蔽されたようにみえ、これによって前記観察者がより大きな深度感を体験できるようにするように、前記開口部又は枠を通して前記出力視野イメージを観察するステップと、
をさらに含む、請求項５に記載の方法。
【請求項７】
前記出力視野イメージの観察者により適用される、適切な入力又は追跡システムを通じて前記視野イメージの特性をリアルタイムで変更するステップであって、変更される前記特性は、前記固視点（ＦＰ）の場所、前記注目領域（ＲＡ）の大きさ、視界のスパン、明瞭さ、フォーカシング、二重化、コントラストの度合いを含む、ステップをさらに含む、請求項１乃至請求項６のいずれか一項に記載の方法。
【外国語明細書】
2019079552000001.pdf