(57)【要約】  ディスプレイ（１０３）用の画像信号を生成する装置は、画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバ（１０５）を有する。画像ジェネレータ（１０７）は、３次元データとレンダリング視点とに基づき、画像シーケンスの表示画像を生成する。ショット移行ディテクタ（１１１）は、画像シーケンス中のショット移行を検出し、視点コントローラ（１１３）は、ショット移行と同期してレンダリング視点を変更する。信号ジェネレータ（１０９）は、信号を生成してディスプレイ画像を含める。この装置はさらにビュアーの動きを追跡して、適宜レンダリングを適応させる。また、このシステムは、名目的視点に向けて視点にバイアスをかける。追跡による視点変更は非同期であり、バイアスによる視点変更はショット移行に同期していてもよい。
2014524181.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ用の信号を生成する装置であって、
画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、
前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、
前記画像シーケンス中のショット移行を検出するショット移行検出器と、
前記ショット移行と同期して前記レンダリング視点を変更する視点コントローラと、
前記信号を生成して前記ディスプレイ画像を含める信号ジェネレータとを有する、装置。
【請求項２】
前記ディスプレイのビュアーの位置の位置表示を受け取る入力と、
前記位置表示に応じてビュアー視点推定を決定するプロセッサと、をさらに有し、
前記視点コントローラは、前記ビュアー視点推定に応じて前記レンダリング視点を決定するように構成されている、請求項１に記載の装置。
【請求項３】
前記視点コントローラは、前記レンダリング視点を調整して、前記ショット移行に非同期で前記ビュアー視点推定の変化を追跡するように構成されている、請求項２に記載の装置。
【請求項４】
前記レンダリング視点を前記名目的視点に向けてバイアスをかけるステップは、
前記レンダリング視点と名目的視点との間の差、
前記ビュアー視点推定と名目的視点との間の差、
前記画像シーケンスのコンテンツ特性、
前記画像シーケンスの奥行き特性、
ショート移行周波数推定、
ショットの時間的長さ、及び
前記レンダリング視点の画質劣化表示のうちの少なくとも一に依存する、請求項２に記載の装置。
【請求項５】
前記視点コントローラは、ショット移行に関連して前記レンダリング視点に段階的変更を導入するように構成されている、請求項１に記載の装置。
【請求項６】
前記視点コントローラは、前記ショット移行と同期して、前記レンダリング視点を前記名目的視点に向けて変更することにより、名目的視点に向けて前記レンダリング視点にバイアスをかけるように構成されている、請求項１に記載の装置。
【請求項７】
前記ディスプレイはモノスコピックディスプレイである、請求項１に記載の装置。
【請求項８】
前記ディスプレイはステレオスコピックディスプレイである、請求項１に記載の装置。
【請求項９】
ショットカットを前記画像シーケンスに導入するように構成されたショットカットジェネレータをさらに有する、請求項１に記載の装置。
【請求項１０】
前記ショットカットジェネレータは
ショットデュレーション特性が基準を満たす、
前記レンダリング視点が基準を満たす、
画質劣化表示が基準を満たす、及び
ビュアーがオートステレオスコピックディスプレイのビューイングコーンバウンダリを横切ったことの検出、のうちの少なくとも一に応じて前記ショートカットを導入するように構成されている、請求項９に記載の装置。
【請求項１１】
前記視点コントローラは、基準が満たされるとそれに応じて第２の動作モードに切り替わり、前記視点コントローラは、前記第２の動作モードにおいて、前記ショット移行と同期せずに、前記レンダリング視点を前記名目的視点に変更することにより、前記ディスプレイの名目的視点に向けて前記レンダリング視点にバイアスをかけるように構成されている、請求項１に記載の装置。
【請求項１２】
前記視点コントローラは、前記レンダリング視点を前記名目的視点に制限するように構成されている、請求項１に記載の装置。
【請求項１３】
ディスプレイ用の信号を生成する方法であって、
画像シーケンスの３次元（３Ｄ）データを含むビデオ信号を受け取るステップと、
前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成するステップと、
前記画像シーケンス中のショット移行を検出するステップと、
前記ショット移行と同期して前記レンダリング視点を変更するステップと、
前記信号を生成して前記ディスプレイ画像を含ませるステップと、を有する方法。
【請求項１４】
コンピュータで実行されると、請求項１３のすべてのステップを実行するように構成されたコンピュータプログラムコード手段を有するコンピュータ読み取り可能記憶媒体。
【請求項１５】
ディスプレイであって、
画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、
前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、
前記画像シーケンス中のショット移行を検出するショット移行検出器と、
前記ショット移行と同期して前記レンダリング視点を変更する視点コントローラと、
ディスプレイパネルと、
前記ディスプレイパネルを駆動して前記ディスプレイ画像をレンダするディスプレイドライバとを有する、ディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ用信号の生成に関し、具体的には、ビュアーの視点に依存する３次元画像情報のレンダリングに関するが、これに限定されない。
【背景技術】
【０００２】
近年、画像及びビデオコンテンツの３次元（３Ｄ）知覚の提供に関する関心が高くなり、ビュアーの両眼に異なるビューを提供することにより３Ｄ効果を提供する３Ｄディスプレイが導入された。かかるディスプレイには、タイムシーケンシャル（time  sequential）に左右の目に画像を投影するタイムシーケンシャル立体ディスプレイが含まれる。ビュアーは、左右の目への光を交互にブロックし、各目がその目用の画像のみを見るようにするＬＣＤ要素を有するメガネを装着する。他の一タイプのディスプレイは、ビュアーがメガネを装着する必要が無いオートステレオスコピックディスプレイである。かかるディスプレイは、一般的に、比較的多くの画像を異なるビューイングコーンでレンダ（render）する。例えば、典型的なオートステレオスコピックディスプレイは、９個の異なるビューイングコーンであってそれぞれ異なる視点のセットに対応するビューコーンをインプリメントする。かかるディスプレイは、同時に９個の異なる画像を提供する。
【０００３】
他の一例として、動き視差機能を実装した従来の２次元ディスプレイで３Ｄ効果を実現できる。かかるディスプレイは、ユーザの動きを追跡して、提供される画像を適宜適応させる。３Ｄ環境では、ビュアーの頭の動きにより、近くにあるオブジェクトの動きは遠近感の比較的大きいものとなり、一方、もっと後のオブジェクトの動きは次第に小さくなり、無限に遠く（infinite  depth）にあるオブジェクトは動かない。それゆえ、ビュアーの頭の動きに基づき２次元ディスプレイに異なる画像オブジェクトの相対的な動きを提供することにより、かなりの３Ｄ効果を実現することができる。
【０００４】
３Ｄ画像効果の望みをかなえるために、キャプチャされたシーンの３Ｄアスペクトを記述するデータを含むコンテンツを制作する。例えば、コンピュータ生成されたグラフィックスの場合、３次元モデルを開発して、それを用いて、所与のビューイングポジションからの画像を計算する。かかるアプローチは、例えば、３次元効果を提供するコンピュータゲームによく用いられる。
【０００５】
他の一例として、３Ｄ情報を含む映画やテレビジョン番組などのビデオコンテンツがますます多く作成されている。かかる情報は、少しオフセットしたカメラ一から同時に２つの画像をキャプチャする専用の３Ｄカメラを用いてキャプチャできる。ある場合には、さらにオフセットした位置から同時により多くの画像をキャプチャできる。例えば、互いにオフセットされた９つのカメラを用いて、９つのビューイングコーンオートステレオスコピックディスプレイの９つの視点に対応する画像を生成できる。
【０００６】
しかし、大きな問題は、情報が追加されるにつれデータ量が大幅に増大することであり、ビデオデータの配信、通信、処理及び記憶が非現実的になる。したがって、３Ｄ情報の効率的な符号化が重要である。そのため、効率的な３Ｄ画像とビデオの符号化フォーマットであって必要なデータレートを大幅に低減できるものが開発されている。
【０００７】
かかる符号化フォーマットの１つは、所与のビュアー位置の左目画像と右目画像を符号化する。コーディング効率は、２つの画像を互いに関連して符号化することにより高める。例えば、画像間予測を利用したり、ある画像を他の画像に対する差分として符号化したりできる。
【０００８】
他の一符号化フォーマットは、関連画像オブジェクトの奥行きを示す奥行き情報とともに一または二の画像を提供する。この符号化はさらに前景にある画像要素により閉鎖（occlude）された画像オブジェクトの情報を提供するオクルージョン情報（occlusion  information）により補足される。
【０００９】
これらの符号化フォーマットにより、直接符号化画像のレンダリングが高品質になり、すなわち、画像データが符号化された視点に対応する画像のレンダリングが高品質になる。さらに、これらの符号化フォーマットにより、画像処理ユニットが、キャプチャされた画像の視点に対してずれた視点の画像を生成できる。同様に、画像オブジェクトは、画像データとともに提供される奥行き情報に基づき、画像内でシフトされ得る。さらに、オクルージョン情報があれば、それを用いて、画像により表されていないエリアを埋めることができる。
【００１０】
このように、受け取ったデータに基づいて、画像処理ユニットは他の視点の画像を生成できる。例えば、画像処理ユニットは、ユーザが頭を動かした時の動き視差を表す複数のビューを生成でき、または９つのビューイングコーンオートステレオスコピック画像の９つの視点すべてのビューを生成してもよい。かかる処理により、ビュアーが例えばオブジェクトを「見回れる」複数の画像を生成できる。
【００１１】
しかし、問題は、最初に符号化された画像の視点とは異なる視点の画像が、最初に符号化された画像と比べて、すなわち元のカメラ位置で生成された画像と比べて、画質が劣ってしまうことにある。例えば、画像オブジェクトの相対的なオフセットはほぼ正しいだけであり、または視点の変化の結果として見えるようになった（de-occluded）画像オブジェクトについて、オクルージョン情報が無いことがある。実際、知覚される画質劣化は、視点の変化につれて非線形に増大する。よって、視点オフセットが２倍になると、一般的に知覚される画質劣化は２倍を大幅に上回る。
【００１２】
よって、改善されたアプローチが望ましく、具体的には、柔軟性が高く、知覚される画質が向上し、空間体験が改善され、視点適応が改善され、及び／または性能がよいアプローチが望ましい。
【発明の概要】
【００１３】
従って、本発明は、好ましくは、単独でまたは組み合わされて、上記の１つ以上の不利な点を緩和もしくは解消するものである。
【００１４】
本発明の一態様では、ディスプレイ用の信号を生成する装置を提供する。該装置は、画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、前記画像シーケンス中のショット移行を検出するショット移行検出器と、前記ショット移行と同期して前記レンダリング視点を変更する視点コントローラと、前記信号を生成して前記ディスプレイ画像を含める信号ジェネレータとを有する。
【００１５】
本発明は、改善されたビューイング体験を提供し、具体的には、多くのシナリオにおいて改善された平均画質が知覚される。本発明により、３次元画像コンテンツを見ているユーザが、より自然なユーザ体験を得られる。本アプローチにより、提示される画像の視点の変化がユーザに気づかれにくくし、システムが自由にかつ柔軟に視点を変更できるようにする。
【００１６】
３次元データは、任意の好適なフォーマットで提供され得る。例えば、複数の異なるビューイングアングルに対応する複数の画像、奥行き情報と結合した一または複数の画像、またはこれらのアプローチの組合せなどで提供され得る。
【００１７】
本発明の任意的特徴によると、上記装置は、前記ディスプレイのビュアーの位置の位置表示を受け取る入力と、前記位置表示に応じてビュアー視点推定を決定するプロセッサと、をさらに有し、前記視点コントローラは、前記ビュアー視点推定に応じて前記レンダリング視点を決定するように構成されている。
【００１８】
改善されたユーザ体験が実現できる。例えば、ユーザは、自分の頭を動かす時、現実的かつ自然な視差を知覚する一方、同時に、システムに新しい準静的位置に適合させる。この適合により、シーンに対するユーザの視点が変化し、この変化がユーザに気づかれにくくなる。このアプローチにより、提示される画像をビュアーの頭の動きに動的に適合させることと、好ましい視点に対応する画像をレンダすることとの間のトレードオフが改善される。
【００１９】
位置表示は、３次元、２次元または１次元のユーザの位置特性の表示である。例えば、位置表示は、ディスプレイからビュアー視点までの角度の、またはディスプレイに平行な水平軸に沿った位置の表示である。
【００２０】
本発明の任意的特徴によると、前記視点コントローラは、前記レンダリング視点を調整して、前記ショット移行に非同期で前記ビュアー視点推定の変化を追跡するように構成されている。
【００２１】
これにより、ユーザの動きに対する画像の滑らかかつ自然な適応が可能となる一方、システムがレンダリング視点への他の変化をユ―ザには気づかれにくく導入することができる。このアプローチにより、具体的に、動き視差の自然な体験が生成でき、それにより強い３Ｄキューが提供される。
【００２２】
本発明の任意的特徴によると、前記レンダリング視点を前記名目的視点に向けてバイアスをかけるステップは、前記レンダリング視点と前記名目的視点との間の差、前記ビュアー視点推定と名目的視点との間の差、前記画像シーケンスのコンテンツ特性、前記画像シーケンスの奥行き特性、ショット移行周波数推定、ショットの時間的長さ、及び前記レンダリング視点の画質劣化表示、のうちの少なくとも一に依存する。
【００２３】
これにより、性能が改善され、及び／またはユーザ体験が改善される。
【００２４】
本発明の任意的特徴によると、前記視点コントローラは、ショット移行に関連して前記レンダリング視点に段階的変更を導入するように構成されている。
【００２５】
これにより、ユーザ体験が改善され、視点変化が気づきにくくなり及び／またはその速さが遅くなる。視点コントローラは、さらに、ショット移行間の時間において、レンダリング視点のビュアーの動きへの連続的かつ滑らかな適応を実行するように構成されている。
【００２６】
本発明の任意的特徴によると、
前記視点コントローラは、前記ショット移行と同期して、前記レンダリング視点を前記名目的視点に向けて変更することにより、名目的視点に向けて前記レンダリング視点にバイアスをかけるように構成されている。
【００２７】
これにより、レンダされる画像の画質が改善される一方、同時に、システムがビュアーの頭の位置の変化を動的に追随できる。一般的には、画質は名目的視点に対応する視点のものが高い。名目的視点は、例えば、３Ｄデータが提供された視点などのオーサリングされた視点に対応する。この名目的視点から変位した場合、画像の生成により一般的に画像の劣化とアーティファクトが生じる。ビュアーが位置を変えると、ビュアーの視点も変わる。レンダリング視点がビュアーの視点に追随するようにレンダリングを適応させることにより、例えば、動き視差を含み、ユーザがオブジェクトを「見回せる」、非常に現実的な３Ｄ体験を提供し得る。しかし、視点の変化により一般的には画像が劣化する。したがって、本システムは、提示される画像の画質を改善するため、ビュアー視点から名目的視点に向けて、レンダリング視点にバイアスをかける。さらに、この視点の変化はショット移行と同期され、その結果視点変化はユーザに気づかれにくくなる。このように、画質の改善が実現できる一方、ユーザの動きに対する自然な応答ができる。
【００２８】
ある実施形態では、位置表示のバリエーション特性がある基準を満たす時のみバイアスが導入される。例えば、ある時間におけるユーザの頭の動きがある大きさより小さいとき、バイアスが導入される。しかし、この例では、あるレベルより大きいユーザの動きが検出されると、バイアスは導入されず、レンダリング視点はビュアー視点に従う。
【００２９】
バイアスは所定のバイアスであってもよい。例えば、名目的視点に向けたレンダリング視点の所定変化が導入される。
【００３０】
名目的視点は、ディスプレイの真ん前の位置及び所定の高さなどのディスプレイに対する名目的視点であり得る。名目的視点は具体的にはディスプレイの中央ビューイング位置に対応する。名目的視点は、ビデオ信号の画像をキャプチャまたは生成した時の、例えばカメラ視点などの、受け取るビデオ信号のオーサリング視点に対応する。
【００３１】
本発明の任意的特徴によると、前記ディスプレイはモノスコピックディスプレイである。
【００３２】
本発明は、モノスコピックディスプレイにおいて３Ｄコンテンツを見ているユーザのユーザ体験を改善する。具体的には、このアプローチにより、レンダされる画像の動き視差適応の実施により３Ｄ効果を得られる一方、同時にシステムが、画質が向上した画像を（少なくとも部分的に）気づかれずに返すことができる。
【００３３】
信号生成は、モノスコピック画像を含む駆動信号を生成するように構成できる。表示画像はモノスコピック画像であってもよい。
【００３４】
本発明の任意的特徴によると、ディスプレイは立体ディスプレイである。
【００３５】
本発明は、立体（stereoscopic）ディスプレイにおいて３Ｄコンテンツを見ているユーザのユーザ体験を改善する。具体的に、本アプローチにより、左右の目に対して異なる画像の立体レンダリングによる３Ｄ効果が得られ、任意的に、レンダされる画像の動き視差適応の実施ができる。このアプローチにより、視点変更が気づきにくくなり、具体的には、提示される立体画像の好ましい視点に気づかれにくく戻ることができる。
【００３６】
信号生成は、ステレオスコピック（stereoscopic）画像を含む駆動信号を生成するように構成できる。表示画像はステレオスコピック画像であってもよい。
【００３７】
ステレオスコピックディスプレイは、オートステレオスコピックディスプレイであってもよい。
【００３８】
本発明の任意的特徴によると、本装置は、ショットカットを前記画像シーケンスに導入するように構成されたショットカットジェネレータをさらに有する。
【００３９】
これにより多くのシナリオでユーザ体験が改善される。例えば、提示されるコンテンツが非常に頻繁なショット移行を含まなくても、視点変化の知覚可能性を低減する。本システムは、レンダリング視点変化を画像シーケンスのショット移行に対応するように適応し、かかる適応がレンダリング視点に好適な変化を提供させない場合、画像シーケンスに追加的ショット移行を導入する。
【００４０】
本発明の任意的特徴によると、前記ショットカットジェネレータは、ショットデュレーション特性が基準を満たす、前記レンダリング視点が基準を満たす、画質劣化表示が基準を満たす、及びビュアーがオートステレオスコピックディスプレイのビューイングコーンバウンダリを横切ったことの検出、のうちの少なくとも一に応じて前記ショートカットを導入するように構成されている。
【００４１】
これにより、多くのシナリオにおいて及び多くの異なるビデオ信号とビデオコンテンツについて、ユーザ体験が改善される。
【００４２】
本発明の任意的特徴によると、前記視点コントローラは、基準が満たされるとそれに応じて第２の動作モードに切り替わり、前記視点コントローラは、前記第２の動作モードにおいて、前記ショット移行と同期せずに、前記レンダリング視点を前記名目的視点に変更することにより、前記ディスプレイの名目的視点に向けて前記レンダリング視点にバイアスをかけるように構成されている。
【００４３】
これにより、ビデオコンテンツのより大きな範囲の好適性が改善される。例えば、画像シーケンスの特性のためレンダリング視点を好適に変更できない場合、レンダリング視点変更がショット移行に同期しない異なるモードを用いてもよい。例えば、名目的視点に対応するビューに向けて画像のゆっくりした回転を見ているユーザに対応するレンダリング視点のゆっくり連続した変化を用いる。
【００４４】
第２の動作モードでは、バイアスは、ショット移行同期モードよりもゆっくりしている。
【００４５】
本発明の任意的特徴によると、前記視点コントローラは、前記レンダリング視点を前記名目的視点に制限するように構成されている。
【００４６】
これにより、多くのシナリオにおいて画像レンダリングが改善され、画質と視点変更特性との間の好適なトレードオフが保証される。
【００４７】
本発明の一態様では、ディスプレイ用の信号を生成する方法を提供する。該方法は、画像シーケンスの３次元（３Ｄ）データを含むビデオ信号を受け取るステップと、前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成するステップと、前記画像シーケンス中のショット移行を検出するステップと、前記ショット移行と同期して前記レンダリング視点を変更するステップと、前記信号を生成して前記ディスプレイ画像を含ませるステップと、を有する。
【００４８】
本発明の一態様では、コンピュータプログラム製品が提供される。該コンピュータプログラム製品は、コンピュータプログラムコード手段であって、コンピュータで実行されたとき、上記方法のすべてのステップを実行するように構成されたものを含む。
【００４９】
本発明の一態様では、ディスプレイが提供される。該ディスプレイは、画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、前記画像シーケンス中のショット移行を検出するショット移行検出器と、前記ショット移行と同期して前記レンダリング視点を変更する視点コントローラと、ディスプレイパネルと、前記ディスプレイパネルを駆動して前記ディスプレイ画像をレンダするディスプレイドライバとを有する。
【００５０】
本発明の上記その他の態様、特徴、及び利点を、以下に説明する実施形態を参照して明らかにして説明する。
【図面の簡単な説明】
【００５１】
図面を参照して、本発明の実施形態を例示により説明する。
【図１】本発明の実施形態によるディスプレイシステムの例を示す図である。
【図２】３次元シーンを示す図である。
【図３】図１の３次元シーンの２次元表現を開示する図である。
【図４】図１の３次元シーンの２次元表現を開示する図である。
【図５】図１の３次元シーンの２次元表現を開示する図である。
【図６】図１の３次元シーンの２次元表現を開示する図である。
【図７】図１の３次元シーンの２次元表現を開示する図である。
【図８】図１の３次元シーンの２次元表現を開示する図である。
【図９】図１の３次元シーンの２次元表現を開示する図である。
【図１０】ディスプレイに３次元シーンを提示する時の投影例を示す図である。
【図１１】本発明の実施形態による表示システムの例を示す図である。
【発明を実施するための形態】
【００５２】
以下の説明では、ディスプレイ上に提示された３次元シーンの、ビュアーの正しいパースペクティブ（perspective）を維持しようとするディスプレイシステムに適用可能な本発明の実施形態にフォーカスする。しかし、言うまでもなく、本発明はこのアプリケーションに限定されず、例えば、芸術的、歪んだ、または人工的パースペクティブを導入または維持しようとするアプリケーションにも等しく適用できる。
【００５３】
図１は、本発明の実施形態によるディスプレイシステムを示す図である。このシステムは、ディスプレイ１０３に結合した画像処理ユニット１０１を有する。ある実施形態では、画像処理ユニット１０１とディスプレイ１０３は別々のものであり、例えば画像処理ユニット１０１は別のセットトップボックス（例えば、パーソナルビデオレコーダ、ホームシネマアンプリファイアなど）であり、またはその一部であり、ディスプレイ１０３はテレビジョン、ビデオモニター、またはコンピュータディスプレイ等の別のもの（separate  entity）である。かかる実施形態では、画像処理ユニット１０１とディスプレイ１０３は、ダイレクトケーブル、ダイレクト無線接続、または通信ネットワーク（例えば、ＷｉＦｉベースネットワーク）を含む好適な通信媒体を介して結合されている。
【００５４】
他の実施形態では、画像処理ユニット１０１はディスプレイの一部であり、画像処理ユニット１０１はディスプレイパネル（例えば、ＬＣＤやプラズマディスプレイパネル）用の駆動信号を発生する機能を有する。
【００５５】
画像処理ユニット１０１はビデオ信号を受け取るレシーバ１０５を有する。ビデオ信号は、画像シーケンスの３次元（３Ｄ）データを含む。３Ｄデータにより、その好適な処理により、３Ｄ画像が生成される。
【００５６】
ある実施形態では、３Ｄデータは同じシーンの異なる視点に対応する複数の（一般的には同時）画像を含む。例えば、左目ビュー用の画像が提供され、右目ビュー用の対応する画像が提供される。２つの画像は、異なる視点からの同じシーンを表し、そのシーンの立体３Ｄ表現を提供する。他の実施形態では、対応する３以上の画像が提供される。
【００５７】
他の一例として、３Ｄデータは奥行きデータとともに入力データとして提供される。例えば、単一画像を、異なる画像エリアとオブジェクト（または個々の画素）の対応する奥行きを示すデータとともに提供してもよい。奥行きデータは、例えば、ディスパリティ（disparity）またはｚ成分として与えられる。さらに、他の画像エリアにより完全にまたは部分的に遮られた（ocluded）画像オブジェクトの画像情報を表すオクルージョン画像データを提供してもよい。
【００５８】
レシーバ１０５は、好適な内部または外部のソースからビデオ信号を受け取る。例えば、ビデオ信号は、外部の通信または配信ネットワークから、外部のブルーレイプレーヤ、パーソナルビデオレコーダなどの好適なソースから直接、または内部光ディスクリーダ、ハードディスクまたはローカル画像ジェネレータ（好適な処理プラットフォームにより実装されたグラフィカルモデルなど）の内部ソースから、受け取られる。
【００５９】
レシーバ１０５は画像ジェネレータ１０７に結合し、画像ジェネレータ１０７は、３Ｄデータとレンダリングする視点とに基づき入力画像シーケンスの表示画像を生成するように構成されている。画像ジェネレータ１０７は、ディスプレイにより提示でき、そのシーンの所与のレンダリング視点に対応する画像を生成するように構成されている。よって、レンダリング視点にあるビュアー／カメラから見たビューを表す表示画像が生成される。レンダリング視点は、入力画像シーケンスが生成または参照されたコンテンツまたはオーサリング視点とは異なる。
【００６０】
例えば、入力信号は所与のオーサリング視点に対して生成された画像シーケンスを含む。オーサリング視点は、その画像を記録する実際のカメラの視点であるか、またはグラフィカルモデルにより用いられる仮想カメラ視点である。これらの画像の画像データに加え、３Ｄデータは、ディスパリティデータの形式などの奥行き情報をさらに含む。画像ジェネレータ１０７は、奥行きデータを用いて画像を処理して、そのシーンが異なる視点からどう見えるかを反映した画像を生成できる。このように、画像ジェネレータ１０７は、入力データの元の視点または通常の視点とは異なる視点からレンダリングされる表示画像を生成する。
【００６１】
画像ジェネレータ１０７は、出力回路１０９に結合している。出力回路１０９は、画像ジェネレータ１０７によりレンダされる画像を含む出力信号を生成する。言うまでもなく、出力信号の具体的なフォーマットは、具体的な実施形態とディスプレイの特性とに依存する。例えば、ある実施形態では、符号化された画像を含む出力信号が生成される。符号化は、例えば、ＭＰＥＧ符号化標準などの既知の符号化標準に従うものである。他の実施形態では、出力信号は好適なディスプレイパネル用の駆動信号を含む。
【００６２】
本システムは入力画像データの視点と比べてレンダリングされる画像の視点を変える。具体的な例では、本システムは、異なる方法と目的で視点を変えるように構成されている。実際、ある視点変更は、ユーザに顕著かつ有利な３Ｄ効果を提供するために導入されるが、他の視点変更は、ユーザにはあまり気づかれないことを意図されている。
【００６３】
具体的には、本システムは、ユーザに気づかれないことを意図した視点変更を導入することもある。
【００６４】
かかる視点変更をサポートするため、図１のシステムは、受信された画像シーケンス中のショット移行（shot  transitions）を検出するように構成されたショット移行検出器１１１を有する。
【００６５】
ショットは、ビジュアル変化が十分小さく、単一表示シーンの単一の連続的観察として知覚される連続した画像シーケンスである。ショットは、（場合によっては連続的に移動している）一視点で連続的にキャプチャされ、時間的及び空間的に連続したアクションを表す、相互に関連した連続した一連の画像と考えられる。一般的には、ショット移行は、シーン変化が合ったとき、及び／またはあるシーンの視点が突然変化したときに、例えばある時間区間中の視点変化がある閾値を越えるときに、生じると考えられる。
【００６６】
ある画像（フレーム）から次のフレームまたは少なくとも数フレーム先への移行がショット移行は突然である。他の場合には、ショット移行は、よりゆっくりなものであり、かつより多くの画像／フレームにわたるものであってもよい。かかるシナリオでは、移行は２つのショットの画像を徐々にマージして、前のショットを徐々にフェードアウトして、新しいショットを徐々にフェードインすることを含む。
【００６７】
言うまでもなく、本発明を損なうことなく、ショット移行を検出する好適な基準またはアルゴリズムを用いることができる。
【００６８】
例えば、あるシナリオでは、受け取るビデオ信号は、画像シーケンス中でショット移行がいつ起きるかを示すメタデータを含む。例えば、映画の編集中、あるフィルムクリップから次への移行がいつあるかを示すデータを生成できる。このデータは符号化された信号に含まれ得る。かかるシナリオでは、ショット移行検出器１１１は、ショット移行を示すメタデータを抽出できる。
【００６９】
しかし、一般的には、ショット移行検出器１１１は、画像シーケンスを分析して、どこでショット移行が生じるか推定するように構成される。一般的に、ショット検出は、含まれる画像の特性における変化の検出に基づくこともある。このように、ショット移行検出器１１１は、様々な画像特性を連続的に生成し、特性がある所与の基準に合った時にショット移行が生じたと考える。
【００７０】
例えば、ショット移行は、平均輝度と色分布がある数のフレームないである閾値より大きく変化した時に起こったと考えられる。
【００７１】
ショット移行検出方法の技術水準及びそれらの機能の概要は、次の文献に記載されている：Alan  F.  Smeaton著「Video  shot  boundary  detection:  Seven  years  of  TRECVid  activity」、Computer  Vision  and  Image  Understanding  １１４(２０１０)４１１−４１８，２０１０。
【００７２】
ショット移行検出のより具体的な一例として、フレームをサムネイルサイズにスケールダウンして、そのサムネイルをベクトルとして再解釈して、連続するベクトルのＬ２ノルムを計算することにより、連続するフレームの類似性計算に基づく方法を考える。計算されたノルムが所定閾値より大きい場合にのみショット移行が検出される。この方法は、より複雑なフレーム類似性の尺度を含めること、及び／または連続したフレームだけでなくウィンドウ中の複数のフレームを比較することにより拡張できる。後者により、段階的な移行の正しい解釈が可能になり、光のフラッシュなどのニセの移行を無視できる。
【００７３】
言うまでもなく、ある実施形態では、ショット移行検出器１１１は、様々な並行検出アルゴリズムまたは基準を含む。例えば、検出器１１１は、ショット移行のみならず、それがハード移行か段階的移行か検出する。
【００７４】
ショット移行検出器１１１は、視点コントローラ１１３に結合され、視点コントローラ１１３はさらに画像ジェネレータ１０７に結合されている。視点コントローラ１１３はレンダリング視点を決定する。レンダリング視点は、画像ジェネレータ１０７が出力表示画像を生成するのに用いる。このように、視点コントローラ１１３は画像がレンダされる視点を決定する。
【００７５】
場合によっては、視点が変わったことにビュアーが気づくことが意図されている。例えば、対応してレンダリング視点を動かすことにより、ビュアーが前景のオブジェクトを見回って背景の要素を見る印象を実現できる。しかし、他のシナリオでは、ユーザが気づかずに視点を動かすことが意図されている。それゆえ、シナリオによっては、レンダリング視点の変化が気づかれにくくすることが望ましい。
【００７６】
図１の視点コントローラは、（少なくとも時々）レンダリング視点を検出されたショット移行に同期させることによりこれを実現するように構成される。具体的な例として、視点変化はショット移行中だけに生じるように制限してもよい。これにより、視点変化がビュアーに気づかれないように、提示されたコンテンツの移行に関連してこれらの視点変化を生じることになる。
【００７７】
例えば、画像の入力シーケンスは、彫像を前面から見た第１のショットを含む。前面の彫像により見えない背景の要素のビューを提供するため、現在のレンダリング視点が片側にオフセットされる。この視点はショット中維持される。入力画像でショット移行が生じ、例えば全く異なるシーンを見せる場合、これはショット移行検出器１１１により検出される。これに応じて、検出器１１１はレンダリング視点を入力画像の視点に戻す。これは、シーンが完全に変わるのでユーザには気づかれず、２つのショットには共通するまたは連続した視点参照（viewpoint  reference）はない。後の段階において（例えば、次のショット移行の時に）、シーンは彫像に戻される。しかし、レンダリング視点は、入力ストリームのレンダリング視点に切り換えられており、そのため彫像は前面からレンダされる。しかし、オフセットから入力視点へのこの視点移行は、彫像のショット中に移行が起こるよりも、知覚的に大きいものではなく不愉快なものではない。例えば、ユーザが短時間だけ視点をマニュアルでオフセットし、システムが、戻す時（switch  back）の知覚的インパクトを低減して、自動的にオーサリング時の視点に戻すアプローチにより、ユーザ体験が改善される。
【００７８】
図１の具体例では、システムはさらに、ディスプレイのビュアーの位置表示を受け取る入力１１５を有する。この位置は、例えば、ビュアーのディスプレイ１０３に対する位置を示す正確な３次元位置である。他の例では、位置表示はディスプレイ平面に対するユーザの角度の概略的表示であってもよい。ある実施形態では、位置表示は単にビュアーのディスプレイ中心に対する水平オフセットを示す。
【００７９】
言うまでもなく、位置表示（position  indication）を生成するどんな手段を用いても良く、ある実施形態では、位置表示を生成する手段は、表示システムの一部であってもよく、例えば、画像処理ユニット１０１またはディスプレイ１０３に組み込まれていてもよい。
【００８０】
このシステムは、例えば、ヘッドトラッキングまたはユーザトラッキングシステムを含む。一例として、ディスプレイ１０３にカメラを配置して、ビューイングエリアに向けてもよい。カメラによりキャプチャされる画像は、分析されて、ユーザの頭に対応する画像オブジェクトを検出し、その位置を反映した位置表示を生成する。他の一例として、ユーザは、検出でき位置決定に使える信号を放射する赤外線トランスミッタなどのデバイスを装着してもよい。別の一例として、ユーザは、位置を決定してディスプレイシステムに送信する位置決定デバイス（ＧＰＳ機能付きモバイルフォンなど）を装着してもよい。
【００８１】
ユーザの位置を決定するシステムの具体例は、例えば次の文献に記載されている：Carlos  Morimoto  et  al.著「Pupil  Detection  and  Tracking  Using  Multiple  Light  Sources」（Journal  of  Image  and  Vision  Computing,  １８(４),  pp.  ３３１−３３５,  Elsevier,  March  ２０００）、Marco  La  Cascia  et  al.著「Fast,  Reliable  Head  Tracking  under  Varying  Illumination:  An  Approach  Based  on  Registration  of  Texture-Mapped  ３D  Models」（IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence  (PAMI),  ２２(４),  April  ２０００）、及びJohnny  Chung  Lee著「Hacking  the  Nintendo  Wii  Remote」（IEEE  Pervasive  Computing  magazine,  volume  ７,  number  ３,  pp.  ３９−４５,  ２００８）。
【００８２】
位置入力１１５は位置プロセッサ１１７に結合され、位置プロセッサ１１７は受け取った位置表示に基づきビュアーの視点を決定するように構成されている。ビュアー視点推定は、場合によっては、位置表示と同じであるが、多くの実施形態において、位置表示に何らかの処理をしたものを用いて、ビュアーの視点推定を生成する。例えば、フィルタリングや平均化を用いてもよいし、ジオメトリック評価を用いてディスプレイ１０９に対するビューイング位置を決定してもよい。
【００８３】
位置プロセッサ１１７は、さらに視点コントローラ１１３に結合され、コントローラ１１３にはビュアー視点推定が入力される。視点コントローラ１１３は、ビュアーの視点に応じてレンダリング視点を決定できる。
【００８４】
このアプローチにより、非常に有利な視聴体験を実現できる。実際、ビュアーが頭を動かすと、レンダされる画像は、動的にかつ連続的にユーザの現在位置を反映するように構成できる。例えば、ユーザが一方向に頭を動かした時、提示された画像の画像オブジェクトが視点の変化を反映するように提示画像中で動かされるように、動き視差を実施できる。このように、レンダリング視点は、推定されたビュアー視点を追跡して、自然な体験を提供し、スクリーンの背後にある３次元シーンを見る効果を提供する。具体的には、ビュアーの頭の動きをトラッキングすることにより、ディスプレイが現実の３次元シーンを見ることができる窓であるような知覚を提供できる。
【００８５】
例えば、ユーザが頭を左に動かすと、適当な遠近感と動き視差の規則にしたがって、（ディスプレイ平面の後の）画像オブジェクトが左にシフトする。シフトの程度は、奥行きが異なる画像オブジェクトが異なる変位をするように、画像オブジェクトの奥行きに依存する。画像ジェネレータ１０７は入力画像の３Ｄ情報を有するので、提示画像について適当なシフトを決定できる。ユーザが頭を動かした時、ディスプレイ上の画像オブジェクトの異なる奥行きに依存する動きにより、ビュアーに大きな３Ｄキューが提供されるから、かかるアプローチにより、３Ｄ体験をモノスコピック２Ｄディスプレイから提供することができる。言い換えると、提示画像の動き視差を実装することにより、２Ｄディスプレイにより３Ｄ効果を提供できる。
【００８６】
それゆえ、ディスプレイシステムにビュアーの位置を知らせることが望ましい。これにより、立体視があってもなくても、３Ｄコンテンツをよりすぐに表示できるからである。
【００８７】
しかし、多くのシステムにおいて、レンダリング視点が入力画像の視点から変位するにつれて、画質が悪くなる傾向がある。例えば、視点変化により見えるようになる（de-occluded）画像オブジェクトまたはエリアについて、要求される画像データが単に利用できないかも知れない。かかるシナリオでは、修正された視点画像のレンダリングにより、外挿や補間などの推定方法を用いて画像のギャップを埋めることができる。さらに、レンダリングアルゴリズムにより誤差と不正確性が生じ、画像アーティファクトや遠近感の歪みなどが生じることがある。
【００８８】
例えば、ブルーレイやＤＶＢ  ３Ｄなどの現在の３Ｄフォーマットの場合、ビュアーの位置が離れ、入力信号の視点から逸脱するにつれて、レンダリングアーティファクトが大きくなることが分かっている。実際、これらのフォーマットの場合、名目的な左右のビューを除き画像データがなく、これらの視点のどちらからも見えないシーン中のものはすべて推定しなければならない。ＭＰＥＧ  ＭＶＤとimage+depthフォーマットなどその他のフォーマットにも同様の効果が生じる。
【００８９】
それゆえ、異なる視点から画像をレンダするとの希望に加え、名目的視点からの画像をレンダするとの希望もある。
【００９０】
図１のシステムでは、このコンフリクトは、レンダリング視点をビュアー視点に追随させて合わせ、一方レンダリング視点を、入力画像の視点に対応できる名目的視点に向けてバイアスをかけることにより解決される。よって、システムは、レンダリング視点に名目的視点に戻るゆっくりとしたバイアスをかけながら、ビュアーの視点に連続的に合わせ、かつトラッキングすることができる。よって、ユーザが頭を動かすと、提示された画像はこの動きに追随して、動き視差効果と自然な３Ｄ体験を提供する。しかし、バイアスは、レンダリング視点が名目的視点にゆっくり戻るように欠けられる。実際のレンダリング視点は、このように、ビュアー視点の変化と名目的視点へのゆっくりとしたバイアスとの組合せである。
【００９１】
さらにまた、視点バイアスは、検出されたショット移行と同期して行われる。よって、レンダリング視点の非ビュアー関連の連続的動きを導入する替わりに、レンダリング視点の非ビュアー関連の変化はショット移行と同期して行われる。これにより、バイアスと名目的視点への動きが知覚されづらくなる。具体的に、レンダリング視点のゆっくりとした連続的な変化がシーンのゆっくりしたパンニング／ローテーションとして知覚されることを回避または緩和できる。かかる非ユーザの動きに関連したパンニング／ローテーションは、一般的には、望ましくないと知覚され、乗り物酔いなどの効果まで生じることがある。
【００９２】
本システムでは、レンダリング視点のバイアスは、ショット移行と同期してレンダリング視点に変化を生じる非ビュアー動き関連成分である。具体的に、短い移行が起こるたびに、レンダリング視点に段階的変化を導入できる。ショット移行はシーンチェンジや少なくとも同じシーンの大幅に異なる視点に伴うので、これらの段階的変化は一般的にはユーザには知覚されない。この例では、レンダリング視点へのバイアスは、ショット移行の間のショット区間中に適用されない。すなわち、レンダリング視点への非ビュアー関連の変化はショット移行間に導入される。
【００９３】
同時に、ビュアー視点における変化によるレンダリング視点における変化を追跡してもよい。さらに、このトラッキングは連続的に行われてもよく、ショット移行に同期していない。このように、（ショット移行間の）ショット中、レンダリング視点は連続的に変化し、ビュアーの頭の動きに追従し、それにより例えば強い動き視差効果で自然なユーザ体験を提供する。
【００９４】
このアプローチにより、レンダリング視点における異なる変化間の差別化が可能になる。具体的には、このアプローチにより、ビュアー関連変化がビュアーによりはっきりと知覚でき、同時に、非ビュアー関連変化がユーザに知覚されにくくなる。このアプローチにより、頭の動きに合った自然な３Ｄ効果を提供でき、同時に平均知覚画質を大幅に改善できる。
【００９５】
上記の問題と原理は、具体的なシーンとこれがディスプレイにどのようにレンダ（render）されるかを考えることにより説明できる。図２は、ディスプレイ上に提示されるシーン２００を示す。このシーンは、自動車、樹木、家屋を含み、理想的にはシーンを見るウィンドウのように反応するディスプレイを通して見られる。この例では、ディスプレイはモノスコピックディスプレイである。
【００９６】
図３は、ウィンドウからの、クローズアップ３０１及びさらに後３０２をからのシーンの中央ビューを示す。このように、図３は、ビューの中央点からディスプレイ上に提示されるものを示す。
【００９７】
図４は、４つの異なる視点と、シーンの対応する正しいパースペクティブビュー４０１，４０２，４０３，４０４を示す。図５は、正しいパースペクティブ調整（すなわち、視点調整／動き視差）が行われれば、これら４つの視点に対して提示される画像５０１，５０２，５０３，５０４を示す。図１のシステムにおいて、この調整は、レンダリング視点を調節してユーザの動きを追跡する視点コントローラ１１３により行われる。
【００９８】
図６は、パースペクティブ調整を含まない従来のディスプレイの場合に異なる視点からビュアーにより見られるビュー６０１，６０２，６０３，６０４を示す。
【００９９】
図７と図８は、図１のシステムが、どのようにレンダリング視点を調節してビュアーの視点の変化を反映させるかの例を示す。図７は、ビュアーが（一般的には中央オーサリング位置に対応する）名目的位置に対応するビューイングポジションにいる時の中央画像７００を示す。ビュアーはここで、ディスプレイが部分的に横から見える位置まで水平方向に動く。図１の視点コントローラ１１３は、この動きを追跡して、図８の画像８００に示したように動きを反映するように表示画像を変える。
【０１００】
図から分かるように、ディスプレイシステムは、３Ｄシーンがウィンドウ越しに見えたように、すなわちディスプレイがそのシーンにおけるウィンドウであるかのように、シナリオに対応する自然な体験を提供するように反応する。しかし、この新しいビューに対応して提示された画像は、中央視点（すなわち、名目的な入力視点）の画像とは非常に異なり、中央視点の符号化に含まれない情報を必要とする。例えば、自動車の前部は、図８の画像では部分的に見えているが、図７の画像では見えない。自動車の前部を正しく表示するのに必要な情報は、中央ビューに対応する入力画像には含まれていないので、入手できないかも知れない。レンダラ（renderer）は、例えば、穴埋め法（hole  filling  techniques）を用いて、正しい画像データを近似または推定しようと試みるが、一般的にはレンダリングアーティファクトが生じてしまう。他の一例として、視点が変わると、（前から、すなわち図８の右側には見える）家屋の右側の大きなエリアが、図８のビューでは見えるが、図７のビューでは見えない。レンダリングアルゴリズムは、一般的には外挿によりかかるエリアを埋める。すなわち、隣接するエリアが新しいエリアまで伸ばされる。しかし、そのシーンにこのエリアのオブジェクトがなにか含まれていると、それは図８のビューではレンダされず、そのためレンダリングアーティファクトとなる。
【０１０１】
また、視点オフセットが大きくなるにつれ、処理とアルゴリズムの欠陥が増える傾向にある。
【０１０２】
図８に提示されたビューは、それゆえ、画質が低下し、それゆえ、図１のシステムは名目的視点に向けてレンダリング視点にバイアスする。このように、ビュアーが（サイドの）同じ位置に留まっている場合、画像処理ユニット１０１は、レンダリング視点が名目的視点に結局対応するように、レンダリング視点を切り替える。このシフトはショット移行と同時に行われる。
【０１０３】
ビュアーが横の位置に留まるとき、ビュアーに提示される画像を示すアプローチを、図９に示す。第１の画像９０１は、図８に対応するビュー、すなわちビュアーが動いた直後のビューを示す。これは、ユーザに、その動きと同じパースペクティブ変化を提供する。画像シーケンスは、一以上のショット移行を含み、他のシーンを提示する。ビデオがそのシーンに戻ると、レンダリング視点がビュアーの視点とは同じではなく、名目的な（すなわち、基準）中央ビューに向けてシフトされるように、レンダリング視点はシフトされている。視点のこのシフトは、ショット移行時に起こり、それゆえユーザは固定した連続的な視点参照を有していない。それゆえ、ユーザには気づきやすくはない。さらなるシーン変化が生じ、各ショット移行において、レンダリング視点が名目的視点に向けて戻るように、レンダリング視点の小さな変化が生じる。このように、このプロセスの終わりでは、ビュアーに、ビュアーがディスプレイの横に位置しているにもかかわらず、中央ビューに対応するビューを提示する。
【０１０４】
上記の通り本発明を適用することにより、表示される画像は、ビュアーの動きの時、動き視差を提供し、非常にスムースかつ自然な体験となる。しかし、ビュアーが「永続的に」ソファ上の位置を選択した場合、ビュアーは、「元の視点」、すなわちディレクタが元々意図していた視点に対応する位置に座っているように、ビューを見ることを好む可能性が高い。また、レンダリング視点が名目的視点と同じなので、パースペクティブ歪みは少しあるとはいえ、ビュアーは最小限のレンダリングアーティファクトを体験する。名目的視点への戻りはさらに有利である。それはさらに動的な動き視差を提供する最良の開始点を提供するからである。
【０１０５】
以下、異なる視点で画像をレンダする時に、画像ジェネレータ１０７により用いられる原理をさらに詳細に説明する。
【０１０６】
投影原理を図１０に示す。ピンホールとしてモデル化され、
【０１０７】
〔外１〕
2014524181.tif 000003
（すなわち、オーサリングまたはコンテンツ視点）に配置されたカメラと、オブジェクト点
【０１０８】
〔外２〕
2014524181.tif 000004
と、（一般性を失わずに）表示面ｚ＝０であって
【０１０９】
〔外３〕
2014524181.tif 000005
がこの面の２Ｄ座標系であるような表示面とが与えられたとして、一般的にｚＣ＜０であることに留意して、次のパースペクティブ関係が成り立つ：
【０１１０】
【数１】
2014524181.tif 000006
。
表示座標計は、スケールされ、例えば、画素を表すが、簡単のため、ここでは両方の座標系に対して同じ単位を使う。一般的な２Ｄディスプレイシステムの場合、カメラ（目）は
【０１１１】
〔外４〕
2014524181.tif 000007
となるように中心に配置されると仮定され、ここで−ｚＣは最適なビューイング距離であり、式（１）は次式のように簡略化される：
【０１１２】
【数２】
2014524181.tif 000008
。
立体ディスプレイシステムの場合、ディスパリティは一般的に左（Ｌ）と右（Ｒ）の投影の差分と定義され、式（１）に基づき容易に見いだすことができる。ＬとＲでｚＣが同じであれば、ディスパリティ関係は次式のように簡略化できる：
【０１１３】
【数３】
2014524181.tif 000009
。
一般的な立体システムの場合、２つのカメラはセパレーションΔｘＣがあるように水平に変位される。現実には、セパレーションは眼球内距離に等しく、大人の場合、平均約６５ｍｍであるが、オーサリングには一般的により短いセパレーションが使われる。いずれにしても、奥行き・ディスパリティ関係は次式となる：
【０１１４】
【数４】
2014524181.tif 000010
。
ここで、ΔｘＤはオブジェクトポイントＯの水平ディスパリティであり、垂直ティスパリティはない。ディスパリティ（Δｘ）と奥行き（ｚ）との関係は非線形である：無限大の奥行きだとディスパリティはカメラセパレーションに等しくなる（while
screen depth gives）。画像ベース奥行きレンダリングの場合、ディスパリティ／奥行きを選択することが好ましいことがある。レンダリング問題によりよくマップするからである。一般的に奥行きマップに格納された奥行き値は、ディスパリティのアフィン写像であることが多い：
【０１１５】
【数５】
2014524181.tif 000011
。
ここで、ＡはゲインでありＢはオフセットである。これらの奥行き値は、画像ジェネレータによりディスパリティ値に変換して戻せる。
【０１１６】
入力信号中に明示的な奥行きマップやデータが無ければ、かかる情報はビデオデータから推定できることが多い。実際、入力信号がステレオ画像を含む場合、奥行き推定またはディスパリティ推定として知られるアルゴリズムを用いて、２つの画像中の対応する画像オブジェクトの検出と、それらの間のディスパリティの決定に基づき画像オブジェクトの奥行きを推定できる。実際、単一の２次元画像から奥行きを推定するアルゴリズムが提案されている。
【０１１７】
現在の立体ディスプレイデバイスでは、ディスパリティ推定器を利用して、この分野でベースライン補正（baseline  correction）として知られるものを支援する。それは、元のステレオシーケンスのベースライン距離とは異なるベースライン距離を有する新しいステレオシーケンスの生成である。ベースライン補正プロセスは、一般的には、入力ステレオシーケンスに基づき専用ディスパリティマップの推定と、その後の、それぞれの画像とディスパリティマップに基づく新しいステレオペアのレンダリングとを含む。後者のレンダリングステップは、確立されたディスパリティ値に基づく画素の水平変位を含む。
【０１１８】
図１のシステムでは、画像処理ユニット１０１は、ビュアーの目の位置に関する情報を有する。よって、すべての左目と右目の視点
【０１１９】
〔外５〕
2014524181.tif 000012
は既知である。最も一般的な場合には、すなわち式（１）の場合には、これにより水平及び垂直のディスパリティが生成される。垂直ディスパリティの理由は：
左右の目のビューイング距離は同じではない、すなわちｚＣ，Ｌ≠ｚＣ，Ｒなので、目は少し傾き、表示高さはｙＣ，Ｌ≠０∪ｙＣ，Ｒ≠０である。
【０１２０】
しかし、図１のシステムでは、垂直方向の視点の調整は考えていない。これは具体的には次により実現される：
平均（または最小／最大／左／右）ビューイング距離
【０１２１】
〔外６〕
2014524181.tif 000013
を用いて、測定されたｙ座標
【０１２２】
〔外７〕
2014524181.tif 000014
は無視する。
【０１２３】
これにより、ＡとＢは時間的に変化するが、同じレンダリングルーチンを用いることができる：
【０１２４】
【数６】
2014524181.tif 000015
。
式（１）の一般的な場合、左右の目も垂直ディスパリティを有する。このため、単純なスキャンラインベースのビューレンダリングアルゴリズムは使えない。
【０１２５】
image+depth定数を有する場合、式（１）を次のように書き換えることができる：
【０１２６】
【数７】
2014524181.tif 000016
。
これは、基準カメラ位置
【０１２７】
〔外８〕
2014524181.tif 000017
と画素奥行きｚＯに基づき画素
【０１２８】
〔外９〕
2014524181.tif 000018
に関連する世界座標
【０１２９】
〔外１０〕
2014524181.tif 000019
を提供する。この座標を、実際のカメラ／目の位置
【０１３０】
〔外１１〕
2014524181.tif 000020
が分かれば、この座標をディスプレイ平面にマッピングして戻すことができる（よって、
【０１３１】
〔外１２〕
2014524181.tif 000021
は頭部追跡機能により決められるビュアーの視点である）：
【０１３２】
【数８】
2014524181.tif 000022
。
これらの貢献をビューイング距離（ｚＥ）と位置
【０１３３】
〔外１３〕
2014524181.tif 000023
に分解できる。横のビューイング位置補正のみを求めるため、ｚＥ＝ｚＣであると仮定し、関係
【０１３４】
【数９】
2014524181.tif 000024
を求める。
ビューイング距離補正のみを求めるため、
【０１３５】
〔外１４〕
2014524181.tif 000025
であると仮定し、
【０１３６】
【数１０】
2014524181.tif 000026
を得る。
【０１３７】
上記の説明では、カメラビュー
【０１３８】
〔外１５〕
2014524181.tif 000027
の位置（視点）が得られると仮定した。この知識が無くても、一般的なディスプレイサイズとビューイング距離を仮定することはできる。この選択に応じて、コンテンツは、実寸となり、フラットになり、またはｚ方向で伸ばされる。同様に、奥行き値のディスパリティへのマッピングが分からないこともある。その場合、奥行き値を適当な（comfortable）ディスパリティレンジにマッピングすることが可能である。また、立体コンテンツの場合、ディスパリティが人工的であり、現実の世界座標に十分関連していない場合もある。すべての場合において、動き視差をオファーすることは可能である。
【０１３９】
動き視差と視点補正を有するimage+depthコンテンツをレンダ／描画するため、（カラー）画像と２Ｄディスパリティを有するベクトル場を入力とする画像ワーピング法を用いる必要がある。かかる方法は特許文献国際出願公開第ＷＯ１９９７／０２３０９７から知ることができる。
【０１４０】
かかる方法の質は、画像がどの程度歪め（warp）なければならないかに依存する。ディスパリティの分散は、レンダリングアーティファクトの大きさの表示となりうる。
【０１４１】
このシステムは、位置
【０１４２】
〔外１６〕
2014524181.tif 000028
に対するシステムの各ユーザの目の位置
【０１４３】
〔外１７〕
2014524181.tif 000029
を追跡する。また、このシステムは、
【０１４４】
〔外１８〕
2014524181.tif 000030
で表される各目のレンダリング視点の位置を維持する。レンダリングはレンダリング視点に基づく。現実的な（しかし、アーティファクトが多い）image+depthコンテンツのレンダリングの場合、
【０１４５】
〔外１９〕
2014524181.tif 000031
である。動き視差が無い標準的レンダリングの場合、
【０１４６】
〔外２０〕
2014524181.tif 000032
である。
【０１４７】
〔外２１〕
2014524181.tif 000033
は前述の通りカメラ位置である。
【０１４８】
ディスプレイに対するユーザの動きが図１のディスプレイシステムにより検知（observe）された場合、レンダリング視点位置を調節して、検出されたビュアー視点に追従する：
【０１４９】
【数１１】
2014524181.tif 000034
。
このアプローチは、ショット移行の間に、すなわちショット中に行われる。しかし、一組の画像／フレームがショット移行に対応すると推定された時、ユーザのレンダリング視点は、画像の劣化を低減するために、名目的視点に向けて調整される。これは、具体的には、名目的（元の／オーサリングされた／中央）視点に対応するようにレンダリング視点を変更することにより行える：
【０１５０】
【数１２】
2014524181.tif 000035
。
他の実施形態では、例えば、各ショット移行において、名目的視点に向けてより小さなステップを取るように、スムースな移行／バイアスが、例えば
【０１５１】
【数１３】
2014524181.tif 000036
のように導入される。
異なるタイプのディスプレイには、説明したアプローチを用いることができる。
【０１５２】
具体的には、このシステムは、単一画像（ビュー）のみをユーザに提示する従来のモノスコピックディスプレイで使うことができる。この場合、ユーザの両目に同じ画像を提示しているにもかかわらず、動き視差を使う（implement）ことにより、非常に説得力のある３Ｄ効果が得られる。実際、ビュアー視点を追跡してレンダリングされた視点を適宜補正することにより、ディスプレイは実際のビュアー視点から見たビューを提示できる。これにより、オブジェクトを見回す効果と、リアルな３Ｄシーンのパースペクティブ変化に対応するものが可能になる。
【０１５３】
他の実施形態では、ディスプレイは、ユーザの両目に異なる画像を提供する立体画像であってもよい。このディスプレイは、例えば、ユーザの目の各視点の画像間を交替するタイムシーケンシャルディスプレイであり、ビュアーが画像の切り替えに同期したシャッターメガネを装着してもよい。この場合、システムが立体及び動き視差３Ｄキューを利用すれば、より有効かつ強い３Ｄ体験が得られる。
【０１５４】
かかるシステムでは、視点コントローラ１１３は、左右の目それぞれのレンダリング視点を生成し、画像ジェネレータ１０７は、対応する視点の個別表示画像を生成する。あるいは、視点コントローラ１１３は、単一のレンダリング視点を生成し、画像ジェネレータ１０７は、それ自体が、２つのレンダリング画像のそれぞれに対して一定のオフセットによりレンダリング視点をオフセットする。例えば、レンダリング視点は、ユーザの目の間の視点に対応し、画像ジェネレータ１０７は、左右の目の視点について反対量だけ、これをオフセットする。
【０１５５】
このアプローチは、さらに立体ディスプレイに対して有用である。かかるディスプレイは、一般的には、異なる視点に対応する比較的多数のビューイングコーンを生成する。ユーザが動くにつれ、目が異なるビューイングコーン間で切り替わり、動き視差と立体効果を自動的に提供する。しかし、複数のビューが中央ビューで参照された入力データから生成され、外側のビューで画像劣化が大きくなる。したがって、ユーザが端のビューに向かうにつれ、画質劣化を知覚する。説明したシステムは、レンダリング視点を変更することにより、これを解決する。例えば、ビュアーがある時間の間外側ビューに位置していると、外側のビューが外側視点に対応する画像を提示しないが、中央に近い視点に対応する画像を提示するように、ビューが切り替わる。実際、システムは、ユーザがそこに十分な時間いれば、外側ビューイングコーンにレンダリングされるより中央のビューイングコーンから画像を切り換える。説明のシステムでは、この画像／コーン切り替えは、ビュアーに知覚されにくいように、ショット移行と同期してもよい。
【０１５６】
このように、ビュアーは、オートステレオスコピックディスプレイに対して横に動くと、ディスプレイが立体視と動き視差の両方の効果により３Ｄ体験を提供して、ビュアーは自然な体験をする。しかし、画質はサイドに行くにつれ悪くなる。しかし、ユーザは横位置に留まると、ディスプレイは、外側ビューイングコーンの画像のレンダリング視点を徐々にユーザが気づかないように、中央画像を提示するように変更して、自動的に合わせる。このように、画質は、自動的に良くなり、ディスプレイはユーザの現在のビューイング位置に合わせる。
【０１５７】
言うまでもなく、バイアスは、ある実施形態では、所定の一定のバイアスである。しかし、多くの実施形態において、バイアスは、例えば名目的視点に向かうレンダリング視点の変化が様々な動作特性に依存するような適応的バイアスであってもよい。
【０１５８】
例えば、バイアスは、レンダリング視点、ビュアー視点、または名目的視点、またはこれらの間の関係に依存する。
【０１５９】
具体的に、バイアスはレンダリング視点と名目的視点との間の差に依存してもよい。例えば、レンダリング視点が名目的視点から遠ければ遠いほど、画質劣化は大きく、したがって名目的視点に向けたバイアスはオフセットを大きくするため大きくなる。それゆえ、ユーザがディスプレイのさらにサイドにいると、名目的視点またはオーサリング視点に対応するレンダリング視点の適応が速くなる。
【０１６０】
さらに、バイアス（の程度）は、レンダリング視点とビュアー視点との間の差に依存してもよい。例えば、動きが小さく名目的ビューの周りのビュアーの変位が小さい場合、画質劣化が大きい可能性は小さいので、名目的ビューに向けたバイアスを導入することは好ましくないかも知れない。しかし、ビュアー視点がある閾値より大きく変位した場合、劣化は是認できないと考えられ、名目的視点に向けたバイアスが導入される。より複雑な実施形態では、バイアスの程度は、ビュアー視点と名目的視点との間の差の連続的及び／または単調な関数などとして決定できる。バイアスの程度は、例えば、各ショット移行に適用される変化のステップサイズまたはショット移行の際にどのくらいの頻度で変化が適用されるかを調整することなどにより、調整される変化のサイズやスピードにより制御できる。
【０１６１】
ある実施形態では、バイアスは画像シーケンスのコンテンツ特性に依存する。よって、バイアスは、提示されているコンテンツ／画像にマッチするように調整される。
【０１６２】
例えば、バイアスは推定されたショット移行の頻度及び／またはショット長さ（すなわち、ショット移行間の時間）に依存する。例えば、多くの頻繁なショット移行が生じた場合、各ショット移行のレンダリング視点のステップ変化は比較的小さいが、生じるショット変化が少なく頻繁でない場合、レンダリング視点のステップ変化は、各ショット移行について比較的大きく設定されるだろう。
【０１６３】
ある実施形態では、ショット移行頻度または時間（interval）は、レンダリングパイプラインに遅延を導入することにより、入力信号から決定される。他の実施形態では、前の特性に基づき、将来の振る舞いが予測できる。
【０１６４】
ある実施形態では、バイアスは入力画像の奥行き特性に依存する。例えば、奥行き移行がシャープな大きな奥行き変化があると、奥行きのバリエーションが小さく、奥行き移行がシャープでない画像より、画質劣化が比較的大きい可能性が高い。例えば、後者の場合は、（例えば、隠されなくなるエリアが無いか少ない）背景のみを含み視点が変わっても変化しない画像に対応する。最初の場合では、レンダリング視点を名目的視点に素早く戻すため、比較的強いバイアスが導入される、後者の場合では、名目的視点へのゆっくりした戻りが行われる。
【０１６５】
ある実施形態では、バイアスは、レンダリング視点について計算された画質劣化表示に基づく。実際、画像ジェネレータ１０７のレンダリングアルゴリズムは、それ自体、生じた劣化の表示を生成する。簡単な例として、画像のどのくらい大きい部分が、対応したオクルージョンデータを利用せずに見えるようにされたか（de-occluded）を評価することにより、レンダリングアーティファクトの尺度が生成できる。すなわち、画質表示は、画像データが他の画像エリアの外挿や補間により生成される画像エリアを追跡するレンダリングアルゴリズムにより決定できる。画質劣化が大きい場合、名目的視点に速く戻ることになる大きなバイアスが実施され、画質劣化が小さい場合、低度のバイアスが使われる。
【０１６６】
言うまでもなく、異なる実施形態では、他の多くのアルゴリズムとパラメータを用いて、バイアスを適応させる。
【０１６７】
あるシナリオでは、ショット移行中にバイアスを導入するだけでは不十分であると考えられる。例えば、あるシナリオでは、長い時間画質が低下する非常に長い時間のショット移行はない。どうように、ショット移行があまり起こらなければ、これらは各ショット移行が比較的長く、それゆえ非常に効果が知覚し易いステップ変化を必要とする。
【０１６８】
ある実施形態では、視点コントローラ１１３は、レンダリング視点は名目的視点に向けてバイアスされるが、これはショット移行と同時には行われない（または、一部のみがショット移行と同期して行われる、すなわちバイアス変化の少なくとも一部が非同期である）第２の動作モードに切り換える。
【０１６９】
例えば、ショット移行が無い場合、システムは名目的視点に向けたレンダリング視点のゆっくり連続したバイアスに戻る。これは、ユーザにより、中央位置に対応する画像へ向けた画像のゆっくりしたパンニングと知覚される。効果はバイアスがショット移行と同期しているときより気づき易いが、低画質画像がユーザにより知覚される時間を大幅に減らすことによりトレードオフが改善される。
【０１７０】
第２の動作モードにいつ切り換えるかという決定は、異なる多くの考慮に基づく。実際、バイアス低度の調整に関して説明したパラメータと考慮は、第２の動作モードにいつ切り換えるかという決定にも当てはまる。さらに、非同期バイアスの特性も同様に同期バイアスと同じ考慮に基づき調整できる。
【０１７１】
システムは、中央の名目的視点に対するビュアー視点、奥行きデータの特性、レンダリングアルゴリズムにより生成された画質表示などのファクタを評価するユーザディスターバンスモデルを実装してもよく、レンダリング視点の非同期バイアス及び場合によってはこのバイアスの特性をを導入するか決定する。
【０１７２】
代替的または追加的に、画像処理ユニット１０１は画像ストリームにショット移行をアクティブに導入するように構成されている。かかる実施形態の例を図１１に示す。この例では、画像処理ユニット１０１は、さらに、レシーバ１０５と画像ジェネレータ１０７との間に結合したショットインサータ１１０１を有する。ショットインサータ１１０１は、さらに視点コントローラ１１３に結合している。
【０１７３】
この例では、視点コントローラ１１３は、ショット移行数が所望のバイアスを提供するには足りないことを特定する。極端な例として、ショット移行が長い時間起こっていない。したがって、視点コントローラ１１３は、ショットインサータ１１０１に信号を送り、ショット移行を挿入するようにショットインサータ１１０１を制御する。複雑性が低い例として、ショットインサータ１１０１は、画像ストリームに一定の画像シーケンスを挿入して、ロングショットを分割（disruption）する。また、視点コントローラ１１３は、ショット移行中にレンダリング視点を同期して変更し、レンダリング視点を名目的視点に向けてバイアスする。
【０１７４】
追加的な「ニセの」ショット移行の導入により、煩わしくなく気づきにくいバイアス動作が生じる。言うまでもなく、ショット移行を導入する多くの異なる方法を実施できる。これには、例えば、前に受け取った画像シーケンスの挿入（例えば、パノラマショットを検出し再利用できる）、所定画像の導入、暗い画像の挿入などが含まれる。他の一例として、画像ジェネレータ１０７によりショット移行を導入して、バイアス調整した視点に戻る前に、同じシーンの短いシーケンスを非常に異なる視点から生成してもよい。これにより、提示されるコンテンツの連続性が確保され、導入されるバイアス調整は気づきにくい。事実上、ユーザは、時間的に連続した同じシーンまたはコンテンツを見ている間に、カメラが２つのカメラの間で前後に「シフト」したことに気づく。
【０１７５】
正確な性能と、追加的ショット移行が好ましいか否かとは、個別の実施形態とユースシナリオの特性に依存する。
【０１７６】
ショット移行の導入は、具体的には、基準を満たすショット時間特性（shot  duration  characteristic）に依存し、例えば最後のショット移行からの時間がある閾値を越えた時にショット移行を生成する。さらに、追加的ショット移行の導入は、代替的にまたは追加的に、基準を満たすレンダリング視点に依存し得る。例えば、ショット移行は、レンダリング視点が名目的視点からある閾値より大きく異なる場合にのみ導入される。すなわち、ショット移行は極端なビューに対してのみ導入される。
【０１７７】
ある実施形態では、ショット移行の導入は、具体的には、レンダされた画像が基準を満たす画質劣化表示に依存する。例えば、ショット移行は、画像レンダラ１０７のレンダリングアルゴリズムにより生成された画質尺度がある閾値より低くなった時にのみ導入される。
【０１７８】
ある実施形態では、オートステレオスコピックディスプレイが用いられ、ビュアーがビューイングコーン境界を横切る状況にあることの検出に応じて、ショット移行が導入される。このように、ビュアーが、ビューイングコーンの端またはその近くにあるビューを見ていると検出した場合、システムはショット移行をトリガーする。これにより、ビューイングコーン移行の知覚容易性が減少またはマスクされ、多くのシナリオにおいて、レンダリング視点のバイアスの知覚容易性が減少する。
【０１７９】
ある実施形態では、視点コントローラ１１３は、ディスプレイの名目的視点に対して、レンダリング視点を制限するように構成されている。この制限はソフトまたはハードな制限である。例えば、レンダリング視点はビュアー視点を追跡するが、ビュアー視点が名目的視点からある閾値より大きく異なるまでだけである。このように、ビュアーが横に動くと、提示される画像はユーザがある距離より遠くへ行くまでは適応し、それ以降は、ビュアーに追随しない。具体的には、ビュアーはオブジェクトをある程度見回せるだけである。これにより、画質劣化があるレベルを超えないことを保証できる。
【０１８０】
具体的には、動き視差は現実のものであってもよいし、動き視差の効果が中央位置への距離に応じて（ソフトにまたは急に）減少するように、非線形のものであってもよい。この効果は、
【０１８１】
【数１４】
2014524181.tif 000037
の変換により得られる。
【０１８２】
一般的には、例えば、レンダリング視点とカメラ視点との間に最大距離を課すことにより、動き視差の量を制限して、ショットカットが無いときにはレンダリングエラーを回避することが好ましい。これは
【０１８３】
【数１５】
2014524181.tif 000038
により実現できる。
【０１８４】
この式は、中心が
【０１８５】
〔外２２〕
2014524181.tif 000039
で半径がγの球におけるレンダリング視点
【０１８６】
〔外２３〕
2014524181.tif 000040
のクリッピングに対応する。他の一例として、ソフトクリッピング関数
【０１８７】
〔外２４〕
2014524181.tif 000041
を用いて、ソフトクリッピングを次式
【０１８８】
【数１６】
2014524181.tif 000042
として導入できる。
【０１８９】
〔外２５〕
2014524181.tif 000043
の実施例は指数マッピング
【０１９０】
【数１７】
2014524181.tif 000044
である。ここで、ｐとβは調整可能パラメータである。
【０１９１】
前の説明はビュアーが１人のシナリオにフォーカスしていた。しかし、言うまでもなく、本アプローチは複数のビュアーにも使える。例えば、本システムは、複数のユーザの位置を追跡して、複数のユーザの最もよい妥協を提示するようにレンダリング視点を合わせる。他のシナリオでは、（例えば、複数のユーザが異なるビューイングコーンにいるオートステレオスコピックディスプレイの場合、または複数のユーザ特有コーンを表すディスプレイの場合）異なるユーザのビューを分離することが可能である。かかるシナリオでは、本アプローチは各ユーザに対して個別に適用される。
【０１９２】
コンピュータプログラム製品は、汎用プロセッサまたは専用プロセッサに、一連のローディングステップ（これには中間言語や最終的プロセッサ言語への変換などの中間変換ステップを含む）後、そのコマンドをプロセッサにエンターし、本発明の特徴的機能のいずれかを実行できるようにする、複数のコマンドのコレクションの任意の物理的な実現を含むと理解しなければならない。具体的には、コンピュータプログラム製品は、ディスクやテープなどのキャリア上のデータとして、メモリ中にあるデータとして、有線・無線を問わずネットワーク接続を介して伝搬されているデータとして、または紙上のプログラムコードとして実現できる。プログラムコード以外にも、プログラムに必要な特徴的データもコンピュータプログラム製品として実施できる。データの入出力ステップなど本方法の動作に必要なステップの一部は、コンピュータプログラム製品に記載されているのではなく、プロセッサの機能にすでに存在する。
【０１９３】
言うまでもなく、上記の説明では、明りょうにするため、異なる機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明した。しかし、言うまでもなく、本発明から逸脱することなく、異なる機能回路、ユニット、及びプロセッサの間で機能を適宜分配して、用いることができる。例えば、別のプロセッサやコントローラにより実行される機能は、同じプロセッサやコントローラで実行してもよい。このように、具体的な機能ユニットや回路の参照は、説明した機能を提供する好適な手段の参照であり、論理的あるいは物理的に厳密な構造や組織を表しているわけではない。
【０１９４】
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせを含むいかなる好適な形式で実施することもできる。本発明は、任意的に、１つ以上のデータプロセッサ及び／またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして、少なくとも部分的に実施することができる。本発明の実施形態の構成要素は、いかなる好適な方法で物理的、機能的、論理的に実施してもよい。機能は単一のユニット、複数のユニット、または他の機能ユニットの一部として実施することもできる。このように、本発明は、単一ユニットで実施することもできるし、異なる複数のユニット、回路、及びプロセッサに物理的かつ機能的に分散して実施することもできる。
【０１９５】
実施形態に関して本発明を説明したが、ここに記載した具体的な形態に限定することを意図したものではない。むしろ、本発明の範囲は添付した請求の範囲のみにより限定される。また、具体的な実施形態に関して構成を説明したように見えるかも知れないが、当業者には言うまでもなく、説明した実施形態の様々な構成を、本発明により、組み合わせることができる。請求項では、「有する」という用語は他の要素やステップの存在を排除するものではない。
【０１９６】
さらに、個別的に列挙されていても、複数の手段、要素、回路、方法ステップは、例えば単一の回路、ユニット、またはプロセッサにより実施してもよい。また、個々の機能（feature）は異なる請求項に含まれていても、これらを有利に組み合わせることが可能であり、異なる請求項に含まれていても、機能を組み合わせられないとか、組み合わせても有利ではないということを示唆するものでもない。また、ある構成をあるカテゴリーのクレームに含めたとしても、そのカテゴリーに限定することを意味するのではなく、むしろその構成が必要に応じて他のクレームカテゴリーにも等しく適用できることを示すものである。さらに、クレーム中の構成の順序は、その構成が機能しなければならない特定の順序を示すものではなく、特に、方法クレームにおける個々のステップの順序はそのステップがこの順序で実行されなければならないことを示すものではない。むしろ、ステップは任意の好適な順序で実行してもよい。また、単数扱いをしても複数の場合を排除するものではない。よって、「１つの」、「第１の」、「第２の」等は複数の場合を排除するものではない。請求項中の参照符号は、明りょうにするために設けており、請求項の範囲を限定するものと解してはならない。
【図１】
2014524181.tif 000045
【図２】
2014524181.tif 000046
【図３】
2014524181.tif 000047
【図４】
2014524181.tif 000048
【図５】
2014524181.tif 000049
【図６】
2014524181.tif 000050
【図７】
2014524181.tif 000051
【図８】
2014524181.tif 000052
【図９】
2014524181.tif 000053
【図１０】
2014524181.tif 000054
【図１１】
2014524181.tif 000055
【手続補正書】
【提出日】平成25年12月25日(2013.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイ用の信号を生成する装置であって、
画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、
前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、
前記画像シーケンス中のショット移行を検出するショット移行検出器と、
前記検出されたショット移行と同期して前記レンダリング視点を変更する視点コントローラと、
前記信号を生成して前記ディスプレイ画像を含める信号ジェネレータとを有する、装置。
【請求項２】
前記ディスプレイのビュアーの位置の位置表示を受け取る入力と、
前記位置表示に応じてビュアー視点推定を決定するプロセッサと、をさらに有し、
前記視点コントローラは、前記ビュアー視点推定に応じて前記レンダリング視点を決定するように構成されている、請求項１に記載の装置。
【請求項３】
前記視点コントローラは、前記レンダリング視点を調整して、前記ショット移行に非同期で前記ビュアー視点推定の変化を追跡するように構成されている、請求項２に記載の装置。
【請求項４】
前記視点コントローラは、ショット移行に関連して前記レンダリング視点に段階的変更を導入するように構成されている、請求項１に記載の装置。
【請求項５】
前記視点コントローラは、前記ショット移行と同期して、前記レンダリング視点を前記名目的視点に向けて変更することにより、名目的視点に向けて前記レンダリング視点にバイアスをかけるように構成されている、請求項１に記載の装置。
【請求項６】
前記レンダリング視点を前記名目的視点に向けてバイアスをかけるステップは、
前記レンダリング視点と名目的視点との間の差、
前記ビュアー視点推定と名目的視点との間の差、
前記画像シーケンスのコンテンツ特性、
前記画像シーケンスの奥行き特性、
ショート移行周波数推定、
ショットの時間的長さ、及び
前記レンダリング視点の画質劣化表示のうちの少なくとも一に依存する、請求項５に記載の装置。
【請求項７】
前記ディスプレイはモノスコピックディスプレイである、請求項１に記載の装置。
【請求項８】
前記ディスプレイはステレオスコピックディスプレイである、請求項１に記載の装置。
【請求項９】
ショットカットを前記画像シーケンスに導入するように構成されたショットカットジェネレータをさらに有する、請求項１に記載の装置。
【請求項１０】
前記ショットカットジェネレータは
ショットデュレーション特性が基準を満たす、
前記レンダリング視点が基準を満たす、
画質劣化表示が基準を満たす、及び
ビュアーがオートステレオスコピックディスプレイのビューイングコーンバウンダリを横切ったことの検出、のうちの少なくとも一に応じて前記ショートカットを導入するように構成されている、請求項９に記載の装置。
【請求項１１】
前記視点コントローラは、基準が満たされるとそれに応じて第２の動作モードに切り替わり、前記視点コントローラは、前記第２の動作モードにおいて、前記ショット移行と同期せずに、前記レンダリング視点を前記名目的視点に変更することにより、前記ディスプレイの名目的視点に向けて前記レンダリング視点にバイアスをかけるように構成されている、請求項１に記載の装置。
【請求項１２】
前記視点コントローラは、前記レンダリング視点を前記名目的視点に制限するように構成されている、請求項１に記載の装置。
【請求項１３】
ディスプレイ用の信号を生成する方法であって、
画像シーケンスの３次元（３Ｄ）データを含むビデオ信号を受け取るステップと、
前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成するステップと、
前記画像シーケンス中のショット移行を検出するステップと、
前記検出されたショット移行と同期して前記レンダリング視点を変更するステップと、
前記信号を生成して前記ディスプレイ画像を含ませるステップと、を有する方法。
【請求項１４】
コンピュータで実行されると、請求項１３のすべてのステップを実行するように構成されたコンピュータプログラムコード手段を有するコンピュータ読み取り可能記憶媒体。
【請求項１５】
ディスプレイであって、
画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、
前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、
前記画像シーケンス中のショット移行を検出するショット移行検出器と、
前記検出されたショット移行と同期して前記レンダリング視点を変更する視点コントローラと、
ディスプレイパネルと、
前記ディスプレイパネルを駆動して前記ディスプレイ画像をレンダするディスプレイドライバとを有する、ディスプレイ。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の一態様では、ディスプレイ用の信号を生成する装置を提供する。該装置は、画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、前記画像シーケンス中のショット移行を検出するショット移行検出器と、前記検出されたショット移行と同期して前記レンダリング視点を変更する視点コントローラと、前記信号を生成して前記ディスプレイ画像を含める信号ジェネレータとを有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
本発明の一態様では、ディスプレイ用の信号を生成する方法を提供する。該方法は、画像シーケンスの３次元（３Ｄ）データを含むビデオ信号を受け取るステップと、前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成するステップと、前記画像シーケンス中のショット移行を検出するステップと、前記検出されたショット移行と同期して前記レンダリング視点を変更するステップと、前記信号を生成して前記ディスプレイ画像を含ませるステップと、を有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
本発明の一態様では、ディスプレイが提供される。該ディスプレイは、画像シーケンスの３次元データを含むビデオ信号を受け取るレシーバと、前記３次元データとレンダリング視点とに基づき、前記画像シーケンスの表示画像を生成する画像ジェネレータと、前記画像シーケンス中のショット移行を検出するショット移行検出器と、前記検出されたショット移行と同期して前記レンダリング視点を変更する視点コントローラと、ディスプレイパネルと、前記ディスプレイパネルを駆動して前記ディスプレイ画像をレンダするディスプレイドライバとを有する。
【国際調査報告】
2014524181.tif 000056
2014524181.tif 000057