(57)【要約】      （修正有）【課題】柔軟、かつ、信頼性の高い3D表示システムを提供する。【解決手段】3Dソース装置は、HDMI（登録商標）高速デジタル・インタフェースを介して3D信号をディスプレイに提供する。3D表示信号はフレームのシーケンスを有する。フレームのシーケンスはユニットを有する。各々のユニットは、三次元画像として合成され表示されるビデオ情報を有するフレームに対応する。3Dソース装置はユニット中のビデオ・フレームに関する情報を有する3D転送情報を含める。ディスプレイは3D転送情報を検出し、3D転送情報に基づいて表示制御信号を生成する。補助情報フレーム・パケット中の3D転送情報は、3D表示信号へとフレームを多重化するための多重化スキームに関する情報を有する。多重化スキームはフレーム交互多重化を含む多重化スキームのグループから選択される。フレーム交互とはビデオ・データ期間内で複数のフレームが順次配置される。【選択図】図４
2015130680.tif 000002
【特許請求の範囲】
【請求項１】
三次元［３Ｄ］画像データを転送する方法であって、３Ｄソース装置において、
情報フレーム・パケットを含む一連のパケットを用いてオーディオ及び補助データが送信される期間であるデータ・アイランド期間並びにアクティブ・ビデオのピクセルが送信される期間であるビデオ・データ期間を有する３Ｄビデオ転送フォーマットに従って前記３Ｄ画像データを構成するフレームのシーケンスを有する３Ｄ表示信号を生成するためにソース画像データを処理し、
前記３Ｄ表示信号を出力し、
３Ｄ表示装置において、
前記３Ｄ表示信号を受信し、
３Ｄディスプレイで前記３Ｄ画像データをレンダリングするための表示制御信号を生成するために３Ｄ表示信号を処理し、
フレームの前記シーケンスはユニットを有し、前記ユニットは、垂直同期信号から次の垂直同期信号までの期間であり、各ユニットは、多重化スキームに従って配置される複数のフレームに対応し、前記複数のフレームは、３Ｄ画像として合成され表示されることが意図されるビデオ情報を有し、
前記ユニット中の各フレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を有し、各フレーム・タイプは、部分的３Ｄデータ構造を表し、
当該方法は、前記３Ｄソース装置において、
補助情報フレーム・パケット中に３Ｄ転送情報を含め、前記３Ｄ転送情報は、前記３Ｄ表示信号中の１つの３Ｄ画像として合成されるべきユニット中のビデオ・フレームの数を含む前記多重化スキームに関する情報を少なくとも有し、
前記多重化スキームは、少なくともフレーム交互多重化を含む多重化スキームのグループから選択され、フレーム交互とは、前記複数のフレームが前記ビデオ・データ期間内でシーケンシャルに配置されることを示し、
前記表示制御信号の生成が、前記３Ｄ転送情報に依存して実行される、方法。
【請求項２】
前記多重化スキームに関する前記情報において、多重化スキームの前記グループが、
フィールド交互多重化、
ライン交互多重化、
前記複数のフレームが前記ビデオ・データ期間内でサイド・バイ・サイドで配置されることを示す、サイド・バイ・サイド・フレーム多重化、
２Ｄ及び深さフレーム多重化、
２Ｄ，深さ、グラフィックス及びグラフィックス深さフレーム多重化、
のうちの少なくとも１つをさらに有する、請求項１に記載の方法。
【請求項３】
前記３Ｄ転送情報がピクセル・サイズ及びフレームの頻度率についての情報を含む、請求項１に記載の方法。
【請求項４】
前記ビデオ転送フォーマットがＨＤＭＩである、請求項３に記載の方法。
【請求項５】
前記３Ｄ転送情報がＡＶＩ情報フレーム中に含まれる、請求項４に記載の方法。
【請求項６】
前記３Ｄ転送情報が、ベンダー独自（Ｖｅｎｄｏｒ Ｓｐｅｃｉｆｉｃ）情報フレーム中に含まれる、請求項４に記載の方法。
【請求項７】
三次元［３Ｄ］表示装置に３Ｄ画像データを転送するための３Ｄソース装置であって、
情報フレーム・パケットを含む一連のパケットを用いてオーディオ及び補助データが送信される期間であるデータ・アイランド期間及びアクティブ・ビデオのピクセルが送信される期間であるビデオ・データ期間を有する３Ｄビデオ転送フォーマットに従って前記３Ｄ画像データを構成するフレームのシーケンスを有する３Ｄ表示信号を生成するためにソース画像データを処理する生成手段、並びに
前記３Ｄ表示信号を出力するための出力インタフェース手段を有し、
各フレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を有し、各フレーム・タイプは部分的３Ｄデータ構造を表し、
フレームの前記シーケンスはユニットを有し、前記ユニットは、垂直同期信号から次の垂直同期信号までの期間であり、各ユニットは、多重化スキームに従って配置される複数のフレームに対応し、前記複数のフレームは、３Ｄ画像として合成され表示されることが意図されるビデオ情報を有し、
前記出力インタフェース手段は、表示装置において、３Ｄ転送情報に依存して表示制御信号を生成するために、補助情報フレーム・パケットにおいて前記３Ｄ転送情報を送信し、前記３Ｄ転送情報は、前記３Ｄ表示信号中の１つの３Ｄ画像として合成されるべきユニット中のビデオ・フレームの数を含む前記多重化スキームに関する情報を少なくとも有し、前記多重化スキームは、少なくともフレーム交互多重化を含む多重化スキームのグループから選択され、フレーム交互とは、前記複数のフレームが前記ビデオ・データ期間内でシーケンシャルに配置されることを示す、３Ｄソース装置。
【請求項８】
前記出力インタフェース手段が、
フィールド交互多重化、
ライン交互多重化、
前記複数のフレームが前記ビデオ・データ期間内でサイド・バイ・サイドで配置されることを示す、サイド・バイ・サイド・フレーム多重化、
２Ｄ及び深さフレーム多重化、
２Ｄ，深さ、グラフィックス及びグラフィックス深さフレーム多重化、
のうちの少なくとも１つをさらに有する多重化スキームの前記グループによる前記多重化スキームに関する更なる情報を提供する、請求項７に記載の３Ｄソース装置。
【請求項９】
３Ｄ表示装置であって、
３Ｄ画像データを表示するための３Ｄディスプレイ、
情報フレーム・パケットを含む一連のパケットを用いてオーディオ及び補助データが送信される期間であるデータ・アイランド期間及びアクティブ・ビデオのピクセルが送信される期間であるビデオ・データ期間を有する３Ｄビデオ転送フォーマットに従って前記３Ｄ画像データを構成するフレームを有する３Ｄ表示信号を受信するための入力インタフェース手段、並びに
前記３Ｄディスプレイで前記３Ｄ画像データをレンダリングするための表示制御信号を生成するための処理手段を有し、
各フレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を有し、各フレーム・タイプは、部分的３Ｄデータ構造を表し、
フレームの前記シーケンスはユニットを有し、前記ユニットは、垂直同期信号から次の垂直同期信号までの期間であり、各ユニットは、多重化スキームに従って配置される複数のフレームに対応し、前記複数のフレームは、３Ｄ画像として合成され表示されることが意図されるビデオ情報を有し、
補助情報フレーム・パケット中の３Ｄ転送情報は、前記３Ｄ表示信号中の１つの３Ｄ画像として合成されるべきユニット中のビデオ・フレームの数を含む前記多重化スキームに関する情報を少なくとも有し、前記多重化スキームは、少なくともフレーム交互多重化を含む多重化スキームのグループから選択され、フレーム交互とは、前記複数のフレームが前記ビデオ・データ期間内でシーケンシャルに配置されることを示し、
前記処理手段は、前記３Ｄ転送情報に依存して前記表示制御信号を生成する、３Ｄ表示装置。
【請求項１０】
前記処理手段が、
フィールド交互多重化、
ライン交互多重化、
前記複数のフレームが前記ビデオ・データ期間内でサイド・バイ・サイドで配置されることを示す、サイド・バイ・サイド・フレーム多重化、
２Ｄ及び深さフレーム多重化、
２Ｄ、深さ、グラフィックス及びグラフィックス深さフレーム多重化、
のうちの少なくとも１つをさらに有する多重化スキームの前記グループによる前記多重化スキームに関する更なる情報に依存して前記表示制御信号を生成する、
請求項９に記載の３Ｄ表示装置。
【請求項１１】
前記ビデオ転送フォーマットがＨＤＭＩである、請求項１０に記載の３Ｄ表示装置。
【請求項１２】
前記３Ｄ転送情報がＡＶＩ情報フレーム中に含まれる、請求項１１に記載の３Ｄ表示装置。
【請求項１３】
前記３Ｄ転送情報が、ベンダー独自（Ｖｅｎｄｏｒ Ｓｐｅｃｉｆｉｃ）情報フレーム中に含まれる、請求項１１に記載の３Ｄ表示装置。
【請求項１４】
三次元［３Ｄ］表示装置に３Ｄ画像データを転送するための３Ｄ表示信号であって、当該３Ｄ表示信号は、情報フレーム・パケットを含む一連のパケットを用いてオーディオ及び補助データが送信される期間であるデータ・アイランド期間並びにアクティブ・ビデオのピクセルが送信される期間であるビデオ・データ期間を有する３Ｄビデオ転送フォーマットに従って前記３Ｄ画像データを構成するフレームのシーケンスを有し、
フレームの前記シーケンスはユニットを有し、前記ユニットは、垂直同期信号から次の垂直同期信号までの期間であり、各ユニットは、多重化スキームに従って配置される複数のフレームに対応し、前記複数のフレームは、３Ｄ画像として合成され表示されることが意図されるビデオ情報を有し、
各フレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を有し、各フレーム・タイプは、部分的３Ｄデータ構造を表し、
当該３Ｄ表示信号は、前記表示装置において、前記３Ｄ転送情報に依存して表示制御信号を生成するために、補助情報フレーム・パケット中に３Ｄ転送情報を有し、
前記３Ｄ転送情報は、前記３Ｄ表示信号中の１つの３Ｄ画像として合成されるべきユニット中のビデオ・フレームの数を含む前記多重化スキームに関する情報を少なくとも有し、
前記多重化スキームは、少なくともフレーム交互多重化を含む多重化スキームのグループから選択され、フレーム交互とは、前記複数のフレームが前記ビデオ・データ期間内でシーケンシャルに配置されることを示す、３Ｄ表示信号。
【請求項１５】
前記多重化スキームに関する前記情報において、多重化スキームの前記グループが、
フィールド交互多重化、
ライン交互多重化、
前記複数のフレームが前記ビデオ・データ期間内でサイド・バイ・サイドで配置されることを示す、サイド・バイ・サイド・フレーム多重化、
２Ｄ及び深さフレーム多重化、
２Ｄ，深さ、グラフィックス及びグラフィックス深さフレーム多重化、
のうちの少なくとも１つをさらに有する、請求項１４に記載の３Ｄ表示信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元［3D］画像データを3D表示装置に転送するための3D表示信号を伝送する方法に関し、3D表示信号は、3Dビデオ転送フォーマットに従って3D画像データを構成するフレームのシーケンスを有し、フレームのシーケンスはユニットを有し、各々のユニットはビデオ情報を有するフレームに対応し、ビデオ情報は、三次元画像として合成され表示されることが意図される。
【０００２】
本発明はさらに、上述の3Dソース装置、3D表示信号及び3D表示装置に関する。
【０００３】
本発明は、3D表示装置での表示のために、高速デジタル・インタフェース、例えばHDMIを介して、三次元画像データ、例えば3Dビデオを転送する分野に関する。
【背景技術】
【０００４】
2Dビデオ・データを供給する装置、例えば、デジタルビデオ信号を提供するDVDプレーヤーのようなビデオ・プレーヤー又はセットトップボックスが知られている。ソース装置は、TVセット又はモニタのような表示装置に結合される。画像データは、ソース装置から適切なインタフェース（好ましくはHDMIのような高速デジタル・インタフェース）を介して転送される。現在、三次元（3D）画像データを供給する3D拡張装置が提案されている。同様に、3D画像データを表示する装置が提案されている。ソース装置から表示装置へ3Dビデオ信号を転送するために、例えば既存のHDMI規格に基づいて互換性がある新たな高データ速度デジタル・インタフェース規格が開発されている。通常2Dデジタル画像信号を表示装置へ転送することは、フレーム毎にビデオ・ピクセル・データを送信することを必要とし、そのフレームは順次表示されることになっている。そのようなフレームは、プログレッシブ・ビデオ信号（フルフレーム）のビデオ・フレームを表すか、又は、（周知のライン・インターレースに基づき、あるフレームが奇数ラインを提供し、次のフレームが、シーケンシャルに表示されるための偶数ラインを提供する）インタレース・ビデオ信号のビデオ・フレームを表す場合がある。
【０００５】
文献US 4,979,033は、インタレース・フォーマットを持つ従来のビデオ信号の例を説明する。従来の信号は、奇数及び偶数のフレームのライン及びフレームを従来のテレビに表示するための水平及び垂直同期信号を含む。シャッタ眼鏡を用いるディスプレイとの立体視ビデオの同期を可能にする立体視ビデオ・システム及び方法が提案されている。奇数及び偶数のフレームは、立体視ビデオ信号のそれぞれ左及び右の画像を転送するために用いられる。提案された3D表示装置は、従来の奇数/偶数フレームを検出するために従来の包絡線検出器を有するが、その代わりに左及び右の液晶ディスプレイ・ユニットのための表示信号を生成する。特に、従来のインタレース・アナログ・ビデオ信号では奇数及び偶数のフレームで異なる垂直ブランキング間隔の間に発生する等化パルスは、それぞれ左又は右のフィールドを識別するためにカウントされる。システムはシャッタ眼鏡を同期させるためにこの情報を用いて、シャッタ眼鏡は、立体ビデオと同期して交互に開閉する。
【０００６】
立体画像がフォーマットされることができる多くの異なる態様が存在し、3D画像フォーマットと呼ばれる。いくつかのフォーマットは、立体情報をさらに伝達するために2Dチャネルを用いることに基づく。例えば、左及び右ビューは、インタレースされるか、又は左右や上下に配置されることができる。これらの方法は、立体情報を伝達するために、解像度を犠牲にする。他のオプションは色を犠牲にすることであり、このアプローチはアナグラフ・ステレオと呼ばれる。
【０００７】
ディスプレイに3D情報を伝送するための新たなフォーマットが開発されている。MPEGにおいて規格化されているようなMVDは、より大きいビュー・コーンのグラフィックス・オーバレイ（例えばBEDプレーヤー又はSTBにおけるメニュー又は字幕）がディスプレイに伝送されることを可能にするために、M個のビューのための{Video+Depth}を伝送することを要求する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
3Dビデオ信号を表示装置に転送するためのより柔軟かつ信頼性が高いシステムを提供することが本発明の目的である。
【課題を解決するための手段】
【０００９】
この目的のために、本発明の第１の態様によれば、冒頭の段落に記載の方法において、3Dビデオ・フォーマットは、情報フレーム・パケットを含む一連のパケットを用いて伝送されるオーディオ及び補助データが、データ・アイランド期間並びにアクティブ・ビデオのピクセルが伝送されるビデオ・データ期間を有し、3D表示信号を出力し、3D表示装置において、3D表示信号を受信し、3Dディスプレイで3D画像データをレンダリングするための表示制御信号を生成するために3D表示信号を処理し、フレームのシーケンスはユニットを有し、ユニットは垂直同期信号から次の垂直同期信号までの期間であり、各ユニットは、多重化スキームに従って配置される複数のフレームに対応し、前記複数のフレームは、三次元画像として合成され表示されることが意図されるビデオ情報を有し、ユニット中の各フレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各フレーム・タイプは部分的3Dデータ構造を表し、当該方法は、3Dソース装置において、補助情報フレーム・パケット中に3D転送情報を含めて、3D転送情報は、3D表示信号中に１つの三次元画像として構成されるべきユニット中のビデオ・フレームの数を含む多重化スキームに関する情報を少なくとも有し、多重化スキームは、少なくともフレーム交互多重化を含む多重化スキームのグループから選択され、フレーム交互とは、前記複数のフレームが前記ビデオ・データ期間内にシーケンシャルに配置されることを示し、表示制御信号を生成することは、3D転送情報に依存して実行される。
【００１０】
この目的のために、本発明の第２の態様によれば、冒頭の段落に記載の3D画像データを3D表示装置に転送するための3Dソース装置であって、3Dソース装置は、3D表示信号を生成するためにソース画像データを処理するための生成手段であって、3D表示信号は3Dビデオ転送フォーマットに従って3D画像データを構成するフレームのシーケンスを有し、3Dビデオ・フォーマットは、情報フレーム・パケットを含む一連のパケットを用いてオーディオ及び補助データが伝送されるデータ・アイランド期間及びアクティブ・ビデオのピクセルが伝送されるビデオ・データ期間を有する生成手段、並びに、3D表示信号を出力するための出力インタフェース手段であって、各フレームはデジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各フレーム・タイプは部分的3Dデータ構造を表し、フレームのシーケンスはユニットを有し、ユニットは垂直同期信号から次の垂直同期信号までの期間であり、各ユニットは多重化スキームに従って配置される複数のフレームに対応し、複数のフレームは三次元画像として合成され表示されることが意図されるビデオ情報を有する出力インタフェース手段を有し、出力インタフェース手段は、表示装置において3D転送情報に依存して表示制御信号を生成するために、補助情報フレーム・パケットにおいて前記3D転送情報を送信するように適応され、3D転送情報は、3D表示信号中に１つの三次元画像として構成されるべきユニット中のビデオ・フレームの数を含む多重化スキームに関する情報を少なくとも有し、多重化スキームは、少なくともフレーム交互多重化を含む多重化スキームのグループから選択され、フレーム交互とは、前記複数のフレームが前記ビデオ・データ期間内にシーケンシャルに配置されることを示す。
【００１１】
この目的のために、本発明のさらに別の態様では、冒頭の段落に記載の3D表示装置データであって、3D画像データを表示するための3Dディスプレイ、3D表示信号を受信するための入力インタフェース手段であって、3D表示信号は3Dビデオ転送フォーマットに従って3D画像データを構成するフレームを有し、3Dビデオ・フォーマットは情報フレーム・パケットを含む一連のパケットを用いてオーディオ及び補助データが伝送されるデータ・アイランド期間及びアクティブ・ビデオのピクセルが伝送されるビデオ・データ期間を有する入力インタフェース手段、並びに、3Dディスプレイで3D画像データをレンダリングするための表示制御信号を生成するための処理手段であって、各フレームはデジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各フレーム・タイプは部分的3Dデータ構造を表し、フレームのシーケンスはユニットを有し、ユニットは垂直同期信号から次の垂直同期信号までの期間であり、各ユニットは多重化スキームに従って配置される複数のフレームに対応し、複数のフレームは三次元画像として合成され表示されることが意図されるビデオ情報を有する処理手段を有し、補助情報フレーム・パケット中の3D転送情報は、3D表示信号中に１つの三次元画像として構成されるべきユニット中のビデオ・フレームの数を含む多重化スキームに関する情報を少なくとも有し、多重化スキームは、少なくともフレーム交互多重化を含む多重化スキームのグループから選択され、フレーム交互とは、前記複数のフレームが前記ビデオ・データ期間内にシーケンシャルに配置されることを示し、処理手段は、3D転送情報に依存して表示制御信号を生成するために配置される。
【００１２】
本発明はさらに以下の認識に基づく。2Dビデオ情報と異なり、3Dビデオ・データをフォーマットするための多くの可能性が存在し、例えば、ステレオ、画像+深さ（遮蔽及び透明度を含む場合がある）、複数のビューが存在する。さらに、表示前に合成するためにインタフェースを通じて複数の3Dビデオ・データ・レイヤが伝送される場合があることが想定される。この多くの選択肢は、ソース装置で利用可能なデータのフォーマット及びディスプレイによって受け入れられる3Dビデオ・フォーマットに応じて、多くのビデオ・フォーマット・オプションにつながる。大部分のこれらのフォーマットは、表示されるべき各々の3D画像のために転送されることを必要とする複雑な構造の大量の情報によって特徴づけられる。本発明によって、データがユニットとして送信され、ユニットに関する情報が3D表示信号において利用可能であるとき、より多くのデータがユニット中に含まれることができるので、伝送システムは、さまざまな3Dデータ・フォーマットを取り扱うことにより柔軟である。最新の高速インタフェースは、通常は映画撮影業界によって用いられる24Hzである3D画像の実際の周波数より非常に高い周波数でフレームを送信することを可能にする。フレームのユニットを用いることにより、各々の3D画像のための柔軟なフォーマットにおけるより大量のデータがインタフェースを通じて送信されることができる。
【００１３】
実施の形態において、多重化スキームのグループは、フィールド交互多重化、ライン交互多重化、サイド・バイ・サイド・フレーム多重化（サイド・バイ・サイド・フレーム多重化は、前記複数のフレームが前記ビデオ・データ期間内でサイド・バイ・サイドに配置されることを示す）、2D及び深さフレーム多重化、2D、深さ、グラフィックス及びグラフィックス深さフレーム多重化のうちの少なくとも１つをさらに有する。
【００１４】
一般に、3Dビデオ・データの伝送は、
- ピクセル繰返し速度
- １つの三次元画像のフレームのユニット中のフレームの数
- フォーマット（チャネルを多重化する態様）
の３つのパラメータによって特徴づけられることができる。
【００１５】
本発明の好ましい実施の形態において、全てのこれらのパラメータにわたる情報は、3D転送情報中に含まれる。最大の柔軟性のために、本発明によれば、これらは３つの別々のフィールドにおいて伝送されるべきである。
【００１６】
本発明の実施の形態において、インタフェースとしてHDMIが用いられ、3D転送情報は、AVI情報フレーム及び/又はHDMI ベンダー独自（Vendor Specific）情報フレームにおいて送信される。最大の柔軟性を可能にする最も好ましい実施の形態において、3D転送情報は、別々の情報フレームにおいて送信される。
【００１７】
本発明による方法、3D装置及び信号の更なる好ましい実施の形態は、添付の請求の範囲において与えられ、その開示は本明細書に参照として組み込まれる。
【００１８】
本発明のこれらの及び他の態様は、以下の記載において一例として説明される実施の形態及び添付の図面から明らかであり、それらを参照してさらに説明される。
【００１９】
図面において、既に述べられた要素に対応する要素は同じ参照番号を持つ。
【図面の簡単な説明】
【００２０】
【図１】三次元（3D）画像データを転送するシステム。
【図２】3D画像データの例。
【図３】再生装置及び表示装置の組み合わせを示す図。
【図４】2D+Stereo+DOTに対応する3D画像データのためのビデオ・インタフェイスを通じて送信されるフレームの可能なユニットを概略的に示す図。
【図５】2D+Stereo+DOTに対応する3D画像データのためのビデオ・インタフェイスを通じて送信されるフレームの可能なユニットの更なる詳細を概略的に示す図。
【図６】2D+Stereo+ DOTに対応する3D画像データのためのビデオ・インタフェイス上のフレームの時間出力を概略的に示す図。
【図７】ステレオ信号のためのフレーム配置の可能なユニットを概略的に示す図。
【図８】3D+DOTフォーマット@1920ピクセルのための水平及び垂直ブランキング及びシグナリングを示す図。
【図９】1920プログレッシブ@30Hzとして送信される3D+DOTフォーマット720ピクセルのための水平及び垂直ブランキング及びシグナリングを示す図。
【図１０】ステレオ3D画像データのためのフレーム・タイプ同期インジケータによって拡張されるAVI情報フレームの表を示す図。
【図１１】3Dビデオ・フォーマットの表を示す図。
【図１２】フレーム同期化信号を示す図。
【図１３】補助ビデオ・レイヤのための値を示す図。
【発明を実施するための形態】
【００２１】
図1は、ビデオ、グラフィックス又は他の視覚的情報のような三次元（3D）画像データを転送するシステムを示す。3Dソース装置10は、3D表示信号56を転送するために3D表示装置13に結合される。3Dソース装置は、画像情報を受信するための入力ユニット51を持つ。例えば、入力ユニット装置は、DVD又はBlu-Rayディスクのような光学記録担体54からさまざまなタイプの画像情報を読み出すための光学ディスク・ユニット58を含むことができる。別の態様では、入力ユニットは、ネットワーク55（例えばインターネット又は放送ネットワーク）に結合するためのネットワーク・インターフェース装置59を含むことができ、そのような装置は通常、セットトップボックスと呼ばれる。画像データは、遠隔メディア・サーバ57から読み出されることができる。ソース装置はさらに、衛星受信機、又は表示信号を直接提供するメディア・サーバ、すなわち、ディスプレイ・ユニットに直接結合される3D表示信号を出力する任意の適切な装置であることができる。
【００２２】
3Dソース装置は、表示装置に出力インタフェース装置12を介して転送されるべき3D表示信号56を生成するために画像情報を処理するための、入力ユニット51に結合される処理ユニット52を持つ。処理ユニット52は、表示装置13上での表示のための3D表示信号56中に含まれる画像データを生成するために配置される。ソース装置は、画像データの表示パラメータ（例えばコントラスト又は色パラメータ）を制御するためのユーザ制御素子15を備える。そのようなユーザ制御素子は周知であり、3Dソース装置のさまざまな機能（例えば再生及び記録機能）を制御するため、そして例えばグラフィカル・ユーザインタフェース及び/又はメニューを介して前記表示パラメータを設定するための、さまざまなボタン及び/又はカーソル制御機能を持つ遠隔制御ユニットを含むことができる。
【００２３】
ソース装置は、3D表示信号中に少なくとも１つのフレーム・タイプ同期インジケータを提供するための送信同期化ユニット11を持ち、そのインジケータは、出力インターフェースユニット12における3D表示信号中に含まれ、出力インターフェースユニット12はさらに、3D表示信号56としてソース装置から表示装置に画像データ及びフレーム・タイプ同期インジケータを有する3D表示信号を転送するように配置される。3D表示信号はフレームのシーケンスを有し、このフレームはフレームのグループとして組織され、それによって3Dビデオ転送フォーマットに従って3D画像データを構成し、このフォーマットにおいて、フレームは少なくとも２つの異なるフレーム・タイプを含む。各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、通常、予め定められた解像度による複数のピクセルの水平ラインのシーケンスとして配置される。各々のフレーム・タイプは、部分的3Dデータ構造を表す。例えば、3Dビデオ転送フォーマットのフレーム・タイプにおける3D部分的データ構造は、左及び右画像若しくは2D画像及び補助深さであることができ、並びに/又は、以下に記載される遮蔽又は透明度情報のような更なる3Dデータであることができる。なお、フレーム・タイプはさらに、上記のフレーム・タイプのサブ・フレーム（例えば、１つのフル解像度フレーム中に位置する低い解像度を持つ４つのサブ・フレーム）の組み合わせを示す組み合わせフレーム・タイプであることもできる。さらに、複数のマルチ・ビュー画像が、同時に表示されるフレームのビデオ・ストリームに符号化されることができる。
【００２４】
ソース装置は、3D表示信号に１つの三次元画像として構成されるべきユニット中のビデオ・フレームの数に関する情報を少なくとも有する3D転送情報を含めるように適応される。これは、同期ユニット11に対応する機能を追加することによって達成されることができる。
【００２５】
3D表示装置13は、3D画像データを表示するためにある。この装置は、ソース装置10から転送されるフレーム中の3D画像データ及びフレーム・タイプ同期インジケータを含む3D表示信号56を受信するための入力インタフェース装置14を持つ。各々のフレームはデジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは部分的3Dデータ構造を表す。表示装置は、ディスプレイの表示パラメータ（例えばコントラスト、色又は深さパラメータ）を設定するために、更なるユーザ制御素子16を備える。転送された画像データは、ユーザ制御素子からの設定コマンドに従って処理ユニット18において処理され、それぞれのフレーム・タイプに基づいて3Dディスプレイ上に3D画像データをレンダリングするための表示制御信号を生成する。装置は、処理された画像データを表示するための表示制御信号を受信する3Dディスプレイ17を持つ（例えばデュアルLCD）。表示装置13は、矢印44によって示される表示深さ範囲を持つ、3Dディスプレイとも呼ばれる立体視ディスプレイである。3D画像データの表示は、各々がそれぞれの部分的3D画像データ構造を提供するそれぞれのフレームに依存して実行される。
【００２６】
表示装置はさらに、3D表示信号からフレーム・タイプ同期インジケータを読み出すため及び受信された3D表示信号中のそれぞれのフレーム・タイプを検出するための処理ユニット18に結合される検出ユニット19を含む。処理ユニット18は、それぞれの3Dビデオ・フォーマットの部分的3Dデータ構造によって定められるような画像データのさまざまなタイプ（例えば2D画像及び深さフレーム）に基づいて表示制御信号を生成するために配置される。それぞれのフレームは、それぞれのフレーム・タイプ同期インジケータによって示されるように認識されて、時間同期される。
【００２７】
表示装置は、3D表示信号において１つの三次元画像として構成されるユニット中のビデオ・フレームの数に関する情報を少なくとも有する3D転送情報を検出し、3D転送情報に依存して表示制御信号を生成するために3D転送情報を用いるように適応される。これは、例えば、3D転送情報を検出するように検出ユニット19を適応させることによって、及び、3D転送情報に依存して表示制御信号を生成するように処理手段(18)を適応させることによって、達成されることができる。
【００２８】
フレーム・タイプ同期インジケータは、フレームのうちのどれが同時に表示されるために組み合わせられるべきかを検出することを可能にし、さらに、それぞれの部分的3Dデータが読み出されて処理されることができるようにフレーム・タイプを示す。3D表示信号は、適切な高速デジタル・ビデオ・インタフェース（例えば周知のHDMIインタフェース）を通じて転送されることができる（例えば、"High Definition Multimedia Interface Specification Version 1.3a," Nov 10 2006参照）。
【００２９】
図1は、3D画像データの担体としての記録担体54をさらに示す。記録担体はディスク形状であり、トラック及び中央のホールを持つ。物理的に検出可能なマークの系列によって構成されるトラックは、情報レイヤ上に実質的に平行の軌道を構成するターンのらせん又は同心円パターンに従って配置される。記録担体は光学的に読取り可能であり、光学ディスクと呼ばれる（例えばCD、DVD又はBD（Blu-ray Disc））。情報は、トラックに沿った光学的に検出可能なマーク（例えばピット及びランド）によって情報レイヤ上に表される。トラック構造はさらに、情報のユニット（通常は情報ブロックと呼ばれる）の位置を示すための位置情報（例えばヘッダ及びアドレス）を有する。記録担体54は、例えば、DVD又はBDフォーマットのような事前に決められた記録フォーマットでMPEG2又はMPEG4符号化システムに従って符号化されたビデオのような、デジタル的に符号化された画像データを表す情報を担持する。
【００３０】
なお、プレーヤーは、さまざまなフォーマットの再生をサポートすることができるが、ビデオ・フォーマットを変換することはできず、表示装置は、ビデオ・フォーマットの限られたセットを再生することが可能である場合がある。これは、何が再生されることが出来るかの共通のデバイダが存在することを意味する。なお、ディスク又はコンテンツに依存して、フォーマットは、システムの再生/動作の間に変化する場合がある。フォーマットのリアルタイム同期が行われることを必要とし、フォーマットのリアルタイム切り替えは、フレーム・タイプ同期インジケータによって提供される。
【００３１】
以下のセクションは、三次元ディスプレイの概要及び人による深さの知覚を提供する。より真に迫った深さの知覚を提供することができるという点で、3Dディスプレイは2Dディスプレイと異なる。これは、それらが単眼の深さ手がかり及び動作に基づく手がかりのみを示すことができる2Dディスプレイより多くの深さ手がかりを提供するので、達成される。
【００３２】
単眼の（又は静的な）深さ手がかりは、１つの目を用いて静止画像から得られることができる。画家は、絵の中に深さの感覚を生じさせるために、しばしば単眼の手がかりを用いる。これらの手がかりは、相対的なサイズ、地平線に対する高さ、遮蔽、距離感、テクスチャー勾配及びライティング/陰影を含む。動眼手がかり（Oculomotor cue）は、観察者の目の筋肉における緊張から導き出される深さ手がかりである。目は、目を回転させるため及び目のレンズを伸ばすための筋肉を持つ。目のレンズの緊張と緩和は適応と呼ばれ、画像に焦点を合わせるときに行われる。レンズ筋肉の緊張又は緩和の量は、物体がどれだけ離れているか又は近いかのための手掛かりを提供する。目の回転は、両方の目が同じ物体に焦点を合わせるように行われ、それは輻輳と呼ばれる。最後に、運動視差は、観察者の近くの物体が、離れた物体よりも速く移動するように見える効果である。
【００３３】
両眼視差は、両方の目が僅かに異なる画像を見ることから導き出される深さ手がかりである。単眼の深さ手がかりは、任意の2D画像表示タイプに用いられることができ、用いられている。ディスプレイにおいて両眼視差を再現することは、そのディスプレイが、各々の目がディスプレイ上で僅かに異なる画像を見るように、左目及び右目のためのビューを分けることができることを必要とする。両眼視差を再現することができるディスプレイは、3D又は立体視ディスプレイと呼ばれる特別なディスプレイである。3Dディスプレイは、人の目によって実際に知覚される深さ次元に沿って画像を表示することができ、本明細書において、表示深さ範囲を持つ3Dディスプレイと呼ばれる。それゆえに、3Dディスプレイは、左及び右目に異なるビューを提供する。
【００３４】
２つの異なるビューを提供することができる3Dディスプレイは長年存在している。それらの大部分は、左及び右目ビューを分離する眼鏡を用いることに基づいていた。今では、ディスプレイ技術の発達によって、眼鏡を用いることなく立体ビューを提供することができる新たなディスプレイが市場に参入した。これらのディスプレイは、自動立体視ディスプレイと呼ばれる。
【００３５】
最初のアプローチは、ユーザが眼鏡を用いずに立体ビデオを見ることを可能にする液晶ディスプレイに基づく。これらは、レンチキュラ・スクリーン及びバリア・ディスプレイの２つの技術のいずれかに基づく。レンチキュラ・ディスプレイでは、LCDは、レンチキュラレンズのシートによって覆われる。これらのレンズは、左及び右目が異なるピクセルからの光を受け取るように、ディスプレイからの光を回析する。これは、一方が左目ビューのため、一方が右目ビューのための２つの異なる画像が表示されることを可能にする。
【００３６】
レンチキュラ・スクリーンの代替物はバリア・ディスプレイであり、これは、LCDのピクセルからの光を分離するために、LCDの後ろでバックライトの前の視差バリアを用いる。バリアは、スクリーンの前の規定の位置から、左目が右目と異なるピクセルを見るようなバリアである。バリアは、ディスプレイのロウのピクセルが左及び右目によって交互に見えるように、LCDと観察者との間にあってもよい。バリア・ディスプレイに関する問題は、輝度及び解像度の減少、並びに、非常に狭い観察角である。これにより、バリア・ディスプレイは、例えば９つのビュー及び複数の観察ゾーンを持つレンチキュラ・スクリーンと比べて、リビングルーム・テレビとしては魅力が低いものとなっている。
【００３７】
更なるアプローチは、高いリフレッシュ・レート（例えば120Hz）でフレームを表示することができる高解像度ビーマーと組み合わせてシャッタ眼鏡を用いることに依然として基づく。シャッタ眼鏡方法では左及び右目ビューが交互に表示されるので、高いリフレッシュ・レートが必要とされる。眼鏡を着用している観察者は、60Hzで立体ビデオを知覚する。シャッタ眼鏡方法は、高い品質のビデオ及び高いレベルの深さを可能にする。
【００３８】
自動立体視ディスプレイ及びシャッタ眼鏡方法の両方は、適応-輻輳不整合を被る。これは、深さの量及びこれらの装置を用いて快適に観察可能な時間を制限する。ホログラフィック及び体積ディスプレイのような他の表示技術が存在し、これらはこの問題を被らない。なお、本発明は、深さ範囲を持つ任意のタイプの3Dディスプレイのために用いられることができる。
【００３９】
3Dディスプレイのための画像データは、電子的な（通常デジタルの）データとして利用可能であると仮定される。本発明は、そのような画像データに関し、デジタル領域で画像データを操作する。画像データは、ソースへ転送されるときに、例えばデュアル・カメラを用いることにより、すでに3D情報を含む場合があり、或いは、専用の前処理システムが、2D画像から3D情報を(再)生成するために関与する場合がある。画像データは、スライドのような静止画であることができ、或いは、動くビデオのような動画を含むことができる。通常グラフィカル・データと呼ばれる他の画像データは、記憶されたオブジェクトとして利用可能であるか、又は、アプリケーションによって要求されたときにオン・ザ・フライ(on the fly)で生成されることができる。例えば、メニュー、ナビゲーション・アイテム又はテキスト及びヘルプ注釈のようなユーザ制御情報が、他の画像データに追加されることができる。
【００４０】
立体画像がフォーマットされることができる多くの異なる態様が存在し、3D画像フォーマットと呼ばれる。いくつかのフォーマットは、さらに立体情報を担持するために2Dチャネルを用いることに基づく。例えば、左及び右ビューは、インタレースされることができ、又は、左右や上下に並べて配置されることができる。これらの方法は、立体情報を担持するために、解像度を犠牲にする。他のオプションは色を犠牲にすることであり、このアプローチは、アナグラフ・ステレオと呼ばれる。アナグラフ・ステレオは、補色で２つの別々のオーバレイされた画像を表示することに基づくスペクトル多重化を用いる。着色したフィルタを有する眼鏡を用いることにより、各々の目は、その目の前のフィルタと同じ色の画像のみを見る。したがって、例えば、右目は赤の画像のみを見て、左目は緑の画像のみを見る。
【００４１】
異なる3Dフォーマットは、2D画像及び補助深さ画像（いわゆる深さマップ）を用いる２つのビューに基づき、深さマップは、2D画像中のオブジェクトの深さに関する情報を伝達する。画像+深さと呼ばれるフォーマットは、いわゆる「深さ」又は視差マップと2D画像との組み合わせであるという点で異なる。これは階調画像であり、ピクセルの階調値は、関連する2D画像中の対応するピクセルの視差（又は深さマップの場合には深さ）の量を示す。表示装置は、入力として2D画像を利用して追加のビューを計算するために、視差、深さ又は像差マップを用いる。これは様々な態様で行われることができ、最も単純な形式は、それらのピクセルに関連づけられる視差値に依存して左又は右にピクセルをシフトすることである。Christoph Fenによる論文"Depth image based rendering, compression and transmission for a new approach on 3D TV"は、この技術の優れた概要を与える(http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdfを参照)。
【００４２】
図2は3D画像データの例を示す。画像データの左部分は通常はカラーの2D画像21であり、画像データの右部分は深さマップ22である。2D画像情報は、任意の適切な画像フォーマットで表されることができる。深さマップ情報は、おそらく2D画像と比べて減少した解像度で、各々のピクセルのための深さ値を持つ補助データ・ストリームであることができる。深さマップにおいて、階調値は、2D画像中の関連するピクセルの深さを示す。白は観察者に近いことを示し、黒は観察者から離れた大きい深さを示す。3Dディスプレイは、深さマップからの深さ値を用いることにより、そして必要とされるピクセル変換を計算することによって、ステレオのために必要とされる追加のビューを計算することができる。遮蔽は、推定又はホール充填技術を用いて解決されることができる。遮蔽マップ、視差マップ及び/又は背景の前を移動する透明なオブジェクトのための透明度マップのような、更なるフレームが、データ・ストリーム中に含まれることができ、例えば、画像及び深さマップ・フォーマットにさらに追加されることができる。
【００４３】
さらに、ビデオにステレオを追加することは、それがプレーヤー装置（例えばブルーレイ・ディスク・プレーヤー）から立体ディスプレイまで送信されるときのビデオのフォーマットに影響を与える。2Dの場合には、2Dビデオ・ストリーム（復号された画像データ）のみが送信される。ステレオ・ビデオに関して、（ステレオのための）第２のビュー又は深さマップを含む第２のストリームが必要であるので、これは増加する。これは、電気的インタフェース上で必要とされるビットレートを倍にする場合がある。異なるアプローチは、解像度を犠牲にして、第２のビュー又は深さマップが2Dビデオとインタレースされるか又は並べて配置されるようにストリームをフォーマットすることである。
【００４４】
図2に2Dデータ及び深さマップの例を示す。ディスプレイに送信される深さ表示パラメータは、ディスプレイが深さ情報を正しく解釈することを可能にする。ビデオ中に更なる情報を含めることの例は、ISO standard 23002-3 "Representation of auxiliary video and supplemental information"に記載される(例えば、ISO/IEC JTC1/SC29/WG11 N8259 July 2007を参照)。補助ストリームのタイプに応じて、更なる画像データは、4つ又は2つのパラメータから成る。フレーム・タイプ同期インジケータは、3D表示信号の以降のセクションにおけるそれぞれの3Dビデオ転送フォーマットを示す3Dビデオ・フォーマット・インジケータを有することができる。これは、3Dビデオ転送フォーマットを示すこと又は変更することを可能にし、或いは、転送シーケンスをリセットすること又は更なる同期パラメータをセット若しくはリセットすることを可能にする。
【００４５】
実施の形態において、フレーム・タイプ同期インジケータは、少なくとも１つのフレーム・タイプの頻度を示すフレーム・シーケンス・インジケータを含む。なお、いくつかのフレーム・タイプは、知覚される3D画像の重大な悪化を伴わずに、より低い送信頻度を可能にする（例えば遮蔽データ）。さらに、それぞれのフレーム・タイプの順序は、繰り返されるべきそれぞれのフレーム・タイプのシーケンスとして示されることができる。
【００４６】
実施の形態において、フレーム・タイプ同期インジケータ及び3D転送情報は、フレーム・シーケンス番号を含む。個々のフレームがフレーム・シーケンス番号を備えることもできる。例えば１つの三次元画像を構成する全てのフレームが送信されると、シーケンス番号は規則正しくインクリメントされ、以降のフレームは次の三次元画像に属する。したがって、番号は、同期サイクルごとに異なり、又は、より大きいセクションに対してのみ変化することができる。したがって、ジャンプが実行されるとき、画像表示が再開されることができる前に、それぞれ同じシーケンス番号を有するフレームのセットが転送される必要がある。表示装置は、逸脱したフレーム・シーケンス番号を検出して、フレームの完全なセットのみを組み合わせる。これは、新たな位置にジャンプした後、誤ったフレームの組み合わせが用いられることを防止する。
【００４７】
ビデオ上にグラフィックスを追加するとき、ディスプレイ・ユニットにおいて更なるレイヤをオーバレイするために、さらに別のデータ・ストリームが用いられることができる。そのようなレイヤ・データは、以下で詳細に議論されるように3D表示信号中にそれぞれのフレーム・タイプ同期インジケータを追加することによって別々にマークされる異なるフレーム・タイプ中に含まれる。ここで、3Dビデオ転送フォーマットは、それぞれのフレーム・タイプを介して転送されるメイン・ビデオ及び少なくとも１つの補助ビデオ・レイヤを有し、フレーム・タイプ同期インジケータは、メイン・フレーム・タイプ・インジケータ及び補助レイヤ・フレーム・タイプ・インジケータのうちの少なくとも１つを有する。補助ビデオ・レイヤは、例えば、メニューのような字幕若しくは他のグラフィカル情報又は任意の他のオン・スクリーン・データ（OSD）であることができる。
【００４８】
フレームのユニットのための可能なフォーマットは、図4〜7を参照して説明される。このフォーマットはさらにEP出願番号09150947.1（出願人整理番号PH012841）に記載され、その出願の優先権が主張され、本明細書に参照として組み込まれる。
【００４９】
受信された圧縮ストリームは、立体視ディスプレイ及び自動立体視ディスプレイの両方での合成及びレンダリングを可能にする3D情報を有し、すなわち、圧縮されたストリームは、左及び右のビデオ・フレーム、並びに、2D+深さ情報に基づくレンダリングを可能にするための深さ(D)、透明度(T)及び遮蔽(O)情報を有する。以下において、深さ(D)、透明度(T)及び遮蔽(O)情報はDOTとして省略される。
【００５０】
圧縮ストリームとしてステレオ及びDOTの両方が存在することで、ディスプレイのタイプ及びサイズに応じて、ディスプレイによって最適化された合成及びレンダリングが可能となるが、合成はコンテンツ作成者によって依然として制御される。
【００５１】
以下の成分が表示インタフェースを通じて伝送される。
- 復号化ビデオ・データ（PG及びIG/BD-Jと混合されない）
- プレゼンテーション・グラフィックス（PG）データ
- インタラクティブ・グラフィックス（IG）又はBD-Java（登録商標）生成（BD-J）グラフィックス・データ
- 復号化ビデオDOT
- プレゼンテーション・グラフィックス（PG）DOT
- インタラクティブ・グラフィックス（IG）又はBD-Java（登録商標）生成(BD-J)グラフィックス
【００５２】
図4及び5は、ビデオ・インタフェイスを通じて送信されるフレームのユニットを概略的に示す。
【００５３】
出力ステージは、インタフェース（好ましくはHDMI）を通じて以下のように構成される6つのフレームのユニットを送信する。
フレーム1：Left(L)ビデオ及びDOTビデオのYUV成分は、図9の最上部に示されるように、１つの24HzのRGB出力フレーム（成分）中に組み合わせられる。YUVは、ビデオ処理の分野において、例によって基準輝度（Y）及び彩度（UV）成分を表わす。
フレーム2：右(R)ビデオは、好ましくは図9の最下部に示されるように、24Hzで変更されずに送信される。
フレーム3：PCカラー（PG-C）は、好ましくは24Hzで、RGB成分として、変更されずに送信される。
フレーム4：PG-Colorの透明度は、図10の最上部に示されるように、別のグラフィックスDOT出力プレーンにコピーされて、さまざまなプレーンのための深さ並びに960x540の遮蔽及び遮蔽深さ（OD）成分と組み合わせられる。
フレーム5：BD-J/IG Color(C)は、好ましくは24Hzで変更されずに送信される。
フレーム6：BD-J/IG Colorの透明度は、図10の最下部に示されるように、別のグラフィックスDOT出力プレーンにコピーされて、深さ並びに960x540遮蔽及び遮蔽深さ（OD）成分と組み合わせられる。
【００５４】
図6は、本発明の好ましい実施形態による、ビデオ・インタフェイス上でのフレームの時間出力を概略的に示す。ここで、成分は24Hzで送信され、成分は、ディスプレイに144Hzのインタフェース周波数で、HDMIインタフェース上で時間インタリーブされる。
【００５５】
この3Dビデオ・フォーマットの利点は、
- 最大限解像度が柔軟な3Dステレオ+DOTフォーマット及び3D HDMI出力が、さまざまな3Dディスプレイ（ステレオ及び自動立体視）のための拡張3Dビデオ（表示サイズ依存関係のための可変ベースライン）及び拡張3Dグラフィックス（より少ないグラフィックス制限、3D TV OSD）可能性を可能にする。
- 品質、オーサリング柔軟性及びプレーヤー・ハードウェアに対する最小のコストに対するいかなる妥協もない。合成及びレンダリングは3Dディスプレイにおいて行われる。
- 必要とされるより高いビデオ・インタフェイス速度は、4k2kフォーマットのためのHDMIにおいて定められていて、デュアル・リンクHDMIによって既に実施されることができる。デュアル・リンクHDMIは、さらにより高いフレームレート（例えば30Hzなど）をサポートする。
【００５６】
3D転送情報インジケータは、補助ビデオ・レイヤのために、レイヤ・シグナリング・パラメータを有することができる。
【００５７】
パラメータは、
- 補助レイヤのタイプ又はフォーマット
- メイン・ビデオの表示に対する補助レイヤの表示の位置
- 補助レイヤの表示のサイズ
- 補助レイヤの表示の出現、消失の時間及び/又は継続時間
-補助3D表示設定又は3D表示パラメータ
のうちの少なくとも１つを示すことができる。
【００５８】
さらに詳細な例が以下に記載される。
【００５９】
図3は、再生装置及び表示装置の組み合わせを示す。プレーヤー10は、ディスプレイ13の能力を読み出して、空間的に及び時間的に、ディスプレイが取り扱うことができる最も高い解像度のビデオを送信するために、ビデオのフォーマット及びタイミング・パラメータを調整する。実際には、EDIDと呼ばれる規格が用いられる。拡張ディスプレイ識別データ（EDID）は、画像ソース（例えばグラフィックス・カード）にその能力を説明するために表示装置によって提供されるデータ構造である。それは、最新のパーソナル・コンピュータがどの種類のモニタが接続されているかを知ることを可能にする。EDIDは、Video Electronics Standards Association（VESA）により公開される規格によって定められる。http://www.vesa.org/において入手可能なVESA Display Port Standard Version 1, Revision 1a, January 11, 2008を参照。
【００６０】
EDIDは、製造者名、製品タイプ、蛍光体又はフィルタ・タイプ、ディスプレイによってサポートされるタイミング、ディスプレイ・サイズ、輝度データ及び（デジタル・ディスプレイに対してのみ）ピクセル・マッピング・データを含む。ディスプレイからグラフィックス・カードへEDIDを伝送するチャネルは、通常、いわゆるI2Cバスである。EDID及びI2Cの組み合わせは、Display Data Channelバージョン2又はDDC2と呼ばれる。2は、異なるシリアル・フォーマットを用いていたVESAの元のDDCとそれを区別する。EDIDは、I2Cバスと互換性のあるシリアルPROM（programmable read-only memory）又はEEPROM（電気的消去可能PROM）と呼ばれるメモリ装置中でモニタにおいてしばしば記憶される。
【００６１】
再生装置は、DDC2チャネルを通してディスプレイにE-EDIDリクエストを送信する。ディスプレイは、E-EDID情報を送信することによって応答する。プレーヤーは、最善のフォーマットを決定して、ビデオ・チャネルを通じて伝送し始める。古いタイプのディスプレイでは、ディスプレイは、DDCチャネル上でE-EDID情報を連続的に送信する。いかなるリクエストも送信されない。インタフェース上で使用されるビデオ・フォーマットをさらに定めるために、更なる組織（Consumer Electronics Association; CEA）は、E-EDIDに対するいくつかの更なる制限及び拡張を定めて、TVタイプのディスプレイ用により適したものにした。特定のE-EDID要求に加えてHDMI規格（上記参照）は、多くの異なるビデオ・フォーマットのための識別コード及び関連するタイミング情報をサポートする。例えば、CEA861-D規格がインタフェース規格HDMIにおいて採用される。HDMIは、物理リンクを定めて、より高いレベルのシグナリングを取り扱うためにCEA861-D及びVESA E-EDID規格をサポートする。VESA E-EDID規格は、ディスプレイが、立体視ビデオ伝送をサポートするかどうか及びどのフォーマットでサポートするかを示すことを可能にする。ディスプレイの能力に関するそのような情報はソース装置に遡って伝わることが留意されるべきである。既知のVESA規格は、ディスプレイにおける3D処理を制御する任意の順方向3D情報を定めない。
【００６２】
実施の形態において、3D表示信号中の3D転送情報は、例えばデータ・ストリーム中の別々のパケットとして、非同期で転送され、それに関連があるそれぞれのフレームを識別する。パケットは、正確にビデオと同期しているフレームのための更なるデータを含むことができ、連続するビデオ・フレーム間のブランキング間隔における適切な時点に挿入されることができる。実際的な実施の形態では、3D転送情報は、HDMI Data Island内のパケット中に挿入される。
【００６３】
オーディオ・ビデオ・データ（ＡＶ）ストリーム中のHDMIにおいて定義されるAuxiliary Video Information（AVI）中に3D転送情報を含めることの例は、以下の通りである。AVIは、Info Frameとして、ソース装置からデジタル・テレビ（DTV）モニタへとＡＶストリームにおいて伝達される。ソース装置がAuxiliary Video Information（AVI）の伝送をサポートする場合、そして、DTVモニタがその情報を受信することが可能であることを決定する場合、それは、VSYNC周期ごとに一度、DTVモニタにAVIを送信する。このデータは、ビデオ・データの次のフル・フレームに適用される。
【００６４】
以下のセクションにおいて、HMDIシグナリングの簡単な説明が示される。HDMIにおいて、HDMI出力を有する装置はソースとして知られ、HDMI入力を有する装置はシンクとして知られる。情報フレーム（InfoFrame）は、オーディオ若しくはビデオ・ストリーム又はソース装置に関するさまざまな補助データアイテムを伝達するように設計されたCEA-861-Dにおいて定められるデータ構造であり、HDMIをわたってソースからシンクまで伝達される。ビデオ・フィールド（Video Field）は、１つのVSYNCアクティブ・エッジから次のVSYNCアクティブ・エッジまでの期間である。ビデオ・フォーマットは、それがモニタで受信されるときに、モニタがユーザに正しくビデオを表示するのに十分な情報を持つように、十分に定められる。各々のフォーマットの定義は、ビデオ・フォーマット・タイミング、画像アスペクト比及び比色空間を含む。ビデオ・フォーマット・タイミングは、ビデオ・フォーマットに関連した波形である。なお、特定のビデオ・フォーマット・タイミングは、複数のビデオ・フォーマット（例えば、720X480p@4:3及び720X480p@16:9）に関連付けられることができる。
【００６５】
HDMIは、３つの別々の通信チャネル、TMDS、DDC及びオプションのCECを含む。TMDSは、アクティブ・オーディオ及びビデオ・ストリームを記述するAVI及びオーディオ・情報フレーム（Audio InfoFrame）を含む、補助データだけでなく全てのオーディオ及びビデオ・データを伝達するために用いられる。DDCチャネルは、E-EDIDデータ構造を読み出すことによって、シンクの能力及び特性を決定するために、HDMIソースによって用いられる。
【００６６】
HDMIソースは、シンクのE-EDIDを読み出して、シンクによってサポートされるオーディオ及びビデオ・フォーマットのみを供給することを期待される。更に、HDMIシンクは、情報フレームを検出して、受信されたオーディオ及びビデオ・データを適切に処理することを期待される。
【００６７】
CECチャネルは、より高レベルなユーザ機能（例えば自動設定タスク又は一般的に赤外線遠隔制御の使用と関連したタスク）のために、オプションとして用いられる。
【００６８】
HDMIリンクは、３つのモード、ビデオ・データ期間、データ・アイランド期間及び制御期間のうちの１つで動作する。ビデオ・データ期間の間、アクティブ・ビデオ・ラインのアクティブ・ピクセルが伝送される。データ・アイランド期間の間、オーディオ及び補助データが、一連のパケットを用いて伝送される。制御期間は、いかなるビデオ、オーディオ又は補助データも伝送される必要がないときに用いられる。制御期間は、制御期間ではない任意の２つの期間の間に必要とされる。
【００６９】
表１は、HDMIデータ・アイランド中のパケット・タイプを示す。
【表１】
2015130680.tif 000003
【００７０】
現在の情報フレーム・パケット、AVI情報フレームなどは、3Dビデオ・データの伝送を取り扱うのに適していないことが、本発明者らによって確認された。
【００７１】
一般に、3Dビデオ・データの伝送は、３つのパラメータによって特徴づけられることができる。
− HDMI仕様の表8.7からのVIC（ピクセル繰返し速度）（例えば1920x1080p@60Hz）
− １つの三次元画像のフレームのユニット中のフレームの数
モノスコープに対してN=1
ステレオ及びビデオ+深さに対してN=2
ビデオ+深さ+グラフィックスに対してN=3
MVD@M=2などに対してN=4
図4〜6を参照して定められるユニットに対してN=6
− フォーマット：チャネルを多重化する態様
−フレーム交互
−フィールド交互
−ライン交互
−サイド・バイ・サイド
−チェッカ・ボード、など
【００７２】
図8は、3D + DOTフォーマット@1920ピクセルのための水平及び垂直ブランキング及びシグナリングを示す。図は、フレーム交互多重化の多重化スキームを示す。この例において、Vactive/5によって示される５つのフレームが3D+DOTフォーマットの3D画像を構成し、これらのフレームは、Vfreqによって示される3D信号の垂直同期パルスVSYNC間のユニット中に順次配置される。垂直同期パルスは、垂直ブランキングVblank後に始まるビデオ・データ期間Vactiveを示し、この期間の間に、フレームがシーケンシャルに配置される。同様に、水平ブランキング・パルスHSYNCは、水平ブランキングHblank後に始まるライン期間Hactiveを示す。それゆえに、フレーム交互の多重化スキームは、前記複数のフレームが前記ビデオ・データ期間内でシーケンシャルに配置されることを示す。
【００７３】
図9は、1920プログレッシブ@30Hzとして送信される3D + DOTフォーマット720ピクセルのための水平及び垂直ブランキング及びシグナリングを示す。図は、サイド・バイ・サイド・フレーム多重化の多重化スキームを示す。この例において、Hactive/5によって示される5つのフレームは、3D+DOTフォーマットの3D画像を構成し、これらのフレームは、Vfreqによって示される3D信号の垂直同期パルスVSYNC間のユニット中にサイド・バイ・サイドで配置される。垂直同期パルスは、垂直ブランキングVblank後に始まるビデオ・データ期間Vactiveを示し、この期間中に、フレームは、サイド・バイ・サイドで配置される。同様に、水平ブランキング・パルスHSYNCは、水平ブランキングHblank後に始まるライン期間Hactiveを示す。それゆえに、サイド・バイ・サイドのフレーム多重化スキームは、前記複数のフレームが前記ビデオ・データ期間内でシーケンシャルに配置されることを示す。
【００７４】
最大の柔軟性のために、本発明によれば、多重化スキームの上記パラメータは、３つの別々のフィールドにおいて送信されるべきである。
【００７５】
本発明の実施の形態において、これらは、AVI情報フレーム及び／又はHDMIベンダー独自(Vendor Specific)情報フレームを通じて送信される。
【００７６】
以下において、HDMIインタフェースの場合の詳細な実施の形態が示される。
【００７７】
表2は、本発明の好ましい実施の形態による情報フレーム・パケットの関連するバイトを記述した。
【００７８】
ここで、HDMI_VIC0...HDMI_VIC7は、ビデオ・フォーマット識別コードを記述する。このセクションにおいて定められる任意のビデオ・フォーマットを伝送するときに、HDMIソースはHDMI_VICフィールドをそのフォーマットのためのビデオ・コードに設定する。
【００７９】
そして、HDMI_3D_FMT0...HDMI_3D_FMTは、3Dフォーマット・コードを記述する。このセクションにおいて定められる任意のビデオ・フォーマットを伝送するときに、HDMIソースは、HDMI_3D_Formatフィールドをそのフォーマットのためのビデオ・コードに設定する。
【表２】
2015130680.tif 000004
【００８０】
本発明によれば、補助ビデオ・タイミング・フォーマット値（HDMI_VIC番号によって識別される）が3D（立体視）伝送のために定められる。
【００８１】
以下のビデオ・フォーマットが、3D伝送のために用いられる。視聴者の各々の目のための左及び右の画像は、このセクションのビデオ・フォーマット定義を用いることで一意的に区別されることができ、如何なる他の補助情報パケットも必要ない。表3は、関連するEDID及び情報フレーム中に記述されるHDMI_VICの値を示す。
【００８２】
表３は3D伝送のためのHDMI_VICである。
【表３】
2015130680.tif 000005
【００８３】
本発明によれば、3DチャネルのHDMI専用の多重化フォーマットはHDMI_3D_FMT番号によって識別され、その例は表4に定められる。3D（立体視）伝送のために、以下の3Dフォーマットが3D伝送のために用いられる。3D伝送のチャネルにおける情報の多重化のフォーマットは、このセクションの3Dフォーマット定義を用いることで、一意的に区別されることができ、如何なる他の補助情報パケットも必要ない。表4は、EDID及び関連する情報フレームにおいて記述されるHDMI_3D_Formatの値を示す。
【００８４】
表4は、3D伝送のためのHDMI_3D_FMTである。
【表４】
2015130680.tif 000006
【００８５】
表5は、拡張された解像度伝送のためのHDMI_VICである。
【表５】
2015130680.tif 000007
【００８６】
本発明によれば、プレーヤー装置は、ソースからシンクへと3Dメタデータを送信することができる：（とりわけ）
- コンテンツ・フォーマット
- リアルタイム2D/3Dシグナリング
- 同期
- 推奨される視角
- 字幕情報
【００８７】
本発明によれば、補助3Dコンテンツ・メタデータは、伝送されている3Dビデオ・データ中に含まれることができ、メタデータは、好ましくは、SMPTE 3Dマスター・フォーマットに整列配置される。
【００８８】
いくつかのオプションが記載される。メタデータは、以下のうちの１つに含まれることができる。
- 3D情報フレーム・タイプ（CEA）
- AVI情報フレーム
- ベンダー独自情報フレーム(VSIF), CEC
【００８９】
以下のセクションにおいて、ステレオ情報を送信するための特定の実施の形態、又は、ユニットが２つのフレームを有する場合が紹介される。
【００９０】
例えばディスプレイにおける3Dビデオの適切なレンダリングのための左右シグナリング及び更なる情報のために、フレーム・タイプ同期インジケータを収容するためにAVI-Infoフレーム中のブラック・バー情報を用いることが提案される。AVI-infoフレームは、少なくとも２フィールドごとに送信されるデータブロックである。この理由のために、それは、立体視ビデオ信号の同期のために用いられる場合の要件であるフレームベースのシグナリングを伝送することができる唯一の情報フレームである。相対的なシグナリングに依存する又はベンダー固有の情報フレームに依存する他の解決策と比較したこの解決策の利点は、それがHDMIのための現在のチップセットと互換性があること、及び、それがフレーム単位の同期及びシグナリングのための十分な余地（8バイト）を提供することである。
【００９１】
他の実施の形態において、続くビデオ・データが左又は右のビデオ・フレームであることを示すために、HDMIにおいて定義されるプリアンブル・ビットを用いることが提案される。HDMIチャプタ5.2.1.1は、各々のVideo Data Period又はData Island Periodの直前にプリアンブルがあることを定める。これは、来るべきデータ期間がVideo Data Periodであるか又はData Islandであるかどうかを示す８つの同一の制御文字のシーケンスである。CTL0、CTL1、CTL2及びCTL3の値は、続くデータ期間のタイプを示す。残りの制御信号（HSYNC及びVSYNC）は、このシーケンスの間に変化する場合がある。プリアンブルは、現在4ビット、CTL0、CTL1、CLT3及びCTL4である。現在、値としては1000及び1010のみが用いられる。例えば、ここでは、値1100又は1001は、ビデオ・データが、左又は右のビデオ・フレーム、あるいは画像及び/又は深さ情報を含むフレームを含むことを示すように定められることができる。さらに、プリアンブル・ビットは、3Dフレーム・タイプ又はシーケンスの最初の3Dフレームのみを示すことができ、一方、フレーム・タイプの更なる区別は、更なるデータ・フレームによって定められるフレーム・タイプ同期シーケンスに従うことができる。さらに、HSYNC及びVSYNCシグナリングは、フレーム・タイプ同期の少なくとも一部、例えばフレームが左のビデオ・フレームであるか又は右のビデオ・フレームであるかどうかを伝達するように適応されることができる。HSYNCは、左フレームのビデオ・データに先行するように配置され、VSYNCは、ビデオ情報の右フレームに先行するように配置される。同じ原理は、2D画像及び深さ情報のような他のフレーム・タイプに適用されることができる。
【００９２】
図10は、フレーム・タイプ同期インジケータによって拡張されるAVI-infoフレームの表を示す。AVI-infoフレームは、CEAによって定められて、色及び彩度サンプリング、オーバースキャン及びアンダースキャン並びにアスペクト比に関するフレーム・シグナリングを提供するために、HDMI及び他のビデオ伝送規格によって採用される。以下のようにフレーム・タイプ同期インジケータを実施するために更なる情報が追加された。
【００９３】
データ・バイト1の最後のビットF17及びデータ・バイト4の最後のビットF47は、標準的なAVI-infoフレームにおいて予約される。フレーム・タイプ同期インジケータの実施の形態において、これらは、ブラック・バー情報中の立体視シグナリングの存在を示すために用いられる。ブラック・バー情報は、標準的にデータ・バイト6〜13に含まれる。バイト14-27は、通常、HDMIにおいて予約されており、したがって、現在のハードウェアでは正しく伝送されないかもしれない。したがって、これらのフィールドは、重要度が低いOSD位置情報を提供するために用いられる。表の構文は以下の通りである。F17が設定される場合(=1)、13までのデータ・バイトは、3Dパラメータ情報を含む。デフォルトのケースはF17が設定されない場合（=0）であり、これは、3Dパラメータ情報が存在しないことを意味する。
【００９４】
データ・バイト12〜19は、OSD/字幕オーバレイの位置を示す。更なるレイヤは、メイン・ビデオ・レイヤより小さくてもよく、バイト12-19の位置データに基づいて配置される。これは、フレーム・タイプ同期インジケータによって示されるスクリーンの領域上で特定のレンダリングを3Dディスプレイが実行することを可能にする。フレーム・タイプ同期インジケータは、字幕/OSD情報がいつ現れる必要があって及び/又は消える必要があるのかを示すために、例えば、図10においてレンダリング・パラメータと呼ばれるデータ・バイト20-27中に、同期タイミング情報をさらに含むことができる。
【００９５】
図11は、3Dビデオ・フォーマットの表を示す。左カラム中の値は、それぞれの異なるフレーム・タイプを持つ特定のビデオ・フォーマットを各々示す。選択された値は、フレーム同期化インジケータ（例えば図10の表のデータ・バイト7）中に含まれる。データ・バイト7は、ソース（プレーヤー）が伝送している立体視ビデオ・フォーマットを記述する。図11の表は、いくつかの可能な値を記載する。値0は、関連するフレームが2Dであることを示し、3Dタイトルの間に2Dビデオのセグメントを伝送するときに、これは有用である。表示装置（3D-TV）は、内部画像処理を3Dビデオ・フォーマットのこの変更に適応させることができ、例えば、フレーム・シーケンシャル・フォーマットの場合には、時間アップコンバージョンをオフに切り替える。
【００９６】
図12は、フレーム同期化信号を示す。同期信号は、フレーム同期化インジケータ（例えば図10のデータ・バイト8）中に含まれることができる。データ・バイト8は立体同期化信号を伝達し、図12は同期化信号のフォーマットを示す。同期化信号は、ビデオ・フォーマットと共に、ビデオ・フレームのコンテンツを示す。
【００９７】
図10中のデータ・バイト9及び10の値は、ビデオ・フォーマットによって決まる。例えば、（自動）立体視ビデオのために、それらは、ビデオ・コンテンツの最大及び最小視差を示す。別の態様では、それらは、「深さ」情報のオフセット及びスケーリング・ファクタを示すことができる。より高いビット精度が要求される場合（すなわち10ビット深さ）、更なるレジスタが、下位ビットを記憶するために用いられることができる。
【００９８】
図13は、補助ビデオ・レイヤのための値を示す。ビデオ・フォーマットは、3Dビデオ信号中に字幕又はメニュー（On Screen Data： OSD）のような補助レイヤのためのフレームを別々に含むことを可能にすることによって、拡張されることができる。図4において、データ・バイト11は、字幕又はOSDオーバレイの存在を示すことができる。図13は、補助レイヤを示すための複数のビデオ・フォーマット・パラメータ値を示す。図10の残りのバイト20-27は、スケーリングされた深さのための情報及び3D表示に関係する遮蔽情報を示す特定のパラメータを提供するために用いられることができる。
【００９９】
本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアとして実施されることができることに留意する必要がある。本発明を実施するための方法は、図1を参照して説明される3D画像データを転送することに対応する処理ステップを持つ。本発明が主に光学記録担体又はインターネットを用いる実施の形態によって説明されたが、本発明はさらに、3Dパーソナル・コンピュータ［PC］表示インタフェース又は無線3D表示装置に結合される3Dメディア・センターPCのような、任意の画像インタフェース環境に適している。
【０１００】
本発明は、以下のように要約されることができる。三次元（3D）画像データを転送するシステムが述べられる。3Dソース装置は、HDMIのような高速デジタル・インタフェースを介して表示のための3D表示信号を提供する。3D表示信号は、3Dビデオ転送フォーマットに従って3D画像データを構成するフレームのシーケンスを有する。フレームのシーケンスはユニットを有し、各々のユニットは、三次元画像として合成され表示されることが意図されるビデオ情報を有するフレームに対応する。各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、部分的3Dデータ構造を表す。3Dソース装置は、3D表示信号に１つの三次元画像へと構成されるユニット中のビデオ・フレームの数に関する情報を少なくとも有する3D転送情報を含める。ディスプレイは、3D転送情報を検出し、3D転送情報に基づいて表示制御信号を生成する。3D転送情報は、好ましくは、フレームを3D表示信号に多重化するための多重化スキームに関する情報をさらに有し、最も好ましくは、ピクセル・サイズについての情報及びフレームの周波数レートを有する。
【０１０１】
なお、この文書において、「有する」「含む」などの用語は、挙げられたもの以外の要素又はステップの存在を除外せず、単数で表現された要素はそのような要素が複数存在することを除外せず、いかなる参照符号も請求の範囲を限定せず、本発明は、ハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」はハードウェア又はソフトウェアの同じアイテムによって表されることができ、プロセッサは、ハードウェア素子と協働で、１つ以上のユニットの機能を果たすことができる。さらに、本発明は実施の形態に制限されず、上述されるいずれ新規な特徴又は特徴の組み合わせ中にも存在する。
【図１】
2015130680.tif 000008
【図２】
2015130680.tif 000009
【図３】
2015130680.tif 000010
【図４】
2015130680.tif 000011
【図５】
2015130680.tif 000012
【図６】
2015130680.tif 000013
【図７】
2015130680.tif 000014
【図８】
2015130680.tif 000015
【図９】
2015130680.tif 000016
【図１０】
2015130680.tif 000017
【図１１】
2015130680.tif 000018
【図１２】
2015130680.tif 000019
【図１３】
2015130680.tif 000020