(57)【要約】  本発明は、3次元 (3D) シーンと共に表示される表示オブジェクト(303)の表示位置(x、y、z)を決定するための方法(100)に関し、方法(100;300)は、3Dシーンに含まれる1つまたは複数の表示可能オブジェクトの表示面(201)に対する表示距離(znear)を提供するステップ(101、305)と、3Dシーン内の1つまたは複数の表示可能オブジェクトの表示距離(znear)に依存する表示オブジェクト(303)の表示距離(zbox)を含む表示位置(x、y、z)を提供するステップ(103、307)と、を含む。
2015517236.tif 000002
【特許請求の範囲】
【請求項１】
3次元 (3D) シーンと共に表示される表示オブジェクト(303)の表示位置(x、y、z)を決定するための方法(100;300)であって、前記方法(100;300)が、
前記3Dシーンに含まれる1つまたは複数の表示可能オブジェクトの表示面(201)に対する表示距離(znear)を提供するステップ(101、305)と、
前記3Dシーン内の前記1つまたは複数の表示可能オブジェクトの前記表示距離(znear)に依存して前記表示オブジェクト(303)の表示距離(zbox)を含む前記表示位置(x、y、z)を提供するステップ(103、307)と、
を含むことを特徴とする方法(100;300)。
【請求項２】
前記表示オブジェクト(303)が、グラフィックオブジェクトであり、または、
前記3Dシーンが、3D静止画像であり、前記表示可能オブジェクトが、画像オブジェクトであり、前記表示可能オブジェクト(303)が、グラフィックボックスまたはテキストボックスであり、または、
前記3Dシーンが、3Dビデオ画像であり、前記表示可能オブジェクトが、ビデオオブジェクトであり、前記表示オブジェクトが、タイムドグラフィックボックスまたはタイムドテキストボックスであり、
前記表示オブジェクトおよび/または表示可能オブジェクトが、2Dまたは3Dオブジェクトである、請求項1に記載の方法(100、300)。
【請求項３】
前記表示面(201)が、前記3Dシーンを表示するためのデバイスの表示面によって決定される平面である、請求項1または2に記載の方法(100、300)。
【請求項４】
前記1つまたは複数の表示可能オブジェクトの前記表示距離(znear)を提供する前記ステップ(101、305)が、奥行きマップを決定するステップと、前記奥行きマップから前記表示距離(znear)を計算するステップとを含む、請求項1から3のいずれか1項に記載の方法(100、300)。
【請求項５】
前記表示位置を提供する前記ステップ(103;307)が、
前記表示オブジェクトが、前記3Dシーンと共に表示されたとき、観察者に近く、または前記3Dシーンのその他の表示可能オブジェクトよりも観察者に近くにあると知覚されるように、
前記表示オブジェクト(303)の前記表示距離(zbox)を提供するステップを含む、請求項1から4のいずれか1項に記載の方法(100、300)。
【請求項６】
前記表示位置を提供する前記ステップ(103;307)が、
前記表示オブジェクトの前記表示距離(zbox)が、前記表示面の前記表示オブジェクトと同じ側に配置されたその他の表示可能オブジェクトの前記表示距離以上であるように、前記表示オブジェクト(303)の前記表示距離(zbox)を提供するステップを含む、請求項1から5のいずれか1項に記載の方法(100、300)。
【請求項７】
前記表示オブジェクト(303)の表示位置(x、y、z)を提供する前記ステップ(103、307)が、
前記3Dシーン内の前記複数の表示可能オブジェクトのうちで観察者に最も近い距離を有する前記表示可能オブジェクトの前記表示距離(znear)以上であるように、前記表示オブジェクトの前記表示位置の前記表示距離(zbox)を決定するステップ、または、
前記3Dシーン内の前記複数の表示可能オブジェクトのうちで観察者から最も遠い距離を有する前記表示可能オブジェクト(301)と、同じ前記3Dシーン内の前記表示可能オブジェクトのうちで観察者に最も近い距離を有する別の前記表示可能オブジェクトとの前記表示距離(z)間の差、具体的には差のパーセンテージとして、前記表示オブジェクトの前記表示位置(x、y、z)の前記表示距離を決定するステップ、または、
前記表示オブジェクト(303)の少なくとも1つのコーナの表示位置として前記表示オブジェクトの前記表示位置(x、y、z)の前記表示距離を決定するステップであって、前記コーナの表示位置が、前記表示距離(z)、具体的には、前記3Dシーン内の前記複数の表示可能オブジェクトのうちで観察者に最も近い距離を有する前記表示可能オブジェクト(301)の前記表示距離(z)以上である、ステップを含む、請求項1から6のいずれか1項に記載の方法(100、300)。
【請求項８】
前記方法が、前記表示オブジェクトが前記3Dシーンに含まれる特定の表示可能オブジェクトの前に表示されるように、前記表示オブジェクトの前記表示位置を決定するステップを含み、
前記3Dシーンに含まれる1つまたは複数の表示可能オブジェクトの表示面(201)に対する前記表示距離(znear)を提供する前記ステップ(101、305)が、
前記特定の表示可能オブジェクトの表示距離を提供するステップ(101、305)を含み、
前記3Dシーン内の前記1つまたは複数の表示可能オブジェクトの前記表示距離(znear)に依存して前記表示オブジェクト(303)の前記表示距離(zbox)を含む前記表示位置(x、y、z)を提供する前記ステップ(103、307)が、
前記特定の表示可能オブジェクトの前記表示距離(znear)に依存して前記表示オブジェクト(303)の前記表示距離(zbox)を提供するステップ(103、307)を含む、請求項1から7のいずれか1項に記載の方法(100、300)。
【請求項９】
通信ネットワークを介して、前記表示オブジェクト(303)と共に前記表示オブジェクト(303)の前記表示位置(x、y、z)を送信するステップ、または、前記表示オブジェクト(303)と共に前記表示オブジェクト(303)の前記表示位置(x、y、z)を記憶するステップを含む、請求項1から8のいずれか1項に記載の方法(100、300)。
【請求項１０】
前記表示オブジェクト(303)の前記表示位置(x、y、z)が、特定の3Dシーンのために決定され、前記表示オブジェクト(303)の別の表示位置が、別の3Dシーンのために決定される、請求項1から9のいずれか1項に記載の方法(100、300)。
【請求項１１】
1つまたは複数の表示可能オブジェクトを含む3次元 (3D) シーンと共に表示オブジェクトを表示するための方法(400、500)であって、前記方法が、
前記3Dシーン(301)を受信するステップ(401、501)と、
表示面に対する前記表示オブジェクト(303)の表示距離(zbox)を含む前記表示オブジェクト(303)の表示位置(x、y、z)を受信するステップ(403、503)と、
前記3Dシーンを表示するとき(509)、前記受信した表示位置(x、y、z)に前記表示オブジェクト(303)を表示するステップ(405、507)と、
を含むことを特徴とする方法(400、500)。
【請求項１２】
3次元 (3D) シーンと共に表示される表示オブジェクト(303)の表示位置(x、y、z)を決定するように構成されている装置(600)であって、前記装置(600)が、プロセッサ(601)を備え、前記プロセッサ(601)が、
前記3Dシーンに含まれる1つまたは複数の表示可能オブジェクトの表示面(201)に対する表示距離(znear)を提供し(603)、
前記3Dシーン内の前記1つまたは複数の表示可能オブジェクトの前記表示距離(znear)に依存して前記表示オブジェクト(303)の表示距離(zbox)を含む前記表示位置(x、y、z)を提供する(605)ように構成されていることを特徴とする装置(600)。
【請求項１３】
前記プロセッサ(601)が、1つまたは複数の表示可能オブジェクトの前記表示面(201)に対する表示距離(z)を提供する(603)ための第1のプロバイダと、同じ3Dシーン内の前記1つまたは複数の表示可能オブジェクトの前記表示距離(z)に依存して前記表示オブジェクト(303)の前記表示位置(x、y、z)を提供する(605)ための第2のプロバイダとを備える、請求項12に記載の装置(600)。
【請求項１４】
1つまたは複数の表示可能オブジェクトを含む3次元 (3D) シーンと共に表示される表示オブジェクト(303)を表示するための装置(700)であって、前記装置(700)が、
前記1つまたは複数の表示可能オブジェクトを含む前記3Dシーンを受信し、前記表示オブジェクト(303)を受信し、前記表示オブジェクト(303)の表示面に対する表示距離(zbox)を含む前記表示オブジェクト(303)の表示位置(x、y、z)を受信するためのインターフェース(701)と、
前記1つまたは複数の表示可能オブジェクトを含む前記3Dシーンを表示するとき、前記受信した表示位置(x、y、z)に前記表示オブジェクト(303)を表示するためのディスプレイ(703)と、
を備えることを特徴とする装置(700)。
【請求項１５】
プログラムコードがコンピュータ上で実行されたとき、請求項1から10のいずれか1項に記載の方法(100、300)および/または請求項11に記載の方法(400、500)を実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視3Dおよびマルチビュー3Dのビデオおよび静止画像を含む3Dマルチメディアの分野に関する。具体的には、本発明は、3D座標系でのタイムド(timed)テキストおよびタイムドグラフィック平面の位置を操作するために、情報をシグナリングすることに関する。
【背景技術】
【０００２】
利用可能なメディアファイルフォーマット規格は、ISOベースメディアファイルフォーマット(ISO/IEC14496-12)、MPEG-4ファイルフォーマット(ISO/IEC14496-14、MP4フォーマットとしても知られる)、AVCファイルフォーマット(ISO/IEC14496-15)、3GPPファイルフォーマット(3GPP TS26.244、3GPフォーマットとしても知られる)およびDVBファイルフォーマットを含む。ISOファイルフォーマットは、上述したすべてのファイルフォーマット(ISOファイルフォーマット自体を除く)を派生させるためのベースである。これらのファイルフォーマット(ISOファイルフォーマット自体を含む)は、ISOファミリーのファイルフォーマットと呼ばれる。
【０００３】
図8は、ISOベースメディアファイルフォーマットによる簡略化されたファイル構造800を示す。ISOベースメディアファイルフォーマットにおける基本的なビルディングブロックは、ボックスと呼ばれる。各ボックスは、ヘッダおよびペイロードを有する。ボックスヘッダは、ボックスのタイプ、および、ボックスのバイトでのサイズを示す。ボックスは、他のボックスを囲むことができ、ISOファイルフォーマットは、どのボックスタイプが特定のタイプのボックス内で許可されるのかを指定する。さらに、いくつかのボックスは、各ファイル内に強制的に存在するが、他のボックスは、任意である。さらに、いくつかのボックスタイプに関して、ファイル内に2つ以上のボックスを持つことが許可される。ISOベースメディアファイルフォーマットは、ボックスの階層構造を指定すると、結論され得る。
【０００４】
ISOファミリーのファイルフォーマットによれば、ファイル800は、メディアデータおよびメタデータから構成され、これらのデータは、それぞれ別々のボックス、メタデータ(mdat)ボックス801およびムービー(moov)ボックス803で囲まれる。ファイル800が動作可能であるためには、これらのボックス801、803が存在しなければならない。ムービーボックス803は、1つまたは複数のトラック805、807を含むことができ、各トラックは、1つのトラックボックス内に存在する。トラックは、以下のタイプ、すなわち、メディア、ヒント、タイムドメタデータのうちの1つであり得る。メディアトラックは、メディア圧縮フォーマットに従ってフォーマットされたサンプル(および、ISOベースメディアファイルフォーマットへのそのカプセル化)を指す。ヒントトラックは、指定された通信プロトコルを介した伝送のためのパケットを構成するためのクックブック命令を含むヒントサンプルを指す。クックブック命令は、パケットヘッダ構成のためのガイダンスを含むことができ、パケットペイロード構造を含むことができる。パケットペイロード構造では、他のトラックまたはアイテム内に存在するデータが参照され得、すなわち、特定のトラックまたはアイテム内のデータのどの部分がパケット構築プロセス中にパケット内にコピーされることを指示されるのかが、参照によって示される。タイムドメタデータトラックは、参照されたメディアおよび/またはヒントサンプルを記述するサンプルを指す。プレゼンテーションのため、1つのメディアタイプ、典型的には、1つのメディアトラック、例えば、ビデオトラック805またはオーディオトラック807が選択される。トラックのサンプルは、サンプルの指示された復号化順に1ずつ増加されるサンプル番号に暗黙的に関連付けられる。
【０００５】
ISOベースメディアファイルフォーマットは、1つのファイル800に含まれるべきプレゼンテーションを限定せず、プレゼンテーションは、いくつかのファイルに含まれ得ることに留意されたい。1つのファイル800は、プレゼンテーション全体のためのメタデータ803を含む。このファイル800は、また、すべてのメタデータ801を含むこともでき、そのとき、プレゼンテーションは、自己充足的(self-contained)である。他のファイルは、使用される場合、ISOベースメディアファイルフォーマットにフォーマットされる必要はなく、メタデータを含むために使用され、また、使用されないメタデータまたは他の情報を含むことができる。ISOベースメディアファイルフォーマットは、プレゼンテーションファイルのみの構造に関する。メタデータファイルのフォーマットは、メディアファイル内のメディアデータがISOベースメディアファイルフォーマットまたはその派生フォーマットで指定されるようにフォーマットされなければならないという点でのみ、ISOベースメディアファイルフォーマットまたはその派生フォーマットに制約される。
【０００６】
3GPP SA4(第3世代パートナーシッププロジェクト仕様グループサービスおよびシステム態様(Third Generation Partnership Project Specification Group Service and Systems Aspects):コーデック)は、タイムドテキストのための技術仕様TS26.245およびタイムドグラフィックスのための技術仕様TS26.430につながる3GPPサービスのためのタイムドテキストおよびタイムドグラフィックスに取り組んできた。図9は、2次元(2D)座標系での3GPPタイムドテキストによって定義されるテキストレンダリング位置および構成の例示の一例を示す。両方のフォーマット、タイムドテキストおよびタイムドグラフィックスは、表示領域907に表示されたビデオ要素905に関連してマルチメディアシーン内にテキスト903およびグラフィックスを配置することを可能にする。3GPPタイムドテキストおよびタイムドグラフィックスは、表示されたビデオ905の上に、ビデオ905の左上隅911に関連して合成される。領域903は、領域903の左上隅911の座標(tx,ty)913、および幅/高さ915、917を与えることによって定義される。テキストボックス901は、テキストサンプル内の「tbox]によって無効にされない限り、既定では領域903内に設定される。次いで、ボックス値は、領域903の上部および左側位置からの相対値919、921として定義される。
【０００７】
タイムドテキストおよびタイムドグラフィックスは、ハイパーテキスト転送プロトコル(HTTP:Hypertext Transfer Protocol、RFC2616)を使用して、ファイルフォーマットの一部としてダウンロードされ得、または、リアルタイム転送プロトコル(RTP:Real-time Transport Protocol、RFC3550)を介してストリーミングされ得る。
【０００８】
タイムドテキストの記憶のための3GPファイル拡張は、技術仕様3GPP TS26.245、および標準のRFC 4396におけるRTPペイロードフォーマットで指定される。
【０００９】
タイムドグラフィックスは、2つの方法、すなわち、スケーラブルベクターグラフィックス(SVG:Scalable Vector Graphics)ベースのタイムドグラフィックス、または単純なタイムドグラフィックスモードのうちの一方で実現され得る。SVGベースのタイムドグラフィックスでは、レイアウトおよびタイミングは、SVGシーンによって制御される。伝送および記憶のために、タイムドグラフィックスは、ダイナミックでインタラクティブなマルチメディアシーン(DIMS:Dynamic and Interactive Multimedia Scenes、3GPP TS26.142)、RTPペイロードフォーマット、および3GPファイルフォーマット拡張を再利用する。タイムドグラフィックスは、セッション記述プロトコル(SDP:Session Description Protocol)構文、およびDIMSのために定義されたメティアタイプパラメータも再利用する。単純なタイムドグラフィックスモードでは、バイナリ表現フォーマットが、グラフィックス要素の単純な埋め込みを可能にするために定義される。タイムドグラフィックスは、タイムドテキストRTPペイロードフォーマット(RFC4396)、および3GPP TS26.430で指定された3GPファイルフォーマット拡張を使用する単純な形態で伝送される。
【００１０】
奥行き(depth)知覚は、3次元(3D)における世界と、オブジェクトの距離とを知覚する視覚的な能力である。立体視3Dビデオは、シーンの2つのオフセット画像を、観察者の左および右目に別々に提示することによって、シーン内の奥行きの錯覚を引き起こすための技術を指す。立体視3Dビデオは、左および右画像内の異なる位置に投影されているシーンのオブジェクトをもたらす2つの個別のカメラを介してシーンを撮影することによって、シーンの3D知覚を伝える。
【００１１】
2つの個別のカメラを介してシーンを撮影することによって、マルチビュー3Dビデオが作成される。撮影された画像の選択された対に応じて、シーンの異なる視点(ビュー)が提示され得る。マルチビュー3Dビデオは、観察者が視点をインタラクティブに制御することを可能にする。マルチビュー3Dビデオは、異なる視点から同じシーンを表現する多数の立体視3Dビデオの多重化として見なされ得る。
【００１２】
左ビューから右ビューへのオブジェクトまたはピクセルの変位は、視差と呼ばれる。視差は、提示されたビデオシーンの知覚される奥行きに反比例する。
【００１３】
立体視3Dビデオは、フレーム互換性のある方法で符号化され得る。エンコーダ側で、単一のフレームへのステレオ対の空間的パッキングが行われ、単一のフレームが符号化される。デコーダによって生成される出力フレームは、ステレオ対の構成フレームを含む。典型的な動作モードでは、各視野のオリジナルフレーム、およびパッケージされた単一フレームの空間解像度は、同じ解像度を有する。この場合、エンコーダは、パッキング動作の前に、立体視ビデオの2つのビューをダウンサンプリングする。空間的パッキングは、サイドバイサイド、上下、インターリーブ、またはチェッカーボードフォーマットを使用することができる。エンコーダ側は、適切なシグナリング情報によって、使用されるフレームパッキングフォーマットを示す。例えば、H.264/AVCビデオコーディングの場合、フレームパッキングは、立体視3Dビデオビットストリームの一部である付加拡張情報(SEI:supplemental enhancement information)メッセージを利用してシグナリングされる。デコーダ側は、フレームを従来通りに復号し、デコーダの出力フレームから2つの構成フレームをアンパックし、エンコーダ側のダウンサンプリングプロセスを元に戻すためにアップサンプリングを行い、構成フレームを3Dディスプレイ上にレンダリングする。たいていの商用展開では、サイドバイサイドまたは上下フレームパッキング配置のみが用いられる。
【００１４】
マルチビュー3Dビデオは、マルチビュービデオ符号化を使用して符号化され得、そのような符号化技術の例は、H.264/AVC規格の拡張として標準化されたH.264/MVCである。マルチビュービデオは、すべてのカメラが異なる視点からの同じシーンを撮影するので、大量のビュー間の統計的依存性を含む。特定のカメラからのフレームは、時間的に関連したフレームからだけでなく、隣接するカメラのフレームからも予測され得る。マルチビュービデオ符号化は、効率的な符号化のための鍵である組み合わされた時間的およびビュー間予測を用いる。
【００１５】
立体視3Dビデオは、また、1つの3Dビューのみが利用可能であるマルチビュー3Dとして見なされ得る。したがって、立体視3Dビデオは、また、マルチビュー符号化技術を使用して符号化され得る。
【００１６】
3GPPにおける立体視3Dビデオサポートの導入により、タイムドテキストおよびタイムドグラフィックスの配置は、より困難になる。現在の3GPP仕様によれば、タイムドテキストボックスまたはタイムドグラフィックスボックスは、立体視3Dビデオの両方のビューの同じ位置に配置されることになる。これは、ゼロ視差に対応し、そのようなオブジェクトとして画面上に配置されることになる。しかしながら、テキストまたはグラフィックス要素を立体視3Dビデオの上に単純に重ねることは、矛盾する奥行きの手がかりを伝えることによって観察者を混乱させる可能性があるので、満足な結果にならない。一例として、画像平面に配置された(すなわち、視差が0に等しい)タイムドテキストボックスは、負の視差を有するシーン内のオブジェクト(すなわち、観察者に対して画面の前に現れるように想定されたオブジェクト)を上描きすることになり、結果的に、3Dビデオシーンの構成を崩壊させる。
【００１７】
Blu-ray(登録商標)は、立体視3Dビデオと、タイムドテキストと、タイムドグラフィックスとの間の干渉を回避するために導入された奥行き制御技術を提供する。立体視3Dビデオによる様々なタイムドテキストおよびタイムドグラフィックスフォーマットのための2つのプレゼンテーションタイプが、Blu-ray(登録商標)仕様で定義される。a)1平面プラスオフセットプレゼンテーションタイプおよびb)立体視プレゼンテーションタイプが存在する。
【００１８】
図10aは、Blu-ray(登録商標)によって定義された1平面プラスオフセットプレゼンテーションのための平面オーバレイモデルの例示の一例を示し、3D表示面1001は、1つの平面を形成し、3Dサブタイトルボックス1003aおよび3Dメニューボックス1005aは、平面ボックスであり、3D表示1001に対するそれらの位置1007および1009は、視差と関連する、いわゆる「オフセット値」によって定義される。
【００１９】
Blu-ray(登録商標)によって定義された1平面プラスオフセットプレゼンテーションタイプでは、ユーザは、シグナリングされたオフセット値によって定義された画面1001からの距離1007および1009に、平面オブジェクト1003a、1005aを見ることができる。テキストボックス1003a内のテキストが画面1001とユーザとの間に提示されることが期待されるとき、オフセット値によって右にシフトされたテキストボックスが、立体視3Dビデオの左ビュー上にオーバレイされ、オフセット値によって左にシフトされたテキストボックスが、立体視3Dビデオの右ビュー上にオーバレイされる。オフセットメタデータは、H.264/MVC依存の(第2の)ビュービデオストリームの各画像グループ(GOP:group of pictures)の第1の画像の付加拡張情報(SEI)メッセージで搬送される。オフセットメタデータは、複数のオフセットシーケンスを含み、各グラフィックスタイプは、オフセットシーケンスIDによって、オフセットシーケンスのうちの1つに関連付けられる。
【００２０】
Blu-ray(登録商標)によって定義された立体視プレゼンテーションタイプでは、タイムドグラフィックスは、立体視3Dビデオの2つのビューに対応する2つの既定義の独立したボックスを含む。そのうちの一方は、立体視3Dビデオの左ビュー上にオーバレイされ、そのうちの他方は、立体視3Dビデオの右ビュー上にオーバレイされる。したがって、ユーザは、提示されたシーン内に配置された3Dオブジェクトを見ることができる。再び、グラフィックボックスの距離は、シグナリングされたオフセット値によって定義される。
【００２１】
Blu-ray(登録商標)の解決策では、テキストボックスまたはグラフィックボックスの位置は、使用されるプレゼンテーションタイプに関係なく、シグナリングされたオフセット値によって定義される。図10bは、Blu-ray(登録商標)によって定義された立体視プレゼンテーションタイプのための平面オーバレイモデルの例示の一例を示し、3Dビデオ画面1001は、1つの平面を形成し、3Dサブタイトルボックス1003bおよび3Dメニューボックス1005bは、3Dボックスであり、3Dビデオ画面1001に対するそれらの位置1007および1009は、シグナリングされたオフセット値によって定義される。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】ISO/IEC14496-15"Information technology-Coding of audio-visual objects-Part15: 'Advanced Video Coding (AVC) file format'、2010年6月
【発明の概要】
【発明が解決しようとする課題】
【００２３】
本発明の態様およびその実施の目的は、より柔軟な3次元(3D)シーンにおける表示オブジェクト、例えば、タイムドテキストまたはタイムドグラフィックの表示位置を提供するための概念を提供することである。
【００２４】
本発明の態様およびその実施のさらなる目的は、3Dシーンを表示するターゲットデバイスの表示特性(画面サイズ、解像度、など)に、および/または、視距離(すなわち、観察者と表示画面との間の距離)などの観察条件に対して独立した、または、少なくとも依存性が小さい表示オブジェクト、例えば、タイムドテキストまたはタイムドグラフィックの表示位置を提供するための概念を提供することである。
【００２５】
本発明の態様およびその実施のさらなる目的は、奥行きを考慮して、表示オブジェクト、例えば、タイムドテキストボックスまたはタイムドグラフィックスボックスの適切な配置を提供するための概念を提供することである。
【課題を解決するための手段】
【００２６】
これらの目的の1つまたはすべては、独立請求項の特徴によって達成される。さらなる実施の形態は、従属請求項、明細書本文および図面から明らかである。
【００２７】
本発明は、タイムドテキストまたはタイムドグラフィックボックスの位置を表示表面からの距離であるZ値に基づいて提供することによって、ハードウェア特性およびユーザの視距離に基づいて正確な視差を計算することを可能にし、それによって、ターゲットデバイスおよび観察条件に対する独立性を提供することの発見に基づく。
【００２８】
視差計算を必要とせずに、Z値に基づいて立体視3Dビデオの第2のビュー、またはマルチビュー3Dビデオの任意のビューを作成することを可能にする技術が利用可能である。したがって、タイムドテキストおよびタイムドグラフィックボックスは、ハードウェア特性および視距離にかかわらず、表示面から一定の位置を有する。
【００２９】
3Dビデオの概念は、また、異なる位置情報、いわゆるZ値を、ボックスの異なる領域に割り当てることによって、タイムドテキストボックスおよびタイムドグラフィックボックスの位置決めにおけるより大きな自由度を提供することができる。その結果、タイムドテキストボックスおよびタイムドグラフィックボックスは、表示面と平行に配置されることに限定されない。
【００３０】
位置情報の使用により、タイムドテキストボックスおよびタイムドグラフィックボックスは、変換演算を介して、2つ以上のビューにマッピングされ得る。したがって、本明細書で提示される概念は、2つ以上のビューを有する3Dシーンに適用され得、それ自体は、例えば、立体視3Dビデオのような2つのビューのみを有する3Dシーンに限定されない。
【００３１】
シグナリングは、表示ハードウェア特性および視距離に関係なく、表示オブジェクト、例えば、テキストおよびグラフィク平面の既定義の奥行きを維持するために使用され得る。
【００３２】
本発明を詳細に説明するために、以下の用語、略語および表記が使用されることになる。
2D:  2次元。
3D:  3次元。
AVC:  アドバンスドビデオ符号化(Advanced Video Coding)は、AVCファイルフォーマットを定義する。
MPEG-4:  ムービングピクチャーエキスパートグループ(Moving Pictures Expert Group)No.4は、MP4フォーマットとしても知られるオーディオおよびビジュアル(AV)デジタルデータを圧縮するための方法を定義する。
3GPP:  第3世代パートナーシッププロジェクト(Third Generation Partnership Project)は、3GPファイルフォーマットとしても知られる3GPPファイルフォーマットを定義する。
DVB:  デジタルビデオ放送(Digital Video Broadcasting)は、DVBファイルフォーマットを定義する。
ISO:  国際標準化機構(International Standardization Organization)。ISOファイルフォーマットは、ボックスの階層構造を指定する。
mdat:  メディアデータ、データは、ビデオまたはオーディオファイルの1つまたは複数のトラックを記述する。
moov:  ムービー、ビデオまたはオーディオファイルのビデオおよび/またはオーディオフレーム。
タイムドテキスト:  オーディオおよびビデオなどの他のメディアと同期したテキストメディアのプレゼンテーションを指す。タイムドテキストの典型的な用途は、外国語のリアルタイム字幕、聴覚障害を持つ人々のための字幕、スクロールするニュース記事、またはテレプロンプター用途である。MPEG-4ムービーおよび携帯電話メディアのためのタイムドテキストは、MPEG-4パート17で指定され、そのMIMEタイプ(インターネットメディアタイプ)は、RFC3839および3GPP26.245によって指定される。
タイムドグラフィックス:  オーディオおよびビデオなどの他のメディアと同期したグラフィックスメディアのプレゼンテーションを指す。タイムドグラフィックスは、3GPP TS26.430によって指定される。
HTTP:  RFC2616によって定義されたハイパーテキスト転送プロトコル(Hypertext Transfer Protocol)。
RTP:  RFC3550によって定義されたリアルタイム転送プロトコル(Real-time Transport Protocol)。
SVG:  スケーラブルベクターグラフィックス、タイムドグラフィックスを実現するための1つの方法。
DIMS:  3GPP TS26.142によって定義されたダイナミックでインタラクティブなマルチメディアシーンは、伝送および記憶のためにタイムドグラフィックスによって使用されるプロトコル。
SDP:  RFC 4566によって定義されたセッション記述プロトコルは、タイムドグラフィックスによって使用される、ストリーミングメディア初期化パラメータを記述するためのフォーマットである。
SEI:  付加拡張情報は、フレームパッキングをシグナリングするためのプロトコルである。
GOP:  画像グループ、ビデオストリームの複数の画像。
【００３３】
「表示可能なオブジェクト」という用語は、そのようなオブジェクトを同じ3Dシーンと共にまたは同じ3Dシーン内で追加または表示される追加の「表示オブジェクト」から識別するために、3次元シーンにすでに含まれている2次元(2D)または3次元(3D)オブジェクトを指すために使用される。「表示可能な」という用語は、また、1つまたは複数のすでに存在する表示可能なオブジェクトが、表示オブジェクトと共に表示されるときに、「表示オブジェクト」によって部分的にまたは全体的にオーバレイされ得ることを示すべきである。
【００３４】
第1の態様によれば、本発明は、3次元 (3D) シーン内で、または3次元 (3D) シーンと共に表示される表示オブジェクトの表示位置を決定するための方法に関し、方法は、3Dシーンに含まれる1つまたは複数の表示可能オブジェクトの表示面に対する表示距離を提供するステップと、3Dシーン内の1つまたは複数の表示可能オブジェクトの表示距離に依存して表示オブジェクトの表示距離を含む表示位置を提供するステップとを含む。
【００３５】
第1の態様による方法の第1の可能な実施の形態では、表示オブジェクトは、グラフィックオブジェクトであり、具体的には、少なくとも1つのタイムドグラフィックボックスまたは1つのタイムドテキストボックスである。
【００３６】
第1の態様による方法の第2の可能な実施の形態それ自体では、または第1の態様の第1の実施の形態によれば、表示面は、3Dシーンを表示するためのデバイスの表示面によって決定される平面である。
【００３７】
第1の態様による方法の第3の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、1つまたは複数の表示可能オブジェクトの表示距離を提供するステップが、奥行きマップを決定するステップと、奥行きマップから表示距離(znear)を計算するステップとを含む。
【００３８】
第1の態様による方法の第4の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、表示位置を提供するステップが、表示オブジェクトが、3Dシーンと共に表示されたとき、観察者に近く、または3Dシーンのその他の表示可能オブジェクトよりも観察者に近くにあると知覚されるように、表示オブジェクトの表示距離を提供するステップを含む。
【００３９】
第1の態様による方法の第5の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、表示オブジェクトの表示位置を提供するステップが、3Dシーン内の複数の表示可能オブジェクトのうちで観察者に最も近い距離を有する表示可能オブジェクトの表示距離以上であるように、表示オブジェクトの表示位置の表示距離を決定するステップ、または、
3Dシーン内の複数の表示可能オブジェクトのうちで観察者から最も遠い距離を有する表示可能オブジェクトと、同じ3Dシーン内の表示可能オブジェクトのうちで観察者に最も近い距離を有する別の表示可能オブジェクトとの表示距離間の差、具体的には差のパーセンテージとして、表示オブジェクトの表示位置の表示距離を決定するステップ、または、
表示オブジェクトの少なくとも1つのコーナの表示位置として表示オブジェクトの表示位置の表示距離を決定するステップであって、コーナの表示位置が、表示距離、具体的には、3Dシーン内の複数の表示可能オブジェクトのうちで観察者に最も近い距離を有する表示可能オブジェクトの表示距離以上である、ステップを含む。
【００４０】
第1の態様による方法の第6の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、表示位置を提供するステップが、表示オブジェクトの表示距離(zbox)が、表示面の表示オブジェクトと同じ側に配置されたその他の表示可能オブジェクトの表示距離以上であるように、表示オブジェクトの表示距離を提供するステップを含む。
【００４１】
第1の態様による方法の第7の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、方法が、通信ネットワークを介して、表示オブジェクトと共に表示オブジェクトの表示位置を送信するステップを含む。
【００４２】
第1の態様による方法の第8の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、方法が、表示オブジェクトと共に表示オブジェクトの表示位置を記憶するステップを含む。
【００４３】
第1の態様による方法の第9の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、表示オブジェクトの表示位置が、特定の3Dシーンのために決定され、表示オブジェクトの別の表示位置が、別の3Dシーンのために決定される。
【００４４】
第1の態様による方法の第10の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、3Dシーンが、3D静止画像であり、表示可能オブジェクトが、画像オブジェクトであり、表示オブジェクトが、グラフィックボックスまたはテキストボックスである。
【００４５】
第1の態様による方法の第11の可能な実施の形態それ自体では、または第1の態様の第1〜第9の実施の形態のいずれかによれば、3Dシーンが、3Dビデオ画像であり、表示可能オブジェクトが、ビデオオブジェクトであり、表示オブジェクトが、タイムドグラフィックボックスまたはタイムドテキストボックスであり、3Dビデオ画像が、3Dビデオシーケンスに含まれる複数の3Dビデオ画像のうちの1つである。
【００４６】
第1の態様による方法の第12の可能な実施の形態それ自体では、または第1の態様の先行する実施の形態のいずれかによれば、表示オブジェクトおよび/または表示可能オブジェクトが、2Dまたは3Dオブジェクトである。
【００４７】
第2の態様によれば、本発明は、1つまたは複数の表示可能オブジェクトを含む3次元 (3D) シーン内で、または3次元 (3D) シーンと共に表示オブジェクトを表示するための方法に関し、方法が、3Dシーンを受信するステップと、表示面に対する表示オブジェクトの表示距離(zbox)を含む表示オブジェクトの表示位置を受信するステップと、3Dシーンを表示するとき、受信した表示位置に表示オブジェクトを表示するステップとを含む。
【００４８】
第3の態様によれば、本発明は、3次元 (3D) シーン内で、または3次元 (3D) シーンと共に表示される表示オブジェクトの表示位置を決定するように構成されている装置に関し、装置が、プロセッサを備え、プロセッサが、3Dシーンに含まれる1つまたは複数の表示可能オブジェクトの表示面に対する表示距離を提供し、
3Dシーン内の1つまたは複数の表示可能オブジェクトの表示距離に依存して表示オブジェクトの表示距離を含む表示位置を提供するように構成されている。
【００４９】
第3の態様による装置の第1の可能な実施の形態では、プロセッサが、1つまたは複数の表示可能オブジェクトの表示面に対する表示距離を提供するための第1のプロバイダと、同じ3Dシーン内の1つまたは複数の表示可能オブジェクトの表示距離に依存して表示オブジェクトの表示位置を提供するための第2のプロバイダとを備える。
【００５０】
第4の態様によれば、本発明は、1つまたは複数の表示可能オブジェクトを含む3次元 (3D) シーン内で、または3次元 (3D) シーンと共に表示される表示オブジェクトを表示するための装置に関し、装置が、1つまたは複数の表示可能オブジェクトを含む3Dシーンを受信し、表示オブジェクトを受信し、表示オブジェクトの表示面に対する表示距離を含む表示オブジェクトの表示位置を受信するためのインターフェースと、1つまたは複数の表示可能オブジェクトを含む3Dシーンを表示するとき、受信した表示位置に表示オブジェクトを表示するためのディスプレイとを備える。
【００５１】
第5の態様によれば、本発明は、プログラムコードがコンピュータ上で実行されたとき、第1の態様それ自体による、もしくは第1の態様の先行する実施の形態のいずれかによる方法、または、第2の態様による方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。
【００５２】
本明細書で説明する方法は、デジタル信号プロセッサ(DSP:Digital Signal Processor)内、マイクロコントローラ内、もしくは任意の他の側のプロセッサ内のソフトウェアとして、または、特定用途向け集積回路(ASIC:application specific integrated circuit)内のハードウェア回路として実現され得る。
【００５３】
本発明は、デジタル電子回路網で、もしくはコンピュータハードウェアファームウェアで、またはそれらの組み合わせで実現され得る。
【００５４】
本発明のさらなる実施形態は、以下の図面に関して説明される。
【図面の簡単な説明】
【００５５】
【図１】実施の形態による3次元シーン内の表示オブジェクトの表示位置を決定するための方法の概略図である。
【図２】実施の形態による3次元シーン内の表示オブジェクトの表示位置を決定するために使用可能な平面オーバレイモデルの概略図である。
【図３】実施の形態による3次元シーン内の表示オブジェクトの表示位置を決定するための方法の概略図である。
【図４】実施の形態による3次元シーン内に表示オブジェクトを表示するための方法の概略図である。
【図５】実施の形態による3次元シーン内に表示オブジェクトを表示するための方法の概略図である。
【図６】実施の形態による3次元シーン内の表示オブジェクトの表示位置を決定するための装置のブロック図である。
【図７】実施の形態による3次元シーン内に表示オブジェクトを表示するための装置のブロック図である。
【図８】ISOベースメディアファイルフォーマットによるISOファイルの簡略化した構造を示すブロック図である。
【図９】2D座標系で3GPPタイムドテキストによって定義されるテキストレンダリング位置および構成の概略図である。
【図１０ａ】Blu-ray(登録商標)によって定義される1平面プラスオフセットプレゼンテーションタイプのための平面オーバレイモデルの概略図である。
【図１０ｂ】Blu-ray(登録商標)によって定義される立体視プレゼンテーションタイプのための平面オーバレイモデルの別の概略図である。
【発明を実施するための形態】
【００５６】
本発明の実施形態の詳細を説明する前に、従来技術に関するさらなる知見が、本発明のよりよい理解のために説明される。前述したように、左ビューから右ビューへのオブジェクトまたはピクセルの変位は、視差と呼ばれる。視差は、提示されるビデオシーンの知覚される奥行きに比例し、3Dの印象を定義するためにシグナリングされ、使用される。
【００５７】
観察者(viewer)によって知覚される奥行きは、しかしながら、表示特性(画面サイズ、ピクセル密度)、視距離(観察者と、画像が表示される画面との間の距離)、および観察者の素質(観察者の瞳孔間距離)にも依存する。観察者によって知覚される奥行きと、視差と、表示特性(すなわち、表示サイズおよび表示解像度)との間の関係は、以下のように計算され得る。
【００５８】
【数１】
2015517236.tif 000003
【００５９】
ここで、Dは、知覚される3D奥行きであり、Vは、視距離であり、Iは、観察者の瞳孔間距離であり、sDは、画面の表示ピクセルピッチであり、dは、視差である。
【００６０】
式(1)に基づいて、Blu-ray(登録商標)の解決策では、最終的に知覚される奥行き、すなわち、3Dオブジェクトの3Dディスプレイ1001からの距離1007、1009は、視差値の半分に等しいオフセット値だけでなく、ディスプレイ1001の特性(画面サイズおよび解像度)ならびに視距離にも依存することがわかる。しかしながら、Blu-ray(登録商標)の解決策で提供されるオフセット値は、ターゲットデバイスおよび観察条件が何であるかの完全な知識なしで、事前に設定されなければならない。これにより、知覚される奥行きは、デバイスごとに異なり、同時に、観察条件に依存する。さらに、Blu-ray(登録商標)の解決策は、画面1001と平行な2D表面であるようにテキストボックス1003bまたはグラフィックボックス1005bの配置の自由度を制限する。結果として、グラフィックまたはテキストを立体視3Dビデオに融合することは、不可能である。最後に、Blu-ray(登録商標)の解決策は、立体視3Dビデオに限定され、多視点3Dビデオが考慮されるとき、テキストボックスまたはグラフィックボックスを配置する方法について対処していない。
【００６１】
図1は、実施の形態による3Dシーン内の表示オブジェクトの表示位置を決定するための方法100の概略図を示す。方法100は、3Dシーン内の1つまたは複数の表示可能オブジェクトと共に表示される表示オブジェクトの表示位置x、y、zを決定するためのものである。方法100は、3Dシーン内の1つまたは複数の表示可能オブジェクトの表示面に対する表示距離を提供するステップ101と、同じ3Dシーン内の1つまたは複数の表示可能オブジェクトの表示距離に依存して表示オブジェクトの表示距離を含む表示位置x、y、zを提供するステップ103とを含む。
【００６２】
表示位置は、3次元座標系での位置であり、xは、x軸上の位置を示し、yは、y軸上の位置を示し、zは、z軸上の位置を示す。可能な座標系を、図2に関連して説明する。表示オブジェクトおよび表示可能オブジェクトは、デバイスの表示面に表示されるオブジェクトである。表示デバイスは、例えば、対応するディスプレイもしくは画面を有する3D対応TVセットもしくはモニタ、または、対応するディスプレイまたは画面を有する3Dモバイル端末もしくは任意の他の携帯デバイスであり得る。
【００６３】
表示オブジェクトは、グラフィックオブジェクトであり得る。静止画像のための実施態様では、3Dシーンは、3D静止画像であり得、表示可能オブジェクトは、2Dまたは3D画像オブジェクトであり得、表示オブジェクトは、2Dもしくは3Dグラフィックボックスまたは2Dもしくは3Dテキストボックスであり得る。ビデオのための実施態様では、3Dシーンは、3Dビデオ画像であり得、表示可能オブジェクトは、2Dまたは3Dビデオオブジェクトであり得、表示オブジェクトは、2Dもしくは3Dタイムドグラフィックボックスまたは2Dもしくは3Dタイムドテキストボックスであり得る。
【００６４】
タイムドテキストは、オーディオおよびビデオなどの他のメディアと同期したテキストメディアのプレゼンテーションを指す。タイムドテキストの典型的な用途は、外国語のリアルタイム字幕、聴覚障害を持つ人々のための字幕、スクロールするニュース記事、またはテレプロンプター用途である。MPEG-4ムービーおよび携帯電話メディアのためのタイムドテキストは、MPEG-4パート17で指定され、そのMIMEタイプ(インターネットメディアタイプ)は、RFC3839および3GPP26.245によって指定される。
【００６５】
タイムドグラフィックスは、オーディオおよびビデオなどの他のメディアと同期したグラフィックスメディアのプレゼンテーションを指す。タイムドグラフィックスは、3GPP TS26.430によって指定される。ビデオオブジェクトは、ムービー内で示されるオブジェクトであり、例えば、人間、自動車、花、家、ボールなどのもの、または他の何かである。ビデオオブジェクトは、移動している、または固定位置を有する。3Dビデオシーケンスは、複数のビデオオブジェクトを含む。3Dシーンは、1つまたは複数のビデオオブジェクト、タイムドテキストオブジェクト、タイムドグラフィックスオブジェクト、またはそれらの組み合わせを含むことができる。
【００６６】
表示面は、表示オブジェクトが表示される基準面であり、例えば、画面、モニタ、テレスクリーン(telescreen)または任意の他の種類のディスプレイである。表示距離は、座標系のz軸に関する表示面までの表示オブジェクトの距離である。表示オブジェクトは、表示面から距離を有し、それによって3D効果を観察者にもたらす。実施の形態では、座標系の原点は、表示面の左上隅に配置される。
【００６７】
図2は、実施の形態による3次元座標系内の表示オブジェクトの表示位置を決定するために使用可能な平面オーバレイモデル200の概略図を示す。
【００６８】
表示可能オブジェクトまたは表示オブジェクトの表示位置は、3次元座標系で定義され、図2に示すように、xは、x軸上の位置を示し、yは、y軸上の位置を示し、zは、z軸上の位置を示す。表示面は、x軸およびy軸によって定義され、z方向の表示可能オブジェクトまたは表示オブジェクトの表示距離が関連する基準面を形成する。表示面は、3Dシーンを表示するためのデバイスの物理的な表示面、または、例えば、3Dシーンを表示するためのデバイスの物理的な表示面と平行な他の平面に対応するように定義され得る。
【００６９】
図2に示す座標系では、座標系の原点は、表示面の左上隅にある。x軸は、表示面の右上隅に向かう方向で、表示面と平行である。y軸は、表示面の左下隅に向かう方向で、表示面と平行である。z軸は、正のz値に関して観察者に向かう方向で、表示面に垂直であり、すなわち、0のz値を有する表示可能または表示オブジェクトは、表示面に配置され、0より大きいz値を有する表示可能または表示オブジェクトは、表示面の前に配置または表示され、zがより大きくなると、表示可能または表示オブジェクトがより近くに配置または表示されるように観察者に知覚される。0より小さいz値を有する表示可能または表示オブジェクトは、表示面の背後に配置または表示され、z値がより小さくなると、表示可能または表示オブジェクトがより遠くに配置または表示されるように観察者に知覚される。
【００７０】
図2の平面オーバレイモデル200は、グラフィック平面205、例えば、タイムドグラフィックボックス、およびテキスト平面203、例えば、タイムドテキストボックスが、ビデオ平面201上にオーバレイする。テキストまたはグラフィックス要素が配置されるべきタイムドテキストボックス203またはタイムドグラフィックボックス205は、3Dシーン内に正しく配置される。
【００７１】
図2は、ビデオ平面を有する3Dビデオの実施態様を指しているが、同じ平面オーバレイモデル200は、3D静止画像にも適用可能であり、参照符号201は、その場合、画像平面を指し、または、同じ平面オーバレイモデル200は、一般に、任意の種類の3Dシーンにも適用可能である。参照符号201は、その場合、任意の表示面を指す。
【００７２】
図2に示すような座標系は、1つの可能な座標系に過ぎず、他の座標系、具体的には、異なる原点の定義および正の値に関する軸の方向を有する他のデカルト座標系が、本発明の実施形態を実施するために使用され得る。
【００７３】
図3は、実施の形態による3次元シーン内の表示物体の表示位置を決定するための方法300の概略図を示す。例示的に、図3は、3Dビデオ画像または3Dビデオシーン内のタイムドテキストおよび/またはタイムドグラフィックオブジェクトの表示位置を決定するための方法300の概略図を示す。
【００７４】
方法300は、複数の表示可能オブジェクトを含む3Dシーン301内に表示される表示オブジェクト303、例えば、タイムドテキストオブジェクトまたはタイムドグラフィックオブジェクトの表示位置x、y、zを決定するためのものである。方法300は、3Dシーン、例えば、3Dビデオ301を提供するステップと、タイムドテキストまたはタイムドグラフィックオブジェクト303を提供するステップとを含む。方法300は、さらに、3Dシーン、例えば、3Dビデオ301の奥行き情報を決定するステップ305と、タイムドテキストおよび/またはタイムドグラフィックのための3D座標系でのタイムドテキストまたはタイムドグラフィックオブジェクト303の位置を設定し、対応するシグナリングデータを作成するステップ307を含む。方法300は、さらに、タイムドテキストおよび/またはタイムドグラフィックの位置、ならびに、タイムドテキストおよび/またはタイムドグラフィック自体を加えた3Dシーンを記憶および/または送信するステップ309を含む。
【００７５】
図3は、3Dシーンとして3Dビデオ、ならびに、表示オブジェクトとしてタイムドテキストおよび/またはタイムドグラフィックスオブジェクトを有する3Dビデオの実施態様を指しているが、同じ方法は、3D静止画像に適用され得、参照符号301は、その場合、3D静止画像を指し、参照符号303は、その場合、テキストおよび/またはグラフィックスオブジェクトを指し、ステップ305は、3D静止画像の奥行き情報を決定するステップを指し、ステップ307は、3D座標系でのテキストおよび/またはグラフィックオブジェクト303の位置を設定するステップを指し、ステップ309は、テキストおよび/またはグラフィックの位置、ならびに、テキストおよび/またはグラフィック自体を加えた3D静止画像を記憶および/または送信するステップを指す。
【００７６】
言い換えれば、図3は、特定のビデオの実施態様を示し、同じ方法は、一般的に、3Dシーンにも適用され得、参照符号301は、その場合、3Dシーンを指し、参照符号303は、その場合、表示オブジェクトを指し、ステップ305は、3Dシーンの奥行き情報を取得するステップを指し、ステップ307は、3D座標系での表示オブジェクト303の位置を設定するステップを指し、ステップ309は、表示オブジェクトの位置および表示オブジェクト自体を加えた3Dシーンを記憶および/または送信するステップを指す。
【００７７】
3Dシーン、例えば、3Dビデオ301の奥行き情報を決定するステップ305は、図1に関して説明したような表示面に対する1つまたは複数の表示可能オブジェクトの表示距離を提供するステップ101に対応することができる。
【００７８】
タイムドテキストおよび/またはタイムドグラフィックに関して3D座標系での位置の奥行きを設定し、シグナリングデータを作成するステップ307は、図1に関して説明したような3Dシーン内の1つまたは複数の表示可能オブジェクトの表示距離に依存して表示オブジェクトの表示位置x、y、zを提供するステップ103に対応することができる。
【００７９】
第1の実施の形態では、ステップ307によるタイムドテキストおよびタイムドグラフィックスの3D配置は、以下の通りである。3Dシーンの観察者に最も近い表示可能オブジェクトの表示位置の表示距離であるZnearが、抽出または推定される。z次元でのタイムドテキストオブジェクトまたはタイムドグラフィックオブジェクトの(または、一般的に、表示オブジェクトの)表示位置の表示距離であるZboxが、3Dシーン、例えば、3Dビデオ301の最も近い表示可能オブジェクトよりも観察者に近くに設定され、すなわち、Zbox>Znearである。ZboxおよびZnearは、図2に示すような座標系のz軸上の座標である。
【００８０】
第1の実施の形態の実施形態では、Znearは、以下のように決定される。最初に、3Dビデオの左および右ビュー内で同じ特徴を見つけ、プロセスは、対応付けとして知られる。このプロセスの出力は、視差マップであり、視差は、左および右ビュー内の同じ特徴の画像平面上のz座標での差、すなわち、xl-xrである。ここで、xlおよびxrは、それぞれ、左ビューおよび右ビュー内のx座標での特徴の位置である。3Dビデオを撮影するために使用されたカメラの幾何学的配置情報を使用して、視差マップは、距離、すなわち、奥行きマップに変えられる。代替的に、3Dビデオが作成されたターゲットの画面サイズおよび視距離を知り、奥行きマップは、上記で説明したような式(1)を使用することによって計算される。Znear値は、奥行きマップデータから抽出される。Znearは、図2に示すような座標系のz軸上の座標であり、xlおよびxrは、x軸上の座標である。
【００８１】
第1の実施の形態の実施形態では、3Dビデオのためのファイルフォーマットは、空間的に隣接するビューの間の最大視差の情報を含む。「ISO/IEC14496-15"Information technology-Coding of audio-visual objects-Part15: 'Advanced Video Coding (AVC) file format'、2010年6月」では、そのような情報を含むボックス('vwdi')が指定される。シグナリングされる視差は、所与のシーンでの最大奥行きを抽出するために使用される。
【００８２】
第2の実施の形態では、ステップ307によるタイムドテキストオブジェクトおよび/またはタイムドグラフィックスオブジェクトの(または、一般的に、表示オブジェクトの)3D配置は、以下の通りである。3Dシーン、例えば、3Dビデオ301の観察者に最も近い表示可能オブジェクトの表示位置の表示距離であるZnearが、抽出または推定される。3Dシーン、例えば、3Dビデオ301の観察者から最も遠い表示可能オブジェクトの表示位置の表示距離であるZfarが、抽出または推定される。z次元でのタイムドテキストオブジェクトまたはタイムドグラフィックオブジェクトの(または、一般的に、表示オブジェクトの)  表示位置の表示距離であるZboxが、3Dシーン、例えば、3Dビデオ301のZfar-Znear距離のパーセンテージであるZpercentによって表される。Znear、ZboxおよびZfarは、図2に示すような座標系のz軸上の座標である。
【００８３】
第3の実施の形態では、ステップ307によるタイムドテキストオブジェクトおよびタイムドグラフィックスオブジェクトの(または、一般的に、表示オブジェクトの)3D配置は、以下の通りである。ボックスの各コーナ(Zcorner_top_left、Zcorner_top_right、Zcorner_bottom_left、Zcorner_bottom_right)は、別々のZ値が割り当てられ、各コーナでZcorrner>Znearであり、Znearは、所与のコーナの領域についてのみ推定される。Zcorner_top_left、Zcorner_top_right、Zcorner_bottom_leftおよびZcorner_bottom_rightは、図2に示すような座標系のz軸上の座標である。
【００８４】
第3の実施の形態の実施形態では、タイムドテキストオブジェクトまたは表示オブジェクトの実施態様のような、タイムドテキストボックスのZcorner値は、以下、
aligned(8)class 3DRecord{
unsigned int(16)  startChar;
unsigned int(16)  endChar;
unsigned int(32)[3]  top-left;
unsigned int(32)[3]  top-right;
unsigned int(32)[3]  bottom-left;
unsigned int(32)[3]  bottom-right;
}
のような3DRecordと呼ばれる新しいクラスおよび新しいテキストスタイルボックス'3dtt'を指定することによって、3GPPファイルフォーマットでシグナリングされ、ここで、startCharは、このスタイルランの先頭の文字オフセット(サンプルの説明では、常に0)であり、endCharは、このスタイルが当てはまらない第1の文字オフセット(サンプルの説明では、常に0)であり、startChar以上でなければならない。改行文字およびその他の非印刷文字を含むすべての文字は、文字カウントに含まれ、top-left、top-right、bottom-leftおよびbottom-rightは、コーナの(x,y,z)座標を含み、zの正の値は、画面の前の、すなわち、観察者により近い位置を示し、負の値は、画面の背後の、すなわち、観察者からより遠い位置を示し、
class TextStyleBox() extends TextSampleModifierBox('3dtt'){
unsigned int(16)  entry-count;
3DRecord  text-styles[entry-count];
}
ここで、'3dtt'は、3D座標内のテキストの位置を指定する。それは、3D記録の数の16ビットカウントによって先行される、上記で定義したような一連の3D記録で構成される。各記録は、それが適用するテキストの開始および終了位置を指定する。3D記録は、開始文字オフセットによって順序付けられなければならず、1つの3D記録の開始オフセットは、前の記録の終了文字オフセット以上でなければならず、3D記録は、それらの文字範囲に重なってはならない。
【００８５】
第3の実施の形態の実施形態では、ステップ307によるタイムドテキストおよび/またはタイムドグラフィックスボックスの(または、一般的に、表示オブジェクトの)配置は、以下のようであり、すなわち、タイムドグラフィックボックスの(または、一般的に、表示オブジェクトの)Zcorner値は、以下、すなわち、
class TextStyleBox()extends SampleModifierBox('3dtg'){
unsigned int(32)[3]  top-left;
unsigned int(32)[3]  top-right;
unsigned int(32)[3]  bottom-left;
unsigned int(32)[3]  bottom-right;
}
のような新しいテキストスタイルボックス'3dtg'を指定することによって、3GPPファイルフォーマットでシグナリングされ、ここで、top-left、top-right、bottom-leftおよびbottom-rightは、コーナの(x,y,z)座標を含む。zの正の値は、画面の前、すなわち、観察者により近い位置を示し、zの負の値は、画面の背後、すなわち、観察者からより遠い位置を示す。
【００８６】
第4の実施の形態では、ステップ307によるタイムドテキストオブジェクトおよび/またはタイムドグラフィックスオブジェクトの(または、一般的に、表示オブジェクトの)配置は、以下の通りである。柔軟性のあるテキストボックスおよび/またはグラフィックスボックスは、回転(alpha_x、alpha_y、alpha_z)および並進(trans_x、trans_y)動作に加えて、3D空間または3Dシーン内のボックスの1つのコーナ(典型的には、左上隅)の位置と、ボックスの幅および高さ(width、height)とをシグナリングすることに基づく。端末は、次いで、回転行列Rx×Ry×Rzを使用し、並進ベクトル(trans_x,trans_y,0)を加えることによって、3D空間内のボックスのすべてのコーナの位置を計算し、ここで、
Rx ={1 0 0; 0 cos(alpha_x) sin (alpha_x); 0 -sin(alpha_x) cos(alpha_x)}
Ry ={cos(alpha_y) 0 -sin(alpha_y); 0 1 0; sin(alpha_y) 0 cos(alpha_y)}
Rz ={cos(alpha_z) sin(alpha_z) 0; -sin(alpha_z) cos(alpha_z) 0; 0 0 1}
である。そのような情報を記憶および送信するために、第3の実施態様の実施形態で説明したのと同様の3GPファイルフォーマットなどのISOベースのメディアファイルフォーマットの新しいボックスおよびクラスが作成される。
【００８７】
図4は、実施の形態による3Dシーンと共に表示オブジェクトを表示するための方法400の概略図を示す。
【００８８】
方法400は、3Dシーンに含まれる1つまたは複数の表示可能オブジェクトと共に表示されるとき、3Dシーン内の表示位置に表示すべき表示オブジェクトを表示するために使用される。方法400は、1つまたは複数の表示可能オブジェクトを含む3Dシーンを受信するステップと、表示オブジェクトを受信するステップ401と、表示面に対する表示オブジェクトの表示距離を有する表示位置x、y、zを受信するステップ403と、3Dシーンを表示するとき、3Dシーンの1つまたは複数の表示可能オブジェクトと共に、受信した表示位置x、y、zに表示オブジェクトを表示するステップ405とを含む。表示オブジェクトは、図3に関して説明したタイムドテキストオブジェクトまたはタイムドグラフィックスオブジェクト303に対応することができる。
【００８９】
図3に関して説明した第1〜第4の実施の形態では、射影演算は、ボックスを3Dシーンのターゲットビュー(例えば、立体視3Dビデオの左および右ビュー)上に射影するために行われる。この射影変換は、以下の式(または、座標系調整を含むその変形)、すなわち、
【００９０】
【数２】
2015517236.tif 000004
【００９１】
に基づいて行われ、ここで、vxおよびvyは、視距離を乗じた水平および垂直方向のピクセルサイズを表し、cxおよびcyは、射影の中心の座標を表す。
【００９２】
図5は、実施の形態による3Dシーン内に表示オブジェクトを表示するための方法500の概略図を示す。例示的に、図5は、3Dビデオ画像または3Dビデオシーン内にタイムドテキストまたはタイムドグラフィックオブジェクトを表示するための方法500の概略図を示す。
【００９３】
図5は、3Dシーンとして3Dビデオ、ならびに、表示オブジェクトとしてタイムドテキストおよび/またはタイムドグラフィックスオブジェクトを有する3Dビデオの実施態様を指しているが、同じ方法は、3D静止画像ならびにテキストおよび/もしくはグラフィックスオブジェクトに、または、一般的に、3Dシーンおよび表示オブジェクトに適用され得る。
【００９４】
方法500は、3次元シーン内の受信した表示位置x、y、zに表示すべき表示オブジェクトを表示するために使用される。方法500は、マルチメディアデータおよびシグナリングデータを開く/受信するステップ501と、受信した表示位置x、y、zに従ってタイムドテキストオブジェクトおよび/またはグラフィックスオブジェクトを3D座標に配置するステップ503と、タイムドテキストおよびタイムドグラフィックのビューを作成するステップ505と、3Dビデオ511を復号するステップと、復号された3Dビデオの上にタイムドテキストおよび/またはタイムドグラフィックのビューを重ねるステップ507と、表示するステップ509とを含む。
【００９５】
マルチメディアデータおよびシグナリングデータを開く/受信するステップ501は、図4に関して説明したような表示オブジェクトを受信するステップ401に対応することができる。3D座標に表示オブジェクトを配置するステップ503、および、表示オブジェクトのビューを作成するステップ505は、図4に関して説明した表示オブジェクトの表示位置を受信するステップ403に対応することができる。3Dビデオの上にタイムドテキストおよび/またはタイムドグラフィックオブジェクトのビューを重ねるステップ507、ならびに、表示するステップ509は、図4に関して説明した3Dシーンの1つまたは複数の表示可能物体を表示するときに表示位置に表示物体を表示するステップ405に対応することができる。
【００９６】
受信機またはデコーダ側で、シグナリング情報は、ステップ501によって解析される。シグナリング情報に基づいて、タイムドテキストオブジェクトおよび/またはタイムドグラフィックオブジェクトは、ステップ503によって3D座標の空間に射影される。次のステップ505では、タイムドテキストオブジェクトおよび/またはタイムドグラフィックオブジェクトは、変換演算によって3Dシーンのビューに射影される。端末は、次いで、ステップ507によって3Dシーンのビューの上にタイムドテキストビューおよび/またはタイムドグラフィックビューを重ね、それらは、ステップ509によって端末の画面上に表示される。タイムドテキストオブジェクトおよび/またはタイムドグラフィックオブジェクトの座標の計算は、参照符号503によって示され、デコーダ側の処理チェーン内のタイムドテキストおよびタイムドグラフィックの対応するビューを作成するステップは、図5中の参照符号505によって示される。
【００９７】
図6は、実施の形態による装置600のブロック図を示す。装置600は、例えば、複数の表示可能オブジェクトを含む3次元シーン内の、図3に関して説明したような特定の表示可能オブジェクトの前に、3次元 (3D) シーン内に表示すべき表示オブジェクト、例えば、図3に関して説明したような表示オブジェクト303の表示位置x、y、zを決定するように構成される。装置600は、3Dシーンの1つまたは複数の表示可能オブジェクトの表示面に対する表示距離zを提供し、同じ3Dシーンの1つまたは複数の表示可能オブジェクトの表示距離zに依存して表示物体の表示面に対する表示距離zを有する表示位置x、y、zを提供するように構成されたプロセッサを備える。
【００９８】
プロセッサ601は、3Dシーンの1つまたは複数の表示可能オブジェクトの表示面に対する表示距離zを提供するための第1のプロバイダ603と、同じ3Dシーンの1つまたは複数の表示可能オブジェクトの表示距離zに依存して表示オブジェクトの表示面に対する表示距離zを有する表示位置x、y、zを提供するための第2のプロバイダ605とを備える。
【００９９】
図7は、実施の形態による装置700のブロック図を示す。装置700は、複数の表示可能オブジェクトを含む3Dシーン、例えば、図3に関して説明したような3Dビデオ301内に、またはそれと共に表示すべき表示オブジェクト、例えば、図3に関して説明したような表示オブジェクト303を表示するために使用される。装置700は、表示オブジェクトを受信し、表示面からの距離、例えば、一定の距離を含む表示オブジェクトの表示位置x、y、zを受信するためのインターフェース701と、3Dシーンの1つまたは複数の表示可能オブジェクトを表示するとき、受信した表示位置x、y、zに表示オブジェクトを表示するためのディスプレイ703とを備える。
【０１００】
以上のことから、様々な方法、システム、記録媒体上のコンピュータプログラム、などが提供されることが、当業者には明らかであろう。
【０１０１】
本開示は、実行されたとき、少なくとも1つのコンピュータに、本明細書で説明した実行および計算ステップを実行させる、コンピュータ実行可能コードまたはコンピュータ実行可能命令を含むコンピュータプログラム製品もサポートする。
【０１０２】
本開示は、本明細書で説明した実行および計算ステップを実行するように構成されたシステムもサポートする。
【０１０３】
多くの代替、修正、および変形が、上記の教示に照らして当業者には明らかであろう。もちろん、当業者は、本明細書で説明したものを超えて、本発明の多数の用途が存在することを容易に認識する。本発明を、1つまたは複数の特定の実施形態を参照して説明してきたが、当業者は、多くの変更が、本発明の要旨および範囲から逸脱することなく、それに対してなされ得ることを認識する。したがって、添付の特許請求の範囲およびその等価物の範囲内で、本発明は、本明細書で具体的に説明したもの以外の方法で実施され得ることが理解されるべきである。
【符号の説明】
【０１０４】
200  平面オーバレイモデル
201  ビデオ平面
203  テキスト平面
205  グラフィック平面
301  3Dシーン
303  表示オブジェクト
600  装置
601  プロセッサ
603  第1のプロバイダ
605  第2のプロバイダ
700  装置
701  インターフェース
703  ディスプレイ
800  ファイル
801  メタデータボックス
803  ムービーボックス
805  トラック
807  トラック
901  テキストボックス
903  領域
905  ビデオ
907  表示領域
911  左上隅
913  座標(tx,ty)
915  幅
917  高さ
919  相対値
921  相対値
1001  3D表示面
1003a  3Dサブタイトルボックス
1003b  3Dサブタイトルボックス
1005a  3Dメニューボックス
1005b  3Dメニューボックス
1007  位置
1009  位置
【図１】
2015517236.tif 000005
【図３】
2015517236.tif 000006
【図４】
2015517236.tif 000007
【図５】
2015517236.tif 000008
【図６】
2015517236.tif 000009
【図７】
2015517236.tif 000010
【図８】
2015517236.tif 000011
【図２】
2015517236.tif 000012
【図９】
2015517236.tif 000013
【図１０ａ】
2015517236.tif 000014
【図１０ｂ】
2015517236.tif 000015
【国際調査報告】
2015517236.tif 000016
2015517236.tif 000017
2015517236.tif 000018