(57)【特許請求の範囲】
【請求項１】
ビデオ処理デバイスで、３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することと、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、
前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換する前記ビデオ処理デバイスを構成することと、
２Ｄビデオデータを受信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換することと、
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデータを転送すると同時に、２次元または３次元のいずれかの前記３Ｄビデオデータをプレビューするために、前記デバイス内に含まれる内部ディスプレイに前記生成された３Ｄビデオデータの２Ｄバージョンまたは前記生成された３Ｄビデオデータのいずれかを転送することと
を備える、方法。
【請求項２】
１つまたは複数のパラメータを判断することは、前記３Ｄディスプレイデバイスによってサポートされる前記能力を定義する前記１つまたは複数のパラメータを自動的に決定することを備える、
請求項１に記載の方法。
【請求項３】
１つまたは複数のパラメータを判断することは、前記１つまたは複数のパラメータを判断するディスプレイインターフェースプロトコルに従って前記３Ｄディスプレイデバイスをインターフェースすることを備える、
請求項１に記載の方法。
【請求項４】
前記ディスプレイインターフェースプロトコルは、高解像度マルチメディアインターフェース（ＨＤＭＩ）プロトコルまたはワイヤレスＨＤＭＩ（ＷＨＤＭＩ）プロトコル、モバイルディスプレイデジタルインターフェース（ＭＤＤＩ）、ワイヤレスＭＤＤＩ（ＷＭＤＤＩ）、およびモバイルインダストリプロセッサインターフェース（ＭＩＰＩ）を備える、
請求項３に記載の方法。
【請求項５】
前記３Ｄディスプレイデバイスによってサポートされない異なる入力フォーマットに準拠する追加の３Ｄビデオデータを受信することと、
前記異なる入力フォーマットに準拠する前記追加の３Ｄビデオデータを前記判断された入力ファイルフォーマットに準拠する前記３Ｄビデオデータに変換することと
をさらに備える、請求項１に記載の方法。
【請求項６】
前記３Ｄディスプレイデバイスによって再生するための前記２Ｄビデオデータの前記変化を定義するために、前記判断されたパラメータに基づいて前記ビデオ処理デバイスを構成することをさらに備える、
請求項１に記載の方法。
【請求項７】
前記パラメータは、サポートされるコントラスト、現在のコントラスト、サポートされるシャープネス、現在のシャープネス、サポートされる色温度、現在の色温度、サポートされる明るさ、現在の明るさ、サポートされる解像度、現在の解像度、サポートされるディスプレイフォーマット、現在のディスプレイフォーマット、サポートされる色設定、現在の色設定、サポートされる入力フォーマット、ディスプレイタイプ、ディスプレイ製造業者、サポートされる深度範囲、現在の深度範囲、収束平面のサポートされる位置、前記収束平面の現在の位置、背景オブジェクトの滑らかさのサポートされる程度、背景オブジェクトの現在の滑らかさ、サポートされる目距離構成、現在の目距離構成、サポートされる利き目構成、現在の利き目構成、サポートされるビューの数、現在のビューの数、サポートされる閲覧距離、現在の閲覧距離、サポートされる閲覧角、現在の閲覧角、スクリーン内の前記３Ｄビデオコンテンツのサポートされるディスプレイ位置、および前記スクリーン内の前記３Ｄビデオコンテンツの現在の位置のうちの少なくとも１つを備える、
請求項１に記載の方法。
【請求項８】
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースを提示することと、
前記２Ｄビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示することと、
前記２Ｄビデオデータを受信するために前記選択されたソースで通信することと、
前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信することと
をさらに備える請求項１に記載の方法。
【請求項９】
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースを提示することと、
前記ビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示することと、
前記ビデオデータを受信するために前記選択されたソースで通信することと、
前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するために、前記ビデオデータを３Ｄビデオデータに変換することと
をさらに備える、
請求項１に記載の方法。
【請求項１０】
１つまたは複数のユーザ選択を定義する入力データを受信するユーザインターフェースを提示することと、
前記定義されたユーザ選択に従って３Ｄビデオデータを生成するために、ビデオデータを３Ｄビデオデータに変換する前記デバイスを構成することと
をさらに備える、請求項１に記載の方法。
【請求項１１】
前記ユーザ選択は、所望のシャープネスと、所望のコントラストと、所望のディスプレイフォーマットと、所望の色温度と、所望の色設定と、所望の輝度と、所望の最大深度範囲と、前記収束平面の所望の位置と、バックグラウンドオブジェクトの滑らかさの所望の程度と、所望の目距離構成と、所望の利き目構成と、所望のビューの数と、所望の閲覧距離と、所望の閲覧角と、前記スクリーン内の前記３Ｄビデオコンテンツの所望のディスプレイ位置および解像度とのうちの少なくとも１つを含む、
請求項１０に記載の方法。
【請求項１２】
１つまたは複数のユーザ選択を定義する入力を受信するユーザインターフェースを提示することは、任意のアプリケーションにグローバルに適用する１つまたは複数のグローバルユーザ選択および特定の１つまたは複数のアプリケーションにのみ適用する１つまたは複数のアプリケーション特有のユーザ選択を定義する入力データを受信するユーザインターフェースを提示することを含む、
請求項１０に記載の方法。
【請求項１３】
前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断することと、
前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記ビデオ処理デバイスを再構成することと
さらに備える、請求項１に記載の方法。
【請求項１４】
前記入力フォーマットは、１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットを備える、
請求項１に記載の方法。
【請求項１５】
前記１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットは、２Ｄ＋深度入力フォーマット、２Ｄ＋深度遮蔽およびグローバル効果入力フォーマット、およびマルチビューストリーム入力フォーマットを備え、
前記２Ｄ＋深度遮蔽およびグローバル効果入力フォーマットは、１つまたは複数の透明度、グローバル照度、および大気効果を定義する、
請求項１３に記載の方法。
【請求項１６】
前記ビデオ処理デバイスは、モバイルセルラー電話と、モバイルコンピューティングデバイスと、ポータブルデバイスと、ハンドセットデバイスとのうちの１つを備える、
請求項１に記載の方法。
【請求項１７】
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデバイスを転送することをさらに備える、
請求項１に記載の方法。
【請求項１８】
変換モジュールと、
３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するパラメータ発見モジュールと、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換する前記変換モジュールを構成する、
２Ｄビデオデータを受信する少なくとも１つのインターフェースと、ここにおいて、
前記変換モジュールは、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換する、
３Ｄディスプレイデバイスに前記生成された３Ｄビデオデータを転送すると同時に、２次元または３次元のいずれかの前記３Ｄビデオデータをプレビューするために、前記生成された３Ｄビデオデータの２Ｄバージョンまたは前記生成された３Ｄビデオデータのいずれかをディスプレイする内部ディスプレイと
を備える、装置。
【請求項１９】
前記パラメータ発見モジュールは、前記３Ｄディスプレイデバイスによってサポートされる前記能力を定義する前記１つまたは複数のパラメータを自動的に決定することを備える、
請求項１８に記載の装置。
【請求項２０】
前記パラメータ発見モジュールは、前記１つまたは複数のパラメータを判断するディスプレイインターフェースプロトコルに従って前記３Ｄディスプレイデバイスをインターフェースすることを備える、
請求項１８に記載の装置。
【請求項２１】
前記ディスプレイインターフェースプロトコルは、高解像度マルチメディアインターフェース（ＨＤＭＩ）プロトコルまたはワイヤレスＨＤＭＩ（ＷＨＤＭＩ）プロトコル、モバイルディスプレイデジタルインターフェース（ＭＤＤＩ）、ワイヤレスＭＤＤＩ（ＷＭＤＤＩ）、およびモバイルインダストリプロセッサインターフェース（ＭＩＰＩ）を備える、
請求項２０に記載の装置。
【請求項２２】
前記少なくとも１つのインターフェースは、前記３Ｄディスプレイデバイスによってサポートされない異なる入力フォーマットに準拠する追加の３Ｄビデオデータを受信し、
前記変換モジュールは、前記異なる入力フォーマットに準拠する前記追加の３Ｄビデオデータを前記判断された入力ファイルフォーマットに準拠する前記３Ｄビデオデータに変換する、
請求項１８に記載の装置。
【請求項２３】
前記パラメータ発見モジュールは、前記３Ｄディスプレイデバイスによって再生するための前記２Ｄビデオデータの前記変化を定義するために、前記判断されたパラメータに基づいて前記ビデオ処理デバイスを構成する、
請求項１８に記載の装置。
【請求項２４】
前記パラメータは、サポートされるコントラスト、現在のコントラスト、サポートされるシャープネス、現在のシャープネス、サポートされる色温度、現在の色温度、サポートされる明るさ、現在の明るさ、サポートされる解像度、現在の解像度、サポートされるディスプレイフォーマット、現在のディスプレイフォーマット、サポートされる色設定、現在の色設定、サポートされる入力フォーマット、ディスプレイタイプ、ディスプレイ製造業者、サポートされる深度範囲、現在の深度範囲、収束平面のサポートされる位置、前記収束平面の現在の位置、背景オブジェクトの滑らかさのサポートされる程度、背景オブジェクトの現在の滑らかさ、サポートされる目距離構成、現在の目距離構成、サポートされる利き目構成、現在の利き目構成、サポートされるビューの数、現在のビューの数、サポートされる閲覧距離、現在の閲覧距離、サポートされる閲覧角、現在の閲覧角、スクリーン内の前記３Ｄビデオコンテンツのサポートされるディスプレイ位置、および前記スクリーン内の前記３Ｄビデオコンテンツの現在の位置のうちの少なくとも１つを備える、
請求項１８に記載の装置。
【請求項２５】
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースおよび前記２Ｄビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示するユーザインターフェースモジュールをさらに備え、
前記少なくとも１つのインターフェースは、前記２Ｄビデオデータを受信するために前記選択されたソースで通信し、前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信する、
請求項１８に記載の装置。
【請求項２６】
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースおよびビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示するユーザインターフェースモジュールをさらに備え、
前記少なくとも１つのインターフェースは、前記ビデオデータを受信するために前記選択されたソースで通信し、前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信し、
前記変換モジュールは、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するために、前記ビデオデータを３Ｄビデオデータに変換する、
請求項１８に記載の装置。
【請求項２７】
１つまたは複数のユーザ選択を定義する入力データを受信するユーザインターフェースを提示するユーザインターエースモジュールと、
前記定義されたユーザ選択に従って３Ｄビデオデータを生成するために、ビデオデータを３Ｄビデオデータに変換する前記デバイスを構成する人間視覚系（ＨＶＳ）フィードバックモジュールと
さらに備える、請求項１８に記載の装置。
【請求項２８】
前記ユーザ選択は、所望のシャープネスと、所望のコントラストと、所望のディスプレイフォーマットと、所望の色温度と、所望の色設定と、所望の輝度と、所望の最大深度範囲と、収束平面の所望の位置と、バックグラウンドオブジェクトの滑らかさの所望の程度と、所望の目距離構成と、所望の利き目構成と、所望のビューの数と、所望の閲覧距離と、所望の閲覧角と、前記スクリーン内の前記３Ｄビデオコンテンツの所望のディスプレイ位置および解像度とのうちの少なくとも１つを含む、
請求項２７に記載の装置。
【請求項２９】
前記ユーザインターフェースは、任意のアプリケーションにグローバルに適用する１つまたは複数のグローバルユーザ選択および特定の１つまたは複数のアプリケーションにのみ適用する１つまたは複数のアプリケーション特有のユーザ選択を定義する入力データを受信するユーザインターフェースを提示することを含む、
請求項２７に記載の装置。
【請求項３０】
前記変換モジュールが前記ビデオデータ変換している間、人間視覚系（ＨＶＳ）に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断し、前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成する、ＨＶＳフィードバックモジュールをさらに備える、
請求項１８に記載の装置。
【請求項３１】
前記入力フォーマットは、１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットを備える、
請求項１８に記載の装置。
【請求項３２】
前記１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットは、２Ｄ＋深度入力フォーマット、２Ｄ＋深度遮蔽およびグローバル効果入力フォーマット、およびマルチビューストリーム入力フォーマットを備え、
前記２Ｄ＋深度遮蔽およびグローバル効果入力フォーマットは、１つまたは複数の透明度、グローバル照度、および大気効果を定義する、
請求項３１に記載の装置。
【請求項３３】
前記装置は、ビデオ処理デバイスと、モバイルセルラー電話と、モバイルコンピューティングデバイスと、ポータブルデバイスと、ハンドセットデバイスとのうちの１つを備える、
請求項１８に記載の装置。
【請求項３４】
前記少なくとも１つのインターフェースは、前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデバイスを転送する、
請求項１８に記載の装置。
【請求項３５】
３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することと、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、
前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換するビデオ処理デバイスを構成することと、
２Ｄビデオデータを受信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換することと、
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデータを転送すると同時に、２次元または３次元のいずれかの前記３Ｄビデオデータをプレビューするために、前記デバイス内に含まれる内部ディスプレイに前記生成された３Ｄビデオデータの２Ｄバージョンまたは前記生成された３Ｄビデオデータのいずれかを転送することと
をプロセッサに行わせる命令を備える、コンピュータ可読記憶媒体。
【請求項３６】
ビデオデータを変換するための手段と、
３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するための手段と、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、
前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換する前記変換モジュールを構成するための手段と、
２Ｄビデオデータを受信するための手段と、ここにおいて
前記ビデオデータを変換するための手段は、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換するための手段を備える、
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデータを転送すると同時に、２次元または３次元のいずれかの前記３Ｄビデオデータをプレビューするために、前記生成された３Ｄビデオデータの２Ｄバージョンまたは前記生成された３Ｄビデオデータのいずれかをディスプレイするための手段と
を備える、装置。
【請求項３７】
１つまたは複数のパラメータを判断するための手段は、前記３Ｄディスプレイデバイスによってサポートされる前記能力を定義する前記１つまたは複数のパラメータを自動的に決定するための手段を備える、
請求項３６に記載の装置。
【請求項３８】
前記判断するための手段は、前記１つまたは複数のパラメータを判断するディスプレイインターフェースプロトコルに従って前記３Ｄディスプレイデバイスをインターフェースするための手段を備える、
請求項３６に記載の装置。
【請求項３９】
受信するための手段は、前記３Ｄディスプレイデバイスによってサポートされない異なる入力フォーマットに準拠する追加の３Ｄビデオデータを受信するための手段を備え、
変換するための手段は、前記異なる入力フォーマットに準拠する前記追加の３Ｄビデオデータを前記判断された入力ファイルフォーマットに準拠する前記３Ｄビデオデータに変換するための手段を備える、
請求項３６に記載の装置。
【請求項４０】
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースを提示するための手段と、
前記２Ｄビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示するための手段と
を備え、前記受信するための手段は、前記２Ｄビデオデータを受信するために前記選択されたソースで通信するための手段と、前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信するための手段とを含む、
請求項３６に記載の装置。
【請求項４１】
１つまたは複数のユーザ選択を定義する入力データを受信するユーザインターフェースを提示するための手段と、
前記定義されたユーザ選択に従って３Ｄビデオデータを生成するために、ビデオデータを３Ｄビデオデータに変換する前記変換モジュールを構成するための手段と
をさらに備える、請求項３６に記載の装置。
【請求項４２】
提示するための手段は、任意のアプリケーションにグローバルに適用する１つまたは複数のグローバルユーザ選択および特定の１つまたは複数のアプリケーションにのみ適用する１つまたは複数のアプリケーション特有のユーザ選択を定義する入力データを受信するユーザインターフェースを提示するための手段を含む、
請求項４１に記載の装置。
【請求項４３】
前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映し、する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断するための手段と、前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成するための手段と
をさらに備える、請求項３６に記載の装置。
【請求項４４】
前記装置は、ビデオ処理デバイスと、モバイルセルラー電話と、モバイルコンピューティングデバイスと、ポータブルデバイスと、ハンドセットデバイスとのうちの１つを備える、
請求項３６に記載の装置。
【請求項４５】
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデバイスを転送することをさらに備える、
請求項３６に記載の装置。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、２００９年８月６日に出願された米国特許仮出願第６１／２３１，９３１号の利益を主張する。
【０００２】
本特許出願は、以下の同時係属米国特許出願、すなわち、
本明細書と同時に出願され、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、代理人整理番号第０９１７３０号を有する「Transforming Video Data in Accordance with Human Visual System Feedback Metrics」と、
本明細書と同時に出願され、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、代理人整理番号第０９１６７４Ｕ１号を有する「Preparing Video Data in Accordance with a Wireless Display Protocol」と、
本明細書と同時に出願され、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、代理人整理番号第０９１６７４Ｕ２号を有する「Encapsulating Three-Dimensional Video Data in Accordance with Transport Protocols」と
に関する。
【技術分野】
【０００３】
本開示は、ビデオデータ処理に関し、より詳細には、閲覧者への提示のためのビデオデータの配信に関する。
【背景技術】
【０００４】
ビデオディスプレイデバイスは、ユーザによる閲覧のためにビデオデータを提示する。一般に、ディスプレイデバイスによって提示されるビデオデータは、所与のレート、たとえば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ）規格に記載されている２９．９７フレーム毎秒での再生を対象とする連続的な一連のビデオフレームを備える。このビデオデータは深度情報を含んでいないので、ビデオデータは２次元（２Ｄ）ビデオデータとして特徴づけられる。この２Ｄビデオデータを提示するディスプレイデバイスはしばしば「２Ｄディスプレイ」と呼ばれる。
【０００５】
現在、３次元（３Ｄ）ビデオデータを提示するための３次元（３Ｄ）ディスプレイデバイスが開発されている。これらのいわゆる「３Ｄディスプレイ」は、提示された３Ｄビデオデータを適切に閲覧するために、シャッターメガネ、偏光メガネまたは二色メガネ（たとえば、１つの赤色レンズと１つの緑色レンズとをもつメガネ）などの追加の閲覧アクセサリを必要とし得る。追加の閲覧アクセサリを必要とする３Ｄディスプレイデバイスはしばしば「立体視３Ｄディスプレイ」と呼ばれる。「自動立体視３Ｄディスプレイ」と呼ばれる他の３Ｄディスプレイデバイスは、追加の閲覧アクセサリの必要なしに閲覧者が閲覧することができる３Ｄビデオデータを提示することができる。
【０００６】
立体視であるか自動立体視であるかにかかわらず、異なる製造業者の３Ｄディスプレイは、一般に、ベンダー固有または製造業者固有の入力ファイルフォーマットに準拠する３Ｄビデオデータを必要とする。たとえば、１つの提案されている３Ｄビデオデータフォーマットは、２Ｄビデオデータ＋深度情報を備え、「２Ｄ＋深度」と呼ばれる。２Ｄ＋深度ディスプレイデバイスは、２Ｄ＋深度３Ｄビデオデータフォーマットで与えられた３Ｄビデオデータのみを提示し得る。他のタイプの３Ｄディスプレイは、マルチビュー２Ｄストリームフォーマットにおける３Ｄビデオデータを必要とし得る。マルチビュー２Ｄストリームフォーマットは複数の２Ｄストリームをパッケージングし、２Ｄストリームはそれぞれ、同時に（理想的には、同期式に）異なるキャプチャ要素（たとえば、カメラ）を用いて同じシーンから収集される。これらの異なる一般にプロプライエタリな３Ｄビデオデータフォーマットの結果として、１つの製造業者からの所与の３Ｄディスプレイデバイスは、その製造業者のプロプライエタリ３Ｄビデオデータフォーマットに従ってフォーマットされた３Ｄビデオデータしか提示し得ない。
【発明の概要】
【０００７】
概して、クロスプラットフォーム（cross-platform）３次元（３Ｄ）ビデオデータ再生を可能にするための技法について説明する。「プラットフォーム」という用語は、概して、特定のビデオディスプレイデバイス、および／またはオーディオ／ビデオ受信機などの任意のサポートデバイスのソフトウェアおよびハードウェアコンピューティングフレームワーク、ならびにビデオ復号化および再生に関するこのフレームワークの制限および機能を指す。様々な態様において、本技法は、２次元（２Ｄ）ビデオデータであるか３Ｄビデオデータであるかにかかわらず、異なる３Ｄビデオ再生プラットフォーム上での再生が可能であるように、ビデオデータを３Ｄビデオデータに変換し得る。この点において、本技法は、様々な態様において、クロスプラットフォーム３Ｄビデオ再生を容易にし得る。
【０００８】
一態様では、方法は、ビデオ処理デバイスで、３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することと、ここにおいて、１つまたは複数のパラメータは、３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、判断された入力フォーマットに従って、３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換するビデオ処理デバイスを構成することと、２Ｄビデオデータを受信することと、３Ｄビデオデータが判断された入力フォーマットに準拠できるように２Ｄビデオデータを３Ｄビデオデータに変換することとを備える。
【０００９】
別の態様では、装置は、変換モジュールと、３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するパラメータ発見モジュールとを備え、１つまたは複数のパラメータは、３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含み、判断された入力フォーマットに従って、３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換する変換モジュールを構成する。装置は、さらに２Ｄビデオデータを受信する少なくとも１つのインターフェースを備える。変換モジュールは、３Ｄビデオデータが判断された入力フォーマットに準拠できるように２Ｄビデオデータを３Ｄビデオデータに変換する。
【００１０】
別の態様では、コンピュータ可読記憶媒体は、３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することと、ここにおいて、１つまたは複数のパラメータは、３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、判断された入力フォーマットに従って、３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換するビデオ処理デバイスを構成することと、２Ｄビデオデータを受信することと、３Ｄビデオデータが判断された入力フォーマットに準拠できるように２Ｄビデオデータを３Ｄビデオデータに変換することとをプロセッサに行わせる命令を備える。
【００１１】
別の態様では、装置は、ビデオデータを変換するための手段と、３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するための手段とを備え、１つまたは複数のパラメータは、３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む。装置は、さらに判断された入力フォーマットに従って、３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換するビデオ処理デバイスを構成するための手段と、２Ｄビデオデータを受信するための手段とを備える。変換するための手段は、３Ｄビデオデータが判断された入力フォーマットに準拠できるように２Ｄビデオデータを３Ｄビデオデータに変換するための手段を備える。
【００１２】
本技法の１つまたは複数の態様の詳細を添付の図面および以下の説明に記載する。本技法の他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１３】
【図１】モバイルデバイスが、クロスプラットフォームビデオデータ再生を容易にするために本開示の技法の様々な態様を実装する、システムを示すブロック図。
【図２】図１のモバイルデバイスをより詳細に示すブロック図。
【図３】図２のモバイルデバイスの変換モジュールとオフライン処理モジュールとをより詳細に示すブロック図。
【図４Ａ】本開示で説明する技法の様々な態様を実装する際のデバイスの例示的な動作を示すフローチャート。
【図４Ｂ】本開示で説明する技法の様々な態様を実装する際のデバイスの例示的な動作を示すフローチャート。
【図５】本開示で説明する技法の様々な態様を実装する例示的なデバイスを示すブロック図。
【図６】本開示で説明する技法の様々な態様を実行する際のモバイルデバイスの例示的な動作を示すフローチャート。
【図７】本開示で説明する技法の様々な態様に従ってフォーマットされた３次元（３Ｄ）ビデオコンテンツを示すブロック図。
【図８Ａ】本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメントを示すブロック図。
【図８Ｂ】本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメントを示すブロック図。
【図８Ｃ】本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメントを示すブロック図。
【図９】本開示で説明する技法のフォーマッティング態様を実行する際のワイヤレスディスプレイ（ＷＤ）ホストユニットの例示的な動作を示すフローチャート。
【図１０Ａ】クロスプラットフォームビデオ再生を容易にするために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。
【図１０Ｂ】クロスプラットフォームビデオ再生を容易にするために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。
【図１０Ｃ】クロスプラットフォームビデオ再生を容易にするために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。
【図１０Ｄ】クロスプラットフォームビデオ再生を容易にするために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。
【図１０Ｅ】クロスプラットフォームビデオ再生を容易にするために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステムを示すブロック図。
【発明を実施するための形態】
【００１４】
本開示は、クロスプラットフォーム３次元（３Ｄ）ビデオ再生を容易にする技法を対象とする。「プラットフォーム」という用語は、概して、特定のビデオディスプレイデバイス、および／またはオーディオ／ビデオ受信機などの任意のサポートデバイスのソフトウェアおよびハードウェアコンピューティングフレームワーク、ならびにビデオ復号化および再生に関するこのフレームワークの制限および機能を指す。２次元（２Ｄ）ディスプレイデバイスは、典型的に、一般に「ＭＰＥＧ−２」として知られるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格パート２に従ってフォーマットされたビデオデータを受信し、復号化し、提示するためのプラットフォームを与える。２Ｄビデオデータと３次元（３Ｄ）ビデオデータの両方を提示することが可能な他のハイブリッドディスプレイデバイスは、ＭＰＥＧ−２規格と、製造業者固有のプロプライエタリフォーマットなど、特定の３Ｄビデオデータフォーマットとに従ってフォーマットされたビデオデータを受信し、復号化し、提示することが可能なハイブリッドプラットフォームを与え得る。プロプライエタリフォーマットの例には、２Ｄ＋深度フォーマット（「２Ｄ＋ｚ」フォーマットと呼ばれることがあり、「ｚ」は深度を表す）、（透明度が特定のタイプのグローバル効果である）２Ｄ＋深度遮蔽およびグローバル効果（2D-plus-depth-occlusion-and-global-effect）ならびにマルチビュー２Ｄストリームフォーマットがある。３Ｄ専用ディスプレイデバイスは、一般に、製造業者固有の３Ｄフォーマットのうちの１つに従ってフォーマットされた３Ｄビデオデータを受信し、復号化し、提示するためのプラットフォームを与える。
【００１５】
本技法は、いくつかの異なる３Ｄビデオプラットフォーム上での３Ｄビデオ再生を可能にすることによってクロスプラットフォーム３Ｄビデオ再生を容易にする。現在、１つの製造業者固有のプロプライエタリ３Ｄビデオフォーマットも、さらにはオープンソースまたは他の「無料」３Ｄビデオフォーマットも、規格化されておらず、または業界全体では受け入れられていない。代わりに、これらの様々なフォーマットの各々に関連する製造業者は、市場においてそのような規格化を容易にしようと試みている。その上、異なるフォーマット間の競合のせいで、これらの３Ｄビデオフォーマットのいずれも、クロスプラットフォーム３Ｄビデオ再生をサポートしていない。クロスプラットフォーム３Ｄビデオ再生は、概して、あるプラットフォームが、異なるプラットフォームのためにフォーマットされた３Ｄビデオデータを再生する能力を指す。したがって、一般に、あるフォーマットでフォーマットされた３Ｄビデオデータを、別の異なるフォーマットでフォーマットされた３Ｄビデオデータを受信し、復号化し、提示するプラットフォームを与える３Ｄディスプレイデバイスが表示することはできない。この点において、本開示の技法は、あるフォーマットから別のフォーマットに３Ｄビデオデータを変換することによってクロスプラットフォーム３Ｄビデオ再生を容易にし得る。
【００１６】
また、クロスプラットフォーム３Ｄビデオ再生は、３Ｄディスプレイデバイス上での再生のために２Ｄビデオデータを３Ｄビデオデータに変換することに関与する。したがって、「クロスプラットフォーム」という用語は、２Ｄプラットフォームならびに３Ｄプラットフォームをも含み得、本技法は、２Ｄビデオデータを受信することと、この２Ｄビデオデータを、特定の３Ｄディスプレイデバイスまたはハイブリッド２Ｄ／３Ｄディスプレイデバイスによってサポートされる３Ｄビデオデータフォーマットに従ってフォーマットされた３Ｄビデオデータに変換することとを備え得る。ハイブリッド２Ｄ／３Ｄディスプレイデバイスは、２Ｄビデオ復号化および再生と３Ｄビデオ復号化および再生との両方が可能なディスプレイデバイスを備える。
【００１７】
本技法は、いくつかの態様では、クロスプラットフォーム３Ｄビデオ再生を容易にし得る。一態様では、本技法は、問合せを受けたビデオディスプレイデバイスによってサポートされる３Ｄビデオデータフォーマットを判断するためのビデオディスプレイ問合せを可能にし得る。この問合せは、自動的に、または問合せのために１つまたは複数の３Ｄディスプレイデバイスを選択するための最初のユーザ入力以外のユーザ入力なしに、行われ得る。３Ｄディスプレイデバイスのこの３Ｄビデオデータフォーマットを自動的に判断した後に、本技法は、自動的に判断された３Ｄビデオデータフォーマットに従って３Ｄビデオデータを生成するように２Ｄビデオデータを３Ｄビデオデータにコンバートする、１つまたは複数のモジュールを自動的に（たとえば、ユーザ入力なしに）構成することに関与し得る。次いで、構成されたモジュールは、２Ｄビデオデータを受信し、この２Ｄビデオデータを、ディスプレイデバイスの自動的に判断された入力フォーマットに準拠する３Ｄビデオデータに変換するかまたは場合によってはコンバートする。この３Ｄビデオデータは３Ｄディスプレイデバイスに送られ、３Ｄディスプレイデバイスは続いて、この３Ｄビデオデータを復号化し、ユーザによる閲覧のために提示する。
【００１８】
別の態様では、本技法は、特定の３Ｄディスプレイデバイスによる３Ｄビデオデータの再生中に３Ｄビデオデータの３Ｄ可視化の品質を反映するモニタされたパラメータに基づいてビデオデータを３Ｄビデオデータに変換するモジュールのうちの１つまたは複数の再構成によってクロスプラットフォーム３Ｄビデオ再生を容易にし得る。この再構成は、ビデオデータの変換中に動的に行われ得る。モジュールの再構成は、３Ｄディスプレイデバイスによって生成される３Ｄ可視化の品質を動的に改善するために３Ｄビデオデータの生成を改良する。モジュールの再構成はまた、許容できる３Ｄビデオ品質のために処理複雑さを低減するという目的にかない得る。処理複雑さは、再構成パラメータに従って同じ機能を実行するためにモジュールの一部の実行を無効化すること、またはより単純なプロセスを選択することによって低減され得る。より単純なプロセスは、ユーザ定義の基準に従って依然として許容できると見なされるべき低減された３Ｄビデオ品質を誘起し得る。処理複雑さを低減することは、電力消費量を低減するか、またはモジュールの機能の実行を高速化し得る。特に、２Ｄビデオデータまたは３Ｄビデオデータのいずれかであるビデオデータを、特定の３Ｄディスプレイデバイスのためにフォーマットされた３Ｄビデオデータに変換するために使用される、パラメータのモニタとモジュールの再構成とは、ほぼリアルタイムで、または３Ｄビデオデータを３Ｄディスプレイデバイスにストリーミングしている間に、行われ得る。
【００１９】
別の態様では、本技法は、ワイヤレスインターフェースを与える一定のクラスの３Ｄディスプレイデバイスのためのクロスプラットフォーム３Ｄビデオ再生を容易にし得る。本技法のこの態様を実装するデバイスは、ビデオデータを記憶するための第１のモジュールと、ポータブルデバイスの外部のディスプレイデバイスの１つまたは複数のディスプレイパラメータを判断するワイヤレスディスプレイホストモジュールとを備え得る。これらのディスプレイパラメータは、ディスプレイデバイスのディスプレイ解像度、ディスプレイデバイスによってサポートされるファイルフォーマット、ディスプレイデバイスによってサポートされるビデオデータ符号器／復号器技法（いわゆる「ビデオコーデック」）、ディスプレイデバイスによってサポートされるオーディオコーデック、ディスプレイデバイスが３Ｄビデオデータ再生をサポートするかどうか、およびディスプレイデバイスの能力または追加の態様に関する他のパラメータを備え得る。本技法のこの態様を実装するデバイスは、判断されたディスプレイパラメータに基づいて外部ディスプレイデバイス上での再生のためのビデオデータを生成するようにビデオデータを準備する第３のモジュールと、３Ｄビデオデータを外部ディスプレイデバイスにワイヤレス送信するワイヤレスモジュールとをも含み得る。
【００２０】
特に、本技法の様々な態様は、しばしばセルラーまたはモバイルフォンと呼ばれるワイヤレスセルラーハンドセットを含むポータブルデバイスによって実装され得る。本技法の様々な態様を実装し得る他のポータブルデバイスは、いわゆる「スマートフォン」、「ネットブック」と呼ばれる極めてポータブルなコンピューティングデバイス、ラップトップコンピュータ、ポータブルメディアプレーヤ（ＰＭＰ）、および携帯情報端末（ＰＤＡ）を含む。本技法は、デスクトップコンピュータ、セットトップボックス（ＳＴＢ）、ワークステーション、ビデオ再生デバイス（たとえば、デジタルビデオディスクまたはＤＶＤプレーヤ）、２Ｄディスプレイデバイスおよび３Ｄディスプレイデバイスなど、概して非ポータブルなデバイスによっても実装され得る。したがって、本開示ではモバイルまたはポータブルデバイスに関して説明するが、本技法の様々な態様は、ビデオデータを受信し、外部ディスプレイデバイスに転送することが可能な任意のコンピューティングデバイスによって実装され得る。
【００２１】
図１は、モバイルデバイス１２が、クロスプラットフォームビデオデータ再生を容易にするために本開示の技法の様々な態様を実装する、システム１０を示すブロック図である。図１の例に示すように、システム１０は、ソースデバイス１４とディスプレイデバイス１６とを含み、ソースデバイス１４とディスプレイデバイス１６の両方は、それぞれワイヤレス通信チャネル１３とワイヤレス通信チャネル１５とを介してモバイルデバイス１２と通信する。ソースデバイス１４は、パーソナルコンピュータ、ワークステーション、携帯情報端末（ＰＤＡ）、（いわゆる「スマートフォン」を含む）モバイルフォン、またはソフトウェアおよび、特に、マルチメディアソフトウェアを実行することが可能な汎用プロセッサを備える他のタイプのデバイスなど、汎用マルチメディアデバイスを含み得る。ソースデバイス１４は、代替的に、ビデオカムコーダ、デジタルビデオディスク（ＤＶＤ）プレーヤ、テレビジョン、セットトップボックス（ＳＴＢ）、コンパクトディスク（ＣＤ）プレーヤ、デジタルメディアプレーヤ（たとえば、いわゆる「ＭＰ３」プレーヤ、またはＭＰ３／ＭＰ４一体型プレーヤ、ならびにＡＡＣ（ａｄｖａｎｃｅｄ  ａｕｄｉｏ  ｃｏｄｉｎｇ）、ＷＭＶ（Ｗｉｎｄｏｗｓ（登録商標）  ｍｅｄｉａ  ｖｉｄｅｏ）およびＷＡＶ（Ｗａｖｅｆｏｒｍ  ａｕｄｉｏ  ｖｉｄｅｏ）フォーマットを含む他のフォーマットを再生する他のメディアプレーヤ）、デジタルビデオレコーダ（ＤＶＲ）、全地球測位システム（ＧＰＳ）デバイス、または１つまたは複数のマルチメディアアプリケーションのセットに専用であり、一般に、マルチメディアソフトウェアのローディングと実行とのユーザ制御を可能にしない、他のデバイスなど、専用マルチメディアデバイスを備え得る。
【００２２】
ディスプレイデバイス１６は、概して、ディスプレイを介したビデオ再生が可能な任意のデバイスを表す。ディスプレイデバイス１６は、ディスプレイデバイス１６が、２Ｄビデオデータ再生をサポートするのか、３Ｄビデオデータ再生をサポートするのか、または２Ｄビデオデータ再生と３Ｄビデオデータ再生の組合せをサポートするのかに応じて、２Ｄビデオディスプレイデバイスと呼ばれることがある、テレビジョン（ＴＶ）ディスプレイ、３Ｄビデオディスプレイデバイス、またはハイブリッド２Ｄ／３Ｄビデオディスプレイデバイスを備え得る。ディスプレイデバイス１６は、代替的に、ラップトップ、パーソナルメディアプレーヤ（ＰＭＰ）、デスクトップコンピュータ、ワークステーション、ＰＤＡ、および（ポータブルＤＶＤプレーヤなどの）ポータブルデジタルメディアプレーヤなど、ディスプレイをもつ他のデバイスを備え得る。説明のために、ディスプレイデバイス１６が、モバイルデバイス１２とワイヤレス通信するワイヤレステレビジョンを表すと仮定する。ただし、本開示の技法はワイヤレステレビジョンに限定されるべきではない。
【００２３】
ソースデバイス１４は、２Ｄビデオコンテンツ２０および３Ｄビデオコンテンツ２２のうちの１つまたは複数を記憶する記憶モジュール１８を含む。記憶モジュール１８は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、および電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）を含む、揮発性メモリまたは不揮発性メモリのいずれかである、メモリを備え得る。記憶モジュール１８は、代替的に、ハードドライブ、オプティカルドライブ、テープドライブおよびディスクドライブなど、ストレージデバイスを備え得る。記憶モジュール１８は、いくつかの事例において、１つまたは複数のメモリと１つまたは複数のストレージデバイスとの組合せを備え得る。
【００２４】
２Ｄビデオコンテンツ２０は、特定の２Ｄビデオデータファイルフォーマットに従ってフォーマットされた２Ｄビデオデータを表す。例示的な２Ｄビデオデータファイルフォーマットは、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）４、パート１４によって定義されたＭＰ４ファイルフォーマットを含み得る。ＭＰ４ファイルフォーマットは、一般にデジタルオーディオとデジタルビデオストリームとを記憶するために使用されるコンテナファイルフォーマットである。他のコンテナファイルフォーマットは、３ＧＰと呼ばれるＭＰ４ファイルフォーマットの簡略版、ＡＳＦ（Ａｄｖａｎｃｅｄ  Ｓｙｓｔｅｍｓ  Ｆｏｒｍａｔ）、ＡＶＩ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｉｎｔｅｒｌｅａｖｅ）ファイルフォーマット、ＤＭＦ（ＤｉｖＸ  Ｍｅｄｉａ  Ｆｏｒｍａｔ）、ＥＶＯ（Ｅｎｈａｎｃｅｄ  Ｖｉｄｅｏ  Ｏｂｊｅｃｔ）ファイルフォーマット、およびフラッシュビデオファイルフォーマットを備える。ファイルフォーマットは、この態様または他の態様では、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）およびＳＣＴＰ（Ｓｔｒｅａｍ  Ｃｏｎｔｒｏｌ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｐｒｏｔｏｃｏｌ）など、特定のトランスポートおよび／またはアプリケーションレイヤプロトコルに関して使用されるファイルフォーマットを指すこともある。
【００２５】
３Ｄビデオコンテンツ２２は、特定の３Ｄビデオデータファイルフォーマットに従ってフォーマットされたコード化３Ｄビデオデータを表す。例示的な３Ｄビデオデータフォーマットは、（一般に「２Ｄ＋ｚ」フォーマットと呼ばれる）２Ｄ＋深度、２Ｄ＋深度遮蔽およびグローバル効果またはマルチビュー２Ｄストリームファイルフォーマットを備える。この点において、ビデオデータファイルフォーマットは、概して、符号化されたか否かにかかわらず、ビデオデータをカプセル化する標準的な方法を指す。したがって、ビデオデータファイルフォーマットは、ビデオデータの記憶および／または送信を可能にするためにビデオデータまたはビデオデータの部分を一般的にカプセル化する方法を定義し得る。ビデオデータは、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）規格（以下、「Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ」規格）において定義されたコーデックを含む、ＭＰＥＧ−２または他のコーデックなどの様々なコーデックを使用して符号化され得る。ビデオデータはまた、いくつかの事例において、ＩＴＵ−Ｔ  ＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）によって開発中である、Ｈ．２６５または別名で次世代ビデオコーディング（ＮＧＶＣ）と呼ばれるコーデックを使用して符号化され得る。本開示では、ビデオコンテンツという用語は、特定のビデオデータファイルフォーマットに従ってカプセル化されたコード化ビデオデータを指すために使用される。
【００２６】
説明しやすいように、図１には示されていないが、ソースデバイス１４は、２Ｄビデオコンテンツ２０および３Ｄビデオコンテンツ２２をキャプチャするための、ビデオキャプチャモジュールなどの追加のモジュールを含み得る。代替的に、ソースデバイス１４は、コンテンツ２０、２２を記憶するためのアーカイブまたはリポジトリとして働き得る。いくつかの事例において、ソースデバイス１４は、ソースデバイス１４内に含まれるインターフェース２４を介してコンテンツ２０、２２をワイヤレス受信し得る。すなわち、ソースデバイス１４は、外部デバイスとワイヤレス通信するためのインターフェース２４を含む。いくつかの事例において、これらの外部デバイスは、コンテンツ２０、２２を記憶モジュール１８に記憶するためにインターフェース２４を介してソースデバイス１４とインターフェースし得る。
【００２７】
上記のように説明のためにワイヤレステレビジョンディスプレイを表し得るディスプレイデバイス１６は、インターフェース２６と、ファイルフォーマットモジュール２７と、ビデオ符号化器２８と、ディスプレイ３０とを含む。インターフェース２４と同様のインターフェース２６は、ディスプレイデバイス１６の外部のデバイスがそれによってディスプレイデバイス１６と通信し得るインターフェースを表す。この例では、インターフェース２４および２６の各々がワイヤレスインターフェースを表すと仮定する。ファイルフォーマットモジュール２７は、上記で説明したファイルフォーマットのうちの１つまたは複数を実装するハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表す。一般に、ファイルフォーマットモジュール２７は、デカプセル化を実行して、コード化ビデオデータをカプセル化するファイルフォーマットヘッダを除去し、それによりコード化ビデオデータを出力する。
【００２８】
ビデオ復号器２８は、コード化ビデオデータを復号化するための１つまたは複数のビデオコーデックを実装するハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表し得る。特に、「コーデック」という用語は、ビデオ復号器２８が所与のコーデックの符号化（すなわち、圧縮）態様と復号化（すなわち、復元）態様との両方を実装するかどうかにかかわらず使用される。したがって、ビデオ復号器２８は、コーデックの復元態様のみを実装することによってそのコーデックを実装するものと解釈され得る。この点において、ビデオ復号器２８がコーデックの圧縮態様と復元態様との両方、またはコーデックの復元態様のみを実装するか否かにかかわらず、ビデオ復号器２８はコーデックを実装し得る。
【００２９】
図１の例には示されていないが、ディスプレイデバイス１６は、１つまたは複数のオーディオコーデックを実装するハードウェアまたはハードウェアとソフトウェアとの組合せを表す他のモジュールをも含み得る。いくつかの事例において、ビデオモジュールとオーディオモジュールとは同じモジュールにおいて組み合わせられ得、そのモジュールは一般にオーディオ／ビデオ（Ａ／Ｖ）復号器と呼ばれる。ディスプレイ３０は、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、および陰極線管（ＣＲＴ）ディスプレイを含む、任意のタイプのディスプレイを備え得る。
【００３０】
図１の例では、モバイルデバイス１２は、それぞれのソースデバイス１４およびディスプレイデバイス１６のインターフェース２４およびインターフェース２６と実質的に同様である１つまたは複数のインターフェース３２をも含む。モバイルデバイス１２は、本開示で説明する技法の１つまたは複数の態様を実装する制御ユニット３４をも含む。制御ユニット３４は１つまたは複数のプロセッサ（図１に図示せず）を備え得、そのプロセッサは、ストレージデバイス（たとえば、ディスクドライブ、またはオプティカルドライブ）、あるいはメモリ（たとえば、フラッシュメモリ、ランダムアクセスメモリまたはＲＡＭ）、あるいは本開示で説明する技法をプログラマブルプロセッサに実行させるための（たとえば、コンピュータプログラムまたは他の実行ファイルの形態の）命令を記憶する他のタイプの揮発性または不揮発性メモリなどの、コンピュータ可読記憶媒体（同じく、図１に図示せず）に記憶された、ソフトウェアまたはコンピュータプログラムを定義するために使用されるソフトウェア命令などの、ソフトウェア命令を実行する。代替的に、制御ユニット３４は、１つまたは複数の集積回路、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数の特定用途向け専用プロセッサ（ＡＳＳＰ）、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、専用ハードウェア、または本開示で説明する技法を実行するための専用ハードウェアの上記の例のいずれかの組合せを備え得る。
【００３１】
制御ユニット３４は、変換モジュール３６と、パラメータ発見モジュール３８と、人間視覚系（ＨＶＳ）フィードバックモジュール４０（「ＨＶＳフィードバックモジュール４０」）とを含む。変換モジュール３６は、本開示で説明する技法の様々な態様に従って２Ｄビデオコンテンツ２０および３Ｄビデオコンテンツ２２のいずれか一方または両方を、ディスプレイデバイス１６にとって許容できるビデオデータまたはディスプレイデバイス１６に適合するビデオデータに変換する、１つまたは複数の構成可能ハードウェアモジュール、または１つまたは複数のハードウェア構成可能モジュールとソフトウェア構成可能モジュールとの組合せを表す。得られた変換されたビデオデータが、ビデオ復号器２８によってサポートされるビデオコーデックに従って符号化され、ファイルフォーマットモジュール２７によってサポートされるファイルフォーマットに従ってフォーマットされたとき、ビデオデータはディスプレイデバイス１６に「適合」し得る。
【００３２】
パラメータ発見モジュール３８は、本開示で説明する技法の１つまたは複数の態様に従って、ディスプレイデバイス１６によってサポートされる１つまたは複数のファイルフォーマットを含む、ディスプレイデバイス１６の１つまたは複数のパラメータ４２を発見するためにディスプレイデバイス１６とインターフェースする、１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。これらのフォーマットは、一般に、ディスプレイデバイス１６のファイルフォーマットモジュール２７によってサポートされる１つまたは複数のファイルフォーマットを備える。しばしば、フォーマット４２は、ビデオ復号器２８によってサポートされる１つまたは複数のタイプのコーデックを暗示し、したがってパラメータ発見モジュール３８は、ビデオ復号器２８によってサポートされる特定のコーデックをも発見し得る。
【００３３】
ファイルフォーマットに加えて、パラメータ４２は、サポートされる解像度、現在の解像度、サポートされるコントラスト、現在のコントラスト、ディスプレイまたはスクリーンサイズ、ディスプレイデバイス１６によってサポートされるオーディオコーデックとビデオコーデック、インターフェース２６のリスト、現在のシャープネス、サポートされるシャープネス、サポートされる色温度、現在の色温度、サポートされる明るさ、現在の明るさ、サポートされるディスプレイフォーマット、現在のディスプレイフォーマット、サポートされる色設定、現在の色設定、サポートされる入力フォーマット、ディスプレイタイプ、ディスプレイ製造業者、サポートされる深度範囲、現在の深度範囲、収束平面（convergence plane）のサポートされる位置、収束平面の現在の位置、背景オブジェクトの滑らかさのサポートされる程度、背景オブジェクトの現在の滑らかさ、サポートされる目距離（eye-distance）構成、現在の目距離構成、サポートされる利き目構成、現在の利き目構成、サポートされるビューの数、現在のビューの数、サポートされる閲覧距離、現在の閲覧距離、サポートされる閲覧角、現在の閲覧角、スクリーン内の３Ｄビデオコンテンツのサポートされるディスプレイ位置、およびスクリーン内の３Ｄビデオコンテンツの現在の位置、ならびにディスプレイデバイス１６およびディスプレイデバイス１６の能力に関係する他のパラメータを含み得る。
【００３４】
いずれの場合も、パラメータ発見モジュール３８は、サポートされるコーデックなど、ファイルフォーマットとコーディングフォーマットまたは技法との両方を含み得るフォーマットを発見する。たとえば、２Ｄ＋深度と呼ばれる３Ｄファイルフォーマットを発見することは、ビデオ復号器２８が、たとえば、ＭＰＥＧ−２規格に従って、コード化された２Ｄ＋深度ファイルフォーマットのコード化された２Ｄビデオデータ部分を復号化しながら、ディスプレイデバイス３０を介した再生のために３Ｄビデオデータをレンダリングするために２Ｄ＋深度ファイルフォーマットの深度部分をも復号化することが可能な、３Ｄビデオコーデックをサポートすることを暗示する。
【００３５】
ＨＶＳフィードバックモジュール４０は、ディスプレイデバイス１６による３Ｄビデオデータの表示に関する定性的および定量的メトリックを分析する１つまたは複数のハードウェアモジュールまたはハードウェアモジュールとソフトウェアモジュールとの組合せを表す。ＨＶＳフィードバックモジュール４０は、本開示で説明する技法の様々な態様に従って、定性的および定量的メトリックを分析し、次いで、入力ビデオデータ、たとえば、２Ｄビデオコンテンツ２０または３Ｄビデオコンテンツ２２を、パラメータ発見モジュール３８によって発見された入力フォーマットに準拠するビデオデータに変換することを改善するように変換モジュール３６を再構成し得る。ＨＶＳフィードバックモジュール４０は、ディスプレイデバイス１６のビデオ復号器２８によって出力されるビデオデータ４４を取り出すためにディスプレイデバイス１６とインターフェースし得、次いで、これらの定性的および定量的メトリックを判断するためにビデオデータ４４を分析する。変換モジュール３６のこの再構成を通して、ＨＶＳフィードバックモジュール４０は、より良い品質の３Ｄビデオデータ再生を容易にし得る。
【００３６】
本開示で説明する技法の一態様によれば、モバイルデバイス１２は、自動的に３Ｄディスプレイデバイスの３Ｄ入力ファイルフォーマットを判断し、３Ｄ入力ファイルフォーマットに準拠するように２Ｄビデオコンテンツ２０を３Ｄビデオデータに変換する。説明のために、ディスプレイデバイス１６が、２Ｄビデオコンテンツ２０と３Ｄビデオコンテンツ２２の両方を提示することが可能なハイブリッド２Ｄ／３Ｄワイヤレステレビジョンを備えると仮定する。モバイルデバイス１２のパラメータ発見モジュール３８は、３Ｄビデオデータを受信するためにファイルフォーマットモジュール２７によってサポートされる少なくとも１つの入力ファイルフォーマットを判断するためにファイルフォーマットモジュール２７に問い合わせるために、ワイヤレス通信チャネル１５を介してディスプレイデバイス１６とインターフェースし得る。上記で説明したように、ファイルフォーマットは、２Ｄ＋深度またはマルチビュー２Ｄストリームフォーマットなど、１つまたは複数の３Ｄファイルフォーマット、ならびに判断されたファイルフォーマットによって暗示され得る、３Ｄビデオデータを復号化するためにビデオ復号器２８によって実装される１つまたは複数のコーデックを備え得る。
【００３７】
特に、ディスプレイデバイス１６は第１のファイルフォーマットを実装し得、図１には示されていない他のディスプレイデバイスは、第１のファイルフォーマットとは異なる複数の異なるファイルフォーマットを実装し得る。３Ｄビデオファイルフォーマットが規格化されておらず、または業界内で全体的には採用されていないので、複数の異なるファイルフォーマットは、２Ｄビデオデータの、ただし、より詳細には３Ｄビデオデータの、クロスプラットフォーム再生を妨げ得る。ディスプレイファイルフォーマットを発見し、次いで、任意の入力またはソースビデオデータを発見されたファイルフォーマットに変換することにより、第２の異なるファイルフォーマットを受け付けるディスプレイデバイス上で第１のファイルフォーマットでフォーマットされた３Ｄビデオデータを復号化し、提示しようと試みるときに起こり得るクロスプラットフォーム再生問題を克服し得る。
【００３８】
初めに、モバイルデバイス１２のユーザまたは他のオペレータは、ディスプレイデバイス１６を選択するかまたは場合によっては発見するために、ユーザインターフェースモジュール（説明しやすいように図１には図示せず）によって提示されるユーザインターフェースとインターフェースし得る。ユーザインターフェースは、モバイルデバイス１２の所与の範囲内に位置するデバイスのリスト、またはモバイルデバイス１２が同様に接続されたネットワーク（８０２．１１ｘワイヤレスネットワーク、超広帯域（ＵＷＢ）ネットワーク、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）ネットワークなど）に接続されたデバイスのリストを提示し得る。オペレータは、ディスプレイデバイス１６などのデバイスを選択するためにユーザインターフェースとインターフェースし得、その後、ユーザインターフェースモジュールは、選択されたディスプレイデバイス１６をパラメータ発見モジュール３８に通知する。
【００３９】
このようにして手動選択が行われ得るが、パラメータ発見モジュール３８は、リスト上の各デバイスについてファイル形態などのパラメータを発見するためにリスト中の各デバイスと自動的にインターフェースし得る。次いで、ユーザインターフェースは、リストを提示し、デバイスのうちの１つを選択するオペレータまたは他のユーザからの入力を受信し得る。言い換えれば、パラメータ発見モジュール３８は、モバイルデバイス１２がインターフェースし得るデバイスのリスト上の所与のデバイスをユーザが選択することに応答して、またはそのような選択を待つことなしに、フォーマットを含むパラメータを自動的に発見し得る。その発見は、さらなるユーザ入力なしにその発見が行われるという意味で「自動」であり得る。パラメータ発見モジュール３８は、ユーザ入力を必要とすることなしに、ディスプレイデバイス１６とインターフェースし、たとえば、ファイルフォーマットモジュール２７に問い合わせて、パラメータ４２のうちの１つとして、ディスプレイデバイス１６によってサポートされるフォーマットを受信し得る。
【００４０】
パラメータ発見モジュール３８は、通信チャネル１５を介してディスプレイデバイス１６のインターフェース２６に結合されたインターフェース３２のうちの適切な１つを介してディスプレイデバイス１６とインターフェースする。パラメータ発見モジュール３８は、ファイルフォーマットモジュール２７と通信するための問合せプロトコルを実装し得る。たとえば、パラメータ発見モジュール３８は、ディスプレイデバイス１６の能力および特性として特徴づけられ得る様々なパラメータを判断するための通信チャネルを与える、高解像度マルチメディアインターフェース（ＨＤＭＩ）プロトコルまたはワイヤレスＨＤＭＩ（ＷＨＤＭＩ）プロトコルなどの、ディスプレイインターフェースプロトコルまたは規格の様々な態様を実装し得る。ＷＨＤＭＩを定義する特定の規格はまだ定められていないが、ワイヤードバージョンのＨＤＭＩに目を向けると、その全体が参照により本明細書に組み込まれる、２００６年１１月１０日付けの「Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｖｅｒｓｉｏｎ  １．３Ａ」と題する仕様に記載されているように、サポートされるファイルフォーマットを含む、ディスプレイデバイス１６のパラメータ４２を問い合わせるかまたは場合によっては判断するためのディスプレイデータチャネル（ＤＤＣ）が存在する。
【００４１】
本開示ではＨＤＭＩおよびＷＨＤＭＩに関して説明するが、本技法は、非プロプライエタリ規格などのオープン規格に従って、ならびにプロプライエタリまたはオープンのいずれかである、特にサポートされていないかまたは今のところどの規格にも組み込まれていない、他の仕様に従って実装され得る。たとえば、パラメータ発見モジュール３８は、Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎによってサポートされるオープン規格において定義されたインターフェースである、モバイルディスプレイデジタルインターフェース（ＭＤＤＩ）を実装し得る。代替的に、またはＭＤＤＩに関連して、パラメータ発見モジュール３８は、ワイヤレスＭＤＤＩ（ＷＭＤＤＩ）と呼ばれる、ＭＤＤＩのワイヤレス拡張を実装し得る。その上、本技法は、モバイルインダストリプロセッサインターフェース（ＭＩＰＩ）に関して実装され得る。したがって、本技法は、この点において、ＨＤＭＩなどのいずれか１つの標準インターフェースに限定されるべきではなく、他のインターフェースに関して実装され得る。
【００４２】
このようにしてフォーマット４２を発見した後に、パラメータ発見モジュール３８は、次いで、変換モジュール３６を構成するために変換モジュール３６とインターフェースし、変換モジュール３６は、上記で説明したように、２Ｄビデオデータと３Ｄビデオデータの両方を、判断された入力フォーマット４２に準拠する３Ｄビデオデータにコンバートする、１つまたは複数のモジュールを表す。パラメータ発見モジュール３８は、２Ｄビデオコンテンツ２０などのビデオコンテンツを、入力フォーマット４２に従ってフォーマットされた３Ｄビデオコンテンツに変換するように変換モジュール３６を構成するように、構成データを判断し、この構成データを変換モジュール３６にロードし得る。
【００４３】
上記で説明したが、説明しやすくするために図１には示されていないユーザインターフェースは、デバイスの別のリストをも提示し得、このリストは、このリストを（「宛先リスト」として特徴づけられ得る）ディスプレイリストと区別するために、ビデオコンテンツのためのソースを含む「ソースリスト」と呼ばれることがある。モバイルデバイス１２は、宛先リストのデバイスを発見するのと同様に、インターフェース３２を介してこれらのデバイスを発見し得る。モバイルデバイス１２は、一例として、ユーザインターフェースが、ソースデバイス１４を含んでいたソースリストを提示した場合、インターフェース３２と通信チャネル１３とを介してソースデバイス１４を発見する。オペレータがソースデバイス１４を選択すると仮定すると、制御ユニット３４は、ソースデバイス１４の記憶モジュール１８に記憶されたコンテンツ２０および２２を判断するためにソースデバイス１４とインターフェースするようにインターフェース３２に命令し得る。次いで、制御ユニット３４のユーザインターフェースは、判断された２Ｄビデオコンテンツ２０と３Ｄビデオコンテンツ２２とを表すファイル名、画像または他のデータを提示し得る。オペレータは、選択された宛先デバイス、たとえば、２Ｄビデオコンテンツ２０または３Ｄビデオコンテンツ２２のいずれかをディスプレイデバイス１６上で表示するために選択し得る。
【００４４】
オペレータが２Ｄビデオコンテンツ２０を選択されたディスプレイデバイス１６上で３Ｄで表示するために選択すると仮定すると、変換モジュール３６は、上記で説明した２Ｄファイルフォーマットのうちの１つでフォーマットされ、第１のコーデックに従ってコード化され得る、２Ｄビデオコンテンツ２０を受信し始める。構成された変換モジュール３６は、場合によってはリアルタイムまたはほぼリアルタイムで、ファイルフォーマットされコード化されたビデオデータを備える２Ｄビデオコンテンツ２０を、コード化され、自動的に判断された入力フォーマット４２に準拠するファイルフォーマットでフォーマットされた、３Ｄビデオデータに動的にコンバートし得る。次いで、変換モジュール３６は、コード化され、自動的に判断された入力フォーマット４２に準拠するファイルフォーマットでフォーマットされた、動的に生成された（３Ｄビデオコンテンツ４８として図１に示す）３Ｄビデオデータを、通信チャネル１５とインターフェース３２、２６とを介してディスプレイデバイス１６に転送する。
【００４５】
ディスプレイデバイス１６のファイルフォーマットモジュール２７は、ビデオ復号器２８によってサポートされるコーデックに従ってコード化され、次いで、ファイルフォーマットモジュール２７によってサポートされる３Ｄファイルフォーマットに従ってフォーマットされた、３Ｄビデオデータを備える３Ｄビデオコンテンツ４８を受信する。ファイルフォーマットモジュール２７は、準拠するファイルフォーマッティングにより、３Ｄビデオコンテンツ４８をデカプセル化して、コード化された３Ｄビデオデータ５０を生成する。次いで、ビデオ復号器２８は、適切なコーデックを使用して、コード化された３Ｄビデオデータ５０を復号化して、３Ｄビデオデータ４４を生成し、ディスプレイ３０は、閲覧者、たとえば、モバイルデバイス１２のオペレータによる消費のために３Ｄビデオデータ４４を提示する。
【００４６】
このようにして、本技法のこの態様は、ディスプレイデバイス１６によってサポートされるフォーマット４２に３Ｄビデオデータが準拠するように、２Ｄビデオコンテンツ２０から３Ｄビデオデータを生成するように変換モジュール３６を動的に構成することによって、クロスプラットフォーム３Ｄビデオ再生を可能にする。しばしば、そのような２Ｄビデオコンテンツ２０は２Ｄプラットフォームに限定され得、ハイブリッド２Ｄ／３Ｄディスプレイデバイス１６は、ハイブリッド２Ｄ／３Ｄプラットフォームの２Ｄ部分を利用して２Ｄビデオコンテンツ２０を提示することができると仮定され得るが、閲覧者は、本開示で説明する技法に従って実行されるモバイルデバイス１２の介在または中間変換能力がなければ、３Ｄ閲覧エクスペリエンスを与えられないであろう。この点において、本開示の技法は、３Ｄビデオ再生プラットフォーム上での２Ｄビデオコンテンツ２０の再生を可能にすることによってモバイルデバイス１２がクロスプラットフォームビデオ再生を容易にすることを可能にする。
【００４７】
変換モジュール３６は、２Ｄビデオコンテンツ２０を変換して、ディスプレイデバイス１６によってサポートされるフォーマットで（３Ｄビデオコンテンツ４８として図１に示す）３Ｄビデオデータを生成し、変換された３Ｄビデオコンテンツ４８をディスプレイデバイス１６に転送している間、ＨＶＳフィードバックモジュール４０は、人間視覚系に対する生成された３Ｄビデオコンテンツ４８の３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断し得る。より詳細には、いくつかの例では、ＨＶＳフィードバックモジュール４０は、ディスプレイデバイス１６とインターフェースして３Ｄビデオデータ４４を判断し、ＨＶＳモデルを使用して３Ｄビデオデータ４４を分析して、１つまたは複数のメトリックを判断する。
【００４８】
１つまたは複数のメトリックは、いくつかの事例では深度メトリックが時間の関数として表され得る、３Ｄビデオデータ４４によって示される１つまたは複数のオブジェクトの各々についてのサイズおよび／または深度メトリック、３Ｄビデオデータ４４によって示される１つまたは複数のシャドーの各々についてのシャドーメトリック、背景コントラストメトリック、シャープネスメトリック、空間周波数メトリック、ならびに多種多様な他のメトリックを備え得、これらの各々については以下でより詳細に説明する。さらに、ＨＶＳフィードバックモジュール４０は、サポートされる解像度、現在の解像度、サポートされるコントラスト、現在のコントラスト、ディスプレイまたはスクリーンサイズ、ファイルフォーマット、あるいはディスプレイデバイス１６およびディスプレイデバイス１６の能力に関係する他のパラメータなど、パラメータ発見モジュール３８によって判断された１つまたは複数のパラメータを受信するために、パラメータ発見モジュール３８とインターフェースし得る。ＨＶＳフィードバックモジュール４０は、少なくとも部分的にこれらのパラメータ４２に変換モジュール３８の再構成の基礎をおき得る。
【００４９】
ＨＶＳフィードバックモジュール４０はまた、所望のシャープネス、所望のコントラスト、所望のディスプレイフォーマット、所望の色温度、所望の色設定、所望の明るさ、所望の最大深度範囲、収束平面の所望の位置、背景オブジェクトの滑らかさの所望の程度、所望の目距離構成、所望の利き目構成、所望のビューの数、所望の閲覧距離、所望の閲覧角、スクリーン内の３Ｄビデオコンテンツの所望のディスプレイ位置および解像度、あるいはディスプレイデバイス１６などのディスプレイデバイスによる２Ｄまたは３Ｄ視覚表示に関係する他の選択など、１つまたは複数のユーザ選択を定義するユーザ選択データを記憶し得る。ＨＶＳフィードバックモジュール４０はまた、同じく、これらのユーザ選択に少なくとも部分的に基づいて変換モジュール３８を再構成し得る。すなわち、ＨＶＳフィードバックモジュール４０は、これらのユーザ選択に少なくとも部分的に基づいて変換モジュール３８を再構成するために使用される構成データを生成するようにユーザ選択データに従って構成されたＨＶＳモデルを備え得る。
【００５０】
このようにして、ＨＶＳフィードバックモジュール４０は、変換モジュール３６が、３Ｄビデオコンテンツ４８の生成を改良するために３Ｄビデオデータ４４の分析を通して判断されたメトリックに少なくとも基づいて変換モジュール３６を再構成するために、２Ｄビデオコンテンツ２０（または、代替事例においては、３Ｄビデオコンテンツ２２）を現在変換している間、変換モジュール３６とインターフェースする。この点において、ＨＶＳフィードバックモジュール４０は、３Ｄビデオコンテンツ４８の知覚される視覚的品質を自動的に改良し、おそらく改善するように、変換モジュール３６を動的に再構成し得る。そのような改良が、３Ｄビデオデータ４４から判断されたメトリックに加えてユーザ選択データに基づく場合、ＨＶＳフィードバックモジュール４０は、特定のユーザに対してまたはユーザごとに、３Ｄビデオコンテンツ４８の知覚される品質を改良するように変換モジュール３６を自動的に再構成し得る。したがって、本技法は、クロスプラットフォームビデオ再生を可能にするだけでなく、潜在的にユーザごとに閲覧エクスペリエンスを改善するためにクロスプラットフォームビデオ再生に必要な任意の変換の動的改良を容易にすることもある。
【００５１】
いくつかの事例において、モバイルデバイス１２は、ワイヤレス通信媒体を介してディスプレイデバイス１６とインターフェースする。ディスプレイデバイス１６がハイブリッド２Ｄ／３Ｄワイヤレスディスプレイデバイスを表すという上記の仮定があるとすれば、モバイルデバイス１２はディスプレイデバイス１６とワイヤレスにインターフェースする。ディスプレイデバイス１６とワイヤレスにインターフェースするとき、パラメータ発見モジュール３８は、ディスプレイデバイス１６の１つまたは複数のディスプレイパラメータ４２を判断するワイヤレスディスプレイ（ＷＤ）ホストとして特徴づけられ得る。次いで、パラメータ発見モジュール３８は、変換モジュール３６がディスプレイパラメータに基づいて３Ｄビデオコンテンツ４８を生成するようにビデオデータを準備するような方法で、変換モジュール３６を構成する。
【００５２】
この準備は、フォーマッティング、またはより詳細には、トランスポートプロトコルに従って３Ｄビデオデータをカプセル化することに関与し得る。トランスポートプロトコルは、ビデオデータセグメントと、オーディオデータセグメントと、深度データセグメントとの各々のカプセル化を複数のパケットのうちの異なる１つにおいて定義する。いくつかの事例において、ビデオ、オーディオおよび深度データは、単一のパケット内に連続的に記憶され得る。トランスポートプロトコルモジュールは、複数のパケットのうちの１つのヘッダ中の随意のデータフィールド内に３Ｄビデオコンテンツの再生を向上させるためのメタデータを追加する。このメタデータは、特定の能力を有するデバイス上での再生を可能にするヒントまたは他の指示を与え得る。メタデータはまた、特定の能力またはパラメータをもつ異なる２Ｄまたは３Ｄディスプレイデバイス上での再生を可能にするために３Ｄビデオデータを生成するかまたは場合によっては変換するための情報または仕様を定義し得る。
【００５３】
この準備を実行するトランスポートプロトコルユニットは、ハードウェアまたはハードウェアとソフトウェアとの組合せを備えるリアルタイムトランスポートプロトコル（ＲＴＰ）ユニットを備え得、ＲＴＰユニットはアプリケーションレイヤ（および「レイヤ７」または「Ｌ７」としても知られる）プロトコルユニットである。「レイヤ」という用語は、開放型システム間相互接続参照モデル（「ＯＳＩモデル」）内のレイヤを指す。一般に、トランスポートプロトコルは、ＯＳＩモデルの（「レイヤ４」または「Ｌ４」とも呼ばれる）トランスポートレイヤ内に入ると見なされる。ＲＴＰは、アプリケーションレイヤ機能を使用して拡張トランスポートプロトコルを与えるために、ユニバーサルデータグラムプロトコル（ＵＤＰ）と呼ばれるトランスポートレイヤプロトコルに依拠する。この意味で、ＲＴＰは、ＲＴＰがトランスポートレイヤではなくアプリケーションレイヤに存在するという事実にもかかわらず、トランスポートプロトコルと見なされ得る。したがって「トランスポートプロトコル」という用語は、トランスポートレイヤプロトコルに限定されるべきではなく、トランスポートレイヤ機能を与える、ＯＳＩモデルにおける任意のレイヤの任意のプロトコルを含み得る。
【００５４】
上記で説明した方法で３Ｄビデオコンテンツ４８を準備した後に、変換モジュール３６は、そのコンテンツをインターフェース３２のうちのワイヤレスインターフェースに転送し、そのインターフェースはパケットをディスプレイデバイス１６に送信する。ディスプレイデバイス１６は、パケットを受信し、パケットをアンフォーマットして、符号化オーディオ、符号化ビデオおよび深度データ、ならびにメタデータをデカプセル化し、メタデータに従って符号化オーディオおよび符号化ビデオデータを復号化して、オーディオおよび拡張ビデオデータを生成し、閲覧者による消費のためにオーディオ再生モジュール（図１に図示せず）およびディスプレイ３０を介してオーディオおよび拡張ビデオデータを提示する。メタデータが、復号化と、メタデータの恩恵を用いて復号化された得られたビデオデータの再生とを改善し得るという点で、ビデオデータは「拡張」される。
【００５５】
この点において、本技法の様々な態様は、まとまりのあるクロスプラットフォームビデオ再生システムを容易にする。一態様では、上記で説明した方法でプラットフォームにわたる再生を改善するように変換モジュール３６を構成するために、ファイルフォーマットが発見され、使用される。別の態様では、本技法は、変換中に、３Ｄビデオ再生の品質を改良するように、ＨＶＳモデルを使用して判断される動的フィードバックを通して再生の品質を推進する。さらに別の態様では、３Ｄディスプレイデバイスによる再生のために３Ｄビデオデータの配信を準備するために、パラメータが自動的に判断され、使用される。この準備は、３Ｄビデオコンテンツをディスプレイデバイスにワイヤレス送信するために使用されるパケットにメタデータを埋め込むことに関与し得、このメタデータは、３Ｄビデオコンテンツの復号化とさらなる変換とを可能にするパラメータを定義し得る。いくつかの態様では、このメタデータは、２Ｄ専用ディスプレイデバイスなどの、３Ｄビデオ再生をサポートしないディスプレイにこのメタデータが見えないように埋め込まれ得る。
【００５６】
別々のデバイスとして示されているが、ソースデバイス１２およびモバイルデバイス１６は、ソースデバイス１２の機能とモバイルデバイス１６の機能とを取り入れる単一のデバイスを備え得る。いくつかの事例において、モバイルデバイス１２はソースデバイス１４の機能を取り入れ得る。この点において、本技法は、図１に示す例に限定されるべきではない。
【００５７】
その上、モバイルデバイス１２に関して上記で説明したが、本技法は、本開示で説明する技法に一致するビデオ変換が可能な任意のデバイスによって実装され得る。そのようなデバイスは、本明細書では概して「ビデオ処理デバイス」と呼ばれることがある。この場合も、本技法は、この点において、図１に示す例に限定されるべきではない。
【００５８】
図２は、図１のモバイルデバイス１２の一例をより詳細に示すブロック図である。図２の例では、モバイルデバイス１２は、ワイヤレスインターフェース３２Ａおよびワイヤードインターフェース３２Ｂなど、複数のインターフェース３２を含む。ワイヤレスインターフェース３２Ａは、（ＩＥＥＥ８０２．１１ｘ規格群によって定義されたインターフェースなどの）ワイヤレスインターネットインターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）ワイヤレスインターフェース、ワイヤレスＨＤＭＩインターフェース、赤外線ワイヤレスインターフェース、またはワイヤレス通信がそれによって行われ得る他のインターフェースのうちの１つまたは複数を備え得る。ワイヤードインターフェース３２Ｂは、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、マイクロＵＳＢインターフェース、ＨＤＭＩインターフェース、コンポジットケーブルインターフェース、同軸ケーブルインターフェース、ビデオグラフィックスアレイインターフェース、またはワイヤード通信がそれによって行われ得る他のインターフェースのうちの１つまたは複数を含み得る。
【００５９】
モバイルデバイス１２は、ビデオキャプチャデバイス５０と、ローカル記憶モジュール５２と、内部ディスプレイ５４とをも含む。ビデオキャプチャデバイス５０は、３Ｄビデオデータを記録するための立体視３Ｄビデオカメラ、または２Ｄビデオデータを記録するための２Ｄビデオカメラを実装する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。ローカル記憶モジュール５２は、２Ｄおよび３Ｄビデオデータ、またはコード化されフォーマットされている場合はコンテンツを含む、データをローカルに記憶するためのハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表す。ローカル記憶モジュール５２は、制御ユニット３４に関して上記に記載したもののいずれかなど、静的または動的メモリおよび／あるいはストレージデバイスを備え得る。内部ディスプレイ５４は、内部ディスプレイ５４の閲覧者による消費のためにビデオデータと画像データとを提示するハードウェアまたはハードウェアとソフトウェアとの組合せのモジュールを表す。内部ディスプレイ５４は、ディスプレイデバイス１６のディスプレイ３０に関して上記で言及したディスプレイのいずれかを備え得る。
【００６０】
ビデオキャプチャデバイス５０と、ローカル記憶モジュール５２と、内部ディスプレイ５４との各々は、図２でさらに詳細に示した制御ユニット３４に結合する。図２の例では、制御ユニット３４は、変換モジュール３６と、パラメータ発見モジュール３８と、ＨＶＳフィードバックモジュール４０とを備え、これは図１に関して示したのと同じである。ただし、図２の例では、これらのモジュール３６〜４０を、いくつかのサブモジュールおよびデータを含むようにさらに詳細に示した。たとえば、変換モジュール３６は、前処理モジュール５６と、２Ｄ−３Ｄ処理モジュール５８と、後処理モジュール６０と、レンダリングモジュール６２と、ディスプレイフォーマットモジュール６４とを含む。
【００６１】
これらのモジュールの各々については図３に関してより詳細に説明するが、手短に言えば、前処理モジュール５６は、あるプラットフォームから別のプラットフォームへのビデオデータのコンバージョンを実行するための情報を判断するための前処理を実行する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。２Ｄ−３Ｄ処理モジュール５８は、「前処理情報」と呼ばれることがある、前処理モジュール５６によって判断された情報に基づいて、その名前が示唆するように、２Ｄビデオデータの３Ｄビデオデータへのコンバージョンを実行するための１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。後処理モジュール６０は、３Ｄビデオ再生の品質を改良するために深度マップなどの生成された３Ｄビデオデータを変更するかまたは場合によっては調整する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。レンダリングモジュール６２は、３Ｄシーンをモデル化し、追加のビューを生成し、場合によっては３Ｄビデオ再生をさらに改良する、１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。ディスプレイフォーマットモジュール６４は、所与のファイルフォーマットに従って、生成され、その後改良された３Ｄビデオデータをフォーマットする、１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
【００６２】
別の例として、ＨＶＳフィードバックモジュール４０は、定性的評価モジュール６６と定量的評価モジュール６８とを含み得る。定性的評価モジュール６６は、人間視覚系に対する３Ｄビデオデータ４４の３Ｄ可視化の品質の知覚される品質を部分的に定義するメトリック７０のうちの１つまたは複数を判断するために、外部ディスプレイデバイス１６のビデオ復号器２８など、モバイルデバイス１２の外部のディスプレイデバイスによって復号化された３Ｄビデオデータ４４の定性分析を実行する、１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。定量的評価モジュール６８は、後処理モジュール６０、レンダリングモジュール６２およびディスプレイフォーマットモジュール６４など、変換モジュール３６の様々なサブモジュールによって生成された３Ｄビデオデータの定量分析を実行する。この分析により、メトリック７０のうちの追加のメトリックが判断され得る。その場合、これらのメトリック７０は、変換モジュール３６によって生成された３Ｄビデオコンテンツ４８を改良するために、変換モジュール３６を形成するモジュール５６〜６４のうちの１つまたは複数の以後の修正または再構成のための基礎を形成し得る。この改良は、定性的メトリック７０と定量的メトリック７０の両方に関して３Ｄビデオデータ４４の再生の改善につながり得る。
【００６３】
制御ユニット３４は、図１の例に関して前に示されていない２つの追加のモジュール、オフライン処理モジュール７２とユーザインターフェースモジュール７４とをも含む。オフライン処理モジュール７２は、概して、照度のタイプおよび方向、オブジェクト反射率、テクスチャ効果および大気効果など、プロパティに関して、画像（またはビデオフレーム）の記述子の統計分析およびモデリングを実行する、１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。これらの記述子は、マルチメディアコンテンツ記述子のための規格を定義する、Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅと呼ばれることがある、ＭＰＥＧ−７規格に準拠する記述子を備え得る。いずれの場合も、記述子は、概して、ビデオデータによって示される視覚的特徴の記述を定義するデータを表し得る。しばしば、記述子は、これらの特徴に関連する形状、色、テクスチャまたは動きなど、これらの視覚的特徴の基本特性を記述する。
【００６４】
ユーザインターフェースモジュール７４は、モバイルデバイス１２のオペレータがモバイルデバイス１２からデータを入力および受信するために対話するユーザインターフェースを提示する、１つまたは複数のハードウェアモジュールまたはハードウェアモジュールとソフトウェアモジュールとの組合せを表す。しばしば、ユーザインターフェースモジュール７４は、グラフィカルユーザインターフェース（ＧＵＩ）を内部ディスプレイ５４に提示し、内部ディスプレイ５４はそのＧＵＩをユーザに与え得る。いくつかの事例において、内部ディスプレイ５４は、ＧＵＩによって提示される様々なアイテムの選択を定義するデータを入力するためにユーザがそれによって内部ディスプレイ５４と対話し得る、いわゆる「タッチスクリーン」を備え得る。この意味で、内部ディスプレイ５４は、図２の例において例示的に内部ディスプレイ５４がユーザインターフェースモジュール７４とは別個に示されているのとは異なり、ユーザインターフェースモジュール７４の一部と見なされ得る。
【００６５】
初めに、モバイルデバイス１２のオペレータは、１つまたは複数の宛先ディスプレイを介して表示することをオペレータが望むビデオコンテンツを含む１つまたは複数のソースを選択するために、ユーザインターフェースモジュール７４によって提示されるユーザインターフェースとインターフェースし得る。これらのソースは、ビデオキャプチャデバイス５０およびローカル記憶モジュール５２、ならびにワイヤレス通信チャネル１３を介してインターフェース３２に通信可能に結合された、図１の例に示すソースデバイス１４など、ワイヤレスインターフェース３２Ａおよびワイヤードインターフェース３２Ｂ（「インターフェース３２」）を介してモバイルデバイス１２に通信可能に結合されたソースデバイスを含み得る。宛先ディスプレイは、内部ディスプレイ５４、およびワイヤレス通信チャネル１５を介してインターフェース３２に通信可能に結合された、図１の例に示す宛先ディスプレイデバイス１６など、インターフェース３２に通信可能に結合された１つまたは複数の宛先ディスプレイデバイスを備え得る。
【００６６】
１つまたは複数のソースを選択した後に、オペレータは、選択されたソースによって記憶された特定のコンテンツを選択するために、同じく、ユーザインターフェースモジュール７４によって提示されるこのユーザインターフェースまたは別のユーザインターフェースとインターフェースし得る。たとえば、オペレータは、ビデオコンテンツのソースとしてソースデバイス１２を選択し得る。それに応答して、ユーザインターフェースモジュール７４は、ソースデバイス１４によって記憶モジュール１８内に記憶されたコンテンツ２０および２２を判断するためにソースデバイス１２とインターフェースし得る。次いで、ユーザインターフェースモジュール７４は、現在のユーザインターフェースを更新するかまたは別のユーザインターフェースを提示して、それにより、宛先による再生のために利用可能なコンテンツ２０、２２を表示し得る。オペレータは、２Ｄビデオコンテンツ２０および３Ｄビデオコンテンツ２２のうちの１つまたは複数を選択するために、提示されたユーザインターフェースと対話し得る。説明のために、オペレータが２Ｄビデオコンテンツ２０を選択すると仮定する。
【００６７】
２Ｄビデオコンテンツ２０を選択した後に、オペレータは、１つまたは複数の宛先を選択するために現在のユーザインターフェース、前のユーザインターフェースまたは別のユーザインターフェースとインターフェースし得る。ここでも、説明のために、オペレータがディスプレイデバイス１６を選択するデータを入力するためにこの宛先ユーザインターフェースと対話すると仮定する。ソースデバイス１４によって記憶モジュール１８に記憶された選択された２Ｄビデオコンテンツ２０のための宛先としてディスプレイデバイス１６を選択すると、ユーザインターフェースモジュール７４は、その選択を示すこのデータを受信し、選択された２Ｄビデオコンテンツ２０の受信と、変換モジュール３６による２Ｄビデオコンテンツ２０の変換を通して生成された３Ｄビデオコンテンツ４８の転送とを開始するように適切なインターフェース３２に命令する。ユーザインターフェースモジュール７４はまた、パラメータ発見モジュール３８が、本開示で説明する技法に従ってパラメータ７６を判断するために適切な宛先とインターフェースし得るように、選択された宛先をパラメータ発見モジュール３８に示すためにパラメータ発見モジュール３８とインターフェースし得る。
【００６８】
モバイルデバイス１２のオペレータは、１つまたは複数のユーザ選択７８（「ユーザ選択７８」）を指定するデータを入力するために、同じく、ユーザインターフェースモジュール７４によって提示される、前のユーザインターフェース、現在のユーザインターフェース、または場合によっては異なるユーザインターフェースとインターフェースし得る。ユーザ選択７８は、利き目選択、コントラスト選択、シャープネス選択、色相選択、色温度選択、またはビデオデータの表示に関係する他の選択を含み得る。ユーザ選択７８はまた、サラウンドサウンド選択およびボリューム選択など、オーディオ選択を含み得、本技法はビデオ専用ユーザ選択に限定されるべきではない。ユーザインターフェースモジュール７４は、これらのユーザ選択７８をＨＶＳフィードバックモジュール４０に転送し、ＨＶＳフィードバックモジュール４０は、本開示で説明する技法に従って変換モジュール３６を構成または再構成するときに、これらの選択７８を採用し得る。
【００６９】
いずれの場合も、ソースデバイス１２と、宛先ディスプレイデバイス１６と、潜在的にソースデバイス１２に記憶されたコンテンツ２０および２２のうちの１つまたは複数とを選択した後に、パラメータ発見モジュール３８は、パラメータ７６を判断するために、選択された宛先、たとえば、ディスプレイデバイス１６とインターフェースし得る。パラメータ発見モジュール７６は、たとえば、言及したＨＤＭＩ規格に準拠するワイヤードインターフェース３２を介してディスプレイデバイス１６とインターフェースし得る。ＨＤＭＩ規格の様々な態様を使用して、パラメータ発見モジュール７６は、３Ｄビデオコンテンツを受信するためにファイルフォーマットモジュール２７によってサポートされる入力ファイルフォーマットなどのパラメータ７６を判断し得る。他のパラメータ７６は、サポートされる解像度、現在の解像度、ディスプレイサイズ、サポートされる色温度、現在の色温度など、ディスプレイ３０の様々な能力またはパラメータに関係する上記のパラメータ、あるいはディスプレイ３０と、ビデオ復号器２８によってサポートされるコーデックを含む、ビデオ復号化とに関係する他のパラメータを含む。
【００７０】
以下でより詳細に説明するように、パラメータ発見モジュール３８は、これらのパラメータがそれによってワイヤレスに発見されるセッションをホスティングするワイヤレスディスプレイ（ＷＤ）ホストとしても特徴づけられ得る。しばしば、これらのワイヤレスディスプレイホスト技法を実装するとき、パラメータ発見モジュール３８は、「ワイヤレスＨＤＭＩ」または「ＷＨＤＭＩ」と呼ばれるＨＤＭＩの一形態を実装する。
【００７１】
パラメータ７６を発見した後に、パラメータ発見モジュール３８は、選択された宛先ディスプレイデバイス１６のファイルフォーマットモジュール２７によってサポートされるファイルフォーマットに従って３Ｄビデオデータを適切にフォーマットするようにディスプレイフォーマットモジュール６４を構成するために、変換モジュール３６のディスプレイフォーマットモジュール６４とインターフェースし得る。パラメータ発見モジュール３８は、（入力ファイルフォーマットを含む）パラメータ７６の発見と、ディスプレイフォーマットモジュール６４の構成との両方を自動的に実行し得る。
【００７２】
上記の「自動的に」という用語の使用は、一般に、自動的に行われるものとして示されるアクションを実行するためにオペレータの介在が必要とされないことを示す。ただし、この用語の使用は、言及した自動動作を開始するためにオペレータまたはユーザの入力が必要とされないことがあることを示唆するものではない。例示のために、オペレータがソース、コンテンツおよびデバイスを選択するために様々なユーザインターフェースと対話する、上記の例について考える。ユーザインターフェースとの対話は、パラメータ７６とディスプレイフォーマットモジュール６４とを判断することの自動性質を損なわない。上記の例では、ユーザは、パラメータ発見モジュール３８がこれらのパラメータ７６を判断し、次いでディスプレイフォーマットモジュール６４を構成することを指定する入力またはデータを与える必要がないので、オペレータは、これらの自動動作に気づいていないことがある。この点において、オペレータは、これらの動作が実行されるべきであることをアクティブに示していないので、自動動作はオペレータの観点から透過的に行われるものと解釈され得る。
【００７３】
パラメータ発見モジュール３８は、ディスプレイデバイス１６の判断された入力ファイルフォーマットをパラメータ発見モジュール３８がそれによって指定し得るアプリケーションプログラミングインターフェース（ＡＰＩ）コールを介してディスプレイフォーマットモジュール６４を構成し得る。２Ｄビデオコンテンツ２０を受信するより前に、ＨＶＳフィードバックモジュール４０は、前処理モジュール５６、２Ｄ−３Ｄ処理モジュール５８、後処理モジュール６０、レンダリングモジュール６２、およびディスプレイフォーマットモジュール６４とインターフェースして、ユーザ選択７８に基づいてこれらのモジュール５６〜６４をも構成し得る。たとえば、ユーザ選択７８のうちの１つは、ＨＶＳフィードバックモジュール４０が２Ｄ−３Ｄ処理モジュール５８を構成するときに利用し得る、好適なシャープネスを定義し得る。ＨＶＳフィードバックモジュール４０は、２Ｄ−３Ｄ処理モジュール５８がシャープ画像不連続性における深度値を計算するための精度の指示として好適なシャープネスを利用し得る。別の例では、ユーザ選択７８のうちの１つは、ＨＶＳフィードバックモジュール４０がレンダリングモジュール６２を構成するときに利用し得る、収束平面の好適な位置または好適な深度範囲を定義し得る。ＨＶＳフィードバックモジュール４０は、モジュール６２のレンダリングパラメータを調整するために好適な収束平面位置または深度範囲を利用し得る。
【００７４】
いずれの場合も、パラメータ発見モジュール３８とＨＶＳフィードバックモジュール４０の両方は、変換モジュール３６のモジュール５６〜６４のうちの１つまたは複数を構成し得る。構成されると、変換モジュール３６は、単一ビューまたはマルチビュー２Ｄビデオデータを備え得る２Ｄビデオコンテンツ２０を受信し得る。単一ビュー２Ｄビデオデータは、単一のビデオキャプチャデバイスから撮影された単一のビューを備え得る。マルチビュー２Ｄビデオデータは、複数のビデオキャプチャデバイスから撮影された複数のビューを備え得る。一般に、マルチビュー２Ｄビデオデータは複数のビューのうちのいずれか１つの再生を可能にし、しばしば、閲覧者は、再生中に複数のビューの間で切り替えることができるが、２Ｄディスプレイデバイスは、一般に、互いに同時である複数のビューのうちの２つ以上を提示しない。
【００７５】
前処理モジュール５６は、一般に２Ｄビデオコンテンツ２０を受信する。オフライン処理モジュール７２は、２Ｄビデオコンテンツを受信せず、むしろ、図３に関して以下で説明する方法で前処理モジュール５６をサポートする。手短に言えば、オフライン処理モジュール７２は、一般に、上記のように、前処理モジュール５６によって使用されるモデルを生成するために統計分析およびモデリングを実行するための、様々なアルゴリズムを実装する。
【００７６】
前処理モジュール５６は、２Ｄビデオコンテンツ２０を受信し、２Ｄビデオコンテンツ２０を形成する様々な画像またはフレームに関するグローバル情報を判断する。このグローバル情報は、２Ｄビデオコンテンツ２０の単一の画像またはフレーム、あるいはいくつかの画像またはフレームに関し得る。たとえば、グローバル情報は、大気効果（たとえば、雨、雪、風などの存在を示す情報）を定義し得る。前処理モジュール５６は、２Ｄビデオコンテンツの所与の画像またはフレームについてのローカル情報をも判断し得る。ローカル情報を判断するためのそのようなローカル処理は、エッジの位置および強度、エッジの分類、オブジェクトのセグメンテーション、照度プロパティの検出、ならびに関心領域の検出に関係する情報を判断することに関与し得る。グローバルおよびローカル情報を前処理し、判断した後に、前処理モジュール５６は、２Ｄビデオコンテンツ２０とグローバルおよびローカル情報とを２Ｄ−３Ｄ処理モジュール５８に転送する。
【００７７】
２Ｄ−３Ｄ処理モジュール５８は、深度情報を抽出するために、受信した２Ｄビデオコンテンツ２０を処理する。２Ｄ−３Ｄ処理モジュール５８は、前処理モジュール５６によって判断されたグローバルおよびローカル情報に基づいて深度情報を抽出し得る。たとえば、２Ｄ−３Ｄ処理モジュール５８は、前処理モジュール５６によって判断された情報によって定義されたエッジ情報などの幾何学的線形情報から深度情報を抽出し得る。２Ｄ−３Ｄ処理モジュール５８は、たとえば、幾何学的構造および動き、フォーカス／デフォーカス、シェーディングおよびシャドー、ならびに上記の幾何学的線形情報から、深度情報または値を抽出するために、いくつかの深度抽出アルゴリズムを実装し得る。２Ｄ−３Ｄ処理モジュール５８は、深度マップを生成するために、これらのアルゴリズムのうちの１つまたは複数を介して抽出された深度をマージし得る。深度マップは、２Ｄビデオコンテンツ２０のあらゆる画像またはフレームの各ピクセルに深度値を割り当て、それにより、３Ｄビデオデータを生成し、３Ｄビデオデータを後処理モジュール６０に転送する。
【００７８】
後処理モジュール６０は、２Ｄ−３Ｄ処理モジュール５８によって生成されたこの３Ｄビデオデータを受信し、深度マップを改良するために３Ｄビデオデータを変更する。たとえば、後処理モジュール６０は、ディスプレイデバイス１６を介して表示されるときの、得られた変換された３Ｄビデオコンテンツ４８の可視化の品質を改善するために、深度マップを変更し得る。この修正は、深度マップをグローバルに平滑化すること、または深度マップに対応するフレーム中のいくつかの関心領域についての深度情報を選択的に変更することに関与し得る。このようにして深度マップを改良した後に、後処理モジュール６０は、改良された３Ｄビデオデータをレンダリングモジュール６２に転送する。
【００７９】
レンダリングモジュール６２は、改良された３Ｄビデオデータを受信し、ディスプレイデバイス１６の判断された入力フォーマットがマルチビューストリームフォーマットである場合、またはディスプレイデバイス１６が別様に複数の２Ｄ＋深度（ｚ）ビューをサポートする場合のように、１つまたは複数のビューが必要とされる事例では、３Ｄシーンをモデル化する。このビューレンダリングの後に、レンダリングモジュール６２は、潜在的にマルチビュー３Ｄビデオデータをディスプレイフォーマットモジュール６４に転送し、ディスプレイフォーマットモジュール６４は、続いて、ディスプレイデバイス１６によってサポートされる構成された入力ファイルフォーマットに従ってマルチビュー３Ｄビデオデータをフォーマットして、変換された３Ｄビデオコンテンツ４８を生成する。次いで、ディスプレイフォーマットモジュール６４は、閲覧者への提示のために、変換された３Ｄビデオコンテンツ４８をディスプレイデバイス１６に転送する。
【００８０】
上記で説明した方法で２Ｄビデオコンテンツ２０を変換している間、ＨＶＳフィードバックモジュール４０は、ディスプレイデバイス１６のビデオ復号器２８によって出力される３Ｄビデオデータ４４を取り出すために、ディスプレイデバイス１６とインターフェースする。次いで、ＨＶＳフィードバックモジュール４０は、復号化された３Ｄビデオデータ４４の定性的および定量的評価を実行する。より詳細には、定性的評価モジュール６６は、（「定性的メトリック７０」と呼ばれることがある）メトリック７０のうちの１つまたは複数を判断するために、復号化された３Ｄビデオデータ４４の可視化の品質に関係する定性的評価を実行する。また、可視化のこの品質は、３Ｄビデオデータ４４を閲覧するときの（ユーザ選択７８によって定義された）所与の閲覧者の快適さを含み得る。例示のために、右目が利き目である閲覧者が、３Ｄビデオデータ４４を閲覧するときに自分の右目のほうを選ぶと考える。この場合、定性的評価モジュール６６は、３Ｄビデオデータ４４を分析して、右目ストリームが左目ストリームに優先して選ばれるようにし得る。すなわち、閲覧者の右目が利き目である場合、定性的評価モジュール６６は、所与のフレームまたはピクチャグループについての全体的なメトリックを判断するときに、左目ストリームメトリックに優先して右目ストリームメトリックを重み付けし得る。
【００８１】
定量的評価モジュール６８は、（「定量的メトリック７８」と呼ばれることがある）メトリック７８のうちの１つまたは複数を判断するために３Ｄビデオデータ４４の定量分析を実行し得る。たとえば、定量的評価モジュール６８は、後処理モジュール６０と、レンダリングモジュール６２と、ディスプレイフォーマットモジュール６４とのうちの１つまたは複数によって生成された３Ｄビデオデータの１つまたは複数のフレーム中のオブジェクトの深度とサイズとの間の関係を評価し得る。定量的メトリック７８は、オブジェクトの深度とサイズとの間のこの関係を１つのメトリックとして含み得る。他の定量的メトリック７８は、フィルタ効力メトリック、可視不連続性メトリック、および補間効力メトリックなど、深度画像ベースレンダリングに関係するメトリックを含み得る。定量的メトリック７８はまた、深度の正規化において有用なメトリックを含み得る。したがって、定量的メトリック７８は、３Ｄビデオデータによって定義されたオブジェクトの深度とサイズとの間の関係と、３Ｄビデオデータの深度不連続性と平均領域色不連続性との間の関係と、フィルタ効力メトリックと、補間効力メトリックと、深度の正規化において有用なメトリックと、経時的な深度の不連続性を測定することに関係するメトリックとに関係する少なくとも１つのメトリックを含み得る。定性的評価モジュール６８は、さらに、モジュール６０〜６４によって生成されたビデオデータの経時的な深度の不連続性を測定し、ならびに多数の他の形態の定量分析を実行し得る。
【００８２】
定性的評価モジュール６６および／または定量的評価モジュール６８を使用して、ＨＶＳフィードバックモジュール４０は幅広い分析を実行し得る。この分析は、上記のように部分的に、モジュール５６〜６４のうちの１つまたは複数によって生成されたか、または３Ｄビデオデータ４４としてディスプレイデバイス１６から受信された、３Ｄビデオデータの所与のフレームまたは画像中のいずれかのオブジェクトの深度とサイズとの間の関係を測定し、調整することに関与し得る。その分析はまた、経時的な深度の不連続性と、シャドーまたはシェーディング効果と、背景コントラストと、空間周波数とを測定することに関与し得る。
【００８３】
これらのメトリックに基づいて、ＨＶＳフィードバックモジュール４０は、次いで、メトリック７０に基づいて構成データ８０を判断し、変換モジュール３６のモジュール５６〜６４のうちの１つまたは複数とインターフェースして、変換された３Ｄビデオコンテンツ４８の知覚される視覚的品質を改良するようにこれらのモジュール５６〜６４を再構成し得る。メトリック７０に基づいて構成データ８０を判断することに加えて、ＨＶＳフィードバックモジュール４０は、パラメータ発見モジュール３８がＨＶＳフィードバックモジュール４０に転送し得るパラメータ７６にも基づいて構成データ８０を判断し得る。その上、ＨＶＳフィードバックモジュール４０は、ユーザ選択７８に適応するように構成データ８０を判断するかまたは場合によっては調整し得る。したがって、構成データ８０は、多種多様なメトリック、パラメータおよび選択に従って判断され得る。
【００８４】
一例として、ＨＶＳフィードバックモジュール８０は、視標追跡（eye tracking）機能が欠如しているディスプレイデバイスのフォーカスキューを矯正するように構成データ８０を調整し得る。フォーカスキューは、異なる焦点距離についての所与のフレームにわたる画像の明暸性について説明するデータを備える。この例では、パラメータ７６は、ディスプレイデバイス１６の視標追跡機能の欠如を示し得る。このコンテキストでは、（ＨＶＳがそれによってフォーカスを解釈する、３Ｄビデオコンテンツ４８におけるキューを備え得る）フォーカスキューを矯正するために、ＨＶＳフィードバックモジュール４０は、２Ｄ−３Ｄ処理モジュール５８によって実行される深度抽出を制約するように、および／またはレンダリングモジュール６２によるマルチビューレンダリングのための深度解釈を制約するように、２Ｄ−３Ｄ処理モジュール５８および／またはレンダリングモジュール６２のための構成データ８０を判断し得る。
【００８５】
フォーカスは、両方がディスプレイのサイズから導出され得る、視野と標準閲覧距離とに依存し得るので、ＨＶＳフィードバックモジュール４０は、ディスプレイデバイス１６のディスプレイ３０のサイズを示すパラメータ７６に基づいて、この構成データ８０を生成し得る。フォーカスはまた、（一般に左目と右目との間の距離として定義される）両眼間隔に依存し得、ユーザ選択７８は標準両眼間隔選択を記憶し得る。したがって、ＨＶＳフィードバックモジュール８０は、上記のフィードバック（たとえば、実際の閲覧距離、実際の目の位置、および実際の両眼間隔）を与えるための視標追跡機構を有しないディスプレイデバイス３０においてフォーカスミスキュー（miscue）を矯正するように構成データ８０を生成するためにユーザ選択７８とパラメータ７６との両方にアクセスし得る。
【００８６】
視標追跡がディスプレイデバイス１６を通して利用可能である場合、ＨＶＳフィードバックモジュール４０は、ＨＶＳフィードバックモジュール４０がそれによって３Ｄビデオコンテンツ４４を受信するのと同じインターフェースを介してこのフィードバックを受信し得る。この機構は、ディスプレイデバイス１６に結合された外部デバイスであり得る。代替的に、この視標追跡機構はディスプレイデバイス１６内に組み込まれ得る。いくつかの例では、その機構は、眼球運動を追跡する必要がなく、より一般的には各ユーザの位置を追跡することがあり、その場合は、閲覧距離と目の位置とが導出され得るので、「視標追跡」という名前は誤称であり得る。
【００８７】
いくつかの事例において、ＨＶＳフィードバックモジュール４０は、立体視ディスプレイと自動立体視ディスプレイとのためにフォーカスキューを別様に矯正するための構成データ８０を生成し得る。ディスプレイデバイス１６が立体視であるか（シャッターメガネなど、３Ｄビデオデータを適切に提示するための追加の閲覧装置を必要とするディスプレイデバイス）、自動立体視であるか（３Ｄビデオデータを適切に提示するための追加の閲覧装置を必要としないディスプレイデバイス）は、パラメータ発見モジュール３８によって判断され、パラメータ３８のうちの１つとして記憶され得る。
【００８８】
（同じくパラメータ３８のうちの１つを介して示され得る）「ボリュームディスプレイ」と呼ばれる特定のタイプの自動立体視ディスプレイについて考える。ボリュームディスプレイは、（各視点が異なる閲覧者のためのものである）複数の同時視点のために正確な明視野（light field）を提示することが不可能であり得る。その結果、これらのボリュームディスプレイは、通常、自動立体視ディスプレイとして使用されるときにビュー依存照度（遮断、鏡面性、および反射など）を正しく提示することができない。ＨＶＳフィードバックモジュール４０は、ボリュームディスプレイの立体知覚を改善するように閲覧位置を訂正するように変換モジュール３６の様々なモジュール５６〜６４を構成し得る。
【００８９】
立体視ディスプレイと自動立体視ディスプレイとの間の他の差異が、異なる構成を保証し得、ＨＶＳフィードバックモジュール４０は、これらのパラメータ７８に基づいて構成データ８０を調整し得る。たとえば、通常、自動立体視ディスプレイと立体視ディスプレイとの間には、深度知覚および深度パフォーマンスの差異がある。ＨＶＳフィードバックモジュール４０は、これらのデバイス能力またはパラメータ差異に基づいて構成データ８０を別様に調整し得る。
【００９０】
上記のように、ＨＶＳフィードバックモジュール４０は、ディスプレイデバイス１８の異なるフォームファクタ、およびより詳細には、ディスプレイ３０のサイズに基づいて、フォーカスキューを制約するように構成データ８０を調整し得る。内部ディスプレイ５４は、通常、外部ディスプレイデバイス１６のディスプレイ３０よりもはるかに小さいフォームファクタのディスプレイであり、これらの異なるフォームファクタは、立体画像がどのように構築され、表示されるかの差異を暗示し得る。その上、フォームファクタは閲覧オーディエンスの潜在的なサイズを示し得、より小さいフォームファクタは単一の閲覧者を示唆し得、より大きいディスプレイは複数の閲覧者を示唆し得る。ＨＶＳフィードバックモジュール４０は、これらの異なるフォームファクタを考慮するように構成データ８０を生成し得る。
【００９１】
詳細には、ＨＶＳフィードバックモジュール４０は、一例では、フォームファクタに基づいて構成データ８０を生成するために、ＨＶＳについて知られている態様を活用し得る。一態様では、最適ボクセル分布が、人間の目の空間およびフォーカス解像度によって規定される。人間の目のこの知られている制限を仮定すれば、ＨＶＳフィードバックモジュール４０は、ディスプレイのタイプ（３Ｄディスプレイ技術のこれらの２つのタイプの異なるサブクラスを含む、立体視または自動立体視）とディスプレイのサイズとに基づいて特定の空間およびフォーカス解像度を判断する。次いで、ＨＶＳフィードバックモジュール４０は、深度処理を変更するために２Ｄ−３Ｄ処理モジュール５６のための構成データ８０を生成し得る。
【００９２】
ＨＶＳフィードバックモジュール４０はまた、ディスプレイデバイス１６に対する閲覧者の特定の視覚軸または閲覧角に基づいてメトリック７０のうちの１つによって示される空間周波数を改良または潜在的に最適化し得る。この視覚軸または閲覧角は３Ｄ視覚データ４４とともに与えられ得、あるいは、パラメータ発見モジュール３８は、（ディスプレイデバイス１６内に組み込まれた視標追跡装置または閲覧者追跡装置に関係するという点で）この視覚軸または閲覧角をパラメータ７６のうちの１つとして発見するためにディスプレイデバイス１６とインターフェースし得る。ＨＶＳフィードバックモジュール４０は、現在のディスプレイ解像度がフォーカスキューに影響を及ぼし得るので、このディスプレイ解像度を指定するパラメータ７６のうちの１つまたは複数をも利用し得る。次いで、ＨＶＳフィードバックモジュール４０は、これらのパラメータ７６に基づいて構成データ８０を生成し得る。
【００９３】
別の例では、ＨＶＳフィードバックモジュール４０は、深度画像ベースレンダリング（ＤＩＢＲ）を改良または潜在的に最適化する構成データ８０を生成し得る。ＨＶＳフィードバックモジュール４０は、ＤＩＢＲの様々な態様を改良するために、３Ｄビデオデータ４４と、後処理モジュール６０とレンダリングモジュール６２とディスプレイフォーマットモジュール６４とによって生成された３Ｄビデオデータとを分析し得る。一例では、ＨＶＳフィードバックモジュール４０は、視覚的アーティファクトを最小限に抑え、場合によっては潜在的になくすために、深度次元における適切なフィルタ処理を保証するために、このビデオデータ４４あるいはモジュール６０〜６４のうちの１つまたは複数によって生成されたビデオデータを分析する。しばしば、深度フィルタ処理改良は、パラメータ発見モジュール３８によって同じく発見可能であり、したがって、パラメータ７６のうちの１つまたは複数を介して知られる、特定のディスプレイ技術または能力を中心に展開する。例示のために、減算ディスプレイはバックライトからの直接照度を可視化し得るので、これらのディスプレイにおいて非深度フィルタ処理レンダリングによる可視不連続性が潜在的にはるかに大きくなることを考える。したがって、ＨＶＳフィードバックモジュール４０は、異なるディスプレイ能力を考慮するように深度フィルタ処理を調整するための構成データ８０を生成し得る。
【００９４】
ＨＶＳフィードバックモジュール４０はまた、ホールの充填（たとえば、現在の解像度に適応するように２Ｄビデオコンテンツ２０の解像度を調整するときに起こり得る補間）のためのフィルタ処理に関係するメトリック７０に基づいてＤＩＢＲの様々な態様を改良する構成データ８０を生成し得る。フィルタ処理はガウスフィルタ処理またはエッジベースフィルタ処理を備え得る。ＨＶＳフィードバックモジュール４０はまた、所与の画像またはフレーム中で遮蔽（occlusion）が起こることが予想される場合、特定のピクセルの深度値を強制的に０にするように、Ｐ３Ｄと呼ばれるファイルフォーマットなど、特定のファイルフォーマットに関係するメトリック７０に基づいてＤＩＢＲを改良する構成データ８０を生成し得る。
【００９５】
同じくＤＩＢＲを改良することに関して、ＨＶＳフィードバックモジュール４０は、シャドー効果とシェーディングとに関係するメトリック７０に基づいて、可視近傍ピクセルを使用して領域中のシャドー効果／シェーディングを増加させる構成データ８０を生成し得る。ＨＶＳフィードバックモジュール４０はまた、エッジ不連続性を取り除く傾向がある深度フィルタ処理によるぼけを最小限に抑えるために、高周波強調（ＨＦＥ）によってＤＩＢＲを改良するためにエッジを増補し得る。さらに、ＨＶＳフィードバックモジュール４０は、深度マップのダイナミックレンジ再形成を可能にする構成データ８０を生成し、それにより、この構成データ８０が、より高い深度値を拡張し、より低い深度値を圧縮することによって、ＤＩＢＲを改良し得る。いくつかの事例において、ＨＶＳフィードバックモジュール４０は、ユーザ選択７８のうちの１つによって定義された所与の閲覧者のＨＶＳの知覚性または感度に基づいて拡張および圧縮の範囲を変調し得る。
【００９６】
このＤＩＢＲ改良はまた、ＨＶＳフィードバックモジュール４０が、目選択または優位性に関係するユーザ選択７８のうちの１つまたは複数に基づいてＤＩＢＲを調整する構成データ８０を生成することによって行われ得る。例示のために、任意の１つビューについて、閲覧者は左目または右目優位であり得、閲覧者はこの優位性をユーザ選択７８のうちの１つとして示し得ると考える。特に、閲覧者は、優位性を判断するためにユーザインターフェースを介して提示されるテストを受け得るかまたは優位性を単に選択し得る。いずれの場合も、ＨＶＳフィードバックモジュール４０は、最高１２０色ピクセル密度（ｃｐｄ）の良好なボクセル解像度を求めて、視覚軸に沿って＋／−２０度または最高５０度にわたってビューが細かくなるように、目優位性、感度または知覚可能性（perceivability）の差異に関係するユーザ選択７８に基づいて様々なビューを調整する構成データ８０を生成し得る。適切な場合、ＨＶＳフィードバックモジュール４０は、深度知覚を改善するために、左目ビューと右目ビューとの知覚される品質が非対称であるかまたは等しくないことを示す非対称品質を採用する構成データ８０を生成し得る。
【００９７】
さらに別の例では、ＨＶＳフィードバックモジュール４０は、目感度に関係するユーザ選択７８、ならびにコンテンツタイプ、照度レベルなどに関係するメトリック７０のうちの１つまたは複数に基づいて深度を正規化する構成データ８０を生成し得る。ＨＶＳフィードバックモジュール４０による深度の正規化はまた、ビデオデータ４４と、シーン変化、コンテンツタイプおよび構成（たとえば、無限焦点距離にあるオブジェクトがあるかどうか）に関係するメトリック７０とに基づいて判断される最大深度に依存し得る。ＨＶＳフィードバックモジュール４０による深度の正規化はまた、レンダリング方法に関係する定量的メトリック７０に加えて、ディスプレイタイプなどのパラメータ７６に依存し得る。
【００９８】
別の例では、ＨＶＳフィードバックモジュール４０は、ストレス（たとえば、眼精疲労および吐き気）を最小限に抑えるように３Ｄ可視化を改良する構成データ８０を生成し得る。いくつかの態様では、ＨＶＳフィードバックモジュール４０は、ストレス（たとえば、眼精疲労および吐き気）を最小限に抑えるように３Ｄ可視化を最適化する構成データ８０を生成し得る。ＨＶＳフィードバックモジュール４０は、ストレスを最小限に抑えるように深度を制約するか、シーン中のオブジェクトのタイプに基づいて選択的深度抽出を実行するか、シーン中の当該の特定のオブジェクトに対する特定の深度抽出のための選択的深度レンダリングを実行するか、またはある信頼レベルを上回る深度値のみを抽出し得る。このようにして、ＨＶＳフィードバックモジュール４０は、メトリック７０に基づいて構成データ４０とパラメータ７６とユーザ選択７８とを生成し、３Ｄビデオコンテンツ４８への２Ｄビデオコンテンツ２０の変換を、場合によっては改善し、さらには最適化しないとしても、改良するように変換モジュール３６の１つまたは複数のモジュール５６〜６４を再構成し得る。
【００９９】
変換モジュール３６の再構成されたモジュール５６〜６４は、次いで、構成データ８０に従って２Ｄビデオコンテンツ２０を３Ｄビデオコンテンツ４８に変換し続け得る。変換モジュール３６は、次いで、この動的再構成の後に、改良された３Ｄビデオコンテンツ４８をディスプレイデバイス１６に転送することを開始し得、その後、ディスプレイデバイス１６は、１人または複数の閲覧者による消費のためにディスプレイ３０を介してこの改良された３Ｄビデオコンテンツ４８を提示し得る。ＨＶＳフィードバックモジュール４０中のこのフィードバック機構は、オペレータによって選択された特定のプラットフォーム、たとえば、ディスプレイデバイス１６上での再生のためにこのビデオデータを断続的に改良するかまたはいくつかの態様では最適化するために、３Ｄビデオコンテンツ４８への２Ｄビデオコンテンツ２０の変換全体の間、継続し得る。この点において、ＨＶＳフィードバックモジュール４０は、ユーザ選択７８によって定義された、特定の閲覧者に対する特に選択されたディスプレイデバイス、たとえば、ディスプレイデバイス１６上での再生のために３Ｄビデオコンテンツ４８を調整する方法で３Ｄビデオコンテンツ４８を改良し、最適化しないとしても潜在的に改善する、（閲覧者の観点から）透過的でリアルタイムまたはほぼリアルタイムの動的フィードバックを可能にし得る。以下に、ＨＶＳフィードバックモジュール４０が構成データ８０を生成し、構成データ８０に従って変換モジュール３６のモジュール５６〜６４のうちの様々なモジュールを再構成する例を記載する。ＨＶＳフィードバックモジュール４０はまた、ユーザ選択に従って許容できる３Ｄビデオ品質を維持しながら計算複雑さが低減されるようにモジュール５６〜６４を再構成するために使用され得る、（閲覧者の観点から）透過的でリアルタイムまたはほぼリアルタイムの動的フィードバックを可能にし得る。
【０１００】
図３は、図２のモバイルデバイス１２の変換モジュール３８とオフライン処理モジュール７２とをより詳細に示すブロック図である。図３の例に示すように、モジュール５６〜６２の各々は、変換された３Ｄビデオコンテンツ４８への２Ｄまたは３Ｄビデオコンテンツの変換の様々な態様を実行する追加のユニットを備える。たとえば、前処理モジュール５６は、大気（atmospheric）効果検出ユニット８２Ａ（「大気（atmos）効果検出ユニット８２Ａ」）、シーン変化検出ユニット８２Ｂ、およびカメラ動き検出ユニット８２Ｃとして図３の例に示されている少なくとも３つのグローバル処理ユニット８２Ａ〜８２Ｃを備える。これらは、たとえば、それぞれの大気効果、シーン変化およびカメラ動きを検出するために２Ｄビデオコンテンツ２０のフレーム全体または複数のフレームをグローバルに分析するので、グローバル処理ユニットと見なされる。
【０１０１】
前処理モジュール５６はまた、それぞれ、関心領域（ＲＯＩ）、エッジならびにコントラストおよび／または照度を検出するために、一度に単一のフレーム内の近傍ピクセルの所与の領域に関する入力ビデオデータ２０または２２を処理する（これは、局地的またはローカル処理と見なされる）ローカル処理ユニット８４Ａ〜８４Ｃを含む。図３の例において、これらのローカル処理ユニット８４Ａ〜８４Ｃは、ＲＯＩ検出ユニット８４Ａ、エッジ検出ユニット８４Ｂおよびコントラスト／照度（illumination）検出ユニット８４Ｃ（「コントラスト／照度（illum）検出ユニット８４Ｃ」）として示されている。ＲＯＩ検出ユニット８４Ａは、顔または人体などのＲＯＩを検出する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。エッジ検出ユニット８４Ｂは、エッジの位置を特定し、エッジを分類する、たとえば、実オブジェクトの境界を画定するものとして、シャドー境界を画定するものとして、またはシェーディング効果を定義するものとしてエッジを分類する、１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。この分類はまた、エッジの強度を判断することに関与し得る。コントラスト／照度検出ユニット８４Ｃは、照度プロパティを検出する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
【０１０２】
説明しやすいように、図３には示されていないが、前処理モジュール５６は追加のグローバルまたはローカル処理ユニットを含み得る。たとえば、前処理モジュール５６は、所与の画像またはフレームのクロマ成分、画像またはフレームの色成分、あるいは画像またはフレームのクロマ成分と色成分の両方に基づいてオブジェクトのセグメンテーションを実行する別のローカル処理ユニットを含み得る。したがって、本開示に記載する技法は、図３に示す例に限定されるべきではなく、追加のグローバルおよびローカル処理ユニットを含み得る。ユニット８２Ａ〜８２Ｃおよび８４Ａ〜８４Ｃによって抽出された様々な情報は、深度抽出を可能にするために２Ｄ−３Ｄ処理に転送され得る。
【０１０３】
２Ｄ−３Ｄ処理モジュール５８は、マルチフレーム深度抽出技法と単一フレーム深度抽出技法の両方を実行するためのいくつかのユニットを含む。マルチフレーム深度抽出ユニットは、カメラモデリングユニット８６Ａと移動オブジェクトモデリングユニット８６Ｂとを含む。カメラモデリングユニット８６Ａは、深度値を抽出するために幾何学的構造と動きとをモデル化する（たとえば、幾何学的構造と動きとをキャプチャするカメラをモデル化する）１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。移動オブジェクトモデリングユニット８６Ｂは、深度値を抽出するために独立した移動オブジェクトから背景を区分する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
【０１０４】
単一フレーム抽出ユニットは、レンズモデリングユニット８８Ａと、遮蔽モデリングユニット８８Ｂと、照度モデリングユニット８８Ｃと、幾何学的モデリングユニット８８Ｄとを含む。レンズモデリングユニット８８Ａは、所与のフレームまたは画像中で検出されたフォーカスキューとデフォーカスキューとに基づいて深度値を抽出する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。遮蔽モデリングユニット８８Ｂは、所与のフレームまたは画像中の様々なオブジェクト間の遮蔽をモデル化または場合によっては検出し、これらの遮蔽に基づいて深度値を抽出する、１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。照度モデリングユニット８８Ｃは、検出されたシャドーおよびシェーディング効果に基づいて単一のフレームまたは画像の深度値を抽出する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。幾何学的モデリングユニット８８Ｄは、単一のフレームまたは画像内の幾何学的線形パースペクティブのモデリングに基づいて単一のフレームまたは画像の深度値を抽出する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
【０１０５】
上記のように、これらのユニット８６Ａ〜８６Ｂおよび８８Ａ〜８８Ｄの多くは、前処理モジュール５６のユニット８２Ａ〜８２Ｃおよび８４Ａ〜８４Ｃによって抽出される情報に依拠する。たとえば、照度モデリングユニット８８Ｃは、コントラスト／照度検出ユニット８４Ｃとエッジ検出ユニット８４Ｂとによって判断されたコントラスト／照度情報に深度の抽出の基礎をおき得る。別の例として、遮蔽モデリングユニット８８Ｂは、エッジ検出ユニット８４Ｂによって検出されたエッジ情報を使用して遮蔽をモデル化し得る。さらに別の例として、レンズモデリングユニット８８Ａは、エッジ検出ユニット８４Ｂによって判断されたエッジ情報に深度抽出の基礎をおき得る。さらなる例として、幾何学的モデリングユニット８８Ｄは、エッジ検出ユニット８４Ｂによって判断されたエッジ情報に基づいて深度値を抽出し得る。カメラモデリングユニット８６Ａおよび移動オブジェクトモデリングユニット８６Ｂは、大気効果検出ユニット８２Ａと、シーン変化検出ユニット８２Ｂと、カメラ動き検出ユニット８２Ｃとによって判断された情報に基づいて深度値を抽出し得る。このようにして、２Ｄ−３Ｄ処理モジュール５８は、２Ｄビデオコンテンツ２０と３Ｄビデオコンテンツ２２の両方から深度値を抽出し得る。
【０１０６】
特に、マルチビューストリームの場合、変換モジュール３６は、複数のキャプチャシステムから同時に収集またはキャプチャされた異なるストリームの各フレームを処理するために複数の２Ｄ−３Ｄ処理モジュールを含み得る（たとえば、複数の２Ｄ−３Ｄ処理モジュールが起動され得る）。単一ビューストリームの場合でも、変換モジュール３６は、２つ以上の連続するフレームまたは画像を処理するための複数の２Ｄ−３Ｄ処理モジュールを備え得る。この単一ビューストリームの場合、複数の２Ｄ−３Ｄ処理モジュールの各々はフィーチャポイントとこれらのポイントの記述子とを抽出する。これらの記述子は、次いで、異なるフレーム中のフィーチャポイント間の対応を設定するために使用され、対応するポイントの位置は、深度値を抽出するために、カメラモデリングユニット８６Ａによって実装される射影幾何学カメラモデルとともに使用される。
【０１０７】
異なるカメラユニット（同じまたは異なるカメラパラメータをもつ、空間的に異なるポイントに位置する各カメラ）を用いて各ビューが同時に収集されるマルチビューストリームに関して、２Ｄ−３Ｄ処理ユニット５８は、レンズモデリングユニット８８Ａと同様の複数のカメラモデリングユニットを含み得る。これらのレンズモデリングユニット８８Ａの各々は、これらのフレームの各々が同時にキャプチャされる異なるマルチビューのフレームを処理する。単一ビューストリームの場合、２Ｄ−３Ｄ処理ユニット５８は、一度に単一ビューストリームの単一の画像またはフレームを処理するためにカメラモデリングユニット８８Ａを起動し得る。
【０１０８】
マルチフレーム処理ユニット８６Ａ〜８６Ｂおよび単一フレーム処理ユニット８８Ａ〜８８Ｄのうちの１つまたは複数を使用して深度値を判断した後に、２Ｄ−３Ｄ処理モジュール５８は、所与のビューストリーム（または、マルチビューストリームの場合、ビューストリームの各々）の各フレームの合成深度マップを作成するために、様々なマルチフレーム処理ユニット８６Ａ〜８６Ｂおよび単一フレーム処理ユニット８８Ａ〜８８Ｄからの深度値をマージするか、または場合によってはこれらの深度値を統合し得る。深度マップは、所与のフレームまたは画像の各ピクセルに深度値を割り当てる。２Ｄ＋深度ファイルフォーマットに関して、一例として、各フレームの深度マップはグレースケール画像として表され、グレースケール画像の各８ビットピクセル値は、フレーム中の対応するピクセルの深度値を定義する。
【０１０９】
ＨＶＳフィードバックモジュール４０は、マルチフレーム深度抽出処理ユニット８６Ａ〜８６Ｂと単一フレーム深度抽出処理ユニット８８Ａ〜８８Ｄとのうちの１つまたは複数によって深度抽出を制約するように２Ｄ−３Ｄ処理モジュールを構成する構成データ８０を生成し得る。一例として、ＨＶＳフィードバックモジュール４０は、有効な対応するポイントを制約するために、他のユニット（たとえば、ユニット８６Ｂおよび８８Ａ〜８８Ｄ）からの結果を使用することによって、カメラシステムをモデル化するために使用される式の線形システムがディスアンビギュエート（disambiguated）され、速度を上げるようにカメラモデリングユニット８６Ａを構成する構成データ８０を生成し得る。
【０１１０】
ＨＶＳフィードバックモジュール４０はまた、マルチフレーム処理ユニット８６Ａ〜８６Ｂと単一フレーム処理ユニット８８Ａ〜８８Ｄとによって生成された深度マップのマージに影響を及ぼす構成データ８０を生成し得る。たとえば、２Ｄ−３Ｄ処理モジュール５８は、判断または抽出された深度マップの各々に異なる重みを割り当てる加重平均マージ機能を使用して、これらの深度マップをマージし得る。ＨＶＳフィードバックモジュール４０は、得られた合成深度マップを調整するために、これらの重みを変更または構成する構成データ８０を生成し得る。この調整は、変換された３Ｄビデオコンテンツ４８の可視化の品質を改善するか、または場合によっては変換された３Ｄビデオコンテンツ４８を閲覧することに関連するストレスを低減し得る。
【０１１１】
このようにして２Ｄビデオコンテンツ２０を処理した後に、２Ｄ−３Ｄ処理モジュール５８は、２Ｄビデオコンテンツ２０と生成された１つまたは（マルチビューストリームの場合）複数の合成深度マップとを後処理モジュール６０に転送する。後処理モジュール６０は、変換された３Ｄビデオコンテンツ４８の可視化の品質を改良するために、得られた１つまたは複数の深度マップを変更する深度知覚ユニット９０を含む。いくつかの事例において、深度知覚ユニット９０は、変換された３Ｄビデオコンテンツ４８の可視化の品質を改善するために、得られた１つまたは複数の深度マップを変更する。深度知覚ユニット９０は、変換モジュール３６を表すモジュール５６〜６４のパイプライン中にユニットを導入し得、それにより、ＨＶＳフィードバックモジュール４０は、深度マップを改良するために仲介し得る。例示のために、深度知覚ユニット９０は、ＨＶＳフィードバックモジュール４０が深度マップの後処理を実行するためにパイプライン中で仲介し得るように、ＨＶＳフィードバックモジュール４０が構成データ８０をロードするために対話し得るインターフェースを表し得る。
【０１１２】
一例では、ＨＶＳフィードバックモジュール４０は、複数のフレームまたは３Ｄビデオデータ全体にわたって深度マップをグローバルに平滑化する動作、および／またはＲＯＩ検出ユニット８４Ａによって識別されたいくつかの関心領域の深度情報を選択的に変更する動作を実行するように深度知覚ユニット９０を構成する、深度知覚ユニット９０のための構成データ８０を生成し得る。別の例では、ＨＶＳフィードバックモジュール４０は、パラメータ７６に基づいて、様々な深度値が特定のディスプレイ、たとえば、ディスプレイデバイス１６のために調整されるように、それらの値を変更し、制約する動作を実行するように深度知覚ユニット９０を構成する構成データ８０を生成し得る。さらなる一例では、ＨＶＳフィードバックモジュール４０は、メトリック７０に基づいて、変換された３Ｄビデオデータの定量的改善を可能にするために、動的に深度マップを変更する動作を実行するように深度知覚ユニット９０を構成する構成データ８０を生成し得る。
【０１１３】
１つまたは複数の深度マップを改良した後に、後処理モジュール６０は、２Ｄビデオコンテンツと１つまたは複数の改良された深度マップとをレンダリングモジュール６２に転送する。レンダリングモジュール６２は、３Ｄモデリングユニット９２と、照度モデリングユニット９４（「照度モデリングユニット９４」）と、補間ユニット９６とを備える。３Ｄモデリングユニット９２、照度モデリングユニット９４および補間ユニット９６の各々は、２Ｄビデオコンテンツ２０からの１つまたは複数の追加のビューの生成を可能にするために３Ｄシーンの様々な態様をモデル化する１つまたは複数のハードウェアモジュールを表し、そのうちのいくつかはソフトウェアを実行し得る。
【０１１４】
３Ｄモデリングユニット９２は、３Ｄシーンの生成とその後の１つまたは複数の追加のビューの生成とを可能にするために、後処理モジュール６０からの深度マップを利用し得る。照度モデリングユニット９４は、３Ｄシーンの生成とその後の１つまたは複数の追加のビューの生成とを可能にするために、照度モデリングユニット８８Ｃおよび／またはコントラスト／照度検出ユニット８４Ｃによって判断された照度情報を利用し得る。補間ユニット９６は、３Ｄシーンの生成とその後の１つまたは複数の追加のビューの生成とを可能にするために２Ｄビデオデータのピクセル情報を利用し得る。この点において、レンダリングモジュール６２は、単一ビュー２Ｄビデオコンテンツ２０からのマルチビューストリームフォーマットでの３Ｄビデオコンテンツの生成を可能にするために追加のビューを生成する。
【０１１５】
ディスプレイフォーマットモジュール６４は、説明しやすいように、図示されていないが、モジュール５６〜６２と同様の追加のユニットを備え、パラメータ発見モジュール３８によって判断された入力ファイルフォーマット９８に従って、レンダリングモジュール６２から受信した３Ｄビデオデータをフォーマットするために様々なユニットを起動し得る。一例では、ディスプレイフォーマットモジュール６４は、（たとえば、アナグリフ（anaglyph）ファイルフォーマットによって必要とされる）色成分が異なる様々なビューをインターリーブするために色インターリービングユニットを起動する。別の例として、ディスプレイフォーマットモジュール６２は、ピクセル位置が異なる様々なビューをインターリーブするために空間インターリービングユニットを起動する。複数のビューが生成されるとき、ディスプレイフォーマットモジュール６４は、構成データ８０によって示され、パラメータ７６のうちの１つを介して学習され得るフレーム切替えディスプレイのために様々なビューを時間的に多重化するマルチビューユニットを起動し得る。ディスプレイフォーマット要件に加えて、ＨＶＳフィードバックモジュール４０はまた、メトリック７０および／またはユーザ選択７８に基づいて、３Ｄビデオストリームを強調、フィルタ処理、または、全体的に変更するようにディスプレイフォーマットモジュール６４を構成する構成データ８０を生成し得る。
【０１１６】
オフライン処理モジュール７２は、概して、トレーニングセットの様々なプロパティに関して、トレーニングセットの様々なフレームまたは画像のいくつかの記述子の統計分析およびモデリングを実行し得る。様々なプロパティは、照度のタイプおよび方向、オブジェクト反射率、テクスチャおよび大気効果を含み得る。オフライン処理モジュール７２は、前処理モジュール５６の様々なユニット８２Ａ〜８２Ｃおよび８４Ａ〜８４Ｃが使用する１つまたは複数のモデルを作成することによって前処理モジュールのサポートを行う。
【０１１７】
オフライン処理モジュール７２は、統計分析およびモデリングを実行するための機械学習ユニット１００を含む。機械学習ユニット１００は、一例として、シェーディングまたは記述子による作成されたエッジにわたる強度の変動を考慮する記述子を定義し、モデル化し、別の例では、シャドーによって生じるエッジにわたる強度の変動を考慮する記述子を定義し、モデル化し得る。さらなる一例では、機械学習ユニット１００は、いくつかの照度条件の下でシーン中のオブジェクトの反射率プロパティを考慮する記述子を定義し、モデル化し得る。
【０１１８】
機械学習ユニット１００は、トレーニングセット（図３に図示せず）を使用して各記述子の統計的振る舞いをオフラインでモデル化する。このトレーニングセットは、各記述子に影響を及ぼすプロパティのすべての潜在的な変動の下で取得される画像のセットからなり得る。したがって、トレーニングセットを使用してトレーニングを受けた後に機械学習ユニット１００によって作成されるモデルは、所与のシナリオ条件（たとえば、照度の所与の方向）について、記述子が、ある値である確率をキャプチャする。統計的振る舞いのモデルは、次いで、前処理モジュール５６のユニットによってオンラインで使用される。前処理モジュール５６は、前処理モジュール５６が現在処理している１つまたは複数の画像またはフレームから取得される所与の記述子の特定の値について、シーンの条件が特定の条件（たとえば、照度のある方向）である最大可能性を判断するためにこれらのモデルを利用する。
【０１１９】
これらのモデルは、照度に関係するシナリオだけでなく、シーン中の大気効果（もや、雨、雪など）またはテクスチャ変動にも拡張され得る。記述子はまた、（それらがピクセルの近傍内の情報をキャプチャする場合）ローカルであり得、または（それらが全画像の情報をキャプチャする場合）グローバルであり得る。これらのモデルは、マルコフランダムフィールド（Markov random field）を使用していくつかの記述子間の関係の統計的振る舞いをキャプチャし得る。この点において、オフライン処理モジュール７２は、前処理モジュール５６が使用するモデルを生成する機械学習ユニット１００を用いて前処理モジュール５６をサポートし得る。特に、機械学習ユニット１００は、モデリングとその後の変換との改善を可能にし得る新しいトレーニングセットを受信し得る。
【０１２０】
図４Ａおよび図４Ｂは、本開示で説明する技法の様々な態様を実装する際の、図２のモバイルデバイス１２などのモバイルデバイスの例示的な動作を示すフローチャートである。最初に図４Ａを参照すると、モバイルデバイス１２の制御ユニット３４内に含まれるユーザインターフェースモジュール７４は、初めに、モバイルデバイス１２のユーザまたは他のオペレータが、ユーザ選択７８を定義するデータを入力するために対話し得るユーザインターフェースを提示し得る。ユーザインターフェースモジュール７４は、ユーザ選択７８を定義するこのデータを受信し、変換モジュール３６を構成または再構成する際に使用するためにユーザ選択７８をＨＶＳフィードバックモジュール４０に転送する（１０２）。
【０１２１】
ユーザインターフェースモジュール７４はまた、ユーザが１つまたは複数のソースデバイスと１つまたは複数の宛先デバイスとを選択するために対話し得る同じまたは別のユーザインターフェースを提示し得る。次いで、ユーザインターフェースモジュール７４は、１つまたは複数のソースデバイス（たとえば、図１の例に示すソースデバイス１４）と１つまたは複数の宛先デバイス（たとえば、外部ディスプレイデバイス１６）とを選択するデータを受信する（１０４）。これらの選択に基づいて、ユーザインターフェースモジュール７４は、それぞれ、選択された１つまたは複数のソースデバイス、たとえば、ソースデバイス１４および選択された１つまたは複数の宛先デバイス、たとえば、外部ディスプレイデバイス１６との通信リンクまたはチャネル１３および１５を確立するために、ワイヤレスインターフェース３２Ａおよびワイヤードインターフェース３２Ｂのうちの様々なインターフェースとインターフェースし得る。これらのチャネル１３および１５が確立されることを保証した後に、次いで、ユーザインターフェースモジュール７４は、ディスプレイデバイス１６の能力に関するパラメータ７６の発見を開始するためにパラメータ発見モジュール３８とインターフェースし得る。
【０１２２】
パラメータ発見モジュール３８は、上記で説明した方法で確立された通信チャネル１５を介してパラメータ７６を判断するためにディスプレイデバイス１６とインターフェースする（１０６）。パラメータ発見モジュール３８は、これらのパラメータ７６をＨＶＳフィードバックモジュール４０に転送し得、ＨＶＳフィードバックモジュール４０は、変換モジュール３６を構成または再構成するときに、これらのパラメータ７６を再び採用し得る。パラメータ７６のうちの１つは、２Ｄおよび／または３Ｄビデオコンテンツを受け付けるために、外部ディスプレイデバイス１６によってサポートされる１つまたは複数の入力ファイルフォーマットを備え得る。パラメータ発見モジュール３８は、変換モジュール３６、より詳細には、ディスプレイフォーマットモジュール６４とインターフェースして、判断された入力ファイルフォーマットに従って、変換された３Ｄビデオデータ４８をフォーマットするようにディスプレイフォーマットモジュール６４を構成する（１０８）。代替的に、ＨＶＳフィードバックモジュール４０は、ディスプレイフォーマットモジュール６４とインターフェースして、パラメータ発見モジュール３８に関して上記で説明した方法でディスプレイフォーマットモジュール６４を構成し得る。ＨＶＳフィードバックモジュール４０はまた、変換モジュール３６の他のモジュール５６〜６２とインターフェースして、ユーザ選択７８に従って外部ディスプレイデバイス１６による提示のために３Ｄビデオコンテンツ４８の生成を調整するように、パラメータ７６とユーザ選択７８とに基づいてこれらのモジュール５６〜６２を初めに構成し得る。
【０１２３】
構成された後、変換モジュール３６は、ソースデバイス１２から２Ｄおよび／または３Ｄビデオコンテンツ２０、２２を取り出すために通信チャネル１３を介してソースデバイス１２とインターフェースする（１１０）。たとえば、２Ｄビデオコンテンツ２０を受信すると、変換モジュール３６は、２Ｄビデオコンテンツ２０のビデオデータを、判断された入力ファイルフォーマットに従ってフォーマットされた３Ｄビデオコンテンツ４８にコンバートする（１１２）。次いで、変換モジュール３６は、判断された入力ファイルフォーマットに従ってフォーマットされた３Ｄビデオデータを３Ｄビデオコンテンツ４８として出力し、モバイルデバイス１２は、３Ｄビデオコンテンツ４８をディスプレイデバイス１６に転送する（１１４、１１６）。
【０１２４】
図４Ｂを参照すると、３Ｄビデオコンテンツ４８の少なくとも一部分を受信した後に、ディスプレイデバイス１６は、入力ファイルフォーマッティングヘッダを除去することによって、受信した３Ｄビデオコンテンツ４８をデカプセル化して、コード化３Ｄビデオデータ５０を生成する。次いで、ディスプレイデバイス１６は、コード化３Ｄビデオデータ５０を復号化して、３Ｄビデオデータ４４を生成し、ディスプレイデバイス１６は、３Ｄビデオデータ４４を、それらの消費のためにディスプレイ３０を介して１人または複数の閲覧者に提示する。このビデオデータ４４を提示し、変換モジュール３６が２Ｄビデオコンテンツ２０を３Ｄビデオコンテンツ４８にコンバートしている間、ＨＶＳフィードバックモジュール４０は、ビデオデータ４４を取り出すためにディスプレイデバイス１６とインターフェースする（１１８）。
【０１２５】
上記で説明したように、ＨＶＳフィードバックモジュール４０、より詳細には、ＨＶＳフィードバックモジュール４０の定性的評価モジュール６６は、上記で説明したように、復号化ビデオデータ４４の可視化の品質を表す定性的メトリック７０を判断するために復号化ビデオデータ４４を分析する（１１９）。ＨＶＳフィードバックモジュール４０はまた、復号化ビデオデータ４４の品質を定量的観点から表す定量的メトリック７０を判断するために定量的評価モジュール６６を採用し得る。これらのメトリック７０に基づいて、ＨＶＳフィードバックモジュール４０は、復号化ビデオデータ４４の可視化の品質を改良するために変換モジュール３６のモジュール５６〜６４を再構成する（１２０）。
【０１２６】
ＨＶＳフィードバックモジュール４０はまた、メトリック７０とパラメータ７６とユーザ選択７８とのうちの２つ以上の組合せにモジュール５６〜６４のこの再構成の基礎をおき得る。たとえば、ユーザの選択コントラストレベルに関係するユーザ選択７８のうちの特定のユーザ選択７８が与えられれば、ＨＶＳフィードバックモジュール４０は、この選択コントラストレベルに鑑みてメトリック７８（たとえば、知覚コントラストレベル）を分析し、ビデオデータ４４が選択コントラストレベルに等しくない場合、それに近いコントラストレベルを示すように、３Ｄビデオコンテンツ４８の後続の生成を改良する構成データを生成し得る。ＨＶＳフィードバックモジュール４０はまた、後続のビデオデータ４４から分析されるメトリック７８が、パラメータ７８によって定義された特定のディスプレイ能力に関して改善されるように、３Ｄビデオコンテンツ４８の生成を改良するためにパラメータ７６に鑑みてメトリック７８を分析し得る。いくつかの事例において、パラメータ７６およびユーザ選択７８が与えられれば、メトリック７０に関して改良された３Ｄビデオコンテンツ４８の後続の生成を生成するために、メトリック７０、パラメータ７６およびユーザ選択７８の３つすべてが上記の方法で採用され得る。
【０１２７】
上記で説明した方法で再構成された後に、変換モジュール３６は、２Ｄビデオコンテンツ２０を３Ｄビデオコンテンツ４８にコンバートし続ける（１２２）。次いで、変換モジュール３６は、判断された入力フォーマットに従ってフォーマットされた３Ｄビデオデータを備える、３Ｄビデオコンテンツ４８を出力する（１２４）。モバイルデバイス１２は３Ｄビデオコンテンツ４８を外部ディスプレイデバイス１６に転送する（１２６）。上記のプロセスは、このようにして、反復の各々について、ビデオコンテンツ４８が、ビデオデータ４４の可視化の知覚される品質を定義するメトリック７０に関して改良されるように、反復的プロセスとして特徴づけられ得るものにおいて続き得る（１１８〜１２６）。
【０１２８】
上記では、復号化された３Ｄビデオデータを分析するＨＶＳフィードバックモジュール４０に関して説明したが、代替的に、ＨＶＳフィードバックモジュール４０は、コード化された３Ｄビデオデータを分析し得る。その上、ディスプレイデバイス１６は、コード化または復号化された３Ｄビデオデータを分析するＨＶＳフィードバックモジュール４０と同様のそれ自体のＨＶＳフィードバックモジュールを含み得る。このようにして、ディスプレイデバイス１６は、それ自体で３Ｄビデオデータを分析し得、それ自体のＨＶＳフィードバックモジュールで判断された１つまたは複数のメトリックをＨＶＳフィードバックモジュール４０に転送し得、ＨＶＳフィードバックモジュール４０は、これらのメトリックを使用して３Ｄビデオデータへのビデオデータの変換を調整し得る。したがって、本技法はこの点において限定されるべきではない。
【０１２９】
図５は、本開示で説明する技法の様々な態様を実装する例示的なモバイルデバイス１２８を示すブロック図である。モバイルデバイス１２８は、図１のモバイルデバイス１２と実質的に同様であり得る。特定のデバイス、たとえば、モバイルデバイス１２８に関して説明するが、本技法は、モバイルデバイス１２に関して説明する技法の様々な態様を実装することが可能であると上述した他のデバイスを含む、任意のタイプのデバイスによって実装され得る。
【０１３０】
図２の例に示すモバイルデバイス１２と同様に、モバイルデバイス１２８は、ワイヤレスインターフェース３２Ａと、ワイヤードインターフェース３２Ｂと、ビデオキャプチャモジュール５０と、ローカル記憶モジュール５２と、ユーザインターフェースモジュール７４とを含む。ワイヤレスインターフェース３２Ａと、ワイヤードインターフェース３２Ｂと、ビデオキャプチャモジュール５０と、ローカル記憶モジュール５２との各々は、ビデオデータおよび／またはコンテンツを「ソース」（すなわち、提供）し得、このために、一般に「ソース」と呼ばれることがある。これらのソースは、（２Ｄビデオデータ＋追加の深度情報、または２Ｄビデオデータ＋追加の深度および遮蔽エリア（occluded area）情報、または２Ｄビデオデータ＋深度、遮蔽エリアおよびグローバル効果情報を含み得る）２Ｄビデオデータまたは３Ｄビデオデータを備え得る、ビデオデータ１３０を提供し得る。
【０１３１】
モバイルデバイス１２８はまた、画像／ビデオ処理ユニット１３２と、画像／ビデオ符号器ユニット１３４と、画像／ビデオバッファユニット１３６と、ディスプレイ処理ユニット１３８と、内部ディスプレイ１４０と、ワイヤレスディスプレイ（ＷＤ）ホストユニット１４２と、ワイヤレスディスプレイインターフェース１４４とを含む。画像／ビデオプロセッサユニット１３２は、３Ｄビデオデータ１４６を生成するようにビデオデータ１３０を処理するハードウェアユニットまたはハードウェアユニットとソフトウェアユニットの組合せを表す。画像／ビデオ符号器ユニット１３４は、画像／ビデオ符号器ユニット１３４によってサポートされる１つまたは複数のコーデックのうちの１つに従ってビデオデータ１４６を符号化して符号化ビデオデータ１４８を生成するハードウェアユニットまたはハードウェアユニットとソフトウェアユニットの組合せを表す。符号器として示されているが、画像／ビデオ符号器ユニット１３４は復号化をも実行し得る。符号器ユニット１３４は符号化ビデオデータ１４８を出力し、その符号化ビデオデータ１４８は、上記で説明したメモリとストレージデバイスの両方の例など、メモリまたはストレージデバイスを備え得る画像／ビデオバッファユニット１３６に記憶される。
【０１３２】
いくつかの事例において、モバイルデバイス１２８は、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、陰極線管ディスプレイ、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）または任意の他のタイプのディスプレイを備え得る内部ディスプレイ１４０上で３Ｄビデオデータ１４６をローカルにプレビューするプレビューモードを与える。このプレビューモードでは、画像／ビデオ処理ユニット１３２はプレビュービデオデータ１５０Ａ、１５０Ｂ（「プレビュービデオデータ１５０」）を生成し得る。プレビュービデオデータ１５０Ａは、３Ｄビデオデータ１４６の右目の遠近感を形成する右目ビデオデータを備え得る。プレビュービデオデータ１５０Ｂは、３Ｄビデオデータ１４６の左目の遠近感を形成する左目ビデオデータを備え得る。ビデオキャプチャデバイス５０が３Ｄビデオキャプチャデバイスを備えるとき、この３Ｄビデオキャプチャデバイス５０は、右目ビデオデータ１５０Ａと左目ビデオデータ１５０Ｂの両方を生成し得、画像／ビデオ処理ユニット１３２はそれらのデータをディスプレイ処理ユニット１３８に転送し得る。
【０１３３】
ディスプレイ処理ユニット１３８は、外部ディスプレイデバイス１５４Ａ〜１５４Ｎ（「外部ディスプレイデバイス１５４」）のうちの１つまたは複数など、外部ディスプレイデバイスのうちの１つまたは複数によってサポートされる入力フォーマットに従ってバッファされたビデオデータ１５２をフォーマットするために、バッファされたビデオデータ１５２を処理するハードウェアユニットまたはハードウェアユニットとソフトウェアユニットの組合せを表す。ディスプレイ処理ユニット１３８は、このフォーマットされたバッファされたビデオデータ１５２を３Ｄビデオコンテンツ１５６として出力し得る。ディスプレイ処理ユニット１３８は、説明を簡単にするため図５には示されていないが、外部ディスプレイデバイス１５４のうちの１つまたは複数によってサポートされる入力ファイルフォーマットを判断するためのディスプレイフォーマットインターフェース（ＤＦＩ）を含み得る。
【０１３４】
ディスプレイ処理ユニット１３８はまた、プレビュービデオデータ１５０のうちの１つまたは複数を受信し、内部ディスプレイ１４０による提示のためにこのプレビュービデオデータ１５０をフォーマットし得る。ディスプレイ処理ユニット１３８は、このフォーマットされたプレビュービデオデータ１５０Ａ、１５０Ｂをプレビュービデオコンテンツ１５８Ａ、１５８Ｂ（「プレビュービデオコンテンツ１５８」）として出力し得、外部ディスプレイデバイス１５４のうちの１つまたは複数に３Ｄビデオコンテンツ１５６を出力するのと同時に、内部ディスプレイ１４０はプレビュービデオコンテンツ１５８Ａ、１５８Ｂのうちの一方または両方をモバイルデバイス１２８のユーザに提示し得る。
【０１３５】
内部ディスプレイ１４０が３Ｄビデオコンテンツ再生をサポートする場合、プレビュービデオデータ１５０は、ディスプレイ処理ユニット１３８が内部ディスプレイ１４０によるディスプレイまたは提示用にフォーマットする３Ｄビデオデータを備え得る。内部ディスプレイ１４０が３Ｄビデオコンテンツと２Ｄビデオコンテンツの両方の再生をサポートする場合、画像／ビデオ処理ユニット１３２は、ユーザ選択、アプリケーションのタイプ（たとえば、２Ｄビデオデータはしばしば電子メール／テキスト用に好適であるが、コンピュータグラフィックス（ＣＧ）はしばしば３Ｄビデオデータとしてレンダリングされる）、動作電力モード、利用可能なバッテリー電力、ならびにこのタイプの決定に一般に影響を及ぼす他の選択、メトリックおよびパラメータに基づいて、プレビュービデオデータ１５０を２Ｄビデオデータとして生成すべきかまたは３Ｄビデオデータとして生成すべきかを判断し得る。
【０１３６】
画像／ビデオ処理ユニット１３２と、画像／ビデオ符号器ユニット１３４と、ディスプレイ処理ユニット１３８とは、コンピュータ可読媒体に記憶された１つまたは複数の命令を実行する（コンピュータ処理ユニットまたはＣＰＵと呼ばれることがある）汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、あるいは任意の他のタイプのプロセッサなど、１つまたは複数のプロセッサを備え得る。代替的に、画像／ビデオ処理ユニット１３２は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）および特定用途向け集積回路（ＡＳＩＣ）など、専用ハードウェアを備え得る。いくつかの事例において、専用ハードウェアと１つまたは複数のプロセッサとの両方は、ユニット１３２、１３４および１３８に関して本開示で説明する様々な動作を行うために組み合わせられ得る。
【０１３７】
上記では、外部ディスプレイデバイス１５４によってサポートされる入力ファイルフォーマットに従って３Ｄビデオコンテンツ１５６を生成するために、バッファされたビデオデータ１５２をフォーマットすることについて説明したが、ディスプレイ処理ユニット１３８は、通常、ＨＤＭＩ、ＤＶＩ、および他のワイヤードファイルフォーマットなど、ワイヤードインターフェースのためのファイルフォーマットのみをサポートする。特に、現時点では正式なまたは規格化されたワイヤレスファイルフォーマットがまだ存在しないことを考慮して、ディスプレイ処理ユニット１３８はワイヤレスファイルフォーマットをサポートしないことがある。しかしながら、ＷＤホストユニット１４２は、外部ディスプレイデバイス１５４のうちの１つまたは複数がワイヤレスファイルフォーマットをサポートしているかどうかを判断するように、ワイヤレスディスプレイファイルフォーマットをサポートし、そのようなワイヤレスディスプレイへのインターフェースを提供し得る。したがって、ＷＤホストユニット１４２は、外部ディスプレイデバイス１５４のうちの１つまたは複数によってサポートされるワイヤレスディスプレイフォーマットを判断し、次いで、判断されたワイヤレスディスプレイフォーマットに従ってバッファ３Ｄビデオデータ１５２をフォーマットするためのインターフェースを提供する、ハードウェアユニットまたはハードウェアユニットとソフトウェアユニットの組合せを表し得る。したがって、ＷＤホストユニット１４２は、モバイルデバイス１２８が、１つまたは複数の外部ディスプレイデバイス１５４によってサポートされるワイヤレスファイルフォーマットに従って３Ｄビデオコンテンツをワイヤレス送信することを可能にすることによって、クロスプラットフォーム再生を可能にし得る。
【０１３８】
ＷＤホストユニット１４２は、外部ディスプレイデバイス１５４のうちのワイヤレスディスプレイを備える外部ディスプレイデバイスの能力に関して、サポートされるワイヤレスファイルフォーマットを含めて、ワイヤレスディスプレイパラメータを判断するために、たとえば、上記で説明したＷＨＤＭＩまたはＷＭＤＤＩプロトコルを実装し得る。ＷＤホストユニット１４２は、ディスプレイ処理ユニット１３８からバッファ３Ｄビデオデータ１５２を受信し、ワイヤレス入力ファイルフォーマットのうちの判断された１つのフォーマットに従ってバッファ３Ｄビデオデータ１５２をフォーマットまたは（ディスプレイ処理ユニット１３８が初めにこのデータをフォーマットする場合は）再フォーマットし、３Ｄビデオコンテンツ１５６をディスプレイ処理ユニット１３８に戻し得る。ディスプレイ処理ユニット１３８は、この３Ｄビデオコンテンツ１５６を、ワイヤレスインターフェース３２Ｂのうちの１つを備え得るが、説明のために別々に示してあるワイヤレスディスプレイインターフェース１４４に転送する。次いで、ワイヤレスディスプレイインターフェース１４４は、この３Ｄビデオコンテンツ１５６を外部ディスプレイデバイス１５４のうちの１つまたは複数に転送する。
【０１３９】
モバイルデバイス１２８内に含まれるものとして示されているが、ＷＤホストユニット１４２は、モバイルデバイス１２８の外部に常駐し、ワイヤレスインターフェース３２Ａまたはワイヤードインターフェース３２Ｂのうちの１つを介してモバイルデバイス１２８とインターフェースし得る。モバイルデバイス１２８の外部にあるとき、ＷＤホストユニット１４２は、ワイヤレスディスプレイインターフェース１４４と同様のワイヤレスディスプレイインターフェース、または以下でより詳細に説明するＷＤクライアントユニットとの通信を可能にする別の同様なインターフェースを備え得る。いくつかの事例において、ＷＤホストユニット１４２は、ワイヤレスファイルフォーマッティングを実行するためにディスプレイ処理ユニット１３８によって実行されるソフトウェアモジュールを備え得る。上記の事例においてディスプレイ処理ユニット１３８がＷＤホストユニット１４２を実行するためのハードウェアを含む限り、ＷＤホストユニット１４２はハードウェアユニットとソフトウェアユニットの両方を備えると考えられ得る。
【０１４０】
いくつかの事例において、ＷＤホストユニット１４２は、選択された宛先デバイス、たとえば、外部ディスプレイデバイス１５４のうちの２つが、異なるワイヤレスファイルフォーマットをサポートすることを識別し得る。この事例では、ＷＤホストユニット１４２は、第１の判断されたワイヤレスファイルフォーマットに従ってフォーマットされた第１の３Ｄビデオコンテンツ１５６と、第２の判断されたワイヤレスファイルフォーマットに従ってフォーマットされた第２の３Ｄビデオコンテンツ１５６とを生成する。次いで、ワイヤレスディスプレイインターフェース１４４は、第１および第２の３Ｄビデオコンテンツ１５６を外部ディスプレイデバイス１５４のうちの適切な１つに転送する。したがって、図５の例では単一の３Ｄビデオコンテンツ１５６のみを送るものとして示しているが、その３Ｄビデオコンテンツ１５６は、各バージョンが異なるワイヤレスファイルフォーマットに従ってフォーマットされる、第１および第２のバージョン、または、より一般的には、複数のバージョンの３Ｄビデオコンテンツ１５６を備え得る。
【０１４１】
１つのワイヤレスフォーマットは、３Ｄビデオコンテンツのビデオデータセグメントとオーディオデータセグメントと深度データセグメントとを複数のパケットのうちの異なる１つの中にカプセル化する、リアルタイムトランスポートプロトコル（ＲＴＰ）などのトランスポートプロトコルを活用するフォーマットを備え得る。その上、このフォーマットは、図８の例に関して以下で示すように、遮蔽情報および／またはグローバル効果情報に対応する情報の追加のセグメントをカプセル化するためにこのトランスポートプロトコルを活用し得る。ＷＤホストユニット１４２は、３Ｄビデオコンテンツ１５６の様々なセグメントを複数のパケットのうちの異なる１つの中にカプセル化するためのこのトランスポートプロトコルを実装するトランスポートユニット１５８を含む。様々なセグメントを異なるパケットにカプセル化した後に、トランスポートユニット１５８は、複数のパケットのうちの１つのヘッダ中の随意のデータフィールド内に３Ｄビデオコンテンツ１５６の再生を向上させるためのメタデータを追加する。このメタデータは、追加のビューのレンダリングを可能にし、特定のディスプレイ上での再生を容易にするパラメータを定義し得る。メタデータはまた、所望のコントラスト、シャープネス、色温度、２Ｄまたは３Ｄスクリーン解像度、および２Ｄまたは３Ｄ再生フォーマット（ピラーボックス、伸張、オリジナルなど）など、ユーザ選択を定義し得る。
【０１４２】
トランスポートプロトコルに関与するこのファイルフォーマットに従って３Ｄビデオデータ１５２をフォーマットした後に、ＷＤホストユニット１４２は、得られた３Ｄビデオコンテンツ１５６をワイヤレスディスプレイインターフェース１４４に転送し得、ワイヤレスディスプレイインターフェース１４４は、パケットを外部ディスプレイデバイス１５４のうちの１つまたは複数に送信する。ワイヤレスディスプレイインターフェース１４４が外部ディスプレイデバイス１５４のうちの２つ以上にこのコンテンツ１５６を送信するとき、その送信は３Ｄビデオコンテンツ１５６の「ＷＤマルチキャスト」と呼ばれることがある。いずれの場合も、この送信は、内部ディスプレイ１４０を介したプレビュービデオデータ１５０の表示と同時に行われ得る。しばしば、プレビュービデオデータ１５０と３Ｄビデオコンテンツ１５６との提示は同期させられる。代替的に、プレビュービデオデータ１５０の提示は、外部ディスプレイデバイス１５４のうちの１つまたは複数による３Ｄビデオコンテンツ１５６の提示の前に行われ得る。
【０１４３】
図６は、本開示で説明する技法の様々な態様を実行する際の、図５の例に示すモバイルデバイス１２８などのモバイルデバイスの例示的な動作を示すフローチャートである。初めに、モバイルデバイス１２８のユーザまたは他のオペレータは、ビデオコンテンツの１つまたは複数のソースと、ワイヤレスビデオコンテンツ配信をサポートする外部ディスプレイデバイス１５４（「外部ワイヤレスディスプレイデバイス」と呼ばれることがある）のうちの１つまたは複数とを選択するデータを入力するために、ユーザインターフェースモジュール７４によって提示されるユーザインターフェースと対話し得る。したがって、ユーザインターフェースモジュール７４は、１つまたは複数のソースと、外部ワイヤレスディスプレイデバイス１５４のうちの１つまたは複数とを選択するデータを受信する（１６２）。ユーザインターフェースモジュール７４は、外部ワイヤレスディスプレイデバイス１５４の中から選択された１つまたは複数の選択をＷＤホストユニット１４０に転送する。
【０１４４】
次いで、ＷＤホストユニット１４０は、外部ワイヤレスディスプレイデバイス１５４の中から選択された外部ワイヤレスディスプレイデバイスの１つまたは複数の能力を定義するパラメータを判断するために、ワイヤレスディスプレイインターフェース１４４などのワイヤレスディスプレイインターフェースを介して、外部ワイヤレスディスプレイデバイス１５４の中から選択された外部ワイヤレスディスプレイデバイスとインターフェースする（１６４）。これらのパラメータは、パラメータ発見モジュール３８によって発見されたパラメータ７６と同様であり得る。１つの例示的なパラメータは、外部ワイヤレスディスプレイデバイス１５４の中から選択された外部ワイヤレスディスプレイデバイスによってサポートされるワイヤレス入力ファイルフォーマットを含み得る。
【０１４５】
一方、画像／ビデオ処理ユニット１３２は、選択されたソース３２Ａ、３２Ｂ、５０および５２のうちの１つまたは複数からビデオデータ１３０を受信し得る（１６６）。（図５には「ビデオキャプチャデバイス５０」として示されている）ソース５０に関して、ビデオキャプチャデバイス５０は、所与の画像（またはビデオキャプチャの場合は一連の画像）に対して２つの視点を与えるために、同時に２つのセンサへの入射画像を同時にキャプチャする２つの画像センサをもつステレオカメラを備え得る。
【０１４６】
ビデオキャプチャデバイス５０は、いくつかの方法で同期式にビデオデータをキャプチャし得る。第１の方法では、２つのセンサから発信したデータは、バッファとともに高速シリアルキャプチャまたはパラレルキャプチャのいずれかを使用して同じメモリバスを介して受信される。シリアルキャプチャの場合、画像／ビデオ処理ユニット１３２は、深度抽出中に２つの異なるビューのシリアルキャプチャ間の時間オフセットを考慮に入れる。第２の方法では、２つのセンサから発信したデータは、単一バスが２つのセンサ間で共有されるときに生じる弊害を回避するために、異なるメモリバスを介して受信される。第３の方法では、２つのセンサから発信したデータは、一般にストリーミングフォーマットであり、組込みディスプレイまたは外部ディスプレイ上でプレビューされるべきディスプレイバッファに書き込まれる。
【０１４７】
このプレビューモードでは、メモリ帯域幅および／または電力を節約するために、一般に、２つの２Ｄ視点のうちの１つのみ、または言い換えれば、２つのセンサのうちの１つからのデータストリームがプレビューされ得る。ユーザインターフェースモジュール７４を介して入力されるユーザ選択は、２Ｄまたは３Ｄのいずれかを示し得る（たとえば、一方または両方の視点がディスプレイプロセッサに送られる）。ユーザ入力は、所与のビデオ記録または画像キャプチャセッションの間にリアルタイムまたはほぼリアルタイムで入力されるか、または一般的な選択として指定され得る。ユーザ選択はまた、上記で説明したように、２Ｄはテキスト、電子メールおよびウェブブラウジング用に使用され、３Ｄはカムコーダおよびメディアプレーヤ用に使用されるように、所与のアプリケーションに基づいてデータを２Ｄで提示すべきかまたは３Ｄで提示すべきかを示し得る。画像／ビデオ処理ユニット１３２は、利用可能なバッテリー電力、あるいは（「自動的」に行われると呼ばれることがある、ユーザ入力／介入を伴うまたは伴わない）電力管理設定に基づいて、ビデオデータ１３０を２Ｄビデオデータに変換すべきかまたは３Ｄビデオデータに変換すべきかを判断し得る。
【０１４８】
内部ディスプレイ１４０がプレビュービデオデータ１５０を３Ｄで提示する３Ｄプレビューの場合、ディスプレイ処理ユニット１３８は、未加工（非圧縮）３Ｄまたは画像データを両方の視点について２つの別々のストリーム、たとえば、プレビュービデオデータ１５０Ａおよび１５０Ｂとして受信し得る。ディスプレイ処理ユニット１３８はまた、センサから２Ｄビデオデータ１３０を直接受信し、画像／ビデオ処理ユニット１３２、画像／ビデオ符号器ユニット１３４、または３Ｄコード化画像／ビデオファイルから３Ｄ深度情報を受信し得る。ディスプレイ処理ユニット１３８はまた、（たとえば、ローカル記憶モジュール５２に記憶された）３Ｄ符号化画像／ビデオファイルから圧縮３Ｄデータを受信し得、その圧縮３Ｄデータは、ワイヤードまたはワイヤレスインターフェース３２Ａ、３２Ｂを介して外部ディスプレイデバイス１５４のうちの１つにストリーミングされ得る。この場合、ディスプレイミラーリングが使用可能であれば、内部ディスプレイ１４０は、センサ／信号プロセッサから、圧縮されていないが処理済みのビデオストリームを取得し得る。オプションとして、内部ディスプレイ１４０は、２Ｄ画像、たとえば、プレビュービデオデータ１５０のうちの１つのみをレンダリングし得る。ディスプレイ処理ユニット１３８はまた、ビデオキャプチャデバイス５０の単一のセンサから２Ｄデータを受信し得、画像／ビデオ処理ユニット１３２は、２Ｄデータを３Ｄデータにコンバートする図２に示す変換モジュール３６の２Ｄ−３Ｄ変換モジュール５８と同様の２Ｄ−３Ｄ処理モジュールを備え得る。
【０１４９】
いずれの場合も、画像／ビデオ処理ユニット１３２は、受信したビデオデータ１３０を３Ｄビデオデータに変換し、または場合によっては３Ｄビデオデータを改良して３Ｄビデオデータ１４６を生成し、潜在的にビデオデータ１５０をプレビューし得る（１６７）。次いで、画像／ビデオ処理ユニット１３２はこのデータを３Ｄ画像／ビデオ符号器に転送し、３Ｄ画像／ビデオ符号器は、３Ｄビデオデータ１４６を符号化して符号化３Ｄビデオデータ１４８を出力する。画像／ビデオバッファユニット１３６は、符号化３Ｄビデオデータ１４８をバッファするかまたは場合によっては記憶し、ディスプレイ処理ユニット１３８は、入力ファイルフォーマットに従ってフォーマットするために、画像／ビデオバッファユニット１３６からバッファされたビデオデータ１５２を取り出す。ディスプレイ処理ユニット１３８はまた、上記のように、プレビュービデオデータ１５０を受信し、バッファ３Ｄビデオデータ１５２をフォーマットすることと同時に、内部ディスプレイ１４０上での表示のためにこのビデオデータをフォーマットし得る。
【０１５０】
ただし、ディスプレイ処理ユニット１３８が、外部ワイヤレスディスプレイ１５４のうちの選択された１つに３Ｄビデオデータ１５２を配信するためのワイヤレス３Ｄファイルフォーマットをサポートし得ないとすれば、ディスプレイ処理ユニット１３８はデータ１５２をＷＤホストユニット１４２に転送する。次いで、ＷＤホストユニット１４２は、上記で説明した方法で判断されたパラメータに従って３Ｄビデオデータ１５２を準備する（１６８）。特に、ＷＤホストユニット１４２は、外部ワイヤレスディスプレイデバイス１５４の中から選択された外部ワイヤレスディスプレイデバイスのうちの１つまたは複数によってサポートされるワイヤレス３Ｄファイルフォーマットに従って３Ｄビデオデータ１５２をフォーマットし得る。
【０１５１】
次いで、ＷＤホストユニット１４２は、準備した３Ｄビデオデータを元のディスプレイ処理ユニット１３８に転送し、ディスプレイ処理ユニット１３８は、この準備した（「３Ｄビデオコンテンツ１５６」とも呼ばれ得る）３Ｄビデオデータをワイヤレスディスプレイインターフェース１４４に転送する。ワイヤレスディスプレイインターフェース１４４は、外部ワイヤレスディスプレイデバイス１５４のうちの選択された１つまたは複数とインターフェースして、この準備した３Ｄビデオデータ１５６を外部ワイヤレスディスプレイデバイス１５４のうちのこれらの１つまたは複数にワイヤレス送信する（１７０）。
【０１５２】
代替的に、上記のように、ＷＤホストユニット１４２はワイヤレスディスプレイインターフェース１４４と一体化され得、その場合、ディスプレイ処理ユニット１３８は、フォーマッティングを実行することなしに、バッファ３Ｄビデオデータ１５２をワイヤレスディスプレイインターフェース１４４に転送する。ＷＤホストユニット１４２は、この事例では、外部ワイヤレスディスプレイデバイス１５４の中から選択された外部ワイヤレスディスプレイデバイスによってサポートされる判断されたワイヤレスファイルフォーマットに従ってバッファ３Ｄビデオデータ１５２をフォーマットする。次いで、ワイヤレスディスプレイインターフェース１４４は、外部ワイヤレスディスプレイデバイス１５４の中から選択された外部ワイヤレスディスプレイデバイスにこの準備した３Ｄビデオデータ１５６を転送する。
【０１５３】
図７は、本開示で説明する技法の様々な態様に従ってフォーマットされた、図５の例に関して示した３Ｄビデオコンテンツ１５６などの３Ｄビデオコンテンツを示すブロック図である。具体的には、ＷＤホストユニット１４２のトランスポートユニット１５８は、ＲＴＰに従って３Ｄビデオコンテンツ１５６をフォーマットしている。トランスポートユニット１５８は、いくつかの異なる部分１７２Ａ〜１７２Ｎ（「部分１７２」）を備えるバッファ３Ｄビデオデータ１５２を受信する。これらの部分は、バッファ３Ｄビデオデータ１５２の一部分を備え得、（ヘッダまたは他の表記法などによって）定義されているかまたはいないにかかわらず、データ１５２のフレーム、スライス、ピクチャグループ、１つまたは複数のマクロブロック、１つまたは複数のブロック、１つまたは複数のピクセル値、あるいは任意の他の部分に対応し得る。図示されていないが、バッファユニット１３６はオーディオデータをもバッファし得、そのオーディオデータは、バッファされたビデオデータ１５２とともに転送され得る。
【０１５４】
部分１７２の各々は、ビデオセグメント１７４Ａ〜１７４Ｎ（「ビデオセグメント１７４」）と深度セグメント１７６Ａ〜１７６Ｎ（「深度セグメント１７６」）の両方、およびバッファオーディオデータ（「オーディオセグメント１７８」）のセグメント１７８Ａ〜１７８Ｎを含む、バッファされたビデオデータ１５２の様々なセグメントを備え得る。トランスポートユニット１５８は、これらの部分１７２の各々に、図７の例では「ＴＳ  １」〜「ＴＳ  Ｎ」と示された対応するタイムスタンプ１８０Ａ〜１８０Ｎ（「タイムスタンプ１８０」）を割り当てる。次いで、トランスポートユニット１５８は、セグメント１７４〜１７８の各々が存在する部分１７２のうちの対応する１つに割り当てられた、タイムスタンプ１８０のうちの対応する１つとともにセグメント１７４、１７６および１７８の各々をカプセル化する。
【０１５５】
たとえば、トランスポートユニット１５８は、セグメント１７４Ａ〜１７８Ａが存在する部分１７２Ａに「ＴＳ  １」のタイムスタンプ１８０Ａを割り当てる。次いで、トランスポートユニット１５８は、「ＴＳ  １」のタイムスタンプ１８０Ａとともにセグメント１７４Ａ、１７６Ａおよび１７８Ａの各々をカプセル化し、図７の例に示すカプセル化されたセグメントを生じる。このカプセル化はＲＴＰに準拠し得る。トランスポートユニット１５８はまた、ＲＴＰに従って他のヘッダ情報とともにセグメント１７４〜１７８の各々をカプセル化して、セグメント１７４〜１７８のうちの異なる１つを含んでいるパケットを形成し得、ならびに、上記で説明したメタデータを生成し、これらのパケットの各々のヘッダ中に埋め込み得、これについては図８に関して以下でより詳細に説明する。
【０１５６】
ＲＴＰとＲＴＰによるパケットの形成とに関するさらなる情報は、その各々の全体が参照により本明細書に組み込まれる、１９９８年１月付けの「RTP Payload Format for MPEG1/MPEG2 Video」と題するｒｅｑｕｅｓｔ  ｆｏｒ  ｃｏｍｍｅｎｔｓ（ＲＦＣ）２２５０と、１９９９年１２月付けの「Guidelines for Writers of RTP Payload Format Specification」と題するＲＦＣ２７３６と、２０００年１１月付けの「RTP Payload Format for MPEG-4 Audio/Visual Streams」と題するＲＦＣ３０１６と、２００３年７月付けの「RTP: A transport Protocol for Real-Time Applications」と題するＲＦＣ３５５０と、２００３年１１月付けの「RTP Payload Format for Transport of MPEG-4 Elementary Streams」と題するＲＦＣ３６４０と、２００５年２月付けの「RTP Payload Format for H.264 Video」と題するＲＦＣ３９８４と、２００９年１０月付けの「RTP Payload Format for Elementary Streams with MPEG Surround Multi-Channel Audio」と題するＲＦＣ５６９１とにおいて見出だされ得る。
【０１５７】
ＲＴＰストリームとしてフォーマットされた３Ｄビデオコンテンツ１５６を生成するためにこのようにしてＲＴＰを活用することは、２Ｄ専用ディスプレイデバイスがこの３Ｄビデオコンテンツ１５６を受信し、深度セグメント１７６を考慮せずにビデオセグメント１７４のみを提示し得るという意味において、後方互換性を可能にし得る。すなわち、この２Ｄ専用ディスプレイデバイスは、深度セグメント１７６をドロップするかまたは場合によっては認識しなくてよく、ビデオセグメント１７４として送られた２Ｄビデオデータのみを提示する。この点において、２Ｄ専用ディスプレイデバイスに対して後方互換性がある深度セグメント１７６を配信するためにＲＴＰの拡張性を活用する上記のファイルフォーマットは、この後方互換性によってクロスプラットフォーム３Ｄビデオ再生を容易にし得る。
【０１５８】
図８Ａ〜図８Ｃは、本開示で説明する技法の様々な態様による、メタデータが埋め込まれた例示的なセグメント１８１Ａ〜１８１Ｃを示すブロック図である。図８Ａは、本開示で説明する技法の様々な態様に従って深度メタデータを記憶する例示的なセグメント１８１Ａを示すブロック図である。セグメント１８１Ａは、ペイロードタイプフィールド１８２Ａ（「ペイロードタイプ１８２Ａ」）と、深度範囲フィールド１８２Ｂ（「深度範囲１８２Ｂ」）と、深度解像度フィールド１８２Ｃ（「深度解像度１８２Ｃ」）と、カメラモデルパラメータフィールド１８２Ｄ（「カメラモデルパラメータ１８２Ｄ」）と、最適閲覧パラメータフィールド１８２Ｅ（「最適閲覧パラメータ１８２Ｅ」）と、圧縮タイプフィールド１８２Ｆ（「圧縮タイプ１８２Ｆ」）とを含む。
【０１５９】
ペイロードタイプフィールド１８２Ａは、ペイロードをカプセル化するヘッダデータとこのデータを区別するために「ペイロード」とも呼ばれることがある、この例では深度データを示す、セグメントに記憶されるデータのタイプを記憶する。深度範囲フィールド１８２Ｂは、所与の３Ｄビデオ画像またはビデオの深度平面の幅とサイズとを対象とするデータを記憶する。深度平面は、現在の画像と同じサイズであるかまたはそれよりも小さくなり得る。カメラモデルパラメータフィールド１８２Ｄは、外部または内部カメラモデルパラメータに関係するデータを記憶する。最適閲覧パラメータフィールド１８２Ｅは、閲覧スクリーンのサイズおよび閲覧距離、ならびに収束平面、上記の深度範囲、明るさおよびいくつかの他の関係するパラメータによって定義される、閲覧角を対象とするデータを記憶する。圧縮タイプフィールド１８２Ｆは、ＪＰＥＧ、Ｈ．２６４または自社固有の圧縮アルゴリズムを（proprietary compression algorithm）示し得る、ビデオのペイロードまたはオーディオセグメントにおいて使用される圧縮のタイプを記述するデータを記憶する。
【０１６０】
図８Ｂは、本開示で説明する技法の様々な態様に従って遮蔽メタデータを記憶する例示的なセグメント１８１Ｂを示すブロック図である。セグメント１８１Ｂは、ペイロードタイプフィールド１８４Ａ（「ペイロードタイプ１８４Ａ」）と、ベースラインフィールド１８４Ｂ（「ベースライン１８４Ｂ」）と、遮蔽解像度フィールド１８４Ｃ（「遮蔽解像度１８４Ｃ」）と、圧縮タイプフィールド１８２Ｄ（「圧縮タイプ１８２Ｄ」）とを含む。ペイロードタイプフィールド１８４Ａは、ペイロードをカプセル化するヘッダデータとこのデータを区別するために「ペイロード」とも呼ばれることがある、この例では遮蔽データを示す、セグメントに記憶されるデータのタイプを記憶する。ベースラインフィールド１８４Ｂは、現在の画像がそれから収集された第１のビューの位置に対してシフトされる水平距離を定義するデータを記憶する。遮蔽解像度フィールド１８４Ｃは、遮蔽平面の幅とサイズとを定義するデータを記憶しており、遮蔽平面は、現在の画像と同じサイズであるかまたはそれよりも小さくなり得る。圧縮タイプ１８４Ｄは、圧縮タイプ１８２Ｆと実質的に同様であり得る。
【０１６１】
図８Ｃは、本開示で説明する技法の様々な態様に従ってグローバル効果メタデータを記憶する例示的なセグメント１８１Ｃを示すブロック図である。セグメント１８１Ｃは、ペイロードタイプフィールド１８６（「ペイロードタイプ１８６」）と、複数のパラメータ１８８Ａ〜１８８Ｎ（「パラメータ１８８」）とを含む。ペイロードタイプフィールド１８４Ａは、ペイロードをカプセル化するヘッダデータとこのデータを区別するために「ペイロード」とも呼ばれることがある、この例ではグローバル効果データを示す、セグメントに記憶されるデータのタイプを記憶する。パラメータ１８８は、もや、雨、雪、および煙など、グローバル効果に対応するデータを記憶している。パラメータ１８８の各々は、異なるタイプのグローバル効果に関係し、所与のグローバル効果のタイプ、密度、位置および繰返しを指定し得る。パラメータ１８８は、そのようなグローバル効果がコンピュータグラフィックスにおいて記述される方法と同様の方法でグローバル効果を定義するために、この情報を記憶し得る。
【０１６２】
図９は、本開示で説明する技法のフォーマッティング態様を実行する際の、ワイヤレスディスプレイ（ＷＤ）ホストユニット、図５の例に示されたＷＤホストユニット１４２の例示的な動作を示すフローチャートである。初めに、ＷＤホストユニット１４２は、ディスプレイ処理ユニット１３８からバッファ３Ｄビデオデータ１５２とオーディオデータとを受信し得る（２００）。３Ｄビデオデータを受信すると、ＷＤホストユニット１４２のトランスポートユニット１５８は、図７の例のビデオセグメント１７４および深度セグメント１７６など、３Ｄビデオデータ２０２のビデオセグメントと深度セグメントとを判断する（２０２）。同様に、トランスポートユニット１５８は、オーディオセグメント１８０など、オーディオデータのオーディオセグメントを判断する（２０４）。
【０１６３】
次いで、トランスポートユニット１５８は、上記で説明したように、ビデオデータ１５２とオーディオデータとの部分１７２の各々についてタイムスタンプ１８０を判断する（２０６）。トランスポートユニット１５８は、同じく上記で説明したように、パケットを形成するためにタイムスタンプ１８０のうちの対応する１つとともに部分１７２のうちの同じ１つのセグメント１７４〜１７８をカプセル化する（２０８）。ＷＤホストユニット１４２は、上記で説明した方法でメタデータを判断し得、その後、トランスポートユニット１５８は、判断されたメタデータをパケットのヘッダ中に埋め込む（２１０、２１２）。埋め込まれたメタデータとともに得られたパケットは、図８の例に示すパケットに似ていることがあり得る。メタデータを埋め込んだ後に、トランスポートユニット１５８は、パケットをワイヤレスデバイスインターフェース１４４に転送し、ワイヤレスデバイスインターフェース１４４は、外部ワイヤレスディスプレイデバイス１５４の中から選択された外部ワイヤレスディスプレイデバイスにパケットを転送することに進む（２１４）。
【０１６４】
図１０Ａ〜図１０Ｅは、クロスプラットフォームビデオ再生を容易にするために本開示で説明する技法の１つまたは複数の態様を実装する様々なシステム２１６Ａ〜２１６Ｅを示すブロック図である。より詳細には、図１０Ａは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と外部ＷＤクライアントユニット２２２とを含むシステム２１６Ａを示すブロック図である。外部ＷＤホストユニット２１８は、システム２１６Ａのモバイルデバイス２１７とインターフェースするデバイスを備え得る。モバイルデバイス２１７がモバイルデバイス１２８のＷＤホストユニット１４２と同様の一体型または内部ＷＤホストユニットを含まないことを除いて、モバイルデバイス２１７は、図５のモバイルデバイス１２８と同様であり得る。外部ＷＤホストユニット２１８は、モバイルデバイス１２８のワイヤードインターフェース３２Ｂのうちの１つと同様のワイヤードインターフェースを通してモバイルデバイス２１７とインターフェースする、いわゆる「ドングル」を備え得る。たとえば、外部ＷＤホストユニット２１８は、ユニバーサルシステムバス（ＵＳＢ）またはマイクロＵＳＢワイヤードインターフェースを介してモバイルデバイス２１７とインターフェースし得る。
【０１６５】
外部ＷＤクライアントユニット２２２は、同様に、システム２１６Ａのディスプレイプラットフォーム２２３とインターフェースするデバイスを備える。外部ＷＤクライアント２２２は、外部ＷＤホストユニット２１８と同様に、ＵＳＢインターフェース、複合オーディオ／ビデオ（Ａ／Ｖ）インターフェース、ＨＤＭＩインターフェースまたは任意の他のワイヤードインターフェースなど、ワイヤードインターフェースを介してディスプレイプラットフォーム２２３とインターフェースする、いわゆる「ドングル」を備え得る。
【０１６６】
ディスプレイプラットフォーム２２３は、デジタルビデオディスク（ＤＶＤ）プレーヤ、オーディオ／ビデオ受信機、Ｂｌｕｒａｙ（登録商標）ディスクプレーヤ、マルチメディアプレーヤ、デジタルビデオレコーダ（ＤＶＲ）、または３Ｄディスプレイデバイス２２８とインターフェースするためのプラットフォームを与える任意の他のデバイスなど、システム２１６Ａの３Ｄディスプレイデバイス２２８とインターフェースするデバイスを表し得る。いくつかの事例において、ディスプレイプラットフォーム２２３は、ラップトップまたはデスクトップコンピュータなどのパーソナルコンピュータ、あるいは２Ｄ−３Ｄコンバージョンの実行専用のデバイスを備え得る。３Ｄディスプレイデバイス２２８は、図５の例に示す外部ディスプレイデバイス１５４と同様であり得る。３Ｄディスプレイデバイス２２８とは別個に示されているが、ディスプレイプラットフォーム２２３は、３Ｄディスプレイデバイス２２８中に組み込まれ得る。
【０１６７】
上記のように、現時点では、ビデオデータをワイヤレスにディスプレイデバイスに転送するための規格化されたワイヤレスディスプレイプロトコルは存在しない。規格化されたワイヤレスディスプレイプロトコルがこのようにないことを仮定すれば、ディスプレイプラットフォーム２２３など、たいていのディスプレイプラットフォームはワイヤレスビデオデータ受信または送信をサポートしない。外部ＷＤホストユニット２１８と外部ＷＤクライアントユニット２２２との使用によってこの制限を克服し得る。
【０１６８】
例示のために、モバイルデバイス２１７は２Ｄビデオデータ２２１をソースし得、外部ＷＤホストユニット２１８は、モバイルデバイス２１７と上記の外部ＷＤホストユニット２１８との間のワイヤード接続を通してその２Ｄビデオデータ２２１を受信し得るものと考える。外部ＷＤホストユニット２１８は、外部ＷＤクライアントユニット２２２とのワイヤレスリンク２２０を確立し、次いで、ワイヤレスリンク２２０を介してセッションを確立し得る。このセッションはＲＴＰセッションを備え得る。外部ＷＤホストユニット２１８が２Ｄビデオデータ２２１を受信した際に、ＷＤホストユニット２１８は、外部ＷＤクライアントユニット２２２によってサポートされるワイヤレスディスプレイプロトコルに従って２Ｄビデオデータ２２１をフォーマットする。たとえば、ＷＤホストユニット２１８は、２Ｄビデオデータ２２１が深度セグメントを含まず、したがって、得られたフォーマットされたデータが深度パケットを含まず、各部分がビデオセグメントとオーディオセグメントとをのみを有することになることを除いて、図７の例に示すファイルフォーマットに従って２Ｄビデオデータ２２１をフォーマットすることによって２Ｄビデオデータ２１８を準備し得る。
【０１６９】
外部ＷＤホストユニット２１８はまた、ディスプレイプラットフォーム２２３および／または３Ｄディスプレイデバイス２２８の能力を定義するパラメータを判断するために外部ＷＤクライアントユニット２２２とインターフェースし得る。外部ＷＤホストユニット２１８は、これらのパラメータを要求するために外部ＷＤクライアントユニット２２２とインターフェースし得る。この要求に応答して、外部ＷＤクライアントユニット２２２は、上記で説明した方法で（たとえば、ＷＨＤＭＩを使用して）ディスプレイプラットフォーム２２３の能力を発見するためにワイヤードインターフェースを介してディスプレイプラットフォーム２２３とインターフェースし得る。ディスプレイプラットフォーム２２３はまた、たとえばＨＤＭＩを使用して３Ｄディスプレイデバイス２２８とインターフェースしたとき、３Ｄディスプレイデバイス２２８のパラメータを発見していることがある。次いで、ディスプレイプラットフォーム２２３は、ディスプレイプラットフォーム２２３と３Ｄディスプレイデバイス２２８の一方または両方の能力を記述するパラメータを戻し得、外部ＷＤクライアントユニット２２２はそのパラメータを外部ＷＤホストユニット２１８に転送する。次いで、外部ＷＤホストユニット２１８は、上記で説明したように、これらのパラメータに基づいてメタデータを生成し、このメタデータを様々なパケットのヘッダ中に埋め込み得る。
【０１７０】
いずれの場合も、ＷＤホストユニット２１８は、フォーマットされた２Ｄビデオデータ２２１を、ワイヤレスリンク２２０を介して外部ＷＤクライアントユニット２２２に送信する。このフォーマットされた２Ｄビデオデータ２２１を受信すると、外部ＷＤクライアントユニット２２２は、様々なセグメントをデカプセル化して、２Ｄビデオデータ２２１を改良し、ならびにパケットヘッダ中に埋め込まれたメタデータを抽出し得る。次いで、外部ＷＤクライアントユニット２２は、改良された２Ｄビデオデータ２２１をメタデータとともにディスプレイプラットフォーム２２３に転送する。
【０１７１】
図１０Ａの例に示すように、ディスプレイプラットフォーム２２３は、図２の２Ｄ−３Ｄ処理モジュール５８およびディスプレイフォーマットモジュール６４と同様であり得る、２Ｄ−３Ｄ処理モジュール２２４およびディスプレイフォーマットモジュール２２６を含む。同様ではあるが、２Ｄ−３Ｄ処理モジュール２２４およびディスプレイフォーマットモジュール６４は、２Ｄ−３Ｄ処理モジュール２２４が、ある３Ｄビデオデータ（たとえば、別のビューとは反対の深度）の生成のみをサポートし、ディスプレイフォーマットモジュール２２６が、特定のデバイス固有の３Ｄ入力ファイルフォーマット（たとえば、マルチビューストリームとは反対に２Ｄ＋Ｚ）のみをサポートし得るという点で、より限定された性質をもち得る。２Ｄ−３Ｄ処理モジュール２２４とディスプレイフォーマットモジュール２２６の両方のより限定された性質にもかかわらず、モジュール２２４とモジュール２２６の両方は、ある程度まで構成可能であり得、受信した２Ｄビデオデータ２２１からの３Ｄビデオコンテンツ２２７の生成を改善するために、転送されたメタデータを利用し得る。３Ｄディスプレイデバイス２２８は、３Ｄビデオコンテンツ２２７を受信し、提示する。
【０１７２】
２Ｄ−３Ｄ処理モジュール２２４は、一例として、ハードウェアベースまたはソフトウェアベースのいずれかのメディアプレーヤの場合、プラグインまたは他のソフトウェアモジュールを備え得る。ディスプレイフォーマットモジュール２２６も、一例では、ハードウェアベースまたはソフトウェアベースのいずれかのメディアプレーヤの場合、プラグインまたは他のソフトウェアモジュールを備え得る。ディスプレイフォーマットモジュール２２６は、マルチビューディスプレイのために必要であり得るディスプレイフォーマットインターリービングを実行し得る。
【０１７３】
上記で説明したように、２Ｄ−３Ｄ処理モジュール２２４は、深度情報を抽出することによって、２Ｄビデオデータ２２１を３Ｄビデオコンテンツ２２７の３Ｄビデオデータにコンバートする。この深度抽出は、２Ｄビデオデータ２２１の１つまたは複数のフレームから大規模フィーチャと小規模フィーチャとを識別し、セグメント化することに関与し得る。深度抽出はまた、２Ｄビデオデータ２２１を背景領域、遮蔽領域、および前景領域などの領域に分類することに関与する。分類されると、深度抽出は２Ｄビデオデータ２２１における構造および動きに基づいて３Ｄモデルにおける移動オブジェクトの位置および位置を識別する。深度抽出の結果は、２Ｄビデオデータ２２１の２Ｄ画像（またはフレーム）中の各ピクセルについての深度値であり、各フレームについてのＮビットビットマップ画像として記憶される。代替的に、深度マップが各領域について生成され得、シーンはレンダリング中にオンザフライで構成される。
【０１７４】
入力として２Ｄ＋深度フォーマットされた３Ｄビデオコンテンツ２２７を取る立体視ディスプレイの場合、深度マップ中の情報および２Ｄビデオデータ２２１は、２Ｄ＋ｚファイルフォーマットにフォーマットされて、３Ｄディスプレイデバイス２２８に入力される。３Ｄディスプレイデバイス２２８のためのディスプレイ入力ファイルフォーマットが複数のストリームファイルフォーマットであり、ビデオの複数のストリームまたはビューが単一のコンテナ中にカプセル化される場合、２Ｄ−３Ｄ処理モジュール２２４は、２Ｄビデオフレームと関連する深度マップとに基づいて２Ｄビデオデータ２２１に対応する１つまたは複数の追加の２次ビューポイントを生成し得る。次いで、ディスプレイフォーマットモジュール２２６は、必要とされる閲覧角と、ビューの数と、ディスプレイのためにまたはユーザによって（たとえば、メタデータとして）定義された他のパラメータとに応じて、元の２Ｄビデオデータまたは２Ｄビデオデータ２２１を２次ビューでインターリーブする。
【０１７５】
図１０Ｂは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と内部ＷＤクライアントユニット２３０とを含むシステム２１６Ｂを示すブロック図である。ディスプレイプラットフォーム２２３’が図１０Ａの場合のように外部ＷＤクライアントデバイスとのインターフェースではなく内部ＷＤクライアントユニット２３０を含むことを除いて、システム２１６Ｂはシステム２１６Ａと実質的に同様であり、図１０Ａでは、ディスプレイプラットフォーム２２３が外部ＷＤクライアントユニット２２２とインターフェースしている。このために、ディスプレイプラットフォーム２２３’は、参照符号「２２３」の次にプライム記号を用いて示される。ワイヤードインターフェースを介してディスプレイプラットフォーム２２３とインターフェースすることを除いて、内部ＷＤクライアントユニット２３０は、外部ＷＤクライアントユニット２２２と実質的に同様の方法で動作し得る。代わりに、内部ＷＤクライアントデバイス２３０はディスプレイプラットフォーム２２３’内に組み込まれており、それによってディスプレイプラットフォーム２２３’と外部でインターフェースすることを回避する。
【０１７６】
図１０Ｃは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と外部ＷＤクライアントユニット２２２とを含む別のシステム２１６Ｃを示すブロック図である。システム２１６Ｃのディスプレイプラットフォーム２２３’’が深度マルチビュー（Ｚ−ＭＶ）処理モジュール２３４を含むことを除いて、システム２１６Ｃはシステム２１６Ａと同様である。この差異を示すために、ディスプレイプラットフォーム２２３’’は、参照符号「２２３」の後に２つのプライム記号を用いて示される。システム２１６Ａとシステム２１６Ｃとの間の別の差異は、モバイルデバイス２１７が２Ｄ＋ｚファイルフォーマットに従ってフォーマットされた３Ｄビデオデータ２３２を出力することである。
【０１７７】
モバイルデバイス２１７は、上記で説明したソースのいずれかから２Ｄビデオデータを受信し、非リアルタイムまたはリアルタイムまたはほぼリアルタイムのいずれかで２Ｄ−３Ｄ処理を実行し得る。代替的に、モバイルデバイス２１７は、３Ｄビデオコンテンツを受信し、（ＭＰＥＧ−Ｃパート３において規定されているように）３Ｄビデオコンテンツを２Ｄ＋ｚフォーマットに変換し得る。深度マップ（または「ｚ」）情報のためにフレームごとに追加のパケットを搬送するように変更されたＭＰ４などの既存のファイルフォーマットを使用して、モバイルデバイス２１７はこの３Ｄビデオデータ２３２をカプセル化し得る。深度パケットのためのカプセル化ヘッダは、ファイルフォーマット仕様において情報要素としてユーザデータについて規定されたヘッダであり得る。この情報要素を使用することは、２Ｄビデオディスプレイとの後方互換性を可能にし得る。このＭＰ４ワイヤレスディスプレイプロトコルにおける深度パケットは、タイミング／同期情報を介して、または代替的に、同様に関連付けのために使用され得る、シーケンス番号などのビデオパケットのためのフレーム固有の識別情報を介して、対応するビデオパケットに関連し得る。
【０１７８】
システム２１６Ｃでは、外部ＷＤホストユニット２１８は、３Ｄビデオデータ２３２を受信し、ワイヤレスディスプレイプロトコルに従ってこのデータ２３２をフォーマットし、図７に示すそれと同様のフォーマットされた３Ｄビデオデータ２３２を生じる。ＷＤホストユニット２１８は、ＭＰ４ファイルのためのパーサにおいて３Ｄビデオデータ２３２を傍受し、ビデオ、オーディオ、および深度パケットを検索し得る。次いで、ＷＤホストユニット２１８は、ＲＴＰヘッダでこれらのパケットを再カプセル化してＲＴＰストリームを形成し、ＷＤホストユニット２１８は、そのＲＴＰストリームをリアルタイムストリーミングプロトコル（ＲＴＳＰ）を介して、外部ＷＤクライアントデバイス２２２にストリーミングする。これらのストリームは、図７の例に関して上記で説明したフォーマッティングに従ってフォーマットされ得る。実際には、ＷＤホストユニット２１８は、２Ｄ＋ｚ３Ｄビデオデータ２３２を搬送するために、トランスポートプロトコル（たとえば、ＲＴＰ）を変更する。
【０１７９】
外部ＷＤクライアントユニット２２２は、ワイヤレスリンク２２０を介してこれらのストリームを受信し、２Ｄ＋ｚ符号化に従って符号化された３Ｄビデオデータ２３２をリフォームするために、ストリームをデカプセル化し、この３Ｄビデオデータ２３２をＺ−ＭＶ処理モジュール２３４に転送する。Ｚ−ＭＶ処理モジュール２３４は、３Ｄビデオデータ２３２からマルチビューをレンダリングすることによって、３Ｄビデオデータ２３２を２Ｄ＋ｚ符号化フォーマットからマルチビューストリーム符号化フォーマットにコンバートする。次いで、ディスプレイフォーマットモジュール２２６は、上記で説明したこれらのマルチビューをインターリーブして３Ｄビデオコンテンツ２３６を生成し、３Ｄディスプレイデバイス２２８は、３Ｄビデオコンテンツ２３６を受信し、１人または複数の閲覧者による消費のために提示する。
【０１８０】
図１０Ｄは、その両方が本開示で説明する技法の様々な態様を実装する、外部ＷＤホストユニット２１８と内部ＷＤクライアントユニット２３０とを含む別のシステム２１６Ｄを示すブロック図である。図１０Ｄに示すように、両方のシステム２１６Ｂ、２１Ｄがモバイルデバイス２１７と、外部ＷＤホストユニット２１８と、内部ＷＤクライアントユニット２３０と、１つまたは複数の３Ｄディスプレイデバイス２２８とを含むという点で、システム２１６Ｄはシステム２１６Ｂと同様である。しかしながら、システム２１６Ｂでは、ディスプレイプラットフォーム２２３’が内部ＷＤクライアントユニット２３０を含んでいたが、システム２１６Ｄは、内部ＷＤクライアントユニット２３０を含むモバイルマルチメディアデバイス２３７を含む。このために、ディスプレイプラットフォーム２２３は、この差異を識別するために、参照符号「２２３」の後に３つのプライム記号を用いて示される。
【０１８１】
モバイルマルチメディアデバイス２３７は、内部ＷＤクライアントユニット２３０とＺ−グラフィックス処理ユニット（ＧＰＵ）処理モジュール２３８（「Ｚ−ＧＰＵ処理モジュール２３８」）とを含むモバイルマルチメディアプロセッサ（図１０Ｄに図示せず）を含み得る。マルチメディアプロセッサはＧＰＵを含み得る。この意味で、ＷＤクライアントユニット２３０およびＺ−ＧＰＵ処理モジュール２３８は、ＧＰＵを用いてマルチメディアプロセッサ上でホスティングされると見なされ得る。Ｚ−ＧＰＵ処理モジュール２３８は、２Ｄ＋ｚフォーマットに従って符号化された３Ｄビデオデータ２３２をマルチビュー符号化フォーマットにコンバートするように、深度マルチビューコンバージョンプロセスを実行する。内部ＷＤクライアントユニット２３０および外部ＷＤホストユニット２１８は、図１０Ｂのシステム２１６Ｂ中のこれらの同じユニットに関して説明したのと同様の方法で互いと通信し得るが、図１０Ｃのシステム２１６Ｃに関して説明したように、その通信は３Ｄビデオデータ２３２に関与する。
【０１８２】
いずれの場合も、内部ＷＤクライアントユニット２３０は、ワイヤレスディスプレイプロトコルに従ってフォーマットされたカプセル化された３Ｄビデオデータ２３２を受信し、このカプセル化された３Ｄビデオデータ２３２をデカプセル化して、３Ｄビデオデータ２３２をリフォームする。内部ＷＤクライアントユニット２３０は、このデータ２３２をＺ−ＧＰＵ処理モジュール２３８に転送し、Ｚ−ＧＰＵ処理モジュール２３８は、マルチビュー符号化フォーマットに従ってフォーマットされた３Ｄビデオデータ２４２を生成するためにコンバージョンプロセスを実行する汎用計算エンジンとして、ＧＰＵを利用する。汎用計算エンジンとしてのＧＰＵの使用は、ＯｐｅｎＣＬを使用することに関与し、ＯｐｅｎＣＬは、ＣＰＵとＧＰＵとからなる異種プラットフォームにわたって実行する書込みプログラムのためのフレームワークを備える。ＯｐｅｎＣＬは、ＯｐｅｎＣＬデバイス上で実行する書込み機能と、プラットフォームを定義し、次いで制御するために使用されるアプリケーションプログラマーインターフェース（ＡＰＩ）とのための言語を含む。
【０１８３】
Ｚ−ＧＰＵ処理モジュール２３８は、ＧＰＵを使用してリアルタイムまたはほぼリアルタイムの深度マルチビューコンバージョンを実行し得、それによって２Ｄ＋ｚフォーマットおよびマルチストリームビデオフォーマットなどの異なるフォーマットの３Ｄコンテンツを受け付ける異種のディスプレイとインターフェースすることを可能にし得る。たとえば、Ｚ−ＧＰＵ処理モジュール２３８は、２Ｄ＋ｚフォーマットに従ってフォーマットされた３Ｄビデオデータ２４０を生成し得、３Ｄディスプレイ２２８Ａは、ディスプレイプラットフォーム２２３’’による処理を介入することなしに、その３Ｄビデオデータ２４０を直接受け付け得る。Ｚ−ＧＰＵ処理モジュール２３８はまた、マルチビューフォーマットに従ってフォーマットされた３Ｄビデオデータ２４１を生成し、このデータ２４１をディスプレイプラットフォーム２２３’’’に転送し得る。ディスプレイプラットフォーム２２３’’’のディスプレイフォーマットモジュール２２６は、マルチビューフォーマットされた３Ｄビデオデータ２４１からストリームをインターリーブして３Ｄビデオデータ２４２を生成し得、３Ｄディスプレイデバイス２２８Ｂは、３Ｄビデオデータ２４２を受信し、提示し得る。
【０１８４】
図１０Ｅは、本開示で説明する技法の１つまたは複数の態様を実行する別のシステム２１６Ｅを示すブロック図である。モバイルマルチメディアデバイス２３７’が内部ＷＤクライアントユニット２３０と２Ｄ−３Ｄ処理モジュール２２４とを含むことを除いて、システム２１６Ｅは、図１０Ｄのシステム２１６Ｄと同様であり得る。この差異を示すために、モバイルマルチメディアデバイス２３７’は、参照符号「２３７」の後にプライム記号を含む。
【０１８５】
いずれの場合も、モバイルデバイス２１７は、２Ｄビデオコンテンツまたは３Ｄビデオコンテンツ２４４を外部ＷＤホストユニット２１８に転送し得、外部ＷＤホストユニット２１８は、上記で説明したワイヤレスディスプレイプロトコルに従ってこのコンテンツ２４４をカプセル化し、ワイヤレスリンク２２０を介してフォーマットされたコンテンツ２４４を内部ＷＤクライアントユニット２３０に転送する。コンテンツが２Ｄビデオコンテンツ２４４である場合、内部ＷＤクライアントユニット２３０は、リアルタイムまたはほぼリアルタイムの２Ｄ−３Ｄコンバージョン（たとえば、深度抽出）を実行するために、このデータ２４４を２Ｄ−３Ｄ処理ユニット２２４に転送し得る。ディスプレイ２２８Ａ、２２８Ｂの一方または両方によって必要とされた場合、２Ｄ−３Ｄ処理モジュール２２４は、上記で説明したように、マルチビューフォーマットされた３Ｄビデオデータを生成するために、３ＤビデオデータをＺ−ＧＰＵ処理モジュール２３８に転送し得る。内部ＷＤクライアントユニット２３０が３Ｄビデオコンテンツ２４４を受信し、ディスプレイ２２８Ａ、２２８Ｂの一方または両方がマルチビューファイルフォーマットを必要とする場合、内部ＷＤクライアントユニット２３０は、Ｚ−ＧＰＵ処理モジュール２３８に３Ｄビデオコンテンツ２４４を転送し得、Ｚ−ＧＰＵ処理モジュール２３８は、マルチビューファイルフォーマットに従ってフォーマットされた３Ｄビデオデータ２４１を生成する。
【０１８６】
次いで、モバイルマルチメディアデバイス２３７’は、上記で説明したようにコンテンツ２４０を３Ｄディスプレイデバイス２２８Ａに転送し得る。代替的に、上記で説明したように、モバイルマルチメディアデバイス２３７’は、３Ｄビデオデータ２４１をディスプレイプラットフォーム２２３’’’に転送し得る。再び上記で説明したように、ディスプレイプラットフォーム２２３’’’は、ディスプレイフォーマットモジュール２２６を使用して複数のビューをインターリーブし、得られた３Ｄビデオコンテンツ２４２を３Ｄディスプレイデバイス２２８Ｂに転送し得る。
【０１８７】
システム２１６Ｅでは、モバイルデバイス２１７は、外部ＷＤホスト／クライアントユニット２１８と内部ＷＤホスト／クライアントユニット２３０とによって実装されたワイヤレスディスプレイプロトコルを介して、２Ｄまたは３Ｄビデオコンテンツを駆動することを選択し得る。上記のように、ＷＤホストユニット２１８およびＷＤクライアントユニット２３０は、クライアントが接続されたディスプレイ（１つまたは複数のスルーミラーリング）を表すパラメータを交換し得、これらのパラメータは、これらのディスプレイによってサポートされる３Ｄコンテンツフォーマットを含む。ワイヤレスリンク２２０上の利用可能な帯域幅に応じて、モバイルデバイス２１７ではなく、ＷＤクライアントユニット２３０が２Ｄ−３Ｄコンバージョンプロセスを実行し得る。また、モバイルマルチメディアデバイス２３７’内でコンバージョンを実行することは、より良いユーザエクスペリエンスと視覚的品質とを容易にし得る。その上、３Ｄディスプレイのパラメータに応じて、深度マルチビューコンバージョンプロセスが実行される。さらに、モバイルマルチメディアデバイス２３７’は、ワイヤレスディスプレイプロトコルからディスプレイフォーマットへのフォーマット変換を実行し得る。
【０１８８】
システム２１６Ａ〜２１６Ｅのすべてにおいて、様々な構成要素は、ＷＤホストとクライアントユニットとを利用して、旧来のワイヤードディスプレイが、ワイヤレスディスプレイになるか、または少なくともワイヤレス接続を介してアクセス可能になることを可能にし得る。したがって、様々な内部および外部ＷＤホストおよびクライアントユニットは、ワイヤードディスプレイをワイヤレスディスプレイ上にコンバートすることによって、クロスプラットフォーム３Ｄビデオ再生を容易にし得る。その上、様々なＷＤホストおよびクライアントユニットは、特定の３Ｄコンテンツフォーマットを規定しないが、２Ｄ専用ディスプレイデバイスとの後方互換性を依然として可能にすると同時にワイヤレスに３Ｄビデオデータを効率的に送信するためのワイヤレスディスプレイトランスポートプロトコルのみを与える。この点において、様々な内部および外部ＷＤホストおよびクライアントユニットは、クロスプラットフォーム３Ｄビデオ再生をさらに容易にし得る。
【０１８９】
本明細書に説明される技法は、ハードウェア、ファームウェア、または任意のその組合せにおいて実施され得る。ハードウェアは、場合によっては、ソフトウェアをも実行し得る。モジュール、ユニットまたは構成要素として説明した特徴は、集積論理デバイスにおいて一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。場合によっては、様々な特徴は、集積回路チップまたはチップセットなどの集積回路デバイスとして実装され得る。ソフトウェアで実装された場合、これらの技法は、実行されると、上記で説明した方法の１つまたは複数をプロセッサに実行させる命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。
【０１９０】
コンピュータ可読媒体は、パッケージング材料を含むことがある、コンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などのコンピュータデータ記憶媒体を備え得る。本技法は、追加または代替として、少なくとも部分的に、命令またはデータ構造の形態でコードを搬送または通信し、コンピュータによってアクセス、読取り、および／または実行され得るコンピュータ可読通信媒体によって実現され得る。
【０１９１】
コードまたは命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な集積またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明する機能を、専用のソフトウェアモジュールまたはハードウェアモジュールの内部に与え得る。本開示はまた、本開示で説明した技法の１つまたは複数を実装する回路を含む様々な集積回路デバイスのいずれかを企図する。そのような回路は、単一の集積回路チップ、またはいわゆるチップセット中の複数の相互運用可能な集積回路チップで提供され得る。そのような集積回路デバイスは様々な適用例において使用され得、適用例のいくつかは携帯電話ハンドセットなどのワイヤレス通信デバイスでの使用を含み得る。
【０１９２】
本開示の様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオ処理デバイスで、３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することと、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、
前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換する前記ビデオ処理デバイスを構成することと、
２Ｄビデオデータを受信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換することと
を備える、方法。
［Ｃ２］
１つまたは複数のパラメータを判断することは、前記３Ｄディスプレイデバイスによってサポートされる前記能力を定義する前記１つまたは複数のパラメータを自動的に決定することを備える、
［Ｃ１］に記載の方法。
［Ｃ３］
１つまたは複数のパラメータを判断することは、前記１つまたは複数のパラメータを判断するディスプレイインターフェースプロトコルに従って前記３Ｄディスプレイデバイスをインターフェースすることを備える、
［Ｃ１］に記載の方法。
［Ｃ４］
前記ディスプレイインターフェースプロトコルは、高解像度マルチメディアインターフェース（ＨＤＭＩ）プロトコルまたはワイヤレスＨＤＭＩ（ＷＨＤＭＩ）プロトコル、モバイルディスプレイデジタルインターフェース（ＭＤＤＩ）、ワイヤレスＭＤＤＩ（ＷＭＤＤＩ）、およびモバイルインダストリプロセッサインターフェース（ＭＩＰＩ）を備える、
［Ｃ３］に記載の方法。
［Ｃ５］
前記３Ｄディスプレイデバイスによってサポートされない異なる入力フォーマットに準拠する追加の３Ｄビデオデータを受信することと、
前記異なる入力フォーマットに準拠する前記追加の３Ｄビデオデータを前記判断された入力ファイルフォーマットに準拠する前記３Ｄビデオデータに変換することと
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ６］
前記３Ｄディスプレイデバイスによって再生するための前記２Ｄビデオデータの前記変化を定義するために、前記判断されたパラメータに基づいて前記ビデオ処理デバイスを構成することをさらに備える、
［Ｃ１］に記載の方法。
［Ｃ７］
前記パラメータは、サポートされるコントラスト、現在のコントラスト、サポートされるシャープネス、現在のシャープネス、サポートされる色温度、現在の色温度、サポートされる明るさ、現在の明るさ、サポートされる解像度、現在の解像度、サポートされるディスプレイフォーマット、現在のディスプレイフォーマット、サポートされる色設定、現在の色設定、サポートされる入力フォーマット、ディスプレイタイプ、ディスプレイ製造業者、サポートされる深度範囲、現在の深度範囲、収束平面のサポートされる位置、前記収束平面の現在の位置、背景オブジェクトの滑らかさのサポートされる程度、背景オブジェクトの現在の滑らかさ、サポートされる目距離構成、現在の目距離構成、サポートされる利き目構成、現在の利き目構成、サポートされるビューの数、現在のビューの数、サポートされる閲覧距離、現在の閲覧距離、サポートされる閲覧角、現在の閲覧角、スクリーン内の前記３Ｄビデオコンテンツのサポートされるディスプレイ位置、および前記スクリーン内の前記３Ｄビデオコンテンツの現在の位置のうちの少なくとも１つを備える、
［Ｃ１］に記載の方法。
［Ｃ８］
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースを提示することと、
前記２Ｄビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示することと、
前記２Ｄビデオデータを受信するために前記選択されたソースで通信することと、
前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信することと
をさらに備える［Ｃ１］に記載の方法。
［Ｃ９］
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースを提示することと、
前記ビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示することと、
前記ビデオデータを受信するために前記選択されたソースで通信することと、
前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するために、前記ビデオデータを３Ｄビデオデータに変換することと
をさらに備える、
［Ｃ１］に記載の方法。
［Ｃ１０］
１つまたは複数のユーザ選択を定義する入力データを受信するユーザインターフェースを提示することと、
前記定義されたユーザ選択に従って３Ｄビデオデータを生成するために、ビデオデータを３Ｄビデオデータに変換する前記デバイスを構成することと
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ１１］
前記ユーザ選択は、所望のシャープネスと、所望のコントラストと、所望のディスプレイフォーマットと、所望の色温度と、所望の色設定と、所望の輝度と、所望の最大深度範囲と、前記収束平面の所望の位置と、バックグラウンドオブジェクトの滑らかさの所望の程度と、所望の目距離構成と、所望の利き目構成と、所望のビューの数と、所望の閲覧距離と、所望の閲覧角と、前記スクリーン内の前記３Ｄビデオコンテンツの所望のディスプレイ位置および解像度とのうちの少なくとも１つを含む、
［Ｃ１０］に記載の方法。
［Ｃ１２］
１つまたは複数のユーザ選択を定義する入力を受信するユーザインターフェースを提示することは、任意のアプリケーションにグローバルに適用する１つまたは複数のグローバルユーザ選択および特定の１つまたは複数のアプリケーションにのみ適用する１つまたは複数のアプリケーション特有のユーザ選択を定義する入力データを受信するユーザインターフェースを提示することを含む、
［Ｃ１０］に記載の方法。
［Ｃ１３］
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデータを転送すると同時に、２次元または３次元のいずれかの前記３Ｄビデオデータをプレビューするために、前記デバイス内に含まれる内部ディスプレイに前記生成された３Ｄビデオデータの２Ｄバージョンまたは前記生成された３Ｄビデオデータのいずれかを転送することをさらに備える、
［Ｃ１］に記載の方法。
［Ｃ１４］
前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断することと、
前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記ビデオ処理デバイスを再構成することと
さらに備える、［Ｃ１］に記載の方法。
［Ｃ１５］
前記入力フォーマットは、１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットを備える、
［Ｃ１］に記載の方法。
［Ｃ１６］
前記１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットは、２Ｄ＋深度入力フォーマット、２Ｄ＋深度遮蔽およびグローバル効果入力フォーマット、およびマルチビューストリーム入力フォーマットを備え、
前記２Ｄ＋深度遮蔽およびグローバル効果入力フォーマットは、１つまたは複数の透明度、グローバル照度、および大気効果を定義する、
［Ｃ１４］に記載の方法。
［Ｃ１７］
前記ビデオ処理デバイスは、モバイルセルラー電話と、モバイルコンピューティングデバイスと、ポータブルデバイスと、ハンドセットデバイスとのうちの１つを備える、
［Ｃ１］に記載の方法。
［Ｃ１８］
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデバイスを転送することをさらに備える、
［Ｃ１］に記載の方法。
［Ｃ１９］
変換モジュールと、
３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するパラメータ発見モジュールと、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含み、前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換する前記変換モジュールを構成する、
２Ｄビデオデータを受信する少なくとも１つのインターフェースと
を備え、前記変換モジュールは、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換する、
装置。
［Ｃ２０］
前記パラメータ発見モジュールは、前記３Ｄディスプレイデバイスによってサポートされる前記能力を定義する前記１つまたは複数のパラメータを自動的に決定することを備える、
［Ｃ１９］に記載の装置。
［Ｃ２１］
前記パラメータ発見モジュールは、前記１つまたは複数のパラメータを判断するディスプレイインターフェースプロトコルに従って前記３Ｄディスプレイデバイスをインターフェースすることを備える、
［Ｃ１９］に記載の装置。
［Ｃ２２］
前記ディスプレイインターフェースプロトコルは、高解像度マルチメディアインターフェース（ＨＤＭＩ）プロトコルまたはワイヤレスＨＤＭＩ（ＷＨＤＭＩ）プロトコル、モバイルディスプレイデジタルインターフェース（ＭＤＤＩ）、ワイヤレスＭＤＤＩ（ＷＭＤＤＩ）、およびモバイルインダストリプロセッサインターフェース（ＭＩＰＩ）を備える、
［Ｃ２１］に記載の装置。
［Ｃ２３］
前記少なくとも１つのインターフェースは、前記３Ｄディスプレイデバイスによってサポートされない異なる入力フォーマットに準拠する追加の３Ｄビデオデータを受信し、
前記変換モジュールは、前記異なる入力フォーマットに準拠する前記追加の３Ｄビデオデータを前記判断された入力ファイルフォーマットに準拠する前記３Ｄビデオデータに変換する、
［Ｃ１９］に記載の装置。
［Ｃ２４］
前記パラメータ発見モジュールは、前記３Ｄディスプレイデバイスによって再生するための前記２Ｄビデオデータの前記変化を定義するために、前記判断されたパラメータに基づいて前記ビデオ処理デバイスを構成する、
［Ｃ１９］に記載の装置。
［Ｃ２５］
前記パラメータは、サポートされるコントラスト、現在のコントラスト、サポートされるシャープネス、現在のシャープネス、サポートされる色温度、現在の色温度、サポートされる明るさ、現在の明るさ、サポートされる解像度、現在の解像度、サポートされるディスプレイフォーマット、現在のディスプレイフォーマット、サポートされる色設定、現在の色設定、サポートされる入力フォーマット、ディスプレイタイプ、ディスプレイ製造業者、サポートされる深度範囲、現在の深度範囲、収束平面のサポートされる位置、前記収束平面の現在の位置、背景オブジェクトの滑らかさのサポートされる程度、背景オブジェクトの現在の滑らかさ、サポートされる目距離構成、現在の目距離構成、サポートされる利き目構成、現在の利き目構成、サポートされるビューの数、現在のビューの数、サポートされる閲覧距離、現在の閲覧距離、サポートされる閲覧角、現在の閲覧角、スクリーン内の前記３Ｄビデオコンテンツのサポートされるディスプレイ位置、および前記スクリーン内の前記３Ｄビデオコンテンツの現在の位置のうちの少なくとも１つを備える、
［Ｃ１９］に記載の装置。
［Ｃ２６］
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースおよび前記２Ｄビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示するユーザインターフェースモジュールをさらに備え、
前記少なくとも１つのインターフェースは、前記２Ｄビデオデータを受信するために前記選択されたソースで通信し、前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信する、
［Ｃ１９］に記載の装置。
［Ｃ２７］
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースおよびビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示するユーザインターフェースモジュールをさらに備え、
前記少なくとも１つのインターフェースは、前記ビデオデータを受信するために前記選択されたソースで通信し、前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信し、
前記変換モジュールは、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠するために、前記ビデオデータを３Ｄビデオデータに変換する、
［Ｃ１９］に記載の装置。
［Ｃ２８］
１つまたは複数のユーザ選択を定義する入力データを受信するユーザインターフェースを提示するユーザインターエースモジュールと、
前記定義されたユーザ選択に従って３Ｄビデオデータを生成するために、ビデオデータを３Ｄビデオデータに変換する前記デバイスを構成する人間視覚系（ＨＶＳ）フィードバックモジュールと
さらに備える、［Ｃ１９］に記載の装置。
［Ｃ２９］
前記ユーザ選択は、所望のシャープネスと、所望のコントラストと、所望のディスプレイフォーマットと、所望の色温度と、所望の色設定と、所望の輝度と、所望の最大深度範囲と、収束平面の所望の位置と、バックグラウンドオブジェクトの滑らかさの所望の程度と、所望の目距離構成と、所望の利き目構成と、所望のビューの数と、所望の閲覧距離と、所望の閲覧角と、前記スクリーン内の前記３Ｄビデオコンテンツの所望のディスプレイ位置および解像度とのうちの少なくとも１つを含む、
［Ｃ２８］に記載の装置。
［Ｃ３０］
前記ユーザインターフェースは、任意のアプリケーションにグローバルに適用する１つまたは複数のグローバルユーザ選択および特定の１つまたは複数のアプリケーションにのみ適用する１つまたは複数のアプリケーション特有のユーザ選択を定義する入力データを受信するユーザインターフェースを提示することを含む、
［Ｃ２８］に記載の装置。
［Ｃ３１］
３Ｄディスプレイデバイスに前記生成された３Ｄビデオデータを転送すると同時に、２次元または３次元のいずれかの前記３Ｄビデオデータをプレビューするために、前記生成された３Ｄビデオデータの２Ｄバージョンまたは前記生成された３Ｄビデオデータのいずれかをディスプレイする内部ディスプレイをさらに備える
［Ｃ１９］に記載の装置。
［Ｃ３２］
前記変換モジュールが前記ビデオデータ変換している間、人間視覚系（ＨＶＳ）に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映するＨＶＳモデルを使用して１つまたは複数のメトリックを判断し、前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成する、ＨＶＳフィードバックモジュールをさらに備える、
［Ｃ１９］に記載の装置。
［Ｃ３３］
前記入力フォーマットは、１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットを備える、
［Ｃ１９］に記載の装置。
［Ｃ３４］
前記１つまたは複数の入力送信フォーマットおよび入力記憶フォーマットは、２Ｄ＋深度入力フォーマット、２Ｄ＋深度遮蔽およびグローバル効果入力フォーマット、およびマルチビューストリーム入力フォーマットを備え、
前記２Ｄ＋深度遮蔽およびグローバル効果入力フォーマットは、１つまたは複数の透明度、グローバル照度、および大気効果を定義する、
［Ｃ３３］に記載の装置。
［Ｃ３５］
前記装置は、ビデオ処理デバイスと、モバイルセルラー電話と、モバイルコンピューティングデバイスと、ポータブルデバイスと、ハンドセットデバイスとのうちの１つを備える、
［Ｃ１９］に記載の装置。
［Ｃ３６］
前記少なくとも１つのインターフェースは、前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデバイスを転送する、
［Ｃ１９］に記載の装置。
［Ｃ３７］
３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断することと、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、
前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換するビデオ処理デバイスを構成することと、
２Ｄビデオデータを受信することと、
前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換することと
をプロセッサに行わせる命令を備える、コンピュータ可読記憶媒体。
［Ｃ３８］
ビデオデータを変換するための手段と、
３次元（３Ｄ）ディスプレイデバイスによってサポートされる能力を定義する１つまたは複数のパラメータを判断するための手段と、ここにおいて、前記１つまたは複数のパラメータは、前記３Ｄディスプレイデバイスによってサポートされる入力フォーマットを含む、
前記判断された入力フォーマットに従って、前記３Ｄビデオデータを生成するために２次元（２Ｄ）ビデオデータを３Ｄビデオデータに変換する前記変換モジュールを構成するための手段と、
２Ｄビデオデータを受信するための手段と
を備え、前記ビデオデータを変換するための手段は、前記３Ｄビデオデータが前記判断された入力フォーマットに準拠できるように前記２Ｄビデオデータを３Ｄビデオデータに変換するための手段を備える、
装置。
［Ｃ３９］
１つまたは複数のパラメータを判断するための手段は、前記３Ｄディスプレイデバイスによってサポートされる前記能力を定義する前記１つまたは複数のパラメータを自動的に決定するための手段を備える、
［Ｃ３８］に記載の装置。
［Ｃ４０］
前記判断するための手段は、前記１つまたは複数のパラメータを判断するディスプレイインターフェースプロトコルに従って前記３Ｄディスプレイデバイスをインターフェースするための手段を備える、
［Ｃ３８］に記載の装置。
［Ｃ４１］
受信するための手段は、前記３Ｄディスプレイデバイスによってサポートされない異なる入力フォーマットに準拠する追加の３Ｄビデオデータを受信するための手段を備え、
変換するための手段は、前記異なる入力フォーマットに準拠する前記追加の３Ｄビデオデータを前記判断された入力ファイルフォーマットに準拠する前記３Ｄビデオデータに変換するための手段を備える、
［Ｃ３８］に記載の装置。
［Ｃ４２］
複数の３Ｄディスプレイデバイスの中から前記３Ｄディスプレイデバイスを選択する入力データを受信する第１のユーザインターフェースを提示するための手段と、
前記２Ｄビデオデータのソースを選択する入力データを受信する第２のユーザインターフェースを提示するための手段と
を備え、前記受信するための手段は、前記２Ｄビデオデータを受信するために前記選択されたソースで通信するための手段と、前記１つまたは複数のパラメータを自動的に判断するために前記選択された３Ｄディスプレイデバイスで通信するための手段とを含む、
［Ｃ３８］に記載の装置。
［Ｃ４３］
１つまたは複数のユーザ選択を定義する入力データを受信するユーザインターフェースを提示するための手段と、
前記定義されたユーザ選択に従って３Ｄビデオデータを生成するために、ビデオデータを３Ｄビデオデータに変換する前記変換モジュールを構成するための手段と
をさらに備える、［Ｃ３８］に記載の装置。
［Ｃ４４］
提示するための手段は、任意のアプリケーションにグローバルに適用する１つまたは複数のグローバルユーザ選択および特定の１つまたは複数のアプリケーションにのみ適用する１つまたは複数のアプリケーション特有のユーザ選択を定義する入力データを受信するユーザインターフェースを提示するための手段を含む、
［Ｃ４３］に記載の装置。
［Ｃ４５］
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデータを転送すると同時に、２次元または３次元のいずれかの前記３Ｄビデオデータをプレビューするために、前記生成された３Ｄビデオデータの２Ｄバージョンまたは前記生成された３Ｄビデオデータのいずれかをディスプレイするための手段をさらに備える、
［Ｃ３８］に記載の装置。
［Ｃ４６］
前記変換モジュールが前記ビデオデータを変換している間、人間視覚系に対する前記生成された３Ｄビデオデータの３Ｄ可視化の品質を反映し、する人間視覚系（ＨＶＳ）モデルを使用して１つまたは複数のメトリックを判断するための手段と、前記変換モジュールが前記ビデオデータを変換している間、前記３Ｄビデオデータの前記生成を改良するために前記判断された１つまたは複数のメトリックに基づいて前記変換モジュールを再構成するための手段と
をさらに備える、［Ｃ３８］に記載の装置。
［Ｃ４７］
前記装置は、ビデオ処理デバイスと、モバイルセルラー電話と、モバイルコンピューティングデバイスと、ポータブルデバイスと、ハンドセットデバイスとのうちの１つを備える、
［Ｃ３８］に記載の装置。
［Ｃ４８］
前記３Ｄディスプレイデバイスに前記生成された３Ｄビデオデバイスを転送することをさらに備える、
［Ｃ３８］に記載の装置。
【図１】
0005475132.tif 000002
【図２】
0005475132.tif 000003
【図３】
0005475132.tif 000004
【図４Ａ】
0005475132.tif 000005
【図４Ｂ】
0005475132.tif 000006
【図５】
0005475132.tif 000007
【図６】
0005475132.tif 000008
【図７】
0005475132.tif 000009
【図８Ａ】
0005475132.tif 000010
【図８Ｂ】
0005475132.tif 000011
【図８Ｃ】
0005475132.tif 000012
【図９】
0005475132.tif 000013
【図１０Ａ】
0005475132.tif 000014
【図１０Ｂ】
0005475132.tif 000015
【図１０Ｃ】
0005475132.tif 000016
【図１０Ｄ】
0005475132.tif 000017
【図１０Ｅ】
0005475132.tif 000018