(57)【要約】２次元および３次元立体ビデオ信号の適応変換装置およびその方法。２次元および３次元立体ビデオ信号の適応変換装置は、ユーザ特性およびユーザ端末特性を含む特別な使用環境に、デジタルコンテンツを適応変換させることによって、最上のデジタルコンテンツの経験を提供する。本装置は、効率的なビデオコンテンツの送信において、ユーザの適応変換要求を実現可能とする。
2005533433.tif 000002
【特許請求の範囲】
【請求項１】
単一ソースをマルチユースするために、２次元ビデオ信号または３次元立体ビデオ信号を適応変換するビデオ適応変換装置において、
ビデオ信号に対するユーザ特性を記述するユーザ特性情報を、ユーザ端末から収集して記述し管理するビデオ使用環境情報管理手段と、
前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換手段と
を備えることを特徴とするビデオ適応変換装置。
【請求項２】
前記ユーザ特性情報は、
２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合に、陽の立体感または陰の立体感に対するユーザの好み度を含むことを特徴とする請求項１に記載のビデオ適応変換装置。
【請求項３】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項２に記載のビデオ適応変換装置。
<element name="Parallaxtype">
<simpleType>
<restriction base="string">
<enumeration value="Positive"/>
<enumeration value="Negative"/>
</restriction>
</simpleType>
</element>
【請求項４】
前記ユーザ特性情報は、
２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合に、適応変換される３次元立体ビデオ信号の立体感の深さに対するユーザの好み度を含むことを特徴とする請求項１に記載のビデオ適応変換装置。
【請求項５】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項４に記載のビデオ適応変換装置。
<element 
name="DepthRange"
type="mpeg7:zeroToOneType"/>
【請求項６】
前記ユーザ特性情報は、
２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合に、現在フレームＩＫと共に３次元立体ビデオ信号で構成される最大遅延フレームＩＫ-ｎの数ｎに対するユーザの好み度を含むことを特徴とする請求項１に記載のビデオ適応変換装置。
【請求項７】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項６に記載のビデオ適応変換装置。
<element 
name="MaxDelayedFrame"
type="nonNegativeInteger"/>
【請求項８】
前記ユーザ特性情報は、
３次元立体ビデオ信号を２次元ビデオ信号に適応変換させる場合に、前記３次元立体ビデオ信号を構成する画像信号のうち、どの画像信号を２次元ビデオ信号とするかに対するユーザの好み度を含むことを特徴とする請求項１に記載のビデオ適応変換装置。
【請求項９】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項８に記載のビデオ適応変換装置。
<element name="LeftRightInterVideo">
<simpleType>
<restriction base="string">
<enumeration value="Left"/>
<enumeration value="Right"/>
<enumeration value="Intermediate"/>
</restriction>
</simpleType>
</element>
【請求項１０】
単一ソースをマルチユースするために、２次元ビデオ信号または３次元立体ビデオ信号を適応変換するビデオ適応変換装置において、
ビデオ信号処理に対するユーザ端末特性を記述するユーザ端末特性情報をユーザ端末から収集し、記述して管理するビデオ使用環境情報管理手段と、
前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換手段と
を含むことを特徴とするビデオ適応変換装置。
【請求項１１】
前記ユーザ端末特性情報は、
前記ユーザ端末が支援する表示装置に対する情報を含むことを特徴とする請求項１０に記載のビデオ適応変換装置。
【請求項１２】
前記ユーザ端末特性情報は、以下の情報構造により表現されることを特徴とする請求項１１に記載のビデオ適応変換装置。
<element name＝"DisplayDevice">
<simpleType>
<restriction base="string">
<enumeration value="Monoscopic"/>
<enumeration value="Stereoscopic"/>
</restriction>
</simpleType>
</element>
【請求項１３】
前記ユーザ端末特性情報は、
前記ユーザ端末が支援する３次元ビデオデコーダに対する情報を含むことを特徴とする請求項１０に記載のビデオ適応変換装置。
【請求項１４】
前記ユーザ端末特性情報は、
以下の情報構造により表現されることを特徴とする請求項１３に記載のビデオ適応変換装置。
<element name="StereoscopicDecoderType"
type="mpeg7:ControlledTermUseType"/>
【請求項１５】
前記ユーザ端末特性情報は、
前記ユーザ端末が支援する３次元ビデオレンダリング方式に対する情報を含むことを特徴とする請求項１０に記載のビデオ適応変換装置。
【請求項１６】
前記ユーザ端末特性情報は、
以下の技術情報構造により表現されることを特徴とする請求項１５に記載のビデオ適応変換装置。
<element name="RenderingFormat">
<simpleType>
<restriction base="string">
<enumeration value="Interlaced"/>
<enumeration value="Sync-Double"/>
<enumeration value="Page-Flipping"/>
<enumeration value="Anaglyph-Red-Blue"/>
<enumeration value="Anaglyph-Red-Cyan"/>
<enumeration value="Anaglyph-Red-Yellow"/>
</restriction>
</simpleType>
</element>
【請求項１７】
単一ソースをマルチユースするために、２次元ビデオ信号または３次元立体ビデオ信号を適応変換するビデオ適応変換方法において、
ａ）ビデオ信号に対するユーザ特性を記述するユーザ特性情報をユーザ端末から収集して記述し管理する第１ステップと、
ｂ）前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させる第２ステップと
を含むことを特徴とするビデオ適応変換方法。
【請求項１８】
前記ユーザ特性情報は、
２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合に、陽の立体感または陰の立体感に対するユーザの好み度を含むことを特徴とする請求項１７に記載のビデオ適応変換方法。
【請求項１９】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項１８に記載のビデオ適応変換方法。
<element name="Parallaxtype">
<simpleType>
<restriction base="string">
<enumeration value="Positive"/>
<enumeration value="Negative"/>
</restriction>
</simpleType>
</element>
【請求項２０】
前記ユーザ特性情報は、
２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合に、適応変換される３次元立体ビデオ信号の立体感の深さに対するユーザの好み度を含むことを特徴とする請求項１７に記載のビデオ適応変換方法。
【請求項２１】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項２０に記載のビデオ適応変換方法。
<element 
name="DepthRange"
type="mpeg7:zeroToOneType"/>
【請求項２２】
前記ユーザ特性情報は、
２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合に、現在フレームＩＫと共に３次元立体ビデオ信号で構成される最大遅延フレームＩＫ-ｎの数ｎに対するユーザの好み度を含むことを特徴とする請求項１７に記載のビデオ適応変換方法。
【請求項２３】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項２２に記載のビデオ適応変換方法。
<element 
name="MaxDelayedFrame"
type="nonNegativeInteger"/>
【請求項２４】
前記ユーザ特性情報は、
３次元立体ビデオ信号を２次元ビデオ信号に適応変換させる場合に、前記３次元立体ビデオ信号を構成する画像信号のうち、どの画像信号を２次元ビデオ信号とするかに対するユーザの好み度を含むことを特徴とする請求項１７に記載のビデオ適応変換方法。
【請求項２５】
前記ユーザ特性情報は、
以下の情報構造により表現されることを特徴とする請求項２４に記載のビデオ適応変換方法。
<element name="LeftRightInterVideo">
<simpleType>
<restriction base="string">
<enumeration value="Left"/>
<enumeration value="Right"/>
<enumeration value="Intermediate"/>
</restriction>
</simpleType>
</element>
【請求項２６】
単一ソースをマルチユースするために、２次元ビデオ信号または３次元立体ビデオ信号を適応変換するビデオ適応変換方法において、
ａ）ビデオ信号処理に対するユーザ端末特性を記述するユーザ端末特性情報をユーザ端末から収集して記述し管理するステップと、
ｂ）前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるステップと
を含むことを特徴とするビデオ適応変換方法。
【請求項２７】
前記ユーザ端末特性情報は、
前記ユーザ端末が支援する表示装置に対する情報を含むことを特徴とする請求項２６に記載のビデオ適応変換方法。
【請求項２８】
前記ユーザ端末特性情報は、
以下の情報構造により表現されることを特徴とする請求項２７に記載のビデオ適応変換方法。
<element name="DisplayDevice">
<simpleType>
<restriction base="string">
<enumeration value="Monoscopic"/>
<enumeration value="Stereoscopic"/>
</restriction>
</simpleType>
</element>
【請求項２９】
前記ユーザ端末特性情報は、
前記ユーザ端末が支援する３次元ビデオデコーダに対する情報を含むことを特徴とする２６に記載のビデオ適応変換方法。
【請求項３０】
前記ユーザ端末特性情報は、
以下の情報構造により表現されることを特徴とする請求項２９に記載のビデオ適応変換方法。
<element name="StereoscopicDecoderType"
type="mpeg7:ControlledTermUseType"/>
【請求項３１】
前記ユーザ端末特性情報は、
前記ユーザ端末が支援する３次元ビデオレンダリング方式に対する情報を含むことを特徴とする請求項２６に記載のビデオ適応変換方法。
【請求項３２】
前記ユーザ端末特性情報は、
以下の情報構造により表現されることを特徴とする請求項３１に記載のビデオ適応変換方法。
<element name="RenderingFormat">
<simpleType>
<restriction base="string">
<enumeration value="Interlaced"/>
<enumeration value="Sync-Double"/>
<enumeration value="Page-Flipping"/>
<enumeration value="Anaglyph-Red-Blue"/>
<enumeration value="Anaglyph-Red-Cyan"/>
<enumeration value="Anaglyph-Red-Yellow"/>
</restriction>
</simpleType>
</element>
【請求項３３】
単一ソースをマルチユースするために、２次元ビデオ信号または３次元立体ビデオ信号をビデオ適応変換するためのプロセッサを備えたビデオ適応変換システムに、
ａ）ビデオ信号に対するユーザ特性を記述するユーザ特性情報をユーザ端末から収集して記述し管理するビデオ使用環境情報管理機能と、
ｂ）前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換機能と
を実現させるためのプログラムを記録した、コンピュータで読み出すことができることを特徴とする記録媒体。
【請求項３４】
単一ソースをマルチユースするために、２次元ビデオ信号または３次元立体ビデオ信号をビデオ適応変換するためのプロセッサを備えたビデオ適応変換システムに、
ａ）ビデオ信号処理に対するユーザ端末特性を記述するユーザ端末特性情報をユーザ端末から収集して記述し管理するビデオ使用環境情報管理機能と、
ｂ）前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換機能と
を実現させるためのプログラムを記録した、コンピュータで読み出すことができることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元および３次元の立体ビデオ信号の適応変換装置およびその方法と、該方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体、特に様々な使用環境、すなわち、ユーザ特性および端末特性に符合するように、２次元および３次元の立体ビデオ信号を適応変換させる装置およびその方法と、該方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体に関する。
【背景技術】
【０００２】
ＭＰＥＧは、ＭＰＥＧ-２１の新しい標準作業項目である、デジタル項目適応変換(ＤＩＧＩＴＡＬ ＩＴＥＭ ＡＤＡＰＴＡＴＩＯＮ，ＤＩＡ)を提示した。デジタル項目(ＤＩＧＩＴＡＬ ＩＴＥＭ，ＤＩ)は、標準化された表現、識別およびメタデータを有する構造化されたデジタルオブジェクト(ＳＴＲＵＣＴＵＲＥＤ ＤＩＧＩＴＡＬ ＯＢＪＥＣＴ ＷＩＴＨ Ａ ＳＴＡＮＤＡＲＤ ＲＥＰＲＥＳＥ-ＮＴＡＴＩＯＮ，ＩＮＤＥＮＴＩＦＩＣＡＴＩＯＮ ＡＮＤ ＭＥＴＡ-ＤＡＴＡ)を意味し、ＤＩＡは、ＤＩがリソース適応変換エンジン(ＲＥＳＯＵＲＣＥ ＡＤ-ＡＰＴＡＴＩＯＮ ＥＮＧＩＮＥ)、または、記述子適応変換エンジン(ＤＥＳＣ-ＲＩＰＴＯＲ ＡＤＡＰＴＡＴＩＯＮ ＥＮＧＩＮＥ)で処理され、適応変換されたＤＩを生成するプロセスを意味する。
【０００３】
ここで、リソースとは、ビデオまたはオーディオクリップ、画像またはテキスト項目のように個別に識別できる項目を意味し、物理的なオブジェクトを意味することもある。記述子は、ＤＩ内の項目またはコンポーネントに関連した情報を意味する。
【０００４】
また、ユーザは、ＤＩの生産者、権利者、分配者および消費者などを全て含む。メディアリソースは、直接デジタル表現可能なコンテンツを意味する。本明細書におけるコンテンツという用語は、ＤＩ、メディアリソースおよびリソースと同じ意味で使用される。
【０００５】
従来は、２次元(２Ｄ)ビデオが一般的なメディアであったが、３次元(３Ｄ)ビデオも情報通信分野に導入された。立体(Ｓｔｅｒｅｏｓｃｏｐｉｃ)画像およびビデオは、インターネットサイト、ＤＶＤタイトルなどでよく見られる。このような現状況によって、ＭＰＥＧは、立体ビデオ処理に関心を寄せるようになった。立体ビデオの圧縮形式は、ＭＰＥＧ-２(ＭＰＥＧ,“Ｆｉｎａｌ Ｔｅ-ｘｔ ｏｆ １２８１８-２/ＡＭＤ ３(ＭＰＥＧ-２ Ｍｕｌｔｉｖｉｅｗ ｐｒｏ-ｆｉｌｅ)”，ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９/ＷＧ１１)に標準化されている。ＭＰＥＧ-２ Ｍｕｌｔｉｖｉｅｗ ｐｒｏｆｉｌｅ(ＭＶＰ)は、ＭＰＥＧ-２標準に対する修正案であり、立体ＴＶを主要適用分野として１９９６年に定義した。不均衡-補償予測(ｄｉｓｐａｒｉｔｙ-ｃｏｍｐｅｎｓａｔｅｄ Ｐｒｅｄｉｃ-ｔｉｏｎ)を、暗示的に定義することによって、ＭＶＰは公知のハイブリッドコーディングをインタ-ビューチャネルリダンダンシ(Ｉｎｔｅｒ-ｖｉｅｗｃｈａｎｎ-ｅｌ Ｒｅｄｕｎｄａｎｃｉｅｓ)の活用として拡張させた。マルチカメラシーケンスに対する時間スケーラビリティ(ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙ，ＴＳ)モード使用の定義およびＭＰＥＧ-２シンタックスにおいて、獲得パラメータの定義が主要で新しい要素である。ＴＳモードは、本来追加のビデオフレームから構成された強化階層ストリームと少ないフレームレートの基底階層ストリームとを結合し、エンコードするために開発されたものである。２つのストリームを全て使用できる場合、デコードされるビデオは最大フレームレートで再生され得る。ＴＳモードにおいて、強化階層マクロブロックの時間的予測は、基底階層のフレームまたは最近再構成された強化階層のフレームに基づいて行われるであろう。
【０００６】
一般に、立体ビデオは、左側および右側カメラを対にする立体カメラを用いて生成される。立体ビデオは、格納されるか、またユーザに送信される。立体ビデオとは異なり、２次元ビデオの３次元立体ビデオへの変換(２Ｄ/３Ｄ立体ビデオ変換)は、ユーザにとって原２次元ビデオデータから３次元立体ビデオを見ることができるようにする。例えば、ユーザはＴＶ、ＶＣＤ、ＤＶＤなどにより３次元立体映画を楽しむことができる。立体カメラにより獲得された一般の立体画像とは異なり、立体変換の主な差異点は、１つの２次元画像から立体画像を生成するという点である。また、立体カメラにより獲得された３次元立体ビデオから２次元ビデオが抽出される(３Ｄ立体/２Ｄビデオ変換)。
【０００７】
従来の技術によると、ビデオコンテンツを消費する使用環境、すなわちユーザ特性および端末特性に対する情報を用いて、１つのビデオコンテンツをそれぞれ異なる使用環境に符合するように適応変換処理できる単一ソースの複数使用(Ｓｉｎｇｌｅ Ｓｏｕｒｃｅ Ｍｕｌｔｉ Ｕｓｅ)環境を提供できないという問題が生じる。
【０００８】
「単一ソース」は、マルチメディアソースから生成された１つのコンテンツを意味し、「複数使用」は、様々な使用環境のユーザ端末が「単一ソース」をそれぞれの使用環境に符合するように消費することを意味する。
【０００９】
単一ソースの複数使用環境は、様々な使用環境に符合するように１つのコンテンツを再加工することで、相異なった使用環境に適応変換された様々な形態のコンテンツを提供でき、さらには、様々な使用環境に適応変換された単一ソースをユーザ端末に提供するにおいて、ネットワークの帯域幅を效率的に使用したり、また減少できるという長所を備えている。
【００１０】
よって、コンテンツ提供者の立場としては、様々な使用環境にビデオ信号を符合させるために、複数のコンテンツを製作するか、また送信する過程において発生する不必要な費用を低減でき、コンテンツ消費者の立場としては、ユーザ自分のビデオ消費特性およびユーザ端末特性を最大限に満足させることができる最適なビデオコンテンツを消費できるようになる。
【００１１】
しかし、従来の技術によると、単一ソースの複数使用環境を支援できる汎用的マルチメディアアクセス(ＵＮＩＶＥＲＳＡＬ ＭＵＬＴＩＭＥＤＩＡ ＡＣＣＥＳＳ，ＵＭＡ)環境においても、単一ソースの複数使用環境の長所を活用できない。
【００１２】
すなわち、マルチメディアソースは、ユーザ特性および端末特性のような使用環境を考慮せず、一律にビデオコンテンツを送信し、ビデオプレーヤアプリケーションが搭載されたユーザ端末は、マルチメディアソースから受信した形式そのままのビデオコンテンツを消費するため、単一ソースの複数使用環境に符合しない。
【００１３】
このような従来の技術の問題点を克服し、単一ソースの複数使用環境を支援するために、マルチメディアソースが様々な使用環境を全て考慮し、マルチメディアコンテンツを提供するようになると、コンテンツの生成および送信において負担が多くなる。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明は、上述した従来の技術の問題点を解決するためになされたものであって、その目的は、２次元および３次元の立体ビデオコンテンツを消費するユーザ端末の使用環境を予め記述した情報を用いて、使用環境に符合するようにビデオコンテンツを適応変換させる２次元および３次元の立体ビデオ信号の適応変換装置およびその方法と、該方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明は、単一ソースの複数使用のための２次元ビデオ信号、または３次元立体ビデオ信号のビデオ適応変換装置において、ビデオ信号に対するユーザ特性を記述するユーザ特性情報を、ユーザ端末から収集し、記述して管理するビデオ使用環境情報管理手段と、前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換手段とを備えることを特徴とするビデオ適応変換装置を提供する。
【００１６】
そして、本発明は、単一ソースの複数使用のための２次元ビデオ信号、または３次元立体ビデオ信号のビデオ適応変換装置において、ビデオ信号処理に対するユーザ端末特性を記述するユーザ端末特性情報をユーザ端末から収集し、記述して管理するビデオ使用環境情報管理手段と、前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換手段とを備えることを特徴とするビデオ適応変換装置を提供する。
【００１７】
また、本発明は、単一ソースの複数使用のための２次元ビデオ信号、または３次元立体ビデオ信号のビデオ適応変換方法において、ビデオ信号に対するユーザ特性を記述するユーザ特性情報をユーザ端末から収集し、記述して管理する第１ステップと、前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させる第２ステップとを含むことを特徴とするビデオ適応変換方法を提供する。
【００１８】
また、本発明は、単一ソースの複数使用のための２次元ビデオ信号、または３次元立体ビデオ信号のビデオ適応変換方法において、ビデオ信号処理に対するユーザ端末特性を記述するユーザ端末特性情報をユーザ端末から収集し、記述して管理するビデオ使用環境情報管理手段と、前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換手段とを備えることを特徴とするビデオ適応変換方法を提供する。
【００１９】
また、本発明は、単一ソースの複数使用のための２次元ビデオ信号、または３次元立体ビデオ信号のビデオ適応変換のために、プロセッサを備えたビデオ適応変換システムに、ビデオ信号に対するユーザ特性を記述するユーザ特性情報をユーザ端末から収集し、記述して管理するビデオ使用環境情報管理機能と、前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができることを特徴とする記録媒体を提供する。
【００２０】
また、本発明は、単一ソースの複数使用のための２次元ビデオ信号、または３次元立体ビデオ信号のビデオ適応変換のために、プロセッサを備えたビデオ適応変換システムに、ビデオ信号処理に対するユーザ端末特性を記述するユーザ端末特性情報をユーザ端末から収集し、記述して管理するビデオ使用環境情報管理機能と、前記ビデオ使用環境情報に符合する２次元ビデオ信号、または３次元立体ビデオ信号が前記ユーザ端末に出力されるように、ビデオ信号を適応変換させるビデオ適応変換機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができることを特徴とする記録媒体を提供する。
【発明の効果】
【００２１】
本発明によると、ビデオコンテンツを消費する使用環境、すなわちユーザ特性および端末特性情報を用いて、１つのビデオコンテンツを様々な使用環境に符合するように適応変換処理できる単一ソースの複数使用環境を提供できる。
【００２２】
本発明が属する技術の分野における通常の知識を有する者であれば、本明細書の図面、発明の詳細な説明および特許請求範囲から、本発明の他の目的および長所を容易に認識できる。
【発明を実施するための最良の形態】
【００２３】
以下の内容は、本発明の原理だけを例示する。したがって、当業者は本明細書に明確に説明したり、また図示されていないが、本発明の原理を具現し本発明の概念と範囲とに含まれた様々な装置を発明できるものである。また、本明細書に列挙された全ての条件付き用語および実施の形態は、原則的に本発明の概念を理解するための目的としてだけ明確に意図され、このように特別に列挙された実施の形態および状態に制約的でないことを理解しなければならない。
また、本発明の原理、観点および実施の形態だけでなく、特定の実施の形態を列挙する全ての詳細な説明は、このような事項の構造的および機能的均等物を含むように意図されるものであると理解しなければならない。また、このような均等物は、現在公知された均等物だけでなく、将来に開発される均等物すなわち構造と関係なく同じ機能を行うように発明された全ての素子を含むものであると理解しなければならない。
【００２４】
したがって、例えば本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念的な観点を示すものであると理解しなければならない。これと同様に、全てのフローチャート、状態変換図、疑似コードなどは、コンピュータが読み出すことができる媒体に実質的に示すことができ、コンピュータまたはプロセッサが明確に図示されたのか否かにかかわらず、コンピュータまたはプロセッサにより行われる様々なプロセスを示すものであると理解しなければならない。
【００２５】
プロセッサ、またはこれと類似の概念で表現された機能ブロックを含む図に示されている様々な素子の機能は、専用ハードウェアだけでなく適切なソフトウェアと関連し、ソフトウェアを実行する能力を有するハードウェアの使用により提供され得る。プロセッサにより提供される時、前記機能は、単一専用プロセッサ、単一共有プロセッサ、または複数の個別プロセッサにより提供され、またこれらのうち一部は共有できる。
【００２６】
また、プロセッサ、制御またはこれと類似の概念で提示される用語の明確な使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に引用して解析されてはならず、制限無しにデジタル信号プロセッサ(ＤＳＰ)ハードウェア、ソフトウェアを格納するためのロム(ＲＯＭ)、ラム(ＲＡＭ)および不揮発性メモリを暗示に含むものであることを理解しなければならない。周知慣用の他のハードウェアも含むことができる。
【００２７】
本明細書の特許請求の範囲において、詳細な説明に記載された機能を行うための手段として表現された構成要素は、例えば前記機能を行う回路素子の組み合わせ、または、ファームウエア/マイクロコードなどを含む全ての形式のソフトウェアを含む機能を行う全ての方法を含むものであると意図されており、前記機能を行うように前記ソフトウェアを実行するための適切な回路と結合される。このような特許請求の範囲により定義される本発明は、多様に列挙された手段により提供される機能が結合して請求項が要求する方式と結合するため、前記機能を提供できるいかなる手段も本明細書から把握されるものと均等であることを理解しなければならない。
【００２８】
上述した目的、特徴および長所は、添付された図面と関連した次の詳細な説明を通してさらに明確になるであろう。まず、各図面の構成要素に参照番号を付加することにおいて、同じ構成要素に限ってはたとえ他の図上に表示されていても可能な限り同じ番号を有するようにしていることを留意しなければならない。また、本発明を説明することにおいて、関連した公知技術に対する具体的な説明が本発明の要旨を不必要に濁らし得ると判断される場合、その詳細な説明を省略する。
【００２９】
以下、本発明のもっとも好ましい実施の形態を添付する図面を参照して説明する。
【００３０】
図１は、本発明の実施の形態に係るビデオ適応変換装置を概略的に示すブロック図である。図１に示されているように、本発明の実施の形態に係るビデオ適応変換装置１００は、ビデオ適応変換部１０３およびビデオ使用環境情報管理部１０７を含む。ビデオ適応変換部１０３およびビデオ使用環境情報管理部１０７のそれぞれは、相互独立してビデオ処理システムに搭載される。
【００３１】
ビデオ処理システムは、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ワークステーション、メーンフレームまたは他の形態のコンピュータを含む。個人携帯情報端末器(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，ＰＤＡ)、移動通信モバイルステーションのような他の形態のデータ処理、または信号処理システムもビデオ処理システムに含まれる。
【００３２】
ビデオ処理システムは、ネットワーク経路を構成する全てのノード、すなわち、マルチメディアソースノードシステム、マルチメディア中継ノードシステムおよびエンドユーザ端末のうち任意のノードシステムであり得る。
【００３３】
エンドユーザ端末は、ＷＩＮＤＯＷＳ（登録商標） ＭＥＤＩＡ ＰＬＡＹＥＲ，ＲＥＡＬ ＰＬＡＹＥＲなどのようなビデオプレーヤが搭載されている。
【００３４】
例えば、ビデオ適応変換装置１００が、マルチメディアソースノードシステムに搭載されて動作する場合、ビデオコンテンツを消費する使用環境を予め記述した情報を用いて、使用環境に符合するようにビデオコンテンツを適応変換させるためには、使用環境に対する情報をエンドユーザ端末から受信し、受信された使用環境に基づいて適応変換されたコンテンツをエンドユーザ端末に送信する。
【００３５】
本発明に係るビデオ適応変換装置１００が、ビデオデータを処理するプロセス、例えばビデオエンコーディングプロセスに対し、ＩＳＯ(Ｉｎｔｅｒｎａ-ｔｉｏｎａｌ Ｏｒｇａｎｉｓａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｓａｔｉｏｎ)/ＩＥＣ(Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ)の技術委員会(Ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｔｔｅｅ)のＩＳＯ/ＩＥＣの標準文書は、本発明の好ましい実施の形態の各構成要素の機能と動作とを説明するのに役立つ範囲において本明細書の一部として含まれる。
【００３６】
ビデオデータソース部１０１は、マルチメディアソースから生成されたビデオデータを受信する。ビデオデータソース部１０１は、マルチメディアソースノードシステムに含まれることもあり、また、マルチメディアソースノードシステムから有/無線ネットワークを介して送信されたビデオデータを受信するマルチメディア中継ノードシステム、またはエンドユーザ端末にも含まれる。
【００３７】
ビデオ適応変換部１０３は、ビデオデータソース部１０１からビデオデータを受信し、ビデオ使用環境情報管理部１０７が使用環境すなわちユーザ特性および端末特性を予め記述した情報を用いて、使用環境に符合するようにビデオデータを適応変換させる。
【００３８】
ビデオ使用環境情報管理部１０７は、ユーザおよびユーザ端末から情報を収集し、使用環境情報を予め記述して管理する。
【００３９】
ビデオデータ出力部１０５は、ビデオ適応変換部１０３により適応変換されたビデオデータを出力する。出力されたビデオデータは、エンドユーザ端末のビデオプレーヤに送信される事もでき、有/無線ネットワークを介してマルチメディア中継ノードシステムまたはエンドユーザ端末に送信されることもできる。
【００４０】
図２は、図１のビデオ適応変換装置により具現可能な実施の形態を概略的に示すブロック図である。図２に示されているように、ビデオデータソース部１０１は、ビデオメタデータ２０１およびビデオコンテンツ２０３を含む。
【００４１】
ビデオデータソース部１０１は、マルチメディアソースから生成されたビデオコンテンツおよびメタデータを収集して格納する。すなわち、地上派、衛星およびケーブルＴＶ信号およびインターネットなどのネットワークおよびＶＣＲ、ＣＤ、ＤＶＤなどの記録媒体などを介して獲得される様々なビデオコンテンツおよびメタデータを収集して格納する。
【００４２】
この時、送信されるビデオコンテンツは、格納あるいは放送およびストリーミング形態で送信される立体感のない２次元ビデオ信号と、立体感を感じることができる３次元立体ビデオフォーマットとを含む。
【００４３】
ビデオメタデータ２０１は、２次元ビデオおよび３次元立体ビデオコンテンツの符号化方式の種類、ファイルの大きさ、ビット率(Ｂｉｔ-Ｒａｔｅ)、秒当たりのフレーム数(Ｆｒａｍｅ/Ｓｅｃｏｎｄ)、解像度(Ｒｅｓｏｌｕｔｉｏｎ)などのビデオメディア情報とビデオコンテンツの題目、製作者、製作場所および日時、ジャンル、等級などの製作および分類情報などのように、対応されるビデオコンテンツに関連した情報である。前記ビデオメタデータは、ＸＭＬ(ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎ-ｇｕａｇｅ)スキーマ(ｓｃｈｅｍａ)により定義され記述できる。
【００４４】
ビデオ使用環境情報管理部１０７は、ユーザ特性情報管理部２０７、ユーザ特性情報入力部２１７、ビデオ端末特性情報管理部２０９およびビデオ端末特性情報入力部２１９を含む。
【００４５】
ユーザ特性情報管理部２０７は、ユーザ特性情報入力部２１７を介し、ユーザ端末からユーザの趣向および好み度によって、３次元立体ビデオコンテンツの立体の深さと範囲、陽陰立体方式(Ｐａｒａｌｌａｘ)などの好みの立体感の情報(２次元ビデオコンテンツを３次元立体ビデオコンテンツに適応変換させる場合)および３次元立体ビデオの左右、あるいは、合成フレームの選択などの情報(３次元立体ビデオコンテンツを２次元ビデオに適応変換させる場合)のような２次元ビデオまたは３次元立体ビデオ変換に適用されるユーザ趣向および好みの情報を受信し管理する。入力されたユーザ特性情報は、例えばＸＭＬ形式の機械で読み出すことができる言語として管理される。
【００４６】
ビデオ端末特性情報管理部２０９は、ビデオ端末特性情報入力部２１９を介し、端末特性情報を受信し管理する。入力された端末能力情報は、例えばＸＭＬ形式の機械判読可能な言語として管理される。
【００４７】
ビデオ端末特性情報入力部２１９は、ユーザ端末に予め設定されているか、また、ユーザにより入力される端末特性情報をビデオ端末特性情報管理部２０９に送信できる。ユーザ端末器において、３次元立体ビデオ信号を再生する時、ユーザ端末処理の表示装置ハードウェアが単眼式(Ｍｏｎｏｓｃｏｐｉｃ)あるいは、立体(Ｓｔｅｒｅｏｓｃｏｐｉｃ)表示装置のうち、どの表示装置なのか、また、３次元立体ビデオ信号を再生するのに必要な３次元立体ビデオ復号化器の種類(例えば、立体ＭＰＥＧ-２、立体ＭＰＥＧ-４、立体ＡＶＩビデオ復号化器等)を指示する情報および３次元立体ビデオ信号の再生時に必要なレンダリング(Ｒｅｎｄｅｒｉｎｇ)方式の種類(例えば、Ｉｎｔｅｒｌａｃｅｄ，Ｓｙｎｃ Ｄｏｕｂｌｅ，Ｐａｇｅ Ｆｌｉｐｐｉｎｇ，Ｒｅｄ Ｂｌｕｅ Ａｎａｇｌｙｐｈ、Ｒｅｄ Ｃｙａｎ Ａｎａｇｌｙｐｈ，Ｒｅｄ Ｙｅｌｌｏｗ Ａｎａｇｌｙｐｈ など)などの３次元立体ビデオ信号の再生時に必要なユーザ端末特性情報を収集し、ユーザ端末特性情報管理部１７０に送信できる。
【００４８】
ビデオ適応変換部１０３は、ビデオメタデータ適応変換処理部２１３およびビデオコンテンツ適応変換処理部２１５を含む。
【００４９】
ビデオコンテンツ適応変換処理部２１５は、ユーザ特性情報管理部２１７およびビデオ端末特性情報管理部２０９で管理されるユーザ特性情報およびビデオ端末特性情報をパージングした後、ビデオコンテンツがユーザ特性および端末特性に符合するようにビデオ信号を適応変換させる。
【００５０】
すなわち、前記ユーザ特性情報管理部２０７から送信されたユーザ特性情報をパージングした後、２次元ビデオ信号を立体感の深さ、陽陰立体感、最大遅延フレーム数などの３次元立体ビデオコンテンツに対するユーザ好み度を反映した適応変換信号処理過程を経て、３次元立体ビデオに変換処理する。
【００５１】
また、入力ビデオコンテンツである３次元立体ビデオ信号を、２次元ビデオ信号に変換処理する場合に必要な、入力３次元立体ビデオ信号の左側画像、あるいは、右側画像あるいは左右画像から合成されて得られた合成画像などを選択するユーザ特性情報を反映し、３次元立体ビデオ信号を２次元ビデオ信号にユーザ趣向情報に符合するように適応変換する。
【００５２】
また、ビデオコンテンツ適応変換処理部２１５は、ＸＭＬ形式の前記ユーザ端末特性情報をユーザ端末特性情報管理部２０９から受け取って関連情報をパージングした後、３次元立体ビデオコンテンツを、単/立体表示装置、３次元立体ビデオ復号化器の種類、３次元立体ビデオ信号のレンダリング方式の種類などのユーザ端末特性情報に符合するように３次元立体ビデオ信号の適応変換処理を行う。
【００５３】
ビデオメタデータ適応変換処理部２１３は、ビデオコンテンツ適応変換過程で必要なメタデータを、ビデオコンテンツ適応変換処理部２１５に提供し、ビデオコンテンツ適応変換処理結果に応じて、対応するビデオメタデータ情報の内容を適応変換させる。
【００５４】
すなわち、前記２次元および３次元の立体ビデオコンテンツ適応変換処理過程において、必要なビデオメタデータをビデオコンテンツ適応変換処理部２１５に提供し、また、２次元および３次元の立体ビデオコンテンツ適応変換処理の結果に係る関連該当メタデータ情報の内容を更新、記録、格納する２次元および３次元の立体ビデオメタデータ適応変換処理機能を行う。
【００５５】
ビデオコンテンツ/メタデータ出力部１０５は、ユーザ趣向および好みのユーザ特性情報とユーザ端末特性情報とに応じて適応変換された、２次元ビデオおよび３次元立体ビデオコンテンツおよびメタデータを出力する。
【００５６】
図３は、図１のビデオ適応変換装置で行われるビデオ適応変換プロセスを説明するためのフローチャート図である。図３に示されているように、本発明に係るプロセスは、ビデオ使用環境情報管理部１０７がユーザおよび端末からビデオ使用環境情報を収集し、ユーザ特性および端末特性情報を予め記述することから始まる(Ｓ３０１)。
【００５７】
次いで、ビデオデータソース部１０１がビデオデータを受信する(Ｓ３０３)と、ビデオ適応変換部１０３は、ステップＳ３０１で記述した使用環境情報を用いて、ステップＳ３０３で受信したビデオデータを使用環境、すなわちユーザ特性および端末特性に符合するようにビデオコンテンツを２次元または３次元立体ビデオに適応変換させる(Ｓ３０５)。
【００５８】
ビデオコンテンツ/メータデータ出力手段１０５は、ステップＳ３０５で２次元または３次元立体ビデオに適応変換されたビデオデータを出力する(Ｓ３０７)。
【００５９】
図４は、図３の適応変換プロセスＳ３０５を説明するためのフローチャート図である。図４に示されているように、ビデオ適応変換部１０３は、ビデオデータソース部１０１が受信した２次元ビデオコンテンツまたは３次元立体ビデオコンテンツおよびビデオメタデータを識別し(Ｓ４０１)、２次元または３次元立体ビデオに適応変換される必要があるビデオコンテンツを、ユーザ特性および端末特性に符合するように２次元または３次元立体ビデオに適応変換させ(Ｓ４０３)、ステップＳ４０３のビデオコンテンツ適応変換処理結果に応じて、対応するビデオメタデータ情報の内容を適応変換させる(Ｓ４０５)。
【００６０】
図５は、本発明に係る２次元および３次元の立体ビデオ信号の適応変換装置に適用可能な２次元ビデオ信号の３次元立体ビデオ信号への適応変換を説明するための実施の形態の説明図である。
【００６１】
図５に示されているように、エンコードされたＭＰＥＧビデオ信号５０１を受信したデコーダ５０２は、現在画像の各(１６×１６)マクロブロック(ＭＢ)でモーションベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)を抽出し、イメージタイプ分析５０３およびモーションタイプ分析５０４を行う。
【００６２】
イメージタイプ分析５０３では、停止画像、平面モーション画像、非平面モーション画像およびファストモーション画像などが決定される。
【００６３】
モーションタイプ分析５０４では、動く画像に対しカメラの動きおよびオブジェクトが決定される。
【００６４】
上記のイメージタイプ分析５０３およびモーションタイプ分析５０４の出力により２次元ビデオの３次元立体ビデオが生成される(５０５)。
【００６５】
停止イメージ（ｓｔａｔｉｃ ｉｍａｇｅ）では、強度（ｉｎｔｅｎｓｉｔｙ）、質感（ｔｅｘｔｕｒｅ）および他の特徴に基づいて画像ピクセルまたは、ブロック当りの３次元の深さの情報が導出される。導出された深さの情報を用いて、右側および左側イメージが構成される。
【００６６】
平面のモーションイメージ（ｈｏｒｉｚｏｎｔａｌ ｍｏｔｉｏｎ ｉｍａｇｅ）では、現在イメージおよび遅延イメージが選択される。モーションタイプ分析５０４により決定された平面モーションイメージのモーションタイプに応じて、選択されたイメージが適切にユーザの左側および右側の目にディスプレされる。
【００６７】
非平面モーションイメージ（ｎｏｎ−ｈｏｒｉｚｏｎｔａｌ ｍｏｔｉｏｎ ｉｍａｇｅ）では、動きおよび深さの情報を用いて、立体イメージ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ）が生成される。
【００６８】
以下、ビデオ使用環境情報管理部１０７で管理される技術情報構造が開始される。
【００６９】
本発明にしたがい、２次元または３次元立体ビデオコンテンツを消費するユーザ特性および端末特性の使用環境を予め記述した情報を用いて、使用環境に符合するようにビデオコンテンツを２次元または３次元立体ビデオに適応変換させるためには、ユーザ特性に対する情報（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｄｅｏ Ｃｏｎｖｅｒｓｉｏｎ Ｔｙｐｅ）および端末特性に対する情報（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｄｅｏ Ｄｉｓｐｌａｙ Ｔｙｐｅ）が管理されなければならない。
【００７０】
ユーザ特性に対する情報は、２次元または３次元立体ビデオ変換に対するユーザの好み度を記述する。図１のビデオ使用環境情報管理部１０７で管理するユーザ特性の技術情報構造として、例示的にＸＭＬスキーマ定義に基づき表現した構文は以下の通りである。
【００７１】
<complexType ｎａｍｅ＝"StereoscopicVideoConversionType">
<Sequence>
<element ｎａｍｅ＝"From2DTo3DStereoscopic" minOccurs＝"0">
<complexType>
<sequence>
<element name="ParallaxType">
<simpleType>
<restriction base="string">
<enumeration value="Positive"/>
<enumeration value="negative"/>
</restriction>
</simpleType>
</element>
<element
name="DepthRange" type="mpeg7:zeroToOneType"/>
<element
name="MaxDelayedFrame" type="nonNegativeInteger"/>
</sequence>
</complexType>
</element>
<element 
name="From3DStereoscopicTo2D"minOccurs="0">
<complexType>
<sequence>
<element name="LeftRightInterVideo">
<simpleType>
<restriction base="string">
<enumeration value="Left"/>
<enumeration value＝"Right"/>
<enumeration value="Intermediate"/>
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</complexType>
【００７２】
上記ユーザ特性の構成要素を整理すると、以下の通りである。
【００７３】
【表１】
2005533433.tif 000003
【００７４】
上記例示的にＸＭＬスキーマ定義によって表現された構文のように、本発明に係るユーザ特性は、２次元ビデオを３次元立体ビデオに変換する場合(Ｆｒｏｍ２ＤＴｏ３ＤＳｔｅｒｅｏｓｃｏｐｉｃ)と、３次元立体ビデオを２次元ビデオに変換する場合(Ｆｒｏｍ３ＤＳｔｅｒｅｏｓｃｏｐｉｃＴｏ２Ｄ)の２つに区分される。
【００７５】
２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合、
ＰａｒａｌｌａｘＴｙｐｅは、陰の立体感(ｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ)および陽の立体感(ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ)、すなわち、立体感の種類に対するユーザの好みを記述する。
【００７６】
図６は、立体感を説明するための例示図であり、図に示されているＡは、陰の立体感を示し、Ｂは、陽の立体感を示す。すなわち、陰の立体感は、オブジェクト(３つの円)の３次元の深さを、モニタスクリーンとユーザの目の間とで感じることができるようにし、陽の立体感は、オブジェクトの３次元の深さを、モニタスクリーンの後ろで感じることができるようにする。
【００７７】
また、２次元ビデオ信号を３次元立体ビデオ信号に適応変換させる場合、Ｄｅｐｔｈ Ｒａｎｇｅは、適応変換される３次元立体ビデオ信号の立体感の深さに対するユーザの好みを記述する。深さの範疇の指定によって深み感が増加や減少が可能である。
【００７８】
図７は、深み感を説明するための例示図であり、図に示されているように収斂（ｃｏｎｖｅｒｇｅｎｃｅ）点ＡではＢに比べさらに深み感を感じることができる(ｗｉｄｅｒ Ｄｅｐｔｈ)。
【００７９】
そして、２次元ビデオ信号を、３次元立体ビデオ信号に適応変換させる場合、Ｍａｘ Ｄｅｌａｙｅｄ Ｆｒａｍｅは、最大遅延フレーム数に対するユーザの好みを記述する。Ｍａｘ Ｄｅｌａｙｅｄ Ｆｒａｍｅは、２次元ビデオ信号を３次元立体ビデオ信号に適応変換させるために、２次元ビデオ信号の遅延された(以前の)イメージを使用する過程において、必要なパラメータを定義する。すなわち、２次元ビデオ信号のイメージシーケンスが{...，ＩＫ-３，ＩＫ-２，ＩＫ-１,ＩＫ,....}であり、ＩＫが現在のフレームであるとすると、以前フレーム{...,ＩＫ-３,ＩＫ-２,ＩＫ-１}のひとつであるＩＫ-ｎ(ｎ≧１)が選択され、ＩＫおよびＩＫ-ｎにより３次元立体ビデオが構成される。Ｍａｘ Ｄｅｌａｙｅｄ Ｆｒａｍｅにより最大遅延フレーム数であるｎに対するユーザの好みが決定される。
【００８０】
一方、３次元立体ビデオを２次元ビデオに変換する場合、Ｌｅｆｔ Ｒｉｇｈｔ Ｉｎｔｅｒ Ｖｉｄｅｏは、３次元立体ビデオ信号のうち、左側イメージ、右側イメージ、または、さらに上質のイメージ信号を得るための左右イメージの合成イメージの３つの場合のうち、どのイメージ信号を２次元ビデオ信号とするかに対するユーザの好みを記述する。
【００８１】
ユーザ端末特性に対する情報は、単眼式（ｍｏｎｏｓｃｏｐｉｃ）、または立体（ｓｔｅｒｅｏｓｃｏｐｉｃ）表示装置の如何および立体ＭＰＥＧ-１、立体ＭＰＥＧ-２、立体ＭＰＥＧ-４、立体ＡＶＩなどを含む３次元立体ビデオ復号化器の種類および「Ｉｎｔｅｒｌａｃｅｄ」，「Ｓ-ｙｎＤｏｕｂｌｅ」，「Ｐａｇｅ-Ｆｌｉｐｐｉｎｇ」，「Ｒｅｄ-Ｂｌｕｅ Ａｎｇ-ｌｙｐｈ」，「Ｒｅｄ-Ｃｙａｎ Ａｎｇｌｙｐｈ」，「Ｒｅｄ-Ｙｅｌｌｏｗ Ａｎｇ-ｌｙｐｈ」などの３次元立体ビデオ信号のレンダリング方式の種類などの特性情報を記述する。
【００８２】
図１のビデオ使用環境情報管理部１０７で、管理するユーザ端末特性の技術情報構造であり、例示的にＸＭＬスキーマ定義によって示した構文は以下の通りである。
【００８３】
<complexType name="StereoscopicVideoDisplayType">
<sequence>
<element name="DisplayDevice">
<simpleType>
<restriction base="string">
<enumeration value="Monoscopic"/>
<enumeration value＝"Stereoscopic"/>
</restriction>
</simpleType>
</element>
<element name="StereoscopicDecoderType"
type="mpeg7:ControlledTermUseType"/>
<element name="RenderingFormat">
<simpleType>
<restriction base=“string”>
<enumeration value="Interlaced"/>
<enumeration value="Sync-Double"/>
<enumeration value="Page-Flipping"/>
<enumeration value="Anaglyph-Red-Blue"/>
<enumeration value="Anaglyph-Red-Cyan"/>
<enumeration value="Anaglyph-Red-Yellow"/>
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
【００８４】
前記のユーザ端末特性情報の構成要素を整理すれば、次の表２のようである。
【００８５】
【表２】
2005533433.tif 000004
【００８６】
Ｄｉｓｐｌａｙ Ｔｙｐｅは、ユーザ端末が支援する表示装置が単眼式表示装置であるか、または、立体表示装置であるか否かを示す情報である。
【００８７】
Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｅｃｏｎｄｅｒ Ｔｙｐｅは、ユーザ端末が支援する３次元立体ビデオデコーダが立体ＭＰＥＧ-１、立体ＭＰＥＧ-２、立体ＭＰＥＧ-４、立体ＡＶＩなどを含む３次元立体ビデオデコーダのうち、どれであるか否かを示す情報である。
【００８８】
ＲｅｄｅｅｒｉｎｇＦｏｒｍａｔは、ユーザ端末が支援する３次元立体ビデオ信号レンダリング方式が“Ｉｎｔｅｒｌａｃｅｄ”、“Ｓｙｎｃ Ｄｏｕｂｌｅ”、“Ｐａｇｅ Ｆｌｉｐｐｉｎｇ”、“Ｒｅｄ-Ｂｌｕｅ Ａｎｇｌｙｐｈ” “Ｒｅｄ-Ｃｙａｎ Ａｎｇｌｙｐｈ”、“Ｒｅｄ-Ｙｅｌｌｏｗ Ａｎｇｌｙｐｈ”などを含むレンダリング方式のうち、どれであるのかを示す情報である。
【００８９】
図８は、３次元立体ビデオ信号のレンダリング方式に対する例示図であり、３次元立体ビデオ信号のレンダリング方式の種類のうち、“Ｉｎｔｅｒｌａｃｅｄ”、“Ｓｙｎｃ Ｄｏｕｂｌｅ”、“Ｐａｇｅ-Ｆｌｉｐｐｉｎｇ”の例を示す。
【００９０】
以下の例示は、２次元ビデオの３次元立体ビデオ信号でユーザの好みの情報に符合する適応変換処理を発生させるユーザ趣向および好みなどのユーザ特性情報を記述した一例を示す。
【００９１】
以下の例示では、２次元ビデオ信号の３次元立体ビデオ信号に適応変換時に設定されたユーザの好みの情報であり、“Ｐａｒａｌｌａｘ Ｔｙｐｅ”には、陰(Ｎｅｇａｔｉｖｅ Ｐａｒａｌｌａｘ)タイプを、立体感の深さを表す「Ｄｅｐｔｈ Ｒａｎｇｅ」には、０.７の値に、最大遅延フレーム数は、１５個に設定したことを示す。
【００９２】
また、３次元立体ビデオ信号の２次元ビデオ信号に適応変換時には、３次元立体ビデオ信号のうち左右イメージの合成イメージに選択したユーザの好み情報の設定一例を示す。
【００９３】
<StereoscopicVideoConversion>
<From2DTo3DStereoscopic>
<Parallaxtype>Negative</Parallaxtype>
<DepthRange>0.7</DepthRange>
<MaxDelayedFrame>15</MaxDelayedFrame>
</From2DTo3DStereoscopic>
<From3DStereoscopicTo2D>
<LeftRightInterVideo>Intermediate</LeftRightInterVideo>
</From3DStereoscopicTo2D>
</StereoscopicVideoConversion>
【００９４】
また、以下の例示では、３次元立体ビデオ信号のユーザ端末特性を考慮した適応変換処理時、ユーザ端末処理特性情報を記述した一例を示す。
【００９５】
以下の例示において、ユーザ端末処理特性として現在ユーザ端末は、単眼式表示装置だけを支援し、ユーザ端末に搭載されたデコーダでは、立体ＭＰＥ-Ｇ-１ビデオデコーダを支援し、３次元立体ビデオのレンダリング方式では、"Ａｎｇｌｙｐｈ"を支援するユーザ端末処理器の特性情報を記述する。このようなユーザ端末特性情報は、３次元立体ビデオのユーザ端末特性に符合する適応変換時に使用される。
【００９６】
<StereoscopicVideoDisplay>
<DisplayDevice>Monoscopic</DisplayDevice>
<StereoscopicDecoderType 
href="urn:mpeg:mpeg7:cs:VisualCodingFormatCS:2001:１">
<mpeg7:name xml:lange="en">MPEG-1 Video
</mpeg7:name>
</StereoscopicDecoderType>
<RenderingFormat>Anaglyph</RenderingFormat>
</StereoscopicVideoDisplay>
【００９７】
上述したような本発明の方法は、プログラムで具現されコンピュータで読み出すことのできる形態として、記録媒体(ＣＤ  ＲＯＭ、ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど)に格納することができる。
【００９８】
なお、本発明は、上記した本実施の形態に限られるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更が可能であり、それらも本発明の技術的範囲に属する。
【００９９】
このように本発明によると、ユーザの趣向および好みの情報とユーザ端末器の特性情報を用いて、１つの２次元ビデオコンテンツを３次元立体ビデオコンテンツに、あるいは３次元立体ビデオコンテンツを２次元ビデオコンテンツに、それぞれ異なる使用環境と様々なユーザの特性と趣向と符合するように、適応、変換処理できるサービス環境を提供できるという効果が得られる。
【０１００】
また、本発明によって提供されている単一ソースの複数使用環境は、様々な使用端末器の性能および提供機能範囲、相異なった使用環境および様々なユーザ特性などに符合できるように単一のビデオコンテンツを再加工して、相異なった環境とユーザの要求とに適応変換された様々な形態のビデオコンテンツに、速かに提供できるようになされることにより、複数のビデオコンテンツ製作および送信などにおいて発生する不必要な費用を低減でき、ユーザは自分が位置した場所および環境の空間の制約を克服すると共に、ユーザ自分の趣向を最大限に満足させる得る最適のビデオコンテンツのサービスが可能であるという効果が得られる。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態に係るビデオ適応変換装置を概略的に示したブロック図である。
【図２】図１のビデオ適応変換装置により具現可能な実施の形態を概略的に示したブロック図である。
【図３】図１のビデオ適応変換装置で行われるビデオ適応変換プロセスを説明するためのフローチャートである。
【図４】図３の適応変換プロセスを説明するためのフローチャートである。
【図５】本発明に係る２次元および３次元の立体ビデオ信号の適応変換装置に適用可能な２次元ビデオ信号の３次元立体ビデオ信号への適応変換を説明するための、一実施の形態の説明図である。
【図６】立体感を説明するための例示図である。
【図７】深み感を説明するための例示図である。
【図８Ａ】３次元立体ビデオ信号のレンダリング方式に対する例示図である。
【図８Ｂ】３次元立体ビデオ信号のレンダリング方式に対する例示図である。
【図８Ｃ】３次元立体ビデオ信号のレンダリング方式に対する例示図である。
【図１】
2005533433.tif 000005
【図２】
2005533433.tif 000006
【図３】
2005533433.tif 000007
【図４】
2005533433.tif 000008
【図５】
2005533433.tif 000009
【図６】
2005533433.tif 000010
【図７】
2005533433.tif 000011
【図８Ａ】
2005533433.tif 000012
【図８Ｂ】
2005533433.tif 000013
【図８Ｃ】
2005533433.tif 000014
【国際調査報告】
2005533433.tif 000015
2005533433.tif 000016