(57)【要約】      （修正有）【課題】両眼／多視点３次元動画像処理システム及びその方法を提供する。【解決手段】同一の時間上で複数の画像を有する両眼／多視点３次元動画像が符号化されて複数個の基礎ストリームとして出力される。このように同一の時間上で複数個が出力される基礎ストリームを、使用者が選択した表示方式によって多重化して単一基礎ストリームを生成する。そして、連続して出力される単一基礎ストリームをパケット化した後、両眼／多視点３次元動画像の多重化方法に関する情報、及び、選択された表示方式情報をストリームのパケットヘッダ部に追加する。その後、パケット化された基礎ストリームは画像再生装置に伝送され又は記録メディアに保存される。【選択図】図１
2008306750.tif 000002
【特許請求の範囲】
【請求項１】
混合された動画像パケットストリームの復調方法であって、
（ａ）動画像の視点数を示す視点情報と、前記動画像が２次元又は３次元動画像データであるかを示す画像区別情報とを含む、混合されたパケットストリームを受信する段階と、
（ｂ）前記混合されたパケットストリームから前記視点情報及び前記画像区別情報を検出する段階と、
（ｃ）前記検出された前記視点情報及び前記画像区別情報に基づいて、前記混合されたパケットストリームのストリームフォーマットを確認し、前記確認されたストリームフォーマットのパケットストリームを復調する段階と、
を含むことを特徴とする混合された動画像パケットストリームの復調方法。
【請求項２】
前記視点情報及び前記画像区別情報は、前記混合されたパケットストリームのヘッダに含まれることを特徴とする請求項１に記載の混合された動画像パケットストリームの復調方法。
【請求項３】
前記確認されたストリームフォーマットが３次元動画像のフィールドシャッタリングモードである場合、
前記段階（ｃ）は、
左画像の奇数フィールドの基礎ストリーム及び右画像の偶数フィールドの基礎ストリームの順に２チャンネルの基礎ストリームを使用して、両眼３次元動画像の４チャンネルのフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調することを特徴とする請求項１に記載の混合された動画像パケットストリームの復調方法。
【請求項４】
前記確認されたストリームフォーマットが３次元動画像のフレームシャッタリングモードである場合、
前記段階（ｃ）は、
左画像の奇数フィールドの基礎ストリーム、左画像の偶数フィールドの基礎ストリーム、右画像の奇数フィールドの基礎ストリーム、右画像の偶数フィールドの基礎ストリームの順に４チャンネルの基礎ストリームを使用して、両眼３次元動画像の４チャンネルのフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調することを特徴とする請求項１に記載の混合された動画像パケットストリームの復調方法。
【請求項５】
前記確認されたストリームフォーマットが２次元動画像モードである場合、
前記段階（ｃ）は、
左画像の奇数フィールドの基礎ストリーム、左画像の偶数フィールドの基礎ストリームの順に２チャンネルの基礎ストリームを使用して、両眼３次元動画像の４チャンネルのフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調することを特徴とする請求項１に記載の混合された動画像パケットストリームの復調方法。
【請求項６】
前記確認されたストリームフォーマットが多視点３次元動画像モードである場合、
前記段階（ｃ）は、
視点別に奇数フィールドの基礎ストリーム、偶数フィールドの基礎ストリムの順に各視点を順次に使用して、Ｎ視点動画像のＮ×２個のフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調することを特徴とする請求項１に記載の混合された動画像パケットストリームの復調方法。
【請求項７】
ＭＰＥＧ４準拠の混合された動画像パケットストリームの復調方法であって、
（ａ）視点情報と画像区別情報とを有する混合された動画像パケットストリームを受信する段階と、
（ｂ）前記視点情報と前記画像区別情報とに基づいて、前記混合された動画像パケットストリームを分離及びデパケット化して複数の圧縮された動画像データを生成する段階と、
（ｃ）前記複数の圧縮された動画像データから複数の動画像データを圧縮解除する段階と、
を含み、
前記視点情報は、パケット化された基礎ストリームが提供する視点数を示し、
前記画像区別情報は、前記パケット化された基礎ストリームが２次元又は３次元動画像データであるかを示すことを特徴とする混合された動画像パケットストリームの復調方法。
【請求項８】
前記複数の圧縮された動画像データのデータストリームは、複数のチャンネルのフィールド単位の基礎ストリームであることを特徴とする請求項７に記載の混合された動画像パケットストリームの復調方法。
【請求項９】
前記動画像が両眼３次元動画像である場合、前記複数の圧縮された動画像データのデータストリームは、両眼３次元左画像の奇数フィールド及び偶数フィールド、両眼３次元右画像の奇数フィールド及び偶数フィールドを含む４チャンネルのフィールド単位の基礎ストリームであることを特徴とする請求項７に記載の混合された動画像パケットストリームの復調方法。
【請求項１０】
視点の数がＮである場合、前記複数の圧縮された動画像データのデータストリームは、Ｎ×２個のフィールド単位の基礎ストリームであることを特徴とする請求項７に記載の混合された動画像パケットストリームの復調方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元動画像を処理するシステム及びその方法に係り、より詳細には、ＭＰＥＧ４準拠の両眼／多視点３次元動画像を多重化処理するシステム及びその方法に関する。
【背景技術】
【０００２】
ＭＰＥＧは、動画像の圧縮及びコード表現によって情報の伝送が行われるようにする方法であって、現在開発されているＭＰＥＧ１／２／４に続いて次世代圧縮方法であるＭＰＥＧ７までが研究されている。
【０００３】
インターネットで動画像ビデオをはじめとするマルチメディアデータを自由にデジタル保存媒体に保存するために開発されたビデオストリーミング標準であるＭＰＥＧ４は、現在商品化が本格的に推進されており、携帯用インターネット放送動画像プレイヤー（ＰＷＭＰ：Portable Webcasting MPEG4 Player）等に適用されている。
【０００４】
ＭＰＥＧ４は、具体的に、既存の動画像、オーディオ信号の圧縮符号化に加えて、静止画像、コンピュータグラフィックス（ＣＧ）、分析合成系の音声符号化、ＭＩＤＩ（Musical Instrument Data Interface）等に基づいた合成オーディオ及びテキストも含む総合マルチメディアに対する規格である。
【０００５】
従って、各客体の特性を表現することができる客体情報表現技術や、客体間の時間的、空間的関係を表現することができる場面技術情報表現技術は勿論、特性の異なる客体間の同期化技術が重要な部分を占めている。
【０００６】
ＭＰＥＧ４システムにおいて、メディア客体は、符号化されて基礎ストリーム（ＥＳ：Elementary Stream）形態で伝送され、このような基礎ストリームは、ネットワーク上の最大伝送率、ＱｏＳ（Quality of Service）変数、必要なデコーダリソース等を決定する変数によって特徴付けられる。各メディア客体は、各々異なる符号化方式によって一つの基礎ストリームから構成され、圧縮レイヤ、シンク（sync）レイヤ、伝達レイヤからなる階層的構造を通じてストリーミングされて伝送される。
【０００７】
このようなＭＰＥＧ４システムは、基本的に複数個の符号化器から出力されたデータストリームをアクセスユニット（ＡＵ：Access Unit）ごとにパケット化することにより、特性の異なる客体を処理して客体情報と場面技術情報とを利用して自由に表現することができる。
【０００８】
しかし、現在のＭＰＥＧ４システムでは、２次元（以下、「２Ｄ」という。）マルチメディアデータに限って標準化作業が進められたため、両眼／多視点３次元動画像データを処理する技術については全く開示されていない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従って、本発明が目的とする技術的課題は、既存のＭＰＥＧ４準拠の両眼／多視点３次元動画像データを処理することにある。
【００１０】
特に、本発明が目的とする技術的課題は、同一の時間及び空間情報を有する複数のチャンネルのフィールド単位（field-based）の基礎ストリームを単一基礎ストリームに多重化することによって、重複するパケットのヘッダ情報を最少化することにある。
【００１１】
また、本発明が目的とする技術的課題は、使用者の要求及び使用者のシステム環境に適したデータのみを選択してストリーミングするのを容易にすることにある。
【課題を解決するための手段】
【００１２】
このような技術的課題を達成するための本発明の一つの観点に係る混合された動画像パケットストリームの復調方法によれば、
混合された動画像パケットストリームの復調方法であって、
（ａ）動画像の視点数を示す視点情報と、前記動画像が２次元又は３次元動画像データであるかを示す画像区別情報とを含む、混合されたパケットストリームを受信する段階と、
（ｂ）前記混合されたパケットストリームから前記視点情報及び前記画像区別情報を検出する段階と、
（ｃ）前記検出された前記視点情報及び前記画像区別情報に基づいて、前記混合されたパケットストリームのストリームフォーマットを確認し、前記確認されたストリームフォーマットのパケットストリームを復調する段階と、
を含むことを特徴とする混合された動画像パケットストリームの復調方法が提供される。
【００１３】
前記視点情報及び前記画像区別情報は、前記混合されたパケットストリームのヘッダに含まれるものとするとよい。
【００１４】
前記確認されたストリームフォーマットが３次元動画像のフィールドシャッタリングモードである場合、
前記段階（ｃ）は、
左画像の奇数フィールドの基礎ストリーム及び右画像の偶数フィールドの基礎ストリームの順に２チャンネルの基礎ストリームを使用して、両眼３次元動画像の４チャンネルのフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調するものとするとよい。
【００１５】
前記確認されたストリームフォーマットが３次元動画像のフレームシャッタリングモードである場合、
前記段階（ｃ）は、
左画像の奇数フィールドの基礎ストリーム、左画像の偶数フィールドの基礎ストリーム、右画像の奇数フィールドの基礎ストリーム、右画像の偶数フィールドの基礎ストリームの順に４チャンネルの基礎ストリームを使用して、両眼３次元動画像の４チャンネルのフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調するものとするとよい。
【００１６】
前記確認されたストリームフォーマットが２次元動画像モードである場合、
前記段階（ｃ）は、
左画像の奇数フィールドの基礎ストリーム、左画像の偶数フィールドの基礎ストリームの順に２チャンネルの基礎ストリームを使用して、両眼３次元動画像の４チャンネルのフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調するものとするとよい。
【００１７】
前記確認されたストリームフォーマットが多視点３次元動画像モードである場合、
前記段階（ｃ）は、
視点別に奇数フィールドの基礎ストリーム、偶数フィールドの基礎ストリムの順に各視点を順次に使用して、Ｎ視点動画像のＮ×２個のフィールド単位の基礎ストリームが一つ以上の接近単位ストリームとして混合されたことを確認した後に復調するものとするとよい。
【００１８】
本発明の他の観点に係る混合された動画像パケットストリームの復調方法によれば、
ＭＰＥＧ４準拠の混合された動画像パケットストリームの復調方法であって、
（ａ）視点情報と画像区別情報とを有する混合された動画像パケットストリームを受信する段階と、
（ｂ）前記視点情報と前記画像区別情報とに基づいて、前記混合された動画像パケットストリームを分離及びデパケット化して複数の圧縮された動画像データを生成する段階と、
（ｃ）前記複数の圧縮された動画像データから複数の動画像データを圧縮解除する段階と、
を含み、
前記視点情報は、パケット化された基礎ストリームが提供する視点数を示し、
前記画像区別情報は、前記パケット化された基礎ストリームが２次元又は３次元動画像データであるかを示すことを特徴とする混合された動画像パケットストリームの復調方法が提供される。
【００１９】
前記複数の圧縮された動画像データのデータストリームは、複数のチャンネルのフィールド単位の基礎ストリームであるものとするとよい。
【００２０】
前記動画像が両眼３次元動画像である場合、前記複数の圧縮された動画像データのデータストリームは、両眼３次元左画像の奇数フィールド及び偶数フィールド、両眼３次元右画像の奇数フィールド及び偶数フィールドを含む４チャンネルのフィールド単位の基礎ストリームであるものとするとよい。
【００２１】
視点の数がＮである場合、前記複数の圧縮された動画像データのデータストリームは、Ｎ×２個のフィールド単位の基礎ストリームであるものとするとよい。
【発明の効果】
【００２２】
本発明によれば、既存のＭＰＥＧ４準拠のシステムにより両眼／多視点３次元動画像データを処理することができる。
【００２３】
特に、同一の時間及び空間情報を有する複数のチャンネルのフィールド単位（field-based）の基礎ストリームを単一基礎ストリームに多重化することによって、重複するヘッダ情報を最少化することができる。
【００２４】
また、同一の時間上で多視点画像に対する複数のチャンネルの基礎ストリームの中の一つのチャンネルの基礎ストリームから得られた時間情報を利用して他の視点での基礎ストリームと同期化し、３次元動画像間の同期化を簡単にすることができる。
【００２５】
また、本発明の多重化構造及びヘッダ部構成によって、既存の２次元動画像処理との互換性を維持しながら、両眼／多視点３次元動画像に対して、３次元動画像フィールド／フレームシャッタリング表示、多視点３次元動画像表示及び２次元動画像表示を使用者が選択的に表示することができるようにし、使用者の要求及び使用者のシステム環境に適したデータのみを選択してストリーミングすることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の属する技術分野における通常の知識を有する者が、本発明を容易に実施することができる最も好ましい実施の形態を、添付した図面を参照して詳細に説明する。
【００２７】
本発明の実施の形態では、ＭＰＥＧ４準拠の両眼／多視点３次元動画像データを処理し、特に、符号化されて同一の時間上で複数のチャンネルから出力されるフィールド単位の基礎ストリームに対して、使用者のシステム環境及び要求による表示方式によって複数のチャンネルの基礎ストリームを単一チャンネルに統合した後、単一チャンネルの３次元アクセスユニットのストリーム（以下、「３Ｄ＿ＡＵストリーム」という。）に多重化する。
【００２８】
特に、２次元動画像表示、フィールド単位でシャッタリングして３次元動画像を表示する３次元動画像のフィールドシャッタリング表示、フレーム単位でシャッタリングして３次元動画像を表示する両眼３次元動画像のフレームシャッタリング表示、レンティキュラレンズ（lenticula lens）等を利用して画像を必要フレーム率で順に表示する多視点３次元動画像表示の４種類の表示方式を総てサポートするストリーミングが行われるようにする。
【００２９】
両眼／多視点３次元動画像の多重化処理及び使用者の要求による上記４種類の表示を可能にするために、本発明の実施の形態においては、シンク（sync）パケットヘッダ部に新たなヘッダ情報を生成し、このとき、重複する情報を最少化してヘッダを構成する。そして、同一の時間上で多視点画像に対する複数のチャンネルの基礎ストリームの中の一つのチャンネルの基礎ストリームから得られた時間情報を利用して他の視点での基礎ストリームと同期化し、３次元動画像間の同期化が簡単に行われるようにする。
【００３０】
図１は、本発明の実施の一形態に係る両眼／多視点３次元動画像処理システム（以下、説明の便宜のために「動画像処理システム」という。）の構造を示す概略図である。
【００３１】
図１に示されているように、本発明の実施の一形態に係る動画像処理システムは、ＭＰＥＧ４システム準拠の両眼／多視点３次元動画像データを処理するためのものであって、複数の符号化器をサポートする圧縮レイヤ１０、アクセスユニット（ＡＵ）のデータを受けて同期化に適したパケットを生成するパケット装置であるシンク（sync）レイヤ２０、複数のストリームを同時に多重化するための選択的要素であるＦｌｅｘＭｕｘ３１を含み、伝送環境及び記録メディアとのインターフェースを構成するためのＤＭＩＦ（Delivery Multimedia Integrated Framework）３２を含む伝送装置である伝達レイヤ３０から構成される三つの階層を含む。
【００３２】
圧縮レイヤ１０は、既存の２次元動画像、オーディオは勿論、静止画像、ＣＧ、分析合成系の音声符号化、ＭＩＤＩ及びテキストに至るまで、様々な客体符号化器を含む。
【００３３】
具体的には、圧縮レイヤ１０は、図１に示したように、３Ｄ客体符号化器１１、２Ｄ客体符号化器１２、場面構成情報ストリーム生成器１３、客体情報ストリーム生成器１４、３Ｄ基礎ストリーム混合器（以下、「３Ｄ＿ＥＳ混合器」という。）１５、１６を含む。
【００３４】
２Ｄ客体符号化器１２は、２Ｄ動画像、オーディオは勿論、静止画像、ＣＧ、分析合成系の音声符号化、ＭＩＤＩ及びテキストに至るまで、様々な客体を符号化する。２Ｄ客体符号化器１２内の各符号化器から出力される基礎ストリームは、ＡＵストリームの形態で出力されてシンクレイヤ２０に伝送される。
【００３５】
客体情報ストリーム生成器１４は、複数の客体の特性を表現するための客体情報ストリームを生成し、場面構成情報ストリーム生成器１３は、客体間の時間的、空間的相関関係を表現するための場面構成情報ストリームを生成する。
【００３６】
一方、３Ｄ客体符号化器１１及び３Ｄ＿ＥＳ混合器１５、１６は、既存のＭＰＥＧ４システムとの互換性を維持しながら、両眼／多視点３次元動画像を処理するためのものである。
【００３７】
３Ｄ客体符号化器１１は、両眼／多視点３次元動画像データに対する客体基盤（object-based）符号化器であり、カメラ等によって実際に撮影された画像を処理する複数の３Ｄ実像符号化器、及び、コンピュータによって生成された画像、即ち、ＣＧを処理する３ＤＣＧ符号化器からなる。
【００３８】
３Ｄ客体符号化器１１は、入力されるデータが、相互に異なる方向において生成される両眼３次元動画像である場合には、各々左右画像の偶数及び奇数フィールド単位で基礎ストリームを出力する。これとは異なり、入力されるデータが、Ｎ視点の多視点動画像である場合には、Ｎ×２個のフィールド単位で基礎ストリームを出力して、３Ｄ＿ＥＳ混合器１５、１６に提供する。
【００３９】
３Ｄ＿ＥＳ混合器１５、１６は、３Ｄ客体符号化器１１から出力される各基礎ストリームを、一つに統合された単一３Ｄ＿ＡＵストリームに処理してシンクレイヤ２０に伝送する。
【００４０】
上記圧縮レイヤ１０により処理されて出力される単一３Ｄ＿ＡＵストリームは、ＥＳＩ（Elementary Stream Interface）を通じてシンクレイヤ２０に伝送される。ＥＳＩは、メディアデータストリームとシンクレイヤとを連結する概念的なインターフェースであって、ＩＳＯ／ＩＥＣ１４４９６−１に規定されたものではなく、実現上の便宜のために提供されているので、必要によって変更が可能である。ＥＳＩは、ＳＬパケットヘッダ情報を伝送する。既存のＭＰＥＧ４システムにおいてＥＳＩを通じて伝送されるＳＬパケットヘッダ情報の例が図２に示されている。ＳＬパケットヘッダ情報は、シンクレイヤ２０がＳＬパケットヘッダを生成するために利用される。
【００４１】
シンクレイヤ２０は、基礎ストリーム間又は基礎ストリーム内部の時間的同期化を維持するために、圧縮レイヤ１０から出力される基礎ストリームをアクセスユニット（ＡＵ）ごとに受け入れて複数個のＳＬパケットに分割して各ＳＬパケットのペイロード部を生成し、アクセスユニットごとにＥＳＩを通じて伝達される情報を参照してヘッダ部を生成して、ヘッダ部及びペイロード部からなるＳＬパケットを生成する複数の客体パケッタイザー（packetizer）２１を含む。
【００４２】
ＳＬパケットヘッダ部は、データロス時に連続性をチェックするために使用され、タイムスタンプに関する情報を有する。
【００４３】
シンクレイヤ２０から出力されたパケットストリームは伝達レイヤ３０に伝送され、伝達レイヤ３０では、伝送されたパケットストリームがＦｌｅｘＭｕｘ３１によって多重化された後、ＤＭＩＦ３２を経て伝送環境及び記録メディアとのインターフェースに適したストリームに処理される。
【００４４】
シンクレイヤ２０及び伝達レイヤ３０の基本処理過程は、既存のＭＰＥＧ４システムと同一であるので、これについての詳細な説明は省略する。
【００４５】
次に、上記構造からなる動画像処理システムに基づいて両眼／多視点３次元動画像を多重化する方法について説明する。
【００４６】
例えば、２次元画像、少なくとも２個以上のカメラで撮影された複数のチャンネルの３次元画像（静止画像又は動画像を含む）、コンピュータにより生成された３次元画像（ＣＧ）は、圧縮レイヤ１０の２Ｄ客体符号化器１２及び３Ｄ客体符号化器１１に各々入力される。２次元画像に対する多重化処理方法は既に公知の技術であるので、これについての詳細な説明は省略する。
【００４７】
カメラで撮影された実像である両眼／多視点３Ｄ画像は、３Ｄ客体符号化器１１の３Ｄ実像符号化器１１１に入力されて処理され、コンピュータにより生成された両眼／多視点３Ｄ画像であるＣＧは、３ＤＣＧ符号化器１１２に入力されて処理される。
【００４８】
図３及び図４は、複数の３Ｄ実像符号化器及び３ＤＣＧ符号化器の動作例をそれぞれ示している。
【００４９】
図３に示されているように、入力されるデータが左右方向において生成された両眼３次元動画像である場合、３Ｄ実像符号化器１１１又は３ＤＣＧ符号化器１１２は、左画像及び右画像又は左ＣＧデータ及び右ＣＧデータを受信して各々フィールド単位で符号化し、４チャンネルのフィールド単位で基礎ストリームを出力する。
【００５０】
より具体的には、両眼３次元実像画像又はＣＧを符号化して、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム（３ＤＥＳ＿ＬＯ：3D elementary stream_left odd field）、両眼３Ｄ左画像の偶数フィールドの基礎ストリーム（３ＤＥＳ＿ＬＥ：3D elementary stream_left even field）、両眼３Ｄ右画像の奇数フィールドの基礎ストリーム（３ＤＥＳ＿ＲＯ：3D elementary stream_right odd field）、両眼３Ｄ右画像の偶数フィールドの基礎ストリーム（３ＤＥＳ＿ＲＥ：3D elementary stream_right even field）を出力する。
【００５１】
一方、入力されるデータがＮ視点の多視点動画像である場合、３Ｄ実像符号化器１１１又はＣＧ符号化器１１２は、Ｎ視点の画像又はＮ視点のＣＧデータを受信して各フィールド単位で符号化し、Ｎ×２個の基礎ストリーム、即ち、第１視点から第Ｎ視点までの画像の偶数フィールドの基礎ストリーム、第１視点から第Ｎ視点までの画像の奇数フィールドの基礎ストリームを各々出力する。
【００５２】
より具体的には、図４に示されているように、Ｎ視点の多視点動画像に対して、第１視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ OddField，第２視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃２ OddField，．．．，第Ｎ視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ OddField，第１視点画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ EvenField，第２視点画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃２ EvenField，．．．，第Ｎ視点画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ EvenFieldのＮ×２個の基礎ストリームを出力する。
【００５３】
上記のように、両眼／多視点３Ｄ客体符号化器１１から出力される複数のチャンネルのフィールド単位の基礎ストリームは、３Ｄ＿ＥＳ混合器１５、１６に入力されて多重化される。
【００５４】
図５及び図６は、３Ｄ＿ＥＳ混合器において行われる多重化処理例を示している。
【００５５】
３Ｄ＿ＥＳ混合器１５、１６は、複数のチャンネルのフィールド単位の基礎ストリームを多重化して単一チャンネルの統合ストリームである３Ｄ＿ＡＵストリームに出力する。ここで、伝送されるべき基礎ストリームデータは、表示方式に応じて可変である。従って、各表示方式に対して必要な基礎ストリームのみが伝送されるように多重化が行われる。
【００５６】
表示方式は、２次元動画像表示方式、３次元動画像フィールドシャッタリング表示方式、３次元動画像フレームシャッタリング表示方式、多視点３次元動画像表示方式の４種類の表示方式が可能である。
【００５７】
図７乃至図１１は、関係する表示方式に応じた複数のチャンネルのフィールド単位の基礎ストリームを多重化する例を示している。図７、図８及び図９は、両眼３次元動画像データに対する多重化方式を示し、図１０及び図１１は、多視点３次元動画像データに対する多重化方式を示している。
【００５８】
両眼３次元動画像データに対して、使用者が３次元動画像フィールドシャッタリング表示を選択した場合には、図７に示されているように、３Ｄ客体符号化器１１から出力される４チャンネルの基礎ストリームのうちの両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、両眼右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥのみを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。
【００５９】
また、両眼３次元動画像データに対して、使用者が３次元動画像フレームシャッタリング表示を選択した場合には、図８に示されているように、４チャンネルの基礎ストリームの中の両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、両眼３Ｄ左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥ、両眼３Ｄ右画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＲＯ、両眼３Ｄ右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。
【００６０】
また、両眼３次元動画像データに対して、使用者が２次元動画像表示を選択した場合には、図９に示されているように、４チャンネルの基礎ストリームの中の両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、両眼３Ｄ左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。
【００６１】
一方、多視点３次元動画像データに対して、使用者が３次元動画像表示を選択した場合には、図１０に示されているように、各視点ごとに奇数フィールド及び偶数フィールドの順に基礎ストリームを統合しながら視点順に各視点を統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。即ち、第１視点の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ OddField、第１視点の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ EvenFiled，．．．，第Ｎ視点の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ EvenFiled、第Ｎ視点の偶数フィールドの基礎ストリーム３ＤＥＳ＿＃Ｎ EvenFiledの順に多視点動画像の基礎ストリームを統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。
【００６２】
また、多視点３次元動画像データに対して、使用者が２次元動画像表示を選択した場合には、図１１に示されているように、一つの視点での奇数フィールド及び偶数フィールドの基礎ストリームのみを順に統合して単一チャンネルの３Ｄ＿ＡＵストリームを構成する。従って、多視点３次元動画像に対して、使用者が２次元動画像表示を選択した場合には、使用者が所望の視点での画像のみを任意に表示することができる。
【００６３】
上記のように、３Ｄ＿ＥＳ混合器１５、１６から出力される単一チャンネルの３Ｄ＿ＡＵストリームは、シンクレイヤ２０に入力される。図２に示されたＥＳＩから伝達される情報に加えて、単一チャンネルの３Ｄ＿ＡＵストリームは、本発明の実施の形態に係る両眼／多視点３次元動画像ストリームの処理のための選択的な情報を含む。
【００６４】
両眼／多視点３次元動画像データに対して追加される情報のシンタックス（syntax）及びセマンティクス（semantics）が図１２に定義されている。
【００６５】
図１２は、両眼／多視点３次元動画像に対する単一の３Ｄ＿ＡＵストリームに追加される情報のシンタックス及びセマンティクスを示したものであり、ここでは、ＥＳＩを通じて伝達される情報以外の選択的な情報のみが示されている。
【００６６】
より具体的には、図１２に示されているように、画像区別フラグ２Ｄ＿３Ｄ DataFlag、表示区別フラグ２Ｄ＿３Ｄ DispFlag、及び、視点情報フラグNumViewPointの３種類の情報が追加される。
【００６７】
画像区別フラグ２Ｄ＿３Ｄ DataFlagは、圧縮レイヤ１０から出力される基礎ストリームが２次元又は３次元動画像データのいずれであるかを示す。本実施の形態では、任意的に、当該フラグが‘０’である場合には伝送されるデータが２次元動画像の基礎ストリームであることを示し、‘１’である場合には３次元動画像の基礎ストリームであることを示すが、これに限定されるものではない。
【００６８】
表示区別フラグ２Ｄ＿３Ｄ DispFlagは、使用者が両眼／多視点３次元動画像に対して選択した表示方式を示す。本実施の形態では、任意的に、“００”である場合には２次元動画像表示、“０１”である場合には３次元動画像フィールドシャッタリング表示、“１０”である場合には３次元動画像フレームシャッタリング表示、“１１”である場合には多視点３次元動画像表示であることを示すが、これに限定されるものではない。
【００６９】
視点情報フラグNumViewPointは、動画像の視点数を示す。即ち、両眼３次元動画像の場合、２視点の動画像であるので、視点情報フラグは“２”に設定され、Ｎ視点の３次元動画像の場合、“Ｎ”に設定される。
【００７０】
シンクレイヤ２０は、入力される基礎ストリームをアクセスユニットごとに受け入れて複数個のＳＬパケットに分割して各ＳＬパケットのペイロード部を生成し、アクセスユニットごとにＥＳＩを通じて伝達される情報と、上記のように追加される両眼／多視点３次元動画像に対する追加情報（画像区別フラグ、表示区別フラグ、視点情報フラグ）とに基づいて、シンクパケットヘッダ部を構成する。
【００７１】
図１３は、本発明の実施の形態に係る両眼３次元動画像データに対する一つの３Ｄ＿ＡＵストリームに追加されるヘッダ情報であるシンクパケットヘッダ部の構造を示している。
【００７２】
図１３に示されたシンクパケットヘッダ部において、アクセスユニット開始フラグは、シンク（sync）パケットペイロードの何番目のバイトが３Ｄ＿ＡＵストリームの開始であるかを示すものであり、例えば、フラグビットが‘１’である場合、ＳＬパケットペイロードの第１バイトが３Ｄ＿ＡＵストリーム１個の開始であることを示す。
【００７３】
アクセスユニット末端フラグは、シンクパケットペイロードの何番目のバイトが３Ｄ＿ＡＵストリームの末端であるかを示したもので、例えば、フラグビットが‘１’である場合、ＳＬパケットペイロードの最後のバイトが現在の３Ｄ＿ＡＵの末端のバイトであることを示す。
【００７４】
ＯＣＲフラグは、いくつの客体クロック参照（Object clock Reference）が後続しているかを示すものであり、例えば、フラグビットが‘１’である場合、一つの客体クロック参照が後続していることを示す。
【００７５】
アイドル（idle）フラグは、３Ｄ＿ＡＵストリームの出力状態を示すものであり、例えば、フラグビットが‘１’である場合、任意の時間内に３Ｄ＿ＡＵデータが出力されないことを示し、フラグビットが‘０’である場合、３Ｄ＿ＡＵデータが出力されていることを示す。
【００７６】
パディング（padding）フラグは、ＳＬパケット内のパディング存在の有無を示すものであり、フラグビットが‘１’である場合、ＳＬパケット内にパディングが存在することを示す。
【００７７】
パディングビットは、ＳＬパケットに使用されるパディングモードを示し、デフォルト値は‘０’である。
【００７８】
パケットシーケンス番号は、ＳＬパケットに対して連続的に増加するモジュール値を有する。デコーダでの不連続は、一つ以上のＳＬパケットの損失を意味する。
【００７９】
客体クロック参照は、ＯＣＲ時間スタンプを含み、ＯＣＲフラグがセッティングされている場合にのみＳＬパケットヘッダに存在する。
【００８０】
画像区別フラグ（２Ｄ＿３Ｄ DataFlag）は、圧縮レイヤから出力される基礎ストリームが２Ｄ又は３Ｄ動画像データのいずれであるかを判別する。本実施の形態では、任意的に、‘０’である場合には２Ｄ動画像基礎ストリームであることを示し、‘１’である場合には３Ｄ動画像基礎ストリームであることを示す。
【００８１】
アクセスユニット開始フラグAccessUnitStartFlagのフラグビットが、ＳＬパケットペイロードの第１バイトが一つの３Ｄ＿ＡＵの開始であることを示す‘１’に設定される場合、選択的フィールド部の情報が伝達される。
【００８２】
ランダムアクセスポイントフラグは、フラグビットが‘１’である場合、コンテンツに対するランダムアクセスが可能であることを示す。
【００８３】
３Ｄ＿ＡＵシーケンス番号は、各３Ｄ＿ＡＵに対して連続的に増加するモジュール値を有する。デコーダでの不連続は、一つ以上の３Ｄ＿ＡＵの損失を意味する。
【００８４】
デコーディング時間スタンプフラグDecodingTimeStampFlagは、ＳＬパケットにデコーディング時間スタンプ（ＤＴＳ：Decoding Time Stamp）が存在することを示す。
【００８５】
合成時間スタンプフラグCompositionTimeStampFlagは、ＳＬパケットに合成時間スタンプ（ＣＴＳ：Composition Time Stamp）が存在することを示す。
【００８６】
インスタントビットレートフラグInstantBitRateFlagは、ＳＬパケットにインスタントビットレート（Instant Bit Rate）が存在することを示す。
【００８７】
デコーディング時間スタンプ（ＤＴＳ）は、関係するＳＬ構成記述子に存在するＤＴＳであり、ＤＴＳは、デコーディング時間が３Ｄ＿ＡＵに対する合成時間と異なる場合にのみ存在する。
【００８８】
合成時間スタンプ（ＣＴＳ）は、関係するＳＬ構成記述子に存在するＣＴＳである。
【００８９】
３Ｄ＿ＡＵの長さは、３Ｄ＿ＡＵのバイト長を示す。
【００９０】
インスタントビットレートは、現在の３Ｄ＿ＡＵに対するビットレートを示し、次のインスタントビットレートフィールドが示されるまで有効である。
【００９１】
デグラデーション優先順位（Degradation Priority）は、ＳＬパケットペイロードの重要性を示す。
【００９２】
視点情報フラグNumViewPointは、動画像の視点数を示す。即ち、両眼３次元動画像の場合、２視点の動画像であるので、“２”に設定され、Ｎ視点の３次元動画像の場合、“Ｎ”に設定される。
【００９３】
表示区別フラグ２Ｄ＿３Ｄ DispFlagは、両眼３次元動画像の場合と同様に、３次元動画像に対する表示方式を示す。本実施の形態では、任意的に、“００”である場合には２Ｄ動画像表示、“０１”である場合には３Ｄ動画像フィールドシャッタリング表示、“１０”である場合には３Ｄ動画像フレームシャッタリング表示、‘１１’である場合には多視点表示であることを示すものとして設定される。
【００９４】
上述のような構造のヘッダ部を構成した後、シンクレイヤ２０は、ヘッダ部をペイロード部と組み合わせてＳＬパケットを生成し、伝達レイヤ３０に伝送する。
【００９５】
伝達レイヤ３０に伝送されたＳＬパケットストリームは、ＦｌｅｘＭｕｘ３１によって多重化された後、ＤＭＩＦ３２を経て伝送環境のインターフェースに適したストリームに処理されて受信側に伝送されたり、記録メディアとのインターフェースに適したストリームに処理されて記録メディアに保存される。
【００９６】
受信側では、このように処理されて動画像処理システムから伝送されるパケットストリームを復号化して、元来の画像を再現する。
【００９７】
この場合、受信側の３次元客体復号化器は、受信される各３Ｄ＿ＡＵに多重化されているストリームのフォーマット形態に適合するように３次元動画像を復元しなければならないので、３Ｄ＿ＡＵがどのストリームのフォーマット形態で多重化されているかを検出する。従って、受信側の復号化器は、伝送されるパケットのヘッダ部に保存された情報のうちの視点情報フラグNumViewPoint及び表示区別フラグ２Ｄ＿３Ｄ dispFlagに保存された値によって３Ｄ＿ＡＵがどのストリームのフォーマット形態で多重化されているかを検出して復号化を行う。
【００９８】
例えば、伝送されたパケットストリームヘッダ部の視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“００”である場合には、両眼３次元動画像データを２次元動画像表示方式で表示しようとすることを示し、３Ｄ＿ＡＵは、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥの順に、上記の図１０のように多重化されていることを示す。
【００９９】
そして、視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“０１”である場合には、両眼３次元動画像データを３次元動画像フィールドシャッタリング表示方式で表示しようとすることを示し、３Ｄ＿ＡＵは、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥの順に、図８のように多重化されていることを示す。
【０１００】
最後に、視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１０”である場合には、両眼３次元動画像データを３次元動画像フレームシャッタリング表示方式で表示しようとすることを示し、３Ｄ＿ＡＵは、両眼３Ｄ左画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＬＯ、左画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＬＥ、３Ｄ右画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿ＲＯ、右画像の偶数フィールドの基礎ストリーム３ＤＥＳ＿ＲＥの順に、図９のように多重化されていることを示す。
【０１０１】
一方、視点情報フラグNumViewPointが“２”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１１”である場合には、両眼３次元動画像データを多視点３次元動画像表示方式で表示しようとすることを示すので、このような場合は発生しない。
【０１０２】
また、視点情報フラグNumViewPointが“Ｎ”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“００”である場合には、多視点３次元動画像データを２次元動画像表示方式で表示しようとすることを示すので、３Ｄ＿ＡＵは、第１視点画像の奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｏ、偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｅの順に、図１２のように多重化されていることを示す。
【０１０３】
また、視点情報フラグNumViewPointが“Ｎ”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１１”である場合には、多視点３次元動画像データを多視点３次元動画像表示方式で表示しようとすることを示すので、３Ｄ＿ＡＵは、第１視点から第Ｎ視点までの総ての奇数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｏ−３ＤＥＳ＿＃Ｎ Ｏ、第１視点から第Ｎ視点までの総ての偶数フィールドの基礎ストリーム３ＤＥＳ＿＃１ Ｅ−３ＤＥＳ＿＃Ｎ Ｅの順に、図１１のように多重化されていることを示す。
【０１０４】
また、視点情報フラグNumViewPointが“Ｎ”であり、表示区別フラグ２Ｄ＿３Ｄ DispFlagが“１０”又は“０”である場合には、多視点３次元動画像データを３次元動画像フレーム／フィールドシャッタリング表示方式で表示しようとすることを示すので、このような場合は発生しない。
【０１０５】
上記のように、受信側では、本発明の実施の形態に係る動画像処理システムから伝送されるパケットストリームヘッダ部の視点情報フラグNumViewPoint及び表示区別フラグ２Ｄ＿３Ｄ DispFlagに保存された値によってパケットストリーム内の３Ｄ＿ＡＵがどのストリームのフォーマット形態で多重化されているかを確認した後、復号化を行って、３次元画像を再現する。
【０１０６】
図１４は、ＭＰＥＧ４システムの復号化器構成記述子により定義されたストリーム型式を示しており、図１５は、圧縮レイヤから出力された両眼３次元動画像の基礎ストリームが２次元動画像データ又は３次元動画像データのいずれであるかを決定するための新規ストリーム型式を示している。
【０１０７】
本発明は、現時点で最も実用的かつ好ましい実施の形態と考えられる事項との関連において説明されてきたが、本発明は開示された実施の形態に限定されるものではなく、逆に、請求の範囲の意図及び範囲内に含まれる種々の変形例及び等価構成をも含むことを意図していることが理解されるべきである。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施の一形態に係る両眼／多視点３次元動画像処理システムの構造を示す概略図である。
【図２】既存の２Ｄマルチメディアに対するＥＳＩによって伝送される情報を示した例示図である。
【図３】本発明の実施の一形態に係る両眼３次元動画像符号化器の入出力データを示した図面である。
【図４】本発明の実施の一形態に係るＮ視点３次元動画像符号化器の入出力データを示した図面である。
【図５】本発明の実施の一形態に係る両眼３次元動画像に対する３Ｄ＿ＥＳ混合器の入出力データを示した図面である。
【図６】本発明の実施の一形態に係る多視点３Ｄ＿ＥＳ混合器の入出力データを示した図面である。
【図７】本発明の実施の一形態に係るフィールドシャッタリング表示のための両眼３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。
【図８】本発明の実施の一形態に係るフレームシャッタリング表示のための両眼３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。
【図９】本発明の実施の一形態に係る２次元表示のための両眼３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。
【図１０】本発明の実施の一形態に係る多視点３次元動画像表示のための多視点３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。
【図１１】本発明の実施の一形態に係る２次元表示のための多視点３次元動画像のフィールド単位の基礎ストリームの多重化を示した図面である。
【図１２】本発明の実施の一形態に係る両眼／多視点３次元動画像の処理のために既存のＥＳＩに対する追加伝送情報の例示図である。
【図１３】本発明の実施の一形態に係る両眼／多視点３次元動画像の処理のためのシンクパケットヘッダ部の構造を示した図面である。
【図１４】ＭＰＥＧ４システムの復号化器構成記述子により定義されたストリーム型式を示す図面である。
【図１５】圧縮レイヤから出力された両眼３次元動画像の基礎ストリームが２次元動画像データ又は３次元動画像データのいずれであるかを決定するための新規ストリーム型式を示す図面である。
【図１】
2008306750.tif 000003
【図２】
2008306750.tif 000004
【図３】
2008306750.tif 000005
【図４】
2008306750.tif 000006
【図５】
2008306750.tif 000007
【図６】
2008306750.tif 000008
【図７】
2008306750.tif 000009
【図８】
2008306750.tif 000010
【図９】
2008306750.tif 000011
【図１０】
2008306750.tif 000012
【図１１】
2008306750.tif 000013
【図１２】
2008306750.tif 000014
【図１３】
2008306750.tif 000015
【図１４】
2008306750.tif 000016
【図１５】
2008306750.tif 000017