(57)【特許請求の範囲】
【請求項１】
第１眼映像デーコーダから第１眼映像を出力する段階と、
第２眼映像デーコーダから第２眼映像を出力する段階と、
第１眼グラフィックプレーンから第１眼グラフィック画面を出力する段階と、
第２眼グラフィックプレーンから第２眼グラフィック画面を出力する段階と、
前記第１眼映像に前記第１眼グラフィック画面がオーバーレイされた映像と前記第２眼映像に前記第２眼グラフィック画面がオーバーレイされた映像を出力中、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化要求に相応して、前記第１眼映像に前記第１眼グラフィック画面がオーバーレイされた映像と前記第１眼映像に前記第２眼グラフィック画面がオーバーレイされた映像を出力する段階と、を含むことを特徴とする映像処理方法。
【請求項２】
ポップアップ・インタラクティブ・グラフィック・ストリーム活性化終了要求を受ける段階と、
前記活性化終了要求に相応し、前記第１眼映像と前記第２眼映像とを生成し、三次元ビデオ映像を再生する段階と、をさらに含むことを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記オーバーレイされた映像を出力する段階は、前記第１眼映像を連続して二回出力し、二次元ビデオ映像を再生する段階を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項４】
前記活性化要求に相応し、インタラクティブ・グラフィック・ストリームから、前記第１眼グラフィック画面と前記第２眼グラフィック画面とを生成し、三次元グラフィック画面を再生する段階をさらに含むことを特徴とする請求項１に記載の映像処理方法。
【請求項５】
前記インタラクティブ・グラフィック・ストリームは、第１眼インタラクティブ・グラフィック・ストリームと第２眼インタラクティブ・グラフィック・ストリームとを含むステレオスコーピック・インタラクティブ・グラフィック・ストリームであり、
前記三次元グラフィック画面を再生する段階は、前記第１眼インタラクティブ・グラフィック・ストリームから、前記第１眼グラフィック画面を生成し、前記第２眼インタラクティブ・グラフィック・ストリームから、前記第２眼グラフィック画面を生成する段階を含むことを特徴とする請求項４に記載の映像処理方法。
【請求項６】
前記三次元グラフィック画面を再生する段階は、
前記インタラクティブ・グラフィック・ストリームをデコーディングし、１つのグラフィック画面を生成する段階と、
前記生成された１つのグラフィック画面を、第１眼及び第２眼のうちいずれか１つの方向に、グラフィック・プレーン・オフセット値に基づいて移動させ、前記第１眼グラフィック画面及び前記第２眼グラフィック画面を生成する段階と、を含むことを特徴とする請求項４に記載の映像処理方法。
【請求項７】
前記三次元グラフィック画面を再生する段階は、複数のグラフィック・オブジェクト別に別個のデプス値を有するように、前記第１眼グラフィック画面及び前記第２眼グラフィック画面を生成する段階を含むことを特徴とする請求項４に記載の映像処理方法。
【請求項８】
前記三次元グラフィック画面を再生する段階は、前記三次元グラフィック画面全体が同じデプス値を有するように、前記第１眼グラフィック画面及び前記第２眼グラフィック画面を生成する段階を含むことを特徴とする請求項５に記載の映像処理方法。
【請求項９】
第１眼映像を出力する第１眼映像デコーダと、
第２眼映像を出力する第２眼映像デコーダと、
第１眼グラフィック画面を出力する第１眼グラフィックプレーンと、
第２眼グラフィック画面を出力する第２眼グラフィックプレーンと、を含むビデオ処理部を備え、
前記ビデオ処理部は、
前記第１眼映像に前記第１眼グラフィック画面がオーバーレイされた映像と前記第２眼映像に前記第２眼グラフィック画面がオーバーレイされた映像を出力中、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化要求に相応して、前記第１眼映像に前記第１眼グラフィック画面がオーバーレイされた映像と前記第１眼映像に前記第２グラフィック画面がオーバーレイされた映像を出力する、ことを特徴とする映像処理装置。
【請求項１０】
前記ビデオ処理部は、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化終了要求を受ければ、ビデオ・ストリームから前記第１眼映像と前記第２眼映像とを生成し、三次元ビデオ映像を再生することを特徴とする請求項９に記載の映像処理装置。
【請求項１１】
前記活性化要求に相応し、前記インタラクティブ・グラフィック・ストリームから、前記第１眼グラフィック画面と前記第２眼グラフィック画面とを生成するグラフィック・デコーダを更に備え、
前記ビデオ処理部は、前記第１眼グラフィック画面と前記第２眼グラフィック画面とを交互に出力し、三次元グラフィック画面を再生することを特徴とする請求項９に記載の映像処理装置。
【請求項１２】
前記インタラクティブ・グラフィック・ストリームは、第１眼インタラクティブ・グラフィック・ストリームと第２眼インタラクティブ・グラフィック・ストリームとを含むステレオスコーピック・インタラクティブ・グラフィック・ストリームであり、
前記グラフィック・デコーダは、前記第１眼インタラクティブ・グラフィック・ストリームから、前記第１眼グラフィック画面を生成し、前記第２眼インタラクティブ・グラフィック・ストリームから、前記第２眼グラフィック画面を生成することを特徴とする請求項１１に記載の映像処理装置。
【請求項１３】
前記グラフィック・デコーダは、前記インタラクティブ・グラフィック・ストリームをデコーディングし、１つのグラフィック画面を生成し、前記生成された１つのグラフィック画面を、第１眼び第２眼のうちいずれか１つの方向に、グラフィック・プレーン・オフセット値ほどそれぞれ移動させ、前記第１眼グラフィック画面及び前記第２眼グラフィック画面を生成することを特徴とする請求項１１に記載の映像処理装置。
【請求項１４】
前記グラフィック・デコーダは、複数のグラフィック・オブジェクト別に別個のデプス値を有するように、前記第１眼グラフィック画面及び前記第２眼グラフィック画面を生成することを特徴とする請求項１１に記載の映像処理装置。
【請求項１５】
前記グラフィック・デコーダは、前記三次元グラフィック画面全体が同じデプス値を有するように、前記第１眼グラフィック画面及び前記第２眼グラフィック画面を生成することを特徴とする請求項１１に記載の映像処理装置。
【請求項１６】
第１眼映像デーコーダから第１眼映像を出力する段階と、
第２眼映像デーコーダから第２眼映像を出力する段階と、
第１眼グラフィックプレーンから第１眼グラフィック画面を出力する段階と、
第２眼グラフィックプレーンから第２眼グラフィック画面を出力する段階と、
前記第１眼映像に前記第１眼グラフィック画面がオーバーレイされた映像と前記第２眼映像に前記第２眼グラフィック画面がオーバーレイされた映像を出力中、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化要求に相応して、前記第１眼映像に前記第１眼グラフィック画面がオーバーレイされた映像と前記第１眼映像に前記第２グラフィック画面がオーバーレイされた映像を出力する段階と、を含むことを特徴とする映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理方法及びその装置に係り、さらにより具体的には、三次元ビデオ映像再生中に、ビデオ映像とポップアップ・メニューとを共に再生しなければならない場合、ビデオ映像を二次元で再生する映像処理方法及びその装置に関する。
【背景技術】
【０００２】
デジタル技術の発達により、三次元映像技術が広く普及している。三次元映像技術は、二次元映像にデプス（depth）に係わる情報を付与し、さらにリアルな映像を表現する技術であり、現場で実物を見るような事実感、現実感を提供し、通信、ゲーム、医療、放送などの多様な分野で応用されている。
【０００３】
人間の目は横方向に所定距離ほど離れているので、左目と右目とが見る二次元映像が互いに異なるが、両眼視差という。脳は、互いに異なる２つの二次元映像を融合し、遠近感と実在感とがある三次元映像を生成する。両眼視差を利用して、三次元映像を具現する方法には、メガネを着用する方法と、メガネを着用せずに、レンチキュラーレンズ（lenticular  lens）、視差障害（parallax  barrier）、parallax  illuminationなどが備わった装置を利用する方法とがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、三次元ビデオ映像再生中に、ビデオ映像とポップアップ・メニューとを共に再生しなければならない場合、ビデオ映像を二次元で再生する映像処理方法及びその装置を提供するためのものである。
【０００５】
また本発明は、三次元ビデオ映像再生中に、ビデオ映像とポップアップ・メニューとを共に再生しなければならない場合、ポップアップ・メニューよりビデオ映像がさらに深く位置したような立体感を有する三次元で再生する映像処理方法及びその装置を提供するためのものである。
【課題を解決するための手段】
【０００６】
前記課題を達成するために、本発明の一側面によれば、ビデオ・ストリームから左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生する段階と、前記三次元ビデオ映像を再生している最中、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化要求を受ける段階と、前記活性化要求に相応し、ビデオ・ストリームから左目用映像と右目用映像とのうちいずれか１つの映像のみを生成し、二次元ビデオ映像を再生する段階と、を含む映像処理方法を提供することができる。
【０００７】
望ましい実施形態で、前記方法は、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化終了要求を受ける段階と、前記活性化終了要求に相応し、ビデオ・ストリームから左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生する段階と、をさらに含むことができる。また、前記二次元ビデオ映像を再生する段階は、前記左目用映像と前記右目用映像とのうち前記生成された１つの映像を連続して二回出力し、二次元ビデオ映像を再生する段階を含むことができる。
【０００８】
また前記方法は、インタラクティブ・グラフィック・ストリームがユーザの要求によって活性化されるポップアップ・インタラクティブ・グラフィック・ストリームであるか否かを判断する段階をさらに含み、前記二次元ビデオ映像を再生する段階は、前記インタラクティブ・グラフィック・ストリームが、前記ポップアップ・インタラクティブ・グラフィック・ストリームであると判断される場合、前記二次元ビデオ映像を再生する段階を含むことができる。
【０００９】
また前記方法は、前記活性化要求に相応し、インタラクティブ・グラフィック・ストリームから、左目用グラフィック画面と右目用グラフィック画面とを生成し、三次元グラフィック画面を再生する段階をさらに含むことができる。また、前記インタラクティブ・グラフィック・ストリームは、左目用インタラクティブ・グラフィック・ストリームと右目用インタラクティブ・グラフィック・ストリームを含むステレオスコーピック・インタラクティブ・グラフィック・ストリームであり、前記三次元グラフィック画面を再生する段階は、前記左目用インタラクティブ・グラフィック・ストリームから、前記左目用グラフィック画面を生成し、前記右目用インタラクティブ・グラフィック・ストリームから、前記右目用グラフィック画面を生成する段階を含むことができる。
【００１０】
また、前記三次元グラフィック画面を再生する段階は、前記インタラクティブ・グラフィック・ストリームをデコーディングし、１つのグラフィック画面を生成する段階と、前記生成された１つのグラフィック画面を、左側及び右側のうちいずれか１つの方向に、グラフィック・プレーン・オフセット値ほどそれぞれ移動させ、前記左目用グラフィック画面及び前記右目用グラフィック画面を生成する段階を含むことができる。また、前記三次元グラフィック画面を再生する段階は、複数のグラフィック・オブジェクト別に別個のデプス値を有するように、前記左目用グラフィック画面及び前記右目用グラフィック画面を生成する段階を含むことができる。また、前記三次元グラフィック画面を再生する段階は、前記三次元グラフィック画面全体が同じデプス値を有するように、前記左目用グラフィック画面及び前記右目用グラフィック画面を生成する段階を含むことができる。
【００１１】
本発明の他の側面によれば、ビデオ・ストリームから左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生し、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化要求を受ければ、ビデオ・ストリームから左目用映像と右目用映像とのうちいずれか１つの映像のみを生成し、二次元ビデオ映像を再生するビデオ処理部を含む映像処理装置を提供することができる。
【００１２】
本発明のさらに他の側面によれば、ビデオ・ストリームから左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生する段階と、前記三次元ビデオ映像を再生している最中、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化要求を受ける段階と、前記活性化要求に相応し、ビデオ・ストリームから左目用映像と右目用映像とのうちいずれか１つの映像のみを生成し、二次元ビデオ映像を再生する段階と、を含む映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体を提供することができる。
【発明の効果】
【００１３】
本発明によれば、三次元ビデオ映像再生中に、ビデオ映像とポップアップ・メニューとを共に再生しなければならない場合、ビデオ映像を二次元で再生することができる。
【００１４】
また、本発明によれば、三次元ビデオ映像再生中に、ビデオ映像とポップアップ・メニューとを共に再生しなければならない場合、ポップアップ・メニューよりビデオ映像がより深く位置したような立体感を有するようにして三次元で再生することができる。
【図面の簡単な説明】
【００１５】
【図１】ビデオ映像とグラフィック画面とを共に出力するブレンディングモデルを図示した図である。
【図２】本発明の実施形態によって、ビデオ映像とグラフィック画面とを共に再生するとき、ビデオ映像とグラフィック画面とを自然に再生させるために、ビデオ映像とグラフィック画面とのデプス値を調節することを説明するための図である。
【図３】本発明の一実施形態による映像処理装置の内部ブロック図である。
【図４】本発明の他の実施形態による映像処理装置の内部ブロック図である。
【図５】本発明のさらに他の実施形態による映像処理装置の内部ブロック図である。
【図６】本発明の一実施形態によるグラフィック・デコーディング装置の内部ブロック図である。
【図７】本発明の一実施形態によるグラフィック・ストリームに係わるメタデータを図示した図である。
【図８】本発明の一実施形態による映像処理方法を図示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００１７】
図１は、ビデオ映像とグラフィック画面とを共に出力するブレンディング・モデルを図示した図である。ビデオ・ストリームから生成されるビデオ映像は、グラフィック・ストリームから生成されるグラフィック画面と共に再生されうる。グラフィック・ストリームは、字幕を表示するためのプレゼンテーション・グラフィック・ストリーム（presentation  graphic  stream）またはテキスト・サブタイトル・ストリーム（text  subtitle  stream）、ユーザとの相互作用のためのボタンなどからなるメニューを提供するためのインタラクティブ・グラフィック・ストリーム（interactive  graphic  stream）、及びＪａｖａ（登録商標）のようなプログラム要素によって表示されるグラフィカル・オーバーレイ（graphical  overlay）のうち一つ以上を含むことができる。
【００１８】
図１で、ビデオ・ストリームから生成されるビデオ映像は、ビデオ・プレーン（video  plane）に表示される。プレゼンテーション・グラフィック・ストリームまたはテキスト・サブタイトル・ストリームから生成されるグラフィック画面は、プレゼンテーション・グラフィック・プレーン（presentation  graphics  plan）に表示され、インタラクティブ・グラフィック・ストリームから生成されるグラフィック画面は、インタラクティブ・グラフィック・プレーン（interactive  graphics  plane）に表示される。プレゼンテーション・グラフィック・ストリームまたはテキスト・サブタイトル・ストリーム、インタラクティブ・グラフィック・ストリームから生成されるグラフィック画面には、メニューやボタン、または字幕などを示すグラフィック・オブジェクトが含まれている。
【００１９】
ビデオ映像を三次元で再生しつつ、ビデオ映像とグラフィック画面とを共に再生するためには、ビデオ映像がグラフィック画面よりさらに深い位置にあるようなデプス感（depth  impression）を有するようにしなければならない。グラフィック画面に含まれたグラフィック・オブジェクトが、ビデオ映像よりさらに深い位置にあるようなデプス感を有する場合、ビデオ映像は、グラフィック・オブジェクトよりさらに飛び出すようになり、グラフィック・オブジェクトは、ビデオ映像の内側に入り込むようになり、グラフィック画面とビデオ映像とが不自然に表示されるためである。従って、ビデオ映像と共に表示しなければならないグラフィック画面は、ビデオ映像のデプス値を妨害してはならない。
【００２０】
また、字幕を表示するグラフィック画面と、メニューを表示するグラフィック画面とを共に再生する場合、メニューを表示するグラフィック画面が、字幕を表示するグラフィック画面よりさらに上に表示されねばならない。
【００２１】
これを具現するために、図１のブレンディング・モデルは、インタラクティブ・グラフィック・プレーンからビデオ・プレーンに行くほどに、さらに大きいデプス感を有するように、ビデオ映像とグラフィック画面とをオーバーレイする。図１で、後に行くほどにデプス値が０に近づき、前に行くほどにデプス値が大きくなると仮定する。デプス値は、映像のデプス程度を意味する。デプス値が小さくなって０に近づくほど、映像のデプス感が深くなり、映像が視聴者から遠く離れているような立体感を与える。デプス値が大きくなるほど、映像が視聴者に近づき、映像が前に飛び出しているような立体感を与える。映像が画面平面に結ばれた場合、映像は二次元で再生され、ユーザは、立体感を感ずることができない。
【００２２】
図１でブレンディング・モデルは、ビデオ・プレーンからインタラクティブ・グラフィック・プレーンに行くほどに大きいデプス値を有するようにして、ビデオ映像とグラフィック画面とをオーバーレイする。すなわち、図１でブレンディング・モデルは、プレゼンテーション・グラフィック・ストリームまたはテキスト・サブタイトル・ストリームによって表示されるグラフィック画面を、常にビデオ映像にオーバーレイして表示し、インタラクティブ・グラフィック・ストリームによって表示されるグラフィック画面を、ビデオ映像及び字幕映像にオーバーレイして表示する。
【００２３】
図１でａ１、ａ２は透明度情報であり、ａ１、ａ２は、０または１の値を有する。透明度情報の値が０であるということは、不透明であるということを意味し、値が１であるということは、完全に透明であるということを意味する。
【００２４】
このようにビデオ映像とグラフィック画面とが共に再生される場合、ビデオ映像よりグラフィック画面がさらに大きいデプス値を有してこそ、すなわち、ビデオ映像がグラフィック画面よりさらに内側に位置したようなデプス感を有してこそ、ビデオ映像とグラフィック画面との再生が自然になる。
【００２５】
図２は、本発明の実施形態によって、ビデオ映像とグラフィック画面とを共に再生するとき、ビデオ映像とグラフィック画面とを自然に再生させるために、ビデオ映像とグラフィック画面とのデプス値を調節するところを説明するための図である。
【００２６】
前述のように、ビデオ映像とグラフィック画面とを共に再生する場合、グラフィック画面は、ビデオ映像より大きいデプス値を有さねばならない。
【００２７】
字幕を表示するためのプレゼンテーション・グラフィック・ストリームまたはテキスト・サブタイトル・ストリームの場合、グラフィック画面が表示される時点が既定であるので、制作者（author）がプレゼンテーション・グラフィック・ストリームまたはテキスト・サブタイトル・ストリームをオーサリング（authoring）する段階で、共に再生されるビデオ映像のデプス値を参照し、グラフィック画面がビデオ映像のデプス感を妨害しないように、グラフィック画面のデプス値を調節することができる。
【００２８】
メニューを表示するためのインタラクティブ・グラフィック・ストリームの場合、メニューの形態によって、二種に分けることができる。一つは、決まった時間に表示されて消えるオールウェイズオン（always-on）メニューを表示するためのオールウェイズオン・インタラクティブ・グラフィック・ストリームであり、残りの一つは、メニューが出力される有効な時間だけ決まっていて、実際の画面に表示されて消えるのはユーザの入力によってのみ決定される、ポップアップ（pop-up）メニューを表示するためのポップアップ・インタラクティブ・グラフィック・ストリームである。オールウェイズオン・メニューのように、決まった時間に表示されて消えるメニューの場合、メニューと共に表示されるビデオ映像のデプス値をauthorがあらかじめ知っているので、authoring段階で、authorがビデオ映像のデプス感を妨害しないように、グラフィック画面のデプス値を調節することができる。
【００２９】
しかし、メニューの形態がポップアップ・メニューである場合、メニューが実際の画面に表示されて消えるのは、ビデオ映像を視聴するユーザ入力によってのみ決定されるので、ポップアップ・メニューが表示されるとき、共に再生されるビデオ映像がいなかるデプス値を有しているかをauthorがあらかじめ知ることができない。従って、グラフィック画面のデプス値が、ビデオ映像のデプス値より小さくなる場合が生じる。
【００３０】
従って、本発明の実施形態では、ビデオ映像とポップアップ・メニューとを共に再生するとき、グラフィック画面のデプス値がビデオ映像のデプス値より小さくならないように、図２に図示されているように、ビデオ映像のデプス感を調節する。
【００３１】
図２の上側の図は、ビデオ映像が三次元で再生されている最中に、ポップアップ・メニューが出力されることを要請するユーザの命令に応答し、ビデオ映像を二次元で再生するところを図示した図である。図２の上側の図で、左側の図は、ビデオ映像が三次元で再生されているところを図示している。ビデオ映像が三次元で再生されている最中に、ユーザがポップアップ・メニュー活性化を要求し、ポップアップ・メニューとビデオ映像とを共に再生しなければならない場合、本発明の実施形態では、ポップアップ・メニューと共に再生されるビデオ映像のデプス値が、画面のデプス値、すなわち、スクリーン・ポジション（screen position）のデプス値と同じになるように、ビデオ映像のデプス値を調節する。ビデオ映像のデプス値が、スクリーン・ポジションのデプス値と同じになるということは、ビデオ映像がスクリーンに結ばれることを意味し、これは、ビデオ映像が二次元で再生されることを意味する。一般的に、ポップアップ・メニューのデプス値は、スクリーン・ポジションのデプス値と同じであるか、それよりも大きいデプス値を有するので、ビデオ映像が二次元で再生される場合、ポップアップ・メニューがビデオ映像より大きいデプス値を有することになり、ビデオ映像とグラフィック画面とが自然に再生されることになる。
【００３２】
図２の下側の図は、ビデオ映像が三次元で再生されている最中に、ユーザがポップアップ・メニュー出力を要求すれば、ビデオ映像を、画面よりさらに奥に結ばせ、ビデオ映像とポップアップ・メニューとを共に再生するところを図示した図である。一般的にポップアップ・メニューは、スクリーンのデプス値と同じであるか、あるいはそれより大きいデプス値を有するので、ビデオ映像のデプス値が、スクリーン・ポジションのデプス値より小さくなる場合、ポップアップ・メニューがビデオ映像より大きいデプス値を有することになり、ビデオ映像とグラフィック画面とが自然に再生される。
【００３３】
ビデオ映像とポップアップ・メニューとを共に再生するとき、ビデオ映像に、図２に図示されているようなデプス感を有させる映像処理装置の実施形態として、図３ないし図５のような映像処理装置を具現することができる。
【００３４】
図３及び図４は、本発明の実施形態によって、ポップアップ・メニューとビデオ映像とを共に再生するとき、ビデオ映像を、図２の上側に図示されているように、二次元ビデオ映像で再生させるための映像処理装置を図示している。
【００３５】
図３を参照するに、本発明の一実施形態による映像処理装置３００は、ビデオ処理部３１０、第１グラフィック・デコーダ３２０、第２グラフィック・デコーダ３３０、第１グラフィック・プレーン３４０及び第２グラフィック・プレーン３５０を含む。
【００３６】
ビデオ処理部３１０は、第１ビデオ・デコーダ３１１、第２ビデオ・デコーダ３１２、第１ビデオ・プレーン３１３、第２ビデオ・プレーン３１４、スイッチング部３１５及び出力部３１６を含む。
【００３７】
第１ビデオ・デコーダ３１１は、左目用ビデオ・ストリームと右目用ビデオ・ストリームとのうち一つを入力され、第２ビデオ・デコーダ３１２は、左目用ビデオ・ストリームと右目用ビデオ・ストリームとのうち、第１ビデオ・デコーダ３１１に入力されるビデオ・ストリームを除外した残りのビデオ・ストリームを入力される。以下、便宜上、第１ビデオ・デコーダ３１１には、左目用ビデオ・ストリームが入力され、第２ビデオ・デコーダ３１２には、右目用ビデオ・ストリームが入力されると仮定する。
【００３８】
第１ビデオ・デコーダ３１１は、左目用ビデオ・ストリームをデコーディングし、デコーディングされた左目用ビデオ・ストリームを利用し、第１ビデオ・プレーン３１３に左目用映像を描く。第２ビデオ・デコーダ３１２は、右目用ビデオ・ストリームをデコーディングし、デコーディングされた右目用ビデオ・ストリームを利用し、第２ビデオ・プレーン３１４に右目用映像を描く。
【００３９】
第１ビデオ・プレーン３１３と第２ビデオ・プレーン３１４は、第１ビデオ・デコーダ３１１及び第２ビデオ・デコーダ３１２によって描かれた左目用映像及び右目用映像をそれぞれ一時的に保存する。出力部３１６は、第１ビデオ・プレーン３１３と第２ビデオ・プレーン３１４とに描かれた映像を交互に出力する。
【００４０】
第１グラフィック・デコーダ３２０と第２グラフィック・デコーダ３３０は、グラフィック・ストリームをデコーディングする。図３では、インタラクティブ・グラフィック・ストリームが、左目用インタラクティブ・グラフィック・ストリームと右目用インタラクティブ・グラフィック・ストリームとを含むステレオスコーピック（stereoscopic）・インタラクティブ・グラフィック・ストリームである場合を仮定している。第１グラフィック・デコーダ３２０は、左目用インタラクティブ・グラフィック・ストリームをデコーディングし、第１グラフィック・プレーン３４０に左目用グラフィック画面を、また第２グラフィック・デコーダ３３０は、右目用インタラクティブ・グラフィック・ストリームをデコーディングし、第２グラフィック・プレーン３５０に右目用グラフィック画面を描く。
【００４１】
第１グラフィック・プレーン３４０と第２グラフィック・プレーン３５０は、第１グラフィック・デコーダ３２０及び第２グラフィック・デコーダ３３０によってそれぞれ描かれた左目用グラフィック画面及び右目用グラフィック画面を、一時的に保存する。出力部３１６は、第１ビデオ・プレーン３１３と第２ビデオ・プレーン３１４とに描かれた映像を交互に出力する。
【００４２】
インタラクティブ・グラフィック・ストリームが、ステレオスコーピック・インタラクティブ・グラフィック・ストリームである場合、左目用グラフィック・ストリームと右目用グラフィック・ストリームは、そのストリーム自体がグラフィック画面に含まれた各グラフィック・オブジェクト別に別個のデプス値を有するように生成されうる。
【００４３】
グラフィック画面に含まれた各グラフィック・オブジェクト別に別個のデプス値を有させるために、各グラフィック・オブジェクトが、左右に移動しなければならない距離値をグラフィック・オブジェクトに係わるオフセット値（offset  value）であるとすれば、第１グラフィック・プレーン３４０と第２グラフィック・プレーン３５０とに描かれる左目用グラフィック画面と右目用グラフィック画面とには、各グラフィック・オブジェクトが、グラフィック・オブジェクトに係わるオフセット値ほど左または右に移動した位置にある。
【００４４】
この場合、第１グラフィック・デコーダ３２０と第２グラフィック・デコーダ３３０とによって生成される左目用グラフィック画面と右目用グラフィック画面は、各グラフィック・オブジェクト別に別個のデプス値を有し、出力部３１６によって出力される三次元グラフィック画面は、各グラフィック・オブジェクト別に別個の立体感を有する。
【００４５】
映像処理装置３００は、ユーザ・インターフェース（図示せず）を介して、ユーザの入力（ＵＯＰ：user  operation）を伝達される。ユーザは、三次元でビデオ映像を視聴していて、ユーザ・インターフェースを介して、映像処理装置３００にポップアップ・メニューを出力せよという命令及び／またはポップアップ・メニュー出力を終了せよという命令を発することができる。以下、ＵＯＰのうち、ポップアップ・メニューを出力せよという命令をポップアップ・インタラクティブ・グラフィック・ストリーム活性化命令（PopUp  On  UOP）とし、ポップアップ・メニュー出力を終了せよという命令を、ポップアップ・インタラクティブ・グラフィック・ストリーム活性化終了命令（PopUp  Off  UOP）と呼ぶ。
【００４６】
PopUp  On/Off  UOPは、ユーザ・インターフェースを介して、第１グラフィック・デコーダ３２０と第２グラフィック・デコーダ３３０とのうち一つ以上に伝えられる。以下、便宜上、第１グラフィック・デコーダ３２０にPopUp  On/Off  UOPが伝えられると仮定する。
【００４７】
PopUp  On/Off  UOPを受けた第１グラフィック・デコーダ３２０は、PopUp  On/Off  UOPを第２グラフィック・デコーダ３３０に知らせる。第１グラフィック・デコーダ３２０はまた、PopUp  On/Off  UOPをスイッチング部３１５に伝送する。スイッチング部３１５は、第１グラフィック・デコーダ３２０からPopUp  On/Off  UOPを受ければ、第２ビデオ・プレーン３１４に、第２ビデオ・デコーダ３１２に右目用映像を描かせたり、または第１ビデオ・デコーダ３１１に左目用映像を描かせるようにビデオ処理部３１０を制御する。
【００４８】
ビデオ処理部３１０が、第１ビデオ・プレーン３１３と第２ビデオ・プレーン３１４とに、それぞれ左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生している最中に、第１グラフィック・デコーダ３２０が、ユーザからPopUp  On  UOPを受ければ、第１グラフィック・デコーダ３２０は、PopUp  On  UOPを第２グラフィック・デコーダ３３０に知らせる。第１グラフィック・デコーダ３２０と第２グラフィック・デコーダ３３０は、ユーザからのPopUp  On  UOPに相応し、左目用インタラクティブ・グラフィック・ストリームと右目用インタラクティブ・グラフィック・ストリームとをそれぞれデコーディングし、第１グラフィック・プレーン３４０と第２グラフィック・プレーン３５０とに、左目用グラフィック画面と右目用グラフィック画面とを描く。出力部３１６は、第１グラフィック・プレーン３４０と第２グラフィック・プレーン３５０とに描かれた左目用グラフィック画面及び右目用グラフィック画面を交互に出力し、三次元グラフィック画面を再生する。
【００４９】
また、第１グラフィック・デコーダ３２０は、ユーザからのPopUp  On  UOPをスイッチング部３１５に伝送する。スイッチング部３１５は、ビデオ処理部３１０が左目用映像と右目用映像とのうちいずれか１つの映像のみを生成し、二次元ビデオ映像を再生するように、ビデオ処理部３１０を制御する。スイッチング部３１５は、第２ビデオ・プレーン３１４に、第２ビデオ・デコーダ３１２ではない第１ビデオ・デコーダ３１１が、左目用映像を描くように制御する。第１ビデオ・デコーダ３１１は、左目用ビデオ・ストリームから左目用映像を生成するので、第１ビデオ・デコーダ３１１によって、第２ビデオ・プレーン３１４には、左目用映像が描かれる。
【００５０】
図３では、スイッチング部３１５が、第２ビデオ・プレーン３１４に、第１ビデオ・デコーダ３１１が映像を描くようにするか、または第２ビデオ・デコーダ３１２が映像を描くようにするかを制御すると図示されているが、本発明はこれに限定されるものではなく、スイッチング部３１５は、第２ビデオ・プレーン３１４に右目用映像が描かれることはそのままにしておき、その代わりに、第１ビデオ・プレーン３１３に、第１ビデオ・デコーダ３１１が映像を描くようにする、または第２ビデオ・デコーダ３１２が映像を描くようにするかを制御することもできる。
【００５１】
出力部３１６は、第１ビデオ・プレーン３１３と第２ビデオ・プレーン３１４とに描かれた映像を交互に出力する。第１ビデオ・プレーン３１３と第２ビデオ・プレーン３１４とに、いずれも左目用映像が描かれているので、出力部３１６は、左目用映像を連続して二回再生し、二次元ビデオ映像を再生する。出力部３１６は、二次元ビデオ映像上に三次元グラフィック画面をオーバーレイして再生する。
【００５２】
一般的に、ポップアップ・メニューのデプス値は、スクリーンのデプス値と同じであるか、あるいはそれより大きいデプス値を有するので、ビデオ映像が二次元で再生される場合、三次元グラフィック画面で再生されるポップアップ・メニューは、ビデオ映像より大きいデプス値を有することになり、ビデオ映像とグラフィック画面とが自然に再生される。
【００５３】
ビデオ処理部３１０が、二次元ビデオ映像を再生している最中に、ユーザが、ユーザ・インターフェースを介して、PopUp  Off  UOPを伝送したところに応答し、第１グラフィック・デコーダ３２０と第２グラフィック・デコーダ３３０は、ポップアップ・インタラクティブ・グラフィック・ストリームを利用し、第１グラフィック・プレーン３４０と第２グラフィック・プレーン３５０とに、左目用グラフィック画面と右目用グラフィック画面とを描くことを終了する。
【００５４】
第１グラフィック・デコーダ３２０は、PopUp  Off  UOPをさらにスイッチング部３１５に伝達する。スイッチング部３１５は、第１グラフィック・デコーダ３２０からPopUp  Off  UOPを受け、第１ビデオ・デコーダ３１１ではない第２ビデオ・デコーダ３１２が、第２ビデオ・プレーン３１４に映像を描くように制御する。第２ビデオ・デコーダ３１２は、スイッチング部３１５に、制御によって右目用映像を第２ビデオ・プレーン３１４に描く。
【００５５】
出力部３１６は、第１ビデオ・プレーン３１３に描かれた左目用映像と第２ビデオ・プレーン３１４とに、右目用映像を交互に出力し、三次元ビデオ映像を再生する。
【００５６】
第１グラフィック・デコーダ３２０は、ユーザから発生するPopUp  On/Off  UOPをスイッチング部３１５に伝送する前、処理しようとするインタラクティブ・グラフィック・ストリームが、ポップアップ・メニューを表示するためのポップアップ・インタラクティブ・グラフィック・ストリームであるか否かをまず確認し、インタラクティブ・グラフィック・ストリームが、ポップアップ・インタラクティブ・グラフィック・ストリームである場合に限り、ユーザからのPopUp  On/Off  UOPを、スイッチング部３１５に伝送することができる。第１グラフィック・デコーダ３２０は、インタラクティブ・グラフィック・ストリームが、ポップアップ・インタラクティブ・グラフィック・ストリームであるか否かを確認するために、インタラクティブ・グラフィック・ストリームのＩＣＳ（interactive  composition  segment）に含まれたUser  Interface  Model  fieldを解析して出力するインタラクティブ・グラフィック・ストリームの類型が、ポップアップ・インタラクティブ・グラフィック・ストリームであるか否かを判断することができる。第１グラフィック・デコーダ３２０は、インタラクティブ・グラフィック・ストリームが、ポップアップ・インタラクティブ・グラフィック・ストリームである場合、ユーザから発生するPopUp  On/Off  UOPをスイッチング部３１５に伝送する。
【００５７】
このように、本発明の実施形態による映像処理装置は、三次元ビデオ映像を再生している最中に、ユーザからポップアップ・インタラクティブ・グラフィック・ストリーム活性化命令を受ければ、左目用映像と右目用映像とのうちいずれか１つの映像が、第１ビデオ・プレーン及び第２ビデオ・プレーンいずれにも描かれるようにし、二次元ビデオ映像を再生することができる。
【００５８】
図４は、本発明の他の実施形態による映像処理装置４００の内部ブロック図である。図４を参照するに、本発明の他の実施形態による映像処理装置４００は、ビデオ処理部４１０、第１グラフィック・デコーダ４２０、第２グラフィック・デコーダ４３０、第１グラフィック・プレーン４４０及び第２グラフィック・プレーン４５０を含む。
【００５９】
ビデオ処理部４１０は、第１ビデオ・デコーダ４１１、第２ビデオ・デコーダ４１２、第１ビデオ・プレーン４１３、第２ビデオ・プレーン４１４、スイッチング部４１５及び出力部４１６を含む。
【００６０】
図４の映像処理装置４００の構成要素は、スイッチング部４１５を除いては、図３の映像処理装置３００と、遂行するところが同一であるので、他の構成要素に係わる説明は、省略する。
【００６１】
映像処理装置４００のスイッチング部４１５は、第２ビデオ・デコーダ４１２が、第２ビデオ・プレーン４１４に映像を描くようにしたり、または映像を描けないように制御するという点で、図３の映像処理装置３００のスイッチング部３１５と区別される。
【００６２】
ビデオ処理部４１０が、第１ビデオ・プレーン４１３と第２ビデオ・プレーン４１４とにそれぞれ左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生している最中に、第１グラフィック・デコーダ４２０が、ユーザからPopUp  On  UOPを受ければ、第１グラフィック・デコーダ４２０は、PopUp  On  UOPを第２グラフィック・デコーダ４３０に知らせる。第１グラフィック・デコーダ４２０と第２グラフィック・デコーダ４３０は、左目用インタラクティブ・グラフィック・ストリームと右目用インタラクティブ・グラフィック・ストリームとをそれぞれデコーディングし、第１グラフィック・プレーン４４０と第２グラフィック・プレーン４５０とに、左目用グラフィック画面と右目用グラフィック画面とを描く。出力部４１６は、第１グラフィック・プレーン４４０と第２グラフィック・プレーン４５０とに描かれた左目用グラフィック画面及び右目用グラフィック画面を交互に出力し、三次元グラフィック画面を再生する。
【００６３】
また、第１グラフィック・デコーダ４２０は、ユーザからPopUp  On  UOPを受ければ、これをスイッチング部４１５に伝送する。スイッチング部４１５は、PopUp  On  UOPを受ければ、第２ビデオ・デコーダ４１２が第２ビデオ・プレーン４１４に映像を描けないように制御する。図４では、スイッチング部４１５が第２ビデオ・プレーン４１４に、第２ビデオ・デコーダ４１２が映像を描くようにするか、または描けないようにするかを制御すると図示されているが、本発明はこれに限定されるものではなく、スイッチング部４１５は、第２ビデオ・プレーン４１４に、右目用映像が描かれることはそのままにしておき、代わりに、第１ビデオ・プレーン４１３に、第１ビデオ・デコーダ４１１が映像を描くようにするが、または描けないようにするかを制御することもできる。
【００６４】
出力部４１６は、第１ビデオ・プレーン４１３と第２ビデオ・プレーン４１４とに描かれた映像を交互に出力する。スイッチング部４１５の制御によって、第２ビデオ・プレーン４１４には映像が描かれないので、出力部４１６は、第１ビデオ・プレーン４１３に描かれた左目用映像を再生した後、第２ビデオ・プレーン４１４の空き映像、例えば、全体が真っ黒であったり、全体が真っ白である映像を再生する。この場合、出力部４１６によって再生されるビデオ映像は、二次元映像になる。
【００６５】
ビデオ処理部４１０が二次元ビデオ映像を再生している最中に、ユーザがユーザ・インターフェースを介して、PopUp  Off  UOPを伝送すれば、第１グラフィック・デコーダ４２０と第２グラフィック・デコーダ４３０は、ポップアップ・インタラクティブ・グラフィック・ストリームを利用し、第１グラフィック・プレーン４４０と第２グラフィック・プレーン４５０とに、左目用グラフィック画面と右目用グラフィック画面とを描くことを終了する。
【００６６】
第１グラフィック・デコーダ４２０は、PopUp  Off  UOPをさらにスイッチング部４１５に伝達する。スイッチング部４１５は、第１グラフィック・デコーダ４２０からPopUp  Off  UOPを受ければ、第２ビデオ・デコーダ４１２が、第２ビデオ・プレーン４１４にさらに映像を描くように制御する。第２ビデオ・デコーダ４１２は、右目用ビデオ・ストリームをデコーディングし、スイッチング部４１５の制御によって、右目用映像を第２ビデオ・プレーン４１４に描く。出力部４１６は、第１ビデオ・プレーン４１３に描かれた左目用映像と、第２ビデオ・プレーン４１４に右目用映像とを交互に出力し、三次元ビデオ映像を再生する。
【００６７】
このように、本発明の他の実施形態による映像処理装置は、三次元ビデオ映像を再生している最中に、ユーザからポップアップ・インタラクティブ・グラフィック・ストリーム活性化命令を受ければ、左目用映像と右目用映像とのうちいずれか１つの映像が、第１ビデオ・プレーンと第２ビデオ・プレーンとのうちいずれか１つのプレーンに描かれないように制御し、二次元ビデオ映像を再生することができる。
【００６８】
図５は、本発明のさらに他の実施形態による映像処理装置５００の内部ブロック図である。図５は、ポップアップ・メニューとビデオ映像とを共に再生するとき、図２の下側に図示されているように、ビデオ映像がポップアップ・メニューより奥に位置したような立体感を有するように、ビデオ映像を再生するための映像処理装置である。
【００６９】
図５を参照するに、本発明のさらに他の実施形態による映像処理装置５００は、ビデオ処理部５１０、グラフィック・デコーダ５２０、第１グラフィック・プレーン５３０及び第２グラフィック・プレーン５４０を含む。
【００７０】
ビデオ処理部５１０は、第１ビデオ・デコーダ５１１、第２ビデオ・デコーダ５１２、第１ビデオ・プレーン５１３、第２ビデオ・プレーン５１４、スイッチング部５１５、左右移動部（shifter）５１６及び出力部５１７を含む。
【００７１】
図５の映像処理装置５００を具現するためには、ポップアップ・メニューが表示されるとき、ビデオ・プレーンが有する特定デプス値が定義されていなければならない。映像処理装置５００内部のメモリ（図示せず）、ビデオ・ストリーム内部、グラフィック・ストリーム内部、またはビデオ・ストリームに係わるメタデータなどには、ポップアップ・メニューが表示されるとき、ビデオ・プレーンに特定デプス値を有させる情報が含まれうる。以下、ビデオ・プレーンに特定デプス値を有させるための情報として、左目用ビデオ映像または右目用ビデオ映像が、それぞれ左または右に移動しなければならない距離を表示する情報を、ビデオ・プレーン・オフセット値（video  plane  offset  value）と呼ぶ。
【００７２】
ビデオ処理部５１０が左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生している最中に、グラフィック・デコーダ５２０が、ユーザからPopUp  On  UOPを受ければ、グラフィック・デコーダ５２０は、処理しようとするインタラクティブ・グラフィック・ストリームが、ポップアップ・インタラクティブ・グラフィック・ストリームであるか否かを判断し、インタラクティブ・グラフィック・ストリームがポップアップ・インタラクティブ・グラフィック・ストリームである場合、PopUp On UOPをスイッチング部５１５に伝送する。
【００７３】
スイッチング部５１５は、PopUp  On  UOPを受ければ、第２ビデオ・デコーダ５１２ではない第１ビデオ・デコーダ５１１が、第２ビデオ・プレーン４１４に映像を描くように制御する。この場合、第１ビデオ・プレーン５１３と第２ビデオ・プレーン５１４とには、いずれも左目用映像が描かれる。
【００７４】
また、図５の映像処理装置５００のグラフィック・デコーダ５２０は、PopUp  On  UOPを受ければ、映像処理装置５００内部のメモリから、またはビデオ・ストリームやグラフィック・ストリーム、またはビデオ・ストリームに係わるメタデータからビデオ・プレーン・オフセット値を抽出する。グラフィック・デコーダ５２０は、抽出したビデオ・プレーン・オフセット値を左右移動部５１６に伝送する。
【００７５】
左右移動部５１６は、第１ビデオ・プレーン５１３と第２ビデオ・プレーン５１４とに描かれている映像を左右にそれぞれビデオ・プレーン・オフセット値ほど移動させる。ビデオ・プレーン・オフセット値が正数である場合、左右移動部５１６は、第１ビデオ・プレーン５１３に描かれている左目用映像を、左側にビデオ・プレーン・オフセット値ほど移動させ、第２ビデオ・プレーン５１４に描かれている左目用映像を、右側にビデオ・プレーン・オフセット値ほど移動させ、新しい２つの映像を生成する。
【００７６】
出力部５１６は、左右移動部５１６によって生成された２つの映像を交互に出力する。この場合、出力部５１６によって再生される映像は、映像全体が同じデプス値を有する三次元ビデオ映像になる。左右移動部５１６が、左目用映像を左側と右側とに移動させる距離が大きいほど、すなわち、ビデオ・プレーン・オフセット値が大きいほど、左右移動部５１６によって生成された２つの映像から生成される三次元ビデオ映像のデプス値が小さくなり、三次元ビデオ映像が画面中にさらに深く入り込むような立体感を与える。
【００７７】
グラフィック・デコーダ５２０は、ユーザからPopUp  On  UOPを受ければ、インタラクティブ・グラフィック・ストリームをデコーディングし、グラフィック画面を生成する。図５では、グラフィック・ストリームがステレオスコーピック・グラフィック・ストリームではない場合を仮定する。
【００７８】
映像処理装置５００内部のメモリや、グラフィック・ストリームの内部、またはグラフィック・ストリームに係わるメタデータなどには、グラフィック・ストリームを三次元で再生するための情報が含まれうる。映像処理装置５００は、メモリや、グラフィック・ストリームの内部、またはグラフィック・ストリームに係わるメタデータから、グラフィック・ストリームを三次元で再生するための情報を抽出し、これを利用して、１つのグラフィック・ストリームから三次元グラフィック画面を再生することができる。グラフィック・ストリームを三次元で再生するための情報は、グラフィック・オブジェクト・オフセット情報や、グラフィック・プレーン・オフセット情報のうち一つ以上を含むことができる。グラフィック・プレーン・オフセット情報は、複数個のグラフィック・オブジェクトが含まれたグラフィック画面全体に同じデプス値を付与するための情報であり、これと区別されるように、グラフィック・オブジェクト・オフセット情報は、グラフィック画面に含まれた複数個のグラフィック・オブジェクトそれぞれに対して、別個のデプス値を付与するための情報である。
【００７９】
グラフィック・プレーン・オフセット情報は、グラフィック・プレーンに係わるオフセット値を含む。グラフィック・プレーンに係わるオフセット値は、１つのグラフィック・ストリームからデコーディングされて生成された１つのグラフィック画面を利用し、グラフィック画面全体が同じ所定のデプス値を有する三次元グラフィック画面を生成するために、前記１つのグラフィック画面全体が左右に移動しなければならない距離を表示する値である。
【００８０】
グラフィック・オブジェクト・オフセット情報は、グラフィック画面に含まれた複数個のグラフィック・オブジェクトそれぞれを識別するためのオブジェクト識別子、識別されたオブジェクトに適用する、グラフィック・オブジェクトに係わるオフセット値を含む。グラフィック・オブジェクトに係わるオフセット値は、各グラフィック・オブジェクト別に別個のデプス値を有させるために、各グラフィック・オブジェクトが左右に移動しなければならない距離を表示する値である。
【００８１】
グラフィック・デコーダ５２０は、映像処理装置５００内部のメモリや、グラフィック・ストリームの内部、またはグラフィック・ストリームに係わるメタデータなどから、グラフィック・ストリームを三次元で再生するための情報を抽出し、グラフィック・ストリームを三次元で再生するための情報から、グラフィック・オブジェクト・オフセット情報とグラフィック・プレーン・オフセット情報とのうち一つを抽出し、グラフィック画面全体が同じデプス値を有するようにしたり、グラフィック画面に含まれたグラフィック・オブジェクト別に、すなわち、各メニューやボタン別に、別個のデプス値を有させ、グラフィック画面を三次元で再生することができる。
【００８２】
グラフィック・デコーダ５２０が、グラフィック・ストリームを三次元で再生するための情報から、グラフィック・プレーン・オフセット情報を抽出した場合、グラフィック・デコーダ５２０は、グラフィック・プレーン・オフセット情報に含まれたグラフィック・プレーンに係わるオフセット値ほど、グラフィック画面全体を左右に移動させ、第１グラフィック・プレーン５３０と第２グラフィック・プレーン５４０とに、それぞれ左目用グラフィック画面と右目用グラフィック画面とを描く。
【００８３】
出力部５１７は、第１グラフィック・プレーン５３０と第２グラフィック・プレーン５４０とに描かれた左目用グラフィック画面と右目用グラフィック画面とを交互に出力し、三次元グラフィック画面を再生することができる。このとき、三次元グラフィック画面は、画面全体が同じデプス値を有する。
【００８４】
グラフィック・デコーダ５２０が、グラフィック・ストリームを三次元で再生するための情報から、グラフィック・オブジェクト・オフセット情報を抽出した場合、グラフィック・デコーダ５２０は、グラフィック・オブジェクト・オフセット情報から、グラフィック・オブジェクト識別子を抽出し、識別されたグラフィック・オブジェクト別に別個のデプス値を有する。このために、グラフィック・デコーダ５２０は、各グラフィック・オブジェクトが左右に移動しなければならない距離を表示するグラフィック・オブジェクトに係わるオフセット値を利用し、各グラフィック・オブジェクトが、グラフィック・オブジェクトに係わるオフセット値ほど左または右に移動した位置にあるように、第１グラフィック・プレーン５３０と第２グラフィック・プレーン５４０とに、左目用グラフィック画面と右目用グラフィック画面とを描く。
【００８５】
この場合、出力部５１７によって出力される三次元グラフィック画面内のそれぞれのグラフィック・オブジェクトは、別個の立体感を有する。
【００８６】
ユーザから、ユーザ・インターフェースを介して、PopUp  Off  UOPを伝送されれば、グラフィック・デコーダ５２０は、ポップアップ・インタラクティブ・グラフィック・ストリームを利用し、グラフィック画面を描くことを終了する。
【００８７】
グラフィック・デコーダ５２０は、PopUp  Off  UOPをさらにスイッチング部５１５に伝達する。グラフィック・デコーダ５２０からPopUp  Off  UOPを受けたスイッチング部５１５は、第２ビデオ・デコーダ５１２が、第２ビデオ・プレーン５１４に映像を描くように制御する。
【００８８】
またグラフィック・デコーダ５２０は、PopUp  Off  UOPを受ければ、左右移動部５１６にこれを知らせ、左右移動部５１６が、第１ビデオ・プレーン５１３と第２ビデオ・プレーン５１４とに描かれた映像を、左または右に移動させ、新しいグラフィック画面を生成できないように制御する。
【００８９】
出力部５１７は、第１ビデオ・プレーン５１３に描かれた左目用映像と、第２ビデオ・プレーン５１４に描かれた右目用映像とを交互に出力し、三次元ビデオ映像を再生する。
【００９０】
図６は、本発明の一実施形態によるグラフィック・デコーディング装置の内部ブロック図である。図６を参照するに、グラフィック・デコーディング装置６００は、左目用グラフィック・デコーダ６１０、右目用グラフィック・デコーダ６２０、左目用グラフィック・プレーン６３０、右目用グラフィック・プレーン６４０、オフセット値適用部（以下、オフセットともいう）６５０，６６０及び色相参照テーブル（ＣＬＵＴ：color  lookup  table）６７０，６８０を含む。
【００９１】
左目用グラフィック・デコーダ６１０は、コーデッドデータ・バッファ６１１、ストリーム・グラフィック処理部６１３、構成バッファ（６１５）、デコーデッドオブジェクト・バッファ６１７及びグラフィック・コントローラ６１９を含む。
【００９２】
右目用グラフィック・デコーダ６２０は、コーデッドデータ・バッファ６２１、ストリーム・グラフィック処理部６２３、構成バッファ６２５及びデコーデッドオブジェクト・バッファ６２７を含む。
【００９３】
グラフィック・ストリームが、ステレオスコーピック・グラフィック・ストリームである場合、左目用グラフィック・デコーダ６１０は、左目用グラフィック・ストリームをデコーディングし、右目用グラフィック・デコーダ６２０は、右目用グラフィック・ストリームをそれぞれデコーディングする。これについてさらに具体的に述べれば、コーデッドデータ・バッファ６１１，６２１は、それぞれ左目用インタラクティブ・グラフィック・ストリームと右目用インタラクティブ・グラフィック・ストリームとを一時的に保存していて、ストリーム・グラフィック処理部６１３，６２３に伝送する。ストリーム・グラフィック処理部６１３，６２３は、左目用インタラクティブ・グラフィック・ストリームと右目用インタラクティブ・グラフィック・ストリームとをそれぞれデコーディングし、ボタンイメージ用オブジェクトデータは、デコーデッドオブジェクト・バッファ６１７，６２７に送り、ボタンの構成情報は、構成バッファ６１５，６２５に送る。
【００９４】
グラフィック・コントローラ６１９は、デコーデッドオブジェクト・バッファ６１７，６２７に伝送された各オブジェクトデータについて、構成バッファ６１５，６２５から当該構成情報を参照し、出力されるイメージを構成し、構成されたイメージを、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とにそれぞれ伝送する。
【００９５】
グラフィック・コントローラ６１９は、当該構成情報に含まれた色相情報によって、色相参照テーブル６７０，６８０を参照し、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに伝送されたイメージの色相を充填する。出力部（図示せず）は、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに描かれたイメージを交互に再生し、三次元グラフィック画面に出力する。このとき、出力される三次元グラフィック画面の各グラフィック・オブジェクトは、すなわち、メニューやボタンは、それぞれ別個のデプス値を有することができる。
【００９６】
グラフィック・ストリームが、ステレオスコーピック・グラフィック・ストリームである場合には、オフセット値適用部６５０，６６０は、別途の機能を行うものではない。
【００９７】
グラフィック・ストリームが、ステレオスコーピック・グラフィック・ストリームではない場合、グラフィック・デコーディング装置６００は、左目用グラフィック・デコーダ６１０と右目用グラフィック・デコーダ６２０とをいずれも使用する必要がないので、１つのグラフィック・デコーダ、例えば、左目用グラフィック・デコーダ６１０だけを利用し、グラフィック・ストリームをデコーディングする。左目用グラフィック・デコーダ６１０は、グラフィック・ストリームをデコーディングし、出力するイメージを構成し、構成されたイメージを、オブジェクトバッファ６１７から探し、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とにそれぞれ伝送する。
【００９８】
グラフィック・コントローラ６１９は、映像処理装置内部のメモリ（図示せず）や、グラフィック・ストリーム内部、またはグラフィック・ストリームに係わるメタデータから、グラフィック・ストリームを三次元で再生するための情報を抽出する。グラフィック・ストリームを三次元で再生するための情報は、グラフィック・オブジェクト・オフセット情報とグラフィック・プレーン・オフセット情報とのうち一つ以上を含むことができる。グラフィック・コントローラ６１９は、グラフィック画面全体に同じデプス値を付与するために、グラフィック・プレーン・オフセット情報を抽出し、グラフィック・プレーン・オフセット情報からグラフィック・プレーンに係わるオフセット値を抽出し、これをオフセット値適用部６５０，６６０に伝送することができる。この場合、オフセット値適用部６５０，６６０は、グラフィック・コントローラ６１９からグラフィック・プレーンに係わるオフセット値を受け、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに伝送されたイメージを、グラフィック・プレーンに係わるオフセット値ほど、それぞれ左側方向及び右側方向、または右側方向及び左側方向に移動させる。グラフィック・コントローラ６１９は、当該構成情報に含まれた色相情報によって、色相参照テーブル６７０，６８０を参照し、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに伝送されたイメージの色相を充填する。出力部（図示せず）は、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに描かれたイメージを交互に出力し、三次元グラフィック画面を再生する。このとき、出力される三次元グラフィック画面は、グラフィック画面全体が同じデプス値を有する。
【００９９】
グラフィック・コントローラ６１９が、グラフィック画面に含まれたグラフィック・オブジェクト別に別個のデプス値を付与するためには、グラフィック・コントローラ６１９は、グラフィック・ストリームを三次元で再生するための情報から、グラフィック・オブジェクト・オフセット情報を抽出し、グラフィック・オブジェクト・オフセット情報から、オブジェクト識別子及びグラフィック・オブジェクトに係わるオフセット値を抽出し、これを、オフセット値適用部６５０，６６０に伝送する。オフセット値適用部６５０，６６０は、グラフィック・コントローラ６１９からオブジェクト識別子と、グラフィック・オブジェクトに係わるオフセット値とを受け、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに伝送されたイメージに含まれた各グラフィック・オブジェクト別に、グラフィック・オブジェクトに係わるオフセット値ほどそれぞれ左側方向及び右側方向、または右側方向及び左側方向に移動させる。グラフィック・コントローラ６１９は、当該構成情報に含まれた色相情報によって、色相参照テーブル６７０，６８０を参照し、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに伝送されたイメージの色相を充填する。出力部（図示せず）は、左目用グラフィック・プレーン６３０と右目用グラフィック・プレーン６４０とに描かれたイメージを交互に出力し、三次元グラフィック画面を再生する。このとき、出力される三次元グラフィック画面は、グラフィック画面に含まれたグラフィック・オブジェクト別に別個のデプス値を有する。
【０１００】
グラフィック・コントローラ６１９は、ユーザ・インターフェースを介して、ユーザからＵＯＰを受ける。グラフィック・コントローラ６１９は、ユーザからのＵＯＰによって、グラフィック・デコーディング装置６００を制御する。グラフィック・コントローラ６１９が、ユーザ・インターフェースを介してPopUp  On/Off  UOPを受けた場合、グラフィック・コントローラ６１９は、インタラクティブ・グラフィック・ストリームのうち、ＩＣＳ内のUser  Interface  Model  fieldを解析し、デコーディングされたインタラクティブ・グラフィック・ストリームの類型が、ポップアップ・インタラクティブ・グラフィック・ストリームであるか否かを判断する。グラフィック・コントローラ６１９は、デコーディングされたインタラクティブ・グラフィック・ストリームが、ポップアップ・インタラクティブ・グラフィック・ストリームであると判断すれば、PopUp  On/Off  UOPをビデオ処理部（図示せず）に伝送する。
【０１０１】
ビデオ処理部は、グラフィック・コントローラ６１９からPopUp  On  UOPを受ければ、左目用映像と右目用映像とのうちいずれか１つの映像のみ生成されるようにし、二次元ビデオ映像が再生されるようにしたり、左目用映像と右目用映像とのうち生成された１つの映像を、ビデオ・プレーン・オフセット値ほど左右にそれぞれ移動させ、新しい２つの映像を生成し、ポップアップ・メニューよりデプス値が小さい三次元ビデオ映像を再生させることができる。
【０１０２】
ビデオ処理部が、二次元ビデオ映像を再生している最中に、グラフィック・コントローラ６１９からPopUp  Off  UOPを受ければ、ビデオ処理部は、左目用映像と右目用映像とをいずれも生成し、三次元ビデオ映像を再生させることができる。前述の通り、ビデオ・プレーン・オフセット値は、映像処理装置内部のメモリ（図示せず）、ビデオ・ストリーム内部、グラフィック・ストリーム内部、またはビデオ・ストリームに係わるメタデータなどに含まれうる。
【０１０３】
このように、本発明の実施形態によれば、グラフィック・デコーディング装置は、グラフィック・ストリームを利用し、グラフィック画面全体が同じデプス値を有する三次元グラフィック画面を生成したり、グラフィック画面に含まれたグラフィック・オブジェクト別に、別個のデプス値を有する三次元グラフィック画面を生成することができる。
【０１０４】
図７は、本発明の一実施形態によるグラフィック・ストリームに係わるメタデータを図示した図である。本発明の一実施形態によるメタデータには、グラフィック・ストリームを三次元で再生するための情報が含まれている。しかし、本発明がこれに限定されるものではなく、グラフィック・ストリームを三次元で再生するための情報は、グラフィック・ストリームに係わるメタデータ以外に、映像処理装置内部のメモリやグラフィック・ストリーム内部などに含まれることもある。
【０１０５】
グラフィック・ストリームに係わるメタデータには、グラフィック・ストリームに含まれたグラフィック・オブジェクトが出力される時間を示すオブジェクト出力時間情報、及びグラフィック・オブジェクト・オフセット情報が含まれうる。グラフィック・オブジェクトは、グラフィック・ストリームによって表示されるグラフィック画面に含まれるボタンや字幕一つ一つを示す。グラフィック・オブジェクト出力時間情報は、メニューや字幕、すなわち、グラフィック・オブジェクトが出力される時刻を示し、ＩＣＳ、ＰＣＳ、ＤＰＳなどのプレゼンテーション・タイムスタンプ（ＰＴＳ）値で表示されもする。
【０１０６】
グラフィック・ストリームによって表示されるグラフィック画面には、メニューやボタン、または字幕などを示すグラフィック・オブジェクトが一つ以上含まれている。グラフィック・ストリームに係わるメタデータには、グラフィック・ストリームによって表示されるグラフィック画面に含まれた複数個のグラフィック・オブジェクトそれぞれについて、別個のデプス値を付与させるためのグラフィック・オブジェクト・オフセット情報と、グラフィック・オブジェクトが含まれたグラフィック画面全体に、同じ１つのデプス値を付与させるためのグラフィック・プレーン・オフセット情報とのうち一つ以上が含まれもする。
【０１０７】
グラフィック・オブジェクト・オフセット情報は、グラフィック・オブジェクトを識別するためのオブジェクト識別子、グラフィック・オブジェクトに係わるオフセット値、及びホール補償情報を含むことができる。オブジェクト識別子は、グラフィック・ストリームがデコーディングされて生成されたグラフィック・オブジェクトのうち、特定グラフィック・オブジェクトを識別するための情報である。
【０１０８】
グラフィック・オブジェクトに係わるオフセット値は、オブジェクト識別子によって識別されたオブジェクトの位置が、左目用グラフィック画面と右目用グラフィック画面とで、それぞれ左または右に移動する距離を示す。
【０１０９】
ホール補償情報は、グラフィック・オブジェクトの位置をグラフィック・オブジェクトに係わるオフセット値ほど変更する場合、本来オブジェクト位置に生じるホール（hole）を補償するための情報であり、ホールの領域を識別するためのホール領域識別情報、及び識別された領域を充填する色相の種類を示す色相参照情報を含むことができる。ホール補償情報は、色相参照情報の代わりに、ホール領域に挿入される図などに係わる情報が含まれうる。
【０１１０】
図８は、本発明の一実施形態による映像処理方法を図示したフローチャートである。図８を参照するに、映像処理装置は、ビデオ・ストリームから左目用映像と右目用映像とを生成し、三次元ビデオ映像を再生する（段階８１０）。
【０１１１】
映像処理装置は、三次元ビデオ映像を再生している最中に、ユーザからポップアップ・インタラクティブ・グラフィック・ストリーム活性化要求を受ければ（段階８２０）、デコーディングしたインタラクティブ・グラフィック・ストリームが、ユーザの活性化命令によって活性化されるポップアップ・インタラクティブ・グラフィック・ストリームであるか否かを判断する。
【０１１２】
映像処理装置は、デコーディングしたインタラクティブ・グラフィック・ストリームがユーザの活性化命令によって活性化されるポップアップ・インタラクティブ・グラフィック・ストリームである場合、活性化要求に相応し、ビデオ・ストリームから左目用映像と右目用映像とのうちいずれか１つの映像のみを生成し、二次元ビデオ映像を再生する（段階８３０）。
【０１１３】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【図１】
0005593333.tif 000002
【図２】
0005593333.tif 000003
【図３】
0005593333.tif 000004
【図４】
0005593333.tif 000005
【図５】
0005593333.tif 000006
【図６】
0005593333.tif 000007
【図７】
0005593333.tif 000008
【図８】
0005593333.tif 000009