(57)【要約】  ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出し、三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、ビデオデプス情報を利用して調節する映像処理方法が開示されている。
2012528510.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出する段階と、
前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節する段階と、を含むことを特徴とする映像処理方法。
【請求項２】
前記ビデオデプス情報は、三次元ビデオ映像のデプス値、または前記三次元ビデオ映像のデプス値に対応するピクセルの移動距離値を含み、前記デプス値は、画面内側からビデオ映像が出力される画面外側に行くほど大きくなり、
前記グラフィック画面のデプス値を調節する段階は、前記三次元ビデオ映像のデプス値と同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節する段階を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記三次元ビデオ映像に複数のオブジェクトが含まれており、前記ビデオデプス情報に、前記複数のオブジェクトのうち２以上のオブジェクトのデプス情報が含まれている場合、
前記グラフィック画面のデプス値を調節する段階は、前記２以上のオブジェクトのうち最も大きいデプス値を有するオブジェクトと、デプス値が同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項４】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含み、
前記ビデオデプス情報を抽出する段階は、前記複数のアクセス・ユニットそれぞれから、ビデオデプス情報を抽出する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項５】
前記グラフィック画面のデプス値を調節する段階は、
ビデオデプス情報が抽出されたアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記抽出されたビデオデプス情報を利用して調節する段階を含むことを特徴とする請求項４に記載の映像処理方法。
【請求項６】
前記ビデオデプス情報を抽出する段階は、前記各アクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出する段階を含むことを特徴とする請求項４に記載の映像処理方法。
【請求項７】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰ（group  of  pictures）を一つ以上含み、
前記ビデオデプス情報を抽出する段階は、前記ＧＯＰに含まれている複数のアクセス・ユニットのうちいずれか１つのアクセス・ユニットからビデオデプス情報を抽出する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項８】
前記ビデオデプス情報を抽出する段階は、前記１つのアクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出する段階を含むことを特徴とする請求項７に記載の映像処理方法。
【請求項９】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面のデプス値を調節する段階は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節する段階を含むことを特徴とする請求項８に記載の映像処理方法。
【請求項１０】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰを一つ以上含み、前記ビデオデプス情報を抽出する段階は、前記ＧＯＰのヘッダから前記ビデオデプス情報を抽出する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項１１】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面のデプス値を調節する段階は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節する段階を含むことを特徴とする請求項１０に記載の映像処理方法。
【請求項１２】
ビデオ・ストリームをデコーディングして左目用映像及び右目用映像を生成するビデオ・デコーダと、
グラフィック・ストリームをデコーディングしてグラフィック画面を生成するグラフィック・デコーダと、
ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出するビデオデプス情報抽出部と、
前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節するグラフィック画面デプス値調節部と、を含むことを特徴とする映像処理装置。
【請求項１３】
前記ビデオデプス情報は、三次元ビデオ映像のデプス値、または前記三次元ビデオ映像のデプス値に対応するピクセルの移動距離値を含み、前記デプス値は、画面内側からビデオ映像が出力される画面外側に行くほど大きくなり、
前記グラフィック画面デプス値調節部は、前記三次元ビデオ映像のデプス値と同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節することを特徴とする請求項１２に記載の映像処理装置。
【請求項１４】
前記三次元ビデオ映像に複数のオブジェクトが含まれており、前記ビデオデプス情報に、前記複数のオブジェクトのうち２以上のオブジェクトのデプス情報が含まれている場合、
前記グラフィック画面デプス値調節部は、前記２以上のオブジェクトのうち最も大きいデプス値を有するオブジェクトと、デプス値が同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節することを特徴とする請求項１３に記載の映像処理装置。
【請求項１５】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含み、
前記ビデオデプス情報抽出部は、前記複数のアクセス・ユニットそれぞれから、ビデオデプス情報を抽出することを特徴とする請求項１３に記載の映像処理装置。
【請求項１６】
前記グラフィック画面デプス値調節部は、ビデオデプス情報が抽出されたアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記抽出されたビデオデプス情報を利用して調節することを特徴とする請求項１５に記載の映像処理装置。
【請求項１７】
前記ビデオデプス情報抽出部は、前記各アクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出することを特徴とする請求項１５に記載の映像処理装置。
【請求項１８】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰ（group  of  pictures）を一つ以上含み、
前記ビデオデプス情報抽出部は、前記ＧＯＰに含まれている複数のアクセス・ユニットのうちいずれか１つのアクセス・ユニットから、ビデオデプス情報を抽出することを特徴とする請求項に１３記載の映像処理装置。
【請求項１９】
前記ビデオデプス情報抽出部は、前記１つのアクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出することを特徴とする請求項１８に記載の映像処理装置。
【請求項２０】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面デプス値調節部は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節することを特徴とする請求項１９に記載の映像処理装置。
【請求項２１】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰを一つ以上含み、前記ビデオデプス情報抽出部は、前記ＧＯＰのヘッダから前記ビデオデプス情報を抽出することを特徴とする請求項１３に記載の映像処理装置。
【請求項２２】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面デプス値調節部は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節することを特徴とする請求項２１に記載の映像処理装置。
【請求項２３】
ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出する段階と、
前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節する段階と、を含むことを特徴とする映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理方法及び装置に係り、さらに具体的には、三次元ビデオ映像のデプス値を利用し、三次元ビデオ映像と共に再生されるグラフィック画面のデプス値を調節する映像処理方法及び装置に関する。
【背景技術】
【０００２】
デジタル技術の発達によって、ビデオ映像を三次元で再生する技術が広く普及している。
【０００３】
三次元ビデオ映像は、ビデオ映像に対して付加的に提供されるメニューや字幕のようなグラフィック要素と共にディスプレイされる。三次元ビデオ映像と共に再生されるグラフィック要素は、二次元で再生されもし、三次元で再生されもする。
【０００４】
図１は、ビデオ映像とグラフィック要素とが、共に三次元で再生される場合、ビデオ映像とグラフィック要素とのデプス値を説明するための図である。ビデオ映像には、一つ以上のオブジェクトが含まれてもよい。図１は、ビデオ映像に、１つのオブジェクトが含まれている場合を図示している。
【０００５】
画面１００を基準にして、画面１００の前に飛び出した程度をデプス値とするとき、図１の（ａ）は、ビデオ映像に含まれたオブジェクトのデプス値１１０が、グラフィック要素のデプス値１２０より大きく、オブジェクトがグラフィック要素より画面１００の前に、さらに飛び出している場合を図示している。この場合、画面１００を視聴している視聴者は、メニュー、すなわち、グラフィック要素がビデオ映像のオブジェクトより内側に入って位置していると認識する。グラフィック要素が、ビデオ映像に含まれたオブジェクトより内側に位置するために、オブジェクトの一部がグラフィック要素によって識別される。この場合、視聴者は、オブジェクトとグラフィック要素との再生が不自然であると認識する。
【０００６】
図１の（ｂ）は、グラフィック要素のデプス値は一定であり、グラフィック要素と共に再生されるビデオ映像のデプス値が変わる場合について説明するための図である。一般的に、グラフィック要素のデプス値は、固定された値を有したり、あるいは特定時刻に変わったりする。しかし、固定されたデプス値を有するグラフィック要素と共に再生されるオブジェクトのデプス値は、フレームごとに連続して変わりうる。
【０００７】
図１の（ｂ）の左側フレームと右側フレームとで、ビデオ映像に含まれたオブジェクトのデプス値１１０は、互いに異なるが、グラフィック要素のデプス値１２０は、同一であると仮定する。図１の（ｂ）で、左側フレームでのオブジェクトとグラフィック要素とのデプス値差より、右側フレームでのオブジェクトとグラフィック要素とのデプス値差の方がさらに大きいということが分かる。左側フレームと右側フレームとが順次に再生されるとするとき、グラフィック要素のデプス値と、ビデオ映像内のオブジェクトのデプス値との差も変わる。視聴者は、グラフィック要素のデプス値とビデオ映像内のオブジェクトのデプス値との差の変化によって、めまいのようなものを感じてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、ビデオ映像のデプス値を利用し、グラフィック画面のデプス値を調節し、ビデオ映像とグラフィック画面との再生が自然に認識されるようにする映像処理方法及び装置を提供するものである。
【０００９】
本発明はまた、グラフィック画面よりビデオ映像がさらに深く位置したような立体感を有させ、ビデオ映像とグラフィック画面とを共に再生する映像処理方法及び装置を提供するものである。
【課題を解決するための手段】
【００１０】
前記課題を達成するために本発明の一側面によれば、ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出する段階と、前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節する段階と、を含む映像処理方法を提供することができる。
【００１１】
望ましい実施形態で、前記ビデオデプス情報は、三次元ビデオ映像のデプス値、または前記三次元ビデオ映像のデプス値に対応するピクセルの移動距離値を含み、前記デプス値は、画面内側から、ビデオ映像が出力される画面外側に行くほど大きくなり、前記グラフィック画面のデプス値を調節する段階は、前記三次元ビデオ映像のデプス値と同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節する段階を含んでもよい。また、前記三次元ビデオ映像に複数のオブジェクトが含まれており、前記ビデオデプス情報に、前記複数のオブジェクトのうち２以上のオブジェクトのデプス情報が含まれている場合、前記グラフィック画面のデプス値を調節する段階は、前記２以上のオブジェクトのうち最も大きいデプス値を有するオブジェクトと、デプス値が同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節する段階を含んでもよい。
【００１２】
また、前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニット（access  unit）を複数個含み、前記ビデオデプス情報を抽出する段階は、前記複数のアクセス・ユニットそれぞれから、ビデオデプス情報を抽出する段階を含んでもよい。また、前記グラフィック画面のデプス値を調節する段階は、ビデオデプス情報が抽出されたアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記抽出されたビデオデプス情報を利用して調節する段階を含んでもよい。
【００１３】
また、前記ビデオデプス情報を抽出する段階は、前記各アクセス・ユニットに含まれたＳＥＩ（supplemental  enhancement  information）内のユーザデータＳＥＩメッセージ（user  data  ＳＥＩ  messages）から、前記ビデオデプス情報を抽出する段階を含んでもよい。また、前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰ（group  of  pictures）を一つ以上含み、前記ビデオデプス情報を抽出する段階は、前記ＧＯＰに含まれた複数のアクセス・ユニットのうちいずれか１つのアクセス・ユニットからビデオデプス情報を抽出する段階を含んでもよい。
【００１４】
また、前記ビデオデプス情報を抽出する段階は、前記１つのアクセス・ユニットに含まれたＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出する段階を含んでもよい。また、前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、前記グラフィック画面のデプス値を調節する段階は、前記ＧＯＰに含まれた複数のアクセス・ユニットを、前記ビデオデプス情報に含まれた個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれた前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節する段階を含んでもよい。
【００１５】
本発明の他の側面によれば、ビデオ・ストリームをデコーディングして左目用映像及び右目用映像を生成するビデオ・デコーダと、グラフィック・ストリームをデコーディングしてグラフィック画面を生成するグラフィック・デコーダと、ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出するビデオデプス情報抽出部と、前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節するグラフィック画面デプス値調節部と、を含む映像処理装置を提供することができる。
【００１６】
本発明のさらに他の側面によれば、ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出する段階と、前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節する段階と、を含む映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体を提供することができる。
【発明の効果】
【００１７】
本発明は、ビデオ映像のデプス値を利用し、グラフィック画面のデプス値を調節し、デプス値が調節されたグラフィック画面をビデオ映像と共に再生することができる。
【００１８】
本発明はまた、グラフィック画面よりビデオ映像がさらに深く位置したような立体感を有させ、グラフィック画面とビデオ映像とを共に再生することができる。
【図面の簡単な説明】
【００１９】
【図１】ビデオ映像とグラフィック要素が共に三次元で再生される場合、ビデオ映像とグラフィック要素とのデプス値について説明するための図である。
【図２】本発明の一実施形態によるビデオ・ストリームを図示した図である。
【図３】本発明の他の実施形態によるビデオ・ストリームを図示する図である。
【図４】本発明のさらに他の実施形態によるビデオ・ストリームを図示する図である。
【図５】本発明の実施形態によって、ビデオデプス情報がＳＥＩメッセージに含まれていることを表現するシンタックス（syntax）を図示した図である。
【図６】本発明の一実施形態による映像処理装置の内部ブロック図である。
【図７】本発明の一実施形態による映像処理方法を図示したフローチャートである。
【発明を実施するための形態】
【００２０】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００２１】
図２は、本発明の一実施形態によるビデオ・ストリームを図示した図である。図２を参照すれば、ビデオ・ストリーム２００には、一つ以上のアクセス・ユニット（ＡＵ：access  unit）２１０が含まれている。アクセス・ユニット２１０は、ビット列中の情報をピクチャ単位でアクセスするために、いくつかのＮＡＬ（network  abstraction  layer）単位を集めた１つの集合である。すなわち、アクセス・ユニットは、エンコーディング／デコーディング単位であり、１つのアクセス・ユニットは、１枚の符号化された映像（coded  picture）、すなわち、ピクチャまたはフレームに該当する。
【００２２】
図２で、ビデオ・ストリーム２００には、各アクセス・ユニット２１０ごとに、ビデオデプス情報２２０が含まれている。ビデオデプス情報２２０は、ビデオ・ストリーム２００から生成される三次元ビデオ映像の深さ（depth）程度を示す情報である。
【００２３】
人間の目は横方向に所定距離ほど離れているので左目と右目とが見る二次元映像が互いに異なる。人間の脳は、左目と右目とが見る互いに異なる２つの二次元映像を融合させ、遠近感と実在感とのある三次元映像を生成する。従って、二次元ビデオ映像を三次元で再生するためには、１つの二次元映像に対して、左目及び右目が見る互いに異なる２つの映像、すなわち、左目用映像と右目用映像とをそれぞれ生成し、それらを交互に再生せねばならない。
【００２４】
左目用映像と右目用映像は、二次元映像に含まれているピクセルを、左または右に所定距離ほど移動させて生成する。二次元映像から左目用映像及び右目用映像を生成するために、ピクセルが移動せねばならない距離、すなわち、二次元映像での所定ピクセルの位置と、そのピクセルが所定距離ほど移動し、左目用映像及び右目用映像にマッピングされた地点との間の距離は、二次元映像から生成される三次元映像の深さ感によって異なる。
【００２５】
以下、本発明では、映像の深さ感を表示するためにデプス（depth）情報という用語を使用する。ビデオデプス情報は、デプス値（depth  value）、またはデプス値に対応するピクセルの移動距離値のうちいずれか一つを含んでもよい。
【００２６】
デプス値は、映像の深さ程度を表示する用語であり、本発明では、映像が視聴者に近く位置するほど、その映像のデプス値が大きくなると定義する。一実施形態としてデプス値は、０から２５５まで２５６個の値のうちいずれか一つを有し、映像が画面内側に形成され、画面を視聴している視聴者から映像が遠ざかるほどデプス値が小さくなって０に近づき、映像が画面外側に飛び出し、視聴者に近づくほどデプス値が大きくなり、２５５に近づく。
【００２７】
図２のように、ビデオ・ストリーム２００に含まれている各アクセス・ユニット（ＡＵ）２１０ごとに、各アクセス・ユニット２１０から生成される三次元ビデオ映像の深さを示すビデオデプス情報２２０を含めることができる。
【００２８】
図２には図示されていないが、各アクセス・ユニット２１０には、ＳＥＩ（supplemental  enhancement  information）が含まれ、ＳＥＩには、ＳＥＩメッセージ（user  data  ＳＥＩ  messages）が含まれてもよい。ビデオデプス情報２２０は、各アクセス・ユニット２１０に含まれているＳＥＩメッセージに含まれてもよい。ビデオデプス情報２２０がＳＥＩに含まれることについては、図４を参照してさらに具体的に説明する。
【００２９】
映像処理装置（図示せず）は、ビデオ・ストリーム２００の各アクセス・ユニット２１０から、ビデオデプス情報２２０を抽出し、抽出されたビデオデプス情報２２０を利用し、グラフィック画面のデプス値を調節することができる。
【００３０】
グラフィック画面は、グラフィック・ストリームをデコーディングして生成される。グラフィック・ストリームは、字幕を表示するためのプレゼンテーション・グラフィック・ストリーム（presentation  graphic  stream）またはテキスト・サブタイトル・ストリーム（text  subtitle  stream）、ユーザとの相互作用のためのボタンなどからなるメニューを提供するためのインタラクティブ・グラフィック・ストリーム（interactive  graphic  stream）、及びジャバ（Java（登録商標））のようなプログラム要素によって表示されるグラフィカル・オーバーレイ（graphical  overlay）のうちいずれか一つ以上を含んでもよい。
【００３１】
映像処理装置は、ビデオデプス情報２２０が抽出されたアクセス・ユニット２１０に同期されて再生されるグラフィック画面のデプス値を、抽出されたビデオデプス情報２２０を利用して調節することができる。映像処理装置は、ビデオデプス情報２２０に含まれているデプス値、またはデプス値に対応するピクセルの移動距離値を利用し、グラフィック画面のデプス値が、三次元ビデオ映像のデプス値と同じであるか、あるいはそれよりさらに大きい値を有するように調節される。この場合、グラフィック画面は、三次元ビデオ映像よりさらに飛び出して視聴者にさらに近い位置に出力される。
【００３２】
１つのフレームまたはピクチャには、一つまたは複数のオブジェクトが含まれてもよい。その場合、ビデオデプス情報２２０には、複数のオブジェクトいずれも、または複数のオブジェクトのうち２以上のオブジェクトのデプス情報が含まれてもよい。映像処理装置は、ビデオデプス情報２２０に含まれているオブジェクトのデプス情報のうちいずれか１つのオブジェクトのデプス情報を利用し、グラフィック画面のデプス値を調節することができる。
【００３３】
ビデオデプス情報２２０に含まれているオブジェクトのデプス情報が、オブジェクトのデプス値である場合、映像処理装置は、複数のオブジェクトのうち最もデプス値が大きいオブジェクトのデプス値より、グラフィック画面のデプス値がさらに大きくなるように、グラフィック画面のデプス値を調節することができる。
【００３４】
ビデオデプス情報２２０に、デプス値の代わりに、複数のオブジェクトそれぞれに係わるピクセルの移動距離値が含まれている場合、映像処理装置は、ピクセルの移動距離値に対応するデプス値を求め、複数のオブジェクトのうち、デプス値が最大であるオブジェクトを識別し、識別されたオブジェクトのデプス値よりさらに大きいデプス値を有するように、グラフィック画面のデプス値を調節することができる。
【００３５】
このように、本発明の一実施形態によれば、ビデオ映像と共に再生されるグラフィック画面のデプス値を調節するためのビデオデプス情報２２０が、各アクセス・ユニットごとに含まれてもよい。
【００３６】
図３は、本発明の他の実施形態によるビデオ・ストリーム３００を図示している。図３を参照すれば、ビデオ・ストリーム３００には、一連のピクチャの集合であるＧＯＰ（group  of  pictures）が一つ以上含まれている。また、ビデオ・ストリーム３００には、各ＧＯＰに係わるＧＯＰヘッダ３１０が含まれている。ＧＯＰは、Ｉピクチャから次のＩピクチャまでの一連のピクチャのまとまりであり、１つのＧＯＰには、Ｉピクチャ以外にも、Ｐピクチャ、Ｂピクチャが含まれてもよい。前述のように、１つのピクチャは、１つのアクセス・ユニットに対応する。
【００３７】
図３のビデオ・ストリーム３００のように、ＧＯＰヘッダ３１０に、ＧＯＰに含まれる複数のアクセス・ユニットに係わるビデオデプス情報３３０を含めることができる。前述のように、ビデオデプス情報３３０は、三次元ビデオ映像のデプス値、または三次元ビデオ映像のデプス値に対応するピクセルの移動距離値のうちいずれか一つを含む。
【００３８】
ＧＯＰヘッダ３１０に、複数のアクセス・ユニットについてのビデオデプス情報３３０が含まれるので、ビデオデプス情報３３０には、複数のデプス値、または複数のピクセルの移動距離値がリスト状で含まれる。また、ビデオデプス情報３３０には、デプス値の個数、またはピクセルの移動距離値の個数を示す情報が、カウント（count）値として含まれていてもよい。
【００３９】
映像処理装置（図示せず）は、ＧＯＰヘッダ３１０からビデオデプス情報３３０を抽出し、ビデオデプス情報３３０に含まれているカウント値を利用し、デプス値の個数、またはピクセルの移動距離値の個数がいくつであるかを把握することができる。映像処理装置は、ＧＯＰに含まれている複数のアクセス・ユニットを、ビデオデプス情報３３０に含まれている個数ほどのまとまりに分け、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、デプス値またはピクセルの移動距離値を利用して調節することができる。
【００４０】
一例として、ＧＯＰにアクセス・ユニットが１０個含まれており、ビデオデプス情報３３０にデプス値が５個含まれている場合を仮定する。映像処理装置は、１０個のアクセス・ユニットを、デプス値の個数ほどのまとまり、すなわち、５個のまとまりに分け、５個のデプス値を順次に利用し、各まとまりに含まれるアクセス・ユニットと同期されて再生されるグラフィック画面のデプス値を調節することができる。すなわち、映像処理装置は、５個のまとまりのうち、最初のまとまりに含まれるアクセス・ユニットと同期されて再生されるグラフィック画面のデプス値を、５個のデプス値のうち最初のデプス値を利用して調節し、５個のまとまりのうち２番目のまとまりに含まれるアクセス・ユニットと同期されて再生されるグラフィック画面のデプス値を、５個のデプス値のうち２番目のデプス値を利用して調節することができる。
【００４１】
ビデオデプス情報３３０に、デプス値の代わりに、ピクセル移動距離値がリストに含まれている場合、映像処理装置は、ピクセル移動距離値を対応するデプス値に変換させた後、これを利用してグラフィック画面のデプス値を調節することができる。
【００４２】
このように、本発明の他の実施形態によれば、ＧＯＰに含まれているアクセス・ユニットと共に再生されるグラフィック画面のデプス値を調節するためのビデオデプス情報が、ＧＯＰのヘッダに含まれてもよい。
【００４３】
図４は、本発明のさらに他の実施形態によるビデオ・ストリーム４００を図示している。ビデオ・ストリーム４００には、一つ以上のＧＯＰが含まれており、各ＧＯＰには、複数のアクセス・ユニットが含まれている。図４のように、ＧＯＰに含まれている複数のアクセス・ユニットのうち、いずれか１つのアクセス・ユニット４１０にビデオデプス情報を含めることができる。
【００４４】
アクセス・ユニット４１０には、独立して復号化が可能なマクロブロックの集合であるスライス（slices）、これを復号するために必要な復号器の設定及び制御と関連した情報であるパラメータ・セット（parameter  sets）、復号されたデータの画面表現と関連した時間情報及び付加情報を含むＳＥＩ  ４２０が含まれる。ＳＥＩ  ４２０は、一般的に、復号された映像を活用する応用階層で消費され、あらゆるアクセス・ユニットにいずれも含まれるものではない。
【００４５】
ＳＥＩ  ４２０には、字幕やメニューについての付加情報のためのＳＥＩメッセージ（user  data  ＳＥＩ  messages）４３０が含まれてもよい。発明の一実施形態で、ＳＥＩメッセージ４３０には、ビデオデプス情報４４０が含まれてもよい。
【００４６】
ビデオデプス情報４４０は、三次元ビデオ映像のデプス値、または三次元映像のデプス値に対応するピクセルの移動距離値のうちいずれか一つを含んでもよい。１つのアクセス・ユニット４１０に、ＧＯＰに含まれている複数のアクセス・ユニットについてのビデオデプス情報がいずれも含まれるので、ビデオデプス情報４４０には、複数のデプス値、または複数のピクセルの移動距離値がリスト状で含まれている。また、ビデオデプス情報４４０には、デプス値の個数またはピクセルの移動距離値の個数を示す情報が、カウント値として含まれてもよい。
【００４７】
映像処理装置（図示せず）は、ＧＯＰに含まれる複数のアクセス・ユニットのうち、いずれか１つのアクセス・ユニット４１０のＳＥＩ  ４２０からビデオデプス情報４４０を抽出し、ビデオデプス情報４４０に含まれているカウント値を利用し、三次元ビデオ映像のデプス値の個数、またはピクセルの移動距離値の個数がいくつであるかを把握することができる。映像処理装置は、１つのＧＯＰに含まれている複数のアクセス・ユニットを、ビデオデプス情報に含まれている個数ほどのまとまりに分け、複数のデプス値を順次に利用し、各まとまりに含まれるアクセス・ユニットと同期されて再生されるグラフィック画面のデプス値を調節することができる。
【００４８】
ビデオデプス情報４４０にビデオデプス値の代わりに、ピクセル移動距離値が含まれている場合、映像処理装置は、ピクセル移動距離値を、ビデオデプス値に変換した後、ビデオデプス値を利用し、グラフィック画面のデプス値を調節することができる。
【００４９】
このように、本発明のさらに他の実施形態によれば、ビデオ映像と共に再生されるグラフィック画面のデプス値を調節するためのビデオデプス情報は、複数のアクセス・ユニットのうち、いずれか１つのアクセス・ユニットに含まれてもよい。
【００５０】
図５は、本発明の実施形態によって、ビデオデプス情報がＳＥＩメッセージに含まれていることを表現するシンタックス（syntax）を図示した図である。図５の（ａ）で、シンタックスに含まれているタイプ・インディケータ（type_indicator）は、タイプ・インディケータ後に、いかなる情報が出てくるかを示し、３番目のif文で、タイプ・インディケータが所定の値を有する場合、そのタイプ・インディケータ後に、本発明の実施形態によるビデオデプス情報（depth_Data()）が出てくる。
【００５１】
図５の（ｂ）のシンタックスは、ビデオデプス情報（detpth_data()）を表示する。ビデオデプス情報は、デプス値、またはピクセルの移動距離値のうちいずれか一つと、カウント値とを含み、図５の（ｂ）のシンタックスには、デプス値、またはピクセルの移動距離値の個数がいくつであるかを表示するカウント値が、depth_countとして記載されており、カウント値ほどのビデオデプス値、またはピクセルの移動距離値がdepthとして記載されている。図５の（ｂ）のシンタックスには、カウント値が一つずつ増加するたびに、すなわち、複数個のアクセス・ユニットをカウント値ほどのまとまりに分けたとき、最初のまとまりから始まって、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を調節するために、ビデオデプス値、またはピクセルの移動距離値を順次に一つずつ利用することを表現している。
【００５２】
図６は、本発明の一実施形態による映像処理装置６００の内部ブロック図である。図６を参照すれば、映像処理装置６００は、左目用ビデオ・デコーダ６１１及び右目用ビデオ・デコーダ６１２、左目用ビデオ・プレーン６１３及び右目用ビデオ・プレーン６１４、グラフィック・デコーダ６１５、グラフィック・プレーン６１６、ビデオデプス情報抽出部６１７、グラフィック画面デプス値調節部６１８及び出力部６１９を含む。
【００５３】
左目用ビデオ・デコーダ６１１は、左目用ビデオ・ストリームをデコーディングし、デコーディングされた左目用ビデオ・ストリームを利用し、左目用ビデオ・プレーン６１３に左目用映像を描く。右目用ビデオ・デコーダ６１２は、右目用ビデオ・ストリームをデコーディングし、デコーディングされた右目用ビデオ・ストリームを利用し、右目用ビデオ・プレーン６１２に右目用映像を描く。
【００５４】
左目用ビデオ・プレーン６１３と右目用ビデオ・プレーン６１４は、左目用ビデオ・デコーダ６１１及び右目用ビデオ・デコーダ６１２によって描かれた左目用映像及び右目用映像をそれぞれ一時的に保存する。
【００５５】
ビデオデプス情報抽出部６１７は、デコーディングされた左目用ビデオ・ストリームまたは右目用ビデオ・ストリームのうち、ビデオデプス情報を含むビデオ・ストリームからビデオデプス情報を抽出する。
【００５６】
ビデオデプス情報をビデオ・ストリームにどのように含めるかにより、ビデオデプス情報は、多様な形態でビデオ・ストリームに含まれる。すなわち、ビデオデプス情報は、ビデオ・ストリームに含まれている複数のアクセス・ユニットそれぞれに含まれもし、またはビデオ・ストリームに含まれているＧＯＰに含まれている複数のアクセス・ユニットのうち、いずれか１つのアクセス・ユニットに、ＧＯＰに含まれているあらゆるアクセス・ユニットについてのビデオデプス情報が含まれもする。または、ビデオ・ストリームに含まれているＧＯＰに含まれるアクセス・ユニットについてのビデオデプス情報が、ＧＯＰのヘッダに含まれてもよい。ビデオデプス情報は、アクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージに含まれてもよい。
【００５７】
ビデオデプス情報抽出部６１７は、ビデオ・ストリームから抽出したビデオデプス情報を、グラフィック画面デプス値調節部６１８に送る。
【００５８】
グラフィック・デコーダ６１５は、グラフィック・ストリームをデコーディングし、グラフィック・プレーン６１６にグラフィック画面を描く。グラフィック・プレーン６１６は、グラフィック・デコーダ６１５によって描かれたグラフィック画面を一時的に保存する。
【００５９】
グラフィック画面デプス値調節部６１８は、ビデオデプス情報抽出部６１７から受けたビデオデプス情報を利用し、グラフィック画面と同期されて再生される三次元ビデオ映像のデプス値と同じであるか、あるいは三次元ビデオ映像のデプス値より所定デプス値ほどさらに大きい値を有するように、グラフィック画面のデプス値を調節することができる。
【００６０】
グラフィック画面と同期されて再生されるビデオ映像に、オブジェクトが複数個含まれており、ビデオデプス情報に２以上のオブジェクトのデプス情報が含まれている場合、グラフィック画面デプス値調節部６１８は、ビデオデプス情報に含まれている２以上のオブジェクトのうち、デプス値が最も大きいか、あるいはピクセル移動距離値が最も大きいオブジェクトのデプス値、またはピクセル移動距離値を利用し、グラフィック画面のデプス値を調節することができる。
【００６１】
ビデオデプス情報に、１つのフレームではない複数のフレーム、すなわち、複数のアクセス・ユニットに係わるデプス情報が含まれている場合、グラフィック画面デプス値調節部６１８は、複数のアクセス・ユニットを、ビデオデプス情報に含まれているカウント値ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットと同期されて再生されるグラフィック画面のデプス値を、ビデオデプス情報に含まれているデプス値のうちいずれか１つの値で調節したり、あるいは対応するピクセルの移動距離値のうちいずれか一つを利用して調節することができる。
【００６２】
グラフィック画面デプス値調節部６１８は、ビデオデプス情報に含まれているデプス値、またはピクセル移動距離値を利用し、グラフィック・プレーン６１６に描かれたグラフィック画面から、左目用映像と共に出力される左目用グラフィック画面、及び右目用映像と共に出力される右目用グラフィック画面を生成する。グラフィック画面デプス値調節部６１８は、グラフィック・プレーン６１６に描かれたグラフィック画面全体を、左または右に、ビデオデプス情報に含まれているピクセル移動距離値ほど、またはピクセル移動距離値よりさらに大きい値ほど移動させ、左目用グラフィック画面及び右目用グラフィック画面を生成されせることができる。ビデオデプス情報にデプス値が含まれている場合、グラフィック画面デプス値調節部６１８は、グラフィック画面が、ビデオデプス情報に含まれているデプス値と同じであるか、あるいはそれよりさらに大きいデプス値を有するように、グラフィック画面全体を、左または右に所定距離ほど移動させ、左目用グラフィック画面及び右目用グラフィック画面をそれぞれ生成する。
【００６３】
出力部６１９は、左目用ビデオ・プレーン６１３に描かれた左目用映像と左目用グラフィック画面とを共に再生し、右目用ビデオ・プレーン６１４に描かれた右目用映像と、右目用グラフィック画面とを共に再生する。出力部６１９は、グラフィック画面が含まれている左目用映像及び右目用映像を交互に出力し、三次元ビデオ映像を再生する。このとき、グラフィック画面は、ビデオ映像よりさらに大きいデプス値を有し、ビデオ映像とグラフィック画面との再生が自然になる。
【００６４】
図７は、本発明の一実施形態による映像処理方法を図示したフローチャートである。図７を参照すれば、図６の映像処理装置６００は、ビデオ・ストリームから三次元ビデオ映像の深さ感（デプス感）を示すビデオデプス情報を抽出する（段階７１０）。映像処理装置６００は、ビデオ・ストリームに含まれている複数のアクセス・ユニットそれぞれから、ビデオデプス情報を抽出したり、あるいは１つのアクセス・ユニットから複数のアクセス・ユニットのビデオデプス情報を抽出することができる。または、映像処理装置６００は、ＧＯＰのヘッダから、そのＧＯＰに含まれているアクセス・ユニットについてのビデオデプス情報を抽出することができる。
【００６５】
ビデオデプス情報は、三次元ビデオ映像のデプス値、または三次元ビデオ映像のデプス値に対応するピクセルの移動距離値を含んでもよい。
【００６６】
映像処理装置６００は、三次元ビデオ映像と同期されて再生されるグラフィック画面の深さ値を、ビデオデプス情報を利用して調節する（段階７２０）。映像処理装置６００は、三次元ビデオ映像のデプス値と同じであるか、あるいはそれよりさらに大きい値を有するように、グラフィック画面のデプス値を調節することができる。
【００６７】
グラフィック画面と同期されて再生されるビデオ映像にオブジェクトが複数個含まれており、ビデオデプス情報に、２以上のオブジェクトのデプス情報が含まれている場合、映像処理装置６００は、ビデオデプス情報に含まれている２以上のオブジェクトのうち、デプス値が最も大きいか、あるいはピクセル移動距離値が最も大きいオブジェクトのデプス値、またはピクセル移動距離値を利用し、グラフィック画面のデプス値を調節することができる。
【００６８】
ビデオデプス情報に複数のアクセス・ユニットについてのデプス情報が含まれている場合、映像処理装置６００は、複数のアクセス・ユニットをビデオデプス情報に含まれているカウント値ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットと同期されて再生されるグラフィック画面のデプス値を、ビデオデプス情報に含まれているデプス値のうちいずれか１つの値で調節したり、あるいは対応するピクセルの移動距離値のうちいずれか一つを利用して調節することができる。
【００６９】
映像処理装置６００は、深さ値が調節されたグラフィック画面を、三次元ビデオ映像と共に再生する（段階７３０）。
【００７０】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれているものであると解釈されねばならない。
【図１】
2012528510.tif 000003
【図２】
2012528510.tif 000004
【図３】
2012528510.tif 000005
【図４】
2012528510.tif 000006
【図５】
2012528510.tif 000007
【図６】
2012528510.tif 000008
【図７】
2012528510.tif 000009
【手続補正書】
【提出日】平成23年11月30日(2011.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出する段階と、
前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節する段階と、を含むことを特徴とする映像処理方法。
【請求項２】
前記ビデオデプス情報は、三次元ビデオ映像のデプス値、または前記三次元ビデオ映像のデプス値に対応するピクセルの移動距離値を含み、前記デプス値は、画面内側からビデオ映像が出力される画面外側に行くほど大きくなり、
前記グラフィック画面のデプス値を調節する段階は、前記三次元ビデオ映像のデプス値と同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節する段階を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記三次元ビデオ映像に複数のオブジェクトが含まれており、前記ビデオデプス情報に、前記複数のオブジェクトのうち２以上のオブジェクトのデプス情報が含まれている場合、
前記グラフィック画面のデプス値を調節する段階は、前記２以上のオブジェクトのうち最も大きいデプス値を有するオブジェクトと、デプス値が同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項４】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含み、
前記ビデオデプス情報を抽出する段階は、前記複数のアクセス・ユニットそれぞれから、ビデオデプス情報を抽出する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項５】
前記グラフィック画面のデプス値を調節する段階は、
ビデオデプス情報が抽出されたアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記抽出されたビデオデプス情報を利用して調節する段階を含むことを特徴とする請求項４に記載の映像処理方法。
【請求項６】
前記ビデオデプス情報を抽出する段階は、前記各アクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出する段階を含むことを特徴とする請求項４に記載の映像処理方法。
【請求項７】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰを一つ以上含み、
前記ビデオデプス情報を抽出する段階は、前記ＧＯＰに含まれている複数のアクセス・ユニットのうちいずれか１つのアクセス・ユニットからビデオデプス情報を抽出する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項８】
前記ビデオデプス情報を抽出する段階は、前記１つのアクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出する段階を含むことを特徴とする請求項７に記載の映像処理方法。
【請求項９】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面のデプス値を調節する段階は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節する段階を含むことを特徴とする請求項８に記載の映像処理方法。
【請求項１０】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰを一つ以上含み、前記ビデオデプス情報を抽出する段階は、前記ＧＯＰのヘッダから前記ビデオデプス情報を抽出する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項１１】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面のデプス値を調節する段階は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節する段階を含むことを特徴とする請求項１０に記載の映像処理方法。
【請求項１２】
ビデオ・ストリームをデコーディングして左目用映像及び右目用映像を生成するビデオ・デコーダと、
グラフィック・ストリームをデコーディングしてグラフィック画面を生成するグラフィック・デコーダと、
ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出するビデオデプス情報抽出部と、
前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節するグラフィック画面デプス値調節部と、を含むことを特徴とする映像処理装置。
【請求項１３】
前記ビデオデプス情報は、三次元ビデオ映像のデプス値、または前記三次元ビデオ映像のデプス値に対応するピクセルの移動距離値を含み、前記デプス値は、画面内側からビデオ映像が出力される画面外側に行くほど大きくなり、
前記グラフィック画面デプス値調節部は、前記三次元ビデオ映像のデプス値と同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節することを特徴とする請求項１２に記載の映像処理装置。
【請求項１４】
前記三次元ビデオ映像に複数のオブジェクトが含まれており、前記ビデオデプス情報に、前記複数のオブジェクトのうち２以上のオブジェクトのデプス情報が含まれている場合、
前記グラフィック画面デプス値調節部は、前記２以上のオブジェクトのうち最も大きいデプス値を有するオブジェクトと、デプス値が同じであるか、あるいはそれよりさらに大きい値を有するように、前記グラフィック画面のデプス値を調節することを特徴とする請求項１３に記載の映像処理装置。
【請求項１５】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含み、
前記ビデオデプス情報抽出部は、前記複数のアクセス・ユニットそれぞれから、ビデオデプス情報を抽出することを特徴とする請求項１３に記載の映像処理装置。
【請求項１６】
前記グラフィック画面デプス値調節部は、ビデオデプス情報が抽出されたアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記抽出されたビデオデプス情報を利用して調節することを特徴とする請求項１５に記載の映像処理装置。
【請求項１７】
前記ビデオデプス情報抽出部は、前記各アクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出することを特徴とする請求項１５に記載の映像処理装置。
【請求項１８】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰを一つ以上含み、
前記ビデオデプス情報抽出部は、前記ＧＯＰに含まれている複数のアクセス・ユニットのうちいずれか１つのアクセス・ユニットから、ビデオデプス情報を抽出することを特徴とする請求項に１３記載の映像処理装置。
【請求項１９】
前記ビデオデプス情報抽出部は、前記１つのアクセス・ユニットに含まれているＳＥＩ内のユーザデータＳＥＩメッセージから、前記ビデオデプス情報を抽出することを特徴とする請求項１８に記載の映像処理装置。
【請求項２０】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面デプス値調節部は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節することを特徴とする請求項１９に記載の映像処理装置。
【請求項２１】
前記ビデオ・ストリームは、デコーディング単位であるアクセス・ユニットを複数個含むＧＯＰを一つ以上含み、前記ビデオデプス情報抽出部は、前記ＧＯＰのヘッダから前記ビデオデプス情報を抽出することを特徴とする請求項１３に記載の映像処理装置。
【請求項２２】
前記ビデオデプス情報は、前記三次元ビデオ映像のデプス値の個数、または前記対応するピクセルの移動距離値の個数を含み、
前記グラフィック画面デプス値調節部は、前記ＧＯＰに含まれている複数のアクセス・ユニットを、前記ビデオデプス情報に含まれている個数ほどのまとまりに分けたとき、各まとまりに含まれるアクセス・ユニットに同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報に含まれている前記三次元ビデオ映像のデプス値のうちいずれか１つの値で調節したり、あるいは前記対応するピクセルの移動距離値のうちいずれか一つを利用して調節することを特徴とする請求項２１に記載の映像処理装置。
【請求項２３】
ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出する段階と、
前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節する段階と、を含むことを特徴とする映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
【請求項２４】
ビデオ・ストリームをデコーディングし、左目用映像及び右目用映像を生成するビデオ・デコーダと、
グラフィック・ストリームをデコーディングし、グラフィック画面を生成するグラフィック・デコーダと、
ビデオ・ストリームから三次元ビデオ映像の深さを示すビデオデプス情報を抽出するビデオデプス情報抽出部と、
前記三次元ビデオ映像と同期されて再生されるグラフィック画面のデプス値を、前記ビデオデプス情報を利用して調節し、前記グラフィック画面から左目用グラフィック画面と、右目用グラフィック画面とを生成するグラフィック画面デプス値調節部と、
前記左目用映像と前記左目用グラフィック画面とを同時的に生成し、前記右目用映像と前記右目用グラフィック画面とを同時に生成し、前記グラフィック画面を含む前記左目用グラフィック映像及び前記右目用グラフィック映像を交互に出力し、三次元ビデオ映像を再生する出力部と、を含むことを特徴とする映像処理装置。
【請求項２５】
前記ビデオデプス情報は、デプス値を含み、
前記グラフィック画面デプス値調節部は、前記グラフィックスクリーンが、前記ビデオデプス情報に含まれるデプス値と同じであるか、あるいは大きいデプス値を有するように、前記グラフィック画面を左側または右側に所定距離ほど移動させ、前記左目用グラフィック画面と前記右目用グラフィック画面とを生成することを特徴とする請求項２４に記載の映像処理装置。
【国際調査報告】
2012528510.tif 000010
2012528510.tif 000011
2012528510.tif 000012
2012528510.tif 000013