(57)【要約】  次のように、制限された帯域幅の通信チャネルを介してフォビエティド圧縮デジタル信号を生成して伝送する。ビデオフレームのシーケンスを表す符号化周波数係数を有する周波数変換符号化デジタルビデオ信号を提供する。ここで、符号化によりビデオ信号から時間的冗長性を除去し、周波数係数を基本層における基本層周波数係数及び拡張層における残余周波数係数として符号化する。ディスプレイ上の観察者の視点を識別する。周波数係数を回復するため符号化デジタルビデオ信号を部分的に復号化する。視点から離れた領域でビデオ信号の高周波数コンテントを削減するため残余周波数係数を調整する。表示されるフォビエティドトランスコード化デジタルビデオ信号を生成するため調整された残余周波数係数を含む周波数係数を再コーディングする。
2006528870.tif 000002
【特許請求の範囲】
【請求項１】
制限された帯域幅の通信チャネルを介してディスプレイに伝送する圧縮デジタルビデオ信号を生成するためビデオフレームのシーケンスを表す周波数変換符号化デジタルビデオ信号をトランスコーディングする方法であって、
（ａ）ビデオフレームのシーケンスを表す符号化周波数係数を有する周波数変換符号化デジタルビデオ信号を提供するステップであって、前記符号化が前記ビデオ信号から時間的冗長性を除去し、前記周波数係数を基本層における基本層周波数係数及び拡張層における残余周波数係数として符号化するステップと、
（ｂ）前記ディスプレイ上の観察者の視点を識別するステップと、
（ｃ）前記周波数係数を回復するため前記符号化デジタルビデオ信号を部分的に復号化するステップと、
（ｄ）前記視点から離れた領域の前記ビデオ信号の高周波数コンテントを削減するため前記残余周波数係数を調整するステップと、
（ｅ）フォビエティドトランスコード化デジタルビデオ信号を生成するため、調整された前記残余周波数係数を含む前記周波数係数を再コーディングするステップと、
（ｆ）前記フォビエティドトランスコード化デジタルビデオ信号を前記観察者に表示するステップとを含む方法。
【請求項２】
前記変換符号化デジタルビデオ信号がステレオビデオ信号であり、前記符号化がステレオビデオ信号からステレオ冗長性を除去し、前記調整及び再コーディングステップ（ｄ）及び（ｅ）が２つの視界に適用される、請求項１に記載の方法。
【請求項３】
前記周波数係数を生成するため離散コサイン変換（ＤＣＴ）を使用する、請求項１に記載の方法。
【請求項４】
前記符号化デジタルビデオ信号を生成するためＭＰＥＧ４のストリーミングビデオプロファイルによる細粒度スケーラビリティを使用する、請求項３に記載の方法。
【請求項５】
前記周波数係数を生成するためウェーブレット変換を使用する、請求項１に記載の方法。
【請求項６】
前記周波数係数をＪＰＥＧ２０００標準によって符号化する、請求項５に記載の方法。
【請求項７】
前記周波数係数を生成するため一致追及に基づく超低ビットレートビデオコーディングを使用する、請求項１に記載の方法。
【請求項８】
人間の視覚系のコントラストしきい値関数の離心率依存モデルにより前記残余周波数係数を前記ステップ（ｄ）で調整する、請求項１に記載の方法。
【請求項９】
前記人間の視覚系のコントラストしきい値関数の離心率依存モデルが、各残余周波数係数における最大の視覚的不可知覚エラーを示す、請求項８に記載の方法。
【請求項１０】
前記離心率が前記観察者の視点の推定中にあり得るエラーを考慮する、請求項８に記載の方法。
【請求項１１】
視覚的に重要でないＤＣＴ係数ビット面をゼロに設定することによって前記周波数係数の情報コンテントを削減する、請求項４に記載の方法。
【請求項１２】
視覚的に重要でないＤＣＴ係数ビット面を廃棄することによって周波数係数の情報コンテントを削減する、請求項４に記載の方法。
【請求項１３】
前記トランスコード化ビデオ信号中の前記視点の対象領域に対応するＤＣＴ係数に優先順位を与えるため、前記ステップ（ｅ）で再コーディングする際に視覚的重みを印加することによって、該係数をビット面シフトする、請求項４に記載の方法。
【請求項１４】
視覚的に重要でないコードブロックビット面コーディングパスを廃棄することによって前記周波数係数の情報コンテントを削減する、請求項６に記載の方法。
【請求項１５】
前記視点の対象領域に対応する圧縮データが前記トランスコード化デジタルビデオ信号中で優先順位を与えられる、請求項６に記載の方法。
【請求項１６】
予測残余を一連の原子として符号化するため基底関数の辞書を使用し、視覚的に重要でない原子を廃棄または粗に量子化することによって前記周波数係数の情報コンテントを削減する、請求項７に記載の方法。
【請求項１７】
制限された帯域幅の通信チャネルを介して伝送する圧縮デジタルビデオ信号を生成するためビデオフレームのシーケンスを表す周波数変換符号化デジタルビデオ信号をトランスコーディングするシステムであって、
（ａ）ビデオフレームのシーケンスを表す符号化デジタルビデオ信号を収容するメモリであって、前記符号化が前記ビデオシーケンスから時間的冗長性を除去し、前記周波数係数を基本層における基本層周波数係数及び拡張層における残余周波数係数として符号化するメモリと、
（ｂ）前記ビデオ信号を観察者に表示するディスプレイと、
（ｃ）前記ディスプレイ上の前記観察者の視点を識別する視点追跡装置と、
（ｄ）前記周波数係数を回復するため前記符号化デジタルビデオ信号を部分的に復号化する復号化ユニットと、
（ｅ）前記視点から離れた領域の前記ビデオ信号の高周波数コンテントを削減するため前記残余周波数係数を調整するフォビエション処理ユニットと、
（ｆ）フォビエティドトランスコード化デジタルビデオ信号を生成するため調整された前記残余周波数係数を含む前記周波数係数を再コーディングするトランスコーディングユニットと、
（ｇ）前記トランスコード化デジタルビデオ信号を伝送及び復号化し前記復号化デジタルビデオ信号を前記ディスプレイに提供する手段と
を含んで成るシステム。
【請求項１８】
前記デジタルビデオ信号がデジタルステレオビデオ信号であり前記符号化がデジタルステレオビデオ信号からステレオ冗長性を除去する、請求項１７に記載のシステム。
【請求項１９】
前記フォビエション処理ユニットが前記周波数係数を生成する離散コサイン変換（ＤＣＴ）を含む、請求項１７に記載のシステム。
【請求項２０】
前記符号化デジタルビデオ信号を生成するためＭＰＥＧ４のストリーミングビデオプロファイルによる細粒度スケーラビリティを使用する、請求項１９に記載のシステム。
【請求項２１】
ウェーブレット変換によって前記周波数係数を生成する、請求項１７に記載のシステム。
【請求項２２】
ＪＰＥＧ２０００標準によって前記周波数係数を符号化する、請求項２１に記載のシステム。
【請求項２３】
一致追求の技術に基づく超低ビットレートビデオコーディングによって前記周波数係数を生成する、請求項１７に記載のシステム。
【請求項２４】
前記周波数係数を調整する前記フォビエション処理ユニットが前記人間の視覚系のコントラストしきい値関数の離心率依存モデルを利用する、請求項１７に記載のシステム。
【請求項２５】
前記人間の視覚系のコントラストしきい値関数の離心率依存モデルが各周波数についての最大の視覚的不可知覚エラーを示す、請求項２４に記載のシステム。
【請求項２６】
前記離心率モデルが前記観察者の視点の推定中にあり得るエラーを考慮する、請求項２４に記載のシステム。
【請求項２７】
前記フォビエション処理ユニットが、視覚的に重要でないＤＣＴ係数ビット面をゼロに設定することによって前記周波数係数の情報コンテントを削減する、請求項２０に記載のシステム。
【請求項２８】
前記フォビエション処理ユニットが、視覚的に重要でないＤＣＴ係数ビット面を廃棄することによって前記周波数係数の情報コンテントを削減する、請求項２０に記載のシステム。
【請求項２９】
前記トランスコード化デジタルビデオ信号中の前記視点の対象領域に対応するＤＣＴ係数に優先順位を与えるため、トランスコーディングの際、該係数をビット面シフトする、請求項２０に記載のシステム。
【請求項３０】
前記フォビエション処理ユニットが、視覚的に重要でないコードブロックビット面コーディングパスを廃棄することによって前記周波数係数の情報コンテントを削減する、請求項２２に記載のシステム。
【請求項３１】
前記視点の対象領域に対応する圧縮データが前記トランスコード化信号中で優先順位を与えられる、請求項２２に記載のシステム。
【請求項３２】
予測残余を一連の原子として符号化するため基底関数の辞書を使用し、前記フォビエション処理ユニットが、視覚的に重要でない原子を廃棄または粗に量子化することによって前記周波数係数の情報コンテントを削減する、請求項２３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ圧縮及び伝送の分野に関し、特に、フォビエション(foveation)情報を組み込んでビデオの帯域幅要求を減少させるビデオコーディングのシステムと方法に関する。
【背景技術】
【０００２】
近年、デジタルビデオ圧縮のための多くの方法が提案された。「情報技術−動画及び関連するオーディオ情報の汎用コーディング：ビデオ、ＩＳＯ／ＩＥＣ国際標準１３８１８−２（“Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ａｎｄ  Ａｓｓｏｃｉａｔｅｄ  Ａｕｄｉｏ  Ｉｎｆｏｒｍａｔｉｏｎ：Ｖｉｄｅｏ，ＩＳＯ／ＩＥＣ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  １３８１８−２”」に記載のＭＰＥＧ２ビデオ圧縮標準のようなこうした方法の多くは、ビデオデータにおける空間的及び時間的両方の冗長性を活用してデータを正確に表すために必要な帯域幅を削減する。ステレオビデオシーケンスもＭＰＥＧ２標準によって処理されるが、これはマルチビュープロファイルを使用してステレオビデオシーケンスをコーディングし、左眼と右眼との視界の間の相関を活用してデータを表すために必要な帯域幅を減少させる。
【０００３】
また、人間の視覚系を考慮して、ビデオシーケンスを表すために必要な帯域幅をさらに削減することもできる。フォビエティドコーディングシステム(forveated coding system)は、観察者の視点に基づいて異なる解像度及び／または忠実度をもって画像の異なる領域を符号化する。観察者の視点から除去される画像の領域は、視点から離れると観察者の感度が低下するため積極的に圧縮してもよい。
【０００４】
没入型ディスプレイ環境で遭遇し得るもののような高解像度及び広視野のビデオシーケンスの場合、効率的な圧縮はデータを管理可能な帯域幅まで削減するため非常に重要である。この圧縮は、データ中の空間的及び時間的冗長性を活用する標準ビデオコーディング技術と共に、フォビエティドビデオコーディングを通じて達成することができる。さらに、第１に、ビデオシーケンスのサイズが大きいため実時間符号化ができないことがある、そして第２に、ビデオシーケンスのための記憶空間が制限されているため非圧縮ビデオを格納できないことがある、という２つの理由から、ビデオシーケンスをまずオフラインで符号化する必要があることがある。こうした用途の１つの例は、没入型ホームシアター環境中の観察者への帯域幅の制限されたネットワークを介したストリーミングビデオの伝送である。没入型ビデオのデータコンテントが大きく伝送のため利用可能な帯域幅が制限されているため、高度な圧縮が必要になる。また、ビデオフレームのサイズが大きいため、高クオリティの符号化を保証しビデオの実時間伝送及び復号化を可能にするためオフライン符号化が必要になる。ビデオをまずオフライン符号化しなければならないため、実際の観察者の視点データに基づくフォビエティドビデオ処理を初期符号化に組み込むことができない。その代わり、圧縮ビデオストリームをサーバでトランスコーディングして、追加のフォビエションベースの圧縮に組み込んでいる。
【０００５】
ガイスラー（Ｇｅｉｓｌｅｒ）他は、米国特許第６，２５２，９８９号で、フォビエティド画像コーディングシステムを説明している。しかし、彼らのシステムは、フォビエション情報を符号器に伝送した後実時間符号化が可能なシーケンスのために設計されている。さらに、シーケンスの各フレームを別々にコーディングするので、データ中の時間的冗長性を活用せず、最大圧縮を達成しない。個々のフレームを別々に符号化することは、所与の画像の左眼と右眼との視界の間の相関を利用できないので、ステレオシーケンスは対象としない。ワイマン（Ｗｅｉｍａｎ）他（米国特許第５，１０３，３０６号）は、フォビエション情報を組み込んで個々のフレームの帯域幅を減少させたビデオフレームの実時間独立符号化のための同様のシステムを説明している。
【０００６】
リー（Ｌｅｅ）他（「最適レート制御を備えたフォビエティドビデオ圧縮」、ＩＥＥＥ画像処理会報、２００１年７月（“Ｆｏｖｅａｔｅｄ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ  ｗｉｔｈ  Ｏｐｔｉｍａｌ  Ｒａｔｅ  Ｃｏｎｔｒｏｌ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，Ｊｕｌｙ  ２００１））は、動き推定及び補償を圧縮スキームに組み込んでデータ中の時間的冗長性を活用すると共にフォビエションコーディングを組み込んで帯域幅をさらに減少させるビデオコーディングシステムを説明している。しかし、このシステムも、実時間で符号化が可能なシーケンスのために設計されている。
【０００７】
２００３年４月９日に欧州特許公開第１３０１０２１号Ａ２としても公開されている、同じ譲受人に譲受された米国特許出願第０９／９７１，３４６号（「画像を表示する方法とシステム（“Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｄｉｓｐｌａｙｉｎｇ  ａｎ  Ｉｍａｇｅ”）」）で、ミラー（Ｍｉｌｌｅｒ）他は、個々のフレームに対するＪＰＥＧ２０００圧縮を使用してビデオシーケンスをまず圧縮する符号化スキームを紹介している。その後、フォビエション情報に基づいて圧縮した画像の部分を選択的に伝送することによって帯域幅をさらに減少させる。このシステムはビデオシーケンスをまずオフラインで符号化することが可能であるが、ビデオデータ中の時間的冗長性を活用して最大圧縮を達成することをしていない。また、フレームを個別に符号化することは画像の左眼と右眼との視界の間の相関を利用することを排除しているので、ステレオシーケンスは対象としない。
【０００８】
従って、ビデオデータ中の時間的及び空間的冗長性の両方を活用する一方で、何らかのフォビエション情報と無関係にビデオシーケンスをまず符号化するビデオコーディングシステムに対する必要が存在している。さらに、左眼と右眼との視界シーケンスの間の相関を活用し、ステレオビデオシーケンスを効率的に符号化する該システムに対する必要が存在している。また、その後ビデオシーケンスを伝送するために必要な帯域幅をサーバでフォビエティドビデオ処理によってさらに削減できるような形でビデオを符号化する該システムに対する必要が存在している。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、その後シーケンスを伝送するために必要な帯域幅をサーバでフォビエティドビデオ処理によってさらに削減できるような形でビデオシーケンスを符号化することである。
【００１０】
本発明のさらなる目的は、ビデオシーケンス中の空間的及び時間的冗長性を活用すると共に、ステレオシーケンスにおける左眼と右眼との間の相関を活用してビデオシーケンスを効率的に符号化するシステムと方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明は、上記に記載の１つかそれ以上の問題を克服することに向けられている。簡単に要約すると、本発明の１つの態様によれば、本発明は、制限された帯域幅の通信チャネルを介してディスプレイに伝送する圧縮デジタルビデオ信号を生成するためビデオフレームのシーケンスを表す周波数変換符号化デジタルビデオ信号をトランスコーディングする方法に存し、前記方法は、（ａ）ビデオフレームのシーケンスを表す符号化周波数係数を有する周波数変換符号化デジタルビデオ信号を提供するステップであって、符号化がビデオ信号から時間的冗長性を除去し、周波数係数を基本層における基本層周波数係数及び拡張層における残余周波数係数として符号化するステップと、（ｂ）ディスプレイ上の観察者の視点を識別するステップと、（ｃ）周波数係数を回復するため符号化デジタルビデオ信号を部分的に復号化するステップと、（ｄ）視点から離れた領域でビデオ信号の高周波数コンテントを削減するため残余周波数係数を調整するステップと、（ｅ）フォビエティドトランスコード化デジタルビデオ信号を生成するため調整された残余周波数係数を含む周波数係数を再コーディングするステップと、（ｆ）フォビエティドトランスコード化デジタルビデオ信号を観察者に表示するステップとを含む。
【００１２】
本発明は、サーバがフォビエティドビデオ処理を組み込むことによってシーケンスを伝送するために必要な帯域幅をさらに削減できるような形でシーケンスを効率的に符号化する利点を有する。さらに、本方法は、全体的な圧縮を最大化するため空間的、時間的及びステレオ冗長性を活用してビデオシーケンスを効率的に符号化する。
【００１３】
本発明の他の形態、目的、特徴及び利点は、好適実施態様の以下の詳細な説明を検討し添付の図面を参照することによってより明らかに理解され認識されるだろう。
【発明を実施するための最良の形態】
【００１４】
フォビエティドビデオコーディングを利用する画像処理システムは周知なので、本説明は特に、本発明による方法と、システムの一部を形成し、またより直接的にそれに組み込まれる属性に向けられる。本出願で特に示したり説明したりしない属性は当該技術分野で周知のものから選択することができる。例えば、引用された符号化システム、例えばＭＰＥＧ２及び４並びにＪＰＥＧ２０００の要素は、やはり当該技術分野で周知でありそれらの実現の詳細については当該技術分野の非常に多くの参考文献を参照することができる。以下の説明では、本発明の好適実施態様は通常は、ソフトウェアプログラムとして実現されるが、こうしたソフトウェアの同等物をハードウェアで構成してもよいことを、当業者は容易に認識するだろう。以下の資料中で本発明による説明を行う場合、本発明を実現するために有用であることを特に示し、示唆し、また説明しないソフトウェアは従来のものであり当業技術の範囲内である。本発明をコンピュータプログラムとして実現する場合、プログラムは、例えば（フロッピー（登録商標）ディスクまたはハードドライブといった）磁気ディスクまたは磁気テープのような磁気記憶媒体、光学ディスク、光学テープ、または機械可読バーコードのような光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、または読み出し専用メモリ（ＲＯＭ）のような固体電子記憶装置、またはコンピュータプログラムを格納するために利用し得る何らかの他の物理装置または媒体を備え得る、従来のコンピュータ可読記憶媒体に格納してもよい。
【００１５】
伝送されるビデオシーケンスはまずオフラインで符号化する。これはいくつかの理由のうち１つのため必要となり得る。高解像度またはステレオビデオを伴う用途の場合、実時間では高い圧縮効率でビデオシーケンスを符号化できないことがある。また、記憶空間が制限され、圧縮したフォーマットでビデオを格納する必要が生じることもある。図１は初期圧縮処理を示す。元のビデオシーケンス（１０１）をビデオ圧縮ユニット（１０２）に送信し、ビデオ圧縮ユニット（１０２）は圧縮ビデオ記憶ユニット（１０４）に置かれる圧縮ビデオビットストリーム（１０３）を生成する。ビデオ圧縮ユニットの設計はビデオシーケンスがステレオシーケンスであるかまたはモノシーケンスであるかに依存する。図２は、圧縮ビデオビットストリームのその後のトランスコーディング及び復号器、そして最終的にはディスプレイへの伝送を示す。圧縮ビデオ（１０３）は圧縮ビデオ記憶ユニット（１０４）から検索し、ビデオトランスコーディング及び伝送ユニット（２０１）に入力する。また、ビデオトランスコーディング及び伝送ユニットには、ディスプレイ（２０８）上の観察者（２０９）の現在の視点（２０３ａ）を示す視点データ（２０３）を視点追跡装置（２０２）から入力する。好適実施態様では、視点追跡装置は従来の視標追跡または頭部追跡技術を利用して、観察者の視点（２０３ａ）を決定する。視点追跡装置は現在の視点位置を報告してもよく、またデータの次のフレームが表示される時間に対応する視点位置の計算による推定を報告してもよい。また、ビデオトランスコーディング及び伝送ユニット（２０１）は入力として、システム特性（２１０）を受信する。システム特性はピクセル測定を視角測定に変換するために必要であり、ディスプレイのサイズと有効面積、及びディスプレイからの観察者の距離を含んでもよい。また、システム特性は、視点追跡装置による視点（２０３ａ）の推定のエラーの測定を含んでもよい。このエラーは、視点位置からの距離に応じて画像の各領域から廃棄できるデータの量の計算に組み込む。
【００１６】
現在の視点位置に基づいて、ビデオトランスコーディング及び伝送ユニット（２０１）は現在のビデオフレームについての圧縮データを修正してフォビエティド圧縮ビデオビットストリーム（２０４）を形成し、それを通信チャネル（２０５）を介してビデオ復号化ユニット（２０６）に送信する。復号化したビデオ（２０７）をディスプレイ（２０８）に送信する。そして視点追跡装置（２０２）は観察者の視点（２０３ａ）について更新した値を送信し、次のビデオフレームについて処理を繰り返す。
【００１７】
ＭＰＥＧ−４ベースフォビエティドビデオコーダ
ここで、好適実施態様を参照して図１及び図２のブロックをさらに詳細に説明する。モノビデオシーケンスの場合、ビデオ圧縮ユニット（１０２）の好適実施態様は、リー（Ｌｉ）（「ＭＰＥＧ−４ビデオ標準における細粒度スケーラビリティの概要」、ＩＥＥＥビデオ技術用回路及びシステム会報、２００１年３月（“Ｏｖｅｒｖｉｅｗ  ｏｆ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ  ｉｎ  ＭＰＥＧ−４  Ｖｉｄｅｏ  Ｓｔａｎｄａｒｄ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｍａｒｃｈ  ２００１））で説明されているようなＭＰＥＧ４標準のストリーミングビデオプロファイルの細粒度スケーラビリティ（ＦＧＳ）に基づいている。ＦＧＳの結果、図３に概要を示すような圧縮ビットストリームが得られる。圧縮ビットストリームは基本層（３０１）及び拡張層（３０２）を含む。基本層はノンスケーラブル低レートＭＰＥＧ準拠ビットストリームとして形成する。本発明の好適実施態様では、基本層は「Ｉ」及び「Ｐ」フレームに制限されている。「Ｉ」フレームは別々に符号化する。「Ｐ」フレームは単一の時間的に先行する基準フレームからの予測プラス残余予測エラーの符号化として符号化する。「Ｂ」フレームは双方向予測を可能にする。以下論じるように、このように基本層を「Ｉ」及び「Ｐ」フレームに制限することは、ビデオフレームの伝送順序をビデオフレームの表示順序と一致させ、最小のバッファリングで各フレームの正確なフォビエション処理を可能にするため好適である。各フレームに対して、拡張層（３０２）は残余離散コサイン変換（ＤＣＴ）係数（３０３）のビット面符号化を含む。「Ｉ」フレームの場合、残余ＤＣＴ係数は元の画像のＤＣＴ係数とそのフレームに対して基本層で符号化されたＤＣＴ係数との間の差である。「Ｐ」フレームの場合、残余ＤＣＴ係数は動き補償残余のＤＣＴ係数とそのフレームに対して基本層で符号化されたＤＣＴ係数との間の差である。
【００１８】
これまで説明したビデオ圧縮ユニットはＭＰＥＧ４のストリーミングビデオプロファイルの細粒度スケーラビリティに基づいているが、ウー（Ｗｕ）他（「効率的なプログレッシブ細粒度スケーラブルビデオコーディングの枠組み」、ＩＥＥＥビデオ技術用回路及びシステム会報、２００１年３月（“Ａ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｅｆｆｉｃｉｅｎｔ  Ｐｒｏｇｒｅｓｓｉｖｅ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｍａｒｃｈ  ２００１））で説明されているようなプログレッシブ細粒度スケーラビリティによってこの細粒度スケーラビリティを置き換えてもよいことを当業者は認識するだろう。同様に、基本層のＭＰＥＧベース符号化は、新たに出現したＨ．２６Ｌ技術（「Ｈ．２６Ｌベース細粒度スケーラブルビデオコーディング」、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  Ｍ７７８８、２００１年１２月（“Ｈ．２６Ｌ−ｂａｓｅｄ  ｆｉｎｅ  ｇｒａｎｕｒａｌｉｔｙ  ｓｃａｌａｂｌｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ”，ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  Ｍ７７８８，Ｄｅｓｅｍｂｅｒ  ２００１））のようなより効率的な符号化によって置き換えてもよい。
【００１９】
一旦ビデオシーケンスを圧縮したら、それを格納し、将来のビデオトランスコーディング及び伝送ユニット（２０１）による受け入れのために準備する。モノビデオシーケンスの場合、図４はビデオトランスコーダ及び伝送器（２０１）の好適実施態様を示す。圧縮されたビデオシーケンスの各フレームを別々に処理する。フレームの基本層圧縮データ（４０１）は変更せずにトランスコーダを通過する。フレームの拡張層圧縮データ（４０２）は拡張層フォビエション処理ユニット（４０３）に入力されるが、拡張層フォビエション処理ユニット（４０３）はディスプレイ（２０８）上の観察者（２０９）の現在の視点（２０３ａ）及びシステム特性（２１０）をも入力として受け取る。拡張層フォビエション処理ユニットは視点及びシステム特性に基づいて拡張層（４０２）を修正し、フォビエティド拡張層（４０４）を出力する。そして基本層（４０１）及びフォビエティド拡張層（４０４）は伝送器（４０５）によって通信チャネル（２０５）を介して送信される。拡張層フォビエション処理ユニット（４０３）は観察者の現在の視点に基づいて拡張層を修正する。圧縮ビデオシーケンスの基本層を「Ｉ」及び「Ｐ」フレームに制限することによって、トランスコーディングされるフレームは常に表示される次のフレームであるので、常に現在の視点情報を使用して伝送及び表示される次のフレームの圧縮ストリームを望ましいように修正する。しかし、復号器に追加復号化フレームをバッファする十分な記憶容量があるならば、基本層で「Ｂ」フレームを使用して基本層のコーディング効率を改善することも可能であることを当業者は認識するだろう。この場合、「Ｐ」及び「Ｉ」フレームは「Ｂ」フレームに対する基準として使用できるように表示順序と異なる順序で伝送しなければならない。しかし、拡張層からのデータは動き補償のために使用される基準に含まれないので、各フレームに対する拡張層は表示の順序で伝送でき、各拡張層フレームを適当な現在の視点情報に基づいてフォビエションすることができる。
【００２０】
拡張層フォビエション処理ユニット（４０３）を図５でより詳細に論じる。所与の圧縮ビデオフレームに対して、拡張層は残余ＤＣＴ係数（５０１）のビット面符号化を含む。まず、このビットストリームを拡張層パーサ（５０２）によって各８×８ＤＣＴブロック（５０３）に対する個々の圧縮ビットストリームに分離する。そして各ブロックをブロックフォビエションユニット（５０４）によって別々に処理する。また、ブロックフォビエションユニットは、観察者の視点データ（２０３）、システム特性（２１０）、及び係数しきい値テーブル（５０７）も入力として受け取る。ブロックフォビエションユニット（５０４）はブロックに対する残余ＤＣＴ係数を復号化し、視覚的に重要でない情報を廃棄し、係数を再圧縮する。そして、フォビエティド圧縮ブロック（５０５）はフォビエティドビットストリーム再結合ユニット（５０６）によって単一のフォビエティド拡張層ビットストリーム（５０８）に再編成する。
【００２１】
フォビエティド画像処理は、視点（２０３ａ）から離れると低下する人間の視覚系の感度を活用する。この感度は、空間周波数及び視点からの角距離（離心率とも言う）両方の関数である。視角のサイクル／度で表される任意の所与の空間周波数ｆ、及び視角の度で表される離心率ｅに対して、コントラストしきい値関数（ＣＴ）を使用し、その周波数及び離心率に対する最小観察可能コントラストを導出すればよい。先行技術で多くの異なるコントラストしきい値公式が導出されているが、好適実施態様では、コントラストしきい値関数（ＣＴ）は次式によって与えられ、
【００２２】
【数１】
2006528870.tif 000003
【００２３】
ここで、Ｎ、η、σ、及びαは、中ないし明順応レベルの輝度信号に対して、それぞれ０．００２４、０．０５８、０．１サイクル／度、及び０．１７度の推定値を備えたパラメータである。これらのパラメータは、画像を効率的な圧縮のため輝度／クロミナンス空間で表す場合発生するクロミナンス信号に対して調整してもよい。また、このパラメータは、順応レベルを低下させる時（これは低輝度ディスプレイの場合行われる）発生する低下した感度を考慮するよう調整してもよい。また、ｋは離心率に伴うコントラストしきい値の変化率を制御するパラメータである。好適実施態様では、ｋの値は０．０３０〜０．０５７であり、好適な値は０．０４５である。式（１）に基づいて、コントラストしきい値は高い空間周波数では離心率に伴って急速に増大することに留意されたい。こうした関係は、高い空間周波数情報は網膜の中心によってのみ検索可能であることを示す。
【００２４】
提案される発明では、コントラストしきい値関数を個々のＤＣＴ係数に適用する。ＤＣＴ係数ｃに関連付けられる空間周波数は、対応する二次基底関数の水平及び垂直周波数に基づいて次式により計算するが、
【００２５】
【数２】
2006528870.tif 000004
【００２６】
ここで、ｆch及びｆcvは、それぞれ、ＤＣＴ係数ｃに関連付けられる二次基底関数の水平及び垂直空間周波数である。また、周波数ｆch及びｆcvは視角のサイクル／度を単位とし、好適実施態様では、ｆch及びｆcvは、それぞれ、二次ＤＣＴ基底関数に名目上関連付けられる水平及び垂直周波数範囲の中心となるよう選択する。
【００２７】
式（２）での周波数の計算は二次周波数の方向を示さない。しかし、人間の視覚系は、等しい周波数の水平または垂直線より対角線に対して鈍感であることは周知である。式（１）によって与えられるコントラストしきい値は、方向を考慮して相応に修正してもよい。
【００２８】
ＤＣＴ係数ｃに関連付けられる離心率は次式によって与えられるが、
【００２９】
【数３】
2006528870.tif 000005
【００３０】
ここで、（ｘ0，ｙ0）は画像の中心から視角として角度を単位に測定された画像の視点であり、（ｘc，ｙc）は画像の中心とＤＣＴ係数の位置との間の角度であり、ここでＤＣＴ係数の位置は対応するＤＣＴブロックの空間中心とする。複数の視点が存在する場合、離心率は全ての視点にわたって計算した個々の離心率の最小値とすればよい。
【００３１】
さらに、離心率は、視点位置測定に固有のエラーを考慮して調整してもよい。離心率の穏健な値は
【００３２】
【数４】
2006528870.tif 000006
【００３３】
のエラーによって実際の離心率を過大評価する視点位置推定を想定することによって得られる。そして、式（１）で使用する離心率の修正した推定は、ｅcが
【００３４】
【数５】
2006528870.tif 000007
【００３５】
より大きい場合、次式によって与えられ、さもなければゼロである。
【００３６】
【数６】
2006528870.tif 000008
【００３７】
【数７】
2006528870.tif 000009
【００３８】
の値は、高忠実度で伝送される画像の領域のサイズに影響する。
【００３９】
【数８】
2006528870.tif 000010
【００４０】
の値が大きくなることは、高忠実度で伝送される画像の領域が大きくなることに対応する。
【００４１】
ＤＣＴ係数ｃに対して、その係数の観察可能な大きさのしきい値は次式によって与えられるが、
【００４２】
【数９】
2006528870.tif 000011
【００４３】
ここで、Ｌ0は信号の平均輝度値である。
【００４４】
すなわち、Ｔcより小さい大きさを有するＤＣＴ係数ｃは、何ら視覚的エラーを導入することなくゼロの大きさを有するものとして表してもよい。この視覚的に許容可能な量子化エラーは係数の全ての大きさにわたって有効であると想定する。従って、Ｔcは、以下の公式に基づいて、その係数に対して廃棄してもよい視覚的に重要でないビット面の数を決定する。
【００４５】
【数１０】
2006528870.tif 000012
【００４６】
すなわち、観察可能なしきい値が２より小さい場合、廃棄できるビット面はない。しきい値が２〜４の場合、１つのビット面を廃棄してもよい、等である。係数ｃがＴcより大きい大きさを有する場合、係数の中点復元によって量子化エラーがＴc／２より小さいことが保証されるので、この量子化スキームは穏健である。さらなる圧縮が望ましい場合、しきい値の大きさを基準化して廃棄可能なビット面を増大してもよい。
【００４７】
各係数に対して廃棄可能なビット面の数の計算を最適化するため、係数しきい値テーブルをオフラインで計算し、ブロックフォビエションユニットに伝える。係数しきい値テーブルは８×８ＤＣＴブロックの６４の係数毎に１つの６４の横行を含む。各横行はいくつかの縦列エントリを含む。第１の縦列をｎ＝１とすると、ｎ番目の縦列エントリは、現在の横行の空間周波数の係数がｎ個のビット面を廃棄してもよい最小離心率を示す。
【００４８】
図６は、拡張層におけるＤＣＴブロックの廃棄可能係数ビット面の例を示す。水平軸はビット面を示し、最上位ビット面を左側に配置する。ＤＣＴ係数は、それらを符号化するために使用するジグザグ順序に対応する垂直軸に沿って０から６３まで番号を付ける。各係数に対して、しきい値ビット面が存在し、それを越える残りの全てのビット面は廃棄してもよい。
【００４９】
ブロックフォビエションユニット（５０４）の好適実施態様では、ＤＣＴブロックに対する圧縮データをビット面毎にトランスコーディングする。全ての廃棄可能な係数をゼロに設定して各ビット面を復号化及び再コーディングする。ＤＣＴブロックビット面を終えるゼロ係数のストリングは通常元の値より効率的に符号化できるので、これによってビット面コーディングの圧縮効率は増大する。このスキームは、圧縮ビット面を元のコーディングスキームに準拠したままに保持するので、フォビエティドビットストリームを復号化できるように復号器を修正する必要がないという利点を有する。
【００５０】
本発明による処理はＤＣＴ係数に対して動作するので、周波数係数を回復する符号化ビデオの復号化は部分的にのみ必要であることを理解することは有益である。本発明を実施するため変換データに対して逆ＤＣＴを行う要求または必要はなく、その代わりデータを得るため変換データを適当な復号器（例えば、ハフマン復号器）によって処理するため、復号化は「部分的」であると記述する。そして、フォビエション技術をデータに適用し、フォビエティドデータを再符号化（すなわち、トランスコード化）してディスプレイに伝送し、そこでデータは復号化され逆変換されて、今フォビエション処理によって修正されたような元のデータに戻る。
【００５１】
ブロックフォビエションユニットの代替実施態様では、ＤＣＴブロックビット面の端部の廃棄可能な係数に対応する圧縮データはゼロのストリングに置き換えず、完全に廃棄する。ＤＣＴブロックビット面の端部の廃棄可能な係数に対応する圧縮データを完全に除去するので、このスキームはさらに圧縮効率を改善する。しかし、対応するフォビエティドビットストリームを適切に復号化するためには、その係数ビット面を廃棄したかを決定するためブロックフォビエションユニットが使用する同じ視点情報及び公式を処理するように復号器を修正しなければならない。
【００５２】
フォビエティドブロックビットストリームはフォビエティドビットストリーム再結合ユニット（５０６）に入力し、フォビエティドビットストリーム再結合ユニット（５０６）は圧縮データをインタリーブする。また、インタリーブ化ビットストリームを形成する際、フォビエティドビットストリーム再結合ユニットは視覚的重みを異なるマクロブロックに印加して、マクロブロックの一部のデータを効率的にビット面シフトしてもよい。視覚的重みを使用して、視点の近くの対象領域に対応するデータに優先順位を与えてもよい。
【００５３】
ＪＰＥＧ２０００ベースフォビエティドビデオコーダ
本発明の代替実施態様では、ビデオ圧縮ユニット（１０２）はＪＰＥＧ２０００ベースビデオコーダであり、ＪＰＥＧ２０００はＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９  ＷＧ１  Ｎ１８９０、ＪＰＥＧ２０００第Ｉ部最終委員会原案国際標準、２０００年９月（ＪＰＥＧ２０００  Ｐａｒｔ  Ｉ  Ｆｉｎａｌ  Ｃｏｍｍｉｔｔｅｅ  Ｄｒａｆｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ，Ｓｅｐｔｅｍｂｅｒ  ２０００）に記載されている。ここでも動き推定及び補償を使用して時間的冗長性を考慮しており、ビットストリームは図３で好適実施態様について説明したような基本層及び拡張層の構造を保持している。しかし、代替実施態様では、ＪＰＥＧ２０００を使用して「Ｉ」フレームを符号化すると共に「Ｐ」フレームの動き補償残余を符号化する。図７は、ＪＰＥＧ２０００ベースビデオコーダ用のビデオ圧縮ユニット（１０２）を詳細に説明する。
【００５４】
ＪＰＥＧ２０００符号化すべきフレーム（「Ｉ」フレームのための元の入力、「Ｐ」フレームのための動き残余）を、２つのＪＰＥＧ２０００クオリティ層を使用してＪＰＥＧ２０００圧縮ユニット（７０３）で圧縮する。層という用語は、ＪＰＥＧ２０００ビットストリームの編成と、ビデオビットストリーム全体の分割との両方を説明する際別々に使用されることに留意されたい。第１のＪＰＥＧ２０００クオリティ層は、主ヘッダ情報と共に、基本層ビットストリーム（７１２）に含まれるＪＰＥＧ２０００準拠ビットストリーム（７０４）を形成する。ＪＰＥＧ２０００ビットストリームの第２のクオリティ層（７０５）は拡張層ビットストリーム（７０９）に含まれる。ＪＰＥＧ２０００ベース圧縮ユニットの好適実施態様では、圧縮ＪＰＥＧ２０００ビットストリームは再起動（ＲＥＳＴＡＲＴ）モードを使用して形成するので、各コードブロックに対する圧縮ビットストリームは各コーディングパスの後終了し、各コーディングパスの長さはビットストリーム中で符号化される。また、ＪＰＥＧ２０００圧縮ユニット（７０３）は第２のクオリティ層に含まれる各コーディングパスに関連付けられるレート情報（７０６）を出力することもある。この情報はレート符号器（７０７）によって符号化され、符号化レート情報（７０８）は拡張層ビットストリーム（７０９）の一部として含まれる。レート符号器のコーディング方法は、同じ譲受人に譲受された同時係属米国特許出願第１０／１０８，１５１号（「圧縮デジタル画像の最適トランスコーディングを可能にするレート歪み情報の生成及び符号化（“Ｐｒｏｄｕｃｉｎｇ  ａｎｄ  Ｅｎｃｏｄｉｎｇ  Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ａｌｌｏｗｉｎｇ  Ｏｐｔｉｍａｌ  Ｔｒａｎｓｃｏｄｉｎｇ  ｏｆ  Ｃｏｍｐｒｅｓｓｅｄ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ”」）で論じられている。
【００５５】
ＪＰＥＧ２０００ビットストリームの第１の層（７０４）をＪＰＥＧ２０００圧縮解除ユニット（７１３）で復号化し、「Ｐ」フレームについては動き補償フレームに追加し、「Ｉ」フレームについてはそのまま残す。結果として得られる値をクリッピングユニット（７１４）で初期入力のため許容可能な範囲にクリップし、その後のフレームの動き推定（７０１）及び動き補償（７０２）で使用するためフレームメモリ（７１５）に格納する。動き推定処理で決定した動きベクトルを動きベクトル符号器（７１０）によって符号化する。符号化動きベクトル情報（７１１）は基本層ビットストリーム（７１２）に含まれる。
【００５６】
ＪＰＥＧ２０００ベース圧縮ビデオビットストリームはその後検索し、復号器及び最終的にはディスプレイに伝送するため格納する。図８は、ＪＰＥＧ２０００圧縮ビデオ入力の場合フォビエティド圧縮ビデオビットストリームを生成するために使用するビデオトランスコーディング及び伝送ユニット（２０１）を詳細に示す。ＪＰＥＧ２０００圧縮ビットストリームのために再起動（ＲＥＳＴＡＲＴ）モードを使用する場合、ビットストリームに含まれる各圧縮コーディングパスの長さはビットストリーム中のパケットヘッダから抽出すればよい。また、別個に符号化されたレート情報をレート復号器（８０１）に伝えてもよく、レート復号器（８０１）は各コーディングパスのレート情報を復号化し、この情報をＪＰＥＧ２０００トランスコーダ及びフォビエション処理ユニット（８０２）に伝える。ＪＰＥＧ２０００ストリーム全体も、観察者の視点データ（２０３）及びシステム特性（２１０）と共にＪＰＥＧ２０００トランスコーダ及びフォビエション処理ユニット（８０２）に送信する。ＪＰＥＧ２０００トランスコーダ及びフォビエション処理ユニットは基本層ビットストリームをその入力から変更せずに残す。そして多層フォビエティド拡張ビットストリーム（８０３）を出力する。
【００５７】
各ＪＰＥＧ２０００コードブロックは画像の特定の領域及び特定の周波数帯に対応する。前のＤＣＴベースで実現した場合と同様、この位置及び周波数情報を使用して、各コードブロックのコントラストしきい値と、対応するそのコードブロックの最小観察可能係数の大きさのしきい値を計算すればよい。このしきい値より低いビット面についての情報を符号化する全てのコーディングパスは廃棄すればよい。これは圧縮データを廃棄することによって明示的に行えばよい。また、廃棄可能なコーディングパスは、全ての視覚的により重要なデータを前の層で送信した後追加情報を送信する帯域幅が残っている場合のみ送信するように、多層フォビエティドビットストリームの最終層でコーディングしてもよい。
【００５８】
ＪＰＥＧ２０００ベーストランスコーダ及びフォビエション処理ユニット（８０２）の好適実施態様では、視点とコードブロックとの間の離心角は、視点とコードブロックに対応する画像の領域との間の最短距離に基づいている。また、離心率は視点からコードブロックに対応する画像の領域の中心までの距離に基づくものであってもよい。各コードブロックの水平及び垂直周波数は、対応するサブバンドに関連付けられる名目周波数範囲の中心周波数となるよう選択する。こうした水平及び垂直周波数に対して、コードブロックの二次空間周波数を式（２）で前に行ったように計算すればよい。最後に、そのコードブロックのコントラストしきい値及び最小観察可能係数の大きさを式（１）及び（５）で前に行ったように計算すればよい。各コーディングパスについて利用可能なレート情報を使用して、各コードブロックの圧縮ビットストリームから廃棄可能な圧縮データの量を決定する。
【００５９】
伝送すべき視覚的に重要な情報の間で、いくつかの階層化スキームが可能である。１つのスキームでは、フォビエティドデータを単一の層に集成する。また、視点に近いコードブロックに対応する全てのコーディングパスの全体を視点から離れた何らかのデータの伝送より前に伝送するように、データを空間的に配列してもよい。
【００６０】
ＪＰＥＧ２０００ベースビデオコーディングスキームでは、伝送中のスケーラビリティを提供するため多数のＪＰＥＧ２０００層をフォビエティド拡張層に含めてもよい。特定の層に含まれるデータが係数毎の１つのビット面に近似するようにＪＰＥＧ２０００層の境界を選択すればよい。フォビエティド拡張ビットストリーム中の追加層を含めることによって、最小のオーバヘッドコストでより高い細粒度を導入してもよい。拡張ビットストリームは帯域幅が残っている間に漸進的な層順序で伝送する。
【００６１】
一致追求（Matching Pursuits）ベースフォビエティドビデオコーダ
本方法の別の代替実施態様では、ビデオ圧縮ユニット（１０２）は、（「一致追求に基づく超低ビットレートビデオコーディング」、ネフ（Ｎｅｆｆ）及びザホール（Ｚａｋｈｏｒ）、ＩＥＥＥビデオ技術用回路及びシステム会報、１９９７年２月（“Ｖｅｒｙ  Ｌｏｗ  Ｂｉｔ−Ｒａｔｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔｓ”，Ｎｅｆｆ  ａｎｄ  Ｚａｋｈｏｒ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｆｅｂｒｕａｒｙ  １９９７））に記載されているような一致追及を利用して、予測残余を符号化する。この実施態様では、基底関数の辞書を使用して残余を一連の原子として符号化するが、ここで各原子は特定の大きさの量子化レベルの画像の特定の空間位置での特定の辞書エントリとして定義する。フォビエションの際、原子は、その空間周波数及び視点に対する位置に基づいて廃棄してもよくまたより粗に量子化してもよい。
【００６２】
ステレオビデオシーケンスのフォビエションコーディング
フォビエティドビデオを符号化、トランスコーディング及び伝送するための前に説明した基本層及び拡張層の構造を修正してステレオビデオシーケンスを組み込んでもよい。本発明について、ステレオビデオを符号化、トランスコーディング及び伝送するためのビデオ圧縮ユニット（１０２）及びビデオトランスコーディング及び伝送ユニット（２０１）の好適実施態様を図９及び図１０に詳細に示す。
【００６３】
図９では、基本層（９０１）及び拡張層（９０２）を使用してステレオビデオを圧縮する。基本層はＭＰＥＧ２ビデオコーディング標準のマルチビュープロファイルを使用して形成する。詳しく言うと、基本層の左眼シーケンス（９０３）を「Ｉ」及び「Ｐ」フレームだけを使用して符号化する。右眼シーケンス（９０４）を「Ｐ」及び「Ｂ」フレームを使用して符号化するが、ここで不一致推定は常に一時的に同じ位置にある左眼画像から行い、動き推定は前の右眼画像から行う。ＭＰＥＧ２では右眼シーケンスは時間的延長の役割を果たしそれ自体拡張層と考えられるが、本発明では、マルチビュープロファイルを使用して作成したＭＰＥＧ２ビットストリーム全体を基本層と考える。モノビデオの場合と同様、拡張層は各フレームの残余ＤＣＴ係数のビット面符号化（９０５）を含む。
【００６４】
図１０はステレオ用途のためのビデオトランスコーディング及び伝送ユニット（２０１）の詳細を示す。観察者が見る各ステレオフレームに対応して、フォビエション情報を使用して処理される左眼フレーム及び右眼フレームの両方が存在する。左眼の視界に対応する「Ｉ」または「Ｐ」フレームの両方を含む左眼基本層（１００１）と、右眼の視界に対応する「Ｐ」または「Ｂ」フレームの両方を含む右眼基本層（１００２）とは変更せずにビデオ伝送器（１００７）に伝えられる。それぞれ左眼及び右眼両方のビット面ＤＣＴデータを含む拡張層（１００３及び１００４）は視点データ（２０３）及びシステム特性（２１０）と共に拡張層フォビエション処理ユニット（１００５）に伝えられる。左眼及び右眼の拡張層（１００３及び１００４）は、モノデータについて図５で例示したフォビエション処理アルゴリズムを使用して別々に処理する。結果として得られるフォビエティド拡張層データ（１００６）を伝送器（１００７）に伝え、そこで基本層と結合してフォビエティド圧縮ビデオビットストリーム（２０４）を形成し、通信チャネル（２０５）を介して伝送する。
【００６５】
１つの視界をもう１つの視界より高い忠実度で符号化することによってステレオ符号化スキームにステレオ不一致を導入してもよい。（図９で例示したような）基本層では、これは通常、右眼シーケンス（９０４）によって表される第２の視界を、左眼シーケンス（９０３）によって表される第１の視界より低いクオリティで符号化することによって達成すればよい。拡張層では、１つの視界について他の視界より少ないＤＣＴビット面を符号化することによって不一致を導入してもよい。好適実施態様では、１つの視界について計算したコントラストしきい値を、この視界から追加情報が廃棄されるように基準化することによってフォビエションの際にステレオ不一致を導入する。
【００６６】
図９及び図１０で例示したような前のステレオ符号化スキームで、左眼及び右眼のシーケンスの役割を交換してもよいことを当業者は認識するだろう。
【００６７】
ステレオシーケンスのためのビデオ圧縮ユニットの代替実施態様では、ＭＰＥＧ４ストリーミングビデオプロファイルの時間的スケーラビリティ延長を使用してシーケンスを符号化する。図１１は対応するビデオ圧縮ユニットの詳細を示す。左眼シーケンス（１１０１）は「Ｉ」及び「Ｐ」フレームを利用するＭＰＥＧ２ノンスケーラブルビットストリームを使用して低ビットレートで圧縮し、基本層（１１０２）を形成する。右眼シーケンス（１１０３）をテンポラル層（１１０４）に符号化する。各右眼フレームを対応する基本層（左眼）フレームから動き補償し、全残余に対してビット面ＤＣＴコーディングを使用する。細粒度スケーラビリティ（ＦＧＳ）層（１１０５）と呼ばれる最終層は基本層中の各フレームの残余のビット面ＤＣＴコーディングを含む。テンポラル層とＦＧＳ層を、図１０に示すようなフォビエション処理ユニットに送信し、フォビエティドビットストリームを作成する。
【００６８】
ステレオビデオのための本発明の別の実施態様では、ＤＣＴコーディングとその後のフォビエション処理を、ＪＰＥＧ２０００ベースフォビエションビデオコーディングの節で説明したようなＪＰＥＧ２０００コーディングとその後のフォビエション処理によって置き換える。
【００６９】
ステレオビデオのための本発明の別の実施態様では、ステレオ予測残余のその後のフォビエションのために、一致追求ベースビデオコーディングの節で説明したような一致追及を使用する。
【００７０】
請求項で定義する本発明の主題と精神から離れることなくさらなる修正及び変更が可能である。こうした修正及び変更は、請求項の範囲に含まれる限り、説明された本発明の一部と考えられる。
【図面の簡単な説明】
【００７１】
【図１】図１はビデオシーケンスの符号化及び格納の図を示す。
【図２】図２は本発明による圧縮ビデオシーケンスのトランスコーディング、伝送、復号化及び表示の図を示す。
【図３】図３はＭＰＥＧ４のストリーミングビデオプロファイルの細粒度スケーラビリティを使用して圧縮したビデオシーケンスの構造の図を示す。
【図４】図４は本発明による図２のビデオトランスコーディング及び伝送ユニットの好適実施態様の図を示す。
【図５】図５は図４に示すような本発明の拡張層フォビエション処理ユニットのさらなる詳細を示す。
【図６】図６は拡張層におけるフォビエティドＤＣＴブロックの廃棄可能係数ビット面の例を示す。
【図７】図７はＪＰＥＧ２０００を動き補償ビデオ圧縮スキームで使用する場合の図１のビデオ圧縮ユニットのフローチャートを示す。
【図８】図８はＪＰＥＧ２０００符号化ビデオシーケンスと共に使用される図２のビデオトランスコーディング及び伝送ユニットのフローチャートを示す。
【図９】図９は基本層におけるＭＰＥＧ２マルチビュープロファイルと、拡張層における残余係数のビット面ＤＣＴコーディングとを使用して圧縮したステレオビデオシーケンスの構造を示す。
【図１０】図１０はステレオビデオシーケンスと共に使用するビデオトランスコーディング及び伝送ユニットの図を示す。
【図１１】図１１はＭＰＥＧ４のストリーミングビデオプロファイルの細粒度スケーラビリティを使用して圧縮したステレオビデオシーケンスの構造の図を示す。
【符号の説明】
【００７２】
１０１    元のビデオシーケンス
１０２    ビデオ圧縮ユニット
１０３    圧縮ビデオビットストリーム
１０４    圧縮ビデオ記憶ユニット
【００７３】
２０１    ビデオトランスコーディング及び伝送ユニット
２０２    視点追跡装置
２０３    視点データ
２０３ａ    視点
２０４    フォビエティド圧縮ビデオビットストリーム
２０５    通信チャネル
２０６    ビデオ復号化ユニット
２０７    復号化ビデオ
２０８    ディスプレイ
２０９    観察者
２１０    システム特性
【００７４】
３０１    基本層
３０２    拡張層
３０３    残余ＤＣＴ係数ビット面
【００７５】
４０１    フレーム基本層
４０２    フレーム拡張層
４０３    拡張層フォビエション処理ユニット
４０４    フォビエティド拡張層
４０５    伝送器
【００７６】
５０１    圧縮残余ＤＣＴビット面
５０２    拡張層パーサ
５０３    ８×８ＤＣＴブロックの圧縮ブロックビットストリーム
５０４    ブロックフォビエションユニット
５０５    フォビエティド圧縮ブロック
５０６    フォビエティドビットストリーム再結合ユニット
５０７    係数しきい値テーブル
５０８    フォビエティド拡張層ビットストリーム
【００７７】
７０１    動き推定
７０２    動き補償
７０３    ＪＰＥＧ２０００圧縮ユニット
７０４    ＪＰＥＧ２０００準拠ビットストリームを含む層１
７０５    ＪＰＥＧ２０００層２
７０６    レート情報
７０７    レート符号器
７０８    符号化レート情報
７０９    拡張ビットストリーム
７１０    動きベクトル符号器
７１１    符号化動き情報
７１２    基本層ビットストリーム
７１３    ＪＰＥＧ２０００圧縮解除ユニット
７１４    クリッピングユニット
７１５    フレームメモリ
【００７８】
８０１    レート復号器
８０２    ＪＰＥＧ２０００トランスコーダ及びフォビエション処理ユニット
８０３    多層フォビエション拡張ビットストリーム
【００７９】
９０１    基本層
９０２    拡張層
９０３    左眼シーケンス
９０４    右眼シーケンス
９０５    残余ＤＣＴ係数ビット面
【００８０】
１００１    左眼基本層
１００２    右眼基本層
１００３    左眼拡張層
１００４    右眼拡張層
１００５    拡張層フォビエション処理ユニット
１００６    フォビエティド拡張層
１００７    伝送器
【００８１】
１１０１    左眼シーケンス
１１０２    基本層
１１０３    右眼シーケンス
１１０４    テンポラル層
１１０５    ＦＧＳ層
【図１】
2006528870.tif 000013
【図２】
2006528870.tif 000014
【図３】
2006528870.tif 000015
【図４】
2006528870.tif 000016
【図５】
2006528870.tif 000017
【図６】
2006528870.tif 000018
【図７】
2006528870.tif 000019
【図８】
2006528870.tif 000020
【図９】
2006528870.tif 000021
【図１０】
2006528870.tif 000022
【図１１】
2006528870.tif 000023
【国際調査報告】
2006528870.tif 000024
2006528870.tif 000025
2006528870.tif 000026