(57)【要約】【課題】冗長データ符号化方法及びデバイス【解決手段】  マルチメディアデータを符号化するためにコンテンツ情報を用いる装置及び方法が説明される。マルチメディアデータを処理する方法は、マルチメディアデータのコンテンツ情報を入手することと、前記マルチメディアデータを符号化して符号化されたビットストリームを形成すること、とを含み、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する。幾つかの側面においては、前記符号化することは、基本層及び拡張層への前記マルチメディアデータを符号化することを具備し、前記イントラコーディングされたデータは、前記基本層に関する量子化パラメータを用いて符号化される。その他の側面においては、前記イントラコーディングされたデータは、前記拡張層に関する量子化パラメータを用いて符号化される。【選択図】図１７Ａ
2009510936.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアデータを処理する方法であって、
マルチメディアデータのコンテンツ情報を入手することと、
前記マルチメディアデータを符号化して符号化されたビットストリームを形成することであって、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入すること、とを具備する、方法。
【請求項２】
前記コンテンツ情報は、コンテンツ分類を具備する請求項１に記載の方法。
【請求項３】
前記コンテンツ分類は、前記マルチメディアデータの複雑さに基づく請求項２に記載の方法。
【請求項４】
前記複雑さは、空間的複雑さと、時間的複雑さと、を具備する請求項３に記載の方法。
【請求項５】
挿入される冗長データ量は、前記マルチメディアデータの前記複雑さに反比例する請求項３に記載の方法。
【請求項６】
前記イントラコーディングされたデータは、少なくとも１つの冗長データフレームを具備する請求項１に記載の方法。
【請求項７】
前記少なくとも１つの冗長データフレームは、Ｉフレームを具備する請求項６に記載の方法。
【請求項８】
イントラコーディングされたデータから成る前記少なくとも１つの冗長フレームは、チャネルスイッチフレームを具備する請求項６に記載の方法。
【請求項９】
イントラコーディングされたデータから成る前記少なくとも１つの冗長ブロックは、Ｉフレームの実質的な全体を具備する請求項１に記載の方法。
【請求項１０】
前記符号化することは、基本層及び拡張層への前記マルチメディアデータを符号化することを具備し、前記イントラコーディングされたデータは、前記基本層に関する量子化パラメータを用いて符号化される請求項１に記載の方法。
【請求項１１】
前記符号化することは、基本層及び拡張層への前記マルチメディアデータを符号化することを具備し、前記イントラコーディングされたデータは、前記拡張層に関する量子化パラメータを用いて符号化される請求項１に記載の方法。
【請求項１２】
マルチメディアデータを処理するための装置であって、
マルチメディアデータのコンテンツ情報を入手するように構成されたコンテンツ分類器と、
前記マルチメディアデータを符号化して符号化されたビットストリームを形成するように構成された符号器であって、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する符号器と、を具備する、装置。
【請求項１３】
マルチメディアデータを処理するための装置であって、
マルチメディアデータのコンテンツ情報を入手するための手段と、
前記マルチメディアデータを符号化して符号化されたビットストリームを形成するための手段であって、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する手段と、を具備する、装置。
【請求項１４】
前記コンテンツ情報は、コンテンツ分類を具備する請求項１２に記載の装置。
【請求項１５】
前記コンテンツ分類は、前記マルチメディアデータの複雑さに基づく請求項１４に記載の装置。
【請求項１６】
前記複雑さは、空間的複雑さと、時間的複雑さと、を具備する請求項１５に記載の装置。
【請求項１７】
挿入される前記冗長データ量は、前記マルチメディアデータの複雑さに反比例する請求項１５に記載の装置。
【請求項１８】
前記イントラコーディングされたデータは、少なくとも１つの冗長データフレームを具備する請求項１２に記載の装置。
【請求項１９】
前記少なくとも１つの冗長データフレームは、Ｉフレームを具備する請求項１８に記載の装置。
【請求項２０】
イントラコーディングされたデータから成る前記少なくとも１つの冗長フレームは、チャネルスイッチフレームを具備する請求項１８に記載の装置。
【請求項２１】
イントラコーディングされたデータから成る前記少なくとも１つの冗長ブロックは、Ｉフレームの実質的な全体を具備する請求項１２に記載の装置。
【請求項２２】
符号化するための前記手段は、基本層及び拡張層への前記マルチメディアデータを符号化することを具備し、前記イントラコーディングされたデータは、前記基本層に関する前記量子化パラメータを用いて符号化される請求項１２に記載の装置。
【請求項２３】
符号化するための前記手段は、基本層及び拡張層への前記マルチメディアデータを符号化することを具備し、前記イントラコーディングされたデータは、前記拡張層に関する前記量子化パラメータを用いて符号化される請求項１２に記載の装置。
【請求項２４】
プロセッサであって、
マルチメディアデータのコンテンツ情報を入手し、
前記マルチメディアデータを符号化して符号化されたビットストリームを形成するように構成され、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する、プロセッサ。
【請求項２５】
前記コンテンツ情報は、コンテンツ分類を具備する請求項２４に記載のプロセッサ。
【請求項２６】
前記コンテンツ分類は、前記マルチメディアデータの複雑さに基づく請求項２４に記載のプロセッサ。
【請求項２７】
前記複雑さは、空間的複雑さと、時間的複雑さと、を具備する請求項２４に記載のプロセッサ。
【請求項２８】
機械によって読み取り可能な媒体であって、
実行時にマルチメディアデータのコンテンツ情報を機械に入手させる命令と、
実行時に前記マルチメディアデータを機械に符号化させて符号化されたビットストリームを形成する命令であって、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する命令と、を具備する、機械によって読み取り可能な媒体。
【請求項２９】
前記コンテンツ情報は、コンテンツ分類を具備する請求項２８に記載の機械によって読み取り可能な媒体。
【請求項３０】
前記コンテンツ分類は、前記マルチメディアデータの複雑さに基づく請求項２８に記載の機械によって読み取り可能な媒体。
【請求項３１】
前記複雑さは、空間的複雑さと、時間的複雑さと、を具備する請求項２８に記載の機械によって読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
３５Ｕ．Ｓ．Ｃ．§１１９に基づく優先権の主張
本特許出願は、（ａ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７２１，４１６（出願日：２００５年９月２７日）、（ｂ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７８９，３７７（出願日：２００６年４月４日）、（ｃ）“METHOD AND APPARATUS FOR SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED VIDEO”（フィールドに基づく映像に関する動き補償によって補助された空間−時間的デインターレーシングに関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４３（出願日：２００５年１０月１７日）、（ｄ）“METHOD AND APPARATUS FOR SHOT DETECTION IN VIDEO STREAMING”（映像ストリーミングにおけるショット検出に関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４４（出願日：２００５年１０月１７日）、（ｅ）“A METHOD AND APPARATUS FOR USING AN ADAPTIVE GOP STRUCTURE IN VIDEO STREAMING”（映像ストリーミングにおいて適応型ＧＯＰを用いるための方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４０（出願日：２００５年１０月１７日）、（ｆ）“INVERSE TELECINE ALGORITHM BASED ON STATE MACHINE”(ステートマシンに基づく逆テレシネアルゴリズム)という題名を有する仮特許出願番号６０／７３０，１４５（２００５年１０月２４日）、及び（ｇ）“SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED MULTIMEDIA DATA”（フィールドに基づくマルチメディアデータに関する動き補償によって補助された空間−時間的デインターレーシング）という題名を有する仮特許出願番号６０／７８９，０４８（出願日：２００６年４月３日）に対する優先権を主張するものである。これらの７つのすべての仮特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている。
【０００２】
同時係属特許出願の参照
本特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている、“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディア処理に関するコンテンツ分類）という題名を有する米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）に関連するものである。 
本出願は、リアルタイムストリーミングを目的とする映像データの映像トランスコーディングに関する装置及び方法に関するものである。本発明は、特に、モバイル放送用途におけるリアルタイムストリーミングに関する映像データのトランスコーディングに関するものである。
【背景技術】
【０００３】
多くのマルチメディア用途、例えば、無線映像ストリーミング及びビデオテレフォニー、においては、限られた帯域幅資源及び利用可能な帯域幅の可変性に起因して効率的な映像圧縮が有用である。一定の映像コーディング基準、例えば、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ）、Ｈ．２６４（ＩＴＵ）、又は同様の映像コーディング基準、は、無線放送等の用途に非常に適した効率の高いコーディングを提供する。幾つかのマルチメディアデータ、例えば、デジタルテレビ放送、は、一般的には、その他の基準、例えば、ＭＰＥＧ−２、に従ってコーディングされる。従って、１つの基準（例えば、ＭＰＥＧ−２）に従ってコーディングされたマルチメディアデータを無線放送前に他の基準（例えば、Ｈ．２６４）にトランスコーディング又は変換するためにトランスコーダが用いられる。  
レートが最適化されたコーデックの向上は、誤り耐性、誤り回復、及びスケーラビリティに関する利点をもたらすことが可能である。さらに、マルチメディアデータ自体から決定された情報の使用は、誤り耐性、誤り回復、及びスケーラビリティを含む、符号化に関するさらなる向上をもたらすことが可能である。従って、ストリーミングマルチメディア情報のモバイル放送を含む多くのマルチメディアデータ用途において使用するためにマルチメディアデータ自体から決定された情報を使用し、スケーラブルであり、誤り耐性を有するマルチメディアデータの非常に効率的な処理及び圧縮を提供するトランスコーダが必要である。
【発明の開示】
【発明の概要】
【０００４】
説明及び例示されている本発明のコンテンツに基づくトランスコーディング装置及び方法の各々は、幾つかの側面を有しており、いずれの単一の側面も、望ましい属性を確保する役割を単独で果たしているわけではない。以下では、この開示の適用範囲を限定することなしに、本発明のより顕著な特長が簡単に説明される。当業者は、この説明を検討後に、そして特に「発明を実施するための最良の形態」という題名の部分を読んだ後に、このコンテンツ駆動型トランスコーディングの特長がマルチメディアデータ処理装置及び方法に関する改良点をどのようにして提供するかを理解するであろう。
【０００５】
本明細書において説明される発明上の側面は、様々なマルチメディアデータ符号化方法に関して及び符号器、例えば、トランスコーダにおいて用いられる符号器、の様々なモジュール又は構成要素においてコンテンツ情報を用いることに関するものである。トランスコーダは、コンテンツ情報を用いてマルチメディアデータのトランスコーディングを調整することができる。前記コンテンツ情報は、他のソース、例えば、映像とともに受信されるメタデータ、から受信することができる。前記トランスコーダは、様々な異なる処理動作を通じてコンテンツ情報を生成するように構成することができる。幾つかの側面においては、前記トランスコーダは、前記マルチメディアデータのコンテンツ分類を生成し、前記コンテンツ分類は、１つ以上の符号化プロセスにおいて用いられる。幾つかの側面においては、コンテンツによって駆動されるトランスコーダは、前記マルチメディアデータの空間的及び時間的コンテンツ情報を決定し、チャネル間でのコンテンツを認識した均一な品質の符号化、及びコンテンツ分類に基づく圧縮／ビット割り当てに関して前記コンテンツ情報を使用することができる。
【０００６】
幾つかの側面においては、マルチメディアデータのコンテンツ情報（例えば、メタデータ、コンテンツメトリックス及び／又はコンテンツ分類）が入手又は計算され、前記マルチメディアデータを符号化のために処理する際に用いるために前記トランスコーダの構成要素に提供される。例えば、プリプロセッサは、シーンの変化の検出、逆テレシネ（“ＩＶＴＣ”）、デインターレーシング、動き補償及び雑音抑制（例えば、２Ｄウェーブレット変換）及び空間−時間的雑音の低減、例えば、アーティファクト除去、デリンギング、デブロッキング、及び／又は雑音除去、に関して一定のコンテンツ情報を用いることができる。幾つかの側面においては、プリプロセッサは、標準品位（ＳＤ）からクォータービデオグラフィックスアレイ（ＱＶＧＡ）へのダウンサンプリング時に空間解像度ダウンサンプリング、例えば、適切な“安全”な及び“アクション処理”エリアの決定、に関しても前記コンテンツ情報を用いることができる。
【０００７】
幾つかの側面においては、符号器は、コンテンツ情報を計算するように構成されるコンテンツ分類モジュールを含む。前記符号器は、各ＭＢに関する量子化パラメータ（ＱＰ）を決定する際のビットレート制御（例えば、ビット割り当て）に関して、動き推定、例えば、色動き推定（ＭＥ）を行う、動きベクトル（ＭＶ）予測を行うことに関して、基本層及び拡張層を提供する際のスケーラビリティに関して、及び、例えば適応型イントラリフレッシュ、境界アライメントプロセス、及び拡張層において冗長Ｉフレームデータを提供することを含む予測階層及び誤り耐性方式に影響を与えるためにコンテンツ分類を用いることによる誤り耐性に関して、コンテンツ分類を用いることができる。幾つかの側面においては、前記トランスコーダは、チャネル間において最適なマルチメディアデータ品質を維持するためにデータマルチプレクサと調整しながら前記コンテンツ分類を用いる。幾つかの側面においては、前記符号器は、高速チャネル切り換えを可能にするためにＩフレームが符号化されたデータ内において周期的に現れるように強制するために前記コンテンツ分類情報を用いることができる。該実装は、誤り耐性に関して前記符号化されたデータ内において要求されることがあるＩブロックを利用することもでき、このため、予測階層を通じて（例えば、コンテンツ分類に基づいて）ランダムアクセス切り換えと誤り耐性を有効な形で結合させることによって誤りに対する頑健性（ｒｏｂｕｓｔｎｅｓｓ）を向上させながらコーディング効率を向上させることができる。
【０００８】
一側面においては、マルチメディアデータを処理する方法は、マルチメディアデータのコンテンツ情報を入手することと、前記マルチメディアデータを符号化して符号化されたビットストリームを形成すること、とを含み、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する。幾つかの側面においては、前記コンテンツ情報は、コンテンツ分類を具備する。前記コンテンツ分類は、前記マルチメディアデータの複雑さに基づくことができる。さらに、前記複雑さは、空間的複雑さ、時間的複雑さ、又は空間的複雑さと時間的複雑さの両方を具備することができる。幾つかの事例においては、挿入される冗長データ量は、前記マルチメディアデータの前記複雑さに反比例する。例示される側面は、前記イントラコーディングされたデータが少なくとも１つの冗長データフレームを具備し、前記少なくとも１つの冗長データフレームがＩフレームを具備し、イントラコーディングされたデータから成る前記少なくとも１つの冗長フレームがチャネルスイッチフレームを具備し、及び／又はイントラコーディングされたデータから成る前記少なくとも１つの冗長ブロックがＩフレームの実質的な全体を具備する例を含む。前記符号化することは、基本層及び拡張層への前記マルチメディアデータを符号化することを含むことができ、前記イントラコーディングされたデータは、前記基本層に関する量子化パラメータ、又は前記拡張層に関する量子化パラメータを用いて符号化される。
【０００９】
他の側面においては、マルチメディアデータを処理するための装置は、マルチメディアデータのコンテンツ情報を入手するための手段と、前記マルチメディアデータを符号して符号化されたビットストリームを形成するための手段と、を含み、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する。
【００１０】
さらに他の側面においては、マルチメディアデータを処理するための装置は、マルチメディアデータのコンテンツ情報を入手するように構成されたコンテンツ分類器と、前記マルチメディアデータを符号化して符号化されたビットストリームを形成するように構成された符号器と、を含み、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する。
【００１１】
他の側面においては、プロセッサは、マルチメディアデータのコンテンツ情報を入手し、前記マルチメディアデータを符号化して符号化されたビットストリームを形成するように構成され、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する。
【００１２】
他の側面においては、実行時にマルチメディアデータのコンテンツ情報を機械に入手させる命令と、前記マルチメディアデータを機械に符号化させて符号化されたビットストリームを形成する命令であって、前記符号化することは、前記コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを前記符号化されたビットストリーム内に挿入することを具備する命令と、を具備する、機械によって読み取り可能な媒体。
【００１３】
該当する場合において、同一のものについては図面全体に渡って同一の参照番号を付すことに注意すること。
【発明を実施するための最良の形態】
【００１４】
以下の発明を実施するための最良の形態は、本開示において説明される一定の側面を対象にしたものである。しかしながら、本発明は、多数の異なる方法で具体化することが可能である。本明細書において「１つの側面」又は「側面」を参照しているときには、該側面と関連して説明される特定の特長、構造、又は特徴が少なくとも１つの側面の中に含まれていることを意味する。本明細書の様々な箇所における「一側面において」、「一側面により」、又は「幾つかの側面において」という表現の出現は、必ずしもすべてが同じ側面に言及しているわけではなく、さらに、その他の側面と別個であるか又は互いに排他的であるわけでもない。さらに、幾つかの側面によって示すことができその他の側面によって示すことができない様々な特長が説明される。同様に、幾つかの側面に関する要求であることができその他の側面に関する要求であることができない様々な要求が説明される。
【００１５】
以下の説明は、例を徹底的に理解できるようにするために提供される詳細を含む。しかしながら、これらの例は、１つの例又は側面におけるプロセス又はデバイスに関するすべての詳細が本明細書において説明されていないか又は例示されていない場合でも実践可能であることが当業者によって理解される。例えば、電気的構成要素は、これらの例を不必要に詳細にして不明確にしないようにするために該構成要素のすべての電気的接続又はすべての電気的要素を示していないブロック図において示すことができる。その他の場合においては、該構成要素、その他の構造及び技術は、これらの例をさらに説明するための詳細さで示すことができる。
【００１６】
本開示は、符号化中のマルチメディアデータのコンテンツ情報を用いた符号化及びトランスコーディング装置及び方法を制御することに関するものである。（マルチメディアデータの）“コンテンツ情報”又は“コンテンツ”は、マルチメディアデータのコンテンツに関連する情報を意味する広義の言葉であり、例えば、メタデータと、マルチメディアデータから計算されたメトリックスと、１つ以上のメトリックスと関連づけられたコンテンツ関連情報、例えばコンテンツ分類と、を含むことができる。コンテンツ情報は、特定の用途に依存して、符号器に提供すること又は符号器によって決定することができる。コンテンツ情報は、シーン変化検出、時間的処理、空間−時間的雑音低減、ダウンサンプリング、量子化のためのビットレートの決定、スケーラビリティ、誤り耐性、放送チャネル間での最適なマルチメディア品質の維持、及び高速チャネル切り換えを含むマルチメディアデータ符号化の数多くの側面に関して用いることができる。トランスコーダは、これらの側面のうちの１つ以上を用いて、マルチメディアデータの処理を調整し、コンテンツ関連の符号化されたマルチメディアデータを生成することができる。トランスコーディングの側面について説明する本明細書内の記述及び図は、符号化に関する側面及び復号に関する側面にも適用可能である。
【００１７】
トランスコーダ装置及び方法は、１つの形式から他の形式へのトランスコーディングに関するものであり、本明細書においては、無線チャネルを通じて幾つかの側面の例示であるモバイルデバイスに送信するためにＭＰＥＧ−２映像を拡張されたスケーラブルなＨ．２６４形式にトランスコーディングすることに関連して具体的に説明される。しかしながら、ＭＰＥＧ−２映像をＨ．２６４形式にトランスコーディングすることについての説明は、本発明の適用範囲を限定することは意図されておらず、本発明の幾つかの側面の単なる典型例であるにすぎない。開示される装置及び方法は、ランダムアクセス及び階層化能力を備えた誤り耐性の高い符号化をサポートする非常に効率的なアーキテクチャを提供し、ＭＰＥＧ−２及びＨ．２６４以外の映像形式のトランスコーディング及び／又は符号化に対しても適用可能である。
【００１８】
本明細書において用いられる“マルチメディアデータ”又は単に“マルチメディア”は、（音声データを含むことができる）映像データ、音声データ、又は映像データと音声データの両方を含む広義の言葉である。本明細書において用いられる“映像データ”又は“映像”は、１つ以上の画像又は関連する一連の画像を含み、テキスト、画像情報及び／又は音声データを内蔵する、フレームに基づく又はフィールドに基づくデータを意味する広義の言葉であり、別記がないかぎりマルチメディアデータを指すために用いることができる（例えば、これらの言葉は、互換可能な形で用いることができる）。
【００１９】
以下では、トランスコーダの様々な構成要素の例及びマルチメディアデータを符号化するためにコンテンツ情報を用いることができるプロセス例が説明される。
【００２０】
図１Ａは、マルチメディアデータ放送システム１００の幾つかの側面のデータフローを示すブロック図である。システム１００において、マルチメディアデータプロバイダ１０６は、符号化されたマルチメディアデータ１０４をトランスコーダ２００に通信する。符号化されたマルチメディアデータ１０４は、トランスコーダ２００によって受信され、トランスコーダ２００は、ブロック１１０においてマルチメディアデータ１０４を処理して生のマルチメディアデータにする。ブロック１１０における処理は、符号化されたマルチメディアデータ１０４を復号及び構文解析し、他の形式に符号化するための準備としてマルチメディアデータをさらに処理する。復号されたマルチメディアデータは、ブロック１１２に提供され、ブロック１１２において、マルチメディアデータは、予め決められたマルチメディア形式又は基準に符号化される。マルチメディアデータが符号化された時点で、ブロック１１４において、例えば無線放送システム（例えば、携帯電話放送ネットワーク、又は他の通信ネットワーク）を介して送信するための準備が行われる。幾つかの側面においては、受信されたマルチメディアデータ１０４は、ＭＰＥＧ−２基準に従って符号化されている。トランスコーディングされたマルチメディアデータ１０４が復号された後は、トランスコーダ２００は、Ｈ．２６４基準に従ってマルチメディアデータを符号化する。
【００２１】
図１Ｂは、図１Ａのブロック１１０及び１１２において処理を行うように構成することができるトランスコーダ１３０のブロック図である。トランスコーダ１３０は、マルチメディアデータを受信し、マルチメディアデータを復号及び構文解析してパケット化されたエレメンタリストリーム（例えば、サブタイトル、音声、メタデータ、“生”映像、ＣＣデータ、及び表示時刻タイムスタンプ）にし、これらのデータを符号化して希望される形式にし、符号化されたデータをさらなる処理又は送信のために提供するように構成することができる。トランスコーダ１３０は、符号化されたデータを２つ以上のデータグループ、例えば、符号化された第１のデータグループ及び符号化された第２のデータグループで提供するように構成することができ、階層符号化と呼ばれる。幾つかの側面例においては、階層符号化方式における様々なデータグループ（又は層）は、第１のデータグループにおいて符号化されたデータの品質のほうが第２のデータグループにおいて符号化されたデータよりも低くなる（例えば、表示されたときにより低い視覚品質レベルを提供する）ように異なる品質レベルで符号化、及び形式化することができる。
【００２２】
図１Ｃは、マルチメディアデータをトランスコーディングするように構成することができ、及び図１Ａのブロック１１０及び１１２において描かれている処理の一部又は全部を行うように構成することができるプロセッサ１４０のブロック図である。プロセッサ１４０は、本明細書において説明される、復号、構文解析、前処理、及び符号化を含むトランスコーディングプロセスのうちの１つ以上を行い、コンテンツ情報を処理に関して用いるモジュール１２４ａ．．．ｎを含むことができる。プロセッサ１４０は、内部メモリ１２２も含み、直接又は他のデバイスを通じて間接的に外部メモリ１２０と通信するように構成することができる。プロセッサ１４０は、プロセッサ１４０の外部の１つ以上のデバイスと通信するように構成された通信モジュール１２６も含み、マルチメディアデータを受信すること及び符号化されたデータ、例えば、第１のデータグループにおいて符号化されたデータ及び第２のデータグループにおいて符号化されたデータ、を提供することを含む。幾つかの側面例においては、階層符号化方式における様々なデータグループ（又は層）は、第１のデータグループにおいて符号化されたデータの品質のほうが第２のデータグループにおいて符号化されたデータよりも低くなる（表示されたときにより低い視覚品質レベルを提供する）ように、異なる品質レベルで符号化し、形式化することができる。
【００２３】
トランスコーダ１３０又は（トランスコーディング用に構成された）プリプロセッサ１４０、その構成要素、及び内蔵されるプロセスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はその組合せによって実装することができる。例えば、構文解析器、復号器、プリプロセッサ、又は符号器は、独立型構成要素であること、ハードウェア、ファームウェア、ミドルウェアとして他のデバイスの構成要素内に組み込むこと、又はプロセッサにおいて実行されるマイクロコード又はソフトウェア、又はその組合せにおいて実装することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコード内に実装されるときは、動き補償、ショット分類及び符号化プロセスを行うプログラムコード又はコードセグメントは、機械によって読み取り可能な媒体、例えば記憶媒体、に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、命令の組合せ、データ構造、又はプログラム文を表すことができる。コードセグメントは、情報、データ、引数、パラメータ、メモリコンテンツを渡す及び／又は受け取ることによって他のコードセグメント又はハードウェア回路に結合させることができる。
【００２４】
トランスコーダアーキテクチャ例
図２は、図１のマルチメディア放送システム１００において示されるトランスコーダ２００に関して用いることができるトランスコーダ例のブロック図である。トランスコーダ２００は、以下においてさらに説明される構文解析器／復号器２０２と、プリプロセッサ２２６と、符号器２２８と、同期化層２４０と、を具備する。トランスコーダ２００は、本明細書において説明されるように、トランスコーディングプロセスの１つ以上の側面に関するマルチメディアデータ１０４のコンテンツ情報を用いるように構成される。コンテンツ情報は、マルチメディアメタデータを通じてトランスコーダ２００の外部のソースから入手すること、又はトランスコーダによって、例えば、プリプロセッサ２２６又は符号器２２８によって計算することができる。図２に示される構成要素は、１つ以上のトランスコーディングプロセスに関してコンテンツ情報を用いるトランスコーダ内に含めることができる構成要素を例示したものである。特定の実装においては、トランスコーダ２００の構成要素のうちの１つ以上は、除外することができ又は追加の構成要素を含めることができる。さらに、本明細書においてはプロセス又はデバイスのすべての詳細を説明することができないにもかかわらず当業者が本発明を実践するのを可能にするためにトランスコーダ及びトランスコーディングプロセスの一部分が説明される。
【００２５】
図５は、トランスコーダ２００の様々な構成要素の動作及び／又はプロセスの時間的関係を図示したタイミング図である。図５に示されるように、最初に、符号化されたストリーミング映像１０４（符号化されたマルチメディアデータ）、例えば、ＭＰＥＧ−２映像、が、構文解析器２０５（図２）によって任意の時間ゼロ（０）において受信される。次に、映像ストリームは、例えば復号器２１４と組み合わせた構文解析器２０５によって構文解析され５０１、多重分離され５０２、復号される５０３。示されるように、これらのプロセスは、データ処理のストリーム出力をプリプロセッサ２２６に提供するために、わずかなタイミングのオフセットを伴う形で並行して起きることができる（図２）。時間Ｔ１  ５０４において、プリプロセッサ２２６が処理結果の出力を開始する上で十分なデータを復号器２１４から受信した時点で、残りの処理ステップは、性質上順次的になり、前処理後は、時間Ｔｆ ５０８における再符号化が完了するまで第１パス符号化５０５、第２パス符号化５０６、及び再符号化５０７が順に生じる。
【００２６】
本明細書において説明されるトランスコーダ２００は、様々なマルチメディアデータをトランスコーディングするように構成することができ、多くのプロセスは、トランスコーディングされるあらゆる型のマルチメディアデータに適用される。本明細書において提供される例の一部は、ＭＰＥＧ−２データをＨ．２６４データにトランスコーディングすることに特に関するものであるが、これらの例は、本開示を該データに限定することは意味しない。以下において説明される符号化側面は、あらゆる適切なマルチメディアデータ基準を他の適切なマルチメディアデータ基準にトランスコーディングすることに適用することができる。
【００２７】
構文解析器／復号器
再度図２に関して、構文解析器／復号器２０２は、マルチメディアデータ１０４を受信する。構文解析器／復号器２０２は、マルチメディアデータ１０４を受信し、該データを構文解析して映像エレメンタリストリーム（ＥＳ）２０６、音声ＥＳ２０８、表示時刻タイムスタンプ（ＰＴＳ）２１０及びその他のデータ、例えばサブタイトル２１２、にするトランスポートストリーム構文解析器（“構文解析器”）２０５を含む。ＥＳは、１つの型のデータ（映像又は音声）を単一の映像又は音声符号器から搬送する。例えば、映像ＥＳは、シーケンスヘッダー及びすべての小部分を含むデータシーケンスに関する映像データを具備する。パケット化されたエレメンタリストリーム、すなわちＰＥＳ、は、パケット化されている単一のＥＳから成り、典型的には各々が追加されたパケットヘッダーで始まる、ＰＥＳストリームは、１つのソースからの、例えば１つの映像又は音声符号器からの、１つの型のデータのみを含む。ＰＥＳパケットは、トランスポートパケットの固定パケット長に対応しない可変長を有し、トランスポートパケットよりもはるかに長くすることができる。トランスポートパケットがＰＥＳストリームから形成されるときには、ＰＥＳヘッダーは、トランスポートパケットペイロードの始めで、トランスポートパケットヘッダーの直後に配置することができる。残りのＰＥＳパケットコンテンツは、ＰＥＳパケットがすべて用いられるまで後続するトランスポートパケットのペイロードを満たす。最後のトランスポートパケットは、例えばバイト、例えば、バイト＝０ｘＦＦ（すべて１）を詰めることによって、固定長まで満たすことができる。
【００２８】
構文解析器２０５は、ここに示される構文解析器／復号器２０２の一部である復号器２１４に映像ＥＳ  ２０６を通信する。その他の構成においては、構文解析器２０５及び復号器２１４は、別個の構成要素である。ＰＴＳ２１０は、トランスコーダＰＴＳ生成器２１５に送信され、トランスコーダＰＴＳ生成器２１５は、トランスコーダ２００から放送システムに送信されるデータを手配する際に用いるためにトランスコーダ２００専用の別個の表示時刻タイムスタンプを生成することができる。トランスコーダＰＴＳ生成器２１５は、データ放送の同期化を調整するためにトランスコーダ２００の同期化層２４０にデータを提供するように構成することができる。
【００２９】
図３は、構文解析器２０５が上述される様々なパケット化されたエレメンタリストリームを構文解析するときに従うことができるプロセス３００の一例の流れ図である。プロセス３００は、ブロック３０２において開始し、マルチメディアデータ１０４がコンテンツプロバイダ１０６から受信される（図１）。プロセス３００は、ブロック３０４に進み、構文解析器２０５の初期設定が行われる。初期設定は、独立して生成された取得コマンド３０６によってトリガーすることができる。例えば、構文解析器２０５から独立していて、外部で受信されたＴＶスケジュール及びチャネルラインアップ情報に基づくプロセスが、取得コマンド３０６を生成することができる。さらに、初期設定及び主処理の両方を援助するためにリアルタイムトランスポートストリーム（ＴＳ）バッファ記述子３０８を入力することができる。
【００３０】
ブロック３０４において例示されるように、初期設定は、コマンド構文検証を取得することと、第１パスＰＳＩ／ＰＳＩＰ／ＳＩ（プログラム専用情報／プログラム及びシステム情報プロトコル／システム情報）の処理を行うことと、取得コマンド又はＰＳＩ／ＰＳＩＰ／ＳＩ一貫性検証のいずれかに特に関連する処理を行うことと、各ＰＥＳに関するＰＥＳバッファを割り当てることと、（例えば、希望される取得開始インスタントとのアライメントに関する）タイミングを設定すること、とを含むことができる。ＰＥＳバッファは、構文解析されたＥＳデータを保持し、各構文解析されたＥＳデータを対応する音声復号器２１６、試験符号器２２０、復号器２１４、又はトランスコーダＰＴＳ生成器２１５に通信する。
【００３１】
初期設定後、プロセス３００は、受信されたマルチメディアデータ１０４の主処理のためにブロック３１０に進む。ブロック３１０における処理は、目標パケット識別子（ＰＩＤ）フィルタリングと、連続的ＰＳＩ／ＰＳＩＰ／ＳＩモニタリング及び処理と、着信したマルチメディアデータが適切なＰＥＳバッファ内に渡されるようにするための（例えば、希望される取得継続時間を達成させるための）タイミングプロセスと、を含むことができる。ブロック３１０におけるマルチメディアデータの処理の結果、ＰＥＳバッファ‘読み取り’のプログラム記述子及び表示が生成され、後述されるように復号器２１４とインタフェースする（図２）。
【００３２】
ブロック３１０後、プロセス３００は、ブロック３１４に進み、タイマー割り込みの生成及びＰＥＳバッファの消費に後続するＰＥＳバッファの解放を含む構文解析動作の終了が起きる。ＰＥＳバッファは、記述子内において引用されたプログラムのすべての関連するエレメンタリストリーム、例えば、音声、映像、及びサブタイトルストリーム、に関して存在することが注記される。
【００３３】
再度図２に関して、構文解析器２０５は、トランスコーダ実装に対応するために音声ＥＳ２０８を音声復号器２１６に送信し、符号化されたテキスト２１６を同期化層２４０及び音声情報の復号に提供する。サブタイトル情報２１２は、テキスト符号器２２０に引き渡される。復号器２１４からのクローズドキャプショニング（ＣＣ）データ２１８もテキスト符号器２２０に提供され、テキスト符号器２２０は、サブタイトル情報２１２及びＣＣデータ２１８をトランスコーダ２２０によって生成された形式で符号化する。
【００３４】
構文解析器／復号器２０２は、映像ＥＳ  ２０６を受信する復号器２１４も含む。復号器２１４は、映像データと関連づけられたメタデータを生成することができ、符号化された映像のパケット化されたエレメンタリストリームを復号して（例えば、標準定義形式の）生映像２２４にし、映像ＥＳストリーム内の映像クローズドキャプショニングされたデータを処理する。
【００３５】
図４は、復号器２１４によって行うことができる復号プロセス４００の一例を示す流れ図である。プロセス４００は、ブロック４０２における映像エレメンタリストリームデータ２０６の入力から開始する。プロセス４００は、ブロック４０４に進み、復号器が初期設定される。初期設定は、映像シーケンスヘッダー（ＶＳＨ）の検出と、第１パスＶＨＳ、映像シーケンス（ＶＳ）、及び（映像形式、三原色、及びマトリックス係数を含む）ＶＳ表示拡張処理を行うことと、復号されたピクチャ、関連づけられたメタデータ及びクローズドキャプション（ＣＣ）データを各々バッファリングするためのデータバッファを割り当てること、とを含む幾つかのタスクを含むことができる。さらに、構文解析器２０５によって提供された映像ＰＥＳバッファ‘読み取り’情報４０６が入力される（例えば、図３のブロック３１０においてプロセス３００によって生成することができる）。
【００３６】
ブロック４０４において初期設定後は、プロセス４００は、ブロック４０８に進み、映像ＥＳの主処理が復号器２１４によって行われる。主処理は、新しいデータの利用可能性に関して映像ＰＥＳバッファ‘読み取り’情報又は“インタフェース”をポーリングすることと、映像ＥＳを復号することと、ピクチャ境界における画素データを再構築及び格納することと、映像及びａ／ｖを同期化することと、ピクチャ境界におけるメタデータを生成及び保存することと、ピクチャ境界におけるＣＣデータを保存すること、とを含む。主処理４０８の結果ブロック４１０は、シーケンス記述子、復号されたピクチャバッファ記述子、メタデータバッファ記述子、及びＣＣデータバッファ記述子の生成を含む。
【００３７】
主処理４０８後、プロセス４００は、ブロック４１２に進み、終了プロセスを行う。終了プロセスは、予め決められたしきい値を超える特定の継続時間中に新しいデータが発生しないこと、シーケンス終了符号の検出、及び／又は明示の終了信号の検出を含む終了条件を決定することを含むことができる。終了プロセスは、復号されたピクチャ、関連づけられたメタデータ、及びＣＣデータバッファを後述されるプリプロセッサによる消費後に解放することをさらに含むことができる。プロセス４００は、ブロック４１４において終了し、入力として受信される映像ＥＳを待つ状態に入ることができる。
【００３８】
プリプロセッサ
図２、及びより詳細な図６は、１つ以上の前処理動作に関してコンテンツ情報を用いることができるプリプロセッサ２２６のサンプル側面を示す。プリプロセッサ２２６は、メタデータ２２２及び復号された“生”映像データ２２４を構文解析器／復号器２０２から受信する。プリプロセッサ２２６は、映像データ２２４及びメタデータ２２２に関して一定の型の処理を行い、処理されたマルチメディア（例えば、基本層基準フレーム、拡張層基準フレーム、帯域幅情報、コンテンツ情報）及び映像を符号器２２８に提供するように構成することができる。マルチメディアデータの該前処理は、視覚上の鮮明度、エリアシング対策、及びデータの圧縮効率を向上させることができる。一般的には、プリプロセッサ２２６は、構文解析器復号器２０２内の復号器２１４によって提供される映像シーケンスを受信し、該映像シーケンスを符号器２２８によるさらなる処理（例えば、符号化）のためにプログレッシブ映像シーケンスに変換する。幾つかの側面においては、プリプロセッサ２２６は、逆テレシネと、デインターレーシングと、フィルタリング（例えば、アーティファクト除去、デリンギング、デブロッキング、及び雑音除去）と、リサイジング（例えば、標準品位からクォータービデオグラフィックスアレイ（ＱＶＧＡ）への空間解像度ダウンサンプリング）と、ＧＯＰ構造生成（例えば、複雑さマップ生成の計算、シーン変化検出、及びフェード／フラッシュ検出）と、を含む数多くの動作に関して構成することができる。
【００３９】
プリプロセッサ２２６は、前処理動作のうちの１つ以上に影響を与えるために復号器からのメタデータを用いることができる。メタデータは、マルチメディアデータのコンテンツ（“コンテンツ情報”）に関連する、説明する、又は分類する情報を含むことができ、特に、メタデータは、コンテンツ分類を含むことができる。幾つかの側面においては、メタデータは、符号化動作に関して希望されるコンテンツ情報を含まない。このような場合には、プリプロセッサ２２６は、コンテンツ情報を決定して該コンテンツ情報を前処理動作に関して用いるように構成することができ及び／又はコンテンツ情報をトランスコーダ２００のその他の構成要素、例えば復号器２２８、に提供する。幾つかの側面においては、プリプロセッサ２２６は、ＧＯＰパーティショニングに影響を与え、適切な型のフィルタリングを決定し、及び／又は符号器に通信される符号化パラメータを決定するために該コンテンツ情報を用いることができる。
【００４０】
図６は、プリプロセッサ２２６に含めることができる様々なプロセスブロックの説明例を示し、プリプロセッサ２２６によって行うことができる処理を例示する。この例においては、プリプロセッサ２２６は、メタデータ及び映像２２２、２２４を受信し、（処理された）メタデータ及び映像を具備する出力データ６１４を符号器２２８に提供する。典型的には、受信することができる３つの型の映像が存在する。第１に、受信された映像は、プログレッシブ映像であることができ、この場合は、デインターレーシングは要求されない。第２に、映像データは、テレシネされた映像、２４ｆｐｓムービーシーケンス、この場合は映像、から変換された、インターレーングされた映像であることができる。第３に、映像は、テレシネされない、インターレーシングされた映像であることができる。プリプロセッサ２２６は、後述されるようにこれらの型の映像を処理することができる。
【００４１】
ブロック６０１において、プリプロセッサ２２６は、受信された映像データ２２２、２２４がプログレッシブ映像であるかどうかを決定する。幾つかの場合においては、このことは、メタデータが該情報を含む場合はメタデータから決定すること、又は映像データ自体の処理によって決定することができる。例えば、後述される逆テレシネプロセスは、受信された映像２２２がプログレッシブ映像であるかどうかを決定することができる。受信された映像２２２がプログレッシブ映像である場合は、プロセスはブロック６０７に進み、白色ガウス雑音等の雑音を低減させるためのフィルタリング（又は雑音除去器）動作が映像に関して行われる。ブロック６０１において、映像データ２２２、２２４がプログレッシブ映像でない場合は、プロセスは、位相検出器６０４へのブロック６０４に進む。
【００４２】
位相検出器６０４は、テレシネにおいて発生した映像と標準放送形式で始まった映像を区別する。映像がテレシネされたとする決定が行われた場合は（位相検出器６０６から出る「はい」決定経路）、テレシネされた映像は、逆テレシネ６０６において原形式に戻される。冗長フレームが識別されて除去され、同じ映像フレームから導き出されたフィールドが完全な画像内に再度織り込まれる。再構築されたフィルム画像のシーケンスは、１秒間の１／２４の定期的な間隔で写真記録されたため、ＧＯＰパーティショナ６１２又は復号器２２８において行われた動き推定プロセスは、時間の基礎が不正規であるテレシネされたデータではなく逆テレシネされた画像を用いるほうがより正確である。
【００４３】
一側面においては、位相検出器６０４は、映像フレームを受信後に一定の決定を行う。これらの決定は、（ｉ）現在の映像がテレシネ出力からであり３：２プルダウン位相が図３８に示される５つの位相Ｐ０、Ｐ１、Ｐ２、Ｐ３、及びＰ４のうちの１つであるかどうか、及び（ｉｉ）映像は従来のＮＴＳＣとして生成されたかどうかを含む。その決定は、位相Ｐ５として表される。これらの決定は、図２に示される位相検出器６０４の出力として現れる。“はい”のラベルが付された位相検出器６０４からの経路は、逆テレシネ６０６を作動させ、同じ写真画像から形成されたフィールドを分類して結合させることができるように正確なプルダウン位相が提供されていることを示す。“いいえ”のラベルが付された位相検出器６０４からの経路は、みかけのＮＴＳＣフレームを最適な処理のためにフィールドに分離するためにデインターレーサ６０５を同様に作動させる。異なる型の映像を何時でも受信することができるため、位相検出器６０４は、映像フレームを連続的に解析することができる。一例として、ＮＴＳＣ基準に準拠した映像をコマーシャルとして映像内に挿入することができる。逆テレシネ後、結果的に得られたプログレッシブ映像は、白色ガウス雑音を低減させるために用いることができる雑音除去器（フィルタ）６０７に送られる。
【００４４】
従来のＮＴＳＣ映像が認識されたときには（位相検出器６０１からの「いいえ」経路）、圧縮のためにデインターレーサ６０５に送信される。デインターレーサ６０５は、インターレーシングされたフィールドをプログレッシブ映像に変換し、プログレッシブ映像に関する雑音除去動作を行うことができる。１つのデインターレーシング処理例が以下において説明される。
【００４５】
テレビ等の伝統的なアナログ映像デバイスは、インターレーシングされた方法で映像を提供する。すなわち、該デバイスは、偶数の走査線（偶数フィールド）及び奇数の走査線（奇数フィールド）を提供する。信号サンプリングの観点からは、このことは、以下の式によって表されるパターンでの空間−時間的サブサンプリングに相当する。
【数１】
2009510936.tif 000003
【００４６】
ここで、Θは、原フレームピクチャを表し、Ｆは、インターレーシングされたフィールドを表し、（ｘ，ｙ，ｎ）は、画素の水平方向の、垂直方向の、及び時間的位置を表す。
【００４７】
一般性を失うことなしに、本開示全体を通じてｎ＝０は偶数フィールドであると仮定することができ、このため上記の方程式１は以下のように単純化される。
【数２】
2009510936.tif 000004
【００４８】
デシメーションは水平次元においては行われないため、サブサンプリングパターンは、次のｎ〜ｙ座標で描くことができる。
【００４９】
デインターレーサの最終目標は、インターレーシングされた映像（フィールドのシーケンス）をインターレーシングされていないプログレッシブフレーム（フレームのシーケンス）に変換することである。換言すると、偶数及び奇数のフィールドを内挿し、全フレームピクチャを“復元”又は生成することである。この動作は、方程式３によって表すことができる。
【数３】
2009510936.tif 000005
【００５０】
ここで、Ｆｉは、消失している画素に関するデインターレーシング結果を表す。
【００５１】
図４０は、インターレーシングされたマルチメディアデータからプログレッシブフレームを生成するためにＷｍｅｄフィルタリング及び動き推定を用いるデインターレーサ６０５の側面の一定の側面を示すブロック図である。図４０の上部分は、現在のフィールド、２つの前フィールド（ＰＰフィールド及びＰフィールド）、及び２つの後続フィールド（次のフィールド及び次の次のフィールド）からの情報を用いて生成することができる動き強度マップ４００２を示す。以下においてさらに詳細に説明されるように、動き強度マップ４００２は、現在のフレームを分類するか又は２つ以上の異なる動きレベルに分割することができ、空間−時間的フィルタリングによって生成することができる。幾つかの側面においては、動き強度マップ４００２は、以下の方程式４乃至８を参照しつつ説明されるように、静止エリア、スローモーションエリア、及び高速モーションエリアを識別するために生成される。空間−時間フィルタ、例えば、Ｗｍｅｄフィルタ４００４は、インターレーシングされたマルチメディアデータを動き強度マップに基づいて判定基準を用いてフィルタリングし、空間−時間的な仮のデインターレーシングされたフレームを生成する。幾つかの側面においては、Ｗｍｅｄフィルタリングプロセスは、［−１，１］の水平の近隣エリアと、［−３，３］の垂直の近隣エリアと、図４０に示される５つのフィールド（ＰＰフィールド、Ｐフィールド、現在のフィールド、次のフィールド、次の次のフィールド）によって表される５つの隣接フィールドから成る時間的近隣エリアと、を含み、Ｚ−１は、１つのフィールドの遅延を表す。現在のフィールドに関して、次のフィールド及びＰフィールドは、非パリティフィールドであり、ＰＰフィールド及び次の次のフィールドは、パリティフィールドである。空間−時間的フィルタリングに関して用いられる“近隣エリア”は、フィルタリング動作中に実際に用いられるフィールド及び画素の空間的及び時間的位置を意味し、例えば図６及び７において示されるように「開口」として示すことができる。
【００５２】
デインターレーサ６０５は、Ｗｍｅｄフィルタ４００４によって生成された空間−時間的な仮のデインターレーシングされたフレームをフィルタリングするように構成された雑音除去器（雑音除去フィルタ）４００６を含むこともできる。空間−時間的な仮のデインターレーシングされたフレームの雑音を除去することは、特にソースインターレーシングされたマルチメディアデータシーケンスが白色雑音によって汚染されている場合に、後続する動き探索プロセスをより正確にする。さらに、Ｗｍｅｄピクチャ内の偶数と奇数の行間におけるエリアスを少なくとも部分的に除去することもできる。雑音除去器４００６は、ウェーブレット縮退及びウェーブレットウィーナーフィルタに基づく雑音除去器を含む様々なフィルタとして実装することができる。雑音除去器は、候補のＷｍｅｄフレームが動き補償情報を用いてさらに処理される前に候補のＷｍｅｄフレームから雑音を除去するために用いることができ、Ｗｍｅｄフレーム内に存在する雑音を除去すること及び信号の周波数コンテンツにかかわらず信号の存在を保持することができる。ウェーブレットフィルタを含む様々な型の雑音除去フィルタを用いることができる。ウェーブレットは、空間領域及びスケーリング領域の両方において所定の信号を突き止めるために用いられる１つのクラスの関数である。ウェーブレットに関する基本的な考え方は、ウェーブレット表示の小さい変化が原信号の対応する小さい変化を生み出すように異なるスケール又は解像度において信号を解析することである。
【００５３】
ウェーブレット縮退又はウェーブレットウィーナーフィルタは、雑音除去器として利用することもできる。ウェーブレット縮退は、雑音信号のウェーブレット変換を行い、後続して、大きい係数は影響を受けないようにしながら小さいウェーブレット係数を縮退させてゼロ（又はより小さい値）にすることから成る。最後に、逆変換が行われて推定信号が取得される。
【００５４】
雑音除去フィルタリングは、雑音環境における動き補償精度を向上させる。ウェーブレット縮退雑音除去は、ウェーブレット変換領域の縮退を含むことができ、典型的には、３つのステップ、すなわち、線形順ウェーブレット変換、非線形縮退雑音除去、及び線形逆ウェーブレット変換、を具備する。ウィーナーフィルタは、加法性雑音及びぶれによって劣化された画像を改良するために用いることができるＭＳＥ最適線形フィルタである。該フィルタは、当業において一般的に知られており、例えば、上記の“ウェーブレット縮退による理想的な空間適応”において、及び本明細書において参照されることによってその全体が明示で本明細書に組み入れられている、S.P. Ghael, A. M. Sayeed, and R. G. Baraniuk,“Improvement Wavelet denoising via empirical Wiener filtering,”（経験的ウィーナーフィルタリングによるウェーブレット雑音除去の向上） 、Proceedings of SPIE, vol. 3169, pp. 389−３９９，San Diego, July 1997によって説明されている。
【００５５】
幾つかの側面においては、雑音除去フィルタは、（４，２）双直交立方Ｂスプラインウェーブレットフィルタの側面に基づく。１つの該フィルタは、以下の順及び逆変換によって定義することができる。
【数４】
2009510936.tif 000006
【００５６】
及び
【数５】
2009510936.tif 000007
【００５７】
雑音除去フィルタの利用は、雑音環境における動き補償精度を向上させることができる。該フィルタの実装は、本明細書において参照されることによってその全体が明示で本明細書に組み入れられている、“Ideal spatial adaptation by wavelet shrinkage,”（ウェーブレット縮退による理想的な空間適応）D.L. Donoho and I.M. Johnstone, Biometrika, vol. 8, pp. 425−455, 1994、においてさらに説明されている。
【００５８】
図４０の下部分は、インターレーシングされたマルチメディアデータの動き情報（例えば、動きベクトル候補、動き推定、動き補償）を決定するための側面を示す。特に、図４０は、選択されたフレームの動き補償された仮のプログレッシブフレームを生成してＷｍｅｄ仮フレームと結合させてその結果得られる、デインターレーシングされた現在のフレーム４０１４として示される、“最終的な”プログレッシブフレームを形成するために用いられる動き推定及び動き補償方式を示す。幾つかの側面においては、インターレーシングされたマルチメディアデータの動きベクトル（“ＭＶ”）候補（又は推定）が、外部の動き推定器からデインターレーサに提供され、双方向動き推定器及び補償器（“ＭＥ／ＭＣ”）４０１８に関する出発点を提供するために用いられる。幾つかの側面においては、ＭＶ候補選択器４０２２は、処理中のブロックのＭＶ候補に関する近隣ブロックに関する以前に決定されたＭＶ、例えば、前の処理されたブロック、例えば、デインターレーシングされた前フレーム４０２０内のブロック例のＭＶ、を使用する。動き補償は、前のデインターレーシングされたフレーム７０及び次の（例えば、将来の）Ｗｍｅｄフレーム４００８に基づいて双方向で行うことができる。現在のＷｍｅｄフレーム４０１０及び動き補償された（“ＭＣ”）現在のフレーム４０１６は、結合器４０１２によってマージ、すなわち結合される。その結果得られたデインターレーシングされた現在のフレーム４０１４、現在はプログレッシブフレーム、は、デインターレーシングされた前フレーム４０２０として用いるためにＭＥ／ＭＣ４０１８に戻され、さらに後続処理のためにデインターレーサ６０５に外部通信される。
【００５９】
インターフィールド補間を具備するデインターレーシング予測方式を、Ｗｍｅｄ＋ＭＣデインターレーシング方式によるイントラフィールド補間から切り離すことが可能である。換言すると、空間−時間的Ｗｍｅｄフィルタリングは、主にイントラフィールド補間目的で用いることができ、インターフィールド補間は、動き補償中に行うことができる。このことは、Ｗｍｅｄ結果のピーク信号・雑音比を小さくするが、不正確なインターフィールド予測モード決定による不良な画素は、Ｗｍｅｄフィルタリングプロセスから除去されるため、動き補償が適用された後の視覚品質のほうが良い。
【００６０】
適切な逆テレシネ又はデインターレーシング処理後は、ブロック６０８において、プログレッシブ映像は、エリアス抑止及びリサンプリング（例えば、リサイジング）に関して処理される。幾つかのリサンプリング側面においては、ピクチャサイズのリサイジングのために多相リサンプラが実装される。ダウンサンプリングの一例においては、原ピクチャとリサイジングされたピクチャの比は、ｐ／ｑであることができ、ｐ及びｑは、相対的に素の整数である。総位相数は、ｐである。幾つかの側面における多相フィルタのカットオフ周波数は、約０．５のリサイジング率に関しては０．６である。リサイジングされたシーケンスの高周波数応答を向上させるために、カットオフ周波数は、リサイジング比とは正確には一致しない。このことは、不可避的に何らかのエリアシングを可能にする。しかしながら、人間の目は、ぶれたエリアスのないピクチャよりも鮮明でエリアスが存在するピクチャを好むことがよく知られている。
【００６１】
図４１は、多相リサンプリング例であり、リサイジング比が３／４である場合の位相を示す。図４１に示されるカットオフ周波数も３／４である。上図においては、原画素は縦軸によって示される。フィルタ波形を表すためにこれらの軸を中心にしたｓｉｎｃ関数も描かれている。選択されたカットオフ周波数は、リサンプリング比とまったく同じであるため、ｓｉｎｃ関数のゼロは、図４１において交差によって示される、リサイジング後の画素の位置と重なり合う。リサイジング後の画素値を見つけるために、貢献度を以下の方程式において示されるように原画素から合計することができる。
【数６】
2009510936.tif 000008
【００６２】
ここで、ｆｃは、カットオフ周波数である。上記の１Ｄ多相フィルタは、水平次元及び垂直次元の両方に適用することができる。
【００６３】
他のリサンプリング（リサイジング）側面は、オーバースキャンを説明することである。ＮＴＳＣテレビ信号においては、画像は、４８６本の走査線を有しており、デジタル映像においては、各走査線上に７２０の画素を有することが可能である。しかしながら、テレビ上では、サイズと画面形式との間の不一致に起因して画像全体が見えるわけではない。画像のうちで見えない部分は、オーバースキャンと呼ばれる。
【００６４】
米映画テレビ技術者協会（ＳＭＰＴＥ）では、放送事業者が可能な限り多くのテレビにおいて有用情報を可視エリア内に入れやすいようにするため、セーフアクションエリア（ｓａｆｅ  ａｃｔｉｏｎ  ａｒｅａ）及びセーフタイトルエリア（ｓａｆｅ  ｔｉｔｌｅ  ａｒｅａ）と呼ばれる動作フレームの特定の大きさを定めた。ＳＭＰＴＥによって推奨される方法である「テレビシステムに関するセーフアクションエリア及びセーフタイトルエリアテストパターンに関する仕様」に関するＲＰ２７．３−１９８９を参照すること。セーフアクションエリアは、“すべての意味のある動作が行われなければならない”エリアであるとＳＭＰＴＥによって定義されている。セーフタイトルエリアは、“大部分の家庭用テレビ受像機における可視性を保証するためにすべての有用な情報を入れることができる”エリアであると定義されている。
【００６５】
例えば、図２５に関して、セーフアクションエリア２５１０は、画面の中央の９０％を占め、５％のボーダーが全周囲に存在する。セーフタイトルエリア２５０５は、画面の中央の８０％を占め、１０％のボーダーが存在する。次に図２６に関して、セーフタイトルエリアは非常に小さいため、幾つかの放送局では、画像内においてより多くのコンテンツを追加するため、白色の長方形の窓２６１５の内部に存在するセーフアクションエリア内にテキストを入れる。
【００６６】
通常は、オーバースキャン内には黒のボーダーを見ることができる。例えば、図２６において、画像の上側２６２０及び下側２６２５に黒のボーダーが現れる。Ｈ．２６４映像では動き推定の際に境界拡大を用いるため、これらの黒のボーダーはオーバースキャンで除去することができる。拡大された黒のボーダーは、残留物を増大させる可能性がある。控えめなことに、境界は２％だけカットし、次にリサイジングを行うことができる。リサイジング用フィルタは、適宜生成することができる。多相ダウンサンプリング前にオーバースキャンを除去するための打ち切りが行われる。
【００６７】
再度図６に関して、プログレッシブ映像は、ブロック６１０に進み、デブロッカー及びデリンギング動作が行われる。映像圧縮用途においては、２つの型のアーティファクト、“ブロッキング”及び“リンギング”が共通して発生する。ブロッキングアーティファクトは、圧縮アルゴリズムが各フレームをブロック（例えば、８×８のブロック）に分割することが原因で発生する。各ブロックは、幾つかの小さい誤りが存在する状態で再構築され、ブロックのエッジにおける誤りは、近隣ブロックのエッジにおける誤りとコントラストを成すことがしばしばあり、ブロック境界を可視にする。対照的に、リンギングアーティファクトは、画像特徴のエッジの周囲における歪みとして現れる。リンギングアーティファクトは、符号器が高周波ＤＣＴ係数を量子化する際に多くの情報を捨てすぎることが原因で発生する。幾つかの説明例においては、デブロッキング及びデリンギングは両方とも、低域ＦＩＲ（有限インパルス応答）を用いてこれらの可視のアーティファクトを隠すことができる。
【００６８】
デブロッキング処理の一例においては、フレームの境界におけるエッジ及びデブロッキングフィルタプロセスが使用不能になるエッジを除くフレームのすべての４×４ブロックエッジにデブロッキングフィルタを適用することができる。このフィルタリングプロセスは、マクロブロックアドレスの昇順で処理されたフレーム内の全マクロブロックによるフレーム構築プロセスが完了後にマクロブロックに基づいて行わなければならない。各マクロブロックに関して、最初に垂直エッジが左から右にフィルタリングされ、その後に水平エッジが上から下にフィルタリングされる。図３９に示されるように、水平方向及び垂直方向に関して、４つの１６サンプルエッジに対してルマデブロッキングフィルタプロセスが行われ、２つの８サンプルエッジに対して各クロマ成分に関するデブロッキングフィルタプロセスが行われる。以前のマクロブロックに対するデブロッキングプロセス作業によって既に修正されている現在のマクロブロックの左上のサンプル値は、現在のマクロブロックに対するデブロッキングフィルタプロセスへの入力として用いなければならず、現在のマクロブロックのフィルタリング中にさらに修正することができる。垂直エッジのフィルタリング中に修正されたサンプル値は、同じブロックに関する水平エッジのフィルタリング用入力として用いることができる。デブロッキングプロセスは、ルマ成分及びクロマ成分に関して別々に呼び出すことができる。
【００６９】
デリンギング処理の一例においては、エッジ付近のエリアを平滑化するために２Ｄフィルタを適応的に用いることができる。エッジ画素は、ぶれを回避するためのフィルタリングがほとんど又はまったく行われない。
【００７０】
ＧＯＰパーティショナ
デブロッキング及びデリンギング後は、プログレッシブ映像は、ＧＯＰパーティショナ６１２によって処理される。ＧＯＰポジショニングは、ショット変化を検出することと、複雑さマップ（例えば、時間的、空間的帯域幅マップ）を生成することと、適応型ＧＯＰパーティショニングと、を含むことができる。これらの各々が以下において説明される。
【００７１】
Ａ．シーン変化検出
ショット検出は、ピクチャグループ（ＧＯＰ）内のフレームがシーンの変化が生じていることを示すデータを提示したときを決定することに関するものである。一般的には、ＧＯＰ内においては、フレームは、２，３（又はそれ以上の）隣接フレーム内では有意な変化はしていない場合があり、又は、低速の変化又は高速の変化が生じている場合もある。当然のことであるが、これらのシーン変化分類は、必要な場合は、特定の用途に依存してより大きな変化レベルに細分することができる。
【００７２】
ショット又はシーンの変化の検出は、映像の効率的な符号化にとって重要である。典型的には、ＧＯＰが有意な変化をしていないときには、ＧＯＰの始めのＩフレームは、幾つかの予測フレームによって後続され、映像の後続する復号及び表示が視覚的に受け入れ可能になるように十分に映像を符号化することができる。しかしながら、突然又はゆっくりにかかわらずシーンが変化中のときには、後続して復号された視覚的に受け入れ可能な結果を生み出すために追加のＩフレーム及びそれよりも予測性が低い符号化（Ｐフレーム及びＢフレーム）が必要になることがある。
【００７３】
既存の符号化システムの性能を向上させるショット検出及び符号化システム及び方法が以下において説明される。該側面は、プリプロセッサ２２６のＧＯＰパーティショナ６１２に実装すること（図７）、又はプリプロセッサとともに又はプリプロセッサなしで動作することができる符号器デバイス内に含めることができる。該側面は、突然のシーン変化が生じているかどうか、シーンがゆっくりと変化しているかどうか、又は映像符号化を特に複雑化するカメラのフラッシュがシーン内に存在するかどうかを決定するために隣接する映像データフレーム間の統計的比較を含む統計値（又はメトリックス）を利用する。これらの統計値は、プリプロセッサから入手して符号化デバイスに送ることができ、又は（例えば、動き補償を行うように構成されたプロセッサによって）符号化デバイス内において生成することができる。結果的に得られた統計値は、シーン変化検出決定に役立つ。トランスコーディングを行うシステムにおいては、適切なプリプロセッサ又は構成可能なプロセッサがしばしば存在する。プリプロセッサがデインターレーシングによって補助された動き補償を行う場合は、動き補償統計値を利用可能であり、直ちに用いることができる。該システムにおいては、ショット検出アルゴリズムは、システムの複雑さをわずかに増大させる可能性がある。
【００７４】
本明細書において説明されるショット検出器例は、前フレーム、現在のフレーム、及び次のフレームからの統計値を利用する必要があるだけであり、従って、非常に低いレーテンシーを有する。ショット検出器は、突然のシーンの変化、クロスフェーディングとその他の低速のシーン変化、及びカメラのフラッシュを含む幾つかの異なる型のショットイベントを区別する。符号器内の異なる戦略を用いて異なる型のショットイベントを決定することによって、符号化効率及び視覚品質が向上される。
【００７５】
シーン変化検出は、映像コーディングシステムがＩフレームを固定された間隔で挿入することによってビットを知的に保存するようにするために用いることができる。幾つかの側面においては、（例えば、メタデータ内に組み込まれた又はプリプロセッサ２２６によって計算された）プリプロセッサによって入手されたコンテンツ情報は、シーン変化検出のために用いることができる。例えば、コンテンツ情報に依存し、後述されるしきい値及びその他の判定基準は、異なる型の映像コンテンツに関して動的に調整することができる。
【００７６】
映像符号化は、通常は、構造化されたピクチャグループ（ＧＯＰ）に対して行われる。ＧＯＰは、通常はイントラコーディングされたフレーム（Ｉフレーム）から開始し、一連のＰ（予測）又はＢ（双方向）フレームが後続する。典型的には、Ｉフレームは、フレームを表示するために要求される全データを保存することができ、Ｂフレームは、（前フレームから変更されたデータを含むだけであるか又は次のフレーム内のデータとは異なる）前フレーム及び後続フレーム内のデータに依存し、Ｐフレームは、前フレームから変化しているデータを含む。共通の使用法においては、符号化された映像においては、Ｉフレームは、Ｐフレーム及びＢフレームとともに散在する。サイズ（例えば、フレームの符号化に用いられるビット数）の点では、Ｉフレームは、典型的には、Ｐフレームよりもはるかに大きく、Ｐフレームは、Ｂフレームよりも大きい。効率的な符号化、送信及び復号処理を行うために、ＧＯＰの長さは、大きなＩフレームからの効率の損失を低減させる上で十分に長く、符号器と復号器との間のミスマッチ、すなわちチャネル損傷、に対処する上で十分に短くすべきである。さらに、Ｐフレーム内のマクロブロック（ＭＢ）は、同じ理由でイントラコーディングすることができる。
【００７７】
シーン変化検出は、映像符号器が適切なＧＯＰ長を決定し、しばしば不要なＩフレームを固定された間隔で挿入する代わりにＧＯＰ長に基づいてＩフレームを挿入するために用いることができる。実際のストリーミング映像システムにおいては、通常は、ビットエラー又はパケット損失によって通信チャネルが損傷される。Ｉフレーム又はＩ  ＭＢをどこに配置するかは、復号された映像の品質及び視覚上の経験に有意な影響を与える可能性がある。１つの符号化方式は、共配置されている前ピクチャ又はピクチャ部分からの有意な変化を有するピクチャ又はピクチャ部分に関してイントラコーディングされたフレームを用いることである。通常は、これらの領域は、動き推定では有効に及び効率的に予測することはできず、符号化は、該領域がインターフレームコーディング技術（例えば、Ｂフレーム及びＰフレームを用いた符号化）から免除されている場合により効率的に行うことができる。チャネル損傷の状況においては、これらの領域は、誤り伝播を被る可能性があり、該誤り伝播は、イントラフレーム符号化によって低減又は排除（又はほぼ排除）することができる。
【００７８】
ＧＯＰ映像の一部分は、２つ以上のカテゴリに分類することができ、各領域は、特定の実装に依存する異なるイントラフレーム符号化基準を有することができる。一例として、映像は、３つのカテゴリ、すなわち、突然のシーン変化、クロスフェーディングとその他の低速のシーン変化、及びカメラのフラッシュライト、に分類することができる。
【００７９】
突然のシーンの変化は、通常はカメラの操作に起因する、前フレームとは有意な量だけ異なるフレームを含む。これらのフレームのコンテンツは、前フレームのコンテンツと異なるため、突然のシーン変化のフレームは、Ｉフレームとして符号化すべきである。
【００８０】
クロスフェーディング及びその他の低速のシーンの変化は、通常はコンピュータによるカメラ撮影の処理に起因する、シーンの低速切り換えを含む。２つの異なるシーンを漸次混合することは、人間の目には見やすいように思えるが、映像コーディング上は難題である。動き補償は、これらのフレームのビットレートを有効に低下させることができず、これらのフレームに関してより多くのイントラＭＢを更新することができる。
【００８１】
カメラのフラッシュライト、又はカメラのフラッシュイベントは、フレームのコンテンツがカメラのフラッシュを含むときに発生する。該フラッシュは、継続時間が相対的に短く（例えば、１フレーム）、極端に明るいため、フラッシュを描くフレーム内の画素は、隣接フレーム上の対応するエリアと比較して異常に高い輝度を呈する。カメラのフラッシュライトは、ピクチャの輝度を突然かつ素早く変化させる。通常は、カメラのフラッシュライトの継続時間は、人間の視覚系（ＨＶＳ）の時間的マスキング継続時間よりも短く、典型的には４４ｍｓであると定義されている。人間の目は、これらの短時間の突然の明るさの品質は感じず、このため粗く符号化することができる。フラッシュライトフレームは、動き補償では有効に処理することができず、将来のフレームに関する不良な予測候補であるため、これらのフレームの粗い符号化は、将来のフレームの符号化効率を低下させない。フラッシュライトとして分類されたシーンは、「人工的な」高輝度に起因してその他のフレームを予測するために用いるべきではなく、さらに、その他のフレームも、同じ理由でこれらのフレームを予測するために有効に用いることができない。これらのフレームは、いったん識別された時点で、相対的に大量の処理を要求する可能性があるため取り出すことができる。１つの選択肢は、カメラのフラッシュライトフレームを除去してその代わりにＤＣ係数を符号化することである。該解決方法は単純で、高速計算が可能であり、多くのビットを節約する。
【００８２】
上記のフレームカテゴリのいずれかが検出されたときに、ショットイベントが宣言される。ショット検出は、符号化品質を向上させる上で有用であるだけでなく、映像コンテンツの探索及びインデキシングにおいても役立つことができる。シーン検出プロセスの１つの例示的側面が以下において説明される。この例においては、ショット検出プロセスは、最初に、ショット検出のための処理対象となっている選択されたフレームに関する情報、又はメトリックスを計算する。メトリックスは、映像の双方向動き推定及び補償処理からの情報と、その他の輝度に基づくメトリックスと、を含むことができる。
【００８３】
双方向動き推定／補償を行うためには、現在のフレームのすべての８×８ブロックを、最も近くに隣接するフレームのうちの２つ、過去の１つ、及び将来の１つ、の中のブロックとマッチングさせる双方向動き補償器で映像シーケンスを前処理することができる。動き補償器は、すべてのブロックに関する動きベクトル及び差分メトリックスを生成する。図２９は、現在のフレームＣの画素を過去のフレームＰ及び将来の（又は次の）フレームＮとマッチングさせる例を示し、マッチングされた画素への動きベクトル（過去の動きベクトルＭＶｐ及び将来の動きベクトルＭＶＮ）を描く図である。以下では、双方向動きベクトル生成及び関連する符号化についての一般的説明が図３２を参照しながら一般的に示される。
【００８４】
双方向動き情報、例えば、対応する隣接フレーム内の（最良のマッチングであった）ＭＢを識別する動き情報、を決定後、現在のフレームと次のフレーム及び前フレームとの様々な比較によって（例えば、ＧＯＰパーティショナ６１２内の動き補償器又は他の適切な構成要素によって）追加のメトリックスを生成することができる。動き補償器は、すべてのブロックに関する差分メトリックスを生成することができる。差分メトリックスは、差分二乗和（ＳＳＤ）又は差分絶対値和（ＳＡＤ）であることができる。本明細書においては、一般性を失うことなしに、ＳＡＤが一例として用いられる。
【００８５】
すべてのフレームに関して、ＳＡＤ比、“コントラスト比”とも呼ばれる、は以下のように計算される。
【数７】
2009510936.tif 000009
【００８６】
ここで、ＳＡＤＰ及びＳＡＤＮは、前進及び後退差分メトリックスのそれぞれの差分絶対値和である。分母は、「ゼロによる割り算」の誤りを防止するために小さい正数εを含むことに注目すべきである。分子も、分母内の１の影響を均衡化させるためのεを含む。例えば、前フレーム、現在のフレーム、及び次のフレームが同一である場合は、動き探索は、ＳＡＤＰ＝ＳＡＤＮ＝０を生み出すはずである。この場合は、上記計算は、０又は無限大ではなくγ＝１を生成する。
【００８７】
すべてのフレームに関して輝度ヒストグラムを計算することができる。典型的には、マルチメディア画像は、８ビットの輝度深度（例えば、“ビン” 数）を有する。幾つかの側面により輝度ヒストグラムを計算するために用いられる輝度深度は、ヒストグラムを入手するために１６に設定することができる。その他の側面においては、輝度深度は、処理中のデータの型、利用可能な計算能力、又はその他の予め決められた判定基準に依存する適切な数字に設定することができる。幾つかの側面においては、輝度深度は、計算された又は受信されたメトリックス、例えばデータのコンテンツ、に基づいて動的に設定することができる。
【００８８】
以下の方程式は、輝度ヒストグラム差分（ラムダ）の一計算例を示す。
【数８】
2009510936.tif 000010
【００８９】
ここで、ＮＰｉは、前フレームに関するｉ番目のビン内のブロック数であり、ＮＣｉは、現在のフレームに関するｉ番目のビン内のブロック数であり、Ｎは、フレーム内の総ブロック数である。前フレーム及び現在のフレームの輝度ヒストグラム差分が完全に異なる（又はばらばらである）場合は、λ＝２である。
【００９０】
この情報を用いて、フレーム差分メトリックス（Ｄ）は、以下のように計算される。
【数９】
2009510936.tif 000011
【００９１】
ここで、Ａは、用途別に選択される定数であり、
【数１０】
2009510936.tif 000012
【００９２】
である。
【００９３】
選択された（現在の）フレームは、フレーム差分メトリックスが方程式９に示される判定基準を満たしている場合は突然のシーン変化として分類される。
【数１１】
2009510936.tif 000013
【００９４】
ここで、Ａは、用途別に選択される定数であり、Ｔ１は、しきい値である。
【００９５】
一例において、シミュレーションにより、Ａ＝１及びＴ１＝５に設定することは、優れた検出性能を達成させることが示される。現在のフレームが突然のシーン変化フレームである場合は、γＣは大きくすべきであり、γｐは小さくすべきである。比γＣ／γＰは、メトリックスがコンテキストの活動レベルに合わせて正規化されるようにγＣ単独の代わりに用いることができる。
【００９６】
上記判定基準は、輝度ヒストグラム差分（ラムダ）λを非線形で用いることに注目すべきである。図１６は、λ*（２λ＋１）は、凸関数であることを示す。λが小さい（例えば、ゼロに近い）ときは、ほとんどプリエンファシスである。λが大きいほど、より多くのエンファシスが関数によって行われる。このプリエンファシスにより、１．４よりも大きいあらゆるλに関して、しきい値Ｔ１が５に設定されている場合に突然のシーン変化が検出される。
【００９７】
現在のフレームは、シーン強度メトリックスＤが一定数の連続フレームに関して方程式５に示される判定基準を満たしている場合にクロスフェーディング又は低速のシーン変化であると決定される。
【数１２】
2009510936.tif 000014
【００９８】
ここで、Ｔ１は、上記の同じしきい値であり、Ｔ２は、他のしきい値である。
【００９９】
フラッシュライトイベントは、通常は、輝度ヒストグラムをより明るい側に移動させる。この例示的側面のカメラにおいては、輝度ヒストグラム統計値は、現在のフレームがカメラのフラッシュライトを具備するかどうかを決定するために用いられる。方程式１１及び１２に示されるように、ショット検出プロセスは、現在のフレームマイナスの輝度が前フレームの輝度よりも一定のしきい値Ｔ３だけ大きいかどうか、及び現在のフレームの輝度が次のフレームの輝度よりもしきい値Ｔ３だけ大きいかどうかを決定することができる。
【数１３】
2009510936.tif 000015
【０１００】
上記の判定基準が満たされない場合は、現在のフレームは、カメラのフラッシュライトを具備するとして分類されない。上記の判定基準が満たされている場合は、以下の方程式において示されるように、ショット検出プロセスは、後退差分メトリックスＳＡＤＰ及び前進差分メトリックスＳＡＤＮが一定のしきい値Ｔ４よりも大きいかどうかを決定する。
【数１４】
2009510936.tif 000016
【０１０１】
ここで、
【数１５】
2009510936.tif 000017
【０１０２】
は、現在のフレームの平均輝度であり、
【数１６】
2009510936.tif 000018
【０１０３】
は、前フレームの平均輝度であり、
【数１７】
2009510936.tif 000019
【０１０４】
は、次のフレームの平均輝度であり、ＳＡＤＰ及びＳＡＤＮは、現在のフレームと関連づけられた前進及び後退差分メトリックスである。
【０１０５】
ショット検出プロセスは、現在のフレームの輝度が前フレームの輝度及び次のフレームの輝度よりも大きいかどうかを最初に決定することによってカメラのフラッシュイベントを決定する。より大きくない場合は、フレームはカメラのフラッシュイベントではない。しかしながら、より大きい場合は、フレームはカメラのフラッシュイベントである可能性がある。次に、ショット検出プロセスは、後退差分メトリックスがしきい値Ｔ３よりも大きいかどうか、及び前進差分メトリックスがしきい値Ｔ４よりも大きいかどうかを評価することができる。これらの両方の条件が満たされている場合は、ショット検出プロセスは、現在のフレームがカメラのフラッシュライトを有するとして分類する。判定基準が満たされていない場合は、フレームは、いずれの型のショットイベントとしても分類されず、又は、フレームに関して行うべき符号化を識別するデフォルト分類を与えることができる（例えば、フレームをドロップする、Ｉフレームとして符号化する）。
【０１０６】
上記においては、Ｔ１、Ｔ２、Ｔ３、及びＴ４に関する幾つかの典型値が示されている。典型的には、これらのしきい値は、ショット検出の特定の実装の試験を通じて選択される。幾つかの側面においては、しきい値Ｔ１、Ｔ２、Ｔ３、及びＴ４のうちの１つ以上が予め決定され、該値は、符号化デバイス内のショット分類器内に組み入れられる。幾つかの側面においては、しきい値Ｔ１、Ｔ２、Ｔ３、及びＴ４のうちの１つ以上は、ショット分類器に供給された情報（例えば、メタデータ）に基づいて又はショット分類器自体によって計算された情報に基づいて処理中に（例えば、動的に）設定することができる。
【０１０７】
ショット検出情報を用いて映像を符号化することは、典型的には符号器内において行われるが、本明細書においては、ショット検出開示を完全にすることを目的として説明される。図３０に関して、符号化プロセス３０１は、ショット検出情報を用いて、フレームシーケンス内の検出されたショットに基づいて映像を符号化することができる。プロセス３０１は、ブロック３０３に進み、現在のフレームが突然のシーン変化として分類されているかどうかを確認する。そのように分類されている場合は、ブロック３０５において、現在のフレームは、Ｉフレームとして符号化することができ、ＧＯＰ境界を決定することができる。そのように分類されていない場合は、プロセス３０１は、ブロック３０７に進む。現在のフレームがブロック３０９においてゆっくりと変化しているシーンの一部として分類されている場合は、現在のフレーム、及びゆっくりと変化しているシーン内のその他のフレームは、予測フレーム（例えば、Ｐフレーム又はＢフレーム）として符号化することができる。次に、プロセス３０１は、ブロック３１１に進み、現在のフレームがカメラのフラッシュを具備するフラッシュライトシーンとして分類されているかどうかを確認する。そのように分類されている場合は、ブロック３１３において、フレームは、特別な処理、例えば、除去又はフレームに関するＤＣ係数の符号化、を目的として識別することができる。そのように分類されていない場合は、現在のフレームの分類は行われておらず、現在のフレームは、その他の判定基準に従って符号化すること、Ｉフレームとして符号化すること、又はドロップすることができる。
【０１０８】
上述される側面においては、圧縮すべきフレームと隣接する２つのフレームとの間の差分量は、フレーム差分メトリックスＤによって示される。有意な量の一方向の輝度変化が検出された場合は、フレーム内におけるクロスフェード効果であることを意味する。クロスフェードがより顕著になるほど、Ｂフレームを用いることによってより多くの利得を達成することができる。幾つかの側面においては、以下の方程式において示されるように修正されたフレーム差分メトリックスが用いられる。
【数１８】
2009510936.tif 000020
【０１０９】
ここで、ｄＰ｜ＹＣ−ＹＰ｜及びｄＮ＝｜ＹＣ−ＹＮ｜は、それぞれ、現在のフレームと前フレームとの間のルマ差分、及び現在のフレームと次のフレームとの間のルマ差分であり、Δは、実装に依存することができるため通常の実験において決定することができる定数であり、αは、０乃至１の間の値を有する重み付け変数である。
【０１１０】
Ｂ．帯域幅マップ生成
プリプロセッサ２２６（図６）は、マルチメディアデータを符号化するために用いることができる帯域幅マップを生成するように構成することもできる。幾つかの側面においては、符号器２２８（図７）内のコンテンツ分類モジュール７１２が代わりに帯域幅マップを生成する。
【０１１１】
人間の視覚品質Ｖは、符号化の複雑さＣ及び割り当てられたビットＢ（帯域幅とも呼ばれる）の両方の関数であることができる。図１５は、この関係を示すグラフである。符号化の複雑さメトリックスＣは、人間の視覚の観点から空間周波数及び時間周波数を考慮することが注目されるべきである。人間の目がより感じやすい歪みに関しては、複雑さ値はそれに対応にして高くなる。典型的には、Ｖは、Ｃにおいては単調減少しており、Ｂにおいては単調増加していると仮定することができる。
【０１１２】
一定の目視品質を達成するために、符号化対象であって以下の２つの方程式において表される判定基準を満たしているｉ番目のオブジェクト（フレーム又はＭＢ）に帯域幅（Ｂｉ）が割り当てられる。
【数１９】
2009510936.tif 000021
【０１１３】
上記の２つの方程式において、Ｃｉは、ｉ番目のオブジェクトの符号化の複雑さであり、Ｂは、利用可能な総帯域幅であり、Ｖは、オブジェクトに関する達成された視覚品質である。人間の視覚品質は、方程式として公式化するのは困難である。従って、上記の方程式は、正確には定義されていない。しかしながら、３Ｄモデルがすべての変数において連続的であると仮定した場合、帯域幅比（Ｂｉ／Ｂ）は、（Ｃ，Ｖ）対の近隣においては不変であるとして処理することができる。帯域幅比βｉは、以下の方程式において定義される。
【数２０】
2009510936.tif 000022
【０１１４】
これで、ビット割り当ては、以下の方程式において表されるように定義することができる。
【数２１】
2009510936.tif 000023
【０１１５】
ここで、δは、“近隣”を示す。
【０１１６】
符号化の複雑さは、空間及び時間の両方において、人間の視覚感度によって影響される。ジロッドの人間の視力モデルは、空間上の複雑さを定義するために用いることができるモデルの一例である。このモデルは、局部空間周波数及び周囲照明を検討する。その結果得られたメトリックスは、Ｄｃｓａｔと呼ばれる。プロセス内の前処理時点において、ピクチャがイントラコーディングされるか又はインターコーディングされるかは不明であり、両方に関する帯域幅比が生成される。ビットは、異なる映像オブジェクトのβＩＮＴＲＡ間の比に従って割り当てられる。イントラコーディングされたピクチャに関しては、帯域幅比は、以下の方程式で表される。
【数２２】
2009510936.tif 000024
【０１１７】
上記方程式において、Ｙは、マクロブロックの平均輝度成分であり、αＩＮＴＲＡは、二乗輝度に関する重み付け係数であり、Ｄｃｓａｔ項が後続し、β０ＩＮＴＲＡは、
【数２３】
2009510936.tif 000025
【０１１８】
を保証するための正規化係数である。例えば、αＩＮＴＲＡに関する値＝４は、良い視覚品質を達成させる。コンテンツ情報（例えば、コンテンツ分類）は、映像の特定のコンテンツに関する希望される良い視覚品質に対応する値にαＩＮＴＲＡを設定するために用いることができる。一例においては、映像コンテンツが“画面上にアナウンサーが映し出される”ニュース放送を具備する場合は、情報画像及び映像の表示可能な部分は、音声部分よりも重要性が低いとみなすことができるため、視覚品質レベルをより低く設定することができ、データを符号化するためにより少ないビットを割り当てることができる。他の例においては、映像コンテンツがスポーツ行事を具備する場合は、コンテンツ情報は、表示された画像のほうが視聴者にとってより重要である可能性があるためより高い視覚品質に対応する値にαＩＮＴＲＡを設定するために用いることができ、従ってデータを符号化するためにより多くのビットを割り当てることができる。
【０１１９】
この関係について理解するために、帯域幅は符号化の複雑さと対数的に割り当てられることが注目されるべきである。二乗輝度項Ｙ２は、規模がより大きい係数はより多くのビットを符号化のために用いるということを反映している。対数が負の値になるのを防止するため、括弧内の項に１が加えられる。その他の基を有する対数も使用可能である。
【０１２０】
時間的複雑さは、フレーム差分メトリックス、例えば絶対値差分和（ＳＡＤ）、とともに動き量（例えば、動きベクトル）を考慮に入れて２つの連続するフレーム間の差分を測定するフレーム差分メトリックス評価基準によって決定される。
【０１２１】
インターコーディングされたピクチャに関するビット割り当ては、空間的及び時間的複雑さを考慮することができる。このことは、以下のように表される。
【数２４】
2009510936.tif 000026
【０１２２】
上記方程式において、ＭＶＰ及びＭＶＮは、現在のＭＢに関する順方向及び逆方向動きベクトルである（図２９参照）。イントラコーディングされた帯域幅式におけるＹ２は、二乗差分和（ＳＳＤ）によって代えられることを注記することができる。上記方程式における‖ＭＶＰ＋ＭＶＮ‖２の役割について理解するために、人間の視覚系の次の特徴に注目すること。すなわち、スムーズで予測可能な動き（小さい‖ＭＶＰ＋ＭＶＮ‖２）が生じるエリアは、目を引き、目によって追跡することができ、典型的には、静止領域よりも多くの歪みを許容することができない。しかしながら、高速の又は予測不能な動き（大きい‖ＭＶＰ＋ＭＶＮ‖２）が生じるエリアは、追跡することができず、有意な量子化を許容することができる。実験では、αＩＮＴＥＲ＝１、γ＝０．００１が良い視覚品質を達成させることを示している。
【０１２３】
Ｃ．適応型ＧＯＰパーティショニング
プリプロセッサ２２６によって行うことができる他の処理例においては、図６のＧＯＰパーティショナ６１２は、いっしょにコーディングされたピクチャグループの構成を適応的に変えることができ、ＭＰＥＧ２を用いる例を参照しながら説明される。幾つかのこれまでの映像圧縮基準（例えば、ＭＰＥＧ２）は、正規の構造を課すことはできるがＧＯＰが正規の構造を有することを要求しない。ＭＰＥＧ２シーケンスは、常にＩフレーム、すなわち、以前のピクチャを基準にせずに符号化されているフレーム、から始まる。ＭＰＥＧ２  ＧＯＰ形式は、通常は、Ｉフレームに後続するＰ又は予測ピクチャのＧＯＰ内のスペースを固定することによって符号器において予め手配されている。Ｐフレームは、一部分が以前のＩ又はＰフレームから予測されているピクチャである。開始Ｉフレームと後続するＰフレームとの間のフレームは、Ｂフレームとして符号化される。“Ｂ”フレーム（Ｂは双方向を表す）は、前の及び次のＩ又はＰピクチャを基準として個々に又は同時に用いることができる。Ｉフレームを符号化するために必要なビット数は、平均すると、Ｐフレームを符号化するために必要なビット数を上回り、同様に、Ｐフレームを符号化するために必要なビット数は、平均すると、Ｂフレームに関して要求されるビット数を上回る。スキップされたフレームは、使用される場合は、表示するためのビットは必要ない。
【０１２４】
Ｐ及びＢフレームを使用する上での基本概念は、さらにはより最近の圧縮アルゴリズムにおいては、映像を表現するために必要なデータのレートを低くするためにフレームをスキップすることは、時間的冗長性を排除することである。時間的冗長性が高い、すなわちピクチャ間での変化がほとんどない、ときには、以前に復号されたＩ又はＰピクチャはのちにその他のＰ又はＢピクチャを復号するための基準として用いられるため、Ｐ、Ｂ、又はスキップされたピクチャの使用は、映像ストリームを効率的に表現する。
【０１２５】
適応型ＧＯＰパーティショニングは、この概念を適応的に用いることに基づく。フレーム間の差分は定量化され、ピクチャをＩ、Ｐ、Ｂ、又はスキップされたフレームによって表す決定は、定量化された差分に関する適切な試験が行われた後に自動的に実施される。適応型構造は、固定型ＧＯＰ構造では入手できない利点を有する。固定された構造は、コンテンツの変化がほとんど起こっていない可能性を無視し、適応型手順は、それよりもはるかに多くのＢフレームを各ＩとＰとの間、又は２つのＰの間に挿入するのを可能にし、それによって、フレームシーケンスを適切に表現するために必要なビット数を少なくする。逆に、映像コンテンツの変化が有意であるときには、予測されたフレームと基準フレームとの間の差分が大きすぎるため、Ｐフレームの効率は大幅に低下される。これらの状態下においては、マッチングオブジェクト（ｍａｔｃｈｉｎｇ  ｏｂｊｅｃｔ）が動き探索領域から外れる可能性があり、又はカメラの角度の変化による歪みに起因してマッチングオブジェクト間の類似性が低下する。その時点において、Ｐフレーム又はＩ及びその隣接するＰフレームは、互いにより接近しているものを選択すべきであり、より少ない数のＢフレームを挿入すべきである。固定されたＧＯＰは、その調整を行うことができない。
【０１２６】
本明細書において開示されるシステムにおいては、これらの状態は自動的に検知される。ＧＯＰ構造は柔軟であり、これらのコンテンツの変化に適応するように構築される。システムは、距離に関して同じ追加性質を有する、フレーム間の距離の評価基準であると考えることができるフレーム差分メトリックスを評価する。概念上は、フレーム間の距離ｄ１２及びｄ２３を有するフレームＦ１、Ｆ２、及びＦ３が与えられている場合、Ｆ１とＦ３との間の距離は、少なくてもｄ１２＋ｄ２３であるとされる。この距離に関するメトリックスに基づいてフレーム割り当てが行われる。
【０１２７】
ＧＯＰパーティショナは、受信されたフレームにピクチャ型を割り当てることによって動作する。ピクチャ型は、各ブロックをコーディングする際に要求される予測方法を示す。
【０１２８】
Ｉピクチャは、その他のピクチャを基準にせずにコーディングされる。これらのピクチャは独立型であるため、復号が開始することができるデータストリーム内においてアクセスポイントを提供する。前フレームまでの“距離”がシーン変化しきい値を超える場合は、Ｉ符号化型がフレームに割り当てられる。
【０１２９】
Ｐピクチャは、動き補償予測に関して前のＩ又はＰピクチャを用いることができる。これらのピクチャは、予測対象となっているブロックから変位する（ｄｉｓｐｌａｃｅ）ことができる以前のフィールド又はフレーム内のブロックを符号化のための基礎として用いる。基準ブロックが考慮対象ブロックから減じられた後に、残留ブロックは、典型的には空間的冗長性の除去に関する離散コサイン変換を用いて符号化される。フレームとＰフレームになるために割り当てられた最後のフレームとの間の“距離”が、典型的には第１のしきい値よりも小さい第２のしきい値を超える場合は、Ｐ符号化型がフレームに割り当てられる。
【０１３０】
Ｂフレームピクチャは、上述されるように、前の及び次のＰ又はＩピクチャを動き補償に関して用いることができる。Ｂピクチャ内のブロックは、前方、後方又は双方向に予測することができ、又は、その他のフレームを基準にせずにイントラコーディングすることが可能である。Ｈ．２６４においては、基準ブロックは、３２のフレームからの３２のブロックの線形的組合せであることができる。フレームをＩ又はＰ型に割り当てることができない場合は、該フレームとその直前のフレームとの間の“距離”が、典型的には第２のしきい値よりも小さい第３のしきい値よりも大きい場合に、Ｂ型として割り当てられる。
【０１３１】
フレームが符号化されたＢフレームになるために割り当てることができない場合は、“スキップフレーム”状態に割り当てられる。このフレームは、実質的には前フレームのコピーであるためスキップすることができる。
【０１３２】
表示順の点で隣接するフレーム間の差分を定量化するメトリックスを評価することは、行われるこの処理の第１の部分である。このメトリックスは、上述される距離であり、このメトリックスを用いてすべてのフレームの適切な型を評価することができる。従って、Ｉと隣接するＰとの間、又は２つの連続するＰフレーム間のスペースは、可変であることができる。メトリックスの計算は、ブロックに基づく動き補償器によって映像フレームを処理することから開始し、ブロックは、映像圧縮の基本単位であり、通常は１６×１６画素から成るが、８×８、４×４及び８×１６等のその他のブロックサイズも可能である。２つのデインターレーシングされたフィールドから成るフレームに関しては、動き補償は、フィールドごとに行うことができ、基準ブロックの探索は、フレーム内ではなくフィールド内において行われる。現在のフレームの第１のフィールド内のブロックに関しては、後続するフレームのフィールドに順方向基準ブロックが存在し、同様に、現在のフレームの直前のフレームのフィールドにおいて逆方向基準ブロックが存在する。現在のブロックは、組み立てられて補償されたフィールドに入れられる。プロセスは、フレームの第２のフィールドが続く。２つの補償されたフィールドが結合されて、順方向及び逆方向補償フレームを形成する。
【０１３３】
逆テレシネにおいて生成されたフレーム６０６に関しては、基準ブロックの探索は、再構築されたフィルムフレームだけであるためフレームのみに基づく。２つの基準ブロック及び２つの差分、前進及び後退、が見つけ出され、さらに順方向及び逆方向補償フレームにも至る。要約すると、動き補償器は、すべてのブロックに関する動きベクトル及び差分メトリックスを生成するが、ブロックは、デインターレーサ６０５の出力が処理される場合はＮＴＳＣフィールドの一部であり、逆テレシネの出力が処理される場合はフィルムフレームの一部である。メトリックスの差分は、考慮中のフィールド又はフレーム内のブロックと、前進差分又は後退差分のいずれを評価中であるかに依存して、前のフィールド又はフレーム又は直後のフィールド又はフレーム内における前記ブロックと最も良くマッチするブロックとの間におけるメトリックスの差分が評価されることに注目すること。この計算には、輝度値のみが含められる。
【０１３４】
動き補償ステップは、２組の差分を生成する。これらは、現在の輝度値のブロックと、時間的に現在のフレームの直前及び直後のフレームから取り出された基準ブロックにおける輝度値との間の差分である。各前進差分及び各後退差分の絶対値は、各画素に関して決定され、各々がフレーム全体に関して別々に合計される。フレームを具備するデインターレーシングされたＮＴＳＣフィールドが処理されるときには両フィールドが２つの合計計算の中に含められる。この方法により、前進差分及び後退差分の合計された絶対値ＳＡＤＰ及びＳＡＤＮが見つけ出される。
【０１３５】
すべてのフレームに関して、この関係を用いてＳＡＤ比が計算される。
【数２５】
2009510936.tif 000027
【０１３６】
ここで、ＳＡＤＰ及びＳＡＤＮは、前進差分及び後退差分のそれぞれの合計された絶対値である。“ゼロによる割り算”の誤りを防止するために小さい正数が分子εに加えられる。同様のε項が分母に加えられ、ＳＡＤＰ又はＳＡＤＮのいずれかがゼロに近いときにγの感度をさらに低下させる。
【０１３７】
代替側面においては、差分は、ＳＳＤ、二乗差分の和、及びＳＡＤ、絶対値差分和、又はＳＡＴＤであることができ、ブロック要素の差分が取られる前に二次元離散コサイン変換を適用することによって画素値ブロックが変換される。これらの和は、アクティブ映像のエリア全体にわたって評価されるが、その他の側面においてはより小さいエリアを用いることができる。
【０１３８】
受信された状態の（動き補償されない）すべてのフレームの輝度ヒストグラムも計算される。ヒストグラムは、輝度値ブロックが利用可能な場合に二次元離散コサイン変換を輝度値ブロックに適用した結果である１６×１６の係数配列内のＤＣ係数、すなわち（０，０）係数、に基づいて動作する。同様に、ヒストグラムでは、１６×１６ブロック内の２５６の輝度値の平均値を用いることができる。輝度深度が８ビットである画像に関しては、ビン数は１６に設定される。次のメトリックスは、ヒストグラム差分を評価する。
【数２６】
2009510936.tif 000028
【０１３９】
上記方程式において、ＮＰｉは、ｉ番目のビン内の前フレームからのブロック数であり、Ｎｃｉは、ｉ番目のビン内に属する現在のフレームからのブロック数であり、Ｎは、フレーム内の総ブロック数である。
【０１４０】
これらの中間結果が組み立てられて現在のフレームの差分メトリックスが以下のように形成される。
【数２７】
2009510936.tif 000029
【０１４１】
ここで、γＣは、現在のフレームに基づくＳＡＤ比であり、γＰは、前フレームに基づくＳＡＤ比である。シーンがスムーズな動きを有し、そのルマヒストグラムがほんのわずかに変化する場合は、Ｄはほぼ１に等しい。現在のフレームが突然のシーン変化を表示する場合は、γＣは大きくなり、γＰは小さくすべきである。メトリックスがコンテキストの活動レベルに合わせて正規化されるようにするためγＣ単独の代わりに比
【数２８】
2009510936.tif 000030
【０１４２】
が用いられる。
【０１４３】
図４２は、圧縮型をフレームに割り当てるプロセスを示す。方程式１９において定義される現在のフレームの差分Ｄが、フレーム割り当てに関して行われる決定のための基礎である。決定ブロック４２０２が示すように、考慮中のフレームがシーケンス内の第１のフレームである場合は、はいと記された決定経路をたどってブロック４２０６に進み、それによってフレームはＩフレームである宣言する。ブロック４２０８において、累積されたフレーム差分がゼロに設定され、プロセスは（ブロック４２１０において）開始ブロックに戻る。考慮中のフレームがシーケンス内の第１のフレームでない場合は、決定が行われたブロック４２０２からいいえと記された経路をたどり、テストブロック４２０４において、現在のフレーム差分がシーン変化しきい値に照らして試験される。現在のフレームの差分がそのしきい値よりも大きい場合は、はいと記された決定経路をたどってブロック４２０６に進み、Ｉフレームの割り当てが再度行われる。
【０１４４】
現在のフレームの差分が、シーン変化しきい値よりも小さい場合は、いいえ経路をたどってブロック４２１２に進み、現在のフレームの差分が累積フレーム差分に加えられる。流れ図をさらにたどり決定ブロック４２１４において、累積されたフレーム差分が、一般的にはシーン変化しきい値よりも小さいしきい値ｔと比較される。累積されたフレーム差分がｔよりも大きい場合は、制御はブロック４１２６に移行し、フレームはＰフレームになるために割り当てられ、ステップ４２１８において累積されたフレーム差分がゼロに設定される。累積されたフレーム差分がｔよりも小さい場合は、制御は、ブロック４２１４からブロック４２２０に移行する。ブロック４２２０において、現在のフレームの差分がｔよりも小さいτと比較される。現在のフレームの差分がτよりも小さい場合は、該フレームは、ブロック４２２２においてスキップすることが割り当てられ、プロセスが戻る。現在のフレームの差分がτよりも大きい場合は、該フレームは、ブロック４２２６においてＢフレームとなることが割り当てられる。
【０１４５】
符号器
再度図２に関して、トランスコーダ２００は、処理されたメタデータ及び生映像をプリプロセッサ２２６から受信する符号器２２８を含む。メタデータは、ソース映像１０４において最初に受け取られた情報と、プリプロセッサ２２６によって計算された情報と、を含むことができる。符号器２２８は、第１パス符号器２３０と、第２パス符号器２３２と、再符号器２３４と、を含む。符号器２２８は、第２パス符号器２３２から、プリプロセッサ２２６と同様に第１パス符号器２３０、及び再符号器２３４に情報（例えば、メタデータ、誤り耐性情報、コンテンツ情報、符号化されたビットレート情報、基本層及び拡張層のバランス情報、及び量子化情報）を提供することができるトランスコーダ制御２３１からの入力を受信する。符号器２２８は、プリプロセッサ２２６から受信されたコンテンツ情報及び／又は符号器２２８自体によって、例えば、コンテンツ分類モジュール７１２（図７）によって生成されるコンテンツ情報を用いて、受信された映像を符号化する。
【０１４６】
図７は、図２に示される符号器２２８に関して用いることができる典型的な２パス符号器に含めることができる機能モジュールのブロック図である。図７には機能モジュールの様々な側面が示されるが、図７及び本明細書における説明は、符号器内に組み込むことができる全機能に必ずしも対処しているわけではない。従って、以下においては、機能モジュールの一定の側面は、後述される基本層及び拡張層の符号化に関する解説に沿って説明される。
【０１４７】
基本層及び拡張層の符号化
符号器２２８は、ＳＮＲスケーラブル符号器であることができ、ＳＮＲスケーラブル符号器は、プリプロセッサ２２６からの生映像及びメタデータを符号化し、本明細書においては基本層とも呼ばれる第１の符号化データグループ、及び本明細書においては拡張層とも呼ばれる１つ以上の追加の符号化データグループに分けることができる。符号化アルゴリズムは、基本層係数及び拡張層係数を生成し、これらの係数は、復号時に、両層が復号に関して利用可能なときに復号器において結合することができる。両層が利用可能でないときには、基本層の符号化は、基本層を単一層として復号することを可能にする。
【０１４８】
該多層符号化プロセスの一側面が、図３１を参照しながら説明される。ブロック３２１において、完全にイントラコーディングされたマクロブロック（イントラコーディングされたＭＢ）によってＩフレームが符号化される。Ｈ．２６４においては、Ｉフレーム内のイントラコーディングされたＭＢは、有意な量のコーディング利得を提供する完全に利用された空間予測によって符号化される。２つのサブモード、すなわち、イントラ４×４及びイントラ１６×１６が存在する。基本層が空間予測によって提供されたコーディング利得を利用する場合は、基本層は、拡張層を符号化及び復号する前に符号化及び復号する必要がある。Ｉフレームの２パス符号化及び復号が用いられる。基本層において、基本層量子化パラメータＱＰｂは、粗い量子化ステップサイズを変換係数に提供する。拡張層では、原フレームと再構築された基本層フレームとの間の画素に関する差分が符号化される。拡張層は、より微細な量子化ステップサイズを提供する量子化パラメータＱＰｅを用いる。符号化手段、例えば図２の符号器２２８、は、ブロック３２１において符号化を行う。
【０１４９】
ブロック３２３において、符号器は、処理中のＧＯＰ内のＰ及び／又はＢフレームに関する基本層データ及び拡張層データを符号化する。符号化手段、例えば符号器２２８は、ブロック３２３において符号化を行うことができる。ブロック３２５において、符号化プロセスは、符号化すべきさらなるＰ又はＢフレームが存在するかどうか確認する。符号化手段、例えばＳＮＲスケーラブル符号器２２８は、３２５において動作することができる。より多くのＰ又はＢフレームが残っている場合は、ＧＯＰ内の全フレームの符号化が終了するまでステップ３２３が繰り返される。Ｐ及びＢフレームは、インターコーディングされたマクロブロック（インターコーディングされたＭＢ）から成るが、Ｐ及びＢフレーム内には後述されるようにイントラコーディングされたＭＢが存在することができる。
【０１５０】
復号器が基本層データと拡張層データを区別するようにするために、符号器２２８は、ブロック３２７においてオーバーヘッド情報を符号化する。オーバーヘッド情報の型は、例えば、層数を識別するデータ、層を基本層として識別するデータ、層を拡張層として識別するデータ、層間の関係を識別するデータ（例えば、層２は、基本層１に関する拡張層であり、層３は、拡張層２に関する拡張層である）、又は層を一連の拡張層における最後の拡張層として識別するデータを含む。オーバーヘッド情報は、関係する基本層及び／又は拡張層データと結びつけられたヘッダー内に含めること、又は別個のデータメッセージ内に含めることができる。符号化手段、例えば図２の符号器２２８、は、ブロック３２７においてプロセスを実行することができる。
【０１５１】
単層復号を有するようにするためには、２つの層の係数を逆量子化前に結合させなければならない。従って、これらの２つの層の係数は、対話形式で生成しなければならない。その他の場合は、有意な量のオーバーヘッドを導入する可能性がある。オーバーヘッドが増大する１つの理由は、基本層符号化及び拡張層符号化が異なる時間的基準を用いることが可能なためである。基本層及び拡張層の係数を生成するためにはアルゴリズムが必要であり、これらの係数は、両層が利用可能なときに逆量子化前に復号器において結合させることができる。同時に、アルゴリズムは、拡張層が利用可能でないときに又は復号器が例えば電力節約等の理由で拡張層を復号しないことに決定したときに受け入れ可能な基本層映像に対応すべきである。以下では、該プロセスの一例の詳細が、直下における標準的な予測コーディングに関する概要を示しつつ説明される。
【０１５２】
Ｐフレーム（又はインターコーディングされたセクション）は、現在のピクチャ内の領域と基準ピクチャ内の最もマッチングしている予測領域との間の時間的冗長性を利用することができる。基準フレーム内の最もマッチングする予測領域の位置は、動きベクトルで符号化することができる。現在の領域フレームと最もマッチングしている基準予測領域との間の差は、残留誤り（又は予測誤り）と呼ばれる。
【０１５３】
図３２は、例えばＭＰＥＧ−４でのＰフレーム構築プロセス例を示す。プロセス３３１は、図３１のブロック３２３において生じる可能性があるプロセス例をより詳細に示す。プロセス３３１は、５×５マクロブロックから成る現在のピクチャ３３３を含み、ここで、この例におけるマクロブロック数は任意である。マクロブロックは、１６×１６画素から成る。画素は、８ビット輝度値（Ｙ）及び２つの８ビット色差値（Ｃｒ及びＣｂ）によって定義することができる。ＭＰＥＧにおいては、Ｙ、Ｃｒ及びＣｂ成分は、４：２：０：形式で格納することができ、Ｃｒ及びＣｂ成分は、Ｘ方向及びＹ方向に２だけダウンサンプリングされる。従って、各マクロブロックは、２５６のＹ成分、６４のＣｒ成分及び６４のＣｂ成分から成ることになる。現在のピクチャ３３３のマクロブロック３３５は、現在のピクチャ３３３とは異なる時点において基準ピクチャ３３７から予測される。Ｙ、Ｃｒ及びＣｂ値の点で符号化中の現在のマクロブロック３３５に最も近い最もマッチングしているマクロブロック３３９の位置を突き止めるための探索が基準ピクチャ３３７において行われる。基準ピクチャ３３７内の最もマッチングしているマクロブロック３３９の位置は、動きベクトル３４１において符号化される。基準ピクチャ３３７は、復号器が現在のピクチャ３３３の構築前に再構築していることになるＩフレーム又はＰフレームであることができる。最もマッチングしているマクロブロック３３９が現在のマクロブロック３３５から減じられ（Ｙ、Ｃｒ及びＣｂ成分の各々に関する差分が計算され）その結果残留誤り３４３が発生する。残留誤り３４３は、２Ｄ離散コサイン変換（ＤＣＴ）３４５によって符号化され、次に量子化される３４７。量子化３４７は、例えば、より少ないビットを高周波数係数に割り当てより多くのビットを低周波数係数に割り当てることによって空間圧縮を提供するために行うことができる。残留誤り３４３の量子化された係数は、動きベクトル３４１及び基準ピクチャ３３３識別情報とともに、現在のマクロブロック３３５を表す符号化された情報である。符号化され情報は、将来用いるためにメモリに格納するか又は例えば誤り訂正又は画像拡張を目的として作業を行うこと、又はネットワーク３４９を通じて送信することができる。
【０１５４】
残留誤り３４３の符号化された量子化された係数は、符号化された動きベクトル３４１とともに、後続する動き推定及び補償に関する基準フレームの一部として用いるために符号器内において現在のマクロブロック３３５を再構築するために用いることができる。符号器は、このＰフレーム再構築に関して復号器の手順をエミュレーションすることができる。復号器のエミュレーションは、符号器及び復号器の両方が同じ基準ピクチャに関して作業をすることになる。本明細書においては、再構築プロセスは、符号器内において行われるか、さらなるインターコーディングのために行われるか、又は復号器において行われるかに関わらず提示される。Ｐフレームの再構築は、基準フレーム（又は参照中のピクチャ又はフレームの一部分）が再構築された後に開始することができる。符号化された量子化された係数は、逆量子化３５１され、次に、２Ｄ逆ＤＣＴ、又はＩＤＣＴ  ３５３が行われ、その結果復号された又は再構築された残留誤り３５５が生じる。符号化された動きベクトル３４１は、復号され、既に再構築されている基準ピクチャ３３７内の既に再構築されている最もマッチングしているマクロブロック３５７を突き止めるために用いられる。次に、再構築された残留誤り３５５が再構築された最もマッチングするマクロブロック３５７に加えられて再構築されたマクロブロック３５９が形成される。再構築されたマクロブロック３５９は、メモリに格納すること、独立して又はその他の再構築されたマクロブロックとともにピクチャ内に表示すること、又は画像エンハンスメントのためにさらに処理することができる。
【０１５５】
Ｂフレーム（双方向予測でコーディングされたセクション）は、現在のピクチャ内の領域、前フレーム内の最もマッチングしている予測領域及び後続ピクチャ内の最もマッチングしている予測領域の間における時間的冗長性を利用することができる。後続する最もマッチングしている予測領域及び前の最もマッチングしている予測領域が結合されて、結合された双方向の予測された領域が形成される。現在のピクチャ領域と最もマッチングしている結合された双方向予測領域との間の差分が残留誤り（又は予測誤り）である。後続する基準ピクチャ内の最もマッチングしている予測領域及び前基準ピクチャ内の最もマッチングしている予測領域の位置は、２つの動きベクトルで符号化することができる。
【０１５６】
図３３は、符号器２２８によって行うことができる基本層及び拡張層の係数の符号化に関する符号器プロセス例を示す。基本層及び拡張層が符号化されてＳＮＲスケーラブルビットストリームが提供される。図３３は、図３１のステップ３２３において行われるようなインターＭＢ残留誤り係数符号化例を示す。しかしながら、イントラＭＢ係数を符号化するために同様の方法を用いることも可能ある。符号化手段、例えば図２の符号器構成要素２２８、は、図３３に示されるプロセス及び図３２のステップ３２３を実行することができる。（符号化される）原映像データ４０６（映像データは、この例においてはルマ及びクロマ情報を具備する）は、基本層の最もマッチングしているマクロブロックループ３０２及び拡張層の最もマッチングしているマクロブロックループ３６５に入力される。両ループ３６３及び３６５の目的は、加算器３６７及び３６９においてそれぞれ計算される残留誤りを最小にすることである。ループ３６３及び３６５は、示されるように並行して、又は順次で実行することができる。ループ３６３及び３６５は、最もマッチングしているマクロブロックと原データ３６１との間の残留誤りを最小にする最もマッチングしているマクロブロックを識別するために、基準フレームを含むバッファ３７１及び３７３をそれぞれ探索するための論理を含む（バッファ３７１及び３７３は、同じバッファであることができる）。基本層ループ３６３は一般的には拡張層ループ３６５よりも粗い量子化ステップサイズ（より高いＱＰ値）を利用するため、ループ３６３及びループ３６５の残留誤りは異なることになる。変換ブロック３７５及び３７７は、各ループの残留誤りを変換する。
【０１５７】
次に、変換された係数は、選択器３７９において構文解析されて基本層係数および拡張層係数になる。選択器３７９の構文解析は、後述されるように幾つかの形態をとることができる。構文解析技術の１つの共通する特長は、拡張層係数Ｃ’ｅｎｈは、基本層係数Ｃ’ｂａｓｅのディファレンシャルリファインメントになるような形で計算されることである。基本層のリファインメントになるような形で拡張層を計算することは、復号器がそれ自体によって基本層係数を復号して画像の妥当な表現を有すること、又は基本層係数と拡張層係数を結合して画像のリファインメントされた表現を有することを可能にする。次に、選択器３７９によって選択された係数が量子器３８１および３８３によって量子化される。（量子化器３８１及び３８３によってそれぞれ計算された）量子化された係数
【数２９】
2009510936.tif 000031
【０１５８】
は、メモリに格納するか又はネットワークを通じて復号器に送信することができる。
【０１５９】
復号器内のマクロブロックの再構築とマッチングさせるために、逆量子化器３８５は、基本層残留誤り係数を逆量子化する。逆量子化された残留誤り係数は、逆変換され３８７、バッファ３７１内で見つけ出された最もマッチングするマクロブロックに追加され３８９、その結果復号器内において再構築されるものとマッチングする再構築されたマクロブロックが得られる。量子化器３８３、逆量子化器３９１、逆変換器３９３、加算器３９７及びバッファ３７３は、基本層ループ３６３において行われたのと同様の計算を拡張ループ３６５において行う。さらに、加算器３９３は、拡張層の再構築において用いられた逆量子化された拡張層係数及び基本層係数を結合させるために用いられる。拡張層量子化器及び逆量子化器は、一般的には、基本層よりも微細な量子化器ステップサイズ（より低いＱＰ）を利用する。
【０１６０】
図３４、３５及び３６は、図３３の選択器３７９において採用することができる基本層係数及び拡張層係数の選択器プロセスの例を示す。図２の符号器２２８等の選択する手段は、図３４、３５及び３５において描かれるプロセスを実行することができる。図３４を一例として用いて、変換された係数は、構文解析され、以下の方程式において示されるように基本層係数及び拡張層係数に分けられる。
【数３０】
2009510936.tif 000032
【０１６１】
ここで、“ｍｉｎ”関数は、２つの引数の数学上の最小値又は最小の大きさであることができる。方程式２５は、ブロック４０１として描かれ、方程式２６は、図３４の加算器５１０として描かれている。方程式２６において、Ｑｂは、基本層量子化器３８１を表し、Ｑｂ−１は、基本層の逆量子化器３８５を表す。方程式２６は、拡張層係数を、方程式２５を用いて計算された基本層係数のディファレンシャルリファインメントに変換する。
【０１６２】
図３５は、基本層及び拡張層係数選択器３７９の他の例を示す。この例においては、ブロック４０５に含まれている方程式（．）は、以下を表す。
【数３１】
2009510936.tif 000033
【０１６３】
加算器４０７は、以下の２つの方程式において示されるように拡張層係数を計算する。
【数３２】
2009510936.tif 000034
【０１６４】
ここで、Ｃ’ｂａｓｅは、方程式２７によって与えられる。
【０１６５】
図３６は、基本層及び拡張層選択器３７９の他の例を示す。この例においては、基本層係数は不変であり、拡張層は、量子化／逆量子化された基本層係数と原拡張層係数との間の差に等しい。
【０１６６】
基本層及び拡張層の残留誤り係数に加えて、復号器は、ＭＢがどのように
符号化されているかを識別する情報が必要である。符号化手段、例えば図２の符号器構成要素２２８、は、イントラコーディング及びインターコーディングされた部分のマップ、例えば、マクロブロック（又はサブマクロブロック）がイントラコーディング又はインターコーディングされているとして識別され（さらに、例えば、順方向、逆方向又は双方向を含むいずれの型のインターコーディングであるか及びインターコーディングされた部分がいずれのフレームを基準にしているかも識別する）ＭＢマップ、を含むことができるオーバーヘッド情報を符号化することができる。一側面例においては、ＭＢマップ及び基本層係数は、基本層において符号化され、拡張層係数は、拡張層において符号化される。
【０１６７】
Ｐフレーム及びＢフレームは、インターＭＢと同様にイントラコーディングされたＭＢも含むことができる。ハイブリッド映像符号器は、Ｐ又はＢフレーム内の一定のマクロブロックをイントラコーディングされたＭＢとして符号化することを決定するためにレート歪み（ＲＤ）最適化を用いるのが一般的である。イントラコーディングされたＭＢが拡張層インターＭＢに依存しない単層復号を有するために、近隣のインターＭＢは、基本層イントラコーディングされたＭＢの空間予測には関して用いられない。計算の複雑さが拡張層復号に関して常に不変であるようにするために、基本層のＰ又はＢフレーム内のイントラコーディングされたＭＢに関して、拡張層におけるリファインメントをスキップをことが可能である。
【０１６８】
Ｐ又はＢフレーム内のイントラコーディングされたＭＢは、インターＭＢよりも多くのビットを要求する。この理由により、Ｐ又はＢフレーム内のイントラコーディングされたＭＢは、より高いＱＰで基本層品質のみで符号化可能である。このことは、映像品質のある程度の劣化をもたらすことになるが、この劣化は、上述されるように基本層及び拡張層においてインターＭＢ係数を用いてのちのフレーム内においてリファインメントされる場合は目立たないはずである。２つの理由がこの劣化を目立たなくする。第１の理由は、人間の視覚系（ＨＶＳ）の特徴であり、他方の理由は、インターＭＢがイントラＭＢをリファインメントすることである。第１のフレームから第２のフレームに位置を変化させるオブジェクトの場合は、第１のフレーム内の幾つかの画素は、第２のフレームでは見ることができず（カバーされる情報）、第２のフレーム内の幾つかの画素は、初めて見ることができる（カバーされない情報）。人間の目は、カバーされない及びカバーされる視覚情報に対して敏感でない。このため、カバーされていない情報に関しては、より低い品質で符号化されるにもかかわらず、目は違いを見分けることができない。同じ情報が後続するＰフレーム内にとどまっている場合は、拡張層はより低いＱＰを有するため拡張層における後続Ｐフレームがその情報をリファインメントできる確率が高くなる。
【０１６９】
Ｐ又はＢフレームにおいてイントラコーディングされたＭＢを導入する他の共通技術は、イントラリフレッシュと呼ばれる。この場合は、幾つかのＭＢは、標準Ｒ−Ｄ最適化ではインターコーディングされたＭＢであることが要求されるが、イントラコーディングされたＭＢとしてコーディングされる。基本層に含められているこれらのイントラコーディングされたＭＢは、ＱＰｂ又はＱＰｅのいずれかによって符号化することができる。ＱＰｅが基本層に関して用いられる場合は、ＱＰｂ又はＱＰｅのいずれかで符号化することができる。ＱＰｅが基本層に関して用いられる場合は、拡張層においてはリファインメントは不要である。ＱＰｂが基本層に関して用いられる場合は、リファインメントが必要な場合がある。その他の場合は、拡張層において品質低下に気づくことが可能になる。インターコーディングは、コーディング効率という意味ではイントラコーディングよりも効率的であるため、拡張層におけるこれらのリファインメントは、インターコーディングされる。この方法により、基本層係数は、拡張層に関して用いられない。従って、品質は、拡張層において新たな動作を導入せずに向上される。
【０１７０】
拡張層では、提供する高い圧縮品質に起因してＢフレームが一般的に用いられる。しかしながら、Ｂフレームは、ＰフレームのイントラコーディングされたＭＢを基準にしなければならないことがある。Ｂフレームの画素が拡張層品質で符号化される場合は、上述されるように、ＰフレームのイントラコーディングされたＭＢの品質がより低いことに起因してあまりにも多いビットを要求する可能性がある。上述されるように、ＨＶＳの品質を利用することによって、Ｐフレームのより低い品質のイントラコーディングされたＭＢを基準にするときにはＢフレームＭＢをより低い品質で符号化することができる。
【０１７１】
Ｐ又はＢフレーム内のイントラコーディングされたＭＢの１つの極端な事例は、符号化中の映像内におけるシーンの変化の存在に起因してＰ又はＢフレーム内の全ＭＢがイントラモードで符号化されるときである。この場合は、フレーム全体を基本層品質でコーディングすることができ、拡張層におけるリファインメントは行われない。Ｂフレームにおいてシーンの変化が生じた場合で、Ｂフレームは拡張層でしか符号化されないと仮定した場合は、Ｂフレームは、基本層品質で符号化するか又は単純にドロップすることが可能である。Ｐフレームにおいてシーンの変化が生じた場合は、変更は必要でなく、Ｐフレームをドロップするか又は基本層品質で符号化することができる。“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING”（２層符号化及び単層復号を有するスケーラブルな映像コーディング）という題名を有し、本特許出願の譲受人によって所有され、本明細書において参照されることによってその全体が本明細書に組み入れられている、同時係属米国特許出願番号［Ａｔｔｏｒｎｅｙ  ｄｏｃｋｅｔ／ｒｅｆ．  ｎｏ．  ０５００７８］において、スケーラブル層符号化がさらに説明されている。
【０１７２】
符号器第１パス部分
図７は、図２の符号器２２８の説明例を示す。示されているブロックは、符号器２２８内に含めることができる様々な符号器処理を示す。この例においては、符号器２２８は、区分線７０４上方の第１パス部分７０６と、線７０４下方の第２パス部分７０６（図２の第２パス符号器２３２及び再符号器２３４の機能を含む）と、を含む。
【０１７３】
符号器２２８は、メタデータ及び生映像をプリプロセッサ２２６から受信する。メタデータは、プリプロセッサ２２６によって受信された又は計算されたメタデータを含むことができ、映像のコンテンツ情報に関連するメタデータを含む。符号器２２８の第１パス部分７０２は、機能に関して後述される第１パス符号化７０２に含めることができる典型的プロセスを示す。当業者が知ることになるように、該機能は様々な形態で（例えば、ハードウェア、ソフトウェア、ファームウェア、又はその組合せ内に）実装することができる。
【０１７４】
図７は、適応型イントラリフレッシュ（ＡＩＲ）モジュールを示す。ＡＩＲモジュール７１０は、メタデータに基づいてＩフレームをインスタンス化するＩフレームインスタンス化モジュール７０８に入力を提供する。第１パス部分７０２は、メタデータ及び映像を受信し、映像に関連するコンテンツ情報を決定するように構成されたコンテンツ分類モジュール７１２を含むことも可能である。コンテンツ情報は、メタデータ及び映像も受信するレート制御ビット割り当てモジュール７１４に提供することができる。制御ビット割り当てモジュール７１４は、レートビット制御情報を決定し、該情報をモード決定モジュール７１５に提供する。コンテンツ情報及び映像は、イントラモデル（歪み）モジュール７１６に提供することができ、イントラモデル（歪み）モジュール７１６は、イントラコーディング歪み情報をモード決定モジュール７１５及び基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８に提供する。基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８にインターコーディング歪み情報を提供する動き推定（歪み）モジュール７２０に映像及びメタデータが提供される。基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８は、モード決定モジュール７１５に提供される動き推定モジュール７２０及びイントラモデル歪みモジュール７１６からの歪み推定を用いてスケーラビリティレート−歪み情報を決定する。モード決定モジュール７１５は、スライス／ＭＢ順序設定（ｏｒｄｅｒｉｎｇ）モジュール７２２からの入力も受け取る。スライス／ＭＢ順序設定モジュール７２２は、（第２パス部分７０６に示される）誤り耐性モジュール７４０から入力を受け取り、映像の独立して符号化可能な部分（スライス）を誤り耐性に関するアクセスユニット境界とアライメントさせることに関する情報をモード決定モジュール７１５に提供する。モード決定モジュール７１５は、入力に基づいて符号化モード情報を決定し、“最良の”コーディングモードを第２パス部分７０６に提供する。該第１パス部分７０２符号化の幾つかの例に関するさらなる例示的説明が以下に示される。
【０１７５】
上述されるように、コンテンツ分類モジュール７１２は、プリプロセッサ２２６によって供給されたメタデータ及び生映像を受信する。幾つかの例においては、プリプロセッサ２２６は、マルチメディアデータからコンテンツ情報を計算し、該コンテンツ情報を（例えば、メタデータ内の）コンテンツ分類モジュール７１２に提供し、コンテンツ分類モジュール７１２は、コンテンツ情報を用いてマルチメディアデータに関するコンテンツ分類を決定することができる。幾つかのその他の側面においては、コンテンツ分類モジュール７１２は、マルチメディアデータから様々なコンテンツ情報を決定するように構成され、さらにコンテンツ情報を決定するように構成することもできる。
【０１７６】
コンテンツ分類モジュール７１２は、異なる型のコンテンツを有する映像に関する異なるコンテンツ分類を決定するように構成することができる。異なるコンテンツ分類は、マルチメディアデータを符号化する側面、例えば、量子化パラメータを決定するためのビットレート（例えば、ビット割り当て）を決定する、動き推定、スケーラビリティ、誤り耐性を決定する、チャネル間での最適なマルチメディアデータ品質を維持する、及び高速チャネル切り換え方式（例えば、Ｉフレームが高速チャネル切り換えを許容するように定期的に強制する）に関して用いられる異なるパラメータを得ることが可能になる。一例により、符号器２２８は、コンテンツ分類に基づいてレート−歪み（Ｒ−Ｄ）最適化及びビットレート割り当てを決定するように構成される。コンテンツ分類を決定することは、コンテンツ分類に基づいて希望されるビットレートに対応する所定の品質レベルにマルチメディアデータを圧縮することを可能にする。さらに、マルチメディアデータのコンテンツを分類する（例えば、人間の視覚系に基づいてコンテンツ分類を決定する）ことによって、その結果受信デバイスのディスプレイ上において得られる通信されたマルチメディアデータの知覚品質（ｐｅｒｃｅｐｔｉｖｅ  ｑｕａｌｉｔｙ）は、映像コンテンツに依存して作られる。
【０１７７】
コンテンツ分類モジュール７１２がコンテンツを分類するために行う手順の一例として、図９は、コンテンツ分類モジュール７１２が動作する際に従うことができる典型的プロセスを例示するプロセス９００を示す。示されるように、プロセス９００は、入力ブロック９０２において開始し、コンテンツ分類モジュール７１２は、生のマルチメディアデータ及びメタデータを受信する。次に、プロセス９００は、ブロック９０４に進み、コンテンツ分類モジュール７１２は、マルチメディアデータの空間情報及び時間情報を決定する。幾つかの側面においては、空間情報及び時間情報は、空間的マスキング及び時間的マスキング（例えば、フィルタリング）によって決定される。空間情報及び時間情報は、シーン変化データ及び動きベクトル（ＭＶ）平滑化を含むメタデータに基づいて決定することができる。次に、プロセス９００は、ブロック９１２に進み、空間的複雑さ、時間的複雑さ、及び感度の推定を行う。次に、プロセス９００はブロック９１６に進み、ブロック９０４及び９１２において、決定された空間データ、時間データ及び感度データの結果に基づいてマルチメディアデータのコンテンツが分類される。さらにブロック９１６において、特定のレート−歪み（Ｒ−Ｄ）曲線を選択することができ及び／又はＲ−Ｄ曲線データを更新することができる。次に、プロセス９００は、出力ブロック９１８に進み、出力は、複雑さ−歪みマップ又は空間的活動及び時間的活動（例えば、コンテンツ分類）を示す値及び／又は選択されたＲ−Ｄ曲線を含むことができる。再度図７に関して、コンテンツ分類モジュール７１２は、上述される、レート制御ビット割り当てモジュール７１４、イントラモデル（歪み）モジュール７１６、及びＩフレームインスタンス化モジュール７０８に出力を提供する。
【０１７８】
コンテンツ情報
コンテンツ分類モジュール７１２は、以下においてさらに説明される、空間的複雑さ、時間的複雑さ、コントラスト比値、標準偏差、及びフレーム差分メトリックスを含む様々なコンテンツ関連メトリックスを含む様々なコンテンツ情報をマルチメディアデータから計算するように構成することができる。
【０１７９】
コンテンツ分類モジュール７１２は、マルチメディアデータの空間的複雑さ及び時間的複雑さを決定するように、及びテクスチャ値を空間的複雑さと、動き値を時間的複雑さと関連づけるように構成することができる。コンテンツ分類モジュール７１２は、符号化中のマルチメディアデータのコンテンツに関連する前処理されたコンテンツ情報をプリプロセッサ２２６から受信し、又は代替として、プリプロセッサ２２６は、コンテンツ情報を計算するように構成することができる。上述されるように、コンテンツ情報は、例えば、１つ以上のＤｃａｓｔ値と、コントラスト比値と、動きベクトル（ＭＶ）と、絶対値差分和（ＳＡＤ）と、を含むことができる。
【０１８０】
一般的には、マルチメディアデータは、１つ以上の画像シーケンス、又はフレームシーケンスを含む。各フレームは、処理のために画素ブロックに分割することができる。空間的複雑さは、フレーム内における空間的詳細レベルの評価基準について一般的に説明する広義の用語である。主に無地（ｐｌａｉｎ）の又は変化しない又は変化が小さい輝度及び色差エリアを有するシーンは、小さい空間的複雑さを有することになる。空間的複雑さは、映像データのテクスチャと関連づけられる。空間的複雑さは、この側面においては、Ｄｃｓａｔと呼ばれる人間の視覚感度メトリックスに基づき、前記人間の視覚感度メトリックスは、局所空間周波数及び周囲照明の関数として各ブロックに関して計算される。当業者は、ビジュアル画像の空間周波数パターン及び照明とコントラストに関する特徴を用いて人間の視覚系を利用するための技術を認識している。人間の視覚系の遠近法上の制限を利用するための幾つかの感度メトリックスが知られており、本明細書において説明される方法とともに用いることが可能である。
【０１８１】
時間的複雑さは、フレームシーケンス内のフレーム間で基準とされるマルチメディアデータにおける動きレベルの評価基準を一般的に説明するために用いられる広義の用語である。動きがほとんど又はまったくないシーン（例えば、映像データのフレームシーケンス）は、時間的複雑さが小さい。時間的複雑さは、各マクロブロックに関して計算することができ、Ｄｃｓａｔ値、動きベクトル及び１つのフレームと他のフレーム（例えば、基準フレーム）との間の絶対画素差分和に基づくことができる。
【０１８２】
フレーム差分メトリックスは、動き量（例えば、動きベクトル又はＭＶ）及び予測子と現在のマクロブロックとの間の絶対値差分和（ＳＡＤ）として表される残留エネルギーを考慮した２つの連続フレーム間の差分の評価基準となる。フレーム差分は、双方向又は単一方向の予測効率の評価基準も提供する。
【０１８３】
動きが補償されたデインターレーシングを行うことが可能なプリプロセッサから受信された動き情報に基づいたフレーム差分メトリックスの一例は以下のとおりである。デインターレーサは、双方向動き推定を行い、従って、双方向動きベクトル及びＳＡＤ情報を利用可能である。各マクロブロックに関してＳＡＤ＿ＭＶによって表されるフレーム差分は、以下のように導き出すことができる。
【数３３】
2009510936.tif 000035
【０１８４】
ここで、
【数３４】
2009510936.tif 000036
【０１８５】
であり、ＳＡＤＮは、逆方向基準フレームから計算されたＳＡＤであり、ＳＡＤＰは、順方向基準フレームから計算されたＳＡＤである。
【０１８６】
フレーム差分を推定する他の手法が方程式６乃至８を参照しながら上述されている。ＳＡＤ比（又はコントラスト比）γは、方程式６において上述のように計算することができる。すべてのフレームの輝度ヒストグラムも決定することができ、ヒストグラム差分λは、方程式７を用いて計算される。フレーム差分メトリックスＤは、方程式８に示されるように計算することができる。
【０１８７】
一例においては、コントラスト比及びフレーム差分メトリックスは、映像コンテンツ分類を入手するために次の方法で利用され、所定の映像シーケンス内の特徴を信頼できる形で予測可能である。本明細書においては符号器２２８において生じる状況が説明されているが、プリプロセッサ２２６は、コンテンツ分類（又はその他のコンテンツ情報）を決定し、メタデータを介してコンテンツ分類を符号器２２８に渡すように構成することもできる。以下の例において説明されるプロセスは、Ｒ−Ｄ曲線に基づく解析から得られた分類と同様に、コンテンツを８つの可能なクラスに分類する。分類プロセスは、シーンの複雑さ及び各スーパーフレーム内でのシーン変化発生数に依存して各スーパーフレームに関して０乃至１の範囲内の値を出力する。プリプロセッサ内のコンテンツ分類モジュールは、フレームコントラスト及びフレーム差分値からコンテンツ分類メトリックスを入手するために各スーパーフレームに関して以下のステップ（１）乃至（５）を実行することができる。
【０１８８】
１．平均フレームコントラスト及びフレームコントラスト偏差をマクロブロックコントラスト値から計算する。
【０１８９】
２．シミュレーションから得られた値を用いてフレームコントラスト及びフレーム差分値、それぞれ４０及び５、を正規化する。
【０１９０】
３．例えば一般化された方程式を用いてコンテンツ分類メトリックスを計算する。
【数３５】
2009510936.tif 000037
【０１９１】
ここで、ＣＣＷ１、ＣＣＷ２、ＣＣＷ３及びＣＣＷ４は、重み付け係数である。この例においては、値は、ＣＣＷ１に関しては０．２、ＣＣＷ２に関しては０．９、ＣＣＷ３に関しては０．１、ＣＣＷ４に関しては−０．００００９が選択される。
【０１９２】
４．スーパーフレーム内でのシーン変化数を決定する。一般的には、スーパーフレームは、特定の期間において表示することができるピクチャ又はフレームのグループを意味する。典型的には、期間は１秒である。幾つかの側面においては、スーパーフレームは、（３０／ｆｐｓ映像の場合は）３０フレームを具備する。その他の側面においては、スーパーフレームは、２４フレーム（２４／ｆｐｓ映像）を具備する。シーン変化数に依存して、以下の事例のうちの１つが実行される。
【０１９３】
（ａ）シーン変化なし：スーパーフレーム内においてシーン変化がないときには、メトリックスは、以下の方程式において示されるようにフレーム差分値のみに完全に依存する。
【数３６】
2009510936.tif 000038
【０１９４】
（ｂ）単一のシーン変化：スーパーフレーム内において単一のシーン変化フレームが観察されたときには、以下のようにデフォルト方程式を用いてメトリックスが計算される。
【数３７】
2009510936.tif 000039
【０１９５】
（ｃ）２つのシーン変化：所定のスーパーフレーム内において多くて２つのシーン変化が存在することが観察されたときには、以下の方程式において示されるように、最初のスーパーフレームは後のスーパーフレームによって素早くリフレッシュされるため、最後のスーパーフレームは、最初のスーパーフレームよりも大きい重みが与えられる。
【数３８】
2009510936.tif 000040
【０１９６】
（ｄ）３つ以上のシーン変化：所定のスーパーフレームが３つ以上のＩフレーム（例えばＮ）を有することが観察される場合は、以下の方程式において示されるように、最後のＩフレームはより大きい重みが与えられ、その他のすべてのＩフレームは０．０５の重みが与えられる。
【数３９】
2009510936.tif 000041
【０１９７】
５．フレーム差分平均が０．０５よりも小さいときに動きが少ないシーンの場合はメトリックスに関して補正を用いることができる。（ＣＣＯＦＦＳＥＴ）０．３３のオフセットがＣＣＭｅｔｒｉｃに加えられる。
【０１９８】
コンテンツ分類モジュール７１２は、Ｄｃｓａｔ値、動きベクトル及び／又は絶対値差分和を用いて、マクロブロッに関する空間的複雑さ（又は指定された映像データ量）を決定する。時間的複雑さは、フレーム差分メトリックスの評価基準（動きベクトルを有する動き量、及びフレーム間の絶対値差分和を考慮した２つの連続フレーム間の差分）によって決定される。
【０１９９】
幾つかの側面においては、コンテンツ分類モジュール７１２は、帯域幅マップを生成するように構成することができる。例えば、帯域幅マップ生成は、プリプロセッサ２２６が帯域幅マップを生成しない場合にコンテンツ分類モジュール７１２によって行うことができる。
【０２００】
テクスチャ値及び動き値の決定
マルチメディアデータ内の各マクロブロックに関して、コンテンツ分類モジュール７１２は、テクスチャ値を空間的複雑さと、動き値を時間的複雑さと関連づける。テクスチャ値は、マルチメディアデータの輝度値と関連し、低いテクスチャ値は、データの近隣画素の輝度値の変化が小さいことを示し、高いテクスチャ値は、データの近隣画素の輝度値の変化が大きいことを示す。
【０２０１】
テクスチャ値及び動き値が計算された時点で、コンテンツ分類モジュール７１２は、動き情報及びテクスチャ情報の両方を考慮することによってコンテンツ分類を決定する。コンテンツ分類モジュール７１２は、分類中である映像データに関するテクスチャを、マクロブロックの輝度値の複雑さを一般的に示す相対的テクスチャ値、例えば、“低”テクスチャ、“中”テクスチャ、又は“高”テクスチャ、と関連づける。さらに、コンテンツ分類モジュール７１２は、分類中の映像データに関して計算された動き値を、マクロブロックの動き量を一般的に示す相対的動き値、例えば、“少ない”動き、“中度の”動き、又は“多い”動き、と関連づける。代替側面においては、動き及びテクスチャに関してより少ない又はより多いカテゴリを用いることができる。次に、関連づけられたテクスチャ値及び動き値を考慮することによってコンテンツ分類メトリックスが決定される。
【０２０２】
図８は、テクスチャ値及び動き値がコンテンツ分類とどのように関連づけられているかを示す分類チャート例を示す。当業者は、該分類チャートを例えばルックアップテーブル又はデータベース内に実装するための数多く方法に精通する。分類チャートは、映像データコンテンツに関する予め決められた評価に基づいて生成される。映像データ分類を決定するために、（“ｘ軸”上の）“低”、“中”、又は“高”のテクスチャ値が、（“ｙ軸”上の）“少ない”、“中度の”、又は“多い”の動き値と相互参照される。交差ブロックにおいて示されるコンテンツ分類が映像データに割り当てられる。例えば、“高”のテクスチャ値及び“中度の”動き値は、７の分類になる。図８は、この例においては、８つの異なるコンテンツ分類と関連づけられている相対的なテクスチャ値及び動き値の様々な組合せを示す。幾つかのその他の側面においては、より多い又はより少ない分類を用いることができる。“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディアデータ処理に関するコンテンツ分類）という題名を有し、本特許出願の譲受人に譲渡され、本明細書において参照されることによって明示で本明細書に組み入れられている、同時係属米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）において、コンテンツ分類の例示的側面のさらなる説明が開示されている。
【０２０３】
レート制御ビット割り当て
本明細書において説明されるように、マルチメディアデータコンテンツ分類は、映像の知覚品質を一定に維持しながらビット管理を有効に向上させるために符号化アルゴリズムにおいて用いることができる。例えば、分類メトリックスは、シーン変化検出、ビットレート割り当て制御、及びフレームレートアップコンバージョン（ＦＲＵＣ）に関するアルゴリズムにおいて用いることができる。映像データ通信においては圧縮器／伸長器（コーデック）システム及びデジタル信号処理アルゴリズムが共通して用いられ、帯域幅を保全するように構成することができるが、品質と帯域幅保全との間には相反する関係がある。最良のコーデックは、映像の品質低下を最小にしながら最大の帯域幅保全を提供する。
【０２０４】
一説明例においては、レート制御ビット割り当てモジュール７１４は、コンテンツ分類を用いてビットレート（例えば、マルチメディアデータを符号化するために割り当てられるビット数）を決定し、符号器２２８のその他のプロセス及び構成要素によって用いるためにビットレートをメモリに格納する。映像データの分類から決定されたビットレートは、一貫した品質レベルでマルチメディアデータを提供する一方で帯域幅の保全を援助することができる。一側面においては、異なるビットレートを８つの異なるコンテンツ分類の各々と関連づけることができ、そのビットレートがマルチメディアデータを符号化するために用いられる。その結果得られる効果は、マルチメディアデータの異なるコンテンツ分類に異なるビット数が符号化のために割り当てられるが、知覚品質は、ディスプレイ上で見たときには類似している又は一貫していることである。
【０２０５】
一般的には、より高いコンテンツ分類を有するマルチメディアデータは、より多いレベルの動き及び／又はより高いレベルのテクスチャを示しており、符号化時により多くのビットが割り当てられる。より低い分類（テクスチャがより低く動きがより小さいことを示す）を有するマルチメディアデータは、より少ないビットが割り当てられる。特定のコンテンツ分類のマルチメディアデータに関しては、ビットレートは、マルチメディアデータを見るための選択された目標知覚品質レベルに基づいて決定することができる。マルチメディアデータ品質を決定することは、人間がマルチメディアデータを見て等級を付けることによって決定することができる。幾つかの代替側面においては、マルチメディアデータ品質の推定は、例えば信号・雑音比アルゴリズムを用いた自動試験システムによって行うことができる。一側面においては、各特定の品質レベルを達成するために必要な一組の標準品質レベル（例えば、５つ）及び対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して予め決定される。一組の品質レベルを決定するために、特定のコンテンツ分類のマルチメディアデータは、マルチメディアデータが一定のビットレートを用いて符号化されるときにマルチメディアデータの目で知覚された品質の数値による表示を提供する平均意見点数（ＭＯＳ）を生成することによって評価することができる。ＭＯＳは、１乃至５の範囲内の単一の数として表すことができ、１は、最低の知覚品質であり、５は、最高の知覚品質である。その他の側面においては、ＭＯＳは、５つよりも多い又は少ない品質レベルを有することができ、各品質レベルに関して異なる記述を用いることができる。
【０２０６】
マルチメディアデータ品質を決定することは、人間がマルチメディアデータを見て等級を付けることによって決定することができる。幾つかの代替側面においては、マルチメディアデータ品質の推定は、例えば信号・雑音比アルゴリズムを用いた自動試験システムによって行うことができる。一側面においては、各特定の品質レベルを達成するために必要な一組の標準品質レベル（例えば、５つ）及び対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して予め決定される。
【０２０７】
一定のコンテンツ分類のマルチメディアデータに関する目で知覚された品質レベルとビットレートとの間の関係を知ることは、目標の（例えば、希望される）品質レベルを選択することによって決定することができる。ビットレートを決定するために用いられる目標品質レベルは、予め選択する、ユーザーが選択する、ユーザーからの又は他のプロセスからの入力を要する自動プロセス又は半自動プロセスを通じて選択する、又は予め決められた判定基準に基づいて符号化デバイス又はシステムによって動的に選択することができる。目標品質レベルは、例えば、符号化アプリケーションの型、又はマルチメディアデータを受信するクライアントデバイスの型に基づいて選択することができる。
【０２０８】
図７の説明例においては、レート制御ビット割り当てモジュール７１４は、コンテンツ分類モジュール７１２から両方のデータを受信し、プリプロセッサ２２６から直接メタデータを受信する。レート制御ビット割り当てモジュール７１４は、符号器２２８の第１パス部分に常駐し、レート制御微調整７３８は、第２パス部分７０６に常駐する。この２パスレート制御側面は、第１パス（レート制御ビット割り当てモジュール７１４）が（例えば、２５６ｋｂｐｓ）の長期平均ビットレートを目標とする）１つのスーパーフレームルックアヘッドによるコンテキスト適応型ビット割り当てを行い、ピークレートを制限し、第２パス（レート制御微調整モジュール７３８）は、２層スケーラビリティに関して第１パスの結果をリファインメントし、レート適応化を行う。レート制御は、４つのレベル、すなわち、（１）ＧＯＰレベル−Ｉ、Ｐ、Ｂ、及びＦフレームのビット分布がＧＯＰ内部において一様にならないように制御する、（２）スーパーフレームレベル−最大のスーパーフレームサイズに関する厳格な限度を制御する、（３）フレームレベル−コンテンツ情報（例えば、コンテンツ分類）に基づく、マルチメディアデータフレームの空間的及び時間的複雑さに従ってビット要求を制御する、及び（４）マクロブロックレベル−コンテンツ情報（例えば、コンテンツ分類）に基づく、空間的及び時間的複雑さマップに基づいてマクロブロックのビット割り当てを制御する、に対して作用する。
【０２０９】
レート制御モジュール７１４の動作の典型的流れ図が図１０に示される。図１０に示されるように、プロセス１０００は、入力ブロック１００２において開始する。レート制御モジュール７１４は、様々な入力を受信し、図７にはこれらの様々な入力がすべて示されているわけではない。例えば、入力情報は、プリプロセッサ２２６からのメタデータと、目標ビットレートと、符号器バッファサイズ（又は、同等として、レート制御に関する最大遅延時間）と、初期レート制御遅延と、フレームレート情報と、を含むことができる。さらなる入力情報は、ピクチャグループ（ＧＯＰ）レベルにおける入力を含むことができ、例えば、最大スーパーフレームサイズ、ＧＯＰの長さ及びＰ／Ｂフレーム分布（シーン変化情報を含む）、希望される基本層及び拡張層の手配、将来の３０フレームに関するＧＯＰ内のピクチャに関する複雑さ−歪みメトリックスを含む。その他の入力情報は、ピクチャレベルにおける入力を含み、（コンテンツ分類モジュール７１２から受信された）現在のピクチャに関する複雑さ−歪みマップと、量子化パラメータ（ＱＰ）と、（スライディングウィンドーにわたって当てはめられた）過去の３０フレームのビット細分化と、を含む。最後に、マクロブロック（ＭＢ）レベルにおける入力情報は、例えば、基準ピクチャ内の共配置されたマクロブロック（ＭＢ）の平均絶対値差分（ＭＡＤ）と、（スキップされたかどうかにかかわらず）量子化後のマクロブロックのコーディングされたブロックパターン（ＣＢＰ）と、を含む。
【０２１０】
ブロック１００２における入力後、プロセス１０００は、ビットストリームを符号化するための初期設定に関するブロック１００４に進む。同時並行して、バッファ初期設定１００６が行われる。次に、ブロック１００８において示されるようにＧＯＰが初期設定され、ＧＯＰビット割り当て１０１０が初期設定の一部として受信される。ＧＯＰ初期設定後は、流れはブロック１０１２に進み、スライスが初期設定される。この初期設定は、ブロック１０１４によって示されるようにヘッダービットの更新を含む。ブロック１００４、１００８及び１０１２の初期設定が行われた後は、ブロック１０１６によって示されるように基本単位又はマクロブロック（ＭＢ）に関するレート制御（ＲＣ）が行われる。ブロック１０１６におけるマクロブロックのレート制御決定の一環として、符号器２２８内のインタフェースを介して入力が受信される。これらの入力は、マクロブロック（ＭＢ）ビット割り当て１０１８と、二次モデルパラメータの更新１０２０と、メジアンからのメジアン絶対偏差（“ＭＡＤ”、頑健な分散推定値）パラメータの更新１０２２と、を含むことができる。次に、プロセス１０００は、１つのピクチャ１０２４を符号化後の動作の実行のためにブロック１０２４に進む。この手順は、ブロック１０２６によって示されるようにバッファパラメータの更新を受信することを含む。次に、プロセス１０００は、出力ブロック１０２８に進み、レート制御モジュール７１４は、図７に示されるようにモード決定モジュール７１５によって用いられる各マクロブロックＭＢに関する量子化パラメータＱＰを出力する。
【０２１１】
動き推定
動き推定モジュール７２０は、メタデータ及び生映像の入力をプリプロセッサ２２６から受信し、ブロックサイズ、動きベクトル歪みメトリックス、及び基準フレーム識別子を含むことができる出力をモード決定モジュール７１５に提供する。図１１は、動き推定モジュール７２０の典型的動作を示す。示されるように、プロセス１１００は、入力１１０２から開始する。フレームレベルにおいて、モジュール７２０は、基準フレームＩＤ及び動きベクトルの入力を受信する。マクロブロックレベルにおいて、入力１１０２は、入力画素及び基準フレーム画素を含む。プロセス１１００は、ステップ１１０４に続き、色動き推定（ＭＥ）及び動きベクトル予測が行われる。このプロセスを実行するために、ＭＰＥＧ−２動きベクトル、ルマ動きベクトルＭＶ  １１０６、動きベクトル平滑化１１０８、及び非因果動きベクトル１１１０を含む様々な入力が受信される。次に、プロセス１１００は、ブロック１１１２に進み、動きベクトル探索アルゴリズム又は方法、例えばヘキサゴナル又はダイヤモンド探索方法、が実行される。ブロック１１１２におけるプロセスへの入力は、ブロック１１１４によって示されるように絶対値差分和（ＳＡＤ）、二乗差分和（ＳＳＤ）、及び／又はその他のメトリックスを含むことができる。動きベクトル探索が行われた時点で、プロセス１１００は、終了ブロック１１１６に進み、終了処理が行われる。次に、プロセス１００は、出力ブロック１１１８において終了し、ブロックサイズ、動きベクトル（ＭＶ）、歪みメトリックス、及び基準フレーム識別子の出力を生み出す。
【０２１２】
基本層及び拡張層に関するスケーラビリティＲ−Ｄ
図１３は、スケーラビリティＲ−Ｄモジュール７１８によって実行することができるスケーラビリティプロセス１３００の典型的流れ図を示す。プロセス１３００は、開始ブロック１３０２において開始し、ブロック１３０４に進み、スケーラビリティＲ−Ｄモジュール７１８は、動き推定モジュール７２０から入力を受信し、動き推定を行う。動き推定は、ブロック１３０６によって示されるように基本層基準フレーム、拡張層基準フレーム、及びコーディング対象となる原フレームの入力に依存する。該情報は、ＧＯＰパーティショナ６１２によって計算し、例えばメタデータを介してスケーラビリティＲ−Ｄモジュール７１８に通信することができる。プロセス１３００は、ブロック１３０８に進み、データ基本層及び拡張層データのスケーラビリティ情報を決定する。次に、ブロック１３１０において示されるように基本層符号化が行われ、その後にブロック１３１２における拡張層符号化が続く。拡張層の符号化は、ブロック１３１４によって示されるように、層間予測に関する基本層コーディング結果を入力して用いることができ、従って、基本層符号化後に一時的に実行される。この件は、“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING”（２層符号化及び単層復号を有するスケーラブルな映像コーディング）という題名を有する同時係属米国特許出願番号［Ａｔｔｏｒｎｅｙ  ｄｏｃｋｅｔ／ｒｅｆ．  ｎｏ．  ０５００７８］においてさらに説明されている。符号化が完了後は、プロセス１３００は、ブロック１３１６において終了する。
【０２１３】
スライス／マクロブロック順序設定
第１パス部分７０２は、スライス／マクロブロック順序設定モジュール７２２も含み、スライス／マクロブロック順序設定モジュール７２２は、第２パス部分において誤り耐性モジュール７４０から入力を受信し、スライスアライメント情報をモード決定モジュール７１５に提供する。スライスは、独立して復号可能な（エントロピー復号）コーディングされた映像データの塊である。アクセスユニット（ＡＵ）は、正確に１つの主のコーディングされたピクチャを常に含む一組のＮＡＬユニットを各々具備するコーディングされた映像フレームである。主のコーディングされたピクチャに加えて、アクセスユニットは、１つ以上の冗長なコーディングされたピクチャ又コーディングされたピクチャのスライス又はスライスデータパーティションを含まないその他のＮＡＬユニットを内蔵することもできる。アクセスユニットの復号の結果、復号されたピクチャが常に得られる。
【０２１４】
フレームは、最高の時間ダイバーシティを提供する物理層パケットの時分割多重化ブロック（ＴＤＭカプセルと呼ばれる）であることができる。スーパーフレームは、１つの時間単位（例えば、１ｓｅｃ）に対応し、４つのフレームを含む。時間領域においてスライス及びＡＵ境界をフレーム境界にアライメントさせることは、壊れたデータの最も効率的な分離及び局在化が得られる。深いフェード中には、ＴＤＭカプセル内の隣接データのほとんどが誤りによる影響を受ける。時間的ダイバーシティに起因して、残りのＴＤＭカプセルは、無傷の状態になる確率が非常に高い。壊れていないデータは、影響を受けたＴＤＭカプセルから失われたデータを復元する及び隠すために利用することができる。データシンボルが変調する周波数副搬送波における分離を通じて周波数ダイバーシティが達成される周波数領域多重化（ＦＤＭ）に対しても同様の論理が適用される。さらに、無線ネットワークにおいてしばしば適用される（送信機アンテナ及び受信機アンテナにおける分離を通じての）空間ダイバーシティ及びその他の形態のダイバーシティに対しても同様の論理が適用される。
【０２１５】
スライス及びＡＵをフレームにアライメントさせるために、アウターコード（ＦＥＣ）コードブロック生成及びＭＡＣ層カプセル化も同様にアライメントすべきである。図２０は、スライス及びＡＵにおけるコーディングされた映像データ又は映像ビットストリームの構成を示す。コーディングされた映像は、階層化された映像コーディングが適用される１つ以上のビットストリーム、例えば、基本層ビットストリーム及び拡張層ビットストリーム、において構築することができる。
【０２１６】
映像ビットストリームは、図２０においてフレームＩ’２００５、フレーム３’２０１０及びフレームＭ’２０１５によって示されるＡＵを具備する。ＡＵは、スライス１  ２０２０、スライス２  ２０２５、及びスライスＮ  ２０３０によって示されるように、データスライスを具備する。スライスの各始まりは、開始符号によって識別され、ネットワーク適応化に提供される。一般的には、Ｉフレーム又はイントラコーディングされたＡＵは大きく、Ｐフレーム又は順方向の予測されたフレームが後続し、Ｂフレームが後続する。ＡＵを複数のスライスにコーディングすることは、スライス間での空間予測が制限されていること及びスライスヘッダーもオーバーヘッドの一因であることに起因して、コーディングされたビットレートの点で有意なオーバーヘッドコストを発生させる。スライス境界は再同期化地点であり、ＰＬＰが破壊されているときはＰＬＰ内のスライスに誤りが限定され、他方、ＰＬＰが複数のスライス又は複数のスライスの一部を含む場合は、誤りはＰＬＰ内の全スライス又はスライスの一部分に対して影響を及ぼすことになるため、隣接する物理層パケットをスライスに制限することは誤りを制御する。
【０２１７】
Ｉフレームは典型的に大きく、例えば数十キロビット程度であるため、複数のスライスに起因するオーバーヘッドは、Ｉフレームのサイズ全体又は総ビットレートの大きな割合ではない。さらに、イントラコーディングされたＡＵ内により多くのスライスを有することは、より良い及びより頻繁な再同期化及びより効率的な空間的誤りの隠蔽を可能にする。さらに、Ｐ及びＢフレームは、Ｉフレームから予測されるため、Ｉフレームは、映像ビットストリームにおいて最も重要な情報を搬送する。Ｉフレームは、チャネル取得に関するランダムアクセスポイントとしての働きもする。
【０２１８】
次に図２１に関して、Ｉフレームをフレーム境界に慎重にアライメントさせ、Ｉ  ＡＵを有するスライスを同じくフレーム境界に慎重にアライメントさせることは、最も効率的な誤り制御、誤り保護を可能にする（フレーム１  ２１０５に属する１つのスライスが失われた場合、フレーム２  ２１１０はフレーム１  ２１０５から有意な時間だけ分離されているので無傷の状態である確率が高いため、再同期化及び誤り隠蔽を通じて誤りからの回復を行うことができる）。
【０２１９】
Ｐフレームは、典型的には、数キロビット程度の大きさが設定されているため、Ｐフレームのスライス及び整数のＰフレーム数をフレーム境界にアライメントさせることは、（Ｉフレームに関する理由と同様の理由で）悪影響を及ぼすような効率損失のない誤り耐性を可能にする。該側面においては時間的誤り隠蔽を採用することができる。代替として、連続するＰフレームが異なるフレームで到着するように分散させることは、Ｐフレーム間における追加の時間的ダイバーシティを提供し、このことは、時間的隠蔽が以前に再構築されたＩ又はＰフレームからの動きベクトル及びデータに基づくことに起因して可能になる。Ｂフレームは、極端に小さい（数百ビット）から中程度（数千ビット）であることができる。従って、整悪影響を及ぼす効率損失なしで誤り耐性を達成させるためには整数のＢフレームをフレーム境界にアライメントさせることが望ましい。
【０２２０】
モード決定モジュール
図１２は、モード決定モジュール７１５の幾つかの動作例を示す。示されるように、プロセス１２００は、入力ブロック１２０２において開始する。一説明例においては、モード決定モジュール７１５に入力される様々な情報は、スライス型と、Ｉｎｔｒａ４×４ｃｏｓｔと、Ｉｎｔｒａ１６×１６ｃｏｓｔと、ＩｎｔｒａＵＶ８×８ｃｏｓｔと、ＩｎｔｒａＹ  １６×１６  Ｍｏｄｅと、ＩｎｔｒａＵＶ  Ｍｏｄｅと、動きベクトルデータ（ＭＶＤ）と、量子化パラメータ（ＱＰ）と、ＳｐＰｒｅｄＭＢ４×４Ｙと、ＳｐＰｒｅｄＭＢ１６×１６Ｙと、ＳｐＰｒｅｄＭＢ８×８Ｕと、ＳｐＰｒｅｄＭＢ８×８Ｖと、レート歪みフラッグと、生ＹＭＢ画素と、生ＵＭＢ画素と、生ＶＭＢ画素と、を含む。次に、プロセス１２００は、ブロック１２０４符号化初期設定に進み、ブロック１２０４符号化初期設定は、ブロック１２０６によって示されるように符号器初期設定を指示する入力信号又はインタフェースによって開始させることができる。初期設定は、許容されたモード（スキップ、指示を含む）を設定することと、モード重みを設定することと（要求される場合であり、デフォルトは、全モードに関して等しい重みになる）、バッファを設定すること、とを含むことができる。初期設定後は、プロセス１２００は、ブロック１２０８に進み、モード決定に関する主処理が行われ、各々の許容されたモードに関するマクロブロック（ＭＢ）モードコストの計算、重み付け係数による各ＭＢモードコストの重み付け、及び最低ＭＢモードコストモードを選択することを含む。これらの動作に関わる入力は、ブロック１２１０及び１２１２によって示されるように、動き推定（例えば、ＭＶＤ及び予測）と、空間的予測（例えば、すべてのイントラコスト及び予測）と、を含む。モード決定モジュール７１５には、特に圧縮率を向上させるブロック１２１４のエントロピー符号化がインタフェースされている。次に、プロセス１２００は、ブロック１２１６に進み、符号器第２パス部分７０６に情報を渡すようにバッファが更新される。最後に、プロセス１２００は、ブロック１２１８に進み、“最良の”符号化モードを符号器第２パス部分７０６に通信することができる。
【０２２１】
符号器第２パス部分
再度図７に関して、符号器２２８の第２パス部分７０６は、符号化の第２パスを行うための第２パス符号器モジュール２３２を含む。第２パス符号器２３２は、モード決定モジュール７１５から出力を受信する。第２パス符号器２３２は、ＭＣ／変換量子化モジュール７２６と、ジグザグ（ＺＺ）／エントロピー符号器７２８と、を含む。第２パス符号器２３２の結果は、スケーラビリティモジュール７３０及びビットストリームパッキングモジュール７３１に出力され、該モジュールは、符号化された基本層及び拡張層を（図２に示される）同期化層２４０を介してトランスコーダ２００による送信のために出力する。図２に示されるように、第２パス符号器２３２及び再符号器２３４からの基本層及び拡張層が同期化層２４０によってアセンブルされ、基本層と、拡張層と、データＰＥＳ２４４（例えば、ＣＣ及びその他のテキストデータ）と、音声ＰＥＳ２４６と、を含むパケット化されたＰＥＳ２４２になることが注記される。音声符号器２３６は、復号された音声情報２１８を受信し、代わりに、情報を符号化して符号化された情報２３８を同期化層２４０に出力する。
【０２２２】
再符号器
再度図７に関して、符号器第２パス部分７０６は、図２の再符号器２３４に対応する再符号器２３４も含む。再符号器２３４は、第１パス部分７０２の出力も受信し、ＭＣ／変換量子化７２６及びＺＺ／エントロピーコーディング７２８部分を含む。さらに、スケーラビリティモジュール７３０は、再符号器２３４に出力する。再符号器２３４は、再符号化の結果得られた基本層及び拡張層を、シンクロナイザ（例えば、図２に示される同期化層２４０）への送信のためにビットストリームパッキングモジュール７３１に出力する。図７の符号器２２８例は、（例えば、圧縮効率を向上させるために）第２パス符号化を微調整するのを援助するために第２パス符号器２３２内のＭＣ／変換量子化モジュール２３４及び再符号器２３４内のＺＺ／エントロピーモジュール７３６の両方にビットストリームパッキングフィードバックを提供するレート制御微調整モジュール７３８も含む。
【０２２３】
誤り耐性モジュール
図７に示される符号器２２８例は、第２パス部分７０６内の誤り耐性モジュール７４０も含む。誤り耐性モジュール７４０は、ビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２と通信する。誤り耐性モジュール７４０は、プリプロセッサ２２８からメタデータを受信し、誤り耐性方式、例えば、スライス及びアクセスユニットをフレーム境界にアライメントさせること、予測階層及び選択的イントラリフレッシュ、を選択する。誤り耐性方式の選択は、メタデータ内で受信された情報、又はビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２から誤り耐性モジュールに通信された情報に基づくことができる。誤り耐性モジュール７４０は、選択された誤り耐性プロセスを実装するために第１パス部分７０２内のスライス／マクロブロック（ＭＢ）順序設定モジュールに情報を提供する。誤りが発生しやすい環境を通じての映像送信は、より明瞭でより少ない誤りを含むデータを視聴者に提示することができる誤り耐性戦略及びアルゴリズムを採用することができる。以下の誤り耐性に関する説明は、個々の既存の又は将来の用途、トランスポート及び物理層又はその他の技術、又はその組合せに対して適用することができる。有効な誤り頑健性アルゴリズムは、ＯＳＩ層間での誤りが発生しやすい性質及び誤り保護能力に関する理解を、通信システムの望ましい性質、例えば低レーテンシー及び高スループットと関連して統合したものである。誤り耐性処理は、マルチメディアデータのコンテンツ情報、例えば、マルチメディアデータのコンテンツ分類に基づくことができる。主な利点の１つは、フェーディング及びマルチパスチャネルに関する誤りからの回復力である。後述される誤り耐性手法は、符号器２２８内に（特に、誤り耐性モジュール７４０及びスライス／ＭＢ順序設定モジュール７２２内に）組み込むことができるプロセスに特に関連するものであり、誤りが発生しやすい環境におけるデータ通信に一般的に拡大することができる。
【０２２４】
誤り耐性
予測に基づくハイブリッド圧縮システムに関して、イントラコーディングされたフレームは、時間的な予測なしで独立してコーディングされる。インターコーディングされたフレームは、過去のフレーム（Ｐフレーム）及び将来のフレーム（Ｂフレーム）から時間的に予測することができる。最良の予測子（ｐｒｅｄｉｃｔｏｒ）は、基準フレーム（１つ以上）内での探索プロセスを通じて識別することができ、最良のマッチを識別するためにＳＡＤ等の歪み評価基準が用いられる。現在のフレームの予測コーディングされた領域は、様々なサイズ及び形状のブロック（１６×１６、３２×３２、８×４等）又は例えばセグメンテーションを通じてオブジェクトとして識別された画素グループであることができる。
【０２２５】
時間的予測は、典型的には数多くのフレーム（例えば、１０乃至数１０のフレーム）にわたって拡大し、フレームがＩフレームとしてコーディングされたときに終了され、ＧＯＰは、典型的にはＩフレーム周波数によって定義される。最高のコーディング効率を達成させるためには、例えばＧＯＰはシーンであり、ＧＯＰ境界がシーンの境界とアライメントされ、シーン変化フレームがＩフレームとしてコーディングされる。動きが少ないシーケンスは、相対的に静止した背景を具備し、動きは、一般的には前景オブジェクトに制限される。該少ない動きのシーケンスのコンテンツ例は、最も視聴されているコンテンツの３０％超がこの性質を有するニュース番組及び天気予報番組を含む。動きが少ないシーケンスにおいては、領域のほとんどがインターコーディングされ、予測されたフレームは、中間の予測されたフレームを通じてＩフレームを再参照する。
【０２２６】
図２２に関して、Ｉフレーム内のイントラコーディングされたブロック２２０５は、コーディングされたフレーム（又はＡＵ）Ｐ１内のインターコーディングされたブロック２２１０に関する予測子である。この例においては、これらのブロックの領域は、背景の静止部分である。イントラコーディングされたブロック２２０５の誤りに対する感度は、その“重要度”がより高いことも意味する“優れた”予測子であるため、連続的な時間的予測を通じて上昇する。さらに、イントラコーディングされたブロック２２０５は、予測チェーンと呼ばれるこの時間的予測チェーンのおかげで、ディスプレイ内により長い時間（図内の例におけるシーンの継続時間）持続する。
【０２２７】
予測階層は、この重要度レベル又は持続性評価基準に基づいて生成され、親（イントラコーディングされたブロック２２０５）が最上部、子供が最下部に位置するブロックツリーであると定義される。Ｐ１内のインターコーディングされたブロック２１５は、予測階層の第２のレベル上にあり、以下同様であることに注目すること。葉は、予測チェーンを終了させるブロックである。
【０２２８】
予測階層は、コンテンツの種類（ニュースだけでなく、例えば音楽及びスポーツ）に関わりなく映像シーケンスに関して生成することができ、予測に基づく映像（及びデータ）圧縮全般に適用可能である（このことは、本特許出願において説明される全発明に適用される）。予測階層が構築された時点で、後述される誤り耐性アルゴリズム、例えば適応型イントラリフレッシュ、は、より効果的に適用することができる。重要度評価基準は、例えば隠蔽動作及び適応型イントラリフレッシュを適用してコーディングされたビットストリームの誤り耐性を向上させることを通じての所定のブロックの誤りからの回復能力に基づくことができる。重要度評価基準に関する推定は、ブロックが持続性メトリックスとも呼ばれる予測子として用いられる回数に基づくことができる。持続性メトリックスは、予測誤りの伝播を抑止することによってコーディング効率を向上させるためにも用いられる。持続性メトリックスは、より高い重要度を有するブロックに関するビット割り当ても増大させる。
【０２２９】
適応型イントラリフレッシュ
適応型イントラリフレッシュは、マルチメディアデータのコンテンツ情報に基づくことができる誤り耐性技術である。イントラリフレッシュプロセスにおいては、幾つかのＭＢは、標準的なＲ−Ｄ最適化がインターコーディングされたＭＢであることを要求するにもかかわらずイントラコーディングされる。ＡＩＲは、イントラコーディングされたＭＢをＰ又はＢフレーム内に導入するために動き重み付きイントラリフレッシュを採用する。これらのイントラコーディングされたＭＢは、基本層内に含まれ、ＱＰｂ又はＱＰｅのいずれかによって符号化することができる。ＱＰｅが基本層に関して用いられる場合は、拡張層ではリファインメントは行われるべきではない。ＱＰｂが基本層に関して用いられる場合は、リファインメントが適しており、リファインメントが行われない場合は、拡張層において品質低下が顕著になる。インターコーディングは、コーディング効率の点でイントラコーディングよりも効率的であるため、拡張層におけるこれらのリファインメントは、インターコーディングされる。この方法により、基本層係数は拡張層に関しては用いられず、拡張層においては新たな動作を導入せずに品質が向上される。
【０２３０】
幾つかの側面においては、適応型イントラリフレッシュは、動き重み付きの代わりに又は動き重み付きに加えてマルチメディアデータのコンテンツ情報（例えば、コンテンツ分類）に基づくことができる。例えば、コンテンツ分類が相対的に高い（例えば、シーンが大きい空間的及び時間的複雑さを有する）場合は、適応型イントラリフレッシュは、相対的により多くのイントラコーディングされたＭＢをＰ又はＢフレーム内に導入することができる。代替として、コンテンツ分類が相対的に低い（動きがより少なく、小さい空間的及び／又は時間的複雑さを有するシーンであることを示す）場合は、適応型イントラリフラッシュは、より少ないイントラコーディングされたＭＢをＰ又はＢフレーム内に導入することができる。誤り耐性を向上させるための該メトリックス及び方法は、無線マルチメディア通信の状況のみではなく、（例えば、グラフィックスレンダリングにおける）データ圧縮及びマルチメディア処理全般に関しても適用することができる。
【０２３１】
チャネルスイッチフレーム
本明細書において定義されるチャネルスイッチフレーム（ＣＳＦ）は、高速チャネル取得及び放送マルチプレックス内のストリーム間での高速チャネル変更を目的として放送ストリーム内の該当位置に挿入されたランダムアクセスフレームを表す広義の用語である。チャネルスイッチフレームは、主フレームが誤りを有する状態で送信された場合に用いることができる冗長データを提供するため、誤り頑健性も向上させる。典型的には、Ｉフレーム又はプログレッシブＩフレーム、例えば、Ｈ．２６４内のプログレッシブ復号器リフレッシュフレームがランダムアクセスポイントとして機能する。しかしながら、頻繁なＩフレーム（又はシーン継続時間よりも短い、短いＧＯＰ）は、圧縮効率の有意な低下に至る。イントラコーディングされたブロックは誤り耐性に関して用いることができるため、ランダムアクセス及び誤り耐性を予測階層を通じて実効的に結合させることで誤り頑健性を向上させる一方でコーディング効率を向上させることができる。
【０２３２】
ランダムアクセス切り換え及び誤り頑健性の向上は、協調して達成させることができ、コンテンツ分類等のコンテンツ情報に基づくことができる。少ない動きのシーケンスに関しては、予測チェーンは長く、スーパーフレーム又はシーンを再構築するのに必要な情報の有意な部分は、そのシーンの開始時に生じたＩフレームに内蔵されている。チャネルの誤りはバースト性になる傾向があり、フェードが著しくＦＥＣ及びチャネルコーディングが失敗したときには、隠蔽することができない大きな残留誤りが存在する。この状態は少ない動き（従って低ビットレート）のシーケンスの場合に特に激しく、その理由は、コーディングされたデータ量が映像ビットストリーム内において良好な時間ダイバーシティを提供する上で十分でないこと及びこれらのシーケンスはすべてのビットが再構築に役立つようにする圧縮可能性が高いシーケンスであることである。多い動きのシーケンスは、コンテンツの性質に起因して誤りに対する頑健性がより高く、すべてのフレーム内のより多くの新しい情報が、独立して復号可能であって誤り耐性が本質的により高いコーディングされたイントラブロック数を増加させる。予測階層に基づく適応型イントラリフレッシュは、多い動きのシーケンスに関して高い性能を達成させ、少ない動きのシーケンスに関しては性能の向上はそれほどではない。従って、少ない動きのシーケンスに関しては、Ｉフレームのうちのほとんどを含むチャネルスイッチフレームが優れたダイバーシティ源である。誤りがスーパーフレームに悪影響を与えた場合は、後続フレーム内での復号は、予測に起因する失われた情報を復元させるＣＳＦから開始し、誤り耐性が達成される。
【０２３３】
多い動きのシーケンス、例えば相対的に高いコンテンツ分類（例えば、６乃至８）を有するシーケンス、の場合は、ＣＳＦは、ＳＦ内において持続するブロック−優れた予測子であるブロックから成ることができる。ＣＳＦのその他のすべての領域は、イントラブロックで終了されることを意味する短い予測チェーンを有するブロックであるためコーディングする必要がない。従って、ＣＳＦは、誤り発生時に予測に起因する失われた情報から回復する働きを依然として行う。少ない動きのシーケンスに関するＣＳＦは、Ｉフレームの大きさと同等であり、より大きな量子化を通じてより低いビットレートでコーディングすることができ、多い動きのシーケンスに関するＣＳＦは、対応するＩフレームよりもはるかに小さい。
【０２３４】
予測階層に基づく誤り耐性は、スケーラビリティに関して適切に機能し、効率の高い階層化コーディングを達成することができる。物理層技術における階層的変調をサポートするスケーラビリティは、特定の帯域幅比による映像ビットストリームのデータパーティショニングを要求することがある。これらの帯域幅比は、（例えば、最低のオーバーヘッドを有する）最適なスケーラビリティに関する常に理想的な比であるわけではない。幾つかの側面においては、１：１の帯域幅比を有する２層スケーラビリティが用いられる。映像ビットストリームを等しい大きさの２層にパーティショニングすることは、少ない動きのシーケンスに関しては効率的でない場合がある。少ない動きのシーケンスの場合は、すべてのヘッダー情報及びメタデータ情報を含む基本層は、拡張層よりも大きい。しかしながら、少ない動きのシーケンスに関するＣＳＦのほうが大きいため、拡張層内の残りの帯域幅内に適切に納まる。
【０２３５】
多い動きのシーケンスは、１：１までのデータパーティショニングを最低のオーバーヘッドで達成することができる十分な残存情報を有する。さらに、該シーケンスに関するチャネル切り換えフレームは、 多い動きのシーケンスに関するほうがはるかに小さい。従って、予測階層に基づく誤り耐性は、多い動きのシーケンスに関するスケーラビリティに関しても同様に適切に機能する。これらのアルゴリズムに関する説明に基づき、中度動きクリップに関して上述される概念を拡大させることが可能であり、提案される概念は、映像コーディング全般に関して適用される。
【０２３６】
マルチプレクサ
幾つかの符号器側面においては、符号器によって生成されて符号化されたビットを放送用に準備するために用いられる複数のマルチメディアストリームを符号化するためにマルチプレクサを用いることができる。例えば、図２に示される符号器２２８の例示的側面においては、同期化層２４０は、マルチプレクサを具備する。マルチプレクサは、ビットレート割り当て制御を提供するために実装することができる。推定される複雑さをマルチプレクサに提供することができ、マルチプレクサは、多重化された映像チャネルの集合に関して予想される符号化の複雑さに従ってこれらの多重化された映像チャネルに関して利用可能な帯域幅を割り当てることができ、多重化された映像ストリームの集合に関する帯域幅が相対的に一定である場合でも特定のチャネルの品質を相対的に一定に維持するのを可能にする。このことは、チャネルの集合内のチャネルが、相対的に一定のビットレート及び可変の視覚品質ではなく、可変のビットレート及び相対的に一定の視覚品質を有するようにする。
【０２３７】
図１８は、複数のマルチメディアストリーム又はチャネル１８０２を符号化するシステムを示すブロック図である。マルチメディアストリーム１８０２は、マルチプレクサ（ＭＵＸ）１８０６と通信状態にある各々の符号器１８０４によって符号化され、マルチプレクサ（ＭＵＸ）１８０６は、送信媒体１８０８と通信状態にある。例えば、マルチメディアストリーム１８０２は、様々なコンテンツチャネル、例えば、ニュースチャネル、スポーツチャネル、映画チャネル等に対応することができる。符号器１８０４は、システムに関して規定された符号化形式に従ってマルチメディアストリーム１８０２を符号化する。開示される技術の原理及び利点は、映像ストリームの符号化に関して説明されている一方で、例えば音声ストリームを含むマルチメディアストリームに対しても一般的に適用可能である。符号化されたマルチメディアストリームは、マルチプレクサ１８０６に提供され、マルチプレクサ１８０６は、様々な符号化されたマルチメディアストリームを結合させて結合されたストリームを送信のために送信媒体１８０８に送信する。
【０２３８】
送信媒体１８０８は、様々な媒体、例えば、限定することなしに、デジタル衛星通信、例えば、ＤｉｒｅｃｔＴＶ（登録商標）、デジタルケーブル、有線及び無線のインターネット通信、光ネットワーク、携帯電話ネットワーク等に対応することができる。送信媒体１８０８は、例えば、無線周波数（ＲＦ）への変調を含むことができる。典型的には、スペクトル上の制約等に起因して、送信媒体は、制限された帯域幅を有し、マルチプレクサ１８０６から送信媒体へのデータは、相対的に一定のビットレート（ＣＢＲ）で維持される。
【０２３９】
従来のシステムにおいては、マルチプレクサ１８０６の出力部において一定のビットレート（ＣＢＲ）を使用することは、マルチプレクサ１８０６に入力される符号化されたマルチメディア又は映像ストリームもＣＢＲであることを要求することがある。背景技術において説明されるように、映像コンテンツを符号化時におけるＣＢＲの使用は、結果的に可変の視覚品質が得られる可能性があり、典型的には望ましくない。
【０２４０】
例示されるシステムにおいては、符号器１８０４のうちの２つ以上は、入力データの予想される符号化上の複雑さを通信する。符号器１８０４のうちの１つ以上は、それに応答して、適応されたビットレート制御をマルチプレクサ１８０６から受信する。このことは、相対的に複雑な映像を符号化することを予想する符号器１８０４がこれらの映像フレームに関するより高いビットレート又はより高い帯域幅（１フレーム当たりより多くのビット）を疑似可変ビットレートの形で受信することを可能にする。このことは、マルチメディアストリーム１８０２を一貫した視覚品質で符号化するのを可能にする。相対的に複雑な映像を符号化する特定の符号器１８０４によって用いられる余分の帯域幅は、本来であれば符号器が一定のビットレートで動作するために実装された場合にその他の映像ストリーム１８０４を符号化するために用いられていたことになるビットから得られる。このことは、マルチプレクサ１８０６の出力を一定のビットレート（ＣＢＲ）に維持する。
【０２４１】
個々のマルチメディアストリーム１８０２は、相対的に“バースト性”を有する可能性がある、すなわち使用される帯域幅が変動する可能性がある一方で、複数の映像ストリームの累積和は、それよりもバースト性が低くなることができる。複雑さがより小さい映像を符号化中のチャネルからのビットレートは、例えばマルチプレクサ１８０６によって、相対的に複雑な映像を符号化中のチャネルに再割り当てすることができ、このことは、結合された映像ストリーム全体の視覚品質を向上させることができる。
【０２４２】
符号器１８０４は、符号化してひとつに多重化すべき一組の映像フレームの複雑さの表示をマルチプレクサ１８０６に提供する。マルチプレクサ１８０６の出力は、送信媒体１８０８に関して規定されるビットレートよりも高くない出力を提供すべきである。複雑さの表示は、上述されるコンテンツ分類に基づき、選択されたレベルの品質を提供することができる。マルチプレクサ１００６は、複雑さの表示を解析し、割り当てられたビット数又は帯域幅を様々な符号器１００４に提供し、符号器１８０４は、この情報を用いて組内の映像フレームを符号化する。このことは、一組の映像フレームを個々に可変ビットレートにし、その一方でグループとして一定のビットレートを達成するのを可能にする。
【０２４３】
コンテンツ分類は、品質に基づくマルチメディアの圧縮全般をあらゆる一般的圧縮器に関して可能にする際に用いることができる。本明細書において説明されるコンテンツ分類及び方法及び装置は、品質に基づく及び／又はコンテンツに基づくマルチメディアデータ処理の際に用いることができる。一例は、一般的圧縮器に関するマルチメディア全般の圧縮において使用することである。他の例は、伸長器又は復号器又はポストプロセッサにおける伸長又は復号、例えば、補間、リサンプリング、拡張、回復及び提示動作、における使用である。
【０２４４】
次に図１９に関して、典型的映像通信システムは、通信ネットワークによって接続された映像符号器及び映像復号器からなる映像圧縮システムを含む。無線ネットワークは、通信チャネルが経路損失に加えて移動シナリオにおける対数正規フェーディング又はシャドーイング及び多経路フェーディングを呈する１つのクラスの誤りが発生しやすいネットワークである。チャネル上の誤りに対処してアプリケーション層データに関して信頼できる通信を提供するため、ＲＦ変調器は、インターリーバーを含む順方向誤り訂正と、畳み込み又はターボ符号化等のチャネルコーディングと、を含む。
【０２４５】
映像圧縮は、ソース映像における冗長性を低下させ、コーディングされた映像データの各ビットにおいて搬送される情報量を増大させる。このことは、コーディングされた映像のうちの小さい部分さえも失われたときに品質上の影響を増大させる。映像圧縮システムに内在する空間的及び時間的予測は、損失を悪化させて誤りを伝搬させ、その結果、再構築された映像内において可視のアーティファクトを発生させる。映像符号器における誤り耐性アルゴリズム及び映像復号器における誤り回復アルゴリズムは、映像圧縮システムの誤り頑健性を向上させる。
【０２４６】
典型的には、映像圧縮システムは、基礎となるネットワークにとらわれない。しかしながら、誤りが発生しやすいネットワークにおいては、アプリケーション層における誤り保護アルゴリズムをリンク／物理層におけるＦＥＣ及びチャネルコーディングと統合するか又は整合させることが非常に望ましく、システムの誤り性能を向上させる際に最も高い効率を提供する。
【０２４７】
図１４は、フレームを符号化するために符号器２２８において発生する可能性があるレート−歪みデータフローの一例を示す。プロセス１４００は、開始１４０２において開始し、決定ブロック１４０４に進み、決定ブロック１４０４において、シーン変化検出器入力１４１０を（例えば、メタデータを介して）プリプロセッサ２２６から受信し、誤り耐性入力１４０６が取得される。選択されたフレームがＩフレームであることを情報が示す場合は、プロセスは、フレームをイントラ符号化する。選択されたフレームがＰ又はＢフレームであることを情報が示す場合は、プロセスは、イントラコーディング及び動き推定（インター）コーディングを用いてフレームを符号化する。
【０２４８】
ブロック１４０４の条件に関して肯定的な状態が生じた後に、プロセス１４００は、準備ブロック１４１４に進み、レートＲは、Ｒ−Ｄ曲線に基づく希望される目標品質である値 Ｒ＝Ｒｑｕａｌに設定される。この設定は、Ｒ−Ｄ曲線を具備するデータブロック１４１６から受信される。次に、プロセス１４００は、ブロック１４１８に進み、ブロック１４２０のコンテンツ分類プロセスからの画像／映像活動情報（例えば、コンテンツ分類）に基づいてレート制御ビット割り当て｛Ｑｐｉ｝が行われる。
【０２４９】
レート制御ビット割り当てブロック１４１８は、ブロック１４２２において動き推定のために用いられる。動き推定１４２２は、プリプロセッサ１４１２からメタデータの入力を、ブロック１４２４から動きベクトル平滑化（ＭＰＥＧ−２＋履歴）を、ブロック１４２６から複数の基準フレーム（因果＋非因果マクロブロックＭＢ）を受信することもできる。次に、プロセス１４００は、ブロック１４２８に進み、レート制御ビット割り当て（Ｑｐｉ）に関してイントラコーディングされたモードに関するレート計算が決定される。次に、プロセス１４００はブロック１４３０に進み、モード及び量子化パラメータが決定される。ブロック１４３０のモード決定は、ブロック１４２２の入力、誤り耐性１４０６入力、及びブロック１４３２において決定されるスケーラビリティＲ−Ｄに基づいて行われる。モードが決定された時点で、フローはブロック１４３２に進む。ブロック１４３０から１４３２への流れは、データが符号器の第１パス部分から第２パス部分に渡されるときに発生することが注記される。
【０２５０】
ブロック１４３２において、変換及び量子化が符号器２２８の第２のパスによって行われる。変換／量子化プロセスは、ブロック１４４４によって示されるように調整又は微調整される。この変換／量子化プロセスは、レート制御微調整モジュール（図７）による影響を受ける可能性がある。次に、プロセス１４００は、ジグザグソーティング及びエントロピーコーディングを行って符号化された基本層を生成するためにブロック１４３４に進む。ジグザグソーティングは、量子化されたデータを符号化のために効率的な形式で準備する。エントロピーコーディングは、一連のビット符号を用いて一組の可能なシンボルを表す圧縮技術である。図３１乃至３６を参照して前述されるように、変換／量子化ブロック１４３２の拡張層の結果は加算器１４３６にも送信され、加算器１４３６は、基本層を減じてその結果を拡張層に関するＺＺ／エントロピーコーダー１４３８に送信する。追記すると、拡張層は、真のレートのコンテンツ分類１４２０を更新するために及びレート制御によって用いられるビットレートの長期及び短期の履歴を決定する動作のためにフィードバックされる（ライン１４４０の真のレートの更新を参照）。
【０２５１】
図１７Ａは、誤り耐性に関して冗長データを符号化されたデータ内に挿入するためにマルチメディアデータを符号化するプロセスの流れ図であり、符号化することは、コンテンツ情報に基づく。プロセス１７００は、図１７Ｂに示される装置又は本明細書において開示されるトランスコーダ２００を含むその他の構成要素によって実行することができる。プロセス１７００が開始し、ブロック１７０２においてマルチメディアデータのコンテンツ情報を入手する。この入手は、コンテンツ分類器手段、マルチメディアデータのコンテンツ情報を入手するためのモジュール１７１２（図１７Ｂ）又は他の構成要素、例えば図７のコンテンツ分類器７１２、によって行うことができる。次に、プロセス１７００は、ブロック１７０４に進み、マルチメディアデータを符号化して符号化されたビットストリームを形成し、符号化することは、コンテンツ情報に基づいて、イントラコーディングされたデータから成る少なくとも１つの冗長ブロックを符号化されたビットストリーム内に挿入することを含む。このことは、符号化手段、マルチメディアデータを符号化するためのモジュール１７１４（図１７Ｂ）、又は他の例においてはトランスコーダ２００（図７）によって行うことができる。データ境界を時間境界とアライメントさせることは、誤り耐性を得ることができる。コンテンツ分類は、マルチメディアデータの複雑さに基づくことができ、複雑さは、空間的複雑さと、時間的複雑さと、を具備する。挿入される冗長データ量は、マルチメディアデータの複雑さに反比例することができる。イントラコーディングされたデータは、少なくとも１つの冗長データフレームを含むことができ、少なくとも１つの冗長データフレームは、Ｉフレーム、又はＩフレームの実質的な全体を含む。イントラコーディングされたデータから成る少なくとも１つの冗長フレームは、チャネルスイッチフレームを含むことも可能である。
【０２５２】
図１７Ｂは、図１７Ａに示されるプロセス１７００を実行することができる符号化装置１７１０のブロック図である。装置１７１０は、コンテンツ分類手段、例えばマルチメディアデータのコンテンツ情報を入手するためのモジュール１７１２、を含むことができる。コンテンツ分類手段の例も図７を参照して例示及び説明されている（例えば、コンテンツ分類モジュール７１４）。幾つかの側面においては、コンテンツ分類手段は、プリプロセッサ、符号器、又はトランスコーダ内に組み入れることができる。装置１７１０は、時間領域においてデータ境界をフレーム境界とアライメントさせるためにマルチメディアデータを符号化するためのモジュールであって、図１７Ａのブロック１７０４において説明される符号化を行うことができる符号化手段１７１４も含む。該機能は、符号器又はトランスコーダ内に含めることができる。例えば、トランスコーダ２００は、図１７Ａのブロック１７０４において説明される符号化を行うことができる符号化手段も含む。
【０２５３】
図２３、２４、２７及び２８は、本明細書において説明される側面を具体化するマルチメディアデータ符号化方法の典型例を示すプロセス流れ図である。図２３は、コンテンツ情報に基づいてマルチメディアデータを符号化するプロセス２３００を示すプロセス流れ図である。ブロック２３０５において、プロセス２３００は、符号化されたマルチメディアデータを受信し、ブロック２３１０において、プロセス２３００は、マルチメディアデータを復号する。ブロック２３１５において、プロセス２３００は、復号されたマルチメディアデータと関連づけられたコンテンツ情報を決定する。ブロック２３２０において、プロセス２３００は、コンテンツ情報に基づいてマルチメディアデータを符号化する。
【０２５４】
図２４は、コンテンツ情報レベルに基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化するプロセス２４００を示すプロセス流れ図である。ブロック２４０５において、プロセス２４００は、マルチメディアデータと関連づけられたコンテンツ情報を入手し、このことは、例えばプリプロセッサ２２６又は図７に示されるコンテンツ分類モジュール７１２によって行うことができる。ブロック２４１０において、プロセス２４００は、コンテンツ情報に基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化する。例えば、スライス境界及びアクセスユニット境界は、符号化中のマルチメディアデータのコンテンツ分類に基づいてフレーム境界とアライメントされる。符号化されたデータは、後続する処理及び／又はモバイルデバイスへの送信のために利用可能であり、プロセス２４００が終了する。
【０２５５】
図２７は、コンテンツ情報に基づいて適応型イントラリフレッシュ方式を用いてデータを符号化するプロセス２７００を示すプロセス流れ図である。プロセス２７００が開始するときには、マルチメディアデータが入手されている。ブロック２７０５において、プロセス２７００は、マルチメディアデータのコンテンツ情報を入手する。コンテンツ情報を入手することは、例えば、プリプロセッサ２２６又は上述されるコンテンツ分類モジュール７１２によって行うことができる。プロセス２７００は、ブロック２７１０に進み、適応型イントラリフレッシュ誤り耐性方式を用いてマルチメディアデータを符号化し、適応型イントラリフレッシュ誤り耐性方式は、コンテンツ情報に基づく。ブロック２７１０の機能は、符号器２２８によって行うことができる。符号化されたデータは、後続する処理及び送信に関して利用可能になり、プロセス２７００が終了する。
【０２５６】
図２８は、マルチメディアコンテンツ情報に基づいて冗長Ｉフレームを用いてマルチメディアデータを符号化するプロセスを示すプロセス流れ図である。プロセス２８００が開始する時点で、マルチメディアデータを処理に関して利用可能である。ブロック２８０５において、プロセス２８００は、マルチメディアデータのコンテンツ情報を入手する。上述されるように、このことは、例えば、プリプロセッサ２２６及び／又は符号器２２８によって行うことができる。ブロック２８１０において、プロセス２８００は、コンテンツ情報に基づいて１つ以上の追加のＩフレームを符号化されたデータ内に挿入するためにマルチメディアデータを符号化する。この符号化は、誤り耐性方式と関連して上述されるように符号器２２８によって行うことができ、採用された誤り耐性方式に依存して基本層又は拡張層内にＩフレームを挿入する。ブロック２８１０後は、符号化されたデータは、後続する処理及び／又はモバイルデバイスへの送信に関して利用可能である。
【０２５７】
本明細書において説明される方法は、当業者によって知られる様々な通信ハードウェア、プロセッサ及びシステムにおいて実装できることが注目されるべきである。例えば、クライアントが本明細書において説明されるように動作するための一般要件は、クライアントが、コンテンツ及び情報を表示するためのディスプレイと、クライアントの動作を制御するためのプロセッサと、クライアントの動作に関連するデータ及びプログラムを格納するためのメモリと、を有することである。一側面においては、クライアントは、携帯電話である。他の側面においては、クライアントは、通信能力を有するハンドヘルドコンピュータである。さらに他の側面においては、クライアントは、通信能力を有するパソコンである。さらに、様々な側面を実装するためにＧＰＳ受信機等のハードウェアをクライアント内に組み入れることができる。本明細書において開示される側面に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路は、本明細書において説明されている機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成品、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替として、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。
【０２５８】
本明細書において開示される側面に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路は、本明細書において説明される機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成品、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替として、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。
【０２５９】
開示される方法及び装置は、１つの形式で符号化された映像データを、符号化が映像データのコンテンツに基づいており符号化が誤りに対する耐性を有する他の形式に符号化された映像データにトランスコーディングすることを提供する。本明細書において開示される例に関連して説明される方法又はアルゴリズムは、ハードウェア内において直接具体化させること、プロセッサによって実行されるソフトウェアモジュール内において具体化させること、又はこれらの２つの組合せにおいて具体化させることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ、又は当業において既知であるその他のあらゆる形態の記憶媒体に常駐することができる。１つの典型的な記憶媒体をプロセッサに結合させ、プロセッサが記憶媒体から情報を読み出すようにすること及び記憶媒体に情報を書き込むようにすることができる。代替として、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、ＡＳＩＣ内に常駐することができる。ＡＳＩＣは、ユーザー端末内に常駐することができる。代替として、プロセッサ及び記憶媒体は、ユーザー端末内において個別構成要素として常駐することができる。
【０２６０】
上述される例は、単なる典型例であるにすぎず、当業者は、本明細書において開示される発明概念から逸脱せずに上述される例を数多く利用すること及び逸脱することができる。これらの例に対する様々な修正は、当業者にとっては容易に明確になるであろう。本明細書において定められている一般原理は、本発明において説明される斬新な側面の精神及び適用範囲を逸脱しない形で例えば瞬時メッセージ送信サービス又は一般的な無線データ通信用途におけるその他の例に対しても適用可能である。以上のように、本開示の適用範囲は、本明細書において示される例に限定されることを意図するものではなく、本明細書において開示される原理及び斬新な特長に一致する限りにおいて最も広範な適用範囲が認められるべきである。本明細書において用いられている“典型的な”という表現は、“1つの例、事例、又は実例”を示すことのみを目的とするものである。このため、本明細書において“典型的な”例として説明されているいずれの例も、その他の例よりも好ましい又は有利であるとは必ずしも解釈すべきではない。従って、本明細書において説明される斬新な側面は、以下の請求項の適用範囲のみによって定義されるべきである。
【図面の簡単な説明】
【０２６１】
【図１Ａ】異なる映像形式間のトランスコーディングのためのトランスコーダを含むメディア放送システムのブロック図である。
【図１Ｂ】マルチメディアデータを符号化し、符号化された第１のデータグループ及び符号化された第２の符号化グループを提供するように構成された符号器のブロック図である。
【図１Ｃ】マルチメディアデータを符号化するように構成されたプロセッサのブロック図である。
【図２】図１のシステムのトランスコーダの例のブロック図である。
【図３】図２のトランスコーダ内において用いられる構文解析器の動作を示す流れ図である。
【図４】図２のトランスコーダ内において用いられる復号器の動作を示す流れ図である。
【図５】図２のトランスコーダによって行われる一連の動作を示す流れ図である。
【図６】図２のトランスコーダにおいて用いることができるプリプロセッサの一連の動作及び機能を示す流れ図である。
【図７】図２のトランスコーダにおいて用いることができる典型的２パス符号器のブロック図である。
【図８】テクスチャ値及び動き値をコンテンツ分類とどのように関連づけるかの一側面を示す分類図例を示した図である。
【図９】例えば図７の符号器内において用いるためのコンテンツ分類に関する典型的動作を示す流れ図である。
【図１０】例えば図７の符号器とともに用いるためのレート制御の動作を示した流れ図である。
【図１１】例えば図７の符号器とともに用いるための典型的動き推定器の動作を示す流れ図である。
【図１２】例えば図７の符号器とともに用いるための典型的モード決定符号器機能の動作を示す流れ図である。
【図１３】図７の符号器において用いるためのスケーラビリティに影響を与える典型的動作を示す流れ図である。
【図１４】例えば図７の符号器において発生するレート歪みデータフローに影響を与える典型的動作を示す流れ図である。
【図１５】符号化の複雑さと、割り当てられたビットと、人間の視覚品質との間の関係を示すグラフである。
【図１６】非線形シーン検出公式を示すグラフである。
【図１７Ａ】誤り耐性に関して冗長データを符号化されたデータ内に挿入するためにマルチメディアデータを符号化するためのプロセスの流れ図であり、符号化することは、前記コンテンツ情報に基づく。
【図１７Ｂ】図１７Ａに示されるプロセス１７００を実行することができる符号化装置１７１０のブロック図である。
【図１８】動き推定／補償を用いたデインターレーシングプロセスを示した図である。
【図１９】マルチメディア通信システムのブロック図である。
【図２０】拡張層及び基本層における映像ビットストリームの構成を示した図である。
【図２１】映像フレーム境界へのスライスのアライメントを示した図である。
【図２２】予測階層を示すブロック図である。
【図２３】コンテンツ情報に基づいてマルチメディアデータを符号化する方法を示すプロセス流れ図である。
【図２４】コンテンツ情報レベルに基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化する方法を示すプロセス流れ図である。
【図２５】データフレームのセーフアクションエリア及びセーフタイトルエリアを示した図である。
【図２６】データフレームのセーフアクションエリアを示した図である。
【図２７】マルチメディアコンテンツ情報に基づいて適応型イントラリフレッシュを用いてマルチメディアデータを符号化するプロセスを示す流れ図である。
【図２８】マルチメディアコンテンツ情報に基づいて冗長なＩフレームを用いてマルチメディアデータを符号化するプロセスを示す流れ図である。
【図２９】現在のフレームと前フレームＭＶＰ及び現在のフレームと次のフレームＭＶＮとの間における動き補償ベクトルを示した図である。
【図３０】ショット検出を示す流れ図である。
【図３１】基本層及び拡張層を示す流れ図である。
【図３２】マクロブロックの符号化を示す概略図である。
【図３３】基本層及び拡張層を符号化するためのモジュールを示す概略図である。
【図３４】基本層及び拡張層の係数選択器プロセスの例を示した図である。
【図３５】基本層及び拡張層の係数選択器プロセスの他の例を示した図である。
【図３６】基本層及び拡張層の係数選択器プロセスの他の例を示した図である。
【図３７】コンテンツ情報に基づくマルチメディアデータの符号化を示す流れ図である。
【図３８】逆テレシネプロセスにおける可能なシステム決定を示した図である。
【図３９】デブロッキングプロセスによってフィルタリングされるマクロブロック内の境界を示した図である。
【図４０】空間−時間的デインターレーシングプロセスを示した図である。
【図４１】１Ｄ多相リサンプリングの例を示した図である。
【図４２】映像ストリーミングにおける適応型ＧＯＰ構造の例を示す流れ図である。
【図１Ａ】
2009510936.tif 000042
【図１Ｂ】
2009510936.tif 000043
【図１Ｃ】
2009510936.tif 000044
【図２】
2009510936.tif 000045
【図３】
2009510936.tif 000046
【図４】
2009510936.tif 000047
【図５】
2009510936.tif 000048
【図６】
2009510936.tif 000049
【図７】
2009510936.tif 000050
【図８】
2009510936.tif 000051
【図９】
2009510936.tif 000052
【図１０】
2009510936.tif 000053
【図１１】
2009510936.tif 000054
【図１２】
2009510936.tif 000055
【図１３】
2009510936.tif 000056
【図１４】
2009510936.tif 000057
【図１５】
2009510936.tif 000058
【図１６】
2009510936.tif 000059
【図１７Ａ】
2009510936.tif 000060
【図１７Ｂ】
2009510936.tif 000061
【図１８】
2009510936.tif 000062
【図１９】
2009510936.tif 000063
【図２０】
2009510936.tif 000064
【図２１】
2009510936.tif 000065
【図２２】
2009510936.tif 000066
【図２３】
2009510936.tif 000067
【図２４】
2009510936.tif 000068
【図２５】
2009510936.tif 000069
【図２６】
2009510936.tif 000070
【図２７】
2009510936.tif 000071
【図２８】
2009510936.tif 000072
【図２９】
2009510936.tif 000073
【図３０】
2009510936.tif 000074
【図３１】
2009510936.tif 000075
【図３２】
2009510936.tif 000076
【図３３】
2009510936.tif 000077
【図３４】
2009510936.tif 000078
【図３５】
2009510936.tif 000079
【図３６】
2009510936.tif 000080
【図３７】
2009510936.tif 000081
【図３８】
2009510936.tif 000082
【図３９】
2009510936.tif 000083
【図４０】
2009510936.tif 000084
【図４１】
2009510936.tif 000085
【図４２】
2009510936.tif 000086
【国際調査報告】
2009510936.tif 000087
2009510936.tif 000088
2009510936.tif 000089