(57)【要約】マルチメディアデータを符号化するのにコンテンツ情報を使用する装置および方法を説明する。マルチメディアデータを処理する方法は、マルチメディアデータを受け取ることと、マルチメディアデータのコンテンツに基づいてマルチメディアデータを第１データグループおよび第２データグループに符号化することであって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化することとを含む。この方法は、マルチメディアデータのコンテンツを分類することと、コンテンツ分類に基づいてマルチメディアデータを符号化することとをも含むことができる。
2009510933.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアデータを処理する方法、該方法は下記を備える：
マルチメディアデータを受け取ること；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを第１データグループおよび第２データグループに符号化すること、ここで、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。
【請求項２】
請求項１に記載の方法、ここにおいて、
前記第１データグループが、ＩフレームおよびＰフレームを備え、前記第２データグループが、Ｉフレーム、Ｐフレーム、およびＢフレームを備える。
【請求項３】
請求項１に記載の方法、ここにおいて、
前記第１データグループが、ベースレイヤを備え、前記第２データグループが、エンハンスメントレイヤを備える。
【請求項４】
さらに下記を備える請求項１に記載の方法：
前記マルチメディアデータの前記コンテンツを分類すること、
ここにおいて、前記符号化が、前記コンテンツ分類に基づく。
【請求項５】
請求項４に記載の方法、ここにおいて、
前記符号化することは下記を備える：
前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータを決定すること；および、
前記第２データグループを符号化するための第２量子化パラメータを決定すること、
ここにおいて、前記第１量子化パラメータおよび前記第２量子化パラメータの前記判定が、前記コンテンツ分類に基づく。
【請求項６】
請求項４に記載の方法、ここにおいて、
前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータの少なくとも一部のビットレートを割り当てることを備える。
【請求項７】
請求項４に記載の方法、ここにおいて、
前記符号化することは、さらに下記を備える：
シーン変化を検出するのに前記コンテンツ分類を使用すること；および、
前記検出されたシーン変化に基づいて前記第１データグループおよび前記第２データグループ内にＩフレームを含めるかどうかを決定すること。
【請求項８】
請求項４に記載の方法、ここにおいて、
前記符号化することは、さらに、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化するフレームレートを決定することを備える。
【請求項９】
請求項４に記載の方法、ここにおいて、
前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータの動き推定を実行することを備える。
【請求項１０】
さらに下記を備える請求項４に記載の方法：
前記第１データグループの符号化の第１フレームレートを決定すること；
前記第２データグループの符号化の第２フレームレートを決定すること、
ここにおいて、前記第１フレームレートが、前記第２フレームレートより低い。
【請求項１１】
請求項４に記載の方法、ここにおいて、
前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータに対して誤り弾力性処理を実行することを備える。
【請求項１２】
請求項４に記載の方法、ここにおいて、
前記符号化することは下記を備える：
前記第２データグループが使用可能でない場合に表示可能なマルチメディアデータを形成するために前記第１データグループを復号化することができ、
前記第１データグループと前記第２データグループとの両方が使用可能である場合に表示可能なマルチメディアデータを形成するために前記第１データグループおよび前記第２データグループを組み合わせて復号化することができるように、前記第１データグループおよび前記第２データグループを符号化すること。
【請求項１３】
請求項４に記載の方法、
ここにおいて、前記第１量子化パラメータが、データを符号化するための第１ステップサイズを備え、
さらにここにおいて、前記第２量子化パラメータが、データを符号化するための第２ステップサイズを備え、前記第１ステップサイズが、前記第２ステップサイズより大きい。
【請求項１４】
さらに下記を備える請求項１に記載の方法：
前記マルチメディアデータの前記コンテンツを分類すること、
ここにおいて、前記符号化することは、前記コンテンツ分類に基づき、
さらにここにおいて、前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータ内の雑音を減らすことを備える。
【請求項１５】
雑音を減らすことが、人為的結果の除去を実行することを備える、請求項１４に記載の方法。
【請求項１６】
請求項１４に記載の方法、ここにおいて、
雑音を減らすことが、デリンギングフィルタを用いて前記マルチメディアデータの少なくとも一部を処理することを備え、ここにおいて、
前記デリンギングフィルタの強さが、前記マルチメディアデータのコンテンツに基づく。
【請求項１７】
請求項１４に記載の方法、ここにおいて、
雑音を減らすことが、デブロッキングフィルタを用いて前記マルチメディアデータの少なくとも一部を処理することを備え、ここにおいて、
前記デブロッキングフィルタの強さが、前記マルチメディアデータのコンテンツに基づく。
【請求項１８】
雑音を減らすことが、前記マルチメディアデータの選択された周波数をフィルタリングすることを備える、請求項１４に記載の方法。
【請求項１９】
前記デリンギングフィルタの前記強さが、前記マルチメディアデータのコンテンツ分類に基づく、請求項１６に記載の方法。
【請求項２０】
前記デブロッキングフィルタの前記強さが、前記マルチメディアデータのコンテンツ分類に基づく、請求項１７に記載の方法。
【請求項２１】
符号化することが、前記マルチメディアデータをダウンサンプリングすることを備える、請求項１に記載の方法。
【請求項２２】
請求項１に記載の方法、ここにおいて、
符号化することは、前記マルチメディアデータの符号化のビットレートを決定するために、下記を備える：
前記マルチメディアデータに品質レベルを関連付けること；および、
前記マルチメディアデータの前記品質レベルおよびコンテンツ情報を使用すること。
【請求項２３】
マルチメディアデータを処理する装置、該装置は下記を備える：
マルチメディアデータを受け取り、前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを第１データグループおよび第２データグループに符号化するように構成された符号化器、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。
【請求項２４】
請求項２３に記載の装置、ここにおいて、
前記符号化器は、前記マルチメディアデータのコンテンツ分類を決定するように構成されたコンテンツ分類モジュールを備え、
さらにここにおいて、前記符号化モジュールが、さらに、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化するように構成される。
【請求項２５】
請求項２４に記載の装置、ここにおいて、
前記符号化器が、さらに、前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータおよび前記第２データグループを符号化するための第２量子化パラメータを決定するように構成され、
ここで、前記第１量子化パラメータおよび前記第２量子化パラメータの前記決定が、前記マルチメディアデータの前記コンテンツ分類に基づく。
【請求項２６】
請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータの動き推定を実行し、データ動き補償情報を生成するように構成された動き推定モジュールを備え、
さらにここにおいて、前記符号化モジュールが、さらに、前記マルチメディアデータを符号化するのに前記動き補償情報を使用するように構成される。
【請求項２７】
請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータの量子化パラメータを決定する量子化モジュールをさらに備え、
さらにここにおいて、前記符号化器が、さらに、前記マルチメディアデータを符号化するのに前記量子化パラメータを使用するように構成される。
【請求項２８】
請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータの少なくとも一部のビットレートを提供するように構成されたビット割当モジュールをさらに備える。
【請求項２９】
請求項２４に記載の装置、ここにおいて、
前記符号化器が、シーン変化を検出するように構成されたシーン変化検出モジュールをさらに備え、前記符号化モジュールが、さらに、前記検出されたシーン変化に基づいて、符号化されたマルチメディアデータにＩフレームを含めるように構成される、請求項２４に記載の装置。
【請求項３０】
請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータのフレームレートを決定するように構成されたフレームレートモジュールをさらに備え、
ここにおいて、前記符号化モジュールが、前記フレームレートに基づいて前記マルチメディアデータを符号化する。
【請求項３１】
前記符号化器が、さらに、前記コンテンツ分類に基づいて第１データグループおよび前記第２データグループを符号化するように構成される、請求項２４に記載の装置。
【請求項３２】
前記符号化器が、さらに、前記コンテンツ分類に基づいて前記マルチメディアデータに対して誤り処理を実行するように構成される、請求項２４に記載の装置。
【請求項３３】
マルチメディアデータを処理する装置、該装置は下記を備える：
マルチメディアデータを受け取るための手段；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化するための手段、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。
【請求項３４】
前記受け取るための手段が、符号化器を備える、請求項３３に記載の装置。
【請求項３５】
前記符号化するための手段が、符号化器を備える、請求項３３に記載の装置。
【請求項３６】
請求項３３に記載の装置、ここにおいて、
前記符号化するための手段が、前記マルチメディアデータのコンテンツ分類を決定するための手段を備え、
ここにおいて、前記符号化するための手段が、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化する。
【請求項３７】
前記符号化するための手段が、符号化器を備えるトランスコーダを備える、請求項３３に記載の装置。
【請求項３８】
実行時に、機械に下記を行わせる命令を備える機械可読媒体：
マルチメディアデータを受け取ること；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化すること、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。
【請求項３９】
さらに下記を行う命令を備える請求項３８に記載のコンピュータ可読媒体：
前記マルチメディアデータの前記コンテンツを示すコンテンツ分類を生成すること、
ここにおいて、前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化する前記命令が、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化する命令を備える。
【請求項４０】
請求項３９に記載のコンピュータ可読媒体、ここにおいて、
符号化する前記命令は下記を行う命令を備える：、
前記コンテンツ分類に基づいて、前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータおよび前記第２データグループを符号化するための第２量子化パラメータを決定すること。
【請求項４１】
請求項３８に記載の方法、ここにおいて、
符号化する前記命令が、下記を行う命令を備える：
前記マルチメディアデータの前記コンテンツに基づいて前記マルチメディアデータの少なくとも一部のビットレートを割り当てること。
【請求項４２】
下記を行う構成を備えるプロセッサ：
マルチメディアデータを受け取ること；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化すること、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。
【請求項４３】
請求項４２に記載のプロセッサ、ここにおいて、
前記プロセッサが、さらに、前記マルチメディアデータの前記コンテンツを示すコンテンツ分類を生成する構成をさらに備え、
さらにここにおいて、前記符号化が、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化することを備える。
【請求項４４】
請求項４２に記載のプロセッサ、ここにおいて、
前記プロセッサが、さらに、前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータおよび前記第２データグループを符号化するための第２量子化パラメータを決定する構成を備え、
ここにおいて、前記第１量子化パラメータおよび前記第２量子化パラメータが、前記コンテンツ分類に基づく。
【発明の詳細な説明】
【技術分野】
【０００１】
米国特許法第１１９条の下での優先権の主張
本願は、（ａ）２００５年９月２７日出願の米国仮出願第６０／７２１，４１６号、名称「Ａ  ＶＩＤＥＯ  ＴＲＡＮＳＣＯＤＥＲ  ＦＯＲ  ＲＥＡＬ−ＴＩＭＥ  ＳＴＲＥＡＭＩＮＧ  ＡＮＤ  ＭＯＢＩＬＥ  ＢＲＯＡＤＣＡＳＴ  ＡＰＰＬＩＣＡＴＩＯＮＳ」、（ｂ）２００６年４月４日出願の米国仮出願第６０／７８９，３７７号、名称「Ａ  ＶＩＤＥＯ  ＴＲＡＮＳＣＯＤＥＲ  ＦＯＲ  ＲＥＡＬ−ＴＩＭＥ  ＳＴＲＥＡＭＩＮＧ  ＡＮＤ  ＭＯＢＩＬＥ  ＢＲＯＡＤＣＡＳＴ  ＡＰＰＬＩＣＡＴＩＯＮＳ」、（ｃ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４３号、名称「ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＳＰＡＴＩＯ−ＴＥＭＰＯＲＡＬ  ＤＥＩＮＴＥＲＬＡＣＩＮＧ  ＡＩＤＥＤ  ＢＹ  ＭＯＴＩＯＮ  ＣＯＭＰＥＮＳＡＴＩＯＮ  ＦＯＲ  ＦＩＥＬＤ−ＢＡＳＥＤ  ＶＩＤＥＯ」、（ｄ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４４号、名称「ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＳＨＯＴ  ＤＥＴＥＣＴＩＯＮ  ＩＮ  ＶＩＤＥＯ  ＳＴＲＥＡＭＩＮＧ」、（ｅ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４０号、名称「Ａ  ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＵＳＩＮＧ  ＡＮ  ＡＤＡＰＴＩＶＥ  ＧＯＰ  ＳＴＲＵＣＴＵＲＥ  ＩＮ  ＶＩＤＥＯ  ＳＴＲＥＡＭＩＮＧ」、（ｆ）２００５年１０月２４日出願の米国仮出願第６０／７３０，１４５号、名称「ＩＮＶＥＲＳＥ  ＴＥＬＥＣＩＮＥ  ＡＬＧＯＲＩＴＨＭ  ＢＡＳＥＤ  ＯＮ  ＳＴＡＴＥ  ＭＡＣＨＩＮＥ」、および（ｇ）２００６年４月３日出願の米国仮出願第６０／７８９，０４８号、名称「ＳＰＡＴＩＯ−ＴＥＭＰＯＲＡＬ  ＤＥＩＮＴＥＲＬＡＣＩＮＧ  ＡＩＤＥＤ  ＢＹ  ＭＯＴＩＯＮ  ＣＯＭＰＥＮＳＡＴＩＯＮ  ＦＯＲ  ＦＩＥＬＤ−ＢＡＳＥＤ  ＭＵＬＴＩＭＥＤＩＡ  ＤＡＴＡ」の優先権を主張するものである。この７つの米国仮出願のすべてが、本願の譲受人に譲渡され、参照によって本明細書に明示的に組み込まれている。
【０００２】
同時係属特許出願の参照
本願は、本願の譲受人に譲渡され、参照によって本明細書に明白に組み込まれている、２００６年３月１０日出願の米国仮出願第１１／３７３，５７７号、名称「ＣＯＮＴＥＮＴ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ  ＦＯＲ  ＭＵＬＴＩＭＥＤＩＡ  ＰＲＯＣＥＳＳＩＮＧ」に関連する。
【０００３】
本願は、リアルタイムストリーミング用のビデオデータのビデオトランスコーディングの装置および方法を対象とし、より具体的には、移動体ブロードキャストアプリケーションでのリアルタイムストリーミング用のビデオデータのトランスコーディングを対象とする。
【背景技術】
【０００４】
効率的なビデオ圧縮は、制限された帯域幅リソースおよび使用可能帯域幅の変動性に起因して、無線ビデオストリーミングおよびビデオテレフォニなどの多数のマルチメディアアプリケーションで有用である。ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ）、Ｈ．２６４（国際電気通信連合）、または類似するビデオ符号化など、ある種のビデオ符号化標準規格は、無線ブロードキャスティングなどの応用によく適する高効率符号化を提供する。一部のマルチメディアデータ、たとえばディジタルテレビジョンプレゼンテーションは、一般に、ＭＰＥＧ−２などの他の標準規格に従って符号化される。したがって、トランスコーダが、無線ブロードキャスティングの前に、ある標準規格（たとえば、ＭＰＥＧ−２）に従って符号化されたマルチメディアデータを別の標準規格（たとえば、Ｈ．２６４）にトランスコーディングしまたは変換するのに使用される。
【０００５】
レートが最適化されたコーデックの改善は、誤り弾力性（error resiliency）、誤り回復、およびスケーラビリティにおける利益を提供することができる。さらに、マルチメディアデータ自体から判定される情報の使用は、誤り弾力性、誤り回復、およびスケーラビリティを含む符号化に関する追加の改善をも提供することができる。したがって、マルチメディアデータ自体から決定される情報を使用するマルチメディアデータの高効率の処理および圧縮を提供し、スケーラブルであり、ストリーミングマルチメディア情報の移動体ブロードキャスティングを含む多数のマルチメディアデータ応用での使用に関して誤りに柔軟であるトランスコーダの必要が存在する。
【特許文献１】米国仮出願第６０／７２１，４１６号
【特許文献２】米国仮出願第６０／７８９，３７７号
【特許文献３】米国仮出願第６０／７２７，６４３号
【特許文献４】米国仮出願第６０／７２７，６４４号
【特許文献５】米国仮出願第６０／７２７，６４０号
【特許文献６】米国仮出願第６０／７３０，１４５号
【特許文献７】米国仮出願第６０／７８９，０４８号
【特許文献８】米国仮出願第１１／３７３，５７７号
【特許文献９】米国特許出願［弁理士整理番号第０５００７８号］、名称「ＳＣＡＬＡＢＬＥ  ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＷＩＴＨ  ＴＷＯ  ＬＡＹＥＲ  ＥＮＣＯＤＩＮＧ  ＡＮＤ  ＳＩＮＧＬＥ  ＬＡＹＥＲ  ＤＥＣＯＤＩＮＧ」
【非特許文献１】「Ｉｄｅａｌ  ｓｐａｔｉａｌ  ａｄａｐｔａｔｉｏｎ  ｂｙ  ｗａｖｅｌｅｔ  ｓｈｒｉｎｋａｇｅ」、Ｄ．Ｌ．ＤｏｎｏｈｏおよびＩ．Ｍ．Ｊｏｈｎｓｔｏｎｅ、Ｂｉｏｍｅｔｒｉｋａ、ｖｏｌ．８、４２５〜４５５頁、１９９４年
【非特許文献２】Ｓ．Ｐ．Ｇｈａｅｌ、Ａ．Ｍ．Ｓａｙｅｅｄ、およびＲ．Ｇ．Ｂａｒａｎｉｕｋ、「Ｉｍｐｒｏｖｅｍｅｎｔ  Ｗａｖｅｌｅｔ  ｄｅｎｏｉｓｉｎｇ  ｖｉａ  ｅｍｐｉｒｉｃａｌ  Ｗｉｅｎｅｒ  ｆｉｌｔｅｒｉｎｇ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＰＩＥ、ｖｏｌ．３１６９、３８９〜３９９頁、Ｓａｎ  Ｄｉｅｇｏ、１９９７年７月
【非特許文献３】ＲＰ  ２７．３−１９８９（Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ  ｆｏｒ  Ｓａｆｅ  Ａｃｔｉｏｎ  ａｎｄ  Ｓａｆｅ  Ｔｉｔｌｅ  Ａｒｅａｓ  Ｔｅｓｔ  Ｐａｔｔｅｒｎ  ｆｏｒ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ）
【発明の開示】
【発明の概要】
【０００６】
説明され図示される発明的なコンテンツベースのトランスコーディングの装置および方法のそれぞれは、複数の態様を有し、どの単一の態様も、その望ましい属性の責任を単独で負うものではない。本開示の範囲を限定せずに、そのより顕著な特徴を、これから短く説明する。この議論を考慮した後に、特に「詳細な説明」と題するセクションを読んだ後に、このコンテンツ駆動トランスコーディングの特徴が、マルチメディアデータ処理の装置および方法に関する改善をどのように提供するかが理解されるであろう。
【０００７】
本明細書で説明する発明的態様は、マルチメディアデータを符号化するさまざまな方法のために、および符号化器、たとえばトランスコーダ内で使用される符号化器のさまざまなモジュールまたは構成要素内で、コンテンツ情報を使用することに関する。トランスコーダは、コンテンツ情報を使用してマルチメディアデータのトランスコーディングを調整することができる。コンテンツ情報は、別のソース、たとえばビデオと共に受け取られるメタデータから受け取ることができる。トランスコーダを、さまざまな異なる処理動作を介してコンテンツ情報を生成するように構成することができる。いくつかの態様で、トランスコーダは、マルチメディアデータのコンテンツ分類を生成し、このコンテンツ分類が、その後、１つまたは複数の符号化処理に使用される。いくつかの態様で、コンテンツ駆動トランスコーダは、マルチメディアデータの空間的および時間的なコンテンツ情報を決定し、チャネルにまたがるコンテンツを意識した均一な品質の符号化およびコンテンツ分類ベースの圧縮／ビット割当にそのコンテンツ情報を使用することができる。
【０００８】
いくつかの態様において、マルチメディアデータのコンテンツ情報（たとえば、メタデータ、コンテンツメトリックス、および／またはコンテンツ分類）が、取得されまたは計算され、その後、符号化に関するマルチメディアデータの処理に使用するためにトランスコーダの構成要素に供給される。たとえば、プリプロセッサが、シーン変化検出、逆テレシネ（「ＩＶＴＣ」）の実行、デインターレーシング、動き補償および雑音抑圧（たとえば、２Ｄウェーブレット変換）、ならびに時空間雑音低減、たとえば人為的な結果の除去、デリンギング（de-ringing）、デブロッキング、および／または雑音除去に、ある種のコンテンツ情報を使用することができる。いくつかの態様で、プリプロセッサは、空間分解能ダウンサンプリング、たとえば、標準品位（ＳＤ）からＱｕａｒｔｅｒ  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ（ＱＶＧＡ）にダウンサンプリングする時の適当な「セーフ」エリア（safe area）および「アクションハンドリング」エリア（action handling area）の判定に、コンテンツ情報を使用することもできる。
【０００９】
いくつかの態様において、符号化器は、コンテンツ情報を計算するように構成されたコンテンツ分類モジュールを含む。符号化器は、動き推定、たとえばカラー動き推定（ＭＥ）の実行、動きベクトル（ＭＶ）予測の実行のためにＭＢごとに量子化パラメータ（ＱＰ）を決定する際のビットレート制御（たとえば、ビット割当）、ベースレイヤおよびエンハンスメントレイヤを提供する際のスケーラビリティ、ならびにたとえば適応イントラリフレッシュ、境界整列処理、およびエンハンスメントレイヤでの冗長Ｉフレームデータの提供を含む予測階層方式および誤り弾力性方式に影響を与えるためにコンテンツ分類を使用することによる誤り弾力性にコンテンツ分類を使用することができる。いくつかの態様で、トランスコーダは、チャネルにまたがる最適なマルチメディアデータ品質を維持するためにデータ多重化装置と協調してコンテンツ分類を使用する。いくつかの態様で、符号化器は、高速なチャネルの切替を可能にするために、符号化されたデータ内にＩフレームが周期的に現れることを強制するのにコンテンツ分類情報を使用することができる。そのような実施態様は、誤り弾力性のために符号化されたデータ内で要求される可能性があるＩブロックを利用することもでき、ランダムアクセスの切替および誤り弾力性（たとえば、コンテンツ分類に基づく）を、予測階層を介して効果的に組み合わせて、符号化効率を改善すると同時に誤りに対する頑健性を高めることができる。
【００１０】
一態様において、マルチメディアデータを処理する方法は、マルチメディアデータを受け取ることと、マルチメディアデータのコンテンツに基づいてマルチメディアデータを第１データグループおよび第２データグループに符号化することであって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化することとを含む。第１の態様の一態様で、第１データグループは、ＩフレームおよびＰフレームを備え、第２データグループは、Ｉフレーム、Ｐフレーム、およびＢフレームを備える。もう１つの態様において、第１データグループは、ベースレイヤを備え、第２データグループは、エンハンスメントレイヤを備える。第３の態様で、この方法は、マルチメディアデータのコンテンツを分類することをさらに備え、符号化は、コンテンツ分類に基づく。第４の態様において、符号化は、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータを決定することと、第２データグループを符号化するための第２量子化パラメータを決定することとを備え、第１量子化パラメータおよび第２量子化パラメータの決定は、コンテンツ分類に基づく。第５の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータの少なくとも一部のビットレートを割り当てることを備える。第６の態様において、符号化は、さらに、シーン変化を検出するのにコンテンツ分類を使用することと、検出されたシーン変化に基づいて第１データグループおよび第２データグループ内にＩフレームを含めるかどうかを決定することとを含む。第７の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータを符号化するフレームレートを決定することを含む。第８の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータの動き推定を実行することを含む。第９の態様において、この方法は、第１データグループの符号化の第１フレームレートを決定することと、第２データグループの符号化の第２フレームレートを決定することとをも含み、第１フレームレートは、第２フレームレートより低い。第１０の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータに対して誤り弾力性処理を実行することを含む。第１１の態様において、符号化は、第２データグループが使用可能でない場合に表示可能なマルチメディアデータを形成するために第１データグループを復号化することができ、第１データグループと第２データグループとの両方が使用可能である場合に表示可能なマルチメディアデータを形成するために第１データグループおよび第２データグループを組み合わせて復号化することができるように、第１データグループおよび第２データグループを符号化することを含む。第１２の態様において、第１量子化パラメータは、データを符号化するための第１ステップサイズを含み、第２量子化パラメータは、データを符号化するための第２ステップサイズを含み、第１ステップサイズは、第２ステップサイズより大きい。第１３の態様において、この方法は、マルチメディアデータのコンテンツを分類することをさらに備え、符号化は、コンテンツ分類に基づき、符号化は、コンテンツ分類に基づいてマルチメディアデータ内の雑音を減らすことを備える。第１４の態様において、雑音を減らすことは、人為的な結果の除去を実行することを含む。第１５の態様において、雑音を減らすことは、デリンギングフィルタを用いてマルチメディアデータの少なくとも一部を処理することを備え、デリンギングフィルタの強さは、マルチメディアデータのコンテンツに基づく。第１６の態様において、雑音を減らすことは、デブロッキングフィルタを用いてマルチメディアデータの少なくとも一部を処理することを含み、デブロッキングフィルタの強さは、マルチメディアデータのコンテンツに基づく。第１７の態様において、雑音を減らすことは、マルチメディアデータの選択された周波数をフィルタリングすることを含む。第１８の態様において、デリンギングフィルタの強さは、マルチメディアデータのコンテンツ分類に基づく。第１９の態様において、デブロッキングフィルタの強さは、マルチメディアデータのコンテンツ分類に基づく。第２０の態様において、符号化は、マルチメディアデータをダウンサンプリングすることを備える。最後に、第２１の態様において、符号化は、マルチメディアデータの符号化のビットレートを決定するために、マルチメディアデータに品質レベルを関連付けることと、マルチメディアデータの品質レベルおよびコンテンツ情報を使用することとを含む。
【００１１】
第２の態様において、マルチメディアデータを処理する装置は、マルチメディアデータを受け取り、マルチメディアデータのコンテンツに基づいてマルチメディアデータを第１データグループおよび第２データグループに符号化するように構成された符号化器であって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化器を含む。第１の態様の一態様において、符号化器は、マルチメディアデータのコンテンツ分類を決定するように構成されたコンテンツ分類モジュールを含み、符号化モジュールは、さらに、コンテンツ分類に基づいてマルチメディアデータを符号化するように構成される。第２の態様において、符号化器は、さらに、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータおよび第２データグループを符号化するための第２量子化パラメータを決定するように構成され、第１量子化パラメータおよび第２量子化パラメータの決定は、マルチメディアデータのコンテンツ分類に基づく。第３の態様において、符号化器は、コンテンツ分類に基づいてマルチメディアデータの動き推定を実行し、データ動き補償情報を生成するように構成された動き推定モジュールを備え、符号化モジュールは、さらに、マルチメディアデータを符号化するのに動き補償情報を使用するように構成される。第４の態様において、符号化器は、コンテンツ分類に基づいてマルチメディアデータの量子化パラメータを決定する量子化モジュールをも含み、符号化器は、さらに、マルチメディアデータを符号化するのに量子化パラメータを使用するように構成される。第５の態様において、符号化器は、さらに、コンテンツ分類に基づいてマルチメディアデータの少なくとも一部のビットレートを提供するように構成されたビット割当モジュールをも含む。第６の態様において、符号化器は、シーン変化を検出するように構成されたシーン変化検出モジュールをも含み、符号化モジュールは、さらに、検出されたシーン変化に基づいて、符号化されたマルチメディアデータにＩフレームを含めるように構成される。第７の態様において、符号化器は、コンテンツ分類に基づいてマルチメディアデータのフレームレートを決定するように構成されたフレームレートモジュールをも含み、符号化モジュールは、フレームレートに基づいてマルチメディアデータを符号化する。第８の態様において、符号化器は、コンテンツ分類に基づいて第１データグループおよび第２データグループを符号化するようにも構成される。第９の態様において、符号化器は、さらに、コンテンツ分類に基づいてマルチメディアデータに対して誤り処理を実行するようにも構成される。
【００１２】
第３の態様において、マルチメディアデータを処理する装置は、マルチメディアデータを受け取るための手段と、マルチメディアデータのコンテンツに基づいてマルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化するための手段であって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化するための手段とを含む。第１の態様の一態様において、受け取るための手段は、符号化器を備える。もう１つの態様において、符号化するための手段は、符号化器を備える。第３の態様において、符号化するための手段は、マルチメディアデータのコンテンツ分類を決定するための手段を備え、符号化するための手段は、コンテンツ分類に基づいてマルチメディアデータを符号化する。第４の態様において、符号化するための手段は、符号化器を備えるトランスコーダを備える。
【００１３】
第４の態様において、機械可読媒体は、実行時に、機械に、マルチメディアデータを受け取ることと、マルチメディアデータのコンテンツに基づいてマルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化することであって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化されるような、符号化することとを行わせる命令を備える。第４の態様の一態様において、コンピュータ可読媒体は、マルチメディアデータのコンテンツを示すコンテンツ分類を生成する命令をさらに備え、マルチメディアデータの符号化された第１データグループおよび符号化された第２データグループへの符号化は、コンテンツ分類に基づいてマルチメディアデータを符号化することを含む。もう１つの態様において、符号化は、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータを決定することとおよび第２データグループを符号化するための第２量子化パラメータを決定することとを備え、第１量子化パラメータおよび第２量子化パラメータを決定することは、コンテンツ分類に基づく。第３の態様で、マルチメディアデータを符号化する命令は、マルチメディアデータのコンテンツに基づいてマルチメディアデータの少なくとも一部のビットレートを割り当てる命令を含む。
【００１４】
第５の態様において、プロセッサは、マルチメディアデータを受け取り、マルチメディアデータのコンテンツに基づいてマルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化する構成であって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、構成を備える。第５の態様の一態様において、プロセッサは、さらに、マルチメディアデータのコンテンツを示すコンテンツ分類を生成する構成をさらに備え、符号化は、コンテンツ分類に基づいてマルチメディアデータを符号化することを備える。もう１つの態様において、プロセッサは、さらに、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータおよび第２データグループを符号化するための第２量子化パラメータを決定する構成を備え、第１量子化パラメータおよび第２量子化パラメータは、コンテンツ分類に基づく。
【００１５】
適当な場合に、図面の複数の図を通じて同様の符号が同様の部分を指すことに留意されたい。
【詳細な説明】
【００１６】
次の詳細な説明は、この開示で論じられるある種の態様を対象とする。しかし、本発明を、複数の異なる形で実施することができる。本明細書での「一態様」または「態様」への言及は、その態様に関連して説明される特定の特徴、構造、または特性が、少なくとも１つの態様に含まれることを意味する。本明細書のさまざまな場所での句「一態様において」、「一態様による」、または「いくつかの態様において」の出現は、必ずしもすべてが同一の態様に言及しているのではなく、他の態様と相互に排他的な別々の態様または代替の態様でもない。さらに、一部の態様によって示されるが他の態様によっては示されない場合があるさまざまな特徴を説明する。同様に、一部の態様の要件であるが他の態様の要件ではない場合があるさまざまな要件を説明する。
【００１７】
次の説明は、例の完全な理解を提供するために詳細を含む。しかし、当業者は、例または態様に含まれる処理またはデバイスのすべての詳細が本明細書で説明されないか図示されない場合であっても、これらの例を実践できることを理解する。たとえば、電気的な構成要素が、不必要な詳細において例を不明瞭にしないようにするために、その構成要素のすべての電気的な接続またはすべての電気的な要素を示してはいないブロック図で示される場合がある。他の場合に、そのような構成要素、他の構造、および技法が、例をさらに説明するために詳細に示される場合がある。
【００１８】
本開示は、符号化されるマルチメディアデータのコンテンツ情報を使用して符号化およびトランスコーディングの装置および方法を制御することに関する。「コンテンツ情報」または「コンテンツ」（マルチメディアデータの）は、マルチメディアデータのコンテンツに関する情報を意味する広義の用語であり、たとえば、メタデータ、マルチメディアデータから計算されるメトリックス、およびたとえばコンテンツ分類など、１つまたは複数のメトリックスに関連するコンテンツ関連情報を含めることができる。コンテンツ情報は、特定の応用例に応じて、符号化器に供給するか、符号化器によって決定することができる。コンテンツ情報は、シーン変化検出、時間的処理、時空間雑音低減、ダウンサンプリング、量子化のためのビットレートの決定、スケーラビリティ、誤り弾力性、ブロードキャストチャネルにまたがる最適なマルチメディア品質の維持、および高速なチャネルの切替を含む、マルチメディアデータ符号化の多数の態様に使用することができる。これらの態様のうちの１つまたは複数を使用して、トランスコーダは、マルチメディアデータの処理を調整し、コンテンツに関連して符号化されたマルチメディアデータを作ることができる。トランスコーディングの態様を説明する本明細書の説明および図面は、符号化の態様および復号化の態様に適用可能とすることもできる。
【００１９】
トランスコーダの装置および方法は、あるフォーマットから別のフォーマットへのトランスコーディングに関し、本明細書では、いくつかの態様の実例となる移動体デバイスへの無線チャネルを介する伝送のための、質を高められたスケーラブルなＨ．２６４フォーマットへのＭＰＥＧ−２ビデオのトランスコーディングに関して具体的に説明される。しかし、Ｈ．２６４フォーマットへのＭＰＥＧ−２ビデオのトランスコーディングの説明は、本発明の範囲を限定するものとして意図されたものではなく、本発明のいくつかの態様の例示にすぎない。開示される装置および方法は、ランダムアクセス機能およびレイヤリング機能を有する誤りに対して弾力的な符号化をサポートする非常に効率的なアーキテクチャを提供し、ＭＰＥＧ−２およびＨ．２６４以外のビデオフォーマットのトランスコーディングおよび／または符号化にも適用可能とすることができる。
【００２０】
本明細書で使用される「マルチメディアデータ」または単に「マルチメディア」は、ビデオデータ（オーディオデータをも含むことができる）、オーディオデータ、またはビデオデータとオーディオデータとの両方を含む広義の用語である。本明細書で使用される「ビデオデータ」または「ビデオ」は、テキスト、画像情報、および／またはオーディオデータを含む１つまたは複数の画像または画像の関連するシーケンスを含むフレームベースのデータまたはフィールドベースのデータを指す広義の用語であり、そうではないと指定されない限り、マルチメディアデータを指すのに使用することができる（たとえば、これらの用語を交換可能に使用することができる）。
【００２１】
下の説明は、マルチメディアデータを符号化するためにコンテンツ情報を使用することができる、トランスコーダのさまざまな構成要素の例および処理の例である。
【００２２】
マルチメディアブロードキャストシステム
図１Ａは、マルチメディアデータブロードキャストシステム１００のいくつかの態様のデータの流れを示すブロック図である。システム１００内で、マルチメディアデータ供給器１０６が、符号化されたマルチメディアデータ１０４をトランスコーダ２００に通信する。符号化されたマルチメディアデータ１０４は、トランスコーダ２００によって受け取られ、トランスコーダ２００は、ブロック１１０内でマルチメディアデータ１０４を生のマルチメディアデータへと処理する。ブロック１１０での処理は、符号化されたマルチメディアデータ１０４を復号化し、解析し、さらに、別のフォーマットに符号化するためにマルチメディアデータを準備するためにマルチメディアデータを処理する。復号化されたマルチメディアデータは、ブロック１１２に供給され、ここで、マルチメディアデータが、所定のマルチメディアフォーマットまたはマルチメディア標準規格に符号化される。マルチメディアデータが一旦符号化されたならば、ブロック１１４で、そのマルチメディアデータを、たとえば無線ブロードキャストシステム（たとえば、セルラ電話ブロードキャスト網または別の通信網を介して）を介した伝送のために準備する。いくつかの態様において、受け取られたマルチメディアデータ１０４は、ＭＰＥＧ−２標準規格に従って符号化されている。トランスコーディングされたマルチメディアデータ１０４が復号化された後に、トランスコーダ２００は、そのマルチメディアデータをＨ．２６４標準規格に符号化する。
【００２３】
図１Ｂは、図１Ａのブロック１１０および１１２での処理を実行するように構成できるトランスコーダ１３０のブロック図である。トランスコーダ１３０を、マルチメディアデータを受け取り、そのマルチメディアデータを復号化し、パケット化された基本のストリーム（たとえば、サブタイトル、オーディオ、メタデータ、「生」ビデオ、ＣＣデータ、およびプレゼンテーションタイムスタンプ）に解析し、これを所望のフォーマットに符号化し、さらなる処理または伝送のために符号化されたデータを供給するように構成することができる。データを複数のデータグループ、たとえば符号化された第１データグループおよび符号化された第２データグループに供給するように、トランスコーダ１３０を構成することができ、これを、階層化された符号化（layered encoding）と称する。複数の態様のいくつかの例で、階層化された符号化方式でのさまざまなデータグループ（または層）を、異なるレベルの品質で符号化し、第１データグループ内で符号化されるデータが第２データグループ内で符号化されるデータより低い品質を有する（たとえば、表示された時により低い視覚的品質レベルをもたらす）ようにフォーマットすることができる。
【００２４】
図１Ｃは、マルチメディアデータをトランスコーディングするように構成でき、図１Ａのブロック１１０および１１２に示された処理の一部またはすべてを実行するように構成できる、プロセッサ１４０のブロック図である。プロセッサ１４０は、復号化、解析、前処理、および符号化を含む本明細書で説明するトランスコーディング処理のうちの１つまたは複数を実行し、処理にコンテンツ情報を使用する、モジュール１２４ａ…ｎを含むことができる。プロセッサ１４０は、内部メモリ１２２をも含み、プロセッサ１４０を、「直接に」または「別のデバイスを介して間接に」のいずれかで外部メモリ１２０と通信するように構成することができる。プロセッサ１４０は、プロセッサ１４０の外部の１つまたは複数のデバイスと通信するように構成された通信モジュール１２６をも含み、それはマルチメディアデータを受け取るため、および第１データグループ内で符号化されたデータおよび第２データグループ内で符号化されたデータなどのような符号化されたデータを供給するためを含む。複数の態様のいくつかの例で、階層化された符号化方式でのさまざまなデータグループ（または層）を、異なるレベルの品質で符号化し、第１データグループ内で符号化されるデータが第２データグループ内で符号化されるデータより低い品質を有する（たとえば、表示された時により低い視覚的品質レベルをもたらす）ようにフォーマットすることができる。
【００２５】
トランスコーダ１３０またはプリプロセッサ１４０（トランスコーディング用に構成された）の構成要素とそれに含まれる処理とを、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはその任意の組合せで実施することができる。たとえば、パーサ、復号化器、プリプロセッサ、または符号化器を、独立型の構成要素とするか、別のデバイスの構成要素にハードウェア、ファームウェア、ミドルウェアとして組み込むか、プロセッサ上で実行されるマイクロコードまたはソフトウェアで実施するか、これらの組合せとすることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される時に、動き補償処理、ショット分類処理、および符号化処理を実行するプログラムコードまたはコードセグメントを、記憶媒体などの機械可読媒体に格納することができる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組合せを表すことができる。情報、データ、引数、パラメータ、またはメモリ内容を渡し、かつ／または受け取ることによって、一のコードセグメントを別のコードセグメントまたはハードウェア回路に結合することができる。
【００２６】
トランスコーダアーキテクチャの例示的な例
図２に、図１のマルチメディアブロードキャストシステム１００に示されたトランスコーダ２００に使用できるトランスコーダの例のブロック図を示す。トランスコーダ２００は、下でさらに説明する、解析器／復号化器２０２、プリプロセッサ２２６、符号化器２２８、および同期化層２４０を備える。本明細書で説明するように、トランスコーディング処理の１つまたは複数の態様に関してマルチメディアデータ１０４のコンテンツ情報を使用するように、トランスコーダ２００は構成される。コンテンツ情報は、トランスコーダ２００の外部ソースから、マルチメディアメタデータを介して取得可能であるか、またはトランスコーダによって、たとえばプリプロセッサ２２６または符号化器２２８によって計算されることができる。図２に示された構成要素は、１つまたは複数のトランスコーディング処理にコンテンツ情報を使用する、トランスコーダに含めることができる構成要素の例示である。特定の実装において、トランスコーダ２００の構成要素のうちの１つまたは複数を除外することができ、あるいは、追加の構成要素を含めることができる。さらに、トランスコーダおよびトランスコーディング処理の諸部分は、処理またはデバイスのあらゆる詳細が本明細書で説明されない場合であっても当業者が本発明を実施することを可能にするために説明される。
【００２７】
図５に、トランスコーダ２００のさまざまな構成要素および／または処理の動作の時間的関係を示すグラフとしてタイミング図を示す。図５に示されているように、ＭＰＥＧ−２ビデオなどの符号化されたストリーミングビデオ１０４（符号化されたマルチメディアデータ）が、まず、解析器２０５（図２）によって任意の時刻０に受け取られる。次に、ビデオストリームが、例えば復号化器２１４と組み合わされた解析器２０５により、解析され５０１、逆多重化され５０２、復号化される５０３。図示されているように、これらの処理は、データ処理のストリーム出力をプリプロセッサ２２６（図２）に供給するために、わずかなタイミングオフセットを伴って並列に発生することができる。時刻Ｔ１  ５０４に、プリプロセッサ２２６が、処理結果の出力を開始するのに十分なデータを復号化器２１４から一旦受け取ったならば、残りの処理ステップは、性質において逐次的になり、第１パス符号化５０５、第２パス符号化５０６、および再符号化５０７は、時刻Ｔｆ  ５０８の再符号化の完了まで、前処理の後に順番に発生する。
【００２８】
本明細書で説明するトランスコーダ２００を、さまざまなマルチメディアデータをトランスコードするように構成することができ、処理の多くが、トランスコーディングされるマルチメディアデータのどのタイプにもあてはまる。本明細書で提供する例の一部は、特にＨ．２６４データへのＭＰＥＧ−２データのトランスコーディングに関するが、これらの例は、本開示をそのようなデータに限定することを意味するものではない。下で説明する符号化の諸態様は、任意の適切なマルチメディアデータ標準規格の別の適切なマルチメディアデータ標準規格へのトランスコーディングに適用することができる。
【００２９】
解析器／復号化器
もう一度図２を参照すると、解析器／復号化器２０２は、マルチメディアデータ１０４を受け取る。解析器／復号化器２０２は、マルチメディアデータ１０４を受け取り、そのデータをビデオの基本のストリーム（ＥＳ）２０６、オーディオＥＳ  ２０８、プレゼンテーションタイムスタンプ（ＰＴＳ）２１０、およびサブタイトル２１２などの他のデータに解析するトランスポートストリーム解析器（「解析器」）２０５を含む。ＥＳは、単一のビデオ符号化器またはオーディオ符号化器からの１つのタイプのデータ（ビデオまたはオーディオ）を運ぶ。たとえば、ビデオＥＳは、シーケンスヘッダおよびそのシーケンスのすべてのサブパートを含む、データの１シーケンスに関するビデオデータを備える。パケット化された基本のストリームすなわちＰＥＳは、それぞれが典型的には追加されたパケットヘッダから始まる複数のパケットにされた単一のＥＳからなる。ＰＥＳストリームは、１つのソースから、たとえば１つのビデオ符号化器またはオーディオ符号化器からの１タイプのみのデータを含む。ＰＥＳパケットは、トランスポートパケットの固定パケット長に対応しない可変長を有し、トランスポートパケットよりはるかに長くすることができる。トランスポートパケットが、ＰＥＳストリームから形成される時に、ＰＥＳヘッダを、トランスポートパケットペイロードの先頭でトランスポートパケットヘッダの直後に置くことができる。残りのＰＥＳパケットコンテンツは、ＰＥＳパケットがすべて使用されるまで、連続するトランスポートパケットのペイロードを充てんする。最終的なトランスポートパケットは、固定長まで、たとえば、バイト、たとえばバイト＝０ｘＦＦ（すべて１）を詰め込むことによって、充てんすることができる。
【００３０】
解析器２０５は、ここで示す解析器／復号化器２０２の一部である復号化器２１４にビデオＥＳ  ２０６を通信する。他の構成では、解析器２０５および復号化器２１４が、別々の構成要素である。ＰＴＳ  ２１０が、トランスコーダＰＴＳ生成器２１５に送られ、トランスコーダＰＴＳ生成器２１５は、トランスコーダ２００からブロードキャストシステムに送られるデータを配列するのに使用するために、トランスコーダ２００に特有の別々のプレゼンテーションタイムスタンプを生成することができる。トランスコーダＰＴＳ生成器２１５を、データブロードキャストの同期を調整するためにトランスコーダ２００の同期化層２４０にデータを供給するように構成することができる。
【００３１】
図３に、上で説明したさまざまなパケット化された基本のストリームを解析する時に解析器２０５が従うことのできる処理３００の１つの例の流れ図を示す。処理３００は、マルチメディアデータ１０４がコンテンツ供給器１０６（図１）から受け取られる時に、ブロック３０２で開始される。処理３００は、ブロック３０４に進み、ここで、解析器２０５の初期化が実行される。初期化は、独立に生成される獲得コマンド３０６によってトリガすることができる。たとえば、解析器２０５とは独立であり、外部で受け取られるＴＶスケジュール情報およびチャネルラインアップ情報に基づく処理が、獲得コマンド３０６を生成することができる。さらに、リアルタイムトランスポートストリーム（ＴＳ）バッファ記述子３０８を、初期化処理と主処理との両方で支援するために入力することができる。
【００３２】
ブロック３０４に示されているように、初期化は、コマンド構文検証の獲得、第１パスＰＳＩ／ＰＳＩＰ／ＳＩ（プログラム固有情報／プログラムおよびシステム情報プロトコル／システム情報）処理の実行、獲得コマンドまたはＰＳＩ／ＰＳＩＰ／ＳＩ整合性検証のいずれかに特に関連する処理の実行、ＰＥＳごとのＰＥＳバッファの割当、およびタイミングをセットすること（たとえば、所望の獲得開始の瞬間と整列させるため）を含むことができる。ＰＥＳバッファは、解析されたＥＳデータを保持し、各解析されたＥＳデータを対応するオーディオ復号化器２１６、テスト符号化器２２０、復号化器２１４、またはトランスコーダＰＴＳ生成器２１５に通信する。
【００３３】
初期化の後に、処理３００は、受け取られたマルチメディアデータ１０４の主処理のブロック３１０に進む。ブロック３１０での処理は、ターゲットパケット識別子（ＰＩＤ）フィルタリング、連続的なＰＳＩ／ＰＳＩＰ／ＳＩの監視および処理、ならびに、入って来るマルチメディアデータが適当なＰＥＳバッファに渡されるようにするためのタイミング処理（たとえば、所望の獲得持続時間を達成するための）を含むことができる。ブロック３１０でのマルチメディアデータの処理の結果として、ＰＥＳバッファ「読み取り」のプログラム記述子および表示が生成され、これは、下で説明するように、復号化器２１４（図２）とインターフェースする。
【００３４】
ブロック３１０の後に、処理３００はブロック３１４に進み、ここで、タイマ割込みの生成およびＰＳＥバッファの消費の結果としてのＰＳＥバッファの解放を含めて、解析動作の終了が発生する。ＰＥＳバッファが、オーディオストリーム、ビデオストリーム、およびサブタイトルストリームなど、記述子に列挙されたプログラムのすべての関連する基本のストリームについて存在することに留意されたい。
【００３５】
もう一度図２を参照すると、パーサ２０５は、トランスコーダの実装に対応するためにオーディオ復号化器２１６にオーディオＥＳ  ２０８を送り、同期化層２４０への符号化されたテキスト２１６およびオーディオ情報の復号化を供給する。サブタイトル情報２１２は、テキスト符号化器２２０に配送される。復号化器２１４からのクローズドキャプショニング（ＣＣ）データ２１８も、テキスト符号化器２２０に供給され、テキスト符号化器２２０は、トランスコーダ２００によって作用されるフォーマットでサブタイトル情報２１２およびＣＣデータ２１８を符号化する。
【００３６】
解析器／復号化器２０２は、復号化器２１４をも含み、復号化器２１４は、ビデオＥＳ  ２０６を受け取る。復号化器２１４は、ビデオデータに関連するメタデータを生成し、符号化されたビデオパケット化された基本のストリームを生のビデオ２２４（たとえば、標準品位フォーマットの）に復号化し、ビデオクローズドキャプション付きデータをビデオＥＳストリームへと処理することができる。
【００３７】
図４に、復号化器２１４によって実行できる復号化処理４００の１つの例を示す流れ図を示す。処理４００は、ブロック４０２でのビデオの基本のストリームのデータ２０６の入力から始まる。処理４００は、ブロック４０４に進み、ここで、復号化器が初期化される。初期化は、ビデオシーケンスヘッダ（ＶＳＨ）の検出、第１パスＶＳＨ、ビデオシーケンス（ＶＳ）、およびＶＳディスプレイエクステンション（Display Extension）処理（ビデオフォーマット、原色、および行列係数を含む）の実行、ならびに復号化されたピクチャ、関連するメタデータ、およびクローズドキャプション（ＣＣ）データをそれぞれバッファリングするためのデータバッファの割当を含む複数のタスクを含むことができる。さらに、解析器２０５によって供給されるビデオＰＥＳバッファ「読み取り」情報４０６（たとえば、図３のブロック３１０で処理３００によって生成することができる）が入力される。
【００３８】
ブロック４０４での初期化の後に、処理４００は、ブロック４０８に進み、ここで、ビデオＥＳの主処理が、復号化器２１４によって実行される。主処理は、新しいデータの可用性に関するビデオＰＳＥバッファ「読み取り」情報または「インターフェース」のポーリングと、ビデオＥＳの復号化と、同期しているピクチャ境界での画素データの再構成および格納と、ビデオおよびａ／ｖがピクチャ境界でメタデータを生成し格納することと、ピクチャ境界でのＣＣデータ格納とを含む。主処理４０８の結果ブロック４１０は、シーケンス記述子、復号化済みピクチャバッファ記述子、メタデータバッファ記述子、およびＣＣデータバッファ記述子の生成を含む。
【００３９】
主処理４０８の後に、処理４００は、ブロック４１２に進み、ここで、終了処理を実行する。終了処理は、所定のしきい値を超える特定の持続時間の間に新しいデータが発生しないこと、シーケンス終了コードの検出、および／または明示的終了信号の検出を含む終了条件の判定を含むことができる。終了処理は、さらに、下で説明する、復号化済みピクチャバッファ、関連するメタデータバッファ、およびＣＣデータバッファのプリプロセッサによる消費の結果としてこれらのバッファを解放することを含むことができる。処理４００は、ブロック４１４で終了し、ここで、処理４００は、ビデオＥＳが入力として受け取られるのを待つ状態に入ることができる。
【００４０】
プリプロセッサ
図２およびより詳細には図６に、１つまたは複数の前処理動作にコンテンツ情報を使用できるプリプロセッサ２２６のサンプル態様を示す。プリプロセッサ２２６は、パーサ／復号化器２０２からメタデータ２２２および復号化された「生」ビデオデータ２２４を受け取る。プリプロセッサ２２６は、ビデオデータ２２４およびメタデータ２２２に対してあるタイプの処理を実行し、処理されたマルチメディア（たとえば、ベースレイヤ基準フレーム、エンハンスメントレイヤ基準フレーム、帯域幅情報、コンテンツ情報）およびビデオを符号化器２２８に供給するように構成される。マルチメディアデータのそのような前処理は、ビデオの明瞭さ、アンチエイリアシング、およびデータの圧縮効率を改善することができる。一般に、プリプロセッサ２２６は、解析器復号化器２０２内の復号化器２１４によって供給されるビデオシーケンスを受け取り、符号化器２２８によるさらなる処理（たとえば、符号化）のためにそのビデオシーケンスをプログレッシブビデオシーケンスに変換する。いくつかの態様で、プリプロセッサ２２６を、逆テレシネ、デインターレーシング、フィルタリング（たとえば、人為的な結果の除去、デリンギング、デブロッキング、および雑音除去）、サイズ変更（たとえば、標準品位からＱｕａｒｔｅｒ  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ（ＱＶＧＡ）への空間分解能ダウンサンプリング）、およびＧＯＰ構造生成（たとえば、計算複雑度マップ生成、シーン変化検出、およびフェード／フラッシュ検出）を含む多数の動作のために構成することができる。
【００４１】
プリプロセッサ２２６は、前処理動作のうちの１つまたは複数に影響を与えるために復号化器からのメタデータを使用することができる。メタデータには、マルチメディアデータのコンテンツの記述または分類に関する情報（「コンテンツ情報」）を含めることができ、具体的には、メタデータにコンテンツ分類を含めることができる。いくつかの態様において、メタデータは、符号化動作に望まれるコンテンツ情報を含まない。そのような場合に、コンテンツ情報を決定し、そのコンテンツ情報を前処理動作に使用し、かつ／またはトランスコーダ２００の他の構成要素、たとえば復号化器２２８にコンテンツ情報を供給するようにプリプロセッサ２２６を構成することができる。いくつかの態様において、プリプロセッサ２２６は、ＧＯＰパーティショニングに影響し、フィルタリングの適当なタイプを決定し、かつ／または符号化器に通信される符号化パラメータを決定するためにそのようなコンテンツ情報を使用することができる。
【００４２】
図６に、プリプロセッサ２２６に含めることができるさまざまな処理ブロックの例示的な例を示し、プリプロセッサ２２６によって実行できる処理を示す。この例では、プリプロセッサ２２６は、メタデータおよびビデオ２２２、２２４を受け取り、（処理された）メタデータおよびビデオを備える出力データ６１４を符号化器２２８に供給する。通常、受け取られる可能性がある３タイプのビデオがある。第１に、受け取られるビデオが、プログレッシブビデオである可能性があり、この場合にはデインターレーシングが不要である場合がある。第２に、ビデオデータが、テレシネされたビデオすなわち２４ｆｐｓムービーシーケンスから変換されたインターレース式ビデオである可能性があり、この場合には、逆テレシネ動作が必要になる場合がある。第３に、ビデオが、テレシネされていないインターレース式ビデオである可能性がある。プリプロセッサ２２６は、下で説明するようにこれらのタイプのビデオを処理することができる。
【００４３】
ブロック６０１で、プリプロセッサ２２６は、受け取ったビデオデータ２２２、２２４がプログレッシブビデオであるかどうかを判定する。いくつかの場合に、これは、メタデータがそのような情報を含む場合にメタデータから判定することができ、あるいは、ビデオデータ自体の処理によって判定することができる。たとえば、下で説明する逆テレシネ処理は、受け取られたビデオ２２２がプログレッシブビデオであるかどうかを判定することができる。そうである場合には、この処理はブロック６０７に進み、ここで、フィルタリング（たとえば、デノイザ（denoiser））動作が、白色ガウス雑音などの雑音を減らすためにビデオに対して実行される。ビデオデータ２２２、２２４がプログレッシブビデオではない場合には、ブロック６０１で、この処理は、ブロック６０４へ、フェーズ検出器６０４へ進む。
【００４４】
フェーズ検出器６０４は、テレシネで発したビデオと標準ブロードキャストフォーマットで始まったビデオとを区別する。ビデオがテレシネされたとの判断が行われる場合に（フェーズ検出器６０４から出るＹＥＳ判断経路）、テレシネされたビデオが、逆テレシネ６０６でそのオリジナルフォーマットに戻される。冗長なフレームが、識別され、除去され、同一ビデオフレームから導出されたフィールドが、完全な画像にもう一度織り込まれる。再構成されたフィルム画像のシーケンスは、１秒の１／２４の規則的な間隔で写真のように記録されたので、ＧＯＰパーティショナ（partitioner）６１２または復号化器２２８内で実行される動き推定処理は、不規則なタイムベースを有するテレシネされたデータではなく、逆テレシネされた画像を使用することによって、より正確である。
【００４５】
一態様で、フェーズ検出器６０４は、ビデオフレームの受け取りの後にある種の判断を行う。これらの判断は、（ｉ）テレシネ出力および３：２プルダウン・フェーズからの現行ビデオが、図３８に示された５つのフェーズＰ０、Ｐ１、Ｐ２、Ｐ３、およびＰ４のうちの１つであるかどうか、および（ｉｉ）ビデオが従来のＮＴＳＣとして生成されたかどうかを含む。その判断を、フェーズＰ５と表す。これらの判断は、図２に示されたフェーズ検出器６０４の出力として現れる。フェーズ検出器６０４からの「ＹＥＳ」と示された経路は、逆テレシネ６０６を作動させ、正しいプルダウン・フェーズが与えられたことを示し、その結果、逆テレシネ６０６が、同一の写真画像から形成されたフィールドを選別でき、これらを組み合わせられるようにする。フェーズ検出器６０４からの「ＮＯ」と示された経路は、同様に、最適処理のために明白なＮＴＳＣフレームをフィールドに分離するためにデインターレーサ６０５を作動させる。フェーズ検出器６０４は、異なるタイプのビデオが任意の時に受け取られる可能性があるので、ビデオフレームを連続的に分析することができる。例示として、ＮＴＳＣ標準規格に準拠するビデオが、コマーシャルとしてビデオに挿入される場合がある。逆テレシネの後に、結果のプログレッシブビデオが、デノイザ（フィルタ）６０７に送られ、デノイザ６０７は、白色ガウス雑音を減らすのに使用することができる。
【００４６】
通常のＮＴＳＣビデオが認識される場合に（フェーズ検出器６０１からのＮＯ経路）、そのビデオは、圧縮のためにデインターレーサ６０５に送られる。デインターレーサ６０５は、インターレース式フィールドをプログレッシブビデオに変換し、その後、雑音除去動作が、プログレッシブビデオに対して実行され得る。デインターレーシング処理の１つの例示的な例を、下で説明する。
【００４７】
テレビジョンなどの伝統的なアナログビデオデバイスは、インターレースされた形でビデオをレンダリングする、すなわち、そのようなデバイスは、偶数番号の走査線（偶数フィールド）を送り、次に奇数番号の走査線（奇数フィールド）を送る。信号サンプリングの観点から、これは、次式によって記述されるパターンでの時空間サブサンプリングと同等である。
【数１】
2009510933.tif 000003
【００４８】
ここで、Θは、オリジナルフレームピクチャを表し、Ｆは、インターレース式フィールドを表し、（ｘ，ｙ，ｎ）は、それぞれ画素の水平位置、垂直位置、および時間位置を表す。
【００４９】
一般性を失わずに、本開示全体を通じてｎ＝０が偶数フィールドであると仮定することができ、その結果、上の式１は、次のように単純化される。
【数２】
2009510933.tif 000004
【００５０】
デシメーションは、水平次元では行われないので、サブサンプリングパターンは、次のｎ〜ｙ座標で描くことができる。
【００５１】
デインターレーサの目的は、インターレース式ビデオ（フィールドのシーケンス）を非インターレース式プログレッシブフレーム（フレームのシーケンス）に変換することである。言い換えると、フルフレームピクチャを「回復し」または生成するために、偶数フィールドおよび奇数フィールドを補間する。これは、式３によって表すことができる。
【数３】
2009510933.tif 000005
【００５２】
ここで、Ｆｉは、欠けている画素のデインターレーシング結果を表す。
【００５３】
図４０は、インターレース式マルチメディアデータからプログレッシブフレームを生成するのにＷｍｅｄフィルタリングおよび動き推定を使用するデインターレーサ６０５の一態様の特定の側面を示すブロック図である。図４０の上側部分は、現行フィールド、２つの前のフィールド（前の前のフィールドおよび前のフィールド）、および２つの後のフィールド（次のフィールドおよび次の次のフィールド）からの情報を使用して生成できる動き強度マップ（motion intensity map）４００２を示す。動き強度マップ４００２は、現行フレームを複数の異なる動きレベルに分類し、またはパーティショニングするが、下でさらに詳細に説明する時空間フィルタリングによって生成することができる。いくつかの態様において、動き強度マップ４００２は、下で式４〜８を参照して説明するように、静的な区域、遅い動きの区域、および速い動きの区域を識別するために生成される。時空間フィルタ、たとえばＷｍｅｄフィルタ４００４は、動き強度マップに基づく判断基準を使用して、インターレース式マルチメディアデータをフィルタリングし、時空間的な仮のデインターレースされたフレームを作る。いくつかの態様において、Ｗｍｅｄフィルタリング処理は、［−１，１］の水平近傍、［−３，３］の垂直近傍、および図４０に示された５つのフィールド（前の前のフィールド、前のフィールド、現行フィールド、次のフィールド、および次の次のフィールド）によって表される５つの隣接するフィールドの時間近傍を用い、Ｚ−１は、１フィールドの遅延を表す。現行フィールドに対して相対的に、次のフィールドおよび前のフィールドは、非パリティフィールドであり、次の次のフィールドおよび前の前のフィールドは、パリティフィールドである。時空間フィルタリングに使用される「近傍」は、フィルタリング動作中に実際に使用されるフィールドおよび画素の空間的時間的位置を指し、たとえば図６および７に示されているように、「アパーチャ」として図示することができる。
【００５４】
デインターレーサ６０５は、Ｗｍｅｄフィルタ４００４によって生成された時空間的な仮のデインターレースされたフレームをフィルタリングするように構成されたデノイザ（雑音除去フィルタ）４００６をも含むことができる。時空間的な仮のデインターレースされたフレームを雑音除去することによって、特にソースのインターレース式マルチメディアデータシーケンスが白色雑音によって汚染されている場合に、後続の動き探索処理がより正確になる。これによって、Ｗｍｅｄピクチャ内の偶数行と奇数行との間のエイリアスを少なくとも部分的に除去することもできる。デノイザ４００６は、ウェーブレット収縮（wavelet shrinkage）およびウェーブレットウィーナーフィルタベースのデノイザを含むさまざまなフィルタとして実施することができる。デノイザは、候補Ｗｍｅｄフレームが動き補償情報を使用してさらに処理される前にその候補となるＷｍｅｄフレームから雑音を除去するのに使用することができ、Ｗｍｅｄフレーム内に存在する雑音を除去し、信号の周波数の内容に関わりなく、存在する信号を保つことができる。ウェーブレットフィルタを含むさまざまなタイプの雑音除去フィルタを使用することができる。ウェーブレットは、空間領域とスケーリング領域との両方で所与の信号を局所化するのに使用される、ある種類の関数である。ウェーブレットの背後にある基本的な発想は、ウェーブレット表現での小さい変化が、対応してオリジナル信号の小さい変化を作るように、異なるスケールまたは異なる分解能で信号を分析することである。
【００５５】
ウェーブレット収縮またはウェーブレットウィーナーフィルタを、デノイザとして適用することもできる。ウェーブレット収縮は、雑音の多い信号のウェーブレット変換と、それに続き、大きいウェーブレット係数が影響されないままにしながら小さいウェーブレット係数を０（またはより小さい値）に縮小することからなる。最後に、逆変換が、推定された信号を獲得するために実行される。
【００５６】
雑音除去フィルタリングは、雑音の多い環境で動き補償の精度を高める。ウェーブレット収縮雑音除去は、ウェーブレット変換領域での縮小を用いることができ、通常は、３つのステップすなわち、線形順方向ウェーブレット変換、非線形収縮雑音除去、および線形逆ウェーブレット変換を備える。ウィーナーフィルタは、加法性雑音およびぼけによって劣化した画像を改善するのに使用できるＭＳＥ最適線形フィルタである。そのようなフィルタは、当技術分野で一般に知られており、たとえば、上で参照した「Ｉｄｅａｌ  ｓｐａｔｉａｌ  ａｄａｐｔａｔｉｏｎ  ｂｙ  ｗａｖｅｌｅｔ  ｓｈｒｉｎｋａｇｅ」、および参照によってその全体が特に本明細書に組み込まれているＳ．Ｐ．Ｇｈａｅｌ、Ａ．Ｍ．Ｓａｙｅｅｄ、およびＲ．Ｇ．Ｂａｒａｎｉｕｋ、「Ｉｍｐｒｏｖｅｍｅｎｔ  Ｗａｖｅｌｅｔ  ｄｅｎｏｉｓｉｎｇ  ｖｉａ  ｅｍｐｉｒｉｃａｌ  Ｗｉｅｎｅｒ  ｆｉｌｔｅｒｉｎｇ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＰＩＥ、ｖｏｌ．３１６９、３８９〜３９９頁、Ｓａｎ  Ｄｉｅｇｏ、１９９７年７月に記載されている。
【００５７】
いくつかの態様において、雑音除去フィルタは、（４，２）双直交（bi-orthogonal）３次Ｂスプラインウェーブレットフィルタの一態様に基づく。１つのそのようなフィルタを、次の順方向変換および逆変換によって定義することができる。
【数４】
2009510933.tif 000006
【００５８】
および
【数５】
2009510933.tif 000007
【００５９】
雑音除去フィルタの適用は、雑音の多い環境での動き補償の精度を高めることができる。そのようなフィルタの実施態様が、さらに、参照によってその全体が特に本明細書に組み込まれている、「Ｉｄｅａｌ  ｓｐａｔｉａｌ  ａｄａｐｔａｔｉｏｎ  ｂｙ  ｗａｖｅｌｅｔ  ｓｈｒｉｎｋａｇｅ」、Ｄ．Ｌ．ＤｏｎｏｈｏおよびＩ．Ｍ．Ｊｏｈｎｓｔｏｎｅ、Ｂｉｏｍｅｔｒｉｋａ、ｖｏｌ．８、４２５〜４５５頁、１９９４年に記載されている。
【００６０】
図４０の下側部分は、インターレース式マルチメディアデータの動き情報（たとえば、動きベクトル候補、動き推定、動き補償）の決定の一態様を示す。具体的に言うと、図４０は、選択されたフレームの動き補償された仮のプログレッシブフレームを生成するのに使用され、その後、デインターレースされた現行フレーム４０１４として図示された結果の「最終的な」プログレッシブフレームを形成するためにＷｍｅｄ仮フレームと組み合わされる、動き推定および動き補償方式を示す。いくつかの態様において、インターレース式マルチメディアデータの動きベクトル（「ＭＶ」）候補（または推定値）は、外部の動き推定器からデインターレーサに供給され、双方向動き推定器および補償器（「ＭＥ／ＭＣ」）４０１８の開始点を与えるのに使用される。いくつかの態様で、ＭＶ候補選択器４０２２は、処理されているブロックのＭＶ候補について、以前に処理されたブロック、たとえばデインターレースされた前フレーム４０２０内のブロックのＭＶなど、隣接ブロックの以前に決定されたＭＶを使用する。動き補償は、前のデインターレースされたフレーム７０および次の（たとえば将来の）Ｗｍｅｄフレーム４００８に基づいて、双方向で行うことができる。現行Ｗｍｅｄフレーム４０１０および動き補償された（「ＭＣ」）現行フレーム４０１６は、コンバイナ４０１２によってマージされ、または組み合わされる。結果として生じるデインターレースされた現行フレーム４０１４は、現在はプログレッシブフレームであるが、デインターレースされた前フレーム４０２０として使用するためにＭＥ／ＭＣ  ４０１８に戻して供給され、後続処理のためにデインターレーサ６０５の外部にも通信される。
【００６１】
インターフィールド補間を備えるデインターレーシング予測方式を、Ｗｍｅｄ＋ＭＣデインターレーシング方式を伴うイントラフィールド補間から分離することが可能である。言い換えると、時空間Ｗｍｅｄフィルタリングを、主にイントラフィールド補間のために使用することができ、インターフィールド補間を、動き補償中に実行することができる。これは、Ｗｍｅｄ結果のピーク信号対雑音比を下げるが、動き補償が適用された後の視覚的品質は、不正確なインターフィールド予測モード判断からの不良画素がＷｍｅｄフィルタリング処理から除去されるので、より満足である。
【００６２】
適当な逆テレシネまたはデインターレーシング処理の後に、ブロック６０８で、プログレッシブビデオが、エイリアス抑制および再サンプリング（たとえば、サイズ変更）のために処理される。いくつかの再サンプリング態様では、多フェーズリサンプラが、ピクチャサイズ変更のために実施される。ダウンサンプリングの一例では、オリジナルピクチャとサイズ変更されたピクチャとの間の比を、ｐ／ｑとすることができ、ここで、ｐおよびｑは、互いに素な整数である。フェーズの総数は、ｐである。いくつかの態様での多フェーズフィルタのカットオフ周波数は、約０．５のサイズ変更係数に関して０．６である。カットオフ周波数は、サイズ変更されたシーケンスの高周波応答を高めるために、サイズ変更比と正確には一致しない。これは、不可避的に多少のエイリアシングを許容する。しかし、人間の目が、ぼけているがエイリアスのないピクチャよりも、先鋭であるが多少エイリアスを有するピクチャを好むことが周知である。
【００６３】
図４１に、サイズ変更比が３／４である場合の相を示す多フェーズ再サンプリングの例を示す。図４１に示されたカットオフ周波数は、やはり３／４である。オリジナル画素は、上の図では垂直軸を用いて図示されている。シンク関数も、フィルタ波形を表すためにこの軸を中心として描かれている。カットオフ周波数が、再サンプリング分配と正確に同一になるように選択されたので、シンク関数の０は、図４１で十字を用いて示されているサイズ変更の後の画素の位置とオーバーラップする。サイズ変更の後の画素値を見つけるために、次の方程式に示されているように、オリジナル画素からの寄与を合計することができる。
【数６】
2009510933.tif 000008
【００６４】
ここで、ｆｃはカットオフ周波数である。上の１Ｄ多フェーズフィルタは、水平次元と垂直次元との両方に適用することができる。
【００６５】
再サンプリング（サイズ変更）のもう１つの態様は、オーバースキャンを考慮に入れることである。ＮＴＳＣテレビジョン信号では、１つの画像が、４８６本の走査線を有し、ディジタルビデオでは、各走査線上に７２０個の画素を有することができる。しかし、サイズと画面フォーマットとの間の不一致に起因して、画像全体のすべてがテレビジョン上で可視であるわけではない。画像のうちで可視でない部分を、オーバースキャンと呼ぶ。
【００６６】
放送会社が、できる限り多数のテレビジョンで可視の区域に有用な情報を置くのを助けるために、映画テレビジョン技術者協会（ＳＭＰＴＥ）は、セーフアクションエリアおよびセーフタイトルエリアと呼ばれるアクションフレームの特定のサイズを定義した。ＳＭＰＴＥ推奨実践ＲＰ  ２７．３−１９８９（Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ  ｆｏｒ  Ｓａｆｅ  Ａｃｔｉｏｎ  ａｎｄ  Ｓａｆｅ  Ｔｉｔｌｅ  Ａｒｅａｓ  Ｔｅｓｔ  Ｐａｔｔｅｒｎ  ｆｏｒ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ）を参照されたい。セーフアクションエリアは、ＳＭＰＴＥによって、「すべての重要なアクションが行われなければならない」区域と定義される。セーフタイトルエリアは、「家庭テレビジョン受像機の大多数での可視性を保証するために、すべての有用な情報を閉じこめることができる」区域と定義される。
【００６７】
たとえば、図２５を参照すると、セーフアクションエリア２５１０は、画面の中央９０％を占め、四方に５％のボーダーを与える。セーフタイトルエリア２５０５は、画面の中央８０％を占め、１０％のボーダーを与える。ここで図２６を参照すると、セールタイトルエリアは非常に小さいので、画像内により多くのコンテンツを追加するために、一部の局は、白い長方形の窓２６１５の内側であるセーフアクションエリア内にテキストを置く。
【００６８】
通常、黒いボーダーが、オーバースキャン内で見られる場合がある。たとえば、図２６では、黒いボーダーが、画像の上側２６２０および下側２６２５に現れている。これらの黒いボーダーは、Ｈ．２６４ビデオが動き推定でバウンダリエクステンション（boundary extension）を使用するので、オーバースキャン内で除去することができる。拡大された黒いボーダーが、残差を増やす可能性がある。逆に、境界を２％だけカットし、その後、サイズ変更を行うことができる。サイズ変更用のフィルタは、それ相応に生成することができる。トランケーションが、多フェーズ・ダウンサンプリングの前にオーバースキャンを除去するために実行される。
【００６９】
もう一度図６を参照すると、プログレッシブビデオは、次に、ブロック６１０に進み、ここで、デブロッカ動作およびデリンギング動作が実行される。２つのタイプの人為的な結果、すなわち「ブロッキング」および「リンギング」が、一般にビデオ圧縮アプリケーションで発生する。ブロッキングの人為的結果は、圧縮アルゴリズムが各フレームをブロック（たとえば、８×８ブロック）に分割するので発生する。各ブロックは、ある小さい誤差を伴って再構成され、ブロックの縁での誤差は、しばしば、隣接するブロックの縁での誤差に対して明暗を有し、ブロック境界を可視にする。対照的に、リンギングの人為的結果は、画像特徴の縁の周囲のひずみとして現れる。リンギングの人為的結果は、符号化器が高周波ＤＣＴ係数の量子化で破棄する情報が多すぎるので発生する。いくつかの例示的な例で、デブロッキングとデリンギングとの両方が、これらの可視の人為的結果を隠すために低域ＦＩＲ（有限インパルス応答）フィルタを使用することができる。
【００７０】
デブロッキング処理の一例で、デブロッキングフィルタを、フレームの境界の縁およびデブロッキングフィルタ処理が使用不可にされるすべての縁を除いて、フレームのすべての４×４ブロックの縁に適用することができる。このフィルタリング処理は、フレーム構成処理の完了後にマクロブロックを基礎として実行されなければならず、１フレーム内のすべてのマクロブロックが、マクロブロックアドレスの昇順で処理される。マクロブロックごとに、垂直の縁が、まず、左から右へフィルタリングされ、次に、水平の縁が、上から下へフィルタリングされる。図３９に示されているように、水平方向および垂直方向について、ルマデブロッキングフィルタ処理は、４つの１６サンプルの縁に対して実行され、各クロマ成分のデブロッキングフィルタ処理は、２つの８サンプルの縁に対して実行される。前のマクロブロックに対するデブロッキング処理動作によって既に変更されている可能性がある、現行マクロブロックの上および左のサンプル値は、現行マクロブロックに対するデブロッキングフィルタ処理への入力として使用されなければならず、現行マクロブロックのフィルタリング中にさらに変更される可能性がある。垂直の縁のフィルタリング中に変更されたサンプル値を、同一マクロブロックの水平の縁のフィルタリングについて入力として使用することができる。デブロッキング処理を、ルマ成分およびクロマ成分について別々に呼び出すことができる。
【００７１】
デリンギング処理の例では、２Ｄフィルタを、縁の近くの区域を平滑化するために適応的に適用することができる。縁の画素は、ぼけを防ぐためにフィルタリングをほとんどまたは全く受けない。
【００７２】
ＧＯＰパーティショナ
デブロッキングおよびデリンギングの後に、プログレッシブビデオは、ＧＯＰパーティショナ６１２によって処理される。ＧＯＰパーティショニングには、ショット変化の検出、複雑度マップ（たとえば、時間帯域幅マップ、空間帯域幅マップ）の生成、および適応的ＧＯＰパーティショニングを含めることができる。これらを、それぞれ下で説明する。
【００７３】
Ａ．シーン変化検出
ショット検出は、シーン変化が発生したことを示すデータを、グループオブピクチャ（ＧＯＰ）内の１フレームが何時示すかを判定することに関する。一般に、ＧＯＰ内で、フレームは、２つまたは３つ（あるいはそれ以上）の隣接するフレームで大きい変化を有しない場合があり、あるいは、遅い変化または速い変化がある場合がある。もちろん、これらのシーン変化分類を、必要な、特定の応用例に依存する、より高いレベルの変化にさらに分解することができる。
【００７４】
ショット変化またはシーン変化の検出は、ビデオの効率的な符号化に重要である。通常、ＧＯＰが大きく変化してはいない時に、複数の予測フレームがその後に続くそのＧＯＰの先頭のＩフレームは、ビデオを十分に符号化することができ、その結果、ビデオの後続の復号および表示が視覚的に許容できるものになる。しかし、シーンが、突然にまたはゆっくりとのいずれであれ、変化しつつある時には、追加のＩフレームおよびより少ない予測符号化（ＰフレームおよびＢフレーム）が、後に復号化される視覚的に許容できる結果を作るために必要になる可能性がある。
【００７５】
既存の符号化システムの性能を改善するショット検出および符号化のシステムおよび方法を、下で説明する。そのような態様は、プリプロセッサ２２６（図７）のＧＯＰパーティショナ６１２内で実施することができ、あるいは、プリプロセッサと共にまたはプリプロセッサなしで動作できる符号化器デバイス内に含めることができる。そのような態様は、突然のシーン変化が発生したか、シーンがゆっくり変化してるか、あるいはビデオ符号化を特に複雑にする可能性があるシーン内のカメラフラッシュライトがあるかどうかを判定するために、ビデオデータの隣接フレームの間の統計的比較を含む統計（またはメトリックス）を利用する。この統計は、プリプロセッサから取得可能であり、その後、符号化デバイスに送ることができ、あるいは、符号化デバイス内で生成することができる（たとえば、動き補償を実行するように構成されたプロセッサによって）。結果として生じる統計は、シーン変化の検出の判断を助ける。トランスコーディングを行うシステムには、しばしば、適切なプリプロセッサまたは構成可能なプロセッサが存在する。プリプロセッサが、動き補償によって助けられるデインターレーシングを実行する場合には、動き補償の統計が、利用可能であり、直ちに使用できる。そのようなシステムでは、ショット検出アルゴリズムが、システムの複雑さをわずかに高める場合がある。
【００７６】
本明細書で説明するショット検出器の例示的な例は、前のフレーム、現行フレーム、および次のフレームからの統計を利用することだけを必要とし、したがって、非常に低いレイテンシを有する。ショット検出器は、突然のシーン変化、クロスフェーディングおよび他の遅いシーン変化、ならびにカメラフラッシュライトを含む、複数の異なるタイプのショット事象を区別する。異なるタイプのショット事象を符号化器内で異なる戦略を用いて判定することによって、符号化器の効率および視覚的品質が高められる。
【００７７】
シーン変化検出は、ビデオ符号化システムが固定された間隔でＩフレームを挿入することによってインテリジェントにビットを節約するために、任意のビデオ符号化システムに使用することができる。いくつかの態様において、プリプロセッサによって取得されるコンテンツ情報（たとえば、メタデータに組み込まれるかプリプロセッサ２２６によって計算されるかのいずれか）を、シーン変化検出に使用することができる。たとえば、コンテンツ情報に応じて、下で説明するしきい値および他の判断基準を、異なるタイプのビデオコンテンツについて動的に調整することができる。
【００７８】
ビデオ符号化は、通常、構造化されたグループオブピクチャ（ＧＯＰ）に対して動作する。ＧＯＰは、通常、イントラ符号化されたフレーム（Ｉフレーム）から始まり、これに一連のＰ（予測）フレームまたはＢ（双方向）フレームが続く。通常、Ｉフレームは、そのフレームを表示するのに必要なすべてのデータを格納することができ、Ｂフレームは、先行するフレームおよび続くフレーム内のデータに頼り（たとえば、前のフレームから変化したデータまたは次のフレーム内のデータと異なるデータだけを含む）、Ｐフレームは、前のフレームから変化したデータを含む。一般的な使用法で、Ｉフレームは、符号化されたビデオ内でＰフレームおよびＢフレームと共に散在する。サイズ（たとえば、フレームを符号化するのに使用されるビット数）に関して、Ｉフレームは、通常、Ｐフレームよりはるかに大きく、Ｐフレームは、Ｂフレームより大きい。効率的な符号化、伝送、および復号化処理のために、ＧＯＰの長さは、大きいＩフレームからの効率的な損失を減らすのに十分に大きく、符号化器と復号化器との間の不一致またはチャネル障害と戦うのに十分に短くしなければならない。さらに、Ｐフレーム内のマクロブロック（ＭＢ）を、同一の理由からイントラ符号化することができる。
【００７９】
シーン変化検出は、しばしば不必要なＩフレームを固定間隔で挿入するのではなく、ビデオ符号化器が正しいＧＯＰ長を判定し、そのＧＯＰ長に基づいてＩフレームを挿入するために使用することができる。実用的なストリーミングビデオシステムでは、通信チャネルは、通常、ビット誤りまたはパケット消失によってそこなわれる。ＩフレームまたはＩ  ＭＢが置かれる場所は、復号化されたビデオの品質および視聴経験に大きく影響する可能性がある。１つの符号化方式は、同一位置の以前のピクチャまたはピクチャ部分からの大きい変化を有するピクチャまたはピクチャの部分に、イントラ符号化されたフレームを使用することである。通常、これらの領域は、動き推定を用いて有効に効率的に予測することはできず、符号化は、そのような領域がインターフレーム符号化技法（たとえば、ＢフレームおよびＰフレームを使用する符号化）から除外される場合に、より効率的に行うことができる。チャネル障害の文脈では、これらの領域は、誤り伝搬から損害を受ける可能性が高いが、この誤り伝搬は、イントラフレーム符号化によって減らすか除去する（またはほぼ除去する）ことができる。
【００８０】
ＧＯＰビデオの諸部分を、複数のカテゴリに分類することができ、ここで、各領域は、特定の実装に依存する可能性のある異なるイントラフレーム符号化基準を有することができる。例として、ビデオを、３つのカテゴリすなわち、突然のシーン変化、クロスフェーディングおよび他の遅いシーン変化、ならびにカメラフラッシュライトに分類することができる。
【００８１】
突然のシーン変化は、通常はカメラ動作によって引き起こされる、前フレームから大きく異なるフレームを含む。これらのフレームのコンテンツは、前フレームのコンテンツと異なるので、突然のシーン変化のフレームは、Ｉフレームとして符号化されなければならない。
【００８２】
クロスフェーディングおよび他の遅いシーン変化は、通常はカメラショットのコンピュータ処理によって引き起こされる、シーンの遅い切替を含む。２つの異なるシーンの徐々のブレンディングは、人間の目にはより満足に見える可能性があるが、ビデオ符号化に対して課題を提示する。動き補償は、これらのフレームのビットレートを効果的に下げることができず、より多くのイントラＭＢが、これらのフレームについて更新される可能性がある。
【００８３】
カメラフラッシュライトまたはカメラフラッシュ事象は、フレームのコンテンツがカメラフラッシュを含む時に発生する。そのようなフラッシュは、持続時間において比較的短く（たとえば、１フレーム）、極端に明るく、フラッシュを描いたフレーム内の画素は、隣接フレーム上の対応する区域に対して相対的に異常に高い輝度を示すようになっている。カメラフラッシュライトは、ピクチャの輝度を突然にすばやくシフトする。通常、カメラフラッシュライトの持続時間は、通常は４４ｍｓと定義される人間の視覚系（ＨＶＳ）の時間マスキング持続時間より短い。人間の目は、明るさのこれらの短いバーストの品質に敏感ではなく、したがって、これらを粗く符号化することができる。フラッシュライトフレームは、動き補償を用いて有効に処理することができず、将来のフレームに関する悪い予測候補なので、これらのフレームの粗い符号化は、将来のフレームの符号化効率を低下させない。フラッシュライトと分類されたシーンは、「人工的に」高い輝度のゆえに他のフレームの予測に使用してはならず、他のフレームは、同一の理由からこれらのフレームを予測するのに効果的に使用することができない。識別されたならば、これらのフレームは比較的大量の処理を必要とする可能性があるので、これらのフレームを除外することができる。１つのオプションは、カメラフラッシュライトフレームを除去し、その代わりにＤＣ係数を符号化することであり、そのような解決策は、単純であり、計算的に高速であり、多数のビットを節約する。
【００８４】
フレームの上のカテゴリのいずれかが検出される時には、ショット事象が宣言される。ショット検出は、符号化品質を改善するのに有用であるだけではなく、ビデオコンテンツ探索およびインデクシングを識別するのをも助けることができる。シーン検出処理の１つの例示的態様を、下で説明する。この例では、ショット検出処理は、まず、ショット検出について処理される選択されたフレームの情報またはメトリックスを計算する。このメトリックスには、ビデオの双方向の動き推定および補償処理からの情報、ならびに他の輝度ベースのメトリックスを含めることができる。
【００８５】
双方向の動き推定／補償を実行するために、ビデオシーケンスを、現行フレームのすべての８×８ブロックを１つは過去の、１つは将来の２つの最も隣接する近傍フレーム内のブロックと照合する双方向の動き補償器を用いて前処理することができる。動き補償器は、すべてのブロックについて動きベクトルおよび差分メトリックを作る。図２９は、過去のフレームＰおよび将来の（または次の）フレームＮに一致する現行フレームＣの画素の例を示し、一致する画素への動きベクトル（過去の動きベクトルＭＶＰおよび将来の動きベクトルＭＶＮを示す図である。双方向の動きベクトルの生成および関連する符号化の全般的な説明は、一般に、下で、図３２を参照して説明する。
【００８６】
双方向の動き情報（たとえば、対応する隣接フレーム内のＭＢ（最良一致）を識別する動き情報を決定した後に、次のフレームおよび前のフレームに対する現行フレームのさまざまな比較によって、追加のメトリックスを生成することができる（たとえば、ＧＯＰパーティショナ６１２内の動き補償器または別の適切な構成要素によって）。動き補償器は、すべてのブロックの差分メトリックを作ることができる。差分メトリックは、二乗差の合計（ＳＳＤ）または絶対差の合計（ＳＡＤ）とすることができる。一般性を失わずに、本明細書では例としてＳＡＤを使用する。
【００８７】
すべてのフレームについて、「コントラスト比」とも称するＳＡＤ比を、下のように計算する。
【数７】
2009510933.tif 000009
【００８８】
ここで、ＳＡＤＰおよびＳＡＤＮは、それぞれ順方向の差分メトリックおよび逆方向の差分メトリックの絶対差の合計である。分母が、「ゼロによる除算」のエラーを防ぐために、小さい正の数εを含むことに留意されたい。分子も、分母の１の影響の釣り合いをとるためにεを含む。たとえば、前のフレーム、現行フレーム、および次のフレームが同一である場合に、動き探索は、ＳＡＤＰ＝ＳＡＤＮ＝０をもたらさなければならない。この場合に、０または無限大ではなく上の計算はγ＝１を生成する。
【００８９】
輝度ヒストグラムを、すべてのフレームについて計算することができる。通常、マルチメディア画像は、８ビットの輝度深さ（たとえば、「ビン」の個数）を有する。いくつかの態様による輝度ヒストグラムの計算に使用される輝度深さには、ヒストグラムを取得するために１６に設定されることができる。他の態様では、輝度深さに、処理されるデータのタイプ、使用可能な計算能力、または他の所定の判断基準に依存するものとすることができる適当な数に設定されることができる。いくつかの態様において、輝度深さは、データの内容など、計算されたメトリックまたは受け取られたメトリックに基づいて動的に設定されることができる。
【００９０】
下の方程式は、輝度ヒストグラム差分（ラムダ）を計算することの１つの例を示す。
【数８】
2009510933.tif 000010
【００９１】
ここで、ＮＰｉは、前のフレームの第ｉビン内のブロックの個数であり、ＮＣｉは、現行フレームの第ｉビン内のブロックの個数であり、Ｎは、１フレーム内のブロックの総数である。前のフレームおよび現行フレームの輝度ヒストグラム差分が、完全に異なる（または互いに素である）場合には、λ＝２である。
【００９２】
この情報を使用して、フレーム差分メトリック（Ｄ）が、次のように計算される。
【数９】
2009510933.tif 000011
【００９３】
ここで、Ａは、アプリケーションによって選択される定数であり、
【数１０】
2009510933.tif 000012
【００９４】
である。
【００９５】
選択された（現行の）フレームは、フレーム差分メトリックが式９に示された判断基準を満足する場合に、突然のシーン変化と分類される。
【数１１】
2009510933.tif 000013
【００９６】
ここで、Ａは、アプリケーションによって選択される定数であり、Ｔ１は、しきい値である。
【００９７】
一つの例示的なシミュレーションは、Ａ＝１およびＴ１＝５を設定することによって、よい検出性能が達成されることを示す。現行フレームが、突然のシーン変化のフレームである場合には、γＣを大きくしなければならず、γＰを小さくしなければならない。比
【数１２】
2009510933.tif 000014
【００９８】
を単独のγＣの代わりに使用することができ、その結果、このメトリックが、コンテキストのアクティビティレベルに対して正規化されるようになる。
【００９９】
上の判断基準が、非線形の形で輝度ヒストグラム差分ラムダ（λ）を使用することに留意されたい。図１６は、λ＊（２λ＋１）が凸関数であることを示す。λが小さい（たとえば、０に近い）場合に、λは、かろうじてプリエンファシスである。λが大きくなればなるほど、この関数によってより多くのエンファシスが行われる。このプリエンファシスを用いると、１．４より大きいすべてのλについて、突然のシーン変化は、しきい値Ｔ１に５がセットされる場合に検出される。
【０１００】
現行フレームは、シーン強度メトリックＤがある個数の連続するフレームについて式５に示された判断基準を満足する場合に、クロスフェーディングまたは遅いシーン変化であると判定される。
【数１３】
2009510933.tif 000015
【０１０１】
ここで、Ｔ１は、上で使用されたものと同一のしきい値であり、Ｔ２は、もう１つのしきい値である。
【０１０２】
フラッシュライト事象は、通常、輝度ヒストグラムをより明るい側にシフトさせる。この例示的態様のカメラでは、現行フレームがカメラフラッシュライトを備えるかどうかを判定するのに輝度ヒストグラム統計が使用される。ショット検出処理は、式１１および１２に示されているように、現行フレームマイナスの輝度が前のフレームの輝度をあるしきい値Ｔ３だけ超えて明るく、現行フレームの輝度が次のフレームの輝度をしきい値Ｔ３だけ超えて明るいかどうかを判定することができる。
【数１４】
2009510933.tif 000016
【０１０３】
上の判断基準が満足されない場合には、現行フレームは、カメラフラッシュライトを備えるものとしては分類されない。その判断基準が満足される場合には、ショット検出処理は、下の式に示されているように、逆方向の差分メトリックＳＡＤＰおよび順方向の差分メトリックＳＡＤＮが、あるしきい値Ｔ４より大きいかどうかを判定する。
【数１５】
2009510933.tif 000017
【０１０４】
ここで
【数１６】
2009510933.tif 000018
【０１０５】
は、現行フレームの平均輝度であり、
【数１７】
2009510933.tif 000019
【０１０６】
は、前のフレームの平均輝度であり、
【数１８】
2009510933.tif 000020
【０１０７】
は、次のフレームの平均輝度であり、ＳＡＤＰおよびＳＡＤＮは、現行フレームに関連する順方向の差分メトリックおよび逆方向の差分メトリックである。
【０１０８】
ショット検出処理は、まず現行フレームの輝度が前のフレームの輝度および次のフレームの輝度より大きいかどうかを判定することによって、カメラフラッシュ事象を判定する。そうでない場合には、そのフレームは、カメラフラッシュ事象ではないが、そうである場合には、カメラフラッシュ事象である可能性がある。次に、ショット検出処理は、逆方向の差分メトリックがしきい値Ｔ３より大きいかどうか、および順方向の差分メトリックがしきい値Ｔ４より大きいかどうかを評価することができ、これらの条件の両方が満足される場合には、ショット検出処理は、現行フレームをカメラフラッシュライトを有するものとして分類する。その判断基準が満足されない場合には、そのフレームは、どのタイプのショット事象としても分類されず、あるいは、そのフレームに、そのフレームに対して行うべき符号化（たとえば、フレームを捨てる、Ｉフレームとして符号化する）を識別するデフォルト分類を与えることができる。
【０１０９】
Ｔ１、Ｔ２、Ｔ３、およびＴ４のいくつかの例示的な値は、上に示されている。通常、これらのしきい値は、ショット検出の特定の実装の試験を介して選択される。いくつかの態様において、しきい値Ｔ１、Ｔ２、Ｔ３、およびＴ４のうちの１つまたは複数が、事前に決定され、そのような値は、符号化デバイス内のショット分類器に組み込まれる。いくつかの態様において、しきい値Ｔ１、Ｔ２、Ｔ３、およびＴ４のうちの１つまたは複数を、ショット分類器に供給される情報（たとえば、メタデータ）を使用することに基づいて、またはショット分類器自体によって計算された情報に基づいて、処理中に（たとえば、動的に）設定することができる。
【０１１０】
ショット検出情報を使用するビデオの符号化は、通常、符号化器内で実行されるが、ショット検出の開示の完全を期してここで説明する。図３０を参照すると、符号化処理３０１は、フレームのシーケンス内の検出されたショットに基づいてビデオを符号化するのにショット検出情報を使用することができる。処理３０１は、ブロック３０３に進み、現行フレームが突然のシーン変化として分類されるかどうかを調べるために検査する。そうである場合には、ブロック３０５で、現行フレームをＩフレームとして符号化することができ、ＧＯＰ境界を判定することができる。そうでない場合には、処理３０１はブロック３０７に進み、現行フレームが遅く変化するシーンの一部として分類される場合には、ブロック３０９で、現行フレームおよび遅く変化するシーン内の他のフレームを予測フレーム（たとえば、ＰフレームまたはＢフレーム）として符号化することができる。処理３０１は、その後、ブロック３１１に進み、ここで、現行フレームがカメラフラッシュを備えるフラッシュライトシーンとして分類されるかどうかを検査する。そうである場合には、ブロック３１３で、そのフレームを空間処理、たとえば除去またはフレームのＤＣ係数の符号化のために識別することができ、そうでない場合には、現行フレームの分類は行われておらず、現行フレームを、他の判断基準に従って符号化するか、Ｉフレームとして符号化するか、捨てることができる。
【０１１１】
上で説明した態様では、圧縮されるフレームとそれに隣接する２つのフレームとの間の差の量が、フレーム差分メトリックＤによって示される。大きい量の一方向の輝度の変化が検出される場合には、これは、フレーム内のクロスフェード効果を意味する。クロスフェードが顕著であればあるほど、Ｂフレームを使用することによって多くの利益を達成することができる。いくつかの態様では、下の方程式に示される、変更されたフレーム差分メトリックが使用される。
【数１９】
2009510933.tif 000021
【０１１２】
ここで、ｄＰ＝｜ＹＣ−ＹＰ｜およびｄＮ＝｜ＹＣ−ＹＮ｜は、現行フレームと前のフレームとの間のルマ差分、ならびに現行フレームと次のフレームとの間のルマ差分であり、Δは、実装に依存するので通常の実験で決定されることのできる定数を表し、αは、０と１との間の値を有する重み付け変数である。
【０１１３】
Ｂ．帯域幅マップ生成
プリプロセッサ２２６（図６）を、マルチメディアデータの符号化に使用できる帯域幅マップを生成するように構成することもできる。いくつかの態様では、符号化器２２８（図７）内のコンテンツ分類モジュール７１２が、その代わりに帯域幅マップを生成する。
【０１１４】
人間の視覚的品質Ｖは、符号化の複雑度Ｃと割り当てられたビットＢ（帯域幅とも称する）との両方の関数とすることができる。図１５は、この関係を示すグラフである。符号化の複雑度メトリックＣが、人間の視覚の観点からの空間周波数および時間周波数を考慮することに留意されたい。人間の目がより敏感である歪みについて、複雑度の値は、それに対応してより高い。通常は、Ｖが、Ｃにおいて単調に減少し、Ｂにおいて単調に増加すると仮定することができる。
【０１１５】
一定の視覚的品質を達成するために、真下の２つの方程式で表される判断基準を満足する帯域幅（Ｂｉ）が、符号化されるｉ番目のオブジェクト（フレームまたはＭＢ）に割り当てられる。
【数２０】
2009510933.tif 000022
【０１１６】
真上の２つの方程式では、Ｃｉが、ｉ番目のオブジェクトの符号化の複雑度であり、Ｂが、使用可能な総帯域幅であり、Ｖが、オブジェクトについて達成される視覚的品質である。人間の視覚的品質は、方程式として定式化することがむずかしい。したがって、上の方程式の組は、正確には定義されない。しかし、３Ｄモデルがすべての変数において連続であると仮定する場合に、帯域幅比（Ｂｉ／Ｂ）を、（Ｃ，Ｖ）対の近傍の中で変更されないものとして扱うことができる。帯域幅比βｉは、下に示す方程式で定義される。
【数２１】
2009510933.tif 000023
【０１１７】
次に、ビット割当を、次の方程式で表されるように定義することができる。
【数２２】
2009510933.tif 000024
【０１１８】
ここで、δは、「近傍」を示す。
【０１１９】
符号化の複雑度は、空間と時間との両方の人間の視覚的感度によって影響される。ジロの人間の視覚モデルが、空間的な複雑度を定義するのに使用できるモデルの例である。このモデルは、局所空間周波数および周囲照明を考慮する。結果のメトリックを、Ｄｃｓａｔと呼ぶ。処理の前処理点では、ピクチャがイントラ符号化されるのか、インター符号化されるのかが、未知であり、この両方の帯域幅比が、生成される。ビットは、異なるビデオオブジェクトのβＩＮＴＲＡの間の比に従って割り当てられる。イントラ符号化されるピクチャについて、帯域幅比は、次の方程式で表される。
【数２３】
2009510933.tif 000025
【０１２０】
上の方程式では、Ｙは、マクロブロックの平均輝度成分であり、αＩＮＴＲＡは、輝度の二乗の重み付け係数であり、Ｄｃｓａｔ項がそれに続き、β０ＩＮＴＲＡは、
【数２４】
2009510933.tif 000026
【０１２１】
を保証するための正規化係数である。たとえば、αＩＮＴＲＡ＝４の値が、よい視覚的品質を達成する。ビデオの特定のコンテンツの所望のよい視覚的品質レベルに対応する値をαＩＮＴＲＡに設定するために、コンテンツ情報（たとえば、コンテンツ分類）を使用することができる。一例で、ビデオコンテンツが「語り手の顔」ニュースブロードキャストを備える場合には、情報画像またはビデオの表示可能部分がオーディオ部分より重要性が少ないと考えることができるので、視覚的品質レベルを、より低く設定することができ、より少ないビットを、データを符号化するために割り当てることができる。もう１つの例で、ビデオコンテンツが、スポーツイベントを備える場合には、表示される画像が見る人にとってより重要である可能性があるので、より高い視覚的品質レベルに対応する値をαＩＮＴＲＡに設定するためにコンテンツ情報を使用することができ、したがって、より多くのビットを、データを符号化するために割り当てることができる。
【０１２２】
この関係を理解するために、帯域幅が、符号化の複雑度に関して対数的に割り当てられることに留意されたい。輝度の二乗の項Ｙ２は、より大きい大きさを有する係数が符号化により多くのビットを使用するという事実を反映する。対数が負の値になるのを防ぐために、１が、括弧内の項に加算される。他の底を有する対数を使用することもできる。
【０１２３】
時間的な複雑度は、絶対差分の合計（ＳＡＤ）などのフレーム差分メトリックと共に動きの量（たとえば、動きベクトル）を考慮に入れて２つの連続するフレームの間の差を測定するフレーム差分メトリックの測定によって決定される。
【０１２４】
インター符号化されるピクチャのビット割当は、空間的な複雑度ならびに時間的な複雑度を考慮することができる。これを、下に表す。
【数２５】
2009510933.tif 000027
【０１２５】
上の方程式では、ＭＶＰおよびＭＶＮは、現行ＭＢの順方向の動きベクトルおよび逆方向の動きベクトルである（図２９を参照されたい）。イントラ符号化される帯域幅の式のＹ２が、二乗差の合計（ＳＳＤ）に置換されていることに留意されたい。上の方程式の‖ＭＶＰ＋ＭＶＮ‖２の役割を理解するために、滑らかで予測可能な動き（小さい‖ＭＶＰ＋ＭＶＮ‖２）を受けている区域は、注意を引き、目によって追跡できるが、通常は静止領域より多くのひずみを許容することができないという人間の視覚系の特性に留意されたい。しかし、速いまたは予測不能な動き（大きい‖ＭＶＰ＋ＭＶＮ‖２）を受けている区域は、追跡できず、大きい量子化を許容することができる。実験は、αＩＮＴＥＲ＝１、γ＝０．００１が、よい視覚的品質を達成することを示す。
【０１２６】
Ｃ．適応ＧＯＰパーティショニング
プリプロセッサ２２６によって実行できる処理のもう１つの例示的な例において、図６のＧＯＰパーティショナ６１２は、一緒に符号化されるグループオブピクチャの構成を適応的に変更することもでき、これをＭＰＥＧ２を使用する例を参照して述べる。いくつかのより古いビデオ圧縮標準規格（たとえば、ＭＰＥＧ２）は、ＧＯＰが規則的な構造を有することを要求しない（それを強要することはできるが）。ＭＰＥＧ２シーケンスは、必ずＩフレームすなわち前のピクチャを参照せずに符号化されたフレームから始まる。ＭＰＥＧ２  ＧＯＰフォーマットは、通常、Ｉフレームに続くＰピクチャすなわち予測ピクチャのＧＯＰ内の間隔を固定することによって、符号化器で事前に配置される。Ｐフレームは、前のＩピクチャまたはＰピクチャから部分的に予測されたピクチャである。先頭のＩフレームと後続のＰフレームとの間のフレームは、Ｂフレームとして符号化される。「Ｂ」フレーム（Ｂは双方向を表す）は、基準として「個別に」または「同時に」のいずれかで前および次のＩピクチャまたはＰピクチャを使用することができる。Ｉフレームを符号化するのに必要なビット数は、平均して、Ｐフレームを符号化するのに必要なビット数を超え、同様に、Ｐフレームを符号化するのに必要なビット数は、平均して、Ｂフレームに必要なビット数を超える。スキップされたフレームが使用される場合に、スキップされたフレームは、その表現にビットを必要としないはずである。
【０１２７】
ＰフレームおよびＢフレームの使用、およびより最近の圧縮アルゴリズムにおける、ビデオを表すのに必要なデータのレートを下げるためのフレームのスキップの使用の基礎になる概念が、時間的な冗長度の除去である。時間的な冗長度が高いすなわちピクチャからピクチャへの変化がほとんどない時に、Ｐピクチャ、Ｂピクチャ、またはスキップされたピクチャの使用は、より早期に復号化されたＩピクチャまたはＰピクチャが後に他のＰピクチャまたはＢピクチャを復号化するのに基準として使用されるので、ビデオストリームを効率的に表す。
【０１２８】
適応的ＧＯＰパーティショニングは、この概念を適応的に使用することに基づく。フレームの間の差が、定量化され、適切なテストが定量化された差に対して実行された後に、Ｉフレーム、Ｐフレーム、Ｂフレーム、またはスキップされたフレームによってピクチャを表すという判断が自動的に行われる。適応的な構造は、固定されたＧＯＰ構造では利用可能でない利益を有する。固定された構造は、コンテンツの変化がほとんど発生していない可能性を無視し、適応的な手順は、各ＩフレームとＰフレームとの間または２つのＰフレームの間に、はるかにより多くのＢフレームを挿入することを可能にし、これによって、フレームのそのシーケンスを適切に表すのに必要なビット数を減らす。逆に、ビデオコンテンツの変化が大きい時には、Ｐフレームの効率は、予測フレームと基準フレームとの間の差が大きすぎるので、大幅に低下する。これらの条件の下では、一致するオブジェクトが、動き探索領域から外れる可能性があり、あるいは、一致するオブジェクトの間の類似性が、カメラアングルの変化によって引き起こされる歪みに起因して低下する。その点で、ＰフレームまたはＩフレームおよびそれに隣接するＰフレームは、互いにより近くなるように選択されなければならず、より少数のＢフレームを挿入しなければならない。固定されたＧＯＰは、その調整を行うことができない。
【０１２９】
本明細書で開示されるシステムでは、これらの条件が、自動的に感知される。ＧＯＰの構造は、柔軟であり、コンテンツのこれらの変化に適応するようにされる。このシステムは、距離と同一の加法特性を有する、フレームの間の距離の尺度と考えることができるフレーム差分メトリックを評価する。概念上、インターフレーム距離ｄ１２およびｄ２３を有するフレームＦ１、Ｆ２、およびＦ３を与えられれば、Ｆ１とＦ３との間の距離は、少なくともｄ１２＋ｄ２３と考えられる。フレーム割当は、この距離に類似したメトリックを基礎として行われる。
【０１３０】
ＧＯＰパーティショナは、フレームが受け取られる時にそれらのフレームにピクチャタイプを割り当てることによって動作する。ピクチャタイプは、各ブロックの符号化に必要になる可能性がある予測の方法を示す。
【０１３１】
Ｉピクチャは、他のピクチャを参照せずに符号化される。Ｉピクチャは、独立なので、データストリーム内の復号化を開始できるアクセス点を提供する。Ｉ符号化タイプは、先行フレームへの「距離」がシーン変化しきい値を超える場合に、フレームに割り当てられる。
【０１３２】
Ｐピクチャは、動き補償された予測に前のＩピクチャまたはＰピクチャを使用することができる。Ｐピクチャは、符号化の基礎として、予測されるブロックから変位されているものとすることができる前のフィールドまたはフレーム内のブロックを使用する。基準ブロックが、考慮中のブロックから減算された後に、残差ブロックが、通常は空間的な冗長度の除去のために離散コサイン変換を使用して符号化される。Ｐ符号化タイプは、あるフレームとＰフレームに割り当てられた最後のフレームとの間の「距離」が、通常は第１しきい値より小さい第２しきい値を超える場合に、そのフレームに割り当てられる。
【０１３３】
Ｂフレームピクチャは、上で説明したように、動き補償に前および次のＰピクチャまたはＩピクチャを使用することができる。Ｂピクチャ内のブロックを、順方向、逆方向、または双方向で予測することができ、あるいは、他のフレームを参照せずにイントラ符号化することができる。Ｈ．２６４では、基準ブロックを、同数のフレームからの３２個ものブロックの線形組合せとすることができる。フレームを、ＩタイプまたはＰタイプになるように割り当てることができない場合に、そのフレームから直前の先行フレームまでの「距離」が通常は第２しきい値より小さい第３しきい値を超えるならば、そのフレームは、Ｂタイプになるように割り当てられる。
【０１３４】
フレームを、Ｂフレーム符号化されるようになるように割り当てることができない場合には、そのフレームには、「スキップフレーム」状況が割り当てられる。このフレームは、事実上前のフレームのコピーなので、スキップすることができる。
【０１３５】
表示順で隣接するフレームの間の距離を定量化するメトリックを評価することは、この処理の最初に行われる部分である。このメトリックは、上で言及した距離であり、これを用いて、すべてのフレームが、その正しいタイプについて評価される。したがって、Ｉフレームと隣接するＰフレームとの間または２つの連続するＰフレームの間の間隔を、可変とすることができる。このメトリックの計算は、ブロックベースの動き補償器を用いてビデオフレームを処理することによって開始され、ブロックは、通常は１６×１６画素からなるビデオ圧縮の基礎単位であるが、８×８、４×４、および８×１６などの他のブロックサイズが可能である。２つのデインターレースされたフィールドからなるフレームについて、動き補償は、フィールドを基礎として行うことができ、基準ブロックの探索は、フレームではなくフィールド内で行われる。現行フレームの第１フィールド内のブロックについて、順方向の基準ブロックは、それに続くフレームのフィールド内で見つけられ、同様に、逆方向の基準ブロックは、現行フィールドに直接に先行するフレームのフィールド内で見つけられる。現行ブロックは、補償されたフィールドに組み立てられる。この処理は、そのフレームの第２フィールドに継続される。２つの補償されたフィールドが、順方向の補償されたフレームおよび逆方向の補償されたフレームを形成するために組み合わされる。
【０１３６】
逆テレシネ６０６で作成されたフレームについて、基準ブロックの探索は、再構成されたフィルムフレームだけなので、フレームのみを基礎とする。順方向および逆方向の、２つの基準ブロックおよび２つの差が、見つけられ、順方向および逆方向の補償されたフレームにもつながる。要約すると、動き補償器は、すべてのブロックについて動きベクトルおよび差分メトリックスを作るが、ブロックは、デインターレーサ６０５の出力が処理される場合にはＮＴＳＣフィールドの一部であり、逆テレシネの出力が処理される場合にはフィルムフレームの一部である。メトリックの差が、検討されているフィールドまたはフレームの中のブロックと、順方向の差分または逆方向の差分のどちらが評価されているかに応じて、前のフィールドもしくはフレーム内、または直接に続くフィールドもしくはフレーム内のいずれであれ、最良一致ブロックとの間で評価されることに留意されたい。輝度値だけが、この計算に入力される。
【０１３７】
したがって、動き補償ステップは、２組の差を生成する。これらは、輝度の現在値のブロックと、時間的に現在のフレームの直後および直前のフレームからとられた基準ブロック内の輝度との間の差である。順方向の差分の各々および逆方向の差分の各々の絶対値が、画素ごとに判定され、それぞれが、フレーム全体にわたって別々に合計される。１つのフレームを備えるデインターレースされたＮＴＳＣフィールドが処理される時には、両方のフィールドが、２つの合計に含まれる。この形で、ＳＡＤＰおよびＳＡＤＮすなわち順方向の差分および逆方向の差分の合計された絶対値が見つけられる。
【０１３８】
すべてのフレームについて、ＳＡＤ比は、次の関係を使用して計算される。
【数２６】
2009510933.tif 000028
【０１３９】
ここで、ＳＡＤＰおよびＳＡＤＮは、それぞれ、順方向の差分および逆方向の差分の合計された絶対値である。「ゼロによる除算」のエラーを防ぐために、分子εに小さい正の数が加算される。同様なε項が、分母に加算され、ＳＡＤＰまたはＳＡＤＮのいずれかが０に近い時にγの感度をさらに下げる。
【０１４０】
代替の態様では、差を、ＳＳＤすなわち二乗差の合計およびＳＡＤすなわち絶対差の合計またはＳＡＴＤとすることができ、ＳＡＴＤでは、画素値のブロックが、ブロック要素内の差をとる前にそれらのブロックに２次元離散コサイン変換を適用することによって変換される。合計は、アクティブビデオの区域にわたって評価されるが、他の態様では、より小さい区域を使用することができる。
【０１４１】
受け取られたままの（動き補償されていない）すべてのフレームの輝度ヒストグラムも、計算される。このヒストグラムは、輝度値のブロックが使用可能であった場合にその輝度値のブロックに２次元離散コサイン変換を適用したことの結果である係数の１６×１６配列内のＤＣ係数すなわち（０，０）係数に影響する。これと同等に、１６×１６ブロック内の輝度の２５６個の値の平均値を、ヒストグラム内で使用することができる。その輝度深さが８ビットである画像について、ビンの個数は１６に設定される。次のメトリックは、ヒストグラム差分を評価する。
【数２７】
2009510933.tif 000029
【０１４２】
上の式では、ＮＰｉは、第ｉビン内の前のフレームからのブロックの個数であり、Ｎｃｉは、第ｉビンに属する現行フレームからのブロックの個数であり、Ｎは、１フレーム内のブロックの総数である。
【０１４３】
これらの中間結果は、次のように現行フレームの差分メトリックを形成するために組み立てられる。
【数２８】
2009510933.tif 000030
【０１４４】
ここで、γＣは、現行フレームに基づくＳＡＤ比であり、γＰは、前フレームに基づくＳＡＤ比である。シーンが滑らかな動きを有し、そのルマヒストグラムがほとんど変化しない場合には、Ｄ≒１である。現行フレームが突然のシーン変化を表示する場合には、γＣが大きくなり、γＰが小さくならなければならない。γＣ単独ではなく比
【数２９】
2009510933.tif 000031
【０１４５】
が使用され、その結果、このメトリックが、コンテキストのアクティビティレベルに対して正規化されるようになる。
【０１４６】
図４２に、フレームに圧縮タイプを割り当てる処理を示す。Ｄすなわち式１９で定義された現行フレームの差が、フレーム割当に関して行われる判断の基礎である。判断ブロック４２０２に示されているように、考慮中のフレームがシーケンスの最初のフレームである場合に、ＹＥＳとマークされたブロック４２０６への判断経路に従い、これによって、そのフレームがＩフレームであると宣言する。ブロック４２０８で、累算されたフレーム差分に０を設定し、この処理は（ブロック４２１０で）開始ブロックにリターンする。考慮中のフレームがシーケンスの最初のフレームではない場合に、その判断が行われたブロック４２０２からのＮＯとマークされた判断経路に従い、テストブロック４２０４で、現行フレームの差をシーン変化しきい値に対してテストする。現行フレームの差がそのしきい値より大きい場合には、ブロック４２０６へのＹＥＳとマークされた判断経路に従い、これは、やはりＩフレームの割当につながる。
【０１４７】
現行フレームの差がシーン変化しきい値より小さい場合には、ブロック４２１２へのＮＯ経路に従い、ここで、現行フレームの差を、累算されたフレーム差分に加算する。この流れ図を介して判断ブロック４２１４で継続して、累算されたフレーム差分を、一般にシーン変化しきい値より小さいしきい値ｔと比較する。累算されたフレーム差分がｔより大きい場合には、制御はブロック４２１６に転送され、フレームはＰフレームになるように割り当てられ、その後、ステップ４２１８で、累算されたフレーム差分を０にリセットする。累算されたフレーム差分がｔより小さい場合には、制御はブロック４２１４からブロック４２２０に転送される。ここでは、現行フレームの差を、ｔより小さいτと比較する。現行フレームの差がτより小さい場合には、ブロック４２２２で、そのフレームは、スキップされるように割り当てられ、この処理はリターンし、現行フレームの差がτより大きい場合には、ブロック４２２６で、そのフレームは、Ｂフレームになるように割り当てられる。
【０１４８】
符号化器
戻って図２を参照すると、トランスコーダ２００は、処理されたメタデータおよび生ビデオをプリプロセッサ２２６から受け取る符号化器２２８を含む。メタデータには、元々はソースビデオ１０４内で受け取られたすべての情報およびプリプロセッサ２２６によって計算されたすべての情報を含めることができる。符号化器２２８は、第１パス符号化器２３０、第２パス符号化器２３２、および再符号化器２３４を含む。符号化器２２８は、第２パス符号化器２３２から第１パス符号化器２３０、再符号化器２３４、ならびにプリプロセッサ２２６に情報（たとえば、メタデータ、誤り弾力性情報、コンテンツ情報、符号化ビットレート情報、ベースレイヤおよびエンハンスメントレイヤバランス情報、および量子化情報）を供給できるトランスコーダ制御２３１からも入力を受け取る。符号化器２２８は、プリプロセッサ２２６から受け取ったコンテンツ情報および／または符号化器２２８自体によって、たとえばコンテンツ分類モジュール７１２（図７）によって生成されたコンテンツ情報を使用して、受け取ったビデオを符号化する。
【０１４９】
図２に示された符号化器２２８のために使用できる例示的な２パス符号化器に含めることができる機能モジュールのブロック図を図７に示す。機能モジュールのさまざまな態様が図７に示されているが、図７および本明細書の説明は、必ずしも、符号化器に組み込むことのできるすべての機能性には対処しない。したがって、機能モジュールのある種の態様が、以下のベースレイヤ符号化およびエンハンスメントレイヤ符号化の議論に続いて、以下で説明される。
【０１５０】
ベースレイヤ符号化およびエンハンスメントレイヤ符号化
符号化器２２８は、プリプロセッサ２２６からの生ビデオおよびメタデータを本明細書でベースレイヤとも称する符号化されたデータの第１グループおよび本明細書でエンハンスメントレイヤとも称する符号化されたデータの１つまたは複数の追加的なグループに符号化することができるＳＮＲスケーラブル符号化器とすることができる。符号化アルゴリズムは、復号化された時に、両方のレイヤが復号化に使用可能な時に復号化器で組み合わせることができるベースレイヤ係数およびエンハンスメントレイヤ係数を生成する。両方のレイヤが使用可能ではない時には、ベースレイヤの符号化が、ベースレイヤを単一のレイヤとして復号化することを可能にする。
【０１５１】
そのようなマルチレイヤ符号化処理の一態様を、図３１を参照して説明する。ブロック３２１で、完全にイントラ符号化されたマクロブロック（イントラ符号化されたＭＢ）を用いて、Ｉフレームを符号化する。Ｈ．２６４では、Ｉフレーム内のイントラ符号化されたＭＢは、かなりの量の符号化利得をもたらす完全に活用された空間的な予測を用いて符号化される。２つのサブモードすなわち、Ｉｎｔｒａ４ｘ４およびＩｎｔｒａ１６ｘ１６がある。ベースレイヤが、空間的な予測によって与えられる符号化利得を利用する場合には、ベースレイヤは、エンハンスメントレイヤの符号化および復号化の前に符号化され、復号化される必要がある。Ｉフレームの２パス符号化および復号化が使用される。ベースレイヤでは、ベースレイヤ量子化パラメータＱＰｂが、変換係数に粗い量子化ステップサイズを与える。オリジナルフレームと再構成されたベースレイヤフレームとの間の画素ごとの差が、エンハンスメントレイヤで符号化される。エンハンスメントレイヤは、より微細な量子化ステップサイズを与える量子化パラメータＱＰｅを使用する。図２の符号化器２２８などの符号化ための手段が、ブロック３２１で符号化を実行することができる。
【０１５２】
ブロック３２３で、符号化器は、処理されているＧＯＰ内のＰフレームおよび／またはＢフレームのベースレイヤデータおよびエンハンスメントレイヤデータを符号化する。符号化器２２８などの符号化ための手段が、ブロック３２３で符号化を実行することができる。ブロック３２５で、符号化処理は、符号化すべきＰフレームまたはＢフレームがまだあるかどうかを検査する。ＳＮＲスケーラブル符号化器２２８などの符号化ための手段が、行為３２５を実行することができる。ＰフレームまたはＢフレームがまだ残っている場合には、ＧＯＰ内のすべてのフレームが符号化され終えるまで、ステップ３２３を繰り返す。ＰフレームおよびＢフレームは、インター符号化されたマクロブロック（インター符号化されたＭＢ）からなるが、以下で述べるように、ＰフレームおよびＢフレーム内にイントラ符号化されたＭＢがあるものとすることができる。
【０１５３】
復号化器が、ベースレイヤデータとエンハンスメントレイヤデータを区別するために、符号化器２２８は、ブロック３２７でオーバーヘッド情報を符号化する。オーバーヘッド情報のタイプには、たとえば、レイヤの個数を識別するデータ、ベースレイヤとしてレイヤを識別するデータ、エンハンスメントレイヤとしてレイヤを識別するデータ、レイヤの間の相互関係を識別するデータ（レイヤ２がベースレイヤ１のエンハンスメントレイヤである、あるいはレイヤ３がエンハンスメントレイヤ２のエンハンスメントレイヤであるなど）、または複数のエンハンスメントレイヤの系列内の最後のエンハンスメントレイヤとしてレイヤを識別するデータが含まれる。オーバーヘッド情報は、関係するベースレイヤデータおよび／またはエンハンスメントレイヤデータに接続されたヘッダに含めるか、別々のデータメッセージに含めることができる。図２の符号化器２２８などの符号化ための手段が、ブロック３２７でこの処理を実行することができる。
【０１５４】
単一レイヤの復号化を有するために、２つのレイヤの係数が、逆量子化の前に組み合わされる。したがって、この２つのレイヤの係数は、相互に作用して生成されなければならず、さもなければ、これが、かなりの量のオーバーヘッドを導入する可能性がある。オーバーヘッド増加の１つの理由は、ベースレイヤ符号化およびエンハンスメントレイヤ符号化が、異なる時間的な基準を使用し得ることである。ベースレイヤとエンハンスメントレイヤとの両方が使用可能である時に、逆量子化の前に復号化器で組み合わせることができる、ベースレイヤ係数およびエンハンスメントレイヤ係数を生成するために、アルゴリズムが必要である。それと同時に、このアルゴリズムは、エンハンスメントレイヤが使用可能でない時、またはたとえば電力節約などの理由から復号化器がエンハンスメントレイヤを復号化しないと判断する時に、許容できるベースレイヤビデオをもたらさなければならない。そのような処理の例示的な例の詳細を、すぐ下の標準予測符号化の短い議論の文脈で、以下にさらに述べる。
【０１５５】
Ｐフレーム（または、任意のインター符号化されたセクション）は、現行ピクチャ内の領域と基準ピクチャ内の最良一致予測領域との間の時間的な冗長度を活用することができる。基準フレーム内の最良一致予測領域の位置を、動きベクトル内で符号化することができる。現行領域と最良一致基準予測領域との間の差は、見逃し誤り（または予測誤差）として知られる。
【０１５６】
図３２は、たとえばＭＰＥＧ−４での、Ｐフレーム構成処理の例の図示である。処理３３１は、図３１のブロック３２３で行うことができる例の処理のより詳細な図示である。処理３３１は、５×５個のマクロブロックから構成された現行ピクチャ３３３を含み、ここで、この例のマクロブロックの個数は、任意である。マクロブロックは、１６×１６個の画素から構成される。画素は、１つの８ビット輝度値（Ｙ）および２つの８ビットクロミナンス値（ＣｒおよびＣｂ）によって定義することができる。ＭＰＥＧでは、Ｙ成分、Ｃｒ成分、およびＣｂ成分を、４：２：０フォーマットで格納することができ、ここで、Ｃｒ成分およびＣｂ成分は、Ｘ方向およびＹ方向で２倍ダウンサンプリングされる。したがって、各マクロブロックは、２５６個のＹ成分、６４個のＣｒ成分、および６４個のＣｂ成分からなる。現行ピクチャ３３３のマクロブロック３３５は、現行ピクチャ３３３と異なる時点の基準ピクチャ３３７から予測される。Ｙ値、Ｃｒ値、およびＣｂ値に関して、符号化される現行マクロブロック３３５に最も近い最良一致マクロブロック３３９を突き止めるために、基準ピクチャ３３７内で探索を行う。基準ピクチャ３３７内の最良一致マクロブロック３３９の位置は、動きベクトル３４１内で符号化される。基準ピクチャ３３７は、復号化器が現行ピクチャ３３３の構成の前に再構成するＩフレームまたはＰフレームとすることができる。最良一致マクロブロック３３９が、現行マクロブロック３３５から減算され（Ｙ成分、Ｃｒ成分、およびＣｂ成分のそれぞれの差が、計算される）、見逃し誤り３４３がもたらされる。見逃し誤り３４３は、２Ｄ離散コサイン変換（ＤＣＴ）３４５を用いて符号化され、その後、量子化３４７される。量子化３４７は、たとえば低周波係数により多くのビットを割り当てながら高周波係数により少ないビットを割り当てることによって、空間圧縮を実現するために実行することができる。見逃し誤り３４３の量子化された係数は、動きベクトル３４１および基準ピクチャ３３３を識別する情報と一緒に、現行マクロブロック３３５を表す符号化された情報である。この符号化された情報を、将来の使用のためにメモリに格納し、たとえば誤り訂正または画像の質の向上のために操作し、あるいはネットワーク３４９を介して伝送することができる。
【０１５７】
見逃し誤り３４３の符号化され量子化された係数は、符号化された動きベクトル３４１と共に、後続の動き推定および動き補償の基準フレームの一部として使用するために符号化器内で現行マクロブロック３３５を再構成するのに使用することができる。符号化器は、このＰフレーム再構成のために復号化器の手順をエミュレートすることができる。復号化器のエミュレーションは、符号化器と復号化器との両方が同一の基準ピクチャを処理することをもたらす。将来のインター符号化のために符号化器内で行われるものであれ、復号化器内で行われるものであれ、再構成処理をここで提示する。Ｐフレームの再構成は、基準フレーム（または、参照されているピクチャもしくはフレームの一部）が再構成された後に開始することができる。符号化され量子化された係数が、逆量子化３５１され、その後、２Ｄ逆ＤＣＴすなわちＩＤＣＴ  ３５３が実行され、復号化されたまたは再構成された見逃し誤り３５５をもたらす。符号化された動きベクトル３４１が、復号化され、既に再構成されている基準ピクチャ３３７内の既に再構成されている最良一致マクロブロック３５７を突き止めるのに使用される。次に、再構成された見逃し誤り３５５が、再構成されたマクロブロック３５９を形成するために、再構成された最良一致マクロブロック３５７に加算される。再構成されたマクロブロック３５９を、メモリに格納するか、独立にまたは他の再構成されたマクロブロックと共にピクチャ内に表示するか、あるいは画像の質を高めるためにさらに処理することができる。
【０１５８】
Ｂフレーム（または双方向予測を用いて符号化された任意のセクション）は、現行ピクチャ内の領域と前のピクチャ内の最良一致予測領域と後続ピクチャ内の最良一致予測領域との間の時間的な冗長度を活用することができる。後続の最良一致予測領域および前の最良一致予測領域は、組み合わされた双方向予測領域を形成するために組み合わされる。現行ピクチャ領域と最良一致の組合わされた双方向予測領域との間の差が、見逃し誤り（または予測誤差）である。後続の基準ピクチャ内の最良一致予測領域および前の基準ピクチャ内の最良一致予測領域の位置を、２つの動きベクトル内で符号化することができる。
【０１５９】
図３３に、符号化器２２８によって実行できるベースレイヤ係数およびエンハンスメントレイヤ係数を符号化する符号化器の処理の例を示す。ベースレイヤおよびエンハンスメントレイヤは、ＳＮＲスケーラブルビットストリームを提供するために符号化される。図３３に、図３１のステップ３２３で行われるインターＭＢ見逃し誤り係数の符号化の例を示す。しかし、類似する方法を、イントラＭＢ係数の符号化にも使用することができる。図２の符号化器の構成要素２２８などの符号化ための手段が、図３３に示された処理および図３２のステップ３２３を実行することができる。オリジナルの（符号化される）ビデオデータ４０６（ビデオデータは、この例ではルマ情報およびクロマ情報を備える）が、ベースレイヤ最良一致マクロブロックループ３０２およびエンハンスメントレイヤ最良一致マクロブロックループ３６５に入力される。両方のループ３６３および３６５の目的は、それぞれ加算器３６７および３６９で計算される見逃し誤りを最小にすることである。ループ３６３および３６５を、図示のように並列にまたは順次実行することができる。ループ３６３および３６５は、最良一致マクロブロックとオリジナルデータ３６１との間の見逃し誤りを最小にする最良一致マクロブロックを識別するために、それぞれ、基準フレームを含むバッファ３７１および３７３を探索するロジックを含む（バッファ３７１および３７３は、同一のバッファとすることができる）。ループ３６３およびループ３６５の見逃し誤りは、ベースレイヤループ３６３が一般にエンハンスメントレイヤループ３６５より粗い量子化ステップサイズ（より大きいＱＰ値）を利用するので、異なる。変換ブロック３７５および３７７は、各ループの見逃し誤りを変換する。
【０１６０】
次に、変換された係数が、選択器３７９内でベースレイヤ係数およびエンハンスメントレイヤ係数へと解析される。選択器３７９の解析は、下で述べるように複数の形をとることができる。解析技法の１つの共通の特徴は、エンハンスメントレイヤ係数Ｃ’ｅｎｈが、ベースレイヤ係数Ｃ’ｂａｓｅに対する差分改善になるように計算されることである。ベースレイヤに対する改善になるようにエンハンスメントレイヤを計算することによって、復号化器が、ベースレイヤ係数を単独で復号化し、画像の合理的な表現を有すること、またはベースレイヤ係数およびエンハンスメントレイヤ係数を組み合わせ、画像の改善された表現を有することが可能になる。次に、選択器３７９によって選択された係数が、量子化器３８１および３８３によって量子化される。量子化された係数
【数３０】
2009510933.tif 000032
【０１６１】
および
【数３１】
2009510933.tif 000033
【０１６２】
（それぞれ量子化器３８１および３８３を用いて計算される）を、メモリに格納するか、ネットワークを介して復号化器に伝送することができる。
【０１６３】
復号化器でのマクロブロックの再構成と一致するために、逆量子化器３８５が、ベースレイヤ見逃し誤り係数を逆量子化する。逆量子化された見逃し誤り係数が、逆変換３８７され、バッファ３７１内で見つかる最良一致マクロブロックに加算３８９され、復号化器で再構成されるものと一致する再構成されたマクロブロックがもたらされる。量子化器３８３、逆量子化器３９１、逆変換器３９３、加算器３９７、およびバッファ３７３は、ベースレイヤループ３６３内で行われたものに類似するエンハンスメントループ３６５内の計算を実行する。さらに、加算器３９３は、エンハンスメントレイヤの再構成に使用される逆量子化されたエンハンスメントレイヤ係数およびベースレイヤ係数を組み合わせるのに使用される。エンハンスメントレイヤの量子化器および逆量子化器は、一般に、ベースレイヤより微細な量子化ステップサイズ（より小さいＱＰ）を利用する。
【０１６４】
図３４、３５、および３６に、図３３の選択器３７９内で使用できるベースレイヤ係数の選択器の処理およびエンハンスメントレイヤ係数の選択器の処理の例を示す。図２の符号化器２２８などの選択ための手段が、図３４、３５、および３５に示された処理を実行することができる。図３４を例として使用すると、変換された係数は、次の方程式に示されているように、ベースレイヤ係数およびエンハンスメントレイヤ係数へと解析される。
【数３２】
2009510933.tif 000034
【０１６５】
ここで、「ｍｉｎ」関数は、２つの引数の数学的な最小値または最小の大きさのいずれかとすることができる。式２５は、ブロック４０１として図示され、式２６は、図３４で加算器５１０として図示されている。式２６では、Ｑｂが、ベースレイヤ量子化器３８１を表し、Ｑｂ−１が、ベースレイヤの逆量子化器３８５を表す。式２６は、エンハンスメントレイヤ係数を、式２５を用いて計算されたベースレイヤ係数の差分改善に変換する。
【０１６６】
図３５は、ベースレイヤおよびエンハンスメントレイヤの係数の選択器３７９のもう１つの例を示す。この例では、ブロック４０５に含まれる方程式（．）が、次式を表す。
【数３３】
2009510933.tif 000035
【０１６７】
加算器４０７は、次の２つの方程式に示されているようにエンハンスメントレイヤ係数を計算する。
【数３４】
2009510933.tif 000036
【０１６８】
ここで、Ｃ’ｂａｓｅは、式２７によって与えられる。
【０１６９】
図３６は、ベースレイヤおよびエンハンスメントレイヤの選択器３７９のもう１つの例の図示である。この例では、ベースレイヤ係数は変更されず、エンハンスメントレイヤは、量子化／逆量子化されたベースレイヤ係数とオリジナルのエンハンスメントレイヤ係数との間の差と等しい。
【０１７０】
ベースレイヤおよびエンハンスメントレイヤの見逃し誤り係数に加えて、復号化器は、ＭＢがどのように符号化されているかを識別する情報を必要とする。図２の符号化器の構成要素２２８などの符号化ための手段は、たとえば、マクロブロック（またはサブマクロブロック）がイントラ符号化またはインター符号化されたとして識別され（たとえば順方向、逆方向、または双方向を含む、どのタイプのインター符号化かをも識別する）、インター符号化された部分がどのフレームに対して参照されるかを識別するＭＢマップなど、イントラ符号化された部分およびインター符号化された部分のマップを含むことができるオーバーヘッド情報を符号化することができる。例の態様では、ＭＢマップおよびベースレイヤ係数が、ベースレイヤ内で符号化され、エンハンスメントレイヤ係数が、エンハンスメントレイヤ内で符号化される。
【０１７１】
ＰフレームおよびＢフレームは、イントラ符号化されたＭＢならびにインターＭＢを含むことができる。ハイブリッドビデオ符号化器が、ＰフレームまたはＢフレーム内のあるマクロブロックをイントラ符号化されたＭＢとして符号化すると判断するために速度歪み（ＲＤ）最適化を使用することが、一般的である。イントラ符号化されたＭＢがエンハンスメントレイヤのインターＭＢに依存しない単一レイヤの復号化を有するために、すべての隣接するインターＭＢは、ベースレイヤのイントラ符号化されたＭＢの空間的な予測には使用されない。エンハンスメントレイヤの復号化について計算の複雑度を変更されないままに保つために、ベースレイヤのＰフレームまたはＢフレーム内のイントラ符号化されたＭＢについて、エンハンスメントレイヤでの改善をスキップすることができる。
【０１７２】
ＰフレームまたはＢフレーム内のイントラ符号化されたＭＢは、インターＭＢよりはるかに多数のビットを必要とする場合がある。この理由のために、ＰフレームまたはＢフレーム内のイントラ符号化されたＭＢは、より高いＱＰでベースレイヤ品質で符号化することしかできない。これは、ビデオ品質のある劣化をもたらすが、この劣化は、上で述べたようにベースレイヤおよびエンハンスメントレイヤ内のインターＭＢ係数を用いて後のフレームで改善される場合に、人目をひかないに違いない。２つの理由が、この劣化を人目をひかないものにする。第１の理由は、人間の視覚系（ＨＶＳ）の特徴であり、他方の理由は、インターＭＢがイントラＭＢを改善することである。第１フレームから第２フレームへ位置を変更するオブジェクトがあると、第１フレーム内のいくつかの画素は、第２フレーム内で不可視であり（隠される情報）、第２フレーム内のいくつかの画素は、初めて可視になる（覆いを取られる情報）。人間の目は、覆いを取られる画像情報および隠される画像情報に敏感ではない。したがって、覆いを取られる情報について、それがより低い品質で符号化される場合であっても、目は、その差を見分けることができない。同一の情報が、続くＰフレームに留まる場合に、エンハンスメントレイヤはより低いＱＰを有するので、続くＰフレームが、エンハンスメントレイヤでその情報を改善できる可能性が高い。
【０１７３】
ＰフレームまたはＢフレームにイントラ符号化されたＭＢを導入するもう１つの一般的な技法は、イントラリフレッシュとして知られる。この場合に、標準Ｒ−Ｄ最適化が、いくつかのＭＢをインター符号化されたＭＢにしなければならないと命ずる場合であっても、それらのＭＢは、イントラ符号化されたＭＢとして符号化される。これらのイントラ符号化されたＭＢは、ベースレイヤに含まれるが、ＱＰｂまたはＱＰｅのいずれかを用いて符号化することができる。ＱＰｅがベースレイヤに使用される場合には、エンハンスメントレイヤでの改善は不要である。ＱＰｂがベースレイヤに使用される場合には、改善が必要である場合があり、さもなければ、エンハンスメントレイヤで、品質の低下が顕著になる。インター符号化は、符号化効率の意味でイントラ符号化より効率的なので、エンハンスメントレイヤでのこれらの改善は、インター符号化される。この形では、ベースレイヤ係数は、エンハンスメントレイヤに使用されない。したがって、品質は、新しい動作を導入せずにエンハンスメントレイヤで改善される。
【０１７４】
Ｂフレームは、一般に、それが提供する高い圧縮品質のゆえに、エンハンスメントレイヤで使用される。しかし、Ｂフレームが、Ｐフレームのイントラ符号化されたＭＢを参照しなければならない場合がある。Ｂフレームの画素が、エンハンスメントレイヤ品質で符号化されなければならない場合に、これは、上で述べたように、Ｐフレームのイントラ符号化されたＭＢのより低い品質に起因して、多すぎるビットを必要とする場合がある。上で述べたＨＶＳの特質を利用することによって、ＢフレームＭＢを、Ｐフレームのより低い品質のイントラ符号化されたＭＢを参照する時に、より低い品質で符号化することができる。
【０１７５】
ＰフレームまたはＢフレーム内のイントラ符号化されたＭＢの１つの極端な例が、ＰフレームまたはＢフレーム内のすべてのＭＢが、符号化されるビデオ内のシーン変化の存在に起因してイントラモードで符号化される時である。この場合に、フレーム全体を、ベースレイヤ品質で、エンハンスメントレイヤでの改善なしで符号化することができる。シーン変化がＢフレームで発生する場合に、Ｂフレームがエンハンスメントレイヤでのみ符号化されると仮定すると、そのＢフレームを、ベースレイヤ品質で符号化するか、単純に捨てることができる。シーン変化がＰフレームで発生する場合に、変更が不要である可能性があるが、そのＰフレームを、捨てるか、ベースレイヤ品質で符号化することができる。スケーラブルレイヤ符号化は、本願の譲受人が所有し、参照によってその全体が本明細書に組み込まれている、同時係属の米国特許出願［弁理士整理番号第０５００７８号］、名称「ＳＣＡＬＡＢＬＥ  ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＷＩＴＨ  ＴＷＯ  ＬＡＹＥＲ  ＥＮＣＯＤＩＮＧ  ＡＮＤ  ＳＩＮＧＬＥ  ＬＡＹＥＲ  ＤＥＣＯＤＩＮＧ」にさらに記載されている。
【０１７６】
符号化器の第１パス部分
図７に、図２の符号化器２２８の例示的な例を示す。図示のブロックは、符号化器２２８内に含めることができるさまざまな符号化器の処理を示す。この例では、符号化器２２８は、境界線７０４の上の第１パス部分７０６および線７０４の下の第２パス部分７０６（図２の第２パス符号化器２３２および再符号化器２３４の機能を含む）を含む。
【０１７７】
符号化器２２８は、プリプロセッサ２２６からメタデータおよび生ビデオを受け取る。メタデータには、ビデオのコンテンツ情報に関するメタデータを含む、プリプロセッサ２２６によって受け取られたか計算されたすべてのメタデータを含めることができる。符号化器２２８の第１パス部分７０２は、その機能の観点から下記で説明される第１パス符号化７０２に含めることができる例示的処理を図解する。当業者が知るとおり、そのような機能性は、さまざまな形（たとえば、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せ）で実施することができる。
【０１７８】
図７に、適応的イントラリフレッシュ（ＡＩＲ）モジュールを示す。ＡＩＲモジュール７１０は、メタデータに基づいてＩフレームをインスタンス化するＩフレームインスタンス化モジュール７０８に入力を供給する。第１パス部分７０２には、メタデータおよびビデオを受け取り、そのビデオに関するコンテンツ情報を判定するように構成されたコンテンツ分類モジュール７１２をも含めることができる。コンテンツ情報を、メタデータおよびビデオをも受け取るレート制御ビット割当モジュール７１４に供給することができる。制御ビット割当モジュール７１４は、レートビット制御情報を決定し、これをモード判断モジュール７１５に供給する。コンテンツ情報およびビデオを、イントラ符号化された歪み情報をモード判断モジュール７１５ならびにベースおよびエンハンスメントレイヤ用のスケーラビリティ・レート歪みモジュール７１８に供給するイントラモデル（歪み）モジュール７１６に供給することができる。ビデオおよびメタデータは、インター符号化された歪み情報をベースおよびエンハンスメントレイヤ用のスケーラビリティ・レート歪みモジュール７１８に供給する動き推定（歪み）モジュール７２０に供給される。ベースおよびエンハンスメントレイヤ用のスケーラビリティ・レート歪みモジュール７１８は、動き推定モジュール７２０およびイントラモデル歪みモジュール７１６からの歪み推定値を使用してスケーラビリティ・レート歪み情報を決定し、このスケーラビリティ・レート歪み情報は、モード判断モジュール７１５に供給される。モード判断モジュール７１５は、スライス／ＭＢ順序付けモジュール７２２からも入力を受け取る。スライス／ＭＢ順序付けモジュール７２２は、誤り弾力性モジュール７４０（第２パス部分７０６内に図示）から入力を受け取り、ビデオの独立に符号化可能な部分（スライス）を誤り弾力性に関するアクセス単位境界に整列することに関する情報をモード判断モジュール７１５に供給する。モード判断モジュール７１５は、その入力に基づいて符号化モード情報を判定し、「最良」符号化モードを第２パス部分７０６に供給する。そのような第１パス部分７０２符号化のいくつかの例のさらなる例示的な説明を、下で説明する。
【０１７９】
上で述べたように、コンテンツ分類モジュール７１２は、プリプロセッサ２２６によって供給されるメタデータおよび生ビデオを受け取る。いくつかの例で、プリプロセッサ２２６は、マルチメディアデータからコンテンツ情報を計算し、そのコンテンツ情報をコンテンツ分類モジュール７１２に供給し（たとえば、メタデータ内で）、コンテンツ分類モジュール７１２は、マルチメディアデータのコンテンツ分類を判定するのに、そのコンテンツ情報を使用することができる。いくつかの他の態様において、コンテンツ分類モジュール７１２は、マルチメディアデータからさまざまなコンテンツ情報を決定するように構成され、コンテンツ分類を決定するようにも構成され得る。
【０１８０】
コンテンツ分類モジュール７１２を、異なるタイプのコンテンツを有するビデオの異なるコンテンツ分類を判定するように構成することができる。異なるコンテンツ分類は、マルチメディアデータの符号化の諸態様、たとえば、量子化パラメータを決定するためのビットレート（たとえば、ビット割当）の決定、動き推定、スケーラビリティ、誤り弾力性、チャネルにまたがる最適マルチメディアデータ品質の維持、および高速なチャネルの切替方式（たとえば、高速なチャネルの切替を可能にするための周期的なＩフレームの強制に使用される異なるパラメータをもたらすことができる。一例によれば、符号化器２２８は、コンテンツ分類に基づいてレート歪み（Ｒ−Ｄ）最適化およびビットレート割当を決定するように構成される。コンテンツ分類を決定することは、コンテンツ分類に基づく所望のビットレートに対応する所与の品質レベルにマルチメディアデータを圧縮することを可能にする。また、マルチメディアデータのコンテンツを分類する（たとえば、人間の視覚系に基づいてコンテンツ分類を決定する）ことによって、受け取るデバイスのディスプレイ上での通信されたマルチメディアデータの結果の知覚品質が、ビデオコンテンツに依存するようにされる。
【０１８１】
コンテンツを分類するためにコンテンツ分類モジュール７１２が経験する手順の例として、図９に、コンテンツ分類モジュール７１２がそれによって動作できる例示的処理を示す処理９００を示す。図示されているように、処理９００は、入力ブロック９０２で開始され、ここで、コンテンツ分類モジュール７１２は、生のマルチメディアデータおよびメタデータを受け取る。次に、処理９００は、ブロック９０４に進み、ここで、コンテンツ分類モジュール７１２は、マルチメディアデータの空間的情報および時間的情報を判定する。いくつかの態様で、空間的情報および時間的情報は、空間的マスキングおよび時間的マスキング（たとえば、フィルタリング）によって判定される。空間的情報および時間的情報は、シーン変化データおよび動きベクトル（ＭＶ）平滑化を含むメタデータに基づいて判定することができる。次に、処理９００は、ブロック９１２に進み、ここで、空間的な複雑度の推定、時間的な複雑度の推定、および感度推定を実行する。次に、処理９００は、ブロック９１６に進み、ここで、マルチメディアデータのコンテンツを、ブロック９０４および９１２で判定された空間的データ、時間的データ、および感度データの結果に基づいて分類する。また、ブロック９１６で、特定のレート歪み（Ｒ−Ｄ）曲線を選択することができ、かつ／またはＲ−Ｄ曲線データを更新することができる。次に、処理９００は、出力ブロック９１８に進み、ここで、出力には、複雑度−歪みマップまたは空間的アクティビティおよび時間的アクティビティを示す値（たとえば、コンテンツ分類）ならびに／あるいは選択されたＲ−Ｄ曲線を含めることができる。戻って図７を参照すると、コンテンツ分類モジュール７１２は、出力を、上で述べたレート制御ビット割当モジュール７１４、イントラモデル（歪み）モジュール７１６、およびＩフレームインスタンス化モジュール７０８に供給する。
【０１８２】
コンテンツ情報
コンテンツ分類モジュール７１２を、以下でさらに説明する、空間的な複雑度、時間的な複雑度、コントラスト比値、標準偏差、およびフレーム差分メトリックを含むさまざまなコンテンツ関連メトリックを含むさまざまなコンテンツ情報をマルチメディアデータから計算するように構成することができる。
【０１８３】
コンテンツ分類モジュール７１２を、マルチメディアデータの空間的な複雑度および時間的な複雑度を判定し、また、テクスチャ値を空間的な複雑度に関連付け、動き値を時間的な複雑度に関連付けるように構成することができる。コンテンツ分類モジュール７１２は、プリプロセッサ２２６から、符号化されるマルチメディアデータのコンテンツに関する前処理されたコンテンツ情報を受け取り、あるいはその代わりに、コンテンツ情報を計算するようにプリプロセッサ２２６を構成することができる。上で説明したように、コンテンツ情報には、たとえば、１つまたは複数のＤｃｓａｔ値、コントラスト比値、動きベクトル（ＭＶ）、および絶対差の合計（ＳＡＤ）を含めることができる。
【０１８４】
一般に、マルチメディアデータは、画像またはフレームの１つまたは複数のシーケンスを含む。各フレームを、処理のために画素のブロックに分解することができる。空間的な複雑度は、１フレーム内の空間的な詳細のレベルの尺度を全般的に記述する広義の用語である。輝度およびクロミナンスの主に平坦なまたは変化しないまたは少し変化する区域を有するシーンは、低い空間的な複雑度を有する。空間的な複雑度は、ビデオデータのテクスチャに関連する。空間的な複雑度は、この態様では、局所空間周波数および周囲照明の関数としてブロックごとに計算される、Ｄｃｓａｔと呼ばれる人間の視覚感度メトリックに基づく。当業者は、人間の視覚系を利用するために視覚的画像の空間周波数パターン、照明特性、およびコントラスト特性を使用する技法を知っている。複数の感度メトリックが、人間の視覚系の知覚限度を利用するために既知であり、本明細書で説明される方法と共に使用することができる。
【０１８５】
時間的な複雑度は、フレームのシーケンス内のフレームの間で参照されるマルチメディアデータ内の動きのレベルの尺度を全般的に記述するのに使用される広義の用語である。動きがほとんどまたは全くないシーン（たとえば、ビデオデータのフレームのシーケンス）は、低い時間的な複雑度を有する。時間的な複雑度は、マクロブロックごとに計算することができ、Ｄｃｓａｔ値、動きベクトル、およびあるフレームと別のフレーム（たとえば、基準フレーム）との間の絶対画素差の合計に基づくものとすることができる。
【０１８６】
フレーム差分メトリックは、予測器と現行マクロブロックとの間の絶対差の合計（ＳＡＤ）として表される残差エネルギと共に、動きの量を考慮に入れた２つの連続するフレームの間の差の尺度（たとえば、動きベクトルすなわちＭＶ）を与える。フレーム差は、双方向または単一方向の予測効率の尺度をも提供する。
【０１８７】
動き補償されたデインターレーシングを潜在的に実行するプリプロセッサから受け取られた動き情報に基づくフレーム差分メトリックの一例は、次の通りである。デインターレーサは、双方向動き推定を実行し、したがって、双方向動きベクトルおよびＳＡＤ情報が、使用可能である。各マクロブロックのＳＡＤ＿ＭＶによって表されるフレーム差は、次のように導出することができる。
【数３５】
2009510933.tif 000037
【０１８８】
ここで、ＭＶ＝Ｓｑｕａｒｅ＿ｒｏｏｔ（ＭＶｘ２＋ＭＶｙ２）、ＳＡＤ＝ｍｉｎ（ＳＡＤＮ，ＳＡＤＰ）であり、ＳＡＤＮは、逆方向の基準フレームから計算されたＳＡＤであり、ＳＡＤＰは、順方向の基準フレームから計算されたＳＡＤである。
【０１８９】
フレーム差を推定するもう１つの手法を、上で式６〜８を参照して説明した。ＳＡＤ比（またはコントラスト分配）γを、前に上で式６で説明したように計算することができる。すべてのフレームの輝度ヒストグラムも、決定することができ、ヒストグラム差分λは、式７を使用して計算される。フレーム差分メトリックＤは、式８に示されているように計算することができる。
【０１９０】
１つの例示的な例で、コントラスト比およびフレーム差分メトリックは、次の形で、所与のビデオシーケンス内の特徴を信頼できる形で予測できるビデオコンテンツ分類を入手するのに利用される。ここでは符号化器２２８内で発生するものとして説明するが、コンテンツ分類（または他のコンテンツ情報）を決定し、そのコンテンツ分類をメタデータを介して符号化器２２８に渡すように、プリプロセッサ２２６を構成することもできる。下の例で説明する処理は、コンテンツを、Ｒ−Ｄ曲線ベースの分析から得られる分類と同様の８つの可能なクラスに分類する。この分類処理は、スーパーフレームごとに、シーンの複雑度およびそのスーパーフレーム内でのシーン変化発生の回数に依存して、０と１との間の範囲内の値を出力する。プリプロセッサ内のコンテンツ分類モジュールは、フレームコントラスト値およびフレーム差分値からコンテンツ分類メトリックを得るために、スーパーフレームごとに次のステップ（１）〜（５）を実行することができる。
【０１９１】
１．マクロブロックコントラスト値から平均フレームコントラストおよびフレームコントラスト偏差を計算する。
【０１９２】
２．それぞれ４０および５である、シミュレーションから得られた値を使用して、フレームコントラスト値およびフレーム差分値を正規化する。
【０１９３】
３．たとえば一般化された方程式
【数３６】
2009510933.tif 000038
【０１９４】
を使用して、コンテンツ分類メトリックを計算する。ここで、ＣＣＷ１、ＣＣＷ２、ＣＣＷ３、およびＣＣＷ４は、重み付け係数である。この例では、値は、ＣＣＷ１にいて０．２、ＣＣＷ２について０．９、ＣＣＷ３について０．１、ＣＣＷ４について−０．００００９になるように選択される。
【０１９５】
４．スーパーフレーム内のシーン変化の回数を判定する。一般に、スーパーフレームとは、特定の時間期間内に表示できるピクチャまたはフレームのグループを指す。通常、この時間期間は１秒である。いくつかの態様において、スーパーフレームは、３０個のフレームを備える（３０／ｆｐｓビデオの場合）。他の態様において、スーパーフレームは、２４個のフレームを備える（２４／ｆｐｓビデオ）。シーン変化の回数に応じて、次のケースのうちの１つが実行される。
【０１９６】
（ａ）シーン変化なし  スーパーフレーム内にシーン変化がない時には、メトリックは、次の方程式に示されているように、完全にフレーム差分値だけに依存する。
【数３７】
2009510933.tif 000039
【０１９７】
（ｂ）単一のシーン変化  スーパーフレーム内で観察された単一のシーン変化がある時には、下に示されているように、デフォルト方程式がメトリックの計算に使用される。
【数３８】
2009510933.tif 000040
【０１９８】
（ｃ）２つのシーン変化  所与のスーパーフレーム内に最大で２つのシーン変化があることが観察される時には、次の方程式に示されているように、最後のスーパーフレームに最初のスーパーフレームより大きい重みを与える。というのは、いずれにせよ最初のスーパーフレームが後者よりすばやくリフレッシュされるからである。
【数３９】
2009510933.tif 000041
【０１９９】
（ｄ）３つ以上のシーン変化  所与のスーパーフレームが３つ以上のＩフレーム（たとえば、Ｎ個）を有することが観察される場合には、次の方程式に示されているように、最後のＩフレームが、より大きい重みを与えられ、他のすべてのＩフレームは、０．０５の重みを与えられる。
【数４０】
2009510933.tif 000042
【０２００】
５．フレーム差分の平均値が０．０５未満の時の小さい動きのシーンの場合に、メトリックについて補正を使用することができる。（ＣＣＯＦＦＳＥＴ）０．３３のオフセットを、ＣＣＭｅｔｒｉｃに加算する。
【０２０１】
コンテンツ分類モジュール７１２は、マクロブロック（またはビデオデータの指定された量）の空間的な複雑度を示す値を決定するのに、Ｄｃｓａｔ値、動きベクトル、および／または絶対差の合計を使用する。時間的な複雑度は、フレーム差分メトリック（動きベクトルを用いて動きの量を考慮に入れた２つの連続するフレームの間の差およびそれらのフレームの間の絶対差の合計）の測定によって決定される。
【０２０２】
いくつかの態様において、コンテンツ分類モジュール７１２を、帯域幅マップを生成するように構成することができる。たとえば、プリプロセッサ２２６が帯域幅マップを生成しない場合に、帯域幅マップ生成を、コンテンツ分類モジュール７１２によって実行することができる。
【０２０３】
テクスチャ値および動き値の判定
マルチメディアデータ内のマクロブロックごとに、コンテンツ分類モジュール７１２は、テクスチャ値を空間的な複雑度に関連付け、動き値を時間的な複雑度に関連付ける。テクスチャ値は、マルチメディアデータのルミネセンス値に関連し、低いテクスチャ値は、データの隣接する画素のルミネセンス値の小さい変化を示し、高いテクスチャ値は、データの隣接する画素のルミネセンス値の大きい変化を示す。テクスチャ値および動き値が一旦計算されたならば、コンテンツ分類モジュール７１２は、動き情報とテクスチャ情報との両方を考慮することによって、コンテンツ分類を決定する。コンテンツ分類モジュール７１２は、分類されるビデオデータのテクスチャを、相対テクスチャ値、たとえば、一般にマクロブロックの輝度値の複雑度を示す「低」テクスチャ、「中」テクスチャ、または「高」テクスチャに関連付ける。また、コンテンツ分類モジュール７１２は、分類されるビデオデータについて計算された動き値を、相対動き値、たとえば、一般にマクロブロックの動きの量を示す「低」動き、「中」動き、または「高」動きに関連付ける。代替の態様では、動きおよびテクスチャに関するより少数またはより多数のカテゴリを使用することができる。次に、コンテンツ分類メトリックが、関連するテクスチャ値および動き値を考慮することによって決定される。
【０２０４】
図８に、テクスチャ値および動き値をコンテンツ分類にどのように関連付けるかを示す分類チャートの例を示す。当業者は、たとえばルックアップテーブルにおいて、またはデータベースにおいてなど、そのような分類チャートを実施する多数の形に馴染みがある。分類チャートは、ビデオデータコンテンツの所定の評価に基づいて生成される。ビデオデータ分類を決定するために、「低」、「中」、または「高」のテクスチャ値（「ｘ軸」上）が、「低」、「中」、または「高」の動き値（「ｙ軸」上）と相互参照される。交差するブロックに示されたコンテンツ分類が、ビデオデータに割り当てられる。たとえば、「高」のテクスチャ値および「中」の動き値は、７という分類をもたらす。図８は、この例では８つの異なるコンテンツ分類に関連する相対的なテクスチャ値および動き値のさまざまな組合せを示す。いくつかの他の態様では、より多数またはより少数の分類を使用することができる。コンテンツ分類の例示的態様のさらなる説明が、本願の譲受人に譲渡され、参照によって本明細書に組み込まれている、同時係属の２００６年３月１１日出願の米国特許出願第米国特許出願第１１／３７３，５７７号、名称「Ｃｏｎｔｅｎｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｆｏｒ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ」に開示されている。
【０２０５】
レート制御ビット割当
本明細書で説明するように、マルチメディアデータのコンテンツ分類は、符号化アルゴリズム内で、ビデオの一定の知覚品質を維持しながらビット管理を効果的に改善するのに使用することができる。たとえば、分類メトリックは、アルゴリズム内で、シーン変化検出、符号化ビットレート割当制御、およびフレームレートのアップコンバージョン（ＦＲＵＣ）に使用することができる。コンプレッサ／デコンプレッサ（コーデック）システムおよびディジタル信号処理アルゴリズムは、ビデオデータ通信に一般に使用され、帯域幅を節約するように構成することができるが、品質と帯域幅節約との間にトレードオフがある。最良のコーデックは、ビデオ品質の最小の劣化をもたらしながら最大の帯域幅節約を実現する。
【０２０６】
１つの例示的な例で、レート制御ビット割当モジュール７１４は、ビットレート（たとえば、マルチメディアデータを符号化するために割り当てられるビット数）を決定するのに、ならびに符号化器２２８の他の処理および構成要素による使用のためにビットレートを格納するのに、コンテンツ分類を使用する。ビデオデータの分類から決定されるビットレートは、一貫した品質レベルでマルチメディアデータを供給しながら帯域幅を節約するのを助けることができる。一態様において、異なるビットレートを、８つの異なるコンテンツ分類のそれぞれに割り当てることができ、その後、そのビットレートが、マルチメディアデータの符号化に使用される。結果として生じる効果は、マルチメディアデータの異なるコンテンツ分類が、符号化に異なるビット数を割り当てられるが、知覚される品質が、ディスプレイ上で見られる時に同様であるか一貫することである。
【０２０７】
一般に、より高いコンテンツ分類を有するマルチメディアデータは、より高いレベルの動きおよび／またはテクスチャを示し、符号化される時により多くのビットを割り当てられる。より低い分類（より少ないテクスチャおよび動きを示す）を有するマルチメディアデータは、より少ないビットを割り当てられる。特定のコンテンツ分類のマルチメディアデータに関して、ビットレートを、マルチメディアデータを見ることに関する選択されたターゲットの知覚される品質レベルに基づいて決定することができる。マルチメディアデータ品質の決定は、人間がそのマルチメディアデータを見て、等級を付けることによって決定することができる。いくつかの代替の態様において、マルチメディアデータの品質の推定は、たとえば信号対雑音比アルゴリズムを使用する、自動試験システムによって行うことができる。一態様において、標準品質レベルの組（たとえば、５つ）および各特定の品質レベルを達成するのに必要な対応するビットレートが、各コンテンツ分類のマルチメディアデータについて事前に決定される。品質レベルの組を決定するために、特定のコンテンツ分類のマルチメディアデータを、あるビットレートを使用して符号化された時のマルチメディアデータの視覚的に知覚される品質の数値表示を提供する平均意見得点（ＭＯＳ）を生成することによって評価することができる。ＭＯＳは、１から５までの範囲内の単一の数として表すことができ、ここで、１は、最低の知覚される品質であり、５は、最高の知覚される品質である。他の態様では、ＭＯＳが、５つより多くのまたは５つより少ない品質レベルを有することができ、各品質レベルの異なる記述を、使用することができる。
【０２０８】
マルチメディアデータ品質の決定は、人間がそのマルチメディアデータを見て、等級を付けることによって決定することができる。いくつかの代替の態様において、マルチメディアデータ品質の推定は、たとえば信号対雑音比アルゴリズムを使用する、自動試験システムによって行うことができる。一態様で、標準品質レベルの組（たとえば、５つ）および各特定の品質レベルを達成するのに必要な対応するビットレートが、各コンテンツ分類のマルチメディアデータについて事前に決定される。
【０２０９】
あるコンテンツ分類のマルチメディアデータの、視覚的に知覚される品質レベルとビットレートとの間の関係を知ることは、目標の（たとえば所望の）品質レベルを選択することによって決定することができる。ビットレートを決定するのに使用される目標品質レベルは、事前に選択するか、ユーザによって選択されるか、ユーザからもしくは別の処理からの入力を必要とする自動処理もしくは半自動処理を介して選択されるか、あるいは所定の判断基準に基づいて符号化デバイスもしくは符号化システムによって動的に選択されることができる。目標品質レベルは、たとえば、符号化アプリケーションのタイプまたはマルチメディアデータを受け取るクライアントデバイスのタイプに基づいて選択することができる。
【０２１０】
図７に示された例では、レート制御ビット割当モジュール７１４は、コンテンツ分類モジュール７１２からのデータとプリプロセッサ２２６から直接のメタデータとの両方を受け取る。レート制御ビット割当モジュール７１４は、符号化器２２８の第１パス部分に存在し、レート制御微調整モジュール７３８は、第２パス部分７０６に存在する。この２パスのレート制御の態様は、第１パス（レート制御ビット割当モジュール７１４）が、１つのスーパーフレームのルックアヘッドを用いてコンテキストに適応したビット割当を実行し（たとえば、２５６ｋｂｐｓの長期平均ビットレートを目標値にして）、ピークレートを制限し、第２パス（レート制御微調整モジュール７３８）が、２レイヤのスケーラビリティのために第１パスの結果を改善し、レート適応を実行するように構成される。レート制御は、（１）ＧＯＰレベル（１つのＧＯＰの内部で不均一になるようにＩフレーム、Ｐフレーム、Ｂフレーム、およびＦフレームのビット分配を制御する）、（２）スーパーフレームレベル（最大スーパーフレームサイズに対するハード限界を制御する）、（３）フレームレベル（コンテンツ情報（たとえば、コンテンツ分類）に基づくマルチメディアデータフレームの空間的な複雑度および時間的な複雑度に従ってビット要件を制御する）、および（４）マクロブロックレベル（コンテンツ情報（たとえば、コンテンツ分類）に基づく空間的な複雑度のマップおよび時間的な複雑度のマップに基づいてマクロブロックのビット割当を制御する）という４つのレベルで動作する。
【０２１１】
レート制御モジュール７１４の動作の例示的な流れ図を、図１０に示す。図１０に示されているように、処理１０００は、入力１００２ブロックで開始される。レート制御モジュール７１４は、必ずしもすべてが図７によって示されてはいないさまざまな入力を受け取る。たとえば、入力情報には、プリプロセッサ２２６からのメタデータ、目標ビットレート、符号化器のバッファサイズ（あるいは、同等物として、レート制御に関する最大遅延時間）、初期のレート制御の遅延、およびフレームレート情報を含めることができる。さらなる入力情報に、たとえば、最大スーパーフレームサイズ、ＧＯＰの長さおよびＰ／Ｂフレーム分布（シーン変化情報を含む）、所望のベースレイヤおよびエンハンスメントレイヤの配置、将来の３０フレームに関するＧＯＰ内のピクチャの複雑度−歪みメトリックを含む、グループオブピクチャ（ＧＯＰ）レベルでの入力を含めることができる。他の入力情報は、現行ピクチャの複雑度−歪みマップ（コンテンツ分類モジュール７１２から受け取られる）、量子化パラメータ（ＱＰ）、および過去の３０フレーム（スライディングウィンドウにおさまる）のビット分割を含むピクチャレベルでの入力を含む。最後に、マクロブロック（ＭＢ）レベルでの入力は、たとえば、基準ピクチャ内の並べて置かれたマクロブロック（ＭＢ）の平均絶対差（ＭＡＤ）および量子化後（スキップされたか否かに関わりなく）のマクロブロックの符号化されたブロックパターン（ＣＢＰ）を含む。
【０２１２】
ブロック１００２での入力の後に、処理１０００は、ビットストリームの符号化に関する初期化のためにブロック１００４に進む。それと同時に、バッファ初期化１００６が実行される。次に、ブロック１００８に示されているように、ＧＯＰを初期化し、ＧＯＰビット割当１０１０が、初期化の一部として受け取られる。ＧＯＰ初期化の後に、流れは、ブロック１０１２に進み、ここで、スライスを初期化する。この初期化は、ブロック１０１４によって示されるように、ヘッダビットの更新を含む。ブロック１００４、１００８、および１０１２の初期化が実行された後に、基本単位またはマクロブロック（ＭＢ）のレート制御（ＲＣ）が、ブロック１０１６によって示されているように実行される。ブロック１０１６でのマクロブロックのレート制御の決定の一部として、入力が、符号化器２２８内のインターフェースを介して受け取られる。この入力には、マクロブロック（ＭＢ）ビット割当１０１８、二次モデルパラメータの更新１０２０、および中央値からの中央値絶対偏差（「ＭＡＤ」、ばらつきの堅牢な推定値）パラメータの更新１０２２を含めることができる。次に、処理１０００は、１つのピクチャを符号化した後の動作１０２４の実行のためにブロック１０２４に進む。この手順は、ブロック１０２６によって示されるように、バッファパラメータの更新を受け取ることを含む。次に、処理１０００は、出力ブロック１０２８に進み、ここで、レート制御モジュール７１４は、図７に示されたモード判断モジュール７１５によって使用される各マクロブロックＭＢの量子化パラメータＱＰを出力する。
【０２１３】
動き推定
動き推定モジュール７２０は、プリプロセッサ２２６からメタデータおよび生ビデオの入力を受け取り、ブロックサイズ、動きベクトル歪みメトリックス、および基準フレーム識別子を含めることができる出力をモード判断モジュール７１５に供給する。図１１に、動き推定モジュール７２０の例示的動作を示す。図に示されているように、処理１１００は、入力１１０２から開始される。フレームレベルでは、モジュール７２０は、基準フレームＩＤおよび動きベクトルの入力を受け取る。マクロブロックレベルでは、入力１１０２は、入力画素および基準フレーム画素を含む。処理１１００は、ステップ１１０４に継続し、ここで、カラー動き推定（ＭＥ）および動きベクトル予測を実行する。この処理を実行するために、ＭＰＥＧ−２動きベクトルおよびルマ動きベクトルＭＶ  １１０６、動きベクトル平滑化１１０８、ならびに非因果的動きベクトル（non-causal motion vector）１１１０を含むさまざまな入力が、受け取られる。次に、処理１１００は、ブロック１１１２に進み、ここで、六角形探索法または菱形探索法などの動きベクトル探索アルゴリズムまたは動きベクトル探索方法論が実行される。ブロック１１１２での処理への入力には、ブロック１１１４によって示されているように、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）、および／または他のメトリックを含めることができる。動きベクトル探索が実行されたならば、処理１１００は、終了ブロック１１１６に進み、ここで終了処理が実行される。その後、処理１００は、ブロックサイズ、動きベクトル（ＭＶ）、歪みメトリックス、および基準フレーム識別子の出力をもたらす出力ブロック１１１８で終了する。
【０２１４】
ベースレイヤおよびエンハンスメントレイヤのスケーラビリティＲ−Ｄ
図１３に、スケーラビリティＲ−Ｄモジュール７１８によって実行できるスケーラビリティ処理１３００の例示的な流れ図を示す。処理１３００は、開始ブロック１３０２で開始され、ブロック１３０４に進み、ここで、スケーラビリティＲ−Ｄモジュール７１８は、動き推定モジュール７２０から入力を受け取り、動き推定を実行する。動き推定は、ブロック１３０６によって示されているように、ベースレイヤ基準フレーム、エンハンスメントレイヤ基準フレーム、および符号化されるオリジナルフレームの入力に頼る。そのような情報は、ＧＯＰパーティショナ６１２によって計算し、たとえばメタデータを介してスケーラビリティＲ−Ｄモジュール７１８に通信することができる。処理１３００は、ブロック１３０８に進んで、ベースレイヤデータおよびエンハンスメントレイヤデータのスケーラビリティ情報を決定する。次に、ブロック１３１０に示されているようにベースレイヤ符号化を実行し、これにブロック１３１２のエンハンスメントレイヤ符号化が続く。エンハンスメントレイヤの符号化は、ブロック１３１４によって示されるように入力としてレイヤ間予測のためにベースレイヤ符号化結果を使用することができ、したがって、時間的には、ベースレイヤ符号化の後に実行される。これは、同時係属の米国特許出願［弁理士整理番号第０５００７８号］、名称「ＳＣＡＬＡＢＬＥ  ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＷＩＴＨ  ＴＷＯ  ＬＡＹＥＲ  ＥＮＣＯＤＩＮＧ  ＡＮＤ  ＳＩＮＧＬＥ  ＬＡＹＥＲ  ＤＥＣＯＤＩＮＧ」にさらに記載されている。符号化が完了した後に、処理１３００は、ブロック１３１６で終了する。
【０２１５】
スライス／マクロブロック順序付け
第１パス部分７０２は、第２パス部分内の誤り弾力性モジュール７４０から入力を受け取り、モード判断モジュール７１５にスライス整列情報を供給するスライス／マクロブロック順序付けモジュール７２２をも含む。スライスとは、独立に復号化可能な（エントロピ復号化）符号化されたビデオデータの大きい塊である。アクセス単位（ＡＵ）は、必ず正確に１つの主符号化ピクチャを含むＮＡＬ単位の組をそれぞれが含む符号化されたビデオフレームである。主符号化ピクチャに加えて、アクセス単位には、１つまたは複数の冗長な符号化ピクチャまたはスライスを含まない他のＮＡＬ単位または符号化ピクチャのスライスデータパーティションをも含めることができる。アクセス単位の復号化は、必ず、復号化されたピクチャをもたらす。
【０２１６】
フレームを、最高の時間ダイバーシティを提供する物理層パケットの時分割多重化されたブロック（ＴＤＭカプセルと称する）とすることができる。スーパーフレームは、時間の１単位（たとえば、１秒）に対応し、４つのフレームを含む。時間領域でのフレーム境界へのスライス境界およびＡＵ境界の整列は、破壊されたデータの最も効率的な分離および局所化をもたらす。深いフェード中に、ＴＤＭカプセル内の連続データのほとんどが、誤りによって影響される。時間ダイバーシティに起因して、残りのＴＤＭカプセルは、変更されないままであることの高い確率を有する。破壊されていないデータは、影響されたＴＤＭカプセルから失われたデータを回復し、隠すのに利用することができる。同様の論理が、周波数領域多重化（ＦＤＭ）にあてはまり、ここでは、データシンボルが変調する周波数サブキャリア内の分離を介して周波数ダイバーシティが達成される。さらに、同様の論理が、しばしば無線ネットワーク内で適用される空間的（送信器アンテナおよび受話器アンテナの分離を介する）および他の形のダイバーシティにあてはまる。
【０２１７】
スライスおよびＡＵをフレームに整列するために、外側符号（ＦＥＣ）符号ブロック作成およびＭＡＣ層カプセル化も整列しなければならない。図２０に、スライスおよびＡＵ内の符号化されたビデオデータまたはビデオビットストリームの編成を示す。符号化されたビデオは、１つまたは複数のビットストリーム内で、たとえば、階層化されたビデオ符号化が適用される場合にベースレイヤビットストリームおよびエンハンスメントレイヤビットストリーム内で構成することができる。
【０２１８】
ビデオビットストリームは、図２０でフレーム１’  ２００５、フレーム３’  ２０１０、およびフレームＭ’  ２０１５によって示されたＡＵを備える。ＡＵは、スライス１  ２０２０、スライス２  ２０２５、およびスライスＮ  ２０３０によって示される、データのスライスから成り立つ。スライスの初めのそれぞれは、開始符号によって識別され、ネットワーク適応に供給される。一般に、Ｉフレーム符号化されたＡＵすなわちイントラ符号化されたＡＵは、大きく、これにＰフレームまたは順方向に予測されたフレームが続き、これにＢフレームが続く。ＡＵを複数のスライスに符号化することは、スライスにまたがる空間的な予測が制限され、スライスヘッダもオーバーヘッドに寄与するので、符号化ビットレートに関してかなりのオーバーヘッドコストをこうむる。スライス境界は、再同期点なので、連続する物理層パケットをスライスに制限することは、誤りを制御する。というのは、ＰＬＰが破壊される時に、誤りが、ＰＬＰ内のスライスに閉じこめられるが、ＰＬＰが複数のスライスまたは複数のスライスの一部を含む場合には、誤りが、そのＰＬＰ内のすべてのスライスまたはスライスの部分に影響するからである。
【０２１９】
Ｉフレームは、通常は大きく、たとえば数十キロビット程度なので、複数のスライスに起因するオーバーヘッドは、Ｉフレームの総サイズまたは総ビットレートの大きい比率ではない。また、イントラ符号化されるＡＵ内により多くのスライスを有することは、よりよくより頻繁な再同期およびより効率的な空間誤りの隠蔽を可能にする。また、Ｉフレームは、ＰフレームおよびＢフレームがＩフレームから予測されるので、ビデオビットストリーム内で最も重要な情報を運ぶ。Ｉフレームは、チャネル獲得のランダムアクセス点としても働く。
【０２２０】
ここで図２１を参照すると、Ｉフレームをフレーム境界に、およびＩ  ＡＵを有するスライスをもフレーム境界に注意深く整列することは、最も効率的な誤り制御、誤り保護を可能にする（フレーム１  ２１０５に属する１つのスライスが失われる場合に、フレーム２  ２１１０に属するスライスは、フレーム２  ２１１０がフレーム１  ２１０５からの大きい時間分離を有するので手付かずのままになる高い確率を有する誤り回復を再同期および誤りの隠蔽を介して実行することができる）。
【０２２１】
Ｐフレームは、通常、２〜３キロビット程度のサイズを有するので、Ｐフレームのスライスおよび整数個数のＰフレームをフレーム境界に整列することは、効率の有害な損失なしで誤り弾力性を可能にする（Ｉフレームに関する理由と同様の理由から）。時間的な誤りの隠蔽を、そのような態様で使用することができる。代替案では、連続するＰフレームを、異なるフレームに到着するように分散させることが、Ｐフレームの間で追加の時間ダイバーシティをもたらし、これは、時間的な隠蔽が、以前に再構成されたＩフレームまたはＰフレームからの動きベクトルおよびデータに基づくからであるものとすることができる。Ｂフレームは、極端に小さい（数百ビット）から適度に大きい（２〜３千ビット）とすることができる。したがって、整数個数のＢフレームをフレーム境界に整列することは、効率の有害な損失なしで誤り弾力性を達成するために望ましい。
【０２２２】
モード判断モジュール
図１２に、モード判断モジュール７１５の動作のいくつかの例を示す。図示されているように、処理１２００は、入力ブロック１２０２で開始される。１つの例示的な例で、モード判断モジュール７１５に入力されるさまざまな情報には、スライスタイプ、イントラ４×４コスト、イントラ１６×１６コスト、イントラＵＶ８×８コスト、イントラＹ１６×１６モード、イントラＵＶモード、動きベクトルデータ（ＭＶＤ）、量子化パラメータ（ＱＰ）、ＳｐＰｒｅｄＭＢ４ｘ４Ｙ、ＳｐＰｒｅｄＭＢ１６ｘ１６Ｙ、ＳｐＰｒｅｄＭＢ８ｘ８Ｕ、ＳｐＰｒｅｄＭＢ８ｘ８Ｖ、レート歪みフラグ、生ＹＭＢ画素、生ＵＭＢ画素、および生ＶＭＢ画素が含まれる。次に、処理１２００は、ブロック１２０４符号化の初期化に進み、これは、ブロック１２０６によって示されるように、符号化器の初期化を指示する入力信号またはインターフェースによって開始することができる。初期化には、許容されるモード（スキップ、直接を含む）を設定すること、モードの重みを設定すること（要求される場合に、デフォルトでは全てのモードについて等しい重みになる）、およびバッファをセットすることを含む。初期化の後に、処理１２００は、ブロック１２０８に進み、ここで、許容されるモードごとのマクロブロック（ＭＢ）モードコストの計算、重み付け係数を用いる各ＭＢモードコストの重み付け、および最小ＭＢモードコストモードの選択を含む、モード判断の主処理が実行される。これらの動作に用いられる入力は、ブロック１２１０および１２１２によって示されるように、動き推定（たとえば、ＭＶＤおよび予測）および空間的な予測（たとえば、すべてのイントラコストおよび予測）を含む。モード判断モジュール７１５にインターフェースされるのが、とりわけ圧縮率を改善する、ブロック１２１４のエントロピ符号化である。処理１２００は、次に、ブロック１２１６に進み、ここで、符号化器の第２パス部分７０６に情報を渡すためにバッファを更新する。最後に、処理１２００は、ブロック１２１８に進み、ここで、「最良」符号化モードを符号化器の第２パス部分７０６に通信することができる。
【０２２３】
符号化器の第２パス部分
もう一度図７を参照すると、符号化器２２８の第２パス部分７０６は、符号化の第２パスを実行する第２パス符号化器モジュール２３２を含む。第２パス符号化器２３２は、モード判断モジュール７１５から出力を受け取る。第２パス符号化器２３２は、ＭＣ／変換量子化モジュール７２６およびジグザグ（ＺＺ）／エントロピ符号化器７２８を含む。第２パス符号化器２３２の結果は、スケーラビリティモジュール７３０およびビットストリームパッキングモジュール７３１に出力され、ビットストリームパッキングモジュール７３１は、同期化層２４０（図２に図示）を介するトランスコーダ２００による伝送のために、符号化されたベースレイヤおよびエンハンスメントレイヤを出力する。図２に示されているように、第２パス符号化器２３２および再符号化器２３４からのベースレイヤおよびエンハンスメントレイヤが、同期化層２４０によって、ベースレイヤおよびエンハンストレイヤを含むパケット化されたＰＥＳ  ２４２、データＰＥＳ  ２４４（たとえば、ＣＣおよび他のテキストデータ）、およびオーディオＰＥＳ  ２４６に組み立てられることに留意されたい。オーディオ符号化器２３６が、復号化されたオーディオ情報２１８を受け取り、その情報を符号化し、符号化された情報２３８を同期化層２４０に出力することに留意されたい。
【０２２４】
再符号化器
もう一度図７を参照すると、符号化器の第２パス部分７０６は、図２の再符号化器２３４に対応する再符号化器２３４をも含む。再符号化器２３４は、第１パス部分７０２の出力をも受け取り、ＭＣ／変換量子化７２６部分およびＺＺ／エントロピ符号化７２８部分を含む。さらに、スケーラビリティモジュール７３０が、再符号化器２３４に出力する。再符号化器２３４は、シンクロナイザ（たとえば、図２に示された同期化層２４０）への伝送のために、再符号化からビットストリームパッキングモジュール７３１へ、結果のベースレイヤおよびエンハンストレイヤを出力する。図７の符号化器２２８の例は、第２パスの符号化を同調するのを助ける（たとえば、圧縮効率を高める）ために第２パスの符号化器２３２内のＭＣ／変換量子化モジュール２３４と再符号化器２３４内のＺＺ／エントロピモジュール７３６との両方にビットストリームパッキングフィードバックを供給するレート制御微調整モジュール７３８をも含む。
【０２２５】
誤り弾力性モジュール
図７に示された符号化器２２８の例は、第２パス部分７０６内に誤り弾力性モジュール７４０をも含む。誤り弾力性モジュール７４０は、ビットストリームパッキングモジュール７３１およびスライス／ＭＢ順序付けモジュール７２２と通信する。誤り弾力性モジュール７４０は、プリプロセッサ２２８からメタデータを受け取り、誤り弾力性方式、たとえばフレーム境界へのスライスおよびアクセス単位の整列、予測階層、および適応イントラリフレッシュを選択する。誤り弾力性方式の選択は、メタデータ内で受け取られる情報に基づくものとするか、ビットストリームパッキングモジュール７３１およびスライス／ＭＢ順序付けモジュール７２２から誤り弾力性モジュールに通信される情報からとすることができる。誤り弾力性モジュール７４０は、選択された誤り弾力性処理を実施するために、第１パス部分７０２内のスライス／マクロブロック（ＭＢ）順序付けモジュールに情報を供給する。エラーが起きやすい環境を介するビデオ伝送は、より明瞭でより少ない誤りを充てんされたデータを見るユーザに提示することをもたらすことができる誤り弾力性戦略および誤り弾力性アルゴリズムを使用することができる。以下の誤り弾力性の説明は、任意の個々の既存のまたは将来のアプリケーション層、トランスポート層、および物理層または他の技術あるいはその組合せに適用することができる。有効な誤り頑健性アルゴリズムは、低いレイテンシおよび高いスループットなどの通信システムの望ましい特性と共に、ＯＳＩ層の中で誤り感受性特性および誤り保護機能の理解を一体化する。誤り弾力性処理は、マルチメディアデータのコンテンツ情報、たとえばマルチメディアデータのコンテンツ分類に基づくものとすることができる。主要な利益の１つが、フェージングおよびマルチパスチャネル誤りからの回復性である。以下で説明する誤り弾力性手法は、特に、符号化器２２８内（たとえば、特に誤り弾力性モジュール７４０およびスライス／ＭＢ順序付けモジュール７２２内）に組み込むことができ、エラーが起きやすい環境でのデータ通信に包括的に拡張できる処理に特に関する。
【０２２６】
誤り弾力性
予測ベースのハイブリッド圧縮システムに関して、イントラ符号化されるフレームは、時間的な予測を全く用いずに独立に符号化される。インター符号化されるフレームは、過去のフレーム（Ｐフレーム）および将来のフレーム（Ｂフレーム）から時間的に予測することができる。最良の予測器は、基準フレーム（１つまたは複数）での探索処理を介して識別することができ、ＳＡＤなどの歪み測定値が、最良一致を識別するのに使用される。現行フレームの予測符号化される領域は、変化するサイズおよび形状のブロック（１６×１６、３２×３２、８×４など）またはたとえばセグメント化を介してオブジェクトとして識別される画素のグループとすることができる。
【０２２７】
時間的な予測は、通常、多数のフレーム（たとえば、１０個から数十個のフレーム）にまたがって延び、あるフレームがＩフレームとして符号化される時に打ち切られ、ＧＯＰは、通常、Ｉフレーム頻度によって定義される。最大の符号化効率のために、ＧＯＰは、１シーンであり、たとえば、ＧＯＰ境界は、シーン境界に整列され、シーン変化フレームは、Ｉフレームとして符号化される。小さい動きでは、シーケンスは、比較的静的な背景を含み、動きは、一般に、前景オブジェクトに制限される。そのような小さい動きのシーケンスのコンテンツの例は、ニュース番組および天気予報番組を含み、この場合に、ほとんどの見られるコンテンツの３０％超が、この性質を有する。小さい動きのシーケンスでは、領域のほとんどが、インター符号化され、予測フレームは、中間予測フレームを介してＩフレームを戻って参照する。
【０２２８】
図２２を参照すると、Ｉフレーム内のイントラ符号化されたブロック２２０５は、符号化されたフレーム（またはＡＵ）Ｐ１内のインター符号化されたブロック２２１０の予測器である。この例では、これらのブロックの領域は、背景の静止部分である。連続的な時間的な予測を介して、誤りに対するイントラ符号化されたブロック２２０５の感度は、高まる。というのは、これが、その「重要性」がより高いことをも暗示する「よい」予測器であるからである。さらに、イントラ符号化されたブロック２２０５は、予測チェーンと呼ばれる時間的な予測のこの連鎖のおかげで、ディスプレイ内により長く（この図の例では、このシーンの持続時間の間）持続する。
【０２２９】
予測階層は、最上部（イントラ符号化されたブロック２２０５）の親および最下部の子を有する、この重要性レベルまたは持続性の尺度に基づいて作成されるブロックのツリーとして定義される。Ｐ１内のインター符号化されたブロック２２１５が、この階層の第２レベルであることなどに留意されたい。葉は、予測チェーンを終わらせるブロックである。
【０２３０】
予測階層を、コンテンツタイプと関わりなくビデオシーケンスについて作成することができ（ニュースだけではなく音楽およびスポーツもなど）、予測ベースのビデオ（およびデータ）圧縮全般に適用可能である（これは、本願に記載のすべての態様にあてはまる）。予測階層が確立されたならば、以下で説明する適応イントラリフレッシュなどの誤り弾力性アルゴリズムを、より効果的に適用することができる。重要性尺度は、誤りに対する符号化されたビットストリームの弾力性を高めるための隠蔽動作および適応イントラリフレッシュの適用を介するなど、誤りからの所与のブロックの回復性に基づくものとすることができる。重要性尺度の推定値は、持続性メトリックとも称する、あるブロックが予測器として使用される回数に基づくものとすることができる。この持続性メトリックは、予測誤り伝搬を阻止することによって符号化効率を改善するのにも使用される。持続性メトリックは、より高い重要性を有するブロックのビット割当をも増やす。
【０２３１】
適応イントラリフレッシュ
適応イントラリフレッシュは、マルチメディアデータのコンテンツ情報に基づくことができる誤り弾力性技法である。イントラリフレッシュ処理では、いくつかのＭＢは、標準Ｒ−Ｄ最適化がそれらをインター符号化されたＭＢにしなければならないと命ずる場合であっても、イントラ符号化される。ＡＩＲは、ＰフレームまたはＢフレームにイントラ符号化されたＭＢを導入するために、動きに重み付けされたイントラリフレッシュを使用する。ベースレイヤに含まれる、これらのイントラ符号化されたＭＢは、ＱＰｂまたはＱＰｅのいずれかを用いて符号化することができる。ＱＰｅがベースレイヤに使用される場合には、改善をエンハンスメントレイヤで行う必要はない。ＱＰｂがベースレイヤに使用される場合には、改善が適当である場合があり、さもなければ、エンハンスメントレイヤで、品質の低下が顕著になる。インター符号化は、符号化効率の意味でイントラ符号化より効率的なので、エンハンスメントレイヤでのこれらの改善は、インター符号化される。この形では、ベースレイヤ係数は、エンハンスメントレイヤに使用されず、品質は、新しい動作を導入せずにエンハンスメントレイヤで改善される。
【０２３２】
いくつかの態様においては、適応イントラリフレッシュは、動きに重み付けされたやり方ではなく、またはそれに加えて、マルチメディアデータのコンテンツ情報（たとえば、コンテンツ分類）に基づくものとすることができる。たとえば、コンテンツ分類が比較的高い（たとえば、高い空間的な複雑度および時間的な複雑度を有するシーン）場合に、適応イントラリフレッシュが、相対的により多数のイントラ符号化されたＭＢをＰフレームまたはＢフレームに導入することができる。その代わりに、コンテンツ分類が比較的低い（低い空間的な複雑度および／または時間的な複雑度を有するより少なく動的なシーンを示す）場合に、適応イントラリフレッシュが、より少数のイントラ符号化されたＭＢをＰフレームおよびＢフレームに導入することができる。誤り弾力性を改善するそのようなメトリックおよび方法は、無線マルチメディア通信の文脈だけではなく、データ圧縮およびマルチメディア処理全般に向けて（たとえば、グラフィックスレンダリングに）適用することができる。
【０２３３】
チャネル切替フレーム
本明細書で定義されるチャネル切替フレーム（ＣＳＦ）は、高速なチャネルの獲得のために、したがって、ブロードキャスト多重内のストリームの間の高速なチャネルの変更のために、ブロードキャストストリーム内の適当な位置に挿入されるランダムアクセスフレームを記述する広義の用語である。チャネル切替フレームは、主フレームが誤りを伴って伝送される場合に使用できる冗長データを提供するので、誤り頑健性をも高める。ＩフレームまたはＨ．２６４のプログレッシブ復号化器リフレッシュフレームなどのプログレッシブＩフレームは、通常、ランダムアクセス点として働く。しかし、頻繁なＩフレーム（または、シーン持続時間より短い、短いＧＯＰ）は、圧縮効率の大幅な低下をもたらす。イントラ符号化ブロックが、誤り弾力性のために必要になる可能性があるので、誤りに対する頑健性を高めながら符号化効率を改善するために、予測階層を介してランダムアクセスおよび誤り弾力性を効果的に組み合わせることができる。
【０２３４】
ランダムアクセス切替および誤り頑健性の改善は、一致して達成することができ、コンテンツ分類などのコンテンツ情報に基づくものとすることができる。小さい動きのシーケンスについて、予測チェーンは、長く、スーパーフレームまたはシーンを再構成するのに必要な情報のかなりの部分が、シーンの初めに現れるＩフレームに含まれる。チャネル誤りは、バースト的である傾向があり、フェードが現れ、ＦＥＣおよび通信路符号化が障害を発生する時には、隠蔽が失敗する大きい見逃し誤りがある。これは、小さい動き（したがって、低いビットレート）のシーケンスについて特に深刻である。というのは、符号化されたデータの量が、ビデオビットストリーム内でよい時間ダイバーシティをもたらすのに十分に多くはないからであり、すべてのビットを再構成に有用にする非常に圧縮可能なシーケンスがあるからである。大きい動きのシーケンスは、コンテンツの性質すなわち、すべてのフレーム内のより多くの新しい情報が、独立に復号化可能であり本質的に誤りに対してより柔軟な符号化されたイントラブロックの個数を増やすことに起因して、誤りに対してより頑健である。予測階層に基づく適応イントラリフレッシュは、大きい動きのシーケンスについて高い性能を達成し、性能改善は、小さい動きのシーケンスについて大きくはない。したがって、Ｉフレームのほとんどを含むチャネル切替フレームは、小さい動きのシーケンスに関するダイバーシティのよい源である。誤りがスーパーフレームを攻撃する時に、連続するフレームでの復号化は、予測に起因して失われる情報を回復するＣＳＦから開始され、誤り弾力性が達成される。
【０２３５】
相対的に高いコンテンツ分類（たとえば、６〜８）を有するシーケンスなどの大きい動きのシーケンスの場合に、ＣＳＦは、ＳＦ内で持続するブロックすなわち、よい予測器であるブロックからなる可能性がある。ＣＳＦの他のすべての領域は、イントラブロックで終わることを暗示する短い予測チェーンを有するブロックなので、符号化する必要がない。したがって、ＣＳＦは、それでも、誤りが発生する時に予測に起因して失われる情報から回復するように働く。小さい動きのシーケンスに関するＣＳＦは、Ｉフレームのサイズと同程度であり、より大きい量子化を介してより低いビットレートで符号化することができ、大きい動きのシーケンスに関するＣＳＦは、対応するＩフレームよりはるかに小さい。
【０２３６】
予測階層に基づく誤り弾力性は、良好にスケーラビリティを処理することができ、非常に効率的な階層化された符号化を達成することができる。物理層技術での階層的な変調をサポートするスケーラビリティは、特定の帯域幅比を用いるビデオビットストリームのデータパーティショニングを必要とする場合がある。これらは、必ずしも最適スケーラビリティのための（たとえば、最小のオーバーヘッドを有する）理想的な比であるとは限らない。いくつかの態様で、１：１帯域幅比を有する２層のスケーラビリティが使用される。等しいサイズの２つの層へのビットストリームのパーティショニングは、小さい動きのシーケンスについて、さほど効率的でない場合がある。小さい動きのシーケンスについて、すべてのヘッダおよびメタデータ情報を含むベースレイヤは、エンハンスメントレイヤより大きい。しかし、小さい動きのシーケンスのＣＳＦは、より大きいので、エンハンスメントレイヤ内の残りの帯域幅にうまくおさまる。
【０２３７】
大きい動きのシーケンスは、１：１へのデータパーティショニングを最小のオーバーヘッドで達成できる十分な残差情報を有する。さらに、そのようなシーケンスのチャネル切替フレームは、大きい動きのシーケンスについてはるかに小さい。したがって、予測階層に基づく誤り弾力性は、大きい動きのシーケンスのスケーラビリティも良好に処理することができる。適度な動きのクリップについて上で述べた概念を拡張することは、これらのアルゴリズムの説明に基づいて可能であり、提案される概念は、ビデオ符号化全般に適用される。
【０２３８】
多重化装置
いくつかの符号化器の態様で、多重化装置は、符号化器によって作られた複数のマルチメディアストリームを符号化するのに使用でき、符号化されたビットをブロードキャストのために準備するのに使用することができる。たとえば、図２に示された符号化器２２８の例示的態様では、同期化層２４０が、多重化装置を備える。多重化装置は、ビットレート割当制御をもたらすために実施することができる。推定された複雑度を、多重化装置に供給することができ、この多重化装置は、多重化されたビデオチャネルについて予想される符号化の複雑度に従ってこれらのビデオチャネルの集合の使用可能な帯域幅を割り当てることができ、次に、多重化されたビデオストリームの集合の帯域幅が比較的一定である場合であっても、特定のチャネルの品質が比較的一定のままになることを可能にする。これは、チャネルの集合内の１チャネルが、相対に一定のビットレートおよび可変の視覚的品質ではなく、可変のビットレートおよび相対的に一定の視覚的品質を有することをもたらす。
【０２３９】
図１８は、複数のマルチメディアストリームまたはチャネル１８０２を符号化するシステムを示すブロック図である。マルチメディアストリーム１８０２は、それぞれの符号化器１８０４によって符号化され、符号化器１８０４は、多重化装置（ＭＵＸ）１８０６と通信し、さらに多重化装置１８０６は、伝送媒体１８０８と通信する。たとえば、マルチメディアストリーム１８０２は、ニュースチャネル、スポーツチャネル、映画チャネルなどのさまざまなコンテンツチャネルに対応するものとすることができる。符号化器１８０４は、マルチメディアストリーム１８０２をシステムについて指定された符号化フォーマットに符号化する。ビデオストリームの符号化の文脈で説明するが、開示される技法の原理および利益は、たとえばオーディオストリームを含むマルチメディアストリームに全般的に適用可能である。符号化されたマルチメディアストリームは、多重化装置１８０６に供給され、多重化装置１８０６は、さまざまな符号化されたマルチメディアストリームを組み合わせ、組み合わされたストリームを伝送のために伝送媒体１８０８に送る。
【０２４０】
伝送媒体１８０８は、ＤｉｒｅｃＴＶ（登録商標）などのディジタル衛星通信、ディジタルケーブル、有線および無線のインターネット通信、光ネットワーク、セル電話網、ならびに類似物などであるがこれらに限定はされないさまざまな媒体に対応するものとすることができる。伝送媒体１８０８には、たとえば、無線周波数（ＲＦ）への変調を含めることができる。通常、スペクトル制約および同様のものに起因して、伝送媒体は、限られた帯域幅を有し、多重化装置１８０６から伝送媒体へのデータは、相対的に固定ビットレート（ＣＢＲ）で維持される。
【０２４１】
通常のシステムでは、多重化装置１８０６の出力での固定ビットレート（ＣＢＲ）の使用は、多重化装置１８０６に入力される符号化されたマルチメディアまたはビデオストリームもＣＢＲであることを必要とする場合がある。背景で説明したように、ビデオコンテンツを符号化する時のＣＢＲの使用は、通常は望ましくない可変の視覚的品質をもたらす可能性がある。
【０２４２】
図解されたシステムでは、複数の符号化器１８０４が、入力データの予想された符号化の複雑度を通信する。１つまたは複数の符号化器１８０４が、それに応答して多重化装置１８０６から適合されたビットレート制御を受けることができる。これは、比較的複雑なビデオを符号化すると期待される符号化器１８０４が、擬似可変ビットレートの形でビデオのこれらのフレームについてより高いビットレートまたはより多くの帯域幅（より多くのビット毎フレーム）を受け取ることを可能にする。これは、マルチメディアストリーム１８０２を一定の視覚的品質で符号化することを可能にする。比較的複雑なビデオを符号化する特定の符号化器１８０４によって使用される余分の帯域幅は、符号化器が固定ビットレートで動作するように実施された場合に他のビデオストリーム１８０４を符号化するのに他の形で使用されたはずのビットに由来する。これは、多重化装置１８０６の出力を固定ビットレート（ＣＢＲ）で維持する。
【０２４３】
個々のマルチメディアストリーム１８０２が、比較的「バースト的」である、すなわち、使用される帯域幅において変化する可能性があるが、複数のビデオストリームの累積和は、より少なくバースト的である可能性がある。たとえば多重化装置１８０６によって、比較的複雑なビデオを符号化するチャネルに再割り当てすることができる、複雑度のより少ないビデオを符号化するチャネルからのビットレート、これは、組み合わされたビデオストリームの全体としての視覚的品質を高めることができる。
【０２４４】
符号化器１８０４は、一緒に符号化され多重化されるビデオフレームの組の複雑度の表示を多重化装置１８０６に与える。多重化装置１８０６の出力は、伝送媒体１８０８について指定されたビットレートを超えない出力をもたらさなければならない。複雑度の表示は、選択されたレベルの品質を実現するために、上で述べたコンテンツ分類に基づくものとすることができる。多重化装置１００６は、複雑度の表示を分析し、割り当てられたビット数または帯域幅をさまざまな符号化器１００４に与え、符号化器１８０４は、組のビデオフレームを符号化するのにこの情報を使用する。これは、ビデオフレームの組を個別に可変ビットレートにすることを可能にし、なおかつグループとして固定ビットレートを達成する。
【０２４５】
コンテンツ分類は、任意の包括的な圧縮器に関して、マルチメディア全般の品質ベースの圧縮を使用可能にするのにも使用することができる。コンテンツ分類ならびに本明細書で説明する方法および装置を、任意のマルチメディアデータの品質ベースのおよび／またはコンテンツベースのマルチメディア処理に使用することができる。一例が、任意の包括的な圧縮器に関するマルチメディア全般の圧縮での使用である。もう１つの例が、任意の逆圧縮器または復号化器あるいは補間動作、再サンプリング動作、画質向上動作、復元動作、およびプレゼンテーション動作などのポストプロセッサでの圧縮解除または復号においてである。
【０２４６】
ここで図１９を参照すると、通常のビデオ通信システムは、通信ネットワークによって接続されたビデオ符号化器およびビデオ復号化器からなるビデオ圧縮システムを含む。無線ネットワークは、エラーが起きやすいネットワークの１つの種類であり、ここで、通信チャネルは、経路損失に加えて、移動体シナリオで、対数正規フェージングまたはシャドウイングおよびマルチパスフェージングを示す。チャネル誤りと戦い、アプリケーション層データの信頼できる通信を実現するために、ＲＦ変調器は、インターリーバと畳込み符号化またはターボ符号化などの通信路符号化とを含む順方向の誤り訂正を含む。
【０２４７】
ビデオ圧縮は、ソースビデオの冗長度を減らし、符号化されたビデオデータの各ビットで搬送される情報の量を増やす。これは、符号化されたビデオの小さい部分であっても、それが失われる時の品質への影響を増やす。ビデオ圧縮システムに固有の空間的な予測および時間的な予測は、損失を悪化させ、誤りを伝搬させ、再構成されたビデオ内の可視の人為的結果をもたらす。ビデオ符号化器の誤り弾力性アルゴリズムおよびビデオ復号化器の誤り回復アルゴリズムは、ビデオ圧縮システムの誤り頑健性を高める。
【０２４８】
通常、ビデオ圧縮システムは、基盤となるネットワークを認知しない。しかし、エラーが起きやすいネットワークでは、リンク／物理層内のＦＥＣおよび通信路の符号化と共に誤り保護アルゴリズムをアプリケーション層内に一体化するか緊密に協力させることが、非常に望ましく、システムの誤り性能を高める上で最高の効率をもたらす。
【０２４９】
図１４に、フレームを符号化するために符号化器２２８内で発生し得るレート歪みデータの流れの一例を示す。処理１４００は、開始１４０２で開始され、判断ブロック１４０４に進み、ここで、プリプロセッサ２２６からシーン変化検出器の入力１４１０を受け取り（たとえば、メタデータを介して）、誤り弾力性の入力１４０６を獲得する。これらの情報が、選択されたフレームがＩフレームであることを示す場合に、この処理は、そのフレームをイントラ符号化する。これらの情報が、選択されたフレームがＰフレームまたはＢフレームであることを示す場合に、この処理は、そのフレームを符号化するのにイントラ符号化および動き推定（インター）符号化を使用する。
【０２５０】
ブロック１４０４の条件に関して肯定の条件が発生した後に、処理１４００は、準備ブロック１４１４に進み、ここで、比Ｒに値Ｒ＝ＲｑｕａｌすなわちＲ−Ｄ曲線に基づく所望の目標品質を設定する。この設定は、Ｒ−Ｄ曲線を備えるデータブロック１４１６から受け取られる。次に、処理１４００は、ブロック１４１８に進み、ここで、レート制御ビット割当｛Ｑｐｉ｝が、ブロック１４２０のコンテンツ分類処理からの画像／ビデオアクティビティ情報（たとえば、コンテンツ分類）に基づいて実行される。
【０２５１】
レート制御ビット割当ブロック１４１８は、ブロック１４２２の動き推定に使用される。動き推定１４２２は、プリプロセッサ１４１２からのメタデータ、ブロック１４２４からの動きベクトル平滑化（ＭＰＥＧ−２＋ヒストリ）、およびブロック１４２６からの複数の基準フレーム（因果的＋非因果的マクロブロックＭＢ）の入力をも受け取ることができる。次に、処理１４００は、ブロック１４２８に進み、ここで、イントラ符号化されたモードのレート計算を、レート制御ビット割当（Ｑｐｉ）について決定する。次に、処理１４００は、ブロック１４３０に進み、ここで、モードおよび量子化パラメータを決定する。ブロック１４３０のモード判断は、ブロック１４２２の動き推定入力、誤り弾力性１４０６入力、およびブロック１４３２で決定されるスケーラビリティＲ−Ｄに基づいて行われる。モードを判断したならば、流れはブロック１４３２に進む。ブロック１４３０から１４３２への流れが、データが符号化器の第１パス部分から第２パス部分に渡される時に発生することに留意されたい。
【０２５２】
ブロック１４３２では、符号化器２２８の第２パスによって変換および量子化を実行する。変換／量子化処理は、ブロック１４４４に示されているように、調整されまたは微調整される。この変換／量子化処理は、レート制御微調整モジュール（図７）によって影響されるものとすることができる。次に、処理１４００は、符号化されたベースレイヤを作るためのジグザグソートおよびエントロピ符号化のブロック１４３４に進む。ジグザグソートは、符号化に効率的なフォーマットで量子化されたデータを準備する。エントロピ符号化は、可能な記号の組を表すのに一連のビット符号を使用する圧縮技法である。変換／量子化ブロック１４３２のエンハンストレイヤの結果は、加算器１４３６にも送られ、加算器１４３６は、ベースレイヤを減算し、その結果を、前に図３１〜３６を参照して説明したエンハンストレイヤ用のＺＺ／エントロピコーダ１４３８に送る。さらに注目すべきことに、エンハンストレイヤは、真のレートに関するコンテンツ分類１４２０の更新ならびにレート制御によって使用されるビットレートの長期履歴および短期履歴を判定する動作のためにフィードバックされる（線１４４０真のレートの更新を参照されたい）。
【０２５３】
図１７は、マルチメディア符号化システムの高水準ブロック図である。このマルチメディア符号化システムは、マルチメディアデータを受け取るモジュール１７０５によって示される、マルチメディアデータを受け取るための手段を含む。そのようなための手段は、たとえば、トランスコーダ、符号化器、プリプロセッサ、マルチメディアデータを受け取るように構成されたプロセッサ、受話器を備えることができる。より具体的には、受け取るための手段は、さまざまな例でトランスコーダ２００を含む、マルチメディアデータを受け取る、本明細書で説明する構成要素およびモジュールを備えることができる。この符号化システムは、マルチメディアデータを符号化するモジュール１７１０によって示される、マルチメディアデータを符号化するための手段をも備える。そのような符号化ための手段１７１０は、トランスコーダ２００、符号化器２２８、またはプリプロセッサ２２６を備えることができる。
【０２５４】
図２３、２４、２７、および２８は、本明細書で説明する諸態様を実施する、マルチメディアデータを符号化する方法を例示する処理の流れ図である。図２３は、コンテンツ情報に基づいてマルチメディアデータを符号化する処理２３００を示す処理の流れ図である。ブロック２３０５で、処理２３００は、符号化されたマルチメディアデータを受け取り、ブロック２３１０で、処理２３００は、マルチメディアデータを復号化する。ブロック２３１５で、処理２３００は、復号化されたマルチメディアデータに関連するコンテンツ情報を決定する。ブロック２３２０で、処理２３００は、コンテンツ情報に基づいてマルチメディアデータを符号化する。
【０２５５】
図２４は、コンテンツ情報レベルに基づいてデータ境界を整列するためにマルチメディアデータを符号化する処理２４００を示す処理の流れ図である。ブロック２４０５で、処理２４００は、マルチメディアデータに関連するコンテンツ情報を取得し、これは、たとえば、図７に示されたプリプロセッサ２２６またはコンテンツ分類モジュール７１２によって行うことができる。ブロック２４１０で、処理２４００は、コンテンツ情報に基づいてデータ境界を整列するためにマルチメディアデータを符号化する。たとえば、スライス境界およびアクセス単位境界は、符号化されるマルチメディアデータのコンテンツ分類に基づいてフレーム境界と整列される。その後、符号化されたデータは、後続の処理および／または移動体デバイスへの伝送に使用可能であり、処理２４００は終了する。
【０２５６】
図２７は、コンテンツ情報に基づく適応イントラリフレッシュ方式を使用してデータを符号化する処理２７００を示す処理の流れ図である。処理２７００が開始される時に、マルチメディアデータは、取得済みである。ブロック２７０５で、処理２７００は、マルチメディアデータのコンテンツ情報を取得する。コンテンツ情報の取得は、たとえば、上で説明したようにプリプロセッサ２２６またはコンテンツ分類モジュール７１２によって実行することができる。処理２７００は、ブロック２７１０に進み、ここで、適応イントラリフレッシュの誤り弾力性方式を使用してマルチメディアデータを符号化し、適応イントラリフレッシュの誤り弾力性方式は、コンテンツ情報に基づく。ブロック２７１０の機能は、符号化器２２８によって実行することができる。符号化されたデータは、後続の処理および伝送に使用可能にされ、処理２７００は終了する。
【０２５７】
図２８は、マルチメディアコンテンツ情報に基づいて冗長なＩフレームを使用してマルチメディアデータを符号化する処理を示す処理の流れ図である。処理２８００が開始される時に、マルチメディアデータは、処理に使用可能である。ブロック２８０５で、処理２８００は、マルチメディアデータのコンテンツ情報を取得する。上で説明したように、これは、たとえば、プリプロセッサ２２６および／または符号化器２２８によって行うことができる。ブロック２８１０で、処理２８００は、コンテンツ情報に基づいて１つまたは複数の追加のＩフレームを符号化されたデータに挿入するためにマルチメディアデータを符号化する。これは、使用される誤り弾力性方式に応じてベースレイヤまたはエンハンスメントレイヤにＩフレームを挿入することによって、誤り弾力性方式に関連して上で説明したように符号化器２２８によって行うことができる。ブロック２８１０の後に、符号化されたデータは、後続の処理および／または移動体デバイスへの伝送に使用可能である。
【０２５８】
本明細書で説明した方法を、当業者に既知のさまざまな通信ハードウェア、プロセッサ、およびシステムで実装できることに留意されたい。たとえば、クライアントが本明細書で説明されたように動作するための一般的な要件は、クライアントが、コンテンツおよび情報を表示するディスプレイ、クライアントの動作を制御するプロセッサ、ならびにクライアントの動作に関連するデータおよびプログラムを格納するメモリを有することである。一態様において、クライアントは、セル電話機である。もう１つの態様において、クライアントは、通信機能を有するハンドヘルドコンピュータである。もう１つの態様において、クライアントは、通信機能を有するパーソナルコンピュータである。さらに、ＧＰＳ受話器などのハードウェアを、さまざまな態様を実施するためにクライアントに組み込むことができる。本明細書で開示された諸態様に関連して説明されたさまざまな例示的なロジック、論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェア構成要素、あるいは本明細書に記載の機能を実行するように設計されたこれらの任意の組合せを用いて実施し、または実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替案では、プロセッサを、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せとして、たとえば、ＤＳＰおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと併用される１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実施することもできる。
【０２５９】
本明細書で開示された諸態様に関連して説明されたさまざまな例示的なロジック、論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブルロジックデバイス、離散的なゲートまたはトランジスタロジック、離散的なハードウェア構成要素、あるいは本明細書に記載の機能を実行するように設計されたこれらの任意の組合せを用いて実施し、または実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替案では、プロセッサを、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せとして、たとえば、ＤＳＰおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと併用される１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実施することもできる。
【０２６０】
開示された方法および装置は、あるフォーマットで符号化されたビデオデータの別のフォーマットで符号化されたビデオデータへのトランスコーディングを提供し、ここで、符号化は、ビデオデータのコンテンツに基づき、符号化は、誤りに対して弾力的である。本明細書で開示された例に関連して説明された方法またはアルゴリズムは、ハードウェアで直接に、プロセッサによって実行されるソフトウェアモジュールで、ファームウェアで、またはこれらのうちの複数の組合せで実施することができる。ソフトウェアモジュールは、ＲＡＭメモリ、ｆｌａｓｈメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で既知の任意の他の形の記憶媒体に存在することができる。例示的な記憶媒体は、プロセッサが、記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替案では、記憶媒体を、プロセッサに一体とすることができる。プロセッサおよび記憶媒体が、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することができる。代替案では、プロセッサおよび記憶媒体が、ユーザ端末内の別個の構成要素として存在することができる。
【０２６１】
上で説明された例は、単に例示的であり、当業者は、今や、本明細書で開示された発明的概念から逸脱せずに、上で説明された例の多数の利用を行い、上で説明された例からの新展開を作ることができる。これらの例に対するさまざまな変更は、当業者には直ちに明白になる可能性があり、本明細書で定義される包括的な原理は、本明細書で説明された新規の諸態様の趣旨または範囲から逸脱せずに、たとえばインスタントメッセージングサービスまたは任意の一般的な無線データ通信アプリケーションで他の例に適用することができる。したがって、本開示の範囲は、本明細書に示された例に限定されることを意図されているのではなく、本明細書で開示された原理および新規な特徴と一貫する最も広い範囲に従わなければならない。単語「例示的」は、本明細書では、もっぱら、「例、実例、または例示としての役割を果たす」を意味するのに使用される。本明細書で「例示的」として説明されたすべての例は、必ずしも、他の例より好ましいまたは有利と解釈してはならない。したがって、本明細書で説明された新規の態様は、添付の特許請求の範囲のみによって定義される。
【図面の簡単な説明】
【０２６２】
【図１Ａ】異なるビデオフォーマットの間のトランスコーディング用のトランスコーダを含むメディアブロードキャストシステムを示すブロック図。
【図１Ｂ】マルチメディアデータを符号化し、符号化された第１データグループおよび符号化された第２データグループを供給するように構成された符号化器を示すブロック図。
【図１Ｃ】マルチメディアデータを符号化するように構成されたプロセッサを示すブロック図。
【図２】図１のシステムのトランスコーダの例を示すブロック図。
【図３】図２のトランスコーダ内で使用される解析器の動作を示す流れ図。
【図４】図２のトランスコーダ内で使用される復号化器の動作を示す流れ図。
【図５】図２のトランスコーダによって実行される動作のシーケンスを示すシステムタイミング図。
【図６】図２のトランスコーダ内で使用できるプリプロセッサの動作のシーケンスおよび機能を示す流れ図。
【図７】図２のトランスコーダ内で使用できる例示的な２パス符号化器を示すブロック図。
【図８】テクスチャ値および動き値をコンテンツ分類にどのように関連付けるかの一態様を示す分類チャートの例を示す図。
【図９】図７の符号化器で使用されるものなどのコンテンツ分類の例示的動作を示す流れ図。
【図１０】図７の符号化器と共に使用するためなどのレート制御の動作を示す流れ図。
【図１１】図７の符号化器と共に使用するためなどの例示的な動き推定器の動作を示す流れ図。
【図１２】図７の符号化器と共に使用するためなどの例示的な動き判断の符号化器の機能の動作を示す流れ図。
【図１３】図７の符号化器と共に使用されるスケーラビリティをもたらす例示的動作を示す流れ図。
【図１４】たとえば図７の符号化器で発生するレート歪みデータの流れをもたらす例示的動作を示す流れ図。
【図１５】符号化の複雑度、割り当てられたビット、および人間の視覚的品質の間の関係を示すグラフ。
【図１６】非線形シーン検出式を示すグラフ。
【図１７】マルチメディアデータを受け取るための手段および受け取られたマルチメディアデータを符号化するための手段を示す、システムを示すブロック図。
【図１８】動き推定／補償を使用するデインターレーシング処理を示す図。
【図１９】マルチメディア通信システムを示すブロック図。
【図２０】エンハンスメントレイヤおよびベースレイヤ内のビデオビットストリームの編成を示す図。
【図２１】ビデオフレーム境界へのスライスの整列を示す図。
【図２２】予測階層を示すブロック図。
【図２３】コンテンツ情報に基づいてマルチメディアデータを符号化する方法を示す処理流れ図。
【図２４】コンテンツ情報レベルに基づいてデータ境界を整列するためにマルチメディアデータを符号化する方法を示す処理の流れ図。
【図２５】データのフレームのセーフアクションエリアおよびセーフタイトルエリアを示すグラフィック。
【図２６】データのフレームのセーフアクションエリアを示すグラフィック。
【図２７】マルチメディアコンテンツ情報に基づく適応イントラリフレッシュを使用してマルチメディアデータを符号化する処理を示す処理の流れ図。
【図２８】マルチメディアコンテンツ情報に基づいて冗長Ｉフレームを使用してマルチメディアデータを符号化する処理を示す処理の流れ図。
【図２９】現行フレームと前のフレームとの間の動き補償ベクトルＭＶＰならびに現行フレームと次のフレームとの間の動き補償ベクトルＭＶＮを示す図。
【図３０】ショット検出を示す処理の流れ図。
【図３１】ベースレイヤおよびエンハンスメントレイヤの符号化を示す処理の流れ図。
【図３２】マクロブロックの符号化を示す概略図。
【図３３】ベースレイヤおよびエンハンスメントレイヤを符号化するモジュールを示す概略図。
【図３４】ベースレイヤおよびエンハンスメントレイヤの係数の選択器の処理の例を示す図。
【図３５】ベースレイヤおよびエンハンスメントレイヤの係数の選択器の処理のもう１つの例を示す図。
【図３６】ベースレイヤおよびエンハンスメントレイヤの係数の選択器の処理のもう１つの例を示す図。
【図３７】コンテンツ情報に基づくマルチメディアデータの符号化を示す処理の流れ図。
【図３８】逆テレシネ処理で可能なシステム判断を示す図。
【図３９】デブロッキング処理によってフィルタリングされるマクロブロック内の境界を示す図。
【図４０】時空間デインターレーシング処理を示す図。
【図４１】１Ｄ多フェーズ再サンプリングの例を示す図。
【図４２】ビデオストリーミングでの適応ＧＯＰ構造の例を示す流れ図。
【図１Ａ】
2009510933.tif 000043
【図１Ｂ】
2009510933.tif 000044
【図１Ｃ】
2009510933.tif 000045
【図２】
2009510933.tif 000046
【図３】
2009510933.tif 000047
【図４】
2009510933.tif 000048
【図５】
2009510933.tif 000049
【図６】
2009510933.tif 000050
【図７】
2009510933.tif 000051
【図８】
2009510933.tif 000052
【図９】
2009510933.tif 000053
【図１０】
2009510933.tif 000054
【図１１】
2009510933.tif 000055
【図１２】
2009510933.tif 000056
【図１３】
2009510933.tif 000057
【図１４】
2009510933.tif 000058
【図１５】
2009510933.tif 000059
【図１６】
2009510933.tif 000060
【図１７】
2009510933.tif 000061
【図１８】
2009510933.tif 000062
【図１９】
2009510933.tif 000063
【図２０】
2009510933.tif 000064
【図２１】
2009510933.tif 000065
【図２２】
2009510933.tif 000066
【図２３】
2009510933.tif 000067
【図２４】
2009510933.tif 000068
【図２５】
2009510933.tif 000069
【図２６】
2009510933.tif 000070
【図２７】
2009510933.tif 000071
【図２８】
2009510933.tif 000072
【図２９】
2009510933.tif 000073
【図３０】
2009510933.tif 000074
【図３１】
2009510933.tif 000075
【図３２】
2009510933.tif 000076
【図３３】
2009510933.tif 000077
【図３４】
2009510933.tif 000078
【図３５】
2009510933.tif 000079
【図３６】
2009510933.tif 000080
【図３７】
2009510933.tif 000081
【図３８】
2009510933.tif 000082
【図３９】
2009510933.tif 000083
【図４０】
2009510933.tif 000084
【図４１】
2009510933.tif 000085
【図４２】
2009510933.tif 000086
【国際調査報告】
2009510933.tif 000087
2009510933.tif 000088