(57)【特許請求の範囲】
【請求項１】
ビデオ情報を受け取る動作；
この受け取ったビデオ情報をフラッシュ場面、カメラズーム場面、フェード場面又はクロスフェード場面として一つ以上のフレームに分類する動作；
このフレームの分類に基づいて一つ以上の符号化パラメータを調整する動作；
この調整された符号化パラメータにより前記ビデオ情報を符号化する動作；
を備える方法であって、
前記一つ以上のフレームを前記フラッシュ場面として分類することが、前記フラッシュ場面に先行するフレームと前記フラッシュ場面に後続するフレームとの間の予測誤差を特定することを含み、
前記一つ以上のフレームを前記カメラズーム場面として分類することが：
２つ以上の異なるフレーム内の相互にマッチングする２つ以上のブロック同士の間の動きベクトルを特定する動作；
前記動きベクトルの絶対値の大きさを判定する動作；および、
前記相互にマッチングする２つ以上のブロック同士の間の前記動きベクトルが方向に関して相関しており、かつ、連続的な一連のフレームにわたって、前記動きベクトルの前記絶対値の大きさの変化が連続的であるか否かを判定する動作；
を含み、前記一つ以上のフレームの各々のエッジに位置するブロックから前記先行するフレームと前記後続するフレームをそれぞれ参照する２つの動きベクトルが互いに反対方向を指向している場合に前記動きベクトルは互いに相関していると判定されることを特徴とする、方法。
【請求項２】
請求項１の方法において、前記一つ以上の符号化パラメータの調整が、特定のフレームを内部コードフレームとして指定することを含む方法。
【請求項３】
請求項１の方法において、
前記一つ以上のフレームを分類することが、前記フラッシュ場面の開始フレームと終了フレームとの少なくとも一方を特定することを含み、
一つ以上の符号化パラメータの調整が、前記開始フレームと前記終了フレームとの少なくとも一方を内部符号化フレームとして符号化すべきものとして指定することを含む方法。
【請求項４】
請求項３の方法において、前記一つ以上の符号化パラメータを調整することが、前記開始フレームと前記終了フレームとの少なくとも一方を参照して、前記フラッシュ場面内の符号化すべき内部フレームを指定することを更に含む方法。
【請求項５】
請求項１乃至４のいずれか一項に記載の方法をデータ処理装置に実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
関連出願の相互参照
この出願は米国暫定出願（発明の名称”Ｔｒｅａｔｉｎｇ  Ｖｉｄｅｏ  Ｉｎｆｏｒｍａｔｉｏｎ（ビデオ情報処理）”）、出願番号第６０／９７６，２４１号、出願日２００７年９月２８日に優先権の利益を主張しており、その開示事項は参照により本明細書に組み込まれている。
【０００２】
発明の技術分野
この開示事項はビデオ情報の処理に関する。
【０００３】
発明の背景  
ビデオ情報は一般的に動的な視覚的イメージを意味する。視覚的イメージは、観察者に連続的に提示される静的イメージ（例えば、フレーム、ピクチュア、フィールド・ピクチュア（インターレース）等）の集合体を用いて表される。連続的な表示は表示装置（（例えば、テレビジョン・スクリーン、コンピュータ・モニタ等）の動的フィールドに提示することができる。
【０００４】
例示的な実施例の簡単な概要
以下の段落には、本発明の例示的な実施例の幾つかの観点の基本的理解を与える簡単な単純化した要約を示す。この簡単な要約は、例示的な実施例の観点を広範に概観するものではないことに留意されたい。更に、この簡単な要約は、特に例示的な実施例又は一般的な本発明の特定の重要な観点又は要素を特定することを意図したものでもなく、これらの範囲を説明することを意図したものでもないことにも留意されたい。以下の簡単な概要は、簡略化且つ単純化された形式の例示的な実施例に関連する若干の概念を示すものにすぎない。従って、この簡単な要約は、以下の例示的な実施例の一つのより詳細な説明に対する概念的な序文としてのみ理解されたい。
【０００５】
ビデオ情報処理のためのシステム及び技術について説明する。一つの実施形態では、方法はビデオ情報を受信して、受信したビデオ情報における一つ以上のフレームを場面として分類して、フレームの分類に基づいて一つ以上の符号化パラメータを調節して、調節された符号化パラメータに従ってビデオ情報を符号化することを含む。
【０００６】
この観点及び他の観点は以下の特徴のうちの一つ以上を含むことができる。フレームは一つ以上のカメラズーム場面若しくはフェード場面として分類できる。例えば、フレームはクロスフェード場面又はフラッシュ場面として分類できる。フレームは、フラッシュ場面に先行するフレームとフラッシュ場面に続くフレームとの間で低い予測誤差を特定することによりフラッシュ場面として分類できる。一つ以上の符号化パラメータの調整は、内部符号化フレームとして符号化される特定のフレームを特定することを含むことができる。
【０００７】
一つ以上のフレームの分類は、場面の開始フレームと終了フレームとの少なくとも一方を特定することを含むことができる。一つ以上の符号化パラメータの調整は、開始フレームと終了フレームとの少なくとも一方を内部符号化フレームとして符号化されるように指定するか、及び／又は場面における内部フレームを開始フレームと終了フレームとの少なくとも一方を参照して符号化されるように指定することを含んでもよい。
【０００８】
他の観点では、方法はビデオ情報を受け取り、ビデオ情報上における動き評価及び補償を実行して、動き評価及び補償パラメータの集合を生成し、ビデオ情報における一つ以上のフレームを動き評価及び補償パラメータに基づいて場面として分類することを含む。
【０００９】
上述及び他の観点は以下の特徴のうち少なくとも一つを含むことができる。一つ以上のフレームは代表的な動き評価及び補償パラメータの成分に基づいてパン場面として分類することができる。
【００１０】
一つ以上のフレームは、二つ以上のフレームおけるブロックのための動きベクトルを特定し、ブロックについての動きベクトルは大きさが比較的に小さいことを判別し、再配列されたブロックについての動きベクトルが方向及び一連のフレームに亘って相関性があることを判別し、二つ以上のフレームをカメラズーム場面として分類することにより分類可能である。
【００１１】
一つ以上のフレームは、現在のフレームについての予測誤差メトリックを閾値と比較し、閾値を越える現在のフレームについての予測誤差メトリックに基づく場面変化を特定することにより、場面変化として分類する。例えば現在のフレームについての予測誤差メトリックは、以下のようにして閾値と比較することができる。即ち現在のフレームについての予測誤差メトリックを比較的に多数のフレームに亘る予測誤差メトリックに関連させて長時間閾値と比較し、且つ現在のフレームについての予測誤差メトリックを比較的に小数のフレームに亘る予測誤差メトリックに関連させて短時間閾値と比較する。現在のフレームについての予測誤差メトリックと閾値との比較は、現在のフレームについての予測誤差メトリックと隣接するフレームとの差を閾値と比較することを含むことができる。
【００１２】
フレームを符号化するビットレートは、ビデオ符号化モジュールによる運動モデルのための支援の欠如に基づいて変化する。動き評価及び補償パラメータの変化は、特定のフレームを参照フレームとしての使用から除外し、最終予測フレームにおける予備的予測フレームの重みを変化させ、及び／又は付加的な計算手段を予測動き評価へ割り当てる。
【００１３】
この方法は、一つ以上の符号化パラメータを、調整された符号化パラメータによる場面における場面分類及び符号化フレームに基づいて調整することも含むことができる。例えば、内部符号化フレームとして符号化される特定のフレームとして特定することができる。他の例では、場面を符号化するためのビット割り当ては増大させることができる。
【００１４】
他の観点では、方法は、ビデオ情報を受け取り、この受け取ったビデオ情報における一つ以上のフレームにおける領域を分類し、この領域の分類に基づいて一つ以上の符号化パラメータを調整し、この調整された符号化パラメータにより領域を符号化することを含む。その領域は、領域が出現するフレームよりも小さい。
【００１５】
この観点及び他の観点は、以下の特徴の少なくとも一つを含むことができる。
【００１６】
一つ以上の符号化パラメータは、領域の符号化のためのビット割り当てを増大させるか及び／又は領域のフィルタリングを低減させることにより調整できる。この領域は暗い領域として分類でき、この暗い領域を符号化するビット割り当ては増大することができる。
【００１７】
他の観点では、方法は、ビデオ情報を受け取り、この受け取ったビデオ情報における場面変化を特定し、重み付けされた予測を有する予測誤差と、重み付けされた予測を有さない予測誤差との間の不一致に基づいて場面を分類し、及び利用可能な場面の分類をなすことを含むことができる。
【００１８】
他の観点では、方法は、ビデオ情報を受け取り、この受け取ったビデオ情報における場面変化を特定し、場面変化の位置に基づいて場面を分類し、利用可能な場面の分類をなすことを含むことができる。
【００１９】
この観点及び他の観点は、以下の特徴の少なくとも一つを含むことができる。ビデオ情報のフィンガープリントは場面の分類を用いてなすことができる。ビデオ情報の符号化に用いられる符号化パラメータは、場面の分類を用いて調整することができる。これらの場面は符号化モジュールからのフィードバックに基づいて分類することができる。
【００２０】
場面変化の特定は、フェード場面を特定し、このフェード場面の終了部におけるフレームを場面変化として分類することを含むことができる。場面変化の特定は、現在のフレームに先行する参照フレームからの加重予測パラメータと現在のフレームに続く参照フレームからの加重予測パラメータとに基づいてフェード場面を検出することを含むこともできる。場面変化の特定は、現在の場面がフラッシュを含むことを認識し、この現在の場面がフラッシュを含むことの認識に基づいて、現在の場面を場面変化として特定されるものから除外することを含めることもできる。
【００２１】
他の観点では、方法は、ビデオ情報の一連のフレームにおける輝度の特性を受け取って、この輝度の特性に基づいて一連のフレームにおける一つ以上のフレームを場面として分類し、少なくとも一つ以上の場面を分類可能とする。
【００２２】
この観点及び他の観点は以下の特徴のうちの少なくとも一つ以上を含めることができる。少なくとも一つ以上のフレームは、少なくとも一つ以上のフレームの間の輝度の変化の量に基づいて速いフェード及び遅いフェードとして分類することができる。この方法は、少なくとも一つ以上の符号化パラメータを場面分類に基づいて調整し、この調整された符号化パラメータによりビデオ情報を符号化することを含むこともできる。この方法は、少なくとも一つ以上のフレームを暗い場面として分類することも含むことができ、且つビデオ情報の符号化は暗い場面に基づいてビット割り当てを増大させることを含む。
【００２３】
他の観点では、方法は、ビデオ情報の一連のフレームを受け取り、一連のフレームのうちの各々のフレームについて優勢な動きベクトルを決定し、一連のフレームにおける優勢な動きベクトルに基づいて場面変化を特定することを含めることができる。
【００２４】
この観点及び他の観点は、以下の特徴の少なくとも一つ以上を含めることができる。優勢動きベクトルは、何れの動きベクトルが現れるかの頻度を表す多次元動きベクトル・ヒストグラムを形成して、このヒストグラムに何れの動きベクトルが現れるかの頻度に基づいて優勢動きベクトルを選択することにより決定することができる。
【００２５】
他の観点では、方法は、ビデオ情報のフレームのシーケンスにおける輝度の特性を受け取って、この輝度の特性に基づいて、シーケンスにおける少なくとも一つ以上のフレームがフラッシュを含むものと認識し、このフラッシュを含むフレームを動き補償参照フレームとしての使用から除外することを含む。
【００２６】
他の観点では、システムは、ビデオ情報の集合体における動き特性化パラメータの集合を生成する動き評価及び動き予測モジュールと、ビデオ情報における動き特性化パラメータに少なくとも部分的に基づいてビデオ情報の集合体における一つ以上の場面を分類する決定モジュールとを含む。
【００２７】
この観点及び他の観点には、以下の特徴のうちの一つ以上を含めることができる。このシステムには、ビデオ情報の集合体における輝度特性化パラメータの集合を生成する輝度モジュールも含めることができる。決定モジュールは、ビデオ情報の集合体における輝度特性化パラメータに少なくとも部分的に基づいて一つ以上の場面を分類することができる。このシステムには、ビデオ情報の集合体におけるテクスチャ及びエッヂ効果特性化パラメータの集合を生成する空間解析モジュールも含めることもできる。決定モジュールは、ビデオ情報の集合体におけるテクスチャ及びエッヂ効果特性化パラメータに少なくとも部分的に基づいて一つ以上の場面を分類することができる。このシステムには、決定モジュールから動き評価及び動き予測モジュールへフィードバックを送るデータ経路も含めることができる。
【００２８】
このシステムには、一つ以上の場面の分類に少なくとも部分的に基づいてビデオ情報の集合体のビデオ・フィンガープリントを生成するビデオ・フィンガープリント・モジュール及び／又は一つ以上の場面の分類に少なくとも部分的に基づいて符号化ビデオ情報を生成する符号化モジュールも含めることができる。このシステムには、符号化モジュールから動き評価及び動き予測モジュールへフィードバックを送るデータ経路を含めることもできる。
【００２９】
用語「アルゴリズム」とは、ステップ、方法、処理、計画、手順、操作、プログラム、ガイドライン、技術、シーケンス、及び／又は一組の規則又は指示を意味することができる。例えば、アルゴリズムは、ハードウェア及び／またはソフトウェア・ビデオプロセッサのためのビデオ処理指令のセットとすることができる。このアルゴリズムは、一つ以上のコンピュータ・デバイス及び／又は機械により（例えば人間が介在することなく）記憶、生成、及び処理することができる。開示されたアルゴリズムは、ビデオに関連させることができ、ビデオ関連システム及び／又は任意のデバイス、機械、ハードウェア、及び／又は処理、圧縮、保存、送信、受信、試験、補整、表示のために製造された物品、及び／又はビデオ・データについての任意の組み合わせにおける任意の改良において、生成、実装、協働、及び／又は採用することができる。これらのアルゴリズム及び技術は、特定の符号化基準に限定されるものではなく、符号化基準外で或いは符号化基準に加えて用いることができる。また、符号化依存関係はビデオ符号化システムにおける符号化計画の間で調査して符号化性能を向上させることができる。
【００３０】
用語「イメージ特性」とは、フィールド内の一つ以上のピクチャ（例えば、一つ以上のピクセル）を意味するものとし得る。用語「源フィールド」とは、イメージ特性に関連した情報を決定または導出できるフィールドを意味するものとし得る。用語「中間フィールド」とは、ビデオ・シーケンスにおける源フィールドに時間的に後続又は先行するフィールドであり、ここではイメージ特性に関連する情報が源フィールドを参照して記述し得る。用語「視差推定（ｄｉｓｐａｒｉｔｙ  ｅｓｔｉｍａｔｉｏｎ）」とは、動きベクトル、又は動き（例えばビデオ・シーケンスの二つ以上のフィールドの間の動き）を伴う他のパラメータ的な値を計算する技術、或いは、イメージ、イメージの領域、ブロック、又はピクセルと予測信号との間の他の差異を有効に予測し、モデル化し、或いは記述する技術を意味するものとし得る。視差推定の一例は動き推定とすることができる。用語「視差評価（ｄｉｓｐａｒｉｔｙ  ｅｓｔｉｍａｔｅ）」とは、動きベクトル又は他の評価されたパラメータ的な予測関連値を意味するものとし得る。用語「視差補償」とは、動き評価又は他のパラメータを源フィールドにおけるイメージ特性の場所における空間的シフトを計算するために用いて、ビデオ・シーケンスの一つ以上の中間フィールドにおける動き又はイメージ特性の幾つかのパラメータを記述する技術を意味するものとし得る。視差補償の一例は動き補償とすることができる。上述の用語は他のビデオ・符号化概念（例えば内部予測及び輝度補償）に関連させて用いてもよい
本明細書に記載した何れの方法及び技術は、一つ以上の構成要素によるシステム、装置又はデバイス、機械、ソフトウェア又はハードウェア又はそれらの任意の組み合わせにおけるコンピューター・プログラム製品に実装することもできる。例えば、コンピュータ・プログラム製品は、コンピュータ読み取り可能な媒体に明らかに符号化することができ、且つデータ処理装置（例えばデータ・プロセッサ）に本明細書に記載した何れかの方法のための一つ以上の操作を実行させる指令を含むことができる。
【００３１】
一つ以上の実施態様の詳細は添付図面及び以下の説明中に記載されている。その他の特徴及び効果は以下の説明及び図面から、また特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００３２】
【図１】ビデオ特性化システムの一例の概略図である。
【図２】動き評価及び動き補償（ＭＥＭＣ）フレームワーク・モジュールの概略図である。
【図３】エラー予測モジュールによるエラー予測の例を示す概略図である。
【図４】エラー予測モジュールによるエラー予測の例を示す概略図である。
【図５】ビデオ特徴化システムの一例の概略図である。
【図６】８×８離散コサイン変換の周波数コンテンツに関する基礎ベクトルの例を示す図である。
【図７】ビデオ特徴化システムの一例の概略図である。
【図８】ビデオ特徴化システムの一例の概略図である。
【図９】場面分類を生成するために用いることができるバッファの実施の一例の概略図である。
【図１０】場面分類を生成する処理の一例のフローチャートである。
【図１１】場面変化を特定する処理の一例のフローチャートである。
【図１２】場面変化を特定する処理の一例のフローチャートである。
【図１３】場面変化を特定する処理の一例のフローチャートである。
【図１４】フェード場面を分類する処理の一例のフローチャートである。
【図１５】フェードイン遷移の終端を特定する処理の一例のフローチャートである。
【図１６】カメラ・パン場面を分類する処理の一例のフローチャートである。
【図１７】カメラズーム場面を特定する処理の一例のフローチャートである。
【図１８】カメラズーム場面を特定する処理の一例のフローチャートである。
【図１９】二つ以上の先行フレーム及び二つ以上の後続フレームの予測参照としての使用例を示す概略図である。
【図２０】ビデオフィンガープリント・システムの一例の概略図である。
【図２１】ビデオフィンガープリント化処理の一例のフローチャートである。
【図２２】ビデオ符号化システムの一例の概略図である。
【図２３】ビデオ符号化処理の一例のフローチャートである。
【図２４】ビデオ符号化処理の一例のフローチャートである。
【図２５】ビデオ符号化処理の一例のフローチャートである。
【図２６】ビデオ符号化処理の一例のフローチャートである。
【図２７】ビデオ符号化処理の一例のフローチャートである。
【図２８】ビデオ符号化処理の一例のフローチャートである。
【図２９】ビデオ符号化処理の一例のフローチャートである。
【図３０】ビデオ符号化処理の一例のフローチャートである。
【図３１】ビデオ符号化処理の一例のフローチャートである。
【図３２】ビデオ符号化処理の一例のフローチャートである。
【図３３】ビデオ符号化システムの一例の概略図である。
【図３４】ビデオ符号化処理の一例のフローチャートである。
【図３５】ビデオ符号化処理の一例のフローチャートである。
【図３６】ビデオ符号化処理の一例のフローチャートである。
【図３７】ビデオ符号化処理の一例のフローチャートである。
【図３８】ビデオ符号化処理の一例のフローチャートである。
【図３９】ビデオ符号化処理の一例のフローチャートである。
【図４０】ビデオ符号化処理の一例のフローチャートである。
【図４１】レート制御の処理の一例のフローチャートである。
【図４２】システムの一例である。
【００３３】
各図中、同様な参照符号は同様な要素を示す。
【実施例の説明】
【００３４】
図１はビデオ特徴化システム１００の概略図である。ビデオ特徴化システム１００は、動き評価及び動き補償フレームワーク（ＭＥＭＣ）モジュール１０５と、決定モジュール１１０とを含む。ビデオ特徴化システム１００は、ビデオ情報１１５を受け取って、場面分類１２５を生成する。以下に更に詳述するように、場面はフレーム、ピクチュア、及びフィールドピクチュアのシーケンスであり、これらは特徴的な特性を共有する。ピクチュアはプログレッシブ方式又はインターレース方式とすることができる（フィールドモード）。この開示事項では、用語「フレーム」と「ピクチユア」とは、フレーム、ピクチュア、及び／又はフィールドピクチュアを意味するものとして互換に用いられる。場面分類１２５は、更に後述するように、例えばビデオ・フィンガープリント化及びビデオ・符号化などの操作のために用いることができる。
【００３５】
MEMCモジュール１０５はビデオ情報処理デバイスであり、これはビデオ情報のフレームを特徴化する情報１２０を生成する。MEMCモジュール１０５は、機械読み取り可能な指令のセットの論理によりビデオ情報を処理することができる。この機械読み取り可能な指令はハードウェア及び／又はソフトウェアにより実施できることは明白である。例えば、MEMCモジュール１０５には、動き評価及び動き補償ソフトウェアの論理により作動するコンピュータを含めることができる。
【００３６】
動き補償は、或る参照フレームに関してフレームにおける一つ以上のブロックの動きに基づいてビデオ情報のセットにおけるフレームを特徴付ける。動き評価は、フレームの特徴化に使用するために、このような運動を示す処理である。動き評価は、変化した（又は変化しない）場所のブロックを特定するための先行又は後続フレームの解析と、例えば動きベクトルを用いて、その場所における変化の表示とを含むことができる。このブロックは、フレーム全体（例えばグローバル動き補償）及び／又は一つのフレームの離散領域を包含することができる。ブロックの寸法は、可変（例えば可変ブロック・サイズ動き補償）とすることもできる。ブロックの形状は、任意のもの（例えばメッシュに基づく動き補償）とすることもできる。
【００３７】
MEMCモジュール１０５は様々な情報１２０を出力することができる。例えば、ブロックの説明及びブロックの場所における任意の変化の表示（例えば動きベクトル）をMEMCモジュール１０５により出力することができる。或る実施形態においては、動き補償されたブロックの予測ピクセル値と実際のピクセル値との間の誤差の定量化も出力することができる。このような予測誤差は、例えば平均平方誤差（MSE）、絶対差和（SAD）、平方誤差和（SSE）、絶対変換差和（SATD）、ミンコフスキー・ノルム、及び／又は平均絶対差（MAD)として表現することができる。
【００３８】
決定モジュール１１０は、データ処理デバイスであり、これは場面分類１２５を生成する。決定モジュール１１０は情報、例えばフレーム特徴化情報を機械読み取り可能な指令セットの論理により処理して、場面分類１２５を生成することができる。この機械読み取り可能な指令はハードウェア及び／又はソフトウェアにより行うことができることは明白である。例えば、決定モジュール１１０には、動き評価及び動き補償ソフトウェアの論理により作動するコンピュータを含めることができる。
【００３９】
上述のように、場面は特徴的特性を共有するフレームのシーケンスである。場面は、フレームのシーケンスで生じる特徴的な動きに基づいて分類することができる。或る実施では、フレームのシーケンスにおける動きは、シーケンス中のカメラに対する調節に基づいて分類することができる。このような場面分類の例は、カメラ・パン場面、ズームイン画面、及びズームアウト場面を含む。これらの場面及び他の場面の分類に関する付加的な詳細については以下に述べる。
【００４０】
決定モジュール１１０により出力される場面分類１２５には、一つ以上の場面の開始及び／又は終了時間の説明による場面分類の特定を含めることができる。或る実施形態では、分類された場面に関する付加的な詳細も与えることができ、これは例えば、カメラ・パン場面中にカメラがパンされる率、ズームアウト場面中の倍率変化の評価などである。
【００４１】
図２はＭＥＭＣモジュール１０５の一つの実施の例示的な概略図である。このＭＥＭＣモジュールの例示的な実施は、双予測動き評価モジュール２０５の集合体、単方向予測動きモジュール２１０の集合体、双予測動き補償モジュール２１５の集合体、単方向予測動き補償モジュール２２０の集合体、バッファ２２５の集合体、乗算器２３０の集合体、加算器２３５、及び誤差予測モジュール２４０を含む。
【００４２】
双予測動き評価モジュール２０５は、現在のフレームにおける複数（例えば二つ）の参照フレームからの一つ以上のブロックの動きを表す。図示の実施形態においては、一つの参照フレームが現在のフレーム（例えばフレーム−１、−Ｍ）に先行し、一つのフレームが現在のフレーム（例えばフレーム＋１，＋Ｍ）に続く。そこで各々の双方向動き評価モジュール２０５における添字は、参照フレーム及び現在のフレームの相対位置を示す。双予測動き評価モジュール２０５は、様々な差分評価技術を用いて操作することができ、それは重み付け予測、並進、アファイン、又は双曲運動モデル、及び重畳ブロック運動評価技術を含む。
【００４３】
単方向予測動き評価モジュール２１０は、現在のフレームにおける単独の参照フレームからの一つ以上のブロックの動きを表す。図示の実施では、参照フレームは現在のフレームに先行する（例えばフレーム−１，−Ｍ，−Ｎ）か、或いは後続する（例えばフレーム＋１，＋Ｍ，＋Ｎ）。そこで各々の単方向予測動き評価モジュール２１０における添字は、参照フレーム及び現在のフレームの相対位置を示す。単方向動き評価モジュール２１０は、様々な差分評価技術を用いて操作することができ、それは重み付け予測、並進、アファイン、又は双曲運動モデル、及び重畳ブロック運動評価技術を含む。
【００４４】
双予測動き補償モジュール２１５の各々は、各々の双予測動き評価モジュール２０５から受け取った動きベクトルを用いて双方予測動き補償を実行する。特に、以下の式１で示されるセットＢｎは、二つの参照フレーム、即ち現在のフレームに先行する一つ及び現在のフレームに後続する一つを包含する。
【数１】
0005524063.tif 000002
【００４５】
ここで
【数２】
0005524063.tif 000003
【００４６】
は位置（ｉ，ｊ）におけるフレームｎ内の現在のピクセルの予測を表す。セットＢｎは、フレームｎについての全ての利用可能な参照フレームに対する指標を含む。並進のみのモデルの場合、各々の予測はピクセルｐｋ（ｉ＋ｖｘ，ｋ，ｊ＋ｖｙ，ｋ）を用いて利用可能な参照ｋから生成される。項（ｖｘ，ｋ，ｖｙ，ｋ）はフレームｋの位置（ｉ，ｊ）からの偏移を表しており、小数値を採ることができる。項ａｋはそれぞれ参照ｋについての重み付け因子に対応する。パラメータαｋ及びｏは、共通に輝度変化又は重み付けパラメータを意味し、それぞれ重み付け因子及び場面内の輝度変化を反映するオフセットを表す。或る実施形態では、輝度変化パラメータは特徴付けられず、ｏ＝０であり、且つ
【数３】
0005524063.tif 000004
【００４７】
であり、ここでαｋ＝αｉ，
【数４】
0005524063.tif 000005
【００４８】
である。
【００４９】
単方向予測動き補償モジュール２２０の各々は、単方向運動評価モジュール２１０の各々から受け取った動きベクトルを用いて単方向予測動き補償を実行する。特に、式１で示されるセットＢｎは、単独の参照フレームを包含する。
【００５０】
バッファ２２５は一時的なデータ記憶器であり、これは先行及び後続の空間的及び時間的にフィルタリングされたフレームを含む。各乗算器２３０は、双予測動き補償モジュール２１５及び単方向予測動き補償モジュール２２０の一次予測フレーム出力に重みｗを乗じる。この重み付け予測特性は、加算器２３５により組み合わされて、最終的な予測フレーム２３８が生成される。最終的な予測フレーム２３８は誤差予測モジュール２４０へ与えられる。誤差予測モジュール２４０は予想誤差測定基準を与えるように構成されている。或る実施形態においては、重みｗは、誤差予測モジュール２４０（図示せず）により与えられた予測誤差を最小化する目的で、誤差予測モジュール２４０からのフィードバックにより調整できる。
【００５１】
操作においては、各入力フレームにおける動きは、双予測動き評価モジュール２０５及び単方向予測動き評価モジュール２１０において、一つ以上の参照フレームに基づいて評価されて、入力フレームの動き補償予測がもたらされる。特に、入力フレームはピクセルの重畳又は非重畳ブロックへ分割される。このようなブロックは一般に矩形であって、任意の大きさを有することができる。例えばブロックは１６×１６ピクセル又は８×８ピクセルの大きさである。或る実施形態においては、入力フレームは可変及び／又は任意の大きさの領域へ分割されて、入力フレーム内のイメージの特性及び対象に基づいて成形される。
【００５２】
現在の入力フレームｎにおけるブロックは、一つ以上の参照フレームから生成された一つ以上の予測ブロックに整合させることができる。双予測動き評価モジュール２０５及び単方向予測動き評価モジュール２１０は、現在の入力フレームｎ及び一つ又は複数の予測ブロックにおけるブロックの相対位置に基づいて運動パラメータを決定することができる。 
一般に、フレームｍ内のブロックｂｎｍは、異なるフレームｋ内のブロック、即ち
【数５】
0005524063.tif 000006
【００５３】
から予測することができる。フレームｋはフレームのシーケンス内のフレームｍに先行又は後続することができる。複数の参照フレーム、即ち参照バッファＢｍ内の全てのフレームは、ｂｎｍについての最終予測を次のように形成するように用いることができる。即ち、
【数６】
0005524063.tif 000007
【００５４】
この予測処理は式１におけるフレーム予測に類似する。全ての予測ブロック、即ち
【数７】
0005524063.tif 000008
【００５５】
は、概ねフレームｍである動き補償フレームを形成するように組み合わせることができる。代替的に、複数の動き補償予測フレームは参照フレームｋからの予測のみを用いて形成することができる。何れの場合においても、これらの一次予測フレームを組み合わせて最終的な予測フレーム２３８を形成することができる。
【００５６】
或る実施形態においては、複数の一次予測フレームが、異なる参照フレームのグループからブロックを組み合わせることにより生成される。次に、これら一次予測フレームを組み合わせて最終予測フレーム２３８を生成することができる。例えば、第１の一次予測フレームは、参照フレームｋｌ乃至ｋｏのグループを用いて生成することができ、第２の一次予測フレームは、参照フレームｋｐ乃至ｋｓのグループを用いて生成することができ、以下同様になすことができる。このような一次予測フレームは線形又は非線形に組み合わせて単独の最終予測フレームを生成することができる。或る実施形態においては、一つ以上の参照フレームを参照フレームの複数のグループに出現させて、複数の一次予測フレームを生成するのに用いることができる。或る実施形態においては、双予測動き評価モジュール２０５及び／又は単方向予測動き評価モジュール２１０に用いられた一つ以上の運動モデルをアファイン及び／又は並進運動モデルとすることができる。或る実施形態においては、これらの一つ以上を運動モデル化における輝度変化として考慮することができる。更に、双予測動き評価モジュール２０５の各々及び単方向予測動き評価モジュール２１０は異なる運動モデルを使用できることに留意されたい。
【００５７】
図３及び図４は誤差予測モジュール、例えば誤差予測モジュール２４０による平均絶対差（ＭＡＤ）誤差予測基準の演算器３００，４００の異なる例を示す。ＭＡＤ誤差予測基準演算器３００，４００は、ＭＥＭＣモジュール１０５を含めて一つ以上のＭＥＭＣモジュールのために決定することができる。
【００５８】
特に、図３は単独の先行参照フレーム３０５を用いる誤差ＭＡＤ演算器を概略的に示す。現在のフレーム３１０及び先行参照フレーム３０５は動き予測モジュール３１５へ入力される。動き評価モジュール３１５は、動き補償モジュール３２５へ与えられる一組の動きベクトル３２０を用いて一つ以上のブロックの動きを表示する。動き補償モジュール３２５は動きベクトル３２０を先行参照フレーム３０５における一つ以上のブロックへ適用して、予測フレーム３３０を生成する。予測フレーム３３０は、現在のフレーム３１０に示されるイメージの特徴化であって、動きベクトル３２０及び先行参照フレーム３０５に基づいている。誤差予測モジュール２４０は、予測フレーム３３０と現在のフレーム３１０との間の差を決定し、これを平均絶対差として表現する。
【００５９】
図４は複数の後続参照フレーム４０５，４１０を用いる誤差ＭＡＤ演算器を概略的に示す。現在のフレーム３１０、第１の後続参照フレーム４０５、及び第２の後続参照フレーム４１０は、動き評価モジュール４１５へ入力される。動き評価モジュール４１５は、動き補償モジュール４２５へ与えられる一組の動きベクトル４２０を用いて一つ以上のブロックの動きを表示する。動き補償モジュール４２５は、動きベクトル４２０を第１及び第２後続参照フレーム４０５，４１０におけるブロックへ適用して、予測フレーム４３０を生成する。予測フレーム４３０は現在のフレーム３１０に示されるイメージの特徴化であって、動きベクトル４２０と第１及び第２の後続参照フレーム４０５，４１０とに基づいている。誤差予測モジュール２４０は、予測フレーム４３０と現在のフレーム３１０との間の差を決定し、これを平均絶対差として表現する。
【００６０】
他の実施形態においては、誤差予測、例えばＭＡＤ，ＳＡＤ，ＳＳＥその他は、動き評価モジュールによる一つ以上のブロックの運動の表現（例えば一組の動きベクトル）出力から直接に計算することができる。換言すれば、動き補償は実行する必要はない。
【００６１】
或る実施形態においては、ＭＥＭＣフレームワーク・モジュール１０５は、ビデオ情報１１５におけるフレームを特徴化する広範な情報１２０を生成することができる。ＭＥＭＣフレームワークモジュール１０５は本明細書に説明した全ての形式の情報１２０を生成する必要はない。むしろ、結果の有効なサブセットを生成することができる。フレームｎを特徴化する情報１２０の例は、以下を含むがそれらに限定されるものではない。即ち、
１．フレームｎにおけるブロックｍと参照フレームｋにおけるブロックｍの動き補償予想との差異。フレームｋは、先行フレームｎ−Ｎ又は後続フレームｎ＋Ｎとすることができる。或る実施形態においては、差異は、ルマ（ｌｕｍａ）成分、色(彩度）成分、及び／又は動きベクトルコストを含むことができる。その動きベクトルコストは、現在のブロックの動き（又は動きベクトル）をその近隣のブロックの動きと比較した現在のブロックの動きの不一致の基準として規定することができる。
【００６２】
２．フレームｎにおけるブロックｍと、フレームｋ，ｌ，ｍ等（ここでｋ，ｌ，及びｍは、ｎ−Ｎとｎ+Ｎとの間である）の線形又は非線形重み付け組み合わせにおけるブロックｍの動き補償予測との間の差異。
【００６３】
３．フレームｎにおけるブロックｍと、最終予測フレームにおけるブロックｍの動き補償予測との間の差異。或る実施形態においては、最終予測フレームにおけるブロックｍの予測は、異なる参照フレーム及び／又は非ブロック化からの複数の予測仮定の組み合わせの結果とすることができる。
【００６４】
４．一つ以上の各参照フレームにおける一つ以上のブロックの運動を記述する動きベクトル。これらの動きベクトルは、多数の異なる運動モデル（これは例えば並進運動モデル、アファイン運動モデル、双曲運動モデルその他を含む）の任意のものを用いて決定することができる。
【００６５】
５．一次予測フレームに適用される重み付け及びオフセット。
【００６６】
６．予測誤差（例えば異なるブロック及びフレームについての予測誤差の平均及び差異）を定量化するパラメータ。
【００６７】
７．全フレームについての平均グローバル動きベクトル又はフレームおける最も「優勢な」領域についての一組の動きベクトル表現。
【００６８】
８．全フレームについての最も優勢な動きベクトル。これは多次元動きベクトルヒストグラムを用いて獲得することができる。優勢動きベクトルは、このようなヒストグラムのピーク（即ち、ヒストグラムのモード）として、またヒストグラムにおけるＭ−１最大値として記述することができる。
【００６９】
９．決定された優勢重み付け予測パラメータ。これは、一次双予測又は単方向予測フレームへ適用される重み付け及びオフセットの二次元ヒストグラムを用いて決定される。
【００７０】
図５はビデオ特徴化システム５００を概略的に示す。決定モジュール１１０に加えて、ビデオ特徴化システム５００は空間解析モジュール５０５も含む。ビデオ特徴化システム５００は、ビデオ情報１１５を受け取って、空間解析モジュール５０５により生成された空間情報５１０の集合体に基づいて場面分類１２５を生成する。
【００７１】
空間解析モジュール５０５はビデオ情報処理デバイスであり、これはビデオ情報のフレームを特徴化する空間情報５１０を生成する。空間解析モジュール５０５は、一組の機械読み取り可能な指令の論理に従ってビデオ情報を処理することができる。この機械読み取り可能な指令は、ハードウェア及び／又はソフトウェアに具現できることは明白である。例えば、空間解析モジュール５０５は、空間解析ソフトウェアの論理に従って作動するコンピュータに実施することができる。
【００７２】
空間解析モジュール５０５により生成できる空間情報５１０内にあるのは、テクスチャ情報及びエッヂ強度情報である。テクスチャ情報は、視覚的若しくは触覚的表面特性を特徴化すると共に、一つのフレームにおける一つのブロックの出現、一つのフレームにおける一つの領域の出現又は一つのフレーム全体の出現を特徴化する情報である。空間周波数は、周波数解析変換をブロック、領域、又はフレームへ適用することにより決定することができる。このような周波数解析変換の例は、ウェーブレット変換及び離散コサイン変換（ＤＣＴ）を含む。この空間周波数は様々なフィルタリング手法の使用によっても決定することができる。例えば、８×８ＤＣＴ変換を源ブロックへ適用したとすれば、導出されるＤＣＴ係数は、源ブロックのテクスチャ的コンテンツを特徴化するために用いることができる。例えば、全てのＤＣＴ係数位置における平均エネルギが所定の閾値よりも小さいか、或いは、ＤＣＴ係数が特定の位置においてのみ非零であるとすれば、源ブロックは低空間周波数ブロックとして分類することができる。
【００７３】
図６は８×８離散コサイン変換の基底関数の表現であり、８×８ブロックの空間表示における各ＤＣＴ係数の影響を示す。上部左ブロック６０５は「ＤＣ係数」（これはロー・パス係数である）に関係し、且つ８×８ブロックにおけるピクセルの平均値を表す。残りのブロックは高周波ＤＣＴ係数（即ち「ＡＣ係数」）に関係し、ＤＣ係数からの距離が増大するにつれて増大する水平及び垂直周波数を捕捉する。
【００７４】
このように図６は空間領域におけるブロックの特性に所定の周波数係数を持つ影響に関係する。例えば、特定の値ｘ０がＤＣ係数にあり、ｘ１が特定のＡＣ係数にあるならば、空間領域における最終的な表示はｘ０＊ＤＣｂａｓｉｓ＋ｘ１＊ＡＣｂａｓｉｓとなる。
【００７５】
エッヂ強度情報はエッヂ・アナライザにより生成することができ、そのエッヂ・アナライザはフレームに一つ以上の勾配基礎エッヂフィルタを適用する。エッヂ・フィルタの例は、Ｓｏｂｅｌフィルタ及びＰｒｅｗｉｔｔフィルタ演算子を含む。或る実施形態においては、エッヂ・アナライザはＣａｎｎｙエッヂ検出器をフレームへ適用することができる。
【００７６】
一つ以上のピクセルを含む領域の周辺への例えばＳｏｂｅｌフィルタの適用は、その領域における優勢エッヂの方向及び大きさをもたらすことができる。エッヂの存在は、領域における高空間周波数コンテンツの存在に対して一般に相関しているので、そのような高空間周波数コンテンツを特徴化するために用いることができる。エッヂの存在は符号化ツールの選択にも用いることができる。例えば、エッヂの存在は、Ｈ．２６４／ＡＶＣビデオコーディング基準における指向性内部予測モデルの選択に、動き評価及び補償についての外部予測ブロック形式の選択に、サブピクセル動き評価単純化及びその他に用いることができる。
【００７７】
或る実施形態においては、テクスチャ情報及びエッヂ強度情報を重み付けして組み合わせて、ブロック、領域、又はフレームを、非常にテクスチャ化された、適度にテクスチャ化された、或いは滑らかとして分類することができる。他の及び／又はより細かい分類を用いることもできる。或る実施形態においては、ブロックの色、領域、又はフレームをこのような分類をなすのに用いることができる。
【００７８】
図７はビデオ特徴化システム７００の概略図である。決定モジュール１１０に加えて、ビデオ特徴化システム７００は、輝度／カラー解析モジュール７０５も含む。ビデオ特徴化システム５００は、ビデオ情報１１５を受け取って、輝度／カラー解析モジュール７０５により生成された輝度／カラー情報７１０の集合体に基づいて場面分類１２５を生成する。
【００７９】
輝度／カラー解析モジュール７０５はビデオ情報処理デバイスであり、これはビデオ情報のフレームを特徴化する輝度／カラー情報７１０を生成する。輝度／カラー解析モジュール７０５は、機械読み取り可能な指令セットの論理に従ってビデオ情報を処理することができる。その機械読み取り可能な指令はハードウェア及び／又はソフトウェアに具現できることは明白である。例えば、輝度／カラー解析モジュール７０５は、輝度解析ソフトウェアの論理に従って作動するコンピュータに実施することができる。
【００８０】
輝度／カラー解析モジュール７０５は様々な異なる輝度／カラー情報７１０を生成することができる。例えば、或る実施形態においては、輝度／カラー情報７１０は、ブロック、領域、又はフレームの彩度及び輝度成分の平均値のパラメータを特徴化することができる。これらのパラメータは、例えばＹＵＶ及びＲＧＢカラー平面としてカラー平面上に計算することができる。このようなパラメータの例は、輝度及び彩度成分の（個々のブロック又は領域についての）局所的な及び（個々のフレームについての）大局的な平均ＤＣ値、各ブロック又は領域の局所的変動、及び源フレーム全体の大局的変動を含む。
【００８１】
或る実施では、フレームは輝度／カラー情報に基づいて以下の何れかに分類できる。即ち、ａ）光輝、即ちフィルタリング又は圧縮に起因するアーチファクトを隠しそうなもの、ｂ）暗、即ちフィルタリング又は圧縮に起因するアーチファクトを強調しそうなもの、又はｃ）標準、即ち平均輝度を有するものである。他の実施形態においては、フレーム又は領域の他の及び／又はより細かい分類を用いることができる。
【００８２】
図８はビデオ特徴化システム８００の概略図である。図示のように、ビデオ特徴化システム８００は、決定モジュール１１０のみならず、ＭＥＭＣモジュール１０５、空間解析モジュール５０５、輝度／カラー解析モジュール７０５を含む。ビデオ特徴化システム８００は、ビデオ情報１１５を受け取って、モジュール１０５、５０５、７０５によりそれぞれ生成された情報１２０、空間情報５１０、及び輝度／カラー情報７１０の集合体に基づいて場面分類１２５を生成する。
【００８３】
上述のように、決定モジュール１１０は機械読み取り可能指令セットの論理に従って情報を処理して、場面分類１２５を生成することができる。ビデオ特徴化システム８００においては、決定モジュール１１０が情報１２０、５１０、７１０を統合して場面分類１２５を生成する。
【００８４】
図９は場面分類を生成するために使用することができるバッファ９００の実施形態を概略的に示す。例えば、このバッファ９００は決定モジュール１１０のようなシステムに用いられるＦＩＦＯバッファとすることができる。
【００８５】
バッファ９００は、ｎｒｅｆ個のフレームを特徴化することができる情報９０５の集合体を含む。情報９０５は、一つ以上の情報１２０，５１０、７１０（図１，５，７，８）を包含することができる。バッファ９００は、情報９０５により特徴付けられたｎｒｅｆ個のフレーム内のｎｄｅｃ。ｗ。個のフレームの摺動決定ウィンドウ９１０も含む。摺動決定ウィンドウ９１０のｎｄｅｃ。ｗ。個のフレームは互いに値を求められている。摺動決定ウィンドウ９１０は、各ｎｄｅｃ。ｗ。個のフレーム毎にｎｄｅｃ。ｗ。個のフレームだけ処理を進めて、決定ウィンドウにおける場面分類はＦＩＦＯバッファにおけるｎｒｅｆ個のフレームの検討から利点を得る。この評価は、場面の分類及び／又は摺動決定ウィンドウ９１０内のｎｄｅｃ。ｗ。個のフレームの複雑さの特性の分類を含むことができる。
【００８６】
バッファ９００は、決定オフセット９１５（”ｄｏｆｆ”として示す）も含む。決定オフセット９１５は、バッファ９００により既に受け取られているが、未だ摺動決定ウィンドウ９１０には入っていないフレームに亘る。従って、ＦＩＦＯバッファに最後に加えられたフレームがフレームｎｒｅｆ−１であるならば、決定ウィンドウ９１０は、フレームｍ−ｄｏｆｆ−ｎｄｅｃ。ｗ。＋１乃至ｍ−ｄｏｆｆに亘ることになる。
【００８７】
或る実施形態においては、新たなフレームがビデオ源のフレーム・レートでバッファ９００へ入る。他の実施形態においては、新たなフレームがビデオ源のフレーム・レートよりも低いレートでバッファ９００へ入る。例えば、新たなフレームはビデオ源のフレーム・レートの二分の一でバッファへ入ることができるので、この場合のバッファ９００内のフレーム０，１，及び２は、ビデオ源におけるフレーム０，２，及び４に対応する。或る実施形態では、フレームがバッファ９００へ入るレートと、ビデオ源のフレーム・レートとの間の関係は可変とすることができる。或る実施形態では、フレームを低解像度でバッファ９００に記憶して（且つ続いて処理して）オーバーヘッドの処理を低減させることができる。
【００８８】
図１０は、場面分類を生成するための処理１０００のフローチャートである。処理１０００は、バッファ９００（図９）のようなデータ記憶デバイスを用いるシステム１００、５００、７００、８００（図１、５、７、８）における決定モジュール１１０により実行することができる。
【００８９】
処理１０００を実行するシステムは、フレームのシーケンスを特徴化する情報の集合体を受け取ることができる（１００５）。或る実施形態においては、この受け取った情報は、一つ以上の動き評価情報、輝度／彩度情報、空間情報及び／又はそれらの混合体を包含することができる。例えば、この受け取った情報は、情報１２０、５１０、７１０のうちの一つ以上を包含することができる。この情報は、モジュール、例えばモジュール１０５、５０５，７０５のうちの一つ以上から受け取ることができる。
【００９０】
この受け取った情報に基づいて、処理１０００を実行するシステムは、フレームのシーケンス内の場面変化を特定することができる（１０１０）。場面変化は、第１の場面の終端と第２の場面の開始との間の境界である。上述のように場面は特徴的特性を共有するフレームのシーケンスである。第２の変化において、これら特徴的特性の第１のセットはこれら特徴的特性の第２のセットへ移行することができる。
【００９１】
従って場面変化は、現在のフレームの一つ以上の特性と参照フレームの一つ以上の特性との間の相関関係に基づいて特定することができる。或る実施においては、相関関係の欠如は、現在のフレームと現在のフレームの動き補償された予測との間の予測誤差の大きさに基づいて決定することができる。
【００９２】
処理１０００を実行するシステムは場面を分類することができる（１０１５）。場面は、以下で更に説明するように、場面におけるフレームの一つ以上の特性に基づいて分類できる。
【００９３】
処理１０００を実行するシステムは利用可能な場面分類をなすことができる（１０２０）。場面分類は、ビデオ情報の集合体による場面の配列を説明する情報のみならず、ビデオ情報の集合体における異なる分類の名前又はその他の識別子を含むことができる。場面の配列は、例えば場面が出現するシーケンス及び／又はシーケンスについての開始及び停止時間により記述することができる。
【００９４】
場面変化
図１１は場面変化を識別する処理１１００のフローチャートである。処理１１００は孤立して実行することができ、或いは処理１１００は他の活性に関連して実行できる。例えば、処理１１００は、処理１０００を実行するシステムにより実行することができる（１０１０）（図１０）。
【００９５】
処理１１００を実行するシステムは現在のフレームについての予測誤差メトリックを受け取ることができる（１１１０）。予測誤差メトリックは、一つ以上の先行の又は後続の参照フレームのコンテンツから現在のフレームのコンテンツが如何にして良く予想できるかを体現している。この予想誤差メトリックは予想誤差から決定でき、これは源フレームの実際のコンテンツとそのフレームの予想コンテンツとの間の実際の差である。予想コンテンツは例えば一つ以上のブロックの運動、一つ以上のブロックのテキスチュア、一つ以上のブロックのテキスチュアの特性、一つ以上のブロックの照明及び／又は彩度、一つ以上のブロックの照明及び／又は彩度の特性、例えば、受け取った予想誤差メトリックは、一つ以上の計算値３００，４００（図３，４）を用いて決定された平均絶対差ＭＡＤとすることができる。他の例として、受け取った予測誤差メトリックは、動き予測フレームと実際のフレームとの間の絶対差（ＳＡＤ）の合計とすることができる。
【００９６】
処理１１００を実行するシステムは現在のフレーム１１１５についての予測誤差メトリックを記憶することができる。現在のフレームについて記憶された予測誤差メトリックは場面変化を特定するための後続の処理に用いることができる。例えば、同一の先行フレームから異なるフレームｎ，ｎ＋１について計算されたＳＡＤは、例えば更に後述するようにフラッシュを含むフレームを認識する。
【００９７】
処理１１００を実行するシステムは、現在のフレームについての予測誤差メトリックが閾値を越えていれば判定することができる（１１２０）。或る実施形態では、閾値はフレームのシーケンスについての平均予測誤差メトリックの二倍である。或る実施形態では、平均予測誤差メトリックが決定されるフレームのシーケンスは、現在のフレームに相関していないフレームを除外することができる。例えば、更に後述するように、フラッシュを含むものとして認識されたフレームは平均予測誤差メトリックの決定から除外することができる。他の例としては、クッロス・フェードに属するとして分類されたフレーム、或いは大きく異なる空間的（例えばテキスチュア）特性を有する場面に属するものとして分類されたフレームは除外することができる。
【００９８】
絶対差ＳＡＤｍ（ｎ）のブロックレベル合計の平均(又は和）は、フレームｎ内のブロックがフレームｍ内のブロックから予測できるときに、ブロックレベルＳＡＤ誤差の合計として計算することができる。イメージシーケンス内の最初のフレームがインデックスｉ＝０としてインデックス付けされるならば、現在のフレームはインデックスｉ＝ｋを有する。既に入力されている全てのフレームのシーケンスＳＡＤの平均値は式２により与えられる。
【数８】
0005524063.tif 000009
【００９９】
（式２）
或る実施形態では、閾値はバッファ９００（図９）におけるｎｄｅｃ．ｗ．フレームの摺動決定ウィンドウ９１０内のシーケンス内の先行フレームについての平均ＳＡＤの二倍である。このような閾値を越える現在のフレームについての予測誤差メトリックの決定は式３で表される。
【数９】
0005524063.tif 000010
【０１００】
（式３）
現在のフレームについてのシステム予測誤差エラーメトリックが閾値を越えると、システムは１１２５にて現在のフレームを場面変化として分類する。現在のフレームは、例えば、フラグ又は他のマーカをビデオ情報の集合体における現在のフレームへ加えることにより、及び／又は、フレーム番号、時間、及び／又は他の特定化特性によって場面変化フレームを特定する個別のデータ構造を確立することにより、場面変化として分類することができる。この分類は、人間であるユーザー又はデータ処理活動の他の集合体へ利用可能なようになすことができる。
【０１０１】
処理１１００を実行するシステムが、現在のフレームについての予測誤差メトリックは閾値を越えないと判定するならば、システムはブロック１１３０を通じて次のフレームへ進むことができる。
【０１０２】
処理１１００を実行するシステムは、更に予測誤差メトリックが利用可能である更なるフレームが存在するか否かも判定することができる（１１３５）。例えば、このシステムはバッファ９００（図９）の摺動決定ウィンドウ９１０に更なるフレームが存在するか否かを判定することができる。処理１１００を実行するシステムは、予測誤差メトリックが利用可能である更なるフレームが存在すると判定するならば、処理１１００を実行するシステムはフレームインデックスを増大することができる（１１４０）。フレーム・インデックスの増加は現在のフレームを変化させて、このシステムは１１１０へ戻って（異なる）現在のフレームについての予測誤差メトリックを受け取ることができる。
【０１０３】
図１２は、場面変化を特定する他の処理１２００のフローチャートである。処理１２００は個別に実行することができ、或いは処理１２００は他の他の活動に関連して実行することができる。例えば、処理１２００は処理１０００（図１０）を実行するシステムにより実行することができる（１０１０）。
【０１０４】
処理１２００を実行するシステムは現在のフレームについての予測誤差メトリックを受けることができ（１２１０）、且つ現在のフレームについての予測誤差メトリックを記憶することができる（１２１５）。処理１２００を実行するシステムは、現在のフレームについての予測誤差メトリックが短期閾値及び長期閾値の加重平均を越えたか否かを判定することができる（１２２０）。短期閾値は比較的に小数のフレームの特性に基づく閾値である。長期閾値は比較的に多数のフレームの特性に基づく閾値である。例えば、短期閾値は、６０の先行フレームについての平均予測誤差メトリックに基づくことができ、一方、長期閾値は、２００の先行フレームについての平均予測誤差メトリックに基づくことができる。
【０１０５】
一つの実施形態では、予測誤差メトリックには短期閾値及び長期閾値が動き予測フレームと実際のフレームとの間の絶対差（ＳＡＤ）の合計に基づいている。フレームは、現在のフレーム及び先行フレームについてのＳＡＤの絶対差が、比較的に多数の参照フレームに亘る平均ＳＡＤ及び比較的に小数の参照フレームに亘る平均ＳＡＤの加重平均よりも大きいならば、次式のように場面変化として分類できる。
【数１０】
0005524063.tif 000011
【０１０６】
（式３）
式３に表現された状態は、短期と長期との両方の平均ＳＡＤ閾値に基づく閾値を用いている。或る実施形態では、短期平均ＳＡＤ閾値は、バッファ９００（図９）の摺動決定ウィンドウ９１０におけるフレームを特徴化するＳＡＤ情報の集合体に基づいて計算することができ、次式により与えることができる。
【数１１】
0005524063.tif 000012
【０１０７】
（式４）
或る実施形態では、長期平均ＳＡＤ閾値は、全ての先行処理済みフレームについてのＳＡＤの平均となり、次式により与えられる。
【数１２】
0005524063.tif 000013
【０１０８】
（式５）
或る実施形態では、直前の先行参照フレーム以外のフレームを使用することができる。例えば、ＳＡＤｉ−ｌ（ｉ＋ｌ）予測誤差メトリック又は任意のＳＡＤｉ−ｎ（ｉ＋ｎ）予測誤差メトリック（但し、ｍ≧ｌ且つｎ≧ｌ）は異なる場面におけるフレームを分類するために用いることができる。これらの予測誤差メトリックがＳＡＤ誤差に比べて大きく、ここでｎ≧ｍ且つｎ≧０であるならば、フレームｉは場面変化である傾向がより大きい。
【０１０９】
処理１２００を実行するシステムが、現在のフレームについての予測誤差メトリックが短期閾値及び長期閾値の加重平均を越えないと判定するならば、このシステムは、場面変化が現在のフレームには存在しないことを示すことができる（１２２５）。このシステムは、場面変化が積極的に存在しないことを（例えば、フラグ又はマーカーを現在のフレームに関連させることにより）指示するか、或いは（例えば、現在のフレームを場面変化を含むフレームの集合体へ加えることをなさないか、或いは場面変化を示すフラグ又は他のマーカーを有する現在のフレームを印付けることを省略することにより）省略することができる。このような指示は人間であるユーザー又は他のデータ処理活動の集合体へ利用可能になすことができる。
【０１１０】
処理１２００を実行するシステムが現在のフレームについての予測誤差メトリックが加重平均を越えると判定するならば、このシステムは現在のフレーム及び先行フレームについての予測誤差メトリックにおける差が所定の閾値を越えるか否かを決定することができる（１２３０）
。予測誤差メトリックは、動き予測フレームと予測のために用いられた参照フレームとの間のブロックレベル絶対差（ＳＡＤ）合計とすることができる。例えば、或る実施形態では判定に基づいている予測誤差メトリックにおける差異は次式により与えられる。
【数１３】
0005524063.tif 000014
【０１１１】
（式６）
一つの実施形態では、α＝０．５，β＝０．５，及びＴｍｉｎ＝２０である。予測誤差メトリック（式４に表示された如し）におけるこのような差異は、非常に低い活動性コンテンツにおいて積極的に誤検出することができる。
【０１１２】
処理１２００を実行するシステムが、現在のフレーム及び先行フレームの予測誤差メトリックにおける差異が所定の閾値を越えると判定するならば、このシステムは場面変化が存在することを１２３５にて示す。このシステムは場面変化が存在することを、例えば現在のフレームにフラグ又は他のマーカーを関連させるか、或いは現在のフレームを場面変化を含むフレームの集合体へ加えることにより表示することができる。処理１２００を実行するシステムが現在のフレーム及び先行フレームの予測誤差メトリックにおける差異が所定の閾値を越えないと判定するならば、このシステムは場面変化が現在のフレームには存在しないことを表示する（１２２５）。何れの場合でも、この表示は人間であるユーザー又は他のデータ処理活動の集合体へ利用可能になすことができる。
【０１１３】
現在のフレームにおける場面変化の有無の表示に関わらず、処理１２００を実行するシステムは、現在のフレームの特性を考慮して長期及び短期閾値を更新することができる。例えば、長期及び短期閾値が特定数の先行参照フレームについての平均予測誤差メトリックに基づいているとき、長期及び短期式位置は現在のフレームの予測誤差メトリックを考慮して更新することができる。
【０１１４】
処理１２００を実行するシステムは更に、予測誤差メトリックが利用可能な更なるフレームが存在するか否かを判定することができる（１２４５）。例えば、このシステムは、更なるフレームがバッファ９００（図９）の摺動決定ウィンドウ９１０内に存在するか否かを判定することができる。処理１２００を実行するシステムが、予測誤差メトリックが利用可能である更なるフレームが存在すると判定するならば、処理１２００を実行するシステムはフレーム・インデックスを増加することができる（１２５０）。フレーム・インデックスの増加は現在のフレームを変化させて、システムは１２１０へ戻って（異なる）現在のフレームについての予測誤差メトリックを受け取る。
【０１１５】
或る実施形態では、ビデオ情報の更なる特性を場面変化を特定するために用いることができる。例えば、現在のフレームの特性を一つ以上の閾値と比較して場面変化を特定することができる。或る実施形態では、これらの閾値はフレームのシーケンスにおける他のフレームの特性に基づいている。以下の特性の少なくとも一つを用いることができる。
【０１１６】
１．輝度及び彩度成分の局所的（ブロック毎）及び／又は大局的（フレーム毎）平均ＤＣ値。
【０１１７】
２．各ブロックの局所的変動及び／又は源フレーム全体の大局的変動。
【０１１８】
３．動き補償予測誤差メトリックの変動。場面変化に属するフレームは、異なる場面に属する先行フレームに比べると異なる予測誤差変動を持つことができる。
【０１１９】
４．参照フレームについての優勢な動きベクトルと、平均動きベクトルと、動きベクトルの変動とのうちの少なくとも一つの大きさ。一般に、動き予測は、異なる場面に属する他のフレームから一つのフレームを正確に予測することはできない。これに代えて、異常に大きく、空間的に相関せず、空間的に一貫せず、時間的に相関せず、且つ時間的に一貫しない動きベクトルを場面変化特定に用いることができる。
【０１２０】
５．一つ以上の参照フレームにおける輝度に基づいて現在のフレームにおける輝度を予測するために用いられる輝度変化パラメータ。このような輝度変化パラメータにおける（特に小さな領域内の）大きな不安定さは、場面変化を特定するのに用いることができる。
【０１２１】
或る実施形態においては、処理１１００，１２００（図１１，図１２）を実行するシステムによる場面変化の識別は、場面変化の偽陽性識別を回避するために二重チェックすることができる。例えば、或る実施形態では、フレームｉが場面変化として特定されているならば、以下の判定をなすことができる。
【数１４】
0005524063.tif 000015
【０１２２】
（式７）
参照フレームｉ−１からの、及び参照フレームｉ―２からのＳＡＤ予測誤差メトリックの絶対差が、参照フレームｉ−１からＳＡＤ予測誤差メトリックの四番目よりも大きいならば、そのフレームは場面変化として考える必要は無い。このような二重チェックは、ＳＡＤ予測誤差メトリックにおける一時的なスパイク（例えば、急激な運動又は対象閉塞）を場面変化として誤分類することを防止するのに役立てることができる。
【０１２３】
或る実施形態においては、二重チェックは輝度の急激な変化を、場面変化としての分類から除外するように実行することができる。このような輝度変化は、例えばビデオ情報の一つ以上のフレームがフラッシュを含むときに生じる。輝度の急速な変化を除外する際には、システムは、疑わしい輝度変化に先行する一つ以上のフレーム及び疑わしい輝度変化に続くフレームに一つ以上の予測誤差メトリックを評価することができる。例えば、ＳＡＤｉ−１（ｉ＋１）予測誤差メトリック又は他のＳＡＤｉ−ｍ（ｉ＋ｎ）予測誤差メトリック（但し、ｍ≧１且つｎ≧１）を評価することができる。評価された予測誤差メトリックが、先行フレーム（これは望ましければ一つ以上の因子により重み付けすることができる）のＳＡＤ予測誤差メトリックに比べて比較的に小さいならば、これは場面変化ではなく、輝度の変化に起因すると考えることができる。対照的に、予測誤差メトリックがnを増大するために増大するのであれば、予測誤差メトリックは場面変化に起因すると考えることができる。
【０１２４】
或る実施形態においては、場面変化はフレームのシーケンスにおける場面の識別及び／又は分類に基づいて黙視的に特定することができる。例えば、フェードイン及びクロスフェードは、しばしば場面変化に先行する。フェードイン場面、クロスフェード場面、その他の場面の検出は、更に後述するように、場面変化の特定に用いることができる。
【０１２５】
図１３は場面変化を特定する処理１３００のフローチャートである。処理１３００は個別に実行でき、また、この処理１３００は他の活動と関連させて実行することができる。例えば、処理１３００は、処理１０００（図１０）を実行するシステムにて実行することができる（１０１０）。他の例としては、処理１３００は、以下に更に後述するように、一つ以上の処理１１００、１２００（図１１、１２）を含むことができる。
【０１２６】
処理１３００を実行するシステム、は一つ以上の処理１１００，１２００を１３０５にて実行することができる。処理１３００を実行するシステムは、１３０５にて実行した処理が現在のフレームが場面変化であると特定したか否かを判定することができる（１３１０）。
【０１２７】
処理１３００を実行するシステムが、１３０５にて実行した処理が現在のフレームが場面変化であると特定されたことを識別するならば、処理１３００を実行するシステムは、現在のフレームにおける動きが閉塞するか否かを判定することができる（１３１５）。運動閉塞は、一つ以上のブロックの運動がビデオ情報のシーケンスのフィールドから隠れたときに生じる。例えば、運動閉塞は、移動するブロックが不動のブロックの前方又は後方を通過するとき、或いは二つのブロックの経路が異なる動きベクトル交差を有するときに生じることができる。運動閉塞は、例えば、フレーム内の特定の領域が他の領域に比べて相当に大きな予測誤差により特徴付けられるか否かを検査することにより、特定することができる。
【０１２８】
処理１３００を実行するシステムが、１３０５にて実行された処理は、現在のフレームを場面変化として分類しないと認識するならば、処理１３００を実行するシステムは、現在のフレームがフェードインの終端で生じたか否かを判定することができる（１３２０）。フェード場面は、先行フレームに比べたとき、フレームの平均輝度における相当に大きな変化により特徴付けることができる。これらの平均輝度における変化は、瞬間的なものではなく、場面変化におけるものである。むしろ、これらの平均輝度の変化は漸進的である。フェードインは場面の開始で生じると共に、一般に平均輝度の漸進的増大に関連する。フェードアウトは場面の終端で生じると共に、一般に平均輝度の漸進的減少に関連する。フェードインは、更に後述するように、処理１４００（図１４）を用いて特定することができる。
【０１２９】
処理１３００を実行するシステムが現在のフレームがフェードインの終端で生じないと判定するならば（１３２０）、システムは現在のフレームがフラッシュ又は他の輝度における急激な変化を含むか否かを判定することができる（１３２５）。フラッシュのような輝度の急激な変化は上述したような二重チェックの試みを用いて特定することができる。
【０１３０】
１）処理１３００を実行するシステムが、現在のフレームは輝度の急激な変化を含まないと判定するか（１３２５）、或いは、２）処理１３００を実行するシステムが、現在のフレームにおける動きは閉塞ではないと判定する（１３１５）ならば、処理１３００を実行するシステムは、場面変化は１３３０に存在すると示すことができる。このシステムは、例えば、フラグ又は他のマーカーを現在のフレームに関連付けることにより、或いは現在のフレームを場面変化を含むフレームの集合体へ加えることにより、場面変化が存在することを表示することができる。この表示は人間であるユーザー又は他のデータ処理活動の集合体へ利用可能なようになすことができる。
【０１３１】
１）処理１３００を実行するシステムは、現在のフレームがフェードインの終端では生じないと判定するか（１３２０）、又は２）処理１３００を実行するシステムは、現在のフレームが輝度の急激な変化を含むと判定するか（１３２５）、或いは３）処理１３００を実行するシステムは、場面変化が存在すると特定する（１３３０）ならば、処理１３００を実行するシステムは、予測誤差メトリックが利用可能な更なるフレームが存在するか否かを判定することができる（１３３５）。例えば、このシステムはバッファ９００（図９）に更なるフレームがあるか否かを判定することができる。処理１３００を実行するシステムが、予測誤差メトリックが利用可能な更なるフレームがあると判定するならば、処理１３００を実行するシステムは、フレームインデックスを増やす（１３４０）。フレームインデックスの増大は、現在のフレームを代えて、システムは１３０５へ戻ることができる。
【０１３２】
フェード場面
上述したように、フェード場面は、先行フレームと比べたとき、現在のフレームの平均輝度の比較的に大きな漸進的変化により特徴付けられる。フェードイン及びフェードアウトへの分類に加えて、フェード場面は、フェードから黒／黒からフェード、フェードから白／白からフェード、及びフェードから無地／無地からフェードとしても分類することができる。また、クロスフェードは一つの場面から次の場面へのフェード遷移である。
【０１３３】
時間的に広げられたフェード場面検出器は、比較的長い期間のフェードの遅い遷移を捕捉するのに用いることができる。或る実施形態においては、このような検出器は、更なるフレームを処理して、遅い遷移を捕捉することができる。このような処理はフェード場面の特定に遅延を導入することができる。或る実施形態においては、フェード場面検出器は小さなピクチュアウィンドウに跨って適用することができる。摺動ウィンドウフレームバッファについてのフレーム決定オフセットｄｏｆｆ＞１は、このような遅延を解決するのに役立てることができる。重み係数はフェード場面の特定のためのオフセットよりも重要とすることができる。
【０１３４】
一般に、フェード場面検出は以下を含むことができる。
【０１３５】
−  輝度成分分析を用いる検出。Ｎ個の連続したピクチュアについて、輝度成分の平均（ＤＣ）は、増大又は低減の何れかを有する。輝度ＤＣの変化は閾値を越える。ＤＣ差の絶対値が計算されるならば、この検出器は、フェードイン、フェードアウト、及びクロスフェードを識別することはできない。この検出器はフェードイン及びフェードアウト検出に良く適している。
【０１３６】
−  ＭＥＭＣフレームワークモジュールを用いてブロック毎に計算された輝度変化パラメータ。輝度変化パラメータは重み及びオフセットを含むことができる。Ｍ優勢パラメータ対は、加重パラメータの二次元ヒストグラムを通じてピクチュアから抽出することができる。このような加重オフセット対は、これらがフェードの検出のための特定の基準を満足するか否かを判定することができる。或る実施形態においては、双予測運動評価は、このような遷移の検出の信頼性を改善することができる。
【０１３７】
フェード場面検出は、直前の先行フレーム（ｎ−１）又は何れかの先行フレーム（例えば、ｎ−２）を参照する加重予測パラメータを用いて実施することができる。これと同じことは後続のフレームについても当てはまる。例えば、現在のフレームｎはフェードインになると仮定する。過去の参照ｎ−ｋ（但し、ｋ≧ｌ）を用いて得られた加重パラメータは、同一の予測方向において一貫して減少するか一貫して増大する。これと同じことは更なる参照ｎ＋ｋ（但し、ｋ≧ｌ）を用いて得られた加重パラメータについても当てはまる。これはフェードアウト及びクロスフェードについても当てはまる。特にフェードインについては、加重パラメータは過去における更なる参照について減少し、将来における更なる参照について増大する。フェードアウトについては、加重パラメータは過去において更なる参照について増大し、将来において更なる参照について減少する。クロスフェードについては、加重パラメータは、過去及び将来における更なる参照について増大する。
【０１３８】
或る実施形態においてはに、フェードイン及びフェードアウトの検出は空間的変動に基づくこともできる。例えば、フェードアウトは、源変動減少を伴うフレームのシーケンスに基づいて検出することができる。他の例として、フェードインは源変動の増大を伴うフレームのシーケンスに基づいて検出することができる。
【０１３９】
或る実施形態においては、フェード検出に用いられる輝度変化の重要性は、動き補償ＭＡＤ予測誤差の重み付け予測を持つものと持たないものとの間の差異に基づいて決定することができる。
【０１４０】
図１４は、フェード場面を分類する処理１４００のフローチャートである。処理１４００は単独で実行でき、或いは処理１４００は他の活動性に関連させて実行させてもよい。例えば、処理１４００は、処理１０００(図１０）を実行するシステムにより実行することができる（１０１５）。
【０１４１】
処理１４００を実行するシステムは、現在のフレームにおける輝度の特性を受け取ることができる（１４０５）。現在のフレームにおける輝度の特性は、先行／及び又は後続のフレームにおける輝度の特性によって、受け取ることができる。例えば、輝度の特性はバッファ９００(図９）へアクセスすることができる。
【０１４２】
処理１４００を実行するシステムは、現在のフレームが速いフェードの一部であるか否かを判定することができる（１４１０）。速いフェードは、フレームのシーケンスの平均輝度が比較的に迅速に変化するフェードである。或る実施形態では、速いフェードは、フレームのシーケンスに亘る輝度の変化の特性に基づいて特定することができる。
【０１４３】
現在のフレームが速いフェードの一部であるか否かを判定するのに用いることができるそのような輝度の変化の一例は、現在のフレームについての輝度変化及び後続のフレームについての輝度変化が閾値を越えて、且つ同一の符号を有することを要求する。ここで例えば８ビットコンテンツを仮定し、ＤＣｌｕｍａ（ｉ）はフレームｉについての輝度成分の平均ＤＣ値を示すとし、項ｔ０ｆａｓｔ＝１，ｔ１ｆａｓｔ＝１，ｔ０，Ａｓｌｏｗ＝０，ｔ１，Ａｓｌｏｗ＝０，ｔ０，Ｂｓｌｏｗ＝０，及びｔ１，Ｂｓｌｏｗ＝０は六つの閾値を示すとする。フレームｍのＤＣ輝度変化ΔＤＣｌｕｍａは、フレームｍのＤＣ輝度からフレームｍ−１のＤＣ輝度を減じたものである。次式が成り立つならば、速いフェードを特定できる。
【数１５】
0005524063.tif 000016
【０１４４】
（式８）
【数１６】
0005524063.tif 000017
【０１４５】
（式９）
【数１７】
0005524063.tif 000018
【０１４６】
（式１０）
式１０は、フレームｍについての輝度変化とフレームｍ−１についての輝度変化が同一方向にある（即ち、両方のフレームが増大した輝度及び減少した輝度を有する）ことを確定する。
【０１４７】
現在のフレームが速いフェードの一部であるか否かを判定するのに用いることができる輝度変化の他の例は、現在のフレームについてのＤＣ輝度変化及び後続のフレームについてのＤＣ輝度変化が閾値を越えて、且つ同一の符号を有することを要求する。例えば、次式が成り立つならば、速いフェードを特定できる。
【数１８】
0005524063.tif 000019
【０１４８】
（式１１）
【数１９】
0005524063.tif 000020
【０１４９】
（式１２）
【数２０】
0005524063.tif 000021
【０１５０】
（式１３）
式１３は、フレームｍについての輝度変化とフレームｍ−１についての輝度変化が同一方向にある（即ち、両方のフレームが増大した輝度及び減少した輝度を有する）ことを確定する。或る実施形態においてシステムは、式８，９，１０の組又は式１１，１２，１３の組が満足するならば、現在のフレームが速いフェードの一部であると判定することができる。
【０１５１】
処理１４００を実行するシステムが現在のフレームが速いフェードの一部であると判定するならば（１４１０）、システムはフェード場面が存在することを表示することができる（１４１５）。このシステムは、例えば、フラグ又は他のマーカーを現在のフレームに関連付けるか、或いは現在のフレームの識別子をフェード場面におけるフレームのフレーム識別子の集合体へ加えることにより、フェード場面が存在することを表示することができる。この表示は、人間であるユーザー又は他のデータ処理活動の集合体に利用可能なようになすことができる。
【０１５２】
処理１４００を実行するシステムが、現在のフレームが速いフェードの一部ではないと判定するならば（１４１０）、このシステムは、現在のフレームは、それに代えて遅いフェードの一部であるか否かを判定することができる（１４２０）。遅いフェードは、フレームのシーケンスの平均輝度が比較的に緩慢に変化するフェードである。或る実施形態では、遅いフェードは、フレームのシーケンスに亘る輝度の変化の特性に基づいて特定することができる。
【０１５３】
現在のフレームが遅いフェードの一部であるか否かを判定するのに用いることができるそのような輝度の変化の一例は、三つ以上の連続的なフレームに亘る輝度変化が閾値を越えて、且つ同一の符号を有することを要求する。例えば、連続的フレームは現在のフレームｎ及びフレームｎ＋１，ｎ＋２とすることができる。この場合、現在のフレームが遅いフェードの一部であるという陽性判定のための条件は、次式により与えられる。
【数２１】
0005524063.tif 000022
【０１５４】
（式１４）
【数２２】
0005524063.tif 000023
【０１５５】
（式１５）
【数２３】
0005524063.tif 000024
【０１５６】
（式１６）
【数２４】
0005524063.tif 000025
【０１５７】
（式１７）
【数２５】
0005524063.tif 000026
【０１５８】
（式１８）
式１７及び１８は、フレームｎ，ｎ＋１，ｎ＋２についての輝度変化が同一方向にある（即ち、全ての三つのフレームが増大する輝度又は減少する輝度を有する）ことを確定する。
【０１５９】
他の例として、連続するフレームは、現在のフレームｎ及びフレームｎ−１，ｎ−２とすることができる。この場合、現在のフレームが遅いフェードの一部であるという陽性判定のための条件は、次式により与えられる。
【数２６】
0005524063.tif 000027
【０１６０】
（式１９）
【数２７】
0005524063.tif 000028
【０１６１】
（式２０）
【数２８】
0005524063.tif 000029
【０１６２】
（式２１）
【数２９】
0005524063.tif 000030
【０１６３】
（式２２）
【数３０】
0005524063.tif 000031
【０１６４】
（式２３）
式２２及び２３は、フレームｎ，ｎ−１，ｎ−２についての輝度変化が同一方向にある（即ち、全ての三つのフレームが増大する輝度又は減少する輝度を有する）ことを確定する。
【０１６５】
処理１４００を実行するシステムが現在のフレームが遅いフェードの一部であると判定するならば（１４２０）、システムは、フェード場面が存在することを表示する（１４１５）と共に、続いて二重チェックへ進んで、フェードが存在するか否かを判定することができる（１４２５）。或る実施形態においては、システムが、現在のフレームは遅いフェードの一部ではない判定するならば（１４２０）、このシステムはフェードが存在するか否かを判定するように二重チェックをなすことができる（１４２５）。
【０１６６】
処理１４００を実行するシステムは現在のフレームはフェード場面に入っているか否かを判定することができる（１４２５）。この判定は、直前の先行フレームと直後の後続フレームとの両方におけるフェードの存在に基づいてなすことができる。例えば、既にフェードが直前の先行フレームｉ−１と直後の後続フレームｉ＋１との両方に特定されているならば、フレームｉはフェードを含むものとして判定することができる。
【０１６７】
１４２５における二重チェックにおいてフェードが存在すると判定したか否かを問わず、処理１４００を実行するシステムは、輝度情報が利用可能な付加的なフレームが存在するか否かを判定することができる（１４３５）。例えば、システムはバッファ９００（図９）に付加的なフレームが存在するか否かを判定することができる。処理１４００を実行するシステムが、輝度情報を利用可能な付加的なフレームが存在すると判定したならば、処理１４００を実行するシステムは、フレーム・インデックスを増やすことができる（１４４０）。フレーム・インデックの増加は現在のフレームを代えるので、システムは１４０５へ戻ることができる。
【０１６８】
或る実施形態においては、フェード場面を分類するシステムは、フェード場面をフェードイン、フェードアウト及び／又はクロスフェードとして分類することもできる。図１５はフェードイン繊維の終端を識別するための処理１５００のフローチャートである。処理１５００は個別に実行することができ、或いは処理１５００は他の活動と関連して実行することができる。例えば、処理１５００は、更に後述するように、処理１４００の実行を含むこともできる（１５１０）（図１４）。
【０１６９】
処理１５００を実行するシステムは、現在のフレームの輝度の特徴化を受け取ることができる（１５０５）。現在のフレームの輝度の特徴化は、先行及び／又は後続のフレームの輝度の特徴化と共に受け取ることができる。例えば、輝度の特徴化はバッファ９００(図９）にアクセスすることができる。
【０１７０】
処理１５００を実行するシステムは、現在のフレームがフェードの一部であるか否かを判定することができる（１５１０）。例えば、このシステムは処理１４００（図１４）を実行して現在のフレームがフェードの一部であるか否かを判定することができる。他の例として、このシステムは、フラグ又はフェードを特定する情報の集合体を検査して、現在のフレームがフェードの一部であるか否かを判定することができる。
【０１７１】
処理１５００を実行するシステムが現在のフレームがフェードの一部であると判定するならば（１５１０）、このシステムは現在のフレームについてのＤＣ輝度変化が零よりも大きいか否かを判定することができる。（１５１５）現在のフレームについてのＤＣ輝度変化の方向（即ち、増大又は減少ＤＣ輝度）はフェードインとフェードアウトとを区別する。
【０１７２】
処理１５００を実行するシステムが、現在のフレームについてのＤＣ輝度変化が零よりも大きいと判定するならば（１５１５）、このシステムはカウンタＣｆａｄｅ−ｉｎを増加させて（１５２０）、このカウンタ（これは零に初期化されている）が今や１に等しいか否かを判定することができる（１５２５）。換言すれば、このシステムは、カウンターが増加したのはこれが初めてか否かを判定する。処理１５００を実行するシステムが、カウンタＣｆａｄｅ−ｉｎは１に等しく、ちょうど今初めて増加したものと判定するならば（１５２５）、このシステムは、現在のフレームの輝度の変動を表す値を記憶することができる（１５３０）。これはフェードインの初期フレームの輝度成分の変動ＶＡＲｓｔａｒｔｆａｄｅ−ｉｎ＝ｖａｒ（ｉ）を記憶する効果を有しており、ここでｖａｒ（ｉ）は現在のフレームｉの輝度成分の変動である。このシステムは、更に後述するように、輝度情報を利用可能な付加的なフレームが存在するか否かを判定するように進むことができる（１５７０）。
【０１７３】
１）処理１５００を実行するシステムは、現在のフレームがフェードの一部ではない判定するか（１５１０）、又は２）処理１５００を実行するシステムは、現在のフレームについてのＤＣ輝度変化が零よりも大きくないと判定するならば（１５１５）、処理１５００を実行するシステムは現在のフレームが潜在的にフェードインの終端にあるか否かを判定することができる（１５４０）。或る一つの実施形態においては、システムは、カウンタＣｆａｄｅ−ｉｎに基づいて現在のフレームが潜在的にフェードインの終端にあるか否かを判定することができる。例えばカウンタＣｆａｄｅ−ｉｎが閾値数（例えば３）よりも大きく、現在のフレームのインデックスがカウンタＣｆａｄｅ−ｉｎよりも大きいならば、このシステムは、現在のフレームは潜在的にフェードインの終端にあると判定することができる。
【０１７４】
処理１５００を実行するシステムが、現在のフレームは潜在的にフェードインの終端にあると判定するならば（１５４０）、このシステムは、現在のフレームはフェードインの終端とすることを適格とする厳格な条件の一つ以上を満たすか否かを判定することができる（１５４５）。厳格な条件の一例は、フェードインにおける初期フレームと潜在的にフェードインの終端にある現在のフレームとの間のＤＣ輝度変化の大きさが閾値を越えることを要求する。例えば、或る実施形態では、現在のフレームｉについてのＤＣ輝度の差からフレームｉ−Ｃｆａｄｅ−ｉｎのＤＣ輝度を減じたものが、
【数３１】
0005524063.tif 000032
【０１７５】
よりも大きくなることを要求し、ここでｂｉｔ＿ｄｅｐｔｈは、コンテンツの現在のビット＿深さである。或る実施形態では、ビット＿深さは８に等しい。以下、特に断らない限り、数値的な式位置は８ビット入力データビット＿深さに対応する。
【０１７６】
より厳格な条件の他の例は、現在のフレームの輝度の変動がフェードインの初期フレームの輝度の変動を越えることを要求する。例えば、或る実施形態においては、現在のフレームの輝度の変動は、フェードインにおける初期フレームの変動の１．５倍よりも大きいことが要求される。
【０１７７】
より厳格な条件の他の例は、連続的な先行するフレームの集合体のうちの一つもカメラパンとして分類されないことを要求する。例えば、処理１６００（図１６）は、連続的な進行フレームがカメラパン場面の一部であるか否かを特定するために用いることができる。例えば、或る実施形態においては、現在のフレームがフェードインの終端として適するのであれば、先行する三つのフレームの一つもカメラパンの一部として分類することができない。
【０１７８】
より厳格な条件の他の例は、連続的な後続のフレームの集合体の一つも場面変化として分類されないことが要求される。場面変化としてのフレームの分類は、例えば上述のように処理１１００，１２００，１３００（図１１，１２，１３）の一つ以上を用いて実行することができる。例えば、或る実施形態においては、現在のフレームがフェードインの終端として適格であるならば、後続の１２フレームには場面変化として分類できるものは一つも無い。
【０１７９】
或る実施形態では、現在のフレームがフェードインの終端として適格である判定は、これらの四つのより厳格な条件の全てが満足することを要求する。
【０１８０】
処理１５００を実行するシステムが現在のフレームが厳格な条件を満足してフェードインの終端として適格であると判定するならば（１５４５）、このシステムはフェード場面変化が存在することを表示することができる（１５５０）。このシステムに用いられる表記法に応じて、このシステムは、フェード場面変化が現在のフレームに又は現在のフレームの直前の先行フレームに存在することを表示することができる。何れの場合にも、このシステムはフェードイン場面変化が存在することを、例えばフラグ又は他のマーカーを直前の先行フレームに関連させるか、或いは識別子をフェード場面変化を含むフレームの識別子の集合体へ加えることにより表示することができる。この表示は人間であるユーザー又は他の実施形態においてはデータ処理活動の集合体に利用可能なようになすことができる。
【０１８１】
現在のフレームがフェードイン場面変化としての適格であるか否かに関係なく、処理１５００実行するシステムは現在のフレームがフェードインの終端として適格であるための一つ以上の最終条件を満たすか否かを判定することができる（１５５５）。最終条件の一つの例はフェードインにおける初期フレームのＤＣ輝度が閾値未満であることを要求する。或る実施形態においては、この閾値は５０である。
【０１８２】
最終条件の他の例は、フェードインにおける最終フレームと初期フレームとのＤＣ輝度の差閾値よりも大きいことを要求する。或る実施形態においては、この閾値は１２である。
【０１８３】
最終条件の他の例は、フェードインにおける最終フレームの輝度の変動がフェードインにおける最初のフレームの変動の数倍よりも大きいことが要求される。或る実施形態においては、この変動の倍数は１．５である。
【０１８４】
或る実施形態においては、現在のフレームがフェードインの終端として適格であるための最終条件を満たすという判定は、これらの最終条件の三つ全てを満たさすことが要求される。
【０１８５】
処理１５００を実行するシステムは現在のフレームがフェードインの終端に潜在的に存在しないと判定するか（１５４０）、或いは、より厳格な条件を満たさないと判定する（ひいては何れの場合もフェードインの終端として適格でない）（１５５５）ならば、このシステムは、現在のフレームはフェードインの一部ではないことを表示することができる（１５６０）。このシステムは、現在のフレームがフェードインの一部ではないことを、例えばフラグ又は他のマーカーをビデオ情報の集合体における現在のフレームへ加えるか及び／又はフェードインを識別するデータ構造から現在のフレームの識別子を排除するかにより表示することができる。システムがフェードイン場面変化が存在すると識別した場合には（１５５０）、このような識別は消去するか逆転させることができる。この表示は人間であるユーザー又は他の実施形態においてはデータ処理活動の集合体に利用可能なようになすことができる。
【０１８６】
或る実施形態においては、システムは先行Ｃｆａｄｅ−ｉｎ−１フレームはフェードインの一部ではないことも表示することができる（１５６０）。例えば、先行フレームはフェードインの一部ではないことが既に表示されている先行フレームに関連付けられたフラグは、それらのフレームがフェードインの一部ではないことを明確にするように切り替えることができる。
【０１８７】
処理１５００を実行するシステムが現在のフレームがフェードインの終端としての最終条件を満足すると判定するならば（１５５５）、このシステムはカウンタＣｆａｄｅ−ｉｎを零にリセットすることができる（１５６５）。処理１５００を実行するシステムは輝度情報を利用可能な付加的なフレームが存在するか否かも判定することができる（１５７０）。例えば、このシステムは付加的なフレームがバッファ９００（図９）に存在するか否かを判定することができる。処理１５００を実行するシステムが輝度情報を利用可能な付加的なフレームが存在すると判定するならば、処理１５００を実行するシステムは、フレーム・インデックスを増加させることができる（１５７５）。フレーム・インデックスを増加させることは、現在のフレームを代えるので、このシステムは１５０５へ戻ることができる。
【０１８８】
或る実施形態においては、フェード場面をフェード場面として分類するシステムは、処理１５００（図１５）に似た処理を用いて操作することができる。フェード場面のフェードアウトとしての識別の一つの例外は、現在のフレームについてのＤＣ輝度変化が零未満になることを要求することができる。従って、（処理１５００（図１５）の１５１５でなしたような）現在のフレームについてのＤＣ輝度変化が零よりも大きいか否かの判定ではなく、フェード場面をフェードアウトとして分類するシステムは、現在のフレームについてのＤＣ輝度変化が零未満か否かを判定することができる。
【０１８９】
フェード場面のフェードアウトとしての分類とフェード場面のフェードインとしての分類との間の類似性についての他の例外は、フェードアウト場面変化として適格とするための更なる厳格な条件である。処理１５００（図１５）の１５４５で適用したより厳格な条件を用いるのではなく、フェード場面をフェードアウトとして分類するシステムは他の条件を用いることができる。
【０１９０】
例えば、或る実施形態では、フェード場面をフェードアウトして分類するシステムは、フェードアウトにおける現在のフレームとフェードアウトにおける初期フレームとの間のＤＣ輝度変化の大きさが閾値を越える条件を要求することができる。例えば、或る実施形態においてはフレームｉ−Ｃｆａｄｅ−ｉｎについてのＤＣ輝度の差から現在のフレームｉについてのＤＣ輝度を減じたものが、
【数３２】
0005524063.tif 000033
【０１９１】
よりも大きくなることを要求し、ここでｂｉｔ＿ｄｅｐｔｈは、コンテンツの現在のビット＿深さである。
【０１９２】
より厳格な条件の他の例は、現在のフレームの輝度の変動がフェードアウトの初期フレームの輝度の変動よりも低いことを要求する。例えば、或る実施形態においては、現在のフレームの輝度の変動は、フェードアウトにおける初期フレームの変動の０．６６倍よりも低いいことが要求される。
【０１９３】
より厳格な条件の他の例は、連続的な先行するフレームの集合体のうちの一つもカメラパンとして分類されないことを要求する。例えば、処理１６００（図１６）は、連続的な進行フレームがカメラパン場面の一部であるか否かを特定するために用いることができる。例えば、或る実施形態においては、現在のフレームがフェードアウトの終端として適するのであれば、先行する三つのフレームの一つもカメラパンの一部として分類することができない。
【０１９４】
より厳格な条件の他の例は、輝度変化パラメータを考慮した場合についてと輝度変化パラメータを考慮しない場合についてのＳＡＤ誤差予測の差異が、閾値よりも低いことを要求する。このようなＳＡＤ誤差予測はＭＥＭＣモジュール（例えばＭＥＭＣフレームワークモジュール１０５（図１））から受け取って、輝度情報に関連させてバッファ９００（図９）などのメモリへ記憶させることができる。これらの輝度変化パラメータは、先行参照フレームから輝度及び／又は彩度を予測しようと試みるときに決定することができる。
【０１９５】
或る実施形態では、現在のフレームがフェードアウト場面変化として適格であるとするためのより厳格な条件を満たす判定は、これらの四つのより厳格な条件の全てが満足することを要求する。
【０１９６】
フェード場面のフェードアウトとしての分類と場面のフェードインとしての分類との間の類似性についての他の例外は、フェードアウトの終端として適格とするための最終条件である。処理１５００（図１５）の１５５５にて適用された最終条件を用いるのではなく、フェード場面をフェードアウトとして分類するシステムは他の最終条件を用いることができる。例えば、或る実施形態では、フェード場面をフェードアウトして分類するシステムは、フェードアウトにおける初期フレームのＤＣ輝度が閾値よりも小さいことを要求することができる。例えば、或る実施形態においては、この閾値は、
【数３３】
0005524063.tif 000034
【０１９７】
であり、ここでｂｉｔ＿ｄｅｐｔｈは、コンテンツの現在のビット＿深さである。
【０１９８】
最終条件の他の例は、フェードアウトにおける最終フレームと初期フレームとの間の輝度ＤＣ差が、閾値よりも低いことである。或る実施形態においては、この閾値は、
【数３４】
0005524063.tif 000035
【０１９９】
最終条件の他の例は、最終フレームの輝度の変動がフェードアウトの初期フレームの輝度の変動よりも低いことを要求する。例えば、或る実施形態においては、この変動の倍数は０．６７倍である。
【０２００】
或る実施形態では、現在のフレームがフェードアウトの終端として適格であるとするための最終条件を満たす判定は、これらの三つの最終条件の全てが満足することを要求する。
【０２０１】
或る実施形態においては、フェード場面をフェードイン又はフェードアウトとしての何れかに分類するシステムは、空間的情報に頼ることもできる。例えば、フェードアウトは、空間的変動の減少を伴うフレームのシーケンスの存在に少なくとも部分的に基づいて特定することができ、一方、フェードインは、空間的変動の増大を伴うフレームのシーケンスの存在に少なくとも部分的に基づいて特定することができる。
【０２０２】
或る実施形態においては、加重予測／輝度変化パラメータ及び予測誤差メトリック（例えばＳＡＤ）の両方は、フェード場面を特定するの用いることができる。例えば、フレームｎ＋１がフェードに属するならば、参照フレームｎからフレームｎ＋１を予測する加重予測パラメータＷＰｎ（ｎ＋１）は、参照フレームｎ＋１からフレームｎを予測する加重予測パラメータＷＰｎ＋１（ｎ）からほぼ逆にならねばならない。例えば、一方向からの優勢輝度基準パラメータが０．２であるならば、他方向からの優勢輝度基準パラメータは約５．０にならねばならない。識別は、相殺するパラメータについての同様な観察に基づくこともできる。更に、同一の予測方向におけるＳＡＤのような予測誤差メトリックは比較的に近接せねばならない。このシステムは、このようにフレームｎ＋１を参照するフレームｎについての加重予測パラメータ及び同一の動きベクトルについての予測誤差メトリックを、フレームｎを参照するフレームｎ＋１についての加重予測パラメータ及び同一の加重予測パラメータについての予測誤差メトリックと比較することにより、フェード場面を特定することができる。これらの加重予測パラメータ及び予測誤差メトリックがフェードの指標ではないならば、現在のフレームはフェードの一部としての特定から除外することができる。
【０２０３】
カメラパン場面
一般に、カメラパン場面はビデオ情報の集合体におけるフィールドの走査により特徴付けられる。そのフィールドは、水平に、斜めに、又は垂直に走査することができる。パンニング（ｐａｎｎｉｎｇ）とは、フィールドの走査に代表的に用いられているビデオカメラの回転又は他の運動を意味する。一般にカメラパンは、連続的なフレームの比較的に大きな数（例えば、５−１０を越える）に亘って生じる。
【０２０４】
或る実施形態においては、カメラパン場面の特定、連続的フレームの集合体の以下の特性の一つ以上に基づくことができる。例えば、カメラパン場面は、同一の一般的方向を有して閾値を越える運動パラメータによって特徴付けられる連続的フレームの集合体に基づいて特定することができる。このような運動パラメータは運動評価技術、例えばＭＥＭＣフレムワークモジュール１０５（図１）などのＭＥＭＣモジュールにより実行されたものを通じて得ることができる。或る実施形態では、他の運動評価技術、例えばピクセル再帰アルゴリズム、位相相関、及びその他を用いることができる。
【０２０５】
他の例としては、カメラパン場面は、現在のフレームと他のフレームの組との間の運動関係に基づいて特定することができる。このような運動関係は、単独のブロック、一つ以上のブロック領域、又はフレーム全体を用いて導くことができる。特に、時間的予測距離（即ちフレーム・インデックスの差異）が増大するにつれて増大する大きさを有する同一の一般的方向における異なる参照ピクチュア点に動きベクトルが関連するならば、カメラパン場面を特定することができる。参照ピクチュアは、現在のピクチュアに先行するピクチュア又は後続するピクチュアの何れかであって、しかも現在のピクチュアに直ちに隣接しないピクチュアとすることができる。先行と後続との両方の参照ピクチュアが用いられるならば、運動の方向を説明することができる。
【０２０６】
他の実施形態においては、カメラパン場面はアファイングローバルパラメータ（これは多重参照フレームからの遷移運動パラメータから導出できる）に基づいて識別することができる。
【０２０７】
他の例としては、上述したカメラパン場面を特定する方法の少なくとも一つは場面の特性を考慮して変更することができる。特に、カメラパン期間中カメラの運動は、フィールドの外側にあった新たなブロックを漸進的にさらけだす。これらの新たなブロックは、カメラパン特定の使用から除外することができる。これらのブロックを特定するためには、フレーム内の全ての動きベクトルを判定することができる。新たなブロックに関連した動きベクトルのサブセットは、例えば、フレームの端部におけるブロックについての動きベクトルと、フレームの中間部におけるブロックについての動きベクトルとの間の関連性の検査に基づいて決定することができる。このような相関関係は、異なるブロック及び／又は運動パラメータの方向及び大きさに基づいて決めることができる。
【０２０８】
図１６は処理１６００がカメラ・パンを分類する１６００のフローチャートである。処理１６００は個別に実行することがで、又は他の活動とともに実行することができる。例えば、処理１６００は処理１０００（図１０）を実行するシステムにより実行することができる（１０１５）。他の例としては、処理１６００は、処理１５００（図１５）における１５４５にて実行することができる。
【０２０９】
処理１６００を実行するシステムは、現在のフレームと現在のフレームに近隣のフレームとにおけるブロックの運動を特徴付ける動きベクトルを受け取ることができる。近隣フレームは現在のフレームに先行又は後行してもよいが、現在のフレームに直接隣接する必要はない動きベクトルは、バッファ９００などのメモリをアクセスすることにより受け取ることができる。動きベクトルはＭＥＭＣモジュール、例えばＭＥＭＣフレームワークモジュール１０５（図１）により決定することができる。
【０２１０】
処理１６００を実行するシステムは現在のフレーム及びその近隣のフレームについての代表的な動きベクトルを決定することができる（１６１０）。代表的な動きベクトルはフレーム内の運動の特徴を表している。例えば、或る実施形態においては、代表的な動きベクトルは、フレーム内のブロックについての並進動きベクトルの二次元のヒストグラムを作成し、そのヒストグラム中に（ヒストグラムのモードで）最も頻繁に表れる並進動きベクトルを代表的な動きベクトルとして選択することができる。他の例としては、或る実施形態においては、代表的な動きベクトルを、フレームの領域の動きベクトルの平均水平及び／又は平均垂直成分を具体化する平均動きベクトルとすることができる。
【０２１１】
或る実施形態においては、代表的な動きベクトルを決定するのに用いられた動きベクトルは、ＭＥＭＣモジュールにより与えられた動きベクトルのサブセットから引き出すことができる。例えば、サブセットは、動きベクトルの源セットの閾値化、量子化、二段抽出、境界値及び／又は外れ値の排除、又は空間的−時間的フィルタリングを通じて得ることができる。
【０２１２】
処理１６００を実行するシステムは現在のフレーム及びその近隣のフレームについての代表的な動きベクトルの水平成分が閾値を越えるか否かを判定し（１６１５）、このシステムは現在のフレームを水平カメラパンとして分類する（１６２０）。このシステムは、例えばフラグ又は他のマーカーをビデオ情報の集合体における現在のフレームへ加えるか、及び／又は現在のフレームの識別子を水平カメラパンを特定するデータ構造へ加えることにより、現在のフレームを水平カメラパンとして分類することができる。
【０２１３】
システムが、現在のフレーム及びその近隣フレームについての代表的な動きベクトルの水平成分が閾値を越えることを判定するならば、システムは現在のフレーム及びその近隣のフレームについての代表的な動きベクトルの垂直成分が閾値を越えるか否かを判定する（１６２５）。システムが、現在のフレーム及びその近隣フレームについての代表的な動きベクトルの垂直成分が閾値を越えると判定したならば、このシステムは現在のフレームを垂直カメラパンとして分類する（１６３０）。このシステムは、例えばフラグ又は他のマーカーをビデオ情報の集合体の現在のフレームへ加えるか及び／又は現在のフレームの識別子を垂直カメラパン特定するデータ構造へ加える。
【０２１４】
水平又は垂直カメラパンとしての現在のフレームの分類は以下の擬似コードで記述することができ、ここでＤＭＡｉ−ｊ（ｉ，ｘ）は、参照フレームｒｅｆからのフレームｉについての代表的な動きベクトルの水平成分を示し、ｔｐａｎは閾値を示す。
【数３５】
0005524063.tif 000036
【０２１５】
或る実施形態においては、閾値ｔｐａｎは、例えば４分の１ピクセル単位で１０とすることができる。
【０２１６】
処理１６００を実行するシステムは、動きベクトルが利用可能な付加的なフレームが存在するか否かも判定することができ（１６３５）、存在するのであれば、フレームインデックスを増加する（１６４０）。フレームインデックスの増大は現在のフレームを代えて、システムは１６０５へ戻ることができる。
【０２１７】
或る実施形態においては、例えばアファインのような高度の運動モデルを使用でき、及び／又は他のものについての代表的な動きベクトル及び／又は付加的なフレームを使用できる。例えば、遠いフレーム（ｉ−ｋ、ここでｋ≧ｌ）からの動きベクトルは、比較的に遅いカメラパンに関連して僅かな動きを正確に識別できる。これらの実施形態の何れかにおいて、閾値はフレームの間の増大した距離を反映して変更することができる。更に、付加的な先行及び／又は後続の参照フレームからの運動パラメータの間の相関関係は、現在のフレームをカメラパンとして分類するのに用いることができる。
【０２１８】
カメラズーム画面
一般に、カメラズーム画面はビデオ情報の集合体におけるフィールドの倍率の変化により特徴付けられる。フィールドはズーム又はズームアウトすることができる。或る実施形態においては、カメラズーム場面は、アフィン運動モデルを用いて識別することができる。
【０２１９】
図１７はカメラズーム場面を特定するための処理１７００のフローチャートである。処理１７００は個別に実行することもでき、或いは処理１７００を他の活動と関連させて実行することもできる。例えば、処理１７００は、処理１０００（図１０）を実行するシステムにより実行することができる（１０１５）。
【０２２０】
処理１７００を実行するシステムは、現在のフレームと二つ以上の近隣のフレームとにおけるブロックの運動を特徴付ける動きベクトルを受け取ることができる（１７０５）。近隣フレームは現在のフレームに対して先行しても後続してもよく、現在のフレームに対して直接に隣接する必要はない。動きベクトルはバッファ９００（図９）などのメモリにアクセスすることができる。動きベクトルはＭＥＭＣモジュール、例えばＭＥＭＣフレームワークモジュール１０５（図１）により判定できる。
【０２２１】
処理１７００を実行するシステムは、現在の及び近隣のフレームにおける相関するブロックについての動きベクトルを識別することができる（１７１０）。処理１７００を実行するシステムは、全ての若しくは殆どの動きベクトルの平均的大きさが比較的に小さいか否かも判定することができる（１７１５）。原理的に、ズームシーケンスが存在するならば、ピクセルがイメージの中心から開始する全ての方向に移動するように予期されており、ピクセルについての移動距離は概ね等しく、これは中心から等距離である。運動の方向はズーム方向であることを強く示唆している（即ち、ズームイン又はズームアウト）。平均的な大きさは、動きベクトルの水平及び垂直成分の平均的大きさを計算して、これらの成分が零に近ければ、平均的な大きさは比較的に小さいと判定することができる。
【０２２２】
処理１７００を実行するシステムが、特定されたブロック動きベクトルの平均的大きさが比較的に小さいと判定するならば、このシステムは、配列されたブロックの動きベクトルが相関しているか否かも判定する（１７２０）。これらの動きベクトルは、概ね同一方向を指向しているときに相関している。
【０２２３】
処理１７００を実行するシステムが、配列されたブロック内の動きベクトルが相関している（即ち、同様な方向に指向している）と判定するならば、このシステムは、配列したブロックについての動きベクトルの大きさの変化が連続的か否かも判定する（１７２５）。大きさの連続的な変化は、現在のフレームと参照フレームとの間の時間的距離（又はフレームインデックスの差）の大きさが増大するにつれて、非均一に増大又は非均一に減少するときに生じる。或る実施形態においては、処理１７００を実行するシステムは、配列したブロックについての動きベクトルの大きさの変化が、配列したブロックの動きベクトルの絶対値の大きさの合計を用いて連続的か否かを判定することができる。
【０２２４】
処理１７００を実行するシステムが、配列されたブロックについての動きベクトルの大きさにおける変化が連続的であると判定するならば、このシステムは現在のフレームをズーム場面の一部として分類することができる（１７３０）。現在のフレームは以下のようにしてズーム場面として識別できる。これは例えば、フラグ又は他のマーカーをビデオ情報の集合体における現在のフレームへ加えるか、及び／又は現在のフレームをフレーム番号、時間及び／又は他の識別特徴により、ズーム場面として識別する個別のデータ構造を確立するかによる。この識別は人間であるユーザー又は他のデータ処理活動の集合体に利用可能になすことができる。
【０２２５】
処理１７００を実行するシステムは、動きベクトルを利用可能な付加的なフレームが存在するか否かを判定し（１７３５）、そうであるならば、フレームインデックスを増加させる（１７４０）。フレームインデックスの増加は現在のフレームを代えて、システムは１７０５へ戻ることができる。
【０２２６】
図１８はカメラズーム場面を識別するための他の処理１８００のフローチャートである。処理１８００は個別に実行することもでき、或いは処理１８００は他の実施の形態では、活動と関連して実行することもできる。例えば、処理１８００は処理１０００〔図１０）を実行するシステムにより実行することができる（１０１５）。他の例としては、処理１８００は処理１７００’図１７）と関連して実行してカメラズーム場面が正しく識別されることを保証する。
【０２２７】
処理１８００を実行するシステムは現在のフレームにおいて、先行する参照フレームにおいて、及び後続の参照フレームにおいて、ブロックの運動を特徴付ける動きベクトルを受け取ることができる（１８０５）。動きベクトルは、バッファ９００（図９）などのメモリへアクセスできる。動きベクトルはＭＥＭＣフレームワークモジュール１０５（図１）などのＭＥＭＣモジュールにより判定することができる。
【０２２８】
処理１８００を実行するシステムは、それらのフレームのエッヂに位置する配列されたブロックについての動きベクトルを識別する（１８１０）。
【０２２９】
処理１８００を実行するシステムは、先行及び後続参照フレーム点を参照する動きベクトルの方向が反対方向にあるか否かを判定することができる（１８１５）。換言すれば、現在のフレームのエッヂにおけるブロックは、ズームインの間、先行フレームの内側及び後続フレームの外側にある。しかしながら、同心配置と見なすと、全部で三つのフレームにおけるブロックは、三つのフレームの中心を過去のフレームの前記ブロックと結ぶ仮想線に置かれる。同様に、現在のフレームのエッヂにおけるブロックは、ズームアウト期間中に、先行フレームの外側に、及び後続フレームの内側にある。従って先行の及び後続の参照フレームを参照する動きベクトルは、ズーム場面中は反対方向へ指向している。
【０２３０】
処理１８００を実行するシステムは、先行及び後続参照フレームからの動きベクトルが反対方向に指向して射ると判定するならば、このシステムは、現在のフレームをズーム場面の一部として分類することができる（１８２０）。現在のフレームは例えば以下のようにしてズーム場面として分類できる。即ち、フラグ又は他のマーカーをビデオ情報の集合体における現在のフレームへ加えるか、及び・又は、現在のフレームをフレーム番号、時間、及び／又は他の識別特性文字により現在のフレームをズーム場面として識別する個別のデータ構造を確立することである。この識別は人間であるユーザー又はデータ処理活動の集合体に利用できるようになすことができる。
【０２３１】
処理１８００を実行するシステムは、動きベクトルが利用可能である付加的なフレームが存在するか否かを判別し（１８２５）、そうであるならば、フレームインデックス１８３０を増加させる。フレームインデックスの増加は現在のフレームを代えるので、システムは１８０５へ戻ることができる。
【０２３２】
他の実施の形態では、実施形態においては、システムはカメラズーム場面をアファイン運動パラメータの係数に基づいて特定することができる。特に、システムはブロックレベル運動パラメータ）例えばＭＥＭＣフレームワークモジュール１０５により与えられたもの）をアファイングローバル運動パラメータに変換する。これらのアファイングローバル運動パラメータの係数はカメラスーム場面を特定するように解析することができる。
【０２３３】
或る実施形態においては、動きベクトルと予測誤差メトリック、例えばＳＡＤはカメラズーム場面を特定するのに用いることができる。例えば、図１９に示すように、ＭＥＭＣモジュール（例えばＭＥＭＣフレームワークモジュール１０５）は二つ以上の先行フレーム及び二つ以上の後続フレームを予測参照として用いることができる。
【０２３４】
フレームｎ＋１がズームに属するならば、参照フレームｎからフレームｎ＋１を予測する動きベクトルは、参照フレームｎ＋１からフレームｎを予測する動きベクトルから概ね逆にならねばならない。例えば、一方の動きベクトルが０．２であるならば、他方の動きベクトルは約５．０にならねばならない。更に、同一の予測方向における予測誤差メトリック、例えばＳＡＤは比較的に近接せねばならない。従って、このシステムは次のようにカメラズーム画面を特定することができる。即ち、フレームｎ＋ｋを参照するフレームｎについての動きベクトル、及び同一の動きベクトルについての予測誤差メトリックを、フレームｎを参照するフレームｎ＋ｋについての動きベクトル及び同一の動きベクトルについての予測誤差メトリックと比較することである。これらの動きベクトル及び予測誤差メトリックがカメラズーム画面の指標ではないならば、現在のフレームはカメラズーム画面としての特定から除外することができる。
【０２３５】
回転場面
一般に、回転場面はフィールドが回転する場面である。回転場面は、ズーム場面を特徴付けるために用いられた処理と同様な処理を用いて分類することができる。上述の特性に代えて、回転場面は、回転中心からの等距離に匹敵する動きベクトルの大きさ及び回転中心の周りの円を規定するように変える動きベクトルの方向に基づいて特徴付けることができる。
【０２３６】
静止場面
一般に、静止場面は、ビデオ情報の集合体におけるフィールドの変化が僅かであるか若しくは全くないことにより特徴付けられる。従って静止場面は、例えば一つ以上の閾値を下回る動きベクトル及び／又は予測誤差メトリックの大きさにより特定することができる。閾値は動きベクトルの平均的な大きさ及びビデオ情報の集合体についての予測誤差メトリックを下回ることができる。
【０２３７】
能動場面
一般に、能動場面はビデオ情報の集合体におけるフィールドの多数の又は大きな変化により特徴付けられる。能動場面は例えば一つ以上の閾値を超える予測動きベクトル及び／又は誤差メトリックの大きさに基づいて特定することができる。或る実施形態においては、動きベクトルのヒストグラムを組み立てて、ヒストグラムのピークを選択することができる。このようなヒストグラムを用いて、多数の対象の運動は、比較できるブロック構成要素を有する多数のピークの存在に基づいて特定することができる。多くの場合、閾値はビデオ情報の集合体についての動きベクトル及び予測誤差メトリックの平均的な大きさを越えることができる。
【０２３８】
フラッシュ場面
一般に、フラッシュ場面は、輝度の相当な増加が生じた一つ以上のフレームである。フラッシュ場面におけるフレームは以下にに基づいて検出することができる。即ち、短期間又は長期間閾値に対する大きな予測誤差、加重予測を有する予測誤差と予測を有さないものとの間の大きな差、及び／又はフレームｎ−ｋとｎ＋ｍとの間の低予測誤差であり、ここでｋ＞０及びｍ＞０はフラッシュ場面の一部である。
【０２３９】
フレーム領域分割
通常、フレーム領域の分割は、共通の特性を有するフレームのシーケンスにおける領域を特定する処理である。或る実施形態においては、異なるフレームにおける領域は,異なる領域における動きベクトルの相似性に基づいて特定することができる。例えば、Ｋ平均アルゴリズムは領域の数と大きさを特定するために用いることができる。或る実施形態では、フレーム領域の分割は以下の一つ以上に基づいて領域を特定することができる。即ち（ａ）領域についての動き補償予測誤差メトリック、（ｂ）輝度及び彩度ＤＣ並びに可変な値、（ｃ）領域についての領域源変動、（ｄ）テキスチュア及び周波数解析を含む領域の空間的特性、（ｅ）他のフレームからの領域分類（即ち、回復）である。
【０２４０】
或る実施形態においては特定された領域は、その領域の例えば複雑性又は重要性を特徴付けるメトリックにより標識付けすることができる。このようなメトリックは領域の可視的な重要度を表すことができ、領域の運動、テキスチュア及び輝度特性に基づくことができる。例えば、或る実施形態においては、各領域は、一つ以上のメトリックを伴うことができ、このメトリックスは、最も優勢なＮ動きベクトル、平均輝度及び／又は彩度ＤＣ値、領域全体のテキスチュアの特性、その変動、変換係数のエネルギ、その多を特徴付けることができる。例えば、Ｎは１に等しい。
【０２４１】
図２０はビデオフィンガープリンティングシステム２０００の概略図を示す。ビデオフィンガープリンティングシステム２０００は、決定モジュール１１０及びビデオフィンガープリンティングモジュール２００５を含む。決定モジュール１１０はシステム１００、５００，７００，８００（図１，５，７，８）の何れかの部分をなすことができ、ビデオ情報から場面分類１２５を生成する。ビデオフィンガープリンティングモジュール２００５は決定モジュール１１０から場面分類１２５を受け取って、ビデオフィンガープリント１０１０を生成することができる。
【０２４２】
一般に、ビデオフィンガプリンティングは、非視覚的場面のビデオ情報を特徴化する処理である。例えば、ビデオ情報の集合体の可視的な特徴（例えば、可視的パラメータの変動、運動、場面遷移、並びに時間的及び空間的補正）は言語を用いて説明することができる。ビデオフィンガプリンティングは、多くの異なる目的、例えば、検索及び導出、透かし入れ、オーディオ−ビデオ同期、及びコンテンツ分類、並びに著作物の特定化のための特徴付け、及び／又は目標の広告のビデオ情報の集合体への挿入を達成するために適用することができる。
【０２４３】
図２１はビデオフィンガープリンティングのための処理２１００のフローチャートである。処理２１００は一つ以上のデータ処理でバイスにより実行することができる。例えば、処理２１００は、システム２０００（図２０）内のビデオフィンガープリンティングモジュール２００５により実行することができる。処理２１００は個別に実行することができ、処理２１００は他の活動と関連して実行することができる。例えば、処理２１００は処理１０００（図１０）の実行の後に実行することができる。
【０２４４】
処理２１００を実行するシステムは場面分類を受け取ることができる（２０１５）。例えば、このシステムは、ビデオ情報の源集合体における分類された場面の配列のみならず、一つ以上の場面の分類を特定する情報を受け取ることができる。場面の例示的な分類は、場面変化、カメラズーム、クロスフェード、フェードイン、フェードアウト、フラッシュ場面、高度な運動、活性セグメント、低運動、静止セグメント、テクスチャ分類、並びにブロックの数及びと大きさの分類を含む。
【０２４５】
或る実施形態においては、場面分類は、源ビデオ情報を特徴付ける他の情報と関連させて受け取ることができる。例えば、場面分類は、以下の一つ以上を特徴付けるパラメータに関連して受け取ることができる。
【０２４６】
（ａ）輝度及び彩度成分のＤＣ又は変動
（ｂ）一つ以上のエッヂフィルタリング技術（例えばＳｏｂｅ）を通じて得られたエッヂの大きさ及び向き情報
（ｃ）ビデオ情報における周波数の特性、例えば一つ以上の変換の係数
（ｄ）平均且つ優勢局所的及び広域動きベクトルであり、動きベクトルのフィルター化集合体、動きベクトルの量子化された集合体、又は異常値が取り除かれた動きベクトルの集合体
ｅ）平均及び優勢局所的及び広域加重予測パラメータ、これは、加重予測パラメータのフィルタリングされた集合体、加重予測パラメータの量子化された集合体、或いは異常値を除外された加重予測パラメータの集合体を含む。
【０２４７】
ｆ）変換係数のエネルギ、これはウェーブレット、ＤＣＴ、又はフーリエ変換係数を含む。
【０２４８】
ｇ）初期状態と動き補償予測との間の相関関係を反映する相関関係係数。
【０２４９】
ｈ）源ビデオ情報におけるフレームの空間的次元と数。
【０２５０】
ｉ）動き補償からの予測誤差メトリック。
【０２５１】
ｊ）一つ以上の参照フレームを用いる動き補償からの予測誤差メトリックの組み合わせの間の差異。及び／又は
ｋ）広域運動モデルパラメータ。
【０２５２】
処理２１００を実行するシステムは場面分類をビデオフィンガープリントへ集めて（２１１０）、ビデオフィンガープリントを源ビデオ情報へ関連させることができる（２１１５）。一つの例としては、このシステムは、ビデオフィンガープリントを源ビデオ情報の名称又は他の識別子により標識付けることにより、ビデオフィンガープリントを源ビデオ情報へ関連付けることができる。他の例としては、このシステムは、ビデオフィンガープリントを源ビデオ情報と共に記憶させることにより、ビデオフィンガープリントを源ビデオ情報へ関連付けることができる。或る実施形態では、源ビデオ情報は圧縮フォーマットで記憶することができる。例えば、ビデオフィンガープリントは、ＭＰＥＧ−７ＸＭＬに基づくディスクリプターフォーマットを用いて源ビデオ情報と平行に記憶することができる。或る実施形態では、源ビデオ情報を特徴付ける一部又は全ての情報は、ビデオフィンガープリントへ含めることができる。
【０２５３】
図２２はビデオコーディングシステム２２００の概略図である。ビデオコーディングシステム２２００は決定モジュール１１０及びビデオコーディングモジュール２２０５を含む。決定モジュール１１０は、システム１００，５００，７００，８００（図１，図５，図７，図８）の何れかの一部として、ビデオ情報から場面分類を生成することができる。ビデオコーディングモジュール２２０５は決定モジュール１１０から場面分類１２５を受け取って符号化されたビデオ情報２２１０を生成することができる。更に、或る実施形態によれば、ビデオコーディングモジュール２２０５は決定モジュール１１０へフィードバック２２１５を与えて、場面分類１２５を支援することができる。
【０２５４】
一般に，ビデオコーディングは目的のためにビデオ情報をフォーマットする処理である。たとえば、ビデオ情報はビデオコーディングを用いて記憶及び／又は転送のためにフォーマットすることができる。帯域幅及び／又は記憶スペースが制限されている状況では、ビデオコーディングはビデオ情報を転送及び／又は記憶のために圧縮することができる。ビデオコーディングのための技術の例は、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）規格、例えばＭＰＥＧ―２，ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４、及びＭＰＥＧ−４ＳＰ／ＡＳＰをも含み、他のコーデック及び規格、例えばＶＣ−１，Ｏｎ−２‘ｓＶＰ６及びＡＶＳのみではない。
【０２５５】
図２３−３２はビデオコーディングのための処理２３００，２４００，２５００，２６００，２７００，２８００，２９００，３０００、３１００，３２００のフローチャートである。処理２３００，２４００，２５００，２６００，２７００，２８００，２９００，３０００、３１００，３２００の一つ以上は一つ以上のデータ処理デバイスにより実行することができる。例えば処理２３００，２４００，２５００，２６００，２７００，２８００，２９００，３０００、３１００，３２００の一つ以上は、システム２２００（図２２）におけるビデオコーディングモジュールにより実行することができる。処理２３００，２４００，２５００，２６００，２７００，２８０２３００，２４００，２５００，２６００，２７００，２８００，２９００，３０００、３１００，３２００は個別に実行することができ、或いは処理２３００，２４００，２５００，２６００，２７００，２８０２３００，２４００，２５００，２６００，２７００，２８００，２９００，３０００、３１００，３２００は互いに及び／又は他の活動と関連させて実行することができる。例えば、処理２３００，２４００，２５００，２６００，２７００，２８０２３００，２４００，２５００，２６００，２７００，２８００，２９００，３０００、３１００，３２００の一つ以上は、処理１０００（図１０）を実行する後に実行することができる
図２３は場面変化のビデオコーディングに関係する処理２３００のフローチャートである。処理２３００を実行するシステムは、フレームのシーケンスを受け取って、それらのフレームの分類をなし（２３０５）、フレームのシーケンス及びそれらのフレームの分類をなす。フレームのシーケンス及びそれらの分類は、決定モジュール１１０のような決定モジュールから受け取ることができる。或る実施形態では、分類はフラッグ又は他のマーカーをフレーム自体へ例えばヘッダーとして関連させる。他の実施形態では、分類は個別のデータ構造に記憶され、これはインデックス番号、時間その他によりフレームを識別する。
【０２５６】
処理２３００を実行するシステムは、フレームのシーケンスにおける一つ以上のフレームが場面変化として分類できるか否かを判定する（２３１０）。システムが一つ以上のフレームを場面変化として分類するならば、処理２３００を実行するシステムは、これらのフレームを内部は符号化ピクチャとしての場面変化として分類し（２３１５）、シーケンスにおける他のフレームを参照することを避ける。内部符号化ピクチャは、他の先行符号化フレームを参照することなく複合化することができる。例えば、内部フレーム及びＩＤＲフレーム（Ｈ．２６４／ＡＶＣにおける）は内部符号化フレームである。
【０２５７】
処理２３００を実行するシステムは、長期参照フレームとして一つ以上の場面変化も選択的に記憶することができる（２３２０）。長期参照フレームは他のフレームの動き補償予測のための参照として用いられるフレームであり、除去すべき明確な指示に基づく場合を除いては、参照バッファから除去されることはない。
【０２５８】
図２４は場面変化のビデオコーディングに関係する他の処理２４００のフローチャートである。処理２４００を実行するシステムは、フレームのシーケンスを受け取って、これらのフレームを分類し（２３０５）、フレームのシーケンスにおける一つ以上のフレームが場面変化として分類できるか否かを判定する（２３１０）。このシステムが一つ以上のフレームを場面変化として分類するならば、処理２４００を実行するシステムは、一つ以上の近隣の最も優先レベルが高いフレームを内部符号化フレームとして分類することを確実にする（２４０５）。これに関連して、或るビデオコーダーは、他のフレームよりも高い優先レベルにおける特定のフレームを符号化する。例えば階層符号化構造は、特定のフレームを他のフレームよりも高い優先レベルにて符号化する。
【０２５９】
処理２４００を実行するシステムは、最高の優先レベルにて符号化すべき後続の近隣フレームを特定すると共に、このフレームが内部符号化ピクチャとして好ましく符号化されたことを保証する。これは近隣の場面変化における最高の優先フレームが内部符号化されたことを保証する。
【０２６０】
図２５はフェードイン遷移のビデオコーディングに関する他の処理２５００のフローチャートである。処理２５００を実行するシステムは、フレームのシーケンス及びこれらのフレームの分類を受け取り（２３０５）、フレームのシーケンスにおける一つ以上のフェードイン遷移を特定する（２５０５）。フェードイン遷移は、シーケンス内のフレームの受け取った分類を用いて特定することができる。処理２５００を実行するシステムは、特定されたフェードイン遷移に属するフレームを符号化するビットの割り当てを増加させることができる（２５１０）。このビットは、特定されたフェードイン遷移についてのレート割り当てを変更することにより割り当てることができる。これは特に、輝度変化補償がビデオエンコーダーに利用可能でないときに有益である。
【０２６１】
処理２５００を実行するシステムは、フェードイン遷移の開始及び終了フレームを特定及び符号化することもできる（２５１５）。この開始及び終了フレームは、フレームのシーケンスの受け取った分類から特定することができる。処理２５００を実行するシステムは、開始フレームと終了フレームとの一方又は両方を参照して、フェードイン遷移の内部フレーム（即ち、開始フレームと終了フレームとの間のフレーム）を符号化することができる（２５２０）。或る実施形態においては、双予測が用いられる（即ち、内部フレームが開始及び終了フレームの両方を参照して符号化される）。
【０２６２】
処理２５００を実行するシステムは、フェードイン遷移の端部フレームの直後に後続するフレームを内部符号化ピクチャとして符号化することもできる（２５２５）。このフレームが場面変化であるので、プロセッサ２３００（図２３）内の２３１５において内部符号化フレームとして場面変化フレームの符号化と一致する。処理２５００を実行するシステムは、開始フレームと、終了フレームに直後に後続するフレームとを選択的に記憶することもできる（２３５０）。
【０２６３】
フェードイン遷移を符号化するシステムは、２５２５及び２５３０にて説明した活動を実行するのではなく、特定のフレームを他のフレーム（例えば階層コーディング）において他のフレームよりも高い優先レベルの特定のフレームを符号化し、処理２５００を実行するシステムは、一つ以上の最も優先レベルが高いフレーム（その近傍でフレームが終了フレームの直後に後続する）内部符号化フレームとして符号化することを補償する。
【０２６４】
符号化器が輝度変化補償（加重予測）にアクセスする実施形態では、フェードインの終了フレームの直後に後続するフレームは、既に符号化されたフレームから予測でき、内部ピクチャとして符号化する必要はない。このことは単独の優先レベルを有する実施形態と複数の優先レベルを有する実施形態との両方へ適用される。
【０２６５】
図２６はフェードアウト遷移のビデオ符号化に関係する処理２６００のフローチャートである。処理２６００を実行するシステムは、フレームのシーケンス及びそれらのフレームの分類を受け取る（２３０５）と共に、レームのシーケンスにおける一つ以上のフェードアウト遷移を特定する（２６０５）。フェードアウト遷移は、受け取ったシーケンスにおけるフレームの分類を用いて特定することができる。処理２６００を実行するシステムは、ビットの割り当てを増大して、特定されたフェードアウト遷移に属するフレームを符号化する（２６１０）。このビットは、特定されたフェードアウト遷移についてのレート割り当てを変更することにより割り当てることができる。これは特に、輝度変化補償がビデオエンコーダーに利用可能ではない場合に有益である。
【０２６６】
処理２６００を実行するシステムは、フェードアウト遷移の開始及び終了フレームを特定して符号化することもできる（２６１５）。その開始及び終了フレームは、フレームのシーケンスの受け取った分類から特定することができる。処理２６００を実行するシステムは、開始フレームと終了フレームとの一方又は両方を参照して、フェードアウト遷移の内部フレーム（即ち、開始フレームと終了フレームとの間のフレーム）を符号化することができる（２６２０）。或る実施形態では、双予測が用いられる（即ち、内部フレームが開始フレームと終了フレームとの両方を参照して符号化される）。処理２６００を実行するシステムは開始フレーム及び終了フレームを長期参照フレームとして選択的に記憶することもできる（２６２５）。フレームを長期参照フレームとして選択的に記憶することもできる。
【０２６７】
図２７はクロスフェード遷移のビデオ符号化に関係する処理２７００のフローチャートである。 処理２６００を実行するシステムは、フレームのシーケンス及びこれらのフレームの分類を受け取って（２３０５）、フレームのシーケンスにおけるクロスフェードの一つ以上を特定する（２７０５）。クロスフェード遷移は、受け取ったシーケンスにおけるフレームの分類を用いて特定することができる。処理２７００を実行するシステムは、クロスフェード遷移の開始及び終了フレームを特定して符号化することができる（２７１０）。開始及び終了フレームはフレームのシーケンスの受け取った分類から特定することができる。処理２７００を実行するシステムは、開始フレームと終了フレームとの一方又は両方を参照してクロスフェード遷移の内部フレーム（即ち、開始フレームと終了フレームとの間のフレーム）を符号化することができる（２７１５）。或る実施形態においては、双予測が用いられる（即ち、内部フレームが開始フレームと終了フレームとの両方を参照して符号化される）。この処理２７００を実行するシステムは、２７２０にて、開始フレーム及び終了フレームを長期参照フレームとして記憶して、２７２５にて、クロスフェード繊維２７２５についての多重反復を有する高度に複雑な接合双予測運動評価を採用することができる
図２８は静止場面のビデオ符号化に関する処理２８００のフローチャートである。処理２８００を実行するシステムは、２３０５にて、フレームのシーケンス及びこれらのフレームの分類を受け取って、２８０５にて、フレームのシーケンスにおける一つ以上の静止場面を特定する．静止場面は、受け取ったシーケンスにおけるフレームの分類を用いて特定することができる。処理２８００を実行するシステムは、２８１０にて、静止場面を符号化する際に可視的な質を向上させることができる。また、処理２８００を実行するシステムは、２８１５にて、階層符号化構造の長さとひいては符号化遅延との両方を増大することができる。これに関連して、ｎがフレームのシーケンスにおける最後に符号化されたフレームであるとすると、階層符号化構造は、双予測動き補償を用いて、フレームｎ＋Ｎを圧縮すると共に、フレームｎ＋１乃至ｎ＋Ｎ−１を符号化することができ、ここでＮ＞１である。
【０２６８】
図２９は能動場面のビデオ符号化に関する処理２９００のフローチャートである。処理２８００を処理するシステムは、２３０５にて、フレームのシーケンス及びこれらのフレームの分類を受け取って、２９０５にて、フレームのシーケンスにおける一つ以上の能動場面を特定する。能動場面は、受け取ったシーケンスにおけるフレームの分類を用いて特定することができる。処理２９００を実行するシステムは、２９１０にて、ローパスフィルターとすることができる。特に、表示中に感知できない細部は、能動場面からローパスフィルタリングすることができる。
【０２６９】
処理２９００を実行するシステムは、２９１５にて、能動場面に適用される非ブロッキング化フィルターパラメータを調整することができる。特に、或る実施形態においては、仮に場面が遮断を良好に削減しようとする試みにおける能動であれば、強力な非ブロッキングフィルタを用いることができる。しかしながら、非ブロッキング強度は、仮に場面が他の実施の形態では、アーチファクトの導入を避けるように高いテクスチャ領域により特徴付けられるならば、低減させることができる。増加及び減少は、現在のフレームのビットレート目標又は領域、或いは用いられている量子化パラメータに依存する。或る実施形態においては、非ブロッキング化フィルターパラメータは調整する必要が無く、これは特に、高いビットレート及び／又は低い量子化が僅かなブロッキングアーチファクトをもたらす場合である。実際、或る実施形態においては非ブロッキングフィルターパラメータは場面のテクスチャ特性の保持を低減させることができる。 
処理２９００を実行するシステムは、能動場面のために、高度に複雑な接続双予測運動評価を採用して（２９２０）、これを複数回反復することができる。更に、処理２９００を実行するシステムは、能動場面に割り当てられたビットレートを低減させることができる（２９２５）。特に、割り当てられたビットレート、及びその結果としての品質は、場面に用いられた量子化又はラグランジアンパラメータを増大するか、変換及び量子化処理中に用いられた閾値化事項及び適合丸み付け係数を調整するか、スキップその他の低ビットコストを有する異なるモードの優先順位を決めるかによって、低減される。このような変化は、能動場面の符号化に用いられるビットの数を本質的に低減することができる。
【０２７０】
図３０は、カメラパン場面のビデオ符号化に関する処理３０００のフローチャートである。処理３０００を実行するシステムは、フレームのシーケンスを受け取り（２３０５）、これらのフレームを分類し（２３０５）、フレームのシーケンスにおける一つ以上のカメラパン場面を特定する（３００５）。カメラパン場面は、受け取ったシーケンスにおけるフレームの分類を用いて特定することができる。処理３０００を実行するシステムは、ビットの割り当てを増大して（３０１０）、特定されたカメラパン場面に属するフレームを符号化することができる。このビットは、特定されたカメラパン場面についてのビットレート割り当てを変更することにより割り当てることができる。処理３０００を実行するシステムは、カメラパン場面の開始及び終了フレームを特定して符号化することができる（３０１５）。開始及び終了フレームは、受け取ったフレームのシーケンスの分類から特定することができる。或る実施形態においては、開始及び終了フレームは内部符号化ピクチャとして符号化することができる。
【０２７１】
処理３０００を実行するシステムは、開始フレームと終了フレームとの一方又は両方を参照して（３０２０）、カメラパン場面の内部フレーム（即ち、開始フレームと終了フレームとの間のフレーム）を符号化することができる。或る実施形態においては、双予測が用いられる（即ち、内部フレームが開始及び終了フレームの両方を参照して符号化される）。処理３０００を実行するシステムは、開始フレーム及び終了フレームを長期参照フレームとして記憶することもできる（３０２５）。
【０２７２】
図３１はカメラズーム場面のビデオ符号化に関する処理３１００のフローチャートである。処理３１００を実行するシステムは、フレームのシーケンスとそれらのフレームの分類を受け取って（２３０５）、フレームのシーケンスにおける一つ以上のカメラズーム場面を特定する（３１０５）。カメラズーム場面は、受け取ったシーケンスにおけるフレームの分類を用いて特定することができる。処理３１００を実行するシステムは、特定されたカメラズーム場面における運動を最適に特徴付ける二つ以上の運動モデルと、ビデオ符号化モジュールにより支援された運動モデルとの間に相違が存在するか否かを判定することができる（３１１０）。運動モデルの例は、アファイン運動モデル、並進運動モデル、及び高次元運動モデルを含む。或る実施形態においては、特定されたカメラズーム場面における運動は、例えば、ビデオ符号化モジュールにより支援されないアファイン運動モデルを用いることにより最適に特徴付けることができる。
【０２７３】
処理３１００を実行するシステムが相違が存在すると判定したならば、このシステムは、カメラズーム場面を符号化する割り当てビットレートを変えることができる（３１１５）。例えば、ビデオ符号化モジュールがアファイン運動モデルを支援するならば、これはズームなどのカメラ遷移を良好に特徴付けることができ、僅かなビットをズーム遷移へ割り当てることができる。一方、ビデオ符号化モジュールが単に並進運動モデルを支援するのみであれば、これはズーム遷移を符号化する際に効率的ではなく、より多くのビットが割り当てられる。一般に、ビデオ符号化モジュールが高次元運動モデルを支持するならば、これは複雑な運動を良好に支援し、一般に良好な動き補償予測性能をもたらし、カメラスズーム場面の符号化に僅かなビットを割り当てることができる。
【０２７４】
処理３１００を実行するするシステムは、カメラズーム場面の開始及び終了フレームを識別して符号化することもできる（３１２０）。この開始及び終了フレームは、受け取ったフレームのシーケンスの分類から特定することができる。或る実施形態では、開始及び終了フレームを内部符号化ピクチャとして符号化することができる。
【０２７５】
処理３１００を実行するシステムは、開始フレームと終了フレームとの一方又は両方を参照して、カメラズーム場面の内部フレーム（即ち、開始フレームと終了フレームとの間のフレーム）を符号化することができる（３１２５）。或る実施形態においては、双予測が用いられる（即ち、内部フレームが開始フレームと終了フレームとの両方を参照して符号化される）。処理３１００を実行するシステムは開始フレーム及び終了フレームを長期参照フレームとして記憶することもできる（３１３０）。
【０２７６】
図３２はフラッシュ場面のビデオ符号化に関する処理３２００のフローチャートである。処理３２００を実行するシステムはフレームのシーケンス及びそれらのフレームの分類を受け取って（２３０５）、フレームのシーケンスにおける一つ以上のフラッシュ場面を特定する（３２０５）。フラッシュ場面は、受け取ったシーケンス内のフレームの分類を用いて特定することができる。処理３２００を実行するシステムは、フラッシュ場面におけるフレームを参照フレームとしての使用から除外することができる（３２１０）。処理３２００を実行するシステムは、ビットの割り当てを増大して、特定されたフラッシュ場面に属するフレームを符号化することもできる（３２１５）。ビットは特定されたフラッシュ場面についてのレート割り当ての変更により割り当てることができる。これは特に、輝度変化補償がビデオエンコーダに利用可能でない場合に有益である。
【０２７７】
図３３はビデオ符号化システム３３００の概略図である。ビデオ符号化システム３３００は決定モジュール１１０及びビデオ符号化モジュール３３０５を含む。決定モジュール１１０は、システム１００，５００，７００，８００（図１、図５、図６、図８）の何れかの一部として、ビデオ情報から場面分類１２５を生成することができる。場面分類１２５に加えて、ビデオ符号化モジュール２２０５は、決定モジュール１１０からビデオ特徴化情報３３０５を受け取ることもできる。ビデオ符号化モジュール２２０５はビデオ特徴化情報３３０５及び／又は場面分類１２５を用いて、符号化ビデオ情報２２１０を生成することができる。例えば、ビデオ符号化モジュール２２０５は、一つ以上のプロセッサ３４００，３５００，３６００，３７００，３８００，３９００，４０００（図３４−４０）を用いて符号化ビデオ情報２２１０を生成することができる。或る実施形態では、ビデオ符号化モジュール２３０５はフィードバック２２１５を決定モジュール１１０へ与えて、場面分類１２５の生成を支援することができる。
【０２７８】
図３４はビデオ符号化のための処理３４００のフローチャートである。処理３４００を実行するシステムは、フレームのシーケンス、これらのフレームの分類、及びこれらのフレームを特徴付けるビデオ特徴化情報を受け取る（３４０５）。ビデオ特徴化情報は、シーケンスのフレームについての動き予測誤差メトリック及び源変動を特徴付ける情報を含む。或る実施形態では、このような情報は空間解析モジュール（例えば空間解析モジュール５０５（図５、図８））により判定することができる。
【０２７９】
処理３４００を実行するシステムは、ビデオ特徴化情報に基づいてフレームについての複雑性メトリックを計算することができる（３４１０）。複雑性メトリックは、シーケンスＡにおけるフレームの複雑性を具体化するパラメータである。複雑性メトリックは、例えば、シーケンスにおけるフレームについての動き補償予測誤差メトリック及び源変動に基づいて計算することができる。例えば、或る実施形態においては、この複雑性メトリックは、近接した先行フレームの動き補償予測誤差メトリックと比べた現在のフレームの動き補償予測誤差メトリック（例えば、ＳＡＤ）である。他の実施形態では、複雑性メトリックは、現在のピクチャの全ての参照の動き補償予測誤差メトリックと比べた現在のピクチャについての動き補償予測誤差メトリックの加重平均である。
【０２８０】
処理３４００を実行するシステムは、フレームについての複雑性メトリックに基づいてフレームに対するビット割り当てを変更することができる（３４１５）。特に、より複雑なフレームには増大した数のビットを割り当てて、複雑性が低いフレームには低減した数のビットを割り当てることができる。
【０２８１】
図３５はビデオ符号化のための処理３５００のフローチャートである。この処理３５００を実行するシステムは、フレームのシーケンス、これらのフレームの分類、及びこれらのフレームを特徴付けるビデオ特徴化情報を受け取る（３４０５）。このビデオ特徴化情報には、シーケンスにおける領域及びフレームの輝度を特徴付ける輝度パラメータを含めることができる。或る実施形態においては、このような情報は、例えば輝度／彩度解析モジュール７０５（図７、図８）のような輝度／彩度解析モジュールにより決定することができる。
【０２８２】
処理３５００を実行するシステムは、ビデオ特徴化情報に基づいて一つ以上の暗い領域及び暗いフレームを特定することができる。暗い領域とは、フレーム内の領域であって、閾値よりも暗いか若しくはフレームの残りの部分よりも暗い領域である。暗いフレームとは、閾値よりも暗いか若しくはシーケンスの残りのフレームよりも暗いフレームである。暗い領域及びフレームは輝度パラメータに基づいて特定することができる。処理３５００を実行するシステムは、任意の特定された暗い領域及びフレームについてのビット割り当てを増大させることができる（３５１０）。
【０２８３】
図３６はビデオ符号化のための処理３６００のフローチャートである。処理３６００を実行するシステムは、フレームのシーケンス、それらのフレームの分類、及びそれらのフレームを特徴付けるビデオ特徴化情報を受け取る（３４０５）。ビデオ特徴化情報には、シーケンス内のフレームについてのＳＡＤ又は他の予測誤差メトリックを含めることができる。或る実施形態では、これらの予測誤差メトリックは、例えばＭＥＭＣフレームワークモジュール１０５（図１、図８）のようなＭＥＭＣフレームワークモジュールにより決定することができる。
【０２８４】
処理３６００を実行するシステムは、ビデオ特徴化情報に基づいてフレームのシーケンスにおける一つ以上の閉鎖フレームを特定することができる（３６０５）。閉鎖フレームとは、一つ以上の対象が、フレーム内の一つ以上の他の対象又は領域を時間的に閉鎖しているフレームである。閉鎖フレームは、例えば、別の対象がフレームのシーケンス期間中に異なる動きベクトルを有するときに生じる。閉鎖フレームは、例えば、上述したように、閉鎖に関係するＳＡＤ又は他の予測誤差メトリックの増大に基づいて特定することができる。
【０２８５】
処理３６００を実行するシステムは、閉鎖フレームを参照フレームとしての使用から除外することができ（３６１０）、閉鎖フレームを符号化するためのビット割り当てを増大させる（３６１５）。
【０２８６】
図３７はビデオ符号化のための処理３７００のフローチャートである。処理３７００を実行するシステムは、フレームのシーケンス、それらのフレームの分類、及びそれらのフレームを特徴付けるビデオ特徴化情報を受け取る（３４０５）。そのビデオ特徴化情報には、シーケンス内のフレームについての様々な予測誤差メトリック、例えばＳＡＤを含めることができ、これは、様々な動き及び区間解析モデルに基づいて計算することができる。或る実施形態においては、これらの予測誤差メトリックは、例えばＭＥＭＣフレームワークモジュール１０５（図１，図８）のようなＭＥＭＣフレームワークモジュールにより決定することができる。他の実施形態では、予測誤差メトリックを事前に計算しておいて、メタデータなどの外部の機構を通じて与えることができる。他の実施形態では、トランスコーディング・アーキテクチャに第２のビデオ符号化モジュールを含めて、既に符号化されたビデオを再符号化することができる。このような実施形態では、予測誤差メトリックはビットストリームから直接に導出することができ、これは例えば、ビットストリーム内の動き及びその他の情報を、或いはメタデータ及び／又はＭＥＭＣフレームワークモジュールから与えられた付加的な情報との組み合わせを解析することによってなされる。
【０２８７】
処理３７００を実行するシステムは、フレームのシーケンス内の動きを最適に特徴付ける二つ以上の動きモデルと、ビデオ符号化モジュールにより支援された動きモデルとの間に相違があるか否かを判定することができる（３７０５）。動きモデルの例は、アファイン動きモデル、並進モデル、及び高次元動きモデルを含む。
【０２８８】
処理３７００を実行するシステムが相違が存在すると判定したならば、システムは、フレームのシーケンスを符号化する割り当てビットレートを変更することができる（３７１０）
図３８はビデオ符号化のための処理３８００のフローチャートである。この処理３８００を実行するシステムは、フレームのシーケンス、これらのフレームの分類、及びこれらのフレームを特徴付けるビデオ特徴化情報を受け取る（３４０５）。ビデオ特徴化情報は、シーケンス内のフレームのためのＳＡＤその他の予測誤差メトリックを含むことができる。或る実施形態においては、これらの予測誤差はメトリックは、例えばＭＥＭＣフレームワークモジュール１０５（図１，図８）のようなＭＥＭＣフレームワークモジュールにより決定することができる。
【０２８９】
処理３８００を実行するシステムは、ビデオ特徴化情報に基づいて、新たに現れた一つ以上の対象を含むフレームのシーケンスにおける一つ以上のフレームを特定することができる（３８０５）。新たに現れた対象を含むフレームは、例えば、対象の出現に関係するＳＡＤその他の予測誤差メトリックにおける増加に基づいて特定することができる。
【０２９０】
処理３８００を処理するシステムは、新たに出現する対象を含むフレーム及びそのフレームに先行する近隣のフレームを符号化するビット割り当てを増大させることができる（３８１０）。
【０２９１】
或る実施形態においては、先行する近隣フレームは新たに出現する対象を含むフレームの直前に先行する。処理３８００を実行するシステムは、新たに出現する対象を含むフレームを参照して、対象の出現後にフレームを符号化することができる（３８１５）。処理３８００を実行するシステムは、先行する近隣フレームを参照して対象の出現前のフレームを符号化することができる（３８２０）。
【０２９２】
処理３８００を実行するシステムは、新たに出現する対象を含むフレームを長期参照フレームとして選択的に記憶することもできる。或る実施形態においては、先行近隣フレームも長期参照フレームとして記憶することもできる。というのは、これらは新たな対象により覆われる背景に関する情報を提供し得るためである。
【０２９３】
図３９はビデオ符号化のための処理３９００のフローチャートである．処理３９００を実行するシステムは、フレームのシーケンス、これらのフレームの分類、これらのフレームを特徴付けるビデオ特徴化情報を受け取る（３４０５）。そのビデオ特徴化情報はテクスチャ情報を含むことができる。或る実施形態においてテクスチャ情報は、例えば空間解析モジュール５０５（図５）のような空間解析モジュールにより決定することができる。
【０２９４】
処理３９００を実行するシステムは、ビデオ特徴化情報に基づいて、シーケンス内のフレームにおける一つ以上の領域が特定の形式の領域に属するか否かを判定することができる（３８０５）。例えば、システムは、シーケンス内のフレームにおける一つ以上の領域が、平滑領域、テクスチャ領域、或いはノイズ領域であるか否かを判定することができる。例えば、或るブロックが低い変動を有するか、或いは低振幅、低周波数係数（これはＤＣＴ基礎周波数解析を用いて決定することがでる）を含むのみであれば、このブロックは平滑領域として分類することができる。一方、空間的に活動的であるテクスチャ領域は、一貫性があり、通常に構成されたテクスチャパターンにより特徴付けられる領域であって、中程度から高い変動及び周波数特性を有するものとして分類できる。ノイズ領域とは、場面内の実際の信号（即ち実際の対象）とは無関係に現れる無作為のノイズパターンにより特徴付けられる領域である。ノイズ領域の分類には、ウィーナー（Ｗｉｅｎｅｒ）及びカルマン（Ｋａｌｍａｎ）フィルタリングなどの手法を用いることができるが、動き補償予測の使用に依ることもできる。特に、ノイズ領域は、時間的に相関する傾向にはなく、これは滑らかで或る程度延伸したテクスチャ領域とは異なっている。従って、高い動き補償予測誤差を伴う領域は、ノイズ領域に属する可能性が高いことを鑑みれば、それらの空間的特性もそのように分類することができる。
【０２９５】
処理３９００を実行するシステムが、フレームにおける一つ以上の領域を平滑領域と判定するならば、このシステムはそれらの領域のフィルタリングを低減することができる（３９１０）。フィルタリングにおける低減は、１０５のような動き補償時間的フィルタリング構造における源フレームの重みの増加を含むか、或いはより高い帯域幅フィルタの使用に依る。
【０２９６】
処理３９００を実行するシステムが、フレームにおける一つ以上の領域がテクスチャ領域でると判定するならば、このシステムはテクスチャ領域のフィルタリングを調節することができる（３９１５）。例えば、テクスチャ領域のフィルタリングは、これらのテクスチャ領域の詳細を保存するように調節することができる。これは、１０５のような動き補償時間的フィルタリング構造における源フレームの重みを増大することにより、或いはより高い帯域幅フィルタの使用を通じてなすことができる。調節可能なフィルタの例は、線形フィルタ（例えばガウス平滑化法）、非線形（例えばメジアン）フィルタ、及び、ウェーブレットや形態的処理等に基づく他のフィルタを含む。
【０２９７】
処理３９００を実行するシステムは、テクスチャ領域を符号化するビットの割り当てを増大することもでき（３９２５）、テクスチャ領域についての動き評価を予測するために付加的な計算資源を割り当てることもできる（３９３０）。
【０２９８】
処理３９００を実行するシステムが、フレーム内の一つ以上の領域がノイズ領域であると判定するならば、このシステムはノイズが閾値を越えるか否かを判定することができる（３９３５）。このシステムがノイズが閾値を超えると判定したならば、このシステムは変換係数閾値化及び量子化オフセットに適合することができる（３９４０）。変換係数閾値化とは、変換係数が保存するには大き過ぎるのであれば、変換係数が調整されたか外れた（即ち０に設定）を判定する処理である。量子化オフセットとは、量子化中の係数が端数を切り上げるべきか又は下げるべきかについて、変換及び量子化中に判定するように考慮されたパラメータである。変換係数閾値化及び量子化オフセットは、場面又は領域の形式及びその他のパラメータ（例えば品質又はビットレート目標など）に依存して増減することができる。例えば、或るブロックが高いテクスチャとして特徴付けられるならば、このことは、当該ブロックの圧縮性を増大しようとする試みにおいて、閾値化パラメータを増大及び／又は量子化オフセットを低減させることが望ましいであろう。一方、当該ブロックの主観的／知覚的品質を向上させようとする試みにおいて、平滑ブロックの詳細を可能な限り正確に保持して、閾値化パラメータを減少若しくは無効にするか及び／又は量子化オフセットを増大させることは望ましいことであろう。
【０２９９】
処理３９００を実行するシステムは、フィルタリングされた参照における動き評価を実行することもできる（３９４５）。フィルタリングされた参照は、ノイズを低減するように既にフィルタリングされたビデオ情報の集合体である。フィルタリングされた参照は、線形（例えば、ガウス平滑化）又は非線形フィルタ（例えば、メディアンフィルタリング）を使用することによりフィルタリングすることができる．動き評価が遠隔ＭＥＭＣフレームワークモジュール、例えばＭＥＭＣフレームワークモジュール１０５（図１）により実行される或る実施形態では、フィルタリングされた参照の動き評価の性能は、ビデオ符号化モジュール２２０５から決定モジュール１１０へのフィードバックの提供を含むことができる。決定モジュール１１０は、次に、ＭＥＭＣフレームワークモジュール１０５へ、動き評価に先立ってビデオ情報をフィルタリングするように指令することができる。
【０３００】
図４０はビデオ符号化のための処理４０００のフローチャートである。処理４０００を実行するシステムはフレームのシーケンス、これらのフレームの分類、及びこれらのフレームを特徴付けるビデオ特徴化情報を受け取る（３４０５）。このビデオ特徴化情報には、動き及び輝度変化特性、輝度及び彩度強度、変動、テクスチャ特性及びその他を含めて、ブロックのテクスチャ又は動き特性の説明を含めることができる。或る実施形態においては、これらブロックの説明は、ＭＥＭＣフレームワークモジュール、例えばＭＥＭＣフレームワークモジュール１０５（図１，図８）により決定することができる。
【０３０１】
処理４０００を実行するシステムは、フレームのシーケンスから一つ以上のフレーム内の一つ以上の領域を、ビデオ特徴化情報に基づいて、対象の領域として特定することができる（４００５）。対象の領域とは、視聴者の感覚から他の領域よりもフレームの可視的品質により関係するフレームにおける領域である。対象の領域は、例えば、動き補償予測ブロックとして用いられる領域の頻度に基づいて特定することができる。
【０３０２】
処理４０００を実行するシステムは、対象の領域を符号化するビット割り当てを増大させることができる（４０１０）。処理４０００を実行するシステムは、対象の領域に対して計算的に高価な符号化ツールを適用することもできる（４０１５）。計算的に高価な符号化ツールとは、増大した計算資源を必要とするものの、向上した符号化効率／性能をもたらし得る符号化技術である。計算的に高価な符号化ツールの例は、複数の反復を伴う重み予測及び双予測動き評価である。
【０３０３】
予測及び動き評価が遠隔ＭＥＭＣフレームワークモジュール、例えばＭＥＭＣフレームワークモジュール１０５（図１）で実行される或る実施形態では、計算的に高価なコーディング・ツールの適用は、ビデオ・コーディング・モジュール２２０５から決定モジュール１１０へのフィードバック２２１５の提供を含むことができる。次に決定モジュール１１０は、ＭＥＭＣフレームワークモジュール１０５に計算的に高価なコーディング・ツールを対象の領域へ適用するように指示することができる。
【０３０４】
処理４０００を実行するシステムは、対象の領域のフィルタリングを低減させることもできる（４０２０）。フィルタリングの低減は、前置処理段階における高帯域フィルタの使用、及び／又は、ビデオ符号化モジュール、例えばビデオ符号化モジュール２２０５（図２２）におけるインループ非ブロック化フィルタの強度の減少を含むことができる。
【０３０５】
或る実施形態においては、本明細書に説明されたシステム及び技術はレート制御計画に関連させて用いることができる。レート制御とは、フレームの符号化中にビット目標を達成させる機構である。特に、圧縮されたビットストリームは、送信又は目標中間通過レート制御により課された特定の帯域幅の制約を満たすことができよう。レート制御アルゴリズムは、各フレームへ割り当てられたビット数を変動させるように試みて、可視的な品質を保ちつつ目標ビットレートを達成させることができる。
【０３０６】
ｐａｄａｐｔは適応期間を示すものとする。フレーム又は領域のシーケンスが静的であるならば、ピクチァに割り当てられたビットは、一時的に増大した各適合ピクチャとすることができる。例えば、或る実施形態においては、量子化パラメータ（ＱＰ）値は、各ｐａｄａｐｔピクチャ毎に変更因子ＱＰｉｎｉｔａｄａｐｔにより変更することができ、これは負の値を有する。各シーケンスから残りのｐａｄａｐｔ−１フレームは適合されたピクチァよりも僅かなビットを受け取ることができる。例えば、或る実施形態においては、ＱＰｉｎｉｔ０のＱＰ変更子（これはＱＰｉｎｉｔａｄａｐｔ以上である）を用いることができる。従って圧縮効率は、静止若しくは動きが少ない場面について向上させることができ、専ら対象の領域へ適用することができる。例えばピクチァシーケンスは、高動き領域及び低動き領域へ分割することができる。この技術は、低動き領域についてのビット割り当てを向上させるために使用することができる。しかしながら、高動き場面又は領域にこの試みを用いることは性能を低減させる。特に、連続的なピクチァ間の制限された相関関係は、シーケンス内のフレームへ割り当てられた任意の付加的なビットを浪費させる。というのは、最初のフレームは後続のフレームにより参照されことは稀であるためである。
【０３０７】
この問題に対処するために、フレーム及び／又は領域は、特定のフレーム及び／又は領域に付加的なビットを割り当てるべきか否かを判定するように解析することができる。従って、分類決定がなされるピクチァの期間値及び数の合計は、摺動ウィンドウピクチァバッファ長さ            ｐａｄａｔ＋ｎｄｏｃ．ｗ．＜ｎｒｅｆよりも低く保つことができる。これは摺動ウィンドウが充分に大きいので、ｐａｄａｔフレームの見込みに基づいてウィンドウ内に付加的なビットを割り当てられるか否かを判定できることを確実にする。階層符号化構造がイメージシーケンスの符号化に用いられるのであれば、期間ｐａｄａｔは最高の優先レベル（階層期間ｐｈｉｅｒ）のフレーム間の期間の倍数に制限することができる。全てのフレームが同じ優先レベルを有するならば、ｐｈｉｅｒ＝１である。同じ制約がパラメータｎｄｏｃ．ｗにも適用できる。更に、付加的なビットが割り当てられるフレーム（例えばそれらのＱＰがＱＰｉｎｉｔａｄａｐｔにより変更されることによる）は、最高の優先レベルに置かれるように制限することができる。
【０３０８】
図４１はレート制御のための処理４１００のフローチャートである。処理４１００を実行するシステムは、カウンタＣｎｔａｄａｐｔをイメージシーケンスの開始において零に設定することができる（４１０５）。更に、カウンタＣｎｔａｄａｐｔは、フレームに割り当てられるビットが一時的に増大するたびに繰り返し消去することができる。或る実施形態においては、ビット割り当ては、フレームのＱＰをＱＰｉｎｉｔａｄａｐｔで変更することにより、増大させることができる。処理４１００を実行するシステムは、このシステムが動き補償ＳＡＤの絶対差が閾値よりも小さいと判定する（４１１０）たびにＣｎｔａｄａｐｔカウンタをｐｈｉｅｒで増加することができる（４１１５）。例えば、閾値は定数と短期及び長期ＳＡＤ平均の重みの組み合わせとの積とすることができる。
【数３６】
0005524063.tif 000037
【０３０９】
（式２４）
或る実施形態においては、α＝０．５且つβ＝０．５である。しかしながら、これらの値は階層符号化構造の使用に基づいて変更することができる。ビットが領域へ割り当てられている或る実施形態においては、ＳＡＤは特定の領域に属するブロックを含む。
【０３１０】
処理４１００を実行するシステムが式２４の条件を満たさないと判定するならば、Ｃｎｔａｄａｐｔカウンタは、考慮事項（ｊ−ｐａｄａｐｔ）の下のフレームに続く時間的に相関するピクチァ又は領域の不十分な数を反映して消去することができる（４１２０）。処理４１００を実行するシステムが式２４の条件を満たすと判定するならば、このシステムはカウンタＣｎｔａｄａｐｔをｐｈｉｅｒだけ増加させることができる（４１１５）。
【０３１１】
処理４１００を実行するシステムは、カウンタが値Ｐａｄａｐｔに達したか否かを判定することもできる（４１２５）。処理４１００を実行するシステムがカウンタが値Ｐａｄａｐｔに達したと判定するならば、このシステムはフレームｊ−ｐａｄａｐｔへ割り当てられたビットの数を一時的に増加させる（これは例えば、フレームｊ−ＰａｄａｐｔのＱＰ値をＱＰｉｎｉｔａｄａｐｔで変更することによる）ことができ（４１３０）、カウンタｃｎｔａｄａｐｔを消去することができる（４１３５）。他方、処理４１００を実行するシステムは（例えば、ＱＰ変更因子ＱＰｉｎｉｔ０をフレームへ割り当てることにより）僅かなビットを割り当てることもできる（４１４０）。動き補償ＳＡＤは、ＭＥＭＣフレームワークモジュール、例えばＭＥＭＣフレームワークモジュール１０５を用いて導くことができる。他の誤差メトリックも用いることができる。短期平均は、決定閾値を局所的な場面統計値へ適合させるように用いることがで、これは次式で与えられる。
【数３７】
0005524063.tif 000038
【０３１２】
（式２５）
ここで長期ＭＡＤは次式で与えられる。
【数３８】
0005524063.tif 000039
【０３１３】
式２６
閾値ｔｓｔａｔｉｃは浮動小数点数である。或る実施形態においては、ｔｓｔａｔｉｃは概ね０．１５の値を有する。或る実施形態においては、ＱＰ変更因子ＱＰｉｎｉｔａｄａｐｔは局所領域又は場面統計値へ適合させることができる。適合アルゴリズムは、時間的、空間的、及び輝度情報を考慮に入れることができる。例えば、
（ａ）時間的相関関係はＳＡＤ誤差の大きさを見積もることにより考慮することができる。誤差の大きさがより大きければ僅かな付加的ビットが割り当てられる。或る実施形態においては、変更因子ＱＰｉｎｉｔａｄａｐｔはより小さくなる。というのは、大きなＳＡＤは大きな動きを表すためである。
【０３１４】
（ｂ）空間的複雑性は、空間的変動を見積もることにより考慮することができる。この場合も同様に、誤差の大きさがより大きければ僅かな付加的ビットが割り当てられる。或る実施形態においては、変更因子ＱＰｉｎｉｔａｄａｐｔはより小さくなる。
【０３１５】
（ｃ）高い輝度は圧縮アーチファクトを覆い隠し、付加的なビット数は例えば変更因子を低減させることにより低減させることができる。より暗い場面はアーチファクトをより圧縮する傾向にあるが、付加的なビット数は、例えば変更因子の値を増大することにより増大させることができる。
【０３１６】
例示的システム
図４２は本明細書に説明した何れの技術（若しくは何れの組み合わせ）を採用できるシステムの例を示す。この技術は一つ以上のコンピュータ４２０５Ａ，４２０５Ｂで用いることができる。本明細書における一つ以上の方法（例えば、アルゴリズム／処理）は、コンピュータ及び／又はビデオディスプレイ４２２０、送信、処理、及び再生システムと共に、或いはこれらに採用して実施することができる。本明細書に説明したコンピュータは任意の種類のコンピュータとすることができ、汎用、若しくは或る特定の目的のコンピュータ、例えばワークステーションの何れでもよい。コンピュータ４２０５Ｂは、例えばＩｎｔｅｌ又はＡＭＤに基づき、Ｗｉｎｄｏｗｓ  ＸＰ（商標）、Ｖｉｓｔａ（商標）、又はＬｉｎｕｘ（商標）が作動するものでもよく、或いはＭａｃｉｎｔｏｓｈコンピュータとしてもよい。一つの実施例は、例えばハンドヘルドコンピュータ、例えばＰＤＡ４２１５，携帯電話４２１５，又はラップトップ４２０５Ａに関係してもよい。コンピュータは、イメージ記録或いはデータ（特にビデオデータ）の受信４２２５，４２３０，４２３５、処理、記憶４２４０、及び分配のための装置又は装置の部品も称するものとし得る。
【０３１７】
本明細書に説明した実施例の任意の組み合わせはビデオシステムの一部及びその要素としてもよい。実施例の任意の組み合わせは、ビデオエンコーダの一部及び／又は例示的なビデオシステムの一部及び／又は何れかの図面に描かれた要素/モジュールの一部としてもよい。実施例の任意の組み合わせは、ハードウェア及び／又はソフトウェアに実装してもよい。例えば、任意の実施例はコンピュータプログラムにより実施してもよい。
【０３１８】
コンピューター及び／又はグラフィック・プログラムは、Ｃ又はＰｙｔｈｏｎ、又はＪａｖａ，Ｂｒｅｗ或いは他のプログラミング言語で記述してもよい。プログラムは記憶媒体に常駐させてもよく、その記憶媒体は、例えば、磁気的又は光学的、例えばコンピュータ・ハードドライブ、取り外し自在なディスク又は媒体、例えばメモリースティック、又はＳＤ媒体、有線又は無線ネットワークに基づくもの、又はＢｌｕｅｔｏｏｔｈに基づくもの（又はその他の）ネットワーク取り付け記憶装置（ＮＡＳ）、或いは他の固定又は取り外し可能媒体である。このプログラムはネットワーク４２５０上で作動させてもよく、これは例えば局所的装置へ通信を送るサーバーその他の装置であり、これは局所的装置に本明細書に説明した操作を実行させることを可能にする。そのネットワークは記憶領域ネットワーク（ＳＡＮ）を含んでもよい。
【０３１９】
幾つかの実施例のみについてその詳細を上記に説明したが、他の実施例も可能である。本発明の実施例は、本明細書に説明した一つ以上の例示的な技術についての均等物若しくは代替物を包含し得ることに留意されたい。本明細書には一般的な目標を他の方式で達成するための特定の例を説明した。この説明は例示的な実施例を代表するものであって、以下の請求項は何れの均等物、変形例、若しくは代替例を包含するように意図されていることに留意されたい。
【０３２０】
本明細書に説明した主題事項及び機能的操作は、本明細書に開示した構造及びその構造的均等物、又はそれらの一つ以上の組み合わせを含めて、デジタル電子回路系で、又はコンピュータソフトウェア、ファームウェア、或いはハードウェアで実施することができる。本明細書に説明した主題事項の実施例は、一つ以上のコンピュータプログラム製品、例えば、データ処理装置により実行されるか、或いはデータ処理装置の操作を制御するようにコンピュータ読み取り可能媒体に符号化されたコンピュータプログラム指令の一つ以上のモジュールとして実施することができる。コンピュータ読み取り可能媒体は、機械読み取り可能記憶媒体４２４０，機械読み取り可能記憶基板、メモリデバイス、機械読み取り可能伝搬処理交信に物質的効果を与える構成要素、或いはそれらの一つ以上の組み合わせとすることができる。用語「データ処理装置」とは、例としてプログラマブルプロセッサ、コンピュータ、又はコンピュータの複数のプロセッサを含めて、データを処理する全ての装置、デバイス及び機械を包含する。この装置はハードウェアに加えて、問題であるコンピュータプログラムのための実行環境を形成するコード、例えば、プロセッサファームウェア、プロトコルスタック、グラフィカルシステム、データベース管理システム、オペレーティングシステム、又はこれらの一つ以上の組み合わせを構成するコードを含むことができる。
【０３２１】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル形式又はインタープリテッド形式言語を含めて任意の形式のログラム言語で記述することができ、これは単独で作動するプログラムとして、或いはモジュール、構成要素、サブルーティーン、又は計算環境における使用に適する他のユニットとしてのものを含めて任意の形式で展開することができる。コンピュータプログラムは、ファイルシステムにおけるファイルに対応する必要はない。プログラムは、問題のプログラム専用の単独のファイル、又は多重調整ファイル（例えば、一つ以上のモジュール、補助プログラム、又はコードの一部を記憶するファイル）において、他のプログラム又はデータ（例えば、マークアップ言語ドキュメントに記憶された一つ以上のスクリプト）を保持するファイルの一部に記憶させることができる。コンピュータプログラムは、一つのコンピュータで実行するように、或いは複数の場所に亘って分散されて交信ネットワークで相互接続された複数のコンピュータで実行するように展開することができる。
【０３２２】
本明細書に説明説及び図示した処理及び論理フロー並びに図面は、一つ以上のプログラマブルプロセッサにより実行することができ、そのプロセッサは入力データ及び生成される出力を操作することにより、機能を遂行する一つ以上のコンピュータプログラムを実行することができる。プロセッサ及び論理フローは特定用途の論理回路系により実行することもでき、また、装置も特定用途の論理回路系として実施することもでき、これは例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）、若しくは他のプログラマブル論理デバイス（ＰＬＤ）、例えばマイクロコントローラであり、或いはＡＳＩＣ（特定用途向け集積回路）である。
【０３２３】
コンピュータプログラムの実行に適するプロセッサは、例として、汎用と特定目的との両方のマイクロプロセッサ、及び任意の形式のデジタルコンピュータの一つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ又はランダム・アクセス・メモリ若しくはそれらの両方からの指令又はデータを受け取ることができる。コンピュータの基本的要素は、指令を実行するプロセッサと、指令及びデータを記憶するための一つ以上のメモリーデバイスである。一般に、コンピュータは、例えば、磁気的、光磁気ディスク、又は光ディスクなどのデータを記憶する一つ以上の大容量記憶デバイスを含むこともでき、或いはそれに対してデータを送信したり受信したりするように動作可能に接続することもできる。しかしながら、コンピュータはそのようなデバイスを有している必要はない。更に、コンピュータは、他のデバイスに組み込むこともでき、その若干の例を挙げると、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、携帯型オーディオプレーヤー、全地球測位システム（ＧＰＳ）受信機などである。コンピュータプログラム指令及びデータを記憶するのに適するコンピュータ読み取り可能媒体は、例として、半導体メモリデバイス（例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス）、磁気ディスク（例えば内蔵ハードディスク、又は取り外し可能ディスク）、光磁気ディスク、並びにＣＤ  ＲＯＭ及びＤＶＤ―ＲＯＭディスクを含めて、不揮発性メモリ、媒体、及びメモリ・デバイスの全ての形態を含む。プロセッサ及びメモリは、特定用途論理回路系により補完できるか、或いはそれに組み込むことができる。
【０３２４】
ユーザーとの対話を与えるために、本明細書に説明された主題の或る実施例は、コンピュータで実施することが可能であり、そのコンピュータは、ユーザーへ情報を表示するためのディスプレイ・デバイス（例えば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、又はプラズマ・ディスプレイ・モニタ４２２０）、キーボード、及びセレクタ（例えば、ポインティング・デバイス、マウス、又はトラックボールなど、これによりユーザーがコンピュータへ入力を与えることができるもの）を有する。他の種類のデバイスをユーザーとの対話を与えるために用いることができ、しかも、例えばユーザーへ与えられるフィードバックは、任意の形式の知覚フィードバック、例えば可視フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザーからの入力は、音響、発話、又は触覚入力を含めて、任意の形式で受け取ることができる。
【０３２５】
本明細書に説明した主題の或る実施例は、コンピューティング・システムに実装することが可能であり、このコンピューティング・システムは、例えばデータ・サーバーとしての後置構成要素を含むもの、又は例えばアプリケーション・サーバーのようなミドルウェア構成要素を含むもの、又はユーザーが本明細書に説明された主題の実施例と対話できるグラフィカル・ユーザー・インターフェース又はウェブ・ブラウザを有するクライアント・コンピュータなどの前置構成要素を含むもの、或いはこれらの後置、ミドルウェア、又は前置構成要素の一つ以上の任意の組み合わせを含むものである。このシステムの構成要素は、デジタル・データ交信システム、例えば交信ネットワークの任意の形式又は媒体により相互接続することができる。交信ネットワークの例は、ローカル・エリア・ネットワーク（ＬＡＮ）及び広域ネットワーク（ＷＡＮ）、例えばインターネットを含む。
【０３２６】
このコンピューティング・システムは、クライアント及びサーバーを含む。クライアントとサーバーとは、一般に互いに遠隔しており、典型的には交信ネットワークを通じて相互作用する。クライアントとサーバーとの関係は、各コンピュータで作動するコンピュータプログラムの効能により生じると共に、互いにクライアント−サーバー関係を有する。
【０３２７】
この開示事項は多くの仕様を包含するが、これは請求すべき事項の制限としてではなく、むしろ本発明の特定の実施例の特徴的仕様の説明として見なすべきである。個別の実施例に関連して本明細書に説明した特定の特徴は、単独の実施例の組み合わせに実装してもよい。逆に言えば、単独の実施例に関連して説明した様々な特徴は、複数の個別の実施例において、或いは任意の適切なサブ・コンビネーションにおいて実施することができる。更に、上述では特徴が特定の組み合わせにおいて作動するものとして説明し、そのようなものも冒頭に等しく請求したが、請求した組み合わせからの一つ以上の特徴は、或る場合には組み合わせから削除することができ、請求された組み合わせはサブコンビネーション若しくはサブコンビネーションの変形例も指向している。同様に、操作が特定の順序で図面に描かれているが、これは、そのような操作が図示された特定の順序若しくは逐次的順序で実行する必要があると解釈すべきではなく、また、全ての図示された操作が望ましい結果を得るために実行する必要があると解釈すべきではない。特定の環境においては、マルチタスキング及び並列処理が更に有益であろう。更に、上述の実施例における様々なシステム構成要素の分離は、このような分離が全ての実施例において要求されるものであるとは解釈すべきではなく、説明したプログラム構成要素及びシステムは、通常は、単独のソフトウェア又はハードウェア製品に互いに集積されるか、或いは複数のソフトウェア又はハードウェア製品に同梱されることに留意されたい。
【０３２８】
多数の実施形態について説明した。それにも拘わらず、幾多の変形例をなし得ることに留意されたい。例えば、動き評価は、現在のフレームに似ているような時間的距離以外の基準に基づいて選択された参照フレームを用いて実行することができる。例えば、或る実施形態では、動き評価及び動き補償は、既にフィルタリングされたフレームで実行することができる。参照フレームは空間的フィルタリング若しくは時空間的フィルタリングをなすことができる。或る実施形態では、フレームは参照フレームとしての使用に先立って複数回フィルタリングすることができる。フレームの入力シーケンスはカスケード式連続フィルタを用いてフィルタリングすることができる。或る実施形態では、非ブロック化フィルタは、低域通過フィルタ及び拡張フィルタの後に続かせることができる。第１のフィルタはアーチファクト阻止を低減させることができ、第２のフィルタはノイズを低減させることができ、そして最後のフィルタは、第１及び第２のフィルタで減衰したであろう詳細を向上させることができる。或る実施形態では、フィルタは、平行で且つそれらの出力が線形若しくは非線形に組み合わされたものに適用することができる。或る実施形態では、平行とカスケード式とのフィルタの組み合わせ体を使用することができる。これらの場合、一つのフィルタリング配列の出力は他のフィルタリング配列のへの入力として用いることができる。
【０３２９】
他の例として、或る実施形態では、非ブロッキング・フィルタは予想フレームへ適用することができる。例えば、非ブロッキング・フィルタは、アーチファクト阻止（即ち、不要な境界アーチファクト）を低減するために適用することができる。或る実施形態においては、非ブロッキングフィルタは最終予測フィルタのみに適用される。他の実施形態においては非ブロッキングフィルタは一つ以上の前置予測フィルタへ適用される。非ブロッキングフィルタの前置予測フィルタへの適用は、異なる動きモデルを前置予測フレームへ達するように用いるならば、特に有益である。
【０３３０】
他の例としては、ビデオ符号化モジュール２２O５は、決定モジュール１１０以外の一つ以上のデバイスからビデオ特徴化情報３３O５を受け取ることができる。例えば、或る実施形態においては、ビデオ符号化モジュール２２０５は、一つ以上のモジュール１０５，５０５，７０５から直接にビデオ特徴化情報３３０５を受け取ることができる。
【０３３１】
従って、他の実施形態も以下の特許請求の範囲の目的の範囲内にある。
【図１】
0005524063.tif 000040
【図２】
0005524063.tif 000041
【図３】
0005524063.tif 000042
【図４】
0005524063.tif 000043
【図５】
0005524063.tif 000044
【図６】
0005524063.tif 000045
【図７】
0005524063.tif 000046
【図８】
0005524063.tif 000047
【図９】
0005524063.tif 000048
【図１０】
0005524063.tif 000049
【図１１】
0005524063.tif 000050
【図１２】
0005524063.tif 000051
【図１３】
0005524063.tif 000052
【図１４】
0005524063.tif 000053
【図１５】
0005524063.tif 000054
【図１６】
0005524063.tif 000055
【図１７】
0005524063.tif 000056
【図１８】
0005524063.tif 000057
【図１９】
0005524063.tif 000058
【図２０】
0005524063.tif 000059
【図２１】
0005524063.tif 000060
【図２２】
0005524063.tif 000061
【図２３】
0005524063.tif 000062
【図２４】
0005524063.tif 000063
【図２５】
0005524063.tif 000064
【図２６】
0005524063.tif 000065
【図２７】
0005524063.tif 000066
【図２８】
0005524063.tif 000067
【図２９】
0005524063.tif 000068
【図３０】
0005524063.tif 000069
【図３１】
0005524063.tif 000070
【図３２】
0005524063.tif 000071
【図３３】
0005524063.tif 000072
【図３４】
0005524063.tif 000073
【図３５】
0005524063.tif 000074
【図３６】
0005524063.tif 000075
【図３７】
0005524063.tif 000076
【図３８】
0005524063.tif 000077
【図３９】
0005524063.tif 000078
【図４０】
0005524063.tif 000079
【図４１】
0005524063.tif 000080
【図４２】
0005524063.tif 000081