(57)【要約】【課題】高質の内挿フレームを生成するために必要な計算量を減少させつつこれらの高質の内挿フレームを復号器において提供する。【解決手段】圧縮効率及び再構築された映像の品質を向上させることを目的として、映像符号器における映像符号化動作および前処理動作を利用して復号器内において行われるＦＲＵＣ処理を補助する符号器補助式フレーム速度アップコンバージョン（ＥＡ−ＦＲＵＣ）システムを提供する。前記ＥＡ−ＦＲＵＣシステムの一動作は、映像コンテンツのフレームシーケンスのフレーム内における空間的アクティビティを決定することによって前記フレームシーケンス内のフレームを符号化するかどうかを決定することと、前記フレーム内における時間的アクティビティを決定することと、前記決定された空間的アクティビティ及び前記決定された時間的アクティビティに基づいて前記フレーム内における時空間的アクティビティを決定することと、前記決定された空間的アクティビティ、前記決定された時間的アクティビティ、及び前記決定された時空間的アクティビティのうちの少なくとも１つに基づいてソースフレームにおける冗長性のレベルを決定することと、前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレーム内の非冗長情報を符号化すること、とを含む。【選択図】        図２
2008507915.tif 000002
【特許請求の範囲】
【請求項１】
フレームシーケンスを含む映像シーケンスの構築方法であって、
前記フレームシーケンス内における１つの型のアクティビティの量を決定することであって、前記アクティビティの型は、空間的アクティビティ、時間的アクティビティ及び時空間的アクティビティから成るグループから選択されることと、
前記アクティビティにおける冗長性を決定することと、
前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレームを符号化すること、とを具備する方法。
【請求項２】
前記フレームシーケンス内における前記空間的アクティビティを決定することは、前記シーケンスの少なくとも１つのフレーム内におけるテクスチャ情報量を決定することを具備する請求項１に記載の方法。
【請求項３】
前記フレームシーケンス内における前記時間的アクティビティを決定することは、前記フレームシーケンス内の少なくとも２つのフレーム間における時間的相関量及び冗長性を決定することを具備する請求項１に記載の方法。
【請求項４】
前記フレームシーケンスの前記フレーム内における前記時空間的アクティビティを決定することは、前記フレームシーケンス内における少なくとも２つのフレーム間における時間的相関量及びテクスチャ情報量の冗長性を決定することを具備する請求項１に記載の方法。
【請求項５】
前記アクティビティにおける前記冗長性を決定することは、コントラスト比尺度、空間的複雑さ尺度及び分散尺度から成る前記グループから選択された少なくとも１つの空間的アクティビティ尺度を用いて冗長性を決定することを具備する請求項１に記載の方法。
【請求項６】
前記アクティビティにおける前記冗長性を決定することは、動きフィールド強度尺度、時間的複雑さ尺度、差分絶対値和尺度から成る前記グループから選択された少なくとも１つの時間的アクティビティ尺度を用いて冗長性を決定することを具備する請求項１に記載の方法。
【請求項７】
前記アクティビティにおける前記冗長性を決定することは、複数の隣接フレーム間における空間的アクティビティ相関尺度、方向性尺度、様々な空間的アクティビティを有する領域間の結合挙動尺度、動きフィールド強度尺度、時間的複雑さ尺度、及び差分絶対値和尺度から成る前記グループから選択された少なくとも２つのアクティビティ尺度を比較することによって冗長性を決定することを具備する請求項１に記載の方法。
【請求項８】
２つのフレーム間における差分情報を決定する方法であって、画素差尺度、動き情報差尺度、モード決定しきい値尺度及び内挿フレームリファインメント尺度から成るグループから選択された差尺度を決定することを具備し、前記差尺度を前記決定することは、フレーム速度アップコンバージョンプロセスを用いて行われる方法。
【請求項９】
差分情報をコーディングする方法であって、動き補償プロセス、動きベクトル変換プロセス、動きベクトル量子化プロセス及びエントロピーコーディングプロセスから成るグループから選択された少なくとも１つの技術を使用することを具備し、前記少なくとも１つの技術は映像コーディング標準において指定されており、標準準拠プロセッサは、前記差分情報をフレーム速度アップコンバージョンプロセスと関連して処理して映像フレームを生成することができる方法。
【請求項１０】
映像ビットストリームを処理する方法であって、前記映像ビットストリームは差分情報を内蔵し、
可変長コーディング技術、ハフマンコーディング技術、及び算術的コーディング技術から成るグループから選択されたエントロピーコーディング技術を用いて前記映像ビットストリーム内の差分情報をコーディングすることと、
前記コーディングされた情報を映像コーディング標準において指定されているユーザーデータ構文で伝達すること、とを具備する方法。
【請求項１１】
標準に準拠した映像ビットストリームを生成することをさらに具備する請求項１０に記載の方法。
【請求項１２】
符号化された差分情報を有する映像ビットストリームを処理する方法であって、前記符号化された差分情報はユーザーデータ構文で格納されており、
前記符号化された差分情報を前記ユーザーデータ構文から抽出することと、
前記差分情報を復号することと、
前記復号された差分情報をフレーム速度アップコンバージョンプロセスにおいて用いて映像フレームを生成すること、とを具備する方法。
【請求項１３】
フレームシーケンスを含む映像シーケンスの構築方法であって、
前記フレームシーケンス内における１つの型のアクティビティの量を決定することであって、前記アクティビティの型は、空間的アクティビティ、時間的アクティビティ及び時空間的アクティビティから成るグループから選択されることと、
前記アクティビティにおける冗長性を決定することと、
前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレームを符号化することとを具備する方法、をコンピュータに実行させるための命令が格納されている、コンピュータによって読取可能な媒体。
【請求項１４】
前記フレームシーケンス内における前記空間的アクティビティを決定することは、前記シーケンスの少なくとも１つのフレーム内におけるテクスチャ情報量を決定することを具備する請求項１３に記載の媒体。
【請求項１５】
前記フレームシーケンス内における前記時間的アクティビティを決定することは、前記フレームシーケンス内の少なくとも２つのフレーム間における時間的相関量及び冗長性を決定することを具備する請求項１３に記載の媒体。
【請求項１６】
前記フレームシーケンスの前記フレーム内における前記時空間的アクティビティを決定することは、前記フレームシーケンス内の少なくとも２つのフレーム間における時間的相関量及びテクスチャ情報量の冗長性を決定することを具備する請求項１３に記載の媒体。
【請求項１７】
前記アクティビティにおける前記冗長性を決定することは、コントラスト比尺度、空間的複雑さ尺度及び分散尺度から成る前記グループから選択された少なくとも１つの空間的アクティビティ尺度を用いて冗長性を決定することを具備する請求項１３に記載の媒体。
【請求項１８】
前記アクティビティにおける前記冗長性を決定することは、動きフィールド強度尺度、時間的複雑さ尺度、差分絶対値和尺度から成る前記グループから選択された少なくとも１つの時間的アクティビティ尺度を用いて冗長性を決定することを具備する請求項１３に記載の媒体。
【請求項１９】
前記アクティビティにおける前記冗長性を決定することは、複数の隣接フレーム間における空間的アクティビティ相関尺度、方向性尺度、様々な空間的アクティビティを有する領域間の結合挙動尺度、動きフィールド強度尺度、時間的複雑さ尺度、及び差分絶対値和尺度から成る前記グループから選択された少なくとも２つのアクティビティ尺度を比較することによって冗長性を決定することを具備する請求項１３に記載の媒体。
【請求項２０】
２つのフレーム間における差分情報を決定する方法であって、画素差尺度、動き情報差尺度、モード決定しきい値尺度及び内挿フレームリファインメント尺度から成るグループから選択された差尺度を決定することを具備し、前記差尺度を前記決定することは、フレーム速度アップコンバージョンプロセスを用いて行われる方法、をコンピュータに実行させるための命令が格納されている、コンピュータによって読取可能な媒体。
【請求項２１】
差分情報をコーディングする方法であって、動き補償プロセス、動きベクトル変換プロセス、動きベクトル量子化プロセス及びエントロピーコーディングプロセスから成るグループから選択された少なくとも１つの技術を使用することを具備し、前記少なくとも１つの技術は映像コーディング標準において指定されており、標準準拠プロセッサは、前記差分情報をフレーム速度アップコンバージョンと関連して処理して映像フレームを生成することができる方法、をコンピュータに実行させるための命令が格納されている、コンピュータによって読取可能な媒体。
【請求項２２】
映像ビットストリームを処理する方法であって、前記映像ビットストリームは差分情報が内蔵されており、
可変長コーディング技術、ハフマンコーディング技術、及び算術的コーディング技術から成るグループから選択されたエントロピーコーディング技術を用いて前記映像ビットストリーム内の差分情報をコーディングすることと、
前記コーディングされた情報を映像コーディング標準において指定されているユーザーデータ構文で伝達すること、とを具備する方法、をコンピュータに実行させるための命令が格納されている、コンピュータによって読取可能な媒体。
【請求項２３】
標準に準拠した映像ビットストリームを生成することをさらに具備する請求項２２に記載の媒体。
【請求項２４】
符号化された差分情報を有する映像ビットストリームを処理する方法であって、前記符号化された差分情報はユーザーデータ構文で格納されており、
前記符号化された差分情報を前記ユーザーデータ構文から抽出することと、
前記差分情報を復号することと、
フレーム速度アップコンバージョンプロセスを用いて映像フレームを生成することとを具備する方法、をコンピュータに実行させるための命令が格納されている、コンピュータによって読取可能な媒体。
【請求項２５】
フレームシーケンスを含む映像シーケンスを構築する装置であって、
前記フレームシーケンス内における１つの型のアクティビティの量を決定する手段であって、前記アクティビティの型は、空間的アクティビティ、時間的アクティビティ及び時空間的アクティビティから成るグループから選択される手段と、
前記アクティビティにおける冗長性を決定する手段と、
前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレームを符号化する手段と、を具備する装置。
【請求項２６】
前記フレームシーケンス内における前記空間的アクティビティを決定する前記手段は、前記シーケンスの少なくとも１つのフレーム内におけるテクスチャ情報量を決定する手段を具備する請求項２５に記載の装置。
【請求項２７】
前記フレームシーケンス内における前記時間的アクティビティを決定する前記手段は、前記フレームシーケンス内の少なくとも２つのフレーム間における時間的相関量及び冗長性を決定する手段を具備する請求項２５に記載の装置。
【請求項２８】
前記フレームシーケンスのフレーム内における前記時空間的アクティビティを決定する前記手段は、前記フレームシーケンス内の少なくとも２つのフレーム間における時間的相関量及びテクスチャ情報量の冗長性を決定する手段を具備する請求項２５に記載の装置。
【請求項２９】
前記アクティビティにおける前記冗長性を決定する前記手段は、コントラスト比尺度、空間的複雑さ尺度及び分散尺度から成る前記グループから選択された少なくとも１つの空間的アクティビティ尺度を用いて冗長性を決定する手段を具備する請求項２５に記載の装置。
【請求項３０】
前記アクティビティにおける前記冗長性を決定する前記手段は、動きフィールド強度尺度、時間的複雑さ尺度、差分絶対値和尺度から成る前記グループから選択された少なくとも１つの時間的アクティビティ尺度を用いて冗長性を決定する手段を具備する請求項２５に記載の装置。
【請求項３１】
前記アクティビティにおける前記冗長性を決定する前記手段は、複数の隣接フレーム間における空間的アクティビティ相関尺度、方向性尺度、様々な空間的アクティビティを有する領域間の結合挙動尺度、動きフィールド強度尺度、時間的複雑さ尺度、及び差分絶対値和尺度から成る前記グループから選択された少なくとも２つのアクティビティ尺度を比較することによって冗長性を決定する手段を具備する請求項２５に記載の装置。
【請求項３２】
２つのフレーム間における差分情報を決定するための装置であって、画素差尺度、動き情報差尺度、モード決定しきい値尺度及び内挿フレームリファインメント尺度から成るグループから選択された差尺度を決定する手段を具備し、前記差尺度の前記決定は、フレーム速度アップコンバージョンプロセスを用いて行われる、装置。
【請求項３３】
差分情報をコーディングするための装置であって、動き補償プロセス、動きベクトル変換プロセス、動きベクトル量子化プロセス及びエントロピーコーディングプロセスから成るグループから選択された少なくとも１つの技術を使用する手段を具備し、前記少なくとも１つの技術は映像コーディング標準において指定されており、標準準拠プロセッサは、前記差分情報をフレーム速度アップコンバージョンプロセスと関連して処理して映像フレームを生成することができる装置。
【請求項３４】
映像ビットストリームを処理するための装置であって、前記映像ビットストリームは差分情報が内蔵されており、
可変長コーディング技術、ハフマンコーディング技術、及び算術的コーディング技術から成るグループから選択されたエントロピーコーディング技術を用いて前記映像ビットストリーム内の差分情報をコーディングする手段と、
前記コーディングされた情報を映像コーディング標準において指定されているユーザーデータ構文で伝達する手段と、を具備する、装置。
【請求項３５】
標準に準拠した映像ビットストリームを生成する手段をさらに具備する請求項３４に記載の装置。
【請求項３６】
符号化された差分情報を有する映像ビットストリームを処理するための装置であって、前記符号化された差分情報はユーザーデータ構文で格納されており、
前記符号化された差分情報を前記ユーザーデータ構文から抽出する手段と、
前記差分情報を復号する手段と、
前記復号された差分情報をフレーム速度アップコンバージョンプロセスにおいて用いて映像フレームを生成する手段と、を具備する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
３５Ｕ．Ｓ．Ｃ．§１１９に基づく優先権の主張
本特許出願は、"Encoder Assisted Frame Rate Up Conversion"（符号器補助式フレーム速度アップコンバージョン）という題名を有し、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている仮特許出願番号 ６０／５８９，９０１(出願日:  ２００４年７月２０日) に対する優先権を主張するものである。
【０００２】
本明細書において説明される実施形態は、一般的には、デジタル映像圧縮に関するものである。本明細書において説明される実施形態は、より具体的には、映像圧縮のための符号器補助式フレーム速度アップコンバージョン（ＥＡ−ＦＲＵＣ）のための方法及び装置に関するものである。
【背景技術】
【０００３】
今日においては、様々なフレーム速度をサポートする映像フォーマットが存在する。次のフォーマットは現在最も普及しているフォーマットであり、サポートされている１秒当たりのフレーム数（ｆｐｓ）順に記載されている。すなわち、２４（フィルム  ネイティブ）、２５（ＰＡＬ）、３０（典型的にはインターレースされた映像）、及び６０（高品位（ＨＤ）例えば７２０ｐ）である。これらのフレーム速度はほとんどの用途に関して適しているが、モバイルハンドセット映像通信に関して要求される低帯域幅に達するために、フレーム速度は、１５、１０、７．５、又は３ｆｐｓという低い速度にまで引き下げられることがある。これらの低速度は、より低い演算能力を有するローエンドデバイスが何らかの映像を表示するのを可能にするが、その結果得られた映像の質は、動きがスムースではなく「ぎくしゃく」する(すなわち、スライドショーのような効果になる)。さらに、欠落したフレームは、映像内の動き量を正確に追跡しないことがしばしばある。例えば、「ハイモーション」映像コンテンツ部分中、例えばスポーツイベントにおいて発生するコンテンツ部分中にはより少ないフレームが欠落するべきであり、「ローモーション」コンテンツセグメント中、例えばトークショーにおいて発生するコンテンツセグメント中にはより多いフレームが欠落する。映像圧縮はコンテンツに依存させる必要があり、映像圧縮効率を向上させるためにコーディング対象シーケンス内の動きとテクスチャに関する特性を解析して組み入れることができるようにするのが望ましい。
【０００４】
フレーム速度アップコンバージョン（ＦＲＵＣ）は、映像復号器において映像内挿を用いて再構築された映像のフレーム速度を上昇させるプロセスである。ＦＲＵＣにおいては、内挿されたフレームは、受信されたフレームを基準フレームとして用いて生成される。現在は、ＦＲＵＣフレーム内挿を実装するシステムは、動きが補償された内挿及び送信された動きベクトルの処理に基づく手法を含む。ＦＲＵＣは、様々な映像フォーマット間における変換の際にも用いられる。例えば、フィルムとビデオの間における各々のカラーフレーム速度差を補整するフィルム−ビデオテープ映像変換技術であるテレシネ及び逆テレシネの用途においては、プログレッシブ映像（２４フレーム／秒）は、ＮＴＳＣインターレース映像（２９．９７フレーム／秒）に変換される。
【０００５】
他のＦＲＵＣ手法は、重み付き適応型動き補償内挿（ＷＡＭＣＩ）を用いて、動きの推定及びブロックに基づく処理の欠陥に起因するブロックアーティファクトを低減させる。この手法は、複数の動き補償内挿（ＭＣＩ）画像の重み付き和による内挿に基づく。提案されている方法においては、オーバーラップブロック動き補償（ＯＢＭＣ）と類似した技術を利用することによってブロック境界上のブロックアーティファクトも低減される。具体的には、オーバーラップしたエリアの処理中にぼけを低減させるために、前記方法は、動き解析を用いてブロックの動きの型を決定し、ＯＢＭＣを適応的に用いる。実験結果では、提案された手法は改良された結果を提供し、ブロックアーティファクトが大幅に低減されることが示されている。
【０００６】
さらに他のＦＲＵＣ手法は、符号器から不正確な形で送信された動きベクトルの使用に起因して発生するアーティファクトを低減させるためにベクトル信頼性解析を使用する。この手法においては、最も望ましいフレーム解釈手法を決定するために、送信された動きベクトルと比較される動きベクトルを構築するために動き推定が用いられる。動き推定を用いる従来のアップコンバージョンアルゴリズムにおいては、推定プロセスは、２つの隣接する復号されたフレームを用いてフレームの内挿を可能にする動きベクトルを構築することによって実行される。しかしながら、これらのアルゴリズムは、動き推定動作のために要求される計算量に留意せずに送信帯域幅の利用を向上させることを試みる。対照的に、送信された動きベクトルを用いるアップコンバージョンアルゴリズムにおいては、内挿されたフレームの品質は、符号器によって導き出される動きベクトルに大きく依存する。これらの２つの手法の組合せを用いることで、送信された動きベクトルが最初に解析されて内挿フレームの構築に使用可能であるかどうかが決定される。次に、内挿のために用いられる方法が、３つの方法、すなわち、ローカル動き補償内挿、グローバル動き補償内挿及びフレーム反復内挿の中から適応的に選択される。
【０００７】
ＦＲＵＣ技術は、一般的には後処理機能として映像復号器に実装され、従って映像符号器は典型的にはこの動作には関与しない。しかしながら、符号器補助式ＦＲＵＣ（ＥＡ−ＦＲＵＣ）と呼ばれる手法においては、符号器は、動きベクトル又は基準フレーム（例えば残留データ）に関連する一定の情報の送信を排除する一方で復号器がこれらの排除された動きベクトル又は残留データなしでフレームの主要部分を自主的に再生するのを可能にできるかどうかを決定することができる。例えば、ＭＰＥＧ−２におけるＢフレームコーディングの改良として双方向予測方式映像コーディング法が導入されている。この方法においては、動き補償予測コーディングにおける真の動きベクトルの利用を可能にするために誤差判定基準の使用が提案されている。歪み尺度は差分絶対値和（ＳＡＤ）に基づいたものであるが、この歪み尺度は、特にシーケンス内の２つのフレーム間における動き量を定量化する必要がある場合に真の歪み尺度を提供する上で不十分であることが知られている。さらに加えて、しきい値の変動分類はコンテンツに依存するのが好ましいためこれらのしきい値は可変であるのが最適であるときに、固定されたしきい値を用いてこれらの分類が行われる。
【０００８】
ＥＡ−ＦＲＵＣの研究分野は現在も発展中の分野である。現在は、今回の映像圧縮分野（特に、ストリーミング映像及びビデオテレフォニー等の低ビットレート用途に関する映像圧縮）への関心、そして特に、非常に複雑な用途をサポートすることが可能なネットワークノードに送信者が存在し、受信機が電力と複雑さの点で制約を有するハンドヘルドであるシナリオへの関心が高まっている。ＥＡ−ＦＲＵＣは、復号器があらゆる標準的な又は普及している映像コーディング技術に準拠するオープンシステムにおいて、及びプロプライエタリ復号技術を採用可能なクローズドシステムにおいても用途を有する。
【０００９】
内挿を行うために必要な情報を送信するために必要な帯域幅量を低減させつつ及び低電力処理に依存するマルチメディアモバイルデバイスに非常によく適するように高質の内挿フレームを生成するために必要な計算量も減少させつつこれらの高質の内挿フレームを復号器において提供する手法が望ましい。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従って、上記の課題を克服する必要がある。
【課題を解決するための手段】
【００１１】
本発明の実施形態は、圧縮効率及び再構築された映像の品質を向上させることを目的として、映像符号器における映像符号化動作および前処理動作を利用して復号器内において行われるＦＲＵＣ処理を利用する符号器補助式フレーム速度アップコンバージョン（ＥＡ−ＦＲＵＣ）システムを提供する。
【００１２】
一実施形態においては、プロセスは、映像コンテンツのフレームシーケンスのフレーム内における空間的アクティビティ（ａｃｔｉｖｉｔｙ）を決定することによって前記フレームシーケンス内のフレームを符号化するかどうかを決定することと、前記フレームにおける時間的アクティビティを決定することと、前記決定された空間的アクティビティ、前記決定された時間的アクティビティ及び前記決定された時空間的アクティビティのうちの少なくとも１つにおける冗長性を決定することと、前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレームを符号化すること、とを含む。
【００１３】
他の実施形態においては、プロセスは、映像コンテンツのフレームシーケンス内の一組の１つ以上のフレーム内における空間的アクティビティを決定することによって前記フレームシーケンス内の前記１つ以上のフレームの組を符号化するかどうかを決定することと、前記フレームの組における時間的アクティビティを決定することと、前記決定された空間的アクティビティ、前記決定された時間的アクティビティ及び前記決定された時空間的アクティビティのうちの少なくとも１つにおける冗長性を決定することと、前記決定された冗長性が一組の予め決められたしきい値を下回る場合に前記フレームの組の１つ以上を符号化すること、とを含む。
【００１４】
他の実施形態においては、フレームシーケンスを含む映像シーケンスを構築する方法をコンピュータに実行させるための命令を格納し、コンピュータによって読取可能な媒体が開示される。前記方法は、前記フレームシーケンスのフレーム内における空間的アクティビティを決定することと、前記フレーム内における時間的アクティビティを決定することと、前記決定された空間的アクティビティ及び前記決定された時間的アクティビティのうちの少なくとも１つにおける冗長性を決定することと、前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレームを符号化すること、とを具備する。
【００１５】
さらに他の実施形態においては、フレームシーケンスを含む映像シーケンスを構築するための装置が開示される。前記装置は、前記フレームシーケンスのフレーム内における空間的アクティビティを決定する手段と、前記フレーム内における時間的アクティビティを決定する手段と、前記決定された空間的アクティビティ及び前記決定された時間的アクティビティのうちの少なくとも１つにおける冗長性を決定する手段と、前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレームを符号化する手段と、を含む。
【００１６】
さらに他の実施形態においては、フレームシーケンスを含む映像シーケンスを構築する方法を実装するように構成される少なくとも１つのプロセッサが開示される。前記方法は、前記フレームシーケンスのフレーム内における空間的アクティビティを決定することと、前記フレーム内における時間的アクティビティを決定することと、前記決定された空間的アクティビティ及び前記決定された時間的アクティビティのうちの少なくとも１つにおける冗長性を決定することと、前記決定された冗長性が予め決められたしきい値を下回る場合に前記フレームを符号化することと、を含む。
【００１７】
以下における詳細な説明から、その他の目的、特長及び利点が当業者によって明確に理解されるであろう。しかしながら、これらの詳細な説明及び具体例は、典型的実施形態を示す一方で、例示することを目的として制限なしで提供されることを理解すべきである。以下の説明内における多くの変更及び修正は、本発明の精神から逸脱することなく行うことができ、前記説明は、これらのすべての修正を含むと理解すべきである。
【００１８】
本発明は、添付図面を参照することによってより容易に理解することが可能である。
【００１９】
同様のものについては図面全体を通じて同様の数字が付される。
【発明を実施するための最良の形態】
【００２０】
フレーム速度アップコンバージョン（ＦＲＵＣ）は、低ビットレート映像送信の際の復号器におけるフレーム速度を上昇させる技術である。典型的には、このフレーム速度アップコンバージョンは、復号器の動作である。しかしながら、復号器内におけるＦＲＵＣアルゴリズムの必要性を予想することによって、映像符号器は、全体的な圧縮ビットレートを上昇させ従って圧縮効率を向上させるために、映像シーケンス内のいずれのフレームを欠落させる（例えば復号器に送信しない）ことが可能であるかに関するインテリジェントな決定を行うことができる。符号器補助式ＦＲＵＣ（ＥＡ−ＦＲＵＣ）システムの一実施形態においては、本明細書において説明されるように、符号器は、ソースフレームにアクセスすることができさらに復号器において用いられるＦＲＵＣアルゴリズムに関する事前の知識を有しており、生成された内挿フレームを用いて、復号器によるＦＲＵＣの実行を補助するための及び内挿中に行われる決定を向上させるための追加情報を送信する。ＦＲＵＣが復号器内で実行されるという知識を利用し、ＥＡ−ＦＲＵＣシステムは、映像符号器における映像コーディング動作及び前処理動作を利用して圧縮効率を向上させ（それによって送信帯域幅の利用を向上させ）さらに再構築された映像の品質を向上させる。具体的には、符号器によって普通に送信される補足情報であること又は代替情報であることができる符号器からの情報は、正規の又は符号器によって補助されるＦＲＵＣにおいて使用するために復号器に提供される。
【００２１】
一実施形態においては、符号器によって提供される情報は、復号器において内挿される画像の空間的特性（リファインメント、モード決定、隣接の特性、等）及び時間的特性（動きベクトルの決定、等）等のパラメータと、通常の予測される（Ｂ又はＰ）フレームコーディング及びＦＲＵＣプロセスによって生成された内挿フレームに関する差分情報と、を含む。ＦＲＵＣプロセスによって内挿されたフレームは、本明細書においては「Ｆフレーム」と呼ばれる。
【００２２】
符号器補助式ＦＲＵＣ概要
図１は、一実施形態に従って構成された映像符号化／復号（「コーディング」）システム１００を示した図である。コーディングシステム１００は、デジタル映像データを送信のために及び１つ以上の復号器による復号のために最適化することを目的として前記デジタル映像データを処理する映像符号器１０４を含む。具体的には、一実施形態においては、映像符号器１０４は、入力されたソース映像１０２を符号化及び圧縮することによって映像１０２を復号器１５４に送信するために要求される帯域幅を小さくする映像符号化アルゴリズムを採用する。映像符号器１０４の圧縮効率は、様々な方法を通じて向上させることが可能であり、そのうちの１つは、送信されたフレーム速度を下げる（すなわち、送信しなければならないフレーム数を減らす）方法である。従って、復号器１５４においては、復号された映像ストリームのフレーム速度を上げて動きの描写を向上させるためのＦＲＵＣメカニズムが採用される。具体的には、復号器１５４は、符号器１０４から受け取られた状態の符号化映像ストリーム内の基準フレームを用いて内挿されたフレームを生成する。本明細書においてさらに詳細に説明されるように、映像符号器１０４は、映像復号器１５４が符号化動作中にＦＲＵＣを実行する能力を有することを「承知」しており、送信されたフレームの数を減らし規模を小さくするためにこの潜在力を利用する。
【００２３】
Ｆフレーム解析
一実施形態においては、コーディングシステム１００の符号器１０４は、（ｉ）映像シーケンスの各フレーム内における、及び（ｉｉ）映像シーケンス内のフレーム間における空間と時間に関する複雑さを決定するためのコンテンツ分類モジュール１０６を含む。符号器１０４は、この動作の結果を用いて、（ｉ）グループオブピクチャズ（ＧＯＰ）とも呼ばれるフレームシーケンス内のいずれのフレームを欠落させることが可能か、及び（ｉｉ）２つの符号化されたフレーム間においてどれだけの数の連続フレームを欠落させることが可能かを決定する。各ＧＯＰは、定義上は、１つのＩピクチャ（フレーム）、Ｐピクチャ（フレーム）、及び１つ以上のＢピクチャ（フレーム）の配列によって構成される。ＧＯＰは、基本的なアクセス単位として働き、Ｉフレームはランダムアクセスを容易にするためのアクセスポイントの役割を果たす。ＧＯＰは、可変数のフレームから成ることが可能である点に注目すべきである。欠落されたフレームは、復号器１５４内において既知のＦＲＵＣ技術を用いて必要に応じて適宜再構築されると仮定されている。一実施形態においては、以下の方法のうちの１つを解析のために採用することができる。
【００２４】
１．シーケンス内でのアクティビティ（スローモーションとハイモーション、フラット領域、ビジーなテクスチャ、等）に依存してシーケンス内における各フレームの重要度の順位を設定し、シーケンス内において高い相関関係にあるすべてのフレームを欠落させる（捨てる）。
【００２５】
２．復号器１５４において利用可能なＦＲＵＣアルゴリズムは、予想されるＦＲＵＣフレームを構築するために符号器１０４において採用される。ソースフレームと内挿されたフレームとの間における相関関係が高い場合は、ソースフレームが欠落される。代替として、ソースフレームがＢフレームとして符号化され、再構築されたＢフレームが内挿されたＢフレームと高い相関関係を有する場合は、この高い相関関係を有するＢフレームが欠落される。上記の条件に該当しない場合は、ソースフレームが符号化されて送信される。ソースフレームと内挿フレームとの間又はＢフレームと内挿フレームとの間における相関関係が中度である場合は、フレームの非冗長部分が補助情報としてコーディングされ、前記補助情報は、対応するソースフレームに関する内挿フレームの品質を向上させるために用いられる。
【００２６】
図２は、ソースコンテンツを分類するためにコーディングシステム１００によって用いられるプロセスの一実施形態を示した図である。一実施形態においては、ステップ２０８において、ソースコンテンツの符号化性能に関するレーテンシー上の制約が存在するかどうかが決定される。例えば、レーテンシー上の要求によって制約されるリアルタイムストリーミングアプリケーション又は符号器（例えば、ビデオテレフォニー等の会話映像を搬送するストリーム）は、典型的には、すべての符号化動作を単一のパスにおいて完了させなければならない。この場合は、動作はステップ２０８に進み、１回パス符号化プロセスが実行される。対照的に、符号化された映像が格納されており従ってタイミング資源の点での制約が符号化動作に課せられていない非会話映像、例えば、ビデオオンデマンド（ＶＯＤ）、デジタルカメラ及びカムコーダーの各用途は、ステップ２１６における場合のように２パス符号化を用いて処理することができる。本明細書において説明されているように、これらの相違に起因して、２つのモードに関してコーディングシステム１００によって実施されるコンテンツ分類の規模及び品質は変動する。
【００２７】
空間的アクティビティ
引き続き図２において及び再度図１において、空間的アクティビティは、ステップ２１０においてコンテンツ分類モジュール１０６によって決定される。具体的には、コンテンツ分類モジュール１０６は、映像ソース１０２内における空間的アクティビティの量を決定する。一実施形態においては、空間的アクティビティは、映像シーケンスの画像フレーム内におけるエッジ、飽和色、高コントラストのオブジェクト、等のテクスチャ情報量を表す。一般的には、映像シーケンス内におけるテクスチャ情報量が多いほど空間アクティビティが高い。一実施形態においては、テクスチャ情報は、以下の尺度を用いて定量化することができる。
【００２８】
ａ．平均：ブロックに基づく符号化においては、（ｉ）フレーム又は（ｉｉ）様々なサイズの隣接ブロックの平均と比較した場合における各ブロックの平均
ｂ．分散：各マクロブロック内における画素分散量を予め決定されたデータ依存しきい値と比較して空間的アクティビティを決定することができる。代替として、ブロックは、分散及び平均尺度に基づいて分類することができ、この場合は、異なる範囲の平均値に関して異なるしきい値を用いることができる。
【００２９】
ｃ．可変ブロックサイズ／形状平均及び分散：平均及び分散の各尺度は、可変ブロックサイズにまで及び画像又はフレーム内の任意のサイズ（及び形状）の領域にまたがるオブジェクトにまで拡大することができる。
【００３０】
ｄ．コントラスト比：（ｉ）ブロック、領域、又はオブジェクトの標準偏差と（ｉｉ）１つの領域又は隣接のブロック（３×３ブロック、等）の平均の比は、隣接の要素におけるコントラストの尺度として使用することができる。さらに加えて、コントラスト比は、平均値に基づいて重みを付けることができる。具体的には、所定のブロック又はマクロブロックのコントラスト比は、現在のブロックの平均と隣接内の全ブロックの平均によって正規化された隣接ブロック（９ブロックから成る３×３の隣接内の８つの隣接ブロック）の平均の差の和として表される。この尺度は、空間的アクティビティに変換される空間テクスチャ情報内に有意な粒度を提供しており、可変ブロックサイズＤＣＴ（ＡＢＳＤＣＴとも呼ばれる）に関するブロックパーティショニングアルゴリズムとして成功裡に用いられた。
【００３１】
ｅ．動きベクトルフィールド：予測されるフレーム（Ｐフレーム又はＢフレーム、等）において、予測されるフレームのマクロブロックの動きベクトル（及びサブブロックの動きベクトル）をマッピングして動きベクトルフィールドを形成することができる。該フィールドは、特異な動きベクトルを平滑化する動きベクトル処理のために用いられ、一般的には、（ｉ）シーケンス内における全体的動き、（ｉｉ）（例えば、動きベクトルフィールドの強度、密度及び／又は規模に基づいた）フレーム内の様々なオブジェクトの動きのアクティビティ、及び（ｉｉｉ）フレーム内において動いているオブジェクト数を示す指標である。動きのアクティビティのレベルは、（エッジの検出を必要とする）オブジェクト及びシーケンス全体における（領域間の差の検出を必要とする）可変性の両方を検出するために動きのアクティビティプロセスによって検出する必要があることに起因する特定のシーケンスの空間的アクティビティも示す。
【００３２】
ｆ．エッジ検出：画像処理におけるエッジ検出アルゴリズムは、典型的には、ソーベルフィルタ等の高域通過フィルタを用いて特定のウィンドー（例えば３×３又は５×５領域）全体における画像内の画素をフィルタリングし、フィルタリングされた出力がしきい値と比較されてエッジの存在が決定される。検出されたエッジとエッジ量のマップは、空間的アクティビティを示す。
【００３３】
ｇ．画像処理に関する当業者にとって知られているその他の様々な空間的アクティビティ指標が存在しており、これらのいずれの尺度も、図２に示されるプロセスに用いることが可能である。
【００３４】
時間的アクティビティ
ステップ２１２において、時間的アクティビティがコンテンツ分類モジュール１０６によって決定される。映像シーケンス内の動き量は、前記映像シーケンスのフレーム内における時間的相関量及び冗長性を決定し、これらの時間的相関量及び冗長性を用いて前記映像シーケンスを圧縮することができる。一実施形態においては、時間的アクティビティの定量化は、次の手法のうちの１つを通じて決定される。
【００３５】
ａ．動きベクトルフィールド：この尺度は、空間的アクティビティモジュール２１０に関する説明において上述されている同じ手法を用いて、内挿フレームに関する動きベクトルフィールドを構築し、前記動きベクトルフィールドを解析する。
【００３６】
ｂ．予測フレームサイズ：予測されるフレームに関して、該予測されるフレームのサイズは、動きベクトル及び該予測からの残差をコーディングするために要求されるビット数に依存するため、エントロピーを示す指標である。一般的には、動き（又は時間的アクティビティ）の量が多いほど、予測フレーム内においてコーディングすべきエントロピーが大きくなる。
【００３７】
ｃ．ＭＰＥＧ−７記述子：ＭＰＥＧ−７動きアクティビティ記述子（ＭＡＤ）は、映像シーケンスの「アクションの強度」又は「ペース」に関する人間の知覚を「捕獲」することを試みる。例えば、サッカーの試合においてゴールを決める瞬間は、ほとんどの人間の視聴者によって「ハイアクション」シーケンスとして知覚される。対照的に、話をしている人の「頭と肩」のシーケンスは、明らかに、同じ視聴者によって「ローアクション」であるとみなされる。ＭＰＥＧ−７ＭＡＤは、自然な映像におけるアクションの強度範囲全体を正確に捕獲することが判明している。ＭＰＥＧ−７ＭＡＤは、動きベクトルの量子化された標準偏差を用いて、超低強度から超高強度までの範囲の５つのクラスに映像セグメントを分類する。
【００３８】
ｄ．動きのアクティビティ：動きのアクティビティ記述子は、映像シーケンス内における動きの量として定義される映像データの動きのアクティビティの効率的なコンテンツ解析、インデキシング、ブラウジング、及び照会の課題に対処するものであり、１つの記述子としてＭＰＥＧ−７標準に含められている。提案されている技術は、所定の映像セグメントのフレーム間における量子化画素差の累積を用いて動きのアクティビティを自動的に測定することを試みる。その結果、各場面の累積された動きは、二次元マトリクスとして表現される。これらのマトリクスを比較して各場面の様々な動きを効果的に表現するＭＡＤを生成するスケーラブルな技術も提供される。動きの度合い（量）及び位置が 計算されて提示される。
【００３９】
上記のすべての空間的アクティビティ尺度及び時間的アクティビティ尺度は例であるにすぎない。その他の実施形態においては、上記のすべてのアルゴリズムは、フレーム内及びフレーム間における空間的アクティビティレベル及び時間的アクティビティレベルを評価して等級を付けるために単純なしきい値とともに使用することができる。
【００４０】
時空間的アクティビティ
ステップ２１４において、隣接フレーム間又はＧＯＰ等の一組のフレーム間における絶対空間的アクティビティ及びフレーム全体における絶対空間的アクティビティの変動（分散）が、単純なフレーム差及び／又はより高位の統計数字、例えば分散及び尖度を用いて定量化され、フレーム間の相関関係が決定される。
【００４１】
代替として、コントラスト比の原理は、時空間的アクティビティ尺度を提供するために時間的領域にまで拡大される。
【００４２】
冗長性の決定
ステップ２１２によって決定された時間的アクティビティ又は動きのアクティビティの測定基準と関連させてステップ２１０によって決定された空間的アクティビティ測定基準は、所定のシーケンスに関する全体的な時空間的アクティビティを決定するために用いられる。例えば、ハイブリッド映像圧縮においては、シーケンス内の第１のフレーム（例えば、ランダムアクセスポイント又は場面変化後の第１のフレーム）が、典型的にはあらゆる時間的予測とは無関係に符号化される。この第１のフレームは、Ｉフレームと呼ばれる。シーケンス内の後続フレームは、圧倒的に、Ｉフレームから又は前述されるようにＰフレーム又はＢフレームと呼ばれるその他の前のフレームから予測される。一実施形態においては、映像ソースシーケンス内における基準フレームと予測フレームとの間の冗長性は、以下の手法を用いて決定することができる。
【００４３】
ａ．相関関係：（１）（ｉ）１つ以上のマクロブロック、（ｉｉ）フレームのその他の基本単位、又は（ｉｉｉ）予測フレーム全体の画素と（２）基準フレーム内の同等の配置された単位との２要素相互関連づけを行って冗長性を決定することができる。この処理手法は、計算的に高価な動作であるが、冗長性を正確に推定することができる。
【００４４】
ｂ．動きベクトル：隣接のマクロブロック内及びフレーム全体の両方における動きベクトルの大きさ及び相関関係が、基準フレームと予測フレームとの間で比較される。次に、動きベクトル平滑化又はその他の動きベクトル処理を用いて動きベクトル分散を決定すること、又はアクティビティに基づいて動きフィールドを分類することができる。
【００４５】
ｃ．  重要度：各マクロブロック又は各ウィンドーのマクロブロックが冗長レベルに基づいて低冗長性、中冗長性又は高冗長性に分類される。低冗長性ブロックは、双方向予測を用いてＢフレームとしてコーディングされ、中冗長性ブロックは、次の情報、すなわち、復号器ＦＲＵＣにおいて動きベクトル処理結果をリファインメントするための動きベクトル、テクスチャ差をリファインメントするための残差情報、ＤＣオフセット形の輝度シフト情報、等のうちの１つ以上を提供する。高冗長性ブロックは、ＦＲＵＣ内挿フレーム内の対応するブロックとの相関関係が高いブロックであり、スキップされる。
【００４６】
マクロブロック又は１つのウィンドー３×３のマクロブロックに関する上記の全情報は、補助情報と呼ばれる。
【００４７】
ＦＲＵＣに関するフレーム選択
ソース映像内の冗長量が上述のように決定された後は、前記決定された冗長量は、コンテンツに基づいて分類される。一実施形態においては、特定の用途に関する分類パラメータを確立させるために様々なサンプルソースデータが利用され、従って、コーディングシステム１００は、該実装によってサポートされることが予想される特定のコンテンツに合わせて微調整することが可能である。分類メカニズムは、通常のハイブリッドコーディングにおいて予測フレームのサイズを使用する。一実施形態においては、予測フレームのサイズが小さいほど及び冗長率が高いほど、内挿フレームが符号化プロセス中にスキップされる確率が高い。従って、これらのフレームは、送信される映像シーケンス内には含められないが、結果的には、復号／ＦＲＵＣプロセス中にアップコンバージョンされる。
【００４８】
上記のメカニズムは、図３に示されるように、レーテンシー及びプロセッサの能力が完全なまたは部分的な第１のパス符号化を行い後続して完全な第２のパス符号化を行うデバイスの能力を制限するモバイルカムコーダー用途等の用途に関して有用な１パス符号化及び複雑さの低い２パス符号化に対して適用される。しかしながら、インターネット又は無線マルチメディアサーバー実装における場合のように、符号器の複雑さが懸念事項でないときには、図４において示されるように、第１のパスにおいて通常のハイブリッド符号化を行い、次に第２のパスにおいて空間的アクティビティ、時間的アクティビティ、時空間的アクティビティを決定することができる。一実施形態においては、映像シーケンスの予測フレームサイズ（例えば、映像シーケンスにおけるＰフレーム及びＢフレームのフレームサイズ）及びフレーム特性（例えば、動きベクトルに関するビットと係数データの割合）に基づき、低コスト（例えば、低送信コストフレーム）を符号器１０４において欠落させ、復号器１５４において復号された基準フレームを用いて再構築することができる。他の実施形態においては、後述されるように、復号器１５４のアップコンバージョンプロセスを「補助する」ために小さいエントロピーを符号器１０４によって符号化して復号器１５４に送信することができる。この補助の目的は、主に再構築された映像の品質を向上させることであるが、復号器１５４におけるＦＲＵＣエンジン１５８がモード決定プロセス中に正しい決定を行うのを手助けすることによって復号器１５４に対する計算上の負荷を軽減させるために使用することも可能である。
【００４９】
ソースフレームとＦＲＵＣ内挿フレームとの間のエントロピーコーディング
本明細書において示されるように、ＥＡ−ＦＲＵＣの主な利点の１つは、内挿対象フレームに関するソースフレームが符号器において入手可能なことである。従って、ソースフレームと再構築されたフレームとの間における誤差を最小にするようにＦＲＵＣ決定を導くことができる。例えば、本明細書において説明されるＦＲＵＣ処理手法案は、動きベクトル処理、コンテンツ識別及び割当てに依存する。これらのプロセスにおいては、オクルージョン及び重複領域の内挿が難題である。しかしながら、図１のエントロピー決定モジュール１０８によるエントロピーコーディングを用いることによって、これらの領域が識別され、ＦＲＵＣ処理を補助するための適切なサイド情報が復号器１５４に送信される。前記エントロピーコーディングのその他の用途は、"Method and Apparatus for Using Frame Rate up Conversion Techniques in Scalable Video Coding"（スケーラブル映像コーディングにおいてフレーム速度アップコンバージョンを用いるための方法及び装置）という題名を有する同時係属中の特許出願Ｎｏ．１１／１７３，１２１において説明されているＦＲＵＣプロセスのスケーラブル映像コーディング用途である。一実施形態においては、エントロピー決定モジュール１０８は、以下の尺度をエントロピーコーディングに関して用いることができる。
【００５０】
１．画素差データ：再構築されたＦＲＵＣフレームとソースフレームとの間の画素残差が、送信のために変換、量子化及びエントロピーコーディングされる。この手法は単純である。しかしながら、符号化プロセスからの残存残差は高いエネルギーを含み、適切に圧縮しない。
【００５１】
２．しきい値設定：しきい値は、ＳＡＤに基づく代わりに、アクティビティ（空間的及び時間的）尺度、又は人間の視覚系のマスキングと感度に基づく。人間の視覚系（ＨＶＳ）は、色、輝度、コントラスト、等の様々な視覚効果に対する人間の目の感度について説明する経験的モデルである。ＳＡＤは、視覚品質誤差よりもむしろ平均二乗誤差を最小にすることが知られている。
【００５２】
３．動きベクトル：ソースフレームとの大きな差を有する領域に関する正確な動きベクトルデータがコーディングされて送信される。この動きベクトルは、因果的方法及び非因果的方法の両方法で、ソースフレーム及び再構築された基準フレームを用いて推定される。因果的コーディングは、符号化／復号時に利用可能な情報（例えば、復号順序に関する以前のマクロブロックからの情報）を利用する予測コーディングであり、非因果的コーディングは、内挿情報（例えば、次のマクロブロックからの情報）を利用する内挿型コーディングである。
【００５３】
４．Ｂフレーム符号化："Method and Apparatus for Using Frame Rate up Conversion Technique in Scalable Video Coding"（スケーラブル映像コーディングにおいてフレーム速度アップコンバージョンを用いるための方法及び装置）という題名を有する同時係属中の特許出願Ｎｏ． ［０４０４４２］においては、ＦＲＵＣ内挿フレームをＢフレーム予測中に基準フレームの１つとして使用することが説明されている。この手法は、送信対象テクスチャデータの平均３０％の減少を提供することが可能である。
【００５４】
５．モードに基づく：上記のＢフレーム符号化手法は、内挿されたフレームをＢフレーム符号化の際の基準フレームとして使用することを説明している。内挿フレームの使用決定は、速度（すなわち、所定の歪みに関するビットレートを最低にする）、歪み（即ち、所定の目標ビットレートに関する歪みを最低にする）、及び／又は品質（すなわち、所定の目標ビットレートに関する知覚上の品質に基づく品質尺度を測定するための測定基準であるＨＶＳに基づく誤差又は平均二乗誤差を最小にする）に基づくことができる。
【００５５】
符号化すべきエントロピーが決定された時点で、一実施形態においては、ハフマン符号又は算術符号等の共通して用いられる可変長符号を用いてデータを符号化することができる。さらに、残差等のラプラシアン分布データの場合は、ゴロムライス符号又は指数ゴロム符号を用いることができる。
【００５６】
ビットストリーム生成
映像コーディング標準は、いずれかの標準に準拠した映像復号器によって復号されるビットストリームを定義する。しかしながら、符号器の動作は、符号化されたビットストリームが再構築プロセスにおいて標準準拠復号器と適合するかぎりあらゆる符号器技術を用いることができるという意味で「オープン」である。復号器の能力が不明であるオープンエンド用途においては、標準準拠ビットストリームを符号器によって生成する必要があり、標準に準拠した復号のために性能が目標として定められて最適化される。一実施形態においては、コーディングシステム１００のビットストリーム生成モジュール１１２は、標準準拠ビットストリーム生成器１１４、標準に準拠しないビットストリーム生成器１１６、及びプロプライエタリビットストリーム生成器１１８の動作を制御する。これらの生成器の各々の動作が以下において説明される。
【００５７】
プロフィール及びレベルは、オーディオビジュアルオブジェクトのコーディングに関する広範な一組のツールを提供するため映像コーディング標準において定義されており、さらに、標準の有効な実装を可能にするため、前記ツールの組の部分組が特定用途のために識別されている。これらの部分組は「プロフィール」と呼ばれ、復号器が実装しなければならないツールの組内のツール数を制限する。さらに、これらのプロフィールの各々に関して、１つ以上のレベルの複雑さも設定されて計算上の複雑さが制限されている。
【００５８】
標準及びプロフィール準拠
受信機内の標準準拠復号器が送信されたストリームを復号するために、無線マルチメディア通信の場合と同じように、これらの映像復号器は、特定のプロフィール及びレベルに準拠する。ＦＲＵＣアルゴリズムは、様々な標準においては付属として提供されているが、これらのＦＲＵＣアルゴリズムは、典型的には標準プロフィールの一部ではない。従って、ＥＡ−ＦＲＵＣを受け入れるためにビットストリームの構文及び／又は意味の修正を行う必要がないことが望ましい。
【００５９】
既存の標準に準拠するために、コーディングシステム１００は、「補助」情報を送信するために利用することができる標準準拠構文（プロフィール準拠）を使用する。一実施形態においては、標準構文は、以下のＥＡ−ＦＲＵＣプロセス実装手法において標準準拠生成器１１４によって用いることができる。
【００６０】
ａ：Ｂフレーム構文：エンハンスメント層の一部であって基本層のみが受信されたことに起因して、又は冗長なマクロブロックのほとんどがスキップモードマクロブロックであってＢフレーム全体が送信されないことに起因してBフレームが受信されないときには、補助情報のみが通常のＢフレームコーディングを通じて送信される。
【００６１】
ｂ．冗長スライス又はピクチャ：Ｈ．２６４がこの構文に備えている。幾つかのフレームが冗長性であるこの場合は、スライス又はフレーム全体を送信する必要がない。スライスの一部（幾つかの重要なマクロブロック）又はフレーム（重要であると決定された幾つかのスライス）がこの構文を用いて送信される。この機能は、Ｈ．２６４において定義されている全プロフィールの一部である。
【００６２】
ｃ．補足エンハンスメント情報（ＳＥＩ）：特定のＳＥＩフィールドは、Ｈ．２６４内のプロフィールのうちで「補助」情報を送信するために使用することができる部分である。
【００６３】
標準に準拠、プロフィールに非準拠
多くの映像コーディング標準におけるツールの組は、標準内において定義されているプロフィールに準拠しないプライベートデータを搬送するための構文及び意味を含む（すなわち、ツールは、規範的標準ではなく参考標準に関するものである）。構文解析されたプライベートデータの解釈は、各々の行先デバイスごとの特定の解釈であるようにすることが可能であり、クローズド通信システムにおいては、この特定の機能は性能を向上させるために利用することができる。本発明の一実施形態においては、標準に準拠しないビットストリーム生成器１１６は、この機能の前記の用途においてＦＲＵＣに関する「補助」情報を提供するためにこれらの標準に準拠しないプライベートデータを利用してこの機能の用途におけるＦＲＵＣのための「補助」情報を提供する。クローズドループシステムにおけるプライベート情報の使用は、「補助」情報を利用するために必要な復号器の修正が最小限の修正であって単純な「プラグイン」又は「アッドオン」を通じてイネーブルにすることができるため、これらの補助情報の送信をより柔軟にする。
【００６４】
ａ．特定のＳＥＩフィールド：これらのフィールドは、Ｈ．２６４におけるプロフィールの一部ではなく、「補助」情報を送信するために使用することができる。
【００６５】
ｂ．ユーザーデータ：ＭＰＥＧ−２及びＭＰＥＧ−４は、プライベートデータを搬送するための構文を提供し、該構文は、「補助」情報を送信するために使用することができる。
【００６６】
プロプライエタリ
プロプライエタリビットストリーム生成器１１８において提供される標準に準拠しないプロプライエタリコーデックは、本明細書において提供されるＥＡ−ＦＲＵＣ手法の柔軟性を高める。具体的には、（ＤＣＴ、整数、アダマール、ウェーブレット、オブジェクト、光学フロー、モーフィング、等の変換に基づいた）すべての映像圧縮技術が、ＥＡ−ＦＲＵＣに関して上述されているようにビットレートの引き下げを達成させて圧縮効率を向上させるために用いられる一般的映像内挿アルゴリズムを採用することが可能である。プロプライエタリコーデックを使用する利点は、ビットストリーム生成器１１８が有するプロプライエタリの性質はすべてのＦＲＵＣアルゴリズム及びＥＡ−ＦＲＵＣアルゴリズムを利用するための極めて柔軟なプラットフォームを提供するという事実を含む。標準によって導入されるビットストリームオーバーヘッド（例えば、Ｈ．２６４内のマクロブロックヘッダは、総ビットレートの２５％を占める傾向がある）は、大幅に低減させること及び／又は除去することができる。現在は、ソース−チャネル結合コーディングも可能であり、誤りが発生しやすいチャネルでのマルチメディア通信にとって非常に有利である。例えば、ソースと送信チャネルの結合確率、分布及び特性を利用するプロプライエタリ手法は、コーディングシステム１００が特定のストリームを優先して必要なパラメータとデータを付加して誤りから巧みに回復する能力を提供する。
【００６７】
誤り隠蔽に関するＦＲＵＣ及びＥＡ−ＦＲＵＣ
無線マルチメディアの人気の高まりは、送信映像が誤りに対する回復力を有すること及びビット、パケット及びバーストに関する誤りを隠すことができるスマートな映像復号器を要求する。映像圧縮は、冗長性を除去して圧縮されたストリーム内におけるエントロピーを高める。しかしながら、皮肉なことに、冗長な情報の除去及びエントロピーの上昇は、データの単一のビット、バイト又はパケットの損失が再構築された映像の品質に対して影響を及ぼす可能性があるようなレベルの大きな意味を有しており、１つのブロックの損失から数多くのマクロブロック又はスライスの損失にまで及び、次のＩフレーム又は瞬時復号リフレッシュ（ＩＤＲ）フレームが正確に受信されるまで伝播する。ＩＤＲは、瞬時復号リフレッシュを意味するＨ．２６４用語である。ＩＤＲピクチャは、ビットストリーム内における絶対的リフレッシュポイント（アクセス単位）であり、このため、ＩＤＲピクチャの復号のために必要な予測情報は前記アクセス単位以降には存在していない。誤りが発生する可能性は重大な結果を有しており、誤り隠蔽は、ビデオテレフォニー、ビデオ会議、ビデオ電子メール等の用途において極めて重要である。誤りは、会話用途におけるレーテンシーに対しても影響を及ぼす。幸いなことに、様々な形態のＦＲＵＣにおいて提供されるフレーム、スライス、マクロブロック及びブロックの内挿及び内挿補助アルゴリズム（例えば、動きベクトル割当て及び動きベクトル処理）を誤り隠蔽のために使用することができる。
【００６８】
図５は、アクセス端末５０２ｘ及びアクセスポイント５０４ｘのブロック図であり、復号器１５４及び符号器１０４は、ＥＡ−ＦＲＵＣシステム１００を無線システムに応用する用途においてそれぞれ配置することができる。逆方向リンクに関しては、アクセス端末５０２ｘにおいて、送信（ＴＸ）データプロセッサ５１４は、トラフィックデータをデータバッファ５１２から受信し、選択されたコーディング及び変調方式に基づいて各データパケットを処理（符号化、インターリービング、及びシンボルマッピング）し、データシンボルを提供する。データシンボルは、データに関する変調シンボルであり、パイロットシンボルは、（事前に知られている）パイロットに関する変調シンボルである。変調器５１６は、データシンボル、パイロットシンボル、そしておそらく逆方向リンクに関するシグナリングを受信し、システムによって指定された変調（例えば、ＯＦＤＭ変調）及び／又はその他の処理を行い、出力チップストリームを提供する。送信装置（ＴＭＴＲ）５１８は、前記出力チップストリームを処理し（アナログへの変換、フィルタリング、増幅、及び周波数アップコンバージョンを行い）、変調信号を生成する。前記変調信号は、アンテナ５２０から送信される。
【００６９】
アクセスポイント５０４ｘにおいては、アクセスポイント５０４ｘと通信中のアクセス端末５０２ｘ及びその他の端末によって送信された変調信号は、アンテナ５５２によって受信される。受信装置（ＲＣＶＲ）５５４は、アンテナ５５２からの受信信号を処理（コンディショニング及びデジタル化）し、受信されたサンプルを提供する。復調器（Ｄｅｍｏｄ）５５６は、前記受信されたサンプルを処理（復調及び検出）し、検出されたデータシンボルを提供する。前記検出されたデータシンボルは、端末によってアクセスポイント５０４ｘに送信されたデータシンボルの雑音の多い推定値である。受信（ＲＸ）データプロセッサ５５８は、各端末に関する検出されたデータシンボルを処理（例えば、シンボルマッピング、インターリービング、及び復号）して前記端末に関する復号データを提供する。
【００７０】
順方向リンクに関しては、アクセスポイント５０４ｘにおいて、トラフィックデータがＴＸデータプロセッサ５６０によって処理されてデータシンボルが生成される。変調器５６２は、データシンボル、パイロットシンボル、及び順方向リンクに関するシグナリングを受信し、変調（例えばＯＦＤＭ変調）及び／又はその他の該当する処理を行い、出力チップストリームを提供する。前記出力チップストリームは、送信装置５６４によってさらにコンディショニングされてアンテナ５５２から送信される。順方向リンクシグナリングは、順方向リンクにおいてアクセスポイント５０４ｘに送信中の全端末に関してコントローラ５７０によって生成される電力制御コマンドを含むことができる。アクセス端末５０２ｘにおいて、アクセスポイント５０４ｘによって送信された変調信号は、アンテナ５２０によって受信され、受信装置５２２によってコンディショニング及びデジタル化され、復調器５２４によって処理されて検出されたデータシンボルが得られる。ＲＸデータプロセッサ１０２６は、前記検出されたデータシンボルを処理し、端末及び順方向リンクシグナリングに関する復号データを提供する。コントローラ５３０は、電力制御コマンドを受け取り、逆方向リンクを通じてのアクセスポイント５０４ｘへのデータ送信及び送信電力を制御する。コントローラ５３０及び５７０は、アクセス端末５０２ｘ及びアクセスポイント５０４ｘの動作をそれぞれ指示する。メモリ装置５２３及び５７２は、コントローラ５３０及び５７０によってそれぞれ用いられるプログラムコード及びデータを格納する。
【００７１】
本明細書において説明される「アクセス端末」は、音声及び／又はデータの接続性をユーザーに提供するデバイスを意味する。アクセス端末は、ラップトップコンピュータ又はデスクトップコンピュータ等の計算装置に接続することができ、又はパーソナルデジタルアシスタント等の自蔵デバイスであることができる。アクセス端末は、加入者装置、移動局、モバイル、遠隔局、遠隔端末、ユーザー端末、ユーザーエージェント、ユーザー装置、等を意味することもできる。アクセス端末は、加入者局、無線装置、携帯電話、ＰＣＳ電話、コードレス電話、セッション開始プロトコル（ＳＩＰ）電話、無線ローカルループ（ＷＬＬ）局、パーソナルデジタルアシスタント（ＰＤＡ）、無線接続能力を有するハンドヘルドデバイス、又は無線モデムに接続されたその他の処理デバイスであることができる。
【００７２】
本明細書において説明される「アクセスポイント」は、１つ以上のセクターを通じてエアインタフェースを介してアクセス端末と通信するアクセスネットワーク内のデバイスを意味する。アクセスポイントは、受信されたエアインタフェースフレームをＩＰパケットに変換することによって、アクセス端末とＩＰネットワークを含むアクセスネットワークのその他の部分との間のルーターとしての役割を果たす。アクセスポイントは、エアインタフェースに関する属性の管理も調整する。
【００７３】
開示される実施形態は、次の技術、すなわち、符号分割多重接続（ＣＤＭＡ）システム、多搬送波ＣＤＭＡ（ＭＣ−ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、時分割多重接続（ＴＤＭＡ）システム、周波数分割多重接続（ＦＤＭＡ）システム、及び直交周波数分割多重接続（ＯＦＤＭＡ）システムのいずれか１つ又はその組合せに対して適用することができる。
【００７４】
本明細書において説明されている方法は、当業者によって知られている様々な通信ハードウェア、プロセッサ及びシステムにおいて実装可能であることに注目すべきである。例えば、クライアントが本明細書の説明に従って動作するための一般的要件は、コンテンツと情報を表示するためのディスプレイ、クライアントの動作を制御するプロセッサ及びクライアントの動作に関連するデータとプログラムを格納するためのメモリを有することである。一実施形態においては、前記クライアントは携帯電話である。他の実施形態においては、前記クライアントは、通信能力を有するハンドヘルドコンピュータである。さらに他の実施形態においては、前記クライアントは、通信能力を有するパソコンである。
【００７５】
本明細書において開示される実施形態に関連させて説明されている様々な例示的な論理、論理ブロック、モジュール、及び回路は、本明細書において説明されている機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェアコンポーネント、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサは、マイクロプロセッサであることができるが、代替として、該プロセッサは、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、計算デバイスの組合せとして、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサとの組合せ、ＤＳＰコアと関係する１つ以上のマイクロプロセッサとの組合せ、又はその他のいずれかのコンフィギュレーションとして実装することもできる。  本明細書において開示される実施形態と関連させて説明されている方法又はアルゴリズムのステップは、ハードウェア内において直接具体化させること、プロセッサによって実行されるソフトウェアモジュール内において具体化させること、又は両方の組合せ内において具体化させることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＲＰＯＭメモリ、ＥＥＲＰＯＭメモリ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、又は当業において知られるその他のあらゆる形態の記憶媒体に常駐することが可能である。典型的記憶媒体は、プロセッサが該記憶媒体から情報を読み出すことができるように及び該記憶媒体に情報を書き込むことができるように該プロセッサに結合される。代替として、該記憶媒体は、プロセッサと一体化させることができる。該プロセッサ及び該記憶媒体は、ＡＳＩＣ内に常駐することができる。該ＡＳＩＣは、ユーザー端末内に常駐することができる。代替として、該プロセッサ及び記憶媒体は、ユーザー端末内の個別構成品として常駐することができる。
【００７６】
開示される実施形態に関する上記の説明は、当業者が様々な実施形態を製造又は使用できるようにすることを目的とするものである。これらの実施形態に対する様々な修正が加えられた場合には、当業者は、該修正を容易に理解するであろう。本明細書において定められている一般原理は、本発明の精神及び適用範囲を逸脱しない形で、例えばインスタントメッセージ伝送サービス又はあらゆる一般的無線データ通信用途におけるその他の実施形態に対しても適用することができる。従って、本明細書における説明は、本明細書において示されている実施形態に限定することが意図されるものではなく、本明細書において開示される原理及び斬新な特長に一致する限りにおいて最大の適用範囲が与えられることが意図されるものである。本明細書における「典型的」という表現は、「１つの例、事例、又は実例」であることを意味する。本明細書において「典型的実施形態」として記述されているいずれの実施形態も、その他の実施形態よりも優先されるか又は有利であると必ずしも解釈すべきでない。
【図面の簡単な説明】
【００７７】
【図１】一実施形態に従って符号器補助式フレーム速度アップコンバージョン（ＥＡ−ＦＲＵＣ）システムを実装する映像コーディングシステムのブロック図である。
【図２】図１のＥＡ−ＦＲＵＣシステムの動作を示した流れ図である。
【図３】図１のＥＡ−ＦＲＵＣシステムの一実施形態に従った１パス符号化を示した概略図である。
【図４】図１のＥＡ−ＦＲＵＣシステムの一実施形態に従った２パス符号化を示した概略図である。
【図５】無線システムへのＥＡ−ＦＲＵＣシステム１００の応用を示した図である。
【図１】
2008507915.tif 000003
【図２】
2008507915.tif 000004
【図３】
2008507915.tif 000005
【図４】
2008507915.tif 000006
【図５】
2008507915.tif 000007
【国際調査報告】
2008507915.tif 000008
2008507915.tif 000009
2008507915.tif 000010
2008507915.tif 000011
2008507915.tif 000012
2008507915.tif 000013