(57)【要約】  マルチメディアデータのフレームのシーケンスを処理する方法を与える。方法は、画像データをプログレッシブにリフレッシュすることを提供する。方法は、リフレッシュする領域をプログレッシブに増加させることにより、シーケンスのフレームの部分をダイナミックに選択すること、および他のフレームに対する可能性のある参照データとしてリフレッシュされない領域を除外することを含む。【選択図】      図２
2009510930.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアデータのフレームのシーケンスを処理する方法において、
前記方法は、
前記シーケンスの第１のフレームのうちの第１の部分を選択することと、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュすることと、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーすることと、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュすることと、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択することと、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを含む方法。
【請求項２】
前記第２または第３の部分のコーディングは、前記リフレッシュされた第１の部分に関係付けられたデータに基づいて、前記第２または第３の部分をインターコーディングすることを含む請求項１記載の方法。
【請求項３】
前記第２または第３の部分のコーディングは、前記第２または第３の部分をイントラコーディングすることを含む請求項１記載の方法。
【請求項４】
前記マルチメディアデータは、単一のパス中で処理される請求項１記載の方法。
【請求項５】
前記マルチメディアデータは、１つより多いパス中で処理される請求項１記載の方法。
【請求項６】
前記第１、第２および第３の部分のうちの少なくとも１つの前記選択に少なくとも部分的に基づいて、前記第１、第２および第３の部分のうちの少なくとも１つをエンコード化することをさらに含む請求項１記載の方法。
【請求項７】
前記少なくとも１つの第２の部分は、複数の第２の部分を含み、さらに前記第２の部分のうちの１つは、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために参照データとして選択される請求項１記載の方法。
【請求項８】
前記第２の部分の領域を減少させることをさらに含み、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項７記載の方法。
【請求項９】
前記第１のリフレッシュフレームは、スーパーフレーム中の前記第１のフレームである請求項１記載の方法。
【請求項１０】
前記第２および第３の部分は、前記第２のフレームの実質的にすべてをカバーする請求項１記載の方法。
【請求項１１】
実質的にフレーム全体をリフレッシュするために、前記シーケンス中のフレームの総数を選択的に決定することをさらに含む請求項１記載の方法。
【請求項１２】
前記第１のリフレッシュ部分は、前記第１のリフレッシュフレームの実質的に中央部分を含む請求項１記載の方法。
【請求項１３】
前記第１のリフレッシュ部分は、予め定められた実質的に長方形の領域を少なくとも含む請求項１記載の方法。
【請求項１４】
前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分は、後続のフレームのための参照データとして使用されることから除外される請求項１記載の方法。
【請求項１５】
双方向フレームをリフレッシュすることをさらに含み、前記双方向フレームは、完全にリフレッシュされていない最後のアンカーフレームの後、かつ、最初の完全にリフレッシュされたフレームの前に発生する請求項１０記載の方法。
【請求項１６】
先行フレームの複数の重み付けられた部分に関して、フレームのうちの少なくとも１つの部分をリフレッシュすることをさらに含み、支配的でない重みを有する、前記重み付けされた部分のうちの１つ以上は、リフレッシュされない請求項１記載の方法。
【請求項１７】
マルチメディアデータのフレームのシーケンスを処理するように構成された装置において、
前記装置は、
前記シーケンスの第１のフレームのうちの第１の部分を選択する手段と、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュする手段と、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーする手段と、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュする手段と、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択する手段と、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用される手段とを具備する装置。
【請求項１８】
前記第２または第３の部分をリフレッシュする手段は、前記リフレッシュされた第１の部分に関係付けられたデータに基づいて、前記第２または第３の部分をインターコーディングする手段を備える請求項１７記載の装置。
【請求項１９】
前記第２または第３の部分をリフレッシュする手段は、前記第２または第３の部分をイントラコーディングする手段を備える請求項１７記載の方法。
【請求項２０】
前記装置は、単一のパス中で前記マルチメディアデータを処理するように構成されている請求項１７記載の装置。
【請求項２１】
前記装置は、１つより多いパス中で前記マルチメディアデータを処理するように構成されている請求項１７記載の装置。
【請求項２２】
前記第１、第２および第３の部分のうちの少なくとも１つの前記選択に少なくとも部分的に基づいて、前記第１、第２および第３の部分のうちの少なくとも１つをエンコーディングする手段をさらに具備する請求項１７記載の装置。
【請求項２３】
前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために、参照データとして前記第２の部分のうちの部分を選択する手段をさらに具備する請求項１７記載の装置。
【請求項２４】
前記第２の部分の領域を減少させる手段をさらに具備し、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項２３記載の装置。
【請求項２５】
前記第１のリフレッシュフレームは、スーパーフレーム中の前記第１のフレームである請求項１７記載の装置。
【請求項２６】
前記第２および第３の部分は、前記第２のフレームの実質的にすべてをカバーする請求項１７記載の装置。
【請求項２７】
実質的にフレーム全体をリフレッシュするために、前記シーケンス中のフレームの総数を選択的に決定する手段をさらに具備する請求項１７記載の装置。
【請求項２８】
前記第１のリフレッシュ部分は、前記第１のリフレッシュフレームの実質的に中央部分を含む請求項１７記載の装置。
【請求項２９】
前記第１のリフレッシュ部分は、予め定められた実質的に長方形の領域を少なくとも含む請求項１７記載の装置。
【請求項３０】
前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分を、後続のフレームのための参照データとして使用されることから除外する手段をさらに具備する請求項１７記載の装置。
【請求項３１】
双方向フレームをリフレッシュする手段をさらに具備し、前記双方向フレームは、完全にリフレッシュされていない最後のアンカーフレームの後、かつ、最初の完全にリフレッシュされたフレームの前に発生する請求項２６記載の装置。
【請求項３２】
先行フレームの複数の重み付けられた部分に関して、フレームのうちの少なくとも１つの部分をリフレッシュする手段をさらに具備し、支配的でない重みを有する、前記重み付けされた部分のうちの１つ以上は、リフレッシュされない請求項１記載の装置。
【請求項３３】
マルチメディアデータのフレームのシーケンスを処理するように構成された装置において、
前記シーケンスの第１のフレームのうちの第１の部分を選択するように構成された、第１の選択モジュールと、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュするように構成された、第１のエンコーディングモジュールと、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択するように構成され、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーする第２の選択モジュールと、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュするように構成された、第２のエンコーディングモジュールと、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択するように構成された、第３の選択モジュールと、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュするように構成され、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用される第３のエンコーディングモジュールとを具備する装置。
【請求項３４】
前記第２および第３のエンコーディングモジュールは、前記リフレッシュされた第１の部分に関係付けられたデータに基づいて、それぞれ、前記第２および第３の部分をインターコード化するように構成されている請求項３３記載の装置。
【請求項３５】
前記デバイスは、１つより多いパス中で前記マルチメディアデータを処理するように構成されている請求項３３記載の装置。
【請求項３６】
前記第２の部分の領域を減少させるようにさらに構成され、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項３３記載の装置。
【請求項３７】
前記後続のフレームをエンコードし、かつ、前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分を、前記後続のフレームをエンコーディングするための参照データとして使用されることから除外するように構成された、１つ以上の追加的なエンコーディングモジュールをさらに具備する請求項３３記載の装置。
【請求項３８】
マルチメディアデータのフレームのシーケンスを処理する命令を具備する機械読み取り可能媒体において、
前記命令は、実行時に、
前記シーケンスの第１のフレームのうちの第１の部分を選択することと、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュすることと、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーすることと、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュすることと、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択することと、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを機械に生じさせる機械読み取り可能媒体。
【請求項３９】
前記第２または第３の部分のコーディングは、前記第２または第３の部分をイントラコーディングすることを含む請求項３８記載の機械読み取り可能媒体。
【請求項４０】
実行されるとき、前記命令はさらに、前記第２の部分の領域を機械に減少させ、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項３８記載の機械読み取り可能媒体。
【請求項４１】
実行されるとき、前記命令はさらに、後続のフレームのための参照データとして使用されることから前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分を機械に除外させる請求項３８記載の機械読み取り可能媒体。
【請求項４２】
マルチメディアデータのフレームのシーケンスを処理するプロセッサにおいて、
前記プロセッサは、
前記シーケンスの第１のフレームのうちの第１の部分を選択し、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュし、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーし、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュし、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択し、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されるように構成されているプロセッサ。
【請求項４３】
前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいて、前記第２の部分の領域が減少される請求項４２記載のプロセッサ。
【請求項４４】
前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分は、後続のフレームのための参照データとして使用されることから除外される請求項４２記載のプロセッサ。
【発明の詳細な説明】
【関連出願に対する相互参照】
【０００１】
合衆国法典第３５部第１１９条に基づく優先権の主張
特許に対する本出願は、２００５年９月２７日に出願され、この出願の譲受人に譲渡され、参照により明白にここに組み込まれている、“プログレッシブなチャネル切り換えのための方法および装置”と題する仮出願第６０／７２１，５６６号に対する優先権を主張する。
【分野】
【０００２】
本開示は、データストリームのランダムアクセスを可能にする方法でエンコード化されたデジタルデータを配信する方法、装置およびシステムに向けられている。
【関連技術の説明】
【０００３】
デジタルビデオおよびオーディオ圧縮技術は、デジタルマルチメディア配信において爆発的な成長の時代をもたらしてきた。１９９０年代の初めの頃から、例えば、ＩＴＵ−Ｔのビデオコーディング専門グループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣの動画専門グループのような、国際的な規格グループが、国際的なビデオ記録規格を開発してきた。開発された規格は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（集合的にＭＰＥＧ−ｘと呼ばれる）、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、およびＨ．２６４（集合的にＨ．２６ｘと呼ばれる）を含む。
【０００４】
国際的なビデオ記録規格は、ブロックベースのハイブリッドビデオコーディングアプローチとして知られているものにしたがう。ブロックベースのハイブリッドビデオコーディングアプローチにおいて、画素は、ピクチャ、または一般に呼ばれ、本出願中で参照されるフレーム、のデジタル表現の基礎としての機能を果たす。画素のグループは、ブロックとして知られているものを形成する。デジタル圧縮動作を実行するための通常のブロックサイズは、マクロブロックとして知られている。マクロブロックは、１６ｘ１６の画素から構成されている。サブマクロブロックは、例えば、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８、および４ｘ４、の画素を含むより小さい組の画素から構成されている。圧縮動作をサブマクロブロックに実行することもでき、それ故に、本発明の観点を曖昧にしないように、すべてのブロックサイズまたはブロックサイズのグループを含むことができるフレームの一部分における動作として、圧縮動作を論じる。マクロブロックのグループは、スライスとして知られているものを形成する。スライスは、例えば、行、列、正方形、または長方形の形態をとって、連続的なマクロブロックから構成することができる。スライスはまた、分離したマクロブロック、または分離したマクロブロックと連続的なマクロブロックとの組み合わせから構成することができる。スライスはともにグループ化されて、ビデオシーケンスを形成するフレームのシーケンスのある時点におけるフレームを形成する。
【０００５】
ＭＰＥＧ−ｘおよびＨ．２６ｘ規格は、データ処理および操作技術を記述し、データ処理および操作技術は、固定または可変長ソースコーディング技術を使用する、ビデオ、オーディオおよび他の情報の圧縮および配信に十分適している。特に、上に参照した規格、ならびに他のハイブリッドコーディング規格および技術は、（例えば、ランレングスコーディング、ハフマンコーディングおよびこれらに類似するもののような）イントラフレームコーディング技術と、（例えば、前方向および後方向予測コーディング、動き補償ならびにこれらに類似するもののような）インターフレームコーディング技術とを使用してビデオ情報を圧縮する。特に、ビデオ処理システムのケースにおいて、イントラフレームの、および／またはインターフレームの動き補償エンコーディングをともなう、ビデオフレームの予測ベースの圧縮エンコーディングにより、ハイブリッドビデオ処理システムは特徴付けられる。
【０００６】
インターフレームコーディング技術は、ビデオシーケンスにおけるフレーム間の時間的相関を利用する。現在のフレームが参照するフレームが以前にデコード化されていない限り、現在の時間的に予測されたフレームのデコーディングを達成することができないため、通常、この目的のために使用される時間的予測は、圧縮されたビットストリーム中のランダムアクセスポイントを減少させる。したがって、デコーダまたはユーザのアプリケーション端末において、（ダウンロードされたファイル、またはストリーミングメディアのケースにおいてはストリームされたビット、の形態をとって）受信されたビットストリームは、瞬時に再生されないかもしれない。代わりに、例えば、イントラコード化されたフレームまたはＩＤＲフレームのような、ストリーム／ファイル中の予め定められたランダムアクセスポイントにおいてのみデコーディングが開始するかもしれない。ＩＤＲ、すなわち瞬時デコーダリフレッシュのフレームがＨ．２６４において導入され、ランダムアクセスポイントとして使用されるかもしれない。ＩＤＲフレームより（時間において）前の情報は、上述したインターコーディング技術のいずれかをともなう後続のフレームに対する参照として使用されないかもしれない。ビデオストリーミングの適用において、特に、マルチキャストのシナリオにおいて、瞬時に（または、遅くよりも早く）デコードする能力は、ユーザ経験の視点から好ましいかもしれない。
【０００７】
イントラコーディング技術は、インターコーディング技術よりも圧縮が少なくなる。結果として、ＩＤＲおよびイントラコード化されたフレームの頻度を増加させることは、頻繁なランダムアクセスポイントを提供する一方で、非常に高いビットレートを生じさせるかもしれない。ランダムアクセスポイントを提供する、改善された、潜在的により低いビットレートの方法が必要とされる。
【０００８】
ストリーミングビデオシステムは通常、異なったチャネル間で切り換える必要があるかもしれない。古いチャネルから新しいチャネルに切り換えるのに費やされる最大の時間は通常、ユーザの経験を改善するために上限があるべきである。
【０００９】
従来より、イントラ（Ｉ−）フレームは、すべてのピクチャのグループ（ＧＯＰ）の始まりに導入されて、エンコーダとデコーダとの間のドリフトを制限する。Ｉフレームを使用して、雑音のあるチャネルにより引き起こされるエラー伝搬を緩和することもでき、高度ビデオコーディング（ＡＶＣ）のフレーム構造において瞬時デコーディングリフレッシュ（ＩＤＲ）の概念と特に効果的に結合される。
【００１０】
Ｉフレームを使用する方法をチャネル切り換えに流用することができる。ＩＤＲのＩフレームをすべてのＧＯＰの始まりに置くことができ、それにより、古いＧＯＰ中のコンテンツへの新しいＧＯＰ中のビデオコンテンツの依存を除くことができる。
【００１１】
しかしながら、このスキームを使用することによるいくつかの欠点がある。
【００１２】
第１に、Ｉフレームはサイズがかさばり、そのことは通常、すべてのＧＯＰの始まりで瞬時のビットレートにピークを生じさせる。フレームサイズのピーク対平均の比が、巨大なＩフレームにより増加し、そのことは、より大きなデコーディングバッファおよびより厳密なデコーダのタイミングを必要とするかもしれず、さもなければ、データのバーストがデコーダの機能を妨げるかもしれない。この影響は、ＡＲＭまたはＤＳＰに基づいたハードウェアデコーダの設計を、より複雑かつ高価にさせることがある。
【００１３】
第２に、Ｉフレーム中のマクロブロック（ＭＢ）の間に多くの空間的な依存がある。ＡＶＣ規格は、Ｉフレームの内部の空間的予測を可能にするが、予測は隣接した隣り合うものに制限され、因果関係のある形でのみ行われる。すべてのＭＢは同時点でイントラ更新されるため、イントラコード化されたＭＢの総数は、少なくとも１つのピクチャ中のＭＢの数である。しかしながら、我々が複数の時点においてピクチャの一部分をイントラ更新することを選ぶ場合、我々は必要とされるかもしれないイントラＭＢの数を減らすために動き推定を使用してもよい。
【００１４】
第３に、最初のＩ−フレーム中のいくつかのイントラコード化されたＭＢは、続くピクチャにおいて参照されないかもしれない。例えば、いくつかのフレームの期間にオブジェクトが消えることがある。オブジェクトがピクチャから移動する場合、またはオブジェクトが他のオブジェクトによりカバーされる場合にこのことが発生する。このケースにおいて、続くフレームはもうこのオブジェクトを含まず、このオブジェクトから予測されないため、このオブジェクトを表すＭＢはイントラコード化することを必要としないかもしれない。別の例は、単一フレームのカメラフラッシュである。カメラフラッシュフレームにおける著しいルーマシフトにより、そのＭＢは通常、（カメラフラッシュのない）将来のフレームの予測に対して役に立たない。同様に、エンコーディングの効率を改善するために、カメラによりフラッシュされた領域はイントラコード化されないかもしれない。
【概要】
【００１５】
マルチメディアデータのフレームをプログレッシブにリフレッシュする方法、装置およびシステムを開示する。例えば、所望のマルチメディアデータコンテンツ源が１つのチャネルから別のチャネルに変わっているとき、プログレッシブなリフレッシングを使用できる。このスキームは、フレームサイズのピーク対平均の比と、イントラコード化する必要があるＭＢの数を効果的に減少させる。
【００１６】
１つの観点は、マルチメディアデータのフレームのシーケンスを処理する方法であり、方法は、シーケンスの第１のフレームの第１の部分を選択することと、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュすることと、シーケンスの第２のフレームの少なくとも１つの第２の部分を選択し、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーすることと、少なくとも１つの第２の部分をコーディングすることにより、少なくとも１つの第２の部分をリフレッシュすることと、第２のフレームの少なくとも１つの第３の部分をダイナミックに選択することと、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュし、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを含む。
【００１７】
別の観点は、マルチメディアデータのフレームのシーケンスを処理するように構成された装置であり、装置は、シーケンスの第１のフレームの第１の部分を選択する手段と、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュする手段と、シーケンスの第２のフレームの少なくとも１つの第２の部分を選択し、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーする手段と、少なくとも１つの第２の部分をコーディングすることにより、少なくとも１つの第２の部分をリフレッシュする手段と、第２のフレームの少なくとも１つの第３の部分をダイナミックに選択する手段と、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュし、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用される手段とを含む。
【００１８】
別の観点は、マルチメディアデータのフレームのシーケンスを処理するように構成された電子デバイスであり、デバイスは、シーケンスの第１のフレームの第１の部分を選択するように構成された第１の選択モジュールと、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュするように構成された第１のエンコーディングモジュールと、シーケンスの第２のフレームの少なくとも１つの第２の部分を選択し、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーするように構成された第２の選択モジュールと、少なくとも１つの第２の部分をコーディングすることにより、少なくとも１つの第２の部分をリフレッシュするように構成された第２のエンコーディングモジュールと、第２のフレームの少なくとも１つの第３の部分をダイナミックに選択するように構成された第３の選択モジュールと、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュし、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されるように構成された第３のエンコーディングモジュールとを含む。
【００１９】
別の観点は、マルチメディアデータのフレームのシーケンスを処理する方法を機械に実行させるための命令を有する機械読み取り可能媒体であり、方法は、シーケンスの第１のフレームの第１の部分を選択することと、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュすることと、シーケンスの第２のフレームの少なくとも１つの第２の部分を選択し、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーすることと、少なくとも１つの第２の部分をコーディングすることにより、少なくとも１つの第２の部分をリフレッシュすることと、第２のフレームの少なくとも１つの第３の部分をダイナミックに選択することと、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュし、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを含む。
【ある観点の詳細な説明】
【００２０】
デジタルデータのフレームシーケンスをエンコーディングし、それにより受信デバイスのユーザがビデオストリームに、より効果的にアクセスすることを可能にする方法、装置およびシステムをここで記述する。方法、装置およびシステムは、イントラフレームエンコード化されたアクセスポイントアプローチに対して、低ビットレートの、代替の方法を提供する。本発明の観点を曖昧にしないために、ある詳細は省かれている。本出願中で記述されていない特定の詳細は、当業者の知識の範囲内である。
【００２１】
図１は、ストリーミングピクチャをエンコーディングおよびデコーディングする一般的な通信システムのブロック図である。システム１００は、エンコーダデバイス１０５およびデコーダデバイス１１０を含む。エンコーダデバイス１０５は、イントラエンコーディングコンポーネント１１５、予測エンコーディングコンポーネント１２０、獲得シーケンスコンポーネント１２５、メモリコンポーネント１３０および通信コンポーネント１７５をさらに含む。通信コンポーネント１７５中に含まれる通信ロジックを使用して、エンコーダデバイス１０５は、外部源１３５からデータを受信することができる。外部源１３５は、例えば、外部メモリ、インターネット、ライブビデオおよび／またはオーディオフィードとすることができ、データを受信することは、ワイヤードおよび／またはワイヤレス通信を含むことができる。外部源１３５中に含まれるデータは、（エンコードされていない）生の、またはエンコードされた、状態にあるものとすることができる。イントラエンコーディングコンポーネント１１５は、フレーム（スライス、マクロブロックおよびサブマクロブロック）のイントラコード化される部分をエンコードするために使用される。前方向予測、後方向予測および双方向予測を含む、フレームの予測される部分をエンコードするために、予測エンコーディングコンポーネント１２０が使用される。予測されるフレームをエンコードするために使用されるロジックを含むことに加えて、予測エンコーディングコンポーネント１２０は、予測される部分のための参照フレームを選ぶために使用されるロジックも含む。
【００２２】
エンコーダデバイス１０５は、エンコーディングするために、生の、またはエンコード化されたデータにアクセスできる。イントラコード化された部分をインターコード化された部分に、またその逆に置き換えるために、エンコード化されたデータにアクセスし、それにより、エンコード化されたフレームシーケンスを獲得シーケンスに変換でき、これは、マルチメディアデータの完全なフレームをプログレッシブにリフレッシュする。エンコード化されたデータ（イントラコード化された、またはインターコード化されたデータのいずれか）にアクセスするとき、イントラエンコーディングコンポーネント１１５および予測エンコーディングコンポーネント１２０中に含まれるロジックは、エンコード化されたデータをデコードし、再構成された生データを結果として生じさせる。獲得シーケンスを含むように、この再構成された生データ、またはアクセスされた生データをエンコード化できる。獲得シーケンス中のそれぞれの獲得フレームのどの部分がイントラエンコーディングコンポーネント１１５によりイントラコード化されるべきであり、獲得シーケンス中のそれぞれの獲得フレームのどの部分が予測エンコーディングコンポーネント１２０によりインターコード化されるべきであるかを決定するために使用されるロジックを、獲得シーケンスコンポーネント１２５は含む。獲得シーケンス中のどのフレームが、他のフレームのインターコード化された部分により参照され得るかを限定するロジックも獲得シーケンスコンポーネント１２５は含むことができる。エンコーディングの後、エンコード化されたフレームは、メモリコンポーネント１３０または外部メモリ中に記憶される。外部メモリは、外部源１３５と同一、または（示していない）別個のメモリコンポーネントとすることができる。通信コンポーネント１７５は、ネットワーク１４０に関連した送信（Ｔｘ）のために使用されるロジックを含む。ネットワーク１４０は、電話機、ケーブル、および光ファイバのようなワイヤードシステム、またはワイヤレスシステム、の一部とすることができる。ワイヤレスのケースにおいて、通信システム、ネットワーク１４０は、例えば、コード分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムの一部を構成することができ、または代わりに、システムは、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、時分割多元接続（ＴＤＭＡ）システムとすることができ、これらはＧＳＭ／ＧＰＲＳ（一般パケット無線通信サービス）／ＥＤＧＥ(拡張データＧＳＭ環境)またはサービス産業のためのＴＥＴＲＡ（地上波トランク無線）移動電話機技術、広帯域コード分割多元接続（ＷＣＤＭＡ）、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、または一般に技術の組み合わせを使用する任意のワイヤレス通信システムのようなものである。エンコード化されたフレームは、ネットワーク１４０を通して送信（Ｔｘ）される。エンコーダデバイス１０５のコンポーネントにより実行されるエンコーディングプロセスを以下でより十分に記述する。
【００２３】
デコーダデバイス１１０は、エンコーディングデバイス１０５に類似したコンポーネントを含み、イントラデコーディングコンポーネント１４５、予測デコーディングコンポーネント１５０、獲得シーケンスコンポーネント１５５、メモリコンポーネント１６０および通信コンポーネント１８０を含む。獲得シーケンスコンポーネントを持たないデコーダデバイスは、デコーダが獲得に気づかない通常の方法でデコーディングを続行でき、それでもなお、ランダムアクセスポイントの提供を受けることができる。獲得シーケンスコンポーネント１５５により、デコーダは、獲得シーケンスの位置を突き止め、獲得に対して適切なシーケンスの部分だけをデコードでき、こうして、デコーディングプロセスの効率を向上させる。デコーダデバイス１１０は、ネットワーク１４０を通して、または外部記憶装置１６５から、送信されるエンコード化されたデータを受信する。エンコード化されたデータをネットワーク１４０に関連して受信（ＲＸ）するために使用されるロジックだけでなく、エンコード化されたデータを外部記憶装置１６５から受信するためのロジックを通信コンポーネント１８０は含む。外部記憶装置１６５は、例えば、外部ＲＡＭまたはＲＯＭ、あるいはリモートサーバとすることができる。イントラデコーディングコンポーネント１４５は、イントラコード化されたデータをデコードするために使用される。予測デコーディングコンポーネント１５０は、インターコード化されたデータをデコードするために使用される。獲得シーケンスコンポーネント１５５は、獲得シーケンスを含んでいるビットストリームの初期の獲得を可能にするために使用されるロジックを含み、それにより、ユーザによるチャネル切り換え後に、または信号の最初の獲得時に新しいチャネルにリフレッシュする。しかしながら、上述したように、獲得シーケンスコンポーネント１５５を欠いている標準のデコーダデバイスは、獲得シーケンスを最初に識別することなく獲得シーケンスをデコードすることもできる。先行するデータから独立であるというまさにその性質により、受信したときに獲得シーケンスをデコードできる。獲得シーケンスは、多数の獲得フレームを含む。獲得シーケンスは最初に識別され、次に、イントラコード化されている獲得フレームのそれらの部分がイントラデコーディングコンポーネント１４５によりデコード化される。デコード化され、イントラコード化された部分を参照する、獲得フレームの何らかの後続するインターコード化された部分は、予測デコーディングコンポーネント１５０によりデコード化される。獲得シーケンス中に含まれるすべての獲得フレームの、すべてのイントラコード化された部分および後続のインターコード化された部分がデコード化された後、結果は、結合された、イントラコード化およびインターコード化された部分からなる、完全にリフレッシュされた見ることができるフレームである。デコーディング後、デコード化されたフレームをディスプレイコンポーネント１７０上で表示することができ、あるいは内部メモリ１６０または外部記憶装置１６５中に記憶できる。ディスプレイコンポーネント１７０は、電話機またはＰＤＡ（パーソナルデジタルアシスタント）あるいは外部周辺デバイス上にあるディスプレイスクリーンのような、デコーディングデバイスの組み込まれた部分とすることができる。デコーダデバイス１１０により実行されるデコーディングプロセスを以下でより完全に記述する。
【００２４】
図１のイントラエンコーディングブロック１１５およびイントラデコーディングブロック１４５中で使用されるようなイントラコーディングは、他のピクチャを参照することなく、ピクチャの現在の部分に基づくデジタル圧縮の方法である。イントラコーディングは、空間的予測を最初に使用し、空間予測では、隣接する画素値から画素値を予測できる。現在、Ｈ．２６４だけが空間的予測をサポートする。Ｈ．２６４は、ルーマ値に対する２つの空間的予測モード、すなわち１６ｘ１６マクロブロック空間的予測および４ｘ４サブマクロブロック空間的予測をサポートする。Ｈ．２６４は、クロマに対する１つの予測モード、すなわち８ｘ８を提供する。８ｘ８モードにおいて、８ｘ８クロマブロックは、１６ｘ１６ルーママクロブロックに類似した方法で予測される。空間的予測後、残りの情報は、例えば、Ｈ．２６４のケースにおいて、離散コサイン変換（ＤＣＴ）、または整数変換を使用して変換され、次に量子化される。スライスがマクロブロックのグループ（１６ｘ１６画素のマクロブロック）から構成されていてもよいスライスレベルで、イントラコーディングを実施してもよい。イントラコード化されたスライスまたはＩスライスは、イントラコード化されたマクロブロックだけを含み、時間的予測を使用しない。フレーム全体が、Ｉフレームとして知られているように、イントラコード化されてもよく、ランダムアクセスポイントとして使用されてもよい。以下で論じる、インターコード化された、または予測されたフレームとは異なり、Ｉフレーム（またはＩスライス）は、圧縮されたデータにより表されるピクチャを表示するためのすべての適切な情報を含む。この理由のため、ランダムアクセスシナリオにおいて、初期のフレームに対してＩフレームを使用することができる。しかしながら、Ｉフレームは、インターコード化された、または予測されたフレームほど圧縮を提供しないかもしれない。
【００２５】
ＤＣＴは、使用できる可逆な２次元変換の唯一のタイプである。他の可能な変換は、例えば、Ｈ．２６４におけるような、離散ウェーブレット変換（ＤＷＴ）、整数変換、またはアダマール変換を含む。すべてのマクロブロックに対して、変換された係数の量子化を変更することができる。量子化後、例えば、ハフマンコーディング、可変長コーディング、またはバイナリ算術コーディングのような、エントロピーコーディングが、さらなるデジタル圧縮のために使用される。エントロピーコーディングは、最もよく発生するビットのストリングをより短いコードに置き換えることができ、さほど発生しないビットのストリングをより長いコードに置き換えることができる。コード化されているデータ中に現れるパターンを利用するために、エントロピーコーディングは、文脈適応のものとすることができる。文脈適応コーディングは、スライスレベル、あるいは、例えば、マクロブロックレベルまたはサブマクロブロックレベルのようなより小さいレベルで動作できる。
【００２６】
インターコーディング、または同様に知られているものとして、予測コーディングは、時間的予測の１つの形態であり、時間的予測は、例えば、イントラコーディングより大きなデジタル圧縮を可能にする動き推定を使用して、時点間の類似性を利用できる。インターコーディングは、図１中の、予測エンコーディングブロック１２０および予測デコーディングブロック１５０により実行される。類似するブロックに対して別の時点における参照ピクチャをサーチすることにより、インターコーディングは、マクロブロックレベルまたはより低いレベルでそれぞれのピクチャを調べることができる。一致が見出される場合、ブロック全体に対するすべてのＤＣＴ係数値を記憶する代わりに、システムは、はるかに小さい動きベクトルと残余エラーとを記憶する。動きベクトルは、時間的ピクチャ間のブロックの移動（または移動がないこと）を記述し、残余エラー成分は、参照ポイント間の差異を訂正する。このようにして、効率的な圧縮が達成される。
【００２７】
インターコーディングは、例えば、１つ以上の参照フレームからの、前方向予測、後方向予測および双方向予測を含む。前方向予測において、（コスト関数分析に基づいた）参照フレーム中の整合マクロブロックは、後続フレーム中のマクロブロックのための予測として使用される。後方向予測において、（コスト関数分析に基づいた）参照フレーム中の整合マクロブロックは、先行フレーム中のマクロブロックのための予測として使用される。双方向予測において、インターコード化されている現在のフレームは、先行参照フレームと後続参照フレームとの間に位置している。先行および後続参照フレームからの整合マクロブロックは結合されて（例えば、単純な平均または重み付けされた平均を使用して結合されて）、現在のフレーム中のマクロブロックのための予測を形成する。任意の数の参照フレームからの、前方向予測、後方向予測、および双方向予測は、“インターコーディング”技術として、または“インターコード化”技術として、ここでは集合的に呼ばれる。
【００２８】
図２は、一般的な通信システムのための、ストリーミングピクチャをエンコードするように構成されたエンコーダのブロック図である。エンコーダは、図１のエンコーダ１０５と類似した機能を有することができ、リフレッシュシーケンスの第１のフレームの第１の部分を選択するように構成された、第１の部分を選択するモジュール２３０を含む。エンコーダはまた、第１の部分をイントラコード化して、それにより第１の部分をリフレッシュするように構成された、第１の部分をリフレッシュするモジュール２４０を含む。エンコーダは、リフレッシュシーケンスの第２のフレームの第２の部分を選択し、それにより、第２の部分が、第１の部分と同じ位置に配置された第２のフレームの領域を少なくともカバーするように構成された、第２の部分を選択するモジュール２５０をさらに含む。エンコーダはまた、第２の部分をコード化するように構成された、第２の部分をリフレッシュするモジュール２６０を含む。エンコーダは、第３の部分をダイナミックに選択するモジュール２７０、および第３の部分をコード化するように構成された、第３の部分をリフレッシュするモジュール２８０をさらに含む。
【００２９】
ランダムアクセスは、任意の時点におけるデータにアクセスする能力を指す。ランダムアクセスとは異なる、シーケンシャルなアクセスは、間に起こるすべてのポイントのデコーディングを必要とするかもしれない。図３Ａは、フレームベースのビットストリームのシーケンシャルなアクセスを描写する。フレーム２０、２２、２４および２６は、シーケンシャルにデコード化される。これは、フレーム２２がフレーム２０から前方向予測され、フレーム２４がフレーム２２から前方向予測され、かつ、フレーム２６がフレーム２４から前方向予測されたケースであるだろう。図３Ｂは、フレームベースのビットストリームのランダムアクセスを描写する。フレーム２６は、フレーム２０、２２または２４をデコーディングすることなく、即座にデコード化される。例えば、フレーム２６が完全にイントラコード化されたフレームであった場合、フレーム２６をデコード化できる。
【００３０】
ビデオ獲得は、ランダムアクセスの形態であり、ビデオ獲得は、例えば、より低いＯＳＩ（開放型システム間相互接続）層におけるシステム獲得のような、他の制限を含むことがある。ビデオ獲得は、（ビデオデコーダが存在できる）アプリケーション層がビデオの表示を開始できるときの状態に関連している。ハイブリッドコード化されるビデオビットストリームのケースにおいて、インターコーディングのため、ランダムアクセスすなわちビデオ獲得は、すべてのフレーム上で達成されないかもしれない。デコーダは、ランダムアクセスポイントの位置を突き止めるために、ビットストリーム中を前後に移動するかもしれない。フレーム全体をイントラコーディングすることは、ランダムアクセスポイントを提供する１つの方法である。しかしながら、何らかのパワーが制限されたデバイス、プロセッサが制限されたデバイス、またはデータレートが制限されたチャネルは、フレーム全体のデータの頻繁なイントラコーディングに対応することができないかもしれない。
【００３１】
ランダムアクセスポイントを提供するためにビデオフレーム全体をイントラコーディングすることに対して、獲得シーケンスは代替の方法を提供する。図４は、獲得シーケンスの例の説明図である。獲得シーケンス３０は、イントラコード化された部分を含むＮ個の獲得フレーム３２（“Ａｃｑ１”から“Ａｃｑ Ｎ”とラベル付けされたフレーム）を含んでいる。また、ビットストリーム中に示されているように、獲得シーケンスの外側に、非獲得フレーム３４（ラベル付けされていないフレーム）がある。イントラコード化された部分は、例えば、画素、ブロック、サブマクロブロック、マクロブロックまたはスライスのような、任意の形状またはサイズにおけるものとすることができる。それぞれの獲得フレーム３２はまた、イントラコード化されていない残りのブロックから構成されたインターコード化された部分を含む。非獲得フレーム３４は、イントラコード化された、およびインターコード化された部分の両方を含んでいてもよい。
【００３２】
図５は、獲得シーケンスの別の例の説明図である。この例は、獲得シーケンス４０中の（“Ａｃｑ１”から“Ａｃｑ Ｎ”とラベル付けされた）Ｎ個の獲得フレーム３２の間の所々に置かれた、非獲得フレーム３４を含む。非獲得フレームを獲得フレームの間の所々に置くことは、ビデオ獲得において遅延を増加させるが、対応する粒度においてより低い層がランダムアクセスを提供しないとき、より良い圧縮率または減少したビットレートを提供できる。獲得フレーム３２は、イントラコード化された、およびインターコード化された部分を含む。獲得フレーム３２の間に所々に置かれている非獲得フレーム３４は、獲得デバイスが、獲得中に非獲得フレームをデコードするかどうか次第で、以下で論じるようなインターコーディングに関する制限にしたがわなければならないかもしれないし、またはしたがう必要がないかもしれない。以下で論じるインターコーディングに関する制限により、非デコード化部分における依存性のために、インター予測された部分が損なわれることなく、獲得デバイスは、適切な獲得を達成することができる。
【００３３】
デコーダがビデオ獲得を確立するために、デコーダは、獲得シーケンス中のＮ個の獲得フレームのイントラコード化された部分をデコードする。獲得シーケンス中の以前にデコード化された部分（インターコード化された、またはイントラコード化された部分）を参照する、他のフレーム（獲得または非獲得フレーム）中に含まれる（前方向、後方向または双方向の）インターコード化された部分も同様にデコード化できる。（以下で表すように）イントラコード化された部分を配置して、Ｎ個の獲得フレームのイントラコード化された部分を結合することにより、イントラコード化された合成物を形成することができる。獲得シーケンス中のＮ個の獲得フレームがデコード化され、結合されたイントラコード化された合成物が形成された後、ビデオ獲得が完成される。
【００３４】
いくつかの構成は、データストリーム中のある間隔に位置する獲得シーケンスを利用する。例えば、１または２秒毎のような、定期的に間隔をあけた期間に獲得シーケンスを含めることにより、ランダムアクセスを試みる受信デバイスは、少量のビットストリームデータを容易にサーチして、獲得シーケンスの位置を突き止め、素早くビデオ獲得を取得でき、それにより、ユーザの体験を向上させる。一般に、頻繁なランダムアクセスを可能にするために、Ｉフレームがビットストリーム中に含まれるが、より小さい圧縮およびより高いデータレートまたは同一のデータレートに対してより劣る品質という犠牲を払っている。したがって、記述した方法により、Ｉフレームだけの場合よりもより低いデータレートを提供する一方で、チャネルを変更するときのような、ビットストリームを獲得する際の遅延を減少させることができる。方法を使用して、フレームのグループであるスーパーフレームの開始にフレームを発生させてもよい。いくつかの構成において、スーパーフレームは、１秒に値するフレームを含む。
【００３５】
図６は、フレームシーケンスを描写しており、例えば、図１の獲得シーケンスコンポーネント１２５、または図２の選択するモジュール２２５により、完全にリフレッシュされ、見ることができるフレームがプログレッシブに発生されている。この例において、獲得シーケンスは、３つの獲得フレーム５０１−５０３から構成されている。獲得フレーム５０１は、第１のリフレッシュ部分５１１を含み、第１のリフレッシュ部分５１１は、リフレッシュされることに限られ、リフレッシュはイントラコーディングにより達成されてもよい。この例において、第１のリフレッシュ部分５１１は不連続であり、獲得フレーム５０１の中央部分にある。いくつかの例において、第１のリフレッシュ部分５１１は、連続的であり、長方形でなくてもよく、および／または獲得フレームの中央部分になくてもよい。第１のリフレッシュ部分５１１中に含まれない、獲得フレーム５０１の部分には制限がなく、それ故に、イントラコーディングまたはインターコーディングのいずれかによりエンコード化されてもよく、かつ、リフレッシュされてもよく、またはリフレッシュされなくてもよい。例えば、第１のリフレッシュ部分５１１中に含まれない、獲得フレーム５０１の部分が、先行フレームのリフレッシュされていないデータを参照してインターコード化されることになる場合、その部分も同様にリフレッシュされないだろう。
【００３６】
獲得フレーム５０２は、第２のリフレッシュ部分５１２を含み、第２のリフレッシュ部分５１２は、第１のリフレッシュ部分５１１の同じ位置に配置された領域をカバーし、その領域を拡張する。ある幾何学的特徴とともに、図６中で示したが、第２のリフレッシュ部分５１２は、示した特徴に限定されない。例えば、第２のリフレッシュ部分５１２は、不規則な形状を有していてもよく、連続的でなくてもよく、および／あるいは第２のリフレッシュ部分５１２中に含まれない１つ以上の部分を、囲んでも、または部分的に囲んでもよい。第２のリフレッシュ部分５１２は、イントラコーディングまたはインターコーディングのいずれかにより、エンコード化されてもよく、かつ、リフレッシュされることに限られる。したがって、リフレッシュ部分５１２は、第１の獲得フレーム５０１の第１のリフレッシュ部分５１１から、イントラコード化され、または予測されてもよい。しかしながら、第２のリフレッシュ部分５１２中に含まれない、獲得フレーム５０２の部分は制限がなく、それ故に、イントラコーディングまたはインターコーディングのいずれかによりエンコード化されてよく、かつ、リフレッシュされてもよく、またはリフレッシュされなくてもよい。
【００３７】
獲得フレーム５０３は、第３のリフレッシュ部分５１３を含み、第３のリフレッシュ部分５１３は、第２のリフレッシュ部分５１２の同じ位置に配置された領域をカバーし、その領域を拡張する。図６中で示したように、第３のリフレッシュ部分５１３は、獲得フレーム５０３を実質的に完全にカバーする。第３のリフレッシュ部分５１３は、イントラコーディングまたはインターコーディングのいずれかにより、エンコード化されてもよく、かつ、リフレッシュされることに限られる。それ故に、第３のリフレッシュ部分５１３の任意の部分がインターコード化される場合、インターコーディングのための参照として、第１のリフレッシュ部分５１１または第２のリフレッシュ部分５１２のような、先行獲得フレームのリフレッシュされた部分を使用する。この例において、獲得シーケンスは３つのフレームから構成されている。他の例において、図１の獲得シーケンスコンポーネント１２５または図２の選択するモジュール２２５は、リフレッシュシーケンス中に、より多いまたはより少ないフレームを含むことができる。
【００３８】
特定のエンコーディング規格に対して、獲得シーケンスの範囲を超えた、あるフレームのエンコーディングは、制限されるかもしれないことが理解される。例えば、Ｈ．２６４において、５つの参照フレームがエンコーダにより比較されて、参照データを選択する。次に、Ｈ．２６４規格の下で、リフレッシュシーケンスが５つより少ないフレームで達成される場合、次の後続フレームは、第１の獲得フレーム５０１に先行するフレームを参照することから制限されるだろう。例えば、リフレッシュが、３つの獲得フレーム５０１、５０２および５０３で完成される場合、獲得フレーム５０１、５０２および５０３に続く３つのフレームのための参照データとしての考慮から、獲得フレーム５０１に対して先行するフレームを除外できる。
【００３９】
上の例において、第１、第２および第３のリフレッシュ部分５１１、５１２および５１３は、アンカーフレーム（ＰフレームまたはＩフレーム）に対する最小領域要求を満たす。いくつかの例において、これらのアンカーフレームの間に、Ｂフレームのような他のタイプのフレームがあってもよい。シーンの変更はリフレッシング期間中に発生することがあり、シーンの変更フレームは、Ｉフレームとしてエンコード化されてもよい。エンコーディング効率を向上させるために、最後のフレームを除くすべてのシーンの変更フレームを、リフレッシュ部分を有することから除外してもよい。
【００４０】
リフレッシュ部分の粒度は、単一の画素よりも大きくすることができる。いくつかの例において、たいていの人気のあるビデオ規格は、ブロックベースの動き推定および変換を使用するため、最小のエンコーディングユニットに対してその粒度を選ぶことは、十分正確である。画素レベルの代わりにブロックレベルでアルゴリズムを実行することは、最小の性能犠牲で計算負荷を著しく減少させる。ＡＶＣにおけるブロックサイズは４ｘ４であり、我々がＡＶＣにおいてプログレッシブなリフレッシングアルゴリズムを実現する場合、４ｘ４のブロックサイズは、自然な選択である。
【００４１】
図７は、フレームシーケンスを描写しており、例えば、図１の獲得シーケンスコンポーネント１２５、または図２の選択するモジュール２２５により、完全にリフレッシュされ、見ることができるフレームがプログレッシブに発生されている。この例において、獲得シーケンスは３つの獲得フレーム６０１−６０３から構成されている。獲得フレーム６０１はリフレッシュ部分６１１を含み、リフレッシュ部分６１１は、リフレッシュされることに限られ、リフレッシュはイントラコーディングにより達成されてもよい。リフレッシュ部分６１１中に含まれない、獲得フレーム６０１の部分には制限がなく、それ故に、イントラコーディングまたはインターコーディングのいずれかによりエンコード化されてもよく、かつ、リフレッシュされてもよく、またはリフレッシュされなくてもよい。例えば、リフレッシュ部分６２１は、リフレッシュ部分６１１中に含まれていないが、それにもかかわらずイントラコード化されており、それ故に、リフレッシュされている。獲得フレーム６０１をエンコーディングした後、獲得フレーム６０１のリフレッシュされた部分の記録は保たれる。
【００４２】
同様に、獲得フレーム６０２は、リフレッシュ部分６１２を含み、リフレッシュ部分６１２は、リフレッシュ部分６１１の同じ位置に配置された領域をカバーし、その領域を拡張する。リフレッシュ部分６１２は、イントラコーディングまたはインターコーディングのいずれかにより、エンコード化されてもよく、かつ、リフレッシュされることに限られる。利用できるデータ帯域幅およびデータ品質に関連する最適化関数により、好ましいエンコーディング方法（例えばイントラコーディング）を決定するレート歪み（Ｒ−Ｄ）アルゴリズムにしたがって、リフレッシュ部分６２２はダイナミックに選択される。したがって、リフレッシュ部分６１２は、リフレッシュ部分６１１のような、別のリフレッシュ部分の参照データに基づいて、イントラコーディングまたはインターコーディングのいずれかによりエンコード化されてもよい。この観点において、可能性のある参照データとしてリフレッシュシーケンスの獲得フレームのデータだけを考慮し、それ故に、リフレッシュシーケンスに対して先行するフレームのデータを除外するために、Ｒ−Ｄアルゴリズムを修正できる。獲得フレーム６０２をエンコーディングした後、獲得フレーム６０２のリフレッシュされた部分の記録が保たれる。
【００４３】
獲得フレーム６０３は、リフレッシュ部分６１３を含み、リフレッシュ部分６１３は、
リフレッシュ部分６１２の同じ位置に配置された領域をカバーし、その領域を拡張する。図７中で示したように、リフレッシュ部分６１３は、獲得フレーム６０３を実質的に完全にカバーする。リフレッシュ部分６１３は、イントラコーディングまたはインターコーディングのいずれかにより、エンコード化されてもよく、かつ、リフレッシュされることに限られる。それ故に、リフレッシュ部分６１３がインターコード化される場合、アルゴリズムは、インターコーディングのための参照として、リフレッシュ部分６１１またはリフレッシュ部分６１２のような、先行獲得フレームのリフレッシュされた部分をオプション的に使用する。
【００４４】
この例において、リフレッシュシーケンスは、３つのフレームから構成されている。リフレッシュシーケンス中に獲得フレームがいくつあるかに関する決定は、Ｒ−Ｄアルゴリズムが参照データのために戻って見るフレームの数に基づいて実施されてもよい。いくつかの構成において、図１の獲得シーケンスコンポーネント１２５または図２の選択するモジュール２２５は、リフレッシュシーケンス中に、より多いまたはより少ないフレームを含むことができる。例えば、リフレッシュシーケンスは、第２と第３との獲得フレームの間に、１つ以上の追加的な獲得フレームを含んでいてもよい。追加的な獲得フレームは、第１および第２のリフレッシュ部分をそれぞれ含み、第１のリフレッシュ部分は、先行獲得フレームのリフレッシュされた部分の少なくとも一部と同じ位置に配置され、第２のリフレッシュ部分は、例えば、Ｒ−Ｄモード決定アルゴリズムに基づいて、ダイナミックに選択される。イントラコーディングにより、第１および第２のリフレッシュ部分のそれぞれをリフレッシュできる。代わりに、先行獲得フレームのリフレッシュされた部分の参照データに基づいてインターコーディングすることにより、第１および第２のリフレッシュ部分のそれぞれをリフレッシュできる。しかしながら、第１および第２のリフレッシュ部分のリフレッシングを確実にするために、先行フレームのリフレッシュされた部分の外側の先行フレームの部分を、現在の獲得フレームの第１および第２のリフレッシュ部分のための参照データとして使用することから除外できる。例えば、リフレッシュ部分６１２および６２２の外側の獲得フレーム６０２の部分を、獲得フレーム６０２および６０３の間の（示していない）４番目の獲得フレームのための参照データとして使用することから除外できる。
【００４５】
上述したように、獲得フレーム６０１に対して先行するフレームを、獲得フレーム６０１、６０２および６０３に続くフレームのための参照データとしての考慮から除外できる。エンコーディング規格は、そうでなければ、フレームを考慮のために含めるだろうから、このような除外は有利であるかもしれない。
【００４６】
いくつかの構成において、獲得フレームのそれぞれの、さまざまなリフレッシュおよびリフレッシュでない部分は、ソースマルチメディアデータの単一のパスを通して決定される。他の構成において、２つ以上のパスが実行され、先行パス中で得られた情報を使用して、現在のパスの決定を修正する。例えば、先行パスにおいて、第２のフレームの部分が、リフレッシュ部分であると決定されるかもしれない。しかしながら、第２のフレームの部分は、後続のフレームにおいて参照データとして決して使用されないことをリフレッシュシーケンスの分析が明らかにするかもしれない。そのような場合、その部分をリフレッシュしないことにより、その部分をリフレッシュすることに関する計算負荷のコストは回避されるかもしれない。マルチメディアデータ分析の複数のパスを通して、他の利益および効率が達成されるかもしれない。
【００４７】
上の議論はアンカーフレームに適用され、他のフレームのための参照データの源としてアンカーフレームを使用できる。参照データの源として使用できない、Ｂフレーム、すなわち双方向フレームが、アンカーフレームの間に発生するかもしれない。Ｂフレームは、先行フレームから、および後続のフレームから予測される。リフレッシュ完成時間を減少させるために、Ｂフレームが、完全にリフレッシュされる第１の獲得フレームの近くに発生する場合、Ｒ−Ｄアルゴリズムを制限して、先行または後続アンカーフレームのいずれかのリフレッシュされたデータに基づいてのみ、Ｂフレームをエンコードすると有利であるかもしれない。
【００４８】
例えば、図８は、アンカーフレームである３つの獲得フレーム８０１、８０２および８０３をともなうリフレッシュシーケンスを示す。リフレッシュシーケンスはまた、２つのＢフレームＢ１およびＢ２を有する。第１のＢフレームＢ１は、アンカーフレーム８０１と８０２との間に発生する。完全にリフレッシュされない後続のアンカーフレーム（アンカーフレーム８０２）があるため、ＢフレームＢ１がリフレッシュされるかどうかは、リフレッシュの完成時間に影響を及ぼさない。それ故に、Ｒ−Ｄアルゴリズムの制限を必要としないかもしれない。しかしながら、第２のＢフレームＢ２は、完全にリフレッシュされるアンカーフレーム８０３の前に隣接して位置する。それ故に、より短いリフレッシュ時間を達成するために、ＢフレームＢ２が、後続または先行フレームからのリフレッシュされたデータだけを参照して確実にエンコード化されるように、Ｒ−Ｄアルゴリズムが設定される。
【００４９】
一般に、リフレッシュシーケンスの最初のアンカーフレームと、シーケンスの最後の完全にリフレッシュされないアンカーフレームとの間に位置する任意のＢフレームは、他の任意のアンカーフレームの参照データを使用してエンコード化されてもよい。しかしながら、リフレッシュ時間を最小化するために、完全にリフレッシュされない最後のアンカーフレームと、最初の完全にリフレッシュされるフレームの前との間に位置する任意のＢフレームは、１つ以上の先行アンカーフレームのリフレッシュされた部分および／または後続のリフレッシュされるアンカーフレームだけに関連して、エンコーディングすることにより、完全にリフレッシュされてもよい。
【００５０】
上のリフレッシュ時間を改善する制限は、フル画素およびサブ画素の、動き推定の両方に適用される。ＡＶＣにおいて、動きベクトルは、ハーフ画素またはクォータ画素の値を有することが認められている。これらのサブ画素の値は、隣接したフル画素から補間される。ＡＶＣにより提案される１つの補間フィルタは、（１、−５、２０、２０、−５、１）であり、その長さは２より長い。それ故に、どのリフレッシュされないデータも、リフレッシュされている画素に対して確実に影響を及ぼさないようにするために、６つのすべての寄与する参照画素をリフレッシュすべきである。しかしながら、いくつかの構成においては、２つの支配的なタップの画素が確実にリフレッシュされることだけで十分であり、支配的でないタップの画素がリフレッシュされていないにもかかわらず、他のタップの寄与は小さいため、目に見えるアーティファクトは無視できるほどである。
【００５１】
いくつかの構成において、ＳＫＩＰモード中でアンカーフレームの部分をエンコード化できる。ＳＫＩＰモードにおいて、参照フレームおよびＭＶは、明確にエンコード化されず、むしろ文脈から導き出される。同様に、（空間または時間のいずれかの）ＤＩＲＥＣＴモード中で、Ｂフレームの部分をエンコード化できる。ＤＩＲＥＣＴエンコード化されたＢ部分の参照フレームおよびＭＶもまた、文脈から導き出される。このような構成において、適切な場合、エンコーダは、ＳＫＩＰコード化された、およびＤＩＲＥＣＴコード化された部分が、リフレッシュされた部分を参照して確実にエンコード化されるようにできる。
【００５２】
図９は、ある構成の方法のフローチャートである。図９は、例えば、図１の獲得シーケンスコンポーネント１２５または図２の選択するモジュール２２５により実現できる、マルチメディアデータのフレームのシーケンスを処理するために使用される方法８００を示す。
【００５３】
ステップ８３０において、第１のフレームの第１の部分が選択される。サイズ、形状および場所のような、予め定められた要素に基づいて、選択は実施されてもよい。いくつかの構成において、選択はダイナミックに実行され、データおよび／または他の動作条件または設定のような、実質的にリアルタイムの情報に基づいていてもよい。
【００５４】
ステップ８４０において、第１の部分がリフレッシュされる。これは、例えば、第１の部分をイントラコーディングすることにより実施されてもよい。第１のフレームの第１の部分は、第１のフレームの、または後続のフレームのソースマルチメディアデータに基づいてエンコード化されるので、この動作の結果は、第１のフレームの第１の部分がリフレッシュされることを含む。第１の部分中に含まれない、第１のフレームの部分は、リフレッシュされないかもしれない。
【００５５】
ステップ８５０において、第２のフレームの第２の部分が選択される。サイズ、形状および場所のような、予め定められた要素に基づいて、選択は実施されてもよい。いくつかの構成において、選択はダイナミックに実行され、データおよび／または他の動作条件または設定のような、実質的にリアルタイムの情報に基づいていてもよい。
【００５６】
ステップ８６０において、第２の部分がリフレッシュされる。これは、例えば、第２の部分のいくつかまたはすべてをイントラコーディングすることにより、またはリフレッシュされた第１の部分に基づいて、第２の部分のいくつかまたはすべてをインターコーディングすることにより、実施されてもよい。第２のフレームの第２の部分は、第１のフレームの、または後続のフレームのソースマルチメディアデータに基づいてエンコード化されるので、この動作の結果は、第２のフレームの第２の部分がリフレッシュされることを含む。第２の部分中に含まれない、第２のフレームの部分は、リフレッシュされないかもしれない。
【００５７】
ステップ８７０において、第２のフレームの第３の部分が選択される。選択はダイナミックに実行され、データおよび／または他の動作条件または設定のような、実質的にリアルタイムの情報に基づいていてもよい。例えば、Ｒ−Ｄ決定アルゴリズムを使用して、第３の部分を選択できる。
【００５８】
ステップ８８０において、第３の部分がリフレッシュされる。これは、例えば、第３の部分のいくつかまたはすべてをイントラコーディングすることにより、またはリフレッシュされた第１の部分に基づいて、第３の部分のいくつかまたはすべてをインターコーディングすることにより、実施されてもよい。第１のフレームの、または後続のフレームのソースマルチメディアデータに基づいてエンコード化されるので、この動作の結果は、第２のフレームの第３の部分がリフレッシュされることを含む。第２および第３の部分中に含まれない、第３のフレームの部分は、リフレッシュされるかもしれないし、またはリフレッシュされないかもしれない。第２のフレームに後続するフレームの部分は、参照データとして第１、第２および第３の部分を使用してそれらをエンコーディングすることにより、リフレッシュされてもよい。
【００５９】
任意のネットワーク、ワイヤードまたはワイヤレスに対して、記述した方法を使用できる。例えば、ワイヤレスＬＡＮ（ローカルエリアネットワーク）、ワイヤレスＷＡＮ（ワイドエリアネットワーク）またはセルラネットワークのような、データのエラーレートがかなり高い可能性があるネットワークは、獲得シーケンスの使用から利益を得ることができる。マルチチャネルビデオ配信システムにおけるチャネル切り換えのために役に立つランダムアクセスポイントを提供するために、獲得シーケンスはＩフレームの代わりに低ビットレートを提供する。エンコード化された獲得フレームのうちの１つの中に含まれるイントラコード化された部分の１つと同じ位置に位置するどのインターコード化された部分も、その内で部分がイントラコード化された、エンコード化された獲得フレームの前に発生するフレームを参照すべきではないため、イントラコード化された部分の導入がデコーディングに対する新しい開始ポイントを形成することになることから、このため獲得シーケンスは、エラー伝搬およびドリフトエラーを防ぐのに役立つことができる。
【００６０】
記述する方法、装置およびシステムの観点は、以下の記述を含むが、それに限定されない。
【００６１】
マルチメディアデータのフレームのシーケンスを処理する方法において、方法は、シーケンスの第１のフレームのうちの第１の部分を選択することと、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュすることと、シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーすることと、少なくとも１つの第２の部分をコーディングすることにより、少なくとも１つの第２の部分をリフレッシュすることと、第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択することと、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュし、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを含む。
【００６２】
マルチメディアデータのフレームのシーケンスを処理するように構成された装置において、装置は、シーケンスの第１のフレームのうちの第１の部分を選択する手段と、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュする手段と、シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーする手段と、少なくとも１つの第２の部分をコーディングすることにより、少なくとも１つの第２の部分をリフレッシュする手段と、第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択する手段と、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュし、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用される手段とを含む。
【００６３】
マルチメディアデータのフレームのシーケンスを処理するように構成された電子デバイスにおいて、デバイスは、シーケンスの第１のフレームのうちの第１の部分を選択するように構成された第１の選択モジュールと、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュするように構成された第１のエンコーディングモジュールと、シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択するように構成され、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーする第２の選択モジュールと、少なくとも１つの第２の部分をコーディングすることにより、少なくとも１つの第２の部分をリフレッシュするように構成された第２のエンコーディングモジュールと、第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択するように構成された第３の選択モジュールと、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュするように構成され、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用される第３のエンコーディングモジュールとを含む。
【００６４】
マルチメディアデータのフレームのシーケンスを処理する方法を機械に実行させる命令を有する機械読み取り可能媒体において、方法は、シーケンスの第１のフレームのうちの第１の部分を選択することと、第１の部分をイントラコーディングすることにより、第１の部分をリフレッシュすることと、シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、少なくとも１つの第２の部分は、第１の部分と同じ位置に配置されている第２のフレームの領域をカバーすることと、少なくとも１つの第２の部分をコード化することにより、少なくとも１つの第２の部分をリフレッシュすることと、第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択することと、少なくとも１つの第３の部分をコーディングすることにより、少なくとも１つの第３の部分をリフレッシュし、少なくとも１つの第２の部分および少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを含む。
【００６５】
任意のさまざまな異なる技術および技法を使用して情報および信号を表わしてもよいことを、当業者は理解するであろう。例えば、電圧、電流、電磁波、磁界または磁気粒子、光領域または光粒子、あるいはそれらの任意の組み合わせにより、上の記述を通して参照されているデータ、命令、コマンド、情報、信号、ビット、シンボルおよびチップを表わしてもよい。
【００６６】
電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして、ここで開示した例に関して記述したさまざまな実例となる論理ブロック、モジュール、およびアルゴリズムステップを実現してもよいことを、当業者はさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明瞭に図示するために、さまざまな実例となるコンポーネント、ブロック、モジュール、回路、およびステップをそれらの機能の点から一般的に上述した。このような機能がハードウェアまたはソフトウェアとして実現されるかどうかは、特定の用途およびシステム全体に課される設計制約によって決まる。それぞれの特定の用途に対してさまざまな方法で、当業者は記述した機能を実現するかもしれないが、このような実現決定は、例の範囲から逸脱を生じさせるものとして解釈すべきではない。
【００６７】
汎用目的のプロセッサ、デジタル信号プロセッサ（ＤＳＰ），特定用途向け集積回路（ＡＳＩＣ），フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）または他のプログラム可能論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいはここで記述した機能を実行するために設計された、これらの任意の組み合わせにより、ここで開示した例に関して記述した、さまざまな実例となる論理ブロック、モジュールおよび回路を実現または実行してもよい。汎用目的のプロセッサはマイクロプロセッサでもよいが、代わりに、プロセッサは任意の従来のプロセッサ、制御装置、マイクロ制御装置、または状態遷移機械であってもよい。計算デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに関連した１つ以上のマイクロプロセッサ、または他の任意のこのような構成として、プロセッサを実現してもよい。
【００６８】
ここで開示した例に関して記述した方法またはアルゴリズムのステップを、ハードウェア中で直接、プロセッサにより実行されるソフトウェアモジュール中で、またはその２つの組み合わせ中で具体化してもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ，または技術的に知られている他の任意の形態の記憶媒体中に存在してもよい。プロセッサが記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができるように、例示的な記憶媒体はプロセッサに結合されている。代替では、記憶媒体はプロセッサと一体化されていてもよい。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）中に存在してもよい。ＡＳＩＣはワイヤレスモデム中に存在してもよい。代替では、プロセッサおよび記憶媒体は、ワイヤレスモデム中にディスクリートコンポーネントとして存在してもよい。
【００６９】
いかなる当業者であっても開示した例を作りまたは使用できるように、開示した例の記述をこれまでに提供している。これらの例に対してさまざまな修正が当業者に容易に明らかになり、本発明の精神または範囲から逸脱することなく、ここで規定した原理を他の例に適用してもよい。
【００７０】
こうして、別の方法で時間的に予測されるフレーム内のイントラコード化された部分の使用を通して、イントラコード化されないフレームからビデオストリームのランダムアクセスを可能にする方法およびシステムを記述した。
【図面の簡単な説明】
【００７１】
【図１】図１は、マルチメディアデータをエンコーディングおよびデコーディングする一般的な通信システムのブロック図である。
【図２】図２は、エンコーディングデバイスのブロック図である。
【図３】図３は、フレームベースのビットストリームのシーケンシャルなアクセスを描写する。
【図３Ｂ】図３Ｂは、フレームベースのビットストリームのランダムアクセスを描写する。
【図４】図４は、獲得フレームシーケンスの例の説明図である。
【図５】図５は、獲得フレームシーケンスの別の例の説明図である。
【図６】図６は、マルチメディアデータのフレームがリフレッシュされるフレームシーケンスを描写する。
【図７】図６は、マルチメディアデータのフレームがダイナミックにリフレッシュされるフレームシーケンスを描写する。
【図８】図８は、マルチメディアデータのフレームがリフレッシュされる、Ｂフレームを有するフレームシーケンスを描写する。
【図９】図９は、フレームのシーケンスに対してマルチメディアデータのフレームをリフレッシュすることに関する例を図示するフローチャートである。
【図１】
2009510930.tif 000003
【図２】
2009510930.tif 000004
【図３】
2009510930.tif 000005
【図３Ｂ】
2009510930.tif 000006
【図４】
2009510930.tif 000007
【図５】
2009510930.tif 000008
【図６】
2009510930.tif 000009
【図７】
2009510930.tif 000010
【図８】
2009510930.tif 000011
【図９】
2009510930.tif 000012
【手続補正書】
【提出日】平成20年6月30日(2008.6.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチメディアデータのフレームのシーケンスを処理する方法において、
前記方法は、
前記シーケンスの第１のフレームのうちの第１の部分を選択することと、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュすることと、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーすることと、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュすることと、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択することと、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを含む方法。
【請求項２】
前記第２または第３の部分のコーディングは、前記リフレッシュされた第１の部分に関係付けられたデータに基づいて、前記第２または第３の部分をインターコーディングすることを含む請求項１記載の方法。
【請求項３】
前記第２または第３の部分のコーディングは、前記第２または第３の部分をイントラコーディングすることを含む請求項１記載の方法。
【請求項４】
前記マルチメディアデータは、単一のパス中で処理される請求項１記載の方法。
【請求項５】
前記マルチメディアデータは、１つより多いパス中で処理される請求項１記載の方法。
【請求項６】
前記第１、第２および第３の部分のうちの少なくとも１つの前記選択に少なくとも部分的に基づいて、前記第１、第２および第３の部分のうちの少なくとも１つをエンコード化することをさらに含む請求項１記載の方法。
【請求項７】
前記少なくとも１つの第２の部分は、複数の第２の部分を含み、さらに前記第２の部分のうちの１つは、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために参照データとして選択される請求項１記載の方法。
【請求項８】
前記第２の部分の領域を減少させることをさらに含み、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項７記載の方法。
【請求項９】
前記第１のリフレッシュフレームは、スーパーフレーム中の前記第１のフレームである請求項１記載の方法。
【請求項１０】
前記第２および第３の部分は、前記第２のフレームの実質的にすべてをカバーする請求項１記載の方法。
【請求項１１】
実質的にフレーム全体をリフレッシュするために、前記シーケンス中のフレームの総数を選択的に決定することをさらに含む請求項１記載の方法。
【請求項１２】
前記第１のリフレッシュ部分は、前記第１のリフレッシュフレームの実質的に中央部分を含む請求項１記載の方法。
【請求項１３】
前記第１のリフレッシュ部分は、予め定められた実質的に長方形の領域を少なくとも含む請求項１記載の方法。
【請求項１４】
前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分は、後続のフレームのための参照データとして使用されることから除外される請求項１記載の方法。
【請求項１５】
双方向フレームをリフレッシュすることをさらに含み、前記双方向フレームは、完全にリフレッシュされていない最後のアンカーフレームの後、かつ、最初の完全にリフレッシュされたフレームの前に発生する請求項１０記載の方法。
【請求項１６】
先行フレームの複数の重み付けられた部分に関して、フレームのうちの少なくとも１つの部分をリフレッシュすることをさらに含み、支配的でない重みを有する、前記重み付けされた部分のうちの１つ以上は、リフレッシュされない請求項１記載の方法。
【請求項１７】
マルチメディアデータのフレームのシーケンスを処理するように構成された装置において、
前記装置は、
前記シーケンスの第１のフレームのうちの第１の部分を選択する手段と、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュする手段と、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーする手段と、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュする手段と、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択する手段と、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用される手段とを具備する装置。
【請求項１８】
前記第２または第３の部分をリフレッシュする手段は、前記リフレッシュされた第１の部分に関係付けられたデータに基づいて、前記第２または第３の部分をインターコーディングする手段を備える請求項１７記載の装置。
【請求項１９】
前記第２または第３の部分をリフレッシュする手段は、前記第２または第３の部分をイントラコーディングする手段を備える請求項１７記載の方法。
【請求項２０】
前記装置は、単一のパス中で前記マルチメディアデータを処理するように構成されている請求項１７記載の装置。
【請求項２１】
前記装置は、１つより多いパス中で前記マルチメディアデータを処理するように構成されている請求項１７記載の装置。
【請求項２２】
前記第１、第２および第３の部分のうちの少なくとも１つの前記選択に少なくとも部分的に基づいて、前記第１、第２および第３の部分のうちの少なくとも１つをエンコーディングする手段をさらに具備する請求項１７記載の装置。
【請求項２３】
前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために、参照データとして前記第２の部分のうちの部分を選択する手段をさらに具備する請求項１７記載の装置。
【請求項２４】
前記第２の部分の領域を減少させる手段をさらに具備し、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項２３記載の装置。
【請求項２５】
前記第１のリフレッシュフレームは、スーパーフレーム中の前記第１のフレームである請求項１７記載の装置。
【請求項２６】
前記第２および第３の部分は、前記第２のフレームの実質的にすべてをカバーする請求項１７記載の装置。
【請求項２７】
実質的にフレーム全体をリフレッシュするために、前記シーケンス中のフレームの総数を選択的に決定する手段をさらに具備する請求項１７記載の装置。
【請求項２８】
前記第１のリフレッシュ部分は、前記第１のリフレッシュフレームの実質的に中央部分を含む請求項１７記載の装置。
【請求項２９】
前記第１のリフレッシュ部分は、予め定められた実質的に長方形の領域を少なくとも含む請求項１７記載の装置。
【請求項３０】
前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分を、後続のフレームのための参照データとして使用されることから除外する手段をさらに具備する請求項１７記載の装置。
【請求項３１】
双方向フレームをリフレッシュする手段をさらに具備し、前記双方向フレームは、完全にリフレッシュされていない最後のアンカーフレームの後、かつ、最初の完全にリフレッシュされたフレームの前に発生する請求項２６記載の装置。
【請求項３２】
先行フレームの複数の重み付けられた部分に関して、フレームのうちの少なくとも１つの部分をリフレッシュする手段をさらに具備し、支配的でない重みを有する、前記重み付けされた部分のうちの１つ以上は、リフレッシュされない請求項１７記載の装置。
【請求項３３】
マルチメディアデータのフレームのシーケンスを処理するように構成された装置において、
前記シーケンスの第１のフレームのうちの第１の部分を選択するように構成された、第１の選択モジュールと、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュするように構成された、第１のエンコーディングモジュールと、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択するように構成され、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーする第２の選択モジュールと、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュするように構成された、第２のエンコーディングモジュールと、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択するように構成された、第３の選択モジュールと、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュするように構成され、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用される第３のエンコーディングモジュールとを具備する装置。
【請求項３４】
前記第２および第３のエンコーディングモジュールは、前記リフレッシュされた第１の部分に関係付けられたデータに基づいて、それぞれ、前記第２および第３の部分をインターコード化するように構成されている請求項３３記載の装置。
【請求項３５】
前記デバイスは、１つより多いパス中で前記マルチメディアデータを処理するように構成されている請求項３３記載の装置。
【請求項３６】
前記第２の部分の領域を減少させるようにさらに構成され、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項３３記載の装置。
【請求項３７】
前記後続のフレームをエンコードし、かつ、前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分を、前記後続のフレームをエンコーディングするための参照データとして使用されることから除外するように構成された、１つ以上の追加的なエンコーディングモジュールをさらに具備する請求項３３記載の装置。
【請求項３８】
マルチメディアデータのフレームのシーケンスを処理する命令を具備する機械読み取り可能媒体において、
前記命令は、実行時に、
前記シーケンスの第１のフレームのうちの第１の部分を選択することと、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュすることと、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーすることと、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュすることと、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択することと、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されることとを機械に生じさせる機械読み取り可能媒体。
【請求項３９】
前記第２または第３の部分のコーディングは、前記第２または第３の部分をイントラコーディングすることを含む請求項３８記載の機械読み取り可能媒体。
【請求項４０】
実行されるとき、前記命令はさらに、前記第２の部分の領域を機械に減少させ、前記減少は、前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいている請求項３８記載の機械読み取り可能媒体。
【請求項４１】
実行されるとき、前記命令はさらに、後続のフレームのための参照データとして使用されることから前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分を機械に除外させる請求項３８記載の機械読み取り可能媒体。
【請求項４２】
マルチメディアデータのフレームのシーケンスを処理するプロセッサにおいて、
前記プロセッサは、
前記シーケンスの第１のフレームのうちの第１の部分を選択し、
前記第１の部分をイントラコーディングすることにより、前記第１の部分をリフレッシュし、
前記シーケンスの第２のフレームのうちの少なくとも１つの第２の部分を選択し、前記少なくとも１つの第２の部分は、前記第１の部分と同じ位置に配置されている前記第２のフレームの領域をカバーし、
前記少なくとも１つの第２の部分をコーディングすることにより、前記少なくとも１つの第２の部分をリフレッシュし、
前記第２のフレームのうちの少なくとも１つの第３の部分をダイナミックに選択し、
前記少なくとも１つの第３の部分をコーディングすることにより、前記少なくとも１つの第３の部分をリフレッシュし、前記少なくとも１つの第２の部分および前記少なくとも１つの第３の部分は、後続のフレームのための参照データとしてオプション的に使用されるように構成されているプロセッサ。
【請求項４３】
前記シーケンス中の別のフレームのうちの少なくとも１つの部分をリフレッシュするために前記第２の部分のうちのどれが参照データとして選択されているかに基づいて、前記第２の部分の領域が減少される請求項４２記載のプロセッサ。
【請求項４４】
前記第２および第３の部分の外側の、前記少なくとも１つの第２のフレームの部分は、後続のフレームのための参照データとして使用されることから除外される請求項４２記載のプロセッサ。
【国際調査報告】
2009510930.tif 000013
2009510930.tif 000014
2009510930.tif 000015
2009510930.tif 000016
2009510930.tif 000017
2009510930.tif 000018