(57)【要約】  補間されたビデオデータをノイズ除去することを含む、復元されたビデオデータから構築される補間されたビデオの質を高めるための方法および装置を記述する。補間されたビデオデータをフィルタリングするために、ローパスフィルタを使用する。１つの実施形態において、補間されたビデオデータと（補間されたおよび/または補間されていない）隣接ビデオデータとに対して決定された境界強度値に基づいて、ローパスフィルタのフィルタリングのレベルを決定する。この実施形態の１つの観点において、補間されたビデオデータと隣接ビデオデータとに対する参照ビデオデータの近接さに基づいて境界強度を決定する。【選択図】      図２
2008533863.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを処理する方法において、
ビデオデータを補間することと、
前記補間されたビデオデータをノイズ除去することとを含む方法。
【請求項２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
前記方法は、
前記第１および第２ブロックに関係付けられた境界強度値を決定することと、
前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去することとをさらに含む請求項１記載の方法。
【請求項３】
前記境界強度値を決定することは、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定することを含む請求項２記載の方法。
【請求項４】
前記境界強度値を決定することは、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定することを含む請求項２記載の方法。
【請求項５】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項６】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項７】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項８】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項９】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項２記載の方法。
【請求項１０】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項２記載の方法。
【請求項１１】
ビデオデータを処理するためのプロセッサにおいて、
前記プロセッサは、
ビデオデータを補間し、
前記補間されたビデオデータをノイズ除去するように構成されているプロセッサ。
【請求項１２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
前記プロセッサは、
前記第１および第２ブロックに関係付けられた境界強度値を決定し、
前記決定された境界強度値を使用することにより前記第１および第２ブロックをノイズ除去するようにさらに構成されている請求項１１記載のプロセッサ。
【請求項１３】
前記ビデオデータのコンテンツに基づいて前記境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１４】
前記ビデオデータのコンテキストに基づいて前記境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１５】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、参照フレームの隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１６】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１７】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、参照フレームの非隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１８】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、異なる参照フレームからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１９】
２つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前方向動きベクトルは、隣接参照ブロックを指しているかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項２０】
２つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの後方向動きベクトルは、隣接参照ブロックを指しているかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項２１】
ビデオデータを処理するための装置において、
ビデオデータを補間する補間器と、
前記補間されたビデオデータをノイズ除去するノイズ除去器とを具備する装置。
【請求項２２】
前記補間されたビデオデータは第１および第２ブロックを含み、
前記装置は、前記第１および第２ブロックに関係付けられた境界強度値を決定する決定器をさらに具備し、
前記決定器は、前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去する請求項２１記載の装置。
【請求項２３】
前記決定器は、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２４】
前記決定器は、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２５】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２６】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２７】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２８】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２９】
前記補間器は、２つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項３０】
前記補間器は、２つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項３１】
ビデオデータを処理するための装置において、
ビデオデータを補間する手段と、
前記補間されたビデオデータをノイズ除去する手段とを具備する装置。
【請求項３２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
前記装置は、
前記第１および第２ブロックに関係付けられた境界強度値を決定する手段と、
前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去する手段とをさらに具備する請求項３１記載の装置。
【請求項３３】
前記境界強度値を決定する手段は、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定する手段をさらに備える請求項３２記載の装置。
【請求項３４】
前記境界強度値を決定する手段は、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定する手段をさらに備える請求項３２記載の装置。
【請求項３５】
補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３６】
前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３７】
前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３８】
前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３９】
補間する前記手段は、２つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することをさらに備える請求項３２記載の装置。
【請求項４０】
補間する前記手段は、２つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定する手段を備える請求項３２記載の装置。
【請求項４１】
ビデオデータを処理する方法を具現化するコンピュータ読取り可能媒体において、
前記方法は、
ビデオデータを補間することと、
前記補間されたビデオデータをノイズ除去することとを含むコンピュータ読取り可能媒体。
【請求項４２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
さらに前記方法は、
前記第１および第２ブロックに関係付けられた境界強度値を決定することと、
前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去することとをさらに含む請求項４１記載のコンピュータ読取り可能媒体。
【請求項４３】
前記境界強度値を決定することは、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４４】
前記境界強度値を決定することは、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４５】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４６】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４７】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４８】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４９】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項５０】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【発明の詳細な説明】
【合衆国法典第３５部第１１９条に基づく優先権の主張】
【０００１】
特許に対する本出願は、２００５年３月１０日に出願され、この出願の譲受人に譲渡され、参照により明白にここに組み込まれている仮出願第６０／６６０，９０９号の優先権を主張する。
【発明の背景】
【０００２】
発明の分野 
本発明は、一般にはデータ圧縮に関し、詳細にはプロセスビデオをノイズ除去することに関する。
【０００３】
関連技術の説明 
ブロックベースの圧縮は、特にブロック境界の間の相関が考慮に入れられない場合、ブロック境界の間にアーティファクトを生じさせるかもしれない。
【０００４】
スケーラブルなビデオコーディングは、特に可変の帯域幅を有する異種ネットワーク（例えば、インターネットおよびワイヤレスストリーミング）中で、低ビットレートのアプリケーションへの幅広い受け入れを獲得しつつある。スケーラブルなビデオコーディングにより、コード化されたビデオは複数のレイヤとして送信することが可能になり、通常基本レイヤが最も価値のある情報を含み、最小の帯域幅（ビデオに対して最低のビットレート）を占有し、拡張レイヤは基本レイヤに対して改善を提供する。ほとんどのスケーラブルなビデオ圧縮技術は、人間の視覚システムがよりフラットである低周波数領域よりも画像の高周波数領域における（圧縮による）ノイズに、より寛大であるという事実を活用する。それゆえに、基本レイヤは、大部分は低周波数情報を含み、高周波数情報は拡張レイヤ中で搬送される。ネットワーク帯域幅が狭い範囲に入るとき、コード化されたビデオの基本レイヤだけ（拡張レイヤはない）を受信する確率がより高くなる。
【０００５】
拡張レイヤまたは基本レイヤのビデオ情報が、チャネル状態のために失われたり、またはバッテリー電源を節約するために落とされたりする場合、いくつかのタイプの補間技術のいずれかを使用して、欠損しているデータを置換してもよい。例えば、拡張レイヤフレームが失われる場合、基本レイヤフレームのような別のフレームを表わすデータを使用して、欠損している拡張レイヤデータを置換するためにデータを補間できる。補間は、動き補償された予測データを補間することを含んでもよい。置換ビデオデータは不完全な補間のために、通常アーティファクトを被るかもしれない。
【０００６】
結果として、補間アーティファクトを減少させ、および/または除去するために、補間されたデータをノイズ除去する後処理のアルゴリズムに対する必要性がある。
【発明の概要】
【０００７】
ビデオデータを処理する方法を提供する。方法は、ビデオデータを補間することおよび補間されたビデオデータをノイズ除去することを含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、方法は、第１および第２ブロックに関係付けられる境界強度値を決定すること、および決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去することを含む。
【０００８】
ビデオデータを処理するプロセッサを提供する。プロセッサはビデオデータを補間し、補間されたビデオデータをノイズ除去するように構成されている。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、プロセッサは第１および第２ブロックに関係付けられる境界強度値を決定し、決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去するように構成されている。
【０００９】
ビデオデータを処理する装置を提供する。装置はビデオデータを補間する補間器、および補間されたビデオデータをノイズ除去するノイズ除去器を含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、装置は第１および第２ブロックに関係付けられる境界強度値を決定する決定器を含み、決定された境界強度値を使用することにより、ノイズ除去器が第１および第２ブロックをノイズ除去する。
【００１０】
ビデオデータを処理する装置を提供する。装置はビデオデータを補間する手段、および補間されたビデオデータをノイズ除去する手段を含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、装置は第１および第２ブロックに関係付けられる境界強度値を決定する手段、および決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去する手段を含む。
【００１１】
ビデオデータを処理する方法を具体化するコンピュータ読取り可能媒体を提供する。方法はビデオデータを補間すること、および補間されたビデオデータをノイズ除去することを含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、方法は第１および第２ブロックに関係付けられる境界強度値を決定すること、および決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去することを含む。
【好ましい実施形態の詳細な説明】
【００１２】
補間されたビデオデータをノイズ除去することを含む、復元されたビデオデータから構築される補間されたビデオの質を高めるための方法および装置を記述する。補間されたビデオデータをフィルタリングするために、ローパスフィルタを使用する。１つの例において、補間されたビデオデータと（補間されたおよび/または補間されていない）隣接ビデオデータとに対して決定された境界強度値に基づいて、ローパスフィルタのフィルタリングのレベルを決定する。この例の１つの観点において、補間されたビデオデータと隣接ビデオデータとに対する参照ビデオデータの近接さに基づいて境界強度を決定する。以下の記述において、実施形態の完全な理解を提供するために特定の詳細説明を与える。しかしながら、これらの特定の詳細説明なしに実施形態を実施し得ることが、当業者の１人により理解できる。例えば、不必要な詳細説明で実施形態を不明確にしないために、電気的構成部品をブロック図中で示すことがある。他の例において、実施形態をさらに説明するために、このような構成部品、他の構造および技術を詳細に示すことがある。別々のブロックとして示される電気的構成部品を１つの構成部品に再配置したり、および/または組み合わせたりできることも当業者により理解される。
【００１３】
いくつかの実施形態をプロセスとして記述してもよいことにも注意すべきであり、そのプロセスはフローチャート、フロー図、構造図、またはブロック図として描写される。フローチャートは順次プロセスとして動作を記述するが、動作の多くを並行して、または同時に実行することができ、プロセスを繰り返すことができる。さらに、動作の順序を再配置してもよい。プロセスは、その動作が完了したとき終了する。プロセスは、方法、関数、手続き、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、その終了は呼出し関数または主要関数に対する関数の戻りに対応する。
【００１４】
図１は、ストリーミングデータをデコードするビデオデコーダシステムのブロック図である。システム１００は、デコーダデバイス１１０、ネットワーク１５０、外部記憶装置１８５およびディスプレイ１９０を含む。デコーダデバイス１１０は、ビデオ補間器１５５、ビデオノイズ除去器１６０、境界強度決定器１６５、エッジアクティビティ決定器１７０、メモリ構成部品１７５、およびプロセッサ１８０を含む。プロセッサ１８０は一般に、例示的なデコーダデバイス１１０の全体的な動作を制御する。デコーダデバイス１１０に１つ以上の構成要素を追加し、再配置し、組み合わせてもよい。例えば、プロセッサ１８０はデコーダデバイス１１０に対して外部にあってもよい。
【００１５】
図２は、ディスプレイデバイス上に表示すべき補間されたビデオデータのノイズ除去を実行するプロセスの例を図示するフローチャートである。図１および２を参照すると、プロセス３００は、エンコードされたビデオデータの受信により、ステップ３０５において開始する。ネットワーク１５０、あるいは内部メモリ構成部品１７５または外部記憶装置１８５のような画像源から、（ＭＰＥＧ−４またはＨ．２６４圧縮ビデオデータのような）エンコードされたビデオデータをプロセッサ１８０は受信することができる。エンコードされたビデオデータは、ＭＰＥＧ−４またはＨ．２６４圧縮ビデオデータであってもよい。ここで、メモリ構成部品１７５および／または外部記憶装置１８５は、エンコードされたビデオデータを含むデジタルビデオデスク（ＤＶＤ）またはハードディスクドライブであってもよい。
【００１６】
ネットワーク１５０は、電話機、ケーブル、および光ファイバのようなワイヤシステム、またはワイヤレスシステムの一部とすることができる。ワイヤレスのケースでは、通信システム、ネットワーク１５０は、例えば、コード分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムの一部とすることができ、代わりに、通信システムは、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、時分割多元接続（ＴＤＭＡ）システムとすることができ、これらはＧＳＭ／ＧＰＲＳ（一般パケット無線通信サービス）／ＥＤＧＥ(拡張データＧＳＭ環境)またはサービス産業のためのＴＥＴＲＡ（地上波トランク無線）移動電話機技術、広帯域コード分割多元接続（ＷＣＤＭＡ）、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、または一般に技術の組み合わせを使用する任意のワイヤレス通信システムのようなものである。
【００１７】
プロセス３００は、受信されたビデオデータのデコーディングをステップ３１０で続け、受信されたビデオデータの少なくともいくつかをデコードして、以下で述べるように補間されるビデオデータを構築するために参照データとして使用してもよい。１つの例において、デコードされたビデオデータは、画素の輝度およびクロミナンス値のようなテクスチャ情報を含む。受信されたビデオデータは、イントラコード化されたデータであってもよく、この場合、実際のビデオデータが（例えば、Ｈ．２６４で使用されるような離散コサイン変換、アダマール変換、離散ウェーブレット変換または整数変換を使用して）変換され、または受信されたビデオデータは（例えば、動き補償予測を使用する）インターコード化されたデータとすることができ、この場合、動きベクトルおよび残留エラーが変換される。ステップ３１０のデコーディング動作の詳細は、当業者に知られており、ここではさらに述べない。
【００１８】
プロセス３００はステップ３１５に続き、そこではデコードされた参照データが補間される。１つの例において、ステップ３１５における補間は参照ビデオデータからの動きベクトルデータの補間を含む。動きベクトルデータの補間を図示するために、単純化された例を使用する。図３Ａは、ステップ３１５中で使用される動きベクトル補間の例を示す。フレーム１０は、一連のストリーミングビデオ中の第１の時間的な点におけるフレームを表わす。フレーム２０は、一連のストリーミングビデオ中の第２の時間的な点におけるフレームを表わす。フレーム２０中のオブジェクト３５を含むビデオの部分としっかりとマッチングする、フレーム１０中のオブジェクト２５Ａを含むビデオの部分の位置を突き止めるために、当業者に知られている動き補償予測ルーチンを使用してもよい。動きベクトル４０は、フレーム２０中のオブジェクト３５に関してフレーム１０中のオブジェクト２５Ａの位置を突き止める（オブジェクト２５Ａおよび３５の相対的な位置を図示するために、フレーム２０中に破線の外形でラベル表示した２５Ｃを使用している）。フレーム１０およびフレーム２０がシーケンスにおいて互いに時間“Ｔ”離れて位置している場合、フレーム１０および／またはフレーム２０中のデコードされたビデオデータに基づいて、フレーム１０と２０との間に位置するフレーム１５を補間することができる。例えば、フレーム１５がフレーム１０と２０との間の中間の時間的な点（両方からＴ／２時間）に位置している場合、オブジェクト３５（またはオブジェクト２５Ａ）の画素データを動きベクトル４５により位置付けられる点に位置付けることができ、動きベクトル４０の半分のサイズおよび同方向とする補間を通して動きベクトル４５を決定してもよい（オブジェクト２５Ａと３０との相対的な位置を図示するために、フレーム１５中に破線の外形でラベル表示した２５Ｂを使用している）。オブジェクト３５は（オブジェクト２５Ａを指す動きベクトルおよびオブジェクト２５Ａの画素値に追加される残留エラーとして表わされる）オブジェクト２５Ａに基づいて予測されたので、フレーム１５中のオブジェクト３０を補間するための参照部分としてオブジェクト２５Ａおよび／またはオブジェクト３５を使用することができる。当業者に明らかであるように、動きベクトルおよび／または１つ以上の参照部分の残留エラーデータを補間する他の方法（例えば、双方向予測のような１つのブロック当たり２つの動きベクトルを使用する）を、ステップ３１５において、補間されるデータを生成する際に使用できる。
【００１９】
別の例において、ステップ３１５における補間は、ビデオフレームの異なる空間領域中に位置する画素値の組み合わせを含む。図３ｂは、プロセス３００のステップ３１５中で使用される空間補間の例を示す。フレーム５０は、家屋５５のビデオ画像を含む。６０とラベル表示されたビデオデータの領域は、例えばデータ破損のため欠損している。領域６０を補間するための参照部分として、欠損している部分６０の近くに位置している特徴６５および７０の空間補間を使用してもよい。補間は、領域６５と７０との画素値の間における単純な線形補間であってもよい。別の例において、欠損しているデータを含むフレームとは異なる時間のフレーム中に位置している画素値を（例えば、平均することにより）組み合わせて、補間された画素データを形成することができる。図１のビデオ補間器１５５のような補間手段が、ステップ３１５の補間動作を実行してもよい。
【００２０】
ビデオデータを補間するために、動きベクトル以外に、光フローデータおよび画像モーフィングデータのような他の時間予測方法も利用してもよい。光フロー補間は、画像中の画素の速さ領域を経時的に送信する。補間は、所定の画素に対して、光フロー領域から引き出される画素ベースのものであってもよい。補間データは、速度および方向の情報を含んでもよい。
【００２１】
画像モーフィングは、１つの画像から別の画像への変換を計算するために使用される画像処理技術である。画像モーフィングは一連の中間画像を生成し、一連の中間画像が元の画像と合されるとき、１つの画像から他の画像への移行を表わす。その方法は元の画像のメッシュ点、および非線形補間に対する点のワーピング関数を識別する。ウォルバーグ、Ｇ．、“デジタル画像ワーピング”．ＩＥＥＥコンピュータ社会プレス、１９９０を参照。
【００２２】
ステップ３２０、３２５および３３０は、ステップ３３５において実行されるノイズ除去のいくつかの実施形態で使用される選択的なステップであり、以下で詳細に述べる。ステップ３３５に進むと、ステップ３１５の補間動作から生じるかもしれないアーティファクトを除去するために、補間されたビデオデータがノイズ除去される。図１のビデオノイズ除去器１６０のようなノイズ除去手段がステップ３３５の動作を実行してもよい。ブロッキングアーティファクトを減少させるデブロッキング、リンギングアーティファクトを減少させるデリンギングおよび動きスメアーを減少させる方法を含む、当業者に知られている１つ以上の方法をノイズ除去は含んでもよい。ノイズ除去後、ノイズ除去されたビデオデータは、例えば図１中で示すディスプレイ１９０上に表示される。
【００２３】
ステップ３３５におけるノイズ除去の例は、デブロッキングフィルタ、例えばＨ．２６４ビデオ圧縮規格のデブロッキングフィルタを使用することを含む。Ｈ．２６４中で指定されたデブロッキングフィルタは、ブロック境界に沿ってアクティビティを決定する決定木を必要とする。Ｈ．２６４中で通常設計されているように、セットされたしきい値を超えた画像アクティビティを有するブロックエッジはフィルタリングされないか、または弱くフィルタリングされるが、一方、低いアクティビティブロックに沿ったものは強くフィルタリングされる。適用されるフィルタは、例えば、３タップまたは５タップのローパス有限インパルス応答（ＦＩＲ）フィルタとすることができる。
【００２４】
図４は、垂直および水平４ｘ４ブロック境界に隣接した画素の説明図である（現在のブロック“ｑ”および隣接したブロック“ｐ”）。垂直境界２００は、２つの並んでいる４ｘ４ブロックの間の任意の境界を表わす。ｐ０、ｐ１、ｐ２およびｐ３とそれぞれラベルが付された画素２０２、２０４、２０６および２０８は、（ブロック“ｐ”において）垂直境界２００の左側に位置し、一方、ｑ０、ｑ１、ｑ２およびｑ３とそれぞれラベルが付された画素２１２、２１４、２１６および２１８は、（ブロック“ｑ”において）垂直境界２００の右側に位置する。水平境界２２０は、２つの４ｘ４ブロックの間の任意の境界を表わし、一方が他方のすぐ上にある。ｐ０、ｐ１、ｐ２およびｐ３とそれぞれラベルが付された画素２２２、２２４、２２６および２２８は、水平境界２００の上側に位置し、一方、ｑ０、ｑ１、ｑ２およびｑ３とそれぞれラベルが付された画素２３２、２３４、２３６および２３８は、水平境界２００の下側に位置する。Ｈ．２６４においてデブロッキングする実施形態において、フィルタリング動作は境界より上側または下側のいずれかの側にある３つの画素まで作用する。変換係数のために使用される量子化器、（イントラまたはインターコード化された）ブロックのコーディングモード、および境界を横切る画像サンプルの勾配により、いくつかの結果が可能であり、それらはどの画素もフィルタリングされない場合から画素ｐ０、ｐ１、ｐ２、ｑ０、ｑ１およびｑ２がフィルタリングされるまでの範囲にわたる。
【００２５】
ブロックベースのビデオ圧縮に対するデブロッキングフィルタの設計は、大部分は共通の原理にしたがい、ブロックエッジに沿った強度変化の測定後に、適用すべきフィルタ強度を決定し、次にブロックエッジにわたって実際のローパスフィルタリング動作を行う。デブロッキングフィルタは、ブロックエッジの平滑化（ブロックエッジにわたるローパスフィルタリング）を通してブロッキングアーティファクトを減少させる。ステップ３２０において境界強度として知られる測定値が、決定される。ビデオデータのコンテンツ、またはビデオデータのコンテキストに基づいて、境界強度値を決定してもよい。１つの観点において、より高い境界強度は、より高いレベルのフィルタリング（例えば、より不鮮明化する）をもたらす。境界強度に作用するパラメータは、データがイントラコード化されているか、またはインターコード化されているかのような、コンテキストおよび／またはコンテンツ依存の状況を含み、イントラコード化された領域は一般的に、インターコード化された部分よりもさらに重くフィルタリングされる。境界強度測定値に作用する他のパラメータは、コード化されたブロックパターン（ＣＰＢ）であり、それは４ｘ４画素ブロック中のゼロでない係数の数と量子化パラメータとの関数である。
【００２６】
画像中のエッジ特徴の不鮮明化を避けるために、ステップ３２５においてオプション的なエッジアクティビティ測定を実行してもよく、（ノイズ除去ステップ３３５における）ローパスフィルタリングは通常、非エッジ領域中に適用される（領域中のエッジアクティビティ測定値が低くなればなるほど、ステップ３３５においてノイズ除去する際に使用されるフィルタは強くなる）。境界強度決定およびエッジアクティビティ決定の詳細は当業者に知られており、必ずしも開示された方法を理解するためには必要はない。ステップ３３０において、境界強度測定値および／またはエッジアクティビティ測定値を使用して、ステップ３３５において実行すべきノイズ除去のレベルを決定する。境界強度および／またはエッジアクティビティの測定値のようなデブロッキングパラメータに対する修正を通して、補間された領域を効果的にノイズ除去できる。プロセス３００は、ノイズ除去された補間ビデオデータを表示することにより終わってもよい。プロセス３００中で１つ以上の構成要素を追加し、再配置し、組み合わせてもよい。
【００２７】
図５Ａ、５Ｂおよび５Ｃは、図１のプロセスのいくつかの実施形態中のステップ３２０において境界強度値を決定する際に使用される参照ブロック位置の例を示し、この場合、ステップ３３５のノイズ除去動作はデブロッキングを含む。図５中に描写されるシナリオは、図３Ａと関連して上述した、１つの参照ブロックにつき１つの動きベクトルを有する動き補償予測を表わす。図５Ａ、５Ｂおよび５Ｃ中で、補間されるフレーム７５は参照フレーム８０に基づいて補間される。補間されるブロック７７は参照ブロック８１に基づいて補間され、ブロック７７の隣接ブロックである補間されるブロック７９は、参照ブロック８３に基づいて補間される。図５Ａ中で、参照ブロック８１と８３も隣接している。このことは、補間されるフレーム７５と参照フレーム８０との間で静止しているビデオ画像であることを表わす。このケースにおいては、ノイズ除去のレベルが低いように境界強度を低くセットしてもよい。図５Ｂ中で、共通のビデオデータを含むために、参照ブロック８１および８３がオーバーラップしている。オーバーラップしたブロックは、いくらかのわずかな動きを表わし、図５Ａにおけるケースに対するものよりも、境界強度をより高くセットしてもよい。図５Ｃ中で、参照ブロック８１および８３は互いに離れている（非隣接ブロック）。これは、画像がほとんど互いに関係付けられていないことを表わし、ブロッキングアーティファクトはもっと厳しくなり得る。図５Ｃのケースにおいて、図５Ａまたは５Ｂのシナリオよりも、さらにデブロッキングする結果を生じさせる値に、境界強度はセットされる。図５のいずれにも示されていないシナリオは、異なる参照フレームからの参照ブロック８１および８３を含む。図５Ｃ中で示すケースに類似した方法でこのケースを取り扱ってもよく、または図５Ｃ中で示すケースよりもさらにデブロッキングする結果を生じさせる値になるように、境界強度値を決定してもよい。
【００２８】
図６Ａは、１つのブロックにつき１つの動きベクトルを有する図５Ａ、５Ｂおよび５Ｃ中で示す状況に対して、境界強度値を決定するためのプロセスの例を図示するフローチャートである。図２中で示すプロセス３００のステップ３２０中で、図６Ａ中で示すプロセスを実行してもよい。図５および６を参照すると、参照ブロック８１および８３も隣接ブロックであるかどうかを決定するために、決定ブロック４０５においてチェックが実行される。それらが図５Ａ中で示すような隣接ブロックである場合、ステップ４０７において境界強度はゼロにセットされる。それらの実施形態において、隣接参照ブロック８１および８３がすでにノイズ除去されている（この例においてデブロッキングされている）場合、ステップ３３５において、補間されたブロック７７および７９のノイズ除去を省略してもよい。参照ブロック８１および８３が隣接参照ブロックではない場合、参照ブロック８１および８３がオーバーラップしているかを決定するために、決定ブロック４１０においてチェックが実行される。図５Ｂ中に示すように、参照ブロック８１および８３がオーバーラップしている場合、ステップ４１２において境界強度は１にセットされる。参照ブロックがオーバーラップしていない（例えば、参照ブロック８１および８３が同一フレーム中または異なるフレーム中で離れている）場合、プロセスは決定ブロック４１５に続く。参照ブロック８１および８３の１つまたは両方がイントラコード化されているか決定するために、決定ブロック４１５においてチェックが実行される。参照ブロックの１つがイントラコード化されている場合、ステップ４１７において境界強度は２にセットされ、さもなければステップ４１９において境界強度は３にセットされる。この例において、互いに近くに位置している参照ブロックから補間される隣接ブロックは、離れた参照ブロックから補間されるブロックよりもいっそう低いレベルでノイズ除去される。
【００２９】
１つより多い参照ブロックから、補間されるブロックを形成してもよい。図６Ｂは、２つの参照ブロックを指す２つの動きベクトルを含む補間されたブロックに対して（図２のステップ３２０中で実行されるような）境界強度値を決定するプロセスの別の実施形態を図示するフローチャートである。図６Ｂ中で示す例は、動きベクトルが、双方向予測フレームとして前方向フレームおよび後方向フレームを指すことを仮定している。複数の参照フレームが同様に複数の前方向または複数の後方向の参照フレームを含んでもよいことを当業者は認識するであろう。補間されている現在のブロックおよび同一フレーム中の隣接ブロックの前方向および後方向の動きベクトルを、例は調べる。決定ブロック４２０において、現在のブロックおよび隣接ブロックの前方向の動きベクトルにより示される前方向に位置している参照ブロックが、隣接ブロックであると決定される場合、現在ブロックおよび隣接ブロックの後方向の動きベクトルにより示される後方向の参照ブロックも隣接しているかを決定するために、プロセスは決定ブロック４２５に続く。前方向および後方向の参照ブロックの両方が隣接している場合、これは画像の動きがほとんどないことを表わし、ステップ４２７において境界強度はゼロにセットされ、これは、低いレベルのデブロッキングを結果として生じさせる。（決定ブロック４２５または決定ブロック４３０において）前方向または後方向の参照ブロックのうちの１つが隣接していると決定される場合、（ステップ４２９またはステップ４３２において）境界強度は１にセットされ、これは、両方の参照ブロックが隣接しているケースよりも多くのデブロッキングを結果として生じさせる。決定ブロック４３０において、前方向の参照ブロックも後方向の参照ブロックも隣接していないことが決定される場合、境界強度は２にセットされ、これは、さらに多いデブロッキングを結果として生じさせる。
【００３０】
図６Ａおよび６Ｂ中に示す決定木は、補間されるビデオデータの１つ以上の参照部分の相対的な位置と、１つのブロック当たりの動きベクトルの数とに基づいて境界強度を決定するプロセスの例にすぎない。当業者に対して明白である他の方法を使用してもよい。図１中の境界強度決定器１６５のような決定手段が、図２中に示すステップ３２０の動作ならびに図６Ａおよび６Ｂ中に図示する動作を実行してもよい。図６Ａおよび６Ｂ中に示す決定木において１つ以上の構成要素を追加し、再配置し、組み合わせてもよい。
【００３１】
図７は、上の記述にしたがってビデオデータを処理する１つの例示的な方法７００を図示する。一般に、方法７００は、ビデオデータの補間７１０および補間されたビデオデータのノイズ除去７２０を含む。補間されたビデオデータのノイズ除去は、上述した境界強度値に基づいていてもよい。ビデオデータのコンテンツおよび／またはコンテキストに基づいて境界強度を決定してもよい。また、ビデオデータが１つの動きベクトルまたは１つより多い動きベクトルを使用して補間されたかどうかに基づいて、境界強度を決定してもよい。１つの動きベクトルが使用された場合、動きベクトルが、参照フレームの隣接ブロックからのものであるか、参照フレームのオーバーラップした隣接ブロックからのものであるか、参照フレームの非隣接ブロックからのものであるか、または異なる参照フレームからのものであるかどうかに基づいて、境界強度を決定してもよい。１つより多い動きベクトルが使用された場合、前方向の動きベクトルが隣接参照ブロックを指すか、または後方向の動きベクトルが隣接参照ブロックを指すかどうかに基づいて、境界強度を決定してもよい。
【００３２】
図８は、方法７００を実行するために実現してもよい例示的な装置８００を示す。装置８００は、補間器８１０およびノイズ除去器８２０を具備する。上述したように、補間器８１０はビデオデータを補間してもよく、ノイズ除去器８２０は補間されたビデオデータをノイズ除去してもよい。
【００３３】
上で述べたデブロッキングの実施形態は、ノイズ除去の１つのタイプの例にすぎない。他のタイプのノイズ除去が、当業者に対して明白であろう。上述したＨ．２６４のデブロッキングアルゴリズムは、４ｘ４画素ブロックを利用する。ビデオデータの補間される部分および／または参照部分として、さまざまなサイズのブロック、例えば、ＮおよびＭが整数である任意のＮｘＭブロックの画素を使用できることが当業者により理解されるであろう。
【００３４】
任意のさまざまな異なる技術および技法を使用して情報および信号を表わしてもよいことを、当業者は理解するであろう。例えば、電圧、電流、電磁波、磁界または磁気粒子、光領域または光粒子、あるいはそれらの任意の組み合わせにより、上の記述を通して参照されているデータ、指示、コマンド、情報、信号、ビット、シンボルおよびチップを表わしてもよい。
【００３５】
電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせとして、ここで開示した例に関して記述したさまざまな実例となる論理ブロック、モジュール、およびアルゴリズムステップを実現してもよいことを、当業者はさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明瞭に図示するために、さまざまな実例となる構成部品、ブロック、モジュール、回路、およびステップをそれらの機能の点から一般的に上述した。このような機能がハードウェアまたはソフトウェアとして実現されるかどうかは、特定の用途およびシステム全体に課される設計制約によって決まる。それぞれの特定の用途に対してさまざまな方法で、当業者は記述した機能を実現するかもしれないが、このような実施決定は、開示した方法の範囲から逸脱を生じさせるものとして解釈すべきではない。
【００３６】
汎用目的のプロセッサ、デジタル信号プロセッサ（ＤＳＰ），特定用途向け集積回路（ＡＳＩＣ），フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）または他のプログラム可能論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア構成部品、あるいはここで記述した機能を実行するために設計された、これらの任意の組み合わせにより、ここで開示した例に関して記述した、さまざまな実例となる論理ブロック、構成部品、モジュール、および回路を実現または実行してもよい。汎用目的のプロセッサはマイクロプロセッサでもよいが、代わりに、プロセッサは任意の従来のプロセッサ、制御装置、マイクロ制御装置、または状態遷移機械であってもよい。計算デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに関連した１つ以上のマイクロプロセッサ、または他の任意のこのような構成として、プロセッサを実現してもよい。
【００３７】
ここで開示した例に関して記述した方法またはアルゴリズムのステップを、ハードウェア中で直接、プロセッサにより実行されるソフトウェアモジュール中で、またはその２つの組み合わせ中で具体化してもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ，または技術的に知られている他の任意の形態の記憶媒体中に存在してもよい。プロセッサが記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができるように、例示的な記憶媒体はプロセッサに結合されている。代替では、記憶媒体はプロセッサと一体化されていてもよい。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）中に存在してもよい。ＡＳＩＣはワイヤレスモデム中に存在してもよい。代替では、プロセッサおよび記憶媒体は、ワイヤレスモデム中にディスクリート構成部品として存在してもよい。
【００３８】
いかなる当業者であっても開示した方法および装置を作りまたは使用できるように、開示した例の記述をこれまでに提供している。これらの例に対してさまざまな修正が当業者に容易に明らかになり、ここで規定した原理を他の例に適用してもよく、追加的な構成要素を追加してもよい。
【００３９】
こうして、デコーダアプリケーション中でビット破損フラグ情報および破損データ
を利用してリアルタイムストリーミングマルチメディアをデコードし、破損データのインテリジェントエラー隠匿およびエラー訂正を実行するための方法および装置を記述した。
【図面の簡単な説明】
【００４０】
【図１】図１は、ストリーミングビデオをデコードおよび表示するビデオデコーダシステムの例の説明図である。
【図２】図２は、ディスプレイデバイス上に表示すべき補間されたビデオデータのノイズ除去を実行するプロセスの例を図示するフローチャートである。
【図３Ａ】図３Ａは、図１のプロセスのいくつかの実施形態中で使用される動きベクトル補間の例を示す。
【図３Ｂ】図３Ｂは、図１のプロセスのいくつかの実施形態中で使用される空間補間の例を示す。
【図４】図４は、垂直および水平４×４ブロック境界に隣接した画素の説明図である。
【図５Ａ】図５Ａは、図１のプロセスのいくつかの実施形態中で境界強度値を決定する際に使用される参照ブロック位置を図示する。
【図５Ｂ】図５Ｂは、図１のプロセスのいくつかの実施形態中で境界強度値を決定する際に使用される参照ブロック位置を図示する。
【図５Ｃ】図５Ｃは、図１のプロセスのいくつかの実施形態中で境界強度値を決定する際に使用される参照ブロック位置を図示する。
【図６Ａ】図６Ａは、境界強度値を決定するプロセスの例を図示するフローチャートである。
【図６Ｂ】図６Ｂは、境界強度値を決定するプロセスの例を図示するフローチャートである。
【図７】図７は、ビデオデータを処理する例示的な方法を図示する。
【図８】図８は、ビデオデータを処理する例示的な装置を図示する。
【図１】
2008533863.tif 000003
【図２】
2008533863.tif 000004
【図３Ａ】
2008533863.tif 000005
【図３Ｂ】
2008533863.tif 000006
【図４】
2008533863.tif 000007
【図５Ａ】
2008533863.tif 000008
【図５Ｂ】
2008533863.tif 000009
【図５Ｃ】
2008533863.tif 000010
【図６Ａ】
2008533863.tif 000011
【図６Ｂ】
2008533863.tif 000012
【図７】
2008533863.tif 000013
【図８】
2008533863.tif 000014
【手続補正書】
【提出日】平成19年12月10日(2007.12.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを処理する方法において、
ビデオデータを補間することと、
前記補間されたビデオデータをノイズ除去することとを含む方法。
【請求項２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
前記方法は、
前記第１および第２ブロックに関係付けられた境界強度値を決定することと、
前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去することとをさらに含む請求項１記載の方法。
【請求項３】
前記境界強度値を決定することは、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定することを含む請求項２記載の方法。
【請求項４】
前記境界強度値を決定することは、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定することを含む請求項２記載の方法。
【請求項５】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項６】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項７】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項８】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定することを含む請求項２記載の方法。
【請求項９】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項２記載の方法。
【請求項１０】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項２記載の方法。
【請求項１１】
ビデオデータを処理するためのプロセッサにおいて、
前記プロセッサは、
ビデオデータを補間し、
前記補間されたビデオデータをノイズ除去するように構成されているプロセッサ。
【請求項１２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
前記プロセッサは、
前記第１および第２ブロックに関係付けられた境界強度値を決定し、
前記決定された境界強度値を使用することにより前記第１および第２ブロックをノイズ除去するようにさらに構成されている請求項１１記載のプロセッサ。
【請求項１３】
前記ビデオデータのコンテンツに基づいて前記境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１４】
前記ビデオデータのコンテキストに基づいて前記境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１５】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、参照フレームの隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１６】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１７】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、参照フレームの非隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１８】
１つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前記動きベクトルは、異なる参照フレームからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項１９】
２つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの前方向動きベクトルは、隣接参照ブロックを指しているかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項２０】
２つの動きベクトルに基づいて補間し、
前記第１および第２ブロックの後方向動きベクトルは、隣接参照ブロックを指しているかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
【請求項２１】
ビデオデータを処理するための装置において、
ビデオデータを補間する補間器と、
前記補間されたビデオデータをノイズ除去するノイズ除去器とを具備する装置。
【請求項２２】
前記補間されたビデオデータは第１および第２ブロックを含み、
前記装置は、前記第１および第２ブロックに関係付けられた境界強度値を決定する決定器をさらに具備し、
前記決定器は、前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去する請求項２１記載の装置。
【請求項２３】
前記決定器は、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２４】
前記決定器は、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２５】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２６】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２７】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２８】
前記補間器は、１つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項２９】
前記補間器は、２つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項３０】
前記補間器は、２つの動きベクトルに基づいて補間し、
前記決定器は、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
【請求項３１】
ビデオデータを処理するための装置において、
ビデオデータを補間する手段と、
前記補間されたビデオデータをノイズ除去する手段とを具備する装置。
【請求項３２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
前記装置は、
前記第１および第２ブロックに関係付けられた境界強度値を決定する手段と、
前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去する手段とをさらに具備する請求項３１記載の装置。
【請求項３３】
前記境界強度値を決定する手段は、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定する手段をさらに備える請求項３２記載の装置。
【請求項３４】
前記境界強度値を決定する手段は、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定する手段をさらに備える請求項３２記載の装置。
【請求項３５】
補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３６】
前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３７】
前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３８】
前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
【請求項３９】
補間する前記手段は、２つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することをさらに備える請求項３２記載の装置。
【請求項４０】
補間する前記手段は、２つの動きベクトルに基づいて補間する手段をさらに備え、
前記境界強度値を決定する手段は、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定する手段を備える請求項３２記載の装置。
【請求項４１】
ビデオデータを処理する方法を具現化するコンピュータ読取り可能媒体において、
前記方法は、
ビデオデータを補間することと、
前記補間されたビデオデータをノイズ除去することとを含むコンピュータ読取り可能媒体。
【請求項４２】
前記補間されたビデオデータは、第１および第２ブロックを含み、
さらに前記方法は、
前記第１および第２ブロックに関係付けられた境界強度値を決定することと、
前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去することとをさらに含む請求項４１記載のコンピュータ読取り可能媒体。
【請求項４３】
前記境界強度値を決定することは、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４４】
前記境界強度値を決定することは、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４５】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４６】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４７】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４８】
前記補間することは、１つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項４９】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【請求項５０】
前記補間することは、２つの動きベクトルに基づいて補間することを含み、
前記境界強度値を決定することは、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2008533863.tif 000015
【国際調査報告】
2008533863.tif 000016
2008533863.tif 000017
2008533863.tif 000018