(57)【要約】  映像信号を非ブロック領域とディテール領域に分離すること、フレーム全体を平滑化すること、ならびにフレームの保存ディテール領域を各平滑化フレームに上書きすることによって、圧縮デジタル映像信号の品質を向上させるためのシステムおよび方法を開示する。計算効率を向上させるために、キーフレームのみのディテール領域を計算し、そのディテール領域を近接するフレームに採用する。この向上は、キーフレームにおける拡大ディテール領域を計算することで高められる。ディテール画像が上書きされる平滑なキャンバス画像を採用するという概念は、画家がまず（通常は大きな平筆を使用して）不詳のキャンバスに全体像を描き、次に（通常は小さな面相筆を使用して）必要なディテールをそのキャンバスに重ね塗りすることに類似する。
2011528825.tif 000002
【特許請求の範囲】
【請求項１】
画像フレームからアーチファクトを除去する方法であって、前記アーチファクトはＨＶＳに対して視覚的に混乱を生じるものであり、前記方法は、
各画像フレームのデジタル表現のディテール領域を保持画像フレームと決定する工程、
各前記決定したディテール領域を保持する工程、
各前記画像フレームに対応する平滑化フレームを創出するために各前記画像フレームの元のデジタル表現全体を平滑化する工程、および
前記保持画像フレームを各前記平滑化画像フレームに上書きする工程
を含む方法。
【請求項２】
前記ディテール領域を決定するために、輝度平滑性、不連続性、先読み、後読みのうち少なくとも一つの基準を使用する、請求項１に記載の方法。
【請求項３】
アーチファクトブロックの位置がアプリオリに未知である圧縮画像フレームにアーチファクトの減衰が生じるように、前記基準のパラメータを選択する、請求項２に記載の方法。
【請求項４】
前記アーチファクトブロックが、何度も事前に圧縮された、再フォーマットされた画像フレーム、混色された画像フレーム、サイズ変更された画像フレームのうち一つ以上に起因して前記圧縮映像フレームに生じる、請求項３に記載の方法。
【請求項５】
前記輝度平滑性基準が、輝度の局所的分散および局所的平均からなる統計的尺度を採用する、請求項３に記載の方法。
【請求項６】
輝度変化基準が輝度の僅かな変化に基づく、請求項３に記載の方法。
【請求項７】
前記平滑化工程が、ブロックおよびその他のアーチファクトを減衰する工程を含む、請求項２に記載の方法。
【請求項８】
前記保持工程、平滑化工程および結合工程が、ＤＣＴベースのエンコーダ内で生じる、請求項１に記載の方法。
【請求項９】
前記平滑化工程が、ＦＩＲフィルタ、ＩＩＲフィルタの少なくとも一つを備える、請求項８に記載の方法。
【請求項１０】
前記フィルタが、空間的に可変または空間的に不変であるかのいずれかである、請求項９に記載の方法。
【請求項１１】
前記平滑化工程が、少なくとも１つの移動平均ＦＩＲ二次元ボックスフィルタを備える、請求項１１に記載の方法。
【請求項１２】
前記決定工程が、
候補領域を選択する工程、および
選択された候補領域毎に、特定の基準に従って、選択された候補領域が前記ディテール領域に属するか否かを決定する工程
を含む、請求項１に記載の方法。
【請求項１３】
前記候補領域が各画像フレームにおいてまばらに位置する、請求項１２に記載の方法。
【請求項１４】
複数の前記デジタル映像フレームを有する複数のデジタルビデオストリームをデバイスで受信する工程を含む方法であって、前記取得工程が、
前記デバイスで前記受信されたデジタルビデオストリームのうちの一つを選択する工程を更に含む、請求項１に記載の方法。
【請求項１５】
前記平滑化工程が、平滑化の前に前記画像フレームをダウンサンプリングする工程を含む、請求項１に記載の方法。
【請求項１６】
前記ダウンサンプリングされた画像が空間的に平滑化される、請求項１５に記載の方法。
【請求項１７】
前記結合前に最大解像度を得るために前記平滑化画像をアップサンプリングする、請求項１６に記載の方法。
【請求項１８】
前記ディテール領域を、近接するフレームのディテール領域を覆うように、その境界線を越えて拡大させる、請求項１に記載の方法。
【請求項１９】
前記拡大させたディテール領域を、少なくともＮフレーム離れた非近接キーフレームでのみ決定する、請求項１８に記載の方法。
【請求項２０】
Ｎが少なくとも４フレームである、請求項１９に記載の方法。
【請求項２１】
前記キーフレームからの前記ディテール領域が、非キーフレームからのディテール領域の代わりに、近接する前記非キーフレームに使用される、請求項１９に記載の方法。
【請求項２２】
前記ディテール領域を、少なくともＮフレーム離れた非近接キーフレームでのみ決定する、請求項１に記載の方法。
【請求項２３】
Ｎが少なくとも４フレームである、請求項２２に記載の方法。
【請求項２４】
前記キーフレームからの前記ディテール領域が、非キーフレームからのディテール領域の代わりに、近接する前記非キーフレームに使用される、請求項２２に記載の方法。
【請求項２５】
前記ディテール領域の検出を向上させるために、前記画像フレームの圧縮に使用された圧縮処理からの、移動ベクトル、量子化ステップサイズ、ブロックの位置のリストから選択された追加的情報を使用する工程を更に含む、請求項１に記載の方法。
【請求項２６】
映像表示システムであって、前記システムは、
１ピクセルあたり特定数のビットを有する第１の映像フレームを取得する入力を備え、前記特定数は、前記映像フレームがディスプレイに表示されると、前記ディスプレイが人間の視覚システム（ＨＶＳ）に知覚可能なアーチファクトを生じるような数であり、
前記第１の映像フレームから第２の映像フレームを作成する回路を備え、前記第２の映像フレームが前記ディスプレイに表示されると、前記第２の映像フレームが前記ＨＶＳにあまり知覚可能でないアーチファクトを生じ、前記回路が、
各画像フレームのデジタル表現のディテール領域を保持画像フレームと決定して保持する機能、
各前記画像フレームに対応する平滑化フレームを創出するために各前記画像フレームの元のデジタル表現全体を平滑化する機能、および
前記保持画像フレームを各前記平滑化画像フレームに上書きする機能
を実行するプロセッサを備える、システム。
【請求項２７】
ユーザが、複数のデジタル映像フレームを含む複数のデジタルビデオストリームのうち一つを選択することを可能にするチューナを更に備える、請求項２６に記載のシステム。
【請求項２８】
前記決定手段が、前記非ブロック領域を決定するために、輝度平滑性、不連続性、先読み、後読みのうち少なくとも一つの基準を使用する処理を含む、請求項２７のシステム。
【請求項２９】
アーチファクトブロックの位置がアプリオリに未知である圧縮画像フレームにアーチファクトの減衰が生じるように、前記基準のパラメータを選択する、請求項２８に記載のシステム。
【請求項３０】
前記アーチファクトブロックが、何度も事前に圧縮された、再フォーマットされた画像フレーム、混色された画像フレーム、サイズ変更された画像フレームのうちの一つ以上に起因して前記圧縮映像フレームに生じる、請求項２９に記載のシステム。
【請求項３１】
前記輝度平滑性基準が、輝度の局所的分散および局所的平均からなる統計的尺度を採用する、請求項３０に記載のシステム。
【請求項３２】
輝度変化基準が輝度の僅かな変化に基づく、請求項３０に記載のシステム。
【請求項３３】
前記プロセッサが、ＤＣＴベースのエンコーダの一部である、請求項２６に記載のシステム。
【請求項３４】
前記決定手段が、
候補領域を選択する手段、および
選択された候補領域毎に、特定の基準に従って、選択された候補領域が前記ディテール領域に属するか否かを決定する手段
を備える、請求項２６に記載のシステム。
【請求項３５】
前記候補領域が各画像フレームにおいてまばらに位置する、請求項３４に記載のシステム。
【請求項３６】
前記平滑化工程が、
平滑化工程の前に前記画像フレームをダウンサンプリングする工程を含む、請求項２６に記載のシステム。
【請求項３７】
前記ダウンサンプリングされた画像が空間的に平滑化される、請求項３６に記載のシステム。
【請求項３８】
前記結合前に最大解像度を得るために前記平滑化画像をアップサンプリングする手段を更に備える、請求項３６に記載のシステム。
【請求項３９】
前記ディテール領域を、近接するフレームのディテール領域を覆うように、その境界線を越えて拡大させる手段を更に備える、請求項２６に記載のシステム。
【請求項４０】
前記拡大させたディテール領域を、少なくともＮフレーム離れた非近接キーフレームでのみ決定する、請求項３９に記載のシステム。
【請求項４１】
Ｎが少なくとも４フレームである、請求項４０に記載のシステム。
【請求項４２】
前記キーフレームからの前記ディテール領域が、非キーフレームからのディテール領域の代わりに、近接する前記非キーフレームに使用される、請求項４０に記載のシステム。
【請求項４３】
前記ディテール領域を、少なくともＮフレーム離れた非近接キーフレームでのみ決定する、請求項２６に記載のシステム。
【請求項４４】
Ｎが少なくとも４フレームである、請求項４３に記載のシステム。
【請求項４５】
前記キーフレームからの前記ディテール領域が、非キーフレームからのディテール領域の代わりに、近接する前記非キーフレームに使用される、請求項４３に記載のシステム。
【請求項４６】
前記ディテール領域の検出を向上させるために、前記画像フレームの圧縮に使用された圧縮処理からの、移動ベクトル、量子化ステップサイズ、ブロックの位置のリストから選択された追加的情報を使用する手段を更に備える、請求項２６に記載のシステム。
【請求項４７】
映像の表示方法であって、前記方法は、
１ピクセルあたり特定数のビット数を有する第１の映像フレームを取得する工程を含み、前記特定数は、前記映像フレームがディスプレイに表示されると、前記ディスプレイが人間の視覚システム（ＨＶＳ）に知覚可能なアーチファクトを生じるような数であり、
前記第１の映像フレームから第２の映像フレームを作成する工程を含み、前記第２の映像フレームが前記ディスプレイに表示されると前記ＨＶＳにあまり知覚可能でないアーチファクトを生じ、前記作成工程が、
各前記フレーム内のディテール領域を決定する工程、
前記決定したディテール領域を保存する工程、
各前記フレームの全体を平滑化する工程、および
各前記平滑化フレームを各前記保存したディテール領域と結合する工程
を含む、方法。
【請求項４８】
前記結合工程が、
前記保存したディテール領域を各前記平滑化フレームに上書きする工程を含む、請求項４７に記載の方法。
【請求項４９】
複数の前記デジタル映像フレームを有する複数のデジタルビデオストリームをデバイスで受信する工程を含む方法であって、前記取得工程が、
前記デバイスで前記受信したデジタルビデオストリームのうちの一つを選択する工程を更に含む、請求項４８に記載の方法。
【請求項５０】
前記平滑化工程が、
平滑化の前に前記画像フレームをダウンサンプリングする工程を含む、請求項４９に記載の方法。
【請求項５１】
前記ダウンサンプリングされた画像が空間的に平滑化される、請求項５０に記載の方法。
【請求項５２】
前記結合前に最大解像度を得るために前記平滑化画像がアップサンプリングされる、請求項５０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、デジタル映像信号に関し、特に、圧縮デジタル映像信号を非ブロック領域とディテール領域に分離することによって、またフレーム全体を平滑化することによって、さらにフレームの保存ディテール領域を各平滑化フレームに上書きすることによって、圧縮デジタル映像信号の品質を向上させるシステムおよび方法に関する。
【背景技術】
【０００２】
映像信号が、テキスト情報または音声信号の表現に必要なデジタルデータの量と比べて、大量のデジタルデータによって表されることは周知である。それ故、デジタル映像信号は、高ビットレートで送信される場合および特にこれらのビットレートが映像表示デバイスで求められるリアルタイムデジタル映像信号に対応しなければならない場合に、相対的に広帯域を占める。
【０００３】
特に、ケーブルやファイバ等の通信チャネルを介する、大量の個別映像信号の同時送受信は、様々な通信チャネルにおける利用可能な帯域を共有する方法でこれらの映像信号を周波数分割多重化または時分割多重化することによって行われることが多い。
【０００４】
デジタル映像データは、通常、音声およびその他のデータと共に、国際的に合意されたフォーマット規格（例えば、ＭＰＥＧ２，ＭＰＥＧ４，Ｈ２６４）に従ってフォーマットされたメディアファイルに埋め込まれる。そのようなファイルは、通常、インターネットを通じて配信または多重化され、コンピュータ、携帯電話、デジタルビデオレコーダのデジタルメモリ内およびコンパクトディスク（ＣＤ）およびデジタルビデオディスク（ＤＶＤ）上に夫々記憶される。これらのデバイスの多くは、物理的に且つ識別不能に併合して単一のデバイスになっている。
【０００５】
フォーマットされたメディアファイルを作成する過程では、ファイルデータは、それらの表示に必要なデジタルデータ量を減少させるために、様々なレベルおよび方式のデジタル圧縮を受け、それによって、多数のその他の映像ファイルと共に多重化される場合にそれらの正確な同時送信に必要な帯域だけでなく、必要なメモリストレージを減少させる。
【０００６】
インターネットは、映像データの配信の特に複雑な例を提供するが、そこでは、中央サーバからエンドユーザへのダウンロード送信中に、多様な方法および多様なチャネル（即ち、経路）を介して映像ファイルが多重化される。しかし、ほぼ全ての場合に、所与の元のデジタル映像ソースおよびエンドユーザが受信して表示する映像の所与の品質にとって、結果得られる映像ファイルが最小限のサイズに圧縮されることが望ましい。
【０００７】
フォーマットされた映像ファイルは、完全にデジタル化された映画を表示することができる。映画ファイルは、即時に表示してリアルタイムで視聴するため、またはデジタルビデオレコーダ等のエンドユーザ記録デバイスに記憶し、後にリアルタイムで視聴するために「オンデマンド」でダウンロードされてもよい。
【０００８】
従って、これらの映像ファイルの映像コンポーネントの圧縮は、送信上、帯域を節約するだけでなく、そのような映画ファイルを記憶するのに必要なメモリ全体を減少させる。
【０００９】
上記の通信チャネルの受信機端では、通常、単一ユーザ計算記憶デバイスが採用される。そのような単一ユーザデバイスの現在典型的な例は、パーソナルコンピュータおよびデジタルセットトップボックスであり、それらのいずれかまたは両方は、通常、エンドユーザの映像表示デバイス（例えば、テレビ）に出力接続され、且つ、直接的または間接的に、通信回線に接続された銅配線ケーブル線（即ち、ケーブルテレビ）に入力接続される。通常、このケーブルは、何百個もの多重化されたデジタル映像信号を同時に伝達し、ローカルの映像プログラム配信事業者からの地上波映像信号を伝達する光ファイバーケーブルに入力接続されることが多い。エンドユーザの衛星放送受信アンテナも放送映像信号の受信に使用される。エンドユーザが地上波ケーブルを介して配信される映像信号を採用しようと衛星を介して配信される映像信号を採用しようと、通常、エンドユーザデジタルセットトップボックスまたはそれらに相当するものを使用して、デジタル映像信号を受信し、視聴すべき特定の映像信号（即ち、いわゆるテレビチャンネルまたはテレビプログラム）を選択する。これらの送信されたデジタル映像信号は、圧縮されたデジタルフォーマットであることが多く、従ってエンドユーザによって受信後にリアルタイムで解凍されるはずである。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
映像圧縮の多くの方法は、元の非圧縮映像信号のデジタル近似値のみを保持することによってデジタル映像データ量を減少させる。その結果、圧縮前の元の映像信号と解凍された映像信号の間には測定可能な差が存在する。この差は映像歪として定義される。映像圧縮の所与の方法では、圧縮された映像データのデータ量がこれらの方法に対して異なるパラメータを選択することによって減少するにつれて、映像歪の程度は大抵大きくなる。即ち、映像歪は、圧縮のレベルが増加するにつれて増加する傾向がある。
【００１１】
映像圧縮のレベルが増加するにつれて、映像歪は最終的に人間の視覚系（ＨＶＳ）に視認可能になり、最終的にこの歪みは選ばれた表示デバイス上でリアルタイム映像の典型的な視聴者にとって視覚上不快になる。映像歪は、いわゆる映像アーチファクトとして観察される。映像アーチファクトは、元の非圧縮映像のシーンに属さないものとしてＨＶＳによって解釈される、観察された映像コンテンツである。
【００１２】
圧縮中または圧縮後に、圧縮された映像から視覚上不快なアーチファクトを大幅に減衰する方法が存在する。これらの方法のほとんどは、ブロックベースの二次元（２Ｄ）離散コサイン変換（ＤＣＴ）を採用する圧縮方法またはそれに近似するものにのみ適用する。以下において、本発明者らはこれらの方法をＤＣＴベースと呼ぶ。このような場合、とりわけ視覚上不快なアーチファクトは、表示された映像のシーンにおけるアーチファクトブロックの出現である。
【００１３】
通常、これらのブロックを検索することによってまたはこれらのブロックが映像の各フレームの何処に位置しているかというアプリオリな知識を要求することによって、アーチファクトブロックを減衰する方法が存在する。
【００１４】
視覚上不快なアーチファクトの出現を減衰するという問題は、映像データが恐らく２回以上事前に圧縮および解凍されている、または映像データが事前にサイズ変更、再フォーマットまたは再混色されているというよくある場合に、特に難しい。例えば、映像データは、ＮＴＳＣからＰＡＬフォーマットに再フォーマットされていたり、ＲＧＢからＹＣｒＣｂフォーマットに変換されていたりする可能性がある。そのような場合、アーチファクトブロックの位置のアプリオリ知識はほぼ確実に不明であるため、この知識に依存する方法は機能しない。
【００１５】
映像アーチファクトの出現を減衰する方法は、圧縮された映像データの表示に必要な全データ量を大きく増加させてはならない。この制約が主要な設計課題である。例えば、表示された映像の各フレームにおける各ピクセルの三原色の各々は通常８ビットで表され、従って１カラーピクセルあたり２４ビットになる。例えば、視覚上不快なアーチファクトが明確に認識できる圧縮の限界にまで達したとすると、Ｈ２６４（ＤＣＴベース）映像圧縮規格では、最低で１ピクセルあたり約１／４０ビットに相当する映像データの圧縮が可能である。従って、これは４０×２４＝９６０よりも優れた平均圧縮比に相当する。そのため、この圧縮比において、映像アーチファクトを減衰するいずれの方法も、１ピクセルあたり１／４０ビットに対して僅かなビット数を追加しなければならない。圧縮比が高過ぎて１ピクセルあたりの平均ビット数が概して１／４０ビット未満である場合にはブロックアーチファクトの出現を減衰する方法が必要である。
【００１６】
ＤＣＴベースおよびその他のブロックベース圧縮方法に関して、最も重大な視覚上不快なアーチファクトは、典型的には時間、サイズおよび方位によって映像シーンの局所的な時空間特性に依存する方法により変化する小さな矩形ブロックの形状である。特に、アーチファクトブロックの性質は、映像シーンにおけるオブジェクトの局所運動に依存し、これらのオブジェクトが含む空間的ディテール量に依存する。特定の映像に関して圧縮率が増加するにつれて、ＭＰＥＧベースＤＣＴベースビデオエンコーダは、各ブロック内のピクセルの輝度を表す、いわゆる量子化された基底関数に徐々に少ないビットを割当てる。各ブロックに割当てられるビット数は、ＨＶＳに関する幅広い心理視覚知識に基づいて決まる。例えば、ビデオオブジェクトの形状およびエッジならびにそれらの運動の平滑な時間軌跡は、心理視覚的に重要であり、従ってビットは、全てのＭＰＥＧ  ＤＣＴベースの方法と同様に、それらの忠実度を確保するように割当てられなければならない。
【００１７】
圧縮のレベルが増加するにつれ、上記忠実度を保持するという目的において、圧縮方法（いわゆるエンコーダにおける）は、最終的に、各ブロックに一定の（またはほぼ一定の）輝度を割当てるが、通常、最も視覚上不快なのがこのブロックアーチファクトである。ブロックアーチファクトの相対的均一輝度が、それらの直近のブロックの相対的均一輝度より３％超大きい場合、これらのブロックを含む空間領域は視覚上不快であると推測される。ブロックベースＤＣＴ型方法を使用して大きく圧縮されている映像シーンにおいては、多くのフレームの大領域がそのようなブロックアーチファクトを含む。
【課題を解決するための手段】
【００１８】
映像信号を非ブロック領域とディテール領域に分解し、フレーム全体を平滑化し、続いてフレームの保存ディテール領域を各平滑化フレームに上書きすることによって、圧縮デジタル映像信号の品質を向上させるシステムおよび方法を開示する。
【００１９】
一実施形態において、画像フレームにおけるディテール領域を識別して分離し、次に、画像フレーム全体を空間的に平滑化する任意の適切な方法を使用して、対応するキャンバスフレームを得る方法を開示する。フレームの分離されたディテール領域を、次に、キャンバスフレームと結合させて、対応する非ブロック化された画像フレームを得る。
【００２０】
開示した実施形態の利点は、平滑化演算を、ディテール領域を画する境界線の位置に関係なく、完全な画像に適用できることである。これにより、キャンバスフレームを得るために画像全体を高速で平滑化するアルゴリズムを採用可能になる。これらのアルゴリズムは、例えば、高速の画像全体の高速フーリエ変換（ＦＦＴ）ベースの平滑化方法、またはローパス平滑化フィルタとして機能する広く利用可能な高度に最適化されたＦＩＲまたはＩＩＲコードを採用することもできる。
【００２１】
一実施形態において、空間的平滑化の前に画像フレームを空間的にダウンサンプリングすることが出来る。ダウンサンプリングされた画像フレームを、次に、空間的に平滑化してもよく、得られた画像は、最大解像度までアップサンプリングされ、フレームの分離されたディテール部と結合する。
【００２２】
他の実施形態では、キーフレーム、例えば４フレーム毎にディテール領域を決定することが出来る。大抵の場合、近接するフレームにおけるオブジェクトの運動が十分に低速度であれば、近接する非キーフレームのディテール領域を同定する必要はなく、最も近接するキーフレームのディテール領域を、平滑化したキャンバスフレームに上書きすることが出来る。
【００２３】
他の実施形態では、ディテール領域ＤＥＴに対する「成長（ｇｒｏｗｉｎｇ）」処理を全キーフレームに採用し、ディテール領域をその境界線に沿って拡大し、拡大されたディテール領域を得る。
【００２４】
上記では、以下の本発明の詳細な記述がより良く理解されるように、本発明の特徴および技術的利点をやや広範に概説している。本発明の特徴および利点と共に、更なる方法が以下に記述され、本発明の特許請求の主題を形成する。開示される概念および具体的な実施形態が、本発明と同一の目的を遂行するその他の構造を改良または設計する基礎として容易に利用可能であることは、当業者には理解されるはずである。また、そのような等価の構造物は、添付の特許請求の範囲に明記された発明の趣旨および範囲から逸脱するものでないことも、当業者には理解されるべきである。本発明の特徴と考えられる新規の特徴は、その構成および動作方法の両者について、更なる目的および利点と共に、添付の図面と関連して考察される以下の記述からより良く理解されるだろう。しかしながら、各図面は、図示および説明のみの目的で提供されており、本発明の限界を定義するものとしては意図されないことが明示的に理解される。
【図面の簡単な説明】
【００２５】
本発明のより完全な理解のために、添付の図面とともに以下の記述を参照する。
【図１】典型的なブロック状の画像フレームを示す図である。
【図２】非ブロック領域（黒色で示す）とディテール領域（白色で示す）に分解された図１の画像を示す図である。
【図３】フレームにおける孤立したピクセルを選択する一例を示す図である。
【図４】互いにｘピクセル離れ、非ブロック基準を満たさないためディテール領域ＤＥＴに属する候補ピクセルＣｉの拡大図を例示する図である。
【図５】９ピクセルによる十字マスクを使用することによってブロックを非ブロック領域に指定する方法の一実施形態を例示する図である。
【図６】画像フレーム内の特定の位置に使用された９ピクセルによる十字マスクの例を示す図である。
【図７】ビデオ画像品質を向上させる方法の一実施形態を示す図である。
【図８】本明細書に記載の概念に従って機能する方法の一実施形態を示す図である。
【図９】本明細書に記載の概念に従って機能する方法の一実施形態を示す図である。
【図１０】本明細書に記載の概念の使用の一実施形態を示す図である。
【発明を実施するための形態】
【００２６】
開示される実施形態の一態様は、平滑性基準および不連続性基準を使用して非ブロック化するための映像信号の各フレームにおいて領域を同定することによってリアルタイムの映像信号におけるブロックアーチファクトの出現を減衰することである。ロバスト性を更に向上させるために、更に勾配基準を組み合わせることも出来る。これらの概念の使用により、映像ファイルのサイズ（または映像信号の送信に必要なビット数）を縮小することが出来、縮小したファイルサイズに関連するアーチファクトの視覚効果を減少することが出来る。本明細書に記載の概念のいくつかは、画家がまず（通常は大きな平筆を使用して）空間的に平滑なキャンバスに全体像を描き、次に（通常は小さな面相筆を使用して）必要なディテールをキャンバスに重ね塗りすることに似ている。
【００２７】
これらの概念を実行する方法の一実施形態は、映像信号の画像フレームに対する以下の３つの部分から構成される。
１．いわゆるディテール領域ＤＥＴから非ブロック領域を識別する、非ブロック領域（ＤＥＢ）を同定する処理
２．非ブロック領域ＤＥＢに適用される、非ブロック領域におけるブロックアーチファクトの出現を減衰する（平滑化する）目的の演算
３．部分２において得られた平滑化非ブロック領域を、ディテール領域と結合する処理。
【００２８】
この実施形態の方法では、空間的平滑化演算は非ブロック領域外では動作しない。同様に、空間的平滑化演算はディテール領域内では動作しない。本明細書に記載のように、平滑化が非ブロック領域の外で起こらないように、空間的平滑化演算が非ブロック領域ＤＥＢの境界線に到達したことを判断する方法が採用される。
【００２９】
事前にブロックベース型の映像圧縮（例えば、ＤＣＴベースの圧縮）および解凍を受け、サイズ変更および／または再フォーマットおよび／または再混色を受けている可能性のある映像信号は、典型的には、事前の圧縮演算中に最初に発生したブロックアーチファクトの視覚上不快な残存物を含む。従って、ブロック起因性アーチファクトの除去は、最後または現行の圧縮演算において創出されたブロックの出現のみの減衰では、完全には達成されない。
【００３０】
多くの場合、事前に創出されたブロックの位置に関するアプリオリな情報は得られず、位置が不明のブロックは、不快なアーチファクトの一因となる場合が多い。この方法の実施形態は、ブロックの位置のアプリオリな知識を必要としない基準によって、非ブロック化されるべき領域を同定する。
【００３１】
一実施形態において、輝度の平滑性基準方法を採用し、且つ輝度不連続性基準および／または輝度勾配基準を使用して、個々のブロックの位置を明確に見つけるまたは同定することなく、非ブロック化されるべき各映像フレームの非ブロック領域を同定する。非ブロック領域は、典型的には、各フレームにおいて、様々なサイズおよび形状の多数の小領域で構成されている。この方法は、画像フレーム内の情報のみに依存し、その画像フレームにおける非ブロック領域を同定する。同定後、画像フレームの残りの領域はディテール領域として定義される。
【００３２】
映像シーンはビデオオブジェクトで構成される。これらのオブジェクトは、典型的には、輝度エッジの位置および運動、およびそれらの内部のテクスチャに関して、（ＨＶＳおよび関連する神経反応によって）識別および認識される。例えば、図１は、リアルタイムで表示された際に対応する映像クリップにおいて同様に出現する視覚上不快なブロックアーチファクトを含む典型的な画像フレーム１０を示す。典型的には、瞬時に、ＨＶＳは対応する映像クリップにおける元のオブジェクトを知覚および認識する。例えば、顔オブジェクト１０１およびその目１４や鼻１５等のサブオブジェクトは、同様にリボン１３やつば１２等のサブオブジェクトを含む帽子とともに、ＨＶＳによって素早く同定される。ＨＶＳは、顔の広大なエリアを、ほぼディテールが無く、その色と滑らかな陰影によって特徴付けられる肌のテクスチャとして認識する。
【００３３】
図１の画像フレームでは明確には視認できないが、対応する電子表示されたリアルタイムの映像信号では明確に視認することが出来るブロックアーチファクトは、様々なサイズを有しており、その位置は、最後の圧縮演算中に創出されたブロックの位置に限定されない。最後の圧縮動作中に創出されたブロックのみの減衰では不十分であることが多い。
【００３４】
この方法は、ＨＶＳが、元の画像における略一定の輝度または滑らかに変化する画像輝度である画像の比較的広大なオープンエリアに位置するブロックアーチファクト（および関連するエッジ輝度不連続部）を特に認識し、且つそれに対して敏感であるという心理視覚性質を利用する。例えば、図１において、ＨＶＳは、帽子の縞模様の間に位置するブロックアーチファクトは比較的気付かないが、顔上の肌の広大な滑らかな陰影のある領域に出現するブロックアーチファクトは特に認識し、且つそれに対して敏感であり、また帽子のつば（の底部）左側の広大なオープンエリアにおけるブロックアーチファクトに対しても敏感である。
【００３５】
ブロックアーチファクトに対するＨＶＳの感受性の他の例として、ＨＶＳが、光を照らされた壁等のむらなく着色された平坦な陰影のある表面を知覚した場合、約３％超のブロックエッジ輝度不連続部が視覚上不快である一方、高度なテクスチャの草原等の、高度なテクスチャのオブジェクトの映像イメージにおける同様なブロックエッジ輝度不連続部は、典型的には視認不可能である。高度な空間的ディテールの領域におけるブロックよりも広大でオープンな滑らかな輝度の領域におけるブロックを減衰する方がより重要である。この方法は、ＨＶＳのこの特性を利用する。
【００３６】
しかしながら、上記の壁が小さな孤立された領域を除く視野から遮蔽される場合、ＨＶＳはブロックアーチファクトに対して再び相対的に非認識になる。即ち、ＨＶＳはこれらのブロックにはあまり敏感ではない、というのも、これらの領域は滑らかな輝度の領域に位置しているが、十分に大きくはないからである。この方法は、ＨＶＳのこの特性を利用する。この方法は、少なくともある実施形態において、オブジェクトの運動速度が十分に早い場合、この運動オブジェクトに関連するブロックアーチファクトにはＨＶＳが相対的に非認識であるという心理視覚的性質を利用している。
【００３７】
画像フレームに対してこの方法を適用すると、結果として画像は少なくとも２つの領域、即ち非ブロック領域および残りのディテール領域に分離される。この方法は、階層においても適用出来るため、次に、上記の最初に同定されたディテール領域それ自体が第２の非ブロック領域と第２のディテール領域に分離する等、再帰的に実施される。
【００３８】
図２は、非ブロック領域（黒色で示す）とディテール領域（白色で示す）を同定した結果２０を示す。目１４、鼻１５および口は、縞模様のきめ細かいテクスチャを有する帽子の右側領域のほとんどがそうであるように、顔オブジェクトのディテール領域（白色）に属している。しかしながら、帽子の左側のほとんどは、輝度が略一定の領域であるので、非ブロック領域に属しており、また、つば１２のエッジは、明確な不連続部の領域であり、ディテール領域の細い線部に対応する。
【００３９】
以下に記述されるように、非ブロック領域は、ＨＶＳがブロックアーチファクトを最も感知し、またそれに対して敏感である領域であり、従って、非ブロック化されるべき領域であるということを確認する基準が採用される。ディテール領域は、従って、ＨＶＳがブロックアーチファクトに対してあまり敏感ではない領域である。この方法では、非ブロック領域の非ブロック化を、空間的な輝度平滑化によって達成することも出来る。空間的な輝度平滑化プロセスは、ローパスフィルタリングまたは他の手段によって達成することができる。輝度平滑化によって、平滑化されるべき領域のいわゆる高い空間周波数が大幅に減衰され、それによってブロックアーチファクトのエッジに関連する輝度のエッジ不連続部が大幅に減衰される。
【００４０】
この方法の一実施形態は、空間的不変ローパスフィルタを採用して、同定された非ブロック領域を空間的に平滑化する。このようなフィルタは、無限インパルス応答（ＩＩＲ）フィルタまたは有限インパルス応答（ＦＩＲ）フィルタもしくはこのようなフィルタの組み合わせであってよい。これらのフィルタは、典型的にはローパスフィルタであり、非ブロック領域のいわゆる高い空間周波数を減衰し、それによって輝度を平滑化してブロックアーチファクトの出現を減衰するために採用される。
【００４１】
非ブロック領域ＤＥＢおよびディテール領域ＤＥＴの上記定義は、いずれかまたは両方の領域の更なる信号処理を妨げることはない。特に、この方法を使用して、ＤＥＴ領域を、新たな領域ＤＥＴ１およびＤＥＢ１へ更に分離することが出来、ＤＥＢ１は、別の非ブロック化方法またはＤＥＢを非ブロック化するのに使用される他のフィルタを使用する可能性がある非ブロック化に関する第２の領域である（ＤＥＢ１∈ＤＥＴ）。ＤＥＢ１およびＤＥＴ１は、明らかにＤＥＴの小領域である。
【００４２】
非ブロック領域（ＤＥＴ）を同定することは、リアルタイムで映像を流す能力を有する同定アルゴリズムを必要とする場合が多い。このようなアプリケーションに関しては、ハイレベルな計算複雑性（例えば、１秒あたり多数の乗累算演算（ＭＡＣ）を採用する同定アルゴリズム）は、比較的少数のＭＡＣ、および整数で演算する単純な論理ステートメントを採用する同定アルゴリズムに比べて、あまり望ましくない傾向にある。この方法の実施形態は、比較的少数のＭＡＣを使用する。同様に、この方法の実施形態は、オフチップメモリへのおよびオフチップメモリからの大量のデータのスワッピングを確実に最小限度に抑える。この方法の一実施形態において、領域ＤＥＢ（およびそれによって領域ＤＥＴ）を決定するための同定アルゴリズムは、大幅に圧縮された映像クリップにおいて最も視覚上不快なブロックが、それらの内部全体に渡って略一定の輝度を有するという事実を利用する。
【００４３】
この方法の一実施形態において、非ブロック領域ＤＥＢの同定は、フレームにおける候補領域Ｃｉを選択することによって開始する。一実施形態において、これらの領域Ｃｉは、空間サイズにおける１ピクセルと同じくらい小さい。その他の実施形態では、サイズが１ピクセルよりも大きな候補領域Ｃｉを使用することも出来る。各候補領域Ｃｉは、一連の基準によって周囲の近隣領域に対して検査され、この基準を満たせば、Ｃｉは画像フレームの非ブロック領域ＤＥＢに属するものとして分類される。Ｃｉが非ブロック領域に属さなければ、Ｃｉはディテール領域ＤＥＴに属するものとして設定される。これは、全Ｃｉの集合体がＤＥＢに等しいことを意味するのではなく、単にそれらがＤＥＢの部分集合を形成することを意味していることに留意すべきである。
【００４４】
この方法の一実施形態において、Ｃｉが非ブロック領域ＤＥＢに属するか否かを決定するために使用される一連の基準は、以下のように分類され得る。即ち、
ａ．輝度平滑性基準（Ｆ）、
ｂ．不連続性基準（Ｄ）および
ｃ．先読み／後読み基準（Ｌ）。
【００４５】
上記の基準（またはそれらのあらゆる有益な組み合わせ）が満たされれば、候補領域Ｃｉは非ブロック領域に指定される（即ち、Ｃｉ∈ＤＥＢ）。そうでなければ、候補領域Ｃｉはディテール領域ＤＥＴに指定される（Ｃｉ∈ＤＥＴ）。特定の映像クリップを非ブロック化する時等、特定の実行においては、全３種類の基準（Ｆ，ＤおよびＬ）が必要でない可能性もある。更に、これらの基準は、画像フレームの局所的な性質に基づいて改良してもよい。そのような局所的な性質は、統計に基づくものである可能性もあれば圧縮および解凍処理の一部として使用される量子化パラメータや運動パラメータ等の、エンコーダ／デコーダに関連する性質である可能性もある。
【００４６】
この方法の一実施形態において、計算の効率化のために、画像フレームにおいて候補領域Ｃｉがまばらに分布するように、候補領域Ｃｉが選択される。これは、各フレームにおける候補領域Ｃｉの数を大幅に減少し、それによってアルゴリズムの複雑性を減少させてアルゴリズムのスループット（即ち、速度）を増加させる効果を有する。
【００４７】
図３は、フレームの小領域に関して、前記基準に照らして図１の画像フレームをテストするのに採用可能な、選択されたまばらに分布したピクセルを示す。図３では、ピクセル３１−１乃至３１−６は、水平および垂直両方向に互いに７ピクセル分、離れている。これらのピクセルは、元の画像におけるピクセル数の約１／６４を占め、非ブロック領域を同定するのに使用される任意のピクセルベースのアルゴリズムが、各フレームにおいてピクセル数の１／６４にのみ動作し、それによって複雑性を減少させてピクセル毎に基準をテストする方法に比べてスループットを増加させることを意味している。
【００４８】
この説明例では、図１に対する非ブロック化基準を図３におけるまばらに分布した候補領域に適用すると、図４に例示するように、対応するまばらに分布したＣｉ∈ＤＥＢとなる。
【００４９】
この方法の一実施形態において、全非ブロック領域ＤＥＢは、上述のまばらに分布した候補領域Ｃｉ∈ＤＥＢから周囲領域へ「成長」する。
【００５０】
図２における非ブロック領域の同定は、例えば、Ｎを７ピクセルに設定することによって、図４のまばらに分布したＣｉから「成長させ」、それによって、候補領域ピクセルＣｉのまばらな分布を、切れ目なく結合される性質を有する図２の一層大きな非ブロック領域へ「成長」させる。
【００５１】
上記の成長処理は、まばらに分布したＣｉ∈ＤＥＢを空間的に接続し、全非ブロック領域ＤＥＢを形成する。
【００５２】
この方法の一実施形態において、上記の成長処理を、最も近い候補領域ピクセルＣｉからのピクセルの水平または垂直距離である適切な距離メトリックに基づいて行う。例えば、垂直および水平方向に７ピクセル離れて選ばれた候補領域ピクセルＣｉでは、結果として得られる非ブロック領域は図２に示す通りである。
【００５３】
一つの拡張として、ディテール領域ＤＥＴを、予め決定した非ブロック領域内へ拡大するために、ディテール領域ＤＥＴに成長処理を適用する。これは、空間的に不変のローパス平滑化フィルタの十字マスクが元のディテール領域内に突出することを防ぎ、それによって創出される可能性のある望ましくない「ハロー（ｈａｌｏ）」効果を回避するために使用することが出来る。そうすることで、ディテール領域は、その拡大した境界線では、ブロック、またはそれらの一部分を減衰されずに含む可能性がある。これは、このようにディテール領域に近接したブロックアーチファクトに対してＨＶＳが相対的に鈍感なため、現実には問題にならない。拡大したディテール領域を使用する利点は、拡大したディテール領域が高速の運動オブジェクトをより効果的に覆い、それによってキーフレーム同士の間隔を任意の与えられた映像信号に関して更に離すことが出来る点にある。これは、結果的にスループットを向上させ複雑性を減少させる。
【００５４】
代替の距離メトリックを採用してもよい。例えば、候補領域Ｃｉを中心とする所定の半径の円内の画像フレーム全領域に対応するメトリックを採用してもよい。
【００５５】
上記またはその他の成長処理によって得られる非ブロック領域は、画像フレームの非ブロック化されるべき部分を包含する（即ち空間的に覆う）性質を有する。
【００５６】
上記の成長処理を形式化すると、全非ブロック領域ＤＥＢ（または全ディテール領域ＤＥＴ）は、周囲の成長した領域Ｇｉによって各候補領域Ｃｉ（基準Ｃｉ∈ＤＥＢまたはＣｉ∈ＤＥＴを満たす）を包囲することによって決定することが出来る。ここで、全非ブロック領域ＤＥＢ（または全ディテール領域ＤＥＴ）は、全Ｃｉおよび全Ｇｉの和集合である。
【００５７】
同様に、全非ブロック領域は論理的に、
【数１】
2011528825.tif 000003
と表すことが出来、∪は領域の和集合であり、ＤＥＴは単に画像フレームの残りの部分である。あるいは、
【数２】
2011528825.tif 000004
に従って（ＣｉはＤＥＢに属さない）を使用して候補領域を限定することから全ディテール領域ＤＥＴを決定してもよい。
【００５８】
成長した周囲領域Ｇｉ（図３の３２−１乃至３２−Ｎ）が十分に大きければ、それらの領域は、画像フレームの拡大したエリアに接触した非ブロック領域ＤＥＢを創出するように隣同士が重複または接触するように配置されてもよい。
【００５９】
この方法の一実施形態は、図５に例示され、非ブロック領域にまたはディテール領域ＤＥＴに指定されるべき候補領域ピクセルＣｉを同定するための９ピクセルによる十字マスクを採用する。この実施形態では、候補領域Ｃｉは、１×１ピクセル（即ち、単一ピクセル）のサイズである。十字マスクの中心（ピクセル５１）はピクセルｘ（ｒ，ｃ）にあり、（ｒ，ｃ）はそのピクセルの行列位置を示し、典型的に輝度ｘがｘ∈［０，１，２，３，．．．２５５］によって与えられる。この実施形態では、十字マスクが、＋（十字）を形成する互いに垂直な２本の単一ピクセル幅の線で構成されることに留意すべきである。必要に応じて、この「十字」をいずれの向きでも使用可能である。
【００６０】
図５において、８個の独立した平滑性基準をａｘ、ｂｘ、ｃｘ、ｄｘ、ａｙ、ｂｙ、ｃｙおよびｄｙとラベル付けし、その８個の対応するピクセル位置に適用する。以下では、十字マスク５２の内側および適宜十字マスク５２の外側に不連続性（即ち、輝度勾配）基準を適用する。
【００６１】
図６は、画像フレーム６０内の特定の位置に使用された９ピクセルによる十字マスク５２の一例を示す。十字マスク５２は、特定の位置に関して例示されるが、一般に、画像フレームにおける多数位置において、基準に照らしてテストされる。画像フレーム６０の位置６１等、特定の位置に関して、十字マスク５２の中心、および８個の輝度平滑性基準ａｘ、ｂｘ、ｃｘ、ｄｘ、ａｙ、ｂｙ、ｃｙおよびｄｙを、基準に照らして適用する。
【００６２】
これらの８個の平滑性基準に関して使用される特定の同定アルゴリズムは、同業者に周知のアルゴリズムの中の一つでもよい。８個の平滑性基準は、論理表記ａｘ∈Ｆ、ｂｘ∈Ｆ、．．．、ｄｙ∈Ｆを書き込むことによって満たされる。満たされる場合、対応する領域は、どのような輝度平滑性基準を採用していても「十分に平滑」である。
【００６３】
以下の例示の論理条件を使用して各候補ピクセルｘ（ｒ，ｃ）に関して全体的な平滑性基準が満たされるか否かを決定してもよい。即ち、
（ａｘ∈Ｆおよびｂｘ∈Ｆ）または（ｃｘ∈Ｆおよびｄｘ∈Ｆ）  （１）
および、
（ａｙ∈Ｆおよびｂｙ∈Ｆ）または（ｃｙ∈Ｆおよびｄｙ∈Ｆ）  （２）
ならば、
Ｃｉ∈平滑である。
【００６４】
同様に、上記のブールステートメントは、以下の３つの条件のうち少なくとも一つの条件下で、Ｃｉ∈平滑というステートメントが真であるという結果をもたらす。即ち、
ａ）十字マスク５２が、全体が十分に平滑な輝度である９ピクセル領域上に存在し、従って、十字マスク５２が、完全にブロックの内側に存在する十分に平滑な領域を含む、
または、
ｂ）十字マスク５２が、（ｒ＋１，ｃ）または（ｒ＋２，ｃ）または（ｒ−１，ｃ）または（ｒ−２，ｃ）の４か所のうち１か所で不連続部上に存在するが、残りの３か所では平滑性を満たす、
または、
ｃ）十字マスク５２が（ｒ，ｃ＋１）または（ｒ，ｃ＋２）または（ｒ，ｃ−１）または（ｒ，ｃ−２）の４か所のうち１か所で不連続部上に存在するが、残りの３か所では平滑性を満たす。
【００６５】
候補ピクセルを同定するために必要とされる、上記の処理では、十字マスク５２は、Ｃｉ∈平滑というステートメントが真であることを維持しながら、ブロックの位置に関わらず、ブロックの不連続な境界線、またはブロックの一部を空間的に覆う。
【００６６】
上記の論理の更に詳細な説明は以下の通りである。（１）および（２）における全ての括弧付きステートメントが真ならば、条件ａ）は真である。ｂ）において与えられた位置のうち１か所に不連続部が存在すると仮定する。すると、括弧付きステートメントのうちの１つが真であるので、ステートメント（２）は真である。ｃ）において与えられた位置のうちの一つに不連続部が存在すると仮定する。すると、括弧付きステートメントの一つが真であるので、ステートメント（１）は真である。
【００６７】
上記のブール論理を使用すると、十字マスク５２が、その位置に関わらず、ブロックの境界線、またはブロックの一部を描く不連続部にまたがる場合、平滑性基準が満たされる。
【００６８】
（候補ピクセルＣｉに適用される）平滑性基準Ｆを決定するための特定のアルゴリズムを採用することは、本方法にとって重要ではない。しかし、高スループット能力を達成するために、一例のアルゴリズムは、いわば「水平方向に隣接したピクセルと垂直方向に隣接したピクセル間の輝度の第１前方差分の大きさ」である、ａｘ、ｂｘ、ｃｘ、ｄｘ、ａｙ、ｂｙ、ｃｙおよびｄｙの単純な数学的平滑性基準を採用する。例えば、二次元シーケンスｘ（ｒ，ｃ）の垂直方向における第１前方差分は、単にｘ（ｒ＋１，ｃ）−ｘ（ｒ，ｃ）である。
【００６９】
上述の平滑性基準は、各映像信号に関する各フレームの各領域において領域ＤＥＢを同定するには不十分な場合もある。ここで、上記のＣｉ∈平滑という平滑性条件がＣｉにおける候補ピクセルに関して満たされると仮定する。すると、この方法では、圧縮前後に、ブロックの境界線アーチファクトの一部である不連続部と元の画像に存在する所望のディテールに属する非アーチファクト不連続部との間の区別を向上させるため、マグニチュード不連続性基準Ｄを採用することも出来る。
【００７０】
マグニチュード不連続性基準方法は、単純な閾値Ｄを設定し、その閾値を下回れば、不連続部がブロック化のアーチファクトであると仮定する。輝度ｘに関してピクセルｘ（ｒ，ｃ）（６１）をＣｉに書き込むと、マグニチュード不連続性基準は、
ｄｘ＜Ｄ
の形をとり、ｄｘは、十字マスク５２の中心（ｒ，ｃ）における輝度の不連続部のマグニチュード（大きさ）である。
【００７１】
Ｄの必要値は、圧縮アルゴリズムのイントラフレーム量子化ステップサイズから推察可能であり、同様に、デコーダおよびエンコーダから取得したり、既知の圧縮ファイルサイズから推定したりすることも出来る。このようにして、Ｄに等しいまたはＤよりも大きい元の画像の変遷は、ブロック化アーチファクトの境界線と誤解され、誤って非ブロック化されることが無い。この条件を平滑性条件と組み合わせることで、より厳しい基準となる。
【００７２】
ｘ（ｒ，ｃ）の輝度範囲の１０％から２０％に渡るＤの値が、様々な異なる種類の映像シーンのブロックアーチファクトを十分に減衰することが分かっている。
【００７３】
Ｃｉ∈平滑およびｄｘ＜Ｄ
非アーチファクト不連続部（従って非ブロック化されるべきではない）は、元の圧縮されていない画像フレームに含まれたものなので、ほぼ確実に存在する。このような非アーチファクト不連続部は、上記の基準に従うと、ｄｘ＜Ｄを満たすことができ、周囲領域がＣｉ∈平滑をもたらす個所に存在することができ、従って、このような不連続部が上記の基準を満たし、それによって誤って非ブロック化に分類され、誤って平滑化されることに繋がる。しかしながら、このような非アーチファクト不連続部は、高度に局在した画像ディテールに相当する。実験によって、そのような誤った非ブロック化は、概して、ＨＶＳには不快ではないことが確認されている。しかしながら、そのような誤った非ブロック化という稀な例の可能性を大幅に減少させるために、本方法の以下の先読み（ＬＡ）および後読み（ＬＢ）の実施形態を採用してもよい。
【００７４】
特定のビデオ画像フレームにおいては、特別な数値的条件群が存在し、その条件下では、元の映像フレームにおいて必要な元のディテールが、上記の局所的平滑性および局所的不連続性の両方の条件を満たし、従って不正に同定される（即ち、不正な非ブロック化および不正な平滑化を受ける）ことが実験から判明している。同様に、ごく一部のＣｉが、ＤＥＴではなくＤＥＢに誤って指定される可能性がある。この一例として、（圧縮されていない元の画像フレームにおける）オブジェクトのエッジの輝度の垂直配向の遷移は、非ブロック化の平滑性条件および不連続性条件の両方を満たす。これは、表示された対応するリアルタイムの映像信号における視覚上不快なアーチファクトに繋がる場合がある。
【００７５】
以下のＬＡおよびＬＢ基準は任意であり、上記の特別な数値的条件を検討する。十字マスク５２から十字マスク５２の外側に適切に配置された位置までの画像の輝度変化を測定することによって検討を行う。
【００７６】
上記の基準Ｃｉ∈平滑およびｄｘ＜Ｄを満たし、また「先読みＬＡ」閾値基準または「後読みＬＢ」閾値基準Ｌを超えれば、候補Ｃｉピクセルは非ブロック領域に指定されない。導関数のマグニチュードに関して、ＬＡおよびＬＢの一実施形態は、
（ｄｘＡ≧Ｌ）または（ｄｘＢ≧Ｌ）または（ｄｘＣ≧Ｌ）または（ｄｘＤ≧Ｌ）
ならば、
ＣｉはＤＥＢに属さない。
【００７７】
上記において、（ｄｘＡ≧Ｌ）等の項は、単に、この場合、位置（ｒ，ｃ）から外側にピクセルＡの位置までに測定されたＬＡマグニチュード勾配または変化基準ｄｘのマグニチュードが閾値数Ｌ以上であることを意味する。他の３つの項は、位置Ｂ、ＣおよびＤに関して同様の意味を有する。
【００７８】
上記のＬＡおよびＬＢ基準の効果として、輝度マグニチュード変化の特定の距離Ｌまたはそれ以上の範囲内では非ブロック化され得ないことが保証される。
【００７９】
これらのＬＡおよびＬＢの制約は、不正な非ブロック化の可能性を減少するという所望の効果を有する。また、ＬＡおよびＬＢの制約は、平滑性および不連続性基準に関わらず、輝度勾配のマグニチュードが高い個所に近い領域において望ましくない非ブロック化を防止するにも十分である。
【００８０】
Ｃｉのピクセルを非ブロック領域ＤＥＢに指定するために、上記３組の基準を組み合わせることによって得られる、組み合わせた基準の実施形態は、以下に一例の基準として表される。即ち、
Ｃｉ∈平滑またはｘ＜Ｄおよび（（ｄｘＡ＜ＬおよびｄｘＢ＜ＬおよびｄｘＣ＜ＬおよびｄｘＤ＜Ｌ））
ならば、
Ｃｉ∈ＤＥＢである。
【００８１】
この方法の実施形態として、上記が真であることは、短整数で高速論理演算を使用するハードウェアで決定してもよい。異なる種類の多くの映像に対する上記基準の評価は、非ブロック領域ＤＥＢ（およびそれによって補完的なディテール領域ＤＥＴ）を正確に同定する際のロバスト性を検証している。
【００８２】
多くの事前処理された映像は、「拡散した」ブロックエッジ不連続部を有する。視覚上不快でありながら、拡散したブロックエッジ不連続部は、垂直および／または水平方向の２個以上のピクセルにまたがる。これは、以下に例を用いて記述するように、非ブロック領域へのブロックエッジ不連続部の誤分類を招き得る。
【００８３】
例えば、基準不連続性閾値Ｄ＝３０で例えばｘ（ｒ，ｃ）＝１００からｘ（ｒ，ｃ＋１）＝１４０まで発生している、Ｃｉ∈平滑を満たす平滑な輝度領域を分離するマグニチュード４０の水平な１ピクセル幅の不連続部を考える。この不連続部はマグニチュード４０で、Ｄを超過し、ピクセルｘ（ｒ，ｃ）が非ブロック領域ＤＥＢに属さないことを意味している。マグニチュード４０のこの同じ不連続部が、例えばｘ（ｒ，ｃ）＝１００からｘ（ｒ，ｃ＋１）＝１２０を経由してｘ（ｒ，ｃ＋２）＝１４０に至る拡散した不連続部の場合にどのように分類されるかを考える。この場合、（ｒ，ｃ）およびｘ（ｒ，ｃ＋１）での不連続部は夫々マグニチュード２０であり、値Ｄを超過しないので、誤った非ブロック化を発生させる。即ち、ｘ（ｒ，ｃ）およびｘ（ｒ，ｃ＋１）の両方が非ブロック領域ＤＥＢに誤って指定される。
【００８４】
同様の拡散したエッジ不連続部が垂直方向に存在する可能性がある。
【００８５】
最も一般的には、このような拡散した不連続部は２個のピクセルにまたがるが、大幅に圧縮された映像信号においては、３個のピクセルにまたがることが見られることもある。
【００８６】
拡散したエッジ不連続部を正確に分類するためのこの方法の一実施形態は、拡散した不連続部の境界線を同定し、それによって非ブロック化するのに使用可能な上記の９ピクセルによる十字マスク５２の拡張型を採用することである。例えば、図５の９ピクセルによる十字マスク５２において同定された全候補領域は１ピクセルのサイズであるが、同様の論理を採用して、十字マスクの全体が空間的に拡張される（即ち引き延ばされる）ことが出来ない理由はない。そのため、ａｘ、ｂｘ、．．．等は、ピクセル２個分の間隔をあけ、２×２ピクセルの中心領域を包囲する。上記の組み合わせたピクセルレベルの非ブロック条件は有効なままであり、以下の３つの条件のうち少なくとも１つの条件下でＣｉ∈平滑であるように設計される。
ｄ）十字マスク５２（Ｍ）は、全体が十分に平滑な輝度である２０個のピクセルによる領域上に存在し、従って、Ｍが完全にブロックの内側に存在する十分に平滑な領域を含む、
または、
ｅ）十字マスク５２は、（ｒ＋２：ｒ＋３，ｃ）または（ｒ＋４：ｒ＋５，ｃ）または（ｒ−２：ｒ＋−１，ｃ）または（ｒ−４：ｒ−３，ｃ）の４か所の１×２ピクセル位置のうちの１か所で２ピクセル幅の不連続部上に存在し、残りの３か所では平滑性基準を満たす、
または、
ｆ）十字マスク５２は、（ｒ，ｃ＋２：ｃ＋３）または（ｒ，ｃ＋４：ｃ＋５）または（ｒ，ｃ−２：ｃ−１）または（ｒ，ｃ−４：ｃ−３）の４か所の１×２ピクセル位置のうちの１か所で２ピクセル幅の不連続部上に存在し、残りの３か所では平滑性基準を満たす。
【００８７】
このように、必要に応じて、十字マスクＭは、それらの位置に関わらず、Ｃｉ∈平滑というステートメントが真であることを維持しつつ、ブロックの拡散した１ピクセル幅の境界線だけでなく２ピクセル幅の境界線も覆うことが出来る。２０ピクセルによる十字マスクに必要な最低演算数は、９ピクセルの場合に必要な数と同じである。
【００８８】
上記の平滑性および不連続性基準を決定できる詳細事項には多くのバリエーションがある。例えば、「平滑性」の基準は、典型的には、追加的な計算コストおよびより遅いスループットの下では、分散、平均、標準偏差等の統計的尺度に加え、異常値の排除を含むことが出来る。同様に、不連続部の特定は、輝度の完全な変化よりも僅かな変化を伴うことが出来、十字マスクＭは、不連続部が両方向にいくつかのピクセル上に拡散出来る様に拡張可能である。
【００８９】
上記基準の特定のバリエーションは、輝度の完全な変化よりも僅かな変化に関する。これは、ＨＶＳが輝度の僅かな変化に対してほぼ線形に応答するということが周知であるため重要である。僅かな変化に適応する上記の方法には、数多くの改良方法があり、それによって、特に画像フレームの暗領域において、非ブロック化に対する認識を向上させる。それらの方法は、
ｉ．画像輝度ｘ（ｒ，ｃ）を、候補ピクセルＣｉとして平滑性および不連続性基準の直接の対象とせずに、輝度の対数Ｃｉ＝ｌｏｇｂ（ｘ（ｒ，ｃ））が一貫して使用され、底ｂは１０または自然指数ｅ＝２．７１８．．．でもよい。
または、
ｉｉ．輝度の差の大きさを直接採用せずに、僅かな差を、平滑性、不連続性、先読みおよび後読みの基準の全部または一部として直接使用する。例えば、平滑性基準は、
【数３】
2011528825.tif 000005
における絶対輝度閾値ｅから、
【数４】
2011528825.tif 000006
という式の相対閾値ｅＲ等の、相対的輝度の項を含む閾値に修正してもよく、添付における例では、本発明者らは、ｅ＝３および、ｘ（ｒ，ｃ）によって仮定出来る最大輝度であるＩＭＡＸ＝２５５を使用した。
【００９０】
候補領域Ｃｉは、アンダーサンプリングによってブロックアーチファクトのほとんどの境界線が見逃されないように、十分に密に画像フレームの二次元空間をサンプリングしなければならない。ブロックベースの圧縮アルゴリズムが、ほとんどのブロックのほとんどの境界線が両方向に少なくとも４ピクセルによって分離されることを保証すると仮定すると、この方法によって、ほぼ全てのブロック境界線の不連続部を見逃すことなく、各方向に４ピクセル置きに画像空間をサブサンプリングすることが可能である。各方向に８ピクセルまで実際に効果があることも分かっている。これは計算オーバーヘッドを大幅に減少させる。例えば、各方向に４ピクセル単位でのサブサンプリングは、非ブロック領域に属する不連続セットをもたらす。この方法の一実施形態は、このようなサブサンプリングを採用する。
【００９１】
候補ピクセル同士が両方向にＬピクセル離れていると仮定する。すると、非ブロック領域は、まばらに分布した候補ピクセルから、Ｌ×Ｌの正方形ブロックで全候補ピクセルを包囲することによって得られる領域として定義してもよい。これは、効率的アルゴリズムによって容易に実行される。
【００９２】
一旦非ブロック領域が同定されると、視覚上不快なブロックノイズ（ｂｌｏｃｋｉｎｅｓｓ）の知覚を減衰するために非ブロック領域に適用可能な様々な非ブロック化方法が存在する。ある方法では、例えば、空間的不変ローパスＩＩＲフィルタまたは空間的不変ローパスＦＩＲフィルタまたはＦＦＴに基づくローパスフィルタを使用することによって非ブロック領域に平滑化演算を適用する。
【００９３】
この方法の一実施形態は、平滑化演算の前に元の画像フレームをダウンサンプリングし、平滑化後に元の解像度にアップサンプリングする。この実施形態は、平滑化演算がより少数のピクセルに対して行われるので、より速い全体的平滑化を達成する。これによって、平滑化演算がより小さな（即ちダウンサンプリングされた）連続画像に対して適用されるので、使用メモリがより少なくなり、１秒あたりの乗累算演算（ＭＡＣ）がより少なくなる。
【００９４】
再帰移動平均（即ち、ボックス）二次元フィルタ等の特定のフィルタを除いて、二次元ＦＩＲフィルタは、それらが実行しなければならない平滑化のレベルとともに増加する計算複雑性を有する。このようなＦＩＲ平滑化フィルタは、平滑化のレベルに略比例する多数のＭＡＣを必要とする。
【００９５】
（例えば量子化パラメータｑ＞４０を有する）高度に圧縮された映像は、典型的には、十分な平滑化効果を達成するために、１１を超える次数のＦＩＲフィルタを必要とし、これは１ピクセルにつき少なくとも１１回の加算および最大１０回の乗算に相当する。同レベルの平滑化は、はるかに小さい次数のＩＩＲフィルタ、典型的には次数２のフィルタによって達成可能である。このような方法の一実施形態は、非ブロック領域を平滑化するためにＩＩＲフィルタを採用する。
【００９６】
平滑化の他の方法は、空間的位置の関数として、フィルタの十字マスクを、ディテール領域に重複しないように変化させるように、平滑化フィルタを空間的に変化（即ち、空間的に適応）させることを除いて上記の方法と類似する。この方法では、フィルタの次数（ひいては十字マスクのサイズ）を、ディテール領域の境界に近づくにつれて適応するように減少させる。
【００９７】
計算コストは増加するが、必要なレベルの平滑化を達成するために、局所統計量に基づいて十字マスクのサイズも適応出来る。この方法は、フィルタの応答が、ディテール領域を上書きすること（それによって歪めること）、あるいは小さなディテール領域を貫通してディテール領域のエッジ周りに望ましくない「ハロー」効果を引き起こすことが出来ないように、空間的に異なるレベルの平滑化を採用する。
【００９８】
この方法の更なる改良形は、ＤＥＴが境界線に沿って拡大するように、全キーフレームに関して上記のａ）におけるディテール領域ＤＥＴに「成長」処理を適用する。本文に記述された方法等、境界線を拡大するために成長に使用される方法、あるいは当業者に既知の別の方法を使用してもよい。この更なる改良形では、隣り合う画像フレーム同士に関するディテール領域として、結果として得られる拡大ディテール領域ＥＸＰＤＥＴを使用し、この拡大ディテール領域がこれらフレームのキャンバス画像ＣＡＮを上書きする。これは、キーフレームにおけるディテール領域ＤＥＴ（およびその拡大領域ＥＸＰＤＥＴ）を同定するだけでよいので、スループットを増加し、計算複雑性を減少させる。ＤＥＴの代わりにＥＸＰＤＥＴを使用する利点は、ＥＸＰＤＥＴが、ＤＥＴによって覆うことが出来るものよりも高速移動するオブジェクトを効果的に覆うことである。これによって、所与の映像信号に関して、キーフレーム同士の間隔を更にあけることが出来、それによってスループットを向上して複雑性を減少させる。
【００９９】
この方法では、ディテール領域ＤＥＴをその境界線で拡大し、非ブロック領域の非ブロック化に使用される平滑化演算によって引き起こされるあらゆる「ハロー」効果を空間的に覆い、それによって不可視にすることも出来る。
【０１００】
この方法の一実施形態において、二次元Ｚ変換伝達関数
【数５】
2011528825.tif 000007
を有する、空間的に可変な二次元の再帰移動平均フィルタ（即ちいわゆる二次元ボックスフィルタ）を採用し、二次元次数（Ｌ１，Ｌ２）の高速の再帰二次元ＦＩＲフィルタリングを促進する。対応する二次元再帰ＦＩＲ入出力差分方程式は、
【数６】
2011528825.tif 000008
であり、式中、ｙは出力、ｘは入力である。この実施形態は、演算複雑性が低く、平滑化のレベルとは無関係であるという利点を有する。
【０１０１】
本方法の具体的な例では、次数パラメータ（Ｌ１，Ｌ２）は、空間的に変化する、即ち、上記の二次元ＦＩＲ移動平均フィルタの空間性を、ディテール領域ＤＥＴとの平滑化フィルタの応答の重複を回避するように適応させる。
【０１０２】
図７は、本明細書に記載の概念を使用して向上したビデオ画像品質を達成するための、方法７０等の方法の一実施形態を示す。この方法を実施するための一システムは、恐らく、図１０のプロセッサ１０２−１および／または１０４−１の制御下で、例えば、図８に示すシステム８００で作動するソフトウェア、ファームウェア、またはＡＳＩＣが可能である。処理７０１は非ブロック領域を決定する。処理７０２によって決定されるように、全非ブロック領域を発見すると、次に、処理７０３が、全非ブロック領域、また暗に全ディテール領域を同定することが出来る。
【０１０３】
次に、処理７０４は、平滑化を開始することが出来、処理７０５は、いつＮ番目の非ブロック領域の境界線に到達したか否かを決定し、処理７０６は、Ｎ番目の領域の平滑化がいつ完了したかを決定する。処理７０８は、値Ｎに１を加算することによってこの領域をインデックスし、全非ブロック領域が平滑化されたと処理７０７が決定するまで、処理７０４〜７０７を続ける。次に、処理７０９は、平滑化非ブロック領域を各ディテール領域と結合して、向上した画像フレームに到達する。全非ブロック領域が平滑化されるまで結合処理を始めるのを待つ必要はないことに留意すべきである。なぜならこれらの処理は、必要に応じて、並行して実行可能なためである。
【０１０４】
図８および図９は、本文に記載の概念に従って動作する方法の一実施形態を示す。処理８００は、１番目の非ブロック（またはディテール）領域を決定する処理８０１に映像フレームが与えられた時に開始する。処理８０２および８０３が、全非ブロック（またはディテール）領域が決定されと決定すると、処理８０４がディテール領域を保存する。処理８０５は、映像フレームを場合によりダウンサンプリングし、処理８０６は、ダウンサンプリングされていようとなかろうと全フレームを平滑化する。フレームをダウンサンプリングすると、使用するメモリが少なくなり、ＭＡＣ／秒が少なくなる。なぜなら平滑化演算が、はるかに小さな（即ちダウンサンプリングされた）隣接画像に適用されるためである。これは、さらに平滑化に必要な処理を少なくし、それによって全体的な計算効率を向上させる。
【０１０５】
フレームがダウンサンプリングされている場合、次に、処理８０７は、最大解像度までフレームをアップサンプリングし、次に、処理８０８は、保存していたディテール領域を、平滑化したフレームに上書きする。
【０１０６】
更なる実施形態として、図９の処理９００に関して記載するように、ディテール領域は、例えば４フレーム毎等のキーフレームにおいてのみ決定する。これによって、本方法の全体的な計算効率が大幅に向上する。従って、図９に示すように、隣接するフレームのオブジェクトの運動が十分に低速の映像シーンにおいて、大抵の場合、隣接する非キーフレーム群に関してはディテール領域を同定せず、代わりに、最も近いキーフレームのディテール領域をキャンバスフレームに上書きする。従って、処理９０１が映像フレームを受信し、処理９０２が各Ｎ番目のフレーム毎に同定を行う。数Ｎは、時によって、必要に応じて変えることが出来、ビデオ画像における相対運動またはその他の要因によって制御される。処理９１０はＮの選択を制御することが出来る。
【０１０７】
処理９０３は、各Ｎ番目のフレームを平滑化し、次に処理９０４が、Ｎ個のフレームを一個のフレームから保存されたディテールに置き換える。処理９０５は、次に、保存または表示のために、向上した映像フレームを要望に応じて配信する。
【０１０８】
更に他の実施形態では、全キーフレームのディテール領域ＤＥＴに「成長」処理を適用し、ディテール領域をその境界線に沿って境界内に拡大させ、拡大ディテール領域ＥＸＰＤＥＴを生じる。拡大ディテール領域ＥＸＰＤＥＴを使用する利点は、高速移動するオブジェクトをより効果的に覆い、それによって、あらゆる所与の映像信号に関して、キーフレーム同士の間隔を更に開けることが出来る。これは、同様に、スループットを向上し、複雑性を減少させる。
【０１０９】
上記の「成長」方法またはより周到な方法のいずれかを本発明の実施形態において使用可能である。しかし、成長方法を使用すると、得られる拡大ディテール領域ＥＸＰＤＥＴを、隣接する画像フレームのディテール領域の代わりに使用可能であり、これらのフレームのキャンバス画像に上書きする。これは、全フレームではなくキーフレームにおけるディテール領域ＤＥＴ（およびその拡大ディテール領域ＥＸＰＤＥＴ）を同定することが出来るので、スループットを増加し、計算複雑性を減少させることが出来る。ＤＥＴの代わりにＥＸＰＤＥＴを使用する一つの利点は、ＥＸＰＤＥＴが、ＤＥＴによって覆われるものよりも効果的に高速移動するオブジェクトを覆うことである。これによって、所与の映像信号に関して、キーフレーム同士の間隔を更にあけることが出来、それによってスループットを向上して複雑性を減少させる。
【０１１０】
キャンバス方法は、非キーフレームにおける幾つかのブロックアーチファクトがＤＥＴ領域の境界線に近接している場合、そのアーチファクトを減衰出来ない可能性がある。これは、キーフレームからのＤＥＴ（または、使用されていれば、ＥＸＰＤＥＴ）は、非キーフレームにおける真のＤＥＴ領域と正確に合致できない可能性があるからである。しかしながら、非キーフレームにおけるＤＥＴまたはＥＸＰＤＥＴ領域の境界線におけるこれらの減衰されないブロックは、典型的には、視覚上不快ではない。その理由としれ以下が挙げられる。
１．ＨＶＳは、ディテール領域ＤＥＴの境界線に近接している同様のブロックを認識するよりも、画像フレームの比較的広大なオープンな接続領域に生じるブロックアーチファクトに対してはるかに敏感である（即ち、認識する）。ＨＶＳのこの限界は、一般的な視聴者にとって心理視覚的な減衰のリアルタイムな効果を提供する。
２．オブジェクトの運動が元の映像信号において一時的に平滑なため、ほとんどの映像フレーム上のほとんどのオブジェクトのフレーム内の運動が十分に低速であり、キーフレームにおけるディテール領域ＤＥＴのフレームｎが、ｎ−１，ｎ−２，ｎ−３，ｎ＋１，ｎ＋２，ｎ＋３等の隣接する非キーフレームにおいて覆う領域と酷似したフレームの領域を覆う。
３．１．における心理視覚的な減衰効果が、ディテール領域ＤＥＴにおける運動中の部分の近くでは特に明白であり、更に、その運動の速度が速ければ速いほど、ＨＶＳは領域ＤＥＴに近接したブロックに対して鈍感になる。高速移動するオブジェクトの境界線を包囲するブロックアーチファクトに対して、ＨＶＳが概して非認識であるということが、ＨＶＳの心理視覚的性質である。
【０１１１】
典型的には１フレームにつき１０ピクセル以下の速度に対応する運動ベクトルを有するフレームシーケンスに関して、キーフレームは、少なくとも、元の映像シーケンスの４個のフレームにつき１個のキーフレームと同じくらいまばらでもよいことが、実験によって裏付けられている。上記から思い出すと、キャンバスフレームを得るための平滑化は、ダウンサンプリングされた画像フレームに適用された場合の低い空間解像度で行われてもよい。
【０１１２】
ダウンサンプリングされた画像の非ブロック化は、典型的には元の空間解像度の１／１６または１／６４且つ元の時間解像度の１／４未満であり、最大時空間解像度でキャンバス画像を得るための元画像の平滑化に比べ、最大６４×４＝２５６倍の計算的節約を表す。これらの時空間ダウンサンプリング向上の不利点は、空間アップサンプリングが必要なこと、および高速運動オブジェクトの可視ブロックアーチファクトが起こり得ることである。後者の不利点は、運動ベクトル情報を使用して空間および時間ダウンサンプリングの程度を適合させることによって取り除くことが可能である。
【０１１３】
図１０は、本明細書に記載の概念の使用の一実施形態１００を示す。システム１００では、映像（および音声）は、入力１０１として提供される。この映像は、図示しないローカルストレージからからでもよいし、または他の場所からの１つまたは複数の映像データストリームから受信される。この映像は、ライブビデオストリームや映像ファイル等の多くの形式で受信可能であり、エンコーダ１０２によって受信される前に事前圧縮されてもよい。エンコーダ１０２は、本明細書に記載の処理を使用して、プロセッサ１０２−１の制御下で映像フレームを処理する。エンコーダ１０２の出力は、ファイルストレージデバイス（図示せず）に対して接続されているか、デコーダ１０４等のデコーダに対して、恐らくネットワーク１０３を介して、ビデオストリームとして配信されてもよい。
【０１１４】
２つ以上のビデオストリームがデコーダ１０４に配信される場合、デジタルストリームの様々なチャンネルは、本明細書に記載の処理に従ってデコーディングするためのチューナ１０４−２によって選択することが出来る。プロセッサ１０４−１は、このデコーディングを制御し、デコーディングされた出力ビデオストリームは、ストレージ１０５に格納する、または一つ以上のディスプレイ１０６によって表示する、あるいは、所望であれば、その他の場所に配信（図示せず）することが出来る。様々な映像チャンネルが、エンコーダ１０２等の一つの場所から、または図示しない異なる複数の場所から送信されることが出来る。デコーダからエンコーダへの送信は、送信媒体の帯域を節約しながら、有線送信または無線送信を使用するあらゆる周知の方法で実行可能である。
【０１１５】
本発明およびその利点を詳細に記述したが、本明細書では、添付の特許請求項によって定義されるような本発明の趣旨および範囲から逸脱することなく、様々な変更、置換および改変が可能であることは理解されるはずである。更に、本出願の範囲を、本明細書に記述されたプロセス、機械、製造物、組成物、手段、方法およびステップの具体的な実施形態に制限する意図はない。当業者は、本明細書に記述された対応する実施形態と実質的に同じ機能を実行する、または実質的に同じ結果を達成する、現在存在するまたは後に開発されるプロセス、機械、製造物、組成物、手段、方法及またはステップを、本発明に従って利用してもよいことを、本発明の開示から容易に理解するだろう。従って、添付の特許請求項は、そのようなプロセス、機械、製造物、組成物、手段、方法またはステップを、それら請求項の範囲内に含むことを意図している。
【図１】
2011528825.tif 000009
【図２】
2011528825.tif 000010
【図３】
2011528825.tif 000011
【図４】
2011528825.tif 000012
【図５】
2011528825.tif 000013
【図６】
2011528825.tif 000014
【図７】
2011528825.tif 000015
【図８】
2011528825.tif 000016
【図９】
2011528825.tif 000017
【図１０】
2011528825.tif 000018
【手続補正書】
【提出日】平成23年3月23日(2011.3.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像フレームからアーチファクトを除去する方法であって、前記アーチファクトはＨＶＳに対して視覚的に混乱を生じるものであり、前記方法は、
各画像フレームのデジタル表現のディテール領域を保持画像フレームと決定する工程、
各前記決定したディテール領域を保持する工程、
各前記画像フレームに対応する平滑化フレームを創出するために各前記画像フレームの元のデジタル表現全体を平滑化する工程、および
前記保持画像フレームを各前記平滑化画像フレームに上書きする工程
を含む方法。
【請求項２】
前記ディテール領域を決定するために、輝度平滑性、不連続性、先読み、後読みのうち少なくとも一つの基準を使用する、請求項１に記載の方法。
【請求項３】
アーチファクトブロックの位置がアプリオリに未知である圧縮画像フレームにアーチファクトの減衰が生じるように、前記基準のパラメータを選択する、請求項２に記載の方法。
【請求項４】
前記アーチファクトブロックが、何度も事前に圧縮された、再フォーマットされた画像フレーム、混色された画像フレーム、サイズ変更された画像フレームのうち一つ以上に起因して前記圧縮画像フレームに生じる、請求項３に記載の方法。
【請求項５】
前記決定工程が、
候補領域を選択する工程、および
選択された候補領域毎に、特定の基準に従って、選択された候補領域が前記ディテール領域に属するか否かを決定する工程
を含む、請求項１に記載の方法。
【請求項６】
前記候補領域が各画像フレームにおいてまばらに位置する、請求項５に記載の方法。
【請求項７】
複数の前記デジタル画像フレームを有する複数のデジタルビデオストリームをデバイスで受信する工程を含む方法であって、前記受信工程が、
前記デバイスで前記受信されたデジタルビデオストリームのうちの一つを選択する工程を更に含む、請求項１に記載の方法。
【請求項８】
前記平滑化工程が、平滑化の前に前記画像フレームをダウンサンプリングする工程を含む、請求項１に記載の方法。
【請求項９】
前記結合前に最大解像度を得るために前記平滑化画像をアップサンプリングする、請求項８に記載の方法。
【請求項１０】
前記ディテール領域を、近接するフレームのディテール領域を覆うように、その境界線を越えて拡大させる、請求項１に記載の方法。
【請求項１１】
前記拡大させたディテール領域を、少なくともＮフレーム離れた非近接キーフレームでのみ決定する、請求項１０に記載の方法。
【請求項１２】
映像表示システムであって、前記システムは、
１ピクセルあたり特定数のビットを有する第１の映像フレームを取得する入力を備え、前記特定数は、前記映像フレームがディスプレイに表示されると、前記ディスプレイが人間の視覚システム（ＨＶＳ）に知覚可能なアーチファクトを生じるような数であり、
前記第１の映像フレームから第２の映像フレームを作成する回路を備え、前記第２の映像フレームが前記ディスプレイに表示されると、前記第２の映像フレームが前記ＨＶＳにあまり知覚可能でないアーチファクトを生じ、前記回路が、
各画像フレームのデジタル表現のディテール領域を保持画像フレームと決定して保持する手段の機能、
各前記画像フレームに対応する平滑化フレームを創出するために各前記画像フレームの元のデジタル表現全体を平滑化する機能、および
前記保持画像フレームを各前記平滑化画像フレームに上書きする機能
を実行するプロセッサを備える、システム。
【請求項１３】
ユーザが、複数のデジタル画像フレームを含む複数のデジタルビデオストリームのうち一つを選択することを可能にするチューナを更に備える、請求項１２に記載のシステム。
【請求項１４】
前記プロセッサが、ＤＣＴベースのエンコーダの一部である、請求項１２に記載のシステム。
【請求項１５】
前記決定手段が、
候補領域を選択する手段、および
選択された候補領域毎に、特定の基準に従って、選択された候補領域が前記ディテール領域に属するか否かを決定する手段
を備える、請求項１２に記載のシステム。
【国際調査報告】
2011528825.tif 000019
2011528825.tif 000020