(57)【特許請求の範囲】
【請求項１】
直交変換符号化を用いた符号化データを復号した画像データが供給されるノイズリデューサにおいて、
ノイズ成分を抽出するためのノイズ抽出手段と、
上記抽出されたノイズ成分を入力画像データからキャンセルするためのノイズキャンセル手段と、
上記ノイズキャンセル手段からの画像データを１フィールドまたは１フレーム遅延して上記ノイズ抽出手段に供給するためのメモリとからなり、
上記直交変換符号化のパラメータである量子化スケールの平均的な値を入力画像データの複数の画面に関して予め検出し、検出された平均的な量子化スケールを参照して、ノイズリダクションの強弱の中心値を設定することを特徴とするノイズリデューサ。
【請求項２】
請求項１に記載のノイズリデューサにおいて、
上記ノイズ抽出手段は、フィールド間またはフレーム間の差を検出する減算手段と、検出された差の低いレベルの成分をノイズ成分として抽出する非線形リミッタと、上記非線形リミッタの複数の特性の内の一つを上記検出された平均的な量子化スケールによって上記中心値として設定するリミッタ制御手段とを含むことを特徴とするノイズリデューサ。
【請求項３】
請求項１に記載のノイズリデューサにおいて、
入力画像データの各画面の平均的な量子化スケールによって、上記中心値を微調整することを特徴とするノイズリデューサ。
【請求項４】
請求項１に記載のノイズリデューサにおいて、
入力画像データの各画面の平均的な量子化スケールと上記各画面のピクチャタイプによって、上記中心値を微調整することを特徴とするノイズリデューサ。
【請求項５】
請求項１に記載のノイズリデューサにおいて、
さらに、マクロブロック毎に付随する動きベクトルによって上記マクロブロック毎に動きを検出し、動きのマクロブロックに対してノイズリダクションを弱くし、静止のマクロブロックに対してノイズリダクションを強くすることを特徴とするノイズリデューサ。
【請求項６】
直交変換符号化を用いた符号化データを復号した画像データが供給されるノイズリダクション方法において、
ノイズ成分を抽出するためのノイズ抽出ステップと、
上記抽出されたノイズ成分を入力画像データからキャンセルするためのノイズキャンセルステップと、
上記ノイズキャンセルステップで得られた画像データを１フィールドまたは１フレーム遅延して上記ノイズ抽出ステップで処理するための遅延ステップとからなり、
上記直交変換符号化のパラメータである量子化スケールの平均的な値を入力画像データの複数の画面に関して予め検出し、検出された平均的な量子化スケールを参照して、ノイズリダクションの強弱の中心値を設定することを特徴とするノイズリダクション方法。
【請求項７】
請求項６に記載のノイズリダクション方法において、
上記ノイズ抽出ステップは、フィールド間またはフレーム間の差を検出する減算ステップと、検出された差の低いレベルの成分をノイズ成分として抽出する非線形リミットステップと、非線形リミットの複数の特性の内の一つを上記検出された平均的な量子化スケールによって上記中心値として設定するリミット特性制御ステップとを含むことを特徴とするノイズリダクション方法。
【請求項８】
請求項６に記載のノイズリダクション方法において、
入力画像データの各画面の平均的な量子化スケールによって、上記中心値を微調整することを特徴とするノイズリダクション方法。
【請求項９】
請求項６に記載のノイズリダクション方法において、
入力画像データの各画面の平均的な量子化スケールと上記各画面のピクチャタイプによって、上記中心値を微調整することを特徴とするノイズリダクション方法。
【請求項１０】
請求項６に記載のノイズリダクション方法において、
さらに、マクロブロック毎に付随する動きベクトルによって上記マクロブロック毎に動きを検出し、動きのマクロブロックに対してノイズリダクションを弱くし、静止のマクロブロックに対してノイズリダクションを強くすることを特徴とするノイズリダクション方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、直交変換符号化例えばＤＣＴ符号化を復号した画像信号に対して適用して好適な巡回型のノイズリデューサおよびノイズリダクション方法に関する。
【０００２】
【従来の技術】
フレームメモリを使用した巡回型ノイズリデューサは、デジタル画像信号処理の分野で知られている。これは、入力画像信号とフレームメモリからの１フレーム前の映像信号との差の内の小レベルの部分をノイズとして抽出し、抽出したノイズ成分を入力画像信号から減算することによって、ノイズを低減し、また、ノイズが低減された信号をフレームメモリに書込むものである。フレームメモリの代わりにフィールドメモリを使用すれば、メモリの容量を少なくすることが可能である。
【０００３】
上述のように、入力画像信号と１フレーム前の映像信号との差のうちの小レベルの部分をノイズとして抽出する場合、フレーム間差信号を非線形リミッタに供給し、非線形リミッタの出力をノイズ成分として得ている。ノイズリダクションの効果の強弱は、この非線形リミッタの特性に依存している。従来の非線形リミッタの一つは、その特性が固定化されているものである。しかしながら、入力画像信号によって、Ｓ／Ｎが変動するので、固定の特性は、好ましくない。このため、非線形リミッタの特性をマニュアルで調整、設定するようにしたものも提案されている。
【０００４】
【発明が解決しようとする課題】
非線形リミッタの特性を調整、設定することは、面倒であり、操作性の低下を招く。しかも、非線形リミッタの特性の調整、設定は、実際的には困難であった。すなわち、ノイズの少ない映像に対して適切なように、非線形リミッタの特性を調整すると、ノイズの多い映像では、ノイズリダクションの効果が不足したり、また、ノイズリダクションの効果を大きくすると、動きの多いシーンや、シーンチェンジの時に、残像が見える問題が生じる。
【０００５】
従って、この発明の目的は、非線形リミッタの特性を適切なものに自動的に調整、設定することが可能とされたノイズリデューサおよびノイズリダクション方法を提供するものである。
【０００６】
この発明は、入力映像信号に対して非線形リミッタの特性の中心的なものを設定することができるのみならず、入力画像信号に対応してダイナミックに非線形リミッタの特性を調整することを可能とするものである。
【０００７】
【課題を解決するための手段】
上述した課題を解決するために、この発明は、直交変換符号化を用いた符号化データを復号した画像データが供給されるノイズリデューサにおいて、
ノイズ成分を抽出するためのノイズ抽出手段と、
抽出されたノイズ成分を入力画像データからキャンセルするためのノイズキャンセル手段と、
ノイズキャンセル手段からの画像データを１フィールドまたは１フレーム遅延してノイズ抽出手段に供給するためのメモリとからなり、
直交変換符号化のパラメータである量子化スケールの平均的な値を入力画像データの複数の画面に関して予め検出し、検出された平均的な量子化スケールを参照して、ノイズリダクションの強弱の中心値を設定することを特徴とするノイズリデューサである。
【０００８】
直交変換符号化を復号するために必要なパラメータが符号化データとともに、発生する。このパラメータは、ノイズの状態を示す量子化スケール、マクロブロック毎の動きを示す動きベクトルが含まれる。巡回形のノイズリデューサでは、１フィールド間または１フレーム間の差信号を非線形リミッタに供給し、非線形リミッタからノイズ成分を得るようにしている。従って、パラメータで示されるノイズの状態、または動きベクトルに基づいて、非線形リミッタの特性を自動的且つ適切に制御することができる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。この一実施例は、ビデオＣＤプレーヤのノイズリデューサに対して、この発明を適用したものである。ビデオＣＤは、ＭＰＥＧ１準拠のデジタル動画を再生するためのものである。ビデオＣＤは、ＣＤ−ＲＯＭのデータフォーマットをベースとしており、ＣＤ−ＲＯＭの１セクタのユーザデータ領域（２３２４バイト）に所定のデータフォーマットで、ＭＰＥＧビデオデータ、ＭＰＥＧオーディオデータが配置されたデータ構造を有している。ディスク上では、ＭＰＥＧビデオデータとＭＰＥＧオーディオデータとがインターリーブして記録されている。ＭＰＥＧビデオデータは、ＭＰＥＧ１で符号化されたデジタルビデオ信号であり、ＭＰＥＧオーディオデータは、ＭＰＥＧ１のレイヤIIを使用したフォーマットのデジタルオーディオ信号である。ビデオＣＤのプレーヤは、ＣＤ−ＲＯＭプレーヤが備える構成に対して、ＭＰＥＧビデオデータのデコーダ、ＭＰＥＧオーディオデータのデコーダ、Ｄ／Ａ変換器等を付加した構成を有する。
【００１０】
ＭＰＥＧ１は、動き補償フレーム間予測符号化とＤＣＴとを組み合わせたものである。この発明は、ＭＰＥＧ１に限らず、ＤＣＴ等の直交変換符号化（ＭＰＥＧ，ＪＰＥＧＰ等）により圧縮された画像データを復号した画像データの処理に対して適用することができる。また、ビデオＣＤプレーヤに限らず、ＤＶＤ、デジタルテレビジョン等の装置に対しても適用可能である。
【００１１】
図１は、この発明を適用できるビデオＣＤプレーヤの一例を示す。図１において、１は、上述したビデオＣＤを示す。ビデオＣＤ１が光ピックアップ２により読み取られ、光ピックアップ２からの再生ＲＦ信号がＲＦアンプ３に入力される。ここで増幅された再生ＲＦ信号は、ＥＦＭ（８−１４変調）復調回路４により復調される。ＥＦＭ復調回路４からの再生信号（シリアル）がＣＤ−ＲＯＭデコーダ５に供給される。
【００１２】
ＲＦアンプ３、ＥＦＭ復調回路４、ＣＤ−ＲＯＭデコーダ５は、既存のＣＤ−ＲＯＭプレーヤと同様の機能を有する。なお、図１では、オーディオデータの処理については、簡単のため省略されている。ＣＤ−ＲＯＭデコーダ５では、シリアル再生信号をＭＰＥＧ１ビットストリーム信号に変換し、このビットストリーム信号をＭＰＥＧ１デコーダ６に供給する。
【００１３】
ＭＰＥＧ１デコーダ６は、ＭＰＥＧ１のフォーマットに従いビットストリームを復号し、また、水平および垂直方向で、復号信号を補間処理し、さらに、同期信号を付加することによって、ＮＴＳＣのフォーマットの信号を出力する。ＭＰＥＧ１デコーダ６からの復号信号（輝度信号および色信号）と、符号化パラメータＰＡＲＡがノイズリデューサ８に供給される。このパラメータＰＡＲＡは、ＭＰＥＧ１の符号化により発生し、その復号のために必要なものである。具体的には、量子化スケール、ピクチャタイプ、動きベクトル等である。
【００１４】
ＭＰＥＧ１デコーダ６からの信号は、ＭＰＥＧ１の符号化／復号による雑音が含まれているので、ノイズリデューサ８によって、後述するように、ノイズが除去される。ブロックＤＣＴの符号化、復号の過程で発生するノイズとしては、ブロック雑音、リンギング雑音があるが、この一実施例におけるノイズリデューサ８は、主として低域のフィールド間のブロック雑音を除去する。
【００１５】
ノイズリデューサ８からの輝度信号および色信号がそれぞれＤ／Ａ変換器９、１０に供給され、アナログ信号に変換される。Ｄ／Ａ変換器９、１０からのアナログ輝度信号およびアナログ色信号がマトリクス回路１１に供給され、マトリクス回路１１から三原色信号Ｒ、Ｇ、Ｂが発生する。この三原色信号がディスプレイ１２に対して出力される。ディスプレイ１２によって、ビデオＣＤ２の再生画像信号が再生される。
【００１６】
さらに、信号処理回路に対する制御用マイクロコンピュータ７がＭＰＥＧ１デコーダ６と、ノイズリデューサ８に関連して設けられている。より具体的には、マイクロコンピュータ７とこれらの信号処理回路（６、８）がシリアルまたはパラレルＩ／Ｆによって結合されている。後述するように、マイクロコンピュータ７は、フィールドまたはフレーム単位でもってデータを処理し、ノイズリデューサ８中の非線形リミッタの特性の自動制御を行う。
【００１７】
図２は、ノイズリデューサ８の一例を示す。図２の構成では、入力端子２１Ｙからの再生輝度信号に対してノイズ低減がなされ、出力端子２２Ｙには、ノイズが低減された出力輝度信号が取り出される。入力端子２１Ｃからの再生色信号は、遅延回路２３を介して出力端子２２Ｃに取り出される。遅延回路２３は、ノイズ低減処理により生じる輝度信号の遅れを補償するために設けられている。
【００１８】
入力端子２１Ｙより入力された輝度信号Ｓａがノイズキャンセル部としての減算器２４と間引き回路２５に供給される。間引き回路２５は、プリフィルタと間引き回路で構成され、入力輝度信号Ｓａの間引きを行なう。間引きとしては、低域雑音の除去の目的から、１／４、１／８の間引きが可能である。第１の実施例では、間引き回路２５が水平方向に関しての間引きを行う。例えば、水平方向で１／４の間引きがなされる。間引き回路２５によって画素数が減少された輝度信号Ｓｂが減算器２６および２７にそれぞれ供給される。減算器２７もノイズキャンセル部を構成する。
【００１９】
減算器２６では、間引き回路２５の出力信号Ｓｂからフィールドメモリ２８から読出された１フィールド前の信号Ｓｃとの引き算を行なう。減算器２６の出力信号（Ｓｂ−Ｓｃ）が非線形リミッタ２９に供給される。信号（Ｓｂ−Ｓｃ）は、フィールド間差分であり、この信号の低レベルが雑音成分であり、その高レベルが動き部であると推測される。従って、非線形リミッタ２９が減算器２６の出力信号の低レベルのみを通過させる。減算器２６および非線形リミッタ２９によってノイズ抽出部が構成される。
【００２０】
非線形リミッタ２９は、複数のリミッタカーブ（特性）を有し、その一つがリミッタコントローラ３２の出力端子３６からのリミッタ制御信号ＣＴＬ  ＳＩＧによって選択される。図３から図６は、リミッタカーブの一例である。図３に No.０〜 No.２のリミッタカーブを示し、図４に No.３〜 No.５のリミッタカーブを示し、図５に No.６および No.７のリミッタカーブを示し、図６に No.８のリミッタカーブを示す。これらのリミッタカーブは、入力対出力のカーブの傾斜と、出力を発生する入力の範囲とで、基本的に特徴付けられている。
【００２１】
すなわち、入力対出力のカーブの傾斜が１に近ければ帰還が増え、また、出力が入力軸方向に長いほど（すなわち、入力が大きくても出力が発生する）、大きなノイズに対して強くなる。但し、傾きを１に近くし、出力が発生する入力の範囲を拡げ、ノイズリダクションの作用を強くすると、のっぺりして品位のない映像になったり、動きに対して残像が発生する等のデメリットも生じる。 No.０から No.８のリミッタカーブの例では、番号が増加するに従って、より強いノイズリダクションが働くものとされている。
【００２２】
この発明の一実施例では、非線形リミッタ２９と関連してリミッタコントローラ３２を設け、リミッタコントローラ３２が出力するリミッタ制御信号ＣＴＬＳＩＧによって、 No.０〜 No.８でそれぞれ示すリミッタカーブを最小で画素単位で変更することを可能としている。ＭＰＥＧ１デコーダ６からのパラメータＰＡＲＡが入力端子３３からリミッタコントローラ３２に対して供給される。また、マイクロコンピュータ７からのコマンド（ＣＭＤ）入力が入力端子３４からリミッタコントローラ３２に対して供給される。さらに、リミッタコントローラ３２からマイクロコンピュータ７に対するコマンド出力が出力端子３５に取り出される。リミッタコントローラ３２による制御の詳細については後述する。
【００２３】
非線形リミッタ２９にて抽出された雑音成分Ｓｄは、補間回路３０と減算器２７に供給される。減算器２７には、間引き回路２５の出力信号Ｓｂが供給されており、減算器２７が（Ｓｂ−Ｓｄ）の演算を行なう。その結果、雑音が除去された、１／４レートの輝度信号が減算器２７からフィールドメモリ２８に供給される。フィールドメモリ２８は、現在のフィールドに対して時間的に前のフィールドのデータを蓄えるものであり、その容量は、間引きの結果、復号信号の１フィールドの全画素を蓄えるフィールドメモリの容量の１／４（１／４間引きの場合）、１／８（１／８間引きの場合）に低減されたものである。
【００２４】
一方、補間回路３０では、非線形リミッタ２９にて抽出された雑音成分Ｓｄの線形補間を行なう。上述したように、ループ内の輝度信号のレートが本線系の入力信号Ｓａの１／４になっているため、補間回路３０に入力される雑音成分も１／４のレートである。補間回路３０において、本線系のレートに合うように補間を行なう。補間回路３０によって元のレートに戻された雑音成分Ｓｅが減算器２４に入力される。一方、減算器２４には、入力輝度信号Ｓａが入力されており、Ｓａ−Ｓｅの演算を行なうことにより、本線系の雑音が除去される。このようにしてして、雑音が除去された輝度信号が出力端子２２Ｙに取り出される。
【００２５】
上述したノイズリデューサ８の一例についてより詳細に説明する。まず、ノイズリデューサ８に対して入力される信号は、ＭＰＥＧ１デコーダ６の補間処理によってＮＴＳＣフォーマットの信号に変換された信号である。図７は、この補間処理の動作を表すものである。補間前のＭＰＥＧ１の復号映像信号は、画素数が３５２（Ｈ）×２４０（Ｖ）（有効部分）、ノンインターレース信号である。また、ＭＰＥＧ１デコーダ６が出力するＮＴＳＣフォーマットの信号（ディスプレイ信号と称する）は、画素数が７０４（Ｈ）×２４０（Ｖ）（有効部分）、インターレース信号である。
【００２６】
従って、ＭＰＥＧ１デコーダ６では、図７に示すように、水平方向、垂直方向でそれぞれデコーダ出力を補間してディスプレイ信号として出力する。水平方向では、ディスプレイ出力のａ、ｂ、ｃ、ｄ、ｅ、・・・の画素を形成する場合、画素ａ、ｃ、ｅ、・・・として、デコーダ出力中の同一位置の画素Ａ、Ｂ、Ｃ、・・・の値が用いられ、画素ｂ、ｄ、ｆ、・・・として、デコーダ出力の２画素の平均値（Ａ＋Ｂ）／２、（Ｂ＋Ｃ）／２、（Ｃ＋Ｄ）／２、・・・が用いられる。従って、補間によって生成した画素ｂ，ｄ，ｆ，・・・を間引いても信号の帯域が変化しない。
【００２７】
垂直方向では、ディスプレイ信号の奇数フィールドのラインａＨ、ｂＨ、ｃＨ、・・・として、デコーダ出力のラインＡＨ、ＢＨ、ＣＨ、・・・が用いられ、偶数フィールドのラインａ’Ｈ、ｂ’Ｈ、ｃ’Ｈ、・・・として、２ラインの平均値（ＡＨ＋ＢＨ）／２、（ＢＨ＋ＣＨ）／２、（ＣＨ＋ＤＨ）／２、・・・が用いられる。
【００２８】
図８を参照して、間引き回路２５による間引き動作について説明する。図８に示す画素配列において、間引き回路２５は、黒い円で示す画素を選択し、白い円の画素を間引く。それによって、１／４の間引きがなされる。この場合は、信号帯域がデコーダ出力の１／２となる。
【００２９】
１／４間引きに対し、さらに１／２間引きを施すことによって、トータルで１／８間引きが可能である。図９Ａ、図９Ｂ、図９Ｃは、１／８間引きの場合の間引きの方法をそれぞれ示す。図９Ａの間引き方法は、水平方向のみ、１／８間引き処理を行なう方法である。図９Ｂの方法は、図９Ａと同様に、１／８間引き処理を行なうが、２ラインに１回、サンプル点をサンプリング間隔の１／２ずらす方法（オフセットサンプリング）である。図９Ｃの方法は、水平方向に１／４間引きを行い、垂直方向に１／２の間引きを行ない、トータルで１／８間引きを行う方法である。１／８間引きの場合は、信号帯域がデコーダ出力の１／４となる。
【００３０】
間引き処理を行なった場合、通常レートに戻すため、補間回路３０において、補間処理を行なっている。この処理の一般的な方法として、線形補間が挙げられる。すなわち、線形補間は、間引きデータ（間引き後に存在している画素データを意味する）と補間データ（補間すべき画素データを意味する）との空間的な距離に応じて、間引きデータに係数を乗算し、補間データを作る。
【００３１】
図１０は、１／４間引きの場合の線形補間を示す。間引きデータＡおよびＥ間にある補間データｘは、間引きデータＥからの距離をＫとすると、間引きデータＡからの距離は１−Ｋとなる。但し、ＡおよびＥ間の距離を１とする。この空間的な距離と反比例した係数を乗算し、ｘを得る。つまり、下式によって補間データｘが演算される。
ｘ＝Ｋ×Ａ＋（１−Ｋ）×Ｅ
例えば図１０Ａ中の補間データｂは、Ｋ＝３／４であるので、（ｂ＝３／４×Ａ＋１／４×Ｂ）により計算される。
【００３２】
図１１は、１／８間引きの場合の線形補間を示す。間引きデータＡ’とＩ’との間に８個の補間データａ’、ｂ’、・・・、ｉ’が形成される。図１０Ａの１／４間引きの補間の処理と同様に、補間データと間引きデータＩ’との空間的な距離Ｋに基づいて補間データが計算される。
【００３３】
次に、この発明の特徴とする非線形リミッタ２９の制御について説明する。この制御のためのリミッタコントローラ３２の一例を図１２に示す。このリミッタコントローラ３２による制御は、パラメータＰＡＲＡを用いてノイズリダクションの強弱を制御するものであり、具体的には、非線形リミッタ２９のリミッタカーブを制御するものである。パラメータの一つである量子化スケールを使用した制御としては、第１のアルゴリズム、第２のアルゴリズム、第３のアルゴリズムの３種類が可能とされている。第１のアルゴリズムは、再生しようとするメディアのノイズの平均的な状態を予め検出し、リミッタカーブの中心値を決定する。第２および第３のアルゴリズムは、実際の再生動作中に、ダイナミックにリミッタカーブを選択する。さらに、パラメータの他のものである動きベクトルＭＶを使用した制御も可能とされている。
【００３４】
第１のアルゴリズムについて図１２および図１３を参照して説明する。第１のアルゴリズムは、ＭＰＥＧメディア（ビデオＣＤ１）の通常再生に先立って、メディアに記録されているビデオ信号の平均的なノイズの状態を検出し、この検出結果に基づいて、リミッタカーブ（ No.０〜 No.８）の中の中心的なものを決定する。図１３のフローチャートのステップＳ１に示すように、高速サーチが開始され、イントラピクチャを検出する（ステップＳ２）。ｎは、イントラピクチャの枚数である。
【００３５】
イントラピクチャが検出されると、その画面内の平均量子化スケールｓａｍｐｌｅ Ｑが求められる。ＭＰＥＧ１デコーダ６からは、入力端子３３を通じてＤＣＴブロック毎の量子化スケールＱ ＳＣＡＬＥが平均化回路４１に供給され、イントラピクチャの平均量子化スケールｓａｍｐｌｅ Ｑを平均化回路４１が計算する。この平均量子化スケールが出力端子３５からマイクロコンピュータ７に供給される（ステップＳ３）。マイクロコンピュータ７は、平均量子化スケールを積分する（ステップＳ４）。
【００３６】
ステップＳ５において、高速サーチの終了が検出されるまで、上述したイントラピクチャ毎の平均量子化スケールの積分がなされる。高速サーチは、メディア上の再生を希望する情報を短時間に読み取るためになされる。好ましくは、１回の高速サーチ（すなわち、図１３に示される１回の処理）によって、再生を希望する情報中の数枚程度のイントラピクチャが再生される。高速サーチの終了が検出されると、マイクロコンピュータ７によって、高速サーチで再生された数枚のイントラピクチャに関して量子化スケールの平均値が検出される。ステップＳ６で示すように、検出された平均値ａｖｅ Ｑは、複数のイントラピクチャの平均量子化スケールの積分出力ｓｕｍ Ｑをｎで割ることで求められる。
【００３７】
この量子化スケールの平均値ａｖｅ Ｑがマイクロコンピュータ７からリミッタコントローラ３２の入力端子３４およびその出力端子３６を介してリミッタ制御信号ＣＴＬ  ＳＩＧとして非線形リミッタ２９に供給される。非線形リミッタ２９では、このリミッタ制御信号ＣＴＬ  ＳＩＧのレベルに基づいてリミッタカーブの中心値が選択される。
【００３８】
ステップＳ７に示すように、平均値ａｖｅ Ｑが大きいほど、リミッタカーブの No.が増加するように、中心値ｃｅｎｔｅｒ ＬＩＭが選択される。非線形リミッタ２９内には、 No.０〜 No.８のリミッタカーブ（具体的にはデータ変換テーブル）を記憶するメモリと、リミッタ制御信号ＣＴＬ  ＳＩＧのレベルをしきい値と比較することによって、リミッタカーブの番号を決定する回路と、決定された番号のリミッタカーブをメモリから読出す回路とが設けられている。なお、平均値ａｖｅ Ｑをマイクロコンピュータ７がその内部のレジスタまたはメモリに記憶する。
【００３９】
一般的に量子化スケールが大きい画像は、ブロック歪みのようなノイズが多かったり、あまり細かい模様のない画像であることが多い。従って、量子化スケールが大きいほど、ノイズリダクションを強くかけたほうが良く、画質劣化が少ない。そこで、量子化スケールの平均値ａｖｅ Ｑと比例して、リミッタカーブの番号が増加する評価関数ｆ（ｘ）に基づいて、リミッタカーブの中心値を決定する。
【００４０】
第１のアルゴリズムによって上述したように、リミッタカーブの中心値が決定されてから、実際の再生動作がなされる。図１４のステップＳ８に示すように、通常再生動作が開始されると、マイクロコンピュータ７は、記憶している平均値ａｖｅ Ｑをレジスタまたはメモリから読出し、この値をリミッタコントローラ３２の入力端子３４に供給する。この平均値ａｖｅ Ｑは、制御信号ＣＴＬ  ＳＩＧとして、出力端子３６を介してリミッタ２９に供給され、リミッタ２９のリミッタカーブが中心値に設定される（ステップＳ９）。
【００４１】
第１のアルゴリズムにより決定されたリミッタカーブは、入力（再生）画像信号と対応しているが、本質的には、固定のものである。第２および第３のアルゴリズムは、再生動作中にリミッタカーブをダイナミックを制御するためのものである。図１５を参照して第２のアルゴリズムについて説明する。なお、第２および第３のアルゴリズムにおいても、再生に先立って第１のアルゴリズムによってリミッタカーブの中心値が決定されている。
【００４２】
再生動作がステップＳ８において開始されると、ステップＳ１１では、垂直同期信号の検出がなされる。垂直同期信号が検出されると、その画像がイントラピクチャかどうかが決定される（ステップＳ１２）。イントラピクチャでない場合は、処理がステップＳ１１に戻る。イントラピクチャの場合には、処理がステップＳ１３に移り、マイクロコンピュータ７がリミッタコントローラ３２の平均化回路４１により生成された画面内平均量子化スケールｓａｍｐｌｅ Ｑを読み出す。
【００４３】
そして、ステップＳ１４において、マイクロコンピュータ７は、リミッタカーブの中心値を決定した時に参照した量子化スケールの平均値ａｖｅ Ｑと、上述の画面内平均量子化スケールｓａｍｐｌｅ Ｑに基づいて、微調整レベルを決定する。すなわち、リミッタカーブの中心値を決定した時に参照した量子化スケールの平均値ａｖｅ Ｑにおいて０となり、正の傾きを有する評価関数ｇ（ｘ）に従って調整レベルａｄｊ ＬＩＭが求められる。この処理は、〔ａｄｊ ＬＩＭ＝ｇ（ｓａｍｐｌｅ Ｑ）で表される。
【００４４】
次のステップＳ１５では、微調整レベルを加味してリミッタカーブが選択される。すなわち、リミッタカーブの中心値を選択した時に参照された平均値に対して、微調整レベルが加算されたレベルのリミッタ制御信号ＣＴＬ  ＳＩＧが生成され、このリミッタ制御信号ＣＴＬ  ＳＩＧが非線形リミッタ２９に供給され、リミッタ制御信号ＣＴＬ  ＳＩＧのレベルと対応する番号のリミッタカーブが選択される。選択されるリミッタカーブの番号をＬＩＭ Ｎｏ、中心値をｃｅｎｔｅｒ ＬＩＭとすると、〔ＬＩＭ Ｎｏ＝ｃｅｎｔｅｒ ＬＩＭ＋ａｄｊ ＬＩＭ〕で、選択処理が表される。そして、ステップＳ１６では、再生終了が決定され、再生動作が終了するまで、上述のステップＳ１１〜Ｓ１５の処理が繰り返される。
【００４５】
このように第２のアルゴリズムでは、再生動作中にイントラピクチャ毎にその画面内の平均量子化スケールに基づいて、予め決定されているリミッタカーブの中心値に対して微調整を行うことができる。従って、リミッタカーブを固定するのと比較して、より的確にリミッタカーブを制御することができる。
【００４６】
第３のアルゴリズムについて図１６を参照して説明する。ステップＳ８で再生動作が開始し、ステップＳ１１で垂直同期信号を検出することは、第２のアルゴリズムと同様である。そして、ステップＳ２１において、リミッタコントローラの平均化回路４１から画面内の平均量子化スケールｓａｍｐｌｅ Ｑをマイクロコンピュータ７が読出す。
【００４７】
次のステップＳ２２において、平均量子化スケールｓａｍｐｌｅ Ｑと評価関数によって、微調整レベルが決定される。第３のアルゴリズムでは、イントラピクチャ（Ｉピクチャ）に限定されず、Ｐピクチャ（順方向予測画像）およびＢピクチャ（双方向予測画像）についても、平均量子化スケールｓａｍｐｌｅ Ｑを検出している。ピクチャタイプの情報は、ＭＰＥＧ１のデコーダ６からリミッタコントローラ３２に対して供給されるパラメータデータＰＡＲＡ中に含まれるので、マイクロコンピュータ７が平均量子化スケールと一緒に読出すことができる。
【００４８】
一般的に、Ｉピクチャに比較してＰピクチャの方が同じ量子化スケールに対するノイズの量が少なく、Ｐピクチャに比較してＢピクチャの方が同じ量子化スケールに対するノイズの量が少ない。従って、ステップＳ２２のブロック内に示すように、評価関数ｇ（ｘ）をＩ、Ｐ、Ｂの各ピクチャタイプに応じて異ならせる。具体的には、Ｉピクチャ用の関数の傾きを最大とし、Ｐピクチャ用の関数の傾きを２番目の大きさとし、Ｂピクチャ用の関数の傾きを最小とする。さらに、Ｉピクチャ用の評価関数は、平均量子化スケールｓａｍｐｌｅ Ｑが量子化スケールの平均値ａｖｅ Ｑと等しい時に、０の微調整値を発生する。Ｐピクチャ用の評価関数は、平均量子化スケールｓａｍｐｌｅ Ｑが平均値ａｖｅ Ｑよりやや大きな値の時に、０の微調整値を発生する。このＰピクチャに関して微調整値が０となる値より大きな値において、Ｂピクチャ用の評価関数は、０の微調整値を発生する。
【００４９】
画面内の平均量子化スケールとピクチャタイプから決定された微調整レベルを使用してステップＳ２３において、リミッタカーブが決定される。この処理は、第２のアルゴリズムのステップＳ２３と同様である。そして、上述した微調整は、再生動作の終了がステップＳ２４において検出されるまで、繰り返される。
【００５０】
第３のアルゴリズムは、第２のアルゴリズムと同様に、再生される各画面のノイズの状態に応じてダイナミックにリミッタカーブを選択することができる。さらに、第３のアルゴリズムでは、ピクチャタイプを考慮しているので、Ｉピクチャのみからノイズの状態を検出する第２のアルゴリズムと比較して、より細かい制御を行うことができる。第１のアルゴリズムと第２および第３のアルゴリズムの一方とが組み合わされる。
【００５１】
上述した第１〜第３のアルゴリズムは、量子化スケール（すなわち、再生信号のノイズの状態）に応じて適切なリミッタカーブを選択するものである。さらに、リミッタカーブを動きベクトルを利用して選択するようにしても良い。図１２に示すリミッタコントローラ３２に設けられた判別回路４２に対して動きベクトルＭＶが供給される。ＭＰＥＧの場合では、マクロブロック毎に動きベクトルが付随している。各動きベクトルは、水平方向の成分と垂直方向の成分とからなる。
【００５２】
判別回路４２は、動きベクトルをしきい値と比較することによって、そのマクロブロックに関して、動きと静止とを判別する。判別結果は、１ビットで表される。判別結果がバッファメモリ４３を介してレベルゲインコントローラ４４に供給される。レベルゲインコントローラ４４は、入力端子３４を介してマイクロコンピュータ７から供給されるコマンド入力ＣＭＤ ＬＥＶＥＬを判別結果に基づいて制御する。レベルゲインコントローラ４４は、前述した第１〜第３のアルゴリズムによるリミッタ制御信号の生成と、動きベクトルを利用した動き検出とを組み合わせる場合に必要とされる。
【００５３】
より具体的には、上述した第１〜第３のアルゴリズムによって生成されたリミッタ制御信号ＣＴＬ  ＳＩＧのゲインが判別結果により制御される。判別結果が動きの場合では、ノイズリダクションを弱くするので、レベルゲインコントローラ４４によって制御信号のレベルに対して、１より小さい係数が乗算される。一方、判別結果が静止の場合では、ノイズリダクションを弱くする必要がないので、１に等しいか、または１より大きい係数が乗算される。さらに、マクロブロック単位の制御により発生する不連続部分は、ローパスフィルタ４５によって緩和される。ローパスフィルタ４５の出力がリミッタ制御信号ＣＴＬ  ＳＩＧとして出力端子３６に取り出される。
【００５４】
バッファメモリ４３は、ＭＰＥＧ１コーダ６から入力されるパラメータがビデオ信号の実時間と合っていないために、時間合わせ用に設けられている。例えばビデオＣＤ（ＭＰＥＧ１）の場合では、１フレームが３３０個のマクロブロックにより構成されるので、判別結果は、１フレームで３３０ビット発生する。従って、数フレーム分の判別結果を蓄えるようにしても、数ｋビットの容量を持つものとされる。この容量は、それほど大きい容量ではなく、ハードウエアの増加分が少なくて良い。
【００５５】
なお、量子化スケールに基づくリミッタカーブの制御と、動きベクトルに基づくリミッタカーブの制御の一方のみでも良い。さらに、複数のリミッタカーブを用意し、その一つを選択する例について説明したが、リミッタカーブ自身の傾きと応答する入力範囲とを可変する構成も可能である。さらに、上述したノイズリデューサ８は、復号信号の輝度信号のみに対してノイズ低減を行っているが、色信号に対してもノイズ低減を行うようにしても良い。また、間引きを行わない構成に対してもこの発明を適用でき、さらに、フィールドメモリ２８に代えてフレームメモリを使用しても良い。
【００５６】
【発明の効果】
この発明は、帰還形ノイズリデューサにおいて、非線形リミッタのカーブを直交変換符号化のパラメータを使用して制御するので、入力ディジタル画像信号に対して最適なカーブに自動的に調整することができる。また、画面毎の量子化スケールに基づいて、ダイナミックにリミッタカーブを制御することができ、入力画像信号に良く適合したリミッタカーブを実現することができる。従って、画像の変化が失われたり、動きのために残像が発生する等の問題を生じることなく、ノイズを除去することができる。
【図面の簡単な説明】
【図１】この発明を適用することができるビデオＣＤプレーヤの一例を示すブロック図である。
【図２】この発明によるノイズリデューサの第１の実施例のブロック図である。
【図３】この発明の一実施例における非線形リミッタのリミッタカーブの例を示す略線図である。
【図４】この発明の一実施例における非線形リミッタのリミッタカーブの例を示す略線図である。
【図５】この発明の一実施例における非線形リミッタのリミッタカーブの例を示す略線図である。
【図６】この発明の一実施例における非線形リミッタのリミッタカーブの例を示す略線図である。
【図７】ＭＰＥＧ１のデコーダ出力をＮＴＳＣフォーマットへ変換する処理を説明するための略線図である。
【図８】水平方向の１／４間引きを説明するための略線図である。
【図９】１／８間引きの幾つかの方法を示す略線図である。
【図１０】１／４間引きされたデータの補間方法の一例を示す略線図である。
【図１１】１／８間引きされたデータの補間方法の一例を示す略線図である。
【図１２】この発明の一実施例におけるリミッタコントローラのブロック図である。
【図１３】この発明の一実施例における非線形リミッタの制御方法の第１のアルゴリズムを説明するためのフローチャートである。
【図１４】この発明の一実施例における非線形リミッタの制御方法の第１のアルゴリズムを説明するためのフローチャートである。
【図１５】この発明の一実施例における非線形リミッタの制御方法の第２のアルゴリズムを説明するためのフローチャートである。
【図１６】この発明の一実施例における非線形リミッタの制御方法の第３のアルゴリズムを説明するためのフローチャートである。
【符号の説明】
７・・・マイクロコンピュータ、８・・・ノイズリデューサ、２１Ｙ、２１Ｃ・・・入力端子、２２Ｃ、２２Ｙ・・・出力端子、２４、２６、２７・・・減算器、２５・・・間引き回路、２８・・・フィールドメモリ、２９・・・非線形リミッタ、３０、３３・・・補間回路、３２・・・リミッタコントローラ、４１・・・平均化回路、４２・・・動き／静止判別回路、４５・・・ローパスフィルタ
【図１】
0003646424.tif 000002
【図２】
0003646424.tif 000003
【図３】
0003646424.tif 000004
【図４】
0003646424.tif 000005
【図５】
0003646424.tif 000006
【図６】
0003646424.tif 000007
【図７】
0003646424.tif 000008
【図８】
0003646424.tif 000009
【図９】
0003646424.tif 000010
【図１０】
0003646424.tif 000011
【図１１】
0003646424.tif 000012
【図１２】
0003646424.tif 000013
【図１３】
0003646424.tif 000014
【図１４】
0003646424.tif 000015
【図１５】
0003646424.tif 000016
【図１６】
0003646424.tif 000017