(57)【特許請求の範囲】
【請求項１】
複数の画素からなるブロックに分割された画像情報を、前記ブロック単位に直交変換する直交変換手段と、
前記直交変換手段から出力される直交変換係数データを１フレーム期間遅延する遅延手段と、
前記直交変換手段から出力される直交変換係数データのＤＣ成分データと前記遅延手段から出力される遅延された直交変換係数データのＤＣ成分データとを比較することによって、ブロック単位の相関を判定する相関判定手段と、
前記直交変換手段から出力される直交変換係数データと前記遅延手段から出力される遅延された直交変換係数データとを平均化処理して、前記直交変換手段から出力される直交変換係数データからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段から出力された直交変換係数データを量子化する量子化手段と、
前記量子化手段から出力された量子化係数データを符号化する符号化手段
とを有し、
前記ノイズ除去手段は、前記相関判定手段により相関があると判定された場合にノイズ除去処理を実行し、
前記量子化手段は、前記相関判定手段により相関がないと判定された場合、相関があると判定された場合よりも高周波成分に対する量子化ステップを粗くすることを特徴とする画像符号化装置。
【請求項２】
複数の画素からなるブロックに分割された画像情報を、前記ブロック単位に直交変換する直交変換工程と、
前記直交変換工程で得られる直交変換係数データを１フレーム期間遅延する遅延工程と、
前記直交変換工程で得られる直交変換係数データのＤＣ成分データと前記遅延工程で得られる遅延された直交変換係数データのＤＣ成分データとを比較することによって、ブロック単位の相関を判定する相関判定工程と、
前記直交変換工程で得られる直交変換係数データと前記遅延工程で得られる遅延された直交変換係数データとを平均化処理して、前記直交変換工程で得られる直交変換係数データからノイズを除去するノイズ除去工程と、
前記ノイズ除去工程で得られる直交変換係数データを量子化する量子化工程と、
前記量子化工程で得られる量子化係数データを符号化する符号化工程
とを有し、
前記ノイズ除去工程では、前記相関判定工程で相関があると判定された場合にノイズ除去処理を実行し、
前記量子化工程では、前記相関判定工程で相関がないと判定された場合、相関があると判定された場合よりも高周波成分に対する量子化ステップを粗くする
ことを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像符号化装置及びその方法に関し、より具体的には、直交変換符号化を使用する画像符号化装置及びその方法に関する。
【０００３】
【従来の技術】
画像情報を複数の画素からなるブロックに分割し、そのブロック単位で符号化処理するブロック符号化が広く実用化されており、その代表的なものに直交変換符号化がある。これは、画像データを近隣画素間の相関性を利用して情報圧縮するもので、現在、離散コサイン変換（ＤＣＴ）が注目されている。
【０００４】
図２は、離散コサイン変換を使用する従来の画像符号化装置の概略構成ブロック図を示す。図２において、１０は符号化しようとする原画像のアナログ画像信号、１２は、アナログ画像信号１０をディジタル化するＡ／Ｄ変換器、１４はＡ／Ｄ変換器１２から出力される画像データを、動き検出、雑音除去及びシャッフリング等のために記憶する画像データ・メモリ装置、１６は画像データ・メモリ装置１４に記憶される画像データを所定サイズのブロック単位に読み出して離散コサイン変換するＤＣＴ回路、１８はＤＣＴ回路１６の出力（ＤＣＴ変換係数データ）を量子化する量子化回路、２０は量子化回路１８の出力を符号化、例えばランレングス符号化と二次元ハフマン符号化を併用して可変長符号化する符号化回路である。
【０００５】
図２の動作を説明する。Ａ／Ｄ変換器１２はアナログ画像信号１０をディジタル化する。Ａ／Ｄ変換器１２から出力される画像データは、画像データ・メモリ装置１４に印加され、ここで、動き検出、雑音除去及びシャッフリング等の周知のデータ処理を受ける。雑音除去は、フレーム間相関を利用した、図３に示すような回路構成で実現される。２２は雑音除去しようとする画像データ、２４は画像データ２２に（１−ｋ）を乗算する乗算器、２６は乗算器２４の出力に、前フレームの画像データのｋ倍を加算する加算器、２８は加算器２６の出力を１フレーム期間遅延するフレーム・メモリ、２９はフレーム・メモリ２８の出力をｋ倍して加算器２６に印加する乗算器である。なお、ｋは０以上で１以下である。
【０００６】
この回路の動作は周知である。原理的には、画像情報はフレーム間で相関性が高いが、雑音には相関性が無いことを利用し、ｎ枚のフレーム間での平均をとることで、雑音は電力で１／ｎ、平均振幅で１／√ｎに減衰する。但し、画像に動きがあると、動画部分で時間的にぼけてしまうので、通常は、動き検出と組み合わせ、動きに応じてパラメータｋを調節する。即ち、静止画像又は静止部分に対してはｋを１に近付けて雑音を除去し、動画像又は動画部分にはｋを０に近付けてぼけを避ける。なお、ｋ＝０とすることは、入力信号をそのまま出力することに相当する。
【０００７】
画像データ・メモリ装置１４で処理された画像データは、ＤＣＴ回路１６により時間領域から周波数領域に変換される。図４は、８画素×８ラインからなるブロックの画像データを離散コサイン変換して得られる変換係数データの構成を示す。輝度成分の場合、変換係数データは、６４画素の平均輝度レベルを示す１つのＤＣ成分と、水平及び垂直周波数成分である６３個のＡＣ成分とからなる。画像一般の性質として、信号電力はＤＣ成分と低周波ＡＣ成分に集中して分布する。
【０００８】
量子化回路１８は、ＤＣＴ回路１６からの変換係数データ（ＤＣ成分及びＡＣ成分）を量子化する。通常、画像の精細度に応じて量子化ステップが調節される。画像の精細度は変換係数データのＡＣ成分から判断される。一般に、人間の眼の弁別特性は低周波の（即ち、平坦な）画像には鋭く、高周波の（即ち、高精細な）画像には鈍感である。従って、低周波域を細かく量子化し、高周波域を粗く量子化することによって、量子化歪みを画像の高域部分に集中させ、視覚上の画質劣化を抑圧することができる。
【０００９】
符号化回路２０は、量子化器１８から出力される２次元配列された量子化データを空間周波数の低い方から高い方にジグザグ走査して１次元化した後、ゼロ係数をランレングス符号化で、非ゼロ係数を二次元ハフマン符号化で可変長符号化し、符号データ２２を出力する。ランレングス符号化では、ゼロ・ランのカウントにより可逆圧縮し、ハフマン符号化では、発生確率の高いデータに短い符号語を割り当て、発生確率の低いデータに長い符号語を割り当てることで、平均して符号語長を短くする。
【００１０】
このように、従来の画像符号化回路では、入力画像の動き情報に基づいて適応的にノイズを除去する。即ち、静止画像には強いノイズ除去を行ない、動画像には弱いノイズ除去をかけるか又はノイズ除去をかけないようにする。このような適応制御では、画像データから動きを検出する構成と、検出された動きに応じてノイズ除去の効力（具体的にはｋ値）をどの程度に設定するかが問題になる。実際のところ、これらは、視覚特性を考慮しながら試行錯誤により決定されている。
【００１１】
図５は、従来の動き判定装置の概略構成ブロック図を示す。３０は、動きを検出しようとする画像の画像信号、３２は画像信号を１フレーム期間遅延するフレーム遅延回路、３４は、フレーム遅延回路３２の出力から画像信号３０を減算する減算器、３６は、減算器３４の出力の絶対値をとる絶対値回路である。３８は絶対値回路３６の出力にその前画素の値を加算する加算器、４０は加算器３８の出力を１画素分遅延する遅延回路であり、これらは、絶対値回路３６の出力を累積加算するアキュムレータを構成する。４２は遅延回路４０の出力から、動きの有無（及び程度）を判定する判定回路である。
【００１２】
フレーム遅延回路３２は画像信号を１フレーム遅延し、減算器３４はフレーム遅延回路３２の出力から画像信号３０を減算する。即ち、減算器３４はフレーム間の差信号を出力する。絶対値回路３６は減算器３４の出力を絶対値化し、フレーム間差分の絶対値を出力する。加算器３８及び遅延回路４０からなるアキュムレータが、フレーム間差分の絶対値を積算する。判定回路４２は遅延回路４０の出力から動きの程度又は有無を判定する。即ち、フレーム間差分絶対値和が小さいときには、フレーム間の相関が強い、即ち、動きが小さいと判定され、フレーム間差分絶対値和が大きいときには、フレーム間の相関が弱い、即ち、動きが大きいと判定される。
【００１３】
【発明が解決しようとする課題】
このように、動き検出とノイズ除去をフレーム単位で行なう従来の画像符号化装置では、フレーム内に静止画像と動画像が混在する場合に、良好なノイズ除去性能が得られない。また、高精細画像でぼけが発生しやすくなる。
【００１４】
また、フレーム内の静止画部分と動画部分で異なるノイズ除去処理を行うには、静止画部分と動画部分を簡単に見分けられる手段が必要となる。
【００１５】
本発明は、このような問題点を解決するため画像符号化装置及びその方法を提示することを目的とする。
【００１６】
【課題を解決するための手段】
本発明に係る画像符号化装置は、複数の画素からなるブロックに分割された画像情報を、前記ブロック単位に直交変換する直交変換手段と、前記直交変換手段から出力される直交変換係数データを１フレーム期間遅延する遅延手段と、前記直交変換手段から出力される直交変換係数データのＤＣ成分データと前記遅延手段から出力される遅延された直交変換係数データのＤＣ成分データとを比較することによって、ブロック単位の相関を判定する相関判定手段と、前記直交変換手段から出力される直交変換係数データと前記遅延手段から出力される遅延された直交変換係数データとを平均化処理して、前記直交変換手段から出力される直交変換係数データからノイズを除去するノイズ除去手段と、前記ノイズ除去手段から出力された直交変換係数データを量子化する量子化手段と、前記量子化手段から出力された量子化係数データを符号化する符号化手段とを有し、前記ノイズ除去手段は、前記相関判定手段により相関があると判定された場合にノイズ除去処理を実行し、前記量子化手段は、前記相関判定手段により相関がないと判定された場合、相関があると判定された場合よりも高周波成分に対する量子化ステップを粗くすることを特徴とする。
【００１７】
また、本発明に係る画像符号化方法は、複数の画素からなるブロックに分割された画像情報を、前記ブロック単位に直交変換する直交変換工程と、前記直交変換工程で得られる直交変換係数データを１フレーム期間遅延する遅延工程と、前記直交変換工程で得られる直交変換係数データのＤＣ成分データと前記遅延工程で得られる遅延された直交変換係数データのＤＣ成分データとを比較することによって、ブロック単位の相関を判定する相関判定工程と、前記直交変換工程で得られる直交変換係数データと前記遅延工程で得られる遅延された直交変換係数データとを平均化処理して、前記直交変換工程で得られる直交変換係数データからノイズを除去するノイズ除去工程と、前記ノイズ除去工程で得られる直交変換係数データを量子化する量子化工程と、前記量子化工程で得られる量子化係数データを符号化する符号化工程とを有し、前記ノイズ除去工程では、前記相関判定工程で相関があると判定された場合にノイズ除去処理を実行し、前記量子化工程では、前記相関判定工程で相関がないと判定された場合、相関があると判定された場合よりも高周波成分に対する量子化ステップを粗くすることを特徴とする。
【００２３】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
【００２４】
図１は、本発明の一実施例の概略構成ブロック図を示す。図１において、５０は符号化しようとする原画像データであり、８画素×８ラインからなるブロックにブロック化されている。５２は、ブロック化画像データ５０を離散コサイン変換するＤＣＴ回路、５４は、ＤＣＴ回路５２による変換係数（ＤＣ成分とＡＣ成分）を１フレーム遅延するフレーム遅延回路、５６はＤＣＴ回路５２から出力されるＤＣ成分及びフレーム遅延回路５４から出力されるＤＣ成分から動きを判定する動き判定回路、５８は、動き判定回路５６からの動き情報に従い、ＤＣＴ回路５２から出力される変換係数とフレーム遅延回路５４により１フレーム遅延された変換係数とを演算してノイズを除去するノイズ除去回路である。
【００２５】
ＤＣＴ回路５２は、６４個の変換係数データ（６４画素の平均輝度レベルを示す１個のＤＣ成分と、６３個のＡＣ成分）を信号線５２ａを介してフレーム遅延回路５４及びノイズ除去回路５８に出力し、ＤＣ成分のみを信号線５２ｂを介して動き判定回路５６に出力する。フレーム遅延回路５４は、１フレーム遅延したＤＣ成分及びＡＣ成分を信号線５４ａを介してノイズ除去回路５８に、１フレーム遅延したＤＣ成分を信号線５４ｂを介して動き判定回路５６に印加する。
【００２６】
６０はノイズ除去回路５８の出力を量子化する量子化回路、６２は動き判定回路５６の判定結果に応じて量子化回路６０の量子化ステップをブロック単位で制御する量子化制御回路、６４は量子化回路６０の出力を可変長符号化する符号化回路、６６は符号化回路６４の符号化特性を制御する符号化制御回路である。
【００２７】
本実施例の動作を説明する。ＤＣＴ回路５２は、ＤＣＴ回路１６と同様にブロック画像データ５０を二次元離散コサイン変換し、図４に示すような６４個の変換係数データ（６４画素の平均輝度レベルを示す１個のＤＣ成分と、６３個のＡＣ成分）をＤＣ成分からより高周波成分に向けて順番に信号線５２ａを介してフレーム遅延回路５４及びノイズ除去回路５８に出力し、ＤＣ成分のみを信号線５２ｂを介して動き判定回路５６に出力する。フレーム遅延回路５４はＤＣＴ回路５２の出力を１フレーム期間遅延し、１フレーム遅延したＤＣ成分及びＡＣ成分を信号線５４ａを介してノイズ除去回路５８に、１フレーム遅延したＤＣ成分を信号線５４ｂを介して動き判定回路５６に印加する。
【００２８】
動き判定回路５６は、現在のＤＣ成分（信号線５２ｂ）と１フレーム前のＤＣ成分（信号線５４ｂ）との差分を計算し、そのその差分を所定閾値と比較することにより、ブロック間の相関を検出する。即ち、動き判定回路５６は、現在のＤＣ成分（信号線５２ｂ）と１フレーム前のＤＣ成分（信号線５４ｂ）との差分を計算する減算器８０と、減算器８０から出力される差分の絶対値δを算出する絶対値回路８２と、絶対値回路８２の出力δを所定の閾値ＴＨと比較する比較回路８４とからなる。動き判定回路５６の減算器８０は、図６に示すように、フレーム＃（ｎ−１）とフレーム＃ｎの同じ画面位置のＤＣＴブロックのＤＣ係数７０，７２の差分を算出する。
【００２９】
動き判定回路５６は、絶対値δが閾値ＴＨ以上のとき、フレーム相関が無いと判定し、絶対値δが閾値未満のとき、フレーム相関があると判定する。このようにして、動き判定回路５６は、判定結果を動き情報としてノイズ除去回路５８及び量子化制御回路６２に供給する。
【００３０】
図１に示す動き判定回路５６では、フレーム間の差分絶対値が所定閾値ＴＨ以上か否かで相関の有無を判定したが、フレーム間の差分に応じて相関の程度を判別するものであってもよい。その場合には、例えば、減算器８０又は絶対値回路８２の出力を適当なサイズ又はレンジで多値化すればよい。
【００３１】
ノイズ除去回路５８は、動き判定回路５６からの動き情報が相関ありを示す場合、フレーム＃ｎのＤＣＴ変換係数（信号線５２ａ上）とフレーム＃（ｎ−１）のＤＣＴ変換係数（信号線５４ａ上）を平均化する。具体的には、対応する６４個のＤＣＴ変換係数同士を平均する。動き判定回路５６からの動き情報が相関無しを示す場合、ノイズ除去回路５８は、フレーム＃ｎのＤＣＴ変換係数（信号線５２ａ上）をそのまま出力する。即ち、ノイズ除去しない。
【００３２】
図７は、ノイズ除去回路５８の内部回路の一例を示すブロック図である。７４は信号線５２ａ，５４を介して入力するＤＣＴ変換係数データを加算して１／２にする加算器、７６は加算器７４の処理時間に相当する遅延時間の遅延回路、７８は、動き判定回路５６から出力される動き情報に従い、相関無し（即ち、動きあり）のとき遅延回路７６の出力を選択し、相関あり（即ち、動き無し又は少ない）のとき加算器７４の出力を選択するスイッチである。この構成により、動きがあるＤＣＴブロックについては、ＤＣＴ回路５２の出力５２ａがそのまま出力され、動きの無いＤＣＴブロックについては、ＤＣＴ回路５２の出力５２ａとその１フレーム遅延した信号５４ａの平均値が出力される。
【００３３】
図７に示す回路では、２値の動き情報に従い、スルー出力と平均値出力を切り替えるようにしているが、多値の動き情報が得られる場合には、次の様な回路構成としてもよい。即ち、ＤＣＴ回路５２の出力５２ａを（１−ｋ）倍する第１の乗算器と、フレーム遅延回路５４の出力５４ａをｋ倍する第２の乗算器と、当該第１及び第２の乗算器の出力を加算し、加算結果を回路出力とする加算器とからなり、多値の動き情報に従い係数ｋを調節又は制御する。
【００３４】
量子化回路６０は、ノイズ除去回路５８の出力を量子化する。量子化制御回路６２は、動き判定回路５６の動き判定結果、即ち、動き情報５６ａに従い、量子化回路６０の量子化ステップ・サイズをブロック単位で決定し制御する。例えば、フレーム間の相関が無いブロックでは、画像データを動画像と判定して、高域（高周波）の量子化ステップを粗くする、又は高域のデータを削除する。すると、動画像のＳ／Ｎ比が改善されると共に、符号量が少なくなる。
【００３５】
符号化回路６４は、符号化回路２０と同様に、量子化回路６０の出力を可変長符号化する。符号化制御回路６６は符号化回路６４における符号化を制御する。ここでの符号化制御の内容は、本発明とは関係ないので、詳細な説明を省略する。
【００３６】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、直交変換係数のＤＣ成分をもとにブロック単位の相関性を判定するようにしたので、ブロック単位の相関性を俊敏に判定可能となり、同一画面内で静止画部分と動画部分とでノイズ除去処理を俊敏に細かく制御することができる。また、前記相関性の判定結果をノイズ除去処理だけでなく量子化処理にも利用して符号化効率を高め、上記ノイズ除去処理と上記量子化処理との相乗効果により画像のＳ／Ｎ比をより高く保つことができる。
【図面の簡単な説明】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】従来の画像符号化装置の概略構成ブロック図である。
【図３】従来のノイズ除去回路の概略構成ブロック図である。
【図４】ＤＣＴ変換係数データの説明図である。
【図５】従来の動き判定回路の概略構成ブロック図である。
【図６】フレーム間のＤＣ係数の比較を説明する説明図である。
【図７】ノイズ除去回路５８の回路構成の一例を示す回路図である。
【符号の説明】
１０：原画像のアナログ画像信号  １２：Ａ／Ｄ変換器  １４：画像データ・メモリ装置  １６：ＤＣＴ回路  １８：量子化回路  ２０：符号化回路  ２２：雑音除去しようとする画像データ  ２４：乗算器  ２６：加算器  ２８：フレーム・メモリ  ２９：乗算器  ３０：動きを検出しようとする画像の画像信号  ３２：フレーム遅延回路  ３４：減算器  ３６：絶対値回路  ３８：加算器  ４０：遅延回路  ４２：判定回路  ５０：符号化しようとする原画像データ  ５２：ＤＣＴ回路  ５２ａ，５２ｂ：ＤＣＴ回路５２の出力信号線  ５４：フレーム遅延回路  ５４ａ：フレーム遅延回路５４の出力信号線  ５６：動き判定回路  ５８：ノイズ除去回路  ６０：量子化回路  ６２：量子化制御回路  ６４：符号化回路  ６６：符号化制御回路  ７４：加算器  ７６：遅延回路  ７８：スイッチ  ８０：減算器  ８２：絶対値回路  ８４：比較回路
【図１】
0003596820.tif 000002
【図２】
0003596820.tif 000003
【図３】
0003596820.tif 000004
【図４】
0003596820.tif 000005
【図５】
0003596820.tif 000006
【図６】
0003596820.tif 000007
【図７】
0003596820.tif 000008