(57)【特許請求の範囲】
【請求項１】
入力された画像データに対して直交変換を行う直交変換手段と、
前記直交変換手段により直交変換された前記画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較手段と、
前記比較手段により、前記輝度データのＡＣ成分内に、前記第１のしきい値より大きな成分は存在しないと判断され、かつ、前記色差データの低域ＡＣ成分内に、前記第２のしきい値より大きな成分は存在しないと判断された場合、前記色差データの高域成分の抑圧を行う抑圧手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記比較手段は、前記輝度データのＡＣ成分のうちの低域成分を前記第１のしきい値と比較する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力された画像データに対して直交変換を行う直交変換ステップと、
前記直交変換ステップの処理で直交変換された前記画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較ステップと、
前記比較ステップの処理により、前記輝度データのＡＣ成分内に、前記第１のしきい値より大きな成分は存在しないと判断され、かつ、前記色差データの低域ＡＣ成分内に、前記第２のしきい値より大きな成分は存在しないと判断された場合、前記色差データの高域成分の抑圧を行う抑圧ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
前記比較ステップは、前記輝度データのＡＣ成分のうちの低域成分を前記第１のしきい値と比較する
ことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
入力された画像データに対して直交変換を行う直交変換ステップと、
前記直交変換ステップの処理で直交変換された前記画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較ステップと、
前記比較ステップの処理により、前記輝度データのＡＣ成分内に、前記第１のしきい値より大きな成分は存在しないと判断され、かつ、前記色差データの低域ＡＣ成分内に、前記第２のしきい値より大きな成分は存在しないと判断された場合、前記色差データの高域成分の抑圧を行う抑圧ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
前記比較ステップは、前記輝度データのＡＣ成分のうちの低域成分を前記第１のしきい値と比較する
ことを特徴とする請求項５に記載の記録媒体。
【請求項７】
入力された画像データに対して直交変換を行う直交変換ステップと、
前記直交変換ステップの処理で直交変換された前記画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較ステップと、
前記比較ステップの処理により、前記輝度データのＡＣ成分内に、前記第１のしきい値より大きな成分は存在しないと判断され、かつ、前記色差データの低域ＡＣ成分内に、前記第２のしきい値より大きな成分は存在しないと判断された場合、前記色差データの高域成分の抑圧を行う抑圧ステップと
をコンピュータに実行させるプログラム。
【請求項８】
前記比較ステップは、前記輝度データのＡＣ成分のうちの低域成分を前記第１のしきい値と比較する
ことを特徴とする請求項７に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像データに含まれるノイズ成分の除去を行うのに用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
静止画像や動画像の符号化方式として、JPEG（Joint Photographic Experts Group）方式や、MPEG（Moving Picture Experts Group）方式などが用いられている。例えば、JPEG方式では、撮像された静止画像を８×８のブロックに分解し、そのブロックに対してＤＣＴ（Discrete Cosine Transform）の処理や量子化の処理が行われることにより符号化処理が行われる。
【０００３】
【発明が解決しようとする課題】
上述したＤＣＴを用いた符号化処理において、ノイズを低減するために、輝度や色差のＡＣ（交流）係数を抑圧する処理が行われる場合がある。そのようにしてノイズを低減する場合、ブロック歪みが発生してしまうときがあるという課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、ノイズ成分とエッジ成分を、しきい値を用いた比較を行うことにより、ノイズの低減を行うことを目的とする。
【０００５】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像データに対して直交変換を行う直交変換手段と、直交変換手段により直交変換された画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較手段と、比較手段により、輝度データのＡＣ成分内に、第１のしきい値より大きな成分は存在しないと判断され、かつ、色差データの低域ＡＣ成分内に、第２のしきい値より大きな成分は存在しないと判断された場合、色差データの高域成分の抑圧を行う抑圧手段とを含むことを特徴とする。
【０００６】
前記比較手段は、輝度データのＡＣ成分のうちの低域成分をしきい値と比較するようにすることができる。
【０００８】
本発明の画像処理方法は、入力された画像データに対して直交変換を行う直交変換ステップと、直交変換ステップの処理で直交変換された画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較ステップと、比較ステップの処理により、輝度データのＡＣ成分内に、第１のしきい値より大きな成分は存在しないと判断され、かつ、色差データの低域ＡＣ成分内に、第２のしきい値より大きな成分は存在しないと判断された場合、色差データの高域成分の抑圧を行う抑圧ステップとを含むことを特徴とする。
前記比較ステップは、輝度データのＡＣ成分のうちの低域成分を第１のしきい値と比較するようにすることができる。
【０００９】
本発明の記録媒体のプログラムは、入力された画像データに対して直交変換を行う直交変換ステップと、直交変換ステップの処理で直交変換された画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較ステップと、比較ステップの処理により、輝度データのＡＣ成分内に、第１のしきい値より大きな成分は存在しないと判断され、かつ、色差データの低域ＡＣ成分内に、第２のしきい値より大きな成分は存在しないと判断された場合、色差データの高域成分の抑圧を行う抑圧ステップとを含むことを特徴とする。
前記比較ステップは、輝度データのＡＣ成分のうちの低域成分を第１のしきい値と比較するようにすることができる。
【００１０】
本発明のプログラムは、入力された画像データに対して直交変換を行う直交変換ステップと、直交変換ステップの処理で直交変換された画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較する比較ステップと、比較ステップの処理により、輝度データのＡＣ成分内に、第１のしきい値より大きな成分は存在しないと判断され、かつ、色差データの低域ＡＣ成分内に、第２のしきい値より大きな成分は存在しないと判断された場合、色差データの高域成分の抑圧を行う抑圧ステップとを含むことを特徴とする。
前記比較ステップは、輝度データのＡＣ成分のうちの低域成分を第１のしきい値と比較するようにすることができる。
【００１１】
本発明の画像処理装置および方法、並びにプログラムにおいては、直交変換された画像データの輝度データのＡＣ成分が第１のしきい値と比較され、色差データの低域ＡＣ成分が、第２のしきい値と比較され、その比較結果により、輝度データのＡＣ成分内に、第１のしきい値より大きな成分は存在しないと判断され、かつ、色差データの低域ＡＣ成分内に、第２のしきい値より大きな成分は存在しないと判断された場合、色差データの高域成分の抑圧が行なわれる。
【００１２】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図１は、本発明を適用した画像処理装置の一実施の形態の構成を示す図である。画像処理装置１は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、カムコーダなどの静止画像や動画像を扱う装置である。画像処理装置１のイメージセンサ２により撮像された画像の画像データは、データ処理部３に出力される。イメージセンサ２は、駆動部４により駆動される。
【００１３】
データ処理部３は、入力された画像データから、輝度データと色差データを生成し、データバス５を介して、記憶部６に出力する。記憶部６は、一旦、輝度データと色差データを記憶する。記憶部６に記憶された輝度データと色差データは、フィルタ７に出力される。フィルタ７は、入力された輝度データと色差データに対して、所望の画像サイズの解像度に変換するための処理を施し、再び、記憶部６に記憶させる。
【００１４】
記憶部６に記憶された解像度が変換された輝度データと色差データは、画像圧縮部８に出力され、圧縮処理が施される。圧縮処理が施された輝度データと色差データは、記録再生処理部９により、図示されていない記録媒体に記録される。このような記録処理は、シャッタボタン１０が操作され、その操作に対応する処理として、マイクロコンピュータ（以下、マイコンと記述する）１１により指示が出されたときに行われる。
【００１５】
ドライブ１２は、磁気ディスク２１、光ディスク２２、光磁気ディスク２３、半導体メモリ２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【００１６】
図２は、画像圧縮部８において行われる処理について説明するフローチャートである。ステップＳ１において、記憶部６に記憶されている画像データとしての輝度データと、色差データが、データバス５を介して入力される。なお、以下の説明においては、画像データは、輝度、色差の４：２：２色空間でサンプリングされているデータであるとする。
【００１７】
ステップＳ２において、ＤＣＴ（離散コサイン変換）が行われる。まず、画像データは、８×８ピクセルのブロックに分割される。分割されたブロックに対して、ＤＣＴが行われる。ＤＣＴは、この場合、４：２：２色空間であるので、輝度２ブロック、色差Ｃｂ，Ｃｒそれぞれ１ブロックという単位で、ＤＣＴが行われる。
【００１８】
ステップＳ３において、８×８ピクセル単位のブロックの画像データに対して、ジグザグスキャンが行われる。図３に示すように８×８ピクセル単位のブロックに対して、左上隅の画素を０として、ジグザグスキャンが行われる順に右下隅まで１乃至６３の番号（係数）を割り当てる。係数０はＤＣ成分であり、係数１乃至６３はＡＣ成分である。ＡＣ成分に対してジグザグスキャンが行われることにより、画像データが、ゼロランレングスとデータの組に変換される。
【００１９】
ステップＳ４において、ノイズ低減処理が行われる。ノイズ低減処理については、後述する。ノイズ低減処理が実行された画像データに対して、ステップＳ５において量子化が行われる。量子化は、ＤＣＴが行われた画素データに対して、所定の係数で除算することにより行われる。量子化が行われることにより、画像データのエントロピーを下げることができる。そして、ステップＳ６において、二次元ハフマン符号化が行われる。
【００２０】
このようにして符号化された画像データは、ステップＳ７において、記憶再生処理部９に対して出力され、図示されていない記録媒体などに記録される。
【００２１】
図４のフローチャートを参照して、図２のステップＳ４において行われるノイズ低減処理について説明する。図４に示したフローチャートに基づくノイズ低減処理は、マクロブロック単位で行われる。本実施の形態において、ノイズ低減は、平坦部のクロマの高域成分を抑圧（suppress）することにより行う。
【００２２】
ステップＳ１１において、suppress_flagを１に設定することにより初期化が行われる。このsuppress_flagは、平坦部のクロマの高域成分を抑圧するか否かを示すフラグであり、suppress_flagが１に設定されている場合、サプレスをする状態に設定されていることを意味し、suppress_flagが０に設定されている場合、サプレスをしない状態に設定されていることを意味する。
【００２３】
ステップＳ１２において、輝度ＹのＡＣ係数の成分の絶対値のうち、１つでもしきい値Ａより大きい係数があるか否かが判断される。輝度ＹのＡＣ係数は、図３を参照して説明したように係数１乃至６３が存在する。ステップＳ１２において、輝度ＹのＡＣ係数１乃至６３の、それぞれの成分の絶対値、全てをしきい値Ａと比較しても良いが、ここでは、輝度ＹのＡＣ係数１乃至２７の、それぞれの成分の絶対値と、しきい値Ａとを比較するとする。
【００２４】
これは、小さな振幅であっても、ＤＣＴ処理後のブロック内に、何らかの画像のエッジ成分が含まれている場合、ＡＣ係数１乃至２７の成分の、どこかに、大きな成分が出現する可能性が高いので、ステップＳ１２において、しきい値Ａとの比較の対象としては、ＡＣ係数１乃至２７の成分で充分であると考えることができる。勿論、ＡＣ係数１乃至６３の成分を、しきい値Ａとの比較の対象としても良い。
【００２５】
このように、しきい値Ａとの比較の対象を少なくする（ＡＣ成分のうち、低域成分を比較の対象とする）ことで、ノイズ低減処理にかかる処理時間を短くすることが可能になると共に、その比較の対象を適切に選択する（この場合、ＡＣ係数１乃至２７と選択した）ことにより、ノイズ低減処理の劣化をまねくようなことがなく、確実にノイズ低減処理を実行することが可能となる。
【００２６】
ステップＳ１２において、輝度ＹのＡＣ係数１乃至２７の成分の絶対値のうち、１つでもしきい値Ａよりも大きい値があったと判断された場合、ステップＳ１３に進み、しきい値Ａよりも大きい値はなかったと判断された場合、ステップＳ１３の処理をスキップし、ステップＳ１４に進む。ステップＳ１３において、suppress_flagが０に設定される。すなわち、この後の処理で、必要において、サプレス（抑制）処理が実行されるように設定される。ここで、抑制とは、処理対象となる成分を０データにすることをいう。
【００２７】
輝度ＹのＡＣ係数１乃至２７の成分の絶対値のうち、１つでもしきい値Ａよりも大きい値があったと判断され、suppress_flagが０に設定される場合、処理対象となっているＤＣＴブロックの画像内には、何らかの画像のエッジ成分が含まれていると判断することができる。しかしながら、有効な画像のエッジ成分が含まれいないような場合でも、例えば、イメージセンサ２（図１）の撮像素子から、小振幅のノイズ成分が出力され、そのノイズ成分が、輝度Ｙの成分に影響を与えることが考えられる。
【００２８】
このようなことを考慮し、ＤＣＴブロックの画像内の成分は、有効な画像のエッジ成分による成分か、それとも、ノイズ成分による成分かを識別出来るような値に、しきい値Ａは設定される。後述するしきい値Ｃも同様に設定される。
【００２９】
ステップＳ１４においては、輝度ＹのＤＣＴブロックの圧縮処理が実行される。その輝度ＹのＤＣＴブロックの圧縮処理が終了したか否かが、ステップＳ１５において判断される。
【００３０】
４：２：２画像のマクロブロックを処理する場合、輝度ＹのＤＣＴブロックは２つ存在するので、ステップＳ１２乃至Ｓ１５の処理は、２回繰り返される。ステップＳ１５において、輝度ＹのＤＣＴブロックに対する圧縮処理が終了したと判断された場合、ステップＳ１６に進む。ステップＳ１６において、色差Ｃｂのしきい値Ｂ未満のＡＣ係数の成分の絶対値のうち、１つでもしきい値Ｃより大きい値の成分が存在するか否かが判断される。
【００３１】
しきい値Ｂは、色差Ｃｂ（色差Ｃｒ）の低域成分と高域成分の境界を示す値として設定される。その設定されているしきい値Ｂ未満の色差ＣｂのＡＣ係数の成分の絶対値のうちで、しきい値Ｃより大きい値のＡＣ係数の成分が存在すると、ステップＳ１６において判断されると、ステップＳ１７に進み、存在しないと判断されると、ステップＳ１８に進む。
【００３２】
ステップＳ１７において、suppress_flagが０に設定、すなわち、以下の処理において抑圧を行わないという設定にされる。ステップＳ１８において、suppress_flagが１であるか否かが判断され、１であると判断された場合、ステップＳ１９に進む。Suppress_flagが１であると判断されたので、ステップＳ１９において、色差Ｃｂのしきい値Ｂ以上のＡＣ係数の成分が０にサプレスされる。そして、ステップＳ２０において、色差ＣｂのＤＣＴブロックに対して圧縮処理が実行される。
【００３３】
一方、ステップＳ１８において、suppress_flagが１ではない、すなわち、suppress_flagが０であると判断された場合、または、ステップＳ１７において、suppress_flagが０に設定された場合、ステップＳ２０に進み、色差ＣｂのＤＣＴブロックに対して圧縮処理が実行される。
【００３４】
ステップＳ２０による色差ＣｂのＤＣＴブロックに対する圧縮処理が終了されると、ステップＳ２１に進む。ステップＳ２１乃至Ｓ２５の処理は、色差ＣｒのＤＣＴブロックに対する処理であるが、基本的に、ステップＳ１６乃至Ｓ２０において色差ＣｂのＤＣＴブロックに対して行われる処理と同様であるので、その説明は省略する。
【００３５】
しきい値Ｂとしきい値Ｃは、色差Ｃｂと色差Ｃｒの処理のときとで、同じ値を用いるようにしても良いし、異なる値を用いるようにしても良い。
【００３６】
上述したノイズ低減処理は、輝度ＹのＡＣ成分、特にＤＣＴブロックの左上に位置するＡＣ成分１乃至２７、色差Ｃｂの低域成分（しきい値Ｂ未満のＡＣ係数の成分）、および、色差Ｃｒの低域成分（しきい値Ｂ未満のＡＣ係数の成分）を検出対象（しきい値Ａまたはしきい値Ｃとの比較の対象）とし、色差Ｃｂの高域成分と色差Ｃｒの高域成分を抑圧の対象として処理することにより、イメージセンサ２などにより発生されるノイズの除去を行う。
【００３７】
このようにすることにより、有効な画像のエッジ成分をノイズと判断して抑圧してしまうようなことや、逆に、ノイズを有効な画像のエッジ成分と判断して抑圧しないようなことを防ぎ、確実に画像のエッジ成分を残し、不要なノイズを除去することが可能となる。
【００３８】
なお、上述した実施の形態においては、４：２：２色空間でサンプリングされている画像データの場合を例に挙げて説明したが、４：２：０色空間や４：１：１色空間に対して本発明を適用することは勿論可能である。
【００３９】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００４０】
記録媒体は、図１に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２１（フレキシブルディスクを含む）、光ディスク２２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク２３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭやハードディスクなどで構成される。
【００４１】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００４２】
【発明の効果】
以上の如く本発明の画像処理装置および方法、並びにプログラムによれば、直交変換された画像データの輝度データのＡＣ成分を第１のしきい値と比較し、色差データの低域ＡＣ成分を第２のしきい値と比較し、その比較結果により、輝度データのＡＣ成分内に、第１のしきい値より大きな成分は存在しないと判断され、かつ、色差データの低域ＡＣ成分内に、第２のしきい値より大きな成分は存在しないと判断された場合、色差データの高域成分の抑圧を行うようにしたので、ブロック歪みを生じることなく、ノイズ成分を低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示す図である。
【図２】画像圧縮部８の動作について説明するフローチャートである。
【図３】ジグザグスキャンについて説明する図である。
【図４】図２のステップＳ４において行われるノイズ低減処理の詳細を説明するフローチャートである。
【符号の説明】
１  画像処理装置，  ２  イメージセンサ，  ３  データ処理部，  ４  駆動部，  ５  データバス，  ６  記憶部，  ７  フィルタ，  ８  画像圧縮部，  ９  記録再生処理部
【図１】
0003791003.tif 000002
【図２】
0003791003.tif 000003
【図３】
0003791003.tif 000004
【図４】
0003791003.tif 000005