(57)【要約】【課題】画像信号にランダムノイズを付加する際、ブロックノイズや不要な縞を発生することなく画像に質感を与える。【解決手段】画像信号の画素ごとにその画素を囲む所定領域の周囲画素に対して直交変換処理を行う直交変換部６と、直交変換部６により変換された空間周波数成分の振幅に基づきノイズ付加レベルを決定するノイズ付加レベル決定部７と、ノイズ付加レベル決定部７により決定されたノイズ付加レベルに従い画像信号にランダムノイズを付加するランダムノイズ付加部８，９，１０とを備える。【選択図】図１
2011022762.tif 000002
【特許請求の範囲】
【請求項１】
画像信号にランダムノイズを付加する画像信号処理装置において、
画像信号の画素ごとに該画素を囲む所定領域の周囲画素に対して直交変換処理を行う直交変換部と、
前記直交変換部により変換された空間周波数成分の振幅に基づきノイズ付加レベルを決定するノイズ付加レベル決定部と、
前記ノイズ付加レベル決定部により決定されたノイズ付加レベルに従い前記画像信号にランダムノイズを付加するランダムノイズ付加部と、を備えることを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
前記ノイズ付加レベル決定部は、前記直交変換部により変換された各空間周波数成分の振幅に重み係数を乗じて各振幅の総和を算出し、該算出した値に基づき前記ノイズ付加レベルを決定することを特徴とする画像信号処理装置。
【請求項３】
請求項２に記載の画像信号処理装置において、
前記ノイズ付加レベル決定部は、前記重み係数により、前記ランダムノイズを付加する空間周波数の範囲を選択することを特徴とする画像信号処理装置。
【請求項４】
請求項１に記載の画像信号処理装置において、
前記ノイズ付加レベル決定部は、前記直交変換部により変換された空間周波数成分の振幅に略Ｓ字曲線状のレベル補正を施して前記ノイズ付加レベルを決定することを特徴とする画像信号処理装置。
【請求項５】
請求項２または４に記載の画像信号処理装置において、
前記ノイズ付加レベル決定部に対しユーザの指示を受けて前記重み係数または前記レベル補正を設定する制御部を有することを特徴とする画像信号処理装置。
【請求項６】
請求項４に記載の画像信号処理装置において、
前記画像信号の輝度レベルを検出する輝度検出部を有し、
前記ノイズ付加レベル決定部は、検出された輝度レベルに応じて前記レベル補正を設定することを特徴とする画像信号処理装置。
【請求項７】
請求項４に記載の画像信号処理装置において、
画像信号をフレーム単位で書き込むフレームメモリと、
該フレームメモリから読み出した過去のフレームの画像信号と比較して現在のフレームの画像の動き量を検出する動き検出部を有し、
前記ノイズ付加レベル決定部は、検出された動き量に応じて前記レベル補正を設定することを特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に質感を与える画像信号処理装置に関する。
【背景技術】
【０００２】
人間の視覚特性により、画像内の物体表面の明るさが平坦であると、物体に質感がなく、リアリティに欠ける画像として知覚される。そこで、物体表面にノイズ成分を付加して質感を与え、よりリアリティのある画像とする技術が提案されている。例えば特許文献１には、画像にゆらぎを与えるためのランダムノイズを付加することで、階調を有する画像に質感を与える画像処理装置が記載されている。これは、画像をブロック領域に分割し、ブロック単位で直交変換して算出された各周波数成分に対してランダムノイズ（ゆらぎ）を付加し、これを逆直交変換することにより画像にランダムノイズを付加する構成となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−５７０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載される技術は、各ブロック領域を単位として周波数成分にランダムノイズ（ゆらぎ）を付加し、逆直交変換によりゆらぎをブロック内の画像全体に撹拌するものである。その場合、ブロック単位での処理となっているため、隣接ブロックの境界ではノイズレベルの差が筋となり、いわゆるブロックノイズが発生する課題がある。また、周波数成分にゆらぎを付加するため、画像内でのゆらぎの付加領域が局在し、縞や斑点が発生しやすいという課題がある。
【０００５】
本発明の目的は、画像信号にランダムノイズを付加する際、ブロックノイズや不要な縞を発生することなく画像に質感を与える画像信号処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明による画像信号処理装置は、画像信号の画素ごとにその画素を囲む所定領域の周囲画素に対して直交変換処理を行う直交変換部と、直交変換部により変換された空間周波数成分の振幅に基づきノイズ付加レベルを決定するノイズ付加レベル決定部と、ノイズ付加レベル決定部により決定されたノイズ付加レベルに従い画像信号にランダムノイズを付加するランダムノイズ付加部とを備える。
【０００７】
ここにノイズ付加レベル決定部は、直交変換部により変換された各空間周波数成分の振幅に重み係数を乗じて各振幅の総和を算出し、算出した値に基づきノイズ付加レベルを決定する。またノイズ付加レベル決定部は、直交変換部により変換された空間周波数成分の振幅に略Ｓ字曲線状のレベル補正を施してノイズ付加レベルを決定する。
【発明の効果】
【０００８】
本発明によれば、ブロックノイズや不要な縞を発生することなく画像に質感を与えることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施例に係る画像信号処理装置のブロック構成図。
【図２】直交変換の処理対象とする二次元領域を示す図。
【図３】直交変換処理で得られる空間周波数成分を示す図。
【図４Ａ】空間周波数成分に乗じる重み係数の例を示す図。
【図４Ｂ】空間周波数成分に乗じる重み係数の例を示す図。
【図５】ノイズ付加レベルのレベル補正の例を示す図。
【図６】第２の実施例に係る画像信号処理装置のブロック構成図。
【図７】第３の実施例に係る画像信号処理装置のブロック構成図。
【図８】第４の実施例に係る画像信号処理装置のブロック構成図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１１】
図１は、本発明の第１の実施例に係る画像信号処理装置のブロック構成図である。図１において、１は入力端子、２〜５はラインメモリ、６は直交変換部、７はノイズ付加レベル決定部、８はランダムノイズ発生部、９は乗算器、１０は加算器、１１は出力端子である。本実施例では、入力する画像信号に画素ごとにノイズ付加処理するものであるが、付加するノイズ量を決定するために、処理対象画素を囲む所定領域の周囲画素に対する直交変換処理の結果を利用する。ここでは、直交変換部６は水平方向５画素、垂直方向５ラインの矩形領域を対象に直交変換処理を行う。
【００１２】
入力端子１から入力された画像信号１０１は、直交変換部６に入力されるとともに、ラインメモリ２に入力され１ライン遅延される。この１ライン遅延した信号１０２は、直交変換部６に入力されるとともに、ラインメモリ３に入力されさらに１ライン遅延される。以下、同様に、ラインメモリ４、５が接続されており、従って直交変換部６には、現ラインの画像信号１０１、１ライン遅延した画像信号１０２、２ライン遅延した画像信号１０３、３ライン遅延した信号１０４、４ライン遅延した信号１０５、すなわち画像の垂直方向５ライン分の画像信号が入力される。
【００１３】
直交変換部６は、入力される５ライン分の画像信号１０１〜１０５からそれぞれ水平方向に５画素を取り出す。そしてこの２５画素に対して離散コサイン変換（ＤＣＴ）等の直交変換処理を施す。直交変換処理により各周波数成分の振幅１０６を得る。
【００１４】
ノイズ付加レベル決定部７は、こうして得られた各周波数成分の振幅１０６に重み係数を乗じて、ノイズを付加する周波数範囲を選択し、選択した範囲の各振幅の総和をとり評価値とする。そしてこの評価値に基づきノイズ付加レベル１０７を決定する。このノイズ付加レベル１０７は乗算器９に与えられる。
【００１５】
ランダムノイズ発生部８は、ランダムノイズ１０８を発生させる。乗算器９は、ランダムノイズ１０８にノイズ付加レベル１０７を乗じてノイズ信号１０９を出力する。加算器１０は、処理対象画素であるラインメモリ３からの画像信号１０３ａに乗算器９からのノイズ信号１０９を加算して、画像信号１１０を生成し出力端子１１から出力する。
【００１６】
次に、各部の動作を詳細に説明する。
図２は、直交変換部６が処理対象とする二次元領域を示す図である。入力する５ライン分の画像信号１０１〜１０５に対しシリアルパラレル変換を行うことで、それぞれ水平方向に５画素を取り出す。これより、水平方向５画素、垂直方向５ラインの５×５＝２５画素を含む二次元領域２００を設定する。このうち領域中央の画素２０１が処理対象画素（ノイズを付加する画素）で、ラインメモリ３から出力される画素列の中央画素である。
ここでは、二次元領域２００のサイズとして５×５の空間領域を対象としたが、サイズはこれに限定されるものではなく、３×３、７×７など、空間領域を適宜設定すれば良い。
【００１７】
図３は、直交変換部６の直交変換処理で得られる空間周波数成分を示す図である。図２の２５画素の画素値分布が、水平方向と垂直方向の各空間周波数成分３００の値に変換されている。Ｋ００〜Ｋ４４は各周波数成分の振幅を表し、符号３０１で示す左上隅の振幅Ｋ００は直流成分で、他の交流成分は水平・垂直方向にそれぞれ４次の項まで取り上げている。高周波成分をどこまで考慮するかは、ノイズ（質感）を付加したい画像の空間周波数範囲（絵柄）に応じて適宜設定すればよい。
【００１８】
ノイズ付加レベル決定部７は、画像信号の空間周波数成分の振幅データＫｉｊに重み係数Ｘｉｊを乗じて、ノイズを付加する周波数範囲を選択する。さらに、選択した周波数範囲の各振幅の総和を算出して処理対象画素の評価値Ｚとする。
Ｚ＝ΣΣＫｉｊ・Ｘｉｊ
【００１９】
図４Ａと図４Ｂは重み係数Ｘｉｊの例を示す図である。重み係数Ｘｉｊは、図３の各周波数成分３００に対応するように、５×５の行列の値４００で記述している。例えば、図４Ａの左上の符号４０１で示す重み係数「０」は、図３の符号３０１で示す振幅Ｋ００に対するものである。
図４Ａの例は、破線４０２で示す中間周波数領域の重み係数を大きくした場合である。中間周波数領域は例えば画像の絵柄のエッジ部分に相当し、これを選択することで、画像のエッジ部分に優先的にノイズを付加し、エッジ部分の質感を向上させることができる。
【００２０】
一方、図４Ｂの例は、破線４０３で示す直流及び低周波数領域の重み係数を大きくした場合である。直流及び低周波数領域は画像の絵柄の平坦部分に相当し、これを選択することで、画像の平坦部分に優先的にノイズを付加する。例えば空のような平坦画像の場合、従来のグラデーション画像では階調段差が目立つものが、ランダムノイズにより目立たなくさせて、質感を向上させることができる。
【００２１】
さらにノイズ付加レベル決定部７は、評価値Ｚに基づきノイズ付加レベルを決定するのであるが、その際次のレベル補正を行う。
図５は、ノイズ付加レベルのレベル補正の例を示す図である。横軸は入力する評価値Ｚ、縦軸は出力するノイズ付加レベルＮを示し、入力に対して単純比例ではなく、略Ｓ字曲線状の補正を施して出力する。Ｓ字曲線は、ここでは３つの領域の折れ線で近似している。評価値Ｚが閾値Ｚ１よりも小さい領域５０１では、曲線の傾きを小さくしてノイズ付加を抑える。閾値Ｚ１と閾値Ｚ２の間の領域５０２では、傾きを大きくしてノイズ付加を増加する。閾値Ｚ２よりも大きい領域５０３では、傾きを小さくしてリミットレベルＮＬで制限する。
【００２２】
付加するノイズのリミットレベルＮＬは、例えば画素レベルを２５６階調としたときに、最大±１０階調程度に抑えることが望ましい。このような補正を施すことで、質感をより自然に与えることができる。
なお、上記したＳ字曲線の折れ線近似は一例であり、２つの領域（１個の閾値）、あるいは４つの領域（３個の閾値）などに分割しても良いことは言うまでもない。
本実施例では、ノイズ付加レベル決定部７ではノイズを付加する周波数範囲の選択とノイズ付加レベルのレベル補正の両方を行うものとしたが、いずれか一方のみでも良い。
【００２３】
本実施例によれば、直交変換を画素ごとに順次行い、その結果に応じてランダムノイズの付加レベルを画素ごとに決定するので、ブロックノイズは発生しない。また、周波数成分ではなく画像信号に直接ランダムノイズを付加するので、画像内でのノイズの付加位置が分散され、縞や斑点が発生するのを防止できる。
さらには、逆直交変換処理が不要となり、画像信号処理装置の回路規模を小さくできる効果がある。
【実施例２】
【００２４】
図６は、本発明の第２の実施例に係る画像信号処理装置のブロック構成図である。図６において、１２はユーザ入力端子、１３は制御部である。その他の部分は実施例１（図１）と同様であり、図１と同じ符号を付している。
【００２５】
ユーザ入力端子１２はユーザからの指示信号１１２を入力する端子であり、図示していない操作パネル、コントローラなどに接続されている。制御部１３は入力端子１２からのユーザの指示に従って、ノイズ付加レベル決定部７に制御信号１１３を送り制御する。ここで制御信号１１３には、前記図４で説明した各周波数成分の振幅に乗ずる重み係数の値と、前記図５に示したＳ字曲線の値（閾値Ｚ１、Ｚ２、曲線の傾き、リミットレベルＮＬの値）を含む。これにより、ランダムノイズを与える周波数範囲や、ランダムノイズのレベル補正を設定することができる。その際、指示信号１１２にて出力端子１１に接続される表示装置の種類（ＣＲＴ、プラズマディスプレイ、液晶ディスプレイ）を選択するものとすれば、接続されている表示装置の特性に合わせて好適なランダムノイズを付加させることができる。
【実施例３】
【００２６】
図７は、本発明の第３の実施例に係る画像信号処理装置のブロック構成図である。図７において１４は輝度検出部であり、ラインメモリ３の出力１０３に接続されている。その他の部分は実施例１（図１）と同様であり、図１と同じ符号を付している。
【００２７】
輝度検出部１４は入力される画像信号１０３ａの各画素の輝度レベルＹを検出して、検出した輝度レベルＹの情報１１４をノイズ付加レベル決定部７に送る。ノイズ付加レベル決定部７は、輝度レベルＹが所定値Ｙ１よりも低い場合、あるいは所定値Ｙ２よりも高い場合には、前記図５に示したＳ字曲線の値（曲線の傾き、リミットレベルＮＬの値）を下げて付加ノイズを減少、またはノイズを付加しないようにレベル補正する。これにより、ノイズが目立ちやすい暗い画像部分や明るい画像部分において、ノイズ過剰による画質劣化を避けることができる。
【実施例４】
【００２８】
図８は、本発明の第４の実施例に係る画像信号処理装置のブロック構成図である。図８において、１５はフレームメモリ、１６は動き検出部であり、ラインメモリ３の出力１０３に接続されている。その他の部分は実施例１（図１）と同様であり、図１と同じ符号を付している。
【００２９】
ラインメモリ３からの画像信号１０３は、フレームメモリ１５にフレーム単位で書き込まれると同時に、動き検出部１６に供給される。動き検出部１６は、ラインメモリ３から出力される現在のフレームの画像信号１０３と、フレームメモリ１５から読み出した過去のフレームの画像信号１１５とを比較して、画像の動き量Ｍを検出する。検出した動き量Ｍの情報１１６は、ノイズ付加レベル決定部７に送られる。ノイズ付加レベル決定部７は、動き検出部１１４からの情報１１６に応じて、動き量Ｍが所定量Ｍ１よりも少ない場合には、前記図５に示したＳ字曲線の値（曲線の傾き、リミットレベルＮＬの値）を下げて付加ノイズを減少するようにレベル補正する。これにより、ノイズが目立ちやすい動きのない画像部分において、ノイズ過剰による画質劣化を避けることができる。
【００３０】
以上、本発明によるいくつかの実施例を説明したが、各実施例は単独でも、あるいは組み合わせても有効である。各実施例によれば、直交変換を画素ごとに順次行い、その結果に応じてランダムノイズの付加レベルを画素ごとに決定するので、ブロックノイズが発生することはない。また、周波数成分ではなく画像信号に直接ランダムノイズを付加するので、画像内でのノイズの付加位置が分散され、縞や斑点が発生するのを防止できる。よって、本来の画質を損なわずに質感を与えることができる。
本発明の画像信号処理装置は、ビデオカメラ、画像表示装置、画像印刷装置などに広く適用できる。
【符号の説明】
【００３１】
１…入力端子、
２〜５…ラインメモリ、
６…直交変換部、
７…ノイズ付加レベル決定部、
８…ランダムノイズ発生部、
９…乗算器、
１０…加算器、
１１…出力端子、
１２…ユーザ入力端子、
１３…制御部、
１４…輝度検出部、
１５…フレームメモリ、
１６…動き検出部。
【図１】
2011022762.tif 000003
【図２】
2011022762.tif 000004
【図３】
2011022762.tif 000005
【図４Ａ】
2011022762.tif 000006
【図４Ｂ】
2011022762.tif 000007
【図５】
2011022762.tif 000008
【図６】
2011022762.tif 000009
【図７】
2011022762.tif 000010
【図８】
2011022762.tif 000011