(57)【要約】【課題】エッジのある場所が連続して並んでいる場合と離散的に分布している場合に対してそれぞれ質感を上げること。【解決手段】エッジ特徴量算出部１０１は入力画像情報を入力とし、エッジ情報の分布に基づく値を出力とする。ノイズ発生部１０２はノイズを発生し出力とする。ノイズ補正部１０３はエッジ特徴量算出部で算出された値から補正係数を求め、その補正係数でノイズを補正する。補正されたノイズと入力画像情報の和から出力画像情報を求めることにより、エッジのある場所が連続して並んでいる場合と離散的に分布している場合に対してそれぞれ質感を上げることができる。【選択図】図１
2006331163.tif 000002
【特許請求の範囲】
【請求項１】
入力画像情報を構成する画素において、注目画素とその周辺画素からエッジ情報の分布に基づく値であるエッジ特徴量を算出するエッジ特徴量算出部と、
所定の大きさを有するノイズを発生させるノイズ発生部と、
前記エッジ特徴量によって前記ノイズの大きさを補正するノイズ補正部と、
前記ノイズ補正部で算出された値を入力画像情報に加算する加算部と、
を備えた画像処理装置。
【請求項２】
前記エッジ情報の分布は、エッジの方向の分布であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エッジ特徴量は、注目画素周辺に同じエッジの方向をもつ場所が長く集まるほど、前記ノイズの大きさが小さくなるように補正する値であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
入力画像情報を構成する画素において、注目画素とその周辺画素から局部ごとの高周波成分に基づく値である高周波特徴量を算出する高周波特徴量算出部を更に備え、
前記ノイズ補正部は、前記高周波特徴量に基づいて前記ノイズの大きさを補正することを特徴とする請求項１、２または３に記載の画像処理装置。
【請求項５】
前記高周波特徴量は、注目画素周辺に所定の閾値以上の高周波成分を持つ局部が多いほど、前記ノイズの大きさが大きくなるように補正する値であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
入力画像情報を構成する画素において、注目画素とその周辺画素から周波数成分の総和に基づく値である総和特徴量を算出する総和特徴量算出部を更に備え、
前記ノイズ補正部は、前記総和特徴量に基づいて前記ノイズの大きさを補正することを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記総和特徴量は、前記総和の値が大きいほど、前記ノイズの大きさが大きくなるように補正する値であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
入力画像情報を構成する画素において、注目画素とその周辺画素から画素値の分散に基づく値である分散特徴量を算出する分散特徴量算出部を更に備え、
前記ノイズ補正部は、前記分散特徴量に基づいて前記ノイズの大きさを補正することを特徴とする請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項９】
前記分散特徴量は、前記分散の値が大きいほど、前記ノイズの大きさが大きくなるように補正する値であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
入力画像情報を構成する画素から、色相に基づく値である色相特徴量を算出する色相特徴量算出部を更に備え、
前記ノイズ補正部は、前記色相特徴量に基づいて前記ノイズの大きさを補正することを特徴とする請求項１〜９のいずれか１つに記載の画像処理装置。
【請求項１１】
前記色相特徴量は、前記色相が緑成分を多く含むほど、前記ノイズの大きさが大きくなるように補正する値であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記色相特徴量は、前記色相が赤成分を多く含むほど、前記ノイズの大きさが小さくなるように補正する値であることを特徴とする請求項１０または１１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は例えばTV放送受信機やプロジェクターなどのディスプレイ装置に関するものである。
【背景技術】
【０００２】
高周波成分が失われた画像は画素値に変化がある部分で質感が下がっている。
【０００３】
この部分の質感を上げるためには各画素値に変化を与える必要があり、この変化を与える要素として例えばノイズがあげられる。
【０００４】
ノイズを使って質感を上げる従来技術としては、解像度変換前の画像情報から注目画素周辺の画素値の差を求め、その差に応じてノイズの大きさを決定し、解像度変換後の画像情報に付加するものがあった（例えば、特許文献１参照）。図２１は、前記特許文献1に記載された従来技術を示すものである。
【０００５】
図２１において、線形補間部２１０１は入力画像情報に対して線形補間を行なう。ダイナミックレンジ算出部２１０４は入力画像情報からノイズ発生部１０２の出力値の大きさを補正する値を出力する。ノイズ発生部１０２は乱数を発生し出力する。ノイズ補正部１０３はダイナミックレンジ算出部２１０４の出力値で乱数の大きさを補正する。ノイズ補正部１０３の出力値を線形補間後の画像情報に加算し、出力画像情報を得る。
【特許文献１】特開平７−４４７０１号公報（第３頁、図４）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の構成では、ノイズの大きさを補正する値が注目画素周辺の画素値の差から算出されるので、エッジのある場所が連続して並んでいる場合と離散的に分布している場合を区別できない。そのため、これら２つの場合に同じ大きさのノイズを付加してしまい、どちらかの場合の質感を下げるという課題を有していた。
【０００７】
本発明は、前記従来の課題を解決するもので、これら２つの場合に対してそれぞれ質感を上げる方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、本発明の画像処理装置は、入力画像情報を構成する画素において、注目画素とその周辺画素からエッジ情報の分布に基づく値であるエッジ特徴量を算出するエッジ特徴量算出部と、所定の大きさを有するノイズを発生させるノイズ発生部と、前記エッジ特徴量によって前記ノイズの大きさを補正するノイズ補正部と、前記ノイズ補正部で算出された値を入力画像情報に加算する加算部を備えることを特徴としている。
【０００９】
この明細書中ではエッジの大きさや方向、傾きなどのエッジに関する情報をエッジ情報と定義する。
【００１０】
この構成により、エッジのある場所が連続して並んでいる場合と離散的に分布している場合を区別できる値でノイズを補正し画像情報に付加するので、画像の形状に合った変化を与え質感を上げるという作用が達成できる。
【発明の効果】
【００１１】
本発明の画像処理装置によれば、エッジ情報の分布に基づく値でノイズの大きさを補正するという構成にしたことにより、エッジのある場所が連続して並んでいる場合と離散的に分布している場合の違いを区別できるので、画像の形状に合った変化を与え質感を上げることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置のブロック図である。
【００１４】
図１において、エッジ特徴量算出部１０１は入力画像情報を入力とし、エッジ情報の分布に基づく値であるエッジ特徴量を出力とする。ノイズ発生部１０２はノイズを発生し出力とする。ノイズ補正部１０３はエッジ特徴量と、ノイズを入力とする。そしてエッジ特徴量から補正係数を求め、ノイズを補正する。補正されたノイズを入力画像情報に加算し出力画像情報を得る。
【００１５】
以上のように構成された画像処理装置について、以下、その動作を説明する。
【００１６】
まず、本実施の形態において、エッジ特徴量算出部１０１について説明する。
【００１７】
図２はエッジ特徴量算出部１０１の動作を説明するためのブロック図である。
【００１８】
図２において、算出領域抽出部２０１は算出過程で用いる画素値を注目画素とその周辺画素を含め一つのブロックとして抽出する。例えば注目画素を中心に６５×６５画素を抽出する。このブロックは画像情報を構成する全画素に対して抽出される。
【００１９】
エッジ方向分類部２０２はブロック内の各画素群に対してエッジの方向を求め、その方向で各クラスに分類する。図５は１ブロックに対するエッジ方向分類部２０２の処理を説明するためのフローチャートである。まず、算出領域抽出部で抽出されたブロック内から、図３のように算出画素を中心としたフィルタと同サイズの画素群Xを抽出する（ステップS５０1）。この明細書中では、ブロック内の処理で現在対象としている画素群の中心位置にある画素を算出画素と定義する。その画素群Xに対して、図４の各エッジの方向に対応するフィルタ（A〜H）を順次掛ける。そして（数１）のように各フィルタと画素群の算出値から最大値を求める。
【００２０】
【数１】
2006331163.tif 000003
【００２１】
最大値になるフィルタに対応するエッジの方向が算出画素でのエッジの方向になる（ステップS５０2）。図４の方向に対応するクラスの値を算出画素の値とする（ステップS５０3）。クラスの値をブロック内の全画素について求めるとエッジ方向分類部２０２の処理を終了する（ステップS５０4）。処理を終えた結果は例えば図６のようになる。
【００２２】
行列作成部２０３はエッジ方向分類部２０２で求めたクラスの値に対して、ランレングス行列を求める。ランレングス行列は同じクラスが連続して並んでいる数を直線上で数えるので、その直線の角度ごとにランレングス行列を作成することになる。ここでは水平方向を角度０°とし、角度４５°、９０°、１３５°の４つの角度について、それぞれランレングス行列を求める。図７は角度０°について数えたときの一例であり、行は連続数、列はクラスの値であり、行列内の値は頻度数である。
【００２３】
特徴量算出部２０４はエッジのある場所の連続数に注目した値を算出する。まず、（数２）のようにエッジのある場所が長く連続しているときほど大きい値になるFを算出する。
【００２４】
【数２】
2006331163.tif 000004
【００２５】
ここでθは連続数を数えるときの角度、iはクラスの値、jは連続数、Pθ(i,j)は頻度である。このFを使ってエッジのある場所が長く連続しているときは小さい値であり、連続していないときは大きい値となるエッジ特徴量を図８の関数から求める。この関数で求めたエッジ特徴量をエッジ特徴量算出部１０１の出力値とする。
【００２６】
以上がエッジ特徴量算出部の動作の説明である。
【００２７】
本実施の形態において、ノイズ発生部１０２について説明する。
【００２８】
ノイズ発生部では平均０、分散１の一様乱数を発生し、その値をノイズとして出力する。尚、一様乱数ではなく、ガウス乱数、指数乱数でも良い。
【００２９】
本実施の形態において、ノイズ補正部１０３の動作を説明する。
【００３０】
図９はノイズ補正部１０３の動作を説明するためのブロック図である。
【００３１】
補正係数算出部９０１はエッジ特徴量算出部１０１の出力であるエッジ特徴量に調整係数を掛け、ノイズの大きさを補正する補正係数を求める。この調整係数は所定の値である。
【００３２】
補正部９０２はノイズ発生部１０２の出力であるノイズと補正係数を掛け合わせ、その値をノイズ補正部１０３の出力とする。
【００３３】
ノイズ補正部１０３の出力値を入力画像情報に加算し、出力画像情報を得る。
【００３４】
かかる構成によればエッジ情報の分布に基づく値でノイズの大きさを補正することにより、エッジのある場所が連続して並んでいる場合とエッジのある場所が離散的に分布している場合が区別できるため、画像の形状に合った変化を与え質感を上げることができる。
【００３５】
（実施の形態２）
図１０は、本発明の実施の形態２の画像処理装置のブロック図である。図１０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００３６】
図１０において、高周波特徴量算出部１００３は入力画像情報を入力とし、各画素群の高周波成分の分布に基づく値である高周波特徴量を出力する。ノイズ補正部１００４はエッジ特徴量と高周波特徴量とノイズを入力とする。そして、エッジ特徴量と高周波特徴量から補正係数を求め、ノイズを補正する。補正されたノイズをノイズ補正部１００４の出力とする。
【００３７】
本実施の形態と実施の形態１と同様の部分については、その詳細な説明を省略する。本実施の形態と実施の形態１との相違点は高周波特徴量算出部１００３とノイズ補正部１００４である。
【００３８】
本実施の形態において、高周波特徴量算出部１００３について説明する。
【００３９】
図１１は高周波特徴量算出部１００３の動作を説明するためのブロック図である。
【００４０】
図１１において、算出領域抽出部２０１は図２の算出領域抽出部２０１と同様になるので説明を省略する。閾値判定部１１０２は算出領域抽出部２０１で選ばれたブロックの各画素群で高周波成分の大きさを求め、閾値判定処理で２つのクラスに分類する。特徴量算出部１１０３は閾値判定部１１０２で分類した一方のクラスに注目した値を算出する。
【００４１】
閾値判定部１１０２は図３のように算出画素を中心としたフィルタと同サイズの画素群Xに、図１２のサイズが３×３のハイパスフィルタHPFを掛ける。その出力値に対して（数３）の閾値判定を行い、０と１のクラスに分類する。
【００４２】
【数３】
2006331163.tif 000005
【００４３】
ここで、Tは所定の閾値である。ブロック内の全画素群に対してYを求め、例えば図１３のようになる。
【００４４】
特徴量算出部１１０３は（数４）のように閾値判定部１１０２でY=1と判定されたクラスに注目した値を算出する。
【００４５】
【数４】
2006331163.tif 000006
【００４６】
ここで、iはブロックの行、jはブロックの列、C(i,j)はクラスの値である。（数４）で算出した高周波特徴量を高周波特徴量算出部１００３の出力値とする。よって、高周波特徴量は所定の閾値以上の高周波成分を持っている画素群が多いほど大きな値となる。
【００４７】
以上が高周波特徴量算出部１００３の動作の説明である。
【００４８】
本実施の形態において、ノイズ補正部１００４の動作を説明する。
【００４９】
図１４はノイズ補正部１００４の動作を説明するためのブロック図である。
【００５０】
補正係数算出部１４０１は、エッジ特徴量算出部１０１の出力であるエッジ特徴量と高周波特徴量算出部１００３の出力である高周波特徴量を掛け合わせた値に調整係数を掛ける。この値がノイズの大きさを決める補正係数である。
【００５１】
補正部１４０２は、ノイズ発生部１０２の出力であるノイズと補正係数を掛け合わせ、補正したノイズをノイズ補正部の出力とする。
【００５２】
かかる構成によれば高周波特徴量算出部を更に備え、高周波特徴量でノイズの大きさを補正することで、エッジのある場所の数が多い場合と少ない場合を区別できるため、画像の形状に合った変化を与え質感を上げることができる。
【００５３】
また区別できる種類が異なる２つの値でノイズの大きさを補正することにより、さらに質感を上げることができる。
【００５４】
（実施の形態３）
図１５は、本発明の実施の形態３の画像処理装置のブロック図である。図１５において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００５５】
図１５において、総和特徴量算出部１５０４は入力画像情報を入力とし、周波数成分の総和に基づく値である総和特徴量を出力する。分散特徴量算出部１５０５は入力画像情報を入力とし、画素値の分散に基づく値である分散特徴量を出力する。色相特徴量算出部１５０６は入力画像情報を入力とし、画素値の色相に基づく値である色相特徴量を出力する。ノイズ補正部１５０７はエッジ特徴量と総和特徴量と分散特徴量と色相特徴量とノイズを入力とする。そして、エッジ特徴量と総和特徴量と分散特徴量と色相特徴量から補正係数を求め、ノイズを補正する。補正されたノイズをノイズ補正部１５０７の出力とする。
【００５６】
本実施の形態と実施の形態１と同様の部分については、その詳細な説明を省略する。本実施の形態と実施の形態１との相違点は総和特徴量算出部１５０４と分散特徴量算出部１５０５、色相特徴量算出部１５０６、ノイズ補正部１５０７である。
【００５７】
本実施の形態において、総和特徴量算出部１５０４を説明する。
【００５８】
図１６は、総和特徴量算出部１５０４の動作を説明するためのブロック図である。
【００５９】
図１６において、算出領域抽出部２０１は図２の算出領域抽出部２０１と同様になるので説明を省略する。FFT部１６０２は算出領域抽出部２０１で選んだブロックに対してFFTを行う。特徴量算出部１５０３はFFT部１６０２の出力値から振幅成分の総和を算出する。
【００６０】
FFT部１６０２は算出領域抽出部２０１で選んだブロックに対してFFTを行い、周波数ごとの振幅成分を求める。尚、FFTの代わりに、DFTやDCTを行っても良い。
【００６１】
特徴量算出部１６０３は（数５）のように所定の閾値以上の周波数で振幅成分の総和を求める。
【００６２】
【数５】
2006331163.tif 000007
【００６３】
ここで、iは実数軸、jは虚数軸、FFT（i,j）は振幅である。またT1は実数軸の閾値、T2は虚数軸の閾値である。（数５）で算出した総和特徴量を総和特徴量算出部１５０４の出力値とする。よって、総和特徴量は総和の値が大きいほど大きな値となる。
【００６４】
本実施の形態において、分散特徴量算出部１５０５を説明する。
【００６５】
図１７は、分散特徴量算出部１５０５の動作を説明するためのブロック図である。
【００６６】
図１７において、算出領域抽出部２０１は図２の算出領域抽出部２０１と同様になるので説明を省略する。輝度変換部１７０２は算出領域抽出部２０１のブロック内の画素値に対してそれぞれ輝度成分を求める。特徴量算出部１７０３は輝度変換部１７０２の出力から輝度成分の分散を算出する。
【００６７】
輝度変換部１７０２はYCｒCb変換を行い、算出領域抽出部２０１のブロック内の画素値に対してそれぞれ輝度成分を算出する。
【００６８】
特徴量算出部１７０３は輝度変換部１７０２で輝度変換したブロックに対して（数６）のように求める。
【００６９】
【数６】
2006331163.tif 000008
【００７０】
ここで、iはブロックの行、jはブロックの列、Nは行の最大値、Mは列の最大値、Xは輝度成分、Xaveは輝度成分の平均である。（数６）で算出した分散特徴量を分散特徴量算出部１５０５の出力値とする。よって、分散特徴量は分散の値が大きいほど大きな値となる。
【００７１】
本実施の形態において、色相特徴量算出部１５０６を説明する。
【００７２】
図１８は、色相特徴量算出部１５０６の動作を説明するためのブロック図である。
【００７３】
図１８において、色変換部１８０１は注目画素の画素値から色相を分離する。特徴量算出部１７０２は色変換部１８０１の出力値である色相から色相特徴量を求める。
【００７４】
色変換部１８０１はHSV変換を行い、色相角を得る。尚、HSV変換の代わりに、YCｒCb変換やL*a*b*変換を行っても良い。
【００７５】
特徴量算出部１８０２は図１９のような色相が緑成分を多く含むほど大きな値となり、赤成分を多く含むほど小さな値となる関数から色相特徴量を得る。関数で算出した色相特徴量を色相特徴量算出部１５０６の出力値とする。
【００７６】
本実施の形態において、ノイズ補正部１５０７を説明する。
【００７７】
図２０は、ノイズ補正部１５０７の動作を説明するためのブロック図である。
【００７８】
補正係数算出部２００１は、エッジ特徴量算出部１０１の出力であるエッジ特徴量と総和特徴量算出部１５０４の出力である総和特徴量と分散特徴量算出部１５０５の出力である分散特徴量と色相特徴量算出部１５０６の出力である色相特徴量を掛け合わせ、その値に調整係数を掛ける。この値がノイズの大きさを決める補正係数である。
【００７９】
補正部２００２は、ノイズ発生部１０２の出力値と補正係数を掛け合わせ、その値をノイズ補正部１５０７の出力とする。
【００８０】
かかる構成によれば総和特徴量算出部を更に備え、総和に基づく値でノイズの大きさを補正することで、エッジのある場所の数が多い場合と少ない場合を区別できるため、画像の形状に合った変化を与え質感を上げることができる。
【００８１】
また分散特徴量算出部を更に備え、分散に基づく値でノイズの大きさを補正することで、画素値の変化が大きい場合と小さい場合を区別できるため、画像の形状に合った変化を与え質感を上げることができる。
【００８２】
色相特徴量算出部を更に備え、色相特徴量でもノイズの大きさを補正することで、色による付加対象物の絞り込みができ、画像の形状に合った変化を与え質感を上げることができる。
【００８３】
区別できる種類が異なる複数の値でノイズの大きさを補正することにより、さらに質感を上げることができる。
【産業上の利用可能性】
【００８４】
本発明にかかる画像処理装置は、エッジ情報の分布に基づく値でノイズの大きさを補正し画像情報に付加するように構成したので、画像の質感を上げることができ、TV放送受信機やプロジェクターなどのディスプレイ装置に用いることができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態１における画像処理装置のブロック図
【図２】エッジ特徴量算出部のブロック図
【図３】ブロック内の画素ごとの処理を示す図
【図４】エッジ検出フィルタとエッジの方向とクラスの値の関係を示す図
【図５】１ブロックに対するエッジ方向分類部の処理を示すフローチャート
【図６】エッジ方向検出部の処理結果の一例を示す図
【図７】ランレングス行列を示す図
【図８】エッジ特徴量を求める関数を示す図
【図９】実施の形態１におけるノイズ補正部の構成を示すブロック図
【図１０】本発明の実施の形態２における画像処理装置のブロック図
【図１１】高周波特徴量算出部のブロック図
【図１２】ハイパスフィルタの一例を示す図
【図１３】閾値判定部の処理結果の一例を示す図
【図１４】実施の形態２におけるノイズ補正部の構成を示すブロック図
【図１５】本発明の実施の形態３における画像処理装置のブロック図
【図１６】総和特徴量算出部のブロック図
【図１７】分散特徴量算出部のブロック図
【図１８】色相特徴量算出部のブロック図
【図１９】色相特徴量を求める関数を示す図
【図２０】実施の形態３におけるノイズ補正部の構成を示すブロック図
【図２１】ノイズを付加することで質感を上げる従来技術のブロック図
【符号の説明】
【００８６】
１０１    エッジ特徴量算出部
１０２    ノイズ発生部
１０３    ノイズ補正部
１００３    高周波特徴量算出部
１５０４    総和特徴量算出部
１５０５    分散特徴量算出部
１５０６    色相特徴量算出部
【図１】
2006331163.tif 000009
【図２】
2006331163.tif 000010
【図３】
2006331163.tif 000011
【図４】
2006331163.tif 000012
【図５】
2006331163.tif 000013
【図６】
2006331163.tif 000014
【図７】
2006331163.tif 000015
【図８】
2006331163.tif 000016
【図９】
2006331163.tif 000017
【図１０】
2006331163.tif 000018
【図１１】
2006331163.tif 000019
【図１２】
2006331163.tif 000020
【図１３】
2006331163.tif 000021
【図１４】
2006331163.tif 000022
【図１５】
2006331163.tif 000023
【図１６】
2006331163.tif 000024
【図１７】
2006331163.tif 000025
【図１８】
2006331163.tif 000026
【図１９】
2006331163.tif 000027
【図２０】
2006331163.tif 000028
【図２１】
2006331163.tif 000029