(57)【要約】【課題】  簡単な演算処理でより広い範囲の暗部の階調再現性の向上を行う画像処理技術を提供する。【解決手段】  画像内の画素値の平均値を算出し、前記画像内の画素値の最大値を算出し、前記画像内の画素値の最小値を算出し、前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換することを特徴とする画像処理方法。  画像内の画素値の平均値を算出する手段と、前記画像内の画素値の最大値を算出する手段と、前記画像内の画素値の最小値を算出する手段と、前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換する手段とを備えたことを特徴とする画像処理装置。【選択図】      図２
2008271316.tif 000002
【特許請求の範囲】
【請求項１】
画像内の画素値の平均値を算出し、
前記画像内の画素値の最大値を算出し、
前記画像内の画素値の最小値を算出し、
前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換することを特徴とする画像処理方法。
【請求項２】
画像内の画素値の平均値を算出し、
画素値の採り得る最大値から前記平均値を引いた値と前記画像内の画素値の最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換することを特徴とする画像処理方法。
【請求項３】
前記区間の長さに応じて前記特性における前記増加量を単調減少することを特徴とする請求項１または請求項２に記載の画像処理方法。
【請求項４】
前記画像内の所定階調以下の画素数を算出し、
前記画像内の全画素数に対する前記所定階調以下の画素数の割合に応じて前記増加量を単調増加することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記変換特性は前記区間で円錐曲線または対数関数であることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記変換特性は前記区間で円錐曲線であって、前記円錐曲線は前記画像内の画素値にこの画素値の平方根値を加えた値を基に形成されていることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
画像内の画素値の平均値を算出する手段と、
前記画像内の画素値の最大値を算出する手段と、
前記画像内の画素値の最小値を算出する手段と、
前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換する手段とを
備えたことを特徴とする画像処理装置。
【請求項８】
画像内の画素値の平均値を算出する手段と、
前記画像内の画素値の最大値を算出する手段と、
前記画像内の画素値の最小値を算出する手段と、
前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換する手段と、
この置換された画素値の画像を表示する手段とを
備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に係わり、特に暗部の再現性向上に関する。
【背景技術】
【０００２】
デジタルテレビやパソコンにおいて、表示画像の暗部の階調再現性を向上させるニーズがある。従来、暗部の階調再現性を向上させる方法としては、一つには輝度信号をガウシアンフィルタを用いて照明成分と反射成分に分け処理するレチネックスという方法が用いられている。しかしこのレチネックスという方法では、暗部の階調再現性の拡大には優れてはいるものの、画素単位でガウシアンフィルタ演算が必要であり、非常に演算処理が多いという欠点があった。
【０００３】
また、演算処理がより少ない方法として、ヒストグラムを用いて暗部の階調を引き伸ばす方法や、暗部の面積に応じて固定的な範囲で暗部の階調を広げる方法が用いられてきた。例えば、特許文献１に記載されている方法は、映像信号の階調位置頻度数分布を求め、その頻度数が多い分布の個所ほど階調位置分布を広く設定した画素変換を行なうというものである。
【０００４】
しかしながら、ヒストグラムや暗部の面積に応じて固定的な範囲で暗部階調再現する方法では、小さな範囲で暗部の階調を広げることが出来るが、大きな範囲の暗部の階調拡大を行うことは出来なかった。分布の形状の変化に対して安定な大局的な処理を簡単に見出すことが困難だったからである。
【特許文献１】特開２００２−８４４３６号公報（５頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、簡単な演算処理でより広い範囲の暗部の階調再現性の向上を行う画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理方法は、画像内の画素値の平均値を算出し、前記画像内の画素値の最大値を算出し、前記画像内の画素値の最小値を算出し、前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換することを特徴とする。
【０００７】
また本発明の画像処理装置は、画像内の画素値の平均値を算出する手段と、前記画像内の画素値の最大値を算出する手段と、前記画像内の画素値の最小値を算出する手段と、前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換する手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、簡単な演算処理でより広い範囲の暗部の階調再現性の向上を行う画像処理技術が得られる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施例を説明する。
【実施例１】
【００１０】
本発明による実施例１を図１乃至図３を参照して説明する。
図１は、この発明の一実施例を示すブロック構成図である。パソコンに応用する場合の実施例である。適用ブロックとしては後述のGPUの中の画質調整回路1620の後に適用する場合について示すが、周辺構成は従来構成と変わらないので要所のみを記載する。
【００１１】
画質調整回路1620からの出力信号1621は、YUVフレームメモリ10とY信号画素取り込み回路20に入る。Y信号画素取り込み回路20で取りこまれた信号は、平均値算出回路30、最大値と最小値検出回路40、低階調画素数カウント回路50、全画素数カウント回路60に至る。平均値算出回路30で算出された平均値算出結果31と、最大値と最小値算出回路40で算出された最大値と最小値の検出結果41と、低階調画素数カウント回路50で算出された低階調画素数カウント結果51と、全画素数カウント回路60で算出された全画素数カウント結果61は、それぞれY階調変換特性作成回路70に至る。Y階調変換特性作成回路70では、画像全体の画素値の平均値と最大値と最小値から変換カーブ特性を作成する。Y階調変換特性作成回路70で作成されたY階調変換指示信号71は、UV階調変換特性作成回路90と画素置換処理回路100に至る。UV階調変換特性作成回路90では、Y信号の階調の変化応じてUV信号の階調も同様に変化させるような変換特性を作成する。UV階調変換特性作成回路90で作成されたUV階調変換指示信号91は、画素値間処理回路100に至る。画素値間処理回路100では、YUVフレームメモリ10からの出力信号11に対して、Y階調変換指示信号71とUV階調変換指示信号91により画素置換処理が行われる。
【００１２】
図２に図１中のY階調変換特性作成回路70で作成されるカーブ特性の一例を示す。図２の一例では、画素値の最小値Ｏ点と（最大値−平均値）Ｂ点の間を上側に凸となるようなカーブ特性としてある。上側に凸となるカーブ特性の例は、例えば入力画素値をｘ、出力画素値をｙとした場合に最小値と(最大値−平均値)の前半の中間地点、即ち（最小値＋最大値−平均値）÷２の地点まではｙ＝ｘ＋√ｘ（ｘの平方根、以下同様）となる関数で表現でき、中間地点から後半はその関数を中間地点からｙ=ｘ上に引いた垂直線に対して図２のＡ点で接続し線対称な関数とすれば容易に表現できる。
【００１３】
式を変形すると、（ｙ−ｘ）＾2＝ｘ、但しｘは非負となる（＾2は二乗の意、以下同様）。これは円錐曲線の範疇にある。中間地点からｙ=ｘ上に引いた垂直線に対してｙ＝ｘ＋√ｘと線対称な関数は、ｘｙ座標に対して＋４５°回転したｕｖ座標で求めて、逆変換するとｘ＝ｙ−√（Ｌ−ｙ）なる逆関数であることが導ける。この逆関数上のｙの値が求め難い場合には、ｙ＝ｘ＋√ｘ上で線対称な位置のｘ、ｙ座標を通るｙ＝ｘに平行な線を補助線として考え求めて
【００１４】
この上側に凸となる基本関数をｙ=f(ｘ)とし、上側に凸となる区間長（（最大値−平均値）−最小値）をL、低階調画素数のカウント結果による凸の振幅の大小に影響を与える係数をAとすると、ｙ=f(ｘ)の関数に対して、振幅の変化と区間長の変化（区間長が大きくなると振幅を抑圧する）を考慮した関数を  Y=A×f(ｘ)÷L  と表現できる。ここで、g階調以下の低階調画素数のカウント数をn、全画素数をALLとするとA=k×(n÷g)÷(ALL÷Dmax) と表現でき、低階調域の画素数に応じてY=f(ｘ)の関数の振幅を変化させることができる。後ろの(n÷g)を(ALL÷Dmax)の部分は、言わば低階調域の画素数密度を全領域の画素数密度で正規化していることになる。なお、Dmaxはダイナミックレンジの最大値（8bitの階調表現では  255  の値）で、kは定数である。例えばｋ＝αＬと置くと、大まかにはＹ≒αｆ（ｘ）となり、αがＬに反比例して凸を強める、あるいはＬに比例して凸量を抑圧するという性質を持たせていると言える。なおDmaxの代わりにDmaxに近い値または画面内で計算した輝度の最大値または画面内で計算した輝度の最大値に近い値を用いてもよい。また、ダイナミックレンジの最小値（8bitの階調表現では0の値）と画面内で計算した輝度の最小値との関係は図２では煩瑣になるため省略しているが、同様に４通りの考え方で適するものを利用すればよい。
【００１５】
また、UV階調変換特性90は、UVのオフセット（±128階調表示）を考慮した図２と同様の特性を持たせることにより、Y信号の変化に応じてUV信号を変化させることができる。なお、本説明ではYUV信号として説明を行ったがRGB信号として処理しても同様の効果が得られることは言うまでもない。
【００１６】
さらには、本説明ではGPUの中の画質調整の次段の処理として説明を行ったが、CPUとNorth Bridge、Main Memoryで構成されるソフトウエアによる処理でも同様の効果が得られることも言うまでもない。例えば、図３は従来同様のパソコンの映像信号のフローを示したものである。
【００１７】
図３の構成を簡単に説明する。アナログ放送受信部からの映像信号出力1000 と映像信号入力1001 はスイッチ1010 で切り替えられてA/D＆ビデオデコーダ回路1100 でベースバンド信号（YUV）としてデジタル化され、PCIバス1101 を経由してSouth Bridge1500 に入る。South Bridge1500 にはODD1510 やHDD1520 が接続されている。South Bridge1500 から出た信号はNorth Bridge1400 とCPU1200 、Main Memory1300 によりソフトウエア処理が施され、GPU1600 に至る。GPU1600 に入った信号は、正方スケーラ回路1610 でピクセル形状を整えられ、次に画質調整回路1620 にて画質バランスを整えられ、YUV->RGB変換回路1630 で信号変換され、αブレンド＆スケーラ回路1640 でディスプレーサイズに画像サイズを変更された後、8->6bit削減＆ディザ回路1650 にて６bitにデータサイズを変更された後ディザが施される。画質調整回路1620では、一般的なブライトネス調整、コントラスト調整がなされる。
【００１８】
このソフトウエアによる処理では、必要に応じスケーラや画質調整の処理が後に来ることを考慮した処理を行う。ソフトウエアによる処理の効果はＧＰＵが汎用チップで構成できることがある。
【実施例２】
【００１９】
本発明による実施例２を図２及び図４乃至図５を参照して説明する。実施例１と共通する部分は説明を省略する。図４はデジタルテレビの映像信号のフローを示したものである。
【００２０】
図４の構成を簡単に説明する。アナログ放送受信部1000 からの映像信号出力と映像信号入力1001 はスイッチ1010 で切り替えられてA/D＆ビデオデコーダ回路1100 でベースバンド信号（YUV）としてデジタル化されバックエンドプロセッサ2300 に送られる。デジタル放送受信部2100 で受信されたデジタル放送信号も、MPEG2-TSデコーダ回路2200 で信号が復調された後同じくバックエンドプロセッサ2300 に送られる。バックエンドプロセッサ2300 に入ったそれぞれの信号は、スケーラ回路2310 で画像サイズが調整され、画質調整回路2320 で画質が調整される。
【００２１】
次に、階調変換部2325において、曲線による階調変換が行われる。その後は、YUV-RGB変換回路2330 でRGB信号に変換された後、10->8変換＆階調補正回路2340 で2bit削減された後、階調補正回路にてFRC（フレームレートコントロール）される。階調補正された信号はD/A回路2400 でD/A変換された後、ディスプレー部2500 に送られる。 画質調整回路2320 では、コントラスト調整及びブライトネス調整の他に暗部階調再現回路を搭載しているのが一般的である。
【００２２】
図５に本実施例をデジタルテレビに応用した場合の構成例を示す。画質調整回路2320からの出力信号2321は、破線で囲った階調変換部2325のYUVフレームメモリ10とY信号画素取り込み回路20に入る。図５は本実施例で、デジタルテレビへ適用した場合の例であるが、ブロック構成、アルゴリズムは実施例１の図１のパソコンへ適用した場合と同様なので説明は省略する。
【００２３】
また、ｆ（ｘ）−ｘとして実施例１の√ｘに代わって対数関数を用いると例えば、図２の曲線ＯＡをｖ＝ａ＊ｌｎ（ｕ＋１）とすると（ｌｎは自然対数）、曲線ＡＢはａ＊ｌｎ（√２Ｌ−ｕ＋１）となる。これをｘｙ座標に変換したときにおけるｙの数値解が簡単には求め難い場合には、予め例えばY階調変換特性作成回路70に図示せぬＲＯＭ等で、Ｌ毎に数値テーブルを設けてそれを引くようにしておけばよい。
【実施例３】
【００２４】
本発明による実施例３を図６及び図７を参照して説明する。実施例１、２と共通する部分は説明を省略する。実施例１で触れた円錐曲線の代表的なものとしては、楕円と放物線と双曲線があり、以下にｆ（ｘ）として各曲線を用いた例を示す。
【００２５】
楕円の式は、ｕｖ座標で（ｕ−Ｌ／√２）＾２／ａ＾２＋（ｖ＋ｃ）＾２／ｂ＾２＝１である（ａ、ｂ、ｃは正定数）。ｕ＝０，√２Ｌでｖ＝０となるように設定できる。ｘｙ座標で第一象限に入れるためには、ｕ＝０における接線の傾きが４５°未満になるように定数を定めれば良い。
【００２６】
放物線の式は、ｕｖ座標でｖ＝−ａ（ｕ−Ｌ／√２）＾２＋ｂである（ａ、ｂは正定数）。ｕ＝０，√２Ｌでｖ＝０となるように設定でき、やはりｘｙ座標で第一象限に入れるためにはｕ＝０における接線の傾きが４５°未満になるように定数を定めれば良い。
【００２７】
双曲線の式は、（ｘ＋ａ）（ｙ−ｂ）＝−ｃである（ａ、ｂ、ｃは正定数）。ｘ＝０，Ｌでｙ＝ｘとなるように設定できる。図６はＬ＝１２８のときの描画例である。ａ＝１６、ｂ＝１４４、ｃ＝２３０４の場合で、横軸がｘ、縦軸がｙである。
【００２８】
図７は数値を整数テーブルとしたものである。ｘに対しａ＝４、ｂ＝３６、ｃ＝１４４とした場合のＬ＝３２（ｙ３２）の全部と、図６のＬ＝１２８（ｙ１２８）の一部の数値を代表として表してある。各Ｌに応じて適切なａ、ｂ、ｃの関数について揃えておけばよい。
【００２９】
本例では共通してｆ（ｘ）が垂直線上での継ぎ目がなく滑らかである。
以上の実施例では、Ｙ階調変換特性作成回路において、画像の平均値、最大値、最小値、低階調領域の量を用いて変換カーブ特性を作成し、それに基づいて画素置換処理を行なうことにより、暗部の階調再現性向上を図った。以上述べてきたように、従来並の簡単な演算処理を行うだけで、大幅な暗部の階調再現性向上を容易に行うことが可能となる。例えば、逆光のシーンの映像では、画素の最大値は余り低くならないが比して平均値はかなり低くなることが多い。このようなときに広範囲な暗部の階調再現性向上を図れるものである。
【００３０】
なお、この発明は上記実施例に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば、階調変換曲線ではなく階調変換直線を用いても良い。上記整数テーブルは、２５６本程度の線分からなる区分的階調変換直線とも言えよう。
【００３１】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００３２】
【図１】この発明の一実施例を示すブロック構成図。
【図２】同実施例のY階調変換特性例。
【図３】パソコンの映像信号のフロー。
【図４】この発明の第２の実施例を示すデジタルテレビの映像信号のフロー。
【図５】同実施例のブロック構成図。
【図６】この発明の第３の実施例を示す特性図。
【図７】同実施例に用いられる数値テーブルの略図。
【符号の説明】
【００３３】
１０…YUVフレームメモリ、２０…Y信号画素取り込み回路、３０…平均値算出回路、４０…最大値と最小値検出回路、５０…低階調画素数カウント回路、７０…Y階調変換特性作成回路、９０…UV階調変換特性作成回路、１００…画素置換処理回路、２３２５…階調変換部。
【図１】
2008271316.tif 000003
【図２】
2008271316.tif 000004
【図３】
2008271316.tif 000005
【図４】
2008271316.tif 000006
【図５】
2008271316.tif 000007
【図６】
2008271316.tif 000008
【図７】
2008271316.tif 000009