(57)【要約】【課題】  高彩度部のくすみを抑え、γカーブの適用が遅延しない画像処理方法を提供することを目的とする。【解決手段】  画像処理方法は、入力画像の特徴に応じてγ変換を行なう画像処理方法において、輝度信号のヒストグラムを検出するステップと、検出したヒストグラムに基づき、前記輝度信号を色空間変換して得られたＲＧＢ信号をγ変換するステップとを有する。【選択図】  図１
2006295686.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の特徴に応じてγ変換を行なう画像処理方法において、
輝度信号のヒストグラムを検出するステップと、
検出したヒストグラムに基づき、前記輝度信号を色空間変換して得られたＲＧＢ信号をγ変換するステップと、
を有する画像処理方法。
【請求項２】
前記入力画像の信号をプログレッシプ信号に変換するステップを更に有し、
前記γ変換するステップは前記プログレッシプ信号に変換するステップを実行後に実行される、
請求項１記載の画像処理方法。
【請求項３】
前記γ変換するステップが処理するＲＧＢ信号は１フレーム分遅延されている、
請求項１または２記載の画像処理方法。
【請求項４】
入力画像の特徴に応じてγ変換を行なう画像処理方法において、
前記入力画像に対応する輝度データ群を構成する輝度データの度数分布を求めるステップと、
前記入力画像に対応する色成分データ群を構成する色成分データの度数分布を求めるステップと、
前記輝度データの度数分布と前記色成分データの度数分布を統合した情報に基づき、前記輝度信号を色空間変換して得られたＲＧＢ信号をγ変換するステップと、
を有する画像処理方法。
【請求項５】
前記色成分データの度数分布を求めるステップは、高彩度な画素のみに基づき度数分布を求める、
請求項４に記載の画像処理方法。
【請求項６】
前記γ変換するステップが処理するＲＧＢ信号は１フレーム分遅延されている、
請求項４または５記載の画像処理方法。
【請求項７】
前記統合した情報は、前記輝度データの高輝度の度数分布と前記色成分データの度数分布を統合した情報である、
請求項４または５に記載の画像処理方法。
【請求項８】
前記色成分データの度数分布を求めるステップは、前記入力画像の信号または前記入力画像を色空間変換して得られたＲＧＢ信号から度数分布を求める、
請求項４に記載の画像処理方法。
【請求項９】
前記色成分データの度数分布を求めるステップは、ＲＧＢ信号の最大値の度数分布を求める、
請求項８に記載の画像処理方法。
【請求項１０】
前記色成分データの度数分布を求めるステップは、前記ＲＧＢ信号の最大値が大きい画素のみに基づき度数分布を求める、
請求項９に記載の画像処理方法。
【請求項１１】
画像処理方法であって、
形成すべき第１の画像に対応する輝度データ群を構成する輝度データの値の度数分布を
求めるステップと、
前記第１の画像もしくは前記第１の画像と時間軸上で近接して形成される第２の画像に対応する色成分データ群を構成する色成分データの値の度数分布を求めるステップと、
前記輝度データの値の度数分布と前記色成分データの値の度数分布を統合した情報に基づいて、前記第１の画像もしくは前記第２の画像もしくは前記第１の画像と前記第２の画像とに時間軸上で近接して形成される第３の画像の形成を行うステップと、
を有する請求項１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法に関する。
【背景技術】
【０００２】
「特開平０３−１２６３７７号公報（特許文献１）」は、輝度信号のヒストグラムを検出し輝度信号をγ変換する手法が開示する。
【０００３】
「特開２００４−１７９６８６号公報（特許文献２）」は、ＲＧＢ信号のヒストグラムを検出しＲＧＢ信号をγ変換する手法を開示する。
【特許文献１】特開平０３−１２６３７７号公報
【特許文献２】特開２００４−１７９６８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１及び特許文献２はいずれも同じ種類の信号に対してヒストグラムの検出及びγ変換を実行する手法を開示する。特許文献１の手法では、輝度信号をγ変換すると高彩度部のくすみが発生する。特許文献２の手法では、ＲＧＢ信号のヒストグラムを検出するとγカーブの適用が遅れる。
【０００５】
図９に示す画像が入力された場合を考える。図中の１００は赤い花である。この画像は全体的に輝度が高い画像であるが、花１００の部分だけは彩度が高く輝度が低い信号である。赤は輝度信号に換算する際の乗算係数が小さいため、花１００のように彩度が高い赤は輝度があまり高くない。
【０００６】
このような画像が入力された場合、特許文献１により処理した場合の例を説明する。図１０は特許文献１により図９の画像を処理した際の例である。図１０（ａ）は図９のヒストグラムである。図９は全体的に明るい画像であるため、高輝度側のヒストグラムが高い形となる。
【０００７】
図１０（ｂ）は特許文献１により処理した際のγカーブである。低輝度部のヒストグラムが低いため黒がしずんだカーブになる。このようなγカーブによりγ変換すると、赤い花がくすんだ色になってしまう。
【０００８】
例えば、入力画像において花１００の部分の信号が以下の値であったとする。但し、画像信号は８ビットデータとする。
【０００９】
Ｒ＝１８０      （式１０）
Ｇ＝５０
Ｂ＝３０
テレビ信号は輝度信号Ｙと色差信号ＵＶにより送信されてくる。このＹＵＶ信号で（式１０）の信号を表記すると以下になる。
【００１０】
Ｙ＝７６        （式１１）
Ｕ＝−２４
Ｖ＝６５
輝度信号Ｙは７６と低い値であることが分かる。
【００１１】
特許文献１の手法によると、輝度信号Ｙに対して図１０（ｂ）に示すγ変換を行なう。この場合、輝度信号Ｙが大きい背景部はほぼ元信号のレベルに変換されるが、輝度信号が低い花１００は黒がしずむため暗い輝度に変換される。例えば、（式１１）の輝度信号Ｙ＝７６が以下のよう半分の値に変換されたものとする。
【００１２】
Ｙ＝３８        （式１２）
このように変換された花１００のＲＧＢデータは以下である。
【００１３】
Ｒ＝１４０      （式１３）
Ｇ＝１２
Ｂ＝０
したがって、特許文献１の手法により図９の画像をγ変換すると、明るい背景部は元信号とほぼ同等のままで、高彩度な花１００は暗くくすんだ色になり画質が劣化する。
【００１４】
このような高彩度部のくすみはＲＧＢ信号をγ変換することにより抑制できる。特許文献２はＲＧＢ信号のヒストグラムを検出し、ＲＧＢ信号をγ変換している。
【００１５】
しかし、動画像のように画像が時々刻々と変化している場合、ヒストグラム検出した画像に対して検出されたヒストグラムから得た特性でγ変換をすることができない。なぜなら、ヒストグラム検出が終了すると同時にγ変換を行なうため、γカーブの書換えが間に合わず過去のγカーブを用いた変換になってしまうためである。
【００１６】
このような場合、シーンが変わっても過去のγカーブでγ変換を行なうことになり、特に低輝度部では人間の感度が高いため、好ましくない。
【００１７】
本発明は、高彩度部のくすみを抑え、γカーブの適用が遅延しないことを可能にする画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明は上記目的を達成するため、入力画像の特徴に応じてγ変換を行なう画像処理方法において、輝度信号のヒストグラムを検出するステップと、検出したヒストグラムに基づき、輝度信号を色空間変換して得られたＲＧＢ信号をγ変換するステップと、を有することを特徴とする。
【発明の効果】
【００１９】
本発明によると、高彩度部のくすみを抑え、γカーブの適用が遅延しないことを可能にする。
【発明を実施するための最良の形態】
【００２０】
＜実施例１＞
図１は本実施例の回路ブロック図である。１はＩＰ（インターレース→プログレッシブ）変換部、２は色空間変換部、３はγテーブル、４はカーブ生成部、５はヒストグラム検出部、６は演算部である。
【００２１】
入力された画像データＹＵＶはＩＰ変換部１に、ＹＵＶのうち輝度信号Ｙはカーブ生成部４に入力される。本実施例では、ＹＵＶは８ビットのデジタルデータとする。ＹＵＶはテレビ信号として送信される信号であり、Ｙが輝度信号、ＵＶが色差信号を表している。
【００２２】
カーブ生成部４に入力された輝度信号Ｙは、ヒストグラム検出部５でヒストグラムカウントされる。本実施例では、０〜２５５の階調レンジを４つのカテゴリーに分割してヒス
トグラム検出するものとする。つまり、入力された輝度信号Ｙを、０〜６３階調、６４〜１２７階調、１２８〜１９１階調、１９２〜２５５階調の４カテゴリーでヒストグラム検出する。
【００２３】
０〜６３階調のカテゴリーで検出されたヒストグラムをｈ１、６４〜１２７階調のカテゴリーで検出されたヒストグラム１をｈ２、１２８〜１９１階調のカテゴリーで検出されたヒストグラムをｈ３、１９２〜２５５階調のカテゴリーで検出されたヒストグラムをｈ４とする。ヒストグラムｈ１〜ｈ４は次の演算部６に入力される。
【００２４】
演算部６では、ヒストグラムｈ１〜ｈ４により適切なγカーブを生成する。本実施例では公知例であるヒストグラム平均化法を用いる。
【００２５】
図２はヒストグラム平均化法を説明する図である。図２（ａ）はヒストグラム検出部で検出されたヒストグラムである。ヒストグラム検出部５では、毎フィールド一フィールド分のヒストグラムを検出している。図２（ａ）は６４〜１２７階調のヒストグラムが多く、比較的暗い画像であったことを示している。
【００２６】
検出されたヒストグラムから累積ヒストグラムを計算する。図２（ｂ）は図２（ａ）の累積ヒストグラムを示している。ヒストグラム平均化法においては、図２（ｂ）の破線に示すように、累積ヒストグラムを補間してカーブを求める。
【００２７】
図２（ｂ）の破線は最大値が画面の全画素数であるため、これを出力最大値にスケーリングする。例えば、画面の全画素数が６４０×４８０＝３０７２００画素であった場合を考える。図２（ｂ）の破線の最大値は３０７２００である。これを、γカーブとして使用するために、出力最大値２５５となるようにスケーリングする。具体的には、破線のカーブを（２５５／３０７２００）倍することになる。
【００２８】
このようにスケーリングされたカーブをγカーブとして入力データをγ変換する。図２（ｃ）はγカーブを表している。演算部６では、得られたγカーブをγテーブル３に書き込む。
【００２９】
ＩＰ変換部１は、インターレースで入力された信号をプログレッシブ信号に変換する。IP変換等の処理は、ＲＧＢ信号で処理するよりもＹＵＶ信号で処理した方がコストを低減できる場合が多いため、本実施例ではＩＰ変換をＹＵＶ信号に対して行なうものとする。ＩＰ変換部１には不図示のフレームメモリがあり、ＩＰ変換を行なう際に１フレーム分画像が遅延する。
【００３０】
図３はＩＰ変換によるフレームの遅延と、γカーブ適用のタイミングを説明する図である。入力画像Ａ〜Ｄはインターレース画像であり、Ａ、Ｃが奇数フィールド、Ｂ、Ｄが偶数フィールドとする。期間１〜４は、それぞれ画像Ａ〜Ｄの期間を示している。各期間とも１／６０秒とする。ＩＰ変換により、画像Ａ〜Ｄはそれぞれプログレッシブ画像であるＡ’〜Ｄ’に変換される。
【００３１】
まず、期間１でフィールドＡがＩＰ変換部１に入力される。ＩＰ変換部１のフレームメモリはフィールドＡの画像データをメモリする。また、期間１ではヒストグラム検出部５において、フィールドＡのヒストグラムｈＡが検出される。ｈＡはｈ１〜ｈ４の４値からなるヒストグラムである。
【００３２】
検出されたフィールドＡのヒストグラムｈＡを用いて、演算部６でγカーブγＡを生成する。この演算部６でのカーブ生成処理は、ヒストグラムｈＡを検出した後に行なうため
期間２に処理される。
【００３３】
演算部６で生成されたγカーブγＡは、期間２が終了したと同時にγテーブル３に書き込まれる。γカーブγＡは期間３のタイミングで適用が可能になる。図３において太線矢印はγカーブを適用するタイミングを示している。
【００３４】
ＩＰ変換部１の出力画像は、ＩＰ変換部１内のフレームメモリにより１フレーム（１／３０秒）遅延して出力される。期間１に入力された画像Ａは、１フレーム遅延し期間３にＩＰ変換部１から出力される。
【００３５】
ＩＰ変換部１から出力された信号は、色空間変換部２でＲＧＢ信号に変換される。
【００３６】
期間３では画像Ａから得られたγカーブγＡを適用できるため、画像ＡをＩＰ変換、色空間変換した画像はγＡにより変換することができる。したがって、ヒストグラムを検出した画像に対して遅延することなくγ変換を行なうことができる。
【００３７】
本実施例では、ＩＰ変換にフレームメモリを持ちここでフレーム遅延が発生する例を説明したが、ＩＰ変換以外でもフレーム遅延が発生する処理があれば、その遅延を利用してγカーブを生成することが可能である。
【００３８】
また、本実施例のようにＲＧＢ信号をγ変換することにより高彩度部のくすみといった画質劣化もなくγ変換することが可能である。
【００３９】
＜実施例２＞
図４は本実施例の回路ブロック図である。１はＩＰ（インターレース→プログレッシブ）変換部、２は色空間変換部、３はγテーブル、４はカーブ生成部、１０は輝度ヒストグラム検出部、１１は色ヒストグラム検出部、１２はヒストグラム処理部、６は演算部である。図１と同じブロックには同じ符号を付した。
【００４０】
入力された画像データＹＵＶは、ＩＰ変換部１及び、カーブ生成部４に入力される。
【００４１】
カーブ生成部４に入力された輝度信号Ｙは、輝度ヒストグラム検出部１０に入力されヒストグラム検出される。本実施例では、実施例１同様０〜２５５の階調レンジを４つのカテゴリーに分割してヒストグラムｈ１〜ｈ４を検出するものとする。
【００４２】
カーブ生成部４に入力された色差信号ＵＶは、色ヒストグラム検出部１１に入力されヒストグラム検出される。
【００４３】
本実施例の色ヒストグラム検出部１１の詳細図を図５に示す。図中の２０は彩度算出部、２１はカウンタである。
【００４４】
入力された色差データＵＶは彩度算出部２０で彩度Ｃｒが計算される。彩度Cｒの計算
式は以下である。
【００４５】
Ｃｒ＝Ｓｑｒｔ（Ｕ＾２＋Ｖ＾２）  （式１）
ここで、Ｕ＾２はＵの２乗を表し、Ｖ＾２はＶの２乗を表す。
【００４６】
彩度検出部２０で求められた彩度Ｃｒは、カウンタ２１に入力される。
【００４７】
色ヒストグラム検出部１１では、入力画像内で高彩度な画素がどの程度存在するかを検
出する。そのため、高彩度な画素のみをヒストグラム検出する。カウンタ２１は（式１）により計算された彩度Ｃｒが１２８〜２５５の間にある画素、つまり高彩度な画素のみをカウントする。カウントされたヒストグラムをｈ５とする。ｈ５が大きければ高彩度な画素が多い画像、ｈ５が小さければ高彩度な画素が少ない画像ということが検出できる。
【００４８】
１フィールド分の輝度ヒストグラムｈ１〜ｈ４及び、色ヒストグラムｈ５が検出されると、これらのヒストグラムデータはヒストグラム処理部１２に入力される。ヒストグラム処理部１２では入力されたヒストグラムに対して以下のようにｈ１’〜ｈ４’を求める。
【００４９】
ｈ１’＝ｈ１    （式２）
ｈ２’＝ｈ２
ｈ３’＝ｈ３
ｈ４’＝ｈ４＋ｈ５
つまり、ｈ１’〜ｈ３’はｈ１〜ｈ３をそのまま使い、ｈ４’はｈ４とｈ５の和をとる。このようにして得られたヒストグラムｈ１’〜ｈ４’を用い、演算部６では実施例１と同様にヒストグラム平均化法によりγカーブを生成する。
【００５０】
このように処理することで画面全体が高彩度な画像が入力された場合、ｈ４’が大きな値となり高階調側を飛ばさないγカーブを生成する。
【００５１】
赤や青の高彩度な画像が入力された場合、輝度データのみをヒストグラム検出しγ変換を行なうと、高輝度側のヒストグラムデータが検出されないため高階調側を飛ばすようにγカーブが生成され色とびした画像になる場合がある。本実施例のように高彩度のヒストグラムを高輝度のヒストグラムに加算することにより、高彩度な画像に対しても色とびがなく好ましいγ変換が可能となる。
【００５２】
また、実施例１と同様にＲＧＢ信号をγ変換することにより高彩度部のくすみが発生せず、ＩＰ変換のフレームメモリによる画像信号の遅延を利用することでカーブの適用が遅延することもない。ここで、ＲＧＢ信号は１フレーム分遅延されている。
【００５３】
＜実施例３＞
本実施例の回路ブロック図は実施例２と同様に図４である。実施例２と異なるのは色ヒストグラム検出部１１の構成である。
【００５４】
本実施例の色ヒストグラム検出部１１の詳細図を図６に示す。３０、３１は絶対値検出部、３２は加算器、３３はカウンタである。
【００５５】
本実施例では色差信号ＵＶは−１２８〜１２７の間のデータであることを想定している。絶対値検出部３０は色差信号Ｕの絶対値を、絶対値検出部３１はＶの絶対値をそれぞれ検出する。検出された絶対値｜Ｕ｜、｜Ｖ｜は加算器３２に入力され、彩度Ｃｒとして出力される。つまり彩度Ｃｒは以下の式で表される。
【００５６】
Ｃｒ＝｜Ｕ｜＋｜Ｖ｜  （式３）
厳密な意味での彩度Ｃｒは（式１）により得られるが、（式３）により得られる彩度Ｃｒであっても特に問題はない。
【００５７】
得られた彩度Ｃｒは実施例２と同様に、カウンタ３３で高彩度な画素のみカウントされる。このようにして得られた色ヒストグラムｈ５を用いて実施例２と同様に（式２）の処理を行なう。
【００５８】
このような処理を行なうことにより、実施例２と同様高彩度な画像に対しても色とびがなく、好ましいγ変換が可能となる。
【００５９】
＜実施例４＞
図７は本実施例の回路ブロック図である。１はＩＰ（インターレース→プログレッシブ）変換部、２は色空間変換部、３はγテーブル、４はカーブ生成部、１０は輝度ヒストグラム検出部、４０は色ヒストグラム検出部、１２はヒストグラム処理部、６は演算部である。図１と同じブロックには同じ符号を付した。
【００６０】
入力された画像データＹＵＶはＩＰ変換部１に入力され、ＹＵＶのうち輝度信号Ｙはカーブ生成部４に入力される。
【００６１】
カーブ生成部４に入力された輝度信号Ｙは、輝度ヒストグラム検出部１０でヒストグラムカウントされる。本実施例では、実施例２と同様にｈ１〜ｈ４のヒストグラムを検出するものとする。ヒストグラムｈ１〜ｈ４は次のヒストグラム処理部１２に入力される。
【００６２】
本実施例の色ヒストグラムは、色空間変換されたＲＧＢ信号からヒストグラムを検出する。本実施例の色ヒストグラム検出部４０の詳細図を図８に示す。
【００６３】
図８で５０は最大値検出部、５１はカウンタである。色ヒストグラム検出部４０に入力されたＲＧＢ信号は、最大値検出部５０でＲＧＢの３値で最大の値が検出される。カウンタ５１では検出されたＲＧＢの最大値で１９２〜２５５階調の画素をカウントし、ｈ５として出力する。
【００６４】
高彩度な画像においては、ＲＧＢのうち少なくとも一つの信号が、例えば１９２〜２５５階調のような大きな値になっている場合が多い。そのため、本実施例のように色ヒストグラムｈ５を検出することで、画像の彩度の高さをある程度検出することができる。
【００６５】
得られたヒストグラムｈ１〜ｈ４、ｈ５はヒストグラム処理部１２に入力される。ヒストグラム処理部１２では実施例２と同様に（式２）の処理を行い、ｈ１’〜ｈ４’を出力する。
但し、ヒストグラム処理部１２の処理は（式２）に限るものではなく、（式４）のようにしてもよい。つまり、高輝度部の輝度ヒストグラムデータｈ４をそのまま色ヒストグラムｈ５で置き換えても良い。
ｈ１’＝ｈ１    （式４）
ｈ２’＝ｈ２
ｈ３’＝ｈ３
ｈ４’＝ｈ５
【００６６】
演算部６では実施例１と同様にγカーブを生成し、γテーブル３にγカーブを書き込む。γテーブル３に入力された信号はこのγカーブに従いγ変換される。
【００６７】
このように、ＲＧＢ信号をγ変換することにより高彩度部のくすみが発生せず、ＩＰ変換のフレームメモリによる画像信号の遅延を利用することで低輝度部ではカーブの適用が遅延することもない。また、高輝度部ではカーブの適用が遅延するが、明るい部分は人間の輝度変化に対する感度がそれほど敏感ではないため問題にはならない。ここで、ＲＧＢ信号は１フレーム分遅延されている。
【００６８】
また、高彩度のヒストグラムを高輝度のヒストグラムに加算することにより、高彩度な画像に対しても色とびがなく好ましいγ変換が可能となる。
【図面の簡単な説明】
【００６９】
【図１】実施例１の回路ブロック図
【図２】ヒストグラム平均化の説明図
【図３】実施例１のタイミングチャート
【図４】実施例２、３の回路ブロック図
【図５】実施例２の色ヒストグラム検出部の詳細図
【図６】実施例３の色ヒストグラム検出部の詳細図
【図７】実施例４の回路ブロック図
【図８】実施例４の色ヒストグラム検出部の詳細図
【図９】入力画像の例
【図１０】特許文献１による処理の説明図
【符号の説明】
【００７０】
１…ＩＰ変換部
２…色空間変換部
３…γテーブル
４…γ生成部
５…ヒストグラム検出部
６…演算部
１０…輝度ヒストグラム検出部
１１…色ヒストグラム検出部
１２…ヒストグラム処理部
２０…彩度検出部
２１…カウンタ
３０、３１…絶対値検出部
３２…加算器
３３…カウンタ
４０…色ヒストグラム検出部
５０…最大値検出部
５１…カウンタ
１００…花
【図１】
2006295686.tif 000003
【図２】
2006295686.tif 000004
【図３】
2006295686.tif 000005
【図４】
2006295686.tif 000006
【図５】
2006295686.tif 000007
【図６】
2006295686.tif 000008
【図７】
2006295686.tif 000009
【図８】
2006295686.tif 000010
【図９】
2006295686.tif 000011
【図１０】
2006295686.tif 000012