(57)【特許請求の範囲】
【請求項１】
ＲＧＢ信号からなる画像データを第１の非線形特性により非線形変換する第１の非線形化手段と、
前記画像データの色のバランスを補正し、表示部に出力される際の彩度を決定するＲＧＢ信号とする補正手段と、
前記補正後のＲＧＢ信号のそれぞれを第２の非線形特性により非線形変換する第２の非線形化手段と、
前記第１の非線形化手段に前記第１の非線形特性を設定し、前記第２の非線形化手段に前記第２の非線形特性を設定する制御手段と、を備え、
前記制御手段は、前記第１の非線形化手段からの出力に対する前記第２の非線形化手段からの出力との出力比を予め準備し、前記出力比と前記第１の非線形特性とから、前記第２の非線形化手段に設定する前記第２の非線形特性を決定することを特徴とする画像処理装置。
【請求項２】
前記第１の非線形化手段からの出力が第１の出力値Ｃｐまでは、前記出力比は１に設定され、
前記第１の非線形化手段からの出力が前記第１の出力値Ｃｐより大きくなるにつれて、前記出力比は漸次大きくなるように設定されることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記決定された第２の非線形特性により非線形変換された前記ＲＧＢ信号から色差信号を生成する生成手段をさらに備え、
前記画像データは、前記生成手段から生成された色差信号及び前記第１の非線形特性により非線形変換された信号から得られる輝度信号として出力されることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記制御手段は、前記画像データに含まれる予め定められた閾値を超えた信号の信号量に応じて、予め準備された複数の非線形特性の中から前記第１の非線形化手段に設定する第１の非線形特性を選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
色相を決定するＲＧＢの各信号を第３の非線形特性により非線形変換する第３の非線形化手段を更に備え、
前記制御手段は、前記第３の非線形化手段に前記第３の非線形特性を設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
被写体を撮像し、前記ＲＧＢ信号からなる画像データを生成する撮像手段を有し、
前記制御手段は、前記第１の非線形特性により非線形変換された信号から得られる輝度信号と、前記第２の非線形特性により非線形変換された信号から得られる色差信号を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
画像処理装置において実行される画像処理方法であって、
ＲＧＢ信号からなる画像データを第１の非線形特性により非線形化する第１の非線形化ステップと、
前記画像データの色のバランスを補正し、表示部に出力される際の彩度を決定するＲＧＢ信号とする補正ステップと、
前記補正後のＲＧＢ信号のそれぞれを第２の非線形特性により非線形変換する第２の非線形化ステップと、
前記第１の非線形化ステップで用いられる非線形特性に前記第１の非線形特性を設定し、前記第２の非線形化ステップで用いられる非線形特性に前記第２の非線形特性を設定する制御ステップと、を有し、
前記制御ステップでは、前記第１の非線形化ステップで非線形化された信号の出力に対する前記第２の非線形化ステップで非線形化された信号の出力との出力比を予め準備し、前記出力比と前記第１の非線形特性とから、前記第２の非線形特性を決定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、輝度系ガンマ補正回路の非線形特性を変更した際の彩度の抑圧手法に関する。
【背景技術】
【０００２】
デジタルビデオカメラ等の撮像装置では、撮像素子からの出力信号を画像処理し、モニタ等に映像を出力している。モニタはガンマ特性を持つため、画像処理を行うデバイスである画像処理部には、モニタのガンマ特性を補正するためのガンマ補正回路が備わっている。ここで、輝度信号に対してモニタの逆ガンマ特性の補正を行うと、モニタ出力映像の輝度信号は入射光に対して、大凡、線形に変化する。
【０００３】
しかしながら、露出が適正な状態においてモニタの逆ガンマ特性で補正を行うと、ダイナミックレンジが低くなり、高輝度部が比較的早く白飛びしてしまう。これは、コントラストの低い被写体では問題ないが、コントラストが高くなると高輝度部の映像の白飛びが多くなってしまうという問題を生じさせる。そこで、高輝度部のガンマ補正での非線形特性をモニタの逆ガンマ特性よりも傾きを小さくし、更に高輝度部の信号に対して階調を持たせる方法が知られている。この方法によれば、高輝度部の階調表現は低くなるが、更に高い輝度の映像を表現することができる。
【０００４】
しかし、このような非線形特性で処理された信号を用いて色差信号を生成させると、モニタの逆ガンマ特性に対してずれが生じているため、色相のずれが生じてしまう。そこで、輝度用と色用のガンマ補正回路を別々に持ち、輝度信号と色信号とを異なる非線形特性で補正した信号から生成する手法が提案されている。
【０００５】
また、色信号のガンマ補正による出力信号を、輝度信号のガンマ補正による出力信号より多いビット数で生成する手法が考案されている（特許文献１参照）。この方法では、高輝度部において抑圧されていない信号により色信号を生成するため、高輝度部の色のずれや色抜けが改善される。
【０００６】
更に、映像内の高輝度部の信号量を検出し、検出した信号量に応じて高輝度部の階調性を変更する手法が知られている。この手法では、高輝度部の信号量に応じて輝度用のガンマ補正の非線形特性を変化させる。例えば、高輝度部の信号量が多い場合には、ガンマ補正の特性において高輝度部の傾き低くするが、その代わりに更に高輝度部まで階調表現を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−４５３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した、映像内の高輝度部の信号量を検出して高輝度部の階調性を変更する手法では、非線形特性の変更に伴って彩度が変化しかねない。同じ被写体であっても、高輝度部の信号量によっては、彩度の変動が起こり得る。
【０００９】
本発明は、画像データが表示部に出力される際の彩度（色の濃さ）を調整することができ、且つ同じ輝度に対しても異なる色の濃さに調整することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、ＲＧＢ信号からなる画像データを第１の非線形特性により非線形変換する第１の非線形化手段と、前記画像データの色のバランスを補正し、表示部に出力される際の彩度を決定するＲＧＢ信号とする補正手段と、前記補正後のＲＧＢ信号のそれぞれを第２の非線形特性により非線形変換する第２の非線形化手段と、前記第１の非線形化手段に前記第１の非線形特性を設定し、前記第２の非線形化手段に前記第２の非線形特性を設定する制御手段と、を備え、前記制御手段は、前記第１の非線形化手段からの出力に対する前記第２の非線形化手段からの出力との出力比を予め準備し、前記出力比と前記第１の非線形特性とから、前記第２の非線形化手段に設定する前記第２の非線形特性を決定することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ＲＧＢ信号からなる画像データの色のバランスが補正されてから、その補正後のＲＧＢ信号のそれぞれが適切な非線形特性によって非線形化されるので、画像データが表示部に出力される際の彩度（色の濃さ）を調整することができ、且つ同じ輝度に対しても異なる色の濃さに調整することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係るデジタルビデオカメラの概略構成を示すブロック図である。
【図２】高輝度信号の評価値と非線形特性の選択に使用する代表値の関係を示す図である。
【図３】輝度系ガンマ補正回路に設定される非線形特性の例を示す図である。
【図４】輝度系ガンマ補正回路に設定される非線形特性と色系ガンマ補正回路に設定される非線形特性の関係の一例を示す図である。
【図５】輝度系ガンマ補正回路からの出力に対する、色系ガンマ補正回路に設定される非線形特性と輝度系ガンマ補正回路に設定される非線形特性との比率の関係の一例を示す図である。
【図６】図３の輝度系ガンマ補正回路に設定される非線形特性に対して決定された、色系ガンマ補正回路に設定される非線形特性を示す図である。
【図７】第２実施形態に係るデジタルビデオカメラの概略構成を示すブロック図である。
【図８】色相用ガンマ補正回路に設定される非線形特性の例を示す図である。
【図９】第１実施形態に係る非線形特性の決定方法を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について添付図面を参照して詳細に説明する。ここでは、本発明に係る画像処理装置としてデジタルビデオカメラを取り上げて、その構成及び画像処理方法について説明することとする。
【００１４】
＜第１実施形態＞
図１は、第１実施形態に係るデジタルビデオカメラの概略構成を示すブロック図である。このデジタルビデオカメラは、光学系１０１、撮像部１０２、アナログフロントエンド（ＡＦＥ）１０３、信号処理部１０４、輝度系信号処理部１０５及び第１の非線形化手段である輝度系ガンマ補正回路１０６を有している。また、デジタルビデオカメラは、色系信号処理部１０７、第２の非線形化手段である色系ガンマ補正回路１０８、色信号生成回路１０９、検波部１１０及びシステム制御部１１１を有している。システム制御部１１１は、光学系１０１、撮像部１０２、ＡＦＥ１０３、輝度系ガンマ補正回路１０６、色系ガンマ補正回路１０８及び検波部１１０を制御し、検波部１１０から検波信号を取得する。
【００１５】
光学系１０１は、アイリス及びレンズ等を備えている。撮像部１０２は、ＣＭＯＳイメージセンサー又はＣＣＤイメージセンサー等の撮像素子と、タイミングジェネレータ（ＴＧ）等を備えている。デジタルビデオカメラで被写体（不図示）を撮影すると、光学系１０１を通過した光が、撮像部１０２の撮像素子上に結像される。撮像素子は、結像による被写体像を光電変換し、アナログ画像信号として出力する。なお、このアナログ画像信号は、システム制御部１１１によって定められたシャッタースピードで撮像部１０２から出力される。
【００１６】
ＡＦＥ１０３は、撮像部１０２から出力されたアナログ画像信号を、アナログ／デジタル（Ａ／Ｄ）変換により、デジタル画像信号（以下「画像データ」という）へ変換し、変換した画像データを信号処理部１０４へ送る。信号処理部１０４は、受信した画像データに対して、黒レベル補正やホワイトバランス調整等を行い、処理された画像データを輝度系信号処理部１０５及び色系信号処理部１０７へ送る。
【００１７】
輝度系信号処理部１０５では、受信した画像データに基づいて輝度信号の生成が行われ、輝度信号は、ローパスフィルタ処理とエッジ補正処理とが行われた後に輝度系ガンマ補正回路１０６に送られる。輝度系ガンマ補正回路１０６は、輝度信号を非線形変換し、出力する。
【００１８】
色系信号処理部１０７は、黒や色のバランスの補正を行う。色系信号処理部１０７での処理を経た彩度を決定する画像データは、色系ガンマ補正回路１０８へ送られ、そこでレッド（Ｒ），グリーン（Ｇ），ブルー（Ｂ）の各信号に対して非線形変換による信号補正が行われる。色系ガンマ補正回路１０８での処理を経た画像データは、色信号生成回路１０９に送られ、そこでＲ，Ｇ，Ｂの各信号から色差信号Ｐｒ，Ｐｂが生成される。
【００１９】
検波部１１０は、システム制御部１１１によって設定された枠やスレッシュに基づいて、画像データから露出制御用の評価値及び高輝度信号の評価値を取得する。露出制御用の評価値は、例えば、１フレームの画像データ全体の平均値のように、現在の映像の露出を表す値とし、検波部１１０からシステム制御部１１１へ送られる。
【００２０】
システム制御部１１１は、露出制御用の評価値が目標の値となるように、光学系１０１、撮像部１０２、ＡＦＥ１０３に信号を送り、アイリスやシャッタ、ゲインを制御する。高輝度信号の評価値は、高輝度部の信号が画像データ全体の中でどの程度存在するかを表す値であり、例えば、予め定められた閾値を超えた輝度信号の信号量（積分値）が用いられる。したがって、高輝度信号の評価値が大きいことは、画像データに多くの高輝度部が存在していることを示す。高輝度信号の評価値は、露出制御用の評価値と同様に、検波部１１０からシステム制御部１１１に送られる。
【００２１】
システム制御部１１１は、高輝度信号の評価値に基づいて、輝度系ガンマ補正回路１０６が非線形変換を行うための非線形特性（第１の非線形特性）と、色系ガンマ補正回路１０８が非線形変換を行うための非線形特性（第２の非線形特性）を設定する。
【００２２】
図９は、本実施形態における非線形特性の決定方法を示すフローチャートである。以下、フローチャートに従い非線形特性の決定方法について説明する。システム制御部１１１は検波部１１０より高輝度信号の評価値を取得し（Ｓ９０１）、評価値に従い代表値を算出する（Ｓ９０２）。
【００２３】
図２は、高輝度信号の評価値と非線形特性の選択に使用する代表値の関係を示す図である。評価値が大きいほど代表値は大きくなる。代表値は予め準備されている非線形特性の数により決まる。本実施形態では１１通りの非線形特性が準備されているものとする。代表値と非線形特性は予め関連付けられており、代表値が大きい値になるほど、非線形特性は高い輝度まで階調が表現される特性となっている。図２に示されるように、高輝度信号の評価値が最大値（ｍａｘ）を超えた場合には、代表値は「１０」で固定される。図２に示すように被写体０、１、２の評価値を得た場合、代表値はそれぞれ０、５、１０となる。
【００２４】
次に、代表値に従い輝度系ガンマ補正回路１０６に設定する第１の非線形特性と色系ガンマ補正回路１０８に設定する第２の非線形特性を選択する（Ｓ９０３）。選択された非線形特性は輝度系ガンマ補正回路１０６と色系ガンマ補正回路１０８に設定される。そして、設定された非線形特性を用いて輝度系ガンマ補正回路１０６よりＹが出力される。また、色系ガンマ補正回路１０８の出力は色信号生成回路１０９に送られＰｒ、Ｐｂが出力される。非線形特性は代表値に従い、輝度系、色系の非線形特性が決められている。以下、非線形特性の決定方法について非線形特性を例示しながら説明する。
【００２５】
図３は、輝度系ガンマ補正回路１０６に設定される非線形特性の例を示す図であり、図２に示される設定０、設定５及び設定１０にそれぞれ対応する非線形特性３０１、非線形特性３０２及び非線形特性３０３が例示されている。設定０では入力値５１１までの入力信号に対して出力信号の階調が生じており、設定１０では入力値１０２３までの入力信号に対して出力信号の階調が生じており、設定５ではこれらの中間の入力値７６７までの入力信号に対して出力信号の階調が生じている。
【００２６】
設定０の場合のように高輝度部の信号量が少ない場合には、非線形特性３０１が選択され、入力値５１１まで入力信号を階調性よく表現される。一方、設定１０のように高輝度部の信号量が多い場合には、非線形特性３０３が選択され、より高輝度の入力信号に対して出力信号の階調表現を行う。
【００２７】
デジタルビデオカメラには、色系ガンマ補正回路１０８で設定する非線形特性も予め準備されている。図４は、設定０の場合における、輝度系ガンマ補正回路１０６に設定される非線形特性と色系ガンマ補正回路１０８に設定される非線形特性の関係を示す図であり、図４に示される非線形特性３０１は、図３に示される非線形特性３０１と同じである。
【００２８】
色系ガンマ補正回路１０８に設定される非線形特性は、以下のようにして定められる。すなわち、先ず、基準となる輝度と色との出力比を定める。図４に示される非線形特性４０１は、設定０が選択された場合に色系ガンマ補正回路１０８に設定される非線形特性であり、本実施形態では、モニタの逆ガンマ特性に近い特性となっている。輝度系ガンマ補正回路１０６に設定される非線形特性３０１と色系ガンマ補正回路１０８に設定される非線形特性４０１は、出力ＣＰまでは同様の特性を持つ。
【００２９】
図５は、輝度系ガンマ補正回路１０６からの出力（輝度系ガンマ補正回路１０６に設定される非線形特性）に対する、色系ガンマ補正回路１０８に設定される非線形特性と輝度系ガンマ補正回路１０６に設定される非線形特性との比率（出力比）の関係を示す図である。輝度系ガンマ補正回路１０６からの出力ＣＰまでは出力比は１倍となり、出力Ｙｍａｘにおいて、出力比はＣｍａｘ／Ｙｍａｘとなる。システム制御部１１１は、輝度系ガンマ補正回路１０６に設定される非線形特性と図５の出力比とから、色系ガンマ補正回路１０８に設定される非線形特性を決定する。
【００３０】
図６は、図３に示した輝度系ガンマ補正回路１０６に設定される非線形特性３０１，３０２，３０３に対して決定された、色系ガンマ補正回路１０８に設定される非線形特性を示す図である。図６に示される非線形特性６０１，６０２，６０３はそれぞれ、設定０，設定５，設定１０の場合に色系ガンマ補正回路１０８に設定される非線形特性であり、非線形特性３０１，３０２，３０３との比率が図５の関係を満たすように定められている。
【００３１】
例えば、図２に示す被写体０の場合には、輝度系ガンマ補正回路１０６には図３の非線形特性３０１が設定され、色系ガンマ補正回路１０８には非線形特性６０１が設定される。なお、本実施形態の場合、図６の非線形特性６０１は図４に示した非線形特性４０１と同等となる。同様に、図２に示す被写体１の場合には、輝度系ガンマ補正回路１０６には非線形特性３０２が設定され、色系ガンマ補正回路１０８には非線形特性６０２が設定される。また、図２に示す被写体２の場合には、輝度系ガンマ補正回路１０６には非線形特性３０３が設定され、色系ガンマ補正回路１０８には非線形特性６０３が設定される。
【００３２】
このように、本実施形態では、システム制御部１１１は、予め定められた閾値を超えた輝度信号の信号量（積分値）を示す高輝度信号の評価値に応じて、輝度系ガンマ補正回路１０６及び色系ガンマ補正回路１０８に設定する非線形特性を変える。すなわち、システム制御部１１１は、高輝度信号の評価値に応じて、設定０〜設定１０として予め準備された複数の非線形特性の中から輝度系ガンマ補正回路１０６に設定する非線形特性を選択する。そして、輝度系ガンマ補正回路１０６に設定した非線形特性と図５の出力比とから、この出力比が満たされるように、色系ガンマ補正回路１０８に設定する非線形特性を決定する。
【００３３】
以上のような方法で色系ガンマ補正回路１０８での非線形変換に用いる非線形特性を設定することにより、輝度系ガンマ補正回路１０６の非線形特性を変化させた際に輝度出力に対する彩度が略一定とすることができ、彩度の変化を低減することができる。
【００３４】
＜第２実施形態＞
第１実施形態では、輝度系ガンマ補正回路１０６での非線形変換の非線形特性に対応させて色系ガンマ補正回路１０８での非線形変換の非線形特性を変化させ、色系ガンマ補正回路１０８からの出力信号よって、色信号を生成させている。ここで、例えば、図６に示した非線形特性６０１の場合は、モニタの逆ガンマ特性に近いために色ずれは少ないが、非線形特性６０２，６０３の場合には、モニタの逆ガンマ特性から外れる分だけ色相のずれが生じてくる。そこで、本実施形態では、色相に影響を与えないようにしながら、彩度を抑圧する。
【００３５】
図７は、第２実施形態に係るデジタルビデオカメラの概略構造を示すブロック図である。図７に示されている各種の処理部のうち、図１に示した各種の処理部と同じものについては、同じ符号を付してここでの説明を省略する。本実施形態に係るデジタルビデオカメラは、更に、第３の非線形化手段である色相用ガンマ補正回路７０１、彩度用ガンマ補正回路７０２、色相用色信号生成回路７０３、彩度用色信号生成回路７０４、彩度抑圧回路７０５を備えている。
【００３６】
システム制御部で行われる非線形特性の選択のフローは第１実施形態で示した図９と同様であるため省略する。ただし、本実施形態で選択される第２の非線形特性は彩度用ガンマ補正回路７０２に設定される。
【００３７】
色系信号処理部１０７での処理を経た画像データは、色相用ガンマ補正回路７０１と彩度用ガンマ補正回路７０２に送られる。本実施形態で輝度系ガンマ補正回路１０６に設定される非線形特性は第１実施形態と同様とする。彩度用ガンマ補正回路７０２に設定される非線形特性は、第１実施形態で色系ガンマ補正回路１０８に設定される非線形特性と同様にすることができる。
【００３８】
色相用ガンマ補正回路７０１は、色相を決定する信号に対して非線形変換を施す。色相用ガンマ補正回路７０１が非線形変換に用いる非線形特性（第３の非線形特性）は、システム制御部１１１によって設定される。図８は、色相用ガンマ補正回路７０１に設定される非線形特性の例を示す図である。本実施形態では、色相用ガンマ補正回路７０１に設定される非線形特性は、モニタの逆ガンマ特性に近い特性としており、色相用ガンマ補正回路７０１には、輝度系ガンマ補正回路１０６の設定に関係なく、常に一定の非線形特性が設定されるものとする。
【００３９】
色相用ガンマ補正回路７０１からの出力（ＲＧＢ信号）は色相用色信号生成回路７０３へ送られ、彩度用ガンマ補正回路７０２からの出力（ＲＧＢ信号）は彩度用色信号生成回路７０４へ送られる。色相用色信号生成回路７０３及び彩度用色信号生成回路７０４はそれぞれ、受信したＲＧＢ信号からＰｂ信号とＰｒ信号を生成し、彩度抑圧回路７０５へ送る。
【００４０】
ここで、色相用色信号生成回路７０３から出力されるＰｂ信号、Ｐｒ信号をそれぞれＰｂ１、Ｐｒ１とし、彩度用色信号生成回路７０４から出力されるＰｂ信号、Ｐｒ信号をそれぞれＰｂ２、Ｐｒ２とする。彩度抑圧回路７０５は、Ｐｂ１とＰｒ１とを同じ比率で抑圧する。抑圧の際に乗じる値は（Ｐｂ２２＋Ｐｒ２２）０．５／（Ｐｂ１２＋Ｐｒ１２）０．５とする。こうして、Ｐｂ１とＰｒ１にこの値が乗じられた信号が、Ｐｂ信号、Ｐｒ信号として彩度抑圧回路７０５から出力される。
【００４１】
上述した本実施形態の方法でＰｂ信号とＰｒ信号を取得すれば、色相を保ったまま彩度をほぼ一定に抑圧することができる。また、輝度系ガンマ補正回路１０６の非線形特性に変動が生じても、彩度は輝度出力に対してほぼ同様に抑圧することができる。
【００４２】
＜他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００４３】
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介して画像処理装置に供給し、その画像処理装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラムとそのプログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００４４】
１０４    信号処理部
１０５    輝度系信号処理部
１０６    輝度系ガンマ補正回路
１０７    色系信号処理部
１０８    色系ガンマ補正回路
１０９    色信号生成回路
１１１    システム制御部
７０１    色相用ガンマ補正回路
７０２    彩度用ガンマ補正回路
７０５    彩度抑圧回路
【図１】
0005754929.tif 000002
【図２】
0005754929.tif 000003
【図３】
0005754929.tif 000004
【図４】
0005754929.tif 000005
【図５】
0005754929.tif 000006
【図６】
0005754929.tif 000007
【図７】
0005754929.tif 000008
【図８】
0005754929.tif 000009
【図９】
0005754929.tif 000010