(57)【要約】      （修正有）【課題】別々の階調補正処理を経た輝度成分及び色差成分から生成される画像信号に対して非線形な階調変換処理を適用する構成において、非線形な階調変換処理を経た画像信号の色差成分を効果的に制御する技術を提供する。【解決手段】各画素が３色の情報を有する画像信号を生成するＳ３０１。輝度系画像信号に対して、好ましい輝度階調特性となるように階調補正処理を適用するＳ３０２。輝度系階調補正部から入力された階調補正特性に基づいて、色系画像信号に対する階調補正量を算出するＳ３０３。色系階調補正量算出部から入力された階調補正特性に基づいて、色系画像信号に対して階調補正処理を適用するＳ３０４。輝度信号Ｙと、色差信号とを統合することにより、画像信号を生成するＳ３０５。画像信号をＲＧＢ形式へと変換し、予め定められた非線形な特性に従って階調変換処理を行うＳ３０６。【選択図】図３
2020036162.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像信号に対して、第１の階調補正特性に従う第１の階調補正処理を適用することにより第２の画像信号を生成する第１の階調補正手段と、
第２の階調補正特性を決定する決定手段と、
第３の画像信号に対して、前記第２の階調補正特性に従う第２の階調補正処理を適用することにより第４の画像信号を生成する第２の階調補正手段と、
前記第２の画像信号の輝度成分と、前記第４の画像信号の色差成分とを合成することにより、第５の画像信号を生成する生成手段と、
前記第５の画像信号に対して、非線形な第１の階調変換特性に従う第１の階調変換処理を適用することにより第６の画像信号を生成する第１の階調変換手段と、
を備え、
前記決定手段は、前記第１の階調補正特性及び非線形な第２の階調変換特性に基づいて前記第２の階調補正特性を決定する
ことを特徴とする画像処理装置。
【請求項２】
前記決定手段は、第７の画像信号に対して前記第２の階調変換特性に従う第２の階調変換処理を適用することにより得られる画像信号の色差成分の、第８の画像信号に対して前記第２の階調変換処理を適用することにより得られる画像信号の色差成分に対する相違を打ち消すように、前記第２の階調補正特性を決定し、
前記第７の画像信号は、前記第２の画像信号の輝度成分と、前記第３の画像信号に対して所定の階調補正特性に従う所定の階調補正処理を適用することにより得られる画像信号の色差成分とを合成することにより得られる画像信号であり、
前記第８の画像信号は、前記第１の画像信号の輝度成分と、前記第３の画像信号に対して前記所定の階調補正処理を適用することにより得られる画像信号の色差成分とを合成することにより得られる画像信号である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記第２の階調変換特性を表すトーンカーブの、前記第１の画像信号の所定の成分の値に対応する位置における第１の傾きと、前記第２の階調変換特性を表す前記トーンカーブの、前記第２の画像信号の前記所定の成分の値に対応する位置における第２の傾きとの相違に基づいて、前記第２の階調補正特性を決定する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定の成分は、緑色成分又は輝度成分である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の階調補正処理は、トーンカーブに従う階調変換処理であり、
前記決定手段は、所定のトーンカーブの傾きに対して、
（前記第１の傾き）／（前記第２の傾き）
を乗じることにより得られる傾きを持つトーンカーブを、前記第２の階調補正特性として決定する
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記第２の階調補正処理は、対象の画像信号の色差成分に対してゲインを適用する処理であり、
前記決定手段は、前記第１の傾きと前記第２の傾きとの相違に基づくゲインを、前記第２の階調補正特性として決定する
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項７】
前記第１の階調変換特性と前記第２の階調変換特性とは同じ階調変換特性である
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第１の画像信号と前記第３の画像信号とは同じ画像信号である
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の画像処理装置と、
前記第１の画像信号及び前記第３の画像信号を生成する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
第１の画像信号に対して、第１の階調補正特性に従う第１の階調補正処理を適用することにより第２の画像信号を生成する第１の階調補正工程と、
第２の階調補正特性を決定する決定工程と、
第３の画像信号に対して、前記第２の階調補正特性に従う第２の階調補正処理を適用することにより第４の画像信号を生成する第２の階調補正工程と、
前記第２の画像信号の輝度成分と、前記第４の画像信号の色差成分とを合成することにより、第５の画像信号を生成する生成工程と、
前記第５の画像信号に対して、非線形な第１の階調変換特性に従う第１の階調変換処理を適用することにより第６の画像信号を生成する第１の階調変換工程と、
を備え、
前記決定工程では、前記第１の階調補正特性及び非線形な第２の階調変換特性に基づいて前記第２の階調補正特性を決定する
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
カメラ内の画像処理に関して、色信号用の画像処理と、輝度信号用の画像処理とを、それぞれ別個に最適化したものが提案されている。例えば、特許文献１では、色信号用の非線形階調変換処理（ガンマ補正）と、輝度信号用の非線形階調変換処理とを別個に行う構成において、それぞれの階調変換処理でのビット数を最適化する技術が開示されている。
【０００３】
また、カメラ内の画像処理に関して、非線形階調変換処理の前段において、好ましい画作りとなるよう階調補正を行うものが提案されている。例えば、特許文献２では、非線形階調変換処理の前段において、画像の明るさを所望のレベルに調整するための階調補正を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９１９３８９号公報
【特許文献２】特開２００７−３１１８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１及び特許文献２の技術に基づいて、色信号に対する画作り用の階調補正と輝度信号に対する画作り用の階調補正とを、それぞれ別個に行った後に、階調補正後の色信号及び輝度信号を統合してから非線形階調変換処理を行う構成が考えられる。このようにすることで、色信号及び輝度信号それぞれに対する画作り用の階調補正と、非線形階調変換処理とを分けて実行することができるため、階調補正の制御が容易になる。
【０００６】
しかしながら、上述の構成において、後段の非線形階調変換処理のガンマカーブの特性によっては、輝度信号用の階調補正の影響が、非線形階調変換処理後の輝度信号だけではなく、色信号に対しても及ぶ場合がある。その結果、出力画像が所望の色再現とならない可能性がある。
【０００７】
一例として、ガンマ補正前段での輝度信号用の階調補正において、画像を明るくするために入力信号に対して一定値を加算する処理を行う場合を考える。この場合、後段のガンマ補正処理に対する入力信号レベルが高くなる。一般的に、カメラでのガンマ補正で用いるガンマカーブは、入力信号レベルが高くなる程、ガンマカーブの傾きが小さくなる特性を持つ。このため、輝度信号用の階調補正に起因して後段のガンマ補正への入力信号レベルが高くなると、ガンマ補正適用後の色信号間の差分（色差）は小さくなる。その結果、画像の色が薄くなってしまう。
【０００８】
本発明はこのような状況に鑑みてなされたものである。本発明は、別々の階調補正処理を経た輝度成分及び色差成分から生成される画像信号に対して非線形な階調変換処理を適用する構成において、非線形な階調変換処理を経た画像信号の色差成分を効果的に制御する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、第１の画像信号に対して、第１の階調補正特性に従う第１の階調補正処理を適用することにより第２の画像信号を生成する第１の階調補正手段と、第２の階調補正特性を決定する決定手段と、第３の画像信号に対して、前記第２の階調補正特性に従う第２の階調補正処理を適用することにより第４の画像信号を生成する第２の階調補正手段と、前記第２の画像信号の輝度成分と、前記第４の画像信号の色差成分とを合成することにより、第５の画像信号を生成する生成手段と、前記第５の画像信号に対して、非線形な第１の階調変換特性に従う第１の階調変換処理を適用することにより第６の画像信号を生成する第１の階調変換手段と、を備え、前記決定手段は、前記第１の階調補正特性及び非線形な第２の階調変換特性に基づいて前記第２の階調補正特性を決定することを特徴とする画像処理装置を提供する。
【発明の効果】
【００１０】
本発明によれば、別々の階調補正処理を経た輝度成分及び色差成分から生成される画像信号に対して非線形な階調変換処理を適用する構成において、非線形な階調変換処理を経た画像信号の色差成分を効果的に制御することが可能となる。
【００１１】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【００１２】
【図１】デジタルカメラ１００の構成を示すブロック図。
【図２】第１の実施形態に係る、画像処理部１０５の色輝度補正処理に関係する機能を示すブロック図。
【図３】第１の実施形態に係る、画像処理部１０５が実行する色輝度補正処理のフローチャート。
【図４】図３のＳ３０２〜Ｓ３０４における処理の詳細について説明する図。
【図５】第２の実施形態に係る、画像処理部１０５の色輝度補正処理に関係する機能を示すブロック図。
【図６】第２の実施形態に係る階調補正量の算出処理を説明する図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１４】
［第１の実施形態］
図１は、画像処理装置の一例であるデジタルカメラ１００の構成を示すブロック図である。図１において、レンズ群１０１は、フォーカスレンズ及びズームレンズを含む。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。
【００１５】
画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正などの各種画像処理を行う。また、画像処理部１０５は、後述する通り、色信号と輝度信号とのそれぞれに対して独立に処理を行う構成を持つ。画像メモリ１０６は、画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９は、ＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記録媒体１１２から読み出して再生した画像などを表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。
【００１６】
Ｉ／Ｆ１１１（インタフェース）は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的及び電気的に接続する。システム制御部５０は、例えばＣＰＵやＭＰＵなどのプログラマブルなプロセッサであってよい。システム制御部５０は、例えば不揮発性メモリ１２１に記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。
【００１７】
不揮発性メモリ１２１は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１には、各種の設定値、ＧＵＩデータが記録される。また、システム制御部５０がＭＰＵやＣＰＵである場合には、不揮発性メモリ１２１には、システム制御部５０が実行するためのプログラムが記録される。システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いられる。
【００１８】
操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスをまとめて示すブロックである。表示部１０９がタッチディスプレイである場合、タッチパネルは操作部１２０に含まれる。また、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部１２０に含まれてもよい。
【００１９】
次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０３は、シャッター１０２が開いている際にレンズ群１０１が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し画像処理部１０５に出力する。
【００２０】
画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、同時化処理（デモザイク処理）、γ補正などの各種画像処理を行う。また、画像処理部１０５では、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行う。システム制御部５０は、得られた演算結果に基づいて焦点調節（ＡＦ）や露光制御（ＡＥ）を行う。
【００２１】
画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。
【００２２】
Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。
【００２３】
コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は、符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。
【００２４】
なお、デジタルカメラ１００は、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させるように構成されていてもよい。この場合、デジタルカメラ１００は、撮影スタンバイ状態においてシャッター１０２を開いた状態とし、撮像部１０３のいわゆる電子シャッターを用いて例えば３０フレーム／秒の撮影を行う。そして、操作部１２０に含まれるシャッターボタンが半押しされると上述のＡＦ及びＡＥの制御が行われ、シャッターボタンが全押しされると本撮影により記録用の静止画撮影が実行され、記録媒体１１２に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、デジタルカメラ１００は、記録媒体１１２への動画記録を開始する。
【００２５】
図２は、第１の実施形態に係る、画像処理部１０５の色輝度補正処理に関係する機能を示すブロック図である。画像処理部１０５は、画像信号生成部２０１、輝度系階調補正部２０２、色系階調補正量算出部２０３、色系階調補正部２０４、及び輝度系信号変換部２０５を備える。画像処理部１０５はまた、色系信号変換部２０６、色輝度信号統合部２０７、色輝度信号変換部２０８、及び非線形階調変換部２０９を備える。なお、図２に示す機能ブロックの１つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよいし、ＡＳＩＣ(Application Specific Integrated Circuit)やＰＬＤ(Programmable Logic Device)のようなハードウェアによって実現されてもよい。ＰＬＤにはＦＰＧＡ(Field-Programmable Gate Array）、ＰＬＡ(Programmable Logic Array)などが含まれる。
【００２６】
次に、図３を参照して、第１の実施形態に係る、画像処理部１０５が実行する色輝度補正処理の流れを説明する。Ｓ３０１で、画像信号生成部２０１は、１画素あたり１色（Ｒ，Ｇ，Ｂのいずれか１つ）の情報を有する入力画像信号に対して同時化処理（デモザイク処理）を行い、各画素が３色（ＲＧＢ）の情報を有する画像信号を生成する。入力画像信号は、例えば、撮像部１０３によって生成された画像信号である。画像信号生成部２０１は、生成した画像信号を、輝度系画像信号（Ｒ＿ｙ、Ｇ＿ｙ、Ｂ＿ｙ）として輝度系階調補正部２０２へ出力し、色系画像信号（Ｒ＿ｃ、Ｇ＿ｃ、Ｂ＿ｃ）として色系階調補正部２０４へ出力する。
【００２７】
なお、輝度系画像信号と色系画像信号とは同じ画像信号であってもよいし、異なる画像信号であってもよい。後者の場合、画像信号生成部２０１は、同じ入力画像信号から生成された画像信号に対して異なる画像処理を適用することにより、異なる画像信号である輝度系画像信号及び色系画像信号を生成することができる。或いは、画像信号生成部２０１は、異なる入力画像信号から生成された異なる画像信号をそれぞれ輝度系画像信号及び色系画像信号として使用してもよい。
【００２８】
Ｓ３０２で、輝度系階調補正部２０２は、輝度系画像信号（Ｒ＿ｙ、Ｇ＿ｙ、Ｂ＿ｙ）に対して、好ましい輝度階調特性となるように階調補正処理を適用する。輝度系階調補正部２０２は、階調補正処理により生成された画像信号を輝度系信号変換部２０５へ出力する。輝度系信号変換部２０５は、入力された画像信号の各色成分に対して所定の変換係数を乗算してから足し合わせることによって、輝度信号（Ｙ）を算出する。また、輝度系階調補正部２０２は、輝度系画像信号に対して適用した階調補正処理の特性（階調補正特性）に関する情報を、色系階調補正量算出部２０３へ出力する。なお、ここでの輝度系画像信号に対する階調補正特性は、どのようなものであっても構わない。例えば、輝度系階調補正部２０２は、輝度系画像信号に対して、予め定められた階調補正特性に従って階調補正処理を適用してもよい。或いは、輝度系階調補正部２０２は、輝度系画像信号の明るさやコントラストなどを評価し、評価結果に基づいて階調補正特性を決定してもよい。或いは、ユーザが明るさや輝度コントラストなどを決定することにより階調補正特性を決定する構成を採用してもよい。この場合、色系階調補正量算出部２０３において、ユーザの決定した階調補正特性に応じて色系画像信号に対する適切な補正量が算出されるため、ユーザが輝度信号と色信号との両方の階調補正特性を設定する必要が無く、操作を簡便に行うことが可能になる。
【００２９】
また、ここでの階調補正処理は、ＲＧＢ信号に対して適用されるものとして説明を行ったが、ＲＧＢ信号を輝度信号Ｙに変換してから、輝度信号Ｙに対して階調補正処理を行う構成を採用してもよい。或いは、階調補正処理として、輝度系画像信号に対して所定のゲインやオフセットを加える処理を行う構成を採用してもよい。
【００３０】
Ｓ３０３で、色系階調補正量算出部２０３は、Ｓ３０２において輝度系階調補正部２０２から入力された階調補正特性に基づいて、色系画像信号に対する階調補正量を算出する。ここでの算出方法については、後で詳しく説明する。色系階調補正量算出部２０３は、算出した階調補正量に基づいて、色系画像信号に対する階調補正特性を決定する。色系階調補正量算出部２０３は、決定した階調補正特性に関する情報を、色系階調補正部２０４へ出力する。
【００３１】
Ｓ３０４で、色系階調補正部２０４は、色系階調補正量算出部２０３から入力された階調補正特性に基づいて、色系画像信号（Ｒ＿ｃ、Ｇ＿ｃ、Ｂ＿ｃ）に対して階調補正処理を適用する。ここでの階調補正処理の詳細については、後で説明する。色系階調補正部２０４は、階調補正処理により生成された画像信号を、色系信号変換部２０６へ出力する。色系信号変換部２０６は、入力された画像信号の各色成分に対して所定の変換係数を乗算してから足し合わせることによって、色差信号（Ｕ，Ｖ）を算出する。また、色系階調補正部２０４は、色系階調補正量算出部２０３が定めた階調補正特性に従う階調補正処理に加えて、色系画像信号が好ましい色階調特性となるように画作り用の階調補正処理も併せて行う。ここでの、色系画像信号に対する画作り用の階調補正処理の特性は、どのようなものを用いても構わない。例えば、色系階調補正部２０４は、予め定められた階調補正特性に従って階調補正処理を適用してもよい。或いは、色系階調補正部２０４は、色系画像信号の彩度などを評価し、評価結果に基づいて階調補正特性を決定してもよい。或いは、ユーザが指定した階調補正特性を用いる構成を採用してもよい。
【００３２】
なお、Ｓ３０３において、色系階調補正量算出部２０３は、輝度系階調補正処理の特性に加えて色系画像信号に対する画作り用の階調補正処理の特性を考慮して、色系階調補正部２０４のための階調補正特性を決定してもよい。この場合、Ｓ３０４において、色系階調補正部２０４は、階調補正処理として、色系階調補正量算出部２０３から入力された階調補正特性に従う階調補正処理を行うだけでよい。即ち、色系階調補正部２０４が画作り用の階調補正処理を追加的に行う必要がなくなる。
【００３３】
Ｓ３０５で、色輝度信号統合部２０７は、輝度系信号変換部２０５が算出した輝度信号Ｙ（輝度成分）と、色系信号変換部２０６が算出した色差信号Ｕ，Ｖ（色差成分）とを統合（合成）することにより、画像信号（Ｙ，Ｕ，Ｖ）を生成する。色輝度信号統合部２０７は、生成した画像信号を色輝度信号変換部２０８へ出力する。
【００３４】
Ｓ３０６で、色輝度信号変換部２０８は、入力された画像信号（Ｙ，Ｕ，Ｖ）に対して所定の変換係数を乗算してから足し合わせることによって、画像信号をＹＵＶ形式からＲＧＢ形式へと変換する。色輝度信号変換部２０８は、変換後の画像信号（Ｒ，Ｇ，Ｂ）を、非線形階調変換部２０９へ出力する。非線形階調変換部２０９は、入力された画像信号（Ｒ，Ｇ、Ｂ）に対して、予め定められた非線形な特性（階調変換特性）に従ってガンマ補正（階調変換処理）を行い、ガンマ補正後の画像信号（Ｒ’、Ｇ’、Ｂ’）を出力する。なお、非線形階調変換部２０９は、ガンマ補正後の画像信号（Ｒ’、Ｇ’、Ｂ’）に対して所定の係数を乗算してから足し合わせることによって、画像信号をＲＧＢ形式からＹＵＶ形式へと変換しもよい。この場合、非線形階調変換部２０９は、ＹＵＶ形式の画像信号を出力する。
【００３５】
次に、図４を参照して、図３のＳ３０２〜Ｓ３０４における処理の詳細について説明する。図４（ａ）は、Ｓ３０２において輝度系階調補正部２０２が行う、輝度系画像信号に対する階調補正処理の特性を表す概念図である。図４（ａ）において、グラフの横軸は、輝度系階調補正部２０２に対する入力信号を表す。ここでは、輝度系画像信号（Ｒ＿ｙ、Ｇ＿ｙ、Ｂ＿ｙ）の３成分のうち、代表値として緑色成分（Ｇ＿ｙ）をＩＮ０として表記している。しかしながら、代表値としては、輝度系画像信号から算出した輝度成分（輝度信号Ｙ）を用いるようにしてもよい。グラフの縦軸は、輝度系階調補正部２０２の出力信号を表す。輝度系階調補正部２０２の出力は、後述の色系画像信号に対する階調補正量の算出で用いる非線形階調変換処理に対する入力信号と対応しているため、ＩＮ１などと表記する。
【００３６】
また、図中に示したｇａｍｍａ＿Ｙは階調補正を行わない場合の特性を表し、ｇａｍｍａ＿Ｙ’は階調補正を行う場合の特性の一例を表したものである。図中に示した通り、階調補正特性を表すカーブ（トーンカーブ）の傾きを大きくすることで、輝度のコントラストを高める階調補正を行う場合を例にとって説明する。この場合、入力信号ＩＮ０に対応する出力信号は、階調補正を行う事でΔだけ大きくなり、ＩＮ１＋Δとなる。なお、ここでは階調補正特性を直線で図示しているが、曲線形状のトーンカーブにより表される階調補正特性を用いても構わない。
【００３７】
輝度系階調補正部２０２は、階調補正特性（ここでは具体例として、輝度階調補正量）の情報を、色系階調補正量算出部２０３へ出力する。図４（ｂ）は、入力信号レベル毎の輝度階調補正量の概念図である。
【００３８】
次に、図４（ｃ）〜図４（ｅ）は、Ｓ３０３において色系階調補正量算出部２０３が行う、色系画像信号に対する階調補正量の算出処理を説明するための概念図である。図４（ｃ）及び図４（ｄ）は、色系画像信号に対する階調補正特性を定めるための非線形階調変換処理の特性を示す図である。ここでは、非線形階調変換部２０９が行う階調変換処理の特性を表すトーンカーブ（ガンマカーブ）を用いるものとする。図４（ｃ）において、グラフの横軸、縦軸は、それぞれ、非線形階調変換処理に対する入力画像信号、出力画像信号を表す。図４（ｄ）において、グラフの横軸、縦軸は、それぞれ、非線形階調変換処理に対する入力画像信号、トーンカーブ（ガンマカーブ）の傾きの値を表す。
【００３９】
色系階調補正量算出部２０３は、図４（ｄ）に示したガンマカーブの傾きの値に基づいて、色系画像信号に対する階調補正量を算出する。具体的には、以下の処理を行う。
【００４０】
まず、色系階調補正量算出部２０３は、ガンマカーブの、輝度系画像信号に対する階調補正を行わない場合の入力信号の値（ＩＮ１）に対応する位置における傾きＭ１を算出する。次に、色系階調補正量算出部２０３は、ガンマカーブの、輝度系画像信号に対する階調補正を行った場合の入力信号の値（ＩＮ１＋Δ）に対応する位置の傾きＭ２を算出する。ここで、Δが正の値である場合には、（傾きＭ２）＜（傾きＭ１）となる。なお、ガンマカーブの傾きは、ガンマ補正後の色信号間での差分（色差）の大きさと対応している。従って、輝度系画像信号に対する階調補正によって、同じ入力信号ＩＮ０に対応するガンマカーブの傾きがＭ１からＭ２へと小さな値に変化することは、色差が小さくなることを意味している。
【００４１】
次に、図４（ｅ）を参照して、算出した傾きから、色系画像信号に対する階調補正特性を定める方法について説明する。図４（ｅ）は、色系階調補正部２０４における階調補正特性を表したものであり、グラフの横軸、縦軸は、それぞれ、色系階調補正部２０４に対する入力画像信号、出力画像信号を表す。また、図中のｇａｍｍａ＿Ｃは色系画像信号に対する階調補正特性の一例であり、ｇａｍｍａ＿Ｃ’はｇａｍｍａ＿Ｃを基に色系階調補正量算出部２０３が定めた階調補正特性を表したものである。また、Ｍｃ、Ｍｃ’は、入力信号ＩＮ０に対応するｇａｍｍａ＿Ｃ、ｇａｍｍａ＿Ｃ’の傾きを表す。色系階調補正量算出部２０３は、下記の式に基づき、階調補正特性（傾きＭｃ’）を決定する。
Ｍｃ’＝Ｍｃ×（Ｍ１／Ｍ２）
【００４２】
上述の式を用いる理由は次の通りである。傾きＭ１、傾きＭ２は、それぞれ、輝度系画像信号に対する階調補正を行わない場合、行う場合に対応するガンマカーブの傾きであり、Ｍ２＜Ｍ１である。従って、Ｍｃに対して比率（Ｍ１／Ｍ２）を乗算する事は、輝度系画像信号に対する階調補正を行うことによるガンマ補正後の色差成分の特性変化を打ち消すよう、色系画像信号に対して階調補正を行うことを意味する。これによって、輝度系画像信号に対する階調補正が、ガンマ補正後の画像信号の色差成分に与える影響を低減させ、画像の色再現が所望の状態となるよう制御することが可能となる。
【００４３】
色系階調補正量算出部２０３は、上式の関係を用いて傾きを算出し、ｇａｍｍａ＿Ｃ’の特性を定め、その情報を色系階調補正部２０４へ出力する。なお、図４の例では、輝度系画像信号に対する階調補正量Δが正の場合で説明したため、Ｍｃ＜Ｍｃ’の関係にあるが、階調補正量Δが負の場合には、Ｍｃ’＜Ｍｃの関係になる。色系階調補正部２０４は、Ｓ３０４において、ｇａｍｍａ＿Ｃ’の特性に従って、色系画像信号に対して階調補正処理を適用する。
【００４４】
このように、色系階調補正量算出部２０３は、傾きＭ１と傾きＭ２との相違に基づいて、色系階調補正部２０４のための階調補正特性を決定する。より具体的には、色系階調補正量算出部２０３は、所定のトーンカーブ（ｇａｍｍａ＿Ｃ）の傾きＭｃに対して、Ｍ１／Ｍ２を乗じることにより得られる傾きＭｃ’を持つトーンカーブ（ｇａｍｍａ＿Ｃ’）を、色系階調補正部２０４のための階調補正特性として決定することができる。
【００４５】
なお、上では、入力信号ＩＮ０に対応する色系画像信号の階調補正量を算出する構成について説明したが、本実施形態はこの構成に限定されない。例えば、予め入力信号の各信号レベルに対する色系階調補正量、及び、色系画像信号に対する階調補正カーブｇａｍｍａ＿Ｃ’の特性を算出しておき、画像信号が入力された場合には、予め算出した特性に従って色系画像信号に対する階調補正を行う構成を採用してもよい。
【００４６】
また、上では、後段のガンマカーブの傾きに基づいて色系画像信号に対する階調補正量を算出する構成について説明したが、本実施形態はこの構成に限定されない。例えば、入力されたＲＧＢ形式の画像信号のそれぞれに対して、後段のガンマ補正適用後の信号値を計算して、その差分（色差）を算出する構成を採用してもよい。この場合、色系階調補正量算出部２０３は、輝度系画像信号に対する階調補正の有無に応じた色差成分の変化量を求め、その変化を打ち消すよう、色系画像信号の階調補正量を定めればよい。
【００４７】
より一般化して説明すると、色系階調補正量算出部２０３は、第７の画像信号に対して非線形階調変換部２０９による階調変換処理を適用することにより得られる画像信号の色差成分の、第８の画像信号に対して非線形階調変換部２０９による階調変換処理を適用することにより得られる画像信号の色差成分に対する相違を打ち消すように、色系階調補正部２０４のための階調補正特性を決定する。ここで、第７の画像信号は、輝度系階調補正部２０２において階調補正を行い、色系階調補正部２０４において所定の階調補正特性に従う階調補正が行われた場合に色輝度信号統合部２０７により生成される画像信号である。また、第８の画像信号は、輝度系階調補正部２０２において階調補正を行わず、色系階調補正部２０４において所定の階調補正特性に従う階調補正が行われた場合に色輝度信号統合部２０７により生成される画像信号である。従って、上記の２つの色差成分の相違は、輝度系階調補正部２０２の階調補正特性に基づく。即ち、色系階調補正量算出部２０３は、輝度系階調補正部２０２による階調補正の有無に応じた、非線形階調変換部２０９による階調変換処理を経た画像信号の色差成分の相違を打ち消すように、色系階調補正部２０４のための階調補正特性を決定する。
【００４８】
以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、別々の階調補正処理を経た輝度成分及び色差成分から生成される画像信号に対して非線形な階調変換処理を適用する構成において、色系画像信号に対する階調補正特性を制御する。具体的には、デジタルカメラ１００は、輝度系画像信号に対する階調補正特性、及び、非線形な階調変換処理の特性（非線形な階調変換特性）に基づいて、色系画像信号に対する階調補正特性を決定する。これにより、輝度系画像信号に対する階調補正による信号レベルの変動が、非線形な階調変換処理を経た画像信号の色差成分に与える影響を制御し、画質劣化を低減させることが可能になる。
【００４９】
なお、上では、色系画像信号に対する階調補正処理として、ＲＧＢ信号に対してトーンカーブに従う階調変換処理を用いる構成について説明したが、本実施形態はこの構成に限定されない。例えば、色系階調補正部２０４が実行する階調補正処理は、色系画像信号（対象の画像信号）の色差成分に対してゲインを適用する処理であってもよい。この場合、色系階調補正部２０４は、色系画像信号をＲＧＢ形式からＹＵＶ形式に変換した後に、色差成分（Ｕ，Ｖ信号）に対してゲイン（彩度ゲイン）を適用してもよい。この場合、色系階調補正量算出部２０３は、求めた傾きＭ１とＭ２との相違（例えば、比（Ｍ１／Ｍ２））に基づいて、彩度ゲイン（階調補正特性）を決定する。即ち、輝度系画像信号に対する階調補正特性、及び、非線形な階調変換処理の特性（非線形な階調変換特性）に基づいて色系画像信号に対する階調補正特性を制御する構成であれば、どのような構成を採用してもよい。
【００５０】
［第２の実施形態］
第１の実施形態では、色系階調補正量算出部２０３は、非線形階調変換部２０９の階調変換特性を参照して色系階調補正部２０４のための階調補正特性を決定した。第２の実施形態では、色系階調補正量算出部２０３が、非線形階調変換部２０９の階調変換特性とは異なる非線形な階調変換特性を参照して色系階調補正部２０４のための階調補正特性を決定する構成について説明する。本実施形態において、デジタルカメラ１００の基本的な構成は、第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【００５１】
図５は、第２の実施形態に係る、画像処理部１０５の色輝度補正処理に関係する機能を示すブロック図である。第２の実施形態に係る画像処理部１０５では、第１の実施形態に係る画像処理部１０５（図２）に対して、第２の非線形階調変換部５０１が追加されている。
【００５２】
本実施形態において、画像処理部１０５が実行する色輝度補正処理は、第１の実施形態と同様であるが（図３参照）、Ｓ３０３における処理が第１の実施形態とは異なる。
【００５３】
図６は、第２の実施形態に係る階調補正量の算出処理を説明する図である。図６（ａ）は、第１の実施形態に関する図４（ｃ）に対応しており、グラフの横軸、縦軸は、それぞれ、第２の非線形階調変換部５０１に対する入力画像信号、出力画像信号を表す。また、図中の実線は、第２の非線形階調変換部５０１での階調変換の特性（非線形な階調変換特性）を表し、図中の点線は、後段の非線形階調変換部２０９での階調変換の特性（非線形な階調変換特性）を表す。ここで、第２の非線形階調変換部５０１の階調変換特性は、ＳＭＰＴＥ  ＳＴ．２０８４において定められているＰＱ−ＯＥＴＦ特性に基づいて定められたものである。一方、非線形階調変換部２０９の階調変換特性は、デジタルカメラ１００が用いている信号処理システムに基づいて定められたものであり、例えば、ＳＭＰＴＥ  ＳＴ．２０８４において定められているＨＬＧ−ＯＥＴＦ特性に基づいて定められたものである。ここで、本実施形態においてＰＱ−ＯＥＴＦ特性に基づいて色系階調補正部２０４の階調補正特性を決定する理由は、ＰＱ−ＯＥＴＦ特性が、人の視覚特性における非線形特性をモデル化したものであるからである。このようにすることで、出力画像をモニタに表示させて見る時の視覚特性に基づいて、色系画像信号に対する階調補正特性を制御することが可能になる。
【００５４】
図６（ｂ）は、第１の実施形態に関する図４（ｄ）に対応しており、グラフの横軸、縦軸は、それぞれ、第２の非線形階調変換部５０１に対する入力画像信号、トーンカーブ（ガンマカーブ）の傾きの値を表す。
【００５５】
本実施形態において、色系階調補正量算出部２０３は、図６（ｂ）に示したＰＱ−ＯＥＴＦ特性に基づいて、色系画像信号に対する階調補正量を算出する。具体的な算出方法については、参照するガンマカーブが異なる点を除いて、第１の実施形態の場合と同様である。
【００５６】
以上説明したように、第２の実施形態によれば、色系階調補正量算出部２０３は、非線形階調変換部２０９の階調変換特性とは異なる非線形な階調変換特性（例えば、ＰＱ−ＯＥＴＦ特性）を参照して色系階調補正部２０４のための階調補正特性を決定する。これにより、別々の階調補正処理を経た輝度成分及び色差成分から生成される画像信号に対して非線形な階調変換処理を適用する構成において、非線形な階調変換処理を経た画像信号の色差成分を効果的に制御することが可能となる。
【００５７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
５０…システム制御部、１００…デジタルカメラ、１０５…画像処理部、１２１…不揮発性メモリ、１２２…システムメモリ、２０２…輝度系階調補正部、２０３…色系階調補正量算出部、２０４…色系階調補正部、２０９…非線形階調変換部
【図１】
2020036162.tif 000003
【図２】
2020036162.tif 000004
【図３】
2020036162.tif 000005
【図４】
2020036162.tif 000006
【図５】
2020036162.tif 000007
【図６】
2020036162.tif 000008