(57)【要約】 【課題】  スペースバリアントな画像信号処理を行う場合であっても、画像全体のバランス感及び統一感を有する絵作り処理を可能とすること。【解決手段】  撮像素子からの画像信号は、画像信号縮小部１１０にて、縮小処理されて縮小画像信号が生成される。信号処理部１０４は、縮小画像信号に対して、彩度強調、エッジ強調、スペースバリアントな階調変換処理を行う。処理後の画像信号は、補正係数計算部１０９に転送される。補正係数計算部１０９は、処理後の画像信号に基づいて、第１の補正係数を算出し、これをＲＡＭ１０８に保存する。続いて、バッファー１０３から画像信号縮小部１１０を介すことなく、直接的に画像信号が信号処理部１０４に入力されると、信号処理部１０４は、ＲＡＭ１０８に保存されている第１の補正係数を用いて、画像信号に所定の信号処理を施し、処理後の信号を出力部１０５へ出力する。【選択図】      図１
2007094742.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの画像信号に対して画像信号処理を行う画像信号処理装置において、
前記撮像素子からの画像信号に対して第１の信号処理を行う第１の信号処理手段と、
前記第１の信号処理手段により前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出する補正係数算出手段と、
前記第１の補正係数を用いて、前記撮像素子からの画像信号に対して第２の信号処理を行う第２の信号処理手段と
を具備する画像信号処理装置。
【請求項２】
撮像素子からの画像信号に対して画像信号処理を行う画像信号処理装置において、
前記撮像素子からの画像信号に対し縮小処理を行い、縮小画像信号を生成する縮小手段と、
前記縮小画像信号に対して第１の信号処理を行う第１の信号処理手段と、
前記第１の信号処理手段により前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出する補正係数算出手段と、
前記第１の補正係数を用いて、前記撮像素子からの画像信号に対して第２の信号処理を行う第２の信号処理手段と
を具備する画像信号処理装置。
【請求項３】
前記縮小率を設定するための縮小率設定手段を具備する請求項２に記載の画像信号処理装置。
【請求項４】
前記第１の信号処理手段は、処理対象の画像信号から画素または所定サイズの領域を抽出し、該抽出した画素または領域に対して第２の補正係数を算出し、該第２の補正係数を用いて前記第１の信号処理を行うことを特徴とする請求項１から請求項３のいずれかの項に記載の画像信号処理装置。
【請求項５】
前記第１の信号処理手段は、前記第２の補正係数を用いて彩度強調処理を行う彩度強調手段、前記第２の補正係数を用いてエッジ強調処理を行うエッジ強調手段、及び前記第２の補正係数を用いて階調変換処理を行う階調変換手段のうちの少なくとも一つを具備する請求項１から請求項４のいずれかの項に記載の画像信号処理装置。
【請求項６】
前記第１の信号処理手段は、固定の補正係数を用いて彩度強調処理を行う彩度強調手段、前記固定の補正係数を用いてエッジ強調処理を行うエッジ強調手段、及び前記固定の補正係数を用いて階調変換処理を行う階調変換手段のうち、少なくとも一つを具備する請求項１から請求項３のいずれかの項に記載の画像信号処理装置。
【請求項７】
前記補正係数算出手段は、前記第１の信号処理手段により生成された画像信号から画素または所定サイズの領域を抽出し、該抽出した画素或いは領域に対して前記第１の補正係数を算出することを特徴とする請求項１から請求項６のいずれかの項に記載の画像信号処理装置。
【請求項８】
前記補正係数算出手段は、前記縮小画像信号に対して行われた前記第１の信号処理後の画像信号から縮小画像信号に対応する第１の補正係数を求め、前記縮小画像信号に対応する第１の補正係数に対して補間処理を行うことにより、前記撮像素子からの画像信号に対する第１の補正係数を算出する係数補間手段を備える請求項２に記載の画像信号処理装置。
【請求項９】
前記第２の信号処理手段は、前記第１の補正係数を用いて彩度強調処理を行う彩度強調手段、前記第１の補正係数を用いてエッジ強調処理を行うエッジ強調手段、及び前記第１の補正係数を用いて階調変換処理を行う階調変換手段の少なくとも一つを具備する請求項１から請求項８のいずれかの項に記載の画像信号処理装置。
【請求項１０】
前記エッジ強調手段は、
処理対象の画像信号からエッジ強度を抽出するエッジ抽出手段と、
前記エッジ強度に対する強調処理のゲインを制御する第１の制御手段と、
前記エッジ強度に対するコアリング処理のゲインを制御する第２の制御手段と、
前記エッジ強度に対するクロマサプレス処理のゲインを制御する第３の制御手段と
を具備する請求項５、請求項６、及び請求項９のいずれかの項に記載の画像信号処理装置。
【請求項１１】
前記彩度強調手段は、ＲＧＢ信号空間でマトリックス変換処理を行う色信号変換手段を具備する請求項５、請求項６、及び請求項９のいずれかの項に記載の画像信号処理装置。
【請求項１２】
前記彩度強調手段は、ＲＧＢ信号空間でテーブル変換処理を行う色信号変換手段を具備する請求項５、請求項６、及び請求項９のいずれかの項に記載の画像信号処理装置。
【請求項１３】
前記彩度強調手段は、Ｌ＊ａ＊ｂ＊信号空間でマトリックス変換処理を行う色信号変換手段を具備する請求項５、請求項６、及び請求項９のいずれかの項に記載の画像信号処理装置。
【請求項１４】
前記彩度強調手段は、Ｌ＊ａ＊ｂ＊信号空間でテーブル変換処理を行う色信号変換手段を具備する請求項５、請求項６、及び請求項９のいずれかの項に記載の画像信号処理装置。
【請求項１５】
前記第１の制御手段は、
前記エッジ強度に対する強調ゲインを算出する強調ゲイン算出手段と、
前記第１の補正係数に基づいて、前記強調ゲインを補正する強調ゲイン補正手段と
を具備する請求項１０に記載の画像信号処理装置。
【請求項１６】
前記第２の制御手段は、
前記エッジ強度に基づいてコアリングゲインを算出するコアリングゲイン算出手段と、
補正後の前記強調ゲインに基づいて、前記コアリングゲインを補正するコアリングゲイン補正手段と
を具備する請求項１５に記載の画像信号処理装置。
【請求項１７】
前記第３の制御手段は、
前記エッジ強度に基づいてクロマサプレスゲインを算出するクロマサプレスゲイン算出手段と、
補正後の前記コアリングゲインに基づいて、前記クロマサプレスゲインを補正するクロマサプレスゲイン補正手段と
を具備する請求項１６に記載の画像信号処理装置。
【請求項１８】
前記撮像素子からの画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定するシーン判定手段をさらに備え、
前記第１の信号処理手段及び第２の信号処理手段の少なくとも一方は、前記シーン判定手段の判定結果に基づいて処理の内容を変更することを特徴とする請求項１から請求項１７のいずれかの項に記載の画像信号処理装置。
【請求項１９】
前記シーン判定手段の判定結果に基づいて前記第１の補正係数及び前記第２の補正係数の少なくとも一方を調整する補正係数調整手段を具備する請求項１８に記載の画像信号処理装置。
【請求項２０】
前記シーン判定手段は、前記画像信号が色空間内で所定の範囲に含まれるかを条件として、前記画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定する請求項１８又は請求項１９に記載の画像信号処理装置。
【請求項２１】
前記第１の補正係数による信号処理の強弱を決める強調係数を決定する強調係数決定手段を有し、
前記強調係数決定手段は、前記シーン判定手段の判定結果に基づいて前記強調係数を決定する請求項１８に記載の画像信号処理装置。
【請求項２２】
前記第１の補正係数及び前記第２の補正係数のうちの少なくとも１つを用いて信号処理が行われた後の画像信号を、前記シーン判定手段の判定結果に基づいて更に調整する再調整手段を有する請求項１８に記載の画像信号処理装置。
【請求項２３】
前記補正係数調整手段は、前記第１の補正係数及び前記第２の補正係数の少なくとも一方が所定の範囲に制限されるように調整する請求項１９に記載の画像信号処理装置。
【請求項２４】
前記補正係数調整手段は、前記第１の補正係数及び前記第２の補正係数の少なくとも一方の空間周波数を調整する請求項１９に記載の画像信号処理装置。
【請求項２５】
前記シーン判定手段は、前記画像信号の輝度が所定の閾値以下であるかを条件として前記画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定し、
前記強調係数決定手段は、前記条件に合致した場合に信号処理の強弱が弱くなるように前記強調係数を決定する請求項２１に記載の画像信号処理装置。
【請求項２６】
前記シーン判定手段は、前記画像信号中の所定の条件を満たす画素数に応じて前記画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定する請求項１８から請求項２５のいずれかの項に記載の画像信号処理装置。
【請求項２７】
撮像素子からの画像信号に対して画像信号処理を行うための画像信号処理プログラムにおいて、
前記撮像素子からの画像信号に対して第１の信号処理を行うステップと、
前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出するステップと、
前記撮像素子からの画像信号に対して、前記第１の補正係数を用いた第２の信号処理を行うステップと
をコンピュータに実行させるための画像信号処理プログラム。
【請求項２８】
撮像素子からの画像信号に対して画像信号処理を行うための画像信号処理プログラムにおいて、
前記撮像素子からの画像信号に対し縮小処理を行い、縮小画像信号を生成するステップと、
前記縮小画像信号に対して第１の信号処理を行うステップと、
前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出するステップと、
前記撮像素子からの画像信号に対して、前記第１の補正係数を用いた第２の信号処理を行うステップと
をコンピュータに実行させるための画像信号処理プログラム。
【請求項２９】
前記撮像素子からの画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られたか否かを判定するための条件を設定するステップを更に有し、
前記第１の信号処理及び第２の信号処理の少なくとも一方において行われる処理内容が、前記撮像素子からの前記画像信号が前記条件に合致するかどうかに基づいて変更される請求項２７又は請求項２８に記載の画像信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スペースバリアントな画像信号処理を行う画像信号処理装置に係り、特に、絵作り処理において統一感のある処理結果が得られる画像信号処理装置及び画像信号処理プログラムに関する。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラなどでは、デジタル信号処理の桁落ちによる画質劣化を防止するため、最終的な出力信号の階調幅（通常８Ｂｉｔ）に対して入力及び処理における信号の階調幅（１０乃至１２Ｂｉｔ程度）をより広く設定している。この場合、出力系の階調幅に合致するよう階調変換を行う必要がある。従来は、標準的なシーンに対する固定的な階調特性により変換されていた。また、撮影シーンに対応する階調特性を求め、適応的に変換する手法も提案されている。
【０００３】
例えば、特開２００３−６９８２１号公報（特許文献１）には、撮影状況を推定することで主要被写体を重視した階調変換を行う技術が開示されている。上記特許文献１には、得られた階調特性に一定の制限を課すことにより、ノイズなどの弊害を抑制する技術も併せて開示されている。
【０００４】
一方、画像信号の領域ごとに（スペースバリアントに）階調変換特性を独立に変えて階調変換する手法も提案されている。例えば、特許３４６５２２６号公報（特許文献２）には、テクスチャ情報に基づき映像信号を領域に分割し、各領域に対して適用的に階調変換を行う技術（すなわち、スペースバリアントな階調変換を行う技術）が開示されている。
【特許文献１】特開２００３−６９８２１号公報
【特許文献２】特許第３４６５２２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の固定的な階調特性では、逆光などの標準的でない状況では適切な画像信号が得られないという問題があった。
また、上記特許文献１に示される方法では、一枚の映像信号に対して一つの階調特性により階調変換を行うため、明暗比の大きいシーンでは十分な改善効果が得られないという問題があった。
これに対し、上記特許文献２に示される方法では、領域毎に独立した階調特性により階調変換を行うため、明暗比の大きいシーンにおいても十分な改善効果が得られるという効果が得られる。しかしながら、この特許文献２に記載の発明では、彩度強調処理、エッジ強調処理などの絵作り処理に統一な制御がなされていないため、領域毎に異なる絵作り処理が行われてしまい、画像全体のバランス感及び統一感がなくなるという問題があった。
【０００６】
本発明は上記課題に鑑みてなされたもので、スペースバリアントな画像信号処理を行う場合に、画像全体のバランス感及び統一感を有する絵作り処理を可能とする画像信号処理装置及び画像信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、撮像素子からの画像信号に対して画像信号処理を行う画像信号処理装置において、前記撮像素子からの画像信号に対して第１の信号処理を行う第１の信号処理手段と、前記第１の信号処理手段により前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出する補正係数算出手段と、前記第１の補正係数を用いて、前記撮像素子からの画像信号に対して第２の信号処理を行う第２の信号処理手段とを具備する画像信号処理装置を提供する。
【０００８】
このような構成によれば、第１の信号処理手段にて、撮像素子からの画像信号に対して例えば、スペースバリアントな所定の信号処理が行われ、この信号処理後の画像信号に基づいて、補正係数算出手段にて第１の補正係数が算出される。そして、第２の信号処理手段にて、撮像素子からの画像信号に対して、第１の補正係数を用いた信号処理、例えば、スペースバリアントな信号処理が施される。
このように、画像処理後の画像信号に基づいて算出した第１の補正係数を用いて、再度の画像処理を行うことにより、彩度強調の破綻、エッジ強調の破綻などを抑制することが可能となる。
【０００９】
なお、この発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の構成要素である第１の信号処理手段及び第２の信号処理手段には、信号処理部１０４が該当し、補正係数算出手段には、補正係数計算部１０９が該当する。
【００１０】
本発明は、撮像素子からの画像信号に対して画像信号処理を行う画像信号処理装置において、前記撮像素子からの画像信号に対し縮小処理を行い、縮小画像信号を生成する縮小手段と、前記縮小画像信号に対して第１の信号処理を行う第１の信号処理手段と、前記第１の信号処理手段により前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出する補正係数算出手段と、前記第１の補正係数を用いて、前記撮像素子からの画像信号に対して第２の信号処理を行う第２の信号処理手段とを具備する画像信号処理装置を提供する。
【００１１】
このような構成によれば、縮小手段にて、撮像素子からの画像信号に対し縮小処理が行われることにより、縮小画像信号が生成される。続いて、第１の信号処理手段にて、前記縮小画像信号に対して、例えば、スペースバリアントな所定の信号処理が行われ、この信号処理後の画像信号に基づいて、補正係数算出手段にて第１の補正係数が算出される。そして、第２の信号処理手段にて、撮像素子からの画像信号に対して、第１の補正係数を用いた信号処理、例えば、スペースバリアントな信号処理が施される。
【００１２】
このように、画像処理後の画像信号に基づいて算出した第１の補正係数を用いて、再度の画像処理を行うことにより、統一感のある高品位な画像信号を得ることが可能となり、彩度強調の破綻、エッジ強調の破綻などの副作用を抑制することができる。更に、縮小画像信号に基づいて、第１の補正係数を求めることにより、処理時間の短縮を図ることが可能となる。
【００１３】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の構成要素である縮小手段には、図１に示される画像信号縮小部１１０が該当し、第１の信号処理手段及び第２の信号処理手段には、信号処理部１０４が該当し、補正係数算出手段には、補正係数計算部１０９がそれぞれ該当する。
【００１４】
この発明の好ましい適用例は、例えば、以下に示すような画像信号処理装置である。
すなわち、図１に示されるように、撮像素子からの画像信号をバッファー部１０３から画像信号縮小部１１０へ転送し、画像信号縮小部１１０にて画像信号に対して縮小処理を行う。そして、信号処理部１０４にて、この縮小された画像信号に対して信号処理を行い、補正係数計算部１０９にて、信号処理後の縮小画像信号に基づいて第１の補正係数を計算する。そして、第１の補正係数をＲＡＭ１０８に保存する。次に、撮像素子からの画像信号をバッファー部１０３から信号処理部１０４へ再度転送し、信号処理部１０４にてＲＡＭ１０８に保存されている第１の補正係数を用いて信号処理を行う。
【００１５】
上記画像信号処理装置において、前記縮小率を設定するための縮小率設定手段を備えることが好ましい。
このように、縮小率設定手段を備えることにより、縮小率を任意に設定できることとなる。これにより、精度と処理速度の調整が可能となり、処理の自由度を向上させることができる。
【００１６】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の縮小率設定手段には、例えば、図１に示される外部Ｉ／Ｆ部１０７及びＲＯＭ１１１が該当する。
【００１７】
この発明の好ましい適用例は、例えば、図１に示されるように、バッファー部１０３にて撮像素子からの画像信号を画像信号縮小部１１０へ転送し、外部Ｉ／Ｆ部１０７を通じてユーザがＲＯＭ１１１の中に保存している複数の画像縮小率から一つを指定し、画像信号縮小部１１０にて指定された縮小率に基づき画像信号の縮小処理を行う画像信号処理装置である。
【００１８】
上記画像信号処理装置において、前記第１の信号処理手段は、処理対象の画像信号から画素または所定サイズの領域を抽出し、該抽出した画素または領域に対して第２の補正係数を算出し、該第２の補正係数を用いて前記第１の信号処理を行うことが好ましい。
【００１９】
このような構成によれば、抽出した画素または領域に対して第２の補正係数を算出し、該第２の補正係数を用いて前記第１の信号処理を行うことにより、例えば、画素単位で処理する場合は画質を向上でき、また、領域単位で処理する場合は処理速度の高速化を図ることができる。
【００２０】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、例えば、図２に示される第２の補正係数算出部２１０によって、第２の補正係数を算出する。
【００２１】
この発明の好ましい適用例は、例えば、図２に示されるように、制御部１０６に基づきＷＢ２０１からの画像信号を第２の補正係数算出部２１０へ転送し、第２の補正係数算出部２１０にて画素毎或いは領域毎に第２の補正係数を算出する画像信号処理装置である。
【００２２】
上記画像信号処理装置において、前記第１の信号処理手段は、前記第２の補正係数を用いて彩度強調処理を行う彩度強調手段、前記第２の補正係数を用いてエッジ強調処理を行うエッジ強調手段、及び前記第２の補正係数を用いて階調変換処理を行う階調変換手段のうちの少なくとも一つを具備することが好ましい。
【００２３】
このような構成によれば、撮像素子からの画像信号或いは縮小画像信号から算出された第２の補正係数を用いて、撮像素子からの画像信号或いは縮小画像信号に対して、スペースバリアントな彩度強調、エッジ強調及び階調変換処理の少なくとも一つの処理が行われることとなる。特に、縮小画像信号から算出された第２の補正係数を用いて、縮小画像信号に対してスペースバリアントな画像信号処理を行う場合には、処理速度の更なる高速化を図ることができる。
【００２４】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の彩度強調手段には、例えば、図２に示される彩度強調部２０３が該当する。エッジ強調手段には、例えば、図２に示されるエッジ強調部２０８が該当する。階調変換手段には、例えば、図２に示される階調変換部２０４及び階調変換部２０６がそれぞれ該当する。
【００２５】
この発明の好ましい適用例は、以下に示すような画像信号処理装置である。
例えば、図２に示されるように、信号処理部１０４へ転送された画像信号をＷＢ部２０１にてホワイトバランス補正し、低周波成分と高周波成分に分け、補間処理部２０２にて低周波成分に対して色補間処理を行い、彩度強調部２０３にて彩度強調処理を行い、階調変換部２０４にて階調変換処理を行う。続く、Ｙ／Ｃ分離２０５にて、輝度信号と色差信号に分離処理を行い、階調変換部２０６にて高周波成分に対して階調変換を行い、エッジ抽出部２０７にてエッジ成分を抽出する。そして、エッジ強調部２０８にて、Ｙ／Ｃ分離２０５からの輝度信号とエッジ抽出部２０７からのエッジ成分に基づきエッジ強調処理を行い（上記の彩度強調処理、エッジ強調処理及び階調変換処理の中少なくとも一つの処理に第２の補正係数を用いて処理を行う）、色変換部２０９にてエッジ強調部２０８からの輝度信号と色差信号をＲＧＢ信号への色変換処理を行う。
【００２６】
上記画像信号処理装置において、前記第１の信号処理手段は、固定の補正係数を用いて彩度強調処理を行う彩度強調手段、前記固定の補正係数を用いてエッジ強調処理を行うエッジ強調手段、及び前記固定の補正係数を用いて階調変換処理を行う階調変換手段のうち、少なくとも一つを具備することが好ましい。
【００２７】
このような構成によれば、彩度強調、エッジ強調及び階調変換処理の少なくとも一つの処理に対し、指定された固定の補正係数に基づき画像信号の絵作り処理が行われることとなるので、処理速度の高速化を図ることができる。
【００２８】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の彩度強調手段には、例えば、図２に示される彩度強調部２０３が該当する。エッジ強調手段には、例えば、図２に示されるエッジ強調部２０８が該当する。階調変換手段には、図２に示される階調変換部２０４及び階調変換部２０６がそれぞれ該当する。
【００２９】
この発明の好ましい適用例は、以下に示すような画像信号処理装置である。
例えば、図２に示されるように、信号処理部１０４へ転送された画像信号をＷＢ部２０１にてホワイトバランス補正を行い、画像信号を低周波成分と高周波成分に分け、補間処理部２０２にて低周波成分に対して色補間処理を行う。そして、ＲＯＭ１１１から固定の補正係数を抽出し、彩度強調部２０３にて彩度強調処理を行い、階調変換部２０４にて階調変換処理を行い、Ｙ／Ｃ分離２０５にて輝度信号と色差信号に分離処理を行う。更に、階調変換部２０６にて高周波成分に対して階調変換を行い、エッジ抽出部２０７にてエッジ成分を抽出し、エッジ強調部２０８にてＹ／Ｃ分離２０５からの輝度信号とエッジ抽出部２０７からのエッジ成分に基づき、エッジ強調処理を行う（上記の彩度強調処理、エッジ強調処理及び階調変換処理の中少なくとも一つの処理に固定の補正係数を用いて処理を行う）。そして、色変換部２０９にて、エッジ強調部２０８からの輝度信号と色差信号をＲＧＢ信号への色変換処理を行う。
【００３０】
上記画像信号処理装置において、前記補正係数算出手段は、前記第１の信号処理手段により生成された画像信号から画素または所定サイズの領域を抽出すし、該抽出した画素或いは領域に対して前記第１の補正係数を算出することを特徴とすることが好ましい。
【００３１】
このような構成によれば、抽出された画素毎或いは領域毎の画像信号に対して、独立に第１の補正係数が算出されることとなる。
このように、第１の信号処理手段により信号処理が行われた後の画像信号から画素毎或いは領域毎に第１の補正係数を算出し、この第１の補正係数を用いて、再度絵作り処理を行うため、統一感のある高品位な画像信号を得ることが可能となる。
【００３２】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、例えば、図１に示される補正係数計算部１０９によって第１の補正係数を算出する。
【００３３】
この発明の好ましい適用例は、例えば、図１に示されるように、信号処理部１０４から処理された画像信号を補正係数計算部１０９へ転送し、補正係数計算部１０９にて画素毎或いは領域毎に画像信号を抽出し、抽出された画像信号に対して第１の補正係数を算出する画像信号処理装置である。
【００３４】
上記画像信号処理装置において、前記補正係数算出手段は、前記縮小画像信号に対して行われた前記第１の信号処理後の画像信号から縮小画像信号に対応する第１の補正係数を求め、前記縮小画像信号に対応する第１の補正係数に対して補間処理を行うことにより、前記撮像素子からの画像信号に対する第１の補正係数を算出する係数補間手段を備えることが好ましい。
【００３５】
このような構成によれば、縮小画像信号に対応する第１の補正係数に対して補間処理を行うため、撮像素子からの画像信号に基づいて第１の補正係数を直接的に求める場合に比べて、短時間で第１の補正係数を求めることが可能となる。これにより、処理時間の短縮を図ることができる。
【００３６】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の係数補間手段には、例えば、図１０に示される補正係数補間部４０３が該当する。
【００３７】
この発明の好ましい適用例は、例えば、図１０に示されるように、補正係数補間部４０３は制御部１０６の制御に基づきバッファー部４０２に保存されている第１の補正係数算出部４０１により算出された第１の補正係数を読み出し、この第１の補正係数をＲＡＭ１０８に保存している撮像素子からの画像信号サイズに基づいて補間処理することにより、撮像素子からの画像信号の各画素に対応する第１の補正係数を算出する画像信号処理装置である。
【００３８】
上記画像信号処理装置において、前記第２の信号処理手段は、前記第１の補正係数を用いて彩度強調処理を行う彩度強調手段、前記第１の補正係数を用いてエッジ強調処理を行うエッジ強調手段、及び前記第１の補正係数を用いて階調変換処理を行う階調変換手段の少なくとも一つを備えることが好ましい。
【００３９】
このような構成によれば、第１の補正係数を用いて、絵作り処理（彩度強調処理、エッジ強調処理及び階調変換処理の少なくとも一つ処理）が行われることとなるため、従来、静的な制御になる絵作り処理において領域ごとに発生していた違和感を抑制することが可能となる。これにより、統一感のある高品位な画像信号を得ることができる。
【００４０】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の彩度強調手段には、例えば、図２に示される彩度強調部２０３が該当する。エッジ強調手段には、例えば、図２に示されるエッジ強調部２０８が該当する。階調変換手段には、例えば、図２に示される階調変換部２０４及び階調変換部２０６がそれぞれ該当する。
【００４１】
この発明の好ましい適用例は、例えば、以下のような画像信号処理装置である。
すなわち、図２に示されるように、信号処理部１０４へ転送された画像信号をＷＢ部２０１にてホワイトバランス補正を行い、低周波成分と高周波成分に分け、ＲＡＭ１０８から第１の補正係数を抽出する。そして、補間処理部２０２にて、低周波成分に対して色補間処理を行い、彩度強調部２０３にて彩度強調処理を行い、階調変換部２０４にて階調変換処理を行う。更に、Ｙ／Ｃ分離２０５にて、輝度信号と色差信号に分離処理を行う。一方、階調変換部２０６にて、高周波成分に対して階調変換を行い、エッジ抽出部２０７にてエッジ成分を抽出し、エッジ強調部２０８にてＹ／Ｃ分離２０５からの輝度信号とエッジ抽出部２０７からのエッジ成分を用いてエッジ強調処理を行う（上記の彩度強調処理、エッジ強調処理及び階調変換処理の中少なくとも一つの処理に第１の補正係数を用いて処理を行う）。そして、色変換部２０９にて、エッジ強調部２０８からの輝度信号と色差信号をＲＧＢ信号への色変換処理を行う。
【００４２】
上記画像信号処理装置において、前記エッジ強調手段は、処理対象の画像信号からエッジ強度を抽出するエッジ抽出手段と、前記エッジ強度に対する強調処理のゲインを制御する第１の制御手段と、前記エッジ強度に対するコアリング処理のゲインを制御する第２の制御手段と、前記エッジ強度に対するクロマサプレス処理のゲインを制御する第３の制御手段とを具備することが好ましい。
【００４３】
このような構成によれば、第１の制御手段にて、エッジ抽出手段により抽出されたエッジ強度に対する強調処理のゲインが制御され、第２の制御手段にて、エッジ強度に対するコアリング処理のゲインが制御される。更に、第３の制御手段にて、エッジ強度に対するクロマサプレス処理のゲインが制御される。そして、これらの制御（調整）された後のエッジ強度を用いて、それぞれのエッジ強調処理が実施されることとなる。これにより、統一感のある画像信号を得ることが可能となる。上記エッジ強度は、例えば、第１の補正係数、或いは第２の補正係数、或いは固定の補正係数に基づいて計算される。
【００４４】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明のエッジ抽出手段には、例えば、図２に示されるエッジ抽出部２０７が該当する。第１の制御手段には、例えば、図６に示されるエッジ強度制御部３０１が該当する。第２の制御手段には、例えば、図６に示されているコアリング制御部３０２が該当する。第３の制御手段には、例えば、図６に示されているクロマサプレス制御部３０３が該当する。
【００４５】
この発明の好ましい適用例は、例えば、図６に示されるように、エッジ抽出部２０７にてエッジ強度を抽出してエッジ強度制御部３０１へ転送し、エッジ強度制御部３０１にて抽出されたエッジ強度に対してエッジ強調ゲインを算出し、コアリング制御部３０２にてエッジ強度に基づきコアリング処理を行い、クロマサプレス制御部３０３にてコアリング３０２からのエッジ強度を基にクロマサプレス処理を行い、エッジ加算部３０４にてエッジ加算処理を行う画像信号処理装置である。
【００４６】
上記画像信号処理装置において、前記彩度強調手段は、ＲＧＢ信号空間でマトリックス変換処理を行う色信号変換手段を具備することが好ましい。
【００４７】
このような構成によれば、ＲＧＢの色空間においてマトリックス変換方式で彩度強調処理が行われることとなる。ＲＧＢ空間でのマトリックス演算は高速に実行できるため、処理時間を短縮できる。また、ハードウェア的な規模が小さいため、低コストで実現できる。
【００４８】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の色信号変換手段には、例えば、図２に示される彩度強調部２０３が該当する。
この発明の好ましい適用例は、彩度強調部２０３にて彩度強調処理を行う画像信号処理装置である。
【００４９】
上記画像信号処理装置において、前記彩度強調手段は、ＲＧＢ信号空間でテーブル変換処理を行う色信号変換手段を具備することが好ましい。
【００５０】
このような構成によれば、ＲＧＢの色空間において、テーブル変換処理を行うことにより彩度強調処理が行われることとなる。例えば、色信号変換手段は、第１の補正係数或いは第２の補正係数或いは固定の補正係数に対応する色変換テーブルを複数の色変換テーブルから抽出し、抽出した色変換テーブルを用いて彩度強調処理を行う。
このように、色変換テーブルを利用するので、高速な処理が可能となる。また、計算を意図的に省略することで、低コスト及び省電力化を図ることができる。
【００５１】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の色信号変換手段には、例えば、図２に示される彩度強調部２０３が該当する。
この発明の好ましい適用例は、彩度強調部２０３にて彩度強調処理を行う画像信号処理装置である。
【００５２】
上記画像信号処理装置において、前記彩度強調手段は、Ｌ＊ａ＊ｂ＊信号空間でマトリックス変換処理を行う色信号変換手段を具備することが好ましい。
【００５３】
このような構成によれば、Ｌ＊ａ＊ｂ＊信号空間においてマトリックス変換方式で彩度強調処理が行われることとなる。このように、知覚色空間で彩度強調処理を行うことにより、人間の知覚に好まれる色彩をもつ高品位な画像信号を得ることができる。
【００５４】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の色信号変換手段には、例えば、図２に示される彩度強調部２０３が該当する。
この発明の好ましい適用例は、彩度強調部２０３にてＲＧＢ信号をＬ＊ａ＊ｂ＊信号へ変換し、彩度強調処理を行う画像信号処理装置である。
【００５５】
上記画像信号処理装置において、前記彩度強調手段は、Ｌ＊ａ＊ｂ＊信号空間でテーブル変換処理を行う色信号変換手段を具備することが好ましい。
【００５６】
このような構成によれば、Ｌ＊ａ＊ｂ＊の色空間において、テーブル変換処理を行うことにより彩度強調処理が行われることとなる。例えば、色信号変換手段は、第１の補正係数或いは第２の補正係数或いは固定の補正係数に対応する色変換テーブルを複数の色変換テーブルから抽出し、抽出した色変換テーブルを用いて彩度強調処理を行う。
このように、知覚色空間で彩度強調処理を行うため、人間の知覚に好まれる色彩をもつ高品位な画像信号を得ることができる。また、色変換テーブルを用いることにより、高速な処理が可能となる。さらに、計算を意図的に省略することで低コスト並びに省電力化を図ることができる。
【００５７】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の色信号変換手段には、例えば、図２に示される彩度強調部２０３が該当する。
この発明の好ましい適用例は、彩度強調部２０３にてＲＧＢ信号をＬ＊ａ＊ｂ＊信号へ変換し彩度強調処理を行う画像信号処理装置である。
【００５８】
上記画像信号処理装置において、前記第１の制御手段は、前記エッジ強度に対する強調ゲインを算出する強調ゲイン算出手段と、前記第１の補正係数に基づいて、前記強調ゲインを補正する強調ゲイン補正手段とを具備することが好ましい。
【００５９】
このような構成によれば、強調ゲイン算出手段にて、例えば、第１の補正係数或いは第２の補正係数或いは固定の補正係数と注目画素に対応する輝度レベルに基づいて、強調ゲインが算出され、強調ゲイン補正手段にて、第１の補正係数に基づいて、該強調ゲインが補正されることとなる。
このように、第１の補正係数或いは第２の補正係数或いは固定の補正係数と注目画素に対応するエッジ強調の強調ゲインが算出され、更に、この強調ゲインが第１の補正係数によって補正されるので、所望の画像を得るための好適なエッジ強調処理を行うことが可能となる。
【００６０】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明の強調ゲイン算出手段及び強調ゲイン補正手段には、例えば、図６に示されるエッジ強度制御部３０１が該当する。
この発明の好ましい適用例は、抽出されたエッジ強度に対してエッジ強度制御部３０１にてエッジ強調ゲインを算出し補正を行う画像信号処理装置である。
【００６１】
上記画像信号処理装置において、前記第２の制御手段は、前記エッジ強度に基づいてコアリングゲインを算出するコアリングゲイン算出手段と、補正後の前記強調ゲインに基づいて、前記コアリングゲインを補正するコアリングゲイン補正手段とを具備することが好ましい。
【００６２】
このような構成によれば、例えば、コアリングゲイン算出手段にて、コアリングゲインが算出され、コアリングゲイン補正手段にて、上記強調ゲイン補正手段にて補正された強調ゲインに基づいてコアリングゲインが補正される。このように、補正後のコアリングゲインを用いてコアリング処理を行うことにより、多様な目的に応じた所望の画像信号を容易に得ることが可能となる。
【００６３】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明のコアリングゲイン算出手段及びコアリングゲイン補正手段には、例えば、図６に示されるコアリング強調部３０２が該当する。
この発明の好ましい適用例は、コアリング強調部３０２にてコアリング処理を行う画像信号処理装置である。
【００６４】
上記画像信号処理装置において、前記第３の制御手段は、前記エッジ強度に基づいてクロマサプレスゲインを算出するクロマサプレスゲイン算出手段と、補正後の前記コアリングゲインに基づいて、前記クロマサプレスゲインを補正するクロマサプレスゲイン補正手段とを具備することが好ましい。
【００６５】
このような構成によれば、クロマサプレスゲイン算出手段にて、エッジ強度に基づくクロマサプレスゲインが算出され、このクロマサプレスゲインが、クロマサプレスゲイン補正手段にて、補正されるので、この補正後のクロマサプレスゲインを用いてクロマサプレス処理を行うことにより、多様な目的に応じた所望の画像信号を容易に得ることが可能となる。
【００６６】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第１及び第２の実施形態であり、この発明のクロマサプレスゲイン算出手段及びクロマサプレスゲイン補正手段には、例えば、図６に示されるクロマサプレス制御部３０３が該当する。
この発明の好ましい適用例は、クロマサプレス制御部３０３にてクロマサプレス処理を行う画像信号処理装置である。
【００６７】
上記画像信号処理装置は、前記撮像素子からの画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定するシーン判定手段をさらに備え、前記第１の信号処理手段及び第２の信号処理手段の少なくとも一方は、前記シーン判定手段の判定結果に基づいて処理の内容を変更することが好ましい。
【００６８】
このような構成によれば、所定のシーン若しくは所定の被写体を撮像することにより得られたか否かにより、第１の信号処理手段及び第２の信号処理手段の少なくとも一方が行う画像信号処理の内容が変更されるので、シーンや被写体に応じた好適な画像を得ることが可能となる。
例えば、修正された第１の補正係数は彩度強調に用いられ、また、修正された第２の補正係数は、階調変換に用いられる。
また、シーンモードを設定するような機能を有する画像信号処理装置であれば、設定されているシーンモードを読み出すことにより、条件に合致するか否かを判定するようにしても良い。また、オートフォーカスなどの設定によっても判定できるような構成としても良い。
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第３乃至第５の実施形態であり、この発明の条件設定手段には、例えば、図１８に示されるシーン判定部７００が該当する。
【００６９】
上記画像信号処理装置において、前記シーン判定手段の判定結果に基づいて前記第１の補正係数及び前記第２の補正係数の少なくとも一方を調整する補正係数調整手段を具備することが好ましい。
【００７０】
このような構成によれば、第１の補正係数及び前記第２の補正係数の少なくとも一方が、シーン並びに処理対象画素の重要度に応じて修正されることとなるので、各シーンに応じた最適な補正係数を用いて、彩度強調処理及び階調変換処理などの絵作り処理を実施することが可能となる。これにより、より好ましい画質を得ることができる。
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第３の実施形態であり、この発明の修正手段には、例えば、図１８に示される補正係数調整部７０１が該当する。
【００７１】
上記画像信号処理装置において、前記シーン判定手段は、前記画像信号が色空間内で所定の範囲に含まれるかを条件として、前記画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定することができる。
【００７２】
上記画像信号処理装置において、前記第１の補正係数による信号処理の強弱を決める強調係数を決定する強調係数決定手段を有し、前記強調係数決定手段は、前記シーン判定手段の判定結果に基づいて前記強調係数を決定することを特徴とすることが好ましい。
【００７３】
このような構成によれば、第１の補正係数の信号処理の強弱を決める強調係数の決定が強調係数決定手段にて行われ、更に、シーン並びに処理対象画素の重要度に応じて、この強調係数が決定されることとなる。これにより、各シーンに応じた最適な補正係数を用いて、彩度強調処理及び階調変換処理を実施することが可能となる。例えば、肌色部では彩度をそれほど強調せず、特に明部の彩度を落とし、暗部では、低輝度部で特に彩度を下げるという彩度の調整が可能となる。
【００７４】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第４の実施形態であり、この発明の強調係数決定手段には、例えば、図２３に示されるテーブル変更部８０１が該当する。
【００７５】
上記画像信号処理装置において、前記第１の補正係数及び前記第２の補正係数のうちのすくなくとも１つを用いて信号処理が行われた後の画像信号を、前記シーン判定手段の判定結果に基づいて更に調整する再調整手段を有することが好ましい。
【００７６】
このような構成によれば、再調整手段により、シーン並びに処理対象画素の重要度などに応じて、第１の補正係数及び第２の補正係数のうちの少なくとも１つを用いて信号処理が行われた画像信号が更に調整されることとなる。これにより、シーン並びに処理対象画素の重要度などに応じて、最終的な画像を適切に補正することが可能となる。
【００７７】
なお、上記発明を後述する実施形態に具体的に対応付けて説明すると、次の通りである。すなわち、この発明に対応する実施形態は、第５の実施形態であり、この発明の再調整手段には、例えば、図２８に示される色補正部９０１が該当する。
【００７８】
上記画像信号処理装置において、前記補正係数調整手段は、前記第１の補正係数及び前記第２の補正係数の少なくとも一方が所定の範囲に制限されるように調整することが好ましい。
【００７９】
このような構成によれば、所定のシーン等の場合には、処理後の画像信号が所定範囲に制限されることとなるので、高品位な画像信号を得ることが可能となる。
【００８０】
上記画像信号処理装置において、前記補正係数調整手段は、前記第１の補正係数及び前記第２の補正係数の少なくとも一方の空間周波数を調整することが好ましい。
【００８１】
上記画像信号処理装置において、前記シーン判定手段は、前記画像信号の輝度が所定の閾値以下であるかを条件として前記画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定し、前記強調係数決定手段は、前記条件に合致した場合に信号処理の強弱が弱くなるように前記強調係数を決定することが好ましい。
【００８２】
このような構成によれば、画像信号の輝度が所定の閾値以下であるかによって、信号処理の強弱が弱くなるように強調係数が決定されることとなる。
【００８３】
上記画像信号処理装置において、前記シーン判定手段は、前記画像信号中の所定の条件を満たす画素数に応じて前記画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるか否かを判定することが好ましい。
【００８４】
本発明は、撮像素子からの画像信号に対して画像信号処理を行うための画像信号処理プログラムにおいて、前記撮像素子からの画像信号に対して第１の信号処理を行うステップと、前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出するステップと、前記撮像素子からの画像信号に対して、前記第１の補正係数を用いた第２の信号処理を行うステップとをコンピュータに実行させるための画像信号処理プログラムを提供する。
【００８５】
本発明は、撮像素子からの画像信号に対して画像信号処理を行うための画像信号処理プログラムにおいて、前記撮像素子からの画像信号に対し縮小処理を行い、縮小画像信号を生成するステップと、前記縮小画像信号に対して第１の信号処理を行うステップと、前記第１の信号処理が行われた後の画像信号に基づいて、第１の補正係数を算出するステップと、前記撮像素子からの画像信号に対して、前記第１の補正係数を用いた第２の信号処理を行うステップとをコンピュータに実行させるための画像信号処理プログラムを提供する。
【００８６】
上記記載の画像信号処理プログラムは、前記撮像素子からの画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られたか否かを判定するための条件を設定するステップを更に有し、前記第１の信号処理及び第２の信号処理の少なくとも一方において行われる処理内容が、前記撮像素子からの前記画像信号が前記条件に合致するかどうかに基づいて変更されるようにしても良い。
【発明の効果】
【００８７】
本発明によれば、スペースバリアントな画像信号処理を行う場合に、彩度強調の破綻、エッジ強調の破綻などを抑制することが可能となるので、画像全体のバランス感及び統一感を有する絵作り処理を実現することができるという効果を奏する。
【発明を実施するための最良の形態】
【００８８】
以下、本発明の一実施形態に係る画像信号処理装置について図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像信号処理装置の概略構成を示すブロック図である。
図１において、レンズ系・絞り１００、ＣＣＤ１０１が光軸に沿って配置されている。
Ａ／Ｄ変換器１０２は、バッファー部１０３に接続している。バッファー部１０３は、画像信号縮小部１１０を介して信号処理部１０４に接続している。またバッファー部１０３は信号処理部１０４にも直接接続している。信号処理部１０４からの信号は補正係数計算部１０９及び出力部１０５へ転送できる。ＲＡＭ１０８は信号処理部１０４に接続していて、補正係数計算部１０９と双方向に接続している。画像信号縮小部１１０は補正係数計算部１０９へ接続している。ＲＯＭ１１１は信号処理部１０４と画像信号縮小部１１０へ接続している。制御部１０６はＡ／Ｄ１０２、バッファー部１０３、画像信号縮小部１１０、信号処理部１０４、補正係数計算部１０９、出力部１０５、ＲＡＭ１０８、ＲＯＭ１１１と双方向に接続している。さらに、制御部１０６は、外部Ｉ／Ｆ部１０７と双方向に接続している。外部Ｉ／Ｆ部１０７は、例えば、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行う。
【００８９】
次に、上記構成からなる画像信号処理装置において、信号の流れを説明する。
ユーザにより、外部Ｉ／Ｆ１０７を介してＩＳＯ感度などの撮影条件が設定された後、図示しないシャッターボタンが押されると、レンズ系・絞り１００、ＣＣＤ１０１を介して撮影された映像信号は、公知の相関二重サンプリングによりアナログ信号として読み出され、Ａ／Ｄ変換器１０２にてデジタル画像信号へ変換され、バッファー部１０３へ転送される。なお、本実施形態例において、ＣＣＤ１０１はＲＧＢ原色系の単板ＣＣＤを想定し、Ａ／Ｄ変換器１０２による信号の階調幅を例えば１２ｂｉｔとする。
【００９０】
その後、バッファー部１０３内の原画像信号、すなわち撮像素子であるＣＣＤ１０１からの画像信号に対し処理が行われるが、この処理において本実施形態では、先行処理と本処理の二回に分けた処理が行われる。その際、先行処理では、スペースバリアントな階調変換と、絵作りを行うための補正係数を算出し、本処理では、先行処理にて算出された補正係数を用いて階調変換および絵作り処理を行う。本処理終了後の画像は、公知のＪＰＥＧなどの圧縮処理の後、出力部１０５によりメモリカードなどへ記録保存される。
【００９１】
以下、先行処理と本処理それぞれについて、詳しく説明する。
先行処理では、バッファー部１０３内の原画像信号が、まず画像信号縮小部１１０へ転送され、所定の大きさに縮小される。本実施形態では、原画像信号はＩ画素×Ｊ画素の画素値を表すものとし、また、縮小された画像信号はｉ画素×ｊ画素の画素値を表すものとして説明する。施される縮小処理の内容は、公知のものでよい。例えば、ＣＣＤ１０１が原色Ｂａｙｅｒ配列で、画像縮小率が１／４の場合、まず画像を４×４ブロックに分割し、各ブロックでブロック左上隅の画素と同じ属性をもつ信号（Ｒ、或いはＢ、或いはＧｒ、或いはＧｂ）をさらに抽出する。抽出された２×２のブロックに２×２のローパスフィルタをかけ、ブロックを代表する画素値を算出すると、１／４に縮小された画像が得られる。
なお、その際の縮小率は、固定値でも構わないが、ユーザが外部Ｉ／Ｆ部１０７を通じて自由に設定可能にしてもよいし、ＲＯＭ１１１に用意した複数の画像縮小率の一つをユーザが外部Ｉ／Ｆ部１０７を通じて指定する方式をとってもよい。
【００９２】
次に、画像信号縮小部１１０にて縮小された画像信号は、信号処理部１０４及び補正係数計算部１０９へ転送され、補正係数が算出される。先行処理で算出される補正係数には第１の補正係数と第２の補正係数との二種類あり、このうち第２の補正係数は、スペースバリアントな階調変換を行うために算出される。また、第１の補正係数は、このスペースバリアントな階調変換に対して統一感のある絵作り処理を行うために算出される。ここで、絵作り処理とは、例えば、彩度強調処理、エッジ強調処理、階調変換処理等をいう。
【００９３】
具体的には、上記補正係数の算出においては、まず、信号処理部１０４が、画像信号縮小部１１０からの縮小後の画像信号に基づいて第２の補正係数を算出し、ＲＡＭ１０８へ保存する。続いて、縮小後の画像信号に対し、この第２の補正係数に基づいてスペースバリアントな階調変換を行うとともに、事前に決められた固定の補正係数（ＲＯＭ１１１から抽出）に基づき、彩度強調処理、エッジ強調処理などのその他の絵作り処理を行って、処理後の画像信号を補正係数計算部１０９へ転送する。なお、固定の補正係数は予めＲＯＭ１１１に記憶しておく。
【００９４】
補正係数計算部１０９は、信号処理部１０４から転送されたスペースバリアントな絵作り処理がなされた画像信号と、画像信号縮小部１１０から転送された縮小された画像信号とに基づいて、第１の補正係数を算出する。第１の補正係数は、画素ごとに算出してもよいし、画像信号を領域に区切って領域ごとに算出してもよい。算出された第１の補正係数は、第２の補正係数と同じくＲＡＭ１０８に保存される。先行処理はこれにて終了する。
【００９５】
続く、本処理では、バッファー部１０３内の原画像信号は、信号処理部１０４へ再転送され、信号処理部１０４は、再転送された原画像信号に対して、上述の先行処理にて得られたＲＡＭ１０８内の第２の補正係数を用いて階調変換処理を行うとともに、同様に、上述の先行処理にて得られたＲＡＭ１０８内の第１の補正係数を用いてその他の絵作り処理、例えば、彩度強調処理及びエッジ強調処理などを行う。
【００９６】
次に、上記画像処理部１０４について詳しく説明する。
図２は、上記信号処理部１０４の一構成例を示したブロック図である。この図に示すように、信号処理部１０４は、ＷＢ（ホワイトバランス）部２０１、補間処理部２０２、彩度強調部２０３、階調変換部２０４、Ｙ／Ｃ分離部２０５、階調変換部２０６、エッジ抽出部２０７、エッジ強調部２０８、色変換部２０９、及び第２の補正係数算出部２１０を備えて構成されている。
【００９７】
画像信号縮小部１１０及びバッファー部１０３は、ＷＢ部２０１に接続している。ＷＢ部２０１は、補間処理部２０２、階調変換部２０６、及び第２の補正係数算出部２１０へ接続している。補間処理部２０２は、彩度強調部２０３、階調変換部２０４を介して、Ｙ／Ｃ分離部２０５へ接続している。階調変換部２０６は、エッジ抽出部２０７、エッジ強調部２０８を介して、色変換部２０９へ接続している。Ｙ／Ｃ分離部２０５は、エッジ強調部２０８へ接続している。
【００９８】
色変換部２０９は、補正係数計算部１０９及び出力部１０５へ接続している。ＲＡＭ１０８は、彩度強調部２０３、階調変換部２０４、階調変換部２０６、及びエッジ強調部２０８へ接続している。ＲＯＭ１１１は、彩度強調部２０３、階調変換部２０４、階調変換部２０６、及びエッジ強調部２０８へ接続している。第２の補正係数算出部２１０は、ＲＡＭ１０８に接続している。制御部１０６は、ＷＢ部２０１、補間処理部２０２、彩度強調部２０３、階調変換部２０４、Ｙ／Ｃ分離部２０５、階調変換部２０６、エッジ抽出部２０７、エッジ強調部２０８、色変換部２０９、及び第２の補正係数算出部２１０と双方向に接続している。
【００９９】
このように構成された信号処理部１０４において、まず、上記先行処理では、画像信号縮小部１１０により縮小された画像信号は、ＷＢ部２０１へ転送される。ＷＢ部２０１は、この縮小された画像信号に対して公知のホワイトバランス補正を行う。ＷＢ部２０１からの画像信号は、第２の補正係数算出部２１０、補間処理部２０２、及び階調変換部２０６へ転送される。
一方、本処理においては、バッファー部１０３から原画像信号が直接的にＷＢ部２０１へ転送される。ＷＢ部２０１は、この原画像信号に対して公知のホワイトバランス補正を行い、補正後の画像信号を補間処理部２０２及び階調変換部２０６へ転送する。このように、本処理では、第２の補正係数算出部２１０には、画像信号が転送されないこととなる。
【０１００】
先行処理において、第２の補正係数算出部２１０は、スペースバリアントな階調変換処理に用いる第２の補正係数を算出する。例えば、特許第３４６５２２６号公報に開示されるように、処理対象の画像信号のテクスチャを解析し、この解析結果に基づき画像信号を複数の領域に分割する。すなわち、画像を複数の領域に分割するために、各画素値をいずれかの領域に対応付ける。分割された領域に対して、まず、領域毎の画素値について濃度ヒストグラムを作成し、この濃度ヒストグラムの濃度値のばらつき具合を算出する。次に、このばらつき具合に応じて、算出した濃度ヒストグラムの平滑化の度合いを左右するクリップ値を決定する。さらに、決定したクリップ値で、上記濃度ヒストグラムをクリッピングし、クリッピング後の濃度ヒストグラムから、累積ヒストグラムを作成する。最後に、累積ヒストグラムに基づき画素毎或いは領域毎の第２の補正係数ｇ２ｉｊ（添字のｉ、ｊは縮小された画像信号の座標値である。以下同じ。)を算出し、これをＲＡＭ１０８に保存する。
一方、本処理では、第２の補正係数算出部２１０は、動作しない。
【０１０１】
補間処理部２０２は、先行処理において、ＷＢ部２０１からの信号に対して、公知の補間処理で単板画像から三板画像を生成し、彩度強調部２０３へ転送する。
彩度強調部２０３は、例えば、ＲＧＢ信号、ＹＣｒＣｂ信号、ＣｒＣｂ強調、ＲＧＢ信号の変換順番により、彩度強調処理を行う。具体的には、彩度強調部２０３は、制御部１０６に基づき、ＲＧＢ信号に対して、ＹＣｒＣｂ変換用の３×３のマトリックス値を乗算することにより、ＲＧＢ信号をＹＣｒＣｂ信号へ変換する。次に、予めＲＯＭ１１１に記憶しておいた固定の補正係数ｇ０をＲＯＭ１１１から読み出し、以下の（式１）を用いて、ＣｒＣｂ強調用の彩度強調係数Ｋ０を算出し、更に、ＣｒＣｂ強調用の彩度強調係数Ｋ０からなる３×３のマトリックス値を作成する。そして、このＣｒＣｂ強調用の３×３のマトリックス値をＹＣｒＣｂ信号に乗算することにより、ＣｒＣｂ強調処理を行う。最後に、ＣｒＣｂ強調処理後のＹＣｒＣｂ信号に対して、ＲＧＢ変換用の３×３のマトリックス値を乗算することにより、ＣｒＣｂ強調処理後のＹＣｒＣｂ信号をＲ´Ｇ´Ｂ´信号へ変換する。上記手順は、以下の（式２）のように表すことができる。
【０１０２】
Ｋ０＝Ｃｏｌｏｒ（Ｙ＿ｌｏｗ＊ｇ０）      （式１）
Ｃｏｌｏｒ（）はＹ＿ｌｏｗ＊ｇ０とＫ０との関係を示す予め定められた関数である（Ｙ＿ｌｏｗは輝度レベル、Ｋ０はＣｒＣｂレベル強調用の係数、ｇ０は固定の補正係数）。
【０１０３】
【数１】
2007094742.tif 000003
【０１０４】
一方、本処理では、彩度強調部２０３は、制御部１０６に基づきＲＧＢ信号に対してＹＣｒＣｂ変換用の３×３のマトリックス値を乗算することにより、ＲＧＢ信号をＹＣｒＣｂ信号へ変換する。次に、ＲＡＭ１０８から画素毎或いは領域に対応する第１の補正係数ｇ１ＩＪを（添字のI、Jは原画像の画素あるいは領域の座標値である。以下同じ）読み出し（第１の補正係数は補正係数計算部１０９で算出される）、ＣｒＣｂ強調用の彩度強調係数ＫＩＪを以下の（３）式に従って算出し、更に、ＣｒＣｂ強調用の彩度強調係数ＫＩＪからなる３×３のマトリックス値を作成する。そして、このＣｒＣｂ強調用の３×３のマトリックス値をＹＣｒＣｂ信号に乗算することにより、ＣｒＣｂ強調処理を行う。最後に、ＣｒＣｂ強調処理後のＹＣｒＣｂ信号に対して、ＧＲＢ変換用の３×３のマトリックス値を乗算することにより、ＣｒＣｂ強調処理後のＹＣｒＣｂ信号をＲＩＪ’ＧＩＪ’ＢＩＪ’信号へ変換する。上記手順は、以下の（式４）のように表すことができる。
【０１０５】
また、ここで、図３に、ＲＧＢ色空間における彩度強調処理の彩度強調係数Ｋと輝度レベルＹ及び第１の補正係数ｇの関連グラフの一例を示す。この図に示されるように、第１の補正係数ｇと輝度レベルＹとの乗算値ｇ＊Ｙは、中間部分に対する彩度強調係数Ｋが大きく設定されており、中間部分を境に乗算値ｇ＊Ｙが減少及び増加するにつれて、彩度強調係数Ｋが除々に減少するように設定されている。このように、彩度強調係数Ｋを設定することにより、例えば、階調変換処理を行うことにより、彩度が高くなりすぎてしまった場合に、その彩度を低減させて、画像に統一感をもたせることが可能となる。
【０１０６】
ＫＩＪ＝Ｃｏｌｏｒ（Ｙ＿ｌｏｗ＊ｇ１ＩＪ）      （式３）
Ｃｏｌｏｒ（）はＹ＿ｌｏｗ＊ｇ１ＩＪと、彩度強調係数ＫＩＪとの関係を示す予め定められた関数である（Ｙ＿ｌｏｗは輝度レベル、ＫＩＪは画素毎或いは領域毎のＣｒＣｂレベル強調用の彩度強調係数、ｇ１ＩＪは画素毎或いは領域毎の第１の補正係数）。
【０１０７】
【数２】
2007094742.tif 000004
【０１０８】
なお、上記の彩度強調処理において、ＲＧＢ信号とＹＣｒＣｂ信号の変換は、マトリックス乗算により実現されるが、ＬＵＴ方式で行うことも可能である。例えば、ＲＯＭ１１１に第１の補正係数のレベルに対応する複数のＲＧＢ色変換テーブルを予め設定しておき、彩度強調処理を行うときには、画像信号に対して画素毎或いは領域毎にＲＡＭ１０８から対応する第１の補正係数を抽出し、ＲＯＭ１１１に保存している複数のＲＧＢ色変換テーブルからその第１の補正係数に対応する色変換テーブルを基に色変換処理（ＲＧＢ、Ｒ´Ｇ´Ｂ´）を行うようにしても良い。
【０１０９】
また、本実施形態において、ＲＧＢ色空間で彩度強調が行われるが、人間の知覚に好まれる色彩を得るため、Ｌ＊ａ＊ｂ＊色空間で彩度強調処理を行うことも可能である。
以下、このＬ＊ａ＊ｂ＊色空間で彩度強調処理を行う場合の彩度強調部２０３の処理について説明する。
この場合、彩度強調部２０３は、例えば、ＲＧＢ信号、Ｌ＊ａ＊ｂ＊信号、ａ＊ｂ＊強調、ＲＧＢ信号の変換順番により彩度強調処理を行う。また、予めＲＯＭ１１１には、ＲＧＢ信号からＬ＊ａ＊ｂ＊信号に変換する色変換テーブル及びＬ＊ａ＊ｂ＊信号からＲＧＢ信号に変換する色変換テーブルが設定されている。
【０１１０】
先行処理では、まず、彩度強調部２０３は、制御部１０６に基づきＲＯＭ１１１からＲＧＢ信号をＬ＊ａ＊ｂ＊信号に変換する色変換テーブルを抽出し、ＲＧＢ信号をＬ＊ａ＊ｂ＊信号へ変換する。次に、ＲＯＭ１１１から画素毎に固定の補正係数ｇ０を読み出し、Ｌ＊ａ＊ｂ＊強調用の彩度強調係数Ｈ０を以下の（式５）に基づいて算出し、ａ＊ｂ＊強調用の彩度強調係数Ｈ０からなる３×３のマトリックス値を作成する。そして、このａ＊ｂ＊強調用の３×３のマトリックス値をＬ＊ａ＊ｂ＊信号に乗算することにより、ａ＊ｂ＊強調処理を行う。最後に、ＲＯＭ１１１からのＬ＊ａ＊ｂ＊信号からＲＧＢ信号に変換する色変換テーブルを読み出し、この色変換テーブルをａ＊ｂ＊強調処理後のＬ＊ａ＊ｂ＊信号に乗算することにより、ａ＊ｂ＊強調処理後のＬ＊ａ＊ｂ＊信号をＲ´Ｇ´Ｂ´信号へ変換する。上記手順は、（式６）のように表すことができる。
【０１１１】
Ｈ０＝Ｃｏｌｏｒ＿Ｌ（Ｌ＊ｇ０）      （式５）
【０１１２】
【数３】
2007094742.tif 000005
【０１１３】
本処理では、彩度強調部２０３は、まず、制御部１０６に基づきＲＯＭ１１１からＲＧＢ信号をＬ＊ａ＊ｂ＊信号に変換する色変換テーブルを抽出し、この色変換テーブルをＲＧＢ信号に乗算することにより、ＲＧＢ信号をＬ＊ａ＊ｂ＊信号へ変換する。次に、彩度強調部２０３は、ＲＡＭ１０８から画素毎或いは領域毎に対応する第１の補正係数ｇ１ＩＪを読み出し、ａ＊ｂ＊強調用の彩度強調係数ＨＩＪを以下の（式７）に基づいて算出し、更に、ａ＊ｂ＊強調用の彩度強調係数ＨＩＪからなる３×３のマトリックス値を作成する。そして、ａ＊ｂ＊強調用の３×３のマトリックス値をＬ＊ａ＊ｂ＊信号に乗算することにより、ａ＊ｂ＊強調処理を行う。最後に、ＲＯＭ１１１からＬ＊ａ＊ｂ＊信号からＲＧＢ信号に変換する色変換テーブルを読み出し、この色変換テーブルをａ＊ｂ＊強調処理後のＬ＊ａ＊ｂ＊信号に乗算することにより、ａ＊ｂ＊強調後のＬ＊ａ＊ｂ＊信号をＲＩＪ´ＧＩＪ´ＢＩＪ´信号へ変換する。この手順は、以下の（式８）のように表すことができる。
【０１１４】
ＨＩＪ＝Ｃｏｌｏｒ＿Ｌ（Ｌ＊ｇ１ＩＪ）      （式７）
【０１１５】
【数４】
2007094742.tif 000006
【０１１６】
なお、Ｌ＊ａ＊ｂ＊空間の彩度強調処理は、マトリックスの乗算方式ではなく、ＬＵＴ方式で行うことも可能である。例えば、予めＲＯＭ１１１に第１の補正係数のレベルに対応する複数のＬ＊ａ＊ｂ＊色変換テーブルを設定しておき、彩度強調処理を行う際には、画像信号に対して画素毎にＲＡＭ１０８から対応する第１の補正係数を抽出する。続いて、ＲＯＭ１１１に保存している複数のＬ＊ａ＊ｂ＊色変換テーブルから、第１の補正係数に対応する色変換テーブルを読み出し、この色変換テーブルを用いて色変換処理、つまりＬ＊ａ＊ｂ＊信号からＬ＊´ａ＊´ｂ＊´信号への変換を行うようにしても良い。
ここで、図４に、Ｌ＊ａ＊ｂ＊色空間における彩度強調処理の彩度強調係数Ｈと明度レベルＬ及び第１の補正係数ｇの関連グラフを示す。
【０１１７】
そして、彩度強調部２０３により上述したような彩度強調処理が施された画像信号は、制御部１０６の制御に基づき、階調変換部２０４へ転送される。
階調変換部２０４は、γ特性に基づき階調変換処理を行う。本実施形態においては、図５に示すように、ＲＧＢ１２ｂｉｔデータを１０ｂｉｔへ変換する。以下、階調変換部２０４による処理内容について詳しく説明する。
【０１１８】
先行処理において、階調変換部２０４は、まず、ＲＡＭ１０８から第２の補正係数ｇ２ｉｊを抽出し、以下の（式９−１）に示すように、変換された１０ｂｉｔのＲＧＢのデータに対して画素毎或いは領域毎に対応する第２の補正係数ｇ２ｉｊを乗算することにより、階調変換処理を行う。
【０１１９】
Ｍｉｊ＝Ｐｉｊ＊ｇ２ｉｊ      （式９−１）
【０１２０】
上記（式９−１）において、Ｐｉｊは、縮小された画像信号が彩度強調部２０３で処理された後の各画素或いは各領域の画素値（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）であり、Ｍｉｊは階調変換処理後の各画素或いは各領域の画素値（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）である。
【０１２１】
一方、本処理では、階調変換部２０４は、まず、ＲＡＭ１０８から第２の補正係数ｇ２ｉｊを読み出す。ここで、読み出した第２の補正係数ｇ２ｉｊは、縮小された画像信号に対して算出されているため、原画像信号の各画素或いは各領域に対応するように不足する画素或いは領域に対応する補正係数を補間処理することにより、原画像信号に対応する補間後の第２の補正係数ｇ２ＩＪを求める。そして、原画像信号に対応する第２の補正係数ｇ２ＩＪを、下記（式９−２）に示すように、上記変換後における１０ｂｉｔのＲＧＢのデータに対して乗算することにより、階調変換処理を行う。なお、階調変換部２０４は、乗算の画素値が１０ｂｉｔの上限値を超えた場合は、上限値に設定する。
ＭＩＪ  ＝  ＰＩＪ  ＊  ｇ２ＩＪ          （式９−２）
上記（式９−２）において、ＰＩＪは、彩度強調部２０３で処理された後の各画素或いは各領域の画素値（ＲＩＪ、ＧＩＪ、ＢＩＪ）であり、ＭＩＪは階調変換処理後の各画素或いは各領域の画素値（ＲＩＪ、ＧＩＪ、ＢＩＪ）である。
【０１２２】
階調変換後の画像信号は、制御部１０６の制御に基づき、Ｙ／Ｃ分離部２０５へ転送される。Ｙ／Ｃ分離部２０５は、制御部１０６に基づき公知のＹ／Ｃ分離処理を行う。分離された輝度信号Ｙ＿ｌｏｗ及び色差信号ＣｒＣｂはエッジ強調部２０８へ転送される。
【０１２３】
次に、ＷＢ部からの画像信号が入力されるもう一方のルート、つまり、階調変換部２０６、エッジ抽出部２０７、エッジ強調部２０８について、詳細について説明する。
まず、階調変換部２０６は、先行処理において、ＷＢ部２０１から転送された単板画像からＧ信号のみを抽出し、１２ｂｉｔデータを１０ｂｉｔへ変換する。続いて、ＲＡＭ１０８から第２の補正係数ｇ２ｉｊを読み出し、この第２の補正係数を、画素毎或いは領域毎に、Ｇ信号のデータに乗算することにより、階調変換処理を行う。
一方、本処理では、ＲＡＭ１０８から第２の補正係数ｇ２ｉｊを読み出し、この第２の補正係数ｇ２ｉｊを補間処理することにより、原画像信号に対応する第２の補正係数ｇ２ＩＪを求める。続いて、上記補間処理された第２の補正係数ｇ２ＩＪを、画素毎或いは領域毎に、Ｇ信号のデータに対して乗算することにより階調変換処理を行う。
処理後の信号は、エッジ抽出部２０７へ転送される。
【０１２４】
エッジ抽出部２０７は、制御部１０６に基づき公知のエッジ抽出処理を行うことにより、エッジ強度Ｅを抽出し、これをエッジ強調部２０８へ転送する。
エッジ強調部２０８は、先行処理において、まず、ＲＯＭ１１１からの固定の補正係数を読み出し、この固定の補正係数、及びＹ／Ｃ分離部２０５からの輝度信号Ｙ＿ｌｏｗ、並びにエッジ抽出部２０７からのエッジ強度Ｅを用いて、エッジ強調処理を行う。
一方、本処理では、エッジ強調部２０８は、制御部１０６に基づいて、ＲＡＭ１０８から画素毎に対応する第１の補正係数を読み出し、この第１の補正係数、及びＹ／Ｃ分離部２０５からの輝度信号Ｙ＿ｌｏｗ、並びにエッジ抽出部２０７からのエッジ強度Ｅを用いて、エッジ強調処理を行う。
上記エッジ強調処理には、エッジ強度の制御処理、コアリング制御処理及びクロマサプレス制御処理が含まれている。処理後の信号は、色変換部２０９へ転送される。
【０１２５】
次に、上述のエッジ強調部２０８について、更に詳しく説明する。
図６は、エッジ強調部２０８の一構成例を示すブロック図である。この図に示すように、エッジ強調部２０８は、エッジ強度制御部３０１、コアリング制御部３０２、クロマサプレス制御部３０３、及びエッジ加算部３０４を備えて構成されている。
【０１２６】
エッジ抽出部２０７は、エッジ強度制御部３０１へ接続している。エッジ強度制御部３０１は、コアリング制御部３０２へ接続している。クロマサプレス制御部３０３は、色変換部２０９へ接続している。エッジ加算部３０４は、色変換部２０９へ接続している。コアリング制御部３０２は、クロマサプレス制御部３０３及びエッジ加算部３０４へ接続している。Ｙ／Ｃ分離部２０５は、クロマサプレス制御部３０３及びエッジ加算部３０４へ接続している。ＲＡＭ１０８は、エッジ強度制御部３０１、コアリング制御部３０２、及びクロマサプレス制御部３０３と双方向に接続している。ＲＯＭ１１１は、エッジ強度制御部３０１へ接続している。また、制御部１０６は、エッジ強度制御部３０１、コアリング制御部３０２、クロマサプレス制御部３０３、及びエッジ加算部３０４と双方向に接続している。
【０１２７】
このような構成を備えるエッジ強調部２０８において、まず、先行処理における信号の流れについて説明する。
先行処理では、エッジ抽出部２０７からエッジ強度Ｅが、Ｙ／Ｃ分離部２０５から輝度信号Ｙ＿ｌｏｗが、制御部１０６の制御に基づいて転送される。エッジ強度制御部３０１は、ＲＯＭ１１１に保存されている固定の補正係数ｇ０を読み出し、この補正係数ｇ０と上記輝度信号Ｙ＿ｌｏｗとを用いて、以下の（式１０）に従い、エッジ強調のゲインＥｇ０を算出し、このゲインＥｇ０をコアリング制御部３０２へ転送する。
【０１２８】
Ｅｇ０＝Ｅｄｇｅ＿ｇａｉｎ（Ｙ＿ｌｏｗ＊ｇ０）      （式１０）
Ｅｄｇｅ＿ｇａｉｎ（）はＥｇ０とＹ＿ｌｏｗ＊ｇ０との関係を規定する予め定められた関数である（図7参照）。
【０１２９】
コアリング制御部３０２は、コアリング処理を以下の（式１１）に従って行い、更に、（式１２）に従って、エッジ抽出部２０７からのエッジ強度Ｅを補正する。
【０１３０】
Ｉｆ（−Ｘ１＜Ｅ＜Ｘ１）Ｅ＝０
Ｅｌｓｅ ｉｆ（Ｅ＞＝Ｘ１）Ｅ＝Ｅ−Ｘ１        （式１１）
Ｅｌｓｅ Ｅ＝Ｅ＋Ｘ１
式１１において、Ｘ１は定数である。
【０１３１】
Ｅ０´＝Ｅｇ０＊Ｅ
Ｉｆ（Ｅ０´＞Ｘ２）Ｅ０´＝Ｘ２      （式１２）
Ｉｆ（Ｅ０´＜−Ｘ２）Ｅ０´＝−Ｘ２
【０１３２】
なお、上記式１１及び式１２において、Ｘ１及びＸ２は定数であり、Ｘ２＞Ｘ１である。また、Ｅ０´はコアリング処理及びゲインによる補正処理後のエッジ強度である。
上述のように算出されたエッジ強度Ｅ０´は、クロマサプレス制御部３０３及びエッジ加算部３０４へ転送される。
【０１３３】
クロマサプレス制御部３０３は、まず、以下の（式１３）に従い、クロマサプレスゲインＳｇ０を算出する。
【０１３４】
Ｓｇ０＝Ｘ３−Ｃ＊｜Ｅ０｜´
Ｉｆ（Ｓｇ０＜Ｘ４）Ｓｇ０＝Ｘ４      （式１３）
Ｉｆ（Ｓｇ０＞Ｘ３）Ｓｇ０＝Ｘ３
上記式１３において、Ｘ３、Ｘ４、及びＣは定数であり、Ｘ３＞Ｘ４である。
【０１３５】
続いて、クロマサプレス制御部３０３は、クロマサプレスゲインＳｇ０を用いて、以下の（式１４）に従い、クロマサプレス処理を行うことにより色差信号ＣｒＣｂを補正し、補正後の色差信号ＣｒＣｂを色変換部２０９へ転送する。
【０１３６】
Ｃｂ＝Ｓｇ０／Ｘ３＊Ｃｂ
Ｃｒ＝Ｓｇ０／Ｘ３＊Ｃｒ      （式１４）
【０１３７】
一方、エッジ加算部３０４は、コアリング制御部３０２から転送された補正後のエッジ強度Ｅ０´、Ｙ／Ｃ分離部２０５から転送された輝度信号Ｙ＿ｌｏｗを用いて、加算処理を行い、加算結果を色変換部２０９へ転送する。
【０１３８】
次に、エッジ強調部２０８の本処理における信号の流れについて説明する。
本処理において、まず、エッジ強度制御部３０１は、Ｙ／Ｃ分離部２０５から取得した輝度信号Ｙ＿ｌｏｗ及びＲＡＭ１０８から読み出した画素毎に対応する第１の補正係数ｇ１ＩＪを用いて、以下の（式１５）に従い、エッジ強調処理の強調ゲインＥｇＩＪを算出し、算出した強調ゲインＥｇＩＪをコアリング制御部３０２へ転送する。
ここで、図７に、エッジ強調処理の強調ゲインＥｇと輝度レベルＹ及び第１の補正係数ｇの関連グラフを示す。この図に示されるように、強調ゲインＥｇは、輝度レベルＹと第１の補正係数ｇとの乗算値ｇ＊Ｙが低い領域においては、小さい値に設定されている。これにより、輝度が低いほど、エッジ強調が弱く行われるように調整することが可能となる。
【０１３９】
ＥｇＩＪ＝Ｅｄｇｅ＿ｇａｉｎ（Ｙ＿ｌｏｗＩＪ＊ｇ１ＩＪ）      （式１５）
【０１４０】
コアリング制御部３０２は、以下の（式１６）に従い、コアリング処理を行い、更に、（式１７）に従って、エッジ強度制御部３０１から取得した強調ゲインＥｇＩＪを用いて、エッジ抽出部２０７からのエッジ強度Ｅｉｊを補正する。
【０１４１】
Ｉｆ（−Ｘ１＜ＥＩＪ＜Ｘ１）ＥＩＪ＝０
Ｅｌｓｅ  ｉｆ（ＥＩＪ＞＝Ｘ１）ＥＩＪ＝ＥＩＪ−Ｘ１      （式１６）
Ｅｌｓｅ  ＥＩＪ＝ＥＩＪ＋Ｘ１
【０１４２】
ＥＩＪ´＝ＥｇＩＪ＊Ｅｉｊ
Ｉｆ  （ＥＩＪ´＞Ｘ２）ＥＩＪ´＝Ｘ２          （式１７）
Ｉｆ（ＥＩＪ´＜−Ｘ２）ＥＩＪ´＝−Ｘ２
【０１４３】
上記（式１６）のＸ１及び（式１７）のＸ２は定数であり、Ｘ２＞Ｘ１である。ＥＩＪ´はコアリング処理及びゲインによる補正処理後のエッジ強度である。
ここで、図８に、補正後のエッジ強度｜Ｅ｜´と強調ゲインＥｇ及び補正前のエッジ強度｜Ｅ｜の関連グラフを示す。
【０１４４】
上述したように算出されたエッジ強度ＥＩＪ´は、クロマサプレス制御部３０３及びエッジ加算部３０４へ転送される。
クロマサプレス制御部３０３は、まず、以下の（式１８）に基づき、クロマサプレス用のゲインＳｇＩＪを算出する。
【０１４５】
ＳｇＩＪ＝Ｘ３−Ｃ＊｜ＥＩＪ｜´
Ｉｆ（ＳｇＩＪ＜Ｘ４）ＳｇＩＪ＝Ｘ４        （式１８）
Ｉｆ  （ＳｇＩＪ＞Ｘ３）ＳｇＩＪ＝Ｘ３
式１８において、Ｘ３、Ｘ４、及びＣは定数であり、Ｘ３＞Ｘ４である。
【０１４６】
続いて、クロマサプレス制御部３０３は、クロマサプレス処理の強調ゲインＳｇＩＪを用いて、以下の（式１９）に従ってクロマサプレス処理を行い、色差信号ＣｒＣｂを補正し、補正後の色差信号ＣｒＣｂを色変換部２０９へ転送する。
【０１４７】
ＣｂＩＪ＝ＳｇＩＪ／Ｘ３＊ＣｂＩＪ
ＣｒＩＪ＝ＳｇＩＪ／Ｘ３＊ＣｒＩＪ      （式１９）
【０１４８】
ここで、図９に、クロマサプレス処理の強調ゲインＳｇとエッジ強度｜Ｅ｜´の関連グラフを示す。
エッジ加算部３０４は、コアリング制御部３０２から転送されたエッジ強度ＥIJ´、及びＹ／Ｃ分離部２０５から転送された輝度信号Ｙ＿ｌｏｗを用いて加算処理を行い、加算結果を色変換部２０９へ転送する。
色変換部２０９は、制御部１０６に基づいて、公知の色変換処理によりエッジ強調部２０８（図２参照）からの輝度信号と色差信号とをＲＧＢ信号へ変換し、補正係数計算部１０９及び出力部１０５へ転送する。
【０１４９】
次に、補正係数算出部１０９について、図１０を参照して詳細に説明する。
図１０は、補正係数計算部１０９の概略構成を示したブロック図である。この図に示すように、補正係数計算部１０９は、第１の補正係数算出部４０１、バッファー部４０２、及び補正係数補間部４０３を備えて構成されている。
信号処理部１０４及び画像信号縮小部１１０は、第１の補正係数算出部４０１、バッファー部４０２を介して補正係数補間部４０３へ接続している。補正係数補間部４０３はＲＡＭ１０８へ接続している。制御部１０６は、第１の補正係数算出部４０１、バッファー部４０２、補正係数補間部４０３と双方向に接続している。ＲＡＭ１０８は第１の補正係数算出部４０１及び補正係数補間部４０３へ接続している。
【０１５０】
次に、上記補正係数計算部１０９における信号の流れについて説明する。
第１の補正係数算出部４０１には、先行処理において、信号処理部１０４から画像処理後の画像信号が、画像信号縮小部１１０から処理前の画像信号が転送される。
第１の補正係数算出部４０１は、これら画像信号に基づいて、縮小画像に対応する注目画素の第１の補正係数ｇ１ｉｊを画素毎に以下の（式２０）に従って算出する。ここで、処理前の画像信号は、単板画像信号であるため、第１の補正係数算出部４０１は、まず、画素ごとに処理後の３板の画像信号から処理前の画像信号と同じ色特性をもつ画像信号を抽出し、抽出した画像信号を用いて、第１の補正係数ｇ１ｉｊを算出する。例えば、注目画素において、処理前の画像信号がＲの場合、対応する処理後の画像信号のＲ信号を抽出し、処理後の画像信号の値とする。
【０１５１】
ｇ１ｉｊ＝（処理後の画像信号の値）／（処理前の画像信号の値）      （式２０）
i、jを領域の座標を考えた場合には、各領域について、処理後の領域領域内の画像信号の代表値と処理前の領域内の画像信号の代表値に基づき各領域の第１の補正係数ｇ１ｉｊを算出する。なお、代表値は各領域内の平均値或いは最大値などを指す。
【０１５２】
算出された第１の補正係数ｇ１ｉｊは、制御部１０６からの信号に基づき、順次、バッファー部４０２へ転送される。そして、バッファー部４０２に、全画素の第１の補正係数が収容された時点で、第１の補正係数は、バッファー部４０２から補正係数補間部４０３へ転送される。
【０１５３】
補正係数補間部４０３は、原画像信号のサイズをＲＡＭ１０８から抽出し、バッファー部４０２から転送された第１の補正係数ｇ１ｉｊに基づく補間処理によって、原画像信号に対応する補間処理後の第１の補正係数ｇ１ＩＪ、つまり、原画像信号の各画素対応する第１の補正係数ｇ１ＩＪをＲＡＭ１０８へ転送する。
これにより、ＲＡＭ１０８には、原画像信号に対応する第１の補正係数ｇ１ＩＪが格納されることとなり、上述したような本処理において用いられることとなる。
【０１５４】
以上、説明してきたように、本実施形態に係る画像信号処理装置によれば、先行処理にて、スペースバリアントな信号処理に対応する第２の補正係数を算出し、算出された第２の補正係数を用いて第１の補正係数を算出する。そして、本処理では、先行処理にて求められた第１の補正係数並びに第２の補正係数を用いて、撮像素子からの画像信号に対して、彩度強調処理やエッジ強調処理並びにスペースバリアントな階調変換処理を行うので、スペースバリアントな階調変換処理を行うことにより生ずる彩度強調やエッジ強調などの不均一感を解消することが可能となり、統一感のある画像信号を得ることができる。
また、第１の補正係数を算出するための先行処理において、画像信号を可変縮小率で縮小することにより、高速な処理が可能となる。
なお、上記実施形態例においては、スペースバリアントな絵作り処理として階調変換処理を、固定的な絵作りとして彩度強調処理及びエッジ強調処理の組み合わせの例を示したが、このような形態に限定されることはない。任意な組み合わせが可能である。
なお、画像信号縮小部１１０を設けずに、先行処理において、原画像信号に対して上述と同様の処理を行うこともできる。
【０１５５】
なお、上述の実施形態においては、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１からの信号を未処理のままのＲａｗデータとして、制御部１０６からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０１５６】
図１１及び図１２は、本発明の第１の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示すフローチャートである。以下、図１１及び図１２を参照し、本実施形態に係る絵作り処理について説明する。以下に説明する各処理ステップでは、図1に示した各構成で行われる上述の処理が行われる。
【０１５７】
まず、ステップＳ０にて、原画像信号及び撮影情報を含むヘッダ情報を読み出す。ステップＳ１にて、指定された縮小率により原画像信号に対し画像の縮小処理を行う。続く、ステップＳ２にて、公知のホワイトバランス補正処理を行う。ステップＳ３にて、縮小された画像信号に対するスペースバリアントな階調変換処理を行うための第２の補正係数g２ｉｊを算出し、この第２の補正係数ｇ２ｉｊを記録する。
【０１５８】
ステップＳ４にて、公知の色補間処理を行う。ステップＳ５にて、固定の補正係数を用いて、上述の（式２）又は（式６）に従い、彩度強調処理を行う。続くステップＳ６にて、上記ステップＳ３において算出された第２の補正係数ｇ２ｉｊを用いて、画素毎或いは領域毎に、階調変換処理を行う。ステップＳ７にて、Ｙ／Ｃ分離処理を行う（輝度信号Ｙ＿ｌｏｗ、色差信号Ｃｒ、Ｃｂ）。ステップＳ８にて、ステップＳ２における画像信号からＧ信号のみを抽出し、上記ステップＳ３において算出された第２の補正係数ｇ２ｉｊを用いて、画素毎或いは領域毎に、階調変換処理を行う。
【０１５９】
ステップＳ９にて、公知のエッジ抽出処理を行う。ステップＳ１０にて、上記ステップＳ７からの色差信号ＣｒＣｂ信号に対し固定の補正係数を基にクロマサプレス処理を行い、エッジ部の偽色を上記（式１４）に従って低減する。ステップＳ１１にて、固定の補正係数を用いて、エッジ強度を制御する。ステップＳ１２にて、固定の補正係数を用いて、上記（式１１）に従ってコアリング処理を行い、更に、上述の（式１２）に従ってエッジ強度を補正する。ステップＳ１３にて、上記ステップＳ７からの輝度信号Ｙ＿ｌｏｗ及びステップＳ１２からのエッジ強度を用いて、公知のエッジ加算処理を行う。
【０１６０】
ステップＳ１４にて、公知のＹＣｒＣｂ色系からＲＧＢ色系へ色変換処理を行う。ステップＳ１５にて、上述の（式２０）に従って、画素毎あるいは領域毎に、第１の補正係数を算出し、この第１の補正係数を記録する。このような処理において、先行処理が終了する。
【０１６１】
続く、本処理では、まず、図１２に示すステップＳ１６において、原画像信号及び撮影情報を含むヘッダ情報を読み出す。ステップＳ１７にて、原画像信号に対し公知のホワイトバランス補正処理を行う。ステップＳ１８にて、さらに公知の色補間処理を行う。ステップＳ１９にて、先行処理により算出された第１の補正係数ｇ１ＩＪを基に、（式４）又は（式８）に従って彩度強調処理を行う。ステップＳ２０にて、先行処理により算出された第２の補正係数ｇ２ｉｊを補間処理することにより、原画像信号に対応する第２の補正係数ｇ２ＩＪを算出し、補間処理後の第２の補正係数ｇ２ＩＪを基に、画素毎或いは領域毎に、階調変換処理を行う。
【０１６２】
ステップＳ２１にて、Ｙ／Ｃ分離処理を行う（輝度信号Ｙ＿ｌｏｗ、色差信号Ｃｒ、Ｃｂ）。ステップＳ２２にて、先行処理により算出された第２の補正係数ｇ２ｉｊを補間処理することにより、原画像信号に対応する第２の補正係数ｇ２ＩＪを算出する。更に、上記ステップＳ１７においてホワイトバランス調整された画像信号からＧ信号のみを抽出し、このＧ信号に対して、画素毎或いは領域毎に、上記補間処理後の第２の補正係数ｇ２ＩＪを用いて、階調変換処理を行う。
【０１６３】
ステップＳ２３にて、公知のエッジ抽出処理を行う。ステップＳ２４にて、上記ステップＳ２１にて得られた色差信号Ｃｒ、Ｃｂ信号に対し、上述の（式１９）に従って、上述の第１の補正係数ｇ１ＩＪを用いてクロマサプレス処理を行い、エッジ部の偽色を低減する。ステップＳ２５にて、第１の補正係数ｇ１ＩＪを用いてエッジ強度を制御する。ステップＳ２６にて、第１の補正係数を用いて、上述の（式１８）に従って、コアリング処理を行い、更に、（式１９）に従い、エッジ強度を補正する。ステップＳ２７にて、ステップＳ２１にて得られた輝度信号Ｙ＿ｌｏｗ及びステップＳ２６にて補正されたエッジ強度を用いて、公知のエッジ加算処理を行う。ステップＳ２８にて、公知のＹＣｒＣｂ色系からＲＧＢ色系へ色変換処理を行う。ステップＳ２９にて、例えば、メモリカードなどへ画像信号を記録保存するなどの公知の出力処理を行い、本処理を終了する。
【０１６４】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像信号処理装置について図を参照して説明する。
第２の実施形態は、基本的に第１の実施形態と同じであるが、第１の実施形態では、先行処理において、公知のスペースバリアントな階調変換処理に関する第２の補正係数ｇ２ｉｊを算出し、この第２の補正係数ｇ２ｉｊに基づき第１の補正係数を算出していた。これに対し、第２の実施形態においては、先行処理にて、スペースバリアントな彩度強調処理に関する第２の補正係数ＫＬを算出し、この彩度強調処理に関する第２の補正係数ＫＬに基づき第１の補正係数ｇ１ＩＪを算出する点が異なる。
以下、本実施形態に係る画像信号処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【０１６５】
図１３は、本実施形態に係る信号処理部５０４の一構成例を示すブロック図である。この図に示すように、信号処理部５０４は、図２に示した第１の実施形態に係る信号処理部１０４と略構成を同じくするが、第２の補正係数算出部２１０を備えていない点、彩度強調部２０３に代わって、彩度強調部６０３を備えている点、階調変換部２０４に代わって階調変換部６０４を備えている点、及びＲＯＭ１１１に代わってＲＯＭ６１１を備えている点が異なる。なお、本実施形態に係るＲＯＭ６１１には、Ｃｒ、Ｃｂの色相テーブル、特定の色相に関する設定範囲及び該当色相に関する第２の補正係数ＫＬが予め保存されている。
【０１６６】
本実施形態に係る信号処理部５０４において、まず、先行処理では、ＷＢ部２０１は、制御部１０６からの制御信号に基づき、転送された画像信号に対して公知のホワイトバランス補正を行う。ホワイトバランス補正後の画像信号は、補間処理部２０２及び階調変換部２０６へ転送される。
補間処理部２０２は、公知の補間処理で単板画像から三板画像を生成し、彩度強調部６０３へ転送する。彩度強調部６０３は、制御部１０６からの制御信号に基づきＲＧＢ信号に対して、ＹＣｒＣｂ変換用の３×３のマトリックス値を乗算し、ＲＧＢ信号をＹＣｒＣｂ信号に変換する。さらに、制御部１０６の制御に基づき、画素毎或いは領域毎に肌色、空色などの特定の色相を検出し、画像信号の第２の補正係数を設定する。
【０１６７】
以下、彩度強調部６０３の処理内容について詳細に説明する。
彩度強調部６０３は、ＹＣｒＣｂ信号の色差信号Ｃｒｉｊ、Ｃｂｉｊに基づいて、画素毎或いは領域毎に、色相の構成角度Ａｉｊを以下の（式２１）に従って計算する。
【０１６８】
Ａｉｊ＝ａｒｃｔｇ（Ｃｂｉｊ／Ｃｒｉｊ）      （式２１）
【０１６９】
上記（式２１）において、ａｒｃｔｇはアークタンジェントを表す関数である。
【０１７０】
続いて、彩度強調部６０３は、算出したＡｉｊと、ＲＯＭ６１１に保存されているＣｒ、Ｃｂの色相テーブルのデータとを比較し、特定の色相であるか否かを以下の（式２２）に基づいて判断する。例えば、図１４に示されているように、画素毎の色差信号Ｃｒｉｊ、ＣｂｉｊがＣｒ−Ｃｂ平面において、特定の色相を代表する領域Ｓに属していれば、当該画素が特定の色相を持つことと判断する。
【０１７１】
ａ１＜Ａｉｊ＜ａ２      （式２２）
上記（式２２）において、ａ１、ａ２は定数であり、特定の色相の設定範囲の値を代表する。
【０１７２】
さらに、彩度強調部６０３は、ＲＯＭ６１１から該当色相に関する第２の補正係数ＫＬ（添字のＬは、ＲＯＭ６１１に保存されている特定の色相を特定する番号を指す）を抽出し、抽出した第２の補正係数ＫＬに基づいて３×３のマトリックス値を作成する。そして、この作成した３×３のマトリックス値を上記ＹＣｒＣｂ信号に乗算することにより、ＣｒＣｂ強調処理を行う。そして、ＣｒＣｂ強調処理後のＹＣｒＣｂ信号に対して、ＲＧＢ変換用の３×３のマトリックス値を乗算することにより、ＣｒＣｂ強調処理後のＹＣｒＣｂ信号をＲｉｊ´Ｇｉｊ´Ｂｉｊ´信号へ変換する。上記手順は、以下の（式２３）のように表すことができる。
【０１７３】
【数５】
2007094742.tif 000007
【０１７４】
さらに、彩度強調部６０３は、ＲＯＭ６１１から固定の補正係数Ｋ０を読み出し、この固定の補正係数Ｋ０を用いて、上記特定の色相以外の画素に対し、上述した（式２）に従って彩度強調処理を行う。そして、彩度強調部６０３は、上述の（式２３）に基づく彩度強調処理後における各Ｒｉｊ´、Ｇｉｊ´、Ｂｉｊ´信号と、固定の補正係数Ｋ０を用いた彩度強調処理後のＲ´、Ｇ´、Ｂ´信号とを用いて、以下の（式２４）に基づく減算処理を行い、第１の補正係数Ｗｉｊを得る。そして、彩度強調部６０３は、この第１の補正係数Ｗｉｊと、上記ＲＯＭ６１１から抽出した上記第２の補正係数ＫＬとをＲＡＭ１０８へ保存する。
【０１７５】
Ｗｉｊ＝Ｐｉｊ−Ｐ´ｉｊ      （式２４）
【０１７６】
上記式２４において、Ｐｉｊは（式２３）で計算されたスペースバリアントな彩度強調処理後のＲ´ｉｊ、Ｇ´ｉｊ、Ｂ´ｉｊであり、Ｐ´ｉｊは（式２）で計算された固定的な彩度強調処理後のＲ´、Ｇ´、Ｂ´、つまり、固定の補正係数Ｋ０を用いた彩度強調処理後の信号であり、ＷｉｊはＲ、Ｇ、Ｂに対応する第１の補正係数である。
なお、彩度強調部６０３は、上記特定の色相以外の画素に対しては、上述の第１の補正係数Ｗｉｊを「０（ゼロ）」と設定して、ＲＡＭ１０８へ保存する。
【０１７７】
一方、本処理では、彩度強調部６０３は、上述の先行処理と同様の手段で、画素毎或いは領域毎に肌色、空色などの特定の色相を検出し、ＲＡＭ１０８から第２の補正係数ＫＬを読み出し、上記（式２１）により特定の色相を持つ画素に対して彩度強調処理を行う。一方、上記特定の色相以外の画素に対しては、ＲＯＭ６１１から固定の補正係数Ｋ０を読み出し、この固定の補正係数Ｋ０を用いて、上述の（式２）により彩度強調処理を行う。
【０１７８】
階調変換部６０４は、γ特性に基づき階調変換処理を行う。
先行処理においては、階調変換部６０４は、階調変換処理を行わず、入力信号をそのままＹ／Ｃ分離部２０５へ転送する。一方、本処理においては、階調変換部６０４は、制御部１０６の制御に基づき、まずＲＡＭ１０８から第１の補正係数Ｗｉｊを抽出し、補間処理にて原画像信号に対応する第１の補正係数ＷＩＪを求める。
次に、階調変換部６０４は、特定の色相以外の画素に対して、補間された上記第１の補正係数ＷＩＪを用いて、１２ｂｉｔのＲＧＢデータを１０ｂｉｔのＲＧＢのデータに変換する。ここで、特定の色相以外の画素に係る第１の補正係数ＷＩＪは、「０（ゼロ）」に設定されているので、以下の（式２５）に基づいて階調変換処理が行われることとなる。
【０１７９】
ＭＩＪ＝Ｔｏｎｅ（ＰＩＪ）      （式２５）
上記（式２５）において、ＰＩＪはＲ、Ｇ、Ｂであり、ＭＩＪは階調変換処理後のＲ、Ｇ、Ｂを指す。
【０１８０】
続いて、階調変換部６０４は、特定の色相の画素に対して、補間された第１の補正係数WＩＪを用い、以下の（式２６）により、１２ｂｉｔのＲＧＢデータを１０ｂｉｔへ変換する。
【０１８１】
ＭＩＪ＝Ｔｏｎｅ（ＰＩＪ−ＷＩＪ）＋ＷＩＪ＊１０２４／４０９６      （式２６）
【０１８２】
上記（式２６）において、ＰＩＪは彩度強調後のＲ、Ｇ、Ｂであり、ＭＩＪは階調変換処理後のＲ、Ｇ、Ｂを指す。
階調変換部６０４は、このようにして、階調変換処理を行うと、階調変換処理後の信号をＹ／Ｃ分離部６０４へ転送する。
【０１８３】
ここで、図１５に、階調変換のγ特性図を示す。この図において、ＰＩＪは、第２の補正係数ＫＬに基づきスペースバリアントな彩度強調処理がなされるときの入力値を示しており、Ｍ”ＩＪは、上記入力値ＰＩＪを階調変換処理したときの出力値を示している。Ｐ’ＩＪは、固定の補正係数Ｋ０に基づき固定的な彩度強調処理がなされるときの入力値を示しており、Ｍ’ＩＪは、上記入力値Ｐ’ＩＪを階調変換処理したときの出力値を示している。
ここで、上記入力値ＰＩＪとＰ’ＩＪの差はＷＩＪであるが、階調変換処理後、対応する出力値Ｍ”ＩＪとＭ’ＩＪとの差はＷ”ＩＪとなる（Ｗ”ＩＪ／１０２４＞ＷＩＪ／４０９６）。
【０１８４】
図１５からわかるように、スペースバリアントな彩度強調処理がなされた画素値は、固定的な彩度強調処理がなされた画素値との差がさらに広がり、画質的に統一感及びバランス感が失われる可能性がある。
従って、本実施形態に係る画像信号処理装置のように、スペースバリアントな彩度強調処理がなされた画素に対して、第１の補正係数ＷＩＪを基に上記（式２４）により階調変換処理を行うことにより、生じる差の拡大を防ぐことが可能となる。この結果、統一感及びバランス感のある画質を得ることができる。
また、本実施形態に係る画像信号処理装置によれば、特定の色素の画素に関して、統一感のある画像を容易に作ることが可能となる。
【０１８５】
なお、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１からの信号を未処理のままのＲａｗデータとして、制御部１０６からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図１６及び図１７は、本発明の第２の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示すフローチャートである。以下、図１６及び図１７を参照し、本実施形態に係る絵作り処理について説明する。なお、図１６及び図１７において、図１１及び図１２と同様の処理内容については、同一ステップを付し、その説明を省略する。以下に説明する各処理ステップでは、図1に示した各構成で行われる上述の処理が行われる。
【０１８６】
まず、ステップＳ０乃至ステップＳ２を行った後、ステップＳ３において、公知の色補間処理を行う。続く、ステップＳ３１にて、第２の補正係数ＫＬを用いて、上記（式２３）に基づく彩度強調処理を行う。ステップＳ５にて、画素毎あるいは領域毎に、上記（式２４）に示されるような第１の補正係数Ｗｉｊを算出し、これにより先行処理を終了する。
続いて、本処理においては、ステップＳ１６乃至ステップＳ１８を行った後、ステップＳ３４にて、第２の補正係数ＫＬを用いて、上記（式２３）に基づき、彩度強調処理を行う。続いて、ステップＳ３５にて、先行処理におけるステップＳ３３において算出された第１の補正係数Ｗｉｊを補間処理することにより、原画像信号に対応する第１の補正係数ＷＩＪを作成し、この補間処理後の第１の補正係数ＷＩＪを用いて、上記（式２６）に基づき、画素毎或いは領域毎に階調変換処理を行う。続いて、ステップＳ２１乃至ステップＳ２９を行い、本処理を終了する。
【０１８７】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る画像信号処理装置について図を参照して説明する。
第３の実施形態は、基本的に第１の実施形態と同じであるが、図２に示した第１の実施形態に係る画像信号処理装置の構成要素の他に、更に、図１８に示すように、シーン判定部７００及び補正係数調整部７０１を備える点が異なる。
以下、本実施形態に係る画像信号処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。
【０１８８】
図１８は、本実施形態に係る画像信号処理装置の信号処理部及びその周辺の概略構成を示したブロック図である。
本実施形態において追加されたシーン判定部７００は、先行処理において作動し、原画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるかを判定する。まず、シーン判定部７００には、補間処理部２０２の出力信号が転送される。シーン判定部７００は、この信号から、肌色、緑色、および空色に相当する彩度と色相の画素を検出し、その数Ｃ１、Ｃ２およびＣ３をカウントする。そして、全画素数Ｎおよびカウント数Ｃ１、Ｃ２、Ｃ３から、現在のシーンで肌色、緑色および空色がどの程度重要な色かを示す指標Ａ１、Ａ２およびＡ３を以下の（式２７）を用いて算出する（ｎは１から３の整数で、順に肌色、緑色、空色に対応する）。
【０１８９】
Ａｎ＝ｆｎ（Ｃｎ／Ｎ）      （式２７）
【０１９０】
上記（式２７）において、ｆｎは、各色がシーンに占める面積比とその色の重要度を対応付ける関数である。例えば図１９のように、肌色については、小面積でも重要と判定し、あまり面積が大きいとかえって重要でないと判断する（ｆ１）。一方、緑色、空色については、大面積であるほど重要と判断する（ｆ２、ｆ３）というような対応付けを行う。シーン判定部７００は上記Ａ１、Ａ２、Ａ３を算出後、これらを補正係数調整部７０１に転送する。本実施形態では、シーン判定部７００は、このＡ１、Ａ２、Ａ３を算出することで、原画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られたかを判別する。
【０１９１】
補正係数調整部７０１は、本処理において、彩度強調部２０３及び階調変換部２０４からＲＡＭ１０８への補正係数読み出し要求があった場合に作動して、信号処理部１０４での処理内容を変更する。本実施形態では、シーン判定部７００から転送された上記Ａ１、Ａ２、Ａ３に応じて、信号処理部１０４での処理内容を変更する。具体的には、補正係数調整部７０１は、読み出し要求に対応する現在の処理対象画素について、色補間後の値（Ｒ，Ｇ，Ｂ）を補間処理部２０２から受け、処理対象画素が特定の被写体に属する程度Ｄｎを以下の（式２８）で見積もる。Ｄ１は処理対象画素が肌色に属する程度、Ｄ２は処理対象画素が緑色に属する程度、Ｄ３は処理対象画素が空色に属する程度に対応する。
【０１９２】
Ｄｎ＝αｎ＊｜Ｙ−Ｙｎ｜＋βｎ＊｜Ｓ−Ｓｎ｜＋γｎ＊｜Ｈ−Ｈｎ｜
Ｈ＝ａｔａｎ（（Ｒ−Ｙ）／（Ｂ−Ｙ））                                （式２８）
Ｓ＝ｓｑｒｔ（（Ｒ−Ｙ）２＋（Ｂ−Ｙ）２）
【０１９３】
ここで、Ｙ、Ｈ、Ｓは、それぞれ処理対象画素の輝度、色相および彩度であり、ａｔａｎはアークタンジェント、ｓｑｒｔは平方根を表す関数である。αｎ、βｎ、γｎはｎによって変わる定数であり、Ｙｎ、Ｈｎ、Ｓｎは、ｎ＝１から３の順に典型的な肌色、緑色、空色の輝度、色相および彩度を表す定数である。そして、これらの定数は補正係数調整部７０１内に記憶されている。
【０１９４】
そして、信号処理部１０４は、Ｄ１、Ｄ２、Ｄ３に基づき、処理対象画素に対する補正係数の調整を行い、調整後の補正係数を用いて以降の処理を行うことで、信号処理部１０４での処理内容を変更する。処理対象画素に対する補正係数の調整は、例えば、以下の（式２９）に基づいて行う。
【０１９５】
ｒｎ＝Ａｎ＊Ｄｎ
Ｐｎ´＝ｒｎ＊ｘｎ（Ｐｓ）＋（１−ｒｎ）＊Ｐ
Ｑｎ´＝ｒｎ＊ｙｎ（Ｑｓ）＋（１−ｒｎ）＊Ｑ      （式２９）
Ｐ´＝（Ｐ１´＋Ｐ２´＋Ｐ３´）／３，
Ｑ´＝（Ｑ１´＋Ｑ２´＋Ｑ３´）／３
【０１９６】
上記（式２９）において、ｎは１から３の整数である。ｒｎは、処理対象画素が現在のシーンで重要かどうかを表す指標である。Ａｎは、先行処理でシーン判定部７００により算出された、肌色、緑色、空色の現在のシーンにおける重要度である。Ｄｎは、処理対象画素が各特定色に属する程度を示す値である。Ｑは、第１の補正係数、Ｐは第２の補正係数、Ｑｓは第１の補正係数を処理対象画素近傍で平滑化した値、Ｐｓは第２の補正係数を処理対象画素近傍で平滑化した値、Ｑ´は調整後の第１の補正係数、Ｐ´は調整後の第２の補正係数である。また、ｘｎ（）、ｙｎ（）は範囲制限のための関数であり、この範囲制限により、上述の彩度強調部２０３および階調変換部２０４の処理を行った後の処理対象画素の最終的な色を調整することができる。図２０に、範囲制限の一例を示す。
【０１９７】
この範囲制限により、上述の彩度強調部２０３および階調変換部２０４の処理を行った後の処理対象画素の最終的な色を間接的に調整することができる。例えば、範囲制限の具体的な上限および下限を事前に以下のａ）、ｂ）、ｃ）ような手順で手動で決定しておいて、その結果を彩度強調部２０３および階調変換部２０４の処理に採用することで、彩度強調部２０３および階調変換部２０４の処理を行った結果が好ましくなる。
ａ）  典型的な肌色を表すＲＧＢ信号のサンプルを用意する。これらのサンプルは、その輝度、色相および彩度の補正係数調整部７０１に設定された典型的な肌色の輝度、色相および彩度に対する差が所定量以内となっている。
ｂ）  彩度強調部２０３および階調変換部２０４の処理後のＲＧＢ信号に対し、該ＲＧＢ信号が主観的に好ましい肌色となるためのＲＧＢ信号の範囲を設定する。この範囲は、事前に主観評価実験などで決定することが出来る。
ｃ）  ａ）で用意したサンプルのＲＧＢ信号に彩度強調部２０３および階調変換部２０４の本処理でなされる計算（式３），（式４）および（式９−２）を適用する。その際、（式３）および（式９−２）で用いられる第１および第２の補正係数を変化させ、その都度処理結果が、ｂ）で設定した範囲を逸脱するかどうか調べることで、彩度強調部２０３および階調変換部２０４の処理結果が好ましくなるために必要な第１および第２の補正係数の上限および下限を決定する。
上記ａ）、ｂ）、ｃ）の手順で第１および第２の補正係数の上限および下限を予め決定したら、これらの上限値、下限値を（式２９）の関数ｘｎ（），ｙｎ（）の上限、下限として設定しておいて、これらを上述の彩度強調部２０３および階調変換部２０４の処理に採用する。
なお、式２９において、Ｐｓ，Ｑｓは各補正係数を処理対象画素近傍で平滑化した値に限るものではなく、各補正係数の高周波帯域を強調するなど、その空間周波数帯域を任意に補正したものであればよい。
【０１９８】
補正係数調整部７０１は、上記ｒｎに基づき、処理対象画素が重要であるか否かを判断し、処理対象画素が重要である場合、補正係数の空間変化をよりなだらかにし、またその範囲を上記関数ｘｎ（）、ｙｎ（）を調整することにより制限する。図２０に示すように、入力される補正係数に対し、出力される補正係数は、その範囲が制限されていることが特徴である。なお、第１の補正係数であるＱ、又は第２の補正係数であるＰのいずれか一方のみを修正することもできる。
【０１９９】
以上説明してきたように、本実施形態に係る画像信号処理装置によれば、第１の補正係数並びに第２の補正係数を、または、第１の補正係数と第２の補正係数のいずれか一方を、シーン並びに処理対象画素の重要度に応じて調整するので、各シーンに応じた最適な補正係数を用いて、彩度強調処理及び階調変換処理を実施することが可能となる。これにより、より好ましい画質を得ることができる。
【０２００】
なお、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１からの信号を未処理のままのＲａｗデータとして、制御部１０６からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２０１】
図２１及び図２２は、本発明の第３の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示すフローチャートである。本実施形態に係る処理手順においては、図１１に示したフローチャートに対し、先行処理にて、ステップＳ４１のシーン推定処理が追加され、本処理にて、ステップＳ４２の補正係数の調整処理が追加されている。更に、図１２におけるステップＳ１９及びＳ２０に代わって、ステップＳ４２及びＳ４３を採用している。以下、図２１及び図２２において、図１１及び図１２と同様の処理内容については、同一ステップを付し、その説明を省略し、変更あるいは追加されたステップについて説明する。
【０２０２】
まず、ステップＳ０乃至ステップＳ３を行った後、ステップＳ５乃至ステップＳ１５の処理が行われると並行に、ステップＳ４１にて、上記ステップＳ４において色補間されたデータに対してシーン判定を行い、上述の指標Ａ１、Ａ２、Ａ３を算出し、これにて、先行処理を終了する。
【０２０３】
続く、本処理では、ステップＳ１６乃至Ｓ１８の処理が行われ、続くステップＳ４２において、補正係数の調整を行う。この補正係数の調整では、まず、縮小画像に対して算出された第２の補正係数を補間処理することにより、撮像素子からの画像信号に対応する第２の補正係数を得て、補間処理後における第２の補正係数をメモリ内のバッファーに保存する。
【０２０４】
その後、ステップＳ１８において、色補間された画像データおよびＳ４１にて算出された指標Ａ１、Ａ２、Ａ３に基づいて、ステップＳ１５において算出された第１の補正係数及び上記補間処理後の第２の補正係数を調整し、調整後のこれら補正係数をメモリ内のバッファーに保存する。続く、ステップＳ４３では、上記ステップＳ４２にて調整された補正係数を用いて、彩度強調処理を行い、続く、ステップＳ４４では、ステップＳ４２にて調整された補正係数を用いて、階調変換を行い、ステップＳ２１乃至ステップＳ２９を実行して、本処理を終了する。
【０２０５】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る画像信号処理装置について図を参照して説明する。
第４の実施形態は、上述した第３の実施形態に係る画像信号処理装置と構成を略同じくするが、図１８に示した補正係数調整部７０１に代わって強調係数決定手段としてのテーブル変更部８０１を備える点、ＲＯＭ１１１に代わってＲＯＭ８１１を備える点が異なる。
以下、本実施形態に係る画像信号処理装置について、第３の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。
【０２０６】
図２３は、本実施形態に係る画像信号処理装置の概略構成を示したブロック図である。
本実施形態において、ＲＯＭ８１１は、ＲＯＭ１１１とは異なり、彩度強調に用いる関数ｃｏｌｏｒ（）（図３参照）と、エッジ強調に用いる関数ｅｄｇｅ＿ｇａｉｎ（）（図７参照）をテーブル化したデータを保持している。これらの関数を用いる彩度強調部８０３およびエッジ強調部８０８は、テーブル変更部８０１を介してＲＯＭ８１１と接続されている。そして、彩度強調部８０３およびエッジ強調部８０８でこれらの関数を用いた強調係数（すなわち、彩度強調係数ＫＩＪ及び強調ゲインＥｇＩＪ）が必要になると、テーブル変更部８０１がＲＯＭ８１１からテーブル化されたデータを読み出して適宜変更した後に、強調係数を計算し、彩度強調部８０３およびエッジ強調部８０８に出力する。この変更の仕方は、シーン判定部８００の判定結果に依存している。
【０２０７】
シーン判定部８００は、上述した第３の実施形態と同様に先行処理において作動し、原画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られた画像信号であるかを判定する。補間処理部２０２から処理された画像データが出力されると、シーン判定部８００は、肌色に相当する彩度と色相を持つ画素を検出し、その数Ｃ１をカウントする。また、各画素の輝度を計算し、輝度が所定の閾値以下で暗部と判断される画素の数Ｃ２をカウントする。そして、全画素数Ｎおよびカウント数Ｃ１、Ｃ２から、現在のシーンで肌色および暗部にどの程度注意が必要かを示す指標Ａ１およびＡ２を以下の（式３０）を用いて算出する（ｎは１から２の整数で、順に肌色、暗部に対応する）。
【０２０８】
Ａｎ＝ｆｎ（Ｃｎ／Ｎ）      （式３０）
【０２０９】
上記（式３０）において、ｆｎは肌色および暗部がシーンに占める面積比と、その色に注意する度合いとを対応付ける関数で、例えば第３の実施形態に係る画像信号処理装置の概略構成を示した図１９と同様の特徴をもつ。シーン判定部８００はＡ１、Ａ２を算出後、これらをテーブル変更部８０１に転送する。本実施形態では、シーン判定部８００は、このＡ１、Ａ２を算出することで、原画像信号が所定のシーンもしくは所定の被写体を撮像することにより得られたかを判別する。
【０２１０】
一方、本処理では、彩度強調部８０３が、テーブル変更部８０１に対して、第１の補正係数ｇ１ＩＪと処理対象画素の輝度値Ｙとを出力し、上述の第１の実施形態では（式３）で求めていた彩度強調係数ＫＩＪを、テーブル変更部８０１において計算するよう依頼する。彩度強調部８０３の動作は、これ以外は上述した第１の実施形態の彩度強調部２０３と同一である。
テーブル変更部８０１は、信号処理部１１０４での処理内容を変更する。本実施形態では、シーン判定部８００から転送された上記Ａ１、Ａ２に応じて、信号処理部１１０４での処理内容を変更する。具体的には、テーブル変更部８０１は、処理対象画素に対する色補間後の値（Ｒ，Ｇ，Ｂ）を補間処理部２０２から受け、処理対象画素が肌色に属する程度Ｄ１を第３の実施形態で補正係数調整部７０１が行ったのと同じ方法で見積もる（式２８参照）。
【０２１１】
さらに、テーブル変更部８０１は、処理対象画素が暗部に属する程度Ｄ２を、以下の（式３１）を用いて見積もる。
【０２１２】
Ｄ２＝ｓ（Ｙ／Ｙ０）      （式３１）
【０２１３】
上記（式３１）において、Ｙは処理対象画素の輝度値、Ｙ０は暗部と判断する輝度の閾値、ｓ（）は、例えば、図２４に例示する関数である。
【０２１４】
また、テーブル変更部８０１は、強調係数（彩度強調係数ＫＩＪ）を決定するためのｃｏｌｏｒ（）に対応するテーブルデータとして、シーン判定部８００での判定結果に応じて複数種類のテーブルデータを保持している。本実施形態では、デフォルトの関数を表すｃｏｌｏｒ１（図３に示された関数ｃｏｌｏｒ（）と同じ）に対応するテーブルデータと、肌色用の関数を表すｃｏｌｏｒ２に対応するテーブルデータと、暗部用の関数を表すｃｏｌｏｒ３に対応するテーブルデータとを保持している。そして、複数種類用意されたテーブルデータを適宜利用して、入力された処理対象画素に対する補正係数ｇ１ＩＪ及び輝度値Ｙから、第１の補正係数による信号処理の強弱を決める強調係数、すなわち、最終的な彩度強調係数ＫＩＪを決定する。例えば、以下の（式３２）を用いて、最終的な彩度強調係数ＫＩＪを算出し、彩度強調部８０３に出力する。彩度強調部８０３は、テーブル変更部８０１から受け取った彩度強調係数ＫＩＪを用いて、（式４）に示した彩度強調処理を行う。
【０２１５】
ＫＩＪ＝Ｄ１＊ｃｏｌｏｒ２（ｇ１ＩＪ＊Ｙ）＋（１−Ｄ１）＊Ｄ２＊ｃｏｌｏｒ３（ｇ１ＩＪ＊Ｙ）＋（１−Ｄ１）＊（１−Ｄ２）＊ｃｏｌｏｒ１（ｇ１ＩＪ＊Ｙ）      （式３２）
【０２１６】
上記ｃｏｌｏｒ２及びｃｏｌｏｒ３については、図２５に一例を示すように、肌色部では彩度をそれほど強調せず特に明部の彩度を落とし、暗部では特に低輝度部で特に彩度を下げるという特徴をもつ。（式３２）で示した例のように、本実施形態では、処理対象画素が特定の被写体に属する程度Ｄｎによる重み付けを各テーブルデータに対して与えながら、複数種類のテーブルデータを用いて強調係数（この場合、彩度強調係数ＫＩＪ）を決定している。
【０２１７】
テーブル変更部８０１は、エッジ強調部８０８において強調ゲインＥｇＩＪが必要となった際にも動作する。この場合、エッジ強調部８０８は彩度強調部８０３と同じく第１の補正係数ｇ１ＩＪと処理対象画素の輝度値Ｙをテーブル変更部８０１に出力し、テーブル変更部８０１では、上記（式１５）に代わって以下の手順に従い、強調ゲインＥｇＩＪを計算する。
【０２１８】
まず、テーブル変更部８０１は、彩度強調係数算出時と同じ方法で、処理対象画素が暗部に属する程度Ｄ２を求める。テーブル変更部８０１は、強調係数（強調ゲインＥｇＩＪ）を決定するためのｅｄｇｅ＿ｇａｉｎ（）に対応するテーブルデータとして、シーン判定部８００での判定結果に応じて複数種類のテーブルデータを保持している。本実施形態では、デフォルトの関数を表すｅｄｇｅ＿ｇａｉｎ１（図７に示された関数ｅｄｇｅ＿ｇａｉｎ（）と同じ）に対応するテーブルデータと、暗部用の関数を表すｅｄｇｅ＿ｇａｉｎ２に対応するテーブルデータとを保持している。図２６は、ｅｄｇｅ＿ｇａｉｎ１、ｅｄｇｅ＿ｇａｉｎ２の一例を示す図である。
【０２１９】
そして、複数種類用意されたテーブルデータを適宜利用して、入力された処理対象画素に対する補正係数ｇ１ＩＪ及び輝度値Ｙから、第１の補正係数による信号処理の強弱を決める強調係数、すなわち、最終的な強調ゲインＥｇＩＪを決定する。例えば、以下の（式３３）を用いて、最終的な強調ゲインＥｇＩＪを算出し、エッジ強調部８０８に出力する。そして、エッジ強調部８０８は、テーブル変更部８０１から受け取った強調ゲインＥｇＩＪを用いて、エッジ強調部２０８と同様の処理（（式１６）〜（式１９）の処理）を行う。
【０２２０】
ＥｇＩＪ＝Ｄ２＊ｅｄｇｅ＿ｇａｉｎ２（ｇ１ＩＪ＊Ｙ）＊ｔ（ｇ１ＩＪ）＋（１−Ｄ２）＊ｅｄｇｅ＿ｇａｉｎ１（ｇ１ＩＪ＊Ｙ）      （式３３）
【０２２１】
（式３３）で示した例のように、本実施形態では、処理対象画素が特定の被写体に属する程度Ｄｎによる重み付けを各テーブルデータに対して与えながら、複数種類のテーブルデータを用いて強調係数（この場合、強調ゲインＥｇＩＪ）を決定している。
【０２２２】
また、テーブル変更部８０１は、ノイズの増幅を抑えるように強調係数（強調ゲインＥｇＩＪ）を決定する。そのために、本実施形態では、関数ｔ（）を用いている。関数ｔ（）は、補正係数が大きい場合ほどエッジ強調量を抑制するための関数で、例えば、図２７のような特性をもつ。この計算の結果では、暗部でかつ補正係数が大きいほどエッジ強調ゲインが小さくなり、ノイズの増幅が抑えられる。
【０２２３】
〔第５の実施形態〕
次に、本発明の第５の実施形態に係る画像信号処理装置について図を参照して説明する。
第５の実施形態は、上述した第３の実施形態に係る画像信号処理装置と構成を略同じくするが、図２８に示すように、再調整手段としての色補正部９０１を更に備えている点において異なる。
以下、本実施形態に係る画像信号処理装置について、第３の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。
【０２２４】
図２８は、本実施形態に係る画像信号処理装置の概略構成を示したブロック図である。
本実施形態において、先行処理では、シーン判定部７００が、上述の第３の実施形態で説明した動作を行い、現在のシーンで肌色、緑色および空色がどの程度重要な色かを示す指標Ａ１、Ａ２、Ａ３を算出し、算出結果を色補正部９０１に転送する。
【０２２５】
続く、本処理では、階調変換部２０４までの処理は、上述した第１の実施形態と同じ処理を行い、その後、色補正部９０１に処理後の輝度および色差信号［Ｙ´，Ｃｒ´，Ｃｂ´］が出力される。色補正部９０１は、色補間後の値（Ｒ，Ｇ，Ｂ）を補間処理部２０２から受け、処理対象画素が肌色、緑色および空色に属する程度Ｄ１、Ｄ２およびＤ３を、上述の第３の実施形態に係る補正係数調整部７０１と同様の手法で求める。
【０２２６】
次に、色補正部９０１は、入力された輝度及び色差信号から入力信号の彩度Ｓおよび色相Ｈを求め、これに基づいて最終的な輝度Ｙ´と彩度Ｓ´を以下の（式３４）に基づいて調整する（ｎは１から３の整数で、順に肌色、緑色、空色に対応する）。
【０２２７】
ｒｎ＝Ａｎ＊Ｄｎ
ｃ１＝ｒ１＊（１−ｒ２）＊（１−ｒ３）
ｃ２＝（１−ｒ１）＊ｒ２＊（１−ｒ３）
ｃ３＝（１−ｒ１）＊（１−ｒ２）＊ｒ３      （式３４）
ｃ４＝１−ｃ１−ｃ２−ｃ３
Ｙ´＝ｃ１＊Ｙ´１＋ｃ２＊Ｙ´２＋ｃ３＊Ｙ´３＋ｃ４＊Ｙ
Ｓ´＝ｃ１＊Ｓ´１＋ｃ２＊Ｓ´２＋ｃ３＊Ｓ´３＋ｃ４＊Ｓ
【０２２８】
上記（式３４）において、Ｙ´１、Ｙ´２、Ｙ´３は、入力信号が肌色、緑色、空色の各場合に対応した調整後の輝度である。Ｓ´１、Ｓ´２、Ｓ´３は、入力信号が肌色、緑色、空色の各場合に対応した調整後の彩度である。ｃ１乃至ｃ４は、これら各色に対する調整結果と、無調整の結果とを混合するための重み係数である。
このようにして算出された最終的な輝度Ｙ´及び彩度Ｓ´は、再び輝度信号と色差信号に変換され、Ｙ／Ｃ分離部２０５へ出力される。
【０２２９】
なお、入力信号が特定色である場合の補正結果の算出の方法は、公知のガマットマッピングの手法に基づいている。この方法の具体例を、以下、肌色を例に説明する。
色補正部９０１は、肌色に関し、好ましい輝度と彩度の組み合わせを表すガマットデータを色相ごとに保持している。このデータは、輝度と彩度で表される二次元座標面上で図２９に示すように線状であり、入力信号の色相に対するガマットデータをＧｈとして、Ｇｈより輝度軸に近い領域は、好ましく、遠い領域は好ましくない色であると判断する。そして、入力信号が好ましくない領域に含まれないように、以下の（式３５）を用いて補正後の輝度と彩度を計算する。
【０２３０】
Ｙ´ｎ＝（Ｙ−Ｙ１）＊（α（ｄ１，ｄ２）／ｄ１）＋Ｙ１
Ｓ´ｎ＝（α（ｄ１，ｄ２）／ｄ１）＊Ｓ                        （式３５）
【０２３１】
ここで、α（）は図３０に示す関数であり、ｄ１は所定の輝度軸上の点（輝度Ｙ１）から輝度Ｙと彩度Ｓを座標とする入力信号（Ｙ，Ｓ）までの距離、ｄ２は所定の輝度軸上の点（輝度Ｙ１）と入力信号を結んだ線とガマットデータＧｈの線との交点までの距離である。この計算の結果、ｄ１がｄ２より大きくなってもαがｄ２を超えないため、補正後の点（Ｙ´１，Ｓ´１）と所定の輝度軸上の点との距離は常にｄ２以下となり、補正後の点はガマットデータＧｈより輝度軸に近い領域に常に含まれる。
【０２３２】
このように、本実施形態に係る画像信号処理装置によれば、肌色、緑色、空色の各色に対して好ましくなくならないように、入力信号の輝度と彩度を補正した後、処理対象画素が各色に属する程度とシーンにおける各色の重要性を考慮して、それらを重み付けするので、結果的にシーンに最適な色再現がなされることとなる。
【０２３３】
〔第６の実施形態〕
次に、本発明の第６の実施形態に係る画像信号処理装置について図を参照して説明する。
第６の実施形態は、基本的に第１、２の実施形態と同じであるが、第１の実施形態では、先行処理において、スペースバリアントな階調変換処理に関する第２の補正係数ｇ２ｉｊを算出し、この第２の補正係数ｇ２ｉｊに基づき第１の補正係数を算出していた。また、第２の実施形態では、先行処理において、スペースバリアントな彩度強調処理に関する第２の補正係数ＫＬを算出し、この第２の補正係数ＫＬに基づき第１の補正係数を算出していた。これに対し、第６の実施形態においては、先行処理にて、スペースバリアントなエッジ強調処理に関する第２の補正係数ｇ２ｉｊを算出し、この彩度強調処理に関する第２の補正係数ｇ２ｉｊに基づき第１の補正係数ｇ１ＩＪを算出する点が異なる。
【０２３４】
以下、本実施形態に係る画像信号処理装置について、第１、２の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。なお、上述の第１、２の実施形態と同一の構成要素については、同一符号を付し、その詳細な説明を省略する。
【０２３５】
図３１は、本実施形態に係る信号処理部１５０４の一構成例を示すブロック図である。この図に示すように、信号処理部１５０４は、図１３に示した第２の実施形態に係る信号処理部５０４と略構成を同じくするが、彩度強調部６０３に代わって、第１の実施形態例と同じように彩度強調部２０３を備えている点、階調変換部６０４に代わって階調変換部１５０５を備えている点、階調変換部２０６に代わって、階調変換部１５０６を備えている点及びＲＯＭ１１１に代わってＲＯＭ１５１１を備えている点が異なる。なお、本実施形態に係るＲＯＭ１５１１には、エッジ強調に関する設定範囲及び該設定範囲に関するエッジ強調の第２の補正係数Ｆｌが予め保存されている。
【０２３６】
本実施形態に係る信号処理部１５０４において、まず、先行処理では、ＷＢ部２０１は、制御部１０６からの制御信号に基づき、転送された画像信号に対して公知のホワイトバランス補正を行う。ホワイトバランス補正後の画像信号は、補間処理部２０２及び階調変換部１５０６へ転送される。補間処理部２０２は、公知の補間処理で単板画像から三板画像を生成し、彩度強調部２０３へ転送する。
【０２３７】
彩度強調部２０３は、実施形態例１と同一の彩度強調処理を行う（式１−８参照）ため、同一符号を付し、その詳細な説明を省略する。
そして、彩度強調部２０３により彩度強調処理が施された画像信号は、制御部１０６の制御に基づき階調変換部１５０５へ転送される。
階調変換部１５０５は、γ特性に基づき階調変換処理を行う。本実施形態例においては、図５に示すように、ＲＧＢ１２ｂｉｔデータを１０ｂｉｔへ変換する。以下、階調変換部１５０５による処理内容について詳しく説明する。
【０２３８】
先行処理において、階調変換部１５０５は、まず、ＲＯＭ１５１１から固定の補正係数Ｓ０を読み出し、以下の（式３６）に示すように、変換された１０ｂｉｔのＲＧＢのデータに対して画素毎或いは領域毎に対応する固定の補正係数Ｓ０を乗算することにより、階調変換処理を行う。
Ｚ０＝Ｑ０＊Ｓ０      （式３６）
上記（式３６）において、Ｑ０は、上記変換された１０ｂｉｔのＲＧＢの画素値（Ｒ０、Ｇ０、Ｂ０）であり、Ｚ０は、階調変換処理後のＲＧＢの画素値（Ｒ０、Ｇ０、Ｂ０）である。
【０２３９】
一方、本処理では、階調変換部１５０５は、まず、ＲＡＭ１０８から第１の補正係数ｇ１ｉｊを読み出す。ここで、読み出した第１の補正係数ｇ１ｉｊは、縮小された画像信号に対して算出されているため、原画像信号の各画素或いは各領域に対応するように不足する画素或いは領域に対応する補正係数を補間処理することにより、原画像信号に対応する補間後の第１の補正係数ｇ１ＩＪを求める。そして、原画像信号に対応する第１の補正係数ｇ１ＩＪを、下記（式３７）に示すように、上記変換後における１０ｂｉｔのＲＧＢのデータに対して乗算することにより、階調変換処理を行う。なお、階調変換部１５０５は、乗算の画素値が１０ｂｉｔの上限値を超えた場合は、上限値に設定する。
ＺＩＪ＝ＱＩＪ＊ｇ１ＩＪ      （式３７）
【０２４０】
上記（式３７）において、ＱＩＪは、上記変換された１０ｂｉｔの各画素値或いは各領域の画素値（ＲＩＪ、ＧＩＪ、ＢＩＪ）であり、ＺＩＪは、階調変換処理後の各画素或いは各領域の画素値（ＲＩＪ、ＧＩＪ、ＢＩＪ）である。
【０２４１】
階調変換後の画像信号は、制御部１０６の制御に基づき、Ｙ／Ｃ分離部２０５へ転送される。Ｙ／Ｃ分離部２０５は、制御部１０６に基づき公知のＹ／Ｃ分離処理を行う。分離された輝度信号Ｙ＿ｌｏｗ及び色差信号ＣｒＣｂはエッジ強調部１５０８へ転送される。
なお、階調変換部１５０６は、先行処理において、ＷＢ部２０１から転送された単板画像からＧ信号のみを抽出し、１２ｂｉｔデータを１０ｂｉｔへ変換する。続いて、ＲＯＭ１５１１からから固定の補正係数Ｓ０を読み出し、この固定の補正係数Ｓ０を、画素毎或いは領域毎に、Ｇ信号のデータに乗算することにより、階調変換処理を行う。一方、本処理では、ＲＡＭ１０８から第１の補正係数ｇ１ｉｊを読み出し、この第１の補正係数ｇ１ｉｊを補間処理することにより、原画像信号に対応する第１の補正係数ｇ１ＩＪを求める。続いて、上記補間処理された第１の補正係数ｇ１ＩＪを、画素毎或いは領域毎に、Ｇ信号のデータに対して乗算することにより階調変換処理を行う。
【０２４２】
処理後の信号は、エッジ抽出部２０７へ転送される。
エッジ抽出部２０７は、制御部１０６に基づき公知のエッジ抽出処理を行うことにより、エッジ強度Ｅを抽出し、これをエッジ強調部１５０８へ転送する。
【０２４３】
エッジ強調部１５０８は、先行処理において、エッジ抽出部２０７からエッジ強度Ｅが、Ｙ／Ｃ分離部２０５から輝度信号Ｙ＿ｌｏｗが、制御部１０６の制御に基づいて転送される。エッジ強度制御部３０１は、ＲＯＭ１５１１に保存されている設定範囲及び該設定範囲に関するエッジ強調の第２の補正係数Ｆｌを読み出す。次に、読み出された設定範囲に基づき、画像信号の適用範囲を設定する。例えば、設定範囲はＭ画素×Ｎ画素の場合、撮影時のフォーカスの中心点を適用範囲の中心とし、Ｍ画素×Ｎ画素の画像信号枠が設定範囲になる。
【０２４４】
先行処理の段階では、縮小された画像信号が処理対象になるため、設定範囲も同縮小率に適用される。すなわち、Ｍ画素×Ｎ画素の設定範囲は同縮小率に基づき縮小される。さらに、縮小された設定範囲内の上記輝度信号Ｙ＿ｌｏｗと読み出された上記の第２の補正係数Ｆｌを用いて、以下の（式３８）に従い、エッジ強調のゲインＥｇ０を算出し、このゲインＥｇｉｊをコアリング制御部３０２へ転送する。
Ｅｇｉｊ＝Ｅｄｇｅ＿ｇａｉｎ（Ｙ＿ｌｏｗ＊Ｆｌ）      （式３８）
Ｅｄｇｅ＿ｇａｉｎ（）はＥｇｉｊとＹ＿ｌｏｗ＊Ｆｌとの関係を規定する予め定められた関数である（図７参照）。
【０２４５】
設定範囲以外の範囲においては、ＲＯＭ１５１１に保存されている固定の補正係数ｇ０を読み出し、この補正係数ｇ０と上記輝度信号Ｙ＿ｌｏｗとを用いて、式１０に従い、エッジ強調のゲインＥｇ０を算出し、このゲインＥｇ０をコアリング制御部３０２へ転送する。コアリング処理及びクロマサプレス処理については、実施形態例と同じのため、説明を省略する。
【０２４６】
本処理において、エッジ強調部１５０８は、エッジ抽出部２０７からエッジ強度Ｅが、Ｙ／Ｃ分離部２０５から輝度信号Ｙ＿ｌｏｗが、制御部１０６の制御に基づいて転送される。エッジ強度制御部３０１は、ＲＯＭ１５１１に保存されている設定範囲及び該設定範囲に関するエッジ強調の第２の補正係数Ｆｌを読み出す。次に、読み出された設定範囲に基づき、画像信号の適用範囲を設定する。さらに、設定範囲内の上記輝度信号Ｙ＿ｌｏｗと読み出された上記の第２の補正係数Ｆｌを用いて、以下の（式３９）に従い、エッジ強調のゲインＥｇＩＪを算出し、このゲインＥｇＩＪをコアリング制御部３０２へ転送する。
ＥｇＩＪ＝Ｅｄｇｅ＿ｇａｉｎ（Ｙ＿ｌｏｗ＊Ｆｌ）      （式３９）
【０２４７】
コアリング処理及びクロマサプレス処理については、実施形態例と同じのため、説明を省略する。
【０２４８】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【０２４９】
【図１】図１は、本発明の第１の実施形態に係る画像信号処理装置の概略構成を示すブロック図である。
【図２】図１に示した信号処理部の一構成例を示したブロック図である。
【図３】ＲＧＢ色空間における彩度強調処理の強調係数Ｋと輝度レベルＹ及び第１の補正係数ｇの関連グラフの一例を示した図である。
【図４】Ｌ＊ａ＊ｂ＊色空間における彩度強調処理の強調係数Ｈと明度レベルＬ及び第１の補正係数ｇの関連グラフの一例を示した図である。
【図５】本発明の第１の実施形態に係る階調変換のγ特性図の一例を示した図である。
【図６】図１に示したエッジ強調部の一構成例を示した図である。
【図７】エッジ強調処理の強調ゲインＥｇと輝度レベルＹ及び第１の補正係数ｇの関連グラフの一例を示した図である。
【図８】補正後のエッジ強度｜Ｅ｜´と強調ゲインＥｇ及び補正前のエッジ強度｜Ｅ｜の関連グラフの一例を示した図である。
【図９】クロマサプレス処理の強調ゲインＳｇとエッジ強度｜Ｅ｜´の関連グラフの一例を示した図である。
【図１０】図１に示した補正係数計算部の概略構成を示したブロック図である。
【図１１】本発明の第１の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示したフローチャートである。
【図１２】本発明の第１の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示したフローチャートである。
【図１３】本発明の第２の実施形態に係る信号処理部の一構成例を示すブロック図である。
【図１４】特定の色相を抽出する場合に用いられる色相関連図の一例を示した図である。
【図１５】本発明の第２の実施形態に係る階調変換のγ特性図の一例を示した図である。
【図１６】本発明の第２の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示したフローチャートである。
【図１７】本発明の第２の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示したフローチャートである。
【図１８】本発明の第３の実施形態に係る画像信号処理装置の信号処理部及びその周辺の概略構成を示したブロック図である。
【図１９】関数ｆの一例を示した図である。
【図２０】関数ｇ、ｈの一例を示した図である。
【図２１】本発明の第３の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示したフローチャートである。
【図２２】本発明の第３の実施形態における絵作り処理のソフトウェア処理に関する先行処理及び本処理の処理手順を示したフローチャートである。
【図２３】本発明の第４の実施形態に係る画像信号処理装置の信号処理部及びその周辺の概略構成を示したブロック図である。
【図２４】関数ｓの一例を示した図である。
【図２５】彩度強調係数算出用のテーブルの一例を示した図である。
【図２６】エッジ強調ゲイン算出用のテーブルの一例を示した図である。
【図２７】関数ｔの一例を示した図である。
【図２８】本発明の第５の実施形態に係る画像信号処理装置の信号処理部及びその周辺の概略構成を示したブロック図である。
【図２９】特定色に対する輝度及び彩度の補正法の一例を示した図である。
【図３０】特定色に対する補正を行うための補正関数の一例を示した図である。
【図３１】本発明の第６の実施形態に係る信号処理部の一構成例を示すブロック図である。
【符号の説明】
【０２５０】
１０４、５０４、１１０４、１２０４、１５０４  信号処理部
１０９  補正係数計算部
１０８  ＲＡＭ
１１１、６１１、８１１、１５１１  ＲＯＭ
１０６  制御部
２１０  第２の補正係数算出部
２０２  補間処理部
２０３、６０３、８０３  彩度強調部
２０４、６０４、８０４  階調変換部
２０６  階調変換部
２０７  エッジ抽出部
２０８、８０８  エッジ強調部
２０５  Ｙ／Ｃ分離部
２０９  色変換部
２０１  ＷＢ部
３０１  エッジ強度制御部
３０２  コアリング制御部
３０３  クロマサプレス制御部
３０４  エッジ加算部
４０１  第１の補正係数算出部
４０３  補正係数補間部
７００  シーン判定部
７０１  補正係数調整部
８０１  テーブル変更部
９０１  色補正部
【図１】
2007094742.tif 000008
【図２】
2007094742.tif 000009
【図３】
2007094742.tif 000010
【図４】
2007094742.tif 000011
【図５】
2007094742.tif 000012
【図６】
2007094742.tif 000013
【図７】
2007094742.tif 000014
【図８】
2007094742.tif 000015
【図９】
2007094742.tif 000016
【図１０】
2007094742.tif 000017
【図１１】
2007094742.tif 000018
【図１２】
2007094742.tif 000019
【図１３】
2007094742.tif 000020
【図１４】
2007094742.tif 000021
【図１５】
2007094742.tif 000022
【図１６】
2007094742.tif 000023
【図１７】
2007094742.tif 000024
【図１８】
2007094742.tif 000025
【図１９】
2007094742.tif 000026
【図２０】
2007094742.tif 000027
【図２１】
2007094742.tif 000028
【図２２】
2007094742.tif 000029
【図２３】
2007094742.tif 000030
【図２４】
2007094742.tif 000031
【図２５】
2007094742.tif 000032
【図２６】
2007094742.tif 000033
【図２７】
2007094742.tif 000034
【図２８】
2007094742.tif 000035
【図２９】
2007094742.tif 000036
【図３０】
2007094742.tif 000037
【図３１】
2007094742.tif 000038