(57)【要約】【課題】飽和近傍の領域の画質劣化を軽減させ、かつ高輝度側の階調を保持した画像を生成することを可能にした画像処理装置を提供する。【解決手段】複数の色成分の信号を含む画像信号を入力する入力部と、入力された複数の色成分の信号の信号値に対し、ホワイトバランスゲイン処理を行うホワイトバランス処理部と、ホワイトバランスゲイン処理を施された信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第１の拡張処理を行う第１の拡張処理部と、第１の拡張処理を行った後の信号を用いて、輝度信号を生成する輝度信号生成部と、ホワイトバランスゲイン処理を施された後の信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第２の拡張処理を行う第２の拡張処理部と、第２の拡張処理を行った後の信号を用いて、色差信号を生成する色差信号生成部とを備え、第１の拡張処理部と第２の拡張処理部は、第１の拡張処理と、第２の拡張処理において、異なる拡張量で拡張処理を行う。【選択図】  図１
2020057973.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分の信号を含む画像信号を入力する入力手段と、
入力された前記複数の色成分の信号の信号値に対し、ホワイトバランスゲイン処理を行うホワイトバランス処理手段と、
前記ホワイトバランスゲイン処理を施された信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第１の拡張処理を行う第１の拡張処理手段と、
前記第１の拡張処理を行った後の信号を用いて、輝度信号を生成する輝度信号生成手段と、
前記ホワイトバランスゲイン処理を施された後の信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第２の拡張処理を行う第２の拡張処理手段と、
前記第２の拡張処理を行った後の信号を用いて、色差信号を生成する色差信号生成手段と、を備え、
前記第１の拡張処理手段と前記第２の拡張処理手段は、前記第１の拡張処理と、前記第２の拡張処理において、異なる拡張量で拡張処理を行うことを特徴とする画像処理装置。
【請求項２】
前記第１の拡張処理手段は、拡張後のそれぞれの色成分の信号の飽和信号レベルが近づくよう、それぞれの色成分の信号の拡張量を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の色成分の信号は、赤色成分の信号と、緑色成分の信号と、青色成分の信号を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記ホワイトバランス処理手段は、前記緑色成分の信号を基準として、前記赤色成分の信号と前記青色成分の信号に対してゲインを適用することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の拡張処理手段は、前記ホワイトバランス処理を施された後に最も飽和レベルが高くなる色成分の信号を参照して、残りの色成分の信号の高輝度域の信号値を拡張することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の拡張処理手段は、前記ホワイトバランス処理を施された後に最も飽和レベルが高くなる色成分の信号の信号レベルに、残りの色成分の信号の信号レベルを近づけるように、残りの色成分の信号の信号値を拡張することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２の拡張処理手段は、前記ホワイトバランスゲイン処理において、ゲインが１倍、もしくはゲインが最も小さい色成分を基準色と設定し、それ以外の色成分を非基準色と設定した場合に、前記基準色の拡張量に対して、前記非基準色の拡張量を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記複数の色成分の信号は、赤色成分の信号と、緑色成分の信号と、青色成分の信号を含み、前記第２の拡張処理手段は、前記緑色成分の信号を前記基準色と設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第２の拡張処理手段は、前記緑色成分の信号のみ、高輝度域の信号を拡張することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記色差信号生成手段は、前記第１の拡張処理を行った後の色成分の信号を参照して、前記第２の拡張処理を行った後の色成分の信号から生成した色差信号の信号レベルを調整することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記輝度信号生成手段は、前記第２の拡張処理を行った後の色成分の信号を参照して、前記第１の拡張処理を行った後の色成分の信号から生成した輝度信号の信号レベルを調整することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
複数の色成分の信号を含む画像信号を入力する入力工程と、
入力された前記複数の色成分の信号の信号値に対し、ホワイトバランスゲイン処理を行うホワイトバランス処理工程と、
前記ホワイトバランスゲイン処理を施された信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第１の拡張処理を行う第１の拡張処理工程と、
前記第１の拡張処理を行った後の信号を用いて、輝度信号を生成する輝度信号生成工程と、
前記ホワイトバランスゲイン処理を施された後の信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第２の拡張処理を行う第２の拡張処理工程と、
前記第２の拡張処理を行った後の信号を用いて、色差信号を生成する色差信号生成工程と、を有し、
前記第１の拡張処理工程と前記第２の拡張処理工程では、前記第１の拡張処理と、前記第２の拡張処理において、異なる拡張量で拡張処理を行うことを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の階調処理技術に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置で撮影した画像に対して、撮像装置の特性および撮影条件を加味して、色に応じて異なるゲインをかけてカラーバランスを調整するホワイトバランスゲイン処理が行われている。しかしながら、入力画像の時点で白黒被写体の持つ信号のうち、Ｇ信号が飽和レベルに達している場合には、正しい色比率で信号が入力されないため、ホワイトバランスゲイン処理を行っても、Ｒ，Ｇ，Ｂ信号の値が揃わず、色付きが発生してしまう。この色付きを抑制するために、従来は、信号値を飽和レベルで一律クリップすることにより対処していたが、高輝度側の階調が失われてしまうといった課題があった。
【０００３】
この課題に対し、入力された信号値を拡張し、色信号毎の飽和レベルを調整することにより、色付きを発生させずに高輝度側の階調を保持する技術が知られている。例えば、特許文献１では、入力された信号値の飽和レベルを拡張する処理を行い、拡張処理後の信号から輝度信号を生成し、拡張処理前の信号から色差信号を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６８３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、色差信号を作る元になる色信号の特定の色成分が飽和している場合、飽和近傍の信号を拡張せずに色差信号を作ることで、被写体の色信号のＲ，Ｇ，Ｂ組成比が変動し（以下、色曲りと表記）、画質劣化として見える場合がある。また、輝度信号のみに、飽和近傍の信号の拡張を行うため、彩度が不自然になる場合がある。
【０００６】
本発明は上述した課題に鑑みてなされたものであり、その目的は、飽和近傍の領域の画質劣化を軽減させ、かつ高輝度側の階調を保持した画像を生成することを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係わる画像処理装置は、複数の色成分の信号を含む画像信号を入力する入力手段と、入力された前記複数の色成分の信号の信号値に対し、ホワイトバランスゲイン処理を行うホワイトバランス処理手段と、前記ホワイトバランスゲイン処理を施された信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第１の拡張処理を行う第１の拡張処理手段と、前記第１の拡張処理を行った後の信号を用いて、輝度信号を生成する輝度信号生成手段と、前記ホワイトバランスゲイン処理を施された後の信号に対し、他色の色成分の信号を用いて対象の色成分の信号値を拡張する第２の拡張処理を行う第２の拡張処理手段と、前記第２の拡張処理を行った後の信号を用いて、色差信号を生成する色差信号生成手段と、を備え、前記第１の拡張処理手段と前記第２の拡張処理手段は、前記第１の拡張処理と、前記第２の拡張処理において、異なる拡張量で拡張処理を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、飽和近傍の領域の画質劣化を軽減させ、かつ高輝度側の階調を保持した画像を生成することを可能にした画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係わる画像処理装置の構成を示すブロック図。
【図２】撮像部に入力される光量と、入力画像のＲ，Ｇ，Ｂの信号値の関係の一例を示した図。
【図３】ホワイトバランスゲインを適用した後の信号レベルの一例を示す図。
【図４】第１の拡張処理部の動作を示すフローチャート。
【図５】第１の拡張処理部、第２の拡張処理部の信号拡張量の重み特性を示す図
【図６】第１の拡張処理部、第２の拡張処理部の出力信号の特性の一例を示す図。
【図７】第２の拡張処理部の動作を示すフローチャート。
【図８】第２の実施形態に係わる画像処理装置の構成を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１１】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる画像処理装置の構成を示すブロック図である。
【００１２】
図１において、画像入力端子１００からは、１画素につきＲ，Ｇ，Ｂの３色全ての信号値を持った画像信号が入力される。ホワイトバランスゲイン処理部１０１は、画像入力端子１００から入力された画像信号について、複数の色成分であるＲ（赤色成分），Ｇ（緑色成分），Ｂ（青色成分）それぞれの信号に対するホワイトバランスゲイン処理を行う。
【００１３】
ホワイトバランスゲイン処理部１０１の出力信号は、第１の拡張処理部１０２、第２の拡張処理部１０５に入力され、高輝度域の信号を拡張する処理が施される。ここで、高輝度域の信号とは、Ｒ，Ｇ，Ｂの各色信号において、それぞれ信号レベルが所定の信号レベルよりも高い領域の信号のことを指す。第１の拡張処理部１０２では、輝度信号生成に適した、高輝度側の拡張処理を行い、拡張処理後の画像を参照して、拡張輝度信号生成部１０３において輝度信号を生成する。第２の拡張処理部１０５では、色差信号に適した高輝度側の拡張処理を行い、拡張処理後の画像を参照して、拡張色差信号生成部１０６で色差信号を生成する。画像出力端子１０４，１０５からは、それぞれ、必要に応じて高輝度域の拡張Ｒ，Ｇ，Ｂ信号を参照して生成された、輝度信号、色差信号が出力される。
【００１４】
次に、図２〜図７を参照して、本実施形態の画像処理装置の各処理ブロックの動作について詳細に説明する。なお、図１において、画像入力端子１００から入力される入力画像は、図示しない撮像部によって生成されるものとする。撮像部には、カラーフィルタが配置されており、被写体からの光を分光して、Ｒ，Ｇ，Ｂの各信号値を出力する。Ｒ，Ｇ，Ｂの各信号レベルは、撮像部に入力される光量に応じて決まり、あらかじめ定められた所定の飽和レベル（飽和信号レベル）ＴＨ０で、信号の上限値がクリップされる。
【００１５】
図２は、撮像部に入力される光量と、入力画像のＲ，Ｇ，Ｂ信号値の関係の一例を示した図である。Ｐｉｎ_Ｒ，Ｐｉｎ_Ｇ，Ｐｉｎ_Ｂは、それぞれＲ，Ｇ，Ｂ信号に対応する。横軸は、撮像部に入力される光量、縦軸は、入力画像のＲ，Ｇ，Ｂ各信号レベルの一例を示しており、撮像部に入力される光量に応じて、入力画像のＲ，Ｇ，Ｂ値が所定の比率で変化している。Ｇ信号は撮像部に入力される光量がＢＶ０以上になると、出力信号レベルがＴＨ０で飽和する。一方、Ｒ，Ｂ信号は、カラーフィルタの分光感度がＧよりも低いため、撮像部に入力される光量が、ＢＶ０以上の値でも、出力信号レベルが飽和しない。
【００１６】
次に、ホワイトバランスゲイン処理部１０１での処理について説明する。
【００１７】
入力画像のＲ，Ｇ，Ｂの信号値をそれぞれＰｉｎ_Ｒ，Ｐｉｎ_Ｇ，Ｐｉｎ_Ｂとすると、ホワイトバランスゲイン処理後の信号Ｐ１_Ｒ，Ｐ１_Ｇ，Ｐ１_Ｂは、（式１）~（式３）の様に表される。ＷＲ_Ｒ，ＷＲ_Ｇ，ＷＲ_Ｂはホワイトバランスゲインの係数である。
【００１８】
Ｐ１_Ｒ = ＷＢ_Ｒ × Ｐｉｎ_Ｒ       …（式１）
Ｐ１_Ｇ = ＷＢ_Ｇ × Ｐｉｎ_Ｇ       …（式２）
Ｐ１_Ｂ = ＷＢ_Ｂ × Ｐｉｎ_Ｂ       …（式３）
本実施形態ではＧ信号を基準に、Ｒ，Ｂ信号（他色の信号）に対してホワイトバランスゲインを適用し、ホワイトバランスを調整する。したがって、（式１）〜（式３）において、ホワイトバランスゲインの基準色であるＧ信号のゲインＷＢ_Ｇの値は１となり、Ｒ，Ｂ（非基準色）のゲインＷＢ_Ｒ，ＷＢ_Ｂの値は１よりも大きい値となる。
【００１９】
図３は、ホワイトバランスゲインを適用した後の信号レベルの一例を示す図である。横軸が撮像部に入力される光量、縦軸は、入力画像のＲ，Ｇ，Ｂ各信号に対して、（式１）〜（式３）によりホワイトバランスゲインを適用した後の信号レベルを示している。
【００２０】
Ｇ信号は、ホワイトバランスゲインが１倍であるため、ホワイトバランスゲイン処理前後で信号レベルは変わらず、飽和レベルはＴＨ０となる。ホワイトバランスゲイン処理後のＲ信号は、撮像部に入力される光量がＢＶ１以上になると飽和し、出力レベルがＴＨ_ｍａｘとなる。ホワイトバランスゲイン処理後のＢ信号は、撮像部に入力される光量がＢＶ２以上になると飽和し、出力レベルがＴＨ_ｔ２となる。
【００２１】
図３において、ＢＶ０以上の光量の被写体では、撮像部の出力飽和とホワイトバランス処理後のクリップ処理によって、Ｒ，Ｇ，Ｂ信号の少なくとも１つが飽和している。したがって、これらのＲ，Ｇ，Ｂ信号を合成して生成した輝度信号は、被写体本来の輝度よりも信号レベルが下がってしまうという課題がある。同様に、これらのＲ，Ｇ，Ｂ信号を参照して生成した色差信号は、被写体本来の色相、彩度とは異なる色再現になってしまうという課題がある。
【００２２】
そこで、本実施形態では、後段の第１の拡張処理部１０２、第２の拡張処理部１０５において、着目色以外の色信号を参照して、高輝度域の信号を拡張する処理を行う。
【００２３】
次に、第１の拡張処理部１０２の処理内容について説明する。第１の拡張処理部１０２では、輝度信号生成に用いるＲ，Ｇ，Ｂ信号の拡張を行う。また、輝度信号生成時に、飽和レベルが下がらないようにするため、ホワイトバランス処理後に最も飽和レベルが高くなる色信号を参照して、残りの色信号の高輝度域の信号値を拡張する。以下の説明において、Ｐ２_Ｒ，Ｐ２_Ｇ，Ｐ２_Ｂは、それぞれ、第１の拡張処理部１０２から出力されるＲ，Ｇ，Ｂ信号を示す。
【００２４】
図４は、第１の拡張処理部１０２の動作を示すフローチャートである。
【００２５】
図４において、Ｓ４０１では、ホワイトバランスゲイン処理後のＲ，Ｇ，Ｂ信号を入力する。Ｓ４０２では、ホワイトバランス処理後のＲ，Ｇ，Ｂ信号の飽和レベルを参照し、ホワイトバランス処理後の飽和レベルが最も高い信号を拡張目標に決定する。また、その他の色信号を拡張処理対象の信号に決定する。拡張処理対象の色信号は２種類となるので、そのうち一方を第１の拡張対象信号、他方を第２の拡張対象信号とする。
【００２６】
図３の例では、Ｒ信号が拡張目標の信号となり、Ｂ信号が第１の拡張対象信号、Ｇ信号が第２の拡張対象信号となる。なお、拡張目標の信号は、置換処理を行わずにそのまま出力する。
【００２７】
Ｓ４０３では、第１の拡張対象信号が、あらかじめ定められた閾値ＴＨ_ｔ１以上か否かを判定する。閾値以上である場合には、Ｓ４０４に進み、閾値未満である場合には、当該画素での処理を終了する。
【００２８】
Ｓ４０４では、第１の拡張対象信号が、拡張目標の信号レベル以下か否かを判定する。第１の拡張対象信号の信号レベルが拡張目標の信号レベル以下である場合には、Ｓ４０５に進み、そうでない場合には、当該画素での処理を終了する。
【００２９】
Ｓ４０５では、拡張目標の色信号の信号レベルを参照して、（式４）に示す処理を行い、第１の拡張対象の色信号の信号レベルを拡張する。
【００３０】
Ｐ２_Ｂ= (Ｐ１_Ｒ−Ｐ１_Ｂ)＊ｆ((Ｐ１_Ｂ−ＴＨ_ｔ１)／(ＴＨ_ｔ２−ＴＨ_ｔ１))
＋Ｐ１_Ｂ    …（式４）
ここで、（式４）の処理により、Ｐ２_Ｂの信号レベルが拡張目標の信号レベルを超える場合には、拡張目標の信号レベルに置き換えるものとする。
【００３１】
（式４）において、ＴＨ_ｔ１は、第１の拡張対象信号の拡張処理を開始する信号レベルを示す。また、ＴＨ_ｔ２は、第１の拡張対象信号の拡張前の飽和レベルを示す。すなわち、第１の拡張対象信号の信号レベルが、ＴＨ_ｔ１からＴＨ_ｔ２に変化するまでの間に、 ｆ((Ｐ１_Ｂ−ＴＨ_ｔ１)／(ＴＨ_ｔ２−ＴＨ_ｔ１))で決まる重みによって、第１の拡張対象信号の信号レベルＰ１_Ｂを、拡張目標の信号レベルＰ１_Ｒに近づけるよう、拡張処理を行い、Ｐ２_Ｂとして出力する。このときの拡張処理の重みｆ（ｘ）は、入力をｘ、出力をｙとすると、例えば図５のような特性となる。
【００３２】
Ｓ４０６では、第２の拡張対象信号が、あらかじめ定められた閾値ＴＨ_ｔ１以上か否かを判定する。閾値以上である場合には、Ｓ４０７に進み、閾値未満である場合には、当該画素での処理を終了する。
【００３３】
Ｓ４０７では、第２の拡張対象信号が、拡張目標の信号レベル以下か否かを判定する。第２の拡張対象信号の信号レベルが拡張目標の信号レベル以下である場合には、Ｓ４０８に進み、そうでない場合には、当該画素での処理を終了する。
【００３４】
Ｓ４０８では、拡張目標の色信号の信号レベルを参照して、（式５）に示す処理を行い、第２の拡張対象の色信号の信号レベルを拡張する。
【００３５】
Ｐ２_Ｇ= (Ｐ１_Ｒ−Ｐ１_Ｇ)＊ｆ((Ｐ１_Ｇ−ＴＨ_ｔ１)／(ＴＨ０−ＴＨ_ｔ１))
＋Ｐ１_Ｇ    …（式５）
ここで、（式５）の処理により、Ｐ２_Ｇの信号レベルが拡張目標の信号レベルを超える場合には、拡張目標の信号レベルに置き換えるものとする。
【００３６】
（式５）において、ＴＨ_ｔ１は、第２の拡張対象信号の拡張処理を開始する信号レベルを示す。また、ＴＨ０は、第２の拡張対象信号の拡張前の飽和レベルを示す。すなわち、第２の拡張対象信号の信号レベルが、ＴＨ_ｔ１からＴＨ０に変化するまでの間に、ｆ((Ｐ１_Ｇ−ＴＨ_ｔ１)／(ＴＨ０−ＴＨ_ｔ１))で決まる重みによって、第２の拡張対象信号の信号レベルＰ１_Ｇを、拡張目標の信号レベルＰ１_Ｒに近づけるよう、拡張処理を行い、Ｐ２_Ｒとして出力する。このときの拡張処理の重みｆ（ｘ）は、入力をｘ、出力をｙとすると、例えば図５のような特性となる。
【００３７】
第１の拡張処理後のＲ，Ｇ，Ｂ信号の特性は、図６（ａ）のようになる。Ｒは、拡張目標の信号であるので、第１の拡張処理前後で信号レベルは変わらず、ホワイトバランスゲイン処理後のＲ信号Ｐ１_Ｒと等しくなる。また、拡張対象であるＢ，Ｇ信号は、それぞれ、拡張開始の信号レベルＴＨ_ｔ１を超えたところから徐々に信号レベルが拡張され、Ｒ信号に漸近していき、最終的な出力のレベルはＲ信号と等しくなる。
【００３８】
第１の拡張処理後のＲ，Ｇ，Ｂ信号は、拡張輝度信号生成部１０３に入力される。拡張輝度信号生成部１０３では、（式６）の演算を行い、輝度信号を生成する。
【００３９】
Ｙ_ｏｕｔ＝ａ＊Ｐ２_Ｒγ + ｂ＊Ｐ２_Ｇγ＋ｃ＊Ｐ２_Ｂγ    …（式６）
（式６）において、γは、入力される拡張後の信号に対して適用されるガンマ変換処理の特性を示す係数であり、例えばγ＝０．４５となる。ａ，ｂ，ｃは、ガンマ変換後のＲ，Ｇ，Ｂ信号から輝度信号を生成するためのマトリクス係数であり、ａ＋ｂ＋ｃ＝１となるような係数が適用される。
【００４０】
次に第２の拡張処理部１０５の動作について説明する。
【００４１】
第２の拡張処理部１０５では、色差信号生成に用いるＲ，Ｇ，Ｂ信号の拡張を行う。色差信号は、Ｒ−Ｇ，Ｂ−Ｇに基づいて生成される。したがって、ホワイトバランス処理後のＲまたはＢの信号値を維持して色差信号を生成するよう、Ｇ信号のみ、高輝度域の信号を拡張する。また、ホワイトバランス処理後のＲ、Ｂの階調特性はそれぞれ異なるため、Ｒ−Ｇ色差、Ｂ−Ｇ色差を生成するためのＧ信号をそれぞれ独立に拡張する。
【００４２】
以下の説明において、Ｐ３_Ｒ、Ｐ３_ＧＲ、Ｐ３_Ｂ、Ｐ３_ＧＢは、それぞれ、第２の拡張処理部１０５から出力されるＲ信号、Ｒ−Ｇ色差生成用のＧ信号、Ｂ信号、Ｂ−Ｇ色差生成用のＧ信号を示す。
【００４３】
図７は、第２の拡張処理部１０５の動作を示すフローチャートである。図７において、Ｓ７０２では、ホワイトバランスゲイン処理後のＲ，Ｇ，Ｂ信号を入力する。そして、Ｒ−Ｇ色差用のＲ信号としてホワイトバランスゲイン処理後のＲ信号をそのまま出力する。Ｓ７１２では、Ｂ，Ｇ色差用のＢ信号としてホワイトバランスゲイン処理後のＢ信号をそのまま出力する。
【００４４】
Ｓ７０２〜Ｓ７０８は、Ｒ−Ｇ色差生成用のＧ信号の拡張処理のフローである。この処理フローにおいては、Ｒ信号をＧ信号の拡張の目標信号として設定し、Ｇ信号が所定の閾値以上であり、かつＲ信号以下である場合に拡張処理を行う。
【００４５】
Ｓ７０２では、ホワイトバランスゲイン処理後のＲ，Ｇ信号を参照する。Ｓ７０３でＧ信号の信号値が拡張処理を開始する閾値以上であるか否かを判定する。閾値以上である場合にはＳ７０４に進み、閾値未満である場合にはＳ７０７に進み、拡張処理前のＧ信号をＲ−Ｇ色差生成用のＧ信号として選択する。
【００４６】
Ｓ７０４では、Ｇ信号の信号値がＲ信号以下か否かを判定し、Ｒ信号以下の場合にはＳ７０５に進む。Ｇ信号の信号値がＲ信号よりも大きい場合には、Ｓ７０７に進み、拡張処理前のＧ信号をＲ−Ｇ色差生成用のＧ信号として選択する。
【００４７】
Ｓ７０５では、Ｒ信号を参照して、（式７）または（式８）に示す処理を行い、Ｒ−Ｇ色差生成用のＧ信号レベルの拡張を行う。
【００４８】
Ｐ３_ＧＲ＝ (Ｐ１_Ｒ−Ｐ１_Ｇ)＊ｆ((Ｐ１_Ｇ−ＴＨ_ｔ１)／(ＴＨ_ｔ２−ＴＨ_ｔ１))＋Ｐ１_Ｇ    …（式７）
Ｐ３_ＧＲ＝ Ｐ１_Ｒ      …（式８）
(式７)は、拡張対象のＧ信号の信号レベルがＲ信号よりも低く、かつＧ信号の飽和レベルに達していない場合に適用される。（式７）において、ＴＨ_ｔ１は、Ｇ信号の拡張処理を開始する信号レベルを示す。また、ＴＨ_ｔ２は、Ｇ信号の拡張前の飽和レベルを示す。すなわち、Ｇ信号の信号レベルが、ＴＨ_ｔ１からＴＨ_ｔ２に変化するまでの間に、 ｆ((Ｐ１_Ｇ−ＴＨ_ｔ１)／(ＴＨ_ｔ２−ＴＨ_ｔ１))で決まる重みによって、ホワイトバランス処理後のＧ信号の信号レベルＰ１_Ｇを、拡張目標の信号レベルＰ１_Ｒに近づけるよう、拡張処理を行い、Ｐ３＿ＧＲとして出力する。このときの拡張処理の重みｆ（ｘ）は、入力をｘ、出力をｙとすると、例えば図５のような特性となる。
【００４９】
ここで、（式７）の処理により、Ｐ３_ＧＲの信号レベルが拡張目標の信号レベルを超える場合には、（式８）が適用され、Ｒ信号が出力される。また、Ｇ信号の信号レベルがＲ信号よりも低いが、Ｇ信号の飽和レベルに達している場合にも、（式８）が適用され、Ｒ−Ｇ色差生成用のＧ信号としてＲ信号が出力される。
【００５０】
Ｓ７０６では、Ｐ３_ＧＲをＲ−Ｇ色差生成用のＧ信号として選択する。Ｓ７０８では、Ｓ７０７またはＳ７０６で選択されたＧ信号を、最終的なＲ−Ｇ色差生成用のＧ信号として、第２の拡張処理部１０５から出力する。
【００５１】
Ｓ７１２〜Ｓ７１８は、Ｂ−Ｇ色差生成用のＧ信号の拡張処理のフローである。この処理フローにおいては、Ｂ信号をＧ信号の拡張の目標信号として設定し、Ｇ信号が所定の閾値以上であり、かつＢ信号以下である場合に拡張処理を行う。
【００５２】
Ｓ７１２では、ホワイトバランスゲイン処理後のＢ，Ｇ信号を参照する。Ｓ７１３では、Ｇ信号の信号値が拡張処理を開始する閾値以上であるか否かを判定する。閾値以上である場合にはＳ７１４に進み、閾値未満である場合にはＳ７１７に進み、拡張処理前のＧ信号をＢ−Ｇ色差生成用のＧ信号として選択する。
【００５３】
Ｓ７１４では、Ｇ信号の信号値がＢ信号以下か否かを判定し、Ｂ信号以下の場合にはＳ７１５に進む。Ｇ信号の信号値がＢ信号よりも大きい場合には、Ｓ７１７に進み、拡張処理前のＧ信号をＢ−Ｇ色差生成用のＧ信号として選択する。
【００５４】
Ｓ７１５では、Ｂ信号を参照して、（式９）または（式１０）に示す処理を行い、Ｂ−Ｇ色差生成用のＧ信号レベルの拡張を行う。
【００５５】
Ｐ３_ＧＢ = (Ｐ１_Ｂ−Ｐ１_Ｇ)＊ｆ((Ｐ１_Ｇ−ＴＨ_ｔ１)／(ＴＨ_ｔ２−ＴＨ_ｔ１))＋Ｐ１_Ｇ    …（式９）
Ｐ３_ＧＢ = Ｐ１_Ｂ    …（式１０）
（式９）は、拡張対象のＧ信号の信号レベルがＢ信号よりも低く、かつＧ信号の飽和レベルに達していない場合に適用される。（式９）において、ＴＨ_ｔ１は、Ｇ信号の拡張処理を開始する信号レベルを示す。また、ＴＨ_ｔ２は、Ｇ信号の拡張前の飽和レベルを示す。すなわち、Ｇ信号の信号レベルが、ＴＨ_ｔ１からＴＨ_ｔ２に変化するまでの間に、 ｆ((Ｐ１_Ｇ−ＴＨ_ｔ１)／(ＴＨ_ｔ２−ＴＨ_ｔ１))で決まる重みによって、ホワイトバランス処理後のＧ信号の信号レベルＰ１_Ｇを、拡張目標の信号レベルＰ１_Ｂに近づけるよう、拡張処理を行い、Ｐ３＿ＧＢとして出力する。このときの拡張処理の重みｆ（ｘ）は、入力をｘ、出力をｙとすると、例えば図５のような特性となる。
【００５６】
ここで、（式９）の処理により、Ｐ３_ＧＢの信号レベルが拡張目標の信号レベルを超える場合には、（式１０）が適用され、Ｂ信号が出力される。また、Ｇ信号の信号レベルがＢ信号よりも低いが、Ｇ信号の飽和レベルに達している場合にも、（式１０）が適用され、Ｂ−Ｇ色差生成用のＧ信号としてＢ信号が出力される。
【００５７】
Ｓ７１６では、Ｐ３_ＧＢをＢ−Ｇ色差生成用のＧ信号として選択する。Ｓ７１８では、Ｓ７１７またはＳ７１６で選択されたＧ信号を、最終的なＢ−Ｇ色差生成用のＧ信号として第２の拡張処理部１０５から出力する。
【００５８】
第２の拡張処理後のＲ−Ｇ色差生成用のＲ，Ｇ信号、Ｂ−Ｇ色差生成用のＢ，Ｇ信号の一例を、それぞれ、図６（ｂ）、図６（ｃ）に示す。
【００５９】
図６（ｂ）において、Ｐ３_Ｒは、Ｒ−Ｇ色差生成時の拡張目標の信号であるので、第２の拡張処理前後で信号レベルは変わらず、ホワイトバランスゲイン処理後のＲ信号Ｐ１_Ｒと等しくなる。また、拡張対象であるＧ信号は、拡張開始の信号レベルＴＨ_ｔ１を超えたところから徐々に信号レベルが拡張され、Ｒ信号を超えないようにＲ信号に漸近し、ＴＨ_ｔ３以降はＲ信号（Ｐ３_Ｒ）と等しくなる。
【００６０】
図６（ｃ）において、Ｐ３_Ｂは、Ｂ−Ｇ色差生成時の拡張目標の信号であるので、第２の拡張処理前後で信号レベルは変わらず、ホワイトバランスゲイン処理後のＢ信号Ｐ１_Ｂと等しくなる。また、拡張目標のＢ信号が拡張対象のＧ信号の飽和レベルを超えるところから、拡張対象のＧ信号はＢ信号に置換される。
【００６１】
第２の拡張処理後の信号は、拡張色差信号生成部１０６に入力される。拡張色差信号生成部１０６では、（式１１）、（式１２）の演算を行い、色差信号ＲＧ_ｏｕｔ, ＢＧ_ｏｕｔを生成する。
【００６２】
ＲＧ_ｏｕｔ＝ｐ＊(Ｐ３_Ｒγ−Ｐ３_ＲＧγ)＋ｑ＊(Ｐ３_Ｂγ−Ｐ３_ＢＧγ)    …（式１１）
ＢＧ_ｏｕｔ＝Ｒ＊(Ｐ３_Ｂγ−Ｐ３_ＢＧγ)＋ｓ＊(Ｐ３_Ｒγ−Ｐ３_ＲＧγ)    …（式１２）
（式１１）、（式１２）において、γは、入力される拡張後の信号に対して適用されるγ変換処理のべき乗の係数であり、例えばγ＝０．４５となる。ｐ，ｑ，ｒ，ｓは、γ変換後のＲ，Ｇ，Ｂ信号から色差信号を生成するためのマトリクス係数であり、ｓＲＧＢなど出力の色空間に応じて適宜調整されるものとする。
【００６３】
以上の処理により、本実施形態では、ホワイトバランスゲイン処理後、飽和レベルが最も高い色信号を参照して、輝度信号生成のためのＲ，Ｇ，Ｂ信号の出力飽和レベルを揃えることで、輝度信号の出力飽和レベルを所望の値に維持することができる。また、ホワイトバランスゲイン処理後の飽和していないＲ，Ｂ信号を参照して、それぞれ、Ｒ−Ｇ色差信号、Ｂ−Ｇ色差信号用のＧ信号を生成することで、Ｇ信号が飽和した領域においても、被写体の色再現に近い色信号を生成することができる。
【００６４】
すなわち、撮像部から入力される被写体の信号が飽和する領域において、輝度信号と色差信号用に、それぞれ異なる拡張処理および拡張量で、飽和近傍領域の信号値を拡張することにより、出力輝度の飽和レベルを所望の値に維持しつつ、被写体の色相、彩度に近い状態の色再現を実現することができる。
【００６５】
＜第２の実施形態＞
図８は、第２の実施形態の画像処理装置の構成を示したブロック図である。第１の実施形態との違いは、拡張輝度信号生成部８０３、拡張色差信号生成部８０６の処理内容であり、ホワイトバランスゲイン処理部１０１、第１の拡張処理部１０２、第２の拡張処理部１０５は第１の実施形態と同様であるので説明を省略する。
【００６６】
拡張輝度信号生成部８０３は、第１の拡張処理部から出力される輝度信号用のＲ，Ｇ，Ｂ信号と、第２の拡張処理部から出力される色差信号用のＲ，Ｇ，Ｂ信号を参照して、（式１３）〜（式１８）の演算によって、輝度信号Ｙ_ｏｕｔを生成する。
【００６７】
Ｙ_ｏｕｔ＝（ａ＊Ｐ２_Ｒγ ＋ｂ＊Ｐ２_Ｇγ＋ｃ＊Ｐ２_Ｂγ）＊Ｒａｔｉｏ_ｃ    …（式１３）
Ｒａｔｉｏ_ｃ＝ ((ＲＧ_ｃｏｕｔ2＋ＢＧ_ｃｏｕｔ2))1/2 ／((ＲＧ_yｏｕｔ2＋ＢＧ_yｏｕｔ2))1/2     …（式１４）
ＲＧ_ｙｏｕｔ＝ｐ＊(Ｐ２_Ｒγ−Ｐ２_ＲＧγ)＋ｑ＊(Ｐ２_Ｂγ−Ｐ２_ＢＧγ)    …（式１５）
ＢＧ_ｙｏｕｔ＝Ｒ＊(Ｐ２_Ｂγ−Ｐ２_ＢＧγ)＋ｓ＊(Ｐ２_Ｒγ−Ｐ２_ＲＧγ)    …（式１６）
ＲＧ_ｃｏｕｔ＝ｐ＊(Ｐ３_Ｒγ−Ｐ３_ＲＧγ)＋ｑ＊(Ｐ３_Ｂγ−Ｐ３_ＢＧγ)    …（式１７）
ＢＧ_ｃｏｕｔ＝Ｒ＊(Ｐ３_Ｂγ−Ｐ３_ＢＧγ)＋ｓ＊(Ｐ３_Ｒγ −Ｐ３_ＲＧγ)    …（式１８）
（式１３）〜（式１８）において、γは、入力される拡張後の信号に対して適用されるγ変換処理のべき乗の係数であり、例えばγ＝０．４５となる。ａ，ｂ，ｃは、γ変換後のＲ，Ｇ，Ｂ信号から輝度信号を生成するためのマトリクス係数であり、ａ＋ｂ＋ｃ=１となるような係数が適用される。ｐ，ｑ，ｒ，ｓは、γ変換後のＲ，Ｇ，Ｂ信号から色差信号を生成するためのマトリクス係数であり、ｓＲＧＢなど出力の色空間に応じて適宜調整されるものとする。
【００６８】
ＲＧ_ｙｏｕｔ、ＢＧ_ｙｏｕｔは、第１の拡張処理部１０２から出力されるＲ，Ｇ，Ｂ信号を参照して生成された第１の色差信号であり、ＲＧ_ｃｏｕｔ、ＢＧ_ｃｏｕｔは、第２の拡張処理部１０５から出力されるＲ，Ｇ，Ｂ信号を参照して生成された第２の色差信号である。Ｒａｔｉｏ_ｃは、第１の色差信号と第２の色差信号の彩度の比である。
【００６９】
拡張輝度信号生成部８０６は、第１の拡張処理部１０２から出力される輝度信号用のＲ，Ｇ，Ｂ信号と、第２の拡張処理部１０５から出力される色差信号用のＲ，Ｇ，Ｂ信号を参照して、（式１９）〜（式２３）の演算によって、色差信号ＲＧ_ｏｕｔ，ＢＧ_ｏｕｔを生成する。
【００７０】
ＲＧ_ｏｕｔ＝（ｐ＊(Ｐ３_Ｒγ−Ｐ３_ＲＧγ)＋ｑ＊(Ｐ３_Ｂγ−Ｐ３_ＢＧγ)）＊Ｒａｔｉｏ_ｙ    …（式１９）
ＢＧ_ｏｕｔ＝ (Ｒ＊(Ｐ３_Ｂγ−Ｐ３_ＢＧγ)＋ｓ＊(Ｐ３_Ｒγ−Ｐ３_ＲＧγ))＊Ｒａｔｉｏ_ｙ    …（式２０）
Ｒａｔｉｏ_ｙ＝Ｙ_ｙｏｕｔ／Ｙ_ｃｏｕｔ      …（式２１）
Ｙ_ｙｏｕｔ＝ａ＊Ｐ２_Ｒγ＋ｂ＊Ｐ２_Ｇγ＋ｃ＊Ｐ２_Ｂγ      …（式２２）
Ｙ_ｃｏｕｔ＝ａ＊Ｐ３_Ｒγ＋ｂ＊((Ｐ３_ＧＲ＋Ｐ３_ＧＢ)／2)γ＋ｃ＊Ｐ３_Ｂγ    …（式２３）
（式１９）〜（式２３）において、γは、入力される拡張後の信号に対して適用されるγ変換処理のべき乗の係数であり、例えばγ＝０．４５となる。ａ，ｂ，ｃは、γ変換後のＲ，Ｇ，Ｂ信号から輝度信号を生成するためのマトリクス係数であり、ａ＋ｂ＋ｃ＝１となるような係数が適用される。
【００７１】
ｐ，ｑ，ｒ，ｓは、γ変換後のＲ，Ｇ，Ｂ信号から色差信号を生成するためのマトリクス係数であり、ｓＲＧＢなど出力の色空間に応じて適宜調整されるものとする。Ｙ_ｙｏｕｔは、第１の拡張処理部１０２から出力されるＲ，Ｇ，Ｂ信号を参照して生成された第１の輝度信号であり、Ｙ_ｃｏｕｔは、第２の拡張処理部１０５から出力されるＲ，Ｇ，Ｂ信号を参照して生成された第２の輝度信号である。Ｒａｔｉｏ_ｙは、第１の輝度信号と第２の輝度信号の比である。
【００７２】
本実施形態では、第１の拡張処理部１０２と第２の拡張処理部１０５で、それぞれ、独立にＲ，Ｇ，Ｂ信号を拡張し、輝度信号、色差信号を生成している。したがって、輝度信号、色差信号を生成する際に参照するＲ，Ｇ，Ｂ信号が乖離し、被写体の色によっては、輝度信号と色差信号の信号レベルが整合せず、被写体の輝度、彩度の再現が変わってしまう場合がある。具体的には、第１の拡張処理部１０２において、拡張目標となる信号のレベルが、拡張対象の信号レベルよりも著しく大きい場合、拡張後の輝度信号のレベルが高くなりすぎる場合がある。そこで、（式１３）〜（式１８）により、第１の拡張信号処理に基づいて生成された色差信号と第２の拡張信号処理に基づいて生成された色差信号の彩度の比で、第１の拡張信号処理に基づいて生成された輝度信号の振幅レベルを補正する。
【００７３】
一方、（式１９）〜（式２４）により、第１の拡張処理に基づいて生成された輝度信号と第２の拡張処理に基づいて生成された輝度信号の比で、第２の拡張処理に基づいて生成された色差信号の振幅レベルを補正することも可能である。これにより、輝度信号の飽和レベルは維持したまま、色差信号の振幅レベルを調整することができる。
【００７４】
拡張輝度信号生成部８０３、拡張色差信号生成部８０６における、Ｒａｔｉｏ_ｃ，Ｒａｔｉｏ_ｙを用いた輝度信号、色差信号の調整は、撮影シーンの特徴や、ユーザーの好みに応じて、さらに適用する補正量を調整してもよい。
【００７５】
以上の処理により、第２の実施形態においても、撮像部から入力される被写体の信号が飽和する領域において、輝度信号と色差信号用に、それぞれ異なる拡張処理および拡張量で、飽和近傍領域の信号値を拡張する。これにより、出力輝度の飽和レベルを所望の値に維持しつつ、被写体の色相、彩度に近い状態の色再現を実現することができる。また、輝度信号と色差信号それぞれに対して、飽和近傍領域の信号値の拡張方法を最適化したことによる、色輝度の不整合を、後段の処理で調整し、良好な画質を得ることができる。
【００７６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７７】
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【符号の説明】
【００７８】
１０１：ホワイトバランスゲイン処理部、１０２：第１の拡張処理部、１０３：拡張輝度信号生成部、１０５：第２の拡張処理部、１０６：拡張色差信号生成部
【図１】
2020057973.tif 000003
【図２】
2020057973.tif 000004
【図３】
2020057973.tif 000005
【図４】
2020057973.tif 000006
【図５】
2020057973.tif 000007
【図６】
2020057973.tif 000008
【図７】
2020057973.tif 000009
【図８】
2020057973.tif 000010