(57)【要約】【課題】色曲りの影響を小さく抑えた輝度補正を行え、なおかつ輝度の階調を拡大可能にすることを課題とする。【解決手段】画像処理装置（１０１）は、入力された画像信号に対してホワイトバランス処理を行う処理手段（１０２）と、処理手段（１０２）によるホワイトバランス処理が行われた後の画像信号の高輝度領域に対して輝度の補正処理を行う補正手段（１０５）と、補正手段（１０５）による補正処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理手段（１０６）と、を有する。【選択図】図１
2020156016.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号に対してホワイトバランス処理を行う処理手段と、
前記処理手段による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域に対して輝度の補正処理を行う補正手段と、
前記補正手段による前記補正処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記処理手段による前記ホワイトバランス処理が行われた後の画像信号に対してクリップ処理を行うクリップ手段と、
前記クリップ手段による前記クリップ処理が行われた後の画像信号を基に、前記補正手段が前記輝度を補正する際の補正量を決定する補正量決定手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記処理手段による前記ホワイトバランス処理が行われた後の画像信号のうち、特定の色領域でかつ高輝度領域の色信号の輝度を下げる補正を、前記補正処理として行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記階調処理手段は、前記補正手段による前記補正処理が行われた後の画像信号の高輝度領域について、飽和レベルが高い色信号で飽和レベルが低い色信号を置換する処理を、前記階調処理として行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
入力された画像信号の高輝度領域に対して輝度の補正処理を行う補正手段と、
前記補正手段による前記補正処理が行われた後の画像信号に対してホワイトバランス処理を行う第１の処理手段と、
前記第１の処理手段による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理手段と、
を有することを特徴とする画像処理装置。
【請求項６】
入力された画像信号に対してホワイトバランス処理を行う第２の処理手段と、
前記第２の処理手段による前記ホワイトバランス処理が行われた後の画像信号に対してクリップ処理を行うクリップ手段と、
前記クリップ手段による前記クリップ処理が行われた後の画像信号を基に、前記補正手段が前記輝度を補正する際の補正量を決定する補正量決定手段と、
を有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補正量決定手段は、前記クリップ手段による前記クリップ処理が行われた後の画像信号に応じた補正量を求め、前記補正量に対して、前記第２の処理手段による前記ホワイトバランス処理で用いられたホワイトバランスゲインの逆数を掛けた値を、前記補正手段が前記輝度を補正する際の補正量として決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記補正手段は、前記入力された画像信号のうち、特定の色領域でかつ高輝度領域の色信号の輝度を下げる補正を、前記補正処理として行うことを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記階調処理手段は、前記第１の処理手段による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域について、飽和レベルが高い色信号で飽和レベルが低い色信号を置換する処理を、前記階調処理として行うことを特徴とする請求項５から８のいずれか１項に記載の画像処理装置。
【請求項１０】
入力された画像信号に対してホワイトバランス処理を行う処理手段と、
前記処理手段による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域に対して輝度の補正処理を行う補正手段と、
前記処理手段による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理手段と、
前記補正手段による前記補正処理と、前記階調処理手段による前記階調処理とのいずれかを選択する選択手段と、
を有することを特徴とする画像処理装置。
【請求項１１】
前記処理手段による前記ホワイトバランス処理が行われた後の画像信号に対してクリップ処理を行う第１のクリップ手段を有し、
前記補正手段は、前記第１のクリップ手段による前記クリップ処理が行われた後の画像信号について前記補正処理を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記処理手段による前記ホワイトバランス処理が行われた後の画像信号に対してクリップ処理を行う第２のクリップ手段と、
前記第２のクリップ手段による前記クリップ処理が行われた後の画像信号を基に、前記補正手段が前記輝度を補正する際の補正量を決定する補正量決定手段と、
を有することを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記補正量決定手段により決定された前記補正量を基に、前記選択手段が前記補正手段による前記補正処理と前記階調処理手段による前記階調処理とのいずれを選択するかを制御する制御手段を有することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記制御手段は、
前記補正量決定手段により決定された前記補正量がすべて０値であると判定した場合には前記階調処理手段による前記階調処理を行うように前記選択手段に選択させ、
前記補正量決定手段により決定された前記補正量がすべて０値であると判定できなかった場合には前記補正手段による前記補正処理を行うように前記選択手段に選択させることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
画像処理装置が実行する画像処理方法であって、
入力された画像信号に対してホワイトバランス処理を行う処理工程と、
前記処理工程による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域に対して輝度の補正処理を行う補正処理工程と、
前記補正処理工程による前記補正処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理工程と、
を有することを特徴とする画像処理方法。
【請求項１６】
画像処理装置が実行する画像処理方法であって、
入力された画像信号の高輝度領域に対して輝度の補正処理を行う補正処理工程と、
前記補正処理工程による前記補正処理が行われた後の画像信号に対してホワイトバランス処理を行う第１の処理工程と、
前記第１の処理工程による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理工程と、
を有することを特徴とする画像処理方法。
【請求項１７】
画像処理装置が実行する画像処理方法であって、
入力された画像信号に対してホワイトバランス処理を行う処理工程と、
前記処理工程による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域に対して輝度の補正処理を行う補正処理工程と、
前記処理工程による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理工程と、
前記補正処理工程による前記補正処理と、前記階調処理工程による前記階調処理とのいずれかを選択する選択工程と、
を有することを特徴とする画像処理方法。
【請求項１８】
コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を補正する画像処理技術に関する。
【背景技術】
【０００２】
従来から、撮像装置で撮影した画像の高輝度領域に対して、良好な画像が得られるように、さまざまな補正処理が考案されている。このような処理として、人の顔画像領域で、なおかつ高輝度である領域の、輝度値を補正する、テカリ補正処理がある。また、高輝度領域で画素値が飽和する場合に、失ってしまう階調を補正するための、高輝度階調改善処理も知られている。
例えば、特許文献１では、人の顔画像領域で、所定よりも明るい領域を検出し、この領域（以下、テカリ領域）を、周囲の色に徐々に近づくように塗りつぶして、輝度値を下げる、テカリ補正処理が開示されている。また、特許文献２では、撮影された画像データの色信号ごとの飽和レベルを算出すると共に入力上限値を決定し、入力上限値に応じて色信号の飽和レベルに向かって変化する置換割合を求める技術が開示されている。そして、特許文献２では、色信号の各々を入力上限値に応じて調整し、置換割合に基づいて飽和レベルが高い色信号で飽和レベルが低い色信号を置換することで、高輝度の階調を拡大するような高輝度階調改善処理を可能としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６１３４８号公報
【特許文献２】特開２０１５−１５６６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来から、テカリ領域に対して、テカリ補正を行いながら、なおかつ高輝度領域の階調を拡大したいという要望がある。しかしながら、双方の処理を行う場合、その処理内容よっては、十分な効果が得られないことがある。
例えば、高輝度階調改善処理で、高輝度の階調を改善した後、テカリ補正を行おうとすると、色信号の置換処理の影響で、肌色領域の検出などが困難になる。すなわち高輝度階調改善処理では、飽和レベルが高い色信号で、飽和レベルが低い色信号を置換し、飽和レベルの高い色信号が持つ広い階調を保つと共に、高輝度部の色が白色となるようにして不自然な色つきが発生するのを防止している。しかしながら、テカリ領域のように、肌色領域の色相を保ちながら、連続的に輝度値が大きくなる領域では、色の置換処理のために、もともと肌色であった領域が、異なる色相となる、いわゆる色曲りを起こす場合がある。このため、高輝度階調改善処理の後で、テカリ補正処理を行う場合、色曲りを考慮した補正が必要になり、テカリ補正のための肌色の補色の生成が困難になることがある。また、この色曲りのために、肌色領域が誤検出される可能性がある。
【０００５】
また、テカリ補正後に、高輝度階調改善処理を行おうとすると、飽和レベルの高い信号をクリップ処理してしまうため、階調の改善が困難になる。すなわち、テカリ補正では、人の顔画像領域で、肌色である領域を検出する必要があるため、ホワイトバランス処理を行い、不要な色付きを生じる飽和レベル以上の信号をクリップ処理する必要がある。このため、その後、高輝度階調改善処理を行う場合、クリップ処理によって飽和レベルの高い信号が失われているため、輝度の階調を拡大することができなくなる。
【０００６】
そこで、本発明は、色曲りの影響を小さく抑えた輝度補正を行え、なおかつ輝度の階調を拡大可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、入力された画像信号に対してホワイトバランス処理を行う処理手段と、前記処理手段による前記ホワイトバランス処理が行われた後の画像信号の高輝度領域に対して輝度の補正処理を行う補正手段と、前記補正手段による前記補正処理が行われた後の画像信号の高輝度領域の輝度階調を拡大するような階調処理を行う階調処理手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、色曲りの影響を小さく抑えた輝度補正を行え、なおかつ輝度の階調を拡大することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の全体構成図である。
【図２】第１の実施形態の処理のフローチャートである。
【図３】第１の実施形態に係る各信号値のグラフを示した図である。
【図４】第２の実施形態の全体構成図である。
【図５】第２の実施形態の処理のフローチャートである。
【図６】第２の実施形態に係る各信号値のグラフを示した図である。
【図７】第３の実施形態の全体構成図である。
【図８】第３の実施形態の処理のフローチャートである。
【図９】テカリ補正処理に係る各信号値のグラフを示した図である。
【図１０】高輝度階調改善処理に係る各信号値のグラフを示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
図１から図３を参照して、本発明の第１の実施形態に係る画像処理方法及び装置について説明し、また、従来例との比較を行いつつ本実施形態の効果について説明する。なお以下の説明では、本実施形態に係る画像処理装置が回路構成により実施される例を挙げているが、後述する各回路で行われる処理の一部または全てはＣＰＵ等がプログラムを実行することにより実施されてもよい。
【００１１】
図１は、高輝度領域に対する補正を行う本実施形態の画像処理装置１０１の構成例を示した図である。画像処理装置１０１には、不図示のデジタルカメラ等の撮像装置により撮像された画像信号が入力される。なお、入力される画像信号は、記録媒体或いは記録装置から読み出された画像信号であってもよいし、ネットワーク等を介して伝送されてきた画像信号であってもよい。
【００１２】
図１に示すように、画像処理装置１０１は、ＷＢ処理部１０２、クリップ処理部１０３、補正量決定部１０４、補正処理部１０５、及び階調処理部１０６の各回路を有して構成されている。
ＷＢ処理部１０２は、Ｒ（赤）信号とＧ（緑）信号とＢ（青）信号を含む画像信号のＲ信号とＢ信号とに対し、所定のホワイトバランスゲイン値を掛けて、ホワイトバランスを調整するホワイトバランス処理を行う。以下、ホワイトバランスをＷＢと表記する。
クリップ処理部１０３は、Ｒ信号とＧ信号とＢ信号の各信号について、所定値以上の値の信号値を、所定値にクリップさせる処理を行う。
【００１３】
補正量決定部１０４は、画像のなかでテカリ補正処理を行う領域と、その領域に対して補正する量とを決定する。本実施形態の場合、補正量決定部１０４は、テカリ補正に必要な特定の色領域の補色信号、例えば肌色の補色信号を、テカリ補正量として出力する。
補正処理部１０５は、ＷＢ処理後の画像信号から、テカリ補正量を減算することによるテカリ補正処理を行う。
階調処理部１０６は、飽和レベルが高い色信号で飽和レベルが低い色信号を置換する高輝度階調改善処理を行う。
なお、これらの構成における処理の詳細については後述する。また、以下の説明において、またＲ信号とＧ信号とＢ信号を区別しない場合は、それらをまとめてＲＧＢ信号と表記する。
【００１４】
次に、図２のフローチャート、及び図３（ａ）〜図３（ｅ）に示す信号値のグラフを用いて、本実施形態による画像処理の手順及び画像処理の詳細について説明する。図３（ａ）〜図３（ｅ）に示した各グラフは、横軸が画像センサーへの入射光量、縦軸が入力画像信号若しくは各処理後の画像信号の信号強度を表している。図３（ａ）〜図３（ｅ）のグラフでは、特に断らない限り、横軸の右から左へ向かうにしたがって画像センサーへの入射光量が増加し、縦軸の下から上へ向かうにしたがって各信号強度が増加することを表している。また、特に断らない限り、図３（ａ）〜図３（ｅ）のグラフでは、破線がＲ信号を表し、実線がＧ信号を、一点鎖線がＢ信号を表している。
【００１５】
図２のフローチャートにおいて、ステップＳ２０２は、入力画像データ取得ステップである。図１の画像処理装置１０１は、ステップＳ２０２において、例えば撮像装置の画像センサーから出力されてきた画像信号を取得する。ここで、入力画像信号は、ＷＢ処理が行われる前の状態の信号である。また以下の説明では、入力画像信号のＲ信号の信号値をＲｉｎと表記し、同様に、Ｇ信号の信号値をＧｉｎ、Ｂ信号の信号値をＢｉｎと表記する。また入力画像信号におけるＲＧＢ信号の信号値は、例えば図３（ａ）に示すようなＲ信号３０１、Ｇ信号３０２、及びＢ信号３０３のようになっているとする。すなわち、Ｇ信号３０２は、区間３０５で信号値Ｇｉｎがセンサー飽和レベル３０４となっていて画像センサーで飽和が発生しているが、Ｒ信号３０１の信号値ＲｉｎとＢ信号３０３の信号値Ｂｉｎとは飽和していないとする。
【００１６】
次に、ステップＳ２０３は、ＷＢ処理ステップである。ＷＢ処理部１０２は、ステップＳ２０３において、入力画像信号に対し、ＷＢゲインを掛けるＷＢ処理を行う。ＷＢ処理は通常知られているＷＢ処理である。この時のＷＢ処理部１０２は、Ｒ信号３０１に対するＷＢゲインＷｒと、Ｂ信号３０３に対するＷＢゲインＷｂとを決定し、Ｒ信号３０１に対してＷＢゲインＷｒを掛け、Ｂ信号３０３に対してＷＢゲインＷｂを掛ける。
【００１７】
図３（ｂ）は図３（ａ）の示したＲＧＢ信号に対してＷＢ処理を行った後のＲＧＢ信号を示したグラフである。すなわちＷＢ処理の結果、Ｒ信号３０１は信号値がＲｉｎ＊Ｗｒで表されるＲ信号３０６となり、Ｂ信号３０３は信号値がＢｉｎ＊Ｗｂで表されるＢ信号３０７となる。一方、Ｇ信号３０２は信号値がＧｉｎで表される信号のままである。また図３（ｂ）において、区間３０８は、ＷＢ処理後のＲＧＢ信号のいずれかの信号値が、センサー飽和レベル以上となる区間である。本実施形態において、この区間３０８は、後述する高輝度階調改善処理の対象となる区間である。また、区間３０９は、高輝度かつ肌色の区間であり、本実施形態においては後述するテカリ補正の対象となる肌色領域に対応した区間である。
【００１８】
ステップＳ２０３によるＷＢ処理後のＲ信号３０６とＧ信号３０２とＢ信号３０７は、図１の補正処理部１０５及びクリップ処理部１０３に送れる。
図２のステップＳ２０４はクリップ処理ステップである。クリップ処理部１０３は、ステップＳ２０４においてクリップ処理を行う。このクリップ処理後のＲＧＢ信号は、図１の補正量決定部１０４に送られる。
【００１９】
図２のステップＳ２０５はテカリ補正量決定ステップである。補正量決定部１０４は、ステップＳ２０５において、テカリ補正量を決定する。テカリ補正量の決定処理は通常用いられる処理である。補正量決定部１０４は、例えば、後述する図９（ｃ）から図９（ｆ）で説明するような処理によってテカリ補正量を決定する。本実施形態において、補正量決定部１０４は、Ｒ信号に対してはテカリ補正量Ｔｒを決定し、同様に、Ｇ信号に対してはテカリ補正量Ｔｇを、Ｂ信号に対してはテカリ補正量Ｔｂを決定する。なお後述する図９（ｆ）では、テカリ補正量９１７がＲ信号に対するテカリ補正量Ｔｒ、テカリ補正量９１８がＧ信号に対するテカリ補正量Ｔｇ、及び、テカリ補正量９１９がＢ信号に対するテカリ補正量Ｔｂを表している。このようにして補正量決定部１０４にて決定されたテカリ補正量Ｔｒ、Ｔｇ、及びＴｂを示す信号は、補正処理部１０５に送られる。
【００２０】
図２のステップＳ２０６はテカリ補正処理ステップである。補正処理部１０５は、ステップＳ２０６において、ステップ２０５で決定されたテカリ補正量を用い、ステップＳ２０３によるＷＢ処理後の画像信号に対するテカリ補正処理を行う。本実施形態において、補正処理部１０５は、ＷＢ処理後のＲ信号３０６からはテカリ補正量Ｔｒを減算し、同様に、ＷＢ処理後のＧ信号３０２からはテカリ補正量Ｔｇを、ＷＢ処理後のＢ信号３０７からはテカリ補正量Ｔｂを減算する。つまり、補正処理部１０５は、ステップＳ２０３でＷＢゲインを掛けた後の信号でかつクリップ処理が行われていない画像信号に対して、ステップＳ２０５で決定されたテカリ補正量を減算するような処理を行う。
【００２１】
図３（ｃ）はテカリ補正処理後のＲＧＢ信号を示したグラフである。テカリ補正処理の結果、Ｒ信号３０６は信号値がＲｉｎ＊Ｗｒ−Ｔｒで表されるＲ信号３１０となる。同様に、Ｇ信号３０２は信号値がＧｉｎ−Ｔｇで表されるＧ信号３１１となり、Ｂ信号３０７は信号値がＢｉｎ＊Ｗｂ−Ｔｂで表されるＢ信号３１２となる。つまりＲ信号３１０は図３（ｂ）のＲ信号３０６から図９（ｆ）のテカリ補正量９１７を減算した信号であり、同様に、Ｇ信号３１１はＧ信号３０２からテカリ補正量９１８を減算し、Ｂ信号３１２はＢ信号３０７からテカリ補正量９１９を減算した信号である。また、図３（ｃ）の区間３１３は、テカリ補正が行われた区間である。このようにして補正処理部１０５にてテカリ補正処理がなされた後の信号は、階調処理部１０６に送られる。
【００２２】
図２のステップＳ２０７は高輝度階調改善ステップである。階調処理部１０６は、ステップＳ２０７において、ステップＳ２０６のテカリ補正処理後のＲＧＢ信号に対して高輝度階調改善処理を行う。本実施形態の場合、階調処理部１０６は、ステップＳ２０６のテカリ補正処理後の信号のうち、最も飽和レベルが高い信号（Ｒ信号）で、飽和レベルが低いＧ信号とＢ信号を置換するような高輝度階調改善処理を行う。このステップＳ２０７の後、画像処理装置１０１は、図２のフローチャートの処理を終了する。
【００２３】
図３（ｄ）はＲＧＢ信号に対する高輝度階調改善処理の様子を示したグラフである。本実施形態の場合、階調処理部１０６は、前述のように、テカリ補正処理後のＲＧＢ信号のうち、最も飽和レベルが高いＲ信号３１０の信号値により、飽和レベルが低いＧ信号３１１とＢ信号３１２の信号値を置換するような高輝度階調改善処理を行う。すなわち、Ｇ信号３１１はＲ信号３１０により信号値が置換されることでＧ信号３１４となり、Ｂ信号３１２はＲ信号３１０により信号値が置換されることでＢ信号３１５となる。なお、Ｒ信号３１０についてはそのままの信号となる。また、図３（ｄ）の区間３１６は、図３（ｂ）の区間３０９に対応する区間であり、高輝度かつ肌色の区間であってテカリ補正の対象となされる肌色区間である。また、区間３１７は、Ｇ信号とＢ信号に対して信号値の置換処理が行われる区間であり、図３（ｂ）の区間３０８に対応する。また、区間３１８は、区間３１７以外の区間であり、信号値の置換処理が行われない区間である。さらに区間３１９と区間３２０は、区間３１６を分割した区間であり、特に区間３２０は信号値が完全に置換される区間である。
【００２４】
ここで、高輝度階調改善処理における置換処理は、後述する図１０（ｃ）で説明するような置換割合テーブルを利用して行われる。すなわち置換割合テーブルは、区間３１８に対応する区間では置換割合が０．０であり、区間３１９に対応する区間では置換割合が増加し、区間３２０に対応する区間では置換割合が１．０となるようなテーブルとなされている。この置換割合テーブルを利用することにより、区間３１８において、Ｇ信号３１４は図３（ｃ）のＧ信号３１１と同じ信号値のままとなり、同様に、Ｂ信号３１５はＢ信号３１２と同じ信号値のままとなる。また、Ｇ信号３１４は、区間３１９では徐々にＲ信号３１０の信号値に置換される割合が増加し、区間３２０では完全にＲ信号３１０の信号値に置換された信号となる。同様に、Ｂ信号３１５は、区間３１９では徐々にＲ信号３１０の信号値に置換される割合が増加し、区間３２０では完全にＲ信号３１０の信号値に置換された信号となる。一方で、区間３１６は置換処理が行われない区間３１８に含まれており、したがって、この区間３１６では、図３（ｃ）で行ったテカリ補正処理の効果が保たれている。
【００２５】
図３（ｅ）は、図３（ｄ）のＲＧＢ信号を輝度信号に変換したグラフである。図３（ｅ）において、実線が輝度信号３２１を表している。すなわち、輝度信号３２１は、センサー飽和レベル３０４以上の輝度値が生成された、階調が拡大した信号で、なおかつ、区間３１６では輝度値が下げられており、テカリ補正処理の効果が保たれた状態の信号となる。
【００２６】
このように、本実施形態の画像処理装置１０１は、ＷＢ処理後の信号を分岐し、一方ではリップ処理を行ってテカリ補正領域とテカリ補正量を求め、他方ではクリップ処理を行わない信号でテカリ補正量を用いてテカリ補正を行う。そしてその後、画像処理装置１０１は、高輝度階調改善処理を行っている。すなわち、第１の実施形態の画像処理装置１０１によれば、同じ高輝度領域に対して、テカリ補正処理と高輝度階調改善処理の両方の効果を与えることができる。
【００２７】
＜第１の実施形態における画像処理と従来の画像処理との比較＞
ここで、従来の画像処理装置による処理結果と、本実施形態の画像処理装置における効果と、を比較する。
まず、従来の画像処理装置におけるテカリ補正処理から説明し、その後に高輝度階調改善処理について説明する。
テカリ補正処理では、例えば人の顔領域内の肌色領域でなおかつ高輝度の領域をテカリ領域として特定し、そのテカリ領域に対する補正処理が行われる。このとき、テカリ領域内部のみを補正すると、そのテカリ領域と他の領域との境界で、輝度や色の違いが目立ち、不自然になってしまう。このため、例えば特許文献１に開示されているように、テカリ補正処理では、テカリ領域の最も明るい領域から周囲に向けて、当該テカリ領域の色が周囲の色に徐々に近づくように塗りつぶすような処理が行われる。このため、テカリ補正を行う場合には、人の顔画像の肌色領域で高輝度領域を検出して、その境界の肌色を正しく求めることが必要となる。
【００２８】
図９（ａ）〜図９（ｇ）は、従来の手法によりテカリ補正処理を行った場合の、ＲＧＢ信号の変化を示したグラフである。図９（ａ）〜図９（ｇ）の各グラフは、横軸が画像センサーへの入射光量を表し、縦軸が入力画像信号若しくは各処理後の画像信号の信号強度を表している。また図９（ａ）〜図９（ｇ）では、特に断らない限り、横軸の右から左へ向かうにしたがって画像センサーへの入射光量が増加し、縦軸の下から上へ向かうにしたがって各信号強度が増加することを表している。また、特に断らない限り、図９（ａ）〜図９（ｇ）では、破線がＲ信号を表し、実線がＧ信号を、一点鎖線がＢ信号を表している。
【００２９】
図９（ａ）は、画像センサーから出力されたＲ信号９０１とＧ信号９０２とＢ信号９０３の信号値を示したグラフであり、図３（ａ）と同じ例が示されている。また、図３（ａ）と同様に、Ｇ信号９０２は、区間９０５で信号値がセンサー飽和レベル９０４となっていて画像センサーで飽和が発生しているが、Ｒ信号９０１とＢ信号９０３の信号値は飽和していない。
【００３０】
従来の画像処理装置は、これらＲＧＢ信号に対し、画像センサーのセンサー感度の違いなどを補正して、白画像が白色の信号となるように、ＷＢ処理を行う。
図９（ｂ）は、Ｒ信号とＢ信号にＷＢゲインを掛けるようなＷＢ処理が行われた後のＲＧＢ信号を示したグラフである。図９（ｂ）において、Ｒ信号９０６はＷＢゲインを掛けた後のＲ信号であり、Ｂ信号９０７はＷＢゲインを掛けた後のＢ信号である。また、図９（ｂ）の区間９０８は、ＷＢ処理後のＲ信号９０６またはＷＢ処理後のＢ信号９０７が、センサー飽和レベル９０４以上となる高輝度領域の区間である。すなわち、この区間９０８の信号は、正確な色情報が得られず、いわゆる偽色が発生している状態となる。このため、通常は、この区間９０８の信号に対してクリップ処理を行い、高輝度領域の偽色を防止することになる。
【００３１】
図９（ｃ）は、センサー飽和レベル９０４に対応した値でクリップ処理を行った後のＲＧＢ信号を示したグラフである。すなわち図９（ｃ）において、Ｒ信号９０９がクリップ処理後のＲ信号であり、Ｂ信号９１０がクリップ処理後のＢ信号である。なお、Ｇ信号９０２についてはもともとセンサー飽和レベル９０４以上の信号値がないためそのままの信号となる。
【００３２】
またテカリ補正処理では、人の顔画像を検出し、そのうちの肌色領域の輝度値を調べ、この肌色領域内に高輝度領域がある場合に、その高輝度領域の輝度値を下げるような補正が行われる。図９（ｃ）の例の場合、区間９１１が、テカリ補正の対象となる、肌色領域で高輝度領域に相当する区間である。また、区間９１２は、高輝度の白色の領域であり、いわゆる白とび領域に相当する区間である。テカリ補正処理では、区間９１１の輝度値を下げて、テカリを補正するが、白飛びの区間９１２との連続性を保つために、白飛び領域の輝度値も補正することが望ましい。
【００３３】
ここで、テカリ補正量を求める場合、従来の画像処理装置は、例えば、図９（ｃ）に示したようなクリップ処理後のＲＧＢ信号から輝度信号Ｙを求めている。輝度信号Ｙは、例えば式（１）の演算により、ＲＧＢ信号の信号値から求められる。なお、式（１）中のＲｃはクリップ処理後のＲ信号の信号値を示し、同様に、Ｇｃはクリップ処理後のＧ信号の信号値を、Ｂｃはクリップ処理後のＢ信号の信号値を示している。
【００３４】
Ｙ＝０．２９９＊Ｒｃ＋０．５８７＊Ｇｃ＋０．１１４＊Ｂｃ      式（１）
【００３５】
図９（ｄ）は、このようにして求めた輝度信号９１３を示したグラフである。
次に、画像処理装置は、輝度信号９１３が一定値９１４以上となる区間９１５の輝度値Ｙｔを求める。一定値９１４以上となる輝度値Ｙｔは、当該一定値９１４を閾値ｔｈで表した場合、式（１）で求めた輝度信号Ｙと、式（２）及び式（３）を用いて求められる。
【００３６】
Ｙｔ＝０        （Ｙ＜ｔｈ）    式（２）
Ｙｔ＝Ｙ−ｔｈ  （Ｙ≧ｔｈ）    式（３）
【００３７】
図９（ｅ）は、図９（ｄ）の輝度信号９１３が一定値（閾値ｔｈ）以上となる区間９１５における輝度値Ｙｔの信号９１６を示したグラフである。
次に、従来の画像処理装置は、この信号９１６の輝度値Ｙｔに比例した、肌色の補色を求めて、テカリ補正量を求める。
ここで、図９（ｃ）の区間９１１の肌色に対して、その補色のＲＧＢ信号値の比率がＲ：Ｇ：Ｂ＝ａ：ｂ：ｃであるとする。この場合、Ｒ信号に対するテカリ補正量Ｔｒは式（４）で求められ、同様にＧ信号に対するテカリ補正量Ｔｇは式（５）、Ｂ信号に対するテカリ補正量Ｔｂは式（６）で求められる。
【００３８】
Ｔｒ＝ａ＊Ｙｔ        式（４）
Ｔｇ＝ｂ＊Ｙｔ        式（５）
Ｔｂ＝ｃ＊Ｙｔ        式（６）
【００３９】
図９（ｆ）は、このようにして求めたＲＧＢ信号に対するテカリ補正量を示したグラフである。図９（ｆ）において、テカリ補正量９１７がＴｒを示し、テカリ補正量９１８がＴｇを、テカリ補正量９１９がＴｇを示している。これらのテカリ補正量は、一定値９１４以上の信号９１６の輝度値に比例するように求められている。すなわち、区間９１５は、テカリ補正量が０値を超える区間であり、したがって、テカリ補正処理はこの区間９１５のＲＧＢ信号に対して行われることになる。
【００４０】
つまり、従来の画像処理装置は、図９（ｆ）に示したようなテカリ補正量を、図９（ｃ）のＲＧＢ信号からそれぞれ減算することで、テカリ領域の輝度値を下げる。図９（ｇ）は、図９（ｆ）に示したテカリ補正量を用いて図９（ｃ）のＲＧＢ信号に対するテカリ補正処理を行った後のＲＧＢ信号を示している。図９（ｇ）において、Ｒ信号９２０はテカリ補正処理後のＲ信号を示し、同様に、Ｇ信号９２１はテカリ補正処理後のＧ信号を、Ｂ信号９２２はテカリ補正処理後のＢ信号を示している。また、区間９２３は、テカリ補正処理を行った補正区間である。このようなテカリ補正処理を行った結果、区間９２３のＲＧＢ信号は、全体に信号の強度が下がった状態になる。
【００４１】
次に、従来の画像処理装置における高輝度階調改善処理について説明する。
従来の画像処理装置は、前述したようなＷＢ処理を行った後の画像信号に対し、飽和レベルが高い色信号で飽和レベルが低い色信号を置換して、高輝度領域の階調を拡大するような高輝度階調改善処理を行う。
【００４２】
図１０（ａ）、図１０（ｅ）、図１０（ｄ）、及び図１０（ｅ）は、高輝度階調改善処理を行う場合のＲＧＢ信号の変化を示したグラフである。これらの各グラフは、前述したグラフと同様に、横軸が画像センサーへの入射光量を表し、縦軸が画像信号の信号強度を、また、破線がＲ信号を、実線がＧ信号を、一点鎖線がＢ信号を表している。
【００４３】
図１０（ａ）は、画像センサーから出力されたＲＧＢ信号の信号値を示したグラフであり、図３（ａ）及び図９（ａ）と同じ例を示している。図１０（ａ）において、Ｒ信号１００１、Ｇ信号１００２、及びＢ信号１００３は、図３（ａ）のＲ信号３０１、Ｇ信号３０２、及びＢ信号３０３と同じ信号であるとする。また前述同様に、Ｇ信号１００２は、区間１００５で信号値がセンサー飽和レベル１００４となっていて画像センサーで飽和が発生しているが、Ｒ信号１００１とＢ信号１００３の信号値は飽和していない。
【００４４】
図１０（ｂ）は、前述の図３（ｂ）及び図９（ｂ）の例と同様に、Ｒ信号とＢ信号にＷＢゲインを掛けるＷＢ処理が行われた後のＲＧＢ信号を示したグラフである。すなわち、図１０（ｂ）において、Ｒ信号１００６がＷＢゲインを掛けた後のＲ信号であり、Ｂ信号１００７がＷＢゲインを掛けた後のＢ信号であり、Ｇ信号１００２は元と同じ信号である。また前述の例と同様に、ＷＢ処理の結果、図１０（ｂ）のように、Ｒ信号１００６及びＢ信号１００７の信号値は、区間１００８においてセンサー飽和レベル１００４を超えている。特に、この区間１００８では、常にＲ信号１００６の信号値がセンサー飽和レベル１００４を大きく超えている。
【００４５】
このため、従来の画像処理装置では、この区間１００８について、飽和レベルが最も高い信号（Ｒ信号）を利用して、飽和レベルの低い信号（Ｇ信号、Ｂ信号）をそれぞれ置換することによる、高輝度階調改善処理が行われる。なお、区間１００９については、ＲＧＢ信号のいずれの信号値もセンサー飽和レベル１００４未満で小さい値であるため、高輝度階調改善処理の対象とはならず、置換処理は行われない。
【００４６】
従来の画像処理装置は、高輝度階調改善処理のための置換処理を行う際に、例えば図１０（ｃ）に示すような置換割合テーブルを利用している。図１０（ｃ）において、横軸は信号強度を示し、縦軸は置換割合を示しており、実線は置換特性の関数値１０１０を表している。図１０（ｃ）に示す関数値１０１０は、信号強度値０以上で信号強度値１０１１未満の区間１０１３では置換比率が０．０に設定されている。また、関数値１０１０は、信号強度値１０１１以上で一定の信号強度値１０１２未満の区間１０１４では置換比率が徐々に上昇し、信号強度値１０１２以上では置換比率が１．０となるように設定されている。例えば、信号強度をｘとし、置換比率をｙとした場合、関数比率ｙは、下記の式（７）で表される。
【００４７】
ｙ＝０    (０≦ｘ＜Ｔ１０１１)        式（７）
ｙ＝ｍｉｎ(((ｘ−Ｔ１０１１)／(Ｔ１０１２−Ｔ１０１１)＾２，１．０)    (Ｔ１０１１≦ｘ)                        式（８）
【００４８】
ここで、式（７）のＴ１０１１は図１０（ｃ）の信号強度値１０１１であり、Ｔ１０１２は図１０（ｃ）の一定の信号強度値１０１２である。また、ｍｉｎ（  ）は、最小値を求める関数である。つまり置換比率ｙは、信号強度ｘが０以上Ｔ１０１１未満の区間１０１３では０．０となり、信号強度ｘがＴ１０１１以上Ｔ１０１２未満の区間１０１４では大きく変化し、信号強度ｘがＴ１０１２以上の区間１０１５では１．０となる。
【００４９】
高輝度階調改善処理では、この置換比率ｙを利用して、飽和レベルが最も高いＲ信号を置換元の信号として、飽和レベルが低いＧ信号とＢ信号を置換対象の信号として置換する処理が行われる。ここで、Ｇ信号に対する置換比率をｙｇとし、Ｂ信号に対する置換比率をｙｂとする。また、置換前のＧ信号の信号値をＧ１とし、置換前のＧ信号の信号値をＧ２とし、同様に、置換前のＢ信号の信号値をＢ１、置換後のＢ信号の信号値をＢ２、さらに置換元のＲ信号の信号値をＲ１とする。この場合、置換処理は、以下の式（９）と式（１０）で表される。
【００５０】
Ｇ２＝Ｇ１＋（Ｒ１−Ｇ１）＊ｙｇ        式（９）
Ｂ２＝Ｂ１＋（Ｒ１−Ｂ１）＊ｙｂ        式（１０）
【００５１】
そして前述したように、区間１０１３では置換比率が０．０であるから、置換対象の信号（Ｇ信号またはＢ信号）は、そのまま出力されることになる。一方、区間１０１４では、置換対象の信号の信号値は置換元の信号の信号値によって置換され始める。そして、区間１０１５では、置換比率が１．０であるから、置換対象の信号（Ｇ信号またはＢ信号）の信号値は、置換元の信号（Ｒ信号）の信号値に完全に一致することになる。
【００５２】
置換特性の関数値１０１０は、前述した信号強度値１０１１と一定の信号強度値１０１２とを設定することで求めることができ、また、ＲＧＢ信号の色信号ごとに設定することが可能である。以下では、説明を簡単にするため、Ｇ信号とＢ信号が、同じ位置では、同じ置換比率で置換されるように設定されているものとする。
【００５３】
また、置換特性の関数値１０１０を求める際の信号強度値は、例えば、図１０（ｂ）のＲ信号１００６の信号値、及びセンサー飽和レベル１００４を基に設定することができる。例えば、Ｒ信号１００６の信号値を信号強度値１０１１とし、センサー飽和レベル１００４を一定の信号強度値１０１２として、センサー飽和レベル１００４より少し高めの値を設定する場合について説明する。ここで、図１０（ｂ）の区間１００９は、Ｒ信号１００６の信号値がセンサー飽和レベル１００４より小さい区間である。このため、図１０（ｃ）の置換割合テーブルの区間１０１３の範囲に対応して、区間１００９における置換割合は０．０とする。また、図１０（ｂ）の区間１００８は、Ｒ信号１００６の信号値がセンサー飽和レベル１００４以上となる区間である。このため、図１０（ｃ）の置換割合テーブルの区間１０１４と区間１０１５を合わせた範囲に対応する区間１００８における置換割合は、０．０を超える値となる。つまりこの区間１００８は、置換処理が行われる区間となる。
【００５４】
このような置換特性の関数値１０１０を用いて、Ｇ信号とＢ信号を置換した様子を、図１０（ｄ）に示す。図１０（ｄ）において、Ｇ信号１０１６は置換処理後のＧ信号であり、Ｂ信号１０１７は置換処理後のＢ信号である。また、図１０（ｄ）において、区間１０１８は、図１０（ｂ）の区間１００８に対応する区間であり、図１０（ｃ）の置換割合が０．０を超える値であり、Ｇ信号とＢ信号に置換処理が行われる区間である。区間１０１９は、図１０（ｂ）の区間１００９に対応する区間であり、図１０（ｃ）の置換割合が０．０であり、置換処理を行わない区間である。また、置換処理を行う区間１０１８は、区間１０２０と区間１０２１とに分けられる。区間１０２０は、図１０（ｃ）の置換割合が１．０であり、置換対象の信号（Ｇ信号及びＢ信号）が置換元の信号（Ｒ信号）の信号値と完全に一致するようになる区間である。この結果、区間１０１９において、Ｇ信号とＢ信号は、図１０（ｂ）のＧ信号１００２及びＢ信号１００７と同じ値のままとなる。一方、区間１０２０では、Ｇ信号とＢ信号は、徐々にＲ信号の信号値に置換される割合が増加し、区間１０２１では、完全にＲ信号１００６の信号値に置換される。
【００５５】
図１０（ｅ）は、置換処理後の図１０（ｄ）のＲＧＢ信号を輝度信号に変換したグラフである。すなわち、図１０（ｅ）において、輝度信号１０２２は、センサー飽和レベル１００４以上の輝度値が生成され、階調が拡大した信号となっている。
なお、第１の実施形態の図３（ｄ）において、置換処理を行わない区間３１８は、図１０（ｄ）の置換処理を行わない区間１０１９に対応し、置換処理を行う区間３１７は、図１０（ｄ）の置換処理を行う区間１０１８に対応する。
【００５６】
ここで、従来の画像処理装置において、テカリ補正処理と、高輝度階調改善処理との双方の処理を行う場合の問題点について説明する。
例えば、テカリ補正処理後に、高輝度階調改善処理を行うとすると、テカリ補正処理後の信号は、図９（ｇ）の状態になっている。図９（ｇ）から明らかなように、Ｒ信号９２０とＢ信号９２２は、ＷＢ処理後に行われたクリップ処理によって飽和レベルの高い信号が失われている。したがって、飽和レベルが高い信号で飽和レベルが低い信号を置換して、高輝度階調を改善することは、行うことができない。
【００５７】
また例えば、高輝度階調改善処理後に、テカリ補正処理を行うとすると、高輝度階調改善後の信号は、図１０（ｄ）の状態になっている。この場合、区間１０１８では、Ｇ信号１０１６とＢ信号１０１７が、それぞれの置換割合に従って、Ｒ信号１００６で置換されている。すなわち、この区間１０１８では、ＲＧＢ信号の比率が、元々のＲＧＢ信号の比率とは異なってしまっており、色曲りが生じている。このため、この区間１０１８で、テカリ補正処理を行うためには、この色曲りを考慮した補正を行う必要があり、肌色の補色の生成が困難となる。また、肌色とは別の色が、色曲りのために、肌色領域として、誤検出され、誤った領域に、テカリ補正処理を行ってしまう可能性がある。
【００５８】
これに対して、本実施形態の画像処理装置１０１は、前述したように、ＷＢ処理後の、クリップ処理を行っていない画像信号に対して、テカリ補正処理を行い、その後に、高輝度階調改善処理を行うようになされている。つまり本実施形態の画像処理装置１０１の場合、図３（ｄ）に示したように、テカリ補正処理後のＲ信号３１０は、高い飽和レベルを維持しているので、この高い飽和レベルの信号を用いた、高輝度階調改善処理が可能となっている。さらに置換処理が行われる区間３１７では従来と同様の色曲りが生じているが、本実施形態の場合、テカリ補正処理は既に行われており、したがって、色曲り領域を誤検出して、誤った領域にテカリ補正処理を行うことはない。
【００５９】
以上説明したように、本実施形態では、高輝度領域について、輝度補正を行う処理と、輝度階調を拡大する処理の双方の処理を行う場合、色曲りの影響を小さく抑えて輝度補正を行い、なおかつ輝度の階調を拡大することが可能となる。
【００６０】
＜第２の実施形態＞
次に、図４から図６を参照して、本発明の第２の実施形態に係る画像処理方法及び装置について説明する。第２の実施形態では、テカリ補正処理を、ＷＢ処理前に行う場合、つまりＷＢ処理をテカリ補正処理と高輝度階調改善処理の中間処理として行う場合について説明する。第２の実施形態では、中間処理として行うＷＢ処理において、ＷＢゲインが掛かる信号を少ない範囲に抑えて、処理する信号値をなるべく小さい値に抑え、ハード処理などに有利な構成としている。なお、第２の実施形態においても、第１の実施形態と同様に画像処理装置が回路構成により実施される例を挙げるが、各回路で行われる処理の一部または全てはＣＰＵ等がプログラムを実行することにより実施されてもよい。
【００６１】
図４は、第２の実施形態に係る画像処理装置４０１の構成例を示した図である。画像処理装置４０１への入力画像信号は、前述の実施形態と同様に、撮像装置にて撮像された画像信号、記録媒体等から読み出された画像信号、或いはネットワーク等を介して伝送されてきた画像信号のいずれであってもよい。
【００６２】
図４に示すように、画像処理装置４０１は、ＷＢ処理部１０２、クリップ処理部１０３、補正量決定部１０４、逆ＷＢ処理部４０２、補正処理部４０３、ＷＢ処理部４０４、階調処理部４０５の各回路を有して構成されている。
図４のＷＢ処理部１０２、クリップ処理部１０３、及び補正量決定部１０４は、図１に示したＷＢ処理部１０２、クリップ処理部１０３、及び補正量決定部１０４と同様の処理を行うため、それらの説明は省略する。
【００６３】
逆ＷＢ処理部４０２は、補正量決定部１０４で決定したＲ信号とＢ信号に対するテカリ補正量に対し、ＷＢ処理部１０２で使用したＷＢゲイン値に対して逆数の関係を有する値を掛ける逆ＷＢ処理を行う。そして、逆ＷＢ処理部４０２は、その逆ＷＢ処理を行った後の、Ｒ信号とＢ信号に対するテカリ補正量の値を、補正処理部４０３に送る。
【００６４】
補正処理部４０３は、ＷＢ処理されていない入力画像信号から、逆ＷＢ処理部４０２による逆ＷＢ処理後のテカリ補正量を減算することによるテカリ補正処理を行う。この補正処理部４０３によるテカリ補正処理後の画像信号は、ＷＢ処理部４０４に送られる。
【００６５】
ＷＢ処理部４０４は、ＷＢ処理部１０２と同様のＷＢ処理を行う処理部である。ＷＢ処理部４０４は、補正処理部４０３によるテカリ補正処理後の画像信号のＲ信号とＢ信号に対し、所定のＷＢゲイン値を掛けるようなＷＢ処理を行う。ＷＢ処理部４０４によるＷＢ処理後の画像信号は、階調処理部４０５に送られる。
階調処理部４０５は、図１の階調処理部１０６と同様に、飽和レベルが高い色信号で飽和レベルが低い色信号を置換する、高輝度階調改善処理を行う。
【００６６】
次に、図５のフローチャート、及び図６（ａ）〜図６（ｆ）に示す信号値のグラフを用いて、第２の実施形態による画像処理の手順及び画像処理の詳細について説明する。図６（ａ）〜図６（ｆ）に示した各グラフは、前述したグラフと同様に、横軸が画像センサーへの入射光量を表し、縦軸が各処理後の画像信号の信号強度を、破線がＲ信号を、実線がＧ信号を、一点鎖線がＢ信号を表している。
【００６７】
図５のフローチャートのステップＳ５０２において、図４の画像処理装置４０１は、ＷＢ処理が行われる前の状態の画像信号を取得する。また、第１の実施形態と同様に、入力画像信号のＲ信号の信号値はＲｉｎ、Ｇ信号の信号値はＧｉｎ、Ｂ信号の信号値はＢｉｎとする。また前述のグラフと同様に、入力画像信号びＲＧＢ信号は、図６（ａ）に示すＲ信号６０１、Ｇ信号６０２、及びＢ信号６０３になっているとする。Ｇ信号６０２は、区間６０５で信号値Ｇｉｎがセンサー飽和レベル６０４となっていて画像センサーで飽和が発生しているが、Ｒ信号６０１の信号値ＲｉｎとＢ信号６０３の信号値Ｂｉｎとは飽和していない。
【００６８】
図５のステップＳ５０３からステップＳ５０５までは、図２のステップ２０３からステップＳ２０５までに対応した処理ステップである。すなわち、前述同様に、ステップＳ５０３ではＷＢゲインを掛ける処理が行われ、ステップＳ５０４では所定値以上をクリップする処理が行われる。さらに、ステップＳ５０５では補正すべき肌色が求められ、さらに肌色補正量が求められて、それがテカリ補正量として決定される。これらステップＳ５０３〜Ｓ５０５で得られる信号値は、第１の実施形態で説明した図９（ａ）から図９（ｆ）の信号値と同様であり、したがってステップＳ５０５で決定されるのは図９（ｆ）と同様のテカリ補正量である。また、第２の実施形態においても第１の実施形態と同様に、ＲＧＢ信号についてそれぞれ決定されたテカリ補正量をＴｒ、Ｔｇ、及びＴｂとする。図５のフローチャートの場合、ステップＳ５０５の後、画像処理装置４０１は、ステップＳ５０６に処理を進める。
【００６９】
ステップＳ５０５は、逆ＷＢ処理ステップである。逆ＷＢ処理部４０２は、ステップＳ５０５において、ステップＳ５０５で生成されたテカリ補正量である肌色の補色信号に対して、ＷＢゲインの逆数を掛ける逆ＷＢ処理を行う。ここで、Ｒ信号に対するＷＢゲインＷｒの逆数は１／Ｗｒで表され、Ｂ信号に対するＷＢゲインＷｂの逆数は１／Ｗｂで表される。したがって、逆ＷＢ処理部４０２での逆ＷＢ処理の結果、テカリ補正処理に用いられるテカリ補正量は、Ｒ信号に対してはＴｒ／Ｗｒで表される値となり、Ｇ信号についてはＴｇ、Ｂ信号についてはＴｂ／Ｗｂで表される値となる。
【００７０】
図６（ｂ）は、逆ＷＢ処理部４０２による逆ＷＢ処理の結果として得られるテカリ補正量の信号値を示したグラフである。図６（ｂ）に示したＲＧＢ信号に対するテカリ補正量は、図９（ｆ）に示したテカリ補正量に対してＷＢゲインの逆数が掛かった状態の値となる。すなわち、図６（ｂ）のＲ信号に対するテカリ補正量６０６は図９（ｆ）のテカリ補正量９１７にＷＢゲインの逆数が掛かった値である。同様に、Ｇ信号に対するテカリ補正量６０７はテカリ補正量９１８にＷＢゲインの逆数が掛かった値、Ｂ信号に対するテカリ補正量６０８はテカリ補正量９１９にＷＢゲインの逆数が掛かった値である。また、図６（ｂ）の区間６０９は、テカリ補正量が０を超える区間であり、テカリ補正処理が行われる区間である。
【００７１】
次にステップＳ５０７において、図４の補正処理部４０３は、テカリ補正処理を行う。すなわち、補正処理部４０３は、ステップＳ５０２で取得した、ＷＢ処理されていない入力画像信号から、ステップＳ５０６でＲＧＢ信号の各色信号について求められたテカリ補正量を減算する。
【００７２】
図６（ｃ）は、補正処理部４０３によるテカリ補正処理後のＲＧＢ信号を示したグラフである。すなわちテカリ補正処理の結果、入力画像信号のＲ信号は、信号値がＲｉｎ−Ｔｒ／Ｗｒで表されるＲ信号６１０となる。また、入力画像信号のＧ信号は、信号値がＧｉｎ−Ｔｇで表されるＧ信号６１１となり、入力画像信号のＢ信号は、信号値がＢｉｎ−Ｔｂ／Ｗｂで表されるＢ信号６１２となる。また、区間６１３は、テカリ補正が行われた区間を表しており、図６（ｂ）の区間６０９に対応している。
【００７３】
次にステップＳ５０８において、図４のＷＢ処理部４０４は、ＷＢゲインを掛けるＷＢ処理を行う。すなわち、ＷＢ処理部４０４は、補正処理部４０３でテカリ補正処理がなされた後のＲ信号６１０に対し、ＷＢ処理部１０２と同じＷＢゲインＷｒを掛け、また、テカリ補正処理後のＢ信号６１２に対し、ＷＢ処理部１０２と同じＷＢゲインＷｂを掛ける。
【００７４】
図６（ｄ）は、ＷＢ処理部４０４によるＷＢ処理後のＲＧＢ信号を示したグラフである。ＷＢ処理部４０４によるＷＢ処理の結果、Ｒ信号は信号値が（Ｒｉｎ−Ｔｒ／Ｗｒ）＊Ｗｒ＝Ｒｉｎ＊Ｗｒ−Ｔｒで表されるＲ信号６１４となる。また、Ｂ信号は信号値が（Ｂｉｎ−Ｔｂ／Ｗｂ）＊Ｗｂ＝Ｂｉｎ＊Ｗｂ−Ｔｂで表されるＢ信号６１５となる。なお、Ｇ信号は信号値がＧｉｎ−Ｔｇで表されるＧ信号６１１のままである。
【００７５】
次に、ステップＳ５０９において、図４の階調処理部４０５は、ＷＢ処理部４０４によるＷＢ処理後のＲＧＢ信号に対し、高輝度階調改善処理を行う。すなわち、階調処理部４０５は、ステップＳ５０９において、ＷＢ処理部４０４によるＷＢ処理後のＲＧＢ信号のうち、最も飽和レベルが高いＲ信号で、飽和レベルが低いＧ信号とＢ信号を置換する処理を行う。このステップＳ５０９の後、画像処理装置４０１は、図５のフローチャートの処理を終了する。
【００７６】
図６（ｅ）は、階調処理部４０５でのＲＧＢ信号に対する高輝度階調改善処理の様子を示したグラフである。すなわち、高輝度階調改善処理による置換処理後のＧ信号は、Ｒ信号６１４により信号値が置換されることでＧ信号６１６となり、同様に、置換後のＢ信号は、Ｒ信号６１４の信号値に置換されることでＢ信号６１７となる。また、区間６１８は、図３（ｂ）の区間３０９に対応する区間であり、高輝度かつ肌色の区間であって、テカリ補正の対象とした肌色区間である。区間６１９は、Ｇ信号とＢ信号に対して置換処理が行われる区間であり、図３（ｂ）の区間３０８に対応する。区間６２０は、区間６１９以外の区間であり、置換処理は行われない。また、区間６２１と区間６２２は、区間６１９を分割した区間であり、特に区間６２２は、置換対象の信号値が置換元の信号値により完全に置換される区間である。
【００７７】
また、第２の実施形態でも第１の実施形態で説明したのと同様に、置換処理は、前述した図１０（ｃ）の置換割合テーブルを利用して行われる。すなわち置換割合テーブルは、区間６２０に対応する区間では置換割合が０．０であり、区間６２１に対応する区間では置換割合が増加し、区間６２２に対応する区間では置換割合が１．０となるようなテーブルとなされている。この置換割合テーブルを利用することにより、区間６２０において、Ｇ信号６１６は図６（ｄ）のＧ信号６１１と同じ信号値のままとなり、Ｂ信号６１７はＢ信号６１５と同じ信号値のままとなる。また、Ｇ信号６１６とＢ信号６１７は、区間６２１では徐々にＲ信号６１４に置換される割合が増加し、区間６２２では完全にＲ信号６１４に置換される。一方で、区間６１８は、置換処理が行われない区間６２０に含まれるため、図６（ｄ）で行った、テカリ補正処理の効果は、保たれている。
【００７８】
図６（ｆ）は、図６（ｅ）のＲＧＢ信号を輝度信号に変換したグラフである。図６（ｆ）において、実線が輝度信号６２３を表している。すなわち、輝度信号６２３は、センサー飽和レベル６０４以上の輝度値が生成された、階調が拡大した信号で、なおかつ、区間６１８では輝度値が下げられており、テカリ補正処理の効果が保たれている。
【００７９】
このように、第２の実施形態の画像処理装置４０１は、ＷＢ処理前の入力画像信号に対してテカリ補正処理を行った後、ＷＢゲインを掛け、その後に、高輝度階調改善処理を行っている。これにより、第２の実施形態の画像処理装置４０１は、同じ高輝度領域に対して、テカリ補正処理と、高輝度階調改善処理の効果を与えることができる。また画像処理装置４０１は、テカリ補正処理と高輝度階調改善処理の中間処理としてＷＢ処理を行い、ＷＢゲインが掛かる信号を少ない範囲に抑え、処理する信号をなるべく小さい値に抑えて、ハード処理などに有利な構成としている。
＜第３の実施形態＞
次に、図７と図８を参照して、本発明の第３の実施形態に係る画像処理方法及び装置について説明する。第３の実施形態の画像処理装置は、テカリ補正処理と高輝度階調改善処理を選択的に行う構成を有している。なお、第３の実施形態においても、第１及び第２の実施形態と同様に画像処理装置が回路構成により実施される例を挙げるが、各回路で行われる処理の一部または全てはＣＰＵ等がプログラムを実行することにより実施されてもよい。
【００８０】
図７は、第３の実施形態に係る画像処理装置７０１の構成例を示した図である。画像処理装置７０１への入力画像信号は、前述の第１及び第２の実施形態と同様に画像信号である。
図７に示した画像処理装置７０１は、ＷＢ処理部１０２、クリップ処理部１０３、補正量決定部１０４、判定部７０２、選択回路７０３及び７０４、クリップ処理部７０５、補正処理部７０６、階調処理部７０７の各回路を有している。
図７のＷＢ処理部１０２、クリップ処理部１０３、及び補正量決定部１０４は、図１に示したＷＢ処理部１０２、クリップ処理部１０３、及び補正量決定部１０４と同様の処理を行うため、それらの説明は省略する。
【００８１】
判定部７０２は、補正量決定部１０４にて決定されたテカリ補正量の値を調べ、すべてのテカリ補正量が０値であるかどうかの判定を行う。そして、判定部７０２の判定結果は、選択回路７０３及び７０４における選択処理の制御信号となされている。
選択回路７０３及び７０４は、判定部７０２の判定結果に応じて、使用回路を選択するように制御される。つまり、選択回路７０３及び７０４は、判定部７０２の判定結果に基づいて、クリップ処理部７０５及び補正処理部７０６を通る経路と、階調処理部７０７を通る経路のいずれを用いるかを選択する。
【００８２】
クリップ処理部７０５は、クリップ処理部１０３と同様に、ＷＢ処理部１０２によるＷＢ処理後の画像信号に対し、所定値以上の信号をクリップする処理を行う。
補正処理部７０６は、クリップ処理部７０５によるクリップ処理後の画像信号から、補正量決定部１０４にて決定されたテカリ補正量を減算するテカリ補正処理を行う。
階調処理部７０７は、ＷＢ処理部１０２によるＷＢ処理後の画像信号に対し、飽和レベルが高い色信号で飽和レベルが低い色信号を置換する高輝度階調改善処理を行う。
【００８３】
次に、図８のフローチャートを用いて、第３の実施形態による画像処理の手順及び画像処理の詳細について説明する。
図８のステップＳ８０２からステップＳ８０５までの処理は、図２のステップＳ２０２からステップＳ２０５までの処理と同様であるため、それらの説明は省略する。
図８のフローチャートの場合、ステップＳ８０３の後、及びステップＳ８０５の後、画像処理装置７０１は、ステップＳ８０６に処理を進める。
【００８４】
ステップＳ８０６は判定ステップである。判定部７０２は、ステップＳ８０６において、補正量決定部１０４にて決定されたテカリ補正量を用いた判定処理を行う。判定部７０２において全てのテカリ補正量の０値であると判定された場合（Ｙｅｓ）、画像処理装置７０１の処理は、ステップＳ８０９の高輝度階調改善処理に進む。一方、判定部７０２において全てのテカリ補正量が０値であると判定されなかった場合（Ｎｏ）、画像処理装置７０１の処理はＭステップＳ８０７のクリップ処理とその後のステップＳ８０８のテカリ補正処理に進む。すなわち、図７の画像処理装置７０１において、判定部７０２で全てのテカリ補正量が０値であると判定された場合、選択回路７０３及び７０４は、階調処理部７０７の経路を選択する。一方、判定部７０２で全てのテカリ補正量が０値であると判定されなかった場合、選択回路７０３及び７０４は、クリップ処理部７０５及び補正処理部７０６の経路を選択する。
【００８５】
ステップＳ８０７の処理に進むと、クリップ処理部７０５は、ステップＳ８０３でＷＢ処理された後の画像信号に対してクリップ処理を行う。すなわち、クリップ処理部７０５は、所定のクリップ値以上の信号をクリップする。
その後、ステップＳ８０８において、補正処理部７０６は、ステップＳ８０７によるクリップ処理後の画像信号に対し、ステップＳ８０５で決定されたテカリ補正量を減算するテカリ補正処理を行う。なお、このときの信号値のグラフは、図９で説明したテカリ補正処理の例と同様であるのでその説明は省略する。このステップＳ８０８の後、画像処理装置７０１は、図８のフローチャートの処理を終了する。
【００８６】
一方、ステップＳ８０９の処理に進んだ場合、階調処理部７０７は、ステップＳ８０３によるＷＢ処理後の画像信号に対し、高輝度階調改善処理を行う。すなわち、階調処理部７０７は、飽和レベルが高い色信号で飽和レベルが低い色信号を置換するような高輝度階調改善処理を行う。なお、このときの信号値のグラフは、図１０で説明した高輝度階調改善処理の例と同様であるのでその説明は省略する。このステップＳ８０９の後、画像処理装置７０１は、図８のフローチャートの処理を終了する。
【００８７】
前述したように、第３の実施形態の画像処理装置７０１は、全てのテカリ補正量が０値でないためテカリ補正処理を行うべきと判断した領域ではテカリ補正処理を選択し、そうでない場合には高輝度階調改善処理を選択する。すなわち、第３の実施形態の画像処理装置７０１は、全てのテカリ補正量が０値であると判定されなかった場合には通常と同様のテカリ補正処理を行う。一方、テカリ補正量が全て０値であると判定された場合、画像処理装置７０１は、通常と同様の高輝度階調改善処理を行う。
【００８８】
このように、第３の実施形態によれば、テカリ補正処理が必要な領域にはテカリ補正処理が行われ、それ以外の領域には高輝度階調改善処理が行われるので、画像全体で、高輝度領域に対する補正処理が、適切に行われることになる。
第３の実施形態おいても前述の各実施形態と同様に、高輝度領域について、輝度補正を行う処理と、輝度階調を拡大する処理の双方の処理を行う場合、色曲りの影響なく輝度補正を行い、なおかつ輝度の階調を拡大することが可能となる。
【００８９】
以上、本発明の各実施形態について詳述してきたが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
前述した各実施形態の画像処理装置に係る各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェアモジュールとして構成されていてもよい。また、一部がハードウェア構成で残りがソフトウェアモジュールとして構成されていてもよい。このソフトウェアモジュールを構成するためのプログラムは、予め用意されて内部メモリ等に記憶されている場合だけでなく、外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
前述の実施形態では、デジタルカメラ等から取得した画像信号を処理する例に挙げたが、画像信号は、監視カメラ、工業用カメラ、車載カメラ、医療用カメラ、スマートフォンやタブレット端末のカメラ等で取得された信号でもよい。
【００９０】
本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９１】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９２】
１０１：画像処理装置、１０２：ＷＢ処理部、１０３：クリップ処理部、１０４：補正量決定部、１０５：補正処理部、１０６：階調処理部
【図１】
2020156016.tif 000003
【図２】
2020156016.tif 000004
【図３】
2020156016.tif 000005
【図４】
2020156016.tif 000006
【図５】
2020156016.tif 000007
【図６】
2020156016.tif 000008
【図７】
2020156016.tif 000009
【図８】
2020156016.tif 000010
【図９】
2020156016.tif 000011
【図１０】
2020156016.tif 000012