(57)【要約】【課題】  信号値に応じて、適応的に色信号処理を行うことを目的とする。【解決手段】  画像処理装置は、入力された画像の複数の色信号のそれぞれの信号値が、それぞれの色に設定された閾値より大きいかを判定する判定手段と、入力された画像の色信号のそれぞれに対しホワイトバランスゲインを適用するゲイン処理手段と、前記ゲイン処理手段によりホワイトバランスゲインを適用した後の複数の色信号のうち１つの色信号の信号値を、他の色の信号を用いて拡張する拡張処理を行う拡張処理手段を有し、前記拡張処理手段は、前記判定手段の判定結果に応じて、前記拡張処理を行う色信号を決定する。【選択図】  図１
2020005212.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の複数の色信号のそれぞれの信号値が、それぞれの色に設定された閾値より大きいかを判定する判定手段と、
入力された画像の色信号のそれぞれに対しホワイトバランスゲインを適用するゲイン処理手段と、
前記ゲイン処理手段によりホワイトバランスゲインを適用した後の複数の色信号のうち１つの色信号の信号値を、他の色の信号を用いて拡張する拡張処理を行う拡張処理手段を有し、
前記拡張処理手段は、前記判定手段の判定結果に応じて、前記拡張処理を行う色信号を決定することを特徴とする画像処理装置。
【請求項２】
前記判定手段により、すべての色の信号値が閾値より小さいと判定された場合、前記拡張処理手段は拡張処理を行わないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段により前記複数の色信号のうち基準色のみが閾値より大きいと判定された場合、前記拡張処理手段は前記基準色に対してのみ前記拡張処理を行い、
ここで前記基準色は、前記ゲイン処理手段によるホワイトバランスゲインが等倍または色信号の中で最もゲインが小さい色であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記拡張処理手段は、前記色信号のうち基準色の色信号と非基準色の色信号とで異なる拡張処理を行い、
ここで前記基準色は、前記ゲイン処理手段によるホワイトバランスゲインが等倍または色信号の中で最もゲインが小さい色であり、前記非基準色は前記基準色とは異なる色であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像に２つの非基準色がある場合において前記非基準色の信号を拡張する第１の拡張処理を行う際、前記拡張処理手段は、前記２つの非基準色のうち信号値が大きい非基準色の信号値を用いて信号値が小さい非基準色の信号を拡張することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記拡張処理手段は、前記第１の拡張処理において、前記信号値が大きい非基準色の信号値と、前記信号値が小さい非基準色の信号値を加重加算した値を、前記信号値が小さい非基準色の拡張処理後の信号値として出力することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記基準色を拡張する第２の拡張処理を行う場合、前記拡張処理手段は、前記拡張処理後の非基準色の信号を用いて、前記基準色の信号を拡張することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記拡張処理手段は、前記第２の拡張処理を行う場合、前記拡張処理後の非基準色の信号値と、前記基準色の信号値を加重加算し、前記基準色の拡張処理後の信号値を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記拡張処理手段は、前記第２の拡張処理を行う場合、前記基準色の信号値に応じて、前記拡張処理後の非基準色の信号値と前記基準色の信号値との加重加算の結果に、前記基準色の信号値をさらに加重加算した値を、前記基準色の拡張処理後の信号値として出力することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記拡張手段は、前記基準色を拡張する第３の拡張処理を行う場合、前記拡張処理前の非基準色の信号を用いて、前記基準色の信号を拡張することを特徴とする請求項４に記載の画像処理装置。
【請求項１１】
拡張処理手段は、前記第３の拡張処理を行う場合、前記拡張処理前の非基準色の信号値と、前記基準色の信号値を加重加算し、前記基準色の拡張処理後の信号値を算出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記拡張処理手段は、前記第３の拡張処理を行う場合、前記基準色の信号値に応じて、前記拡張処理前の非基準色の信号値と前記基準色の信号値との加重加算の結果に、前記基準色の信号値をさらに加重加算した値を前記基準色の拡張処理後の信号値として出力することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
画像処理装置の制御方法であって、
入力された画像の複数の色信号のそれぞれの信号値が、それぞれの色に設定された閾値より大きいかを判定する判定工程と、
入力された画像の色信号のそれぞれに対しホワイトバランスゲインを適用するゲイン処理工程と、
前記ゲイン処理工程でホワイトバランスゲインを適用した後の複数の色信号のうち１つの色信号の信号値を、他の色の信号を用いて拡張する拡張処理を行う拡張処理工程と、
前記判定手段の判定結果に応じて、前記拡張処理工程において前記拡張処理を行う色信号を決定する決定工程を有することを特徴とする画像処理装置の制御方法。
【請求項１４】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させる、コンピュータにより実行が可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、プログラムに関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置で撮影した画像に対して、撮像装置の特性および撮影条件を加味して、色に応じて異なるゲインをかけてカラーバランスを調整するホワイトバランスゲイン処理が行われている。しかしながら、図８の（ｉ）のように入力画像の時点で白黒被写体の持つ信号のうち、Ｇ信号が飽和レベルに達している場合には、正しい色比率で信号が入力されない。したがって、ホワイトバランスゲイン処理を行っても、図８（ｉｉ）のように、Ｒ、Ｇ、Ｂ信号の値が揃わず、いわゆる色付きが発生してしまう。色付きを抑える為に、従来は、図８の（ｉｉｉ）のように信号値を飽和レベルで一律クリップすることにより対処していたが、高輝度側の階調が失われてしまうといった課題があった。課題に対し、入力された信号値を拡張し、色信号毎の飽和レベルを調整することで、色付きを発生させずに高輝度側の階調を保持する技術がある。
【０００３】
例えば、特許文献１では、非飽和画素を用いて、飽和画素を補正したのち、非飽和画素も補正を行う。その後、被写体の色温度に応じて、補正値をさらに補正することで、信号値を拡張し、色信号毎の飽和レベルを調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２０１０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、飽和画素が１画素でもあれば、飽和画素の補正結果を用いて、周辺の非飽和画素も値に関係なく補正を行ってしまう。その為、非飽和画素の信号値の大きさや飽和画素の補正結果によっては、被写体の持っている色相が変化する現象が起こる可能性がある。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、入力された画像の複数の色信号のそれぞれの信号値が、それぞれの色に設定された閾値より大きいかを判定する判定手段と、入力された画像の色信号のそれぞれに対しホワイトバランスゲインを適用するゲイン処理手段と、前記ゲイン処理手段によりホワイトバランスゲインを適用した後の複数の色信号のうち１つの色信号の信号値を、他の色の信号を用いて拡張する拡張処理を行う拡張処理手段を有し、前記拡張処理手段は、前記判定手段の判定結果に応じて、前記拡張処理を行う色信号を決定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、信号値を見て適応的に画像処理を行うことにより、色相の変化を抑制することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置に適用可能な構成を示したブロック図
【図２】画像処理装置の処理の流れを示した動作フロー図
【図３】閾値判定処理部に関する部分の処理の流れを示した動作フロー図
【図４】出力切替処理部に関する部分の処理の流れを示した動作フロー図
【図５】画像の座標について説明した図
【図６】第１〜３の処理結果について説明した図
【図７】基準色の拡張処理の一例について説明した図
【図８】従来例について説明した図
【図９】画像処理装置の一例であるデジタルカメラの構成例
【発明を実施するための形態】
【０００９】
本実施形態の画像処理装置は、入力された画像の各画素に対し、各色信号に対する閾値判定を行い、閾値判定結果に応じて、出力する信号を異ならせる。具体的には、ホワイトバランスゲイン処理後の信号を出力するか、非基準色と基準色の拡張処理後の信号を出力するか、基準色の拡張処理後の信号を出力するかを選択する。なお、本実施形態における基準色とは、色信号（本実施形態ではＲ、Ｇ、Ｂ信号）のうち、ホワイトバランスゲインが等倍、もしくは最小となる色信号を指す。本字実施形態ではＧ信号が基準色となる。非基準色は基準色以外の色信号であり、本実施例ではＲ信号とＢ信号を指す。
【００１０】
まず、本実施形態の画像処理装置について説明を行う。図９は、画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示している。なお、図９に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアにより実現されてもよいし、少なくとも１つのＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することで実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。なお、画像処理装置としてはデジタルカメラに限定されない。例えば画像処理アプリケーションをインストールしたパーソナルコンピュータや携帯電話、タブレットデバイスなどに適用してもよい。また、画像処理が可能な自動車や医療用装置、その他種々の産業用機器についても適用可能である。
【００１１】
図９において、光学系１１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置及びシャッター装置を含む。光学系１１０１は、制御部１１０５の指示に応じて、撮像部１１０２に含まれる撮像素子に入射する被写体像の倍率やピント位置、或いは撮像部１１０２に入射する光量を調整する。
【００１２】
撮像部１１０２は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する撮像素子を含む。撮像素子は、光学系１１０１により結像された被写体光学像を各画素で光電変換し、アナログ信号を順次出力する。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子であってよい。Ａ／Ｄ変換部１１０３は、撮像部１１０２から出力されたアナログ信号をＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画像データ）を出力する。
【００１３】
画像処理部１１０４は、画素補間処理等の現像処理や記録部１１１０に画像を記録するための所定の圧縮処理を行う。また、別途後述する本実施形態に係るゲイン処理を行って、ゲイン処理を適用した出力画像を生成する。画像処理部１１０４はＡ／Ｄ変換部１１０３から出力された画像に限らず、記録部１１１０から読み出した画像に対しても同様の画像処理や伸張処理を行うことができる。なお、画像処理部１１０４は、専用の画像処理回路によって実現されてもよいし、制御部１１０５がプログラムを実行することによってソフトウェア的に画像処理部１１０４の機能を実現してもよい。
【００１４】
制御部１１０５は、例えばＣＰＵあるいはＭＰＵ、ＲＯＭ、ＲＡＭ等を含み、ＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００の全体を制御する。
【００１５】
操作部１１０６は、例えばタッチパネル、ダイヤル、ボタン、スイッチ等の操作部材を含み、ユーザによる操作を制御部１１０５へ伝達する。操作部１１０６の一部がタッチパネルである場合、タッチパネルに操作メニューを表示すると共に、撮影又は記録された画像を表示してもよい。記録部１１１０は、例えば半導体メモリが搭載されたメモリカードや磁気ディスク等の記録媒体を含み、撮影された画像を記録し或いは記録された画像を読み出す。
【００１６】
図１は、画像処理部１１０４のうち、本発明に特に関係する部分の構成を示す図である。
【００１７】
本実施形態の画像処理部１１０４は、入力された画像に対し、ホワイトバランスゲイン処理を行い、高輝度側の信号を必要に応じて拡張処理を行った画像を出力する処理を実施する。なお、本実施形態の画像処理装置で入出力する画像は、１画素につきＲ、Ｇ、Ｂの３色全ての信号値を持った画像である。
【００１８】
図２に示す構成は大きく分けて３つの役割で構成される。ホワイトバランスゲイン部１０２は、入力された画像に対しホワイトバランスゲイン処理を行う。閾値判定処理部１０１は、入力された画像の各色信号を閾値判定することで判定信号を生成する。そして拡張処理部１１０は、ホワイトバランスゲイン処理後の画像と、判定信号を入力として拡張処理を行い、出力画像を生成する。拡張処理については後述する。
【００１９】
図２は、本実施形態における処理フローである。画像処理装置は、図２の動作フローに沿って、図５に示すような水平画素数Ｗ垂直画素数Ｈの入力画像に対し、座標（０，０）から（Ｗ−１，Ｈ−１）まで処理座標（ｘ，ｙ）を更新することでステップＳ２０１からステップＳ２０６まで順次処理を行う。以下、ステップＳ２０１から順を追って説明する。
【００２０】
ステップＳ２０１で、画像処理装置は入力画像の信号値と各色の閾値を比較する事で判定結果を出力する処理を行う。閾値判定処理の内容については後で詳細に説明を行う。
【００２１】
ステップＳ２０２で、画像処理装置は入力画像のＲ、Ｇ、Ｂの信号値に対し、ホワイトバランスゲインをかける処理を行う。入力画像のＲ、Ｇ、Ｂの信号値をそれぞれｐｉｎ＿Ｒ（ｘ，ｙ）、ｐｉｎ＿Ｇ（ｘ，ｙ）、ｐｉｎ＿Ｂ（ｘ，ｙ）とすると、ホワイトバランスゲイン処理後の信号ｐ１＿Ｒ（ｘ，ｙ）、ｐ１＿Ｇ（ｘ，ｙ）、ｐ１＿Ｂ（ｘ，ｙ）は（式１）のようになる。ＷＢ＿Ｒ、ＷＢ＿Ｇ、ＷＢ＿Ｂはホワイトバランスゲインの係数である。
【００２２】
【数１】
2020005212.tif 000003
【００２３】
なお、本実施形態ではＧ信号に対するホワイトバランスゲインは１倍とする。よってＷＢ＿Ｇの値は１となる。前述したように、ホワイトバランスゲインが１倍であるＧ信号は基準色、それ以外のＲ信号、Ｂ信号は非基準色とする。なお、以降の説明では、ステップＳ２０２の出力信号ｐ１＿Ｒ（ｘ，ｙ）、ｐ１＿Ｇ（ｘ，ｙ）、ｐ１＿Ｂ（ｘ，ｙ）を第１の処理結果と呼称する。
【００２４】
ステップＳ２０３で、画像処理装置はステップＳ２０２でホワイトバランスゲイン処理を行った第１の処理結果を入力し、非基準色の拡張処理を行う。以下、非基準色の拡張処理について説明する。
【００２５】
本実施形態では、非基準色Ｒ、Ｂ信号のうち、信号値の小さい信号にのみ拡張処理を行う。例えば、第１の画像信号に対し、Ｂの信号値ｐ１＿Ｂ（ｘ，ｙ）がＲの信号値ｐ１＿Ｒ（ｘ，ｙ）よりも小さいとすると、拡張処理を行うのは、Ｂ信号のみとなる。ここで拡張処理は（式２）のように表される。ここでｐ２’＿Ｒ（ｘ，ｙ）、ｐ２’＿Ｂ（ｘ，ｙ）は非基準色の拡張処理後の信号値であり、αはあらかじめ決められた加重加算の係数であり、０．０〜１．０までの値を取る。式（２）に示すように、Ｂ信号の拡張処理はＢ信号とＢ信号よりも信号値の大きいＲ信号との加重加算により、新たなＢ信号の値を算出する。
【００２６】
【数２】
2020005212.tif 000004
【００２７】
反対に、Ｂの信号値ｐ１＿Ｂ（ｘ，ｙ）よりもＲの信号値ｐ１＿Ｒ（ｘ，ｙ）の信号値が小さい場合には上記（式２）のＲとＢを入れ替えたものとなり、Ｒ信号のみ拡張処理を行う。
【００２８】
なお、ステップＳ２０３ではＧ信号に対しては何も処理しないため、（式３）のｐ２’＿Ｇ（ｘ，ｙ）のように第１の処理結果ｐ１＿Ｇ（ｘ，ｙ）をそのまま出力する。
【００２９】
【数３】
2020005212.tif 000005
【００３０】
（式２）（式３）のようにして、非基準色の拡張処理を行ったステップＳ２０３の処理後の出力信号を、以降の説明では、第２の中間処理結果と呼称する。
【００３１】
ステップＳ２０４で、画像処理装置はステップＳ２０３で非基準色の拡張処理を行った第２の中間処理結果を入力し、基準色の拡張処理を行う。以下、基準色の拡張処理について説明する。
【００３２】
本実施形態では基準色はＧ信号であり、このＧ信号に対して非基準色Ｒ、Ｂとの加重加算を行うことで拡張処理を行う。具体的には、（式４）のように加重加算係数α１，α２によって基準色Ｒ、Ｂとの加重加算を行った後、第２の中間処理結果であるＧ信号と別の加重加算係数βを用いて加重加算を行う。ここでｐ２＿Ｇ（ｘ，ｙ）は、基準色Ｇの拡張処理後の信号であり、ｐ２’＿Ｒ（ｘ，ｙ）、ｐ２’＿Ｇ（ｘ，ｙ）、ｐ２’＿Ｂ（ｘ，ｙ）は、第２の中間処理結果を指す。
【００３３】
【数４】
2020005212.tif 000006
【００３４】
本実施形態では、α１、α２はあらかじめ決められた加重加算係数であるのに対し、βは図７のように第２の中間処理結果ｐ２’＿Ｇ（ｘ，ｙ）の値に応じて値を決定する。なお、ＯＦＦ１＿Ｇ、ＯＦＦ２＿Ｇはあらかじめ決められた横軸の値であり、特にＯＦＦ２＿Ｇはセンサ飽和の値を設定する。このように加重加算を行うことで、基準色であるＧ信号の拡張処理を信号値に応じて滑らかに切り替えるように制御することができる。
【００３５】
なお、ステップＳ２０４ではＲ、Ｂ信号に対しては何も処理しないため、ｐ２＿Ｒ（ｘ，ｙ）、ｐ２＿Ｂ（ｘ，ｙ）のように第２の中間処理結果ｐ２’＿Ｒ（ｘ，ｙ）、ｐ２’＿Ｂ（ｘ，ｙ）をそれぞれそのまま出力する（式５）。
【００３６】
【数５】
2020005212.tif 000007
【００３７】
（式４）（式５）のようにして、基準色の拡張処理を行ったステップＳ２０４の処理後の出力信号を、以降の説明では、第２の処理結果と呼称する。
【００３８】
ステップＳ２０５で、画像処理装置はステップＳ２０２でホワイトバランスゲイン処理を行った第１の処理結果を入力し、基準色の拡張処理を行う。本ステップでの基準色の拡張処理は、ステップＳ２０４と同様、非基準色のＲ、Ｂを用いた加重加算を行うが、入力信号が第１の処理結果である点で異なる。基準色の拡張処理後の信号をｐ３＿Ｒ（ｘ，ｙ）、ｐ３＿Ｇ（ｘ，ｙ）、ｐ３＿Ｂ  （ｘ，ｙ）とすると（式６）のようにして拡張処理は行われる。前述したように、第１の処理結果、つまり拡張処理前のｐ１＿Ｒ（ｘ，ｙ）、ｐ１＿Ｇ（ｘ，ｙ）、ｐ１＿Ｂ（ｘ，ｙ）を用いる点が（式５）との相違である。加重加算係数α１、α２、βは（式５）と同様である。
【００３９】
【数６】
2020005212.tif 000008
【００４０】
（式６）のようにして、基準色の拡張処理を行ったステップＳ２０５の処理後の出力信号を、以降の説明では、第３の処理結果と呼称する。
【００４１】
ステップＳ２０６は、ステップＳ２０１の閾値判定結果に応じて、ステップＳ２０２からステップＳ２０５にかけて生成した、第１、第２、第３の処理結果のどれを最終的な出力結果として用いるかを切り替える処理を行っている。出力切替処理については後程詳細に説明を行う。
【００４２】
以上が本実施形態の画像処理装置の処理内容であるが、ここでステップＳ２０１の閾値判定処理と、ステップＳ２０６の出力切替処理についてより詳細に説明する。
【００４３】
まず、ステップＳ２０１の閾値判定処理について説明する。閾値判定処理において画像処理装置は、ホワイトバランスゲイン処理を行う前の入力画像の信号値と各色の閾値を比較することで判定結果を出力する処理を行う。
【００４４】
図３はステップＳ２０１の閾値判定処理の詳細なフロー図である。
【００４５】
ステップＳ３０１で、画像処理装置は入力された画像のＲ信号ｐｉｎ＿Ｒ（ｘ，ｙ）とＢ信号ｐｉｎ＿Ｂ（ｘ，ｙ）のそれぞれを、予め設定された閾値ＴＨ＿Ｒ、ＴＨ＿Ｂと比較する。Ｒ信号Ｒ（ｘ，ｙ）が閾値ＴＨ＿Ｒ以上、もしくはＢ信号ｐｉｎ＿Ｂ（ｘ，ｙ）が閾値ＴＨ＿Ｂ以上である場合はステップＳ３０３へ進み、どちらの条件にも該当しない場合はステップＳ３０２へ進む。本実施形態では、閾値ＴＨ＿Ｒ、ＴＨ＿ＢはそれぞれセンサのＲ信号、Ｇ信号の飽和値が設定されている。
【００４６】
ステップＳ３０２で、画像処理装置は入力された画像のＧ信号ｐｉｎ＿Ｇ（ｘ，ｙ）と、予め設定された閾値ＴＨ＿Ｇと比較を行う。Ｇ信号ｐｉｎ＿Ｇ（ｘ，ｙ）がＴＨ＿Ｇ以上である場合はステップＳ３０４へ進み、Ｇ信号ｐｉｎ＿Ｇ（ｘ，ｙ）がＴＨ＿Ｇ未満の場合はステップＳ３０５へ進む。本実施形態では、閾値ＴＨ＿Ｇは図７のＯＦＦ２＿Ｇと同様の値、つまりセンサのＧ信号の飽和値を設定する。
【００４７】
ステップＳ３０３で、画像処理装置は判定結果ｆｌｇ（ｘ，ｙ）に２を代入する処理を行う。このステップに進んだということは、Ｒ信号Ｒ（ｘ，ｙ）がＴＨ＿Ｒ以上、もしくはＢ信号ｐｉｎ＿Ｂ（ｘ，ｙ）がＴＨ＿Ｂ以上であるということである。
【００４８】
ステップＳ３０４で、画像処理装置は判定結果ｆｌｇ（ｘ，ｙ）に３を代入する処理を行う。このステップに進んだということは、Ｒ信号Ｒ（ｘ，ｙ）及びＢ信号ｐｉｎ＿Ｂ（ｘ，ｙ）がいずれもＴＨ＿Ｒ、ＴＨ＿Ｂ未満であり、かつＧ信号ｐｉｎ＿Ｇ（ｘ，ｙ）がＴＨ＿Ｇ以上であるということである。
【００４９】
ステップＳ３０５で、画像処理装置は判定結果ｆｌｇ（ｘ，ｙ）に１を代入する処理を行う。このステップに進んだということは、Ｒ信号ｐｉｎ＿Ｒ（ｘ，ｙ）、Ｇ信号ｐｉｎ＿Ｇ（ｘ，ｙ）、Ｂ信号ｐｉｎ＿Ｂ（ｘ，ｙ）がいずれもＴＨ＿Ｒ、ＴＨ＿Ｇ、ＴＨ＿Ｂ未満であるということである。
【００５０】
以上が閾値判定処理の内容である。この処理によって得られた閾値判定結果ｆｌｇ（ｘ，ｙ）の値を用いて、ステップＳ２０６の出力切替処理を行う。
【００５１】
次に、ステップＳ２０６の出力切替処理について説明する。出力切替処理は、閾値判定処理によって出力された閾値判定結果ｆｌｇ（ｘ，ｙ）を用いて、図２のフローで得られた第１、第２、第３の処理結果のどの信号を出力結果にするかを切り替える処理である。
【００５２】
図４はステップＳ２０１で行う閾値判定処理の動作フロー図である。
【００５３】
まずステップＳ４０１で、画像処理装置は閾値判定結果ｆｌｇ（ｘ，ｙ）の値が１であるか否かを判定し、１である場合はステップＳ４０３へ移り、１でない場合は、ステップＳ４０２へ移る。
【００５４】
ステップＳ４０２で、画像処理装置は閾値判定結果ｆｌｇ（ｘ，ｙ）の値が２であるか否かを判定し、２である場合はステップＳ４０４へ移り、２でない場合、つまり３である場合は、ステップＳ４０５へ移る。
【００５５】
以上のように、画像処理装置は閾値判定結果ｆｌｇ（ｘ，ｙ）の値に応じて、ステップＳ４０３〜Ｓ４０５のいずれの処理を行うかを選択することになる。以下、これらの３つのステップの処理について説明する。
【００５６】
ステップＳ４０３に進んだ場合、画像処理装置はステップＳ２０２で生成した第１の処理結果を出力する。つまり、図６（ａ）の（ｉ）のように、Ｒ、Ｇ、Ｂの信号がそれぞれ閾値ＴＨ＿Ｒ、ＴＨ＿Ｇ、ＴＨ＿Ｂ未満である場合に、どの色に対しても拡張処理を行わない第１の処理結果ｐ１＿Ｒ（ｘ，ｙ）、ｐ１＿Ｇ（ｘ，ｙ）、ｐ１＿Ｂ（ｘ，ｙ）を出力する。つまり、図６（ａ）の（ｉｉ）のようにホワイトバランスゲイン処理を行った信号を出力する。
【００５７】
ステップＳ４０４に進んだ場合、画像処理装置はステップＳ２０４で生成した第２の処理結果を出力する。つまり図６（ｂ）の（ｉ）のように、ＲまたはＢの信号が閾値ＴＨ＿ＲまたはＴＨ＿Ｂ以上である場合に、第２の処理結果ｐ２＿Ｒ（ｘ，ｙ）、ｐ２＿Ｇ（ｘ，ｙ）、ｐ２＿Ｂ（ｘ，ｙ）を出力する処理を行う。例えば、図６（ｂ）の（ｉｉ）のようにホワイトバランスゲイン処理を行った信号に対し、図６（ｂ）の（ｉｉｉ）のように非基準色Ｂの拡張処理を行った後、図６（ｂ）の（ｉｖ）のように基準色Ｇの拡張処理を行った信号を出力する。なお、基準色Ｇの信号については、前述のステップＳ２０４で説明した通り、閾値ＴＨ＿Ｇ未満である場合は拡張処理が行われ、そうでない場合は拡張処理を行われない状態で第２の処理結果が出力される。
【００５８】
ステップＳ４０５に進んだ場合、画像処理装置はステップＳ２０５で生成した第３の処理結果を出力する。つまり、図６（ｃ）の（ｉ）のように、Ｇの信号のみが閾値ＴＨ＿Ｇ以上である場合に、第３の処理結果ｐ３＿Ｒ（ｘ，ｙ）、ｐ３＿Ｇ（ｘ，ｙ）、ｐ３＿Ｂ（ｘ，ｙ）を出力する処理を行う。例えば、図６（ｃ）の（ｉｉ）のようにホワイトバランスゲイン処理を行った信号に対し、図６（ｃ）の（ｉｉｉ）のように基準色Ｇの拡張処理を行った信号を出力する。なお、基準色Ｇの信号については、前述のステップＳ２０５で説明した通り、ＴＨ＿Ｇ未満である場合は拡張処理が行われ、そうでない場合は拡張処理を行われない状態で第３の処理結果が出力される。以上が、出力切替処理の内容である。
【００５９】
以上述べたように、本実施形態の画像処理装置は、画素ごとに閾値判定処理を行い、その結果に応じて処理を切り替えて出力することとした。この結果、非飽和の信号を出来る限り拡張処理しないようにすることが可能となる。かかる制御により、現像において被写体の持っている色相を変化させる事態を抑制し、かつ高輝度側の階調を保持した出力画像を生成することができる。
【００６０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2020005212.tif 000009
【図２】
2020005212.tif 000010
【図３】
2020005212.tif 000011
【図４】
2020005212.tif 000012
【図５】
2020005212.tif 000013
【図６】
2020005212.tif 000014
【図７】
2020005212.tif 000015
【図８】
2020005212.tif 000016
【図９】
2020005212.tif 000017