(57)【要約】【課題】  ホワイトバランスのハンチングも含め、ホワイトバランス制御値が収束せず不安定になるという問題があった。【解決手段】  画像信号に対して少なくともホワイトバランス制御を含む画像処理を行い第１の画像信号を出力する第１の画像処理部と、画像信号に対し少なくともホワイトバランス制御を含む画像処理を行い第２の画像信号を出力する第２の画像処理部と、第２の画像信号から色情報を検出する検出部と、色情報を用いて第１の画像処理部においてホワイトバランス制御を行うための第１のホワイトバランス制御値を算出する算出部と、第１のホワイトバランス制御値が安定しているかを判定する判定部と、第１のホワイトバランス制御値とは異なる第２のホワイトバランス制御値を生成する生成部とを備え、判定部が第１のホワイトバランス制御値が安定していないと判定した場合、第２のホワイトバランス制御値を適用する。【選択図】  図１
2019004366.tif 000002
【特許請求の範囲】
【請求項１】
撮像部から出力される画像信号に対して画像処理を行う画像処理装置であって、
前記画像信号に対して少なくともホワイトバランス制御を含む画像処理を行い第１の画像信号を出力する第１の画像処理部と、
前記第１の画像処理部と独立して制御可能であり、前記画像信号に対し少なくともホワイトバランス制御を含む画像処理を行い第２の画像信号を出力する第２の画像処理部と、
前記第２の画像信号から色情報を検出する検出部と、
前記検出部が検出した色情報を用いて前記第１の画像処理部においてホワイトバランス制御を行うための第１のホワイトバランス制御値を算出する算出部と、
前記第１のホワイトバランス制御値が安定しているかを判定する判定部と、
前記第１のホワイトバランス制御値とは異なる第２のホワイトバランス制御値を生成する生成部と、を備え、
前記判定部が前記第１のホワイトバランス制御値が安定していないと判定した場合、前記第１の画像処理部におけるホワイトバランス制御に対して前記第２のホワイトバランス制御値を適用することを特徴とする画像処理装置。
【請求項２】
前記判定部が前記第１のホワイトバランス制御値が安定していると判定した場合、前記第１の画像処理部におけるホワイトバランス制御に対して前記第１のホワイトバランス制御値を適用することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定部が前記第１のホワイトバランス制御値が安定していないと判定する基準は、所定期間内における第１のホワイトバランス制御値の変化方向の反転が複数回発生すること、であることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記判定部が前記第１のホワイトバランス制御値が安定していないと判定する基準は、前記第１のホワイトバランス制御値と前記第１の画像処理部におけるホワイトバランス制御に対して適用されているホワイトバランス制御値との差が所定値以上であること、であることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記生成部は、所定期間内の複数の前記第１のホワイトバランス制御値を用いて前記第２のホワイトバランス制御値を生成することを特徴とする請求項１から請求項４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記生成部は、所定期間内の複数の前記第１のホワイトバランス制御値と前記第１の画像処理部のホワイトバランス制御に適用されているホワイトバランス制御値を用いて前記第２のホワイトバランス制御値を生成することを特徴とする請求項１から請求項４までのいずれか１項に記載の画像処理装置。
【請求項７】
前記生成部は、前記判定部が前記第１のホワイトバランス制御値が安定していないと判定してから所定期間、前記第２のホワイトバランス制御値を維持して適用することを特徴とする請求項１から請求項４までのいずれか１項に記載の撮像装置。
【請求項８】
撮像部から出力された画像信号に対して画像処理を行う画像処理方法であって、
前記画像信号に対して少なくともホワイトバランス制御を含む画像処理を行い第１の画像信号を出力する第１の画像処理ステップと、
前記第１の画像処理ステップと独立して制御され、前記画像信号に対し少なくともホワイトバランス制御を含む画像処理を行い第２の画像信号を出力する第２の画像処理ステップと、
前記第２の画像信号から色情報を検出する検出ステップと、
前記検出ステップで検出された色情報を用いて前記第１の画像処理ステップにおいてホワイトバランス制御を行うための第１のホワイトバランス制御値を算出する算出ステップと、
前記第１のホワイトバランス制御値が安定しているかを判定する判定ステップと、
前記第１のホワイトバランス制御値とは異なる第２のホワイトバランス制御値を生成する生成ステップと、を具備し、
前記判定ステップで前記第１のホワイトバランス制御値が安定していないと判定した場合、前記第１の画像処理ステップにおけるホワイトバランス制御に対して前記第２のホワイトバランス制御値を適用することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトバランス補正機能に関するものである。
【背景技術】
【０００２】
従来の撮像装置では、撮像によって得られる画像信号に対し画像信号に基づき自動的にホワイトバランス制御（自動ホワイトバランス制御）を行うことが可能である。この場合、ホワイトバランス制御を停止させるための停止領域と停止したホワイトバランス制御を再起動させるための再起動領域を持ち、停止領域を内包するように再起動領域を設定することによって、一旦収束したホワイトバランス制御が被写体変化や光源色変化に過度に追従することを防ぐことが可能となる（下記特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３２４７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の撮像装置では、フリッカーなどの大きな変化が発生するような環境では、ホワイトバランスの安定性を高めるために再起動領域を広めに設定する必要がある。しかし再起動領域を大きく設定してしまうとホワイトバランス制御値が多少ずれていても再起動してホワイトバランス制御値を合わせることができないため、ホワイトバランスの精度が低下してしまうという問題があった。
【０００５】
また、ホワイトバランスの精度を上げるために再起動領域を狭くすると、ハンチングが発生して、ホワイトバランス制御に不安定になってしまうという問題もあった。
【０００６】
また、ユーザー操作をトリガーとして任意の被写体を無彩色にするような制御を行う際に、ホワイトバランスのハンチングも含め、ホワイトバランス制御値の収束過程の不安定な状態の画像をユーザーに見られてしまうという問題があった。
【課題を解決するための手段】
【０００７】
本発明の１実施態様によれば、撮像部から出力される画像信号に対して画像処理を行う画像処理装置であって、前記画像信号に対して少なくともホワイトバランス制御を含む画像処理を行い第１の画像信号を出力する第１の画像処理部と、前記第１の画像処理部と独立して制御可能であり、前記画像信号に対し少なくともホワイトバランス制御を含む画像処理を行い第２の画像信号を出力する第２の画像処理部と、前記第２の画像信号から色情報を検出する検出部と、前記検出部が検出した色情報を用いて前記第１の画像処理部においてホワイトバランス制御を行うための第１のホワイトバランス制御値を算出する算出部と、前記第１のホワイトバランス制御値が安定しているかを判定する判定部と、前記第１のホワイトバランス制御値とは異なる第２のホワイトバランス制御値を生成する生成部と、を備え、前記判定部が前記第１のホワイトバランス制御値が安定していないと判定した場合、前記第１の画像処理部におけるホワイトバランス制御に対して前記第２のホワイトバランス制御値を適用することを特徴とする画像処理装置である。
【発明の効果】
【０００８】
本発明によれば、ホワイトバランスが不安定になりやすい環境であっても安定したホワイトバランス制御を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るホワイトバランス制御の処理を示すフローチャートである。
【図３】本発明の第１の実施形態に係るホワイトバランス制御値の変化方向を示す図である。
【図４】本発明の第２の実施形態に係るホワイトバランス制御の処理を示すフローチャートである。
【図５】本発明の第３の実施形態に係るホワイトバランス制御の処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を用いて詳細に説明する。なお、本発明をデジタルカメラに適用した実施形態を用いて説明するが、本発明はデジタルカメラに限らず、他の画像処理装置に適用することができる。
【００１１】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。なお、図内の実線の矢印は画像信号の流れを示し、点線の矢印は制御に用いるデータや画像に重畳するアイコンなどのデータの流れを示している。
【００１２】
撮像部１０１は、絞り機構を含むレンズ、撮像素子、Ａ／Ｄ変換器などからなり、撮像部１０１により得られた画像信号は画像処理部Ａ１０２に出力される。なお、本実施形態においては、撮像部１０１により得られる画像信号はＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号として説明を行う。
【００１３】
画像処理部Ａ１０２はホワイトバランス制御部Ａ１０３と画質制御部Ａ１０４から構成され、ホワイトバランス制御部Ａ１０３は制御部１０５で生成されたホワイトバランス制御値を用いて画像信号に対してホワイトバランスの補正を行う。
【００１４】
具体的には、ＲとＢに対してゲインを与えることによりホワイトバランスの補正を行う。また、ホワイトバランス制御値の作成方法に関しては後述する。画質制御部Ａ１０４では、デジタルゲイン制御、ガンマ制御、カラーバランス制御、ノイズリダクション制御、画像鮮鋭度補正制御、歪曲補正制御、色信号と色差信号の変換、画素補間などのうち、１つないし複数の処理が施される。
【００１５】
画像処理部Ａ１０２で処理された画像信号は、記録再生処理部１０６で符号化処理を施して変換され、記録媒体１０７に記録される。また、制御部１０５で生成されたアイコンなどの画像を画像信号に重畳して、表示部１０８に出力する。撮像装置は、さらに、ユーザーによる各種操作を受けつける入力部１０９を備えている。
【００１６】
一方、撮像部１０１により得られた画像信号は画質制御部Ｂ１１０にも出力される。画質制御部Ｂ１１０はホワイトバランス制御部Ｂ１１１と画質制御部Ｂ１１２から構成され、ホワイトバランス制御部Ｂ１１１はホワイトバランス制御部Ａ１０３と同等の機能を有している。
【００１７】
ただし、画像処理部Ａ１０２は、画像処理部Ｂ１１０と独立して制御可能であり、ホワイトバランス制御部Ｂ１１１にてホワイトバランス補正を行うためのホワイトバランス制御値はホワイトバランス制御部Ａ１０３で適用される値と異なる値でもよい。また、画質制御部Ｂ１１２は、画質制御部Ａ１０４と同等の機能を有していてもよいし、画質制御部Ａ１０４の一部の機能のみを有していてもよい。また、画質制御部Ｂ１１２は必須ではなく、何も処理を施さなくてもよい。
【００１８】
図２は、第１の実施形態に係るホワイトバランス制御のフローチャートを示す図である。ここからの処理はフローチャートに沿って説明する。
【００１９】
画質制御部Ｂ１１２から、もしくは画質制御部Ｂ１１２で処理を行わない場合はホワイトバランス制御部Ｂ１１１から出力された画像信号は、検出部１１３に入力される。検出部１１３は、画像内の輝度情報や色情報などの画像情報を検出して取得する（ステップＳ２０１）。ここで取得する色情報は、本実施形態では色差信号の信号値として説明するが、Ｒ，Ｇ，Ｂの各信号値の情報でもよいし、別の色空間における信号の情報でもよい。
【００２０】
検出部１１３で得られた色差値はホワイトバランス制御値算出部１１４に送られ、画像のホワイトバランスを適正なホワイトバランスにするためのホワイトバランス制御値の生成に使用される（ステップＳ２０２）。例えば、無彩色の被写体の色差値において（Ｒ−Ｇ）が正、（Ｂ−Ｇ）が負となっていた場合、既に画像信号に適用しているホワイトバランス制御値に対しＲのゲインを減少させ、Ｂのゲインを増加させた値を新たなホワイトバランス制御値としてホワイトバランス制御部Ｂ１１１で適用する（ステップＳ２０３）。これを繰り返すことで色差値が０に近づいていき、ホワイトバランスが適正に補正されることとなる。
【００２１】
なお、検出部１１３での処理およびホワイトバランス制御値算出部１１４での処理は撮像部１０１から出力される画像信号が更新するごとに処理を行ってもよいし、所定回数更新されるごとに処理を行ってもよい。また、検出部１１３は画像信号が更新するごとに処理を行い、ホワイトバランス制御値算出部１１４は検出部１１３から出力された色差値を所定回数分平均して用いるなど、検出部１１３とホワイトバランス制御値算出部１１４の処理の頻度を変えてもよい。
【００２２】
また、ホワイトバランス制御値算出部１１４で生成されたホワイトバランス制御値はホワイトバランス制御値判定部１１５にも送られる。ホワイトバランス制御値判定部１１５は、ホワイトバランス制御値が安定しているかの判定を行い、その判定結果を示す情報はホワイトバランス制御値生成部１１６へと送られる。
【００２３】
ホワイトバランス制御値判定部１１５での判定基準に関して、例えば、ホワイトバランス制御値の変化の方向を用いる方法がある。ホワイトバランス制御値を直前のホワイトバランス制御値とを比較し、増加しているか減少しているか等価かの変化方向の情報をメモリに格納するとともに（ステップＳ２０４）、所定期間分の変化方向の情報をメモリから取得する（ステップＳ２０５）。ここで、増加量や減少量に閾値を設け、閾値内の場合は等価としてもよい。
【００２４】
ステップＳ２０６では所定期間分のホワイトバランス制御値の変化方向の情報を用いてホワイトバランス制御値が安定しているか否かを判定する。
【００２５】
図３は、時間経過によるホワイトバランス制御値を黒点で示し、ホワイトバランス制御値の経時的な変化方向を増加（＋）、減少（−）、等価（＝）で示した図である。図３（ａ）で示すように、所定期間内に変化方向が増加から減少、もしくは減少から増加へと複数回反転している場合、ホワイトバランス制御値が安定していないと判定する。つまり所定期間内に変化方向が反転が複数回発生している場合にホワイトバランス制御値が安定していないと判定する。
【００２６】
また、図３（ｂ）で示すように、反転が生じる期間に等価が入っていた場合は等価の判定は無視し、増加もしくは減少のみの情報で判定を行う。そのため、この場合もホワイトバランス制御値が安定していないという判定結果となる。一方、図３（ｃ）の場合は増加から減少への反転が１回のみのため、安定しているという判定結果となる。なお、ＲゲインとＢゲインのどちらか一方でも安定していないという判定の場合はホワイトバランス制御値が安定していないという判定となる。
【００２７】
ホワイトバランス制御値生成部１１６では、ホワイトバランス制御値判定部１１５で安定していると判定されされた場合、特に何も処理を行わずにホワイトバランス制御値をホワイトバランス制御部Ａ１０３に適用する（ステップＳ２０８）。これにより記録や表示に用いられる画像に対して適正なホワイトバランス補正が適用されることとなる。
【００２８】
一方、ホワイトバランス制御値判定部１１５で安定していないと判定された場合、所定期間内のホワイトバランス制御値のうち複数の値を用いて新たなホワイトバランス制御値を生成する（ステップＳ２０７）。新たなホワイトバランス制御値の生成方法としては、所定期間内のホワイトバランス制御値の最大値、最小値、中間値、平均値、値の分布、所定の値の発生頻度の少なくとも１つを用いることで生成できる。
【００２９】
また、より新しいホワイトバランス制御値を優先するなど重み付けを行ってもよい。また、他の値に比べ極端に異なる値を無視するなど、ノイズと思われる値の除去を行ってもよい。ここで生成したホワイトバランス制御値はホワイトバランス制御部Ａ１０３に適用され（ステップＳ２０８）、これにより記録や表示に用いられる画像に対して安定したホワイトバランス補正が適用されることとなる。
【００３０】
本実施形態においては、上記の処理により、被写体や光源変化が少なくホワイトバランス制御値が安定している際には高精度のホワイトバランス制御が可能であり、被写体や光源変化が多くハンチングが発生しやすい環境であっても安定したホワイトバランス制御が可能である。
【００３１】
（第２の実施形態）
第２の実施形態は、ホワイトバランス制御値が安定しているか否かを判定する基準が第１の実施形態と異なる。第１の実施形態では、検出部１１３で得られる情報を色差値、ホワイトバランス制御値が安定しているか否かを判定する基準としてホワイトバランス制御値の変化方向を用いていた。第２の実施形態においては、検出部１１３で得られる情報をＲ、Ｇ、Ｂの各信号値、ホワイトバランス制御値が安定しているか否かを判定する基準をホワイトバランス制御値の変化量とする。
【００３２】
検出部１１３、ホワイトバランス制御値算出部１１４、ホワイトバランス制御値判定部１１５、ホワイトバランス制御値生成部１１６以外の処理に関しては第１の実施形態と同等であるため説明を省略する。また、ブロック図は第１の実施形態の図と同等である。また、ホワイトバランス制御のフローチャートを図４に示す。
【００３３】
まず、ステップＳ４０１では、検出部１１３で色情報としてＲ、Ｇ、Ｂの各信号値を取得し、ステップＳ４０２においてホワイトバランス制御値算出部１１４で無彩色の被写体の各信号値がＲ＝Ｇ＝ＢとなるようにＲゲインとＢゲインを算出する。なお、検出部１１３で得られた色情報は画質制御部Ｂ１１０で画像処理された画像の色情報であるため、画質制御部Ｂ１１０での補正を考慮してＲゲインとＢゲインを算出する必要がある。
【００３４】
また、第１の実施形態と同様に、撮像部１０１から出力される画像信号の更新に対する検出部１１３およびホワイトバランス制御値算出部１１４の処理の頻度を変えてもよい。算出されたＲゲインとＢゲインは、ステップＳ４０３でホワイトバランス制御部Ｂ１１１に適用される。
【００３５】
ステップＳ４０４では、算出されたホワイトバランス制御値をホワイトバランス制御部Ａ１０３で適用中のホワイトバランス制御値と比較し、ホワイトバランス制御値判定部１１５で差分値もしくは比率が所定値以内であるかを判定する（ステップＳ４０５）。ここで所定値以上の差が発生していた場合、ホワイトバランス制御値が安定していないと判定してホワイトバランス制御値生成部１１６でホワイトバランス制御値を加工する（ステップＳ４０６）。ここではホワイトバランス制御部Ａ１０３で適用中のホワイトバランス制御値に対し、所定の値を加減算もしくは所定の比率を乗算することで新たなホワイトバランス制御値を生成する。
【００３６】
ステップＳ４０７にて、新たに生成したホワイトバランス制御値をホワイトバランス制御部Ａ１０３に適用することで、記録や表示に用いられる画像に対して急激な変化を抑制し安定したホワイトバランス補正が適用されることとなる。
【００３７】
（第３の実施形態）
第３の実施形態では、ユーザー操作により所定の被写体を無彩色にするようにホワイトバランス制御の指示があった場合の処理を一例を説明する。ホワイトバランス制御値判定部１１５、ホワイトバランス制御値生成部１１６以外の処理に関しては第１の実施形態と同等であるため説明を省略する。また、ブロック図は第１の実施形態の図と同等である。また、ホワイトバランス制御のフローチャートを図５に示す。
【００３８】
入力部１０９によりホワイトバランス制御の指示を受け付けると（ステップＳ５０１）、ステップＳ５０２では第１の実施形態におけるステップＳ２０１からステップＳ２０３と同様の処理を行う。
【００３９】
ステップＳ５０３では、ホワイトバランス制御値判定部１１５においてホワイトバランス制御値が安定したか否かを判定する。本実施形態では、適正なホワイトバランス制御状態になっているかを判定基準として判定を行う。一例として、被写体の色差値が０もしくは所定の範囲内に入っていない場合はホワイトバランス制御が安定していないという判定となり、ステップＳ５０４にてホワイトバランス制御部Ａ１０３に適用するホワイトバランス制御値を更新せずに適用済みの値を維持する。
【００４０】
一方、ステップＳ５０３で被写体の色差値が０もしくは所定の範囲内に入っていた場合はホワイトバランス制御が安定しているという判定となり、ステップＳ５０５にて算出されたホワイトバランス制御値をホワイトバランス制御部Ａ１０３に適用する。
【００４１】
上記処理により、ユーザー操作によりホワイトバランス制御を行う際に、適正なホワイトバランス制御値が得られるまでは記録や表示に用いられる画像のホワイトバランスを維持し、適正なホワイトバランス制御値が得られた時点で新たに得られたホワイトバランス制御値を用いて制御を行う。こうすることで、ホワイトバランスが適正になるまでの不安定な状態をユーザーに見せること無く制御することが可能となる。
【００４２】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００４３】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００４４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００４５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００４６】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００４７】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００４８】
１０１  撮像部
１０２  画像処理部Ａ
１０３  ホワイトバランス制御部Ａ
１０４  画質制御部Ａ
１０５  制御部
１０６  記録再生処理部
１０９  入力部
１１０  画質制御部Ｂ
１１１  ホワイトバランス制御部Ｂ
１１２  画質制御部Ｂ
１１３  検出部
１１４  ホワイトバランス制御値算出部
１１５  ホワイトバランス制御値判定部
１１６  ホワイトバランス制御値生成部
【図１】
2019004366.tif 000003
【図２】
2019004366.tif 000004
【図３】
2019004366.tif 000005
【図４】
2019004366.tif 000006
【図５】
2019004366.tif 000007