(57)【要約】【課題】より精度の高い光源推定が可能な画像処理装置を提供すること。【解決手段】画像中で鏡面反射が生じている領域を判定する鏡面反射領域判定手段、画像から白信号を抽出する白信号抽出手段、ホワイトバランス制御を行うホワイトバランス制御手段、を備えた画像処理装置において、前記白信号抽出手段は、前記鏡面反射領域判定手段の判定結果に基づいて、白信号を抽出する領域を制御することを特徴とする。【選択図】図４
2019022027.tif 000002
【特許請求の範囲】
【請求項１】
入力画像において鏡面反射が生じている領域を判定する鏡面反射領域判定手段と、
前記入力画像から白信号を抽出する白信号抽出手段と、
前記白信号抽出手段の出力に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段と、
を備えた画像処理装置において、
前記白信号抽出手段は、前記鏡面反射領域判定手段の判定結果に基づいて、白信号を抽出する領域を制御することを特徴とする画像処理装置。
【請求項２】
前記白信号抽出手段は、前記鏡面反射領域判定手段により鏡面反射領域でないと判定された領域から、白信号を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力画像において鏡面反射が生じている領域を判定する鏡面反射領域判定手段と、
前記入力画像から白信号を抽出する白信号抽出手段と、
前記入力画像から鏡面反射信号を抽出する鏡面反射信号抽出手段と、
前記入力画像に対し、ホワイトバランス制御を行うホワイトバランス制御手段と、
を備えた画像処理装置において、
前記ホワイトバランス制御手段は、鏡面反射領域判定手段から出力される、領域情報に基づいて、前記白抽出手段と前記鏡面反射成分抽出手段の出力を参照し、ホワイトバランス制御を行うことを特徴とする画像処理装置。
【請求項４】
前記白信号抽出手段は、前記鏡面反射領域判定手段により鏡面反射領域でないと判定された領域から、白信号を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記鏡面反射信号抽出手段は、前記鏡面反射領域判定手段により鏡面反射領域と判定された領域から、鏡面反射信号を抽出することを特徴とする請求項３又は請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものであり、特に、ホワイトバランス制御を行う
画像処理装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラでは画像の色補正処理としてホワイトバランス制御が行われている。特にオートホワイトバランス制御では、入力画像中から白（無彩色）に近い被写体領域を抽出し、抽出した被写体領域が白になるようにホワイトバランスゲインをかけることが一般的に行われている。
【０００３】
特許文献１には、入力画像信号中から白（無彩色）に近い被写体領域を抽出し、抽出した被写体領域が白になるようなホワイトバランスゲインを算出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−６４２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、被写体表面で光が反射することにより、白っぽく見える領域（鏡面反射領域）も、ホワイトバランスゲインの算出対象とみなす。ここで、光の反射によって、白っぽく見える領域の色は、光が物体内部で乱反射した拡散反射光成分と、光が物体表面で反射した鏡面反射光成分の和で表わされる（２色性反射モデル）。したがって、被写体自身の色は白ではないが、光の反射によって白に近い色として抽出された領域から、ホワイトバランスゲインを算出すると、被写体自身の色の影響を受け、誤ったホワイトバランスゲインを算出してしまうという課題がある。
【０００６】
そこで、本発明の目的は、上記の課題を改善し、より精度良くホワイトバランス制御を行うことを可能にした画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る画像処理装置は、
入力画像において鏡面反射が生じている領域を判定する鏡面反射領域判定手段と、
画像から白信号を抽出する白信号抽出手段と、
前記白信号抽出手段の出力に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段と、
を備えた画像処理装置において、
前記白信号抽出手段は、前記鏡面反射領域判定手段の判定結果に基づいて、白信号を抽出する領域を制御することを特徴とする。
【発明の効果】
【０００８】
本発明に係る画像処理装置によれば、より精度良くホワイトバランス制御を行うことが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明におけるデジタルカメラの全体構成を示すブロック図である。
【図２】本発明におけるデジタルカメラの画像処理部の構成を示すブロック図である。
【図３】実施例１のホワイトバランス補正部の構成を示すブロック図である。
【図４】実施例１の処理の流れを示すフローチャートである。
【図５】本発明におけるブロックの分割例を示す図である。
【図６】実施例２のホワイトバランス補正部の構成を示すブロック図である。
【図７】実施例２の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１１】
以下、図１〜図５を参照して、本発明の第１の実施例における、画像処理装置について説明する。
【００１２】
図１はデジタルカメラ１００の構成を示すブロック図である。
【００１３】
図１において１００はデジタルカメラ全体、１０１はズームレンズ、フォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部、１０４は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理、色補正処理などの各種画像処理を行う画像処理部である。１０６は画像メモリ、１０７は画像メモリ１０６を制御するメモリ制御部、１０８は入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器、１０９はＬＣＤ等の表示器、１１０は画像データを圧縮符号化・復号化するコーデック部である。
【００１４】
１１１は記録媒体２００とのインタフェースＩ／Ｆ、１１２はメモリカードやハードディスク等の記録媒体、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。
【００１５】
１２０は各種の操作指示を入力するための操作部、１２１は電源スイッチ、１２２は電池の装着の有無、電池の種類、電池残量の検出を行う電源制御部、１２３は電源部である。
【００１６】
１２４は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００１７】
１２５は各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマ、１２６はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読みだしたプログラム等を展開するシステムメモリである。
【００１８】
次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本的な処理の流れについて説明する。
【００１９】
撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１０５に出力する。
【００２０】
画像処理部１０５は、Ａ／Ｄ変換器１０４からのベイヤーＲＧＢデータ、又は、メモリ制御部１０７から読み出したベイヤーＲＧＢデータが入力されると、以下の処理が行われる。まず、ホワイトバランス補正部１０５１によりホワイトバランスの補正処理が行われる。ホワイトバランス補正部の出力に対してＲＧＢ同時化処理部１０５２によりＲＧＢ同時化処理が行われる。ＲＧＢ同時化処理部１０５２の出力に対して、ガンマ処理部１０５３によりγ処理が行われる。ガンマ処理部１０５３の出力に対して、輝度・色信号生成部１０５４により輝度・色信号が生成され、輝度・色差信号Ｙ、Ｒ−Ｙ、Ｂ−Ｙの画像データが出力される。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。また、画像処理部１０５では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、などを行う。画像処理部１０５では更に、撮像した画像データを解析し、光源を推定し、推定した光源に基づきＡＷＢ（オートホワイトバランス）処理も行う。
【００２１】
画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。
【００２２】
また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。
【００２３】
コーデック部１１０は、画像メモリ１０６に記録された画像データをＭＰＥＧなどの規格に基づき圧縮符号化する。
【００２４】
上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読み出したプログラム等をシステムメモリ１２６に展開する。
【００２５】
以上、デジタルカメラ１００のブロック構成と、基本動作について説明した。
【００２６】
次に本実施例におけるホワイトバランス補正部１０５１の処理について図３のブロック図を用いて説明する。
【００２７】
３０１は鏡面反射領域判定部であり、領域毎に鏡面反射領域か否かを判定する。３０２は白信号抽出部であり、鏡面反射領域判定部３０１の判定結果に基づいて画像中から白信号の抽出を行う。３０３はホワイトバランス制御部であり、白信号抽出部３０２の抽出結果に基づいてホワイトバランスの制御を行う。
【００２８】
次に、本実施例の処理の概要について図４のフローチャートに基づいて説明する。
【００２９】
ステップＳ４０１では、画像を適当な大きさのブロックに分割する。例えば図５は５×５に分割した例であるが、分割数は適宜決めて良い。
【００３０】
ステップＳ４０２はループ処理の先頭であり、ステップＳ４０３とステップＳ４０４の処理を全ブロックに対して行う。
【００３１】
ステップＳ４０３では、鏡面反射領域判定部３０１が各ブロックが鏡面反射領域であるか否かを判定する。
【００３２】
ステップＳ４０４では、ステップＳ４０３で鏡面反射領域であると判定されたブロックを白抽出方式の対象外領域とする。
【００３３】
ステップＳ４０５はループの終了であり、全ブロックに対してステップＳ４０３とステップＳ４０４の処理を行ったらループを抜ける。
【００３４】
ステップＳ４０６では、白信号抽出部３０２がステップＳ４０４で白抽出方式の対象領域とされた領域において白抽出方式を適応し白信号を抽出する。
【００３５】
ステップＳ４０７では、白信号抽出部３０２がステップＳ４０６で抽出した白信号に基づいてＷＢ制御を行う。
【００３６】
以上、本実施例における処理の概要について説明した。
【００３７】
次に、ステップＳ４０３、Ｓ４０６、Ｓ４０７の処理の詳細について説明する。
【００３８】
ステップＳ４０３の鏡面反射領域の判定処理では、鏡面反射領域判定部３０１がブロック毎に鏡面反射領域が生じているか否かを判定する。判定方法としては、特許第４４４７５２０号公報で開示されているように近傍の画素の差分を用いて判定する。例えば図５で考えると、鏡面反射領域５０１は鏡面反射成分が大きいが、鏡面反射領域でない領域５０２は鏡面反射成分が小さいため、例えば輝度で比較すると鏡面反射領域５０１と鏡面反射領域でない領域５０２との間では輝度の差が大きい。また、鏡面反射領域は輝度が高いという特徴がある。その為、ブロック内に輝度が高い領域が含まれ、ブロック内の他の領域との差分が大きいブロックを鏡面反射領域と判定する。
【００３９】
ステップＳ４０６では、ステップＳ４０３、Ｓ４０４の処理結果に基づき、白信号抽出部３０２が白抽出方式の対象領域から白信号を抽出する。白信号を抽出する方法は、例えば先に挙げた特許文献１などの既知の方法を用いるが、ステップＳ４０４で白信号を抽出する方法を適応すると判定した領域から白信号の抽出を行う。ここで、ステップＳ４０３で鏡面反射領域と判定された領域は、白信号を抽出する対象領域とならない為、抽出される白信号の精度の向上が期待できる。また、抽出する白信号としては、（Ｒｗ、Ｇｗ、Ｂｗ）のようにＲＧＢの組が抽出されるものとする。
【００４０】
ステップＳ４０７では、ホワイトバランス制御部３０３がステップＳ４０６で抽出された白信号に基づいてホワイトバランスゲインを算出し、ゲインを各画素に乗算することにより、ホワイトバランス制御を行う。ホワイトバランスゲインの算出では、抽出された白信号（Ｒｗ、Ｇｗ、Ｂｗ）に対して、｜Ｒｗ｜＝｜Ｇｗ｜＝｜Ｂｗ｜となるように下記の式（１）からＲとＢについてのゲインを算出する。
【００４１】
ＧａｉｎＲ  ＝  Ｇｗ／Ｒｗ      （１）
ＧａｉｎＢ  ＝  Ｇｗ／Ｂｗ
式（１）で算出したホワイトバランスゲインを画像中の全画素に乗算することによりホワイトバランス制御を行う。
【００４２】
以上、本実施例における処理について説明した。
【実施例２】
【００４３】
第一の実施例では、鏡面反射領域と判定された領域以外から抽出した白信号に基づいてホワイトバランス制御を行う場合について説明した。
【００４４】
次に、本発明の第２の実施例として、鏡面反射領域と判定された領域から抽出した鏡面反射信号と、実施例１のように抽出した白信号との両方信号からホワイトバランス制御を行う場合について説明する。
【００４５】
以下、図６、図７を参照して、本発明の第２の実施例における、画像処理装置について説明する。
【００４６】
第二の実施例における全体構成は、図１に示した第一の実施例の場合と同様であるため、ここでは説明を省略する。
【００４７】
次に本実施例におけるホワイトバランス補正部２０１の処理について図６のブロック図を用いて説明する。
【００４８】
６０１は鏡面反射領域判定部であり、領域毎に鏡面反射領域か否かを判定する。６０２は白信号抽出部であり、鏡面反射領域判定部６０１の判定結果に基づいて鏡面反射領域でない領域から白信号の抽出を行う。６０３は鏡面反射信号抽出部であり、鏡面反射領域判定部６０１の判定結果に基づいて鏡面反射領域から鏡面反射信号の抽出を行う。６０４はホワイトバランス制御部であり、白信号抽出部６０２と鏡面反射信号抽出部６０３の抽出結果に基づいてホワイトバランスの制御を行う。
【００４９】
次に本実施例の処理の概要について図７のフローチャートに基づいて説明する。
【００５０】
ステップＳ７０１では、画像を適当な大きさのブロックに分割する。例えば図７は５×５に分割した例であるが、分割数は適宜決めて良い。
【００５１】
ステップＳ７０２はループ処理の先頭であり、ステップＳ７０３とステップＳ７０５の処理を全ブロックに対して行う。
【００５２】
ステップＳ７０３では、鏡面反射領域判定部６０１が各ブロックが鏡面反射領域であるか否かを判定する。
【００５３】
ステップＳ７０４では、ステップＳ７０３で鏡面反射領域であると判定されたブロックを白抽出方式の対象外領域とする。
【００５４】
ステップＳ７０５はループの終了であり、全ブロックに対してステップＳ７０３とステップＳ７０４の処理を行ったらループを抜ける。
【００５５】
ステップＳ７０６では、ステップＳ７０４の結果に基づき、白抽出方式の対象領域であるか否かを判定する。
【００５６】
ステップＳ７０７では、ステップＳ７０６で白抽出方式の対象領域であると判定された領域において白抽出方式を適応し白信号を抽出する。
【００５７】
ステップＳ７０８では、ステップＳ７０６で白抽出方式の対象領域でないと判定された領域において鏡面反射方式を適応し鏡面反射信号を抽出する。
【００５８】
ステップＳ７０９では、ホワイトバランス制御部６０４がステップＳ７０７、ステップＳ７０８で抽出した信号に基づいてホワイトバランス制御を行う。
【００５９】
以上、本実施例における処理の概要について説明した。
【００６０】
ステップＳ７０１からステップＳ７０７までの処理は実施例１のステップＳ４０１からステップＳ４０６と同様のため、詳細な説明は省略する。
【００６１】
次に、ステップＳ７０８、ステップＳ７０９の処理の詳細について説明する。
【００６２】
ステップＳ７０８では、白抽出方式の対象領域外である鏡面反射領域から鏡面反射信号の抽出を行う。２色性反射モデルにおいて鏡面反射光成分の強度は、被写体表面の材質や光源の位置などの影響で領域毎に異なるが、ホワイトバランス制御においては、例えば鏡面反射光成分がＲＧＢの組で表されるとすると、その比率が求まれば式（１）のようにホワイトバランスゲインが算出できるので、本実施例では鏡面反射信号として（Ｒｓ、Ｇｓ、Ｂｓ）の組を一つ抽出する。
【００６３】
本実施例では、実施例１と同様に特許第４４４７５２０で開示されているように画素の差分を用いて鏡面反射信号の抽出を行う。特許第４４４７５２０ではブロック内の画素を輝度の大きさでグループ分けし、最も輝度の高いグループに含まれる画素と、２番目に輝度の高いグループに含まれる画素との差分を鏡面反射信号として算出する。例えば、最も輝度の高いグループに含まれる画素の平均値と、２番目に輝度の高いグループに含まれる画素の平均値がＲＧＢで（Ｒ１、Ｇ１、Ｂ１）、（Ｒ２、Ｇ２、Ｂ２）で表されるとすると、鏡面反射信号は下記の式（２）で表される。
【００６４】
（Ｒｓ、Ｇｓ、Ｂｓ）  ＝  （Ｒ１−Ｒ２、Ｇ１−Ｇ２、Ｂ１−Ｂ２）      （２）
以上、鏡面反射信号を抽出する方法について説明した。
【００６５】
ステップＳ７０９では、ステップＳ７０７で抽出した白信号とステップＳ７０８で抽出した鏡面反射信号からホワイトバランス制御を行う。
【００６６】
ホワイトバランス制御においては、式（１）で表されるようにＲＧＢの組が一つ求まっていればホワイトバランスゲインの算出が可能であるので、白信号と鏡面反射信号を抽出した面積の割合によってそれぞれの信号に重みをかけてホワイトバランス制御に用いるＲＧＢの組を算出する。本実施例では、ブロック毎に信号の抽出方法を変えているので、それぞれの信号の抽出に用いたブロック数の割合を面積の割合とする。
【００６７】
ブロックの総数をＮ、白信号を抽出したブロックの個数をＮｗ、鏡面反射信号を抽出したブロックの個数をＮｓとすると、ホワイトバランス制御に用いるＲＧＢの組（Ｒｔ、Ｇｔ、Ｂｔ）は下記の式（３）で表される。
【００６８】
（Ｒｔ、Ｇｔ、Ｂｔ）  ＝  Ｎｗ／Ｎ×（Ｒｗ、Ｇｗ、Ｂｗ）
＋  Ｎｓ／Ｎ×（Ｒｓ、Ｇｓ、Ｂｓ）      （３）
式（３）で算出した（Ｒｔ、Ｇｔ、Ｂｔ）を用いて下記の式（９）のとおりホワイトバランスゲインを算出する。
【００６９】
ＧａｉｎＲ  ＝  Ｇｔ／Ｒｔ      （４）
ＧａｉｎＢ  ＝  Ｇｔ／Ｂｔ
式（４）で算出したホワイトバランスゲインを画像中の全画素に乗算することによりホワイトバランス制御を行う。
【００７０】
以上、本実施例における処理について説明した。
【００７１】
なお、本実施例では、白信号と鏡面反射信号を抽出する面積の割合に応じて重みをかけてホワイトバランスゲインを算出したが、面積以外の情報を用いて重みをかけてホワイトバランスゲインを算出してもよい。例えば、ステップＳ７０７やステップＳ７０８では白信号を抽出する対象領域全体から一つの白信号を抽出していたが、ブロック毎に白信号を抽出しブロック間での白信号のばらつき度合いを算出しておく。鏡面反射信号についても同様にブロック毎に信号を算出し、ブロック間での鏡面反射信号のばらつき度合いを算出する。算出した白信号のばらつき度合いと鏡面反射信号のばらつき度合いを比較し、ばらつき度合いの少ない信号の方がより精度が高いと考え、その信号の重みを重くしてホワイトバランスゲインを算出してもよい。
【００７２】
なお、本発明の各実施形態においては、鏡面反射領域の判定の際にブロック毎に判定を行っていたが、画素毎に判定を行ってもよい。
【００７３】
なお、本発明の実施形態においては、鏡面反射領域の判定や鏡面反射信号の抽出の際に画素の差分を用いる場合について説明したが、画素の差分を用いる場合に限らず例えば偏光情報を用いて鏡面反射領域の判定や鏡面反射信号の抽出を行ってもよい。
【符号の説明】
【００７４】
５０  システム制御部、１００  デジタルカメラ、１０１  レンズ群、
１０２  シャッター、１０３  撮像部、１０４  Ａ／Ｄ変換部、
１０５  画像処理部、１０６  画像メモリ、１０７  メモリ制御部、
１０８  Ｄ／Ａ変換部、１０９  表示部、１１０  コーデック部、
１１１  記録Ｉ／Ｆ、１１２  記録媒体、１１３  外部出力Ｉ／Ｆ、
１２０  操作部、１２１  電源スイッチ、１２２  電源制御部、１２３  電源部、
１２４  不揮発性メモリ、１２５  システムタイマ、１２６  システムメモリ、
２０１  ホワイトバランス補正部、２０２  ＲＧＢ同時化処理部、
２０３  ガンマ処理部、２０４  輝度・色差信号生成部、
３０１  鏡面反射領域判定部、３０２  白信号抽出部、
３０３  ホワイトバランス制御部、５０１  鏡面反射領域、
５０２  鏡面反射領域でない被写体領域、６０１  鏡面反射領域判定部、
６０２  白信号抽出部、６０３  鏡面反射信号抽出部、
６０４  ホワイトバランス制御部
【図１】
2019022027.tif 000003
【図２】
2019022027.tif 000004
【図３】
2019022027.tif 000005
【図４】
2019022027.tif 000006
【図５】
2019022027.tif 000007
【図６】
2019022027.tif 000008
【図７】
2019022027.tif 000009