(57)【要約】【課題】  画像処理装置において、特に画角が広い画像である場合に、通常のホワイトバランスでは本来注目したい領域以外の光源の影響を受けることで適切なホワイトバランスを得ることができなかった。【解決手段】  注目領域のから検出された白領域への距離情報を元に、注目領域に近い白領域の優先度を高くすることで、より注目領域に好適なホワイトバランスの調整を行う。【選択図】  図１
2019134332.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像データを取得する取得手段と、
前記画像データから所定の範囲内の色信号を有する白領域を検出する検出手段と、
前記白領域の色信号を用いて前記画像データのホワイトバランス調整値を算出する算出手段と
注目領域を決定する決定手段と、を有し、
前記算出手段は、前記注目領域と少なくとも１つの前記白領域との距離に基づいて前記ホワイトバランス調整値を算出する
ことを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記注目領域から所定の距離に含まれる白領域の色信号を用いてホワイトバランス調整値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目領域から前記白領域ごとの距離を算出する第１の距離算出手段と、
前記注目領域から前記白領域の距離が近いほど該白領域の優先度を高くする第１の重みづけ手段と、をさらに有し、
前記算出手段は、前記第１の重みづけ手段による優先度に基づいて前記ホワイトバランス調整値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検出手段による前記白領域の検出範囲または検出サイズを変更する変更手段、をさらに有し、
前記変更手段は、前記検出範囲に対して前記注目領域から所定の距離に含まれる白領域の割合が所定以上になるように前記検出範囲または検出サイズを変更することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記変更手段は、前記検出範囲に対して前記第１の重みづけ手段による優先度が高い白領域の割合が所定以上になるように前記検出範囲または検出サイズを変更することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記変更手段は、前記検出範囲が所定より小さくなった場合に前記検出範囲または検出サイズを初期化する請求項４又は５に記載の画像処理装置。
【請求項７】
前記被写体の奥行き情報を取得して前記注目領域に対する空間的な距離を算出する第２の距離算出手段、をさらに有し、
前記算出手段は、請求項１乃至６のいずれか１項の画像処理装置において、前記空間的な距離に基づいて前記ホワイトバランス調整値を算出することを特徴とする。
【請求項８】
隣接する前記白領域を輝度、色差の類似度に基づいてグループ化するグループ化手段と、
前記注目領域から前記白領域のグループごとの距離を算出する第３の距離算出手段と、
前記算出された距離に基づいて前記グループごとの優先度を決定する第２の重みづけ手段と、
をさらに有し、
前記算出手段は、前記注目領域から少なくとも１つの前記グループとの距離に基づいて前記ホワイトバランス調整値を算出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記決定手段は、ＵＩ手段に対するユーザ操作に応じて前記注目領域を決定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記決定手段は、通信を介して前記ＵＩ手段と接続して前記ユーザ操作の受信に応じて前記注目領域を決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記ＵＩ手段は、前記白領域、前記ホワイトバランス調整に用いる白領域、前記グループ化された白領域、前記優先度、の少なくともいずれかを画像とともに表示可能であることを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
前記算出されたホワイトバランス調整値を通信を介して外部装置へ画像データとともに出力する出力手段と、をさらに有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記注目領域内に前記白領域が検出された場合、前記算出手段は、前記注目領域内の白領域の信号値を用いてホワイトバランス調整値を算出することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
被写体の画像データを取得する取得手段と、
前記画像データから所定の範囲内の色信号を有する白領域を検出する検出手段と、
前記白領域の色信号を用いて前記画像データのホワイトバランスを調整する調整手段と、
注目領域を決定する決定手段と、を有し、
前記調整手段は、前記注目領域からの距離が近い白領域ほど、該白領域の色信号がより白を示す信号値に近くなるようにホワイトバランスを調整することを特徴とする画像処理装置。
【請求項１５】
前記調整手段は、前記注目領域から所定の距離に含まれる白領域の色信号を用いてホワイトバランスを調整することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
画像処理装置の制御方法であって、
被写体の画像データを取得するステップと、
注目領域を決定するステップと、
前記画像データから所定の範囲内の色信号を有する白領域を検出するステップと、
前記注目領域と少なくとも１つの前記白領域との距離に基づいてホワイトバランスを調整するステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１７】
ホワイトバランスを調整するステップにおいて、前記注目領域との距離が近い白領域ほど白に近くなるようにホワイトバランスを調整する、ことを特徴とする請求項１６に記載の画像処理装置の制御方法。
【請求項１８】
請求項１６又は１７に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
【請求項１９】
請求項１８に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に注目領域に対してより良好なホワイトバランス調整が可能な画像処理装置に関する。
【背景技術】
【０００２】
一般に、デジタルカメラやデジタルビデオカメラ等の、撮像素子を用いた撮像装置においては、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御には、マニュアルホワイトバランス制御とオートホワイトバランス制御とがある。マニュアルホワイトバランス制御は、予め白色被写体を撮像してホワイトバランス係数を求めておき、算出したホワイトバランス係数を画面全体に適用する制御である。一方、オートホワイトバランス制御は、撮像した画像から白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を算出し、算出したホワイトバランス係数を画面全体に適用する制御である。
【０００３】
ここで、従来のオートホワイトバランス制御について簡単に説明する。従来のオートホワイトバランス制御は、撮像された画像データのブロック毎に色評価値が求められ、色評価値が白検出領域に含まれる場合、そのブロックが白であると判定される。そして、白と判定されたブロックの画素の積分値が求められることにより、ホワイトバランス係数が算出される。
【０００４】
従来のオートホワイトバランス制御では、撮影する範囲内に複数の光源が存在する場面において、撮像した画像全体を一意のホワイトバランスに補正（調整）するため、複数の光源のそれぞれに対して適切なホワイトバランス補正を行うことができない。そのため、どれか一つの光源に対してホワイトバランス補正（調整）を行うか、すべての光源に対して平均的なホワイトバランス補正（調整）を行う。このようなホワイトバランス補正を行うとき、ユーザーの注目領域に対して適切なホワイトバランスを得られない場合があった。
【０００５】
このような課題を解決するために、ホワイトバランス補正を画像全体ではなく、所定の条件で限定した領域に合わせて、ホワイトバランスを補正する手段が知られている。例えば、特許文献１では、画像全体を複数の領域に分割してホワイトバランスを補正する場合に、注目領域を検出し、その注目領域を含む分割領域の評価値の優先度を上げてホワイトバランス補正を行う方法が開示されている。特許文献２では、表示された画像上に抽出された白領域（グレイ領域）を重畳表示すること、また白領域（グレイ領域）と判断する閾値をユーザーが任意に設定可能な構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２１１４１６
【特許文献２】特開２００２−１８５９７２
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、画面全体を領域分割したうえで、注目領域を含む分割領域を使ってホワイトバランスを調整しているため、その注目領域内に白領域（グレイ領域）が存在しなかった場合、適切なホワイトバランスにならない。特許文献２では、ユーザが白（グレイ）領域を容易に把握でき、また閾値を変更することで白（グレイ）領域とする範囲を変更可能であるが、指定した注目領域に合わせたホワイトバランスの補正については開示されていない。また、例えば、監視カメラのように長時間撮影し続けていて被写体が変わるような環境においては、いちいちユーザが設定を変更するような構成は煩わしい。
【０００８】
そこで、本発明の目的は、注目領域に白領域が含まれない場合においても、注目領域に対して好適なホワイトバランスの調整が可能な手段を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、被写体の画像データを取得する取得手段と、前記画像データから所定の範囲内の色信号を有する白領域を検出する検出手段と、前記白領域の色信号を用いて前記画像データのホワイトバランス調整値を算出する算出手段と注目領域を決定する決定手段と、を有し、前記算出手段は、前記注目領域と少なくとも１つの前記白領域との距離に基づいて前記ホワイトバランス調整値を算出することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、注目領域に白領域が含まれない場合においても、注目領域に対し好適なホワイトバランス調整を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図
【図２】本発明の第１の実施形態に係るホワイトバランス補正処理を示すフローチャート
【図３】本発明の第１の実施形態に係る白領域の検出を示す図
【図４】本発明の第１の実施形態に係る白領域の優先度決定の例を示す図
【図５】本発明の第２の実施形態に係るホワイトバランス補正処理を示すフローチャート
【図６】本発明の第２の実施形態に係る変更した白領域抽出範囲と優先度の関係を示す図
【図７】本発明の第３の実施形態に係るホワイトバランス補正処理を示すフローチャート
【図８】本発明の第３の実施形態に係る白領域のグループ化の例を示す図
【図９】本発明の第３の実施形態に係るグループ化された白領域に対する優先付けの例を示す図
【図１０】本発明の第４の実施形態に係る画像処理システムの構成例を示すブロック図
【図１１】本発明の第４の実施形態に係る注目領域の指定を示す図
【図１２】本発明の第４の実施形態に係る優先領域の表示を示す図
【図１３】本発明の第５の実施形態に係る白領域の優先度付けの例を示す図
【発明を実施するための形態】
【００１２】
以下に本発明の好ましい実施形態を、添付の図面にもとづいて詳細に説明する。以下では、画像処理装置として撮像装置（カメラ）を用いる例を説明するが、本発明は撮像装置に限定されず、ソフトウェアを用いたＰＣなどにおける画像処理にも適用できる。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態に係る画像処理装置である撮像装置１０００は、外部のクライアント装置８０（情報処理装置）と通信部７０を介して相互に通信可能に接続されている。なお、本実施形態では、撮像装置１０００とクライアント装置８０とが別体である例を説明しているが、撮像装置１０００とクライアント装置８０の一部（画像表示や操作パネルなど）が一体の構成であってもよい。撮像装置１０００は、外部から光をとり込んで画像信号を生成し、生成した画像信号を、通信部７０を介して、クライアント装置８０や不図示のサーバなどの外部装置に配信することが可能である。
【００１４】
画像入力部１０は、外部から光を取り込んで撮像することにより、周囲の被写体の画像信号を生成することで、画像取得する。不図示のレンズ群、ＩＲＣＦ（Ｉｎｆｒａｒｅｄ  Ｒａｙ  Ｃｕｔ  Ｆｉｌｔｅｒ：赤外光除去フィルタ）、撮像素子（イメージセンサー）、ＣＤＳ回路、ＡＧＣアンプ、およびＡ／Ｄ変換器を備える。画像入力部１０で被写体を撮影すると、レンズ群およびＩＲＣＦを通過した光学像が、ＣＣＤセンサ、ＣＭＯＳセンサなどから成る撮像素子（イメージセンサー）上に結像される。
【００１５】
撮像素子（イメージセンサー）は、撮像素子上に結像された光学像を光電変換して、アナログ画像信号として出力する。撮像素子（イメージセンサー）の表面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路は、撮像素子より入力した電気信号に対して相関二重サンプリング処理などを実施する。ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）アンプは、ＣＤＳ回路より入力された電気信号に対して増幅処理などを行う。Ａ／Ｄ変換器は、ＡＧＣアンプにより増幅処理されたアナログ信号をデジタル信号へと変換する。
【００１６】
白領域抽出部２０は、画像入力部１０から出力された画像信号（色信号）から白色であると判別される領域を検出する。例えば、撮像素子の領域を所定の枠数（本実施形態では２４×１６）でメッシュ状に分割してそれぞれを評価枠とし、領域ごとのＲＧＢ信号に基づいて算出した色評価値が所定の白範囲の評価値に含まれる領域を白領域として検出する。なお、以降、「白領域」は白に限られず、グレイすなわち無彩色の領域を含むものとする。
【００１７】
注目領域決定部３０は、画像入力部１０から出力された画像信号に対し注目する領域を決定する。例えば、クライアント装置８０へのユーザ操作により注目領域の設定する構成や、画像入力部１０により取得した画像から特定の顔や物体などを検出することに応答して注目領域を決定する構成とすることが可能である。
【００１８】
距離算出部４０は、注目領域決定部３０で決定された注目領域から抽出部３０で検出された白領域への距離を算出する。
【００１９】
優先度決定部５０では距離算出部４０で算出された距離情報を元に、白領域に対する優先度を決定する。
【００２０】
ホワイトバランス制御部６０（ＷＢ制御部）は、白領域抽出部２０で検出された白領域の信号が、予め設定された目標の白に近づくようにホワイトバランスゲインを算出する。その際、本実施形態においては、優先度決定部５０で決定された優先度に応じてホワイトバランス調整値（ゲイン）を決定する。そして、決定したホワイトバランス調整値（ゲイン）を用いてホワイトバランス（ＷＢ）を調整する。
【００２１】
通信部７０は、クライアント装置８０などの外部端末（情報処理装置など）へ、ホワイトバランス制御部６０（ＷＢ制御部）でホワイトバランスが調整された画像信号を出力する。また、例えば、映像配または本システムの状態や処理結果などを出力し、本システムの動作を制御するための制御情報などを外部端末から入力するために用いられる。不図示の制御部が、通信部７０を介して入力された情報を取得し、その情報に基づいて各機能ブロックの制御を行う。
【００２２】
クライアント装置８０は、上述した画像処理を施された画像信号を、通信部７０を介して取得し表示する。クライアント装置８０は、撮像装置１０００に対する制御指示が可能な外部端末の一部として構成されてもよい。クライアント装置８０が、タッチパネルやＰＣ画面などであり、クライアント装置８０に対する操作に基づいて、撮像装置１０００への指示が生成されるような構成としてもよい。
【００２３】
図２を参照して、画像入力部１０から入力された画像信号、注目領域に対して好適なホワイトバランス（ＷＢ）を得る処理について説明する。ＷＢ制御には様々な手法があるが、本実施形態では、画像から白い被写体の画像領域（白領域）を検出し、その画像領域を白にするようにホワイトバランス調整値を決定する方法を用いたＷＢ制御について説明する。図２は、本実施形態に係るホワイトバランス補正処理を示すフローチャートである。図２のフローチャートは、撮像装置１０００内の不図示の制御部によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００２４】
まず白領域抽出ステップＳ１０にて、イメージセンサーから出力された画像信号（色信号）から、白として判定された白領域を抽出する。ここで、図３は、本発明の第１の実施形態に係る白領域の検出を示す図である。画像入力部１０で取得した画像、および白領域抽出部２０によって抽出された白領域を示している。画像上の破線で示されたメッシュ状の評価領域のうち、白領域として抽出した領域（白領域Ｃ）の内部を斜線（灰色）で示している。光源Ａと光源Ｂの二つの光源が存在しているが、この段階では、入力された画像信号全体から白領域抽出を行っているため、光源によらず画像信号から一様に白領域Ｃが抽出されている。
【００２５】
注目領域決定ステップＳ１１では、イメージセンサーから出力された画像信号に対して、優先的にホワイトバランスをあわせる注目領域を決定する。注目領域は、ユーザ操作により設定したり、検出機能を使って検出された特定の被写体や、ユーザにより監視されている領域（切り出し表示されている領域）などを注目領域としてもよい。また、置き去り検知や人物検知などの、画像解析領域と連携して設定されてもよいし、例えば、ヒートマップなどから注目したい物体がよく出現する領域を取得して、その領域を注目領域として設定することも可能である。
【００２６】
白領域判定ステップＳ１２では、白領域抽出ステップＳ１０にてイメージセンサーから出力された画像信号から白領域が抽出されていたかを判定する。白領域が抽出されていた場合は距離算出ステップＳ１３へ進み、白領域が抽出されていない場合は本処理を終了する。本実施形態に係るＷＢ調整フローを終了したのちは、例えば画面全体の画素の積分値が白に近くなるようにゲインを調整するなど、白領域を使わない別の手法を用いてＷＢ調整を行う。
【００２７】
距離算出ステップＳ１３へ進むと、注目領域決定ステップＳ１１にて決定された注目領域から、白領域抽出ステップＳ１０で得られた各白領域までの距離情報を算出する。距離情報は、例えば、注目領域から各白領域までの画素数である。
【００２８】
優先度決定ステップＳ１４では、距離算出ステップＳ１３にて算出した距離情報（画素数）から各白領域の優先度を決定する。
【００２９】
図４は、本発明の第１の実施形態に係る白領域の優先度決定の例を示す図である。ステップＳ１３、Ｓ１４で、白領域抽出部２０、注目領域決定部３０、距離算出部４０、および優先度決定部４０によって、各白領域に対する優先度を決定する例を示している。図４において、優先度Ｅは、白領域Ｃ内に数字で示しており、数字が小さいほど優先度が高い。注目領域Ｄ内部の白領域の優先度は図示していないが、優先度「０」であり、最も優先度が高い。
【００３０】
優先度は、対象の白領域が注目領域から何画素離れているかに応じて設定され、注目領域から対象領域までの画素数が少ないほど優先度は高く、画素数が多いほど優先度は低くなる。白領域Ｃは画像信号全体から抽出され、注目領域Ｄからの距離（画素数）に応じて注目領域に近い白領域に対し優先度が高く設定される。これにより、複数の光源が存在していた場合でも、注目領域Ｄに照射されている光源に対して優先的にホワイトバランス補正を行うことが可能となる。
【００３１】
なお、注目領域Ｄは、ユーザ操作などに応じて設定された領域に限られず、特定の被写体を検出することで注目領域Ｄとしてその移動に応じて位置が変動するような構成であってもよい。また、注目領域内に白領域が検出された場合は、注目領域内の白領域が優先度がもっとも高くなる。その場合は、注目領域内の白領域のみを使ってホワイトバランスを調整することも可能である。
【００３２】
ホワイトバランス制御ステップＳ１５では、白領域抽出ステップＳ１０で抽出した白領域およびステップＳ１４にて決定した優先度を元にして、優先度の高い白領域がより白となるようなホワイトバランス（ＷＢ）制御を実施する。例えば、検出された白領域の信号を平均してホワイトバランス調整値（ゲイン）を決定するときに、優先度の高い白領域ほどその重みづけを大きくして平均を算出する。そうすることで、優先度の高い白領域の信号値がより白の信号値に近くなるようなホワイトバランスゲインを設定することができる。ステップＳ１５で本実施形態におけるホワイトバランス調整の処理は終了となる。
【００３３】
以上、本実施形態によれば、注目領域に近い白領域ほど重みをつけてホワイトバランス調整を行うので、注目領域の近傍の光源に合わせた好適なホワイトバランス調整が可能になる。
【００３４】
（第２の実施形態）
以下、図５と図６を参照して、本発明の第２の実施形態として、第１の実施形態において、さらに、優先度の高い白領域の割合に応じて、白領域を抽出する範囲を変更する構成について説明する。
【００３５】
図５は、第２の実施形態に係るホワイトバランス補正処理を示すフローチャートである。図５のフローチャートは、撮像装置１０００内の不図示の制御部によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００３６】
まず白領域抽出ステップＳ２０にて、イメージセンサーから出力された画像信号から、白として判定された白領域を抽出する。前述した図２におけるステップＳ１０と同様の処理である。
【００３７】
注目領域決定ステップＳ２１にて、イメージセンサーから出力された画像信号に対して、優先的にホワイトバランスをあわせる注目領域を決定する。前述した図２におけるステップＳ１１と同様の処理である。
【００３８】
白領域判定ステップＳ２２にて、白領域抽出ステップＳ２０にてイメージセンサーから出力された画像信号から白領域が抽出されていたかを判定する。前述した図２におけるステップＳ１２と同様の処理である。白領域が抽出されていた場合はステップＳ２３へ進み、白領域が抽出されていない場合は本処理を終了する。
【００３９】
距離算出ステップＳ２３にて、注目領域決定ステップＳ２１にて決定された注目領域から、白領域抽出ステップＳ２０で得られた各白領域までの距離情報（画素数）を算出する。前述した図２におけるステップＳ１３と同様の処理である。
【００４０】
優先度決定ステップＳ２４では、距離算出ステップＳ２３にて算出した距離情報（画素数）から各白領域の優先度を決定する。前述した図２におけるステップＳ１４と同様の処理である。
【００４１】
白領域検出範囲判定ステップＳ２５では、白領域として抽出された領域全体に対し優先度の高い白領域が占める割合を判定する。割合は、例えば、白領域全体の面積に対する優先度の高い白領域の面積、又は白領域として検出されたブロック数に対する優先度の高い白領域のブロック数に基づいて算出する。優先度が高い白領域が多くを占め、優先度が低い白領域が少ない場合はステップＳ２６へ進み、一方、優先度が高い白領域の割合が少ない場合はステップＳ２７へ進む。
【００４２】
ホワイトバランス制御ステップＳ２６では、白領域抽出ステップＳ２０で抽出した白領域および優先度決定ステップＳ２４にて決定した優先度を元にして、優先度の高い白領域がより白となるようなホワイトバランス制御を実施する。以上で本処理は終了する。前述した図２におけるステップＳ１５と同様の処理である。
【００４３】
一方、ステップＳ２７へ進んだ場合は、白領域抽出範囲変更ステップＳ２７にて、優先度の高い領域を多く含むように白領域抽出を実行する範囲を変更する。
【００４４】
ここで、図６は、本発明の第２の実施形態に係る変更した白領域抽出範囲Ｆと優先度Ｅの関係を示す図である。（１）は白領域抽出範囲Ｆの初期設定時を示しており、白領域Ｃの抽出を実行する範囲である、破線でメッシュ状に示された複数の評価領域（ブロック）を含む実線の四角形として示された白領域抽出範囲Ｆ１が、画角の全域となっている。ステップＳ２７が実行されることにより、（２）に示すように、白領域抽出範囲Ｆが白領域抽出範囲Ｆ２として各評価領域（ブロック）の大きさを小さくした白抽出範囲が新たに選択される。白抽出範囲全体を小さくすることで、（１）の場合より優先度の高い白領域Ｃの割合が多くなり、また、各評価領域を小さくすることで各評価領域の混色が低減され、より詳細な白領域Ｃの抽出を実行することができる。ここで、本実施形態では、評価領域が所定の枠数（例えば２４×１６）になるように白抽出範囲全体を小さする例を説明したが、処理能力が十分あれば白抽出範囲は画面全体のまま、各評価領域を細かくする構成としても構わない。
【００４５】
白領域抽出を実行する各検出領域のサイズや検出範囲を変更したのち、白領域抽出検出ステップＳ２０に戻り、白領域抽出範囲変更ステップＳ２７にて変更した白領域抽出範囲に対し白領域抽出を実行する。ステップＳ２０以降の処理を再度実行し、白領域の抽出範囲を変更した結果、ステップＳ２５にて優先度の高い白領域の割合が所定以上になっていた場合には、ステップＳ２６で優先度の高い白領域がより白となるようなホワイトバランス制御を行う。そして、本処理を終了する。
【００４６】
なお、本実施形態において、白検出範囲が小さくなり過ぎた場合は、白検出範囲の初期化を行う。例えば、面積などで画像全体に対する割合に関する閾値を設けておき、白検出範囲が閾値以下になった場合に、図６（１）に示すような初期設定時の白検出範囲Ｆ１に変更する。
【００４７】
以上、本実施形態によれば、注目被写体の近傍の優先度の高い白領域抽出の結果が得られるため、より注目被写体の周辺の光源に適したホワイトバランス制御を行うことが可能となる。
【００４８】
（第３の実施形態）
以下図７、図８および図９を参照して、本発明第３の実施形態による抽出された白領域のグループ化を行い、グループ化された各白領域に対して注目領域からの距離に応じた優先度に基づくホワイトバランス調整について説明する。
【００４９】
図７は、第３の実施形態に係るホワイトバランス補正処理を示すフローチャートである。画像入力部１０から入力された画像信号から抽出された白領域Ｃをグループ化し、グループ化された白領域Ｃに対して注目領域Ｄからの距離に応じた優先度Ｅを決定して、注目領域Ｄに対してホワイトバランス（ＷＢ）を調整する処理を示している。図７のフローチャートは、撮像装置１０００内の不図示の制御部によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００５０】
まず白領域抽出ステップＳ３０にて、イメージセンサーから出力された画像信号（色信号）から、白として判定された白領域を抽出する。前述した図２におけるステップＳ１０と同様の処理である。
【００５１】
注目領域決定ステップＳ３１にて、イメージセンサーから出力された画像信号に対して、優先的にホワイトバランスをあわせる注目領域Ｄを決定する。前述した図２におけるステップＳ１１と同様の処理である。
【００５２】
白領域判定ステップＳ３２にて、白領域抽出ステップＳ３０にてイメージセンサーから出力された画像信号から白領域Ｃが抽出されていたかを判定する。前述した図２におけるステップＳ１２と同様の処理である。白領域Ｃが抽出されていた場合はステップＳ３３へ進み、白領域Ｃが抽出されていない場合は本処理を終了する。
【００５３】
白領域グループ化ステップＳ３３では、白領域抽出ステップＳ３０にて抽出された各白領域Ｃに対し、輝度、色差の近い隣接領域を同一のグループとしてグループ化を実施する。図８は、白領域グループ化ステップＳ３３の処理に係る、白領域のグループ化の例を示す図である。輝度、色差情報を元に、白領域抽出された隣接した白領域を類似度に基づいてグループ化し、Ｇ１〜Ｇ７のグループに分けている。
【００５４】
距離算出ステップＳ３４では、注目領域決定ステップＳ３１にて決定された注目領域Ｄから、白領域グループ化ステップＳ３３で得られた各白領域グループまでの距離情報（画素数）を算出する。このとき、距離情報は、例えば、グループに含まれる白領域のうち、一番近い白領域までの距離としてもよいし、グループ化された領域の中心や重心の位置からの距離としてもよい。
【００５５】
優先度決定ステップＳ３５では、距離算出ステップＳ３４にて算出した距離情報から各白領域グループの優先度Ｅを決定する。図９は、優先度決定ステップＳ３５の処理に係る、グループ化された白領域に対する優先付けの例を示す図である。Ｇ１〜Ｇ７のグループに分けられた領域に対して、注目領域Ｄからの距離に応じた優先度設定が行われている。図９においては、Ｇ１が優先度１、Ｇ４が優先度２、Ｇ３が優先度３、に設定されている。白領域がグループ化されているため、白領域に対してそれぞれで優先度を設定する場合と比較して、優先度の高い白領域が拡張されることになる。
【００５６】
ホワイトバランス制御ステップＳ３６では、ステップＳ３３でグループ化した白領域について、ステップＳ３５にて決定した優先度を元にして、優先度の高い白領域グループがより白となるようにホワイトバランス（ＷＢ）を調整する。以上で、本フローチャートの処理は終了する。
【００５７】
以上、第３の実施形態によれば、より広範囲な白領域を得ることができ、評価対象が増えることによって、より好適なホワイトバランス（ＷＢ）制御を行うことが可能となる。
【００５８】
（第４の実施形態）
以下、図１０、図１１、および図１２を参照して、本発明の第４の実施形態によるユーザーが通信部を介して入力画像に注目領域を指定する構成について説明する。なお、前述の実施形態と同様の構成については同じ符号を付し、その説明を省略する。
【００５９】
図１０は、本発明の第４の実施形態に係る画像処理システムの構成例を示すブロック図である。本実施形態に係る画像処理装置である撮像装置１０００は、外部のクライアント装置８０（情報処理装置）と通信部を介して相互に通信可能に接続されている。クライアント装置７０は、不図示の通信部を介して、撮像装置１０００又はサーバなどの外部装置と通信することが可能である。
【００６０】
クライアント装置８０は、撮像装置１０００に対する制御指示が可能な外部端末の一部として構成される。クライアント装置８０は、注目領域設定ＵＩ部１８０、白領域表示ＵＩ部１９０を含む操作手段を有しており、その操作手段に対する操作に応じて撮像装置１０００への指示が生成される。
【００６１】
注目領域設定ＵＩ部１８０は、注目領域を設定するためのインターフェイスであって、コンピュータ上の画面と操作手段から構成される。ユーザーは、注目領域設定ＵＩ部１８０であるコンピュータ上のタッチパネル又は外部の操作手段を介して、注目領域を指定し、不図示の通信部を介して撮像装置１０００へ送信する。通信部７０を介して設定された注目領域を受信した撮像装置１０００は、注目領域決定部１３０に注目領域の指定を行う。
【００６２】
白領域表示ＵＩ部１９０は、白領域と優先度を表示するためのインターフェイスであって、不図示の通信部を介して撮像装置１０００から出力される画像信号、白領域、優先度の設定に関する表示をしてユーザに報知する。例えば、画像情報に白領域、優先度を重畳して表示可能で、ユーザーに対してどの領域を使用してホワイトバランスを制御しているかを通知することができる。
【００６３】
図１１は、ユーザーが注目領域設定ＵＩ部１８０にて注目領域を指定することを示す図である。ユーザーは任意の領域をＵＩ上で注目領域として設定し、不図示通信部を通じて、撮像装置１０００の優先領域決定部５０に設定することができる。
【００６４】
図１２は、白領域表示ＵＩ部１９０にて優先的にホワイトバランス（ＷＢ）を合わせる優先度の高い白領域を表示することを示す図である。ユーザーはＵＩ上に表示された白領域を確認し、ユーザーの意図した領域がホワイトバランス（ＷＢ）の補正範囲として使用されているかを確認することが可能となる。
【００６５】
以上、第４の実施形態によれば、外部のクライアント装置から、任意の注目領域が設定可能であり、また、優先度の高い白領域が表示され、どの領域に合わせてホワイトバランス（ＷＢ）が調整されているかを容易に確認することができる。
【００６６】
（第５の実施形態）
ここで、画像表面上の距離が近くても、被写体の空間的な距離が遠い場合も考えられる。例えば、注目被写体の背面に何も物体が存在せず、奥行きがあるようなシーンでは、画像表面上の距離だけで優先度を付けると、実際には距離が離れていて光源が異なる場合がある。そのような場合は、被写体の空間的な位置関係を取得して、その位置関係を加味して白領域の重みづけを行うことで、より注目領域に好適にホワイトバランス（ＷＢ）を調整することが可能である。
【００６７】
画像処理装置において、被写体の空間的な位置関係を取得する。取得方法は公知の技術を用いるため詳細な説明は割愛するが、例えば、撮像装置のイメージセンサーによる位相差情報や、測距センサの出力から測距情報を取得することが可能である。また、あらかじめクライアント装置に撮像範囲内の構造物の距離マップを登録しておいてもよい。
【００６８】
図１３は、本発明の第５の実施形態に係る白領域の優先度付けの例を示す図である。（１）は、第１の実施形態により白領域Ｃの優先度を付けた結果を示している。本実施形態による優先度付けの結果を（２）に示す。（１）で優先度を付けた白領域Ｃのうち、メッシュ内を黒く塗りつぶした除外領域Ｈは、白抽出結果から除外する。除外領域Ｈは、注目領域Ｄから奥行方向に離れた位置に存在する被写体であり、注目領域Ｄとは異なる光源環境である可能性があるため、この領域を除外することで注目領域Ｄにより好適なホワイトバランス（ＷＢ）を取得できる。
【００６９】
以上、第５の実施形態によれば、実空間での注目被写体との距離に基づいて白領域の優先度を決めるため、奥行方向に離れていて光源が異なるような領域の優先度を下げることができ、より注目被写体に好適なホワイトバランス調整が可能である。
【００７０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、本発明の技術思想の範囲内において、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。画像処理装置は、撮像装置の内部の処理に限定されず、外部のコンピュータ装置に適用することも可能である。
【００７１】
また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る画像処理装置を構成する各手段および画像処理装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００７２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７３】
１０００  撮像装置
１０  画像入力部
２０  白領域抽出部
３０  注目領域決定部
４０  距離算出部
５０  優先度決定部
６０  ホワイトバランス制御部
７０  通信部
８０  クライアント装置
【図１】
2019134332.tif 000003
【図２】
2019134332.tif 000004
【図３】
2019134332.tif 000005
【図４】
2019134332.tif 000006
【図５】
2019134332.tif 000007
【図６】
2019134332.tif 000008
【図７】
2019134332.tif 000009
【図８】
2019134332.tif 000010
【図９】
2019134332.tif 000011
【図１０】
2019134332.tif 000012
【図１１】
2019134332.tif 000013
【図１２】
2019134332.tif 000014
【図１３】
2019134332.tif 000015