(57)【要約】【課題】ホワイトバランスをより正確に調整する。【解決手段】アンテナ１３は、所定の信号強度で送信装置から送信されている信号を受信し、信号強度計測部３１は、その信号の信号強度を計測する。CPU５５は、信号強度計測部３１により計測される信号強度に基づいて、画像を撮像する撮像部１２による撮像時の光源を推定する。係数決定部５３は、その光源に応じて、撮像部１２から出力される画像データのホワイトバランスを調整するホワイトバランス係数を決定し、ホワイトバランス調整部４３は、画像データのホワイトバランスを調整する。本発明は、例えば、ディジタルカメラに適用できる。【選択図】図１
2009290734.tif 000002
【特許請求の範囲】
【請求項１】
所定の信号強度で送信装置から送信されている信号を受信する受信手段と、
前記受信手段により受信された信号の信号強度を計測する信号強度計測手段と、
前記信号強度計測手段により計測される信号強度に基づいて、画像を撮像する撮像手段による撮像時の光源を推定する推定手段と、
前記推定手段により推定された光源に応じて、前記撮像手段から出力される画像データのホワイトバランスを調整する調整手段と
を備える画像処理装置。
【請求項２】
前記通信装置が信号を送信する所定の信号強度に対する、前記信号強度計測手段により測定された信号強度の減衰率を算出する算出手段と、
前記撮像手段による撮像時の撮像条件と、前記減衰率とが関連付けられて登録されているデータベースと
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段から出力される画像データを検波する検波手段をさらに備え、
前記推定手段は、前記検波手段による検波結果をさらに用いて、前記光源を推定する
請求項１に記載の画像処理装置。
【請求項４】
前記推定手段は、前記検波手段が画像データを検波する際の無彩色領域の割合に応じて、前記検波手段による検波結果を用いるか否かを判定する
請求項３に記載の画像処理装置。
【請求項５】
前記撮像手段による撮像時の天候情報を取得する天候情報取得手段をさらに備え、
前記推定手段は、前記天候情報取得手段により取得される天候情報をさらに用いて、前記光源を推定する
請求項１に記載の画像処理装置。
【請求項６】
前記撮像手段による撮像時の時刻情報を取得する時刻情報取得手段をさらに備え、
前記推定手段は、前記時刻情報取得手段により取得される時刻情報をさらに用いて、前記光源を推定する
請求項１に記載の画像処理装置。
【請求項７】
所定の信号強度で送信装置から送信されている信号を受信し、
前記受信された信号の信号強度を計測し、
前記計測される信号強度に基づいて、画像を撮像する撮像手段による撮像時の光源を推定し、
前記推定された光源に応じて、前記撮像手段から出力される画像データのホワイトバランスを調整する
ステップを含む画像処理方法。
【請求項８】
所定の信号強度で送信装置から送信されている信号を受信し、
前記受信された信号の信号強度を計測し、
前記計測される信号強度に基づいて、画像を撮像する撮像手段による撮像時の光源を推定し、
前記推定された光源に応じて、前記撮像手段から出力される画像データのホワイトバランスを調整する
ステップを含む画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、ホワイトバランスをより正確に調整することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、ディジタルカメラにより被写体を撮像する際に、太陽光や蛍光灯などの光源（照明光）に応じて被写体の色温度が変化するため、画像の色（白色）を正しく再現するために、光源に応じたホワイトバランスの調整が行われている。ホワイトバランスの調整は、例えば、撮像素子が被写体を撮像して出力する画像データを検波した検波結果に基づいて光源を推定し、その光源に適したホワイトバランス係数に基づいて行われる。
【０００３】
しかしながら、一般的に、画像データからだけでは、光源を正確に推定することは困難であることが知られている。また、ホワイトバランスを調整する作業は煩雑であり、被写体に応じたホワイトバランスの適切な調整には熟練を要する。例えば、緑一色の森や、澄み切った青空、真っ赤な夕焼けなど、白色が非常に少ない被写体では、特に、画像データの検波結果に誤差や誤りが発生しやすく、光源を正確に推定することは困難である。
【０００４】
このように、画像データからでは光源を正確に推定することが困難であるため、例えば、画像データ以外のデータを参照することで、光源を推定する確度を向上させることが行われている。
【０００５】
例えば、特許文献１には、GPS（Global Positioning System）などからの電磁波を利用して地球上での位置情報を検出し、撮像時刻における、その位置における太陽の高度や、日出入時刻との時間差に基づいて光源（例えば、夕焼けなどが含まれるか否か）を推定し、ホワイトバランスを調整する技術が開示されている。
【０００６】
また、特許文献２には、画像をプリントアウトする際の補正処理に、センサが検出した気温および気圧に基づく天気情報、または、ネットワークを介して取得した天気情報に基づいて推定される光源（色温度）を利用する技術が開示されている。
【０００７】
【特許文献１】特開２００１−３３９７３９号公報
【特許文献２】特開２００４−４８５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、位置情報や、時間情報、天気情報などを用いて光源を推定することが行われているが、まだまだ誤推定も多い。光源を推定する確度をさらに向上させるため、撮影瞬間における撮影位置での撮影条件（特に、太陽光の影響度）を知り、ホワイトバランスをより正確に調整することが求められている。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、ホワイトバランスをより正確に調整することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、所定の信号強度で送信装置から送信されている信号を受信する受信手段と、前記受信手段により受信された信号の信号強度を計測する信号強度計測手段と、前記信号強度計測手段により計測される信号強度に基づいて、画像を撮像する撮像手段による撮像時の光源を推定する推定手段と、前記推定手段により推定された光源に応じて、前記撮像手段から出力される画像データのホワイトバランスを調整する調整手段とを備える。
【００１１】
本発明の一側面の画像処理方法またはプログラムは、所定の信号強度で送信装置から送信されている信号を受信し、前記受信された信号の信号強度を計測し、前記計測される信号強度に基づいて、画像を撮像する撮像手段による撮像時の光源を推定し、前記推定された光源に応じて、前記撮像手段から出力される画像データのホワイトバランスを調整するステップを含む。
【００１２】
本発明の一側面においては、所定の信号強度で送信装置から送信されている信号が受信され、その信号の信号強度が計測される。そして、信号強度に基づいて、画像を撮像する撮像手段による撮像時の光源が推定され、その光源に応じて、撮像手段から出力される画像データのホワイトバランスが調整される。
【発明の効果】
【００１３】
本発明の一側面によれば、ホワイトバランスをより正確に調整することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１５】
図１は、本発明を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【００１６】
図１において、ディジタルカメラ１１は、撮像部１２、アンテナ１３、通信処理部１４、天候計測部１５、画像信号処理部１６、記録部１７、表示部１８、および制御部１９から構成される。
【００１７】
撮像部１２は、光学レンズ２１および撮像素子２２を備えて構成される。光学レンズ２１は、複数枚のレンズ群を有しており、図示しない被写体の光を撮像素子２２の受光面に結像させる。撮像素子２２は、CCD（Charge Coupled Device）や、CMOS(Complementary Metal Oxide Semiconductor)センサなどのイメージセンサを有し、光学レンズ２１により結像される画像を光電変換した電気信号、即ち、画素単位の画像データを出力する。
【００１８】
アンテナ１３は、人工衛星などのように十分に高い場所に位置している通信装置からの電磁波を受信し、通信処理部１４に供給する。ここで、十分に高い場所に位置している通信装置としては、GPS衛星や、通信または放送を行う衛星、地上の建造物の高層階に設置されている通信装置などがある。
【００１９】
通信処理部１４は、後述するように、アンテナ１３により受信された通信信号の信号強度、および通信信号を復調して得られる素性情報を制御部１９に供給する。
【００２０】
天候計測部１５は、温度センサ、湿度センサ、および気圧センサを有しており、ディジタルカメラ１１による撮像時の温度、湿度、および気圧を計測し、それらの計測値に基づく天候情報（晴れ、曇り、雨、雪などを示す情報）を、制御部１９に供給する。
【００２１】
画像信号処理部１６には、撮像部１２が出力する画像データが供給される。画像信号処理部１６は、後述するように、画像データを検波した検波結果を制御部１９に供給し、制御部１９から、撮像部１２から出力される画像データのホワイトバランスを調整する際のパラメータであるホワイトバランス係数が供給される。そして、画像信号処理部１６では、そのホワイトバランス係数に基づいたホワイトバランス調整処理や、その他の様々な画像処理が画像データに施される。
【００２２】
記録部１７は、DRAM（Dynamic Random Access Memory）や、フラッシュメモリなどの各種の記録媒体を備えて構成されており、画像信号処理部１６において画像処理が施された画像データが供給され、その画像データを記録する。
【００２３】
表示部１８は、液晶パネルなどを備えて構成されており、画像信号処理部１６において画像処理が施された画像データが供給され、その画像データに基づいて、画像を表示する。
【００２４】
制御部１９は、後述するように、通信処理部１４から供給される信号強度情報および素性情報や、天候計測部１５から供給される天候情報、画像信号処理部１６から供給される検波結果などに基づいて、ホワイトバランス係数を決定し画像信号処理部１６に供給する。
【００２５】
次に、通信処理部１４、画像信号処理部１６、および制御部１９について、詳細に説明する。
【００２６】
通信処理部１４は、信号強度計測部３１および復調部３２を有する受信処理部３３と、変調部３４を有する送信処理部３５とを備えて構成される。
【００２７】
信号強度計測部３１には、アンテナ１３が受信した通信信号が供給され、信号強度計測部３１は、その通信信号の受信強度（レベル）を計測し、その受信強度を示す信号強度情報を制御部１９に供給する。
【００２８】
復調部３２には、アンテナ１３が受信した通信信号が供給され、復調部３２は、その通信信号を復調し、通信信号の内容に基づいて、送信元となっている通信装置が通信信号を出力する出力強度や、通信装置の位置（方向または距離）などを含む通信装置の素性を示す素性情報を取得する。
【００２９】
変調部３４は、ディジタルカメラ１１から外部の装置にアンテナ１３を介して情報を送信する際に、その情報を変調してアンテナ１３に供給する。なお、外部の装置に情報を送信する必要がなければ、変調部３４を設ける必要はない。
【００３０】
画像信号処理部１６は、検波部４１、一般画像処理部４２、ホワイトバランス調整部４３、および圧縮変換処理部４４を備えて構成される。
【００３１】
検波部４１には、撮像素子２２が出力する画像データが供給される。検波部４１は、制御部１９により決定されたパラメータに基づいて、画像データから無彩色領域（白色または薄い灰色（18％グレー）であると判断される領域）を検出する。そして、検波部４１は、無彩色領域の画素値（輝度）を色成分ごとに積分し、Ｒ成分、Ｇ成分、およびＢ成分それぞれの積分値を、検波結果として制御部１９に供給する。
【００３２】
一般画像処理部４２は、制御部１９の制御に従って、撮像素子２２が出力する画像データに対してホワイトバランス補正処理以外の一般的な画像処理を行い、画像処理を施した画像データをホワイトバランス調整部４３に供給する。例えば、一般画像処理部４２は、γ補正などの各種の補正処理や、ノイズリダクション処理などを行う。
【００３３】
ホワイトバランス調整部４３には、制御部１９の係数決定部５３からホワイトバランス係数が供給され、ホワイトバランス調整部４３は、そのホワイトバランス係数に基づいて、一般画像処理部４２から供給される画像データのホワイトバランスを調整する。即ち、ホワイトバランス調整部４３は、ホワイトバランス係数に基づいた増幅率で、画像データのＲ成分、Ｇ成分、Ｂ成分をそれぞれ増幅することで、被写体の白色が正確な白色で再現されるように補正する。
【００３４】
圧縮変換処理部４４は、制御部１９の制御に従い、一般画像処理部４２およびホワイトバランス調整部４３において処理が施された画像データに対して圧縮変換処理を施す。例えば、圧縮変換処理部４４は、画像データを、記録部１７に記録するための所定のフォーマット（例えば、JPEG（Joint Photographic Experts Group）やMPEG（Moving Picture Experts Group）など）に変換する圧縮処理や、所定のサイズに変換する解像度変換処理などを行う。
【００３５】
制御部１９は、データベース５１、時刻記憶部５２、係数決定部５３、メモリ５４、CPU（Central Processing Unit）５５を備えて構成される。
【００３６】
データベース５１は、画像の撮像時の撮像条件（例えば、屋内または屋外や、天候など）と、受信信号の強度の減衰率とが対応付けられているテーブルを格納する。データベース５１に格納されるテーブルについては、図２および図３を参照して後述する。
【００３７】
時刻記憶部５２は、時刻を計時するタイマと、タイマの出力を記憶するメモリとを有しており、CPU５５の制御に従って、ディジタルカメラ１１において画像が撮像された時刻（年日時）を示す時刻情報を記憶する。
【００３８】
係数決定部５３には、CPU５５により推定された光源を示す情報が供給される。係数決定部５３は、その光源に対応するホワイトバランス係数を決定する。例えば、係数決定部５３には、所定の光源と、その光源で撮像された画像における無彩色領域のＲ成分、Ｇ成分、Ｂ成分を等しくさせるホワイトバランス係数（Ｒ成分、Ｇ成分、Ｂ成分それぞれごとの係数）とが対応付けられて記憶されており、係数決定部５３は、CPU５５により推定された光源に対応付けられているホワイトバランス係数を、ホワイトバランス調整部４３に供給する。
【００３９】
メモリ５４は、ROM（Read Only Memory）や、RAM（Random Access Memory）、フラッシュメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））などであり、CPU５５が実行するプログラム（パラメータを算出するアルゴリズム）や、CPU５５の処理に必要なデータを記憶する。
【００４０】
CPU５５は、メモリ５４に記憶されているプログラムを実行して、ディジタルカメラ１１の各ブロックを制御する。例えば、CPU５５は、撮像部１２により撮像された画像を、記録部１７に記録させたり、表示部１８に表示させる制御を行う。
【００４１】
また、CPU５５には、画像信号処理部１６の検波部４１から画像データの検波結果が供給され、通信処理部１４の信号強度計測部３１から信号強度情報が供給され、通信処理部１４の復調部３２から通信装置の素性情報が供給され、天候計測部１５から天候情報が供給される。そして、CPU５５は、これらの情報を用いるとともに、データベース５１を参照して、撮像部１２が撮像した際の光源を推定し、その光源を示す情報を係数決定部５３に供給する。
【００４２】
例えば、CPU５５は、画像データの検波結果から、従来の方法と同様に、画像データに基づいた光源の推定を行う。また、CPU５５は、通信装置の素性情報に含まれる通信信号の出力強度と、信号強度計測部３１からの信号強度情報とに基づいて、通信信号の減衰率を算出し、データベース５１を参照して、その減衰率での撮像条件を求める。そして、CPU５５は、この撮像条件から、推定した光源の信頼度が高いと判定すれば、その光源をホワイトバランスの調整に用いるとする。また、CPU５５は、その信頼度が低いと判定すれば、減衰率や、天候情報などを用いて、より信頼度の高い光源を推定する。
【００４３】
また、例えば、CPU５５は、画像データの無彩色領域の割合に基づいて、その割合が低ければ、推定した光源の信頼度は低いと判定して、他の情報を用いて推定された光源をホワイトバランスの調整に用いるようにする。
【００４４】
次に、図２および図３を参照して、データベース５１に格納されるテーブルについて説明する。
【００４５】
図２は、通信信号の減衰率と、撮像条件としての場所および天候との関係を示したテーブルの例である。
【００４６】
図２に示すように、屋外において、晴れと曇りとの閾値として用いられる減衰率が２０％とされ、曇りと雨または雪との閾値として用いられる減衰率が４０％とされ、雨または雪と極めて悪天候との閾値として用いられる減衰率が６０％とされている。また、屋内においては、建造物により信号強度が減衰するため、天候の条件がないものと、晴れとの閾値として用いられる減衰率が４０％とされ、晴れと曇りとの閾値として用いられる減衰率が６０％とされ、曇りと雨または雪との閾値として用いられる減衰率が８０％とされている。
【００４７】
このように図２のテーブルには、撮像条件を求めるための減衰率の６つの閾値が登録されている。なお、送信元の通信装置の出力強度などの違いにより、各パラメータの境界が変化することがあり、それらの違いに応じて減衰率の閾値を変更してもよい。即ち、閾値は、図２の例に示した値に固定されるものではない。また、便宜上、屋内の例を１種類としているが、建造物の材質（木造、コンクリート、ガラスなど）や、建造物の厚みなどのパラメータに応じてさらに詳細に閾値を計測することにより、データベース５１の内容を詳細なものにすることができる。
【００４８】
また、図３を参照して、図２のテーブルについて説明する。
【００４９】
例えば、撮像場所が屋外である場合、通信信号の減衰に寄与するものには、宇宙でのチリや、大気、天候に応じた地表近くの状態（例えば、雲、雨、雪、霧）などがある。従って、減衰率が０〜２０％であれば、ほとんど遮るものがない状態であると考えられ、晴れの状態での減衰とされる。また、減衰率が２０〜４０％であれば雲による減衰とされ、減衰率が４０〜６０％であれば通常の雨や雪などによる減衰とされ、減衰率が６０〜１００％であれば悪天候（大雨や嵐）であって太陽光が届かない状態での減衰とされる。
【００５０】
また、撮像場所が屋内である場合、天候による減衰に加えて、建造物により通信信号が減衰する。ここで、建造物により最低でも４０％の減衰があるとし、減衰率が０〜４０％であることはなく、４０〜６０％であれば建造物と晴れによる減衰とされ、減衰率が６０〜８０％であれば建造物と曇りによる減衰とされる。減衰率が８０〜１００％であれば建造物と通常の雨や雪などによる減衰の状態、または、地下などの建造物の深い場所であり天候に関わらず太陽光の影響をほとんど受けない状態とされる。
【００５１】
次に、図４は、図１のディジタルカメラ１１におけるホワイトバランス調整処理を説明するフローチャートである。
【００５２】
例えば、ディジタルカメラ１１に電源が投入され、撮像部１２が撮像を開始すると処理が開始され、ステップＳ１１において、撮像部１２の撮像素子２２は、被写体を撮像した結果得られる画像データの出力を開始する。画像信号処理部１６の検波部４１および一般画像処理部４２は、撮像素子２２から出力される画像データを取得し、処理はステップＳ１２に進む。
【００５３】
ステップＳ１２において、信号強度計測部３１は、アンテナ１３が受信した通信信号の信号強度を示す信号強度情報をCPU５５に供給し、復調部３２は、アンテナ１３が受信した通信信号から得られる通信装置の素性情報をCPU５５に供給する。また、天候計測部１５は、温度、湿度、および気圧の計測値に基づく天候情報をCPU５５に供給する。CPU５５は、それらの情報を取得し、処理はステップＳ１３に進む。
【００５４】
ステップＳ１３において、CPU５５は、ステップＳ１２で信号強度計測部３１から供給される信号強度情報と、復調部３２から供給される素性情報とに基づいて、受信信号の減衰率を算出する。即ち、上述したように、素性情報には、通信装置が通信信号を出力する出力強度が含まれており、CPU５５は、例えば、その出力強度に対する、受信信号の信号強度の割合を減衰率として算出する。
【００５５】
ステップＳ１３の処理後、処理はステップＳ１４に進み、CPU５５は、ステップＳ１３で算出した減衰率に基づいた推定を行う。例えば、CPU５５は、データベース５１を参照し、ステップＳ１３で算出した減衰率に対応する撮像条件を、撮像部１２により画像が撮像された際の条件として推定する。
【００５６】
ステップＳ１４の処理後、処理はステップＳ１５に進み、CPU５５は、撮像素子２２により撮像された画像に基づいて光源を推定する推定処理（図５のフローチャートの処理）を行い、処理はステップＳ１６に進む。なお、この推定処理は、従来のディジタルカメラにおいて行われている処理と同様のものである。
【００５７】
ステップＳ１６においてCPU５５は、ステップＳ１４で減衰率に基づいて推定した撮像条件と、ステップＳ１５の推定処理において推定された光源とが一致しているか否かを判定する。
【００５８】
例えば、ステップＳ１４で減衰率に基づいて推定した撮像条件と、ステップＳ１５の推定処理において推定された光源とが一致したと判定される例としては、撮像条件が屋外かつ晴れまたは曇りであり、光源が太陽光である場合や、撮像条件が屋外かつ極めて悪天候であり、光源が人工照明（蛍光灯／白熱電球）である場合、撮像条件が屋内かつ曇り、雨、または雪であり、光源が人工照明（蛍光灯／白熱電球）である場合などがある。
【００５９】
また、ステップＳ１４で減衰率に基づいて推定した撮像条件と、ステップＳ１５の推定処理において推定された光源とが一致していないと判定される例としては、撮像条件が屋外かつ晴れまたは曇りであり、光源が人工照明（蛍光灯／白熱電球）である場合や、撮像条件が屋外かつ極めて悪天候であり、光源が太陽光である場合、撮像条件が屋内かつ曇り、雨、または雪であり、光源が太陽光である場合などがある。なお、ここで、ステップＳ１３で算出した減衰率が40〜80％である場合には、太陽光と人工照明との両方の影響がある可能性があり、ステップＳ１４において撮像条件を確定することができない（グレー損である）ため、撮像条件と光源とが一致していないと判定し、時刻情報や天候情報などを追加した上での処理を行う。
【００６０】
ステップＳ１６において、CPU５５が、撮像条件と光源とが一致していないと判定した場合、処理はステップＳ１７に進む。
【００６１】
ステップＳ１７において、CPU５５は、ステップＳ１２で取得した複数の情報に基づいて光源を推定する推定処理（図６のフローチャートの処理）を行う。
【００６２】
ステップＳ１６の推定処理の処理後、または、ステップＳ１５において、CPU５５が撮像条件と光源とが一致したと判定した場合、処理はステップＳ１８に進む。
【００６３】
ステップＳ１８において、係数決定部５３は、ホワイトバランス係数を決定する。例えば、ステップＳ１６で撮像条件と光源とが一致したと判定されている場合には、ステップＳ１５の推定処理で推定された光源を示す情報が、CPU５５から係数決定部５３に供給され、係数決定部５３は、その光源に基づいてホワイトバランス係数を決定する。一方、ステップＳ１６で撮像条件と光源とが一致していないと判定されている場合には、ステップＳ１７で行われる推定処理において光源を示す情報が係数決定部５３に供給されており、係数決定部５３は、その光源に基づいて、ホワイトバランス係数を決定する。係数決定部５３は、ホワイトバランス係数をホワイトバランス調整部４３に供給し、処理はステップＳ１９に進む。
【００６４】
ステップＳ１９において、ホワイトバランス調整部４３は、ステップＳ１８で係数決定部５３から供給されたホワイトバランス係数に基づいて、撮像素子２２から出力される画像データのホワイトバランスを調整し、処理は終了する。
【００６５】
次に、図５は、図４のステップＳ１５における推定処理を説明するフローチャートである。
【００６６】
ステップＳ２１において、検波部４１は、あらかじめ設定されている色のバランスを示すパラメータに従って、無彩色領域である画素を推定し、処理はステップＳ２２に進む。
【００６７】
ステップＳ２２において、検波部４１は、ステップＳ２１で無彩色領域であると推定された画素が、光源の推定に用いるために満たすべき所定の条件である選別条件に合致しているか否かを判定する。
【００６８】
ステップＳ２２において、選別条件に合致していないと判定された場合、処理はステップＳ２１に戻り、無彩色領域である画素を推定する処理がパラメータを変更して行われ、選別条件に合致したと判定されるまで繰り返される。
【００６９】
そして、ステップＳ２２において、検波部４１が選別条件に合致したと判定した場合、処理はステップＳ２３に進み、検波部４１は、選別条件に合致した画素の画素値（輝度）を、色成分ごとに積分する。
【００７０】
ステップＳ２３の処理後、処理はステップＳ２４に進み、検波部４１は、画素の画素値を色成分ごとに積分した積分値を検波結果としてCPU５５に供給する。CPU５５は、その検波結果に基づいて、例えば、色成分ごとの画素値のバランス（割合）に基づいて光源を推定し、推定処理は終了する。
【００７１】
次に、図６は、図４のステップＳ１７における推定処理を説明するフローチャートである。
【００７２】
ステップＳ３１において、CPU５５は、ステップＳ１１で取得された画像データの全画素数にしめる、図５のステップＳ２１で無彩色領域であると推定された画素の画素数の割合が、４０％以上であるか否かを判定する。
【００７３】
ステップＳ３１において、CPU５５が、画像データの全画素数にしめる無彩色領域であると推定された画素の画素数の割合が４０％以上であると判定した場合、処理はステップＳ３２に進む。
【００７４】
ステップＳ３２において、CPU５５は、図４のステップＳ１５の画像に基づく推定処理において推定された光源を、ホワイトバランス係数を決定するのに用いる光源として選択する。そして、CPU５５は、その光源を示す情報を係数決定部５３に供給し、処理は終了する。即ち、この場合、画像データに含まれる無彩色領域の割合が高く、多くの画素の画素値を用いて光源の推定を行っているため、画像に基づく推定処理における推定結果の信頼度が高く、従って、その推定結果を選択する。
【００７５】
一方、ステップＳ３１において、CPU５５が、画像データの全画素数にしめる無彩色領域であると推定された画素の画素数の割合が４０％以上でないと判定した場合、処理はステップＳ３３に進む。
【００７６】
ステップＳ３３において、CPU５５は、画像データの全画素数にしめる無彩色領域であると推定された画素の画素数の割合が５％未満であるか否かを判定する。即ち、画像データの全画素数にしめる無彩色領域であると推定された画素の画素数の割合が５％未満である場合には、画像データに含まれる無彩色領域の割合が極端に低く、光源の推定に用いられている画素が少なすぎるため、画像に基づく推定処理における推定結果の信頼度が著しく低く、従って、信号減衰率に基づいて光源を推定する。
【００７７】
ステップＳ３３において、CPU５５が、画像データの全画素数にしめる無彩色領域であると推定された画素の画素数の割合が５％未満であると判定された場合、処理はステップＳ３４に進み、CPU５５は、図４のステップＳ１３で算出された受信信号の減衰率が８０％以上であるか否かを判定する。
【００７８】
ステップＳ３４において、CPU５５が受信信号の減衰率が８０％以上であると判定した場合、処理はステップＳ３５に進み、CPU５５は、ホワイトバランス係数を決定するのに用いる光源として人工光源を選択する。即ち、この場合、受信信号の減衰率が高いため、太陽光の影響をほとんど受けていないと考えられる。CPU５５は、人工光源を示す情報を係数決定部５３に供給し、処理は終了する。
【００７９】
一方、ステップＳ３４において、CPU５５が受信信号の減衰率が８０％以上でないと判定した場合、処理はステップＳ３６に進み、CPU５５は、受信信号の減衰率が４０％未満であるか否かを判定する。
【００８０】
ステップＳ３６において、CPU５５が受信信号の減衰率が４０％未満であると判定した場合、処理はステップＳ３７に進み、CPU５５は、ホワイトバランス係数を決定するのに用いる光源として太陽光を選択する。即ち、この場合、受信信号の減衰率が低いため、屋外である可能性が高いと考えられる。CPU５５は、太陽光を示す情報を係数決定部５３に供給し、処理は終了する。
【００８１】
次に、ステップＳ３３において、CPU５５が、画像データの全画素数にしめる無彩色領域であると推定された画素の画素数の割合が５％未満でないと判定した場合、または、ステップＳ３６において、CPU５５が、受信信号の減衰率が４０％未満でないと判定した場合、処理はステップＳ３８に進む。即ち、この場合、無彩色領域の割合がある程度あり、かつ、受信信号の減衰率も中間的であり、受信信号の減衰率が場所によるものなのか天候によるものかを正確に判断することが難しいため、さらに他の情報が利用される。
【００８２】
ステップＳ３８において、CPU５５は、時刻記憶部５２に記憶されている時刻情報を参照し、撮像部１２により画像が撮像された時刻が夜間であるか否かを判定する。
【００８３】
ここで、例えば、CPU５５が、時刻が夜間であるか否かを正確に判定するために、例えば、データベース５１に日出日入情報が格納されるようにするとともに、通信処理部１４を介した通信によりGPS衛星などから出力される信号に基づいて位置情報を取得するようにしてもよい。そして、CPU５５は、その位置情報と時刻情報に基づいて日出日入情報のデータベースを参照することにより、より正確に、時刻が夜間であるか否かを判定することができる。また、時刻記憶部５２は、内蔵するタイマにより時刻情報を取得する他、通信処理部１４を介した通信により、例えば、GPS衛星などから出力される情報や、時刻サーバから得られる情報などに基づいて時刻情報を取得してもよい。
【００８４】
ステップＳ３８において、CPU５５が、時刻が夜間であると判定した場合、処理はステップＳ３９に進み、CPU５５は、ホワイトバランス係数を決定するのに用いる光源として人工光源を選択する。即ち、この場合、太陽光が光源である可能性はないものと考えられる。CPU５５は、人工光源を示す情報を係数決定部５３に供給し、処理は終了する。
【００８５】
一方、ステップＳ３８において、CPU５５が、時刻が夜間でないと判定した場合、処理はステップＳ４０に進み、CPU５５は、天候計測部１５から供給される天候情報が、太陽光の影響が比較的に大きい晴れまたは曇りを示しているか否かを判定する。
【００８６】
ステップＳ４０において、CPU５５が、天候情報が晴れまたは曇りを示していると判定した場合、処理はステップＳ４１に進み、CPU５５は、受信信号の減衰率が４０％未満であるか否かを判定する。
【００８７】
ステップＳ４１において、CPU５５が、受信信号の減衰率が４０％未満であると判定した場合、処理はステップＳ４２に進み、CPU５５は、ホワイトバランス係数を決定するのに用いる光源として太陽光を選択する。CPU５５は、太陽光を示す情報を係数決定部５３に供給し、処理は終了する。
【００８８】
一方、ステップＳ４１において、CPU５５が、受信信号の減衰率が４０％未満でないと判定した場合、処理はステップＳ４３に進み、CPU５５は、ホワイトバランス係数を決定するのに用いる光源として人工光源を選択する。CPU５５は、人工光源を示す情報を係数決定部５３に供給し、処理は終了する。
【００８９】
一方、ステップＳ４０において、CPU５５が、天候情報が晴れまたは曇りを示していないと判定した場合、例えば、天候情報が雨や雪などを示している場合、処理はステップＳ４４に進み、CPU５５は、受信信号の減衰率が６０％未満であるか否かを判定する。
【００９０】
ステップＳ４４において、CPU５５が、受信信号の減衰率が６０％未満であると判定した場合、処理はステップＳ４５に進み、CPU５５は、ホワイトバランス係数を決定するのに用いる光源として太陽光を選択する。CPU５５は、太陽光を示す情報を係数決定部５３に供給し、処理は終了する。
【００９１】
一方、ステップＳ４４において、CPU５５が、受信信号の減衰率が６０％未満でないと判定した場合、処理はステップＳ４６に進み、CPU５５は、ホワイトバランス係数を決定するのに用いる光源として人工光源を選択する。CPU５５は、人工光源を示す情報を係数決定部５３に供給し、処理は終了する。
【００９２】
ここで、ステップＳ３５、ステップＳ３９、ステップＳ４３、またはステップＳ４６においては、光源として人工光源が選択されているが、人工光源には、蛍光灯や電球など複数の種類があり、人工光源が選択され、かつ、画像に基づく推定処理（図５のフローチャートの処理）において、光源が太陽光であると推定されている場合には、光源を選択する条件として太陽光以外のものを選択するとして、再度、最も可能性の高い光源を選択した後に、最終的に最も可能性の高い光源を決定してもよい。
【００９３】
以上のように、ディジタルカメラ１１は、光源の推定に、画像データだけでなく、通信信号の減衰率を用いるので、画像データだけを用いた場合よりも光源を推定する確度を高めることができる。また、光源の推定に、天候情報および時刻情報をさらに用いることによって、光源を推定する確度をさらに高めることができる。このように、光源の推定を従来より細分化して行うことで、従来よりも、ホワイトバランスを正確に調整することができる。
【００９４】
即ち、例えば、画像データだけを用いて光源を推定する場合には、無彩色領域を推定する処理や、光源の推定に用いるため選別条件を判定する処理などで誤りが生じることがあり、検波結果としての積分値に誤差が累積することがあったため、画像データの検波結果から推定される光源の信頼性が低いことがあった。特に、画像に含まれる無彩色領域が少ない場合、推定される光源の信頼性が低くなる。
【００９５】
これに対し、ディジタルカメラ１１では、画像データの検波結果から推定される光源の信頼性を、受信信号の減衰率から確認することができ、その信頼性が低い場合に、複数の情報に基づいて光源を推定するので、光源の推定の信頼性を向上させることができる。また、画像に含まれる無彩色領域が少ない場合、画像データから推定される信頼性の低い光源を用いることなく、受信信号の減衰率に基づいて光源を推定することで、その信頼性を向上させることができ、ホワイトバランスを正確に調整することができる。
【００９６】
また、推定した光源を表示部１８に表示してユーザに提示することで、ユーザに光源の調整を促すようにしてもよい。
【００９７】
なお、本実施の形態においては、画像データに基づいて光源を推定する推定処理を行っているが、例えば、ゲート規模などの制約により、この推定処理を行う機能を制御部１９に組み込むことができない場合がある。しかしながら、ディジタルカメラ１１では、そのような場合でも、受信信号の減衰率に基づく推定を行うことにより、ある程度の光源の推定を行うことができる。
【００９８】
また、通信信号を送信する通信装置が複数ある場合、例えば、複数の衛星からの通信信号を通信処理部１４が受信する場合、複数の通信信号の減衰率から撮像条件を求めることができるので、より正確な撮像条件を求めることができ、これにより、ホワイトバランスをより正確に調整することができる。
【００９９】
例えば、通信処理部１４が４つの衛星からの通信信号を受信するとき、４つの衛星からの通信信号の減衰率が低ければ、見晴らしのいい屋外で撮像が行われていると推定することができる。また、４つの衛星からの通信信号のうちの、１つの通信信号の減衰率が高ければ、屋外であっても建造物の影（減衰率の高い通信信号を送信した衛星に対しての影）で撮像が行われていると推定することができる。さらに、素性情報から衛星の方角が分かれば、どの方角に建造物があるのかが分かり、例えば、南側に建造物があることが分かれば、日陰になっている確率が高いと推定し、日陰に適したホワイトバランス係数を選択することができる。このように、複数の衛星からの通信信号から撮像条件を求めることで、１つの衛星からの通信信号の場合よりも、信頼度を向上させることができる。
【０１００】
また、通信処理部１４が通信信号を受信した受信位置を示す受信位置情報を取得する場合、例えば、通信装置の素性情報に含まれている送信位置情報と照合することで、通信信号の伝播距離や、通信装置の正確な方向などを算出することができる。そして、例えば、通信信号の伝播距離や通信装置の方向などと、撮像条件とが対応付けられているテーブルをあらかじめ作成しておくことで、そのテーブルを参照することで、より正確な撮像条件を求めることができ、これにより、ホワイトバランスをより正確に調整することができる。なお、受信位置情報は、ユーザがディジタルカメラ１１に入力したり、GPS衛星との通信により取得してもよい。
【０１０１】
また、例えば、朝、昼、夜など時間帯に応じた光源をデータベース５１に登録しておくことで、時刻記憶部５２から得られる時刻情報に基づいてデータベース５１を参照して、光源を推定することができる。例えば、時刻が夜である場合、太陽光が光源である可能性は低いと推定することができる。
【０１０２】
さらに、例えば、時刻情報と太陽の角度を示す情報とを対応付けてデータベース５１に登録したり、衛星の位置情報などをデータベース５１に登録しておくことでも、それらの情報を参照して、より正確に光源を推定することができ、ひいては、より正確にホワイトバランスを調整することができる。
【０１０３】
また、データベース５１には、図２を参照して説明したように、減衰率と天候とが対応付けられており、例えば、ディジタルカメラ１１が天候計測部１５を備えていなかったり、通信処理部１４を介してネットワーク経由で天候情報を取得することができない場合でも、データベース５１を参照することで、天候情報に基づいた光源の推定を行うことができる。即ち、ディジタルカメラ１１は、天候計測部１５を必ず備えている必要はなく、天候計測部１５を設けるというコストを掛けることなく天候情報に基づいた光源の推定を行うことができる。
【０１０４】
なお、例えば、ディジタルカメラ１１では、通信処理部１４を介して、ネットワーク経由で取得した天候情報を用いてもよいが、その天候情報は、その地域のその時間帯での天候を示すものであり、ディジタルカメラ１１により撮像が行われた時刻および場所とはずれが生じたものである。また、天候計測部１５により取得される温度、湿度、気圧などの測定値だけでは、天候を確定するのには困難な場合がある。従って、通信処理部１４を介して取得した天候情報や、天候計測部１５の計測結果に基づく天候情報だけでなく、データベース５１を参照して得られる天候情報を用いることで、撮像時の天候をより正確に求めることができる。
【０１０５】
また、ディジタルカメラ１１は、データベース５１を内蔵しているが、例えば、通信処理部１４を介して外部のデータベースを参照してもよい。この場合、データベースに登録する情報の容量の制限がなく、より詳細なデータベースを作成することができる。そして、詳細なデータベースを参照することで、詳細に分類された光源を推定することができ、これにより、ホワイトバランスをより詳細に調整することができる。
【０１０６】
また、ディジタルカメラ１１が内蔵するCPU５５により、各種の情報に基づいた演算を行うのではなく、通信処理部１４を介して、それらの情報を外部のデータベースサーバに送信し、より処理能力の高いCPUで演算を行うとともに、より大きなデータベースを参照するようにしてもよい。これにより、CPU５５の処理能力に伴う制約がなくなり、より複雑な演算を行うことができ、ホワイトバランスをより詳細に調整することができる。
【０１０７】
なお、信号強度計測部３１が通信信号の信号強度を取得するタイミングは、撮像部１２による撮像時に限られるものではない。例えば、信号強度計測部３１は、定期的に信号強度を取得しておき、複数の信号強度を平均化した値を用いたり、必要に応じた重み付けをした値を用いるなどができ、これにより、信号強度の信頼性を向上させることができる。
【０１０８】
さらに、例えば、通信処理部１４において受信することができる通信信号があらかじめ決められており、その通信信号を出力する通信装置の位置および出力強度が固定のものである場合には、それらの情報をあらかじめ記憶しておくことで、復調部３２が通信装置の素性情報を取得する必要はない。
【０１０９】
なお、ディジタルカメラ１１では、撮像部１２が出力する画像データに対し画像処理を施すことなく記録部１７に記録することができ、画像データに付随する情報として、通信信号の信号強度、通信装置の素性情報、天候情報、および時刻情報などを、記録部１７に記録させることができる。これにより、例えば、パーソナルコンピュータを利用して、ユーザが画像処理を行うとき、それらの情報を参照することで、より最適な画像処理を行うことができる。
【０１１０】
また、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであってもよいし、複数のCPUによって分散処理されるものであってもよい。また、プログラムは、必要に応じて通信処理部１４を介してしてダウンロードし、メモリ５４にインストールすることができる。
【０１１１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１２】
【図１】本発明を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【図２】通信信号の減衰率と、撮像条件としての場所および天候との関係を示したテーブルの例である。
【図３】図２のテーブルを説明する図である。
【図４】ディジタルカメラ１１におけるホワイトバランス調整処理を説明するフローチャートである。
【図５】画像に基づく推定処理を説明するフローチャートである。
【図６】複数の情報に基づく推定処理を説明するフローチャートである。
【符号の説明】
【０１１３】
１１  ディジタルカメラ，  １２  撮像部，  １３  アンテナ，  １４  通信処理部，  １５  天候計測部，  １６  画像信号処理部，  １７  記録部，  １８  表示部，  １９  制御部，  ２１  光学レンズ，  ２２  撮像素子，  ３１  信号強度計測部，  ３２  復調部，  ３３  受信処理部，  ３４  変調部，  ３５  送信処理部，  ４１  検波部，  ４２  一般画像処理部，  ４３  ホワイトバランス調整部，  ４４  圧縮変換処理部，  ５１  データベース，  ５２  時刻記憶部，  ５３  係数決定部，  ５４  メモリ，  ５５  CPU
【図１】
2009290734.tif 000003
【図２】
2009290734.tif 000004
【図３】
2009290734.tif 000005
【図４】
2009290734.tif 000006
【図５】
2009290734.tif 000007
【図６】
2009290734.tif 000008