(57)【要約】【課題】レンズ交換式デジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもホワイトバランス処理を精度良く行うことができる画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体を提供する。【解決手段】画像処理装置は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する画像取得部４６と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する絞り値判定部４７と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行うシーン判定部４９と、シーン判定部４９による対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定するパラメータ決定部５０とを備える。【選択図】図１３
2016144006.tif 000002
【特許請求の範囲】
【請求項１】
着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する画像取得部と、
前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定する絞り値判定部と、
前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行うシーン判定部と、
前記シーン判定部による前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定するパラメータ決定部とを備える画像処理装置。
【請求項２】
前記シーン判定部は、前記対象画像の解析を行い、当該解析の結果に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項１に記載の画像処理装置。
【請求項３】
前記シーン判定部は、前記対象画像における被写体の形状、色、配置、面積及び空間周波数に基づく要素のうち少なくともいずれか１つの要素に基づいて前記対象画像の解析を行う請求項２に記載の画像処理装置。
【請求項４】
前記シーン判定部は、
前記対象画像の解析を行って、前記対象画像を撮影した際の前記絞り値として代表絞り値を採用した場合における前記対象画像の被写体の輝度情報を取得し、
前記輝度情報に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項２又は３に記載の画像処理装置。
【請求項５】
前記代表絞り値は２．８以上８以下の範囲のＦ値に対応する請求項４に記載の画像処理装置。
【請求項６】
前記代表絞り値は４以上５．６以下の範囲のＦ値に対応する請求項４に記載の画像処理装置。
【請求項７】
前記シーン判定部は、前記対象画像の解析を行って、予め定められる第１のキーターゲットが前記対象画像に含まれるか否かの評価を、前記対象画像を撮影した際の前記絞り値として代表絞り値を採用した場合に基づいて行い、当該評価に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項２又は３に記載の画像処理装置。
【請求項８】
前記シーン判定部は、前記対象画像の解析を行って、前記対象画像を撮影した際の前記絞り値として前記代表絞り値を採用した場合における前記対象画像の被写体の輝度情報を取得し、前記第１のキーターゲットが前記対象画像に含まれるか否かの評価を前記輝度情報に基づいて行う請求項７に記載の画像処理装置。
【請求項９】
前記シーン判定部は、
前記第１のキーターゲットに割り当てられる輝度を示す輝度条件を前記代表絞り値に基づいて決定し、
前記輝度情報が前記輝度条件に該当するか否かに基づいて前記第１のキーターゲットが前記対象画像に含まれるか否かの評価を行う請求項８に記載の画像処理装置。
【請求項１０】
前記第１のキーターゲットは青空の画像である請求項７〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記シーン判定部は、
前記対象画像を撮影した際の焦点距離を取得し、
前記対象画像の解析を行って被写体の特徴情報を取得し、
前記焦点距離及び前記特徴情報に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項２又は３に記載の画像処理装置。
【請求項１２】
前記シーン判定部は、前記焦点距離及び前記特徴情報に基づいて被写体距離を取得し、当該被写体距離に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項１１に記載の画像処理装置。
【請求項１３】
前記特徴情報は、予め定められる範囲内のサイズを有する被写体の前記対象画像におけるサイズに関する情報である請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記特徴情報は、顔、車、建造物及び空のうちの少なくともいずれか１つの被写体の前記対象画像におけるサイズに関する情報である請求項１１〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記シーン判定部は、前記対象画像の解析を行って予め定められる第２のキーターゲットが前記対象画像に含まれるか否かの評価を行い、当該評価に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項２又は３に記載の画像処理装置。
【請求項１６】
前記第２のキーターゲットは、青空、太陽、虹及び山のうちの少なくともいずれか１つの画像であり、
前記シーン判定部は、前記第２のキーターゲットが前記対象画像に含まれると評価した場合には前記対象画像の撮影シーンが屋外であると判定する請求項１５に記載の画像処理装置。
【請求項１７】
前記シーン判定部は、前記第１の判定処理によって前記対象画像の撮影シーンが屋外ではないと判定した場合、前記対象画像の画素値の大きさを代表する画像レベル及び前記対象画像の構成色間の比率のうち少なくともいずれか一方に基づいて前記対象画像の撮影シーンを判定する第２の判定処理を行う請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記シーン判定部は、前記第２の判定処理において、前記画像レベルの大きさを示す画像レベル値が判定閾値よりも大きければ前記対象画像の撮影シーンを屋外と判定する請求項１７に記載の画像処理装置。
【請求項１９】
撮像素子と、
請求項１〜１８のいずれか一項に記載の画像処理装置とを備え、
撮像素子から出力される画像を前記対象画像とする撮像装置。
【請求項２０】
着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得するステップと、
前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定するステップと、
前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行うステップと、
前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定するステップとを備える画像処理方法。
【請求項２１】
着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、
前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定する手順と、
前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行う手順と、
前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラム。
【請求項２２】
着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、
前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定する手順と、
前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行う手順と、
前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートホワイトバランス処理（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ処理：ＡＷＢ処理）を行う画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体に係り、特に、撮影の際の絞り値が得られない場合にもホワイトバランス処理（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ処理：ＷＢ処理）を行うことができるＡＷＢ処理技術に関する。
【背景技術】
【０００２】
画像撮影時の光の状況を自動的に判断してホワイトバランスを調整するＡＷＢ処理技術が広く使われている。
【０００３】
例えば特許文献１に開示される撮影装置では、撮像素子から出力されデジタル信号に変換された画像信号のＷＢ処理が画像処理回路において行われる。また特許文献２及び特許文献３に開示される撮像装置では、被写体の輝度値と被写体距離とに基づいて被写体が屋内にあるのか屋外にあるのかが推定され、その推定の結果に基づいてＷＢ処理が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２４５６９５号公報
【特許文献２】特開２００５−０８００１１号公報
【特許文献３】特開２００４−１８７２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影された画像の色調は、被写体の物体色の影響を受ける。そのため被写体の色情報だけではなく明るさ情報（輝度情報）にも基づいて撮影の際の光源色（例えばＲＧＢ（赤緑青）等の色比）が推定され、その推定された光源色の影響を低減するようなホワイトバランスゲイン（Ｗｈｉｔｅ  Ｂａｌａｎｃｅゲイン：ＷＢゲイン）が特定されてＡＷＢ処理が行われることがある。
【０００６】
すなわち、被写体が同色であっても異なる光源下で撮影された複数の画像に対しては、対応の光源に応じたＷＢ処理を行うことが好ましい。そのため、同じ色の被写体を含む複数の画像であっても、その同色の被写体が明るく写されている画像に適用するＷＢゲインと、その同色の被写体が暗く写されている画像に適用するＷＢゲインとが変えられるケースがある。例えば明るいオレンジの被写体については屋外の土の物体色が強く反映されていると推定し、画像中のＲ成分比（赤成分比）を増大させるようなＷＢゲインを使ってＡＷＢ処理を行うことができる。一方、暗いオレンジの被写体については電球の光源色が強く反映されていると推定し、画像中のＲ成分比を低減させるようなＷＢゲインを使ってＡＷＢ処理を行うことができる。
【０００７】
このようにＡＷＢ処理において被写体の色情報だけではなく被写体の輝度情報を活用することで、より高精度なＷＢ処理を行うことが可能になる。このような被写体の輝度情報は、Ｆ値等の絞り値に基づいて特定される。
【０００８】
しかしながら、本体部にレンズ部が取り外し可能に装着されるレンズ交換式デジタルカメラによって画像が撮影される場合、レンズ部と本体部との間で情報通信が適切に行われないと、本体部は撮影画像の絞り値の情報をレンズ部から取得できず、被写体の輝度情報を得ることができない場合がある。例えば通信機能を本来的に持たないレンズ部を使って撮影が行われる場合やレンズ部と本体部との間で通信障害が発生している場合、本体部は、撮影の際に設定された絞り値の情報をレンズ部から取得することができないため、被写体の輝度情報を正確に推定することが難しい。また外付けのＮＤ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）フィルタが装着されている場合には、絞り値から被写体の輝度情報を正確に求めることが難しい。
【０００９】
特に近年におけるレンズ交換式デジタルカメラの人気の高まりとともに、通信機能を持たない所謂オールドレンズを積極的に使ってオールドレンズによってもたらされる独特の画質特性を楽しみたいというユーザも増えてきている。オールドレンズが使われて画像撮影が行われ、本体部が撮影の際に用いられた絞り値を取得できずにＡＷＢ処理を適切に行うことができない状況であっても、ホワイトバランス調整（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ調整：ＷＢ調整）に慣れた上級ユーザであれば、自らの嗜好に応じて個別的に特定のＷＢゲインを選定して画像のＷＢ処理を行うことも容易である。例えば、上級ユーザは、撮影した画像をＲＡＷ形式で保存しておき、現像ソフトを使ってそのＲＡＷ形式の画像のＷＢ処理を行い、画像の色調を好みに応じて変えて楽しむことも多い。
【００１０】
その一方で、初級ユーザにとっては、ＡＷＢ処理を利用せずに個別的にＷＢゲインを選定してＷＢ処理を精度良く行うことは多大な困難を伴うため、オールドレンズの使用意欲が削がれてしまう。そのため、本体部との間で情報通信を行うことができないようなオールドレンズなどのレンズ部を使って撮影された画像であっても、ＷＢ処理を精度良く行うことを可能にする新たなＡＷＢ処理技術の提案が望まれている。また、レンズ部が本体部の通信規格に沿って製造されておらず、レンズ部と本体部との間で完全な通信を行うことができないようなサードパーティ製の交換レンズについても同様である。
【００１１】
しかしながら上述の特許文献１〜特許文献３は、レンズ部と本体部との間で情報通信が適切に行われない場合においてもＷＢ処理を精度良く行うことができる技術を開示も示唆もせず、そのような技術を開示又は示唆する他の文献も見当たらない。
【００１２】
本発明は上述の事情に鑑みてなされたものであり、レンズ交換式のデジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもＷＢ処理を精度良く行うことが可能なＡＷＢ処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の一態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する画像取得部と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する絞り値判定部と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行うシーン判定部と、シーン判定部による対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定するパラメータ決定部とを備える画像処理装置に関する。
【００１４】
本態様によれば、絞り値が取得できない場合であっても、少なくとも対象画像に基づいて撮影シーンが判定され、ホワイトバランスの調整パラメータが決定される。したがってレンズ交換式のデジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもＷＢ処理を精度良く行うことができる。
【００１５】
望ましくは、シーン判定部は、対象画像の解析を行い、解析の結果に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【００１６】
本態様によれば、対象画像の解析によって、撮影シーンを精度良く判定することができる。
【００１７】
望ましくは、シーン判定部は、対象画像における被写体の形状、色、配置、面積及び空間周波数に基づく要素のうち少なくともいずれか１つの要素に基づいて対象画像の解析を行う。
【００１８】
本態様によれば、対象画像の解析を精度良く行うことができ、撮影シーンを的確に判定することが可能になる。
【００１９】
望ましくは、シーン判定部は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、輝度情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【００２０】
本態様によれば、代表絞り値に基づいて撮影シーンを精度良く判定することができる。
【００２１】
望ましくは、代表絞り値は２．８以上８以下の範囲のＦ値に対応する。
【００２２】
より望ましくは、代表絞り値は４以上５．６以下の範囲のＦ値に対応する。
【００２３】
これらの態様によれば、一般に汎用性の高いＦ値が代表絞り値として選定されるため、被写体の輝度情報の取得及び撮影シーンの判定を精度良く行うことができる。
【００２４】
望ましくは、シーン判定部は、対象画像の解析を行って、予め定められる第１のキーターゲットが対象画像に含まれるか否かの評価を、対象画像を撮影した際の絞り値として代表絞り値を採用した場合に基づいて行い、評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【００２５】
本態様によれば、第１のキーターゲットが対象画像に含まれるか否かの評価に基づいて撮影シーンを精度良く判定することができる。
【００２６】
望ましくは、シーン判定部は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、第１のキーターゲットが対象画像に含まれるか否かの評価を輝度情報に基づいて行う。
【００２７】
本態様によれば、第１のキーターゲットが対象画像に含まれるか否かの評価を、被写体の輝度情報に基づいて精度良く行うことができる。
【００２８】
望ましくは、シーン判定部は、第１のキーターゲットに割り当てられる輝度を示す輝度条件を代表絞り値に基づいて決定し、輝度情報が輝度条件に該当するか否かに基づいて第１のキーターゲットが対象画像に含まれるか否かの評価を行う。
【００２９】
本態様によれば、第１のキーターゲットが対象画像に含まれるか否かの評価を、輝度条件に基づいて精度良く行うことができる。
【００３０】
望ましくは、第１のキーターゲットは青空の画像である。
【００３１】
本態様によれば、青空の画像が対象画像に含まれるか否かの評価に基づいて撮影シーンを精度良く判定することができる。
【００３２】
望ましくは、シーン判定部は、対象画像を撮影した際の焦点距離を取得し、対象画像の解析を行って被写体の特徴情報を取得し、焦点距離及び特徴情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【００３３】
本態様によれば、対象画像を撮影した際の焦点距離及び被写体の特徴情報に基づいて撮影シーンを精度良く判定することができる。
【００３４】
望ましくは、シーン判定部は、焦点距離及び特徴情報に基づいて被写体距離を取得し、被写体距離に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【００３５】
本態様によれば、被写体距離に基づいて撮影シーンを精度良く判定することができる。
【００３６】
望ましくは、特徴情報は、予め定められる範囲内のサイズを有する被写体の対象画像におけるサイズに関する情報である。
【００３７】
本態様によれば、サイズ情報に基づいて、被写体距離を精度良く求めることができる。
【００３８】
望ましくは、特徴情報は、顔、車、建造物及び空のうちの少なくともいずれか１つの被写体の対象画像におけるサイズに関する情報である。
【００３９】
本態様によれば、被写体距離を比較的簡便に求めることができる。
【００４０】
望ましくは、シーン判定部は、対象画像の解析を行って予め定められる第２のキーターゲットが対象画像に含まれるか否かの評価を行い、評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【００４１】
本態様によれば、第２のキーターゲットが対象画像に含まれるか否かの評価に基づいて撮影シーンを精度良く判定することができる。
【００４２】
望ましくは、第２のキーターゲットは、青空、太陽、虹及び山のうちの少なくともいずれか１つの画像であり、シーン判定部は、第２のキーターゲットが対象画像に含まれると評価した場合には対象画像の撮影シーンが屋外であると判定する。
【００４３】
本態様によれば、比較的簡便に撮影シーンを判定することができる。
【００４４】
望ましくは、シーン判定部は、第１の判定処理によって対象画像の撮影シーンが屋外ではないと判定した場合、対象画像の画素値の大きさを代表する画像レベル及び対象画像の構成色間の比率のうち少なくともいずれか一方に基づいて対象画像の撮影シーンを判定する第２の判定処理を行う。
【００４５】
本態様によれば、第２の判定処理に基づいて撮影シーンを更に精度良く判定することができる。
【００４６】
望ましくは、シーン判定部は、第２の判定処理において、画像レベルの大きさを示す画像レベル値が判定閾値よりも大きければ対象画像の撮影シーンを屋外と判定する。
【００４７】
本態様によれば、画像レベル値と判定閾値との比較によって簡便に撮影シーンを判定することができる。
【００４８】
望ましくは、判定閾値は、対象画像の構成色間の比率に応じて定められる。
【００４９】
本発明の他の態様は、撮像素子と、上記の画像処理装置とを備え、撮像素子から出力される画像を対象画像とする撮像装置に関する。
【００５０】
本発明の他の態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得するステップと、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定するステップと、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行うステップと、対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定するステップとを備える画像処理方法に関する。
【００５１】
本発明の他の態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する手順と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行う手順と、対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラムに関する。
【００５２】
本発明の他の態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する手順と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行う手順と、対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【発明の効果】
【００５３】
本発明によれば、絞り値が取得できない場合であっても、少なくとも対象画像に基づいて撮影シーンが判定され、ホワイトバランスの調整パラメータが決定される。したがってレンズ交換式のデジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもＷＢ処理を精度良く行うことができる。
【図面の簡単な説明】
【００５４】
【図１】図１は、コンピュータに接続されるデジタルカメラの一例を示すブロック図である。
【図２】図２は、デジタルカメラの他の例を示すブロック図である。
【図３】図３は、本体側コントローラの構成例を示すブロック図である。
【図４】図４は、画像処理部の適用例を示すブロック図であり、（ａ）はコンピュータに画像処理部を適用した例を示し、（ｂ）はサーバに画像処理部を適用した例を示す。
【図５】図５は、画像処理部の機能構成の一例を示すブロック図である。
【図６】図６は、レンズ部と本体部との間の通信を説明するための概念図であり、（ａ）はレンズ部と本体部との間で適切な通信が確立されている例を示し、（ｂ）はレンズ部と本体部との間で通信を行うことができない例を示す。
【図７】図７は、第１実施形態に係るＷＢ処理部の機能構成例を示すブロック図である。
【図８】図８は、第１実施形態に係るＷＢ処理の一例を示すフローチャートである。
【図９】図９は、対象画像の画像レベルと屋外確率との関係例を示す図である。
【図１０】図１０は、対象画像の色特性と第１の基準閾値及び第２の基準閾値との関係例を示す図である。
【図１１】図１１は、黒体放射曲線を示す図である。
【図１２】図１２は、第２実施形態に係るＷＢ処理の一例を示すフローチャートである。
【図１３】図１３は、第３実施形態に係るＷＢ処理部の機能構成例を示すブロック図である。
【図１４】図１４は、第３実施形態に係るＷＢ処理の一例を示すフローチャートである。
【図１５】図１５は、第４実施形態に係るＷＢ処理の一例を示すフローチャートである。
【図１６】図１６は、撮影の際に使用された絞り値、推定された絞り値、及び被写体の輝度値（ＥＶ値（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ））の関係例を示す図である。
【図１７】図１７は、本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。
【図１８】図１８は、図１７に示すスマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【００５５】
添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、デジタルカメラ（撮像装置）に本発明を適用する場合について説明する。なお、以下の説明における「ＷＢ」の表記は「ホワイトバランス」を意味するものとして使われている。
【００５６】
図１は、コンピュータ９２に接続されるデジタルカメラ１０の一例を示すブロック図である。
【００５７】
本例のデジタルカメラ１０は、交換可能なレンズ部１１と、撮像素子２４を具備する本体部１２とを備え、レンズ部１１のレンズ側入出力部１８と本体部１２の本体側入出力部２８とを介し、レンズ部１１と本体部１２とが電気的に接続される。
【００５８】
レンズ部１１は、レンズ１３及び絞り１４を含む光学系と、この光学系を制御する光学系操作部１５とを具備する。光学系操作部１５は、レンズ側入出力部１８に接続されるレンズ側コントローラ１６と、光学系情報等の各種情報を記憶するレンズ記憶部１７と、ユーザが直接的に操作可能な絞り調整部１９及びフォーカス調整部２１と、レンズ保持部２３を介してレンズ１３を移動可能なレンズ駆動部２２とを含む。
【００５９】
レンズ側コントローラ１６は、本体部１２からレンズ側入出力部１８を介して送られてくる制御信号に基づき光学系の駆動を制御し、例えばレンズ駆動部２２をコントロールすることでフォーカス制御やズーム制御を行ったり、絞り１４の開度（すなわち絞り値）を変えられる絞り駆動部２０をコントロールして絞り量制御を行ったりする。以下の説明では絞り値としてＦ値が用いられる。
【００６０】
なおユーザがフォーカス調整部２１や絞り調整部１９を直接操作することで、フォーカス制御や絞り量制御を行うことも可能である。例えば、リング及びセンサ等によって構成可能なフォーカス調整部２１をユーザが操作することで、フォーカス調整部２１がユーザの操作量に応じたフォーカス操作信号をレンズ側コントローラ１６に送信し、レンズ側コントローラ１６がそのフォーカス操作信号に応じてレンズ駆動部２２をコントロールしてもよい。またリング及びセンサ等によって構成可能な絞り調整部１９をユーザが操作することで、絞り調整部１９がユーザの操作量に応じた絞り操作信号をレンズ側コントローラ１６に送信し、レンズ側コントローラ１６がその絞り操作信号に応じて絞り駆動部２０をコントロールしてもよい。なお図示は省略するが、ユーザが直接的に操作可能なズーム調整部を光学系操作部１５に設けてもよく、レンズ側コントローラ１６は、ユーザによる操作量を示すズーム操作信号をズーム調整部から受信してレンズ１３を移動させて焦点距離を調整してもよい。
【００６１】
またレンズ側コントローラ１６は、本体部１２からレンズ側入出力部１８を介して送られてくる制御信号に基づき、レンズ記憶部１７に記憶される各種情報を読み出して本体部１２（本体側コントローラ２５）に送信する。例えば画像撮影時の絞り値や焦点距離の情報を、レンズ側コントローラ１６から本体部１２（本体側コントローラ２５）に送ることもできる。
【００６２】
一方、本体部１２の撮像素子２４は、集光用マイクロレンズと、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等によって構成されるイメージセンサとを有する。この撮像素子２４は、レンズ部１１の光学系（レンズ１３及び絞り１４等）を介して照射される被写体像の光を電気信号に変換し、画像信号（画像データ）を本体側コントローラ２５に送る。
【００６３】
本体側コントローラ２５は、詳細については後述するが（図３参照）、デジタルカメラ１０の各部を統括的に制御するデバイス制御部としての機能と、撮像素子２４から送られてくる画像データの画像処理を行う画像処理部（画像処理装置）としての機能とを有する。
【００６４】
デジタルカメラ１０は、更に、撮影等に必要なその他の機器（レリーズボタン等）を具備し、それらの機器の一部はユーザによって確認及び操作可能なユーザインターフェース２６を構成する。ユーザは、表示部を含むユーザインターフェース２６を介し、撮影等のための各種設定の決定及び変更、撮影指示、及びライブビュー画像及び撮影画像の確認等を行うことができる。ユーザインターフェース２６は本体側コントローラ２５に接続され、ユーザによって決定及び変更された各種設定及び各種指示が本体側コントローラ２５における各種処理に反映される。
【００６５】
本体側コントローラ２５において処理された画像データは、本体部１２に設けられる本体記憶部２９に記憶され、必要に応じ、入出力インターフェース３０を介してコンピュータ９２等の外部機器に送られる。本体記憶部２９は任意のメモリデバイスによって構成され、交換可能なメモリが好適に用いられる。本体側コントローラ２５から出力される画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、及び／又はＴＩＦＦ（Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）等のフォーマットを持つ画像データを、本体側コントローラ２５は生成及び出力することができる。また本体側コントローラ２５は、所謂Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数及び絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。
【００６６】
コンピュータ９２は、本体部１２の入出力インターフェース３０及びコンピュータ入出力部９３を介してデジタルカメラ１０に接続され、本体部１２から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ９４は、コンピュータ９２を統括的に制御し、デジタルカメラ１０からの画像データを処理し、インターネット等のネットワーク９６を介してコンピュータ入出力部９３に接続されるサーバ９７等との通信を制御する。コンピュータ９２はディスプレイ９５を有し、コンピュータコントローラ９４における処理内容等が必要に応じてディスプレイ９５に表示される。ユーザは、ディスプレイ９５の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ９４にデータやコマンドを入力することができる。これによりユーザは、コンピュータ９２や、コンピュータ９２に接続される機器（デジタルカメラ１０及びサーバ９７等）を制御することができる。
【００６７】
サーバ９７は、サーバ入出力部９８及びサーバコントローラ９９を有する。サーバ入出力部９８は、コンピュータ９２等の外部機器との送受信接続部を構成し、インターネット等のネットワーク９６を介してコンピュータ９２のコンピュータ入出力部９３に接続される。サーバコントローラ９９は、コンピュータ９２からの制御指示信号に応じ、コンピュータコントローラ９４と協働し、コンピュータコントローラ９４との間で必要に応じてデータ類の送受信を行い、演算処理を行ってその演算結果をコンピュータ９２に送信する。
【００６８】
各コントローラ（レンズ側コントローラ１６、本体側コントローラ２５、コンピュータコントローラ９４及びサーバコントローラ９９）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等）やメモリ等を具備する。またデジタルカメラ１０、コンピュータ９２及びサーバ９７間の通信は、有線通信であってもよいし無線通信であってもよい。またコンピュータ９２及びサーバ９７が一体的に構成されてもよく、またコンピュータ９２及び／又はサーバ９７が省略されてもよい。またデジタルカメラ１０にサーバ９７との通信機能を持たせ、デジタルカメラ１０とサーバ９７との間で直接的にデータ類の送受信が行われるようにしてもよい。
【００６９】
図２は、デジタルカメラ１０の他の例を示すブロック図である。図１には、本体部１２に対して通信可能なレンズ部１１が本体部１２に装着される例が示されているが、通信機能を持たないレンズ部１１が本体部１２に装着されてもよい。図２に示すデジタルカメラ１０では、レンズアダプタ３８を介して本体部１２にレンズ部１１が装着されている。このレンズ部１１の具体的な構成は特に限定されないが、図２に示す例では、リング等によって構成される絞り調整部１９及びフォーカス調整部２１がレンズ部１１に設けられている。ユーザが絞り調整部１９を操作すると、絞り調整部１９の動作と連動する絞り駆動部２０によって絞り１４の開度（絞り値）が変えられる。またユーザがフォーカス調整部２１を操作すると、フォーカス調整部２１の動作と連動してレンズ保持部２３及びレンズ１３が移動してフォーカス状態を変えられる。
【００７０】
図３は、本体側コントローラ２５の構成例を示すブロック図である。本体側コントローラ２５は、デバイス制御部３４及び画像処理部３５を有し、本体部１２及びレンズ部１１を統括的に制御する。
【００７１】
デバイス制御部３４はデジタルカメラ１０が具備する各種デバイス類を適宜制御し、例えば、撮像素子２４を制御して撮像素子２４からの画像信号（画像データ）の出力をコントロールし、レンズ部１１を制御するための制御信号を生成して本体側入出力部２８を介してレンズ部１１（レンズ側コントローラ１６）に送信し、画像処理前後の画像データ（ＲＡＷデータ及びＪＰＥＧデータ等）を本体記憶部２９に記憶し、入出力インターフェース３０を介して接続される外部機器（コンピュータ９２等）に画像処理前後の画像データを送信する。
【００７２】
一方、画像処理部３５は、撮像素子２４から出力される画像信号を「対象画像」として、必要に応じた任意の画像処理を行う。例えばセンサ補正処理、デモザイク処理、画素補間処理、色補正処理（オフセット補正処理、カラーマトリクス処理、及びガンマ変換処理等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理及び輪郭補正処理等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。特に本例の画像処理部３５は、後述のように、対象画像のＷＢ処理を行う。
【００７３】
なお、以下に説明する画像処理部３５は本体部１２（デジタルカメラ１０）以外の機器に設けられてもよく、例えばコンピュータ９２やサーバ９７が画像処理部３５を具備していてもよい。したがって、例えばコンピュータコントローラ９４が画像処理部３５を有していてもよいし（図４（ａ）参照）、サーバコントローラ９９が画像処理部３５を有していてもよい（図４（ｂ）参照）。
【００７４】
図５は、画像処理部３５の機能構成の一例を示すブロック図である。画像処理部３５は、対象画像のＷＢ処理を行うＷＢ処理部４０と、ＷＢ処理部４０の前段に設けられる前処理部４１と、ＷＢ処理部４０の後段に設けられる後処理部４２とを有する。前処理部４１及び後処理部４２における具体的な処理内容は特に限定されず、前処理部４１における処理を受けた後の対象画像がＷＢ処理部４０に入力され、ＷＢ処理部４０においてＷＢ処理を受けた後の対象画像が後処理部４２における処理を受ける。
【００７５】
以下、ＷＢ処理部４０におけるＷＢ処理の詳細について説明する。
【００７６】
図６は、レンズ部１１と本体部１２との間の通信を説明するための概念図であり、（ａ）はレンズ部１１と本体部１２との間で適切な通信が確立されている例を示し、（ｂ）はレンズ部１１と本体部１２との間で通信を行うことができない例を示す。
【００７７】
図６（ａ）に示すように、レンズ部１１と本体部１２との間で通信Ｇを適切に行うことができるケースでは、本体部１２はレンズ部１１から各種の情報を取得することができる。したがって本体部１２は、対象画像を撮影した際の絞り値をレンズ部１１から取得し、対象画像を撮影した際に設定されていたシャッタースピード及び感度を取得し、それらの絞り値、シャッタースピード及び感度に基づいて被写体４４の明るさを示す輝度情報を取得し、その輝度情報に基づいてＡＷＢ処理を行うことができる。
【００７８】
一方、図６（ｂ）に示すように、レンズ部１１と本体部１２との間で通信Ｇを適切に行うことができないケースでは、本体部１２はレンズ部１１から各種の情報を取得することができない。そのため本体部１２は、対象画像を撮影した際の絞り値をレンズ部１１から取得することができず、ＴＴＬ（Ｔｈｒｏｕｇｈ  Ｔｈｅ  Ｌｅｎｓ）方式による測光ができず、被写体４４の明るさを示す輝度情報に基づくＡＷＢ処理を行うことが難しい。
【００７９】
この「レンズ部１１と本体部１２との間で通信Ｇを適切に行うことができないケース」は特に限定されず、様々なケースが想定される。例えば、「本体部１２の通信プロトコルに則ったレンズ部１１が本体部１２に装着されているが、本体側コントローラ２５とレンズ側コントローラ１６との間の通信に障害が生じているケース」が「レンズ部１１と本体部１２との間で通信Ｇを適切に行うことができないケース」に該当する。また「本体部１２の通信プロトコルとは異なるプロトコルに則った通信を行うレンズ部１１や通信機能を本来的に持たないレンズ部１１が本体部１２に装着されているケース」も「レンズ部１１と本体部１２との間で通信Ｇを適切に行うことができないケース」に該当する。したがって、例えばオールドレンズやサードパーティー製のレンズによって構成されるレンズ部１１が本体部１２に装着されて撮影取得された対象画像に対し、下述のＡＷＢ処理技術は好適に適用可能である。
【００８０】
以下の各実施形態に係るＷＢ処理部４０は、レンズ部１１と本体部１２との間で通信Ｇを適切に行うことができず（図６（ｂ）参照）、対象画像を撮影した際の絞り値をレンズ部１１から取得できない場合であっても、撮影シーンを判別してＷＢ処理を精度良く行うことができる。
【００８１】
＜第１実施形態＞
図７は、第１実施形態に係るＷＢ処理部４０の機能構成例を示すブロック図である。
【００８２】
本実施形態に係るＷＢ処理部４０は、画像取得部４６、絞り値判定部４７、夜間判定情報取得部４８、シーン判定部４９、パラメータ決定部５０及びＷＢ実行部５１を有する。
【００８３】
画像取得部４６は、着脱可能なレンズ部１１が本体部１２に装着されたデジタルカメラ１０により撮像された対象画像を取得する。画像取得部４６による対象画像の取得手法は特に限定されず、例えば撮像素子２４から出力された対象画像の画像信号が直接的に画像取得部４６（ＷＢ処理部４０）に入力されてもよいし、図示しないメモリ等に一旦蓄積された対象画像のデータが画像取得部４６（画像処理部３５）によって取得されてもよい。
【００８４】
絞り値判定部４７は、絞り値取得情報に基づいて、対象画像を撮影した際に使用されたレンズ部１１から絞り値（Ｆ値）が取得できるか否かを判定する。レンズ部１１から絞り値が取得できるか否かを判定する手法は特に限定されず、絞り値判定部４７は、デジタルカメラ１０を構成する任意の箇所から絞り値取得情報を取得することができる。絞り値取得情報は、レンズ部１１と本体部１２との間の通信状態を示す情報であってもよく、例えば本体部１２（本体側入出力部２８）と通信可能なレンズ部１１（レンズ側入出力部１８）が本体部１２に装着されたか否かを示す情報を含んでいてもよい。例えば本体部１２にレンズ部１１が装着されて本体部１２の電源がオンにされた際に、本体側コントローラ２５はレンズ部１１と本体部１２との間の通信の可否情報を取得し、その通信の可否情報を絞り値取得情報に含めてもよい。
【００８５】
絞り値判定部４７による判定結果を示す絞り値判定情報は、シーン判定部４９に送られる。この絞り値取得情報は、例えばレンズ部１１から絞り値が取得できない場合には絞り値が取得できないことを示し、レンズ部１１から絞り値が取得できる場合には対象画像を撮影した際に使用されたレンズ部１１の絞り値を示す。
【００８６】
夜間判定情報取得部４８は、対象画像の撮影が夜間に行われたか否かの判定のために使用される情報である夜間判定基礎情報を取得する。この夜間判定基礎情報は、特に限定されず、図示しないタイマーから取得される撮影日時情報及び図示しないＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）から取得される撮影地情報等を含んでいてもよい。また夜間判定基礎情報は、撮影モードに関する情報を含んでいてもよく、その撮影モードが夜景モード等のように対象画像の撮影が夜間に行われたことを直接的又は間接的に示す場合には、対象画像の撮影が夜間に行われたと判定することが可能である。
【００８７】
シーン判定部４９は、画像取得部４６から対象画像が入力され、絞り値判定部４７から絞り値判定情報が入力され、夜間判定情報取得部４８から夜間判定基礎情報が入力され、対象画像の撮影シーン（光源）を判定する。なおシーン判定部４９が、画像取得部４６、絞り値判定部４７及び／又は夜間判定情報取得部４８として機能してもよく、対象画像、絞り値取得情報及び／又は夜間判定基礎情報がシーン判定部４９に直接的に入力されてもよい。
【００８８】
撮影シーンの具体的な判定手法については後述するが、本実施形態のシーン判定部４９は、特に対象画像の撮影の際の絞り値が取得できないと判定される場合には、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行う。すなわちシーン判定部４９は、対象画像の解析を行い、この解析の結果に基づいて対象画像の撮影シーンが屋外か否かを判定する。シーン判定部４９は、例えば対象画像における被写体の形状、色、配置、面積及び空間周波数に基づく要素のうち少なくともいずれか１つの要素に基づいて対象画像の解析を行うことができる。例えば後述の例（図８参照）では、シーン判定部４９が、対象画像を撮影した際の焦点距離を取得し、対象画像の解析を行って被写体の特徴情報を取得し、焦点距離及び特徴情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【００８９】
シーン判定部４９によって判定された対象画像の撮影シーンを示すシーン情報は、対象画像とともにシーン判定部４９からパラメータ決定部５０に送られる。
【００９０】
パラメータ決定部５０は、対象画像の撮影シーンを示すシーン情報に基づいて、対象画像のホワイトバランスの調整パラメータであるＷＢゲインを決定する。特に本実施形態のパラメータ決定部５０は、シーン判定部４９による「対象画像の撮影シーンが屋外か否かの判定結果」に基づいて、ＷＢゲインを決定する。パラメータ決定部５０によって決定されたＷＢゲインは、対象画像とともにパラメータ決定部５０からＷＢ実行部５１に送られる。
【００９１】
ＷＢ実行部５１は、ＷＢゲインを対象画像に適用してＷＢ処理画像を生成及び出力する。ＷＢ実行部５１から出力されるＷＢ処理画像（対象画像）は、後段に設けられる後処理部４２に入力される。
【００９２】
図８は、第１実施形態に係るＷＢ処理の一例を示すフローチャートである。本例では、絞り値が得られない場合、レンズ部１１の「焦点距離」の情報と画像解析によって得られる「画像中の被写体のサイズ」とに基づいて被写体距離が推定され、被写体距離が大きい場合には屋外用のＷＢゲインを使ってＷＢ処理が行われる。
【００９３】
すなわち、まず本体部１２の本体側コントローラ２５は、レンズ部１１のレンズ側コントローラ１６に対して通信を試みて、本体側コントローラ２５のＷＢ処理部４０の絞り値判定部４７は対象画像を撮影した際の絞り値を取得する処理を行う（図８のＳ１１）。
【００９４】
本体部１２に対する通信機能を持つレンズ部１１が本体部１２に装着され、対象画像を撮影した際の絞り値が絞り値判定部４７によって得られた場合（Ｓ１２のＹ）、シーン判定部４９は、通常のＡＷＢ処理を行う。すなわちシーン判定部４９は、対象画像を撮影した際の絞り値に基づいて被写体の明るさ情報として輝度情報を取得し、またＷＢ処理の対象となっている対象画像を取得する（Ｓ１３）。
【００９５】
この被写体の輝度情報は、例えば撮影画像、絞り値、シャッタースピード及び感度に基づいて取得可能であるが、被写体の輝度情報を取得するために使用される撮影画像は、ＷＢ処理の対象となっている対象画像であってもよいし、対象画像と同じ光源下で取得される他の画像であってもよい。例えばデジタルカメラ１０（本体部１２）のシャッターボタン（ユーザインターフェース２６）のプッシュ動作が２段階に設定されている場合、シーン判定部４９は、シャッターボタンの「全押し（すなわち２段階目のプッシュ動作）」によって撮像素子２４から出力される画像データである「ＷＢ処理の対象となっている対象画像」を使って被写体の輝度情報を取得してもよい。またシーン判定部４９は、シャッターボタンの「半押し（すなわち１段階目のプッシュ動作）」によって撮像素子２４から出力される画像データである「ＷＢ処理の対象となっている対象画像とは異なる画像」を使って被写体の輝度情報を取得してもよい。シーン判定部４９は、これらの画像データを例えば画像取得部４６を介して取得することができる。
【００９６】
そしてシーン判定部４９は、被写体の輝度情報及び対象画像に基づいて、対象画像を撮影した際の光源を推定し（Ｓ１４）、その推定される光源に応じた撮影シーンを示すシーン情報を取得する。シーン情報は、対象画像とともにシーン判定部４９からパラメータ決定部５０に送られ、パラメータ決定部５０は、対象画像を取得した際の光源に応じたＷＢゲインをシーン情報に基づいて取得し、その取得したＷＢゲインを対象画像とともにＷＢ実行部５１に送る。そしてＷＢ実行部５１では、ＷＢゲインが対象画像に適用されてＷＢ処理が行われ、ＷＢ処理画像が生成される（Ｓ１５）。
【００９７】
なお、絞り値が得られた場合における上述の処理ステップＳ１３〜Ｓ１５の具体的な処理は特に限定されず、他の一般的に行われているＡＷＢ処理のフローに従って「絞り値に基づく対象画像のＷＢ処理」が行われてもよい。
【００９８】
一方、上述の処理ステップＳ１１によって絞り値が得られなかった場合（Ｓ１２のＮ）、シーン判定部４９は、対象画像を撮影した際のレンズ部１１の焦点距離が得られたか否かを判定する（Ｓ１６）。シーン判定部４９による焦点距離の取得手法は特に限定されない。例えばレンズ部１１が単焦点レンズによって構成される場合のようにレンズ部１１の焦点距離が固定的に定められている場合、ユーザがユーザインターフェース２６を介して本体側コントローラ２５の図示しないメモリにレンズ部１１の焦点距離の情報を記録しておき、シーン判定部４９がそのメモリに記録された焦点距離の情報を読み込むことで取得してもよい。
【００９９】
対象画像を撮影した際の焦点距離が得られた場合（Ｓ１６のＹ）、シーン判定部４９はＷＢ処理の対象となっている対象画像を取得し（Ｓ１７）、対象画像に基づいて被写体認識処理を行う（Ｓ１８）。
【０１００】
本例の被写体認識処理は、特定の被写体が対象画像に含まれているか否かを認識するための処理であり、具体的な手法は特に限定されず、シーン判定部４９は、被写体認識処理に従って対象画像の解析を行って被写体の特徴情報を取得する。そのような特徴情報は、例えば予め定められる範囲内のサイズを有する被写体の対象画像におけるサイズに関する情報としうる。したがってシーン判定部４９は、例えば人間等の顔、車、建造物（例えば有名な建造物及び形状等の形態が特徴的な建造物、等）及び空（例えば青空等）のうちの少なくともいずれか１つの被写体の対象画像におけるサイズに関する情報を、特徴情報として取得してもよい。
【０１０１】
そしてシーン判定部４９は、「対象画像を撮影した際のレンズ部１１の焦点距離」及び「被写体認識処理結果である特徴情報」に基づいて被写体距離Ｄを取得する（Ｓ１９）。例えば、特徴情報の対象となっている被写体の「本来のサイズ」と特徴情報から得られる「対象画像中のサイズ」とを比較し、「対象画像を撮影した際のレンズ部１１の焦点距離（画角）」を考慮することで、被写体距離Ｄを取得することが可能である。
【０１０２】
シーン判定部４９は被写体距離Ｄに基づいて対象画像の撮影シーンが屋外か否かを判定し、被写体距離Ｄが第１の閾値α以上の場合（Ｓ２０のＹ）、対象画像の撮影シーンは「屋外」であると判定し、被写体距離Ｄが第１の閾値αよりも小さい場合（Ｓ２０のＮ）、対象画像の撮影シーンは「屋内」であると判定する。第１の閾値αは特に限定されないが、例えば第１の閾値αを３００ｍ（メートル）としてもよく、被写体距離Ｄが３００ｍ以上の場合に対象画像の撮影シーンを「屋外」と判定することも可能である。
【０１０３】
対象画像の撮影シーンが「屋外」であると判定される場合（Ｓ２０のＹ）、本例のシーン判定部４９は更に、対象画像の撮影が夜間に行われたか否かを判定する夜間判定処理を行う（Ｓ２１）。この夜間判定処理の具体的な手法は特に限定されず、シーン判定部４９は夜間判定情報取得部４８から入力される夜間判定基礎情報に基づいて夜間判定処理を行うことができ、例えば夜間判定基礎情報に含まれる「対象画像の撮影日時情報」、「撮影地情報」及び／又は「撮影モード」に基づいて夜間判定処理が行われてもよい。またシーン判定部４９は夜間判定基礎情報以外の情報に基づいて夜間判定処理を行ってもよく、例えば対象画像が極端に暗い場合には対象画像の撮影が「夜間」に行われたと判定してもよい。
【０１０４】
対象画像の撮影が夜間に行われたと判定される場合（Ｓ２２のＹ）、シーン判定部４９は「対象画像の撮影が屋外且つ夜間に行われたことを示すシーン情報」を対象画像とともにパラメータ決定部５０に送る。パラメータ決定部５０は、シーン情報に基づいて「夜間屋外用のＷＢゲイン」を特定して対象画像とともにＷＢ実行部５１に送り、ＷＢ実行部５１により夜間屋外用のＷＢゲインが対象画像に適用されてＷＢ処理が行われる（Ｓ２３）。
【０１０５】
一方、対象画像の撮影が夜間に行われたと判定されない場合（Ｓ２２のＮ）、シーン判定部４９は「対象画像の撮影が屋外且つ日中に行われたことを示すシーン情報」を対象画像とともにパラメータ決定部５０に送る。パラメータ決定部５０は、シーン情報に基づいて「日中屋外用のＷＢゲイン」を特定して対象画像とともにＷＢ実行部５１に送り、ＷＢ実行部５１により日中屋外用のＷＢゲインが対象画像に適用されてＷＢ処理が行われる（Ｓ２４）。
【０１０６】
なお上述の例における夜間判定処理は「対象画像の撮影が夜間に行われたか否かを判定する処理」であったが、これに限定されず、「夜間及び日中のうちいずれにおいて対象画像の撮影が行われたかを判定する処理」であればよい。したがって夜間判定処理の代わりに、「対象画像の撮影が日中に行われたか否かを判定する日中判定処理」が行われてもよい。この日中判定処理は、上述の夜間判定基礎情報と同じ情報に基づいて行われてもよい。この日中判定処理によって対象画像の撮影が日中に行われたと判定されるケースでは日中屋外用ＷＢゲインが対象画像に適用されてＷＢ処理が行われ（処理ステップＳ２４参照）、対象画像の撮影が日中に行われたと判定されないケースでは夜間屋外用ＷＢゲインが対象画像に適用されてＷＢ処理が行われる（処理ステップＳ２３参照）。
【０１０７】
一方、上述の処理ステップＳ１６において対象画像を撮影した際の焦点距離が得られない場合（Ｓ１６のＮ）、ＷＢ処理の対象となっている対象画像がシーン判定部４９によって取得される（Ｓ２５）。そして「対象画像の撮影が屋内で行われたことを示すシーン情報」が対象画像とともにシーン判定部４９からパラメータ決定部５０に送られ、屋内用ＷＢゲインがパラメータ決定部５０によって特定される。そして、ＷＢ実行部５１によって屋内用ＷＢゲインが対象画像に適用されてＷＢ処理が行われる（Ｓ２６）。なお上述の処理ステップＳ２０において、被写体距離Ｄが第１の閾値αよりも小さいと判定される場合（Ｓ２０のＮ）にも、同様にして、屋内用ＷＢゲインが対象画像に適用されてＷＢ処理が行われる（Ｓ２６）。
【０１０８】
上述のように本例の処理フローでは、処理ステップＳ１３、Ｓ１７及びＳ２５が「対象画像を取得するステップ」に該当し、少なくとも処理ステップＳ１８〜Ｓ２０が「絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第１の判定処理を行うステップ」に該当する。また処理ステップＳ１５、Ｓ２３、Ｓ２４及びＳ２６が「対象画像の撮影シーンが屋外か否かの判定に基づいて対象画像のホワイトバランスの調整パラメータを決定するステップ」に該当する。
【０１０９】
以上説明したように本実施形態によれば、対象画像を撮影した際の絞り値の情報がレンズ部１１から得られなくても、ＡＷＢ処理を高精度に行って良好な画質を有する画像（ＷＢ処理画像）を得ることができる。
【０１１０】
なお上述の例では、対象画像を撮影した際の絞り値及び焦点距離が得られない場合（Ｓ１２のＮ、Ｓ１６のＮ）や推定される被写体距離Ｄが第１の閾値αよりも小さい場合（Ｓ２０のＮ）には、屋内用ＷＢゲインを使ったＷＢ処理が行われるが、他のＷＢゲインを使ったＷＢ処理が行われてもよい。
【０１１１】
以下、処理ステップＳ２６におけるＷＢ処理（特にＷＢゲインの決定手法）の他の例について説明する。
【０１１２】
シーン判定部４９は、上述の第１の判定処理によって対象画像の撮影シーンが屋外ではないと判定した場合、「対象画像の画素値の大きさを代表する画像レベル」及び「対象画像の構成色間の比率」のうち少なくともいずれか一方に基づいて対象画像の撮影シーンを判定する第２の判定処理を更に行ってもよい。この第２の判定処理は、絞り値を使わずに対象画像の撮影シーン（光源）を推定する処理であることが好ましい。したがって上述の処理ステップＳ２６の代わりに、シーン判定部４９が第２の判定処理を行って対象画像の撮影シーンを判定し、パラメータ決定部５０がその判定された撮影シーンに応じたＷＢゲインを取得し、ＷＢ実行部５１がその取得されたＷＢゲインを用いてＷＢ処理を行ってもよい。
【０１１３】
より具体的には、シーン判定部４９は、第２の判定処理において対象画像の画像レベルの大きさを示す画像レベル値が判定閾値よりも大きければ対象画像の撮影シーンを屋外と判定してもよいし、対象画像の画像レベル値が判定閾値以下であれば対象画像の撮影シーンを屋内と判定してもよい。そしてシーン判定部４９によって撮影シーンが屋外と判定された場合には、パラメータ決定部５０は屋外用のＷＢゲイン（調整パラメータ）を特定し、ＷＢ実行部５１は屋外用のＷＢゲインを使ってＷＢ処理を行うことができる。一方、シーン判定部４９によって撮影シーンが屋内と判定された場合には、パラメータ決定部５０は屋内用のＷＢゲイン（調整パラメータ）を特定し、ＷＢ実行部５１は屋内用のＷＢゲインを使ってＷＢ処理を行うことができる。
【０１１４】
なお、ここでいう「対象画像の画素値の大きさを代表する画像レベル」は特に限定されず、例えば対象画像の画素値の平均値、中央値、最大値、最小値、或いは対象画像を複数領域に分割して領域毎に得られる画素値の代表値等に基づいて定められうる。またここでいう「対象画像の構成色間の比率」も特に限定されず、例えば対象画像のＲＧＢ比、色差比（例えばＣｒＣｂ比）、或いは色温度（例えば相関色温度）等によって表される対象画像の色特性に基づいて定められうる。
【０１１５】
またシーン判定部４９は、対象画像の構成色間の比率に応じて判定閾値を可変的に定めてもよい。例えば、赤みが強い対象画像と青みが強い対象画像との間で判定閾値を変えて第２の判定処理が行われてもよい。このように対象画像の色特性に応じて判定閾値を決めることで、対象画像の撮影シーンを精度良く判定できる。
【０１１６】
またシーン判定部４９は、第２の判定処理において、対象画像の撮影シーンが屋外である確率を直接的又は間接的に示す「屋外確率」を取得し、パラメータ決定部５０は、その屋外確率に基づいて、対象画像のホワイトバランスの調整パラメータであるＷＢゲインを決定してもよい。
【０１１７】
この屋外確率を取得する手法は特に限定されず、例えば、対象画像の画像レベル及び構成色間の比率に基づいて対象画像の撮影シーンの屋外確率を取得することができる。
【０１１８】
また屋外確率に基づいてＷＢゲインを決定する手法も特に限定されず、例えば、撮影シーンの屋外確率が特定の基準確率よりも大きければ屋外用のＷＢゲインがＷＢ処理で用いられ、撮影シーンの屋外確率が基準確率以下であれば屋内用のＷＢゲインがＷＢ処理で用いられてもよい。また撮影シーンの屋外確率に応じて、複数種類のＷＢゲイン（例えば複数の撮影シーンに応じたＷＢゲイン（例えば屋外用のＷＢゲイン及び屋内用のＷＢゲイン））を混合することで、対象画像のＷＢ処理に用いるＷＢゲインが決定されてもよい。
【０１１９】
図９は、対象画像の画像レベルと屋外確率との関係例を示す図である。図９において横軸は対象画像の画像レベルを表し、図９の縦軸は対象画像の屋外確率を表し、画像レベル及び屋外確率の関係を表すシーン特性が図９に例示されている。図９に示す例では、第１の基準確率に割り当てられる第１の基準閾値ＴＨ１と、第１の基準確率よりも低い屋外確率を示す第２の基準確率に割り当てられる第２の基準閾値ＴＨ２とに基づいてシーン特性が規定されている。本例において、第１の基準確率は「屋外確率＝１００％」を示し、第２の基準確率は「屋外確率＝２０％」を示し、第１の基準閾値ＴＨ１と第２の基準閾値ＴＨ２との間の画像レベルに割り当てられる屋外確率は、第１の基準確率と第２の基準確率との間で比例的且つ連続的に変化する。このように複数の基準閾値を用いる場合に、基準閾値間の画像レベルに割り当てられる屋外確率を連続的に変えることで、対象画像のホワイトバランスを屋内シーンと屋外シーンとの間で滑らかに調整することができ、ホワイトバランスのハンチングを有効に防ぐことができる。
【０１２０】
シーン判定部４９は、第２の判定処理において、対象画像の画像レベル及び対象画像の構成色間の比率のうち少なくともいずれか一方に基づいて第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２を特定してもよい。この場合、シーン判定部４９は、第１の基準閾値ＴＨ１、第２の基準閾値ＴＨ２、第１の基準確率及び第２の基準確率に基づいて定められるシーン特性（図９参照）に応じて、対象画像の撮影シーンの屋外確率を取得してもよい。
【０１２１】
図１０は、対象画像の色特性と第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２との関係例を示す図である。図１０に示す例によれば、対象画像の色特性に応じて第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２を定めることができる。
【０１２２】
例えば対象画像の撮影シーンの色温度を図１０の横軸の基準である色特性とする場合、シーン判定部４９は、例えば対象画像のＲＧＢ等の信号レベルを取得し、信号レベルのＲＧＢの比などから対象画像の撮影シーンの色温度を取得し、図１０に基づいて、対象画像の撮影シーンの色温度に対応する第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２を取得する。シーン判定部４９は、取得した第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２に基づいて図９に示すシーン特性を定め、対象画像の画像レベルに対応する屋外確率を取得し、この屋外確率が反映されたシーン情報がシーン判定部４９からパラメータ決定部５０に送られる。パラメータ決定部５０は、屋外確率に基づいて、例えば屋外用のＷＢゲイン（第１のパラメータ）及び屋内用ＷＢゲイン（第２のパラメータ）を混合して対象画像のＷＢ処理に使用するＷＢゲイン（調整パラメータ）決定することができる。一例として、屋外確率が「２０％」を示す場合には、「屋外用ＷＢゲイン：屋内用ＷＢゲイン＝２０％：８０％」の比率で屋外用ＷＢゲイン及び屋内用ＷＢゲインを混合して得られるＷＢゲインをＷＢ処理に用いることができる。また屋外確率が「１００％」を示す場合には、「屋外用ＷＢゲイン：屋内用ＷＢゲイン＝１００％：０％」の比率に基づいて得られるＷＢゲインをＷＢ処理に用いることができる。
【０１２３】
このように、第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２のうち少なくともいずれか一方は、対象画像の構成色間の比率に応じて決定可能であり、例えば「黒体から放射される光の色」を基準にして対象画像の構成色によって定められる色特性を取得し、その色特性に応じて第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２を定めてもよい。
【０１２４】
図１１は、黒体放射曲線を示す図である。図１１の横軸は緑（Ｇ）成分に対する赤（Ｒ）成分の比率「Ｒ／Ｇ」を表し、図１１の縦軸は緑（Ｇ）成分に対する青（Ｂ）成分の比率「Ｂ／Ｇ」を表す。図１１には、相関色温度「１００００Ｋ（ケルビン）」、「５０００Ｋ」及び「２５００Ｋ」の各々が直線によって表されている。
【０１２５】
シーン判定部４９は、第２の判定処理において、対象画像の構成色比から撮影シーンの相関色温度を取得し（図１１参照）、図１０の横軸の色特性が相関色温度によって表される場合に撮影シーンの相関色温度に応じて特定される第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２を取得してもよい。この場合、シーン判定部４９は、第１の基準閾値ＴＨ１及び第２の基準閾値ＴＨ２に基づいて特定される図９のシーン特性から対象画像の画像レベルに応じた屋外確率を取得することができる。
【０１２６】
＜第２実施形態＞
本実施形態において、上述の第１実施形態に係るデジタルカメラ１０（特にＷＢ処理部４０）と同一又は類似の要素については同一の符号を付し、その詳細な説明は省略する。
【０１２７】
本実施形態に係るＷＢ処理によれば、対象画像を撮影した際の絞り値の情報だけではなく焦点距離の情報も得られない場合であっても、対象画像の被写体が日中屋外に存在するか否かを判定してＷＢゲインを決めることができる。
【０１２８】
本実施形態のＷＢ処理部４０は、上述の第１実施形態と同様に図７に示す機能構成を有する。
【０１２９】
図１２は、第２実施形態に係るＷＢ処理の一例を示すフローチャートである。
【０１３０】
本実施形態においても図８に示す第１実施形態に係る処理フローと同様に、まずＷＢ処理部４０の絞り値判定部４７は対象画像を撮影した際の絞り値を取得する処理を行う（図１２のＳ３１）。
【０１３１】
対象画像を撮影した際の絞り値が絞り値判定部４７によって得られた場合（Ｓ３２のＹ）、第１実施形態に係る処理フロー（特に図８に示す処理ステップＳ１３〜Ｓ１５）と同様に、絞り値に基づいて被写体の輝度情報が取得され、対象画像が取得され（Ｓ３３）、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源が推定され（Ｓ３４）、対象画像のＷＢ処理が行われる（Ｓ３５）。
【０１３２】
一方、対象画像を撮影した際の絞り値が絞り値判定部４７によって得られなかった場合（Ｓ３２のＮ）、シーン判定部４９は、画像取得部４６を介して対象画像を取得し（Ｓ３６）、対象画像に基づいて日中屋外ランドマークの検出処理を行う（Ｓ３７）。
【０１３３】
すなわちシーン判定部４９は、対象画像の解析を行って予め定められる日中屋外ランドマーク（第２のキーターゲット）が対象画像に含まれるか否かの評価を行い、その評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。「日中屋外ランドマーク（第２のキーターゲット）」は、「屋外に存在し、通常は日中においてのみ正確に撮影可能な所望の画像」とすることが好ましいが、日中且つ屋外で撮影されたことが推定可能な画像であれば特に限定されない。したがって日中屋外ランドマーク（第２のキーターゲット）は、例えば青空、太陽、虹及び山のうちの少なくともいずれか１つの画像であることが好ましい。
【０１３４】
シーン判定部４９は、日中屋外ランドマーク（第２のキーターゲット）が対象画像に含まれると評価した場合（Ｓ３８のＹ）、対象画像の撮影シーンが日中屋外であると判定し、撮影シーンが日中屋外であることを示すシーン情報をパラメータ決定部５０に送る。パラメータ決定部５０は、シーン情報が示す撮影シーンに対応する日中屋外用のＷＢゲインを特定して対象画像とともにＷＢ実行部５１に送り、ＷＢ実行部５１では日中屋外用のＷＢゲインを使って対象画像のＷＢ処理を行う（Ｓ３９）。
【０１３５】
一方、シーン判定部４９は、日中屋外ランドマークが対象画像に含まれないと評価した場合（Ｓ３８のＮ）、上述の第１実施形態（特に図８の処理ステップＳ２１）と同様にして夜間判定処理を行う（Ｓ４０）。対象画像の撮影が夜間に行われたと判定される場合（Ｓ４１のＹ）、シーン判定部４９は「対象画像の撮影が屋外且つ夜間に行われたことを示すシーン情報」を対象画像とともにパラメータ決定部５０に送る。パラメータ決定部５０は、シーン情報に基づいて夜間屋外用のＷＢゲインを特定して対象画像とともにＷＢ実行部５１に送り、ＷＢ実行部５１によって夜間屋外用のＷＢゲインが対象画像に適用されてＷＢ処理が行われる（Ｓ４２）。
【０１３６】
一方、対象画像の撮影が夜間に行われたと判定されない場合（Ｓ４１のＮ）、シーン判定部４９は「対象画像の撮影が屋内で行われたことを示すシーン情報」を対象画像とともにパラメータ決定部５０に送る。パラメータ決定部５０は、シーン情報に基づいて屋内用のＷＢゲインを特定して対象画像とともにＷＢ実行部５１に送り、ＷＢ実行部５１によって屋内用のＷＢゲインが対象画像に適用されてＷＢ処理が行われる（Ｓ４３）。
【０１３７】
なお、上述の処理ステップＳ３７では「日中屋外ランドマーク」が対象画像に含まれるか否かが評価されたが、これに限定されず、例えば「夜間屋外ランドマーク」が対象画像に含まれるか否かが評価されてもよい。すなわちシーン判定部４９は、夜間且つ屋外で撮影されたことが推定可能な画像を「夜間屋外ランドマーク」として設定して対象画像の解析処理を行ってもよい。「夜間屋外ランドマーク」が対象画像に含まれると評価される場合には、撮影シーンが夜間屋外であることを示すシーン情報がシーン判定部４９からパラメータ決定部５０に送られ、夜間屋外用のＷＢゲインがパラメータ決定部５０によって特定され、夜間屋外用のＷＢゲインを使った対象画像のＷＢ処理がＷＢ実行部５１によって行われる。
【０１３８】
一方、「夜間屋外ランドマーク」が対象画像に含まれないと評価される場合、シーン判定部４９は対象画像の撮影が日中行われたか否かを判定する日中判定処理を行ってもよい。この日中判定処理によって対象画像の撮影が日中に行われたと判定されるケースでは日中屋外用ＷＢゲインが対象画像に適用されてＷＢ処理が行われ（処理ステップＳ３９参照）、対象画像の撮影が日中に行われたと判定されないケースでは屋内用ＷＢゲインが対象画像に適用されてＷＢ処理が行われてもよい（処理ステップＳ４３参照）。
【０１３９】
以上説明したように本実施形態によれば、対象画像を撮影した際のレンズ部１１の絞り値及び焦点距離が不明であっても、ＡＷＢ処理を高精度に行って良好な画質を有する画像（ＷＢ処理画像）を得ることができる。
【０１４０】
なお日中屋外ランドマークが対象画像に含まれないと判定される場合（図１２の処理ステップＳ３８のＮ参照）には、夜間判定処理（処理ステップＳ４０参照）の代わりに、第１実施形態と同様に、判定閾値に基づいて対象画像の撮影シーンが判定されてもよいし、屋外確率に基づいて対象画像の撮影シーンが判定されてもよい（図９〜図１１参照）。
【０１４１】
＜第３実施形態＞
本実施形態において、上述の第１実施形態に係るデジタルカメラ１０（特にＷＢ処理部４０）と同一又は類似の要素については同一の符号を付し、その詳細な説明は省略する。
【０１４２】
図１３は、第３実施形態に係るＷＢ処理部４０の機能構成例を示すブロック図である。本実施形態に係るＷＢ処理部４０は、基本的には図７に示す第１実施形態と同様の機能構成を有するが、夜間判定情報取得部４８を含まない。
【０１４３】
図１４は、第３実施形態に係るＷＢ処理の一例を示すフローチャートである。
【０１４４】
本実施形態においても図８に示す第１実施形態に係る処理フローと同様に、まずＷＢ処理部４０の絞り値判定部４７は対象画像を撮影した際の絞り値を取得する処理を行う（図１４のＳ５１）。
【０１４５】
対象画像を撮影した際の絞り値の情報が得られない場合、本実施形態では絞り値が推定されてＷＢ処理が行われる。すなわち本例のシーン判定部４９は、対象画像を撮影した際の絞り値として代表絞り値を採用することで、絞り値を推定する。
【０１４６】
代表絞り値は特に限定されないが、汎用性の高い絞り値を代表絞り値とすることが好ましい。一般に、通信機能を持たない所謂オールドレンズは、上級ユーザによって使用されることが多く、開放Ｆ値が小さい明るいオールドレンズが好んで使われる傾向が強い。また撮影の際に絞りの開度を意図的に小さくするユーザも、初級ユーザよりは上級ユーザの方が多い傾向がある。上級ユーザであれば、ＡＷＢ処理によるＷＢ調整がたとえ失敗しても、プリセットＷＢゲインを使う等によって自分でホワイトバランスを修正することも可能である。一方、知識の乏しい初級ユーザは事後的にホワイトバランスの修正を行うことが必ずしも容易ではない。したがって代表絞り値を定める際には、初級ユーザが頻繁に使用するＦ値に基づくことが好ましい。初級ユーザが撮影の際に使用するＦ値について本発明の発明者は「Ｆ２．８〜Ｆ８の範囲」のＦ値の使用頻度が高いと考え、とりわけ「４以上５．６以下の範囲（特に「４」）」のＦ値の使用頻度が高いと考え、またレンズ種類に関して普及率が高いレンズのＦ値として「Ｆ４」が使われることが多いと考え、代表絞り値として、「２．８以上８以下の範囲」のＦ値に対応させることが好ましく、「４以上５．６以下の範囲」のＦ値に対応させることがより好ましく、「４」のＦ値に対応させることが更に好ましいと考えた。このように設定することで、所謂オールドレンズやサードパーティレンズを使用した場合であっても適切なＡＷＢ処理がなされるため、多くの初級ユーザがオールドレンズやサードパーティレンズを容易に使用できるようになる。
【０１４７】
本例のシーン判定部４９は、対象画像を撮影した際の絞り値の情報が得られない場合（Ｓ５２のＮ）、「絞り値＝Ｆ４」として絞り値を推定する（Ｓ５３）。
【０１４８】
そして対象画像を撮影した際の絞り値の情報がシーン判定部４９によって得られた場合（Ｓ５２のＹ）や絞り値が推定された場合（Ｓ５３）には、第１実施形態に係る処理フロー（特に図８に示す処理ステップＳ１３〜Ｓ１５）と同様に、絞り値に基づいて被写体の輝度情報が取得され、対象画像が取得され（Ｓ５４）、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源が推定され（Ｓ５５）、対象画像のＷＢ処理が行われる（Ｓ５６）。
【０１４９】
このように、対象画像を撮影した際の絞り値の情報が得られない場合、本実施形態のシーン判定部４９は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、その輝度情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【０１５０】
以上説明したように本実施形態によれば、対象画像を撮影した際の絞り値の情報が得られない場合であっても高精度なＡＷＢ処理を行うことができ、ホワイトバランスの知識の乏しい初級ユーザであっても高画質な画像（ＷＢ処理画像）を得ることができる。
【０１５１】
＜第４実施形態＞
本実施形態において、上述の第３実施形態に係るデジタルカメラ１０（特にＷＢ処理部４０）と同一又は類似の要素については同一の符号を付し、その詳細な説明は省略する。
【０１５２】
本実施形態のＷＢ処理部４０は、上述の第３実施形態と同様に図１３に示す機能構成を有する。
【０１５３】
図１５は、第４実施形態に係るＷＢ処理の一例を示すフローチャートである。
【０１５４】
すなわち本実施形態においても図１４に示す第３実施形態に係る処理フローと同様に、まずＷＢ処理部４０の絞り値判定部４７は対象画像を撮影した際の絞り値を取得する処理を行う（図１５のＳ６１）。
【０１５５】
そして対象画像を撮影した際の絞り値の情報がシーン判定部４９によって得られた場合（Ｓ６２のＹ）には、第１実施形態に係る処理フロー（特に図８に示す処理ステップＳ１３〜Ｓ１５）と同様に、絞り値に基づいて被写体の輝度情報が取得され、対象画像が取得され（Ｓ６３）、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源が推定され（Ｓ６４）、対象画像のＷＢ処理が行われる（Ｓ６５）。
【０１５６】
この「対象画像を撮影した際の絞り値の情報が得られた場合に撮影シーンの光源を推定する方式」を便宜的に「第１の光源推定方式」と呼ぶ。
【０１５７】
また対象画像を撮影した際の絞り値の情報がシーン判定部４９によって得られない場合（Ｓ６２のＮ）、第３実施形態に係る処理フロー（特に図１４に示す処理ステップＳ５３及びＳ５４）と同様に、シーン判定部４９は、対象画像を撮影した際の絞り値を例えばＦ２．８〜Ｆ８の範囲の代表絞り値（本例では「Ｆ４」）に基づいて推定し（Ｓ６６）、その推定された絞り値に基づいて被写体の輝度情報を取得し、対象画像を取得する（Ｓ６７）。
【０１５８】
ただし本実施形態では、対象画像を撮影した際の絞り値の情報が得られない場合、シーン判定部４９は、上述の第１の光源推定方式とは異なる第２の光源推定方式に従い、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源を推定し（Ｓ６８）、この推定された光源に基づいて対象画像のＷＢ処理が行われる（Ｓ６５）。例えば、下述のように第２の光源推定方式に従って「青空」が対象画像に含まれている場合には、日中屋外で対象画像の撮影が行われ太陽光を光源と推定し、日中屋外用のＷＢゲインを使ったＷＢ処理を行うことができる。
【０１５９】
第２の光源推定方式として様々な推定アルゴリズムが考えられるが、本例のシーン判定部４９は、対象画像の解析を行って、予め定められる目標被写体（第１のキーターゲット）が対象画像に含まれるか否かの評価を、対象画像を撮影した際の絞り値として代表絞り値を採用した場合に基づいて行い、その評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。
【０１６０】
より具体的には、シーン判定部４９は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、目標被写体（第１のキーターゲット）が対象画像に含まれるか否かの評価を輝度情報に基づいて行う。この場合、シーン判定部４９は、目標被写体（第１のキーターゲット）に割り当てられる輝度を示す輝度条件を代表絞り値に基づいて決定し、被写体の輝度情報がその輝度条件に該当するか否かに基づいて第１のキーターゲットが対象画像に含まれるか否かの評価を行う。
【０１６１】
以下、目標被写体（第１のキーターゲット）が青空の画像である場合の第２の光源推定方式の一例について説明する。
【０１６２】
図１６は、撮影の際に使用された絞り値、推定された絞り値、及び被写体の輝度情報（ＥＶ値）の関係例を示す図である。
【０１６３】
図１６において、「撮影時Ｆ値」の項目は撮影の際に使用された絞り値（Ｆ値）を示し、「推定Ｆ値」の項目は代表絞り値に基づいて推定された絞り値（Ｆ値）（図１５の処理ステップＳ６６参照）を示し、これらの項目の各々において「１」、「１．４」、「２」、「２．８」、「４」、「５．７」、「８」、「１１．３」、「１６」、「２２．６」及び「３２」のＦ値が示されている。
【０１６４】
また「撮影時Ｆ値」及び「推定Ｆ値」の項目におけるＦ値の組み合わせによって特定される数値は、「推定Ｆ値」に基づいて導出される被写体の輝度値（ＥＶ値）を表しており、図１６には、実際の被写体の輝度値が「１６ＥＶ」に相当する例が示されている。したがって上述の処理ステップＳ６６において推定された絞り値が撮影の際に実際に使用された絞り値と等しい場合、図１６の表上では「１６」の数値が示されている。また「撮影時Ｆ値」が「８」であり「推定Ｆ値」が「４」の場合、「推定Ｆ値」に基づいて導出される被写体の輝度値は「１４ＥＶ」となり、実際の被写体の輝度値（１６ＥＶ）よりも２ＥＶ相当低く求められることとなる。このように、図１６は、「実際の被写体の輝度値（本例では１６ＥＶ）」に対する「推定された絞り値に基づいて導出される被写体の輝度値」のズレを示す。
【０１６５】
本例の第２の光源推定方式（図１５の処理ステップＳ６８参照）に基づく光源推定手法は推定された絞り値に基づいて行われるため、第２の光源推定方式で用いられる被写体の輝度情報は、被写体の実際の輝度からのズレを補償する情報であることが好ましい。そのため、「推定Ｆ値」及び「撮影の際に使用されるＦ値として汎用性の高い範囲」から「推定Ｆ値に基づいて導出される被写体の輝度値」の範囲（以下、「調整許容輝度範囲」とも称する（図１６の範囲Ａ参照））を特定し、その調整許容輝度範囲に基づいて第２の光源推定方式に基づく光源推定を行うことが好ましい。
【０１６６】
例えば「実際の被写体の輝度値が１６ＥＶ以上か否か」を第２の光源推定方式に基づいて判定するケースでは、上述の処理ステップＳ６６において絞り値が「Ｆ４」と推定され、撮影の際に使用される絞り値として汎用性の高い範囲が「Ｆ２．８〜Ｆ８」の範囲であるとする場合、推定Ｆ値に基づいて導出される被写体の輝度値は「１４ＥＶ以上」の範囲（図１６の符号「Ａ」で表される範囲参照）に含まれる確率が高い。したがって「実際の被写体の輝度値が１６ＥＶ以上か否か」を第２の光源推定方式に基づいて判定するケースでは、「推定Ｆ値に基づいて導出される被写体の輝度値が１４ＥＶ以上か否か」を基準に判定が行われることが好ましい。
【０１６７】
一般的に青空は１６ＥＶ以上に相当する明るさを持つとされる。そのため上述の処理ステップＳ６６において目標被写体（第１のキーターゲット）を青空の画像として第２の光源推定方式に従って撮影シーンの光源を推定する場合、目標被写体（青空）の検出の基準として用いられる明るさの範囲が図１６に示される関係に基づいて拡張される。すなわちシーン判定部４９は、「汎用性の高い撮影時Ｆ値の範囲（本例ではＦ２．８〜Ｆ８の範囲）」と「代表絞り値に基づいて推定される推定Ｆ値（本例ではＦ４）」とに基づいて特定される調整許容輝度範囲に注目し、その調整許容輝度範囲のうち最も小さい輝度値（本例では１４ＥＶ）を基準にして第２の光源推定方式に基づく光源推定を行う。したがって本例のシーン判定部４９は、「推定Ｆ値に基づいて導出される被写体の輝度値が１４ＥＶ以上である場合にはその被写体が青空である可能性があり、推定Ｆ値に基づいて導出される被写体の輝度値が１４ＥＶよりも小さい場合にはその被写体は青空ではない」と判定する。
【０１６８】
このように、汎用性の高い撮影時Ｆ値の範囲及び推定Ｆ値から定められる調整許容輝度範囲に基づいて第２の光源推定方式を履行することで、実際の被写体の輝度と推定Ｆ値に基づいて導出される被写体の輝度との間のズレが補償され、青空等の目標被写体が対象画像に含まれているか否かを精度良く判定することができる。
【０１６９】
なお被写体が青空か否かの判定は、被写体の輝度情報に加えて他の情報に基づいて行われる。例えば「被写体が青色か否か」及び／又は「被写体が対象画像の上側に存在するか否か」の情報と被写体の輝度情報とを組み合わせて、目標被写体である青空の画像の検出を行うことが好ましい。すなわち「被写体の輝度値が、調整許容輝度範囲のうち最も小さい輝度値以上である」という条件を満たし且つ「被写体が青色である」及び／又は「被写体が対象画像の上側に存在する」という条件を満たす対象画像中の被写体を「青空」と判定することができる。ここでいう「被写体が青色か否か」の判定手法は特に限定されず、例えばＲＧＢのバランスが黒体放射曲線（図１１参照）上にある画像を青色の画像として扱ってもよい。
【０１７０】
青空のような目標被写体が対象画像に含まれているか否かを、例えば色に基づく判定（すなわち被写体が青色か否かの判定）のみに基づいて行う場合には判定精度が非常に低いが、本例のように被写体の輝度情報を使用して目標被写体が対象画像に含まれているか否かの判定を行うことで判定精度を向上させることができる。特に、図１６に示すような関係に基づいて輝度情報の判定閾値を修正することで、推定Ｆ値に基づいて導出される被写体の輝度値に基づく第２の光源推定方式であっても光源を精度良く推定することが可能となる。
【０１７１】
なお、例えば代表絞り値として「Ｆ２．８」が採用されて上述の処理ステップＳ６６において絞り値が「Ｆ２．８」と推定される場合には、図１６の符号「Ｂ」で表される範囲のうち最も小さい被写体の輝度値である「１３ＥＶ」を上述の処理ステップＳ６８における第２の光源推定方式の判定基準として用いることができる。
【０１７２】
また調整許容輝度範囲を定めるための「撮影の際に使用される絞り値として汎用性の高い範囲」は「Ｆ２．８〜Ｆ８」に限定されない。初級ユーザにとって汎用性が高い範囲は、上述のように一般的には「Ｆ２．８〜Ｆ８」の範囲であると考えられ、より限定的には「Ｆ４〜Ｆ５．７」の範囲であると考えられ、更に限定的には「Ｆ４」であると考えられる。したがって、「撮影の際に使用される絞り値として汎用性の高い範囲」を「Ｆ４〜Ｆ５．７」に定めてもよいし、「Ｆ４」に定めてもよい。
【０１７３】
なお、図１６の範囲Ｃ以外で表される範囲（Ｆ１〜Ｆ２及びＦ１１．３〜Ｆ３２の範囲）は上級ユーザによって好んで使用される範囲であり、とりわけＦ１１．３〜Ｆ３２の範囲のように絞り開度の小さい範囲は被写界深度を理解して撮影を行う上級ユーザによって多用される範囲である。上級ユーザであれば、ＡＷＢ処理によって色ズレ等の不具合が生じても、プリセットＷＢゲイン等を使って自身で修正を行うことも可能である。したがって、上級ユーザによって多用されることが想定されるこれらの範囲（図１６に示す例ではＦ１〜Ｆ２及びＦ１１．３〜Ｆ３２の範囲）は、上述の調整許容輝度範囲に含まれなくてもよい。
【０１７４】
以上説明したように本実施形態によれば、オールドレンズなどのレンズ部１１が本体部１２に装着され、対象画像を撮影した際の絞り値を本体部１２がレンズ部１１から取得できない場合であっても、青空のような目標被写体が対象画像に含まれていれば、初級ユーザであっても高精度なＡＷＢ処理を行って高画質の画像（ＷＢ処理画像）を得ることができる。
【０１７５】
＜他の変形例＞
本発明の応用は上述の実施形態に限定されるものではなく、上述の実施形態に各種の変形が加えられてもよく、また上述の実施形態同士が適宜組み合わされてもよい。例えば第１実施形態及び第２実施形態が組み合わされてもよく、第１実施形態の処理フローにおいて「対象画像を撮影した際のレンズ部１１の焦点距離が得られない場合（図８の処理ステップＳ１６のＮ参照）」に、第２実施形態における「日中屋外ランドマークの検出処理を利用したＷＢ処理（図１２の処理ステップＳ３６〜Ｓ４３参照）」を行ってもよい。
【０１７６】
また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、揮発性のＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性のメモリ、及び／又はＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）やアプリケーションプログラム等の各種の動作プログラムが適宜組み合わされることで実現することができる。また上述のデジタルカメラ１０（レンズ部１１及び本体部１２）の各部における画像処理方法及び撮像方法に関する各種処理の手順をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
【０１７７】
また、本発明を適用可能な態様は図１及び図２に示すデジタルカメラ１０には限定されない。
【０１７８】
例えば上述の画像処理部３５（ＷＢ処理部４０）がコンピュータ９２やサーバ９７に設けられる場合（図４（ａ）及び（ｂ）参照）、対象画像を撮影した際の絞り値及び焦点距離等の各種の情報は、対象画像に直接的又は間接的に付加されているデータ（メタデータ等）に基づいて取得されてもよい。
【０１７９】
また、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
【０１８０】
＜スマートフォンの構成＞
図１７は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図１７に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１８１】
図１８は、図１７に示すスマートフォン１０１の構成を示すブロック図である。図１８に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
【０１８２】
無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。
【０１８３】
表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備える所謂タッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。
【０１８４】
表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）又はＯＥＬＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
【０１８５】
本発明の撮像装置の一実施形態として図１７に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。
【０１８６】
なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。
【０１８７】
通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図１７に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。
【０１８８】
操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図１７に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
【０１８９】
記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
【０１９０】
外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＩＥＥＥ（Ｔｈｅ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ，  Ｉｎｃ．）が定めるＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により他の外部機器に直接的又は間接的に接続する。
【０１９１】
スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ  ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、及び有線／無線接続されるイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。
【０１９２】
ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ））から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
【０１９３】
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。
【０１９４】
電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。
【０１９５】
主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。
【０１９６】
アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。
【０１９７】
また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。
【０１９８】
さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。
【０１９９】
表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０２００】
また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０２０１】
さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０２０２】
また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０２０３】
カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図１７に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮影が行われてもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影が行われてもよい。
【０２０４】
また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示さてもよいし、操作パネル１２２の操作入力手法の１つとして、カメラ部１４１で撮影取得される画像が利用さてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０２０５】
その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画像又は動画像のデータに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。
【０２０６】
なお上述の画像処理部３５（特にＷＢ処理部４０）は、例えば主制御部１００によって実現可能である。
【符号の説明】
【０２０７】
１０…デジタルカメラ、１１…レンズ部、１２…本体部、１３…レンズ、１４…絞り、１５…光学系操作部、１６…レンズ側コントローラ、１７…レンズ記憶部、１８…レンズ側入出力部、１９…絞り調整部、２０…絞り駆動部、２１…フォーカス調整部、２２…レンズ駆動部、２３…レンズ保持部、２４…撮像素子、２５…本体側コントローラ、２６…ユーザインターフェース、２８…本体側入出力部、２９…本体記憶部、３０…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３８…レンズアダプタ、４０…ＷＢ処理部、４１…前処理部、４２…後処理部、４４…被写体、４６…画像取得部、４７…絞り値判定部、４８…夜間判定情報取得部、４９…シーン判定部、５０…パラメータ決定部、５１…ＷＢ実行部、９２…コンピュータ、９３…コンピュータ入出力部、９４…コンピュータコントローラ、９５…ディスプレイ、９６…ネットワーク、９７…サーバ、９８…サーバ入出力部、９９…サーバコントローラ、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部
【図１】
2016144006.tif 000003
【図２】
2016144006.tif 000004
【図３】
2016144006.tif 000005
【図４】
2016144006.tif 000006
【図５】
2016144006.tif 000007
【図６】
2016144006.tif 000008
【図７】
2016144006.tif 000009
【図８】
2016144006.tif 000010
【図９】
2016144006.tif 000011
【図１０】
2016144006.tif 000012
【図１１】
2016144006.tif 000013
【図１２】
2016144006.tif 000014
【図１３】
2016144006.tif 000015
【図１４】
2016144006.tif 000016
【図１５】
2016144006.tif 000017
【図１６】
2016144006.tif 000018
【図１７】
2016144006.tif 000019
【図１８】
2016144006.tif 000020