(57)【要約】【課題】好適なダイナミックレンジの設定を可能ならしめる、被写体の明るさの指標を提示する。【解決手段】画像処理装置は、複数の露出設定のうちから１つの露出設定を選択し、選択した露出設定で撮像された画像信号に基づき、所定の被写体の明るさを測定し、所定の被写体の明るさに関する情報を提示する。また装置は選択する露出設定を、測定結果に基づいて、測定結果における所定の被写体の明るさが収まるダイナミックレンジの画像信号を撮像する露出設定に変更するよう制御する。複数の露出設定は、記録用の画像信号の撮像を行うものとして予め定められた第１の種別の露出設定と、記録用の画像信号の撮像を行わないものとして予め定められた第２の種別の露出設定と、を含む。【選択図】図３
2017126958.tif 000002
【特許請求の範囲】
【請求項１】
複数の露出設定のうちから、１つの露出設定を選択する選択手段と、
前記選択手段により選択された露出設定で撮像された画像信号に基づき、所定の被写体の明るさを測定する測定手段と、
前記所定の被写体の明るさに関する情報を提示する提示手段と、
前記測定手段による測定結果に基づいて、前記選択手段による露出設定の選択を制御する制御手段と、を有し、
前記制御手段は、前記測定結果における前記所定の被写体の明るさが収まるダイナミックレンジの画像信号を撮像する露出設定を前記選択手段に選択させ、
前記複数の露出設定は、記録用の画像信号の撮像を行うものとして予め定められた第１の種別の露出設定と、記録用の画像信号の撮像を行わないものとして予め定められた第２の種別の露出設定と、を含む
ことを特徴とする画像処理装置。
【請求項２】
前記提示手段は、前記測定結果における前記所定の被写体の明るさが飽和している信号レベルでない場合に、前記所定の被写体の明るさに関する情報を提示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記測定結果における前記所定の被写体の明るさが飽和している信号レベルである場合に、該測定結果に係る露出設定よりも広いダイナミックレンジの画像信号を撮像する露出設定を前記選択手段に選択させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
記録用の画像信号の撮像を行うモード及び記録用の画像信号の撮像を行わないモードのいずれかを設定する設定手段をさらに有し、
前記設定手段により前記記録用の画像信号の撮像を行わないモードに設定された場合に、前記測定手段による測定、前記提示手段による提示、及び前記制御手段による制御が行われる
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記提示手段は、前記設定手段により前記記録用の画像信号の撮像を行うモードから前記記録用の画像信号の撮像を行わないモードに設定が変更された場合に、該変更前のモードにおいて選択されていた露出設定に対応するダイナミックレンジと、前記所定の被写体の明るさとを対比可能な態様で提示することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記提示手段は、前記選択手段により選択された露出設定で撮像された画像信号に係る画像をさらに提示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記選択手段により選択された露出設定で撮像された画像信号を、前記変更前のモードにおいて選択されていた露出設定に対応するダイナミックレンジの画像に変換する変換手段をさらに有し、
前記提示手段は、前記変換手段により変換された画像を前記所定の被写体の明るさに関する情報とともに提示する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記提示手段は、前記所定の被写体の明るさが収まるダイナミックレンジの画像信号を撮像する露出設定が、前記第２の種別の露出設定であるか否かを示す情報を提示することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
撮像手段と、
請求項１乃至８のいずれか１項に記載の画像処理装置と、を有する
ことを特徴とする撮像装置。
【請求項１０】
複数の露出設定のうちから、１つの露出設定を選択する選択工程と、
前記選択工程において選択された露出設定で撮像された画像信号に基づき、所定の被写体の明るさを測定する測定工程と、
前記所定の被写体の明るさに関する情報を提示する提示工程と、
前記測定工程における測定結果に基づいて、前記選択工程における露出設定の選択を制御する制御工程と、を有し、
前記制御工程において、前記測定結果における前記所定の被写体の明るさが収まるダイナミックレンジの画像信号を撮像する露出設定が前記選択工程において選択されるよう制御され、
前記複数の露出設定は、記録用の画像信号の撮像を行うものとして予め定められた第１の種別の露出設定と、記録用の画像信号の撮像を行わないものとして予め定められた第２の種別の露出設定と、を含む
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特にダイナミックレンジを変更して階調表現を異ならせた撮影を行う技術に関する。
【背景技術】
【０００２】
撮像素子を露光させて撮像を行うデジタルカメラ等の撮像装置では、被写体の明るさや露光設定によって、１回の撮像に係り撮像素子の光電変換素子に蓄積される電荷が飽和し、例えば高輝度被写体領域において所謂白飛び等の階調表現が失われた結果を導きうる。これに対し、近年では低露出量で撮像した画像信号を用いることで、高輝度領域に階調表現を残しつつ、被写体の明るさ分布を信号レベルに精細に再現する、ダイナミックレンジ（ＤＲ）の拡張技術が存在する。特許文献１には、最小・最大輝度レベルの分布を測定し、該分布に基づき決定した輝度レベルの範囲が収まる、より広いＤＲの画像が得られるよう、カメラの状態を制御することが開示されている。このようにして得られた画像信号は、露出量が低く全体的に暗いため、ガンマ補正を適用することで、高輝度領域における階調表現が担保されるように全体の輝度が引き上げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２７８６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の手法では、撮影により出力された撮像信号から最小輝度レベル及び最大輝度レベルの測定を行うため、測定可能な輝度レベルは撮影用に設けられた最大のＤＲ内に限定される。即ち、該ＤＲを超えた輝度を有する被写体が含まれていたとしても、撮像信号では該被写体の輝度は飽和してしまうため測定できず、必ずしも好適にＤＲを拡張した画像を生成することはできない。
【０００５】
本発明は、上述の問題点に鑑みてなされたものであり、好適なダイナミックレンジの設定を可能ならしめる、被写体の明るさの指標を提示する画像処理装置、撮像装置、制御方法及びプログラムを目的とする。
【課題を解決するための手段】
【０００６】
前述の目的を達成するために、本発明の画像処理装置は、複数の露出設定のうちから、１つの露出設定を選択する選択手段と、選択手段により選択された露出設定で撮像された画像信号に基づき、所定の被写体の明るさに関する情報を測定する測定手段と、所定の被写体の明るさを提示する提示手段と、測定手段による測定結果に基づいて、選択手段による露出設定の選択を制御する制御手段と、を有し、制御手段は、測定結果における所定の被写体の明るさが収まるダイナミックレンジの画像信号を撮像する露出設定を選択手段に選択させ、複数の露出設定は、記録用の画像信号の撮像を行うものとして予め定められた第１の種別の露出設定と、記録用の画像信号の撮像を行わないものとして予め定められた第２の種別の露出設定と、を含むことを特徴とする。
【発明の効果】
【０００７】
このような構成により本発明によれば、好適なダイナミックレンジの設定を可能ならしめる、被写体の明るさの指標を提示することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタルビデオカメラ１００の外観図
【図２】本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示したブロック図
【図３】本発明の実施形態１に係るデジタルビデオカメラ１００で実行される提示処理を例示したフローチャート
【図４】本発明の変形例１に係る情報提示の画面構成例
【図５】本発明の変形例１に係る、ＤＲ測定モードにおける表示用画像信号を生成するガンマ特性を説明するための図
【図６】本発明の変形例２に係る情報提示の画面構成例
【発明を実施するための形態】
【０００９】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は画像処理装置の一例としての、各々異なるダイナミックレンジ（以下、ＤＲ）に対応する複数の露出設定を用いて撮像を行うことが可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、該複数の露出設定の選択する際の指標となり得る情報提示を行うことが可能な任意の機器に適用可能である。
【００１０】
《デジタルビデオカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルビデオカメラ１００の外観を示した図である。
【００１１】
図１において表示部２８が、複数の撮影モードにより撮影され記録された画像信号や各種の情報を表示するために設けられた表示装置である。またデジタルビデオカメラ１００には、撮影指示を行うための録画スイッチ６１、各種モードを切り替えるためのモード切替スイッチ６０、及び電源オン／電源オフを切り替えるための電源スイッチ７２が設けられる。またこの他、各種ボタンや十字キー等のユーザからの各種操作を受け付ける操作部材が操作部７０として設けられる。
【００１２】
コネクタ１１２は、デジタルビデオカメラ１００と外部機器とを接続する際の接続ケーブル用のコネクタである。また記録媒体２００は、メモリカードやハードディスク等の着脱可能に接続される記録媒体であり、記録媒体スロット２０１に収納されることでデジタルビデオカメラ１００と接続され、情報の送受信が可能となる。
【００１３】
次にデジタルビデオカメラ１００の機能構成について、図２のブロック図を用いて説明する。図示されるように本実施形態のデジタルビデオカメラ１００では、撮像信号を得るために、バリア１０２、撮影レンズ１０３、絞り１０１、ＮＤ１０４を介して被写体からの光が撮像部２２に導かれる。撮影レンズ１０３は、例えばズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は、光量調整に使用する絞りである。ＮＤ１０４は、減光用に使用するフィルタである。撮像部２２は、結像された光学像を電気信号（アナログ画像信号）に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また撮像部２２は、電子シャッタによる電荷蓄積量／時間の制御や、アナログゲインの適用制御、読み出し速度の変更等の機能も備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されたアナログ信号をデジタル信号に変換する。なお、バリア１０２は、これらの撮影レンズ１０３を含む撮像光学系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系統部材の汚れや破損を防止する。
【００１４】
画像処理部２４は、Ａ／Ｄ変換器２３から出力されたデジタル画像信号（以下、単に画像信号または画像データ）またはメモリ制御部１５により取得された画像データに対して色変換処理、ガンマ補正処理、デジタルゲインの付加等の処理を行う。また画像処理部２４は、撮像した画像信号を用いて露出制御等に係る所定の演算処理を行い、演算結果をシステム制御部５０に伝送する。システム制御部５０は、該演算結果に基づいて露出制御、測距制御、ホワイトバランス制御等を行う。このように動作することで、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が実現される。
【００１５】
また画像処理部２４は、後述の表示部２８に表示する画像信号（表示用の画像信号）の生成も行う。表示用の画像信号は、撮像により得られた画像信号（種々の処理が適用されたものも含む）に限られるものでなく、さらに予め定められた、あるいはデジタルビデオカメラ１００の状態に応じて生成された１以上のＧＵＩが重畳されて構成されるものであってよい。本実施形態のデジタルビデオカメラ１００では、画像処理部２４は、例えば撮像時のアイリス情報、ＳＴＯＰ情報、フォーカス情報等を撮像により得られた画像信号に重畳した画像信号を、表示用の画像信号として出力する。
【００１６】
本実施形態のデジタルビデオカメラ１００は、複数種類のＤＲの画像信号を出力可能なように構成されており、ユーザは所望のＤＲの画像信号が出力されるよう撮像設定（露出設定）を変更することができる。出力画像のＤＲは、選択された撮影モードに応じて変更されるものであってもよいし、ユーザによる露出設定に係る各種の変更操作に応じて選択されるものであってもよい。即ち、デジタルビデオカメラ１００において設定可能な露出設定には、各々異なるＤＲに対応する露出設定が複数含まれる。ここで、複数の露出設定は、全てが異なるＤＲに対応するものである必要はなく、同一のＤＲに対応する露出設定が複数存在することを除外するものではない。
【００１７】
ところで、上述したように選択されたＤＲにおいてユーザの所望する階調表現がなされるか否か、即ち、光電変換素子において飽和が生じて一部の明るさ（測光値）が飽和値として表現されてしまうか否かは、目視では確認しづらい。従って、本実施形態のデジタルビデオカメラ１００は、設定可能なモードとして、撮像部２２から出力された撮像画像の記録用途の撮影モードに加え、記録用途ではなく被写体の明るさ分布やこれを包含するＤＲを測定するためのＤＲ測定モードを有する。ＤＲ測定モードでは、ユーザは所望の撮像結果を得るための撮像設定／露出設定（あるいはＤＲ設定）の決定をユーザに容易ならしめるための情報、あるいは被写体の明るさの指標をユーザに知らしめる情報の提示が行われる。
【００１８】
ＤＲ測定モードでは、上記情報をユーザに提示するために、画像処理部２４が該情報を重畳データとして表示用の画像信号に含めることにより実現される。即ち、本実施形態のデジタルビデオカメラ１００では、該情報は、撮像により得られた画像信号とともに表示部２８を介してユーザに提示される。しかしながら、本発明の実施において、これらの情報の提示は、撮像により得られた画像信号とともに行われる必要はなく、さらに該情報がユーザに提示可能な構成であれば表示に用いる媒体は表示部２８に限られるものではない。例えば、単に情報の提示は後述するようなＧＵＩにより行われるものである必要はなく、必要な数値を提示することにより行われるものであってもよい。また情報提示は、デジタルビデオカメラ１００に設けられている表示部２８を含む表示装置において行われるものに限られるものではなく、デジタルビデオカメラ１００に接続された外部の表示装置が用いられるものであってもよいことは言うまでもない。
【００１９】
好適な情報提示を可能ならしめるために、上記複数の露出設定は、撮像画像の記録に用いるよう、予め撮像画像の画質等を考慮して定められている第１の種別の露出設定と、撮像画像の記録には用いられない第２の種別の露出設定とを含む。撮影モードでは、第１の種別の露出設定のみが用いられるが、ＤＲ測定モードでは、第１の種別の露出設定及び第２の種別の露出設定が用いられる。これは、第１の種別の露出設定で対応可能なＤＲに被写体の明るさが収まらない（最大の明るさが対応可能なＤＲの最大値を上回る、最小の明るさが対応可能なＤＲの最小値を下回る）ケースを想定したものである。即ち、第１の種別の露出設定では白飛び等を生じさせてしまう被写体は、明るさを正確に測定できないことになるが、本実施形態のデジタルビデオカメラ１００ではこれを可能ならしめるためＤＲ測定モードにおいてのみ、第２の種別の露出設定の使用を認める。第２の種別の露出設定は、好適な画質の撮像信号の出力を担保しない、かつ記録しないことを前提とする一方で、基本的に第１の種別の露出設定に比べて、より拡張されたＤＲでの撮像を可能とする。故に、ＤＲ測定モードは撮像モードよりも広いＤＲに係る撮像画像を得ることができ、飽和値により測定不可となる可能性を低減し、より正確な被写体の明るさの指標をユーザに提示することができる。
【００２０】
なお、画像処理部２４において実行される種々の処理は任意の単位で分割されてもよく、各々の分割単位の処理について、専用の演算回路やプロセッサが設けられることで画像処理部２４は構成されるものであってもよい。この場合、画像処理部２４が有する各回路やチップは、システム制御部５０の制御下ではなく、信号の入力に応じて所定の動作を開始し、動作結果である信号を出力するよう構成されるものであってもよい。
【００２１】
このように、画像処理部２４により生成された種々の出力信号は、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２により撮像されてＡ／Ｄ変換器２３により変換されたデジタル画像信号を一時的に格納する格納領域である。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は表示部２８に係る表示用の画像信号を格納するための記憶装置（ビデオメモリ）を兼ねている。この場合、Ｄ／Ａ変換器１３がメモリ３２に格納されている表示用の画像信号をアナログ信号に変換して表示部２８に供給する。このようにすることで、メモリ３２に書き込まれた表示用の画像信号が、表示部２８に表示される。
【００２２】
表示部２８は、例えばＬＣＤ等の表示装置であり、Ｄ／Ａ変換器１３から出力されたアナログ画像信号に応じて表示を行う。またＡ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積された画像信号を、Ｄ／Ａ変換器１３においてアナログ変換して表示部２８に逐次転送して表示することで、表示部２８は電子ビューファインダとして機能し、スルー画像表示を実現できる。
【００２３】
不揮発性メモリ５６は、例えば電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、デジタルビデオカメラ１００が有する各ブロックの動作プログラム等が記憶される。
【００２４】
システム制御部５０は、例えばＣＰＵ等の制御回路であり、デジタルビデオカメラ１００が有する各ブロックの動作を制御する。システム制御部５０は、例えば不揮発性メモリ５６に記録された各ブロックの動作プログラムを読み出し、システムメモリ５２に展開して実行することにより、各ブロックの動作を制御する。システムメモリ５２は、例えばＲＡＭ等であり、動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データ等を格納するための格納領域としても機能する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムタイマー５３は各種制御に用いる時間や内蔵時計に係る時間の計測を行うための計時機能に用いられ、システム制御部５０は必要に応じて該計時機能を用いて各種処理の制御を行う。
【００２５】
モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード及び静止画記録モード（撮影モード）、測定モード、再生モード等のいずれかに切り替えるための操作入力を受け付ける。撮影モードに含まれるモードとして、上述した通常モード及び高輝度優先モードを含む。またこの他、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等を含むものであってもよい。モード切替スイッチ６０になされたモード変更の情報は、所定の制御信号としてシステム制御部５０に伝送される。録画スイッチ６１は撮影待機状態と撮影状態を切り替えるための操作入力を受け付ける。システム制御部５０は、録画スイッチ６１になされた操作入力に係る制御信号の受信に応じて、撮像部２２からの信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始する。
【００２６】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作すること等により、場面ごとに適宜機能が割り当てられ、各種機能に係る操作入力を受け付ける。ボタンが割り当てられる各種機能には、例えば終了、戻る、画像送り、ジャンプ、絞込み、属性変更等が含まれてよい。例えば、メニューボタンに係る操作入力が行われた場合には、各種の設定可能なメニュー画面が表示部２８に表示され、操作部７０の各操作部材について受け付ける操作入力の割り当てが変更される。ユーザは、表示部２８に表示されたメニュー画面に基づき、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。本実施形態のデジタルビデオカメラ１００では、所定の状態においてユーザは表示部２８に表示されたポインタを十字キーにより移動操作可能であり、例えば画像信号の表示中にＳＥＴボタンをさらに操作することで、ポインタに対応する領域を選択できる。
【００２７】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。
【００２８】
記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。本実施形態では撮影モードにおいて行われた撮像動作に係り、画像処理部２４から出力された画像信号が記録媒体２００に記録される。
【００２９】
本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。
【００３０】
《提示処理》
このような構成をもつ本実施形態のデジタルビデオカメラ１００で実行される、好適なダイナミックレンジの設定を可能ならしめる、被写体の明るさ指標を提示する提示処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部５０が、例えば不揮発性メモリ５６に記憶されている対応する処理プログラムを読み出し、メモリ３２に展開して実行することにより実現することができる。本提示処理は、例えばデジタルビデオカメラ１００のモードをＤＲ測定モードに設定する操作入力がモード切替スイッチ６０を介してなされた際に開始されるものとして説明する。また、以下の説明では被写体の明るさを評価する値として撮像信号のうちの輝度成分の信号レベルである輝度値を用いるものとして説明するが、明るさの評価する値はＥＶ値等のその他の種類の値が用いられるものであってもよいことは言うまでもない。
【００３１】
Ｓ３０１で、画像処理部２４は、撮像により得られた画像信号（撮像信号）について、最大の明るさを示す信号レベルを特定する。具体的には画像処理部２４は、撮像信号を取得し、該撮像信号を輝度信号に変換して最大の輝度値を特定する。輝度信号は、取得した撮像信号の各色成分の信号レベルに基づいて所定の変換演算を行うことで得られる。なお、被写体の輝度を測定するため、輝度信号はガンマ補正処理等を適用する前の画像信号に基づいて生成されたものである。
【００３２】
Ｓ３０２で、画像処理部２４は、ＤＲ測定モードに設定される前の撮影モードで設定されていた露出設定である、現在の露出設定（選択露出設定）に対応するＤＲ（選択ＤＲ）に、Ｓ３０１において特定された最大の輝度値が含まれるか否かを判断する。選択ＤＲの情報は、上述したように予め定められて例えばメモリ３２に記憶されているものであってよく、画像処理部２４は該情報を参照することで本ステップの判断を行う。本ステップの判断は、撮像信号に輝度が飽和している画素信号が含まれるか否か、即ち選択露出設定による撮像において階調が失われている被写体が存在するか否かを判断するものである。画像処理部２４は、特定された最大の輝度値が選択ＤＲに含まれると判断した場合は処理をＳ３０３に移し、含まれないと判断した場合は処理をＳ３０５に移す。なお、本実施形態では提示態様の変化が把握しやすいよう、選択露出設定は第１の種別の露出設定のいずれかであるものとして説明する。
【００３３】
Ｓ３０３で、画像処理部２４は、撮像信号に係る輝度信号に基づき、撮像された被写体の輝度値の範囲（輝度範囲）を特定する。本実施形態の提示処理では、被写体の明るさの指標として、撮像信号に係る輝度信号が示す輝度値の最大値と最小値で規定される輝度範囲を提示するものとして説明するが、本発明の実施はこれに限られるものである必要はない。例えば被写体の明るさの指標は、輝度値の最大値のみ、最小値のみ、あるいは輝度に係る画素分布を示すものであってもよい。
【００３４】
Ｓ３０４で、画像処理部２４は、選択ＤＲとＳ３０３において得られた被写体の輝度範囲の情報とを対比可能な態様で示す通知画像を生成し、表示部２８に表示させ、ユーザに提示する。通知画像は、例えば選択ＤＲに含まれる輝度値を示すスケールにおいて、被写体の輝度範囲及び選択ＤＲを示すものであってよく、これによりユーザは選択ＤＲが被写体の輝度範囲をカバーしていることを把握することができる。
【００３５】
一方Ｓ３０２において最大の輝度値が選択ＤＲに含まれないと判断された場合、システム制御部５０はＳ３０５で、露出設定を変更する。本ステップにおける露出設定の変更は、第１の種別の露出設定で対応可能な最大のＤＲ（最大の明るさを含むＤＲ、もしくは最大の明るさ範囲を包含するＤＲ：記録用最大ＤＲ）に係る露出設定（記録用最大露出設定）への変更である。即ち、システム制御部５０は、撮影モード（撮像信号の記録が可能なモード）において使用可能な露出設定のうちの最大のＤＲに係る露出設定への変更を行う。ここで、記録用最大ＤＲに係る露出設定の変更段数Ｄchangeは、選択ＤＲをＤnow（単位％）、記録用最大ＤＲをＤmax（単位％）とすると、
Ｄchange＝ｌｏｇ2（Ｄmax／Ｄnow）
として算出することができる。例えば、選択ＤＲがＤnow＝４００％、露出設定変更後のＤＲがＤchange＝８００％である場合の変更段数は１段となる。また選択ＤＲが３００％である場合は、変更段数は約１．５２段となる。システム制御部５０は、このように算出した変更段数に基づいて露出設定の変更を行う。例えば露出設定の変更が電子シャッタのシャッタスピードの調整で行われる場合、選択露出設定において１／６０であれば、変更段数１段はこれを１／１２０に変更することに相当する。なお、露出設定の変更方法は、絞り１０１、ＮＤ１０４、撮像部２２における電子シャッタ、アナログゲインの状態、値、動作を変更する等、既存の手法により行われるものであってよい。
【００３６】
Ｓ３０６で、画像処理部２４は、変更後の露出設定（記録用最大露出設定）での撮像により新たに得られた撮像信号について、最大の明るさを示す信号レベルを特定する。画像処理部２４は、Ｓ３０１と同様に、撮像信号を輝度信号に変換して最大の輝度値を特定する。
【００３７】
Ｓ３０７で、画像処理部２４は、記録用最大露出設定に対応するＤＲ（記録用最大ＤＲ）に、Ｓ３０６において特定された最大の輝度値が含まれるか否かを判断する。画像処理部２４は、特定された最大の輝度値が記録用最大ＤＲに含まれると判断した場合は処理をＳ３０８に移し、含まれないと判断した場合は処理をＳ３１０に移す。
【００３８】
Ｓ３０８で、画像処理部２４は、撮像信号に係る輝度信号に基づき、撮像された被写体の輝度範囲を特定する。本ステップにおいて特定される輝度範囲は、同一の被写体であれど、撮像を行った露出設定が異なるため、Ｓ３０３において特定される輝度範囲とは異なる範囲を示す。
【００３９】
Ｓ３０９で、画像処理部２４は、記録用最大ＤＲとＳ３０８において得られた被写体の輝度範囲の情報とを比較可能な態様で示す通知画像を生成し、表示部２８に表示させ、ユーザに提示する。通知画像は、例えば記録用最大ＤＲに含まれる輝度値を示すスケールにおいて、被写体の輝度範囲、選択ＤＲ及び記録用最大ＤＲを示すものであってよい。このような提示により、ユーザは選択ＤＲでは被写体の輝度範囲はカバーされないが、記録用最大ＤＲでは被写体の輝度範囲がカバーされることを把握することができる。また、選択露出設定からどの程度ＤＲを拡張する露出設定にすればよいかを把握することができる。
【００４０】
一方Ｓ３０７において最大の輝度値が記録用最大ＤＲに含まれないと判断された場合、システム制御部５０はＳ３１０で、露出設定を変更する。本ステップにおける露出設定の変更は、第２の種別の露出設定への変更、即ちＤＲ測定モードにのみ使用される露出設定への変更である。上述したように第２の種別の露出設定は、撮像信号における画質を考慮するものではなく、明るさの測定を意図して設けられた露出設定であり、記録用最大ＤＲを超える輝度値の測定が可能となる。本ステップの処理は、被写体の輝度値が対応するＤＲに含まれるまで繰り返し実行されるものであり、例えば記録用最大ＤＲの次に高い最大値を有するＤＲに係る露出設定への変更の後、実行の度に最大の輝度値を順次増加させたＤＲに係る露出設定に変更される。即ち、システム制御部５０は、順次高い輝度値をＤＲに含むよう、本ステップの繰り返し実行において、第２の種別の露出設定に含まれる露出設定を順次選択していく。
【００４１】
Ｓ３１１で、画像処理部２４は、変更後の露出設定（測定用露出設定）での撮像により得られた撮像信号について、最大の明るさを示す信号レベルを特定する。画像処理部２４は、Ｓ３０１及びＳ３０６と同様に、撮像信号を輝度信号に変換して最大の輝度値を特定する。
【００４２】
Ｓ３１２で、画像処理部２４は、測定用露出設定に対応するＤＲ（測定用ＤＲ）に、Ｓ３１１において特定された最大の輝度値が含まれるか否かを判断する。画像処理部２４は、特定された最大の輝度値が測定用ＤＲに含まれると判断した場合は処理をＳ３１３に移し、含まれないと判断した場合は処理をＳ３１０に戻す。即ち、撮像信号が飽和信号を有する場合は、該飽和信号に対応する被写体の階調が失われており、被写体の明るさを好適に評価することができないため、飽和した輝度値を有しない撮像信号が得られるまでＳ３１０〜Ｓ３１２の処理は繰り返される。
【００４３】
Ｓ３１３で、画像処理部２４は、撮像信号に係る輝度信号に基づき、撮像された被写体の輝度範囲を特定する。本ステップにおいて特定される輝度範囲は、特に記録用最大ＤＲに含まれない最大の輝度値を好適に評価したものとなる。
【００４４】
Ｓ３１４で、画像処理部２４は、測定用ＤＲとＳ３１３において得られた被写体の輝度範囲の情報とを比較可能な態様で示す通知画像を生成し、表示部２８に表示させ、ユーザに提示する。通知画像は、例えば測定用ＤＲに含まれる輝度値を示すスケールにおいて、被写体の輝度範囲、選択ＤＲ、記録用最大ＤＲ及び測定用ＤＲを示すものであってよい。このような提示により、ユーザは被写体の輝度範囲をカバーする撮影（画像記録）は行うことができないが、被写体の輝度範囲がどの程度であるかを把握することができる。また、撮影条件をどの程度異ならせれば、高輝度被写体における階調表現を担保した撮影を行うことができるかを把握することができる。
【００４５】
以上説明したように、本実施形態の画像処理装置によれば、好適なダイナミックレンジの設定を可能ならしめる、被写体の明るさの指標を提示することができる。本実施形態の提示処理は、例えば露出設定を調整する以下のようなシーンにおいても、有効な情報提示を行うことができる。
【００４６】
例えば、映画撮影など照明装置等により撮影環境を構築して撮影を行う場合、輝度計を用いることで、デジタルビデオカメラ１００で設定しているＤＲ内に被写体すべての輝度値が含まれるように撮影環境を構築することが一般的である。このとき、ＤＲ内に被写体輝度が含まれない場合、照明装置の光量、照射角等を調整することで最終的な撮影環境を構築する必要がある。しかしながら、被写体に照射される光の測定には、所謂入射型輝度計を用いることが一般的であり、被写体毎、複数の箇所にて測定を行う必要がある上、照明装置の環境を調整する度にこれが繰り返される。また、使用するデジタルビデオカメラ１００と輝度計の目標値等の仕様が異なることも少なくなく、輝度計の測定結果を、使用するデジタルビデオカメラ１００の特性に合わせるため、測定結果に対応する設定を割り出すことが必要となる。
【００４７】
一方で、撮像素子を利用して撮像中に被写体の輝度値を測定することも可能であり、輝度計の特性等を考慮せず設定を行うことができるが、上述したようにデジタルビデオカメラ１００で設定されているＤＲの範囲に測定は限定される。このため、設定されているＤＲに含まれず飽和した場合は測定ができなかった。即ち、撮像信号において飽和を生じさせる被写体については、まず該被写体の輝度をＤＲに収めるために、どの程度照明装置の光量を変更すればよいか、またはデジタルビデオカメラ１００のＤＲをどのように変更すればよいかを一時に把握することができなかった。
【００４８】
故に、このような調整作業には輝度計及びデジタルビデオカメラ１００の知識や撮影経験が必要となり、設備の導入初期時や経験の浅いユーザにとっては、煩雑な作業を強いる可能性がある。これに対し、本実施形態の提示処理に依れば、撮影用に用意された第１の種別の露出設定で対応可能なＤＲを超える明るさの被写体があったとしても、第２の種別の露出設定で明るさを評価し提示することができる。従って、好適なＤＲの設定や照明条件の調整度合いをユーザに容易ならしめることができる。
【００４９】
［変形例１］
上述した実施形態の提示処理では通知画像を表示部２８に提示する態様について説明したが、被写体の輝度と各種ＤＲとを対比可能な情報の提示は通知画像のみの提示に限られるものでない。例えば通知画像（４０１）は、図４に示されるように撮像信号に係る画像４０２とともに提示されるものであってもよい。提示処理においては被写体の最大の輝度値に応じて露出設定の変更を行うため、該輝度値によっては画像４０２の全体が暗くなる等、ユーザが被写体の様子を好適に把握できない画像が提示され得る。
【００５０】
ＤＲを拡張した画像の生成においては、上述したように例えば画像処理部２４が有する不図示のガンマ補正回路で適用されるガンマ補正処理のガンマ特性を変更する必要がある。これは、露出設定の変更により撮像信号（入力信号）における階調表現の分解能が変化する一方で、ガンマ補正処理を含む種々の画像処理適用後の記録用の画像信号（出力信号）に相当するビット表現の分解能が変化しないことに基づく。即ち、異なるＤＲに係る露出設定で得られた複数の撮像信号は、ガンマ補正後の出力信号において同一のビット範囲で（圧縮）表現されることになるため、所謂画像の「見え」が変化する。
【００５１】
本変形例では、このような通知画像とともに表示される撮像信号に係る画像の「見え」が露出設定の変更に依らず維持されるよう、提示処理におけるＤＲの変更時（Ｓ３０５、Ｓ３１１）に、システム制御部５０はガンマ補正回路に設定するガンマ特性を変更する。ガンマ特性の変更は、ＤＲの変更前（選択ＤＲ）の入力信号レベルＸに対する出力信号レベルがＹである場合に、ＤＲ変更後の入力信号レベルＸにＤnow／Ｄmaxを乗じた信号レベルに対する出力信号レベルがＹとなるように行われる。ここで、ＤnowはＤＲ測定モードに設定される前の撮影モードで設定されていた選択露出設定に対応する選択ＤＲ（単位％）、Ｄchangeは変更後のＤＲ（記録用最大ＤＲまたは測定用ＤＲ、単位％）を示す。図５に示した例では、実線５０１がＤnow＝４００％である場合に設定されるガンマ特性を示しており、露出設定の変更によりＤＲがＤchange＝８００％となる場合には、一点鎖線５０２に示されるガンマ特性に変更される。即ち、このようなＤＲ変更態様では、Ｄnow／Ｄmaxは１／２となるため、ＤＲ変更前の入力信号レベルＸに対する出力信号レベルと、ＤＲ変更後の入力信号レベルＸ／２に対する出力信号レベルが同じになるガンマ特性が設定される。つまり、ＤＲ変更前に入力信号レベルＸmaxで表現されていた輝度は、ＤＲ変更後では入力信号レベルＸmax／２となり、変更前と同じく出力信号レベルＹmaxに変換される。なお、ＤＲ変更後の入力信号は、Ｘmax以上の信号レベルを有する画素も含みうるが、変更後のガンマ特性ではＸmax／２以上の入力信号レベルは、ハイカットして出力信号レベルＹmaxに変換される。
【００５２】
このようにすることで、露出設定の変更前後（ＤＲ変更前後）で明るさ表現が統一された画像を閲覧しながら、ユーザは被写体の明るさの分布を確認し、好適なＤＲ設定の把握をすることができる。
【００５３】
［変形例２］
上述した実施形態では、画素単位で最大輝度値の特定及び露出設定の変更を行い、被写体の輝度範囲を包含するＤＲのスケールにおいて、被写体の輝度範囲と選択ＤＲとを対比可能な態様の通知画像を提示する例について説明した。しかしながら、被写体の輝度範囲と選択ＤＲとの対比は、これに限られるものである必要はなく、例えば実施形態で説明した変更段数に相当する値（差分値）を提示することによりなされるものであってもよい。
【００５４】
差分値の提示は、例えば図６に示されるように、表示部２８に撮像信号に係る画像を表示する際に、画像について定められた所定の大きさの領域ごとに行われるものであってもよい。図６（ａ）は、変更段数を提示可能に設けられた領域を示しており、図６（ｂ）は、図６（ａ）においてＡで示される領域の差分値を、該領域を示す枠とともに提示した態様を示している。領域の選択は、例えば表示部２８に対するタッチ操作や十字キーへの操作に基づいて行われるものであってよい。
【００５５】
差分値Δの算出は、測定用に設定されている露出設定に対応するＤＲがＤmeasure（単位％）、該ＤＲに含まれる最大の輝度値をＬmax、選択された領域に含まれる最大の輝度値をＬareaとすると、以下の式により行われる。
2017126958.tif 000003
図６（ｂ）は、Ｄnow＝４００％、Ｄmeasure＝８００％、Ｌmax＝４０９５、Ｌarea＝３５００である例を示しており、差分値Δは約０．７７となっている。即ち、少なくともＤＲを０．７７段変更して約６８０％のＤＲとすれば、選択された領域の被写体の輝度を収めるＤＲとなる。
【００５６】
差分値Δの提示においては、例えば領域の被写体の最大輝度値が記録用最大ＤＲに収まるか否かを識別可能なように、収まる場合と収まらない場合とで差分値Δまたは枠の表示色を異ならせるよう表示制御を行ってもよい。あるいは、画像信号を記録可能な最大のＤＲまでの差分値（選択ＤＲから記録用最大ＤＲへの変更段数）を基準として示すことにより、デジタルビデオカメラ１００が領域の被写体を、階調表現を残して記録可能であるか否かをユーザに知らしめることができる。
【００５７】
なお、領域について被写体の明るさを示す値として、領域中の最大の輝度値を用いるものとして説明したが、本発明の実施はこれに限られるものではなく、例えば領域内の輝度平均値や代表値等、明るさを評価できる値であればいずれの値が用いられてよい。
【００５８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１５：メモリ制御部、２２：撮像部、２４：画像処理部、３２：メモリ、５６：不揮発性メモリ、５０：システム制御部、１００：デジタルビデオカメラ
【図１】
2017126958.tif 000004
【図２】
2017126958.tif 000005
【図３】
2017126958.tif 000006
【図４】
2017126958.tif 000007
【図５】
2017126958.tif 000008
【図６】
2017126958.tif 000009