(57)【特許請求の範囲】
【請求項１】
時間的に連続するフレームにおいて露出を異ならせて撮像された複数の画像を合成するハイダイナミックレンジ撮影が可能な撮像装置であって、
時間的に連続するフレームにおいて相対的に低露出の画像と相対的に高露出の画像を繰り返し撮像する撮像手段と、
前記低露出の画像と前記高露出の画像を合成したフレームを生成する合成手段と、
後のフレームの相対的に低露出の画像と相対的に高露出の画像を撮像する際の露出条件を決定する決定手段と、を有し、
前記決定手段は、過去と現在のフレームにおける、前記低露出の画像の明部における所定の輝度分布の中心と基準の露出との差の変化量と、前記高露出の画像の暗部における所定の輝度分布の中心と前記基準の露出との差の変化量とに基づいて、後のフレームの相対的に低露出の画像および相対的に高露出の画像の露出条件を決定することを特徴とする撮像装置。
【請求項２】
前記決定手段はさらに、
過去および現在のフレームにおける相対的に低露出の画像および相対的に高露出の画像の輝度分布を算出する手段と、
過去および現在のフレームにおける相対的に低露出の画像の明部における所定の輝度分布の中心と前記基準の露出との差およびその変化量を算出する手段と、
過去および現在のフレームにおける相対的に高露出の画像からの暗部における所定の輝度分布の中心と前記基準の露出との差とその変化量を算出する手段と、
前記低露出の画像の明部における所定の輝度分布の中心と前記基準の露出との差の変化量と、前記高露出の画像の暗部における所定の輝度分布の中心と前記基準の露出との差の変化量とから、現在のフレームの相対的に低露出の画像および相対的に高露出の画像の露出条件を補正するための補正量を算出する手段とを有し、
現在のフレームの相対的に低露出の画像と相対的に高露出の画像の露出条件と前記補正量とに基づいて後のフレームの相対的に低露出の画像および相対的に高露出の画像の露出条件を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正量は、前記低露出の画像の明部における所定の輝度分布の中心と前記基準の露出との差の変化量と、前記高露出の画像の暗部における所定の輝度分布の中心と前記基準の露出との差の変化量とに比例した値をとることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記補正量は、前記低露出の画像の明部における所定の輝度分布の中心と前記基準の露出との差に基づいて算出される第１の指標と、前記高露出の画像の暗部における所定の輝度分布の中心と前記基準の露出との差に基づいて算出される第２の指標とが、それぞれ所定の閾値を超えないように設定されることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１の指標は、前記低露出の画像の明部における所定の輝度分布の中心と前記基準の露出との差の変化量に所定の係数をかけた値に基づく値であって、
前記第２の指標は、前記高露出の画像の暗部における所定の輝度分布の中心と前記基準の露出との差の変化量に所定の係数をかけた値に基づく値であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記基準の露出は適正露出、前記低露出は適正露出に対してアンダー、前記高露出は適正露出に対してオーバーであり、
前記所定の輝度分布の中心は、過去と現在のフレームにおける相対的に低露出の画像の明部のヒストグラムの重心と、過去と現在のフレームにおける相対的に高露出の画像の暗部のヒストグラムの重心であることを特徴とする請求項２ないし５のいずれか１項に記載の撮像装置。
【請求項７】
前記低露出の画像と前記高露出の画像を現像する現像手段をさらに有し、
前記現像手段は、前記低露出の画像及び前記高露出の画像がそれぞれ前記基準の露出になるようなガンマ変換用のテーブルを生成することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
【請求項８】
前記決定手段により決定された前記低露出の画像および前記高露出の画像の露出条件になるまで複数のフレームにわたって段階的に露出を変化させる露出制御手段をさらに有することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記合成手段は、前記現像手段により現像処理された前記低露出の画像と前記高露出の画像とを合成することを特徴とする請求項７または８に記載の撮像装置。
【請求項１０】
前記決定手段による処理は、所定のフレームごとに周期的に実行されることを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
【請求項１１】
後のフレームの画像を撮像する際の基準の露出を算出する算出手段をさらに有し、
前記決定手段による処理と前記算出手段による処理は、並行して実行されることを特徴とする請求項１ないし１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記合成手段は、前記低露出と前記基準の露出の露出差および前記高露出と前記基準の露出の露出差に応じた重みづけによる加重加算を行って前記低露出の画像と前記高露出の画像を合成することを特徴とする請求項１ないし１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記合成手段は、前記低露出と前記基準の露出の露出差および前記高露出と前記基準の露出の露出差に制限を設けることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
時間的に連続するフレームにおいて露出を異ならせて撮像された複数の画像を合成するハイダイナミックレンジ撮影が可能な撮像装置の制御方法であって、
時間的に連続するフレームにおいて相対的に低露出の画像と相対的に高露出の画像を繰り返し撮像するステップと、
前記低露出の画像と前記高露出の画像を合成したフレームを生成するステップと、
過去と現在のフレームにおける、前記低露出の画像の明部における所定の輝度分布の中心と基準の露出との差の変化量と、前記高露出の画像の暗部における所定の輝度分布の中心と前記基準の露出との差の変化量とに基づいて、後のフレームの相対的に低露出の画像および相対的に高露出の画像の露出条件を決定するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１５】
請求項１４に記載された制御方法の各ステップを、撮像装置のコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１４に記載された制御方法の各ステップを、撮像装置のコンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関し、特にはハイダイナミックレンジ画像を生成するための撮影（ハイダイナミックレンジ撮影）が可能な撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
異なる露出量（アンダー露出、オーバー露出）で撮影された複数枚の画像を合成して、画像のダイナミックレンジを拡大するハイダイナミックレンジ（ＨＤＲ）合成といわれる技術が知られている。この技術では、各画像における適正露出部分を合成することで、白飛びや黒潰れを抑制し、暗部から明部まで良好な階調性を有する画像を得ることができる。
【０００３】
また、動画撮影にＨＤＲ合成（動画ＨＤＲ撮影）を適用する場合には、例えば動画のフレームごとに異なる露出（アンダー露出、オーバー露出）で撮影を交互に繰り返すことで実現可能である。しかしながら、適正露出に対してアンダーとオーバーの各露出条件を固定にして動画ＨＤＲ撮影を行う場合、明暗差が大きいシーンでは問題ないが、明暗差が小さいシーンではダイナミックレンジが広すぎて、アンダー露出の画像とオーバー露出の画像を合成した画像のコントラストが低下してしまう。このため、シーンの明部と暗部を検出し、検出結果をアンダー露出画像とオーバー露出画像の各露出条件にフィードバックして自動的に制御することが行われている。この場合、アンダー露出画像とオーバー露出画像の各露出条件は適正露出に対して対称な値であるとは限らないので、適正露出とアンダー露出の露出差と適正露出とオーバー露出の露出差は同じとはならないことがある。
【０００４】
また、３枚の画像（適正露出、アンダー露出、オーバー露出）を合成して動画ＨＤＲ撮影を行う場合、例えば毎秒３０フレーム（３０ｆｐｓ）の動画を生成するためには、毎秒９０フレーム（９０ｆｐｓ）で撮影が行える高速読み出しが可能なハードウェアが必要となるため、２枚の画像（アンダー露出とオーバー露出）で動画ＨＤＲ撮影を実現することが望ましい。
【０００５】
このような背景において、特許文献１には、ＨＤＲ合成における静止画の本撮影に先がけてプリ撮影を行い、プリ撮影された画像から輝度のヒストグラムを求め、現在の露光条件による撮影では白飛びや黒潰れが発生する場合には、アンダーもしくはオーバーの露出を１段ずつシフトして適切な露出条件に設定する方法が記載されている。また、特許文献１には、ＨＤＲ合成における静止画の本撮影に先がけてプリ撮影を行い、プリ撮影された画像から輝度のヒストグラムを求め、白飛びと黒潰れのバランスを取るように適正露出を決定する方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４５５４０９４号公報
【特許文献２】特許第４４０２７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１では白飛びや黒潰れがなくなる露出条件に設定してアンダー露出撮影とオーバー露出撮影を行うが、露出シフト量が固定であるため、動画記録中に急激に白飛びが増加した場合やゆるやかに黒潰れが増加した場合などに柔軟な対応できない。また、白飛び量や黒潰れ量が閾値に近いが超えていないような場合には露出をシフトしないので、急激なシーン変化などに対する処理の遅れが問題となる。
【０００８】
また、上記特許文献２によれば、白飛びと黒潰れのバランスを考慮して適正露出を決定することができるが、主被写体が存在するであろう適正露出の輝度領域が白飛びと黒潰れの影響により変化し不安定となるおそれがある。
【０００９】
本発明は、上記課題に鑑みてなされ、その目的は、動画のハイダイナミックレンジ撮影において、白飛びおよび黒潰れを精度良く検出し、シーン変化に精度良く適応しながら適切に露出制御を行うことができる技術を実現することである。
【課題を解決するための手段】
【００１０】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、時間的に連続するフレームにおいて露出を異ならせて撮像された複数の画像を合成するハイダイナミックレンジ撮影が可能な撮像装置であって、時間的に連続するフレームにおいて相対的に低露出の画像と相対的に高露出の画像を繰り返し撮像する撮像手段と、前記低露出の画像と前記高露出の画像を合成したフレームを生成する合成手段と、後のフレームの相対的に低露出の画像と相対的に高露出の画像を撮像する際の露出条件を決定する決定手段と、を有し、前記決定手段は、過去と現在のフレームにおける、前記低露出の画像の明部における所定の輝度分布の中心と基準の露出との差の変化量と、前記高露出の画像の暗部における所定の輝度分布の中心と前記基準の露出との差の変化量とに基づいて、後のフレームの相対的に低露出の画像および相対的に高露出の画像の露出条件を決定する。
【発明の効果】
【００１１】
本発明によれば、動画のハイダイナミックレンジ撮影において、白飛びおよび黒潰れを精度良く検出し、シーン変化に精度良く適応しながら適切に露出制御を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の撮像装置の内部構成を示す断面図。
【図２】本実施形態の撮像装置の電気的構成を示すブロック図。
【図３】実施形態１の動画ＨＤＲ撮影処理を示すフローチャート。
【図４】測光用センサの構成を示す図。
【図５】動画ＨＤＲ撮影用のプログラム線図を例示する図。
【図６】適正露出とアンダー露出の露出段差を決定する方法の説明図。
【図７】アンダー露出画像とオーバー露出画像の現像処理に用いるガンマテーブルを例示する図。
【図８】動画ＨＤＲ撮影における画像の合成割合を例示する図。
【図９】本実施形態の動画ＨＤＲ撮影処理を実現する機能ブロック図。
【図１０】図３の仮想適正露出算出処理の詳細を示すフローチャート。
【図１１】図３の目標露出算出処理の詳細を示すフローチャート。
【図１２】動画ＨＤＲ撮影時における自動露出制御と目標露出算出のタイミングを示す図。
【図１３】輝度ヒストグラムにおける白飛び領域と黒潰れ領域を例示する図。
【図１４】アンダー露出画像の明部の重心、オーバー露出画像の暗部の重心、暗部及び明部の重心と適正露出との輝度差を例示する図。
【図１５】暗部もしくは明部の輝度ヒストグラムの形状を例示する図。
【図１６】指標と露出補正量の対応関係を例示する図。
【図１７】アンダー露出画像とオーバー露出画像を重みづけして合成する際の重みづけ係数を例示する図。
【図１８】アンダー露出とオーバー露出の露出差が大きい場合の階調特性を例示する図。
【図１９】明部と暗部で階調のコントラスト特性が異なる例を示す図。
【発明を実施するための形態】
【００１３】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１４】
以下の実施形態では、撮像装置として、静止画や動画のＨＤＲ撮影が可能なデジタルカメラを適用した例について説明する。なお、本実施形態では、撮像装置としてデジタルカメラを例示しているが、撮像装置はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話やその一種であるスマートフォン（時計型や眼鏡型の情報端末などを含む）、タブレット端末、パーソナルコンピュータ、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【００１５】
＜装置構成＞先ず、図１を参照して、本実施形態の撮像装置の構成及び機能について説明する。
【００１６】
図１は本実施形態に係る撮像装置の、主として光学部材やセンサ等の配置を示す断面図である。本実施形態の撮像装置はレンズ交換可能ないわゆるデジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。
【００１７】
カメラ本体１において撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。撮像素子１０の前方近傍に設けられたメカニカルシャッター１１は、撮像素子１０の露出タイミング及び露出時間を制御する。半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、焦点検出用センサ９に入射させる。焦点検出用センサ９は例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。第１の反射ミラー７、第２の反射ミラー８及び焦点検出用センサ９は、撮像面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。
【００１８】
測光用センサ（ＡＥセンサ）６は、ペンタプリズム４及び第３の反射ミラー５で反射された光束を受光する。ＡＥセンサ６も焦点検出用センサ９と同様、画素数が撮像素子１０よりも少ない撮像素子であってよい。ＡＥセンサ６は、図３に例示するように受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。なお、図３の例では横９×縦７の６３領域に分割された場合を示しているが、分割数に制限はない。なお、撮像素子においては、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。
【００１９】
ペンタプリズム４によってファインダー光学系が構成される。図示していないが、ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には主ミラー３によって反射されてピント板１２によって拡散された光線のうち光軸外の一部が入射する。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点部２９、５０を通じ、必要に応じてカメラ本体１と情報通信を行う。なお、ライブビュー表示及び動画記録時には常時主ミラー３が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。
【００２０】
図２は、図１に示したカメラ本体１とその交換レンズ２の電気回路の構成例を示すブロック図である。カメラ本体１において制御部２１は例えば内部にＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭやＡ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムを実行することにより、カメラ本体１及び交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。
【００２１】
焦点検出用センサ９及びＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する信号にＡ／Ｄ変換及び信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワーク用メモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。表示器２７は液晶ディスプレイパネル等で構成され、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７は制御部２１からの指示により制御される。記憶部２６は例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理回路２５から入力される。
【００２２】
モーター２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンやメカニカルシャッター１１のチャージを行う。操作部２３はユーザがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作や撮影動作の開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９は交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッター駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。
【００２３】
交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、交換レンズ２の状態などの情報を、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。
【００２４】
交換レンズ２がカメラ本体１に装着されると接点部２９，５０を介してレンズ制御部５１とカメラ本体の制御部２１とがデータ通信可能となる。また、接点部２９，５０を通じて交換レンズ２内のモータやアクチュエータを駆動するための電力も供給される。カメラ本体１の制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等がレンズからカメラ本体１の制御部２１へとデータ通信によって出力される。また、カメラ本体１の制御部２１が焦点検出や露出演算を行った結果求められた焦点調節情報や絞り情報はカメラ本体１の制御部２１からレンズへとデータ通信によって出力されて、交換レンズ２は焦点調節情報に従って絞りを制御する。
【００２５】
［実施形態１］以下、図４のフローチャートを参照して、実施形態１の動画ＨＤＲ撮影時の動作について説明する。例えば操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が起動されると、図４の処理を実行する。また、図４のフローチャートは、制御部２１が図２の各部を制御し、また、図９で後述する各ブロックの機能を実行することで実現される処理の手順を示す。具体的には制御部２１が有するＲＯＭに格納されたプログラムをＲＡＭに展開し、ＡＬＵが実行することにより実現される処理である。後述する図１０及び図１１のフローチャートについても同様である。
【００２６】
Ｓ４０１では、制御部２１は、交換レンズ２のレンズ制御部５１と通信を行い、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。
【００２７】
Ｓ４０２では、制御部２１は、操作部２３に含まれるスイッチにより動画記録モードへの切り替えが指示されると動画の撮影準備動作を開始する。
【００２８】
Ｓ４０３では、制御部２１は、適正露出条件が初期条件となっており、被写体に適切な露出条件となるように初期適正露出演算を行う。本実施形態における適正露出条件とは、撮像された画像における被写体の輝度が目標の輝度となる露出条件のことである。
【００２９】
Ｓ４０４では、制御部２１は、表示器２７を電子ビューファインダとして機能させるライブビュー画像（又はスルー画像）の表示を行う。ライブビューは、主ミラー３及び第１の反射ミラー７をはね上げ、メカニカルシャッター１１を開放し、撮像素子１０が露出される状態として、いわゆる電子シャッターによる撮像処理を連続的に実行することで実現される。なお、ライブビューの状態では、ミラーアップしているためＡＥセンサ６で測光することはできない。そこで、ライブビュー中に、制御部２１は定期的に撮像素子１０から測光用の信号を取得する。具体的には、ライブビュー画像の１フレームを測光用の画像信号として利用する。制御部２１は、撮像素子１０から取得した測光用の画像信号にＡ／Ｄ変換を行ってＲＡＭに格納する。画像信号は、例えば、図３に示すように撮像素子の画素領域を９個×７個のブロックに分割し、各ブロックに含まれる画素で得られた信号を用いてブロック毎の輝度情報として算出する。ブロック毎の輝度情報は、例えばブロック内の全画素の輝度値を平均化することで求められる。なお、輝度情報の演算は、例えばＡＰＥＸ（Ａｄｄｉｔｉｖｅ Ｓｙｓｔｅｍ ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｓｕｒｅ）における被写体輝度を表すＢｖ（Ｂｒｉｇｈｔｎｅｓｓ  ｖａｌｕｅ）値に換算して行うことができる。このようにして求めた輝度情報に基づき射影データＹ１〜Ｙ７及びＸ１〜Ｘ９を算出する。一般的には、ｍ行×ｎ列といった２次元配列のデータから行方向や列方向に加算もしくは加算平均した１次元配列のデータに変換する手法を２次元から１次元への投影又は射影という。また、列方向や行方向に加算することで得られる１次元配列のデータのことを射影像もしくは射影データと呼ぶ。本実施形態では射影データＹ１〜Ｙ７及びＸ１〜Ｘ９を以下の式１から算出する。
（式１）
Ｘ１＝Σ（ｘ１）÷７    但し、ｘ＝１〜７
Ｘ２＝Σ（ｘ２）÷７    但し、ｘ＝１〜７
Ｘ３＝Σ（ｘ３）÷７    但し、ｘ＝１〜７
Ｘ４＝Σ（ｘ４）÷７    但し、ｘ＝１〜７
Ｘ５＝Σ（ｘ５）÷７    但し、ｘ＝１〜７
Ｘ６＝Σ（ｘ６）÷７    但し、ｘ＝１〜７
Ｘ７＝Σ（ｘ７）÷７    但し、ｘ＝１〜７
Ｘ８＝Σ（ｘ８）÷７    但し、ｘ＝１〜７
Ｘ９＝Σ（ｘ９）÷７    但し、ｘ＝１〜７
Ｙ１＝Σ（１ｙ）÷９    但し、ｙ＝１〜９
Ｙ２＝Σ（２ｙ）÷９    但し、ｙ＝１〜９
Ｙ３＝Σ（３ｙ）÷９    但し、ｙ＝１〜９
Ｙ４＝Σ（４ｙ）÷９    但し、ｙ＝１〜９
Ｙ５＝Σ（５ｙ）÷９    但し、ｙ＝１〜９
Ｙ６＝Σ（６ｙ）÷９    但し、ｙ＝１〜９
Ｙ７＝Σ（７ｙ）÷９    但し、ｙ＝１〜９
そして、算出された射影データＹ１〜Ｙ７及びＸ１〜Ｘ９の中から最大値Ｅｍａｘを検出し、検出された射影データの最大値Ｅｍａｘから第１の露出補正値γを算出する。具体的には、例えばＥｍａｘの値がＢｖ値で１０を超える場合には以下の式２を用いて算出する。
（式２）
γ＝（Ｅｍａｘ−１０）×０．２５
この第１の露出補正値γは、Ｂｖ値で１０を超えるような高輝度被写体は明るく写った方が好ましい場合が多いという経験則に従い露出補正を行うためのものである。係数０．２５というのはあくまで例であって、高輝度被写体をどの程度明るく写るようにするかに応じて最適値を決めれば良い。
【００３０】
また、面内の平均Ｂｖを以下の式３から算出する。
（式３）
ＡＶＥＢｖ＝Σ（Ｘｘ＋Ｙｙ）÷（７×９）
但し、ｘ＝１〜７、ｙ＝１〜９
よって、Ｂｖ値に対する制御値は以下の式４から求まる。
（式４）
適正露出：ＡＶＥＢｖ＋γ
このＢｖ値に対する制御値に基づいて予め設計したプログラム線図を参照して露出条件を決定する。図５は本実施形態の動画ＨＤＲ撮影に使用するプログラム線図を例示している。右側縦軸は絞り値Ａｖを、左側及び上部はＢｖ値を示している。下部横軸はシャッター秒時Ｔｖを示しているが、動画はフレームレートによりＴｖ値の限界があり、例えば図５に例示する３０ｆｐｓの場合、オーバー側の最長秒時Ｔｖは１／３０秒となるため、それよりも露出が増大する側はＩＳＯ感度を上げることで実現する。ここで、Ｂｖ値に対する制御値に基づき図５のプログラム線図を参照することで適正露出条件（ＩＳＯ感度、絞り、シャッター秒時）が決定され、決定された条件に合わせて露出制御が行われる。なお、図５の実線は適正露出でのプログラム線図を例示している。
【００３１】
Ｓ４０４では、制御部２１は、撮像素子１０により焦点検出用の信号の蓄積を行い、焦点検出及びレンズ駆動を行う初期の合焦動作を行う。なお、ライブビューの状態では、ミラーアップ状態であるため焦点検出用センサ９で焦点検出を行うことはできない。このため、制御部２１は、撮像素子１０で得られる画像信号を用いてコントラスト検出方式の焦点検出処理を行う。また、制御部２１は、撮像素子１０による信号の蓄積が終了すると、撮像素子１０から読み出した信号に対してＡ／Ｄ変換を行い、焦点検出用の画像信号としてＲＡＭに格納する。さらに制御部２１は、焦点検出用の信号と、Ｓ４０１で得ているレンズ情報とから、撮像面における焦点状態を演算し、合焦させる焦点検出領域を決定する。なお、焦点検出領域の合焦位置の決定方法はこの方法に限定されず、例えば操作部２３を介してユーザが焦点検出領域を指定してもよいし、顔検出などの画像認識技術を用いて人物の顔に焦点検出領域を設定するようにしてもよい。制御部２１は、上記のように決定した焦点検出領域における焦点状態とレンズ情報とに基づき、合焦させるためのレンズ移動量を算出し、レンズ制御部５１を通じてフォーカスレンズ駆動部５２を制御し、フォーカスレンズを合焦位置に移動させる。これにより、交換レンズ２は焦点検出領域内の特定の被写体に対して合焦状態となる。フォーカスレンズを駆動するとレンズの移動距離を検出するエンコーダの情報が変化するので、制御部２１は交換レンズ２の各種レンズ情報の更新も行う。
【００３２】
Ｓ４０５では、制御部２１は、操作部２３に含まれるスイッチにより動画ＨＤＲ撮影モードへ切り替えられると、動画のＨＤＲ撮影を開始する。動画ＨＤＲ撮影モードでは、時間的に連続するフレームにおいて露出を異ならせて撮像された複数の画像を合成するハイダイナミックレンジ撮影を行う。例えば、適正露出に対してアンダー露出（相対的に低露出）での画像の撮像（アンダー露出撮影）と、適正露出に対してオーバー露出（相対的に高露出）での画像の撮像（オーバー露出撮影）を交互に繰り返す。なお、本実施形態の動画ＨＤＲ撮影では、高速な処理を実現するため、アンダー露出撮影とオーバー露出撮影のみを行い、適正露出での撮影は行わないが、オーバー露出撮影とアンダー露出撮影に適正露出撮影を加えた合計３枚の画像の撮影を行う構成としてもよい。この場合、適正露出撮影を行う分、記録時のフレームレートは低下する。
【００３３】
Ｓ４０６では、制御部２１は、初期のオーバー撮影とアンダー撮影の露出制御を行う。まず、制御部２１は、図５の二点鎖線で示されるアンダーの露出条件に従いアンダー露出撮影を行う。アンダー露出撮影においても適正露出演算と同様に、図３に示すブロック毎の輝度情報を取得し、ブロック毎の輝度情報から最大値Ｅｍａｘを検出し、適正露出撮影により得られた平均Ｂｖ値との輝度差をシーンの明部側のダイナミックレンジＤｓを以下の式５から算出する。
（式５）
Ｄｓ＝ＭａｘＢｖ−平均Ｂｖ
図６（ａ）は明暗差のあるシーンにおける、適正露出とアンダー露出で撮像できるダイナミックレンジ（以下、Ｄレンジともいう）を例示している。図示の例では、上記Ｄｓは、「シーンの高輝度側のＤレンジ」となる。
【００３４】
次に、制御部２１は、算出したダイナミックレンジＤｓに基づきシーンに最適なアンダー露出条件を設定する。仮に撮像素子１０のダイナミックレンジを６ＥＶ、適正露出に対して高輝度側のダイナミックレンジを３ＥＶとすると、適正露出からアンダー露出で撮像できる最大の輝度値までのダイナミックレンジＤｈは、
Ｄｈ＝４ＥＶ（アンダー露出が適正露出に対して−１ＥＶのとき）
Ｄｈ＝５ＥＶ（アンダー露出が適正露出に対して−２ＥＶのとき）
Ｄｈ＝６ＥＶ（アンダー露出が適正露出に対して−３ＥＶのとき）
Ｄｈ＝７ＥＶ（アンダー露出が適正露出に対して−４ＥＶのとき）
となる。
【００３５】
シーンに最適なアンダー露出は、ＤｈがＤｓよりもわずかに大きい条件で決定される。図６（ｂ）には３つのあるシーンにおける輝度ヒストグラムと各シーンにおいてアンダー露出で撮像できる高輝度側のダイナミックレンジとの関係を例示している。これらのシーンにおける高輝度側のダイナミックレンジＤｓと平均Ｂｖからアンダー露出で撮像できる最大の輝度値までのダイナミックレンジＤｈと望ましいアンダー露出は図６（ｃ）に示すようになる。
【００３６】
図６（ｂ）において、シーン１では、Ｄｓが６ＥＶよりも大きいので−４ＥＶで撮影することが望ましい。また、シーン２では、Ｄｓが５ＥＶ＜Ｄｓ＜６ＥＶなので−３ＥＶで撮影することが望ましい。また、シーン３では、Ｄｓが３ＥＶ＜Ｄｓ＜４ＥＶなので−１ＥＶで撮影することが望ましい。
すなわち、
６ＥＶ＜Ｄｓ  →  −４ＥＶ
５ＥＶ＜Ｄｓ  →  −３ＥＶ
４ＥＶ＜Ｄｓ  →  −２ＥＶ
３ＥＶ＜Ｄｓ  →  −１ＥＶ
のように決定される。以上のようなアンダー露出条件について演算処理を、初期のオーバー露出条件についても同様に行う。
【００３７】
Ｓ４０７、Ｓ４０８では、制御部２１は、フレームナンバーｉを１フレーム目に初期化し、初期の適正露出、アンダー露出及びオーバー露出が決定したタイミングで動画の記録を開始する。記録開始後はフレーム毎にアンダー露出とオーバー露出の２枚の画像の連続撮影を繰り返しながら、適正露出の演算処理とアンダー露出及びオーバー露出の演算処理を定期的に実施することになる。
【００３８】
なお、露出制御に係る演算は時間を要する処理であるため、Ｓ４０９では、制御部２１は、フレーム毎に露出制御演算を行うのではなく、周期的にｍフレーム毎に１回の周期で行う。本実施形態の動画ＨＤＲ撮影では、アンダー露出撮影とオーバー露出撮影のみを行い、適正露出での撮影は行わないため、制御部２１は、Ｓ４１０で仮想の適正露出条件を算出し、Ｓ４１１で合焦動作を行う。仮想適正露出条件の算出方法については後述する。
【００３９】
また、本実施形態では、ｍフレーム目のタイミング（Ｓ４０９）において、仮想適正露出条件の算出（Ｓ４１０）と次周期のアンダー目標露出条件及び次周期のオーバー目標露出条件の算出（Ｓ４１４）をそれぞれ独立に並行して行う。次周期のアンダー露出撮影とオーバー撮影の目標露出条件の算出方法については後述する。仮想適正露出条件と次周期のアンダー露出撮影とオーバー撮影の目標露出条件が決定すると、制御部２１は、図５のプログラム線図に基づき露出制御を行う（Ｓ４１５）。
【００４０】
ここで、図１０のフローチャートを用いてＳ４１０の次周期（ｍフレーム後）の仮想適正露出条件の算出方法の詳細について説明する。本実施形態の動画ＨＤＲ撮影では適正露出条件での撮影を行わないため、まず適正露出条件で撮影した場合と同等の図３に示すブロック毎の輝度情報を生成する。
【００４１】
Ｓ１００１では、制御部２１は、アンダー露出で撮影された画像（アンダー露出画像）が適正露出になるようにゲインアップ処理を行う（第１の画像生成）。この場合の適正露出条件は現フレームにおいて算出した露出条件（すなわち、前の周期（ｍフレーム前）に算出した仮想適正露出条件）を用いる。第１周期目のときは初期の適正露出演算（Ｓ４０３）で得られた適正露出条件を用いる。同様に、Ｓ１００２では、制御部２１は、オーバー露出で撮影された画像（オーバー露出画像）を現フレームにおける適正露出になるようにゲインダウン処理を行う（第２の画像生成）。Ｓ１００３では、制御部２１は、適正露出になるようにゲイン調整したアンダー露出画像とオーバー露出画像を合成する。この場合の合成方法はいくつか考えられるが本実施形態では画素毎に平均化を行う。
【００４２】
Ｓ１００４では、制御部２１は、合成画像に対して図３に示すブロック毎の輝度情報を取得する。ブロック毎の輝度情報はアンダー露出画像とオーバー露出画像がともに適正露出になるようにゲイン調整を行っているため、適正露出撮影時と同様の結果が得られ、ダイナミックレンジも１枚の画像を撮影する場合と同等の結果となる。
【００４３】
その後、制御部２１は、ブロック毎の輝度情報に対してＳ４０３で得られた適正露出演算と同様の方法でｍフレーム後の仮想適正露出の補正量を算出し（Ｓ１００５）、図５のプログラム線図における実線に従い、ｍフレーム後の仮想適正露出条件を決定する（Ｓ１００６）。
【００４４】
続いて、図１１のフローチャートを用いてＳ４１４の次周期（ｍフレーム後）のアンダー露出撮影とオーバー露出撮影の目標露出条件を決定する方法の詳細について説明する。アンダー露出及びオーバー露出の決め方として白飛び及び黒潰れがないようにすることが基本的な考え方である。白飛びと黒潰れが発生しないように露出を決めるには、対象シーンの明暗差がどの程度であるかを確認する必要があり、シーンの明暗を検出するために適正露出に対してアンダーとオーバーの露出条件をより拡大して撮影を行う。しかしながら、動画記録開始前ならばシーンの明暗を検出するために撮像を行うことは可能であるが、動画記録中に本撮影に加えてシーンの明暗を検出するための撮像を行うことは処理時間の観点から難しい。動画記録時のアンダー露出とオーバー露出の露出差が大きい場合には過去のアンダー露出撮影とオーバー露出撮影の結果を再利用してシーンの明暗を検出することができるが、露出差が小さい場合には再利用してシーンの明暗を検出するのが困難な場合がある。そこで、本実施形態では、アンダー露出とオーバー露出の露出差が小さい場合でも白飛びと黒潰れの度合いを高精度に推定できる方法を用いる。
【００４５】
まず、制御部２１はアンダー露出画像の白飛び量とオーバー露出画像の黒潰れ量を算出する（Ｓ１１０１）。図１２は動画記録開始後の３周期分のアンダー露出撮影とオーバー露出撮影と適正露出撮影のタイミングを例示している。図１２において現在（ｋフレーム）の白飛び量はアンダー露出画像１２３６から取得する。図１３（ａ）はアンダー露出画像の明部の輝度分布を示すヒストグラム、図１３（ｂ）はオーバー露出画像の暗部の輝度分布を示すヒストグラムを例示している。図１３（ａ）では白飛びとみなす輝度をホワイトポイントとし、例えば９５％の輝度値を設定し、現在の白飛び量ＳａｔＢＲを以下の式６から算出する。
（式６）
ＳａｔＢＲ＝ＳａｔＢＲＮｕｍ／ＴｏｔａｌＢＲＮｕｍ
ＳａｔＢＲＮｕｍは白飛びしている画素数であり、ＴｏｔａｌＢＲＮｕｍは明部の全画素数である。同様にして、図１３（ｂ）で黒潰れとみなす輝度をブラックポイントとし、現在の黒潰れ量ＳａｔＤＫを図１３（ｂ）のオーバー露出画像の暗部の輝度分布を示すヒストグラムから以下の式７を用いて算出する。
（式７）
ＳａｔＤＫ＝ＳａｔＤＫＮｕｍ／ＴｏｔａｌＤＫＮｕｍ
ＳａｔＤＫＮｕｍは黒潰れしている画素数であり、ＴｏｔａｌＤＫＮｕｍは暗部の全画素数である。
【００４６】
続いて、制御部２１は、過去（ｋ−ｍフレーム）と現在（ｋフレーム）のアンダー露出画像およびオーバー露出画像の所定の輝度分布の中心を求める。本実施形態では、所定の輝度分布の中心としてアンダー露出画像の明部およびオーバー露出画像の暗部のそれぞれのヒストグラムの重心を算出する（Ｓ１１０２）。なお、本実施形態では、輝度分布の中心を表す値として重心を用いた例を説明するが、度数（面積）や頻度などの他の値を用いてもよい。制御部２１は、現在のアンダー露出画像１２３６の明部の輝度ヒストグラム（図１４（ａ）の１４２３）から以下の式８により明部の重心ＣｏｇＢＬ（図１４（ａ）の１４２４）を算出する。
【００４７】
（式８）
0006744711.tif 000002
【００４８】
ｉは輝度値、Ｙ［ｉ］は輝度値がｉである個数、ｎＢＲは明部の全画素数をそれぞれ表している。以上のように算出した明部の重心と過去の仮想適正露出１２３５との輝度差ＤｉｓｔＢＲ（図１４（ａ）の１４２６）を以下の式９から算出し白飛び度合いの指標として用いる。
（式９）
ＤｉｓｔＢＲ＝（ＣｏｇＢＲ−ＣＥ）／ＣＥ
ＣＥは仮想適正露出を表している。制御部２１は、同様に現在のオーバー露出画像１２３７の暗部の輝度ヒストグラム（図１４（ｂ）の１４２８）から以下の式１０により暗部の重心ＣｏｇＤＫ（図１４（ｂ）の１４３１）を算出する。
【００４９】
（式１０）
0006744711.tif 000003
【００５０】
そして、過去の暗部の重心と仮想適正露出１２３５との輝度差ＤｉｓｔＤＫ（図１４（ｂ）の１４３２）を以下の式１１により算出し黒潰れ度合いの指標として用いる。
（式１１）
ＤｉｓｔＤＫ＝（ＣＥ−ＣｏｇＤＫ）／ＣＥ
ｎＤＫは暗部の全画素数を表している。図１５（ｄ）〜（ｆ）は、明部の重心と仮想適正露出との輝度差ＤｉｓｔＢＲの傾向を例示している。輝度差ＤｉｓｔＢＲが大きい場合は図１５（ｆ）のような傾向となり白飛び度合いが高いことを表している。一方、輝度差ＤｉｓｔＢＲが小さい場合は図１５（ｄ）のような傾向となり白飛び度合いが低いことを表している。一方、図１５（ａ）〜（ｃ）は、暗部の重心と仮想適正露出との輝度差ＤｉｓｔＤＫの傾向を例示している。輝度差ＤｉｓｔＤＫが大きい場合は図１５（ｃ）のような傾向となり黒潰れ度合いが高いことを表している。一方、輝度差ＤｉｓｔＤＫが小さい場合は図１５（ａ）のような傾向となり黒潰れ度合いが低いことを表している。
【００５１】
制御部２１は、上述した明部および暗部の重心と仮想適正露出との輝度差を過去（ｋ−ｍフレーム）においても同様に求める（Ｓ１１０３）。そして、制御部２１は、現在と過去の輝度差の変化量を求め（Ｓ１１０４）、得られた現在と過去の明部の輝度差ＤｉｓｔＢＲの変化量を参照することで白飛び度合いが時間軸で急速に高まっているのか、緩やかに高まっているのかなどを判別することができる。
【００５２】
Ｓ１１０５では、制御部２１は、Ｓ１１０１で求めた現在の白飛び量および黒潰れ量とＳ１１０４で求めた現在と過去の輝度差の変化量とから次回（ｋ＋ｍフレーム）のアンダー露出撮影及びオーバー露出撮影の目標露出条件を算出する。白飛び量および黒潰れ量と輝度の重心と仮想適正露出との輝度差の過去と現在の変化量は以下の式１２によりまとめて１つの指標（ＩｎｄｅｘＢＲ、ＩｎｄｅｘＤＫ）とする。
（式１２）
ＩｎｄｅｘＢＲ＝ＳａｔＢＲｋ＋α（ＤｉｓｔＢＲｋ−ＤｉｓｔＢＲｋ−ｍ）
ＩｎｄｅｘＤＫ＝ＳａｔＤＫｋ＋α（ＤｉｓｔＤＫｋ−ＤｉｓｔＤＫｋ−ｍ）
αは白飛び量と明部の重心と仮想適正露出との輝度差の変化量の２つの要因の寄与度を制御する係数である。１より小さい値を設定した場合は白飛び量を重視し、１より大きい値を設定した場合は明部の重心と仮想適正露出との輝度差の変化量を重視した調整となる。本実施形態ではα＝１と、２つの要因を同等のレベルで扱うこととする。
【００５３】
以上のようにして求めた指標に応じて図１６に示すような１次元テーブルを用いて露出補正量を決定する。図１６の１次元テーブルでは、露出補正量は指標に比例して増加、減少する値をとる。また、露出補正量は、指標が所定の閾値ＩｎＴｈ１とＩｎＴｈ２を超えないような範囲に設定される。図１６に示す閾値ＩｎＴｈ１は微小な変化に対して反応し難くする不感帯である。不感帯を設けることで、白飛びや黒潰れが発生したりしなかったりといったちらつきを抑えることが可能となる。また、閾値ＩｎＴｈ２は急峻な変化に対して反応する限界値である。限界値を設けることで動画として見た場合に時間的な変化において輝度変化が大きくなりすぎず、繋がりがスムーズになるという効果が得られる。また、指標（ＩｎｄｅｘＢＲ、ＩｎｄｅｘＤＫ）に応じて、どのくらい露出量を補正するかはパラメータとなり、実際の周期間隔によって最適化すればよい。
【００５４】
以上のようにして算出された露出補正量を以下の式１３のように現在のアンダー露出から減算することで次周期（ｋ＋ｍフレーム）のアンダー露出条件が決定され、同様に現在のオーバー露出に加算することで次周期のオーバー露出条件が決定される。
（式１３）
ＤｒａｎｇｅＤＫｋ＋ｍ＝ＤｒａｎｇｅＤＫｋ−ＣｏｒｒｅｃｔＤＫ
ＤｒａｎｇｅＢＲｋ＋ｍ＝ＤｒａｎｇｅＢＲｋ＋ＣｏｒｒｅｃｔＢＲ
ＤｒａｎｇｅＤＫは仮想適正露出とオーバー露出の露出差、ＤｒａｎｇｅＢＲは仮想適正露出とアンダー露出の露出差、ＣｏｒｒｅｃｔＤＫはアンダーの露出補正量、ＣｏｒｒｅｃｔＢＲはオーバーの露出補正量をそれぞれ表している。なお、次周期であるｍフレーム後に露出補正量を１００％反映させると急激な変化となり、ちらつきとして不快な見栄えになってしまうことがあるため、徐々に反映させるようにする。例えばｍ＝４である場合は、１フレーム目では露出補正値の２５％分、２フレーム目では５０％分、４フレーム目で１００％というように段階的に制御する。
【００５５】
図４に戻り、Ｓ４１７のＡＷＢ（オートホワイトバランス）演算処理及びＳ４１８のガンマ変換用のガンマＬＵＴ（ルックアップテーブル）生成処理については後述する。
【００５６】
Ｓ４１９では、制御部２１は、アンダー露出画像及びオーバー露出画像の現像処理を行う。ここで、図９を用いて現像処理の詳細について説明する。被写体像は結像光学系（レンズ）を通じて撮像素子１０に結像される。撮像素子１０は例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このため、撮像素子１０からは各色の画素がモザイク状に配列されたアンダー露出画像（基準フレーム）９０１及びオーバー露出画像（非基準フレーム）９０７が出力される。ホワイトバランス部９０２，９０８では、白いものを白に近い色にする色処理がなされる。具体的には画像データを構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットし、その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。通常の動画のように適正露出画像の撮影を繰り返す場合であれば、適正露出画像に対してホワイトバランス係数を算出するのが一般的であるが、本実施形態の動画ＨＤＲ撮影ではアンダー露出画像とオーバー露出画像しか撮影しないため、白飛びの少ないアンダー露出画像を用いて算出すればよい。以上の処理により生成されたホワイトバランス係数９０２１を用いてホワイトバランス処理を実施する。
【００５７】
色補間部９０３，９０９ではアンダー露出画像（基準フレーム）９０１及びオーバー露出画像（非基準フレーム）９０７に色補間処理を施すことによって、全ての画素においてＲ，Ｇ，Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部９０４，９１０及びガンマ変換部９０５，９１１により基本的なカラー画像が生成される。ガンマ変換部９０５，９１１では、Ｓ４１８において生成された１次元のガンマＬＵＴを用いてガンマ変換処理を行う。アンダー露出画像に対してはアンダー用のガンマＬＵＴ９０５１を用いて、オーバー露出画像に対してはオーバー用のガンマＬＵＴ９０５２を用いてそれぞれガンマ変換処理を行う。
【００５８】
図４に戻り、Ｓ４１８でのガンマＬＵＴ生成処理の詳細について説明する。
【００５９】
Ｓ４１８では、制御部２１は、アンダー露出画像及びオーバー露出画像が各々、対応する仮想適正露出条件になるようにガンマＬＵＴを生成する。図７に示す実線は適正露出で撮影された場合に相当するガンマＬＵＴを例示している。横軸がリニアな入力信号を示しており、ガンマ変換後にノンリニアな出力信号となる。例えばアンダー露出画像が適正露出に対して−１ＥＶで撮影された場合は二点鎖線で示されるように１ＥＶ分上げるような特性を持ったガンマＬＵＴ９０５１を生成する。この場合、単純に上げてしまうとアンダー露出で撮影することにより飽和せずに残っていた高輝度の階調が失われることになってしまうため、高輝度になるのに伴い適正露出撮影用のガンマＬＵＴの特性に近づけていくことが重要である。同様にオーバー露出画像が適正露出に対して例えば＋３ＥＶで撮影されていた場合は図７の一点鎖線で示されるように３ＥＶだけ下げるような特性を持ったガンマＬＵＴ９０５２を生成する。この場合も同様に暗部の階調が残るように低輝度になるのに伴い適正露出撮影用のガンマＬＵＴの特性に近づけていく必要がある。その後、色輝度調整部９０６，９１２で画像の見栄えを改善するための処理が行われ、例えば、夕景検出して彩度強調といった画像補正がシーンに応じて行われる。色輝度調整部９０６，９１２による処理が終わると現像処理が完了する。
【００６０】
Ｓ４２０では、ガンマ変換後のアンダー露出画像とオーバー露出画像はいずれも適正露出となっているため、図８に示すような予め設定しておいた合成割合に応じて加重加算することで、階調が滑らかに繋がった特性のＨＤＲ動画フレームが生成される。図８の横軸は基準輝度で、縦軸は合成比率を示している。合成基準輝度閾値ＴＨ１より暗い領域はオーバー露出画像を使用し、合成基準輝度閾値ＴＨ２より明るい領域はアンダー露出画像を使用する。また、合成基準輝度閾値付近の境界ＴＨ１〜ＴＨ２の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする効果を狙う。基準輝度として用いるのは基準フレームであり本実施形態ではアンダー露出画像フレームとなる。
【００６１】
制御部２１は、上述したＳ４０９〜Ｓ４２０までの処理を撮影終了まで繰り返し行う（Ｓ４２１）。撮影終了のトリガは図２の操作部２３を介したユーザによるＲＥＣボタン押下とすることが一般的である。それ以外には、記録媒体が容量の限度まで達したなどのエラー処理にて終了のコマンドが送られる場合もある。Ｓ４２１で撮影が終了すると、制御部２１は、メモリ２８に蓄積していたＨＤＲ撮影された動画を圧縮し（Ｓ４２２）、記録媒体に記録（Ｓ４２３）して動画ＨＤＲ撮影を終了する。
【００６２】
上述した実施形態１によれば、適正露出撮影を行わないでアンダー露出画像とオーバー露出画像の２枚の画像を合成する動画ＨＤＲ撮影において、アンダー露出撮影とオーバー露出撮影の露出条件を適切に設定して白飛びや黒潰れを適切に低減することができる。
【００６３】
［実施形態２］次に、実施形態２について説明する。実施形態１では図１０のＳ１００３における仮想適正露出条件の算出処理におけるゲイン調整後のアンダー露出画像及びオーバー露出画像を合成する際に単純な平均を求める方法を用いていた。これに対して、実施形態２では、前の周期の仮想適正露出条件に対するアンダー露出及びオーバー露出の露出差に応じた重みづけによる加重加算を用いて合成を行う。また、次周期のアンダー露出撮影及びオーバー露出撮影の目標露出条件を決定する際に、アンダー露出及びオーバー露出の露出差に制限を設ける。
【００６４】
本実施形態ではアンダー露出とオーバー露出の各目標露出条件を独立に決めている。このため、必ずしも仮想適正露出条件に対して、例えば−３ＥＶ、＋３ＥＶというように対称的になるわけではなく、−１ＥＶ、＋３ＥＶといった非対称的な目標露出条件になる場合もある。この場合、仮に適正露出（０ＥＶ）で撮影した結果に近い結果を得るためには、なるべく適正露出に近い方の撮影結果を重視することが望ましい。これは適正露出から離れた露出条件で撮影すると撮像素子のリニアリティが徐々に崩れてきて色再現などに悪影響を与えるためである。そこで、以下の式１４を用いて適正露出からの露出差に応じた重みづけを行う。
（式１４）
Ｗ＿ＤＫ＝２ＤｒａｎｇｅＢＲ／（２ＤｒａｎｇｅＤＫ＋２ＤｒａｎｇｅＢＲ）
Ｗ＿ＢＲ＝２ＤｒａｎｇｅＤＫ／（２ＤｒａｎｇｅＤＫ＋２ＤｒａｎｇｅＢＲ）
Ｗ＿ＤＫはアンダー露出の重みづけ係数、ＤｒａｎｇｅＢＲは仮想適正露出とアンダー露出の露出差、ＤｒａｎｇｅＤＫは仮想適正露出とオーバー露出の露出差をそれぞれ表している。図１７は具体的な重み付け係数を例示する。例えば、−１ＥＶ、＋３ＥＶの場合、アンダー露出の重みづけ係数は０．８、オーバー露出の重みづけ係数は０．２となる。このようして求めた重みづけ係数を用いて加重加算を行った後は、実施形態１と同様に図１０のＳ１００４以降の処理を順次行い、仮想適正露出条件を算出する。
【００６５】
ここで、上記のように算出した重みづけ係数を次周期のアンダー露出撮影及びオーバー露出撮影の各目標露出条件を決定する際に用いる例を説明する。
【００６６】
まず、前提としてアンダー露出とオーバー露出の露出差に制限（リミッタ）を設ける。上述したように、本実施形態ではアンダー露出撮影とオーバー露出撮影の各目標露出条件を独立に決定している。このため、明暗差が非常に大きいシーンで白飛びと黒潰れを抑えるようにアンダー露出条件とオーバー露出条件を決定すると、露出差が撮像素子のダイナミックレンジを超えてしまう場合がある。例えば撮像素子のダイナミックレンジを６ＥＶとしたときに、アンダー露出とオーバー露出を各々−４ＥＶ、＋４ＥＶとした場合、図１８に示すように適正露出画像がないと合成する際に中間階調の信号が欠落することになり不自然な描写となってしまう。このため、図１８では横軸は入力のリニアな信号を表し、縦軸はガンマ変換処理後のノンリニアな信号を表している。そして、以下の式１５により決定したリミッタＤｒａｎｇｅＬｉｍｉｔを超えた場合の露出調整量ＡｄｊｕｓｔＶａｌを算出する。
（式１５）
ＡｄｊｕｓｔＶａｌ＝｛（ＤｒａｎｇｅＢＲｋ＋ｍ−ＤｒａｎｇｅＤＫｋ＋ｍ）−ＤｒａｎｇｅＬｉｍｉｔ｝／２
また、次周期のアンダー露出撮影及びオーバー露出撮影の各目標露出条件を算出した後で、以下の式１６により最終的なアンダー露出撮影とオーバー露出撮影の各目標露出条件を決定する。
（式１６）
ＤｒａｎｇｅＤＫｋ＋ｍ＝ＤｒａｎｇｅＤＫｋ−ＡｄｊｕｓｔＶａｌ×Ｗ＿ＤＫ
ＤｒａｎｇｅＢＲｋ＋ｍ＝ＤｒａｎｇｅＢＲｋ＋ＡｄｊｕｓｔＶａｌ×Ｗ＿ＢＲ
そして、露出調整量ＡｄｊｕｓｔＶａｌを、上記のように求めた重みづけ係数でさらに微調整することで、より仮想適正露出条件に近い露出条件を維持することができる。
【００６７】
上述した実施形態２によれば、仮想適正露出条件の算出においてアンダー露出撮影とオーバー露出撮影のうち仮想適正露出条件に近い方を重視した加重加算を行う。このため、より適正露出撮影に近い輝度ブロック積分結果が得られ、通常の動画に近い仮想適正露出条件を求めることができる。また、アンダー露出とオーバー露出の露出差にリミッタを設けることでＨＤＲ合成の際に中間階調の信号が欠落することを防止する効果が期待できる。
【００６８】
［実施形態３］次に、実施形態３について説明する。実施形態３では、図１１のＳ１１０５で露出補正量を用いて決定された次周期のアンダー露出とオーバー露出の各目標露出条件について明部と暗部の階調特性を近づけるように微調整を行う。
【００６９】
上述した実施形態のように、アンダー露出とオーバー露出の各目標露出条件を独立に決めていると、必ずしも仮想適正露出条件に対する露出差が対称的になるわけではなく、非対称的な目標露出条件になる場合もある。この非対称の度合いが顕著になるとアンダー露出画像とオーバー露出画像を仮想適正露出にするためのガンマ変換処理（図９の９０５、９１１）を行った結果、明部と暗部のコントラスト特性に大きく違いが生じ、合成した画像の階調特性が不自然になることがある。
【００７０】
図１９は仮想適正露出とアンダー露出の露出差が小さく、仮想適正露出とオーバー露出の露出差が大きい場合のガンマＬＵＴを例示している。横軸は入力のリニアな信号を、縦軸はガンマ変換処理後のノンリニアな信号を表している。黒い実線および黒い点線はアンダーのガンマＬＵＴを示し、グレーの実線およびグレーの点線がオーバーのガンマＬＵＴを示している。合成画像としては、明部はグレーの実線のアンダーが、暗部は黒い実線のオーバーが用いられることになる。この場合、明部のガンマとしては傾きが立っている形状であるためコントラストは硬調な特性に、暗部のガンマとしては傾きが寝ている形状であるためコントラストは軟調な特性になり、明部と暗部でアンバランスなコントラスト特性になってしまうおそれがある。そこで、図１６で求めた露出補正量を調整して明部と暗部のコントラストのバランスを調整する処理を行う。具体的には以下の式１７により露出補正量を調整する。
（式１７）
ＣｏｒｒｅｃｔＤＫｋ＋ｍ＝ＣｏｒｒｅｃｔＤＫｋ＋ｍ＋β（ＤｉｓｔＤＫｋ−ｍ−ＤｉｓｔＢＲｋ−ｍ）
ＣｏｒｒｅｃｔＢＲｋ＋ｍ＝ＣｏｒｒｅｃｔＢＲｋ＋ｍ＋β（ＤｉｓｔＤＫｋ−ｍ−ＤｉｓｔＢＲｋ−ｍ）
ＤｉｓｔＢＲｋ−ｍは、上記式９で算出される明部の重心と過去の仮想適正露出との輝度差、ＤｉｓｔＤＫｋ−ｍは、上記式１１で算出される暗部の重心と過去の仮想適正露出との輝度差をそれぞれ表している。ＤｉｓｔＢＲｋ−ｍとＤｉｓｔＤＫｋ−ｍが同じ値であれば、明部と暗部のコントラストのバランスは適切であると判断し、露出補正量の調整は行わない。また、ＤｉｓｔＢＲｋ−ｍとＤｉｓｔＤＫｋ−ｍの差分が大きく正の値になる場合は暗部の黒潰れ度合いが明部と比較して高まっていることを示している。そのため、オーバー目標露出条件と仮想適正露出との差が拡大しないように露出補正量の調整量を決定する。一方、ＤｉｓｔＢＲｋ−ｍとＤｉｓｔＤＫｋ−ｍの差分が大きく負の値になる場合は明部の白飛び度合いが暗部と比較して高まっていることを示している。そのため、アンダー目標露出条件と仮想適正露出と差が拡大しないように露出補正量の調整量を決定する。なお、βは上記調整量の寄与度を制御するパラメータである。
【００７１】
上述した実施形態３によれば、明部の重心と仮想適正露出との輝度差と暗部の重心と仮想適正露出との輝度差が縮小する方向に露出補正量を調整することで動画ＨＤＲ撮影による合成画像の明部と暗部のコントラストのバランスを適切にすることができる。
【００７２】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７３】
６…ＡＥセンサ、１０…撮像素子、２５…信号処理部、２１…制御部、５１…レンズ制御部
【図１】
0006744711.tif 000004
【図２】
0006744711.tif 000005
【図３】
0006744711.tif 000006
【図４】
0006744711.tif 000007
【図５】
0006744711.tif 000008
【図６】
0006744711.tif 000009
【図７】
0006744711.tif 000010
【図８】
0006744711.tif 000011
【図９】
0006744711.tif 000012
【図１０】
0006744711.tif 000013
【図１１】
0006744711.tif 000014
【図１２】
0006744711.tif 000015
【図１３】
0006744711.tif 000016
【図１４】
0006744711.tif 000017
【図１５】
0006744711.tif 000018
【図１６】
0006744711.tif 000019
【図１７】
0006744711.tif 000020
【図１８】
0006744711.tif 000021
【図１９】
0006744711.tif 000022