(57)【要約】【課題】  特別なシステムを用いることなく、露出の異なる画像を合成するＨＤＲ画像の生成に対し被写体に応じて最適なダイナミックレンジの高い画像を取得すること。【解決手段】  時間的に連続する露出の異なるｎ（ｎは２以上）フレームを繰り返し撮像するハイダイナミックレンジ撮影が可能な撮像装置であって、前記撮像装置の光電変換部から溢れ出た基準露出時の余剰信号を取得する手段と、前記余剰信号に応じて、前記周期的に露出変化させるフレームの補正露出量を算出する手段と、該手段により決定した補正露出で撮影した前記周期的に変化するフレームを合成する手段と、を有することを特徴とする。【選択図】図１
2020102791.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する露出の異なるｎ（ｎは２以上）フレームを繰り返し撮像するハイダイナミックレンジ撮影が可能な撮像装置であって、
前記撮像装置の光電変換部から溢れ出た基準露出時の余剰信号を取得する手段と、
前記余剰信号に応じて、周期的に露出変化させるフレームの補正露出量を算出する手段と、
該手段により決定した補正露出で撮影した前記周期的に変化するフレームを合成する手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記余剰信号を読み出すタイミングは、前記撮像された被写体が変化したと判定された場合に限定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記周期的に露出変化させるフレームの補正露出の算出は、前記光電変換部から溢れ出た余剰信号のヒストグラムから算出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記光電変換部から溢れ出た余剰信号を取得する手段は、前記撮像装置が備える焦点検出用の駆動部を利用することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記光電変換部から溢れ出た余剰信号のヒストグラムが飽和信号を含んでいた場合に、よりアンダーで撮像されたフレームの余剰信号を読み出すことにより、前記ヒストグラムを生成する領域を変更することを特徴とする請求項３に記載の撮像装置。
【請求項６】
静止画像取得時の前記周期的に露出変化させるフレームの補正露出量を算出するタイミングは、焦点検出処理後に実行することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特にはハイダイナミックレンジ画像を生成するための撮影（ハイダイナミックレンジ撮影）が繰り返し撮影可能な撮像装置に関する。
【背景技術】
【０００２】
異なる露出（アンダー撮像露出、オーバー撮像露出）で撮影した複数枚の画像を合成し、画像のダイナミックレンジを拡大するハイダイナミックレンジ（以下ＨＤＲ）合成が知られている。各画像における適正露出部分を合成することで、白とびや黒つぶれを抑制し、暗部から明部まで良好な階調性を有する画像を得ることができる。
【０００３】
複数枚合成によるＨＤＲは静止画撮影に限った技術ではなく、動画記録への適用も可能である。動画ＨＤＲ撮影の構成としては幾つか考えられるが、例えば異なる露出（アンダー露出、オーバー露出）を交互に繰り返して撮影することで実現できる。
【０００４】
この際、アンダー露出とオーバー露出が固定のとき、例えば適正露出に対して常にアンダー−２ＥＶ、オーバー＋２ＥＶの露出条件で動画記録すると被写体のダイナミックレンジが広いシーンでは問題無いが、被写体のダイナミックレンジが狭いシーンへと移行した際に過剰な撮像ダイナミックレンジになってしまいアンダー撮像画像とオーバー撮像画像合成して得られたＨＤＲ画像のコントラストが眠くなってしまうことが懸念される。
【０００５】
そこで、被写体のダイナミックレンジを検出しながらアンダー撮像露出とオーバー撮像露出へフィードバックし自動的に制御していくことが求められる。その為には、被写体のダイナミックレンジを正確に把握して露出を制御することが重要である。
【０００６】
被写体のダイナミックレンジを検出する為に、レンズ交換式のカメラシステムでは、一般的に測光用のセンサ（以後ＡＥセンサと呼ぶ）を備えていることが多い。一般的にＡＥセンサは、画像を撮像する撮像センサに比べて高いダイナミックレンジを有することが一般的である。
【０００７】
しかし、上記ＡＥセンサは撮像センサが露光していない時に使用する為、ミラーを介して露光する光学系の中にあることが一般的である。つまり撮像中、特に動画中はＡＥセンサの出力を使用することはできない為、動画中はダイナミックレンジの狭い撮像センサで被写体のダイナミックレンジを測定しなければならないという課題がある。さらに最近では、ＡＥセンサを持たない小型したレンズ交換式のカメラシステム（所謂ミラーレスカメラ）も提供されており、もともとＡＥセンサを所持しないものが多い。
【０００８】
そこで、特許文献１には、静止画のＨＤＲ本撮影に先がけてプリ撮影を行い、プリ撮影画像から輝度信号のヒストグラムを求め白飛び量と黒潰れ量が同等になるように適正露出を決定する方法が開示されている。
【０００９】
一方で、撮像センサのダイナミックレンジを拡大する方法も提供されている。特許文献２には、撮像センサに飽和光量以上の光量が照射された場合に受光素子に隣接する浮遊拡散層（フローティングデイフュージョン層：ＦＤ層）にこぼれ出た余剰電荷を読み出すことにより、撮像センサのダイナミックレンジを拡大する技術が提示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−７１７７２号公報
【特許文献２】特許第０４７４５７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記の特許文献１に開示された従来技術では、ＡＥセンサなどの測光センサは不要ではあるが、事前にプリ撮影が必要であり、シーンが変わってしまった場合や、動画時に適切な露出を決定できないとう問題点をもっている。
【００１２】
一方、撮像センサのダイナミックレンジを拡大する特許文献２に開示された従来技術では、センサのダイナミックレンジは拡大することはできるが、特に動画で利用する場合には必ず前記余剰電荷を同時に読みださなければならず、高速読み出しが可能な専用の回路が必要になる。そのため、撮像装置のコストアップにつながることになってしまう。さらに余剰電荷を出力画像として使用する為、余剰電荷信号の特性が最終画質に影響を与える為、余剰電荷を高精度に制御する撮像装置が必要になってくる。
【００１３】
さらに近年では複数の受光素子が一つの浮遊拡散層を共有することにより、開口効率を上げる等の工夫がなされていることが多く、画像信号として利用できる余剰画素の取得が困難になっていることもある。
【００１４】
そこで、本発明の目的は、特別なシステムを用いることなく、露出の異なる画像を合成するＨＤＲ画像の生成に対し、被写体に応じて最適なダイナミックレンジの高い画像を提供することができる撮像装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明に係る撮像装置は、
時間的に連続する露出の異なるｎ（ｎは２以上）フレームを繰り返し撮像するハイダイナミックレンジ撮影が可能な撮像装置であって、前記撮像装置の光電変換部から溢れ出た基準露出時の余剰信号を取得する手段と、前記余剰信号に応じて、周期的に露出変化させるフレームの補正露出量を算出する手段と、該手段により決定した補正露出で撮影した前記周期的に変化するフレームを合成する手段と、を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、特別なシステムを必要とせず、露出の異なる撮像を継続して繰り返す動画ＨＤＲ撮影において、アンダー撮像とオーバー撮像の露出を被写体の変化に応じ適切に設定し白飛びと黒潰れを軽減するＨＤＲ合成動画記録可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に対応するカメラの制御手段の動作を示したフローチャート
【図２】一般的な交換レンズ式のデジタル一眼レフカメラの断面図
【図３】カメラと交換レンズの電気回路の構成例を表したブロック図
【図４】測光用センサの構成例を表した図
【図５】動画ＨＤＲで使用するプログラム線図の一例を示した図
【図６】適正露出に対するアンダー撮像の露出差を決定する様子を示した図
【図７】アンダー撮像画像およびオーバー撮像画像現像時のガンマ変換処理に用いるガンマテーブルの例を示した図
【図８】ＨＤＲの合成割合の一例を示した図
【図９】第１の実施形態に対応する画像処理装置の一例を示したブロック図
【図１０】第１の実施形態に対応する撮像装置の構成図
【図１１】第１の実施形態に対応する余剰信号の読み出しを行うタイミングチャート
【図１２】第１の実施形態に対応する、受光素子が出力する画像と、余剰信号から出力される画像を示す図
【図１３】第１の実施形態に対する余剰信号から出力される画像から算出されるヒストグラムを示した図
【図１４】第１の実施形態に対する余剰信号から被写体光量に変換する為の特性図
【図１５】第２の実施形態に対応するカメラの制御手段の動作を示したフローチャート
【図１６】第２の実施形態に対応する、アンダー露出決定処理のフローチャート
【図１７】第２の実施形態に対応する撮像装置の構成図
【図１８】第２の実施形態に対応する撮像装置の構成図
【図１９】第２の実施形態に対応する撮像装置の構成図
【図２０】第２の実施形態に対応する余剰信号の読み出しを行うタイミングチャート
【図２１】第２の実施形態に対応する、受光素子が出力する画像と、余剰信号から出力される画像を示す図
【図２２】第２の実施形態に対する適正露出時の余剰信号から出力される画像から算出されるヒストグラムを示した図
【図２３】第３の実施形態に対応するカメラの制御手段の動作を示したフローチャート
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１９】
なお、以下の実施形態においては、本発明に係る撮像装置の一例としてのデジタルカメラについて説明する。なお、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【００２０】
＜第１の実施形態＞
図２は本発明の実施形態に係るカメラの、主として光学部材やセンサ等の配置を示す断面図である。
【００２１】
本実施形態におけるカメラはレンズ交換可能ないわゆるデジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。
【００２２】
カメラ本体１において撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。撮像素子１０の前方近傍に設けられていたメカニカルシャッター１１は、撮像素子１０の露出タイミングおよび露出時間を制御する。
【００２３】
半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、焦点検出用センサ９に入射させる。焦点検出用センサ９は例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。第１の反射ミラー７、第２の反射ミラー８および焦点検出用センサ９は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。
【００２４】
測光用センサ（ＡＥセンサ）６はペンタプリズム４および第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。分割数に制限は無い。なお、撮像素子においては、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。
【００２５】
ペンタプリズム４によってファインダー光学系が構成される。図２には示していないが、ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には主ミラー３によって反射されてピント板１２によって拡散された光線のうち光軸外の一部が入射する。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と情報通信を行う。尚、ライブビュー表示および動画記録時には常時主ミラー３が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。
【００２６】
図３は、図２に示したカメラ本体１とその交換レンズ２の電気回路の構成例を示すブロック図である。
【００２７】
カメラ本体１において制御部２１は例えば内部にＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ  ａｎｄ  Ｌｏｇｉｃ  Ｕｎｉｔ）、ＲＯＭ、ＲＡＭやＡ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムを実行することにより、カメラ本体１および交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。
【００２８】
焦点検出用ＡＦセンサ９及びＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する信号にＡ／Ｄ変換および信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワーク用メモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。表示器２７は液晶ディスプレイパネル等で構成され、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７は制御部２１からの指示により制御される。記憶部２６はフラッシュメモリ等の不揮発性メモリであり、例えば撮像された画像信号が信号処理回路２５から入力される。
【００２９】
モーター２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンやメカニカルシャッター１１のチャージを行う。操作部２３はユーザーがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９は交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッター駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。
【００３０】
交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、交換レンズ２の状態などの情報を、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。
【００３１】
交換レンズ２がカメラ本体１に装着されると接点部２９，５０を介してレンズ制御部５１とカメラ本体の制御部２１とがデータ通信可能となる。また、接点部２９，５０を通じて交換レンズ２内のモーターやアクチュエータを駆動するための電力も供給される。カメラ本体の制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等がレンズからカメラ本体の制御部２１へとデータ通信によって出力される。また、カメラ本体の制御部２１が焦点検出や露出演算を行った結果求められた焦点調節情報や絞り情報はカメラ本体の制御部２１からレンズへとデータ通信によって出力されて、レンズは焦点調節情報に従って絞りを制御する。
【００３２】
＜本実施形態の動作＞
以下、図１のフローチャートを参照して、本発明の第１の実施形態による具体的な動作について説明する。最初に全体の流れについて説明を行い詳細な動作については後述する。
【００３３】
操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が動作可能になると、図１の処理を実行する。まず制御部２１は交換レンズ２のレンズ制御部５１と通信を行ない、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う（Ｓ１１）。
【００３４】
次に、操作部２３に含まれる動画モード切り替えスイッチがオンされるとメモリ２８の配置処理などが動画モードへと切り替えられ撮像が開始される（Ｓ１２）。さてこの段階では、適正露出条件は初期条件であるため被写体に適切な露出条件とはなっていないことが多いため初期適正露出演算を行う必要がある。制御部２１は、一般にライブビュー画像（またはスルー画像）と呼ばれる、表示器２７を電子ビューファインダとして機能させるために行う動画撮影を開始する。
【００３５】
この撮影は、主ミラー３および第１の反射ミラー７をはね上げ、メカニカルシャッター１１を解放し、撮像素子１０が露出される状態として、いわゆる電子シャッターによる撮影を連続的に実行することで実施することができる。なお、この状態では、ミラーアップしているためＡＥセンサ６で測光することはできない。そこでライブビュー画像を撮影している際に制御部２１は定期的に撮像素子１０による測光用の信号取得を実行する。実際には、ライブビュー画像の１フレームを測光用の画像信号として利用すればよい。
【００３６】
制御部２１は、取得した画像信号を撮像素子１０から読み出し、Ａ／Ｄ変換を行ってＲＡＭに格納する。画素信号はさらに画素領域を、図４に示したように例えば９×７個にブロック分割し、各ブロックに含まれる画素で得られた信号に基づき、ブロック毎の輝度情報を取得する。ブロックの輝度情報は、例えばブロック内の全画素の輝度を平均することにより求めることができる。なお、輝度の演算はＡＰＥＸ（Ａｄｄｉｔｉｖｅ  Ｓｙｓｔｅｍ  ｏｆ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｏｓｕｒｅ）のＢｖ値に換算して行うことができる。このＢｖ値に対する制御値に基づいて予め設計したプログラム線図を参照して露出条件を決定する。
【００３７】
図５は、本動画ＨＤＲで使用するプログラム線図の１例を示したものである。右側縦軸は絞り値Ａｖを、左側及び上部はＢｖ値を示している。下部は秒時Ｔｖを示しているが、動画はフレームレートによりＴｖ値の限界があり例えば図５に示すような３０／ｆｐｓの場合オーバー側の最長秒設定は１／３０秒となるため、それよりも露出が増大する側はＩＳＯ感度を上げることで実現することを示している。ここで先に求めたＢｖ値に対する制御値をもとにプログラム線図を参照することで適正露出条件（ＩＳＯ感度、絞り、秒時）が決定しその条件に合わせて露出制御する。実線が適正露出の線図を示している。
【００３８】
続いて、Ｓ１４で測距用の蓄積を行い初期の焦点検出およびレンズ駆動を行う。図３に戻って、制御部２１は、撮像素子１０で焦点検出用の信号蓄積を行う。なお、焦点検出用センサ９を用いた焦点検出を行わないのは、動画記録を行うために、ミラーアップして連続的な撮影を行っているためである。
【００３９】
従って、撮像素子１０で得られる画像信号から焦点検出を行う。蓄積が終了すると蓄積された信号を読み出しながらＡ／Ｄ変換を行い、焦点検出用の画像信号としてＲＡＭに格納する。さらにＳ１１で得ているレンズ情報と焦点検出用の画像信号とから、撮影画面各部の焦点状態を演算し、合焦させる焦点検出領域を決定する。なお、焦点検出領域の位置の決定は他の方法によってもよく、例えば予め操作部２３を通じてユーザーから指定されている焦点検出領域に決定してもよいし、顔検出などの画像認識技術を用いて人物の顔に焦点検出領域を設定してもよい。
【００４０】
制御部２１は、決定した焦点検出領域における焦点状態とレンズ情報とに従って、焦点検出領域に合焦させるためのレンズ移動量を算出し、レンズ制御部５１を通じてフォーカスレンズ駆動部５２を制御し、フォーカスレンズを合焦位置に移動させる。これにより、交換レンズ２は焦点検出領域内の被写体に対して合焦状態となる（Ｓ１４）。フォーカスレンズを駆動すると距離エンコーダの情報が変化するので、制御部２１は交換レンズ２内の各種レンズ情報の更新も行う。
【００４１】
続いて、同じく操作部２３に含まれるＨＤＲ動画撮影モード切り替えスイッチがオンされると、予め設定された露出、例えば適正露出に対してオーバー露出およびアンダー露出設定を交互に繰り返す撮像へと切り替わる（Ｓ１５）。本実施形態では以降、処理速度の都合上適正露出撮像を行わない、オーバー露出およびアンダー露出撮像を交互に繰り返す構成で説明をするが、適正露出を含んだオーバー露出およびアンダー露出の計３枚の撮像を繰り返す構成でも構わない。その場合は、適正露出の撮像が多い分、記録のフレームレートは低下することとなる。
【００４２】
Ｓ１６では初期のオーバー撮像とアンダー撮像の露出制御を行う。詳細については図６を用いて後述するが、アンダー露出を適性露出に対してどの程度アンダーで撮像すれば最適かを判断し決定する。前述した通り、ライブビュー撮影時においてＡＥセンサ６は利用できない為、撮像素子の信号から決定する必要がある、本実施形態では撮像素子に飽和光量以上の光量が入射された場合、受光素子から溢れ出た余剰電荷を解析することにより、従来よりも高精度にアンダー露出を決定することができる。Ｓ１６での動作と処理の詳細について後述する。
【００４３】
ステップＳ１７でフレームナンバーを１フレーム目に初期化し、初期の適正露出およびアンダー露出、オーバー露出が決定したタイミングで実際に記録開始Ｓ１８となる。
【００４４】
録画を開始後は、被写体の変化に合わせて動作を切り替えていく処理が必要である。安定した被写体の場合には基本的には露出変更は行なう必要はないが、撮影シーンが変化した場合には、その都度露出を変更していくことが好ましい。その為、定期的な間隔（処理負荷の許す限り短い間隔）でシーンチェンジ判定を行う（Ｓ１９）。ここでのシーンチェンジ判定とは、アンダー露出を変更する必要があるかの判定になるため、微少な変化の場合は、従来動画と同様に適正露出を予め決めておいてプログラム線図に応じて露出変更することが好ましい。シーンチェンジの判定の方法の例としては、アンダー画像のヒストグラムの変化が大きかった場合や、人の顔を検出していた場合、検出結果に変更があった場合など様々な判定が考えられるが、目的や用途によって変更していくことが好ましい。
【００４５】
次に、Ｓ１９でシーンが変更されたと判定された場合についての処理を説明する。シーンチェンジと判定された場合Ｓ２０においてＦＤ信号を再取得する必要があるかを判定する。これは既存のシステムを使用してライブビュー中にＦＤ信号を読み出す為には、１フレームＦＤ用の信号を読み出すことに使用してしまう為、必要最低限にとどめておきたいという理由がある。ＦＤ信号が必要になる場合は、被写体のダイナミックレンジがより広くなった場合、より具体的に言えばアンダー露出画像も飽和してしまった場合にのみ再取得が必要になる。
【００４６】
Ｓ２０で再取得が必要と判断された場合は、Ｓ２１において、一度前フレームを表示して、その間にアンダー露出決定処理（Ｓ２２）を行う。ここで行うアンダー露出決定処理はＳ１６で行ったものと同様の処理で後述する。一方、Ｓ２０においてＦＤ信号再取得の必要がないと判定された場合（基本的に被写体のダイナミックレンジが狭くなった場合）はアンダー露出の画像のヒストグラムを解析し、アンダー露出を飽和しない程度に明るく撮影するように変更する露出を決定する（Ｓ２３）。理由としては、必要以上にアンダー露出で撮影してしまうと後段の処理で暗部を持ち上げるので最終画像のノイズ劣化が懸念される為である。
【００４７】
Ｓ２２またはＳ２３で露出が決定した後、アンダー露出移行フラグを立て、算出したアンダー露出の目標値を保存する（Ｓ２４、Ｓ２９）。このフラグを立てる理由は、目標の露出まで１フレームで大きく変更してしまった場合に動画としてチラつきに見えてしまう可能性があるため、予め設定しておいた時定数などの情報により、徐々に目標露出まで変更させる為に必要なものである。ただし、監視カメラ等の用途では、次フレームで一度に目標に到達した方が良いので用途に応じて適宜変更することが好ましい。
【００４８】
一方、Ｓ１９においてシーンチェンジがないと判定された場合は、Ｓ２５において現在前述のアンダー露出の移行状態か否かを判定する。移行フラグが立っており、アンダー露出が目標値に達成していない場合には、予め設定された時定数などの情報により次フレームでのアンダー画像の露出を決定する（Ｓ２６）、その結果をＳ２７において判定し、目標の露出に達成した場合は、アンダー露出移行フラグを下げる（Ｓ２８）。
【００４９】
次にＳ３０では、Ｓ２３，Ｓ２６で設定したアンダー露出になるように露出設定を行う。露出の設定方法の一例としては、適正に対するアンダー露出の様々なパターンのプログラム線図を事前に準備しておき所望のアンダー露出を実現する為のプログラム線図を読み出して露出を決定する方法がある。またＳ２５で移行フラグが立っていなかった場合は、シーンチェンジもなく露出も目標値に達している事を示しているので、前フレームと同様の露出で撮像すれば良い。もちろん適正露出の微妙に変化に合わせて多少変動させても良い。
【００５０】
Ｓ３０で設定した露出で読み出した画像に対して、ＡＦ動作を行う（Ｓ３１）。これにより撮影条件は決定される。
【００５１】
Ｓ３２では、上記で決定した撮影条件を元に撮像し、ＨＤＲ合成を行う処理を示している。ここで、現像処理の詳細について図９を用いて説明する。被写体は結像光学系（レンズ）を経て、被写体像を光電変換する撮像素子上に結像する。撮像素子は例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。
【００５２】
このため撮像素子からは色モザイク画像が出力される（９０１および９０７）。ホワイトバランス部（９０２、９０８）では、白を白くする処理がなされる。具体的には撮像画像データを構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットし、その結果その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。適正露出の撮像を繰り返す通常動画であれば、適正露出の撮像画像に対してホワイトバランス係数を算出するのが一般的であるが本ＨＤＲ動画の構成ではアンダー撮像とオーバー撮像しかないため、本第１の実施形態では白飛びの少ないアンダー画像を用いて算出すればよい。
【００５３】
以上の処理により生成されたホワイトバランス係数９０２１を用いてホワイトバランス処理を実施する。色補間部（９０３、９０９）では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部（９０４、９１０）およびガンマ変換部（９０５、９１１）を経て基本的なカラー画像が生成される。
【００５４】
ガンマ変換部（９０５、９１１）では、図１のステップＳ２６において生成された１次元のガンマのルックアップテーブル（以降ＬＵＴと称す）を用いてガンマ変換処理を行う。アンダー撮像画像に対して、アンダー用のガンマＬＵＴ９０５１を用い、オーバー撮像画像に対してはオーバー用のガンマＬＵＴ９０５２を用いてガンマ変換処理を行う。ガンマＬＵＴ生成Ｓ２８について詳細に説明する。
【００５５】
ガンマＬＵＴ生成Ｓ２８では、アンダー露出およびオーバー露出で撮像した画像が各々、対応する仮想適正露出になるようにガンマＬＵＴを生成する。図７の実線は、適正露出で撮影された場合にあたるガンマＬＵＴの例を示している。横軸がリニアな入力信号を示しており、ガンマ後にノンリニアな出力信号となる。
【００５６】
例として、アンダーが適正露出に対して−１ＥＶで撮影されていた場合は二点鎖線で示されるように１ＥＶ分持ち上げるような特性を持ったガンマＬＵＴ９０５１を生成する。この時、単純に持ち上げてしまうとアンダー露出で撮像することにより飽和せずに残っていた高輝度の階調が失われることになってしまうため、高輝度になるに従って適正露出撮像用のガンマＬＵＴの特性に近づけていく点が重要である。同様にオーバーが適正露出に対して例として＋３ＥＶで撮影されていた場合は一点鎖線で示されるように３ＥＶ押し下げるような特性を持ったガンマＬＵＴ９０５２を生成することになる。こちらの場合も同様に暗部の階調が残るように低輝度になるに従って適正露出撮像用のガンマＬＵＴの特性に近づけていく必要がある。
【００５７】
その後、色輝度調整部（９０６、９１２）で画像の見栄えを改善するための処理がカラー画像に対し行われ、例えば、夕景検出して彩度強調といった画像補正がシーンに応じて行われる。色輝度調整（９０６、９１２）が終わると現像処理が完了する。ガンマ変換処理後のアンダー撮像画像とオーバー撮像画像はいずれも適正露出となっているため図８に示すような予め設定しておいた合成割合に基づいて加重加算することで、階調が滑らかに繋がった特性のＨＤＲ画像が生成される（Ｓ３２）。
【００５８】
図８のグラフの横軸は、基準輝度で、縦軸は合成比率を表している。合成基準輝度閾値Ｙ１より暗い領域はオーバー画像を使用し、合成基準輝度閾値Ｙ２より明るい領域はアンダー画像を使用する。また、合成基準輝度閾値付近の境界Ｙ１〜Ｙ２の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする効果を狙う。基準輝度として用いるのは基準フレームであり第１の実施形態ではアンダーフレームとなる。
【００５９】
Ｓ１９〜３２までの処理を撮像終了まで繰り返し継続する（Ｓ３３）。撮像終了の合図は図３中の操作部２３を介したユーザーによるＲＥＣ釦押下とすることが一般的である。それ以外には、記録媒体が容量の限度まで達したなどのエラー処理にて終了の合図が送られる場合もある。撮像が終了すればＲＡＭに蓄積していたＨＤＲ動画を圧縮し（Ｓ３４）、メモリなどの記録媒体に記録（Ｓ３５）して動画記録終了となる。
【００６０】
ここからは前述した、Ｓ１６，Ｓ２２のアンダー露出決定処理について図６を用いて説明を行う。
【００６１】
まず被写体のダイナミックレンジを正確に測定する為に、撮像素子から溢れ出た余剰信号（ＦＤ信号）を読み出す（Ｓ６０１）。余剰信号を読み出す為のセンサ駆動について撮像素子の構成から読み出しまで簡単に説明する。
【００６２】
図１０は、撮像素子１０としてＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型固体撮像素子を用いた場合の素子内のブロック図である。この固体撮像素子を構成する各回路素子は、半導体集積回路の製造技術によって、特に制限されないが、単結晶シリコンのような１個の半導体基板上において形成される。また、図１０の例では、簡単のため３行３列の画素アレイ１としているが、固体撮像素子はこのサイズに限定したものではない。図１０に示すように、画素アレイ１において、受光量に応じた光信号電荷を生成する光電変換部であるフォトダイオードＤ１１〜Ｄ３３は、この例ではアノード側が接地されている。フォトダイオードＤ１１〜Ｄ３３のカソード側は、フォトダイオードに蓄積された光信号電荷を転送するための転送ＭＯＳ  Ｍ１１１〜Ｍ１３３のソースに接続されている。
【００６３】
転送ＭＯＳ  Ｍ１１１のゲートは、横方向に延長して配置される第１の行選択線（垂直走査線）ＰＴＸ１に接続されている。同じ行に配置された他の画素セルの同様の転送ＭＯＳ  Ｍ１２１，Ｍ１３１のゲートも第１の行選択線ＰＴＸ１に共通に接続されている。また、転送ＭＯＳ  Ｍ１１１〜Ｍ１３３のドレインには増幅ＭＯＳ  Ｍ３１１〜Ｍ３３３のゲートが接続されている。
【００６４】
増幅ＭＯＳ  Ｍ３１１〜Ｍ３３３のゲートには、これをリセットするためのリセットＭＯＳ  Ｍ２１１〜Ｍ２３３のソースが接続され、リセットＭＯＳ  Ｍ２１１〜Ｍ２３３のドレインは、リセット電源に接続されている。さらに、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３３のドレインは、電源電圧を供給するための選択ＭＯＳ  Ｍ４１１〜Ｍ４３３に接続されている。リセットＭＯＳ  Ｍ２１１のゲートは、横方向に延長して配置される第２の行選択線（垂直走査線）ＰＲＥＳ１に接続される。
【００６５】
同じ行に配置された他の画素セルの同様なリセットＭＯＳ  Ｍ２２１，Ｍ２３１のゲートも第２の行選択線ＰＲＥＳ１に共通に接続される。選択ＭＯＳ  Ｍ４１１のゲートは、横方向に延長して配置される第３の行選択線（垂直走査線）ＰＳＥＬ１に接続される。同じ行に配置された他の画素セルの同様な選択ＭＯＳ  Ｍ４２１，Ｍ４３１のゲートも第３の行選択線ＰＳＥＬ１に共通に接続される。
【００６６】
これら第１〜第３の行選択線は垂直走査回路ブロック２に接続され、後述する動作タイミングに基づいた信号電圧が供給される。図１０に示されている行においても同様な構成の画素セルと、行選択線が設けられている。これらの行選択線には、垂直走査回路ブロック２により形成されたＰＲＥＳ１〜ＰＲＥＳ３、ＰＳＥＬ１〜ＰＳＥＬ３が供給される。
【００６７】
増幅ＭＯＳ  Ｍ３１１のソースは、縦方向に延長して配置される垂直信号線Ｖ１に接続される。同じ列に配置される画素セルの同様な増幅ＭＯＳ  Ｍ３１２，Ｍ３１３のソースも垂直信号線Ｖ１に接続される。垂直信号線Ｖ１は、定電圧部３であるゲート接地ＭＯＳ  Ｍ７１を介して負荷素子である負荷ＭＯＳ  Ｍ５１に接続される。ゲート接地ＭＯＳ  Ｍ７１のゲートはゲート電圧を供給する電圧入力端子６に接続される。図１０に示されている残りの垂直信号線Ｖ２〜Ｖ３においても同様に増幅ＭＯＳ、ゲート接地ＭＯＳ、負荷ＭＯＳが接続される。
【００６８】
さらに、負荷ＭＯＳ  Ｍ５１〜Ｍ５３のソースは共通のＧＮＤライン４に、ゲートは入力ＭＯＳ  Ｍ５０のゲートに接続されると共に電圧入力端子５に接続される。さらに、垂直信号線Ｖ１は、ノイズ信号転送スイッチＭ１１を介してノイズ信号を一時保持するためのノイズ信号保持容量ＣＴＮ１に、また、光信号転送スイッチＭ２１を介して光信号を一時保持するための保持部である光信号保持容量ＣＴＳ１に同時に接続される。
【００６９】
ノイズ信号保持容量ＣＴＮ１と光信号保持容量ＣＴＳ１の逆側の端子は接地されている。ノイズ信号転送スイッチＭ１１とノイズ信号保持容量ＣＴＮ１との接続点と、光信号転送スイッチＭ２１と光信号保持容量ＣＴＳ１との接続点はそれぞれ、保持容量リセットスイッチＭ３１、Ｍ３２を介し接地される。さらに上記接続点はそれぞれ、水平転送スイッチＭ４１、Ｍ４２を介して、光信号とノイズ信号の差をとるための差動回路ブロック８に接続される。
【００７０】
ノイズ信号保持容量ＣＴＮ１と光信号保持容量ＣＴＳ１の逆側の端子は接地されている。ノイズ信号転送スイッチＭ１１とノイズ信号保持容量ＣＴＮ１との接続点と、光信号転送スイッチＭ２１と光信号保持容量ＣＴＳ１との接続点はそれぞれ、保持容量リセットスイッチＭ３１、Ｍ３２を介し接地される。さらに上記接続点はそれぞれ、水平転送スイッチＭ４１、Ｍ４２を介して、光信号とノイズ信号の差をとるための差動回路ブロック８に接続される。
【００７１】
水平転送スイッチＭ４１、Ｍ４２のゲートは列選択線Ｈ１に共通に接続され、水平走査回路ブロック７に接続される。図１０に示されている残りの列Ｖ２〜Ｖ３においても同様な構成の読み出し回路が設けられる。また、各列に接続されたノイズ信号転送スイッチＭ１１〜Ｍ１３、光信号転送スイッチＭ２１〜Ｍ２３のゲートはＰＴＮ、ＰＴＳにそれぞれ共通に接続され、後述する動作タイミングに基づいてそれぞれ信号電圧が供給される。
【００７２】
次に、図１１を用いてＦＤ信号読み出すシーケンスについて説明する。ここで読み出したＦＤ信号は、受光素子の飽和光量を超えた光量が入射した画素しか信号を持たないので、画像が暗くなってしまう。つまり、この画像は測光用に利用する目的で使用することとなる。通常の読み出しの場合（受光素子の信号のみを取得する場合）は、まずＰＲＥＳ１をハイレベルにして、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３１のゲートをリッセットつまり浮遊拡散層（ＦＤ層）の電位をリセットレベルに戻す必要があるが、本実施形態のようにＦＤ層にオーバーフローした余剰電荷を読み出したい場合はリセットしてはいけない。
【００７３】
つまり図１１に示すように、受光素子に蓄積された電荷の転送前であり、ＦＤ層をリセットする前に光信号転送スイッチＭ２１〜Ｍ２３のゲートＰＴＳをハイレベルにする。これにより、ノイズ込みのＦＤ信号が光信号保持容量ＣＴＳ１〜ＣＴＳ３に読み出される。
【００７４】
次に、光信号転送スイッチＭ２１〜Ｍ２３のゲートＰＴＳをロウレベルに復帰する。その後ＰＲＥＳ１をハイレベルにし、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３１のゲートをリセットする。リセットが完了したらＰＲＥＳ１をロウレベルにし、次にノイズ転送スイッチＭ１１〜Ｍ１３のゲートＰＴＮをハイレベルにする。これにより、リセット信号がノイズ信号保持容量ＣＴＮ１〜ＣＲＮ３に読み出される。
【００７５】
次に、リセットＭＯＳ  Ｍ２１１〜Ｍ２３１のゲートＰＲＥＳ１および転送ＭＯＳ  Ｍ１１１〜Ｍ１３１のゲートＰＴＸ１がハイレベルとなる。この後の信号の読み出しは通常読み出しと同様である。このような手法でＦＤ信号を取得する（Ｓ６０１）。
【００７６】
次にＳ６０１で取得したＦＤ信号からヒストグラムを取得する（Ｓ６０２）。図１２を用いてＦＤ信号から取得されるヒストグラムの意味について説明する。図１２（ａ）は適正露出で撮影された画像の例である。被写体として、雲（１２０１）、明るい服を着た人物（１２０２）、暗めの色の建物（１２０３）を想定したものになっている。明るい屋外で撮影されており、建物が暗い為、撮像装置としては広ダイナミックレンジが必要なシーンになっている。
【００７７】
本実施形態の複数毎合成のＨＤＲモードで図１２のシーンを撮影する場合は、Ｓ１２０３と人の顔が最適な露出に収まるように適正露出の明るさを決定する。その場合、明るい雲（１２０１）や明るい服（１２０２）は飽和してしまうことがある。この条件において、Ｓ６０１のＦＤ信号を取得すると、図１２（ａ）で飽和している領域（１２０１，１２０２）にのみ余剰電荷が蓄積されＦＤ信号として取得が可能となる。その様子を図１２（ｂ）に示す。
【００７８】
つまり、ＦＤ信号を解析することにより、適正露出に対して明るい側の露出がどの程度ダイナミックレンジが不足していたかの情報を得ることが可能になる。図１２（ｂ）のヒストグラムをとると図１３のような形状が得ることができる。
【００７９】
次にＳ６０３において、取得したＳ６０２の情報からアンダー露出を決定する。アンダー露出の決定方法の一例を下記に示す。まずＳ６０２から取得したヒストグラムから、ホワイトポイント（ＷＰ）を取得する。ホワイトポイントの取得方法の一例としては図１３で示した、ＦＤ画像のヒストグラムの最大値を取得する。次に既知のＦＤ信号特性からダイナミックレンジがどの程度不足しているのかを算出する。
【００８０】
その様子について図１４を用いて説明する。
【００８１】
図１４はＦＤ信号の入出力特性を示しており、縦軸に光量、横軸にＦＤ信号の出力値を示している。ＦＤ信号は前述の通り受光素子が飽和光量に達するまで、何も出力されない。その時の飽和光量をＬｍｉｎとすると、ＦＤ信号が０の場合はＬｍｉｎ（もしくはＬｍｉｎ以下）と考えることができる。Ｌｍｉｎから光量が増えていくと、それ応じて余剰画素が発生しＦＤ信号も入射光量に応じて増加していく。図１４ではＬｍｉｎ以上の光量でＦＤ信号がリニアに増加していく様子が描かれている。この特性を予め記憶部２６に記憶しておくことで演算が可能となる。図１４の場合はリニアに特性が変化していくので、下記式１のＬｍｉｎとαを記憶部２６に記録しておけば良い。
【００８２】
【数１】
2020102791.tif 000003
【００８３】
【数２】
2020102791.tif 000004
【００８４】
Ｌは光量、ＤはＦＤ信号の出力値を示している。
【００８５】
ここでは簡単の為に線形で説明したが、よりＦＤ信号のダイナミックレンジを稼ぐ為にこのＦＤ信号特性を指数関数になるように余剰画素の特性を制御するようにデバイスを作成しておいても良い。Ｓ６０２から取得したホワイトポイントの値（ＷＰ）からダイナミックレンジの不足量ΔＬは下記式から算出可能となる。
【００８６】
【数３】
2020102791.tif 000005
【００８７】
このΔＬをさらに既知の受光素子の感度βを除算することにより、適正露出するアンダー露出の段数Ｕが決定する。
【００８８】
【数４】
2020102791.tif 000006
【００８９】
ＵはΔＬ、βにより様々な値をとりえるが、実際はシステム上細かく露出制御ができないこと多い為、実際設定可能かつダイナミックレンジが収まる設定でアンダー露出を決定することが現実的である。
【００９０】
以上説明したように本実施形態によると、露出の異なる撮像を継続して繰り返す動画ＨＤＲ撮影において、アンダー撮像とオーバー撮像の露出を適切に設定し白飛びを軽減することが可能となる。
【００９１】
＜第２の実施形態＞
以下、図１５を参照して、本発明の第２の実施形態による、具体的な動作について説明する。
【００９２】
第１の実施形態においては、ＦＤ信号を読み出す為に１フレームストップせざるを得なく大きなシーンチェンジが発生した時のみの処理に使用が限定されてしまっていた。その理由は、通常のシステムでは１フレーム内で受光素子信号と余剰電荷信号を同時に読み出すのはシステム的に難しいという課題があった。しかし、最近の撮像装置では、撮像素子から得た撮像信号を用いて瞳分割方式の焦点検出を行う技術が開示されている。
【００９３】
撮像素子の画素毎に１つのマイクロレンズと２つのフォトダイオードを備えることにより、各フォトダイオードは撮影レンズの異なる瞳領域を通過した光を受光する。フォトダイオード同士の出力信号を比較することで焦点検出が可能となると共に、これらの出力信号を加算することで撮像画像データを生成可能なものになっている。上記システムにおいては、１フレーム内に複数の視差画像を読み出せる構成になっており、この仕組みを利用することにより第１の実施形態のようにフレームストップすることなくＦＤ信号を利用することが可能となる。
【００９４】
処理の流れについて、図１５を用いて説明する。基本的な処理の流れは図１と同様の為差分に重点を置いて説明する。
【００９５】
シーンチェンジ判定（Ｓ１５９）までのＳ１５０１〜Ｓ１５０８まではＳ１１〜Ｓ１８までと同様の処理なので割愛する。ただし、Ｓ１５０６におけるＦＤ信号取得の方法は実施の形態１と異なるので後述する。
【００９６】
シーンチェンジ判定（Ｓ１５０９）に関しては実施の形態１と同様に実施する。本実施の形態の場合はＦＤ信号を取得する為にフレームストップする必要はなくなるが、ＡＦ動作が行えなくなる為、ＦＤ信号取得は最低限に抑える必要がある。ただし、判定の閾値に関しては実施の形態１に対して低くすることが可能である。
【００９７】
Ｓ１５０９においてシーンチェンジが必要と判定された場合においては、ＦＤ信号取得の必要性を判定する（Ｓ１５１０）。判定する理由は必要がない限りはＡＦを優先させる為である。ＦＤ信号再取得に必要がありと判定された場合は、第１の実施形態の場合と異なり、フレームストップする必要はないのでＳ１５０６のアンダー露出決定処理（Ｓ１５１１）を行った後、アンダー露出移行フラグを立てる（Ｓ１５１２）、その上で露出を決定する（Ｓ１５１３）。この場合、ＦＤ信号取得の為にＡＦが使用不能になっている為、ピント位置は前フレームから固定のまま合成処理（Ｓ１５２２）に入る。それ以外の部分は実施の形態１と同様の為、割愛する。
【００９８】
次に、撮像装置におけるアンダー露出決定処理について図１６を用いて説明を行う。基本的なアルゴリズムは実施の形態１と同様であるが、本実施形態の場合フレームストップすることなくＦＤ信号を取得できる為、第１の実施形態の時に使用した、適正露出時のＦＤ画像に加えて、アンダー画像のＦＤ画像を取得することにより、より高度な処理が可能となる。その場合の例について図１６を用いて説明を行う。
【００９９】
まずＳ１６０１において適正露出時のＦＤ信号を読み出す。ここで本実施形態の想定する撮像センサの構成につて図１７、図１８、図１９を用いて説明を行う。図１７は撮像素子１０の全体構成例を示す図である。図１８は単位画素部３００の構成を示す回路図である。図１９は列共通読出し回路３０３の構成を示す回路図である。
【０１００】
図１５に示す画素領域ＰＡには、多数の単位画素部３００（ｐ１１〜ｐｋｎ参照）が行列状に配置されている。図１８を参照して単位画素部３００の構成を説明する。ＰＤ４０１ａ，４０１ｂは、入射光を光電変換し、露光量に応じた電荷を蓄積する。転送ゲート４０２ａ，４０２ｂはそれぞれ信号ｔｘａ，ｔｘｂをＨｉｇｈレベルにすることでＯＮ状態となる。これにより、ＰＤ４０１ａ，４０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部４０３に転送される。
【０１０１】
ＦＤ部４０３は、フローティングディフュージョンアンプ４０４（以下、ＦＤアンプという）のゲートに接続されている。ＦＤアンプ４０４でＰＤ４０１ａ，４０１ｂから転送されてきた電荷量が電圧量に変換される。ＦＤリセットスイッチ４０５は、信号ｒｅｓ（図２０）をＨｉｇｈレベルとすることにより、ＦＤ部４０３をリセットする。
【０１０２】
また、ＰＤ４０１ａ，４０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ，ｔｘｂとを同時にＨｉｇｈレベルとする。転送ゲート４０２ａ，４０２ｂ及びＦＤリセットスイッチ４０５がＯＮ状態になると、ＦＤ部４０３経由でＰＤ４０１ａ，４０１ｂのリセットが行われる。画素選択スイッチ４０６では、信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ４０４で電圧に変換された画素信号が単位画素部３００の出力端子ｖｏｕｔから出力される。
【０１０３】
図１７の垂直走査回路３０１は、単位画素部３００の各トランジスタにゲート制御信号（ｒｅｓ，ｔｘａ，ｔｘｂ，ｓｅｌ）を供給する。これらの信号は行毎に共通となっている。各単位画素部３００の出力端子ｖｏｕｔは、列毎に垂直出力線３０２を介して列共通読出し回路３０３に接続されている。図１９を参照して列共通読出し回路３０３の構成を説明する。
【０１０４】
垂直出力線３０２は列毎に設けられ、１列分の単位画素部３００の出力端子ｖｏｕｔが接続されている。垂直出力線３０２には電流源３０４が接続されている。この電流源３０４と、垂直出力線３０２に接続された単位画素部３００のＦＤアンプ４０４によってソースフォロワ回路が構成される。
【０１０５】
クランプ容量（Ｃ１）５０１は演算増幅器５０３の反転入力端子に接続されている。またフィードバック容量（Ｃ２）５０２は、演算増幅器５０３の出力端子と反転入力端子に接続されている。尚、フィードバック容量Ｃ２は可変容量である。この静電容量値を変更することで演算増幅器５０３の入力信号に対する増幅ゲインの変更が可能である。演算増幅器５０３の非反転入力端子には基準電源Ｖｒｅｆが接続されている。
【０１０６】
スイッチ５０４はフィードバック容量Ｃ２の両端をショートさせるためのトランジスタであり、信号ｃｆｓにより制御される。転送スイッチ５０５〜５０８は、それぞれ単位画素部３００から読み出される信号を各信号保持容量５０９〜５１２に転送するためのトランジスタである。後述する読出し動作により、第１のＳ信号保持容量５０９には副画素ａの画素信号Ｓａが記憶され、第２のＳ信号保持容量５１１には副画素ａの信号と副画素ｂの信号を加算した加算信号Ｓａｂが記憶される。また、第１のＮ信号保持容量５１０及び第２のＮ信号保持容量５１２には単位画素部３００のノイズ信号Ｎがそれぞれ記憶される。各信号保持容量５０９〜５１２は、列共通読出し回路３０３の出力端子ｖｓａ，ｖｎａ，ｖｓｂ，ｖｎｂにそれぞれ接続されている。
【０１０７】
図１７の列共通読出し回路３０３の出力端子ｖｓａ，ｖｎａには、それぞれ水平転送スイッチ３０５，３０６が接続されている。水平転送スイッチ３０５，３０６は水平走査回路３１１の出力信号ｈａ＊（＊は任意の列番号を表す）によって制御される。信号ｈａ＊がＨｉｇｈレベルになることにより、第１のＳ信号保持容量５０９、第１のＮ信号保持容量５１０の各信号がそれぞれ水平出力線３０９，３１０へ転送される。
【０１０８】
水平出力線３０９，３１０は差動増幅器３１４の各入力端子に接続されている。差動増幅器３１４ではＳ信号とＮ信号の差分を演算し、同時に所定のゲインをかけ、最終的な出力信号を出力端子３１５へ出力する。水平出力線リセットスイッチ３１２，３１３は、信号ｃｈｒｅｓがＨｉｇｈレベルになることによってＯＮ状態となり、各水平出力線３０９，３１０がリセット電圧Ｖｃｈｒｅｓに設定される（リセット）。
【０１０９】
次に図１９を用いて、ＦＤ信号を取得するタイミングチャートを説明する。本来のＡＦ用の読み出しにつては本実施形態とは無関係の為、割愛する。基本的には図１１とは同様だが、異なる点は図１９の３０３に示す通り、信号保持容量が４つ（５０５〜５０８）存在し、２種類の信号を同時に読める構成になっているということである。
【０１１０】
ます、信号ｃｆｓをＨｉｇｈレベルにすることで、図１９のスイッチ５０４がＯＮ状態になり、演算増幅器５０３がバッファ状態となる。次に信号ｓｅｌをｈｉｇｈレベルにすると、図１８の画素選択スイッチ４０６がＯＮする。その後、通常であれば信号ｒｅｓをＬｏｗレベルにすることでＦＤ部４０３のリセットが行われるが、本実施形態の場合はＦＤ部４０３に溢れでた余剰信号が必要なためリセット動作は行わない。そこでます信号ｔｓａをＨｉｇｈレベルにして、受光素子４０１ａ、４０２ｂから溢れ出た余剰電荷を保持容量５０９に読み出す。
【０１１１】
次に信号ｒｅｓをＬｏｗレベルにして、ＦＤ層４０３に保持していた電荷をリセットする。その後、信号ｔｎａ、ｔｎｂをＨｉｇｈレベルに変更しリセット時のノイズレベルをそれぞれの信号保持容量（５０６、５０８）に格納する。次に信号ｔｘａとｔｘｂを同時にハイレベルにすることによりＦＤ層４０３に、各視差情報を合成した信号を転送する。本実施形態の場合、視差情報は使わないので問題ない。最後に信号ｔｓｂをＨｉｇｈレベルにすることにより信号保持容量５０７に受光素子４０１ａ、４０２ｂの合成した信号を転送する。その後の処理は信号保持容量に溜まった信号を順次転送していくだけなので詳細は割愛する。
【０１１２】
次にＳ１６０１で取得したＦＤ信号のヒストグラム解析を行う。処理の内容はＳ６０１と同様の処理で良い。
【０１１３】
次にＳ１６０２で取得したＦＤ信号のヒストグラムに飽和領域が存在するかどうかを判定する（Ｓ１６０３）。判定をする意味について図２１を用いて説明を行う。図２１（ａ）は図１２で引用した撮影例に太陽（２１０４）が入った被写体になっている。このような撮影シーンの場合、Ｓ１６０１で取得ＦＤ信号の画像は図２１（ｂ）のような画像になる。
【０１１４】
この時のヒストグラムは図２２のようになっている可能性が高い。つまり光源などの極端に強い光量が入射してしまった場合、適正露出のＦＤ信号だけは十分に判断ができない可能性がある。そこでＳ１６０３では取得したＦＤのヒストグラムが飽和していた場合にアンダー用にＦＤ信号を取得する（Ｓ１６０４）。読み出しの方法はＳ１６０１と同一の読み出しで良い。
【０１１５】
この時取得したＦＤ画像の例を図２１（ｃ）に示す。アンダー画像のＦＤ信号は、アンダー撮影の状態で飽和しないと信号として検出されない為、光源のようなかなり高輝度な被写体の可能性が高い。つまり図２１（ｂ）と図２１（ｃ）から光源か被写体かの判別できる可能性が高くなる。上記情報からＳ１６０５では図２１（ｂ）から光源付近のデータを削除してヒストグラムを作成し直す。結果は光源の情報が取り除かれれば、図１３のようなヒストグラムが生成され、ホワイトポイントＷＰの設定が可能となる。ホワイトポイントが取得できれば、Ｓ６０３と同様の方法でアンダー露出を決定することができる（Ｓ１６０６）。
【０１１６】
以上説明したように第２の実施形態によると、フレームストップさせずに、かつより高精度な動画ＨＤＲ画像の取得が可能となる。
【０１１７】
＜第３の実施形態＞
以下、図２３のフローチャートを参照して、本発明の第３の実施形態による具体的な動作について説明する。本実施の形態では実施の形態１，２の応用として静止画のＨＤＲ撮影においても本技術を使用することについて言及する。静止画撮影では、通常ＡＥセンサ６を利用することにより、高精度のダイナミックレンジ情報を取得することが可能ではあるが、撮像装置の中には所謂ミラーレス機のようにＡＥセンサを所持しない撮像装置も存在する。その場合の処理について図２３を用いて説明する。
【０１１８】
ミラーレスカメラの場合、光学ファインダは存在しないで静止画撮影時も常にライブビュー（ＬＶ）の待機状態になっている（Ｓ２１０１）。次にユーザーが静止画撮影に向けてシャッターボタンを半押しする。この状態のことをＳ１オンとする（Ｓ２３０２）。Ｓ１オン状態と共にＡＦ動作が入り、被写体に合焦させる（Ｓ２３０３）。合焦した後、露出を決定する為に、実施の形態１、または２で記述した方法でＦＤ信号を読み出し（Ｓ２３０４）、Ｓ１６やＳ１５０６で記述したアンダー露出決定方法で撮影露出を決定し露出を決定する（Ｓ２３０６）。露出が決定した時点で、本撮影動作に入るＳ２ＯＮが可能になり、ユーザーが撮影の為Ｓ２ＯＮを設定すると、決定した露出により撮影動作がなされる（Ｓ２３０７，Ｓ２３０８）。撮影が終了すると図９で説明した処理によりＨＤＲ合成画像を出力する。
【０１１９】
以上説明したように第３の実施形態によると、ＡＥセンサを持たないミラーレス機において高速に高精度なＨＤＲ静止画画像を撮影することが可能となる。
【０１２０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１２１】
１  カメラ本体、１０  撮像素子、１１  メカニカルシャッター、２１  制御部
【図１】
2020102791.tif 000007
【図２】
2020102791.tif 000008
【図３】
2020102791.tif 000009
【図４】
2020102791.tif 000010
【図５】
2020102791.tif 000011
【図６】
2020102791.tif 000012
【図７】
2020102791.tif 000013
【図８】
2020102791.tif 000014
【図９】
2020102791.tif 000015
【図１０】
2020102791.tif 000016
【図１１】
2020102791.tif 000017
【図１２】
2020102791.tif 000018
【図１３】
2020102791.tif 000019
【図１４】
2020102791.tif 000020
【図１５】
2020102791.tif 000021
【図１６】
2020102791.tif 000022
【図１７】
2020102791.tif 000023
【図１８】
2020102791.tif 000024
【図１９】
2020102791.tif 000025
【図２０】
2020102791.tif 000026
【図２１】
2020102791.tif 000027
【図２２】
2020102791.tif 000028
【図２３】
2020102791.tif 000029