(57)【要約】【課題】  残像による画質の劣化を抑えつつ、より効果の高いハイダイナミックレンジ画像を取得すること。【解決手段】  画素部に含まれる第１の画素群を、予め決められた第１の周期で第１の露光時間と第１の露光時間よりも短い第２の露光時間で交互に露光して、第１の出力チャンネルを介して第１の画像信号および第２の画像信号を読み出し、画素部に含まれる第２の画素群を、第１の周期よりも長い第２の周期で、第１の露光時間よりも長い第３の露光時間で露光して、第２の出力チャンネルを介して第３の画像信号を読み出す。その際に、第３の画像信号の読み出しと、第１または第２の画像信号の読み出しとを並行して行う。【選択図】  図７
2019220945.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなる第１の画素群と、該第１の画素群と異なる複数の画素からなる第２の画素群と、を含む画素部と、
前記第１の画素群から得られる画像信号を出力する第１の出力チャンネルと、
前記第２の画素群から得られる画像信号を出力する第２の出力チャンネルと、
前記第１の画素群を、予め決められた第１の周期で第１の露光時間と前記第１の露光時間よりも短い第２の露光時間で交互に露光して、前記第１の出力チャンネルを介して第１の画像信号および第２の画像信号を読み出し、前記第２の画素群を、前記第１の周期よりも長い第２の周期で、前記第１の露光時間よりも長い第３の露光時間で露光して、前記第２の出力チャンネルを介して第３の画像信号を読み出し、前記第３の画像信号の読み出しと、前記第１または第２の画像信号の読み出しとを並行して行う第１の駆動方法により駆動する駆動手段と
を有することを特徴とする撮像素子。
【請求項２】
前記第２の周期は、前記第１の周期の複数倍の周期であることを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記第１の出力チャンネル及び前記第２の出力チャンネルは、それぞれ、前記第１の画素群から得られる画像信号をデジタル信号に変換するアナログデジタル変換部を有することを特徴とする請求項１または２に記載の撮像素子。
【請求項４】
前記画素部を配置した第１の半導体チップと、
前記第１の出力チャンネルと、前記第２の出力チャンネルと、前記駆動手段とを配置した第２の半導体チップとを有し、
前記第１の半導体チップと前記第２の半導体チップは電気的に接続して積層されていることを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
【請求項５】
請求項１乃至４のいずれか１項に記載の撮像素子と、
前記撮像素子から出力された複数の異なる露光時間で露光して得られた複数の画像信号から、ダイナミックレンジを拡大した画像を生成する生成手段と
を有することを特徴とする撮像装置。
【請求項６】
前記第１の露光時間で露光して得られた画像信号の輝度の分布に基づいて、駆動方法を決定する決定手段を更に有し、
前記決定手段は、
前記画像信号の輝度が、高輝度および低輝度の両方に分布している第１のパターンである場合に、前記第１の駆動方法により駆動すると決定し、
前記分布が低輝度に偏っている第２のパターンである場合に、前記第１の画素群を、前記第２の周期で前記第３の露光時間で露光して、前記第１及び第２の出力チャンネルのいずれか一方を介して前記第３の画像信号を読み出し、前記第２の画素群を、前記第２の周期で前記第１の露光時間で露光して、前記第１及び第２の出力チャンネルの他方を介して前記第１の画像信号を読み出し、前記第３の画像信号の読み出しと、前記第１の画像信号の読み出しとを並行して行う第２の駆動方法により駆動すると決定し、
前記分布が高輝度に偏っている第３のパターンである場合に、前記第１の画素群を、前記第１または第２の周期で前記第１の露光時間で露光して、前記第１及び第２の出力チャンネルのいずれか一方を介して前記第１の画像信号を読み出し、前記第２の画素群を、前記第１の画素群と同じ周期で前記第２の露光時間で露光して、前記第１及び第２の出力チャンネルの他方を介して前記第２の画像信号を読み出し、前記第１の画像信号の読み出しと、前記第２の画像信号の読み出しとを並行して行う第３の駆動方法により駆動すると決定し、
前記駆動手段は、前記決定手段により決定された駆動方法により駆動することを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子及び撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳからなる撮像素子を用いてよりダイナミックレンジの広い画像を取得する手法として、ハイダイナミックレンジ（ＨＤＲ）合成と呼ばれる技術が提案されている。このＨＤＲ合成では、露出条件を変えて複数枚の画像を撮影することにより白飛びが少ない画像と黒潰れが少ない画像をそれぞれ取得し、各画像における適正露出部分を合成することで、白飛びと黒潰れがそれぞれ抑制され、暗部から明部まで良好な諧調性を有する画像を得ることができる。
【０００３】
また、動画撮影にＨＤＲ合成を適用する動画ＨＤＲ撮影を行う場合には、例えば動画のフレーム毎に異なる露出で撮影を交互に繰り返すことで実現可能である。
【０００４】
図１３（ａ）は、オーバー露出とアンダー露出をフレーム毎に切り替えて、オーバー露出画像（Ｈ）とアンダー露出画像（Ｌ）を交互に取得し、この２枚の画像を合成することでＨＤＲ効果のある動画を撮影するタイミングを示している。
【０００５】
しかしながら、この方法で動く被写体を撮影すると、フレーム間の蓄積時間差により合成画像に残像が生じるといった画質劣化を招くことがある。
【０００６】
これに対して、特許文献１においては、撮像素子のライン単位で異なる２つの露光時間の画像信号を得ることで、同一フレームからＨＤＲ画像を生成する技術が提案されている。
【０００７】
図１３（ｂ）は、オーバー露出画像（Ｈ）とアンダー露出画像（Ｌ）を、ライン単位で振り分けて出力する場合を示している。これにより、同一フレームで異なる露出の画像を得ることができるので、残像による画質劣化は起こらない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２７９０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載された方法では、１フレーム期間内（６０ｆｐｓなら１６．６ｍｓ）でしかオーバー露出画像とアンダー露出画像の露出段差をつけられず、ＨＤＲ効果が弱くなる。また、ＨＤＲ効果をより高めるためには、露出の異なる画像をより多く合成することが望ましい。
【００１０】
例えば、アンダー露出画像とオーバー露出画像の２つだけを合成する場合よりも、適正露出画像を加えて３つの画像を合成する方が、ＨＤＲ効果を高めることができる。
【００１１】
しかしながら、特許文献１に記載された方法を活用して３つの異なる露光時間の画像を取得しようとすると、１画像あたりを構成するライン数が減ってしまうため、画質が劣化してしまうという課題がある。
【００１２】
本発明は上記問題点を鑑みてなされたものであり、残像による画質の劣化を抑え、より高品位なハイダイナミックレンジ画像を取得することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の撮像素子は、複数の画素からなる第１の画素群と、該第１の画素群と異なる複数の画素からなる第２の画素群と、を含む画素部と、前記第１の画素群から得られる画像信号を出力する第１の出力チャンネルと、前記第２の画素群から得られる画像信号を出力する第２の出力チャンネルと、前記第１の画素群を、予め決められた第１の周期で第１の露光時間と前記第１の露光時間よりも短い第２の露光時間で交互に露光して、前記第１の出力チャンネルを介して第１の画像信号および第２の画像信号を読み出し、前記第２の画素群を、前記第１の周期よりも長い第２の周期で、前記第１の露光時間よりも長い第３の露光時間で露光して、前記第２の出力チャンネルを介して第３の画像信号を読み出し、前記第３の画像信号の読み出しと、前記第１または第２の画像信号の読み出しとを並行して行う第１の駆動方法により駆動する駆動手段とを有する。
【発明の効果】
【００１４】
本発明によれば、残像による画質の劣化を抑え、高品位なハイダイナミックレンジ画像を取得することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態における撮像素子の構成を示す図。
【図２】第１の実施形態におけるセンサの出力タイミングを示すタイミング図。
【図３】第１の実施形態における加算間引きパターンの一例を説明する図。
【図４】実施形態における画素及びカラムＡＤＣブロックの構成例を示す図である
【図５】実施形態における撮像装置の概略構成を示すブロック図。
【図６】第１の実施形態における動画ＨＤＲモードでの撮影制御を示すフローチャート。
【図７】第１の実施形態における露光と読み出しのタイミングを示すタイミング図。
【図８】第２の実施形態における動画ＨＤＲモードでの撮影制御を示すフローチャート。
【図９】第２の実施形態における露光と読み出しのタイミングを示すタイミング図。
【図１０】第３の実施形態における動画ＨＤＲモードでの撮影制御を示すフローチャート。
【図１１】第３の実施形態における露光と読み出しのタイミングを示すタイミング図。
【図１２】第３の実施形態における露光制御パターンを示す図。
【図１３】従来のＨＤＲ動画撮影を説明するためのタイミングチャート。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１７】
図１（ａ）は、本発明の実施形態における撮像素子５０６の構成を示すブロック図、図１（ｂ）は、撮像素子５０６の外観を示す概略図である。図１（ｂ）に示すように、撮像素子５０６は、第１の半導体チップ１０（撮像層）及び第２の半導体チップ１１（回路層）から形成され、第２の半導体チップ１１と第１の半導体チップ１０とは互いに積層されている。
【００１８】
第１の半導体チップ１０には、マトリックス状に配列された複数の画素１０１からなる画素部が、光の入射側、つまり、光学像の受光側に配置される。第１の半導体チップ１０上にマトリクス状に配列された画素１０１は、水平方向（行方向）に行単位で、転送信号線１０３、リセット信号線１０４、及び行選択信号線１０５に接続されている。一方、垂直方向（列方向）には、列出力線１０２ａまたは１０２ｂに接続されている。列出力線１０２ａに接続された画素１０１を第１の画素群、列出力線１０２ｂに接続された画素１０１を第２の画素群とする。
【００１９】
第２の半導体チップ１１上には、各列に設けられたカラムＡＤＣブロック１１１ａ及び１１１ｂと、行走査回路１１２、列走査回路１１３ａ及び１１３ｂ、タイミング制御回路１１４等の画素駆動回路が形成されている。更に、切り替えスイッチ１１６、フレームメモリ１１７、素子内演算部１１８、リサイズ変換部１１９、パラレル／シリアル（Ｐ／Ｓ）変換部１２０も形成されている。
【００２０】
このように、第１の半導体チップ１０に画素１０１を形成し、第２の半導体チップ１１に画素駆動回路やメモリ回路、演算回路等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。その結果、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
【００２１】
撮像素子５０６の画素１０１は、行走査回路１１２から、転送信号線１０３、リセット信号線１０４、行選択信号線１０５を介して制御信号により電荷の蓄積及び読み出しが制御される。そして、行走査回路１１２により選択された行の画素１０１から信号が読み出される。本実施形態では、出力チャンネルとして、２系統の出力チャンネルを有する。
【００２２】
第１の出力チャンネルは、カラムＡＤＣブロック１１１ａ、列走査回路１１３ａ、信号線１１５ａから構成され、第２の出力チャンネルは、カラムＡＤＣブロック１１１ｂ、列走査回路１１３ｂ、信号線１１５ｂから構成される。これにより、２行分の画素１０１から、信号を並行して読み出すことができる。
【００２３】
第１の画素群の画素１０１から読み出された信号は、各列の列出力線１０２ａを介して、第１の出力チャンネルのカラムＡＤＣブロック１１１ａに送られてＡＤ変換される。また、第２の画素群の画素１０１から読み出された信号は、各列の列出力線１０２ｂを介して、第２の出力チャンネルのカラムＡＤＣブロック１１１ｂに送られてＡＤ変換される。
【００２４】
その後、列走査回路１１３ａまたは１１３ｂにより読み出す列が順次選択されて、ＡＤ変換された画像信号が信号線１１５ａまたは１１５ｂを介して切り替えスイッチ１１６に出力される。なお、第１及び第２の出力チャンネルの内、いずれか一方の出力チャンネルを用いて、１行おきに画素１０１から信号を読み出すことも可能である。
【００２５】
タイミング制御回路１１４は、全体制御演算部５０９からの制御に基づいて、行走査回路１１２、カラムＡＤＣブロック１１１ａ，１１１ｂ、列走査回路１１３ａ，１１３ｂにタイミング信号を送る。
【００２６】
切り替えスイッチ１１６は、信号線１１５ａ，１１５ｂから出力される画像信号を順次フレームメモリ１１７へ選択的に出力するためのスイッチである。フレームメモリ１１７は出力された画像信号を画像データとして一時的に記憶する。
【００２７】
素子内演算部１１８は、駆動モードに応じて画像データの圧縮処理等の演算を行う。リサイズ変換部１１９は、素子内演算部１１８にて算出された結果を基にフレームメモリ１１７に保存された画像データを必要な画角にリサイズし、Ｐ／Ｓ変換部１２０に送る。
【００２８】
なお、リサイズ処理や圧縮処理が不要な場合には、切り替えスイッチ１１６から直接Ｐ／Ｓ変換部１２０への転送が行われる。Ｐ／Ｓ変換部１２０は、画像データにパラレル・シリアル変換を行って、撮像素子５０６の外部にある撮像信号処理回路５０７へと送る。
【００２９】
撮像素子５０６と撮像信号処理回路５０７の間は複数のレーンで接続されており、例えばメインストリーム１２１がＬａｎｅ０−３の４本により構成され、サブストリーム１２２がＬａｎｅ４−７の４本により構成されるものとする。そして、駆動モードに応じて、異なる画素の信号や同一の画素の信号がメインストリーム１２１とサブストリーム１２２とに振り分けられて、或いはメインストリーム１２１のみから出力される。
【００３０】
図２は、撮像素子５０６の駆動タイミングを示すタイミングチャートである。状態Ａは、メインストリーム１２１のＬａｎｅ０−３の４本のみが動作し、４本のレーンから１つのフレームデータが出力される状態である。また、状態Ｂは、撮像素子５０６のメインストリーム１２１およびサブストリーム１２２が同時に動作する状態である。
【００３１】
撮像素子５０６の駆動モードが「動画ＨＤＲモード」になった場合には、後述する全体制御演算部５０９から撮像素子５０６に垂直同期信号ＸＶＳが入力され、状態Ａと状態Ｂとをフレーム毎に（第１の周期で）交互に切り替えながら動作する。そして、撮像素子５０６から、オーバー露出、アンダー露出に加えて適正露出により撮影することで取得した３種類の画像を、メインストリーム１２１とサブストリーム１２２に振り分けて出力する。ここで出力されるデータは動画用のデータであり、加算／間引きされた画素１０１から信号が出力される。
【００３２】
図３は、加算パターンの一例を説明する図である。画素１０１がベイヤー配列のフィルタにより覆われている場合、水平垂直４画素について、
Ｒ’＝(３×Ｒ１＋Ｒ２＋１．５×Ｒ３＋０．５×Ｒ４)／６
Ｇｒ’＝(Ｇｒ１＋３×Ｇｒ２＋０．５×Ｇｒ３＋１．５×Ｇｒ４)／６
Ｇｂ’＝(１．５×Ｇｂ１＋０．５×Ｇｂ２＋３×Ｇｂ３＋Ｇｂ４)／６
Ｂ’＝(０．５×Ｂ１＋１．５×Ｂ２＋Ｂ３＋３×Ｂ４)／６
の割合で加算された信号が出力される。
【００３３】
例えば、水平５４７２画素、垂直３６４８画素で構成されている場合、水平方向の画素数が１／２に削減された２７３６画素、垂直方向の画素数が１／２に削減され且つ上下の画素がカットされた１５３８画素分の信号が出力される。
【００３４】
図４は、本実施形態における撮像素子５０６の１つの画素１０１の構成及び、１つのカラムＡＤＣブロック１１１の詳細を表した図である。図１及び図４を用いて、本発明の実施形態における撮像素子５０６の動作の概略を説明する。なお、カラムＡＤＣブロック１１１ａとカラムＡＤＣブロック１１１ｂは同じ構成を有するため、図４では、カラムＡＤＣブロック１１１と記載している。
【００３５】
図４において、画素１０１に含まれるフォトダイオード（ＰＤ）２０１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。転送トランジスタ２０２は、ＰＤ２０１のカソードと増幅トランジスタ２０４のゲートとの間に接続され、ゲートに転送信号線１０３を介して転送パルスφＴＲＧが与えられることによってオン状態となる。増幅トランジスタ２０４のゲートと電気的に繋がったノードは、フローティングディフュージョン（ＦＤ）部２０６を構成する。転送パルスφＴＲＧにより転送トランジスタ２０２がオン状態となることによって、ＰＤ２０１で光電変換された光電荷が、ＦＤ部２０６に転送される。
【００３６】
リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートにリセット信号線１０４を介してリセットパルスφＲＳＴが与えられることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への光電荷の転送に先立って、リセットトランジスタ２０３をオン状態とすることにより、ＦＤ部２０６の電荷を画素電源Ｖｄｄにリセットする。
【００３７】
増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続される。また、選択トランジスタ２０５は、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続され、ゲートに行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによって、オン状態となる。
【００３８】
選択トランジスタ２０５がオン状態の間に、まず、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして列出力線１０２に出力する。さらに、転送トランジスタ２０２をオン状態とすることによって、光電荷を転送した後のＦＤ部２０６の電位を信号レベルとして列出力線１０２に出力する。本実施形態ではトランジスタ２０２〜２０５として、ＮチャネルのＭＯＳトランジスタを用いている。
【００３９】
なお、画素１０１の構成は、上記構成に限られるものでは無く、例えば、選択トランジスタ２０５を、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。また、上述した４つのトランジスタ構成のものに限られるものではなく、例えば、増幅トランジスタ２０４と選択トランジスタ２０５を兼用した３トランジスタ構成のものであっても良い。
【００４０】
画素１０１から列出力線１０２を介して出力される信号は、カラムＡＤＣブロック１１１に伝送される。カラムＡＤＣブロック１１１は、比較器２１１、アップダウンカウンタ（Ｕ／Ｄ  ＣＮＴ）２１２、メモリ２１３、ＤＡコンバータ（ＤＡＣ）２１４を有する。
【００４１】
比較器２１１は、一対の入力端子の一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。ＤＡＣ２１４は、タイミング制御回路１１４から入力される基準信号に基づいて信号レベルが時間の経過とともにランプ状に変化するランプ信号を出力する。
【００４２】
そして比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される信号のレベルとを比較する。タイミング制御回路１１４は、後述する全体制御演算部５０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。
【００４３】
比較器２１１は、例えば、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較器２１１に接続され、例えば比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。
【００４４】
このカウント処理により、各画素１０１の出力信号はデジタル値に変換される。なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。
【００４５】
メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。なお、カラムＡＤＣブロック１１１では、画素１０１のリセットレベルに対応したカウント値をカウントした後、所定の撮像時間後の信号レベルに対応したカウント値をカウントし、これらの差分値をメモリ２１３に記憶させてもよい。その後、メモリ２１３に記憶されたカウント値は、デジタル画像信号として、列走査回路１１３からの信号に同期して、信号線１１５ａまたは信号線１１５ｂを介して切り替えスイッチ１１６に伝送される。
【００４６】
なお、カラムＡＤＣブロック１１１は上述した構成に限られるものでは無く、公知のカラムＡＤＣを用いても良いことは言うまでも無い。
【００４７】
図５は、図１及び図４で説明した撮像素子５０６を有する撮像装置の概略構成を示すブロック図である。図５において、レンズ部５０１及びメカニカルシャッタ（以下、「シャッタ」と呼ぶ。）５０３を通った被写体像は、絞り５０４にて適切な光量に調整され、撮像素子５０６の撮像面に結像される。
【００４８】
撮像素子５０６の撮像面に結像された被写体像は、上述したようにＰＤ２０１により光電変換され、さらにアナログ信号からデジタル信号に変換するアナログデジタル変換（Ａ／Ｄ変換）が行われて、撮像信号処理回路５０７に送られる。
【００４９】
撮像信号処理回路５０７では、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の画像信号処理、さらに各種補正処理、画像データの圧縮処理等を行う。
【００５０】
レンズ部５０１は、レンズ駆動部５０２によってズーム、フォーカス等を行うように駆動制御される。シャッタ５０３及び絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。全体制御演算部５０９は、撮像装置全体の制御と各種演算を行う。第１のメモリ部５０８は画像データを一時的に記憶する。
【００５１】
記録媒体制御インターフェース（Ｉ／Ｆ）部５１０は、記録媒体５１２に対して画像データの記録または読み出しを行う。表示部５１１は画像データを表示する。記録媒体５１２は半導体メモリ等の着脱可能な記憶媒体であり、書き込まれた画像データを記憶する。外部インターフェース（Ｉ／Ｆ）部５１３は、外部コンピュータ等と通信を行うために為のインターフェースである。
【００５２】
第２のメモリ部５１４は、全体制御演算部５０９での演算結果を記憶する。操作部５１５にてユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。なお、レンズ部５０１は、撮像装置に着脱可能なものであっても良い。
【００５３】
以下、上記構成を有する撮像装置における制御について説明する。
【００５４】
＜第１の実施形態＞
本発明の第１の実施形態における撮像装置の駆動制御について説明する。
【００５５】
図６は、第１の実施形態における動画ＨＤＲモードでの撮影制御を示すフローチャート、図７は、第１の実施形態における露光と読み出しのタイミングを示すタイミング図である。以下、図６及び図７を用いて、第１の実施形態における動画ＨＤＲモードでの撮影制御について説明する。
【００５６】
撮像装置で動画ＨＤＲモードが選択された場合には、Ｓ１０１において、撮像素子５０６の駆動モードを動画ＨＤＲモードに切り替える。次にＳ１０２において、フレーム数をカウントするフレーム番号Ｎを初期化（Ｎ＝０）する。フレーム番号Ｎが初期化されたら、Ｓ１０３において、現在のフレーム番号Ｎが偶数かどうかを判定し、偶数であった場合、Ｓ１０４へ進む。なお、ここでは０は偶数として扱う。
【００５７】
Ｓ１０４において、全体制御演算部５０９の制御により、撮像素子５０６の第１の画素群から適正露出画像（Ｍ画像）９０１を取得してメインストリーム１２１を経由して撮像信号処理回路５０７に出力して所定の画像信号処理を施し、第１のメモリ部５０８に保存する。このフレームは、撮像素子５０６の動画ＨＤＲモードにおける状態Ａに該当する。
【００５８】
次に、Ｓ１０５において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第１の画素群から取得してメインストリーム１２１を経由して出力する画像の露光時間として、適正露光時間（Ｍ）を撮像素子５０６へ設定する。
【００５９】
更に、Ｓ１０６において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第２の画素群から取得してサブストリーム１２２を経由して出力する画像の露光時間として、オーバー露光時間（Ｈ）を撮像素子５０６へ設定する。
【００６０】
一方、Ｓ１０３において現在のフレーム番号Ｎが奇数であった場合、Ｓ１０７へ進む。
【００６１】
Ｓ１０７において、全体制御演算部５０９の制御により、撮像素子５０６の第１の画素群からアンダー露出画像（Ｌ画像）９０２を取得してメインストリーム１２１を経由して撮像信号処理回路５０７に出力して所定の画像信号処理を施し、さらに、Ｓ１０８において、全体制御演算部５０９の制御により、撮像素子５０６の第２の画素群からオーバー露出画像（Ｈ画像）９０３を取得してサブストリーム１２２を経由して撮像信号処理回路５０７に出力して所定の画像信号処理を施し、それぞれ第１のメモリ部５０８に保存する。このフレームの制御は、撮像素子５０６の動画ＨＤＲモードにおける状態Ｂに該当する。
【００６２】
次に、Ｓ１０９において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第１の画素群から取得してメインストリーム１２１を経由して出力する画像の露光時間として、アンダー露光時間（Ｌ）を撮像素子５０６へ設定する。なお、メインストリーム１２１とサブストリーム１２２から出力する画像は入れ替えてもよい。
【００６３】
次に、Ｓ１１０において、全体制御演算部５０９は、第１のメモリ部５０８に３つの露出の異なる画像（Ｍ画像９０１、Ｌ画像９０２、Ｈ画像９０３）が揃ったかどうかを判断し、揃っていればＳ１１１へ進む。揃っていなければ、Ｓ１１３へ進む。
【００６４】
なお、第１の実施形態では、露光時間を切り替える場合について説明したが、露光時間のほかに、ＩＳＯ感度や絞りを併せて変更してもよい。
【００６５】
Ｓ１１１では、ＨＤＲ合成処理を実施する。全体制御演算部５０９は、例えば、各画像を構成する画素データから、アンダー露出画像（Ｌ画像）、適正露出画像（Ｍ画像）、オーバー露出画像（Ｈ画像）のそれぞれに予め定められた画素レベル範囲（Ｌ，Ｍ，Ｈ）に該当する画素データを抽出して合成する。これにより、ダイナミックレンジを拡大した、ＨＤＲ画像データ（合成画像）９０４を生成する。
【００６６】
なお、合成方法はこれに限られるものでは無く、公知の方法を用いて合成すれば良い。全体制御演算部５０９は、生成したＨＤＲ画像データ９０４を第１のメモリ部５０８に保存する。この際、ＨＤＲ画像生成に使用したアンダー露出画像（Ｌ画像）、適正露出画像（Ｍ画像）、オーバー露出画像（Ｈ画像）は、第１のメモリ部５０８から削除する。
【００６７】
次に、Ｓ１１２において、ＨＤＲ画像データ９０４を必要に応じて符号化した後、所定の画像データファイルの形式で記録媒体５１２に記録する。また、全体制御演算部５０９では表示用の画像データも生成し、表示部５１１に出力する。表示部５１１ではＨＤＲ画像データを表示デバイスに適した信号に変換してから表示する。
【００６８】
Ｓ１１３において、フレーム番号Ｎをカウントアップし、Ｓ１１４で、撮像装置で動画ＨＤＲモードの選択が解除されたかどうかを判定し、解除されていなければＳ１０３へ戻り、解除されるまで繰り返す。解除されていれば処理を完了する。
【００６９】
以上説明したように第１の実施形態によれば、撮像素子５０６の第１の画素群から取得した適正露出画像とアンダー露出画像をメインストリームからフレーム毎に交互に出力し、撮像素子５０６の第２の画素群から取得したオーバー露出画像をサブストリームから２フレーム毎に取得する。これにより、２フレーム分の時間で３つの露出の異なる画像を取得することができる。
【００７０】
このように、異なる複数の露光時間をより少ないフレーム数で取得できるように露光と読み出しの制御を行うことで、残像の影響を抑えつつ、露出段差がついたＨＤＲ効果の高いＨＤＲ動画を作成することが可能となる。
【００７１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、撮像素子５０６の第１の画素群から最初に適正露出画像を取得してメインストリーム１２１から出力し、続いてアンダー露出画像を取得して出力した。これに対して、第２の実施形態では、撮像素子５０６の第１の画素群から取得してメインストリーム１２１から出力する適正露出画像とアンダー露出画像の順番を入れ替えた場合について説明する。
【００７２】
図８は、第２の実施形態における動画ＨＤＲモードでの撮影制御を示すフローチャート、図９は、第２の実施形態における露光と読み出しのタイミングを示すタイミング図である。以下、図８及び図９を用いて、第２の実施形態における動画ＨＤＲモードでの撮影制御について説明する。Ｓ１０１からＳ１０３までの処理は、第１の実施形態と同じ処理であるため、説明を省略する。
【００７３】
Ｓ１０３において、現在のフレーム番号Ｎが偶数であった場合はＳ１０７へ進む。そして、Ｓ１０７において、全体制御演算部５０９の制御により、撮像素子５０６の第１の画素群からアンダー露出画像（Ｌ画像）９０２を取得してメインストリーム１２１を経由して撮像信号処理回路５０７に出力して所定の画像信号処理を施し、第１のメモリ部５０８に保存する。このフレームは、撮像素子５０６の動画ＨＤＲモードにおける状態Ａに該当する。
【００７４】
次に、Ｓ１０９において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第１の画素群から取得してメインストリーム１２１を経由して出力する画像の露光時間として、アンダー露光時間（Ｌ）を撮像素子５０６へ設定する。
【００７５】
更に、Ｓ１０６において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第２の画素群から取得してサブストリーム１２２を経由して出力する画像の露光時間として、オーバー露光時間（Ｈ）を撮像素子５０６へ設定する。
【００７６】
一方、Ｓ１０３において現在のフレーム番号Ｎが奇数であった場合、Ｓ１０４へ進む。
【００７７】
Ｓ１０４において、全体制御演算部５０９の制御により、撮像素子５０６の第１の画素群から適正露出画像（Ｍ画像）９０１を取得してメインストリーム１２１を経由して撮像信号処理回路５０７に出力して所定の画像信号処理を施し、さらに、Ｓ１０８において、全体制御演算部５０９の制御により、撮像素子５０６の第２の画素群からオーバー露出画像（Ｈ画像）９０３を取得してサブストリーム１２２を経由して撮像信号処理回路５０７に出力して所定の画像信号処理を施し、それぞれ第１のメモリ部５０８に保存する。このフレームの制御は、撮像素子５０６の動画ＨＤＲモードにおける状態Ｂに該当する。
【００７８】
次に、Ｓ１０５において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第１の画素群から取得してメインストリーム１２１を経由して出力する画像の露光時間として、適正露光時間（Ｍ）を撮像素子５０６へ設定する。なお、メインストリーム１２１とサブストリーム１２２から出力する画像は入れ替えてもよい。
【００７９】
Ｓ１１１以降の処理は、第１の実施形態における処理と同様のため、説明を省略する。
【００８０】
以上説明したように第２の実施形態によれば、撮像素子５０６の第１の画素群からアンダー露出画像を取得し、続いて適正露出画像を取得してメインストリームからフレーム毎に交互に出力することで、アンダー露出画像と適正露出画像の時間差を少なくすることができる。
【００８１】
第１の実施形態における図７と比較すると、第２の実施形態では、図９に示すようにアンダー露出画像の露光タイミングと適正露出画像の露光タイミングの時間的な差が図７に比べて短くなっている。
【００８２】
これにより、動体の撮影時の合成処理による残像感がより抑制され、より品位の高いＨＤＲ動画を作成することが可能となる。
【００８３】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１及び第２の実施形態では、撮像素子５０６の第１の画素群から適正露出画像とアンダー露出画像を取得してメインストリーム１２１から出力し、撮像素子５０６の第２の画素群からオーバー露出画像を取得してサブストリーム１２２から出力するような例について説明した。これに対して、第３の実施形態では、条件によって取得する画像を動的に切り替え、消費電力を削減する方法について説明する。
【００８４】
図１０は、第３の実施形態における動画ＨＤＲモードでの撮影制御を示すフローチャート、図１１は、第３の実施形態における露光と読み出しのタイミングを示すタイミング図である。以下、図１０及び図１１を用いて、第３の実施形態の動画ＨＤＲモードでの撮影制御について説明する。なお、図１０において、図６と同様の制御には同じステップ番号を付し、適宜説明を省略する。
【００８５】
撮像装置で動画ＨＤＲモードが選択された場合には、Ｓ１０１において、撮像素子５０６の駆動モードを動画ＨＤＲモードに切り替える。次に、Ｓ３０３において、撮像素子５０６の露光制御方法を決定するために、適正露光画像の輝度値のヒストグラムのパターンを判定する。
【００８６】
本第３の実施形態では、撮影画像の輝度値のヒストグラムが、図１２（ａ）のパターンＡからパターンＣのいずれのケースに該当するかを判定する。なお、本実施形態はこれに限らず、撮影画像の輝度値だけではなく、電池容量の残量を加味して、露光制御方法を判定する構成としてもよい。
【００８７】
次に、Ｓ３０４において、判別されたパターンに応じて、露光時間を決定する。露光時間の決定に関しては、例えば図１２（ｂ）に示すようなテーブルを用いて行う。
【００８８】
具体的には、図１２（ａ）のパターンＡのように輝度値の分布が暗い領域（低輝度）に偏っている場合、図１２（ｂ）にあるテーブルから、適正露光時間（Ｍ）とオーバー露光時間（Ｈ）の２種類を決定する。この場合、撮影シーンに白飛びしそうな領域が少ないことから、適正露出とオーバー露出の２つの画像から黒潰れを抑制することで、良好な諧調特性を有するＨＤＲ画像を得ることができる。
【００８９】
一方、図１２（ａ）のパターンＢのように輝度値の分布が明るい領域（高輝度）に偏っている場合、図１２（ｂ）にあるテーブルから適正露光時間（Ｍ）とアンダー露光時間（Ｌ）の２種類を決定する。この場合、撮影シーンに黒潰れしそうな領域が少ないことから、適正露出とアンダー露出の２つの画像から白飛びを抑制することで、良好な諧調特性を有するＨＤＲ画像を得ることができる。
【００９０】
また、図１２（ａ）のパターンＣのように、輝度分布が明るい領域と暗い領域の両方に二極化した分布になっている場合、図１２（ｂ）にあるテーブルから適正露光時間（Ｍ）とアンダー露光時間（Ｌ）とオーバー露光時間（Ｈ）の３種類を決定する。これにより、黒潰れと白飛びを抑制し、良好な諧調特性を有するＨＤＲ画像を得ることができる。
【００９１】
次に、Ｓ３０５において、撮像素子５０６の第１の画素群から画像を取得してメインストリーム１２１を経由して出力するかどうかを判定し、取得して出力する場合はＳ３０６へ進み、取得しない場合はＳ３０７へ進む。
【００９２】
Ｓ３０６において、全体制御演算部５０９の制御により撮像素子５０６の第１の画素群から画像を取得してメインストリーム１２１を経由して出力する。この制御は、図１２（ｂ）に基づき、メインストリーム１２１が不使用または設定不可になっていない場合に実行される。
【００９３】
同様に、Ｓ３０７において、撮像素子５０６の第２の画素群から画像を取得してサブストリーム１２２を経由して出力するかどうかを判定し、取得して出力する場合はＳ３０８へ進み、取得しない場合はＳ３０９へ進む。
【００９４】
Ｓ３０８において、撮像素子５０６の第２の画素群から画像を取得してサブストリーム１２２を経由して出力し、メインストリーム１２１及びサブストリーム１２２から出力された画像をそれぞれ第１のメモリ部５０８に保存する。
【００９５】
Ｓ３０９において、Ｎ＋１フレーム目でメインストリーム１２１に対応する撮像素子５０６の第１の画素群の画素を露光するかを判定し、露光する場合はＳ３１０へ進み、露光しない場合はＳ３１１へ進む。
【００９６】
Ｓ３１０において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第１の画素群から取得してメインストリーム１２１を経由して出力する画像の露光時間を設定する。この制御は、図１２（ｂ）に基づき、Ｎ＋１フレーム目の露光制御が不使用または設定不可ではない場合に実行され、ここで設定する露光時間は、Ｓ３０４において決めた、パターンに基づく露光時間である。
【００９７】
同様に、Ｓ３１１において、Ｎ＋１フレーム目でサブストリーム１２２に対応する撮像素子５０６の第２の画素群の画素を露光するかを判定し、露光する場合はＳ３１２へ進み、露光しない場合はＳ３１３へ進む。
【００９８】
Ｓ３１２において、全体制御演算部５０９の制御により、次のフレームで撮像素子５０６の第２の画素群から取得してサブストリーム１２２を経由して出力する画像の露光時間を設定する。
【００９９】
例えば、図１２（ｂ）のパターンＡのケースで、適正露出画像（Ｍ）とオーバー露出画像（Ｈ）の２枚の画像を取得する場合、図１１（ａ）に示すようなタイミング制御を行う。これにより、サブストリーム側の露光及び読み出しの制御が２フレームに１回になることで、露光及び読み出ししないフレームではサブストリーム側の出力を止めることで消費電力を削減することができる。
【０１００】
同様に、図１２（ｂ）のパターンＢのケースであれば、適正露出画像（Ｍ）とアンダー露出画像（Ｌ）の２枚の画像を取得する。この場合、図１１（ｂ）に示すようなタイミング制御になり、メインストリームとサブストリームをともに２回に１回出力を止めて、消費電力を削減する。
【０１０１】
なお、図１２（ｂ）のパターンＣのケースでは、第１の実施形態と同様のタイミング制御（図１１（ｃ））になる。
【０１０２】
Ｓ３１３において、ＨＤＲ合成処理に必要な複数の露光画像が取得できたかどうかを判断する。第３の実施形態においては、図１２（ｂ）のＮフレーム目とＮ＋１フレーム目の露光画像がそれぞれ取得できたかどうかで判定する。必要な複数の露光画像が揃っており、合成できると判定されれば、Ｓ１１１へ進み、揃っていなければＳ３０５へ戻る。
【０１０３】
Ｓ１１１において、ＨＤＲ合成処理を実施してＨＤＲ画像データを生成し、Ｓ１１２において、生成したＨＤＲ画像データを必要に応じて符号化した後、所定の画像データファイルの形式で記録媒体５１２に記録する。
【０１０４】
Ｓ１１４において、撮像装置で動画ＨＤＲモードの選択が解除されたかどうかを判定し、解除されていなければＳ３０３へ戻り、解除されるまで繰り返す。解除されていれば処理を完了する。
【０１０５】
第３の実施形態では、図１２（ｂ）のようなテーブルを、あらかじめ第２のメモリ部５１４に記憶されているものとするが、その限りではない。
【０１０６】
以上説明したように第３の実施形態によれば、適正露出で撮影した信号の分布のパターンに応じて、メインストリームとサブストリームで出力する画像の露光時間を動的に切り替える。これにより、使用しないフレームではメインストリーム／サブストリームの出力を停止することで、消費電力を削減することが可能となる。
【０１０７】
なお、上述した例では、図１１（ｂ）のパターンの場合に、１フレームおきに適正露出画像（Ｍ）とアンダー露出画像（Ｌ）を読み出すものとしたが、全フレームにおいて適正露出画像（Ｍ）とアンダー露出画像（Ｌ）を読み出してもよい。その場合、時間解像度の高いＨＤＲ動画を作成することができる。
【０１０８】
また、第１から第３の実施形態では、２フレーム毎に３つの異なる露光時間の画像を２つのストリームから取得し、ＨＤＲ合成を行う場合について説明したが、本発明はこれに限られるものでは無い。例えば、４つ以上の異なる露光時間の画像を、３つ以上のストリームから３フレーム以上（複数倍のフレーム期間）をかけて取得し、合成する場合についても適用可能であることは言うまでもない。
【０１０９】
また、上述した各実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。すなわち携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。
【０１１０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【０１１１】
１０：第１の半導体チップ、１１：第２の半導体チップ、１０１：画素、１０２ａ，１０２ｂ：列出力線、１１１ａ，１１１ｂ：カラムＡＤＣブロック１１１ａ、１１２：行走査回路、１１３ａ，１１３ｂ：列走査回路、１１４：タイミング制御回路、５０６：撮像素子、５０８：第１のメモリ部、５０９：全体制御演算部、５１４：第２のメモリ部
【図１】
2019220945.tif 000003
【図２】
2019220945.tif 000004
【図３】
2019220945.tif 000005
【図４】
2019220945.tif 000006
【図５】
2019220945.tif 000007
【図６】
2019220945.tif 000008
【図７】
2019220945.tif 000009
【図８】
2019220945.tif 000010
【図９】
2019220945.tif 000011
【図１０】
2019220945.tif 000012
【図１１】
2019220945.tif 000013
【図１２】
2019220945.tif 000014
【図１３】
2019220945.tif 000015