(57)【要約】【課題】被写体輝度の変化に適確に対処し得る良好な撮像装置及びその制御方法を提供する。【解決手段】第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、第１の画像信号を第１の出力ポートを介して出力し、第２の画像信号を第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子と、第１の画像信号を用いて所定の処理を行う処理手段であって、所定程度以上の変化が被写体輝度に生じ、かつ、第２の画像信号が第１の画像信号よりも適正露出に近い場合に、所定の処理を第２の画像信号を用いて行う処理手段とを有している。【選択図】図２
2018014634.tif 000002
【特許請求の範囲】
【請求項１】
第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子と、
前記第１の画像信号を用いて所定の処理を行う処理手段であって、所定程度以上の変化が被写体輝度に生じ、かつ、前記第２の画像信号が前記第１の画像信号よりも適正露出に近い場合に、前記所定の処理を前記第２の画像信号を用いて行う処理手段と
を有することを特徴とする撮像装置。
【請求項２】
前記処理手段は、前記被写体輝度が変化した後における前記第１の画像信号が露出オーバーであり、かつ、前記第２の露光時間が前記第１の露光時間よりも短い場合に、前記所定の処理を前記第２の画像信号を用いて行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理手段は、前記被写体輝度が変化した後における前記第１の画像信号が露出アンダーであり、かつ、前記第２の露光時間が前記第１の露光時間よりも長い場合に、前記所定の処理を前記第２の画像信号を用いて行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子と、
前記第１の画像信号と前記第２の画像信号とを合成することにより得られる合成信号を用いて所定の処理を行う処理手段であって、所定程度以上の変化が被写体輝度に生じた場合に、前記第１の露光時間と前記第２の露光時間との比を変化させることなく、前記第１の露光時間及び前記第２の露光時間を変更する処理手段と
を有することを特徴とする撮像装置。
【請求項５】
前記所定の処理は、露出に関する情報の取得であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記処理手段は、前記情報に基づいて前記第１の露光時間を設定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記所定の処理は、前記動画像の表示であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項８】
前記所定の処理は、前記動画像の記録であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像素子は、前記第１の露光によって順次得られる前記第１の画像信号を、前記第２の出力ポートを介して出力することなく、前記第１の出力ポートを介して出力し、前記第２の露光によって順次得られる前記第２の画像信号を、前記第１の出力ポートを介して出力することなく、前記第２の出力ポートを介して出力する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子から出力される前記第１の画像信号を用いて所定の処理を行うステップと、
所定程度以上の変化が被写体輝度に生じ、かつ、前記第２の画像信号が前記第１の画像信号よりも適正露出に近い場合に、前記所定の処理を前記第２の画像信号を用いて行うステップと
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子から出力される前記第１の画像信号と前記第２の画像信号とを合成することにより得られる合成信号を用いて所定の処理を行うステップと、
所定程度以上の変化が被写体輝度に生じた場合に、前記第１の露光時間と前記第２の露光時間との比を変化させることなく、前記第１の露光時間及び前記第２の露光時間を変更するステップと
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
コンピュータに、
第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子から出力される前記第１の画像信号を用いて所定の処理を行うステップと、
所定程度以上の変化が被写体輝度に生じ、かつ、前記第２の画像信号が前記第１の画像信号よりも適正露出に近い場合に、前記所定の処理を前記第２の画像信号を用いて行うステップと
を実行させるためのプログラム。
【請求項１３】
コンピュータに、
第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子から出力される前記第１の画像信号と前記第２の画像信号とを合成することにより得られる合成信号を用いて所定の処理を行うステップと、
所定程度以上の変化が被写体輝度に生じた場合に、前記第１の露光時間と前記第２の露光時間との比を変化させることなく、前記第１の露光時間及び前記第２の露光時間を変更するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、露光時間が互いに異なる２つの信号を連続して取得し、これら２つの信号を合成することによって、ダイナミックレンジの広い画像信号を得る固体撮像装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１７８９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、固体撮像装置から出力される信号の処理が煩雑となる場合があり、被写体輝度の急激な変化等に必ずしも適確に対処し得ない。
【０００５】
本発明の目的は、被写体輝度の変化に適確に対処し得る良好な撮像装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
実施形態の一観点によれば、第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子と、前記第１の画像信号を用いて所定の処理を行う処理手段であって、所定程度以上の変化が被写体輝度に生じ、かつ、前記第２の画像信号が前記第１の画像信号よりも適正露出に近い場合に、前記所定の処理を前記第２の画像信号を用いて行う処理手段とを有することを特徴とする撮像装置が提供される。
【０００７】
実施形態の他の観点によれば、第１の露光時間に設定された第１の露光によって順次得られる第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得する撮像素子であって、前記第１の画像信号を第１の出力ポートを介して出力し、前記第２の画像信号を前記第１の出力ポートとは異なる第２の出力ポートを介して出力する撮像素子と、前記第１の画像信号と前記第２の画像信号とを合成することにより得られる合成信号を用いて所定の処理を行う処理手段であって、所定程度以上の変化が被写体輝度に生じた場合に、前記第１の露光時間と前記第２の露光時間との比を変化させることなく、前記第１の露光時間及び前記第２の露光時間を変更する処理手段とを有することを特徴とする撮像装置が提供される。
【発明の効果】
【０００８】
本発明によれば、被写体輝度の変化に適確に対処し得る良好な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態による撮像装置を示すブロック図である。
【図２】第１実施形態による撮像素子を示す図である。
【図３（ａ）】比較例による撮像素子の動作を示すタイムチャートである。
【図３（ｂ）】比較例による撮像素子の動作を示すタイムチャートである。
【図３（ｃ）】第１実施形態による撮像素子の動作を示すタイムチャートである。
【図４】第１実施形態による撮像装置の動作を示すフローチャートである。
【図５−１】第１実施形態による撮像装置の動作を示す図である。
【図５−２】第１実施形態による撮像装置の動作を示す図である。
【図６】第２実施形態による撮像装置の動作を示すフローチャートである。
【図７】撮像装置の動作を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施の形態について図面を用いて以下に詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。同一の構成要素には同一の符号を付し、説明を省略または簡潔にする。
【００１１】
［第１実施形態］
第１実施形態による撮像装置及びその制御方法について図面を用いて説明する。図１は、本実施形態による撮像装置１０００を示すブロック図である。
【００１２】
撮像光学系（レンズユニット）１００１は、撮像素子１００２の図示しない受光部（受光領域、受光面）に被写体像を結像させる。撮像光学系１００１は、レンズ１００１ａと、絞り１００１ｂとを含む。撮像素子１００２は、撮像光学系１００１によって受光部に結像される被写体像、即ち、光信号を電気信号に変換する。撮像素子１００２は、アナログの電気信号に対してＡＤ（アナログ−デジタル）変換を行うことによって、デジタルの画像信号を生成し、生成した画像信号をＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１００７に出力する。撮像素子１００２は、後述する第１の画像信号と後述する第２の画像信号とを、動画像を構成する複数のフレームの各々に対してそれぞれ取得するものである。第１の画像信号は、第１の露光時間に設定された第１の露光によって順次得られる。第２の画像信号は、第１の露光時間とは異なる第２の露光時間に設定された第２の露光によって順次得られる。撮像素子１００２は、第１の画像信号を第１の出力ポート１０１３ａ（図２参照）を介して出力し、第２の画像信号を第１の出力ポート１０１３ａとは異なる第２の出力ポート１０１３ｂ（図２参照）を介して出力する。
【００１３】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００４は、本実施形態による撮像装置１０００の全体の制御を司る。ＣＰＵ１００４は、撮像装置１０００の各部に対して様々な指示を行う。また、ＣＰＵ１００４は、ＤＳＰ１００７によって決定される露光時間に基づいて、露光時間の設定を撮像素子１００２に対して行う。ＣＰＵ１００４は、ＤＳＰ１００７等と相俟って、ライブビュー表示や露出に関する情報の算出等の所定の処理を、第１の画像信号や第２の画像信号を用いて行う処理手段として機能し得る。また、ＣＰＵ１００４は、ＤＳＰ１００７等と相俟って、所定程度以上の変化が被写体輝度に生じ、かつ、第２の画像信号が第１の画像信号よりも適正露出に近い場合に、かかる所定の処理を第２の画像信号を用いて行う処理手段として機能し得る。
【００１４】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００５は、撮像装置１０００を駆動するためのファームウェア等を記憶する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００６は、撮像装置１０００を制御するための情報、撮像素子１００２を用いて取得される画像信号等を一時的に保持する。
【００１５】
ＤＳＰ１００７は、所定の信号処理を行うものである。ＤＳＰ１００７は、撮像素子１００２から出力される第１の画像信号や第２の画像信号に基づいて、露出に関する情報の取得、より具体的には、露出値の算出を行う。また、ＤＳＰ１００７は、撮像素子１００２から出力される第１の画像信号と第２の画像信号とを合成することにより得られる合成信号に基づいて、露出に関する情報の取得、より具体的には、露出値の算出を行うこともできる。ＤＳＰ１００７は、露出に関する情報に基づいて、適正露出となるような露光時間を決定する。ＤＳＰ１００７によって決定される露光時間は、ＣＰＵ１００４に送信される。ＤＳＰ１００７は、撮像素子１００２から出力される第１の画像信号や第２の画像信号を用いて、所定のフォーマットの画像信号、即ち、所定のフォーマットの静止画像や動画像を生成する。また、ＤＳＰ１００７は、撮像素子１００２から出力される第１の画像信号と第２の画像信号とを合成することにより得られる合成信号を用いて、所定のフォーマットの画像信号、即ち、所定のフォーマットの静止画像や動画像を生成する。例えば、ＹＵＶ形式の画像信号がＤＳＰ１００７によって生成される。ＤＳＰ１００７は、ＣＰＵ１００４等と相俟って、ライブビュー表示や露出に関する情報の算出等の所定の処理を、第１の画像信号や第２の画像信号を用いて行う処理手段として機能し得る。また、ＤＳＰ１００７は、ＣＰＵ１００４等と相俟って、所定程度以上の変化が被写体輝度に生じ、かつ、第２の画像信号が第１の画像信号よりも適正露出に近い場合に、かかる所定の処理を第２の画像信号を用いて行う処理手段として機能し得る。
【００１６】
外部インターフェース（外部Ｉ／Ｆ）１００８には、各種のエンコーダ１００８ａやＤ／Ａ変換器１００８ｂが設けられている。外部インターフェース１００８は、表示部１０１２、記憶媒体１００９、及び、操作部１０１１との間で、各種の制御信号やデータの受け渡しを行う。記憶媒体１００９は、撮影によって得られた画像データ、具体的には、動画像データや静止画像データ等を保存する。記憶媒体１００９としては、例えば、各種メモリカード等が用いられる。記憶媒体コントローラ１０１０は、記憶媒体１００９を制御する。記憶媒体１００９は、図示しないカードスロットに着脱可能である。なお、記憶媒体１００９は、各種メモリカードに限定されるものではなく、磁気ディスクや光ディスク等であってもよい。
【００１７】
操作部（操作パネル）１０１１は、撮影等を行う際に、ユーザが各種指示を撮像装置１０００に対して行うためのものである。操作部１０１１には、入力キー等が設けられている。ＣＰＵ１００４は、操作部１０１１からの入力信号を監視し、かかる入力信号に基づいて各種の制御を実行する。表示部１０１２は、撮影によって得られた動画像等を表示する。表示部１０１２は、撮影によって得られる動画像データをリアルタイムで表示するライブビュー表示を行うこともできるし、記憶媒体１００９に記録された画像データを再生表示することもできる。表示部１０１２としては、例えば液晶パネル等が用いられる。表示部１０１２は、撮像装置１０００に組み込まれていてもよいし、撮像装置１０００と別個に設けられてもよい。
【００１８】
図２は、本実施形態による撮像素子を示す図である。撮像素子の受光部には、複数の画素２００１が２次元的、即ち、行列状に配された画素アレイ２０１１が設けられている。各々の画素２００１には、光信号を電気信号に変換する光電変換部が設けられている。ＲＯＷ−ｎ（ｎは整数）は、選択トランジスタ２００２を動作させるための選択線である。“ｎ”は、行番号を示している。選択トランジスタ２００２は、画素２００１から出力される信号を垂直信号線２００３に出力する。垂直信号線２００３は、画素２００１から出力される信号、即ち、画像信号（画素信号）を読み出すためのものである。垂直走査回路２００４は、選択線ＲＯＷ−ｎに電圧を選択的に印加することによって、垂直方向における走査を行う。ＡＤコンバータ２００５は、垂直信号線２００３を介して画素２００１から出力されたアナログの画像信号をデジタルの画像信号に変換する。選択トランジスタ２００６は、列ごとに備えられている。選択トランジスタ２００６は、水平走査回路２００８によって制御され、ＡＤコンバータ２００５によってデジタルに変換された画像信号を信号出力線２００７に出力する。信号出力線２００７は、デジタルの画像信号を出力セレクタ２００９に出力するためのものである。水平走査回路２００８は、デジタルの画像信号を信号出力線２００７を介して出力セレクタ２００９に出力する。
【００１９】
出力セレクタ２００９には、第１の出力ポート１０１３ａと第２の出力ポート１０１３ｂとが設けられている。撮像素子１００２は、これら２つの出力ポート１０１３ａ、１０１３ｂを適宜切り替えつつ、デジタルの画像信号、即ち、画像信号をＤＳＰ１００７に出力する。第１の露光によって順次得られる第１の画像信号は、第１の出力ポート１０１３ａを介して出力される。第２の露光によって得られる第２の画像信号は、第２の出力ポート１０１３ｂを介して出力される。出力セレクタ２００９は、第１の画像信号を、第２の出力ポート１０１３ｂを介して出力することなく、第１の出力ポート１０１３ａを介して出力する。また、出力セレクタ２００９は、第２の画像信号を、第１の出力ポート１０１３ａを介して出力することなく、第２の出力ポート１０１３ｂを介して出力する。垂直走査回路２００４、ＡＤコンバータ２００５、水平走査回路２００８等は、複数の画素２００１に対して順次走査を行い、第１の画像信号と第２の画像信号とを動画像を構成する複数のフレームの各々に対してそれぞれ取得する取得手段として機能し得る。
【００２０】
図３（ａ）及び図３（ｂ）は、比較例による撮像素子の動作を示すタイムチャートである。比較例による撮像素子では、画像信号を出力するための出力ポートの数は１つとなっている。図３（ａ）は、第２の露光における露光時間が第１の露光における露光時間よりも短く設定されている場合を示している。ここでは、説明の簡略化のため、１行分の読み出し処理に要する時間が第２の露光時間に相当するものとして説明する。
【００２１】
タイミングＴ１において、撮像素子は、第１番目の行に位置する画素が第１の露光によって得た第１の画像信号に対しての読み出しを開始する。そして、撮像素子は、読み出した第１の画像信号を、出力ポートを介して出力する。撮像素子は、タイミングＴ１において、Ｌｏｗレベルの同期信号ＶＤを出力する。かかる同期信号ＶＤは、１つのフレームについての画像信号の出力が開始されることを、撮像素子の外部に配されるＤＳＰ１００７等に対して伝達するためものである。なお、第１番目の行に位置する画素に対して第１の露光が開始されるタイミングは、タイミングＴ１よりも前のタイミングである。タイミングＴ２においては、撮像素子は、第１番目の行に位置する画素が第２の露光によって得た第２の画像信号に対しての読み出しを開始する。そして、撮像素子は、読み出した第２の画像信号を、出力ポートを介して出力する。タイミングＴ３以降においては、撮像素子は、第２番目以降の行に位置する画素が第１の露光によって得た第１の画像信号と、第２番目以降の行に位置する画素が第２の露光によって得た第２の画像信号とを、交互に読み出す。こうして読み出される第１の画像信号と第２の画像信号とは、出力ポートを介して交互に出力される。タイミングＴ４においては、最終行に位置する画素が第２の露光によって得た第２の画像信号に対しての読み出しが行われる。こうして、第ｎ番目のフレームの画像信号が出力ポートを介して出力される。
【００２２】
タイミングＴ５においては、第１番目の行に位置する画素が第１の露光によって得た第１の画像信号に対しての読み出しが行われる。こうして、第ｎ＋１番目のフレームの画像信号の取得が撮像素子によって開始される。撮像素子は、タイミングＴ５において、Ｌｏｗレベルの同期信号ＶＤを出力する。第ｎ＋１番目のフレームの画像信号も、第ｎ番目のフレームの画像信号と同様に読み出される。タイミングＴ６においては、第１番目の行に位置する画素が第２の露光によって得た第２の画像信号に対しての読み出しが行われる。タイミングＴ７以降においては、第２番目以降の行に位置する画素が第１の露光によって得た第１の画像信号と、第２番目以降の行に位置する画素が第２の露光によって得た第２の画像信号とが、交互に読み出される。タイミングＴ８においては、最終行に位置する画素が第２の露光によって得た第２の画像信号に対しての読み出しが行われる。こうして、第ｎ＋１番目のフレームの画像信号が出力ポートを介して出力される。タイミングＴ９においては、第ｎ＋２番目のフレームの画像信号の取得が開始され、Ｌｏｗレベルの同期信号ＶＤが出力される。この後も、撮影が完了するまで、上記と同様の動作が繰り返される。
【００２３】
図３（ｂ）は、第２の露光における露光時間が第１の露光における露光時間よりも長く設定されている場合を示している。タイミングＴ１においては、第１番目の行に位置する画素が第１の露光によって得た第１の画像信号に対しての読み出しが行われる。こうして、第ｎ番目のフレームの画像信号の取得が開始される。撮像素子は、タイミングＴ１において、Ｌｏｗレベルの同期信号ＶＤを出力する。図３（ａ）に示す場合とは異なり、図３（ｂ）に示す場合においては、第１番目の行に位置する画素に対しての第２の露光はタイミングＴ２において継続中である。このため、第１番目の行に位置する画素が第２の露光によって得る第２の画像信号に対しての読み出しは、タイミングＴ２においては行われない。タイミングＴ３においては、第２番目の行に位置する画素が第１の露光によって得た第１の画像信号に対しての読み出しが行われる。この後、第３番目から第５番目の行に位置する画素が第１の露光によってそれぞれ得た第１の画像信号に対しての読み出しが順次行われる。タイミングＴ４より前においては、第１番目の行に位置する画素に対しての第２の露光は継続中である。このため、第１番目の行に位置する画素が第２の露光によって得る第２の画像信号に対しての読み出しは、タイミングＴ４より前においては行われない。タイミングＴ４においては、第１番目の行に位置する画素が第２の露光によって得た第２の画像信号に対しての読み出しが行われる。このように、第２の露光によって得られる第２の画像信号に対しての読み出しは、タイミングＴ４以降において行われる。この後、タイミングＴ５までは、第１の露光によって得られる第１の画像信号と第２の露光によって得られる第２の画像信号とが交互に読み出される。タイミングＴ５に対して所定の単位時間だけ前のタイミングにおいては、最終行に位置する画素が第１の露光によって得た第１の画像信号に対しての読み出しが行われる。この後、タイミングＴ５以降においては、第２の露光によって得られる画像信号が順次読み出される。
【００２４】
タイミングＴ６においては、第ｎ＋１番目のフレームの画像信号についての読み出しが開始され、撮像素子は、Ｌｏｗレベルの同期信号ＶＤを出力する。タイミングＴ６においては、第１番目の行に位置する画素が第１の露光によって得た第１の画像信号に対しての読み出しが行われる。タイミングＴ７においては、最終行に位置する画素が第２の露光によって得た第２の画像信号に対しての読み出しが行われる。これにより、第ｎ番目のフレームの画像信号についての読み出しが完了する。タイミングＴ８においては、第２番目の行に位置する画素が第１の露光によって得る第１の画像信号に対しての読み出しが行われる。第ｎ＋１番目のフレームの画像信号も、第ｎ番目のフレームの画像信号と同様に読み出される。タイミングＴ９においては、第１番目の行に位置する画素が第２の露光によって得た第２の画像信号に対しての読み出しが行われる。この後、タイミングＴ１０までは、第１の露光によって得られる画像信号と第２の露光によって得られる画像信号とが交互に読み出される。タイミングＴ１０に対して所定の単位時間だけ前のタイミングにおいては、最終行に位置する画素が第１の露光によって得る第１の画像信号に対しての読み出しが行われる。この後、タイミングＴ１０以降においては、第２の露光によって得られる画像信号が順次読み出される。
【００２５】
タイミングＴ１１においては、第ｎ＋２番目のフレームの画像信号についての読み出しが開始され、撮像素子は、Ｌｏｗレベルの同期信号ＶＤを出力する。この後も、撮影が完了するまで、上記と同様の動作が繰り返される。
【００２６】
図３（ａ）と図３（ｂ）とから分かるように、比較例による撮像素子においては、露光時間が変化すると、以下のようなことが生じる。即ち、第１の露光によって順次取得される第１の画像信号が出力されるそれぞれのタイミングと、第２の露光によって順次取得される第２の画像信号が出力されるそれぞれのタイミングとの関係が、露光時間の変化に応じて異なったものとなる。しかも、第ｎ番目のフレームの画像信号に対する読み出しが完了する前の段階で、第ｎ＋１番目のフレームの画像信号に対する読み出しが開始される場合もある。このように、比較例による撮像素子においては、出力ポートから出力される画像信号に対しての処理が煩雑となる場合がある。
【００２７】
図３（ｃ）は、本実施形態による撮像素子１００２の動作を示すタイムチャートである。上述したように、本実施形態による撮像素子１００２には、第１の出力ポート１０１３ａと第２の出力ポート１０１３ｂとが設けられている。そして、第１の露光によって順次取得される第１の画像信号は、第１の出力ポート１０１３ａを介して順次出力される。また、第２の露光によって順次取得される第２の画像信号は、第２の出力ポート１０１３ｂを介して順次出力される。なお、ここでは、図３（ｂ）に示す場合と同様に、第２の露光における露光時間が第１の露光における露光時間より長い場合を例に説明する。
【００２８】
タイミングＴ１において、第ｎ番目のフレームの画像信号についての読み出しが開始される。撮像素子１００２は、タイミングＴ１において、Ｌｏｗレベルの第１の同期信号を出力する。タイミングＴ１では、第１番目の行に位置する画素２００１が第１の露光によって得た第１の画像信号に対しての読み出しが行われる。かかる第１の画像信号は、第１の出力ポート１０１３ａを介して出力され、ＤＳＰ１００７に入力される。図３（ｂ）に示す場合と同様に、タイミングＴ２では、第１番目の行に位置する画素２００１に対しての第２の露光は継続中である。このため、第１番目の行に位置する画素２００１が第２の露光によって得る第２の画像信号に対しての読み出しは、タイミングＴ２においては行われない。タイミングＴ３では、図３（ｂ）に示す場合と同様に、第２番目の行に位置する画素２００１が第１の露光によって得た第１の画像信号に対しての読み出しが行われる。この後、図３（ｂ）に示す場合と同様に、第３番目から第５番目の行に位置する画素２００１が第１の露光によってそれぞれ得た第１の画像信号に対しての読み出しが順次行われる。図３（ｂ）に示す場合と同様に、第１番目の行に位置する画素２００１に対しての第２の露光は継続中であり、第１番目の行に位置する画素２００１が第２の露光によって得る第２の画像信号に対しての読み出しは行われない。タイミングＴ４においては、図３（ｂ）に示す場合と同様に、以下のような処理が行われる。即ち、タイミングＴ４では、撮像素子１００２から第２の同期信号ＶＤ２が出力され、第１番目の行に位置する画素２００１が第２の露光によって得る第２の画像信号に対しての読み出しが行われる。このように、第２の露光によって得られる第２の画像信号に対しての読み出しは、タイミングＴ４以降において行われる。第２の露光によって得られる第２の画像信号は、第２の出力ポート１０１３ｂを介して出力され、ＤＳＰ１００７に入力される。この後、タイミングＴ５までは、図３（ｂ）に示す場合と同様に、第１の露光によって得られる第１の画像信号と第２の露光によって得られる第２の画像信号とが交互に読み出される。タイミングＴ５に対して所定の単位時間だけ前のタイミングにおいては、図３（ｂ）に示す場合と同様に、最終行に位置する画素２００１が第１の露光によって得る第１の画像信号に対しての読み出しが行われる。この後、タイミングＴ５以降においては、図３（ｂ）に示す場合と同様に、第２の露光によって得られる画像信号が順次読み出される。この後も、撮影が完了するまで、図３（ｂ）に示す場合と同様の動作が繰り返される。
【００２９】
このように、本実施形態による撮像素子１００２において、第１の出力ポート１０１３ａと第２の出力ポート１０１３ｂとが設けられている。そして、第１の露光時間に設定された第１の露光によって得られる第１の画像信号は第１の出力ポート１０１３ａを介して出力され、第２の露光時間に設定された第２の露光によって得られる第２の画像信号は第２の出力ポート１０１３ｂを介して出力される。このため、ＤＳＰ１００７は、第１の出力ポート１０１３ａから出力される第１の画像信号を読み出すことによって、第１の露光に対応する第１の画像信号を得ることができる。また、ＤＳＰ１００７は、第２の出力ポート１０１３ｂから出力される第２の画像信号を読み出すことによって、第２の露光に対応する第２の画像信号を得ることができる。従って、本実施形態では、露光時間を変化させた場合であっても、ＤＳＰ１００７において行われる信号の処理が煩雑になってしまうことはない。
【００３０】
図４は、本実施形態による撮像装置１０００の動作を示すフローチャートである。本実施形態では、平常時においては、第１の露光によって取得される第１の画像信号を用いて、ライブビュー表示や露出に関する情報の取得等の所定の処理を行う。被写体輝度に急激な変化が生じ、かつ、第２の画像信号が第１の画像信号よりも適正露出に近い場合には、第２の画像信号を用いて、かかる所定の処理を行う。これにより、被写体輝度が急激に変化した場合であっても、ライブビュー表示や露出に関する情報の取得等の所定の処理を適確に行うことができる。
【００３１】
ステップＳ４００１では、撮像素子１００２の駆動が開始され、第１の出力ポート１０１３ａから出力される第１の画像信号と、第２の出力ポート１０１３ｂから出力される第２の画像信号とがＤＳＰ１００７に順次入力される。上述したように、第１の出力ポート１０１３ａから出力される第１の画像信号は、第１の露光によって取得されるものである。第２の出力ポート１０１３ｂから出力される第２の画像信号は、第２の露光によって取得されるものである。ステップＳ４００２では、ＤＳＰ１００７が、露出に関する情報の取得、より具体的には、露出値の算出を、第１の画像信号を用いて行う。ステップＳ４００３では、ＣＰＵ１００４とＤＳＰ１００７と外部インターフェース１００８とが相俟って、ライブビュー表示を第１の画像信号を用いて行う。ステップＳ４００４では、第１の画像信号が適正露出になるような第１の露光時間ＳＳ１を、ステップＳ４００２において取得された、露出に関する情報に基づいて、ＤＳＰ１００７が算出する。ＤＳＰ１００７によって算出された第１の露光時間ＳＳ１は、ＤＳＰ１００７からＣＰＵ１００４に送信される。ステップＳ４００４では、ＤＳＰ１００７によって算出された第１の露光時間ＳＳ１に基づいて、第１の露光における露光時間をＣＰＵ１００４が撮像素子１００２に対して設定する。
【００３２】
ステップＳ４００５では、第１の露光における第１の露光時間ＳＳ１と、１フレームの表示時間ＦＲの３分の１の時間であるＦＲ／３との比較を、ＤＳＰ１００７が行う。第１の露光における第１の露光時間ＳＳ１がＦＲ／３よりも大きい場合には（ステップＳ４００５においてＹＥＳ）、ステップＳ４００６に移行する。ステップＳ４００６では、第２の露光における露光時間である第２の露光時間ＳＳ２を第１の露光時間ＳＳ１よりも短く設定する。第２の露光によって得られる第２の画像信号は、平常時にはライブビュー表示に用いられないため、第２の露光時間ＳＳ２は任意に設定すればよい。但し、露出に関する正確な情報を第１の画像信号に基づいて取得することが困難な場合に、露出に関する情報を第２の画像信号に基づいて取得することができるようにすべく、第１の露光時間ＳＳ１と第２の露光時間ＳＳ２とを十分に異ならせることが好ましい。第１の露光時間ＳＳ１がＦＲ／３以下である場合には（ステップＳ４００５においてＮＯ）、ステップＳ４００７に移行する。ステップＳ４００７では、第２の露光時間ＳＳ２を第１の露光時間ＳＳ１以上に設定する。第２の露光時間ＳＳ２と第１の露光時間ＳＳ１との差が、１段分以上の露出に相当するように、第２の露光時間ＳＳ２を設定する。
【００３３】
ステップＳ４００８では、第１の出力ポート１０１３ａから出力される第１の画像信号と、第２の出力ポート１０１３ｂから出力される第２の画像信号とを、ＤＳＰ１００７が読み出す。ステップＳ４００９では、ＤＳＰ１００７が、露出に関する情報の取得、より具体的には、露出値の算出を、第１の画像信号を用いて行う。ステップＳ４０１０では、ステップＳ４００９において取得した露光に関する情報に基づいて、所定程度以上の変化が被写体輝度に生じたか否か、即ち、被写体輝度に急激な変化が生じたか否かを、ＤＳＰ１００７が判定する。被写体輝度に急激な変化が生じたか否かの判定方法としては、例えば、単位時間当たりの露出値の変化量が予め設定された閾値以上か否か等が挙げられる。被写体輝度に急激な変化が生じた場合には（ステップＳ４０１０においてＹＥＳ）、ステップＳ４０１１に移行する。一方、被写体輝度に急激な変化が生じていない場合には（ステップＳ４０１０においてＮＯ）、ステップＳ４０１５に移行する。
【００３４】
ステップＳ４０１１では、第１の画像信号が露出オーバーであり、かつ、第１の露光時間ＳＳ１が第２の露光時間ＳＳ２よりも長いという条件を満たすか否かが判定される。なお、このような判定を行うのは、露出に関する情報、より具体的には、露出値を、第１の画像信号と第２の画像信号のいずれに基づいて取得するかを決定するためである。第１の画像信号が露出オーバーであり、かつ、第１の露光時間ＳＳ１が第２の露光時間ＳＳ２よりも長いという条件を満たす場合には（ステップＳ４０１１においてＹＥＳ）、以下のような状態になっている可能性がある。即ち、第１の画像信号は、ダイナミックレンジの上限を超えている可能性がある。このような場合には、第１の画像信号を用いた場合よりも、第２の画像信号を用いた場合の方が、露出に関する情報を正確に取得し得ると考えられる。そこで、このような場合には、ステップＳ４０１３に移行する。一方、第１の画像信号が露出オーバーであり、かつ、第１の露光時間ＳＳ１が第２の露光時間ＳＳ２より長いという条件を満たさない場合には（ステップＳ４０１１においてＮＯ）、ステップＳ４０１２に移行する。
【００３５】
ステップＳ４０１２では、第１の画像信号が露出アンダーであり、かつ、第１の露光時間ＳＳ１が第２の露光時間ＳＳ２より短いという条件を満たすか否かが判定される。なお、このような判定を行うのは、上記と同様に、露出に関する情報を第１の画像信号と第２の画像信号のいずれに基づいて取得するかを決定するためである。第１の画像信号が露出アンダーであり、かつ、第１の露光時間ＳＳ１が第２の露光時間ＳＳ２より短いという条件を満たす場合には（ステップＳ４０１２においてＹＥＳ）、以下のような状態になっている可能性がある。即ち、第１の画像信号は、ダイナミックレンジの下限を下回っている可能性がある。このため、第１の画像信号を用いた場合よりも、第２の画像信号を用いた場合の方が、露出に関する情報を正確に取得し得ると考えられる。そこで、このような場合には、ステップＳ４０１３に移行する。一方、第１の画像信号が露出アンダーであり、かつ、第１の露光時間ＳＳ１が第２の露光時間ＳＳ２より短いという条件を満たさない場合には（ステップＳ４０１２においてＮＯ）、以下のように考えられる。即ち、第２の画像信号を用いた場合よりも、第１の画像信号を用いた場合の方が、露出に関する情報を正確に取得し得ると考えられる。そこで、このような場合には、ステップＳ４０１５に移行する。
【００３６】
ステップＳ４０１３では、ＤＳＰ１００７が、露出に関する情報の取得、より具体的には、露出値の算出を、第２の画像信号を用いて行う。ステップＳ４０１４では、ＣＰＵ１００４とＤＳＰ１００７と外部インターフェース１００８とが相俟って、第２の画像信号を用いてライブビュー表示を行う。第２の画像信号を用いてライブビュー表示を行うのは、以下のような理由によるものである。即ち、ステップＳ４０１１においてＹＥＳであった場合には、第１の画像信号が露出オーバーであり、且つ、第２の露光時間ＳＳ２が第１の露光時間ＳＳ１より短く、第２の画像信号の方が第１の画像信号よりも適正露出に近いためである。また、ステップＳ４０１２においてＹＥＳであった場合には、第１の画像信号が露出アンダーであり、且つ、第２の露光時間ＳＳ２が第１の露光時間Ｓ１１よりも長く、第２の画像信号の方が第１の画像信号よりも適正露出に近いためである。このように、本実施形態では、第１の画像信号が適正露出ではなく、第２の画像信号が第１の画像信号よりも適正露出に近い場合には、露出に関する情報の取得や動画像の表示部１０１２への表示が第２の画像信号を用いて行われる。
【００３７】
ステップＳ４０１５では、第１の画像信号を用いてライブビュー表示が行われる。第１の画像信号を用いてライブビュー表示を行うのは、以下のような理由によるものである。即ち、ステップＳ４０１０においてＮＯであった場合には、被写体輝度に急激な変化が生じておらず、第１の画像信号が適正露出に近いと考えられるためである。また、ステップＳ４０１２においてＮＯであった場合には、第１の画像信号の方が第２の画像信号よりも適正露出に近いと考えられるためである。
【００３８】
ステップＳ４０１６では、撮影を終了するか否かが判定される。撮影終了のトリガとしては、例えば、操作部１０１１を介してユーザによって行われる撮影の終了の指示の入力等が挙げられる。撮影を終了しない場合には（ステップＳ４０１６においてＮＯ）、ステップＳ４００４に戻る。ステップＳ４０１３を経てステップＳ４００４に戻った場合には、ステップＳ４０１３において第２の画像信号を用いて取得された露出に関する情報に基づいて、第１の画像信号が適正露出になるような第１の露光時間ＳＳ１がＤＳＰ１００７によって算出される。そして、ＤＳＰ１００７によって算出された第１の露光時間ＳＳ１に基づいて、第１の露光時間ＳＳ１の設定が行われる。ステップＳ４０１５を経てステップＳ４００４に戻った場合には、ステップＳ４００９において第１の画像信号を用いて取得された露出に関する情報に基づいて、第１の画像信号が適正露出になるような第１の露光時間ＳＳ１がＤＳＰ１００７によって算出される。そして、ＤＳＰ１００７によって算出された第１の露光時間ＳＳ１に基づいて、第１の露光時間ＳＳ１の設定が行われる。
【００３９】
このように、本実施形態では、平常時においては、ライブビュー表示や露出に関する情報の取得等の所定の処理が、第１の画像信号を用いて行われる。一方、所定程度以上の変化が被写体輝度に生じた際、即ち、被写体輝度に急激な変化が生じた際には、第１の画像信号と第２の画像信号とのうちのいずれが、かかる所定の処理に適しているかが判定される。そして、第１の画像信号と第２の画像信号とのうちの適切な方を、かかる所定の処理を行う際に用いる。従って、本実施形態によれば、被写体輝度に急激な変化が生じた場合であっても、ライブビュー表示や露出に関する情報の取得等の所定の処理を適確に行うことが可能となる。
【００４０】
図５は、本実施形態による撮像装置の動作を示す図である。図５（ａ）は、撮像素子１００２を示す図であり、図５（ａ）においては、画素アレイ２０１１とＡＤコンバータ２００５とが抜き出して示されている。図５（ａ）に示すように、画素アレイ２０１１には、画素２００１が２次元的に配列されている。図５（ａ）においては、図面を簡略化するため、９行×１１列の画素２００１が図示されている。図５（ｂ）は、撮像素子１００２において行われる走査を概念的に示している。図５（ｂ）の横軸は、時間を示している。ここで、第１の画像信号や第２の画像信号の１行あたりの読み出し処理の時間を１Ｈとする。なお、ここで、“Ｈ”はｈｏｕｒを示すものではなく、単位時間を示すものである。
【００４１】
画素２００１に蓄積された電荷をリセットするための走査が時間２Ｈ毎に１行ずつ進行する。図５（ｂ）におけるタイミングＴ１は、第１番目の行に位置する画素２００１に蓄積された電荷のリセットが開始されるタイミングを示している。なお、かかる走査は、垂直走査回路２００４によって行われる。
【００４２】
タイミングＴ１から第１の露光時間だけ経過した後に、第１番目の行に位置する画素２００１が第１の露光によって得た第１の画像信号を読み出すための読み出し処理が行われる。なお、第１番目の行に位置する画素２００１が第１の露光によって得た第１の画像信号を読み出すための読み出し処理は、第４番目の行に位置する画素２００１に蓄積された電荷のリセットが行われた後に行われる。図５（ｂ）におけるタイミングＴ２は、第１番目の行に位置する画素２００１が第１の露光によって得た第１の画像信号に対しての読み出しが開始されるタイミングを示している。そして、第５番目の行に位置する画素２００１に蓄積された電荷のリセットが行われる。この後、タイミングＴ１から第２の露光時間だけ経過した後に、第１番目の行に位置する画素２００１が第２の露光によって得た第２の画像信号を読み出すための読み出し処理が行われる。なお、第１番目の行に位置する画素２００１が第２の露光によって得た第２の画像信号を読み出すための読み出し処理は、第３番目の行に位置する画素２００１が第１の露光によって得た第１の画像信号を読み出すための読み出し処理が行われた後に行われる。タイミングＴ３は、第１番目の行に位置する画素２００１が第２の露光によって得た第２の画像信号に対しての読み出しが開始されるタイミングを示している。この後、第８番目の行に位置する画素２００１に蓄積された電荷のリセットが行われる。この後、同様にして、第１の画像信号の読み出しの処理、第２の画像信号の読み出しの処理、及び、リセットの処理が順次繰り返し行われる。
【００４３】
このようにして画素アレイ２０１１に対して走査を行うことにより、リセットから第１の画像信号の読み出しまでの時間、即ち、タイミングＴ１からタイミングＴ２までの時間に相当する時間が、第１の露光時間となる。また、第１の画像信号の読み出しから第２の画像信号の読み出しまでの時間、即ち、タイミングＴ２からタイミングＴ３までの時間に相当する時間が、第２の露光時間となる。
【００４４】
タイミングＴ４では、最終行に位置する画素２００１に対してリセットの処理が行われる。タイミングＴ４以降においては、第１の露光によって得られた第１の画像信号に対する読み出しの処理と、第２の露光によって得られた第２画像信号に対しての読み出しの処理とが行われる。タイミングＴ５では、最終行に位置する画素２００１が第１の露光によって得た第１の画像信号に対して、読み出しの処理が行われる。タイミングＴ５以降においては、第２の露光によって得られた第２の画像信号に対する読み出しの処理が順次行われる。タイミングＴ６では、最終行に位置する画素２００１が第２の露光によって得た第２の画像信号に対しての読み出しが行われる。
【００４５】
このように、第１の露光時間と第２の露光時間とを異ならせることによって、露光量の異なる２つの画像信号を１つのフレームに対して得ることができる。即ち、相対的に低い露光量の画像信号と相対的に高い露光量の画像信号とを１つのフレームに対して得ることができる。
【００４６】
図５（ｃ）は、第１の露光時間と第２の露光時間とを変化させた際のタイムチャートを示している。なお、図５（ｃ）におけるタイミングＴ１〜Ｔ６は、図５（ｂ）におけるタイミングＴ１〜Ｔ６とは対応していない。上述したように、被写体輝度に急激な変化が生じた場合に、本実施形態では、第１の露光時間や第２の露光時間を変化させる。ここでは、まず、第１の露光時間を第２の露光時間よりも長く設定した状態で画像信号が取得され、この後、第１の露光時間を第２の露光時間よりも短く設定した状態で画像信号が取得される場合を例に説明する。
【００４７】
タイミングＴ０においては、第１の露光によって得られる第１の画像信号に対しての読み出しの走査が、第１番目の行に位置する画素２００１から順に開始される。タイミングＴ０においては、Ｌｏｗレベルの第１の同期信号ＶＤ１が撮像素子１００２から出力される。ＤＳＰ１００７は、第１の同期信号ＶＤ１に基づいて、第１の出力ポート１０１３ａから出力される第１の画像信号の読み出しを開始する。タイミングＴ１においては、第２の露光によって得られる第２の画像信号に対しての読み出しの走査が、第１番目の行に位置する画素２００１から順に開始される。タイミングＴ１においては、Ｌｏｗレベルの第２の同期信号ＶＤ２が撮像素子１００２から出力される。ＤＳＰ１００７は、第２の同期信号ＶＤ２に基づいて、第２の出力ポート１０１３ｂから出力される第２の画像信号の読み出しを開始する。タイミングＴ２においては、第１の露光によって得られる第１の画像信号に対しての読み出しの走査が最終行に達し、これにより第１の露光によって得られる第１の画像信号に対しての読み出しが完了する。タイミングＴ３では、第２の露光によって得られる第２の画像信号に対しての読み出しの走査が最終行に達し、これにより第２の露光によって得られる第２の画像信号に対しての読み出しが完了する。こうして、第ｎ番目のフレームに対して第１の画像信号と第２の画像信号とが取得される。
【００４８】
タイミングＴ４では、画素２００１に蓄積された電荷をリセットするための走査が、第１番目の行に位置する画素２００１から順に開始される。タイミングＴ５では、画素２００１に蓄積された電荷をリセットするための走査が最終行に達し、これにより第１の露光のためのリセットの走査が完了する。タイミングＴ６からタイミングＴ９までの動作は、タイミングＴ０からタイミングＴ３までの動作と同様であるため、説明を省略する。こうして、第ｎ＋１番目のフレームに対しての第１の画像信号と第２の画像信号とが取得される。
【００４９】
第ｎ＋１番目以前のフレームに対しては、第１の露光時間を第２の露光時間よりも長く設定した状態で第１の画像信号と第２の画像信号とが取得された。これに対し、第ｎ＋２番目以降のフレームに対しては、第１の露光時間を第２の露光時間よりも短く設定した状態で第１の画像信号と第２の画像信号とが取得される。タイミングＴ１１では、画素２００１に蓄積された電荷をリセットするための走査が、第１番目の行に位置する画素２００１から順に開始される。第ｎ＋１番目以前のフレームの画像信号の取得の際には、第１の同期信号ＶＤ１が出力されるタイミングＴ６と第１番目の行に位置する画素２００１に蓄積された電荷をリセットするタイミングＴ４との間の時間差は、以下のように設定されていた。即ち、かかる際には、第１の露光時間を比較的長く設定すべく、かかる時間差が比較的長く設定されていた。これに対し、第ｎ＋２番目以降のフレームの画像信号の取得の際には、第１の同期信号ＶＤ１が出力されるタイミングＴ１２と、第１番目の行に位置する画素２００１に蓄積された電荷をリセットするタイミングＴ１１との間の時間差は、以下のように設定される。即ち、かかる際には、第１の露光時間を比較的短く設定すべく、かかる時間差が比較的短く設定される。タイミングＴ１２においては、第１の露光によって得られる第１の画像信号に対しての読み出しの走査が、第１番目の行に位置する画素から順に開始される。タイミングＴ１２においては、Ｌｏｗレベルの第１の同期信号ＶＤ１が撮像素子１００２から出力される。ＤＳＰ１００７は、第１の同期信号ＶＤ１に基づいて、第１の出力ポート１０１３ａから出力される第１の画像信号の読み出しを開始する。タイミングＴ１３においては、画素２００１に蓄積された電荷をリセットするための走査が最終行に達し、これにより第１の露光のためのリセットの走査が完了する。タイミングＴ１４においては、第１の露光によって得られる第１の画像信号に対しての読み出しの走査が最終行に達し、これにより第１の露光によって得られる第１の画像信号に対しての読み出しが完了する。タイミングＴ１５においては、第２の露光によって得られる第２の画像信号に対しての読み出しの走査が、第１番目の行に位置する画素２００１から順に開始される。タイミングＴ１５においては、Ｌｏｗレベルの第２の同期信号ＶＤ２が撮像素子１００２から出力される。第ｎ＋１番目以前のフレームの画像信号を取得する際には、第１の同期信号ＶＤ１が出力されるタイミングＴ６と第２の同期信号ＶＤ２が出力されるタイミングＴ７との間の時間差は、以下のように設定されていた。即ち、かかる際には、第２の露光時間を比較的短く設定すべく、比較的短く設定されていた。これに対し、第ｎ＋２番目のフレームの画像信号を取得する際には、第１の同期信号ＶＤ１が出力されるタイミングＴ１２と第２の同期信号ＶＤ２が出力されるタイミングＴ１５との間の時間差は、以下のように設定される。即ち、かかる際には、第２の露光時間を比較的長く設定すべく、比較的長く設定される。ＤＳＰ１００７は、第２の同期信号ＶＤ２に基づいて、第２の出力ポート１０１３ｂから出力される第２の画像信号の読み出しを開始する。タイミングＴ１６においては、第２の露光によって得られる第２の画像信号に対しての読み出しの走査が最終行に達し、これにより第２の露光によって得られる第２の画像信号に対しての読み出しが完了する。
【００５０】
また、タイミングＴ１６においては、画素２００１に蓄積された電荷をリセットするための走査が、第１番目の行に位置する画素２００１から順に開始される。但し、第２の露光によって得られる第２の画像信号に対しての読み出しの走査が最終行に達するタイミングと、画素２００１に蓄積された電荷をリセットするための走査が第１番目の行に位置する画素２００１に対して行われるタイミングとが同じでなくてもよい。タイミングＴ１７においては、上述したタイミングＴ１２と同様に、Ｌｏｗレベルの第１の同期信号ＶＤ１が出力され、第１の露光によって得られる第１の画像信号に対しての読み出しの走査が、第１番目の行に位置する画素から順に開始される。ＤＳＰ１００７は、第１の同期信号ＶＤ１に基づいて、第１の出力ポート１０１３ａから出力される第１の画像信号の読み出しを開始する。タイミングＴ１８においては、タイミングＴ１３と同様に、画素２００１に蓄積された電荷をリセットするための走査が最終行に達し、これにより第１の露光のためのリセットの走査が完了する。タイミングＴ１９においては、タイミングＴ１４と同様に、第１の露光によって得られる第１の画像信号に対しての読み出しの走査が最終行に達し、これにより第１の露光によって得られる第１の画像信号に対しての読み出しが完了する。タイミングＴ２０からタイミングＴ２４における動作は、タイミングＴ１５からタイミングＴ１９における動作と同様であるため、説明を省略する。
【００５１】
このように、本実施形態では、撮像素子１００２の第１の出力ポート１０１３ａから出力される第１の画像信号を用いて、ライブビュー表示や露出に関する情報の取得等の所定の処理が行われる。そして、本実施形態では、所定程度以上の変化が被写体輝度に生じ、撮像素子１００２の第２の出力ポート１０１３ｂから出力される第２の画像信号が第１の画像信号よりも適正露出に近い場合には、かかる所定の処理を第２の画像信号を用いて行う。このため、本実施形態によれば、被写体輝度が急激に変化した場合であっても、かかる所定の処理を適確に行うことができる。このように、本実施形態によれば、被写体輝度の変化に適確に対処し得る良好な撮像装置１０００を提供することができる。
【００５２】
［第２実施形態］
次に、第２実施形態による撮像装置及びその制御方法について図面を用いて説明する。本実施形態による撮像装置の構成は、図１を用いて上述した第１実施形態による撮像装置の構成と同様である。本実施形態による撮像素子の構成は、図２を用いて上述した第１実施形態による撮像素子の構成と同様である。
【００５３】
図６は、本実施形態による撮像装置の動作を示すフローチャートである。本実施形態による撮像装置では、第１の露光によって得られる第１の画像信号と第２の露光によって得られる第２の画像信号とを合成することによって得られる合成信号を、ライブビュー表示や露出に関する情報の取得等に用いる。そして、本実施形態による撮像装置では、所定程度以上の変化が被写体輝度に生じた場合、即ち、被写体輝度に急激な変化が生じた場合には、第１の露光時間と第２の露光時間との比を変化させることなく、第１の露光時間と第２の露光時間とを変更する。
【００５４】
ステップＳ６００１では、撮像素子１００２の駆動が開始され、第１の出力ポート１０１３ａから出力される第１の画像信号と、第２の出力ポート１０１３ｂから出力される第２の画像信号とが、ＤＳＰ１００７によってそれぞれ読み出される。上述したように、第１の出力ポート１０１３ａから出力される第１の画像信号は、第１の露光時間に設定された第１の露光によって取得されるものである。また、上述したように、第２の出力ポート１０１３ｂから出力される第２の画像信号は、第２の露光時間に設定された第２の露光によって取得されるものである。ダイナミックレンジの十分に広い合成信号が得られるように、第１の露光時間と第２の露光時間との差を十分に設定することが好ましい。
【００５５】
ステップＳ６００２では、ＤＳＰ１００７が、第１の画像信号と第２の画像信号とを合成することによって、ダイナミックレンジの広い合成信号を生成する。ステップＳ６００３では、ＤＳＰ１００７が、露出に関する情報の取得、より具体的には、露出値の算出を、合成信号を用いて行う。ステップＳ６００４では、ＣＰＵ１００４とＤＳＰ１００７と外部インターフェース１００８とが相俟って、合成信号を用いてライブビュー表示を行う。
【００５６】
ステップＳ６００５では、ステップＳ６００３において取得された、露出に関する情報に基づいて、第１の露光を行う際の第１の露光時間ＳＳ１と、第２の露光を行う際の第２の露光時間ＳＳ２とを設定する。第１の露光時間ＳＳ１と第２の露光時間ＳＳ２との比は、一定に保持することが好ましい。これは、第１の画像信号と第２の画像信号とを合成する際の合成比率を一定に保持し、均質な合成信号が得られるようにするためである。また、第２の露光時間ＳＳ２は、第１の露光時間ＳＳ１に対して整数倍とすることが好ましい。ステップＳ６００６では、ステップＳ６００２と同様に、ＤＳＰ１００７が、第１の画像信号と第２の画像信号とを合成することによって、ダイナミックレンジの広い合成信号を生成する。ステップＳ６００７では、ステップＳ６００３と同様に、ＤＳＰ１００７が、露出に関する情報の取得、より具体的には、露出値の算出を、合成信号を用いて行う。ステップＳ６００８では、ステップＳ６００４と同様に、ＣＰＵ１００４とＤＳＰ１００７と外部インターフェース１００８とが相俟って、合成信号を用いてライブビュー表示を行う。
【００５７】
ステップＳ６００９では、撮影を終了するか否かが判定される。撮影終了のトリガとしては、例えば、操作部１０１１を介して行われる撮影の終了の指示の入力等が挙げられる。撮影を終了しない場合には（ステップＳ６００９においてＮＯ）、ステップＳ６０１０に移行する。ステップＳ６０１０では、ステップＳ６００７において取得された露光に関する情報に基づいて、所定程度以上の変化が被写体輝度に生じたか否か、即ち、被写体輝度に急激な変化が生じたか否かをＤＳＰ１００７が判定する。被写体輝度に急激な変化が生じたか否かの判定方法としては、例えば、単位時間当たりの露出値の変化量が予め設定された閾値以上か否か等が挙げられる。被写体輝度に急激な変化が生じた場合には（ステップＳ６０１０においてＹＥＳ）、ステップＳ６００５に戻る。一方、被写体輝度に急激な変化が生じていない場合には（ステップＳ６０１０においてＮＯ）、ステップＳ６００６に戻る。
【００５８】
図７は、撮像装置の動作を示す図である。図７においては、矢印を用いることによってダイナミックレンジが示されている。図７（ａ）は、被写体輝度が変化する前の状態に対応しており、本実施形態による撮像装置においても、参考例による撮像装置においても、図７（ａ）のようになる。図７（ａ）には、第１の画像信号のダイナミックレンジ７００１と、第２の画像信号のダイナミックレンジ７００２と、合成信号のダイナミックレンジ７００３とが示されている。図７（ａ）に示すように、第１の画像信号のダイナミックレンジ７００１の一部と第２の画像信号のダイナミックレンジ７００２の一部とが重なり合っている。第１の画像信号のダイナミックレンジ７００１の一部と第２の画像信号のダイナミックレンジ７００２の一部とが重なり合っているため、図７（ａ）においては、階調の良好な合成信号を得ることが可能である。
【００５９】
図７（ｂ）は、参考例による撮像装置の場合を示しており、被写体輝度が変化した後の状態を示している。図７（ｂ）には、第１の画像信号のダイナミックレンジ７００１ａと、第２の画像信号のダイナミックレンジ７００２と、合成信号のダイナミックレンジ７００３ａとが示されている。参考例による撮像装置は、第１の露光時間は可変であるが、第２の露光時間は固定である。このため、参考例においては、図７（ｂ）に示すように、第１の画像信号のダイナミックレンジ７００１ａの一部と第２の画像信号のダイナミックレンジ７００２の一部とが重なり合わなくなる場合が生じ得る。このような場合には、階調の良好な合成信号が得られない場合がある。
【００６０】
図７（ｃ）は、本実施形態による撮像装置の動作を示しており、被写体輝度が変化した後の状態を示している。図７（ｃ）には、第１の画像信号のダイナミックレンジ７００１ａと、第２の画像信号のダイナミックレンジ７００２ａと、合成信号のダイナミックレンジ７００３ｂとが示されている。本実施形態による撮像装置では、第１の露光時間ＳＳ１と第２の露光時間ＳＳ２とがいずれも可変である。しかも、本実施形態では、被写体輝度に急激な変化が生じた場合には、第１の露光時間ＳＳ１と第２の露光時間ＳＳ２との比を変化させることなく、第１の露光時間ＳＳ１と第２の露光時間ＳＳ２とを変更する。このため、本実施形態では、第１の画像信号のダイナミックレンジ７００１ａの一部と第２の画像信号のダイナミックレンジ７００２ａの一部とが重なり合う。第１の画像信号のダイナミックレンジ７００１ａの一部と第２の画像信号のダイナミックレンジ７００２ａの一部とが重なり合うため、本実施形態によれば、階調の良好な合成信号が得られる。
【００６１】
このように、本実施形態では、第１の出力ポート１０１３ａから出力される第１の画像信号と第２の出力ポート１０１３ｂから出力される第２の画像信号とを合成することにより得られる合成信号を用いて所定の処理を行う。そして、被写体輝度に変化が生じた場合には、第１の露光時間ＳＳ１と第２の露光時間ＳＳ２との比を変化させることなく、第１の露光時間ＳＳ１と第２の露光時間ＳＳ２とを変更する。このため、本実施形態によれば、被写体輝度に変化が生じた場合であっても、階調の良好な合成画像を得ることができる。このように、本実施形態においても、被写体輝度の変化に適確に対処し得る撮像装置１０００を提供することができる。
【００６２】
［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６３】
例えば、上記実施形態では、動画像の表示部１０１２への表示、より具体的には、ライブビュー表示を行う場合を例に説明したが、これに限定されるものではない。例えば、動画像を記憶媒体１００９等に記録する際にも本発明を適用し得る。本発明を動画像の記録に適用する場合には、図４や図６に示すフローチャートにおいて、「ライブビュー表示」を「動画像記録」と読み替えればよい。
【００６４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６５】
１０００…撮像装置
１００２…撮像素子
１００４…ＣＰＵ
１００７…ＤＳＰ
１００８…外部インターフェース
１０１３ａ…第１の出力ポート
１０１３ｂ…第２の出力ポート
２００９…出力セレクタ
【図１】
2018014634.tif 000003
【図２】
2018014634.tif 000004
【図３（ａ）】
2018014634.tif 000005
【図３（ｂ）】
2018014634.tif 000006
【図３（ｃ）】
2018014634.tif 000007
【図４】
2018014634.tif 000008
【図５−１】
2018014634.tif 000009
【図５−２】
2018014634.tif 000010
【図６】
2018014634.tif 000011
【図７】
2018014634.tif 000012