(57)【要約】【課題】さらなる改善を実現できる撮像装置を提供する。【解決手段】撮像装置１００は、非破壊読み出しが可能な撮像素子１０１と、対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する制御部１０２とを備える。例えば、制御部１０２は、補助画像を用いて、対象フレームの露光時間を制御してもよい。例えば、制御部１０２は、対象フレームにおいて複数回の非破壊読み出しを順次行い、補助画像の輝度が予め定められた閾値を超えた場合に、対象フレームの露光を停止してもよい。【選択図】図１
2020031259.tif 000002
【特許請求の範囲】
【請求項１】
非破壊読み出しが可能な撮像素子と、
対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する制御部とを備える
撮像装置。
【請求項２】
前記制御部は、前記補助画像を用いて、前記対象フレームの露光時間を制御する
請求項１記載の撮像装置。
【請求項３】
前記制御部は、
前記対象フレームにおいて複数回の非破壊読み出しを順次行い、
前記補助画像の輝度が予め定められた閾値を超えた場合に、前記対象フレームの露光を停止する
請求項２記載の撮像装置。
【請求項４】
前記撮像装置は、さらに、表示部を備え、
前記制御部は、さらに、前記閾値を設定するためのユーザインタフェースを前記表示部に表示する
請求項３記載の撮像装置。
【請求項５】
前記制御部は、前記補助画像を用いて、前記対象フレームの自動露出を行う
請求項１記載の撮像装置。
【請求項６】
前記制御部は、
前記対象フレームにおいて複数回の非破壊読み出しを順次行い、
前記複数回の非破壊読み出しで得られた複数の補助画像を用いて、前記対象フレーム内における被写体の変化を検出する
請求項１記載の撮像装置。
【請求項７】
前記制御部は、前記被写体の変化が検出された場合、警告を発する
請求項６記載の撮像装置。
【請求項８】
前記制御部は、前記被写体の変化が検出された場合、撮影を停止する
請求項６記載の撮像装置。
【請求項９】
前記制御部は、前記被写体の変化が検出された場合、再撮影を行う
請求項６記載の撮像装置。
【請求項１０】
前記制御部は、前記被写体の変化が検出された場合、撮影により得られた前記対象フレームの画像に対して前記被写体の変化の影響を低減するための補正を行う
請求項６記載の撮像装置。
【請求項１１】
前記撮像装置は、さらに、
前記対象フレームの露光期間中に前記補助画像を表示する表示部を備え、
前記制御部は、さらに、前記対象フレームの露光期間中に当該対象フレームの露光を終了する指示を受け付ける
請求項１記載の撮像装置
【請求項１２】
前記制御部は、
前記対象フレームにおいて複数回の非破壊読み出しを順次行い、
前記複数回の非破壊読み出しで得られた複数の画像を動画として保存する
請求項１記載の撮像装置。
【請求項１３】
前記撮像素子は、有機センサである
請求項１〜１２のいずれか１項に記載の撮像装置。
【請求項１４】
非破壊読み出しが可能な撮像素子を備える撮像装置の制御方法であって、
対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する制御ステップを含む
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
有機光電変換素子を用いた撮像素子として、特許文献１に記載の技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０４２１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような撮像装置では、さらなる改善が望まれている。
【０００５】
そこで、本開示は、さらなる改善を実現できる撮像装置又はその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る撮像装置は、非破壊読み出しが可能な撮像素子と、対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する制御部とを備える。
【発明の効果】
【０００７】
本開示は、さらなる改善を実現できる撮像装置又はその制御方法を提供できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態１に係る撮像装置のブロック図である。
【図２Ａ】図２Ａは、実施の形態１に係る撮像装置の外観例を示す図である。
【図２Ｂ】図２Ｂは、実施の形態１に係る撮像装置の外観例を示す図である。
【図３】図３は、実施の形態１に係る撮像素子の構成を示す図である。
【図４】図４は、実施の形態１に係る画素の構成を示す回路図である。
【図５】図５は、実施の形態１に係る撮像装置の動作を示すフローチャートである。
【図６】図６は、実施の形態１に係る撮像装置の動作を示す図である。
【図７】図７は、実施の形態２に係る撮像装置の動作を示すフローチャートである。
【図８】図８は、実施の形態２に係る撮像装置の動作を示す図である。
【図９】図９は、実施の形態２に係る補助画像の一例を示す図である。
【図１０】図１０は、実施の形態２に係る閾値設定用の画面例を示す図である。
【図１１】図１１は、実施の形態３に係る撮像装置の動作を示すフローチャートである。
【図１２】図１２は、実施の形態３に係る被写体の変化の判定処理を説明するための図である。
【図１３】図１３は、実施の形態３に係る撮像装置の動作の変形例を示すフローチャートである。
【図１４】図１４は、実施の形態３に係る撮像装置の動作の変形例を示すフローチャートである。
【図１５】図１５は、実施の形態３に係る撮像装置の動作の変形例を示すフローチャートである。
【図１６】図１６は、実施の形態４に係る撮像装置の動作を示すフローチャートである。
【図１７】図１７は、実施の形態４に係る撮像装置の動作を示す図である。
【図１８】図１８は、実施の形態４に係る画像選択用の画面例を示す図である。
【図１９】図１９は、実施の形態４の変形例に係る撮像装置の動作を示す図である。
【発明を実施するための形態】
【０００９】
本開示の一態様に係る撮像装置は、非破壊読み出しが可能な撮像素子と、対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する制御部とを備える。
【００１０】
これによれば、当該撮像装置は、非破壊読み出しにより得られた補助画像を用いて、そのフレームの撮影を制御できるので、露光期間中の状況に応じて、適切な制御を行える。このように、当該撮像装置は、さらなる改善を実現できる。
【００１１】
例えば、前記制御部は、前記補助画像を用いて、前記対象フレームの露光時間を制御してもよい。
【００１２】
これによれば、当該撮像装置は、露光期間中に得られた画像の情報に基づき露光時間を制御できるので、露光開始前に得られた情報に基づき露光時間を制御する場合に比べ、より適切に露光時間を制御できる。
【００１３】
例えば、前記制御部は、前記対象フレームにおいて複数回の非破壊読み出しを順次行い、前記補助画像の輝度が予め定められた閾値を超えた場合に、前記対象フレームの露光を停止してもよい。
【００１４】
これによれば、当該撮像装置は、露光期間中に得られた画像の情報に基づき、適切に露光時間を制御できる。
【００１５】
例えば、前記撮像装置は、さらに、表示部を備え、前記制御部は、さらに、前記閾値を設定するためのユーザインタフェースを前記表示部に表示してもよい。
【００１６】
これによれば、ユーザの好みに応じた露出設定を容易に行える。
【００１７】
例えば、前記制御部は、前記補助画像を用いて、前記対象フレームの自動露出を行ってもよい。
【００１８】
これによれば、当該撮像装置は、露光期間中に得られた画像の情報に基づき自動露出を行えるので、露光開始前に得られた情報に基づき自動露出を行う場合に比べ、より適切に自動露出を行える。
【００１９】
例えば、前記制御部は、前記対象フレームにおいて複数回の非破壊読み出しを順次行い、前記複数回の非破壊読み出しで得られた複数の補助画像を用いて、前記対象フレーム内における被写体の変化を検出してもよい。
【００２０】
これによれば、当該撮像装置は、非破壊読み出しにより得られた補助画像を用いて、例えば、長時間露光の露光中における被写体の変化を検知できる。
【００２１】
例えば、前記制御部は、前記被写体の変化が検出された場合、警告を発してもよい。
【００２２】
これによれば、当該撮像装置は、例えば、長時間露光の露光中における異常の発生をユーザに通知できる。
【００２３】
例えば、前記制御部は、前記被写体の変化が検出された場合、撮影を停止してもよい。
【００２４】
これによれば、当該撮像装置は、例えば、長時間露光の露光中において異常が発生した場合に、自動的に撮影を停止できる。
【００２５】
例えば、前記制御部は、前記被写体の変化が検出された場合、再撮影を行ってもよい。
【００２６】
これによれば、当該撮像装置は、例えば、長時間露光の露光中において異常が発生した場合に、自動的に再撮影を行える。
【００２７】
例えば、前記制御部は、前記被写体の変化が検出された場合、撮影により得られた前記対象フレームの画像に対して前記被写体の変化の影響を低減するための補正を行ってもよい。
【００２８】
これによれば、当該撮像装置は、被写体に変化が生じた場合でも、その影響を低減した画像を生成できる。
【００２９】
例えば、前記撮像装置は、さらに、前記対象フレームの露光期間中に前記補助画像を表示する表示部を備え、前記制御部は、さらに、前記対象フレームの露光期間中に当該対象フレームの露光を終了する指示を受け付けてもよい。
【００３０】
これによれば、ユーザは、露光期間中に表示される補助画像を参照して、所望の輝度レベルの画像を撮影できる。
【００３１】
例えば、前記制御部は、前記対象フレームにおいて複数回の非破壊読み出しを順次行い、前記複数回の非破壊読み出しで得られた複数の画像を動画として保存してもよい。
【００３２】
例えば、前記撮像素子は、有機センサであってもよい。
【００３３】
本開示の一態様に係る制御方法は、非破壊読み出しが可能な撮像素子を備える撮像装置の制御方法であって、対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する制御ステップを含む。
【００３４】
これによれば、当該制御方法は、非破壊読み出しにより得られた補助画像を用いて、そのフレームの撮影を制御できるので、露光期間中の状況に応じて、適切な制御を行える。このように、当該制御方法は、さらなる改善を実現できる。
【００３５】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００３６】
以下、本開示の実施の形態について、図面を参照しながら説明する。以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３７】
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
【００３８】
（実施の形態１）
［撮像装置の構成］
まず、本開示の実施の形態に係る撮像装置の構成を説明する。図１は、本実施の形態に係る撮像装置１００の構成を示すブロック図である。また、図２Ａ及び図２Ｂは、撮像装置１００の外観の例を示す図である。例えば、図２Ａ及び図２Ｂに示すように、撮像装置１００は、デジタルスチルカメラ又はデジタルビデオカメラ等のカメラである。
【００３９】
図１に示す撮像装置１００は、撮像素子１０１と、制御部１０２と、表示部１０３と、記憶部１０４とを備える。撮像素子１０１は、入射光を電気信号（画像）に変換し、得られた電気信号を出力する固体撮像素子（固体撮像装置）であり、例えば、有機光電変換素子を用いた有機センサである。
【００４０】
制御部１０２は、撮像素子１０１の制御を行う。また、制御部１０２は、撮像素子１０１で得られた画像に対して各種信号処理を施し、得られた画像を表示部１０３に表示したり、記憶部１０４に記憶したりする。なお、制御部１０２から出力された画像は、図示しない入出力インタフェースを介して撮像装置１００の外部に出力されてもよい。
【００４１】
［撮像素子の構成］
次に、撮像素子１０１の構成を説明する。図３は、撮像素子１０１の構成を示すブロック図である。
【００４２】
図３に示す撮像素子１０１は、行列状に配置された複数の画素（単位画素セル）２０１と、垂直走査部２０２と、カラム信号処理部２０３と、水平読み出し部２０４と、行毎に設けられている複数のリセット制御線２０５と、行毎に設けられている複数のアドレス制御線２０６と、列毎に設けられている複数の垂直信号線２０７と、水平出力端子２０８とを備える。
【００４３】
複数の画素２０１の各々は、入射光に応じた信号を、対応する列に設けられている垂直信号線２０７に出力する。
【００４４】
垂直走査部２０２は、複数のリセット制御線２０５を介して複数の画素２０１をリセットする。また、垂直走査部２０２は、複数のアドレス制御線２０６を介して、複数の画素２０１を行単位で順次選択する。
【００４５】
カラム信号処理部２０３は、複数の垂直信号線２０７に出力された信号に信号処理を行い、当該信号処理により得られた複数の信号を水平読み出し部２０４へ出力する。例えば、カラム信号処理部２０３は、相関二重サンプリングに代表される雑音抑圧信号処理及び、アナログ／デジタル変換処理等を行う。
【００４６】
水平読み出し部２０４は、複数のカラム信号処理部２０３で信号処理された後の複数の信号を順次水平出力端子２０８に出力する。
【００４７】
以下、画素２０１の構成を説明する。図４は、画素２０１の構成を示す回路図である。
【００４８】
図４に示すように画素２０１は、光電変換部２１１と、電荷蓄積部２１２と、リセットトランジスタ２１３と、増幅トランジスタ２１４（ソースフォロアトランジスタ）と、選択トランジスタ２１５とを備える。
【００４９】
光電変換部２１１は、入射光を光電変換することにより信号電荷を生成する。光電変換部２１１の一端には電圧Ｖｏｅが印加されている。具体的には、光電変換部２１１は、有機材料で構成される光電変換層を含む。なお、この光電変換層は、有機材料で構成される層と無機材料で構成される層とを含んでもよい。
【００５０】
電荷蓄積部２１２は、光電変換部２１１に接続されており、光電変換部２１１で生成された信号電荷を蓄積する。なお、電荷蓄積部２１２は、専用の容量素子ではなく、配線容量等の寄生容量で構成されてもよい。
【００５１】
リセットトランジスタ２１３は、信号電荷の電位をリセットするために用いられる。リセットトランジスタ２１３のゲートはリセット制御線２０５に接続されており、ソースは電荷蓄積部２１２に接続されており、ドレインにはリセット電圧Ｖｒｅｓｅｔが印加される。
【００５２】
なお、ドレイン及びソースの定義は、一般的に回路動作に依存するものであり、素子構造からは特定できない場合が多い。本実施の形態では、便宜的にソース及びドレインの一方をソースと呼び、ソース及びドレインの他方をドレインと呼ぶが、本実施の形態におけるドレインをソース、ソースをドレインと置き換えてもよい。
【００５３】
増幅トランジスタ２１４は、電荷蓄積部２１２の電圧を増幅することで、当該電圧に応じた信号を垂直信号線２０７へ出力する。増幅トランジスタ２１４のゲートは電荷蓄積部２１２に接続されており、ドレインに電源電圧Ｖｄｄまたは接地電圧Ｖｓｓが印加される。
【００５４】
選択トランジスタ２１５は、増幅トランジスタ２１４と直列に接続されており、増幅トランジスタ２１４が増幅した信号を垂直信号線２０７に出力するか否かを切り替える。選択トランジスタ２１５のゲートはアドレス制御線２０６に接続されており、ドレインは増幅トランジスタ２１４のソースに接続されており、ソースは垂直信号線２０７に接続されている。
【００５５】
また、例えば、電圧Ｖｏｅ、リセット電圧Ｖｒｅｓｅｔ及び電源電圧Ｖｄｄは、全画素２０１で共通に用いられる電圧である。
【００５６】
また、有機センサの特徴として、非破壊読み出しと、電子ＮＤ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）制御とがある。非破壊読み出しとは、露光期間中に画像データを読み出し、引き続き露光を継続する処理である。従来の読み出し（以下、破壊読み出しと呼ぶ）では、読み出しを行う際には露光を終了する必要があった。つまり、１回の露光により１枚の画像しか得ることができなかった。これに対して、非破壊読み出しを用いることで、露光期間中に、その時刻までに露光された画像データを読み出し、引き続き露光を継続することができる。これにより、１回の露光で露光時間の異なる複数の画像を得ることができる。
【００５７】
また、電子ＮＤ制御とは、電気的に撮像素子の透過率を制御する処理である。ここで透過率とは、入射光のうち電気信号に変換される光の割合を意味する。つまり、透過率を０％に設定することで、電気的に遮光を実現できる。具体的には、図４に示す電圧Ｖｏｅが制御されることで透過率が制御される。これにより、メカシャッタを用いることなく、電気的に露光を終了させることができる。
【００５８】
なお、撮像素子１０１は、メカッシャを備え、電子ＮＤ制御とメカシャッタによる遮光とを併用してもよいし、メカシャッタによる遮光のみが用いられてもよい。
【００５９】
また、ここでは、撮像素子１０１が有機センサである例を述べるが、撮像素子１０１は、非破壊読み出し、又は電子ＮＤ制御を実現できればよく、有機センサ以外であってもよい。つまり、光電変換部２１１に含まれる光電変換層は無機材料で構成されてもよい。例えば、光電変換層はアモルファスシリコン又はカルコパイライト系半導体等で構成されてもよい。
【００６０】
［撮像装置の動作］
次に、本実施の形態に係る撮像装置１００の動作を説明する。本実施の形態に係る撮像装置１００は、対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する。具体的には、撮像装置１００は、補助画像を用いて、対象フレームの自動露出（ＡＥ：Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）を行う。
【００６１】
図５は、撮像装置１００の動作の流れを示すフローチャートである。図６は、撮像装置１００の動作を説明するための図である。
【００６２】
図６に示すように、静止画の撮影を開始する時刻ｔ１より前の期間において、撮像装置１００は、リアルタイムの被写体の動画像であるライブ画像を撮影し、当該ライブ画像を表示部１０３に表示している。
【００６３】
時刻ｔ１において、例えば、ユーザの操作に基づき、撮像装置１００は、静止画を撮影するための露光を開始する（Ｓ１０１）。次に、撮像装置１００は、露光期間中に予め定められた回数の非破壊読み出しを行うことで１又は複数の補助画像を取得する（Ｓ１０２）。なお、図６では２回の非破壊読み出しが行われているが、非破壊読み出しの回数は任意でよい。次に、撮像装置１００は、得られた補助画像を用いてＡＥ制御を行う（Ｓ１０３）。
【００６４】
ここで、従来では、ライブ画像を用いてＡＥ制御が行われていた。よって、撮像装置１００は、ライブ画像を用いたＡＥ制御と同様の手法により、補助画像を用いたＡＥ制御を行うことができる。具体的には、撮像装置１００は、補助画像を用いて、対象フレームの露光時間Ｔ１を制御する。例えば、撮像装置１００は、複数の補助画像の差に基づき被写体の動きを検出し、得られた動きに基づき露光時間Ｔ１を制御する。例えば、撮像装置１００は、動きが大きいほど露光時間Ｔ１を短く設定する。または、撮像装置１００は、１以上の補助画像の輝度レベルに基づき、露光時間Ｔ１を制御する。例えば、撮像装置１００は、輝度レベルが低いほど露光時間Ｔ１を長く設定する。
【００６５】
次に、ステップＳ１０３で設定された露光時間Ｔ１が経過した時刻ｔ４において、撮像装置１００は露光を終了する（Ｓ１０４）。例えば、撮像装置１００は、上述した電子ＮＤ制御、又は、メカシャッタにより遮光が行われることで露光が終了する。
【００６６】
次に、撮像装置１００は、破壊読み出しを行うことで画像を取得する（Ｓ１０５）。なお、図６では、露光終了の直後に非破壊読み出しが行われているが、直後でなくてもよい。
【００６７】
以上のように、本実施の形態に係る撮像装置１００は、対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する。具体的には、撮像装置１００は、補助画像を用いて、対象フレームの自動露出を行う。ここで、ライブ画像を用いて自動露出を行う場合、自動露出を行ってから静止画の撮影を行うまでに時間差がある。これにより、自動露出の精度が低くなる場合がある。これに対して、本実施の形態の手法では、この時間差を低減できるので、自動露出の精度を向上できる。
【００６８】
また、本実施の形態の手法は、従来の手法に対して、ＡＥ制御に使用される画像がライブ画像から非破壊読み出しで得られた補助画像に変更されている点のみが異なる。よって、従来の自動露出のアルゴリズムの一部を流用しつつ、より精度の高い自動露出を実現できる。
【００６９】
また、ここでは、静止画を撮影する場合を例に説明を行ったが、動画像を撮影する場合に同様の手法を用いてもよい。
【００７０】
（実施の形態２）
本実施の形態では、補助画像を用いて、対象フレームの露光時間を制御する別の手法について説明する。
【００７１】
図７は、本実施の形態に係る撮像装置１００の動作の流れを示すフローチャートである。図８は、撮像装置１００の動作を説明するための図である。
【００７２】
まず、撮像装置１００は、後述する判定処理に用いる閾値ＴＨを決定する（Ｓ１１１）。なお、この処理の詳細については後述する。
【００７３】
次に、撮像装置１００は、時刻ｔ１において露光を開始する（Ｓ１１２）。所定時間が経過した後の時刻ｔ２において、撮像装置１００は、非破壊読み出しにより補助画像を取得する（Ｓ１１３）。そして、撮像装置１００は、得られた補助画像の輝度がステップＳ１１１で設定された閾値ＴＨを超えたかを判定する（Ｓ１１４）。
【００７４】
補助画像の輝度が閾値ＴＨを超えていない場合（Ｓ１１４でＮｏ）、撮像装置１００は、時間Ｔ２が経過した後の時刻ｔ３において、再度非破壊読み出しを行い（Ｓ１１３）、得られた補助画像の輝度が閾値ＴＨを超えたかを判定する（Ｓ１１４）。そして、撮像装置１００は、補助画像の輝度が閾値ＴＨを超えるまで、これらの処理を繰り返す。
【００７５】
補助画像の輝度が閾値ＴＨを超えた場合（Ｓ１１４でＹｅｓ：時刻ｔ５）、撮像装置１００は、露光を終了し（Ｓ１１５）、破壊読み出しにより画像を取得する（Ｓ１１６：時刻ｔ６）。
【００７６】
図９は、各時刻に得られた補助画像及び輝度ヒストグラムの一例を示す図である。図９に示すように、各時刻に得られる補助画像は、互いに露光時間が異なるため、輝度レベルが異なる。つまり、得られる時刻が遅くなるほど輝度レベルが高くなる。
【００７７】
ステップＳ１１４の判定では、撮像装置１００は、例えば、補助画像の輝度の最大値が閾値ＴＨを超えたかを判定する。なお、撮像装置１００は、輝度の最大値に限らず、輝度の平均値又は中央値等と閾値ＴＨとを比較してもよい。
【００７８】
また、図８では、撮像装置１００は、補助画像の輝度が閾値ＴＨを超えたと判定された直後に露光を終了しているが、予め定められた時間後に露光を終了してもよい。この場合、閾値ＴＨは当該時間に相当する差分だけ低く設定される。
【００７９】
また、図８では、非破壊読み出しが行われる間隔Ｔ２が一定であるが、一定でなくてもよい。例えば、撮像装置１００は、ＡＥ制御等により事前に露光時間を設定しておき、その露光時間に近づく時刻における非破壊読み出しの間隔が短くなるように複数の非破壊読み出しのタイミングを設定してもよい。または、撮像装置１００は、得られた補助画像の輝度が閾値ＴＨに近づくほど、非破壊読み出しの間隔を短くしてもよい。また、露光終了から、破壊読み出しが行われるまでの時間は任意でよい。
【００８０】
また、ここでは、静止画を撮影する場合を例に説明を行ったが、動画像を撮影する場合に同様の手法を用いてもよい。
【００８１】
以上のように、撮像装置１００は、対象フレームにおいて複数回の非破壊読み出しを順次行い、補助画像の輝度が予め定められた閾値ＴＨを超えた場合に、対象フレームの露光を停止する。ここで、従来の一般的な手法では、画像の撮影前に露光期間を決定しており、必ずしも所望の輝度レベルの画像を得られるとは限らない。一方で、本実施の形態の手法を用いることで、露光期間中に、画像の輝度レベルが所望の値に達したかを動的に判定できるので、所望の輝度レベルの画像を精度良く得ることができる。
【００８２】
また、ステップＳ１１１における閾値ＴＨの決定方法としては、例えば、撮像装置１００は、現在設定されている撮影モードに応じて、閾値ＴＨを決定する。または、撮像装置１００は、閾値ＴＨを設定するためのユーザインタフェースを表示部１０３に表示し、当該ユーザインタフェースユーザを介してユーザの指示に基づき、閾値ＴＨを決定してもよい。図１０は、このユーザインタフェースの一例を示す図である。
【００８３】
例えば、図１０に示すように、互いに輝度レベルの異なる複数のサンプル画像が表示され、ユーザがいずれかのサンプル画像を選択することで、当該サンプル画像に対応する閾値ＴＨが設定される。なお、サンプル画像は、予め保存されている画像であってもよいし、過去の撮影時に非破壊読み出しにより得られた補助画像であってもよい。
【００８４】
また、図１０では、ユーザがサンプル画像を選択する例を示しているが、輝度レベルを変更するための操作バー等を用いて、輝度レベルが選択されてもよい。または、現在の輝度レベルに対して輝度レベルを上げる、又は下げる操作が用いられてもよい。
【００８５】
このような、ユーザインタフェースを設けることで、ユーザは、輝度レベルの選択操作を直感的に、かつ容易に行うことができる。
【００８６】
なお、閾値ＴＨは可変である必要はなく、閾値ＴＨとして固定値が用いられてもよい。
【００８７】
（実施の形態３）
本実施の形態では、対象フレームにおいて非破壊読み出しにより得られた補助画像を用いて、当該対象フレームの撮影を制御する処理の別の例を説明する。具体的には、本実施の形態に係る撮像装置１００は、対象フレームにおいて複数回の非破壊読み出しを順次行い、複数回の非破壊読み出しで得られた複数の補助画像を用いて、対象フレーム内における被写体の変化を検出する。例えば、撮像装置１００は、星夜などを長秒露光する際における、カメラへの外乱の発生、又は、三脚が倒れる等により生じる望まない被写体の変化を検出する。
【００８８】
図１１は、本実施の形態に係る撮像装置１００の動作の流れを示すフローチャートである。図１２は、被写体の変化が発生した場合の補助画像の輝度の変化例を示す図である。
【００８９】
まず、撮像装置１００は、露光を開始する（Ｓ１２１）。所定の時間Ｔ３が経過した後の時刻ｔ１において、撮像装置１００は、非破壊読み出しにより補助画像を取得する（Ｓ１２２）。そして、撮像装置１００は、露光開始後に得られた複数の補助画像を用いて、被写体に変化があったかを判定する（Ｓ１２３）。被写体に変化がないと判定され（Ｓ１２３でＮｏ）、かつ、露光期間が終了していない場合（Ｓ１２５でＮｏ）、撮像装置１００は、時間Ｔ３が経過した後の時刻ｔ２において、再度非破壊読み出しを行い（Ｓ１２２）、それまでに得られた複数の補助画像を用いて、再度、被写体に変化があったかを判定する（Ｓ１２３）。
【００９０】
一方、被写体に変化があると判定された場合（Ｓ１２３でＹｅｓ）、撮像装置１００は、警告を発する（Ｓ１２４）。例えば、撮像装置１００は、被写体に変化があった旨を示すメッセージを表示部１０３に表示する。なお、撮像装置１００は、警告音又は音声メッセージにより、被写体に変化があった旨をユーザに通知してもよい。
【００９１】
そして、撮像装置１００は、これらの一連の処理を、露光期間が終了するまで、繰り返す（Ｓ１２５）。
【００９２】
露光期間が終了した場合（Ｓ１２５でＹｅｓ）、撮像装置１００は、露光を終了し、非破壊読み出しにより画像を取得する（Ｓ１２６）。
【００９３】
ここで、図１２に示すように、露光時間の増加に伴い、補助画像の輝度は線形的に増加する。つまり、輝度が一定の傾きで増加する。一方で、時刻ｔ０に示すように、被写体の変化が発生した場合、輝度の傾きが変化する。なお、図１２は、瞬間的な外乱が発生した場合を示している。なお、三脚が倒れることで撮影する場面が変わったり、望まない被写体が画面内に侵入した場合等にも輝度の傾きが変化（増加又は減少）する。
【００９４】
具体的には、例えば、撮像装置１００は、複数の時刻に得られた複数の補助画像を用いて輝度の傾きを検出する。そして、撮像装置１００は、新たに得られた補助画像の輝度と、直前に得られた補助画像の輝度とに基づき、傾きを算出し、得られた傾きと、過去の傾きの差が予め定められた閾値を超えるかを判定する。撮像装置１００は、当該差が閾値を超える場合には、被写体に変化があったと判定し、閾値を超えない場合には、被写体に変化がないと判定する。
【００９５】
例えば、図１２に示す例では、時刻ｔ５より前の時点では、例えば、時刻ｔ３及び時刻ｔ４の輝度に基づき過去の傾きが算出される。そして、時刻ｔ４及び時刻ｔ５の輝度に基づき算出された傾きと、過去の傾きとの差が閾値を超える。これにより、警告が発せられる。
【００９６】
撮像装置１００は、上記の判定を、例えば、補助画像の平均輝度を用いて行う。なお、撮像装置１００は、最大輝度を用いてもよいし、補助画像の特定の領域の平均輝度又は最大輝度を用いてもよい。また、撮像装置１００は、１以上の画素を含む領域毎に上記判定を行い、いずれかの領域に変化があると判定した場合に、被写体に変化があると判定してもよい。
【００９７】
このように、本実施の形態に係る撮像装置１００は、対象フレームにおいて複数回の非破壊読み出しを順次行い、複数回の非破壊読み出しで得られた複数の補助画像を用いて、対象フレーム内における被写体の変化を検出する。これにより、例えば、長時間露光の露光中における被写体の変化を検知できるので、長時間露光時の撮影の失敗を早期にユーザに通知できる。よって、撮影が失敗しているにも関わらず、露光が最後まで行われてしまうことを予防できる。
【００９８】
なお、図１３に示すように、被写体に変化があると判定された場合（Ｓ１２３でＹｅｓ）、撮像装置１００は、撮影を停止してもよい（Ｓ１２４Ａ）。これにより、撮像装置１００は、例えば、長時間露光の露光中において異常が発生した場合に、自動的に撮影を停止できるので、撮影が失敗しているにも関わらず、露光が最後まで行われてしまうことを防止できる。
【００９９】
または、図１４に示すように、被写体に変化があると判定された場合（Ｓ１２３でＹｅｓ）、撮像装置１００は、再撮影を行ってもよい（Ｓ１２４Ｂ）。これにより、撮像装置１００は、例えば、長時間露光の露光中において異常が発生した場合に、自動的に再撮影を行える。
【０１００】
または、図１５に示すように、被写体に変化があると判定された場合、撮像装置１００は、撮影により得られた対象フレームの画像に対して被写体の変化の影響を低減するための補正を行ってもよい。具体的には、被写体に変化があると判定された場合（Ｓ１２３でＹｅｓ）、撮像装置１００は、被写体に変化に関する変化情報を保存する（Ｓ１２４Ｃ）。そして、撮像装置１００は、非破壊読み出しにより対象フレームの画像を取得した（Ｓ１２６）後、変化情報を用いて、当該画像を補正する（Ｓ１２７）。
【０１０１】
例えば、撮像装置１００は、１又は複数画素を含む領域毎に変化を判定し、変化があった領域を示す情報と、その変化量とを変化情報として保存する。そして、撮像装置１００は、変化のあった領域に対して、その変化量に対応する輝度値を減算又は加算することで補正を行う。
【０１０２】
なお、図１５に示す処理では、撮像装置１００は、非破壊読み出し毎に変化の判定及び変化情報の保存を行っているが、全ての非破壊読み出しが行われた後、又は破壊読み出しが行われた後に、一括して判定及び変化情報の保存を行ってもよい。
【０１０３】
以上により、撮像装置１００は、被写体に変化が生じた場合でも、その影響を低減した画像を生成できる。
【０１０４】
また、図１１〜図１５を用いて、被写体の変化が検知された場合の複数の動作例を説明したが、これらのうちの複数を組み合わせてもよい。
【０１０５】
（実施の形態４）
本実施の形態では、補助画像を用いて、対象フレームの露光時間を制御する別の手法について説明する。実施の形態１及び２では、自動的に露光時間を制御する方法について述べたが、本実施の形態では、ユーザが露光時間を判断するための情報を提供し、ユーザの操作に基づき露光時間を制御する例を説明する。例えば、本実施の形態の手法は、静止画の長秒露光時に適用できる。
【０１０６】
図１６は、本実施の形態に係る撮像装置１００の動作の流れを示すフローチャートである。図１７は、撮像装置１００の動作を説明するための図である。
【０１０７】
まず、撮像装置１００は、露光を開始する（Ｓ１３１）。次に、撮像装置１００は、非破壊読み出しにより補助画像を取得する（Ｓ１３２）。次に、撮像装置１００は、得られた補助画像を表示部１０３に表示する（Ｓ１３３）。
【０１０８】
ユーザからの露光終了の指示がなく（Ｓ１３４でＮｏ）、かつ、予め定められた露光期間が終了していない場合（Ｓ１３６でＮｏ）、撮像装置１００は、所定の時間経過後に再度非破壊読み出しを行い（Ｓ１３２）、新たに得られた補助画像を表示する（Ｓ１３３）。
【０１０９】
例えば、図１７に示すように予め定められた周期Ｔ４で非破壊読み出しが行われるとともに、読み出された補助画像が順次表示される。なお、非破壊読み出しが行われる間隔は一定でなくてもよい。
【０１１０】
一方、ユーザからの露光終了の指示があった場合（Ｓ１３４でＹｅｓ）、撮像装置１００は、露光を停止し（Ｓ１３５）、非破壊読み出しにより画像を取得する（Ｓ１３７）。また、予め定められた露光期間が終了した場合（Ｓ１３６でＹｅｓ）、撮像装置１００は、非破壊読み出しにより画像を取得する（Ｓ１３７）。
【０１１１】
以上のように、表示部１０３は、対象フレームの露光期間中に補助画像を表示する。また、制御部１０２は、対象フレームの露光期間中に当該対象フレームの露光を終了する指示を受け付ける。これにより、ユーザは、露光期間中に表示される補助画像を参照して、任意のタイミングで露光を停止することができる。よって、ユーザは、所望の輝度レベルの画像を容易に撮影することができる。
【０１１２】
なお、ユーザによる露光終了の指示の手法は特に限定されないが、例えば、露光期間中にユーザがシャッターボタンを押下する、又はタッチパネルを操作する、ことで露光終了の指示が受け付けられる。
【０１１３】
また、ここでは、露光期間中にユーザが露光時間Ｔ１を制御する例を述べたが、露光期間中、又は露光後に、既に得られた複数の補助画像から、ユーザが任意の画像を選択してもよい。この場合、撮像装置１００は、例えば、ステップＳ１３３において、補助画像を表示するとともに当該補助画像を保存する。
【０１１４】
また、例えば、ユーザの操作に従い、撮像装置１００は、図１８に示すような、複数の補助画像のうち一つを選択するためのユーザインタフェースを表示部１０３に表示する。具体的には、露光中であれば、そのタイミングまでに得られた複数の補助画像が一覧表示される。また、露光後であれば、当該露光で得られた全ての補助画像が一覧表示される。ユーザは、当該インタフェースを介して一つの補助画像を選択することで、任意の輝度レベルの画像を選択することができる。なお、露光後に選択が行われる場合には、表示される画像に破壊読み出しにより得られた画像が含まれてもよい。
【０１１５】
なお、選択される画像は１枚に限らず複数であってもよい。また、撮像装置１００は、上記の選択後に、選択されなかった補助画像のデータを削除してもよい。また、撮像装置１００は、露光中に選択が行われた場合には露光を終了してもよい。
【０１１６】
また、図１９に示すように、撮像装置１００は、対象フレームにおいて複数回の非破壊読み出しを順次行い、複数回の非破壊読み出しで得られた複数の画像を動画として記憶部１０４に保存してもよい。また、撮像装置１００は、この動画を再生し、再生された動画を表示部１０３に表示してもよい。つまり、撮像装置１００は、複数回の非破壊読み出しで得られた複数の画像を動画のファイル形式で保存する。例えば、画面間予測等が用いられる動画像符号化方式を含む公知の形式が用いられる。
【０１１７】
また、保存された動画は、露光終了後に自動的に、又はユーザの操作に基づき再生される。
【０１１８】
このように動画形式で非破壊読み出しで得られた複数の画像を保存することで、露光期間中の撮影経過そのものを動画作品として保存することができる。また、破壊読み出しで得られた複数の画像のみを用いる場合には、時間経過ぶんの静止画を合成することで動画を生成する必要があるが、上記手法を用いることで、静止画の合成処理を行うことなく動作を生成できる。また、動画形式で複数の画像を保存することで、複数の静止画を保存する場合に比べてデータ量を削減できる。
【０１１９】
以上、本開示の実施の形態に係る撮像装置について説明したが、本開示は、この実施の形態に限定されるものではない。
【０１２０】
例えば、上記実施の形態に係る撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１２１】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１２２】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１２３】
また、本開示は、撮像装置により実行される制御方法として実現されてもよい。
【０１２４】
また、上記回路図に示す回路構成は、一例であり、本開示は上記回路構成に限定されない。つまり、上記回路構成と同様に、本開示の特徴的な機能を実現できる回路も本開示に含まれる。また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【０１２５】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１２６】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１２７】
以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１２８】
本開示は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に適用できる。
【符号の説明】
【０１２９】
１００  撮像装置
１０１  撮像素子
１０２  制御部
１０３  表示部
１０４  記憶部
２０１  画素
２０２  垂直走査部
２０３  カラム信号処理部
２０４  水平読み出し部
２０５  リセット制御線
２０６  アドレス制御線
２０７  垂直信号線
２０８  水平出力端子
２１１  光電変換部
２１２  電荷蓄積部
２１３  リセットトランジスタ
２１４  増幅トランジスタ
２１５  選択トランジスタ
【図１】
2020031259.tif 000003
【図２Ａ】
2020031259.tif 000004
【図２Ｂ】
2020031259.tif 000005
【図３】
2020031259.tif 000006
【図４】
2020031259.tif 000007
【図５】
2020031259.tif 000008
【図６】
2020031259.tif 000009
【図７】
2020031259.tif 000010
【図８】
2020031259.tif 000011
【図９】
2020031259.tif 000012
【図１０】
2020031259.tif 000013
【図１１】
2020031259.tif 000014
【図１２】
2020031259.tif 000015
【図１３】
2020031259.tif 000016
【図１４】
2020031259.tif 000017
【図１５】
2020031259.tif 000018
【図１６】
2020031259.tif 000019
【図１７】
2020031259.tif 000020
【図１８】
2020031259.tif 000021
【図１９】
2020031259.tif 000022