(57)【要約】【課題】被写体の検出から撮像処理完了までの時間を短縮させることが可能な固体撮像装置を提供する。【解決手段】複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び、第１の読出し速度及び第２の読出し速度での前記画素領域からの読出し動作を制御する制御部を備え、前記制御部は、前記第１の読出し速度での読出し動作が完了し、前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域の少なくとも１行に対する前記シャッタ動作を開始させる、固体撮像装置。【選択図】図１
2019111528.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び、第１の読出し速度及び第２の読出し速度での前記画素領域からの読出し動作を制御する制御部を備え、
前記制御部は、前記第１の読出し速度での読出し動作が完了し、前記第１の読出し速度での読出し動作により前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域の少なくとも１行に対する前記シャッタ動作を開始させる、固体撮像装置。
【請求項２】
前記制御部は、前記検出処理により所定の被写体が検出されれば、開始させた前記シャッタ動作を継続し、前記第２の読出し速度での読出し動作を開始させる、請求項１に記載の固体撮像装置。
【請求項３】
前記制御部は、前記第２の読出し速度での読出し動作を開始させる際に、前記画素領域の一部の領域に対してのみ読出し動作を開始させる、請求項２に記載の固体撮像装置。
【請求項４】
前記制御部は、前記検出処理により検出対象の被写体が検出された領域を含む領域に対して読出し動作を開始させる、請求項３に記載の固体撮像装置。
【請求項５】
前記制御部は、前記検出処理により所定の被写体が検出されなければ、開始させた前記シャッタ動作を停止し、前記画素領域に対するシャッタ動作及び、第１の読出し速度での読出し動作を開始させる、請求項１に記載の固体撮像装置。
【請求項６】
前記制御部は、画素行ごとに順次露光する方式による前記画素領域に対するシャッタ動作を制御する、請求項１に記載の固体撮像装置。
【請求項７】
前記制御部は、全ての画素行に対して一度に露光する方式による前記画素領域に対するシャッタ動作を制御する、請求項１に記載の固体撮像装置。
【請求項８】
前記制御部は、前記検出処理により所定の被写体が検出されれば、前記第１の読出し速度での読出し動作では読み出されていない画素に対し、前記第２の読出し速度での読出し動作を開始させる、請求項７に記載の固体撮像装置。
【請求項９】
前記制御部は、前記第２の読出し速度での読出し動作を開始させる際に、前記画素領域の一部の領域に対してのみ読出し動作を開始させる、請求項８に記載の固体撮像装置。
【請求項１０】
前記制御部は、前記検出処理により検出対象の被写体が検出された領域を含む領域に対して読出し動作を開始させる、請求項９に記載の固体撮像装置。
【請求項１１】
前記第１の読出し速度は、前記第２の読出し速度よりも高速である、請求項１に記載の固体撮像装置。
【請求項１２】
前記第１の読出し速度での読出し動作により前記画素領域から読み出された被写体の検出処理を実行する検出部をさらに備える、請求項１に記載の固体撮像装置。
【請求項１３】
プロセッサが、
複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び第１の読出し速度での前記画素領域からの読出し動作を制御することと、
前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域に対する少なくとも１行に対する前記シャッタ動作を開始させるとともに、第２の読出し速度での前記画素領域からの読出し動作を制御することと、
を実行することを含む、固体撮像装置の制御方法。
【請求項１４】
コンピュータに、
複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び第１の読出し速度での前記画素領域からの読出し動作を制御することと、
前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域に対する少なくとも１行に対する前記シャッタ動作を開始させるとともに、第２の読出し速度での前記画素領域からの読出し動作を制御することと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、固体撮像装置、固体撮像装置の制御方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
周期的にイメージセンサ内の少なくとも一部の画素から読み出したデータに所定の被写体が存在していることを検知すると、イメージセンサからデータを読み出す撮像処理を開始する撮像装置の技術が、例えば特許文献１等に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１２６８９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
所定の被写体の検出のための検出処理には所定の時間を要する。従って、検出処理が完了してからイメージセンサのシャッタ動作を開始させたのでは、被写体の検出から撮像処理完了までの時間が長くなる。被写体の検出から撮像処理完了までの時間が長くなると、場合によっては検出した被写体が撮像処理により得られる画像に写っていない可能性もある。【０００５】
そこで本開示では、被写体の検出から撮像処理完了までの時間を短縮させることが可能な、新規かつ改良された固体撮像装置、固体撮像装置の制御方法およびコンピュータプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び、第１の読出し速度及び第２の読出し速度での前記画素領域からの読出し動作を制御する制御部を備え、前記制御部は、前記第１の読出し速度での読出し動作が完了し、前記第１の読出し速度での読出し動作により前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域の少なくとも１行に対する前記シャッタ動作を開始させる、固体撮像装置が提供される。【０００７】
また本開示によれば、プロセッサが、複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び第１の読出し速度での前記画素領域からの読出し動作を制御することと、前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域に対する少なくとも１行に対する前記シャッタ動作を開始させるとともに、第２の読出し速度での前記画素領域からの読出し動作を制御することと、を実行することを含む、固体撮像装置の制御方法が提供される。【０００８】
また本開示によれば、コンピュータに、複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び第１の読出し速度での前記画素領域からの読出し動作を制御することと、前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域に対する少なくとも１行に対する前記シャッタ動作を開始させるとともに、第２の読出し速度での前記画素領域からの読出し動作を制御することと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、被写体の検出から撮像処理完了までの時間を短縮させることが可能な、新規かつ改良された固体撮像装置、固体撮像装置の制御方法およびコンピュータプログラムを提供することが出来る。【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】ＣＭＯＳ固体撮像装置の概略構成を示す説明図である。
【図２】本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
【図３】本開示の実施の形態に係る撮像装置１００の機能構成例について示す説明図である。
【図４Ａ】固体撮像装置１の動作例を説明するための説明図である。
【図４Ｂ】固体撮像装置１の動作例を説明するための説明図である。
【図５Ａ】固体撮像装置１の動作例を説明するための説明図である。
【図５Ｂ】固体撮像装置１の動作例を説明するための説明図である。
【図６】本開示の実施の形態に係る固体撮像装置１の動作例を示す流れ図である。
【図７】固体撮像装置１の動作例を説明するための説明図である。
【図８】固体撮像装置１の動作例を説明するための説明図である。
【図９Ａ】固体撮像装置１の動作例を説明するための説明図である。
【図９Ｂ】固体撮像装置１の動作例を説明するための説明図である。
【図１０Ａ】固体撮像装置１の動作例を説明するための説明図である。
【図１０Ｂ】固体撮像装置１の動作例を説明するための説明図である。
【図１１】固体撮像装置１の動作例を説明するための説明図である。
【図１２】固体撮像装置１の動作例を説明するための説明図である。
【図１３Ａ】固体撮像装置１による低解像度読み出し及び高解像度読み出しを説明する説明図である。
【図１３Ｂ】固体撮像装置１による低解像度読み出し及び高解像度読み出しを説明する説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．概略構成
１．２．機能構成例
１．３．動作例
２．まとめ
【００１４】
＜１．本開示の実施形態＞
＜１．１．概略構成＞
図１に、本開示の一実施形態に係る固体撮像装置の構成の一例として、ＣＭＯＳ固体撮像装置の概略構成を示す。このＣＭＯＳ固体撮像装置は、各実施の形態の固体撮像装置に適用される。本例の固体撮像装置１は、図１に示すように、半導体基板１１、例えばシリコン基板に複数の光電変換部を含む画素２が規則的に２次元アレイ状に配列された画素アレイ（いわゆる画素領域）３と、周辺回路部とを有して構成される。画素２は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタ（いわゆるＭＯＳトランジスタ）を有して成る。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの３つのトランジスタで構成することができる。その他、選択トランジスタ追加して４つのトランジスタで構成することもできる。なお、単位画素の等価回路の一例については別途後述する。画素２は、１つの単位画素として構成することができる。また、画素２は、共有画素構造とすることもできる。この共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有する１つのフローティングディフージョンと、共有する１つずつの他の画素トランジスタとから構成される。すなわち、共有画素では、複数の単位画素を構成するフォトダイオード及び転送トランジスタが、他の１つずつの画素トランジスタを共有して構成される。
【００１５】
周辺回路部は、垂直駆動回路４と、カラム信号処理回路５と、水平駆動回路６と、出力回路７と、制御回路８などを有して構成される。
【００１６】
制御回路８は、入力クロックと、動作モードなどを指令するデータを受け取り、また固体撮像装置の内部情報などのデータを出力する。すなわち、制御回路８では、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６などの動作の基準となるクロック信号や制御信号を生成する。そして、これらの信号を垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６等に入力する。
【００１７】
垂直駆動回路４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素を駆動するためのパルスを供給し、行単位で画素を駆動する。すなわち、垂直駆動回路４は、画素アレイ３の各画素２を行単位で順次垂直方向に選択走査し、垂直信号線９を通して各画素２の光電変換部となる例えばフォトダイオードにおいて受光量に応じて生成した信号電荷に基づく画素信号をカラム信号処理回路５に供給する。
【００１８】
カラム信号処理回路５は、画素２の例えば列ごとに配置されており、１行分の画素２から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。すなわちカラム信号処理回路５は、画素２固有の固定パターンノイズを除去するためのＣＤＳや、信号増幅、ＡＤ変換等の信号処理を行う。カラム信号処理回路５の出力段には水平選択スイッチ（図示せず）が水平信号線１０との間に接続されて設けられる。
【００１９】
水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１０に出力させる。
【００２０】
出力回路７は、カラム信号処理回路５の各々から水平信号線１０を通して順次に供給される信号に対し、信号処理を行って出力する。例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。入出力端子１２は、外部と信号のやりとりをする。
【００２１】
また、図２は、本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
【００２２】
図２のＡは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置２３０１０は、図２のＡに示すように、１枚のダイ（半導体基板）２３０１１を有する。このダイ２３０１１には、画素がアレイ状に配置された画素領域２３０１２と、画素の駆動その他の各種の制御を行う制御回路２３０１３と、信号処理するためのロジック回路２３０１４とが搭載されている。
【００２３】
図２のＢ及びＣは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置２３０２０は、図２のＢ及びＣに示すように、センサダイ２３０２１とロジックダイ２３０２４との２枚のダイが積層され、電気的に接続されて、１つの半導体チップとして構成されている。
【００２４】
図２のＢでは、センサダイ２３０２１には、画素領域２３０１２と制御回路２３０１３が搭載され、ロジックダイ２３０２４には、信号処理を行う信号処理回路を含むロジック回路２３０１４が搭載されている。
【００２５】
図２のＣでは、センサダイ２３０２１には、画素領域２３０１２が搭載され、ロジックダイ２３０２４には、制御回路２３０１３及びロジック回路２３０１４が搭載されている。
【００２６】
図２に示したロジック回路２３０１４では、以下で詳細に説明する検出処理が実行される。ロジック回路２３０１４での検出処理の結果、制御回路２３０１３によって画素領域２３０１２に対する画素の駆動が行われる。
【００２７】
＜１．２．機能構成例＞
続いて、本開示の実施の形態に係る固体撮像装置１が搭載される撮像装置１００の機能構成例を説明する。図３は、本開示の実施の形態に係る撮像装置１００の機能構成例について示す説明図である。図３に示した撮像装置１００は、例えば監視カメラの用途に用いられうる装置である。撮像装置１００は、定期的に所定の被写体の検出処理を行い、検出結果に基づいて撮像処理を実行するように構成された装置である。
【００２８】
図３に示したように、本開示の実施の形態に係る撮像装置１００は、固体撮像装置１と、信号処理部１１０と、表示部１２０と、記憶部１３０と、を含んで構成される。
【００２９】
信号処理部１１０は、固体撮像装置１から出力されるデータに対して信号処理を実行する。従って、信号処理部１１０は、所定のプロセッサで構成されうる。具体的には、信号処理部１１０は、固体撮像装置１から出力されるデータを用いた画像生成処理を実行する。信号処理部１１０は、生成した画像を表示部１２０へ出力したり、記憶部１３０に記憶させたりする。なお、本実施形態では、被写体の検出処理は固体撮像装置１において実行されるが、本開示は係る例に限定されるものではなく、例えば、信号処理部１１０において被写体の検出処理が実行されても良い。
【００３０】
表示部１２０は、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイデバイスで構成され、様々な情報、例えば、固体撮像装置１によって撮像された画像を表示する。また記憶部１３０は、ＲＯＭ、ＲＡＭ等の記憶デバイスで構成され、撮像装置１００を動作させるための各種コンピュータプログラムや設定等を記憶する。また記憶部１３０は、固体撮像装置１によって撮像され、信号処理部１１０によって生成された画像データを記憶する。
【００３１】
＜１．３．動作例＞
（ローリングシャッタの場合）
続いて、本開示の実施の形態に係る固体撮像装置１の動作例を説明する。まず、本開示の実施の形態に係る固体撮像装置１の動作例を説明する前に、固体撮像装置１により撮像された画像を用いた検出処理が完了してから、固体撮像装置１のシャッタ動作を開始して画像データを得る場合の動作を説明する。また以降の説明では、固体撮像装置１がローリングシャッタ方式、すなわち画素の行ごとに順次露光する方式により撮像するものとする。
【００３２】
図４Ａ、４Ｂは、固体撮像装置１の動作例を説明するための説明図である。図４Ａのセンサ動作の内、破線で示したものは検出対象の被写体を検出するためのシャッタおよび読み出し動作であり、実線で示したものは、検出対象の被写体が存在した場合のシャッタおよび読み出し動作である。以降の同様の図において、センサ動作として示しているものは、画素の最上行から最下行までのシャッタおよび読み出し動作を表している。
【００３３】
固体撮像装置１から読み出したデータから被写体を検出するためには、画素の全てを用いる必要は無く、一部の行、または領域に限定したシャッタ動作および読み出し動作を行えば良い。従って、被写体を検出するためのシャッタおよび読み出し動作は、検出対象の被写体が存在した場合のシャッタおよび読み出し動作よりも高速に動作する。被写体を検出するためのシャッタおよび読み出し動作を総称して低解像度読み出し、検出対象の被写体が存在した場合のシャッタおよび読み出し動作を総称して高解像度読み出しとも称する。なお、本実施形態では、被写体を検出するためのシャッタおよび読み出し動作と、被写体が存在した場合のシャッタおよび読み出し動作との速度を変化させているが、本開示は係る例に限定されるものではなく、それぞれの動作が同じ速度で行われても良い。
【００３４】
図４Ａは、最初の検出処理で検出対象の被写体を検出できれば、高解像度読み出しを実行し、高解像度読み出しの後に低解像度読み出しを実行する場合の固体撮像装置１の動作例である。また図４Ｂは、検出処理で検出対象の被写体を検出できない場合の固体撮像装置１の動作例である。なお、以降の図において、低解像度読み出し、高解像度読み出し及び検出処理の所要時間は一例に過ぎないことは言うまでも無い。
【００３５】
固体撮像装置１により撮像された画像を用いた検出処理が完了してから、固体撮像装置１のシャッタ動作を開始して画像データを得る場合、図４Ａ、図４Ｂのいずれのケースであっても、検出処理が完了しなければ、低解像度読み出しまたは高解像度読み出しを実行出来ない。特に、高解像度読み出しは低解像度読み出しに比べて動作時間を要するため、検出処理の結果、検出対象の被写体が検出されたとしても、その被写体の移動速度によっては高解像度読み出しを行ってもその被写体が画像に写っていない可能性もある。
【００３６】
そこで本実施形態に係る固体撮像装置１は、低解像度読み出しを行い、低解像度読み出しによるデータを用いた検出処理を行っている最中に高解像度読み出しのためのシャッタ動作を実行させる。このように高解像度読み出しのためのシャッタ動作を先行して実行することで、本実施形態に係る固体撮像装置１は、被写体の検出から撮像処理完了までの時間を短縮させることが可能となる。
【００３７】
図５Ａ、５Ｂは、固体撮像装置１の動作例を説明するための説明図である。図５Ａは、最初の検出処理で検出対象の被写体を検出できれば、高解像度読み出しを実行し、高解像度読み出しの後に低解像度読み出しを実行する場合の固体撮像装置１の動作例である。また図５Ｂは、検出処理で検出対象の被写体を検出できない場合の固体撮像装置１の動作例である。
【００３８】
図５Ａに示したように、本開示の実施の形態に係る固体撮像装置１は、検出処理が完了してから高解像度読み出しのためのシャッタ動作を開始するのでは無く、検出処理による検出結果にかかわらず、検出処理の最中に高解像度読み出しのためのシャッタ動作を実施する。高解像度読み出しのためのシャッタ動作の開始タイミングは、図５Ａでは検出処理の最中となっているが、検出処理を行っている最中にいずれかの行で高解像度読み出しが行われていれば、そして、検出処理が終了し、被写体が検出できたと判定した直後に最上行の画素からの読出し処理が開始できれば、高解像度読み出しのためのシャッタ動作の開始タイミングは問わない。
【００３９】
そして固体撮像装置１は、図５Ａに示したように、高解像度読み出しを行っている最中に、再び低解像度読み出しのためのシャッタ動作を開始する。図５Ａでは、高解像度読み出し動作の終了時点と、低解像度読み出しでのシャッタ動作の終了時点とが重なるよう、高解像度読み出しを行っている最中に、低解像度読み出しのためのシャッタ動作を開始しているが、この低解像度読み出しのためのシャッタ動作の開始タイミングも図５Ａに示したものに限定されるものでは無い。
【００４０】
一方、検出処理で検出対象の被写体を検出できない場合は、固体撮像装置１は、図５Ｂに示したように、検出処理の終了時点で高解像度読み出しでのシャッタ動作を停止し、高解像度読み出しでのシャッタ動作により画素に蓄積された電荷を破棄して、再び低解像度読み出しのためのシャッタ動作を開始する。
【００４１】
図６は、本開示の実施の形態に係る固体撮像装置１の動作例を示す流れ図である。図６に示したのは、固体撮像装置１が撮像した画像に検出対象の被写体が存在するかを判定し、存在していれば高解像度の画像を撮像する場合の、固体撮像装置１の動作例である。以下、図６を用いて本開示の実施の形態に係る固体撮像装置１の動作例を説明する。
【００４２】
固体撮像装置１は、検出処理のために、まず低解像度読み出し用のシャッタ動作を開始し（ステップＳ１０１）、低解像度読み出しとして、シャッタ動作により画素に蓄積されたデータを読み出す（ステップＳ１０２）。
【００４３】
続いて固体撮像装置１は、低解像度読み出しによる画像を用いた被写体の検出処理を開始する（ステップＳ１０３）。そして固体撮像装置１は、被写体の検出処理が完了する魔に、高解像度読み出し用のシャッタ動作を開始する（ステップＳ１０４）。
【００４４】
続いて固体撮像装置１は、低解像度読み出しによる画像を用いた被写体の検出処理を完了し（ステップＳ１０５）、所定の検出対象の被写体を検出したかどうか判定する（ステップＳ１０６）。所定の検出対象の被写体を検出していれば（ステップＳ１０６、Ｙｅｓ）、固体撮像装置１は高解像度読み出し用のシャッタ動作により画素に蓄積されたデータを読み出す（ステップＳ１０７）。固体撮像装置１は、画素に蓄積されたデータを読み出すと、ステップＳ１０１の低解像度読み出し用のシャッタ動作に戻る。一方、所定の検出対象の被写体を検出していなければ（ステップＳ１０６、Ｎｏ）、固体撮像装置１は高解像度読み出し用のシャッタ動作により画素に蓄積されたデータを破棄し、ステップＳ１０１の低解像度読み出し用のシャッタ動作に戻る。
【００４５】
固体撮像装置１は、低解像度読み出しによる画像を用いた被写体の検出処理によって検出対象の被写体を検出した場合、高解像度読み出しの際に部分的に読出しを行っても良い。図７は、固体撮像装置１の動作例を説明するための説明図である。このように、固体撮像装置１は検出対象の被写体を検出した場合、高解像度読み出しの際に全ての行に対して読出しを実行するのでは無く、被写体を検出した部分を含んだ領域（注目領域（ＲＯＩ：Ｒｅｇｉｏｎ−ｏｆ−Ｉｎｔｅｒｅｓｔ））について部分的に読出しを実行しても良い。
【００４６】
固体撮像装置１は、低解像度読み出しによる画像を用いた被写体の検出処理によって検出対象の被写体を検出しなかった場合、先行して実行している高解像度読み出し用のシャッタ動作を継続し、画素に蓄積されたデータを読み出す際に、低解像度で、すなわち一部の画素に対して読み出し動作を実行しても良い。
【００４７】
図８は、固体撮像装置１の動作例を説明するための説明図である。図８に示したように、固体撮像装置１は検出対象の被写体を検出しなかった場合、先行して実行している高解像度読み出し用のシャッタ動作を継続し、一部の画素に対して読み出し動作を実行しても良い。固体撮像装置１は、その際の読出し速度を、高解像度読み出し用のシャッタ動作と合わせても良い。
【００４８】
（グローバルシャッタの場合）
ここまでは、固体撮像装置１が画素の行ごとに順次露光するローリングシャッタ方式により撮像するものである場合を説明した。続いて、固体撮像装置１が全ての画素に一度に露光するグローバルシャッタ方式により撮像するものである場合を説明する。
【００４９】
まず、本開示の実施の形態に係る固体撮像装置１の動作例を説明する前に、固体撮像装置１により撮像された画像を用いた検出処理が完了してから、固体撮像装置１のシャッタ動作を開始して画像データを得る場合の動作を説明する。
【００５０】
図９Ａ、９Ｂは、固体撮像装置１の動作例を説明するための説明図である。図９Ａのセンサ動作の内、破線で示したものは検出対象の被写体を検出するためのシャッタおよび読み出し動作であり、実線で示したものは、検出対象の被写体が存在した場合のシャッタおよび読み出し動作である。以降の同様の図において、センサ動作として示しているものは、画素の最上行から最下行までのシャッタおよび読み出し動作を表している。
【００５１】
被写体を検出するためには、画素の全てを用いる必要は無く、一部の行、または領域に限定した読み出し動作を行えば良い。従って、被写体を検出するための読み出し動作は、検出対象の被写体が存在した場合の読み出し動作よりも高速に動作する。被写体を検出するためのシャッタおよび読み出し動作を総称して低解像度読み出し、検出対象の被写体が存在した場合のシャッタおよび読み出し動作を総称して高解像度読み出しとも称する。
【００５２】
図９Ａは、最初の検出処理で検出対象の被写体を検出できれば、高解像度読み出しを実行し、高解像度読み出しの後に低解像度読み出しを実行する場合の固体撮像装置１の動作例である。また図９Ｂは、検出処理で検出対象の被写体を検出できない場合の固体撮像装置１の動作例である。なお、以降の図において、低解像度読み出し、高解像度読み出し及び検出処理の所要時間は一例に過ぎないことは言うまでも無い。
【００５３】
固体撮像装置１により撮像された画像を用いた検出処理が完了してから、固体撮像装置１のシャッタ動作を開始して画像データを得る場合、図９Ａ、図９Ｂのいずれのケースであっても、検出処理が完了しなければ、低解像度読み出しまたは高解像度読み出しのためのシャッタ動作を実行出来ない。特に、高解像度読み出しは低解像度読み出しに比べて動作時間を要するため、検出処理の結果、検出対象の被写体が検出されたとしても、その被写体の移動速度によっては高解像度読み出しを行ってもその被写体が画像に写っていない可能性もある。
【００５４】
そこで本実施形態に係る固体撮像装置１は、低解像度読み出しを行い、低解像度読み出しによるデータを用いた検出処理を行っている最中に高解像度読み出しのためのシャッタ動作を実行させる。このように高解像度読み出しのためのシャッタ動作を先行して実行することで、本実施形態に係る固体撮像装置１は、被写体の検出から撮像処理完了までの時間を短縮させることが可能となる。
【００５５】
図１０Ａ、１０Ｂは、固体撮像装置１の動作例を説明するための説明図である。図１０Ａは、最初の検出処理で検出対象の被写体を検出できれば、高解像度読み出しを実行し、高解像度読み出しの後に低解像度読み出しを実行する場合の固体撮像装置１の動作例である。また図１０Ｂは、検出処理で検出対象の被写体を検出できない場合の固体撮像装置１の動作例である。
【００５６】
図１０Ａに示したように、本開示の実施の形態に係る固体撮像装置１は、検出処理が完了してから高解像度読み出しを開始するのでは無く、検出処理による検出結果にかかわらず、検出処理の最中に高解像度読み出しのためのシャッタ動作を実施する。
【００５７】
そして固体撮像装置１は、図１０Ａに示したように、検出処理で検出対象の被写体を検出できれば、高解像度読み出しを実行する。さらに固体撮像装置１は、図１０Ａに示したように、高解像度読み出しを実行している最中に、次の検出処理のためのシャッタ動作を実行する。
【００５８】
一方、検出処理で検出対象の被写体を検出できない場合は、固体撮像装置１は、図１０Ｂに示したように、検出処理の終了時点で、低解像度読み出しのためのシャッタ動作を開始する。検出処理の最中にシャッタ動作が行われているので、検出処理で検出対象の被写体を検出できない場合であっても、そのシャッタ動作により画素に蓄積されたデータは無駄にならず、固体撮像装置１は、検出処理の最中に実行したシャッタ動作により画素に蓄積されたデータをそのまま検出処理に用いることが出来る。
【００５９】
固体撮像装置１は、低解像度読み出しによる画像を用いた被写体の検出処理によって検出対象の被写体を検出した場合、高解像度読み出しの際に部分的に読出しを行っても良い。図１１は、固体撮像装置１の動作例を説明するための説明図である。このように、固体撮像装置１は検出対象の被写体を検出した場合、高解像度読み出しの際に全ての行に対して読出しを実行するのでは無く、被写体を検出した部分を含んだ領域について部分的に読出しを実行しても良い。
【００６０】
グローバルシャッタ方式の場合、シャッタ動作は全ての画素に対して行われるが、読出し動作は一部の画素に対して行うことが可能である。そこで固体撮像装置１は、低解像度読み出しによる画像を用いた被写体の検出処理によって検出対象の被写体を検出した場合、低解像度読み出しにおいて読み出されてない画素のデータを読み出すことで高解像度読み出しを行っても良い。固体撮像装置１はこのような動作を行うことで、検出のための画像と、高解像度で撮像した場合の時間差を無くすことが出来る。
【００６１】
図１２は、固体撮像装置１の動作例を説明するための説明図である。低解像度読み出しによる画像を用いた被写体の検出処理によって検出対象の被写体を検出した場合、低解像度読み出しにおいて読み出されてない画素のデータを読み出すことで高解像度読み出しを行う。この場合、固体撮像装置１は、高解像度読み出しの際に、例えば注目領域に限定して、部分的に読出しを行っても良い。
【００６２】
図１３Ａ、１３Ｂは、本開示の実施の形態に係る固体撮像装置１による低解像度読み出し及び高解像度読み出しを説明する説明図である。図１３Ａは、行単位で画素からデータを読み出す場合の、固体撮像装置１による低解像度読み出し及び高解像度読み出しを説明し、図１３Ｂは、画素単位で画素からデータを読み出す場合の、固体撮像装置１による低解像度読み出し及び高解像度読み出しを説明したものである。
【００６３】
図１３Ａのように、固体撮像装置１による低解像度読み出しが行単位で画素からデータを読み出すものである場合、低解像度読み出しによって読み出されていない行を高解像度読み出しの読出し対象とする。図１３Ａの例では、１行目、４行目、７行目、１０行目が低解像度読み出しによって読み出された行である。従って、高解像度読み出しの読出し対象はそれらの行以外の行となる。その際、固体撮像装置１は、注目領域に限定して高解像度読み出しを実行しても良い。例えば、注目領域が４行目から９行目である場合、固体撮像装置１は、５行目、６行目、８行目、９行目を高解像度読み出しの読出し対象とする。
【００６４】
このように低解像度読み出しによって読み出されていない行を高解像度読み出しの読出し対象とする場合、固体撮像装置１は、低解像度読み出しによって読み出された行に対しては、高解像度読み出しにより読み出した画素の情報を用いて補間処理を行う。
【００６５】
図１３Ｂのように、固体撮像装置１による低解像度読み出しが画素単位で画素からデータを読み出すものである場合、低解像度読み出しによって読み出されていない画素を高解像度読み出しの読出し対象とする。図１３Ｂの例では、縦方向、横方向ともに３画素に１画素の割合で低解像度読み出しが行われている。従って、固体撮像装置１は、低解像度読み出しによって読み出されていない画素を高解像度読み出しの読出し対象とする。その際、固体撮像装置１は、上述したのと同じように、注目領域に限定して高解像度読み出しを実行しても良い。
【００６６】
図１３Ｂのように、画素単位で画素からデータを読み出す場合、低解像度読み出しの際には、固体撮像装置１は、緑の画素だけを使って読み出しても良い。これは、被写体を検出するには輝度情報があれば十分だからである。
【００６７】
このように低解像度読み出しによって読み出されていない画素を高解像度読み出しの読出し対象とする場合、固体撮像装置１は、低解像度読み出しによって読み出された画素に対しては、高解像度読み出しにより読み出した画素の情報を用いて補間処理を行う。図１３Ｂのように、画素単位で画素からデータを読み出すことで、固体撮像装置１は、高解像度読み出しの際に補間処理をより容易にすることができる。
【００６８】
＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、低解像度読み出しを行い、低解像度読み出しによるデータを用いた検出処理を行っている最中に高解像度読み出しのためのシャッタ動作を実行させる固体撮像装置１が提供される。このように高解像度読み出しのためのシャッタ動作を先行して実行することで、本実施形態に係る固体撮像装置１は、被写体の検出から撮像処理完了までの時間を短縮させることが可能となる。
【００６９】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７０】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【００７１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００７３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び、第１の読出し速度及び第２の読出し速度での前記画素領域からの読出し動作を制御する制御部を備え、
前記制御部は、前記第１の読出し速度での読出し動作が完了し、前記第１の読出し速度での読出し動作により前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域の少なくとも１行に対する前記シャッタ動作を開始させる、固体撮像装置。
（２）
前記制御部は、前記検出処理により所定の被写体が検出されれば、開始させた前記シャッタ動作を継続し、前記第２の読出し速度での読出し動作を開始させる、前記（１）に記載の固体撮像装置。
（３）
前記制御部は、前記第２の読出し速度での読出し動作を開始させる際に、前記画素領域の一部の領域に対してのみ読出し動作を開始させる、前記（２）に記載の固体撮像装置。
（４）
前記制御部は、前記検出処理により検出対象の被写体が検出された領域を含む領域に対して読出し動作を開始させる、前記（３）に記載の固体撮像装置。
（５）
前記制御部は、前記検出処理により所定の被写体が検出されなければ、開始させた前記シャッタ動作を停止し、前記画素領域に対するシャッタ動作及び、第１の読出し速度での読出し動作を開始させる、前記（１）に記載の固体撮像装置。
（６）
前記制御部は、画素行ごとに順次露光する方式による前記画素領域に対するシャッタ動作を制御する、前記（１）〜（５）のいずれかに記載の固体撮像装置。
（７）
前記制御部は、全ての画素行に対して一度に露光する方式による前記画素領域に対するシャッタ動作を制御する、前記（１）に記載の固体撮像装置。
（８）
前記制御部は、前記検出処理により所定の被写体が検出されれば、前記第１の読出し速度での読出し動作では読み出されていない画素に対し、前記第２の読出し速度での読出し動作を開始させる、前記（７）に記載の固体撮像装置。
（９）
前記制御部は、前記第２の読出し速度での読出し動作を開始させる際に、前記画素領域の一部の領域に対してのみ読出し動作を開始させる、前記（８）に記載の固体撮像装置。
（１０）
前記制御部は、前記検出処理により検出対象の被写体が検出された領域を含む領域に対して読出し動作を開始させる、前記（９）に記載の固体撮像装置。
（１１）
前記第１の読出し速度は、前記第２の読出し速度よりも高速である、前記（１）〜（１０）のいずれかに記載の固体撮像装置。
（１２）
前記第１の読出し速度での読出し動作により前記画素領域から読み出された被写体の検出処理を実行する検出部をさらに備える、前記（１）〜（１１）のいずれかに記載の固体撮像装置。
（１３）
プロセッサが、
複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び第１の読出し速度での前記画素領域からの読出し動作を制御することと、
前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域に対する少なくとも１行に対する前記シャッタ動作を開始させるとともに、第２の読出し速度での前記画素領域からの読出し動作を制御することと、
を実行することを含む、固体撮像装置の制御方法。
（１４）
コンピュータに、
複数の画素がマトリクス状に配置される画素領域に対するシャッタ動作及び第１の読出し速度での前記画素領域からの読出し動作を制御することと、
前記画素領域から読み出された被写体の検出処理が実行されている最中に、前記画素領域に対する少なくとも１行に対する前記シャッタ動作を開始させるとともに、第２の読出し速度での前記画素領域からの読出し動作を制御することと、
を実行させる、コンピュータプログラム。
【符号の説明】
【００７４】
１    固体撮像装置
１００    撮像装置
１１０    信号処理部
１２０    表示部
１３０    記憶部
【図１】
2019111528.tif 000003
【図２】
2019111528.tif 000004
【図３】
2019111528.tif 000005
【図４Ａ】
2019111528.tif 000006
【図４Ｂ】
2019111528.tif 000007
【図５Ａ】
2019111528.tif 000008
【図５Ｂ】
2019111528.tif 000009
【図６】
2019111528.tif 000010
【図７】
2019111528.tif 000011
【図８】
2019111528.tif 000012
【図９Ａ】
2019111528.tif 000013
【図９Ｂ】
2019111528.tif 000014
【図１０Ａ】
2019111528.tif 000015
【図１０Ｂ】
2019111528.tif 000016
【図１１】
2019111528.tif 000017
【図１２】
2019111528.tif 000018
【図１３Ａ】
2019111528.tif 000019
【図１３Ｂ】
2019111528.tif 000020
【国際調査報告】
2019111528.tif 000021
2019111528.tif 000022
2019111528.tif 000023
2019111528.tif 000024