(57)【要約】【課題】低消費電力で、連続する動画像フレームを生成しながら静止画像フレームを生成することができるようにする。【解決手段】撮像装置は、光電変換に基づく画素信号を出力する複数の画素と、画素信号を増幅する増幅部と、連続する複数のフレームでは、複数の画素の画素信号に基づく動画像フレームをそれぞれ生成するように制御し、連続する複数のフレームのうちの少なくも１つのフレームでは、複数の画素の画素信号に基づく動画像フレームと静止画像フレームを生成するように制御する制御部とを有し、制御部は、連続する複数のフレームのうちの少なくも１つのフレームでは、増幅部により増幅された画素信号を基に静止画像フレームを生成するように制御し、連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、増幅部により増幅されてない画素信号を基に動画像フレームを生成するように制御する。【選択図】図４
2020195078.tif 000002
【特許請求の範囲】
【請求項１】
光電変換に基づく画素信号を出力する複数の画素と、
前記画素信号を増幅する増幅部と、
連続する複数のフレームでは、前記複数の画素の画素信号に基づく動画像フレームをそれぞれ生成するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記複数の画素の画素信号に基づく動画像フレームと静止画像フレームを生成するように制御する制御部とを有し、
前記制御部は、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部により増幅された画素信号を基に静止画像フレームを生成するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、前記増幅部により増幅されてない画素信号を基に動画像フレームを生成するように制御することを特徴とする撮像装置。
【請求項２】
前記動画像フレームは、前記静止画像フレームより画素数が少ないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部により増幅された画素信号を基に静止画像フレームと動画像フレームを生成するように制御することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部により増幅された画素信号を加算または間引くことにより動画像フレームを生成し、前記連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、前記増幅部により増幅されてない画素信号を加算または間引くことにより動画像フレームを生成する動画像生成部をさらに有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部により増幅された画素信号をアナログからデジタルに変換し、前記連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、前記増幅部により増幅されてない画素信号をアナログからデジタルに変換するアナログデジタル変換部をさらに有することを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記制御部は、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部に電源電圧を供給するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、前記増幅部に電源電圧を供給しないように制御することを特徴とする請求項３〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記画素は、
光電変換に基づく画素信号を生成する光電変換部と、
前記光電変換部の出力端子を前記増幅部の入力端子に接続するための第１のスイッチと、
前記光電変換部の出力端子を前記増幅部の出力端子に接続するための第２のスイッチとを有することを特徴とする請求項３〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記増幅部の出力端子を第１のノードに接続するための第１のスイッチと、
前記画素の出力端子を前記第１のノードに接続するための第２のスイッチとをさらに有し、
前記増幅部の入力端子は、前記画素の出力端子に接続されることを特徴とする請求項３〜６のいずれか１項に記載の撮像装置。
【請求項９】
前記制御部は、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部により増幅された画素信号を基に静止画像フレームを生成し、前記増幅部により増幅されていない画素信号を基に動画像フレームを生成するように制御することを特徴とする請求項１または２に記載の撮像装置。
【請求項１０】
前記画素は、
光電変換に基づく画素信号を生成する光電変換部と、
前記光電変換部の出力端子を信号線に接続するための第１のスイッチと、
前記光電変換部の出力端子を前記増幅部の入力端子に接続するための第２のスイッチとを有することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記信号線の画素信号をアナログからデジタルに変換する第１のアナログデジタル変換部と、
前記増幅部により増幅された画素信号をアナログからデジタルに変換する第２のアナログデジタル変換部とをさらに有することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御部は、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部に電源電圧を供給するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、前記増幅部に電源電圧を供給しないように制御することを特徴とする請求項９〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記連続する複数のフレームでは、前記第１のアナログデジタル変換部により変換されたデジタルの画素信号を加算または間引くことにより動画像フレームを生成する動画像生成部をさらに有することを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
前記制御部は、前記連続する複数のフレームでは、前記複数の画素の画素信号を加算または間引くように前記信号線に読み出すように制御することを特徴とする請求項１０または１１に記載の撮像装置。
【請求項１５】
光電変換に基づく画素信号を出力する複数の画素と、
前記画素信号を増幅する増幅部とを有する撮像装置の制御方法であって、
連続する複数のフレームでは、前記複数の画素の画素信号に基づく動画像フレームをそれぞれ生成するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記複数の画素の画素信号に基づく動画像フレームと静止画像フレームを生成するように制御し、
前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部により増幅された画素信号を基に静止画像フレームを生成するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、前記増幅部により増幅されてない画素信号を基に動画像フレームを生成するように制御することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
特許文献１には、撮像部と列回路を有する撮像素子が開示されている。撮像部は、光電変換する行列状の画素を有し、各列の画素の信号を各列の信号線に出力する。列回路は、各列の信号線の信号を増幅する。
【０００３】
特許文献２には、アンプ回路をオフにすることによって、消費電力を低減する撮像素子が開示されている。撮像素子は、静止画撮影モードではアンプ回路をオンにすることにより、高画質の静止画像を撮影することができる。また、撮像素子は、動画撮影モードでは、アンプ回路をオフにすることにより、消費電力を低減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−５１９８９号公報
【特許文献２】特開２０１０−１４７６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の撮像素子は、消費電力が大きくなるという課題がある。また、特許文献２の撮像素子は、アンプ回路をオフした状態で動画像を撮影しているときに、動画撮影モードから静止画撮影モードに切り替えると、動画像の撮影が終了してしまう。動画像を撮影しながら静止画像を取得することは困難である。
【０００６】
本発明の目的は、低消費電力で、連続する動画像フレームを生成しながら静止画像フレームを生成することができるようにすることである。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、撮像装置は、光電変換に基づく画素信号を出力する複数の画素と、前記画素信号を増幅する増幅部と、連続する複数のフレームでは、前記複数の画素の画素信号に基づく動画像フレームをそれぞれ生成するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記複数の画素の画素信号に基づく動画像フレームと静止画像フレームを生成するように制御する制御部とを有し、前記制御部は、前記連続する複数のフレームのうちの少なくも１つのフレームでは、前記増幅部により増幅された画素信号を基に静止画像フレームを生成するように制御し、前記連続する複数のフレームのうちの少なくも１つのフレームを除くフレームでは、前記増幅部により増幅されてない画素信号を基に動画像フレームを生成するように制御する。
【発明の効果】
【０００８】
本発明によれば、低消費電力で、連続する動画像フレームを生成しながら静止画像フレームを生成することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成例を示す図である。
【図２】撮像素子の構成例を示す図である。
【図３】撮像装置の制御方法を示すタイミングチャートである。
【図４】撮像装置の制御方法を示すタイミングチャートである。
【図５】撮像素子の構成例を示す図である。
【図６】撮像装置の制御方法を示すタイミングチャートである。
【図７】撮像素子の構成例を示す図である。
【図８】撮像装置の制御方法を示すタイミングチャートである。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、第１の実施形態による撮像装置１００の構成例を示す図である。撮像装置１００は、例えばデジタルカメラまたはビデオカメラであり、動画中静止画モードでは、動画像を撮影しながら静止画像を取得することができる。図１において、点線の矢印は、入射光を示し、一点鎖線の矢印は、画像信号を示し、実線の矢印は、制御信号を示す。
【００１１】
撮像装置１００は、光学鏡筒１０１、撮像素子１０２、信号処理部１０４、圧縮伸張部１０５、制御部１０７、発光部１０８、操作部１０９、表示部１１０および記録部１１１を有する。
【００１２】
光学鏡筒１０１は、被写体からの光を撮像素子１０２に集光するためのレンズと、フォーカス機構部１０１１と、ズーム機構部１０１２と、絞り機構部１０１３と、シャッタ機構部１０１４とを有する。
【００１３】
フォーカス機構部１０１１は、焦点調節を行うフォーカスレンズと、フォーカスレンズを駆動するフォーカス制御回路とを有する。ズーム機構部１０１２は、光学結像の倍率を可変させるズームレンズと、ズームレンズを駆動するズーム制御回路とを有する。絞り機構部１０１３は、撮像素子１０２に入射される光量を調整する。制御部１０７は、フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３およびシャッタ機構部１０１４を制御する。
【００１４】
撮像素子１０２は、制御部１０７の制御の下、光を電荷に変換することにより画像信号を生成し、画像信号をアナログからデジタルに変換し、デジタルの画像信号を信号処理部１０４に出力する。撮像素子１０２の詳細は、図２を参照しながら後述する。
【００１５】
信号処理部１０４は、制御部１０７の制御の下、撮像素子１０２からの画像信号に対して、ホワイトバランス調整処理、色補正処理およびＡＥ（Auto Exposure）処理などの処理を行い、処理後の画像信号および演算信号を制御部１０７に出力する。制御部１０７は、その画像信号および演算信号を内部のＲＡＭ（Random Access Memory）に書き込む。
【００１６】
圧縮伸張部１０５は、制御部１０７の制御の下、制御部１０７内のＲＡＭに書き込まれた画像信号に対して、静止画像データフォーマットで圧縮符号化処理を行い、静止画像の符号化データを生成する。静止画像データフォーマットは、例えば、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などである。また、圧縮伸張部１０５は、静止画像の符号化データを伸張復号化処理する。また、圧縮伸張部１０５は、制御部１０７内のＲＡＭに書き込まれた画像信号に対して、ＭＰＥＧ（Moving Picture Experts Group）方式などの動画像データフォーマットで圧縮符号化処理を行い、動画像の符号化データを生成する。また、圧縮伸張部１０５は、動画像の符号化データを伸張復号化処理する。
【００１７】
制御部１０７は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭを有するマイクロコントローラである。制御部１０７は、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を制御する。
【００１８】
制御部１０７は、信号処理部１０４のＡＥ処理によって被写体の露光値が低いと判断した場合には、発光部１０８を制御する。発光部１０８は、例えばキセノン管を用いたストロボ装置またはＬＥＤ発光装置であり、被写体に対して光を照射する。
【００１９】
操作部１０９は、例えばシャッタレリーズボタンなどの操作キー、レバーおよびダイヤルなどを有し、ユーザの操作に応じた制御信号を制御部１０７に出力する。
【００２０】
表示部１１０は、液晶表示器（ＬＣＤ）などの表示デバイスと、表示デバイスに対するインタフェース回路を有する。表示部１１０は、制御部１０７から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この画像信号を表示デバイスに画像を表示させる。
【００２１】
制御部１０７は、圧縮伸張部１０５により符号化された符号化データを含む画像データファイルを記録部１１１に出力する。記録部１１１は、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（Hard Disk Drive）または磁気テープを有し、制御部１０７からの画像データファイルを記録する。また、記録部１１１は、制御部１０７からの制御信号を基に、画像データファイルを読み出し、画像データファイルを制御部１０７に出力する。
【００２２】
図２は、図１の撮像素子１０２の構成例を示す図である。撮像素子１０２は、撮像部２１と、デジタルフロントエンド部（ＤＦＥ部）２２と、撮像制御部２３とを有する。撮像制御部２３は、図１の制御部１０７からの制御信号を基に、撮像部２１およびＤＦＥ部２２を制御する。撮像部２１は、図１の光学鏡筒１０１から入射された光を電荷に変換することにより画像信号を生成し、画像信号をアナログからデジタルに変換し、デジタルの画像信号をＤＦＥ部２２に出力する。ＤＦＥ部２２は、動画像生成部であり、画像信号に対して、デジタルゲイン処理、画素加算、または画素間引きを行うことにより、動画像フレームを生成する。
【００２３】
動画中静止画モードでは、撮像部２１は、全画素２１１の画像信号をＤＦＥ部２２に出力する。ＤＦＥ部２２は、撮像部２１から入力した画像信号に対して画素加算または画素間引きを行うことにより動画像の画像信号を生成し、撮像部２１から入力した画像信号のうちの静止画撮影指示された画像信号を静止画像の画像信号とする。ＤＦＥ部２２は、動画像の画像信号をメインストリームとして、静止画像の画像信号をサブストリームとして、並列に図１の信号処理部１０４に出力することができる。
【００２４】
ＤＦＥ部２２は、動画撮影指示された期間の複数の動画像フレームを動画像の画像信号として出力し、静止画撮影指示された１つの静止画像フレームを静止画像の画像信号として出力する。撮像装置１００は、動画中静止画モードにおいて、操作部１０９のユーザ操作または制御部１０７の動作指示により、動画像の撮影中に静止画像の撮影を行うことができる。
【００２５】
撮像部２１は、複数の画素２１１、複数の列回路部２１２、垂直制御部２１３および水平制御部２１４を有する。複数の画素２１１は、行列状に配置されている。例えば、複数の画素２１１は、ｍ行ｎ列に配置されている。
【００２６】
複数の画素２１１の各々は、光電変換部２１１１、トランジスタ２１１２およびトランジスタ２１１３を有し、光電変換に基づく画素信号を出力する。光電変換部２１１１は、光を電荷に変換するフォトダイオードと、光電変換部２１１１をリセットするためのトランジスタを有し、光電変換に基づく画素信号を生成する。
【００２７】
トランジスタ２１１２は、スイッチであり、垂直制御部２１３からの制御信号２１１４−１〜２１１４−ｍに応じて、光電変換部２１１１の出力端子を信号線２１２７に接続する。信号線２１２７は、アンプ２１２３の出力端子に接続される。トランジスタ２１１３は、スイッチであり、垂直制御部２１３からの制御信号２１１５−１〜２１１５−ｍに応じて、光電変換部２１１１の出力端子を信号線２１２６に接続する。信号線２１２６は、アンプ２１２３の入力端子に接続される。
【００２８】
トランジスタ２１１２は、垂直制御部２１３からの制御信号２１１４−１〜２１１４−ｍに応じて、光電変換部２１１１により生成された画素信号を信号線２１２７に出力する。トランジスタ２１１３は、垂直制御部２１３からの制御信号２１１５−１〜２１１５−ｍに応じて、光電変換部２１１１により生成された画素信号を信号線２１２６に出力する。
【００２９】
垂直制御部２１３は、各行の制御信号２１１４−１〜２１１４−ｍを各行のトランジスタ２１１２にそれぞれ出力し、各行の制御信号２１１５−１〜２１１５−ｍを各行のトランジスタ２１１３にそれぞれ出力する。
【００３０】
各行のトランジスタ２１１２は、行順次で、各列の信号線２１２７に光電変換部２１１１の画素信号を出力する。また、各行のトランジスタ２１１３は、行順次で、各列の信号線２１２６に光電変換部２１１１の画素信号を出力する。
【００３１】
各列の画素２１１は、それぞれ、各列の信号線２１２６および２１２７を介して、各列の列回路部２１２に接続される。各列の列回路部２１２の各々は、トランジスタ２１２１、電流源２１２２、アンプ２１２３、アナログデジタル変換部（ＡＤ変換部）２１２４および電流源２１２５を有する。
【００３２】
電流源２１２２は、信号線２１２６に接続される。電流源２１２５は、信号線２１２７に接続される。トランジスタ２１２１は、撮像制御部２３からの制御信号２１２８に応じて、電源電圧をアンプ２１２３に供給する。
【００３３】
静止画像撮影では、トランジスタ２１１３がオンになり、光電変換部２１１１は、画素信号を信号線２１２６を介して、アンプ２１２３に出力する。トランジスタ２１２１は、電源電圧をアンプ２１２３に供給し、アンプ２１２３を動作可能状態にする。アンプ２１２３は、増幅部であり、光電変換部２１１１からの画素信号を増幅することにより、ノイズの影響を低減し、高画質の静止画像を生成する。ＡＤ変換部２１２４は、アンプ２１２３により増幅された画素信号をアナログからデジタルに変換し、デジタルの画素信号を保持する。
【００３４】
動画像撮影では、トランジスタ２１１２がオンになり、光電変換部２１１１は、画素信号を信号線２１２７を介して、ＡＤ変換部２１２４に出力する。トランジスタ２１２１は、オフになり、アンプ２１２３に電源電圧を供給せず、アンプ２１２３の消費電力を低減する。アンプ２１２３は、オフになり、出力部がフローティング状態になる。ＡＤ変換部２１２４は、光電変換部２１１１からの画素信号をアナログからデジタルに変換し、デジタルの画素信号を保持する。
【００３５】
水平制御部２１４は、撮像制御部２３の制御の下、各列のＡＤ変換部２１２４に記憶されている画素信号を順に出力線２１５に出力させる。
【００３６】
ＤＦＥ部２２は、出力線２１５の画素信号を基に、動画像フレームをメインストリームとして出力し、静止画像フレームをサブストリームとして出力する。
【００３７】
図３および図４は、撮像装置１００の制御方法を示すタイミングチャートである。撮像素子１０２は、制御部１０７からの垂直同期信号ＶＤおよび水平同期信号ＨＤに同期し、行単位で処理を行う。水平同期信号ＨＤは、行単位の同期信号であり、１行の処理毎に１回変位する。全行の処理が終わると、垂直同期信号ＶＤが変位し、次のフレームの処理に移行する。なお、制御部１０７は、垂直同期信号ＶＤおよび水平同期信号ＨＤを撮像素子１０２に出力する代わりに、垂直同期信号ＶＤのみを出力してもよい。
【００３８】
時刻ｔ３０では、撮像装置１００は、動画中静止画モードにおける動画像の撮影を開始する。時刻ｔ３０〜ｔ３２は、動画像フレーム期間である。時刻ｔ３０〜ｔ３２の動画像の撮影では、撮像素子１０２は、電力を多く使うアンプ２１２３をオフにし、電力消費を低減する。時刻ｔ３０〜ｔ３２の垂直同期信号ＶＤの間隔は、時刻ｔ３２〜ｔ３３の垂直同期信号ＶＤの間隔と同じである。
【００３９】
なお、時刻ｔ３０〜ｔ３２では、撮像素子１０２は、アンプ２１２３を使用しないので、アンプ２１２３の静定時間が必要なくなるため、水平同期信号ＨＤの間隔を短くすることができ、全行の処理を早く終了させることができる。そのため、撮像素子１０２は、全行の処理の終了後から次の垂直同期信号ＶＤの開始までの間の垂直ブランキング期間を長くすることができるので、スリープ動作を長くし、消費電力を低減することができる。
【００４０】
時刻ｔ３０〜ｔ３２では、垂直制御部２１３は、各行の制御信号２１１４−１〜２１１４−ｍを順にハイレベルパルスにし、各行のトランジスタ２１１２を順にオンにさせる。各行の光電変換部２１１１は、順に、信号線２１２７を介して、画素信号をＡＤ変換部２１２４に出力する。例えば、制御信号２１１４−１がハイレベルになると、第１行において、光電変換部２１１１は、信号線２１２７を介して、画素信号をＡＤ変換部２１２４に出力する。制御信号２１１４−２がハイレベルになると、第２行において、光電変換部２１１１は、信号線２１２７を介して、画素信号をＡＤ変換部２１２４に出力する。
【００４１】
時刻ｔ３０〜ｔ３２では、垂直制御部２１３は、各行の制御信号２１１５−１〜２１１５−ｍをローレベルする。すると、全行のトランジスタ２１１３は、オフになる。
【００４２】
時刻ｔ３０〜ｔ３２では、撮像制御部２３は、制御信号２１２８をローレベルにする。すると、トランジスタ２１２１は、オフになり、電源電圧をアンプ２１２３に供給しない。アンプ２１２３は、オフになり、消費電力を低減することができる。
【００４３】
各列のＡＤ変換部２１２４は、各列の光電変換部２１１１からの画素信号をアナログからデジタルに変換し、デジタルの画素信号を記憶する。水平制御部２１４は、各列のＡＤ変換部２１２４に記憶されている画素信号を順に出力線２１５に出力させる。
【００４４】
ＤＦＥ部２２は、出力線２１５を介して、アンプ２１２３を使用せずに生成された各列の画素信号を入力する。そして、ＤＦＥ部２２は、出力線２１５の画素信号を基に、画素信号の加算または間引きを行い、動画像フレームを生成し、動画像フレームをメインストリームとして出力する。動画像フレームは、動画像のアスペクト比およびデータレートに対応する画素数であり、ＤＦＥ部２２が入力する画像信号より画素数が少ない。
【００４５】
時刻ｔ３１では、操作部１０９は、動画像の撮影中に、ユーザがレリーズボタンを操作すると、静止画像の撮影指示信号を制御部１０７に出力する。すると、制御部１０７は、次の垂直同期信号ＶＤの始まりである時刻ｔ３２で、静止画像の撮影を開始する。
【００４６】
時刻ｔ３２〜ｔ３３は、静止画像フレーム期間である。時刻ｔ３２〜ｔ３３では、撮像素子１０２は、時刻ｔ３０〜ｔ３２の処理と同様に、垂直同期信号ＶＤおよび水平同期信号ＨＤに同期し、行単位で処理を行う。静止画像フレーム期間では、撮像素子１０２は、高画質の静止画像を生成するため、アンプ２１２３を用いて画像信号を生成する。
【００４７】
時刻ｔ３２〜ｔ３３では、撮像制御部２３は、制御信号２１２８をハイレベルにする。すると、トランジスタ２１２１は、オンになり、電源電圧をアンプ２１２３に供給する。アンプ２１２３は、動作可能状態になる。
【００４８】
時刻ｔ３２〜ｔ３３では、垂直制御部２１３は、各行の制御信号２１１５−１〜２１１５−ｍを順にハイレベルパルスにし、各行のトランジスタ２１１３を順にオンにさせる。各行の光電変換部２１１１は、順に、信号線２１２６を介して、画素信号をアンプ２１２３に出力する。例えば、制御信号２１１５−１がハイレベルになると、第１行において、光電変換部２１１１は、信号線２１２６を介して、画素信号をアンプ２１２３に出力する。制御信号２１１５−２がハイレベルになると、第２行において、光電変換部２１１１は、信号線２１２６を介して、画素信号をアンプ２１２３に出力する。
【００４９】
時刻ｔ３２〜ｔ３３では、垂直制御部２１３は、各行の制御信号２１１４−１〜２１１４−ｍをローレベルする。すると、全行のトランジスタ２１１２は、オフになる。
【００５０】
各列のアンプ２１２３は、各列の光電変換部２１１１からの画素信号を増幅する。各列のＡＤ変換部２１２４は、各列のアンプ２１２３により増幅された画素信号をアナログからデジタルに変換し、デジタルの画素信号を記憶する。水平制御部２１４は、各列のＡＤ変換部２１２４に記憶されている画素信号を順に出力線２１５に出力させる。
【００５１】
ＤＦＥ部２２は、出力線２１５を介して、アンプ２１２３を使用して生成された各列の画素信号を入力する。そして、ＤＦＥ部２２は、出力線２１５の画素信号を基に、画素信号の加算または間引きを行い、動画像フレームを生成し、動画像フレームをメインストリームとして出力する。動画像フレームは、動画像のアスペクト比およびデータレートに対応する画素数であり、ＤＦＥ部２２が入力する画像信号より画素数が少ない。
【００５２】
また、ＤＦＥ部２２は、出力線２１５からの画像信号をそのまま静止画像フレームとし、静止画像フレームをサブストリームとして出力する。静止画像フレームは、静止画像のアスペクト比およびデータレートに対応する画素数であり、ＤＦＥ部２２が入力する画像信号と画素数が同じである。動画像フレームは、静止画像フレームより画素数が少ない。
【００５３】
時刻ｔ３２〜ｔ３３では、ＤＦＥ部２２は、出力線２１５の画像信号を基に、動画像フレームと静止画像フレームを生成し、動画像フレームをメインストリームとして出力し、静止画像フレームをサブストリームとして出力する。出力線２１５の画像信号は、アンプ２１１３を使用して生成された画像信号であるので、ＤＦＥ部２２２は、ノイズの影響を低減した高画質の静止画像フレームを生成することができる。
【００５４】
なお、時刻ｔ３０〜ｔ３２では、ＡＤ変換部２１２４が、ランプ信号の変化率に応じて、動画像フレームのゲインを制御しなり、ＤＦＥ部２２が動画像フレームのゲインを制御することができる。これに対し、時刻ｔ３２〜ｔ３３では、アンプ２１２３は、時刻ｔ３０〜ｔ３２の動画像フレームのゲインに応じて、ゲインを決定する。
【００５５】
次に、時刻ｔ３３〜ｔ３４では、撮像素子１０２は、時刻ｔ３０〜ｔ３２と同様に、動画像の撮影を行う。時刻ｔ３３〜ｔ３４は、動画像フレーム期間である。時刻ｔ３３〜ｔ３４の処理は、時刻ｔ３０〜ｔ３２の処理と同様である。時刻ｔ３４以降では、撮像素子１０２は、動画中静止画モードが終了するまで、時刻ｔ３０〜ｔ３２と同様の処理を繰り返す。
【００５６】
以上のように、ＤＦＥ部２２は、動画中静止画モードでは、連続した複数の動画像フレームを途切れることなくメインストリームとして出力すると共に、操作部１０９の静止画像の撮影指示信号に基づく１つの静止画像フレームをサブストリームとして出力する。
【００５７】
なお、ＤＦＥ部２２を削除し、図１の信号処理部１０４または制御部１０７がＤＦＥ部２２の処理を行ってもよい。
【００５８】
撮像制御部２３は、時刻ｔ３０〜ｔ３４の連続する複数のフレームでは、複数の画素２１１の画素信号に基づく動画像フレームをメインストリームとしてそれぞれ生成するように制御する。また、撮像制御部２３は、連続する複数のフレームのうちの少なくも１つの時刻ｔ３２〜ｔ３３のフレームでは、複数の画素２１１の画素信号に基づく動画像フレームと静止画像フレームを生成するように制御する。
【００５９】
撮像制御部２３は、連続する複数のフレームのうちの少なくも１つの時刻ｔ３２〜ｔ３３のフレームでは、アンプ２１２３により増幅された画素信号を基に静止画像フレームと動画像フレームを生成するように制御する。また、撮像制御部２３は、連続する複数のフレームのうちの少なくも１つの時刻ｔ３２〜ｔ３３のフレームを除くフレームでは、アンプ２１２３により増幅されてない画素信号を基に動画像フレームを生成するように制御する。
【００６０】
撮像装置１００は、動画像フレーム期間では、アンプ２１２３を使用せずに動画像フレームを生成することにより、消費電力を低減する。また、撮像装置１００は、静止画像フレーム期間では、アンプ２１２３を使用して静止画像フレームおよび動画像フレームを生成することにより、ノイズの影響を低減した高画質の静止画像フレームおよび動画像フレームを得ることができる。
【００６１】
（第２の実施形態）
図５は、第２の実施形態による撮像素子１０２の構成例を示す図である。撮像素子１０２は、図２と同様に、撮像部２１と、ＤＦＥ部２２と、撮像制御部２３とを有する。図５の撮像素子１０２は、図２の撮像素子１０２に対して、撮像部２１が異なる。以下、第２の実施形態が第１の実施形態と異なる点を説明する。
【００６２】
撮像部２１は、複数の画素２１１、複数の列回路部２１２、垂直制御部２１３および水平制御部２１４を有する。複数の画素２１１の各々は、光電変換部２１１１およびトランジスタ２１１６を有する。トランジスタ２１１６は、垂直制御部２１３からの制御信号２１１７−１〜２１１７−ｍに応じて、光電変換部２１１１により生成された画素信号を信号線２１１８に出力する。
【００６３】
垂直制御部２１３は、各行の制御信号２１１７−１〜２１１７−ｍを各行のトランジスタ２１１６にそれぞれ出力する。各行のトランジスタ２１１６は、行順次で、各列の信号線２１１８に光電変換部２１１１の画素信号を出力する。各列の画素２１１は、それぞれ、各列の信号線２１１８を介して、各列の列回路部２１２に接続される。画素２１１の出力端子は、信号線２１１８を介して、アンプ２１２３の入力端子に接続される。
【００６４】
各列の列回路部２１２の各々は、トランジスタ２１１２、トランジスタ２１１３、トランジスタ２１２１、電流源２１２２、アンプ２１２３およびＡＤ変換部２１２４を有する。電流源２１２２は、信号線２１１８に接続される。
【００６５】
トランジスタ２１１２は、スイッチであり、垂直制御部２１３からの制御信号２１１４に応じて、画素２１１の出力端子をＡＤ変換部２１２４の入力ノードに接続する。トランジスタ２１１３は、スイッチであり、垂直制御部２１３からの制御信号２１１５に応じて、アンプ２１２３の出力端子をＡＤ変換部２１２４の入力ノードに接続する。トランジスタ２１２１は、撮像制御部２３からの制御信号２１２８に応じて、電源電圧をアンプ２１２３に供給する。
【００６６】
静止画像フレーム期間では、トランジスタ２１１３および２１１６がオンになり、光電変換部２１１１は、画素信号をトランジスタ２１１６を介して、アンプ２１２３に出力する。トランジスタ２１２１は、電源電圧をアンプ２１２３に供給し、アンプ２１２３を動作可能状態にする。アンプ２１２３は、光電変換部２１１１からの画素信号を増幅することにより、ノイズの影響を低減し、高画質の静止画像を生成する。ＡＤ変換部２１２４は、アンプ２１２３により増幅された画素信号をアナログからデジタルに変換し、デジタルの画素信号を保持する。
【００６７】
動画像フレーム期間では、トランジスタ２１１２および２１１６がオンになり、光電変換部２１１１は、画素信号をトランジスタ２１１２および２１１６を介して、ＡＤ変換部２１２４に出力する。トランジスタ２１２１は、オフになり、アンプ２１２３に電源電圧を供給せず、アンプ２１２３の消費電力を低減する。アンプ２１２３は、オフになり、出力部がフローティング状態になる。ＡＤ変換部２１２４は、光電変換部２１１１からの画素信号をアナログからデジタルに変換し、デジタルの画素信号を保持する。
【００６８】
水平制御部２１４は、撮像制御部２３の制御の下、各列のＡＤ変換部２１２４に記憶されている画素信号を順に出力線２１５に出力させる。ＤＦＥ部２２は、出力線２１５の画素信号を基に、動画像フレームをメインストリームとして出力し、静止画像フレームをサブストリームとして出力する。
【００６９】
図６は、第２の実施形態による撮像装置１００の制御方法を示すタイミングチャートである。時刻ｔ３０では、撮像装置１００は、動画中静止画モードにおける動画像の撮影を開始する。時刻ｔ３０〜ｔ３２は、動画像フレーム期間である。時刻ｔ３０〜ｔ３２では、撮像制御部２３は、制御信号２１２８をローレベルにする。すると、トランジスタ２１２１は、オフになり、電源電圧をアンプ２１２３に供給しない。アンプ２１２３は、オフになり、消費電力を低減することができる。
【００７０】
時刻ｔ３０〜ｔ３２では、垂直制御部２１３は、制御信号２１１４をハイレベルにし、制御信号２１１５をローレベルにする。すると、各列のトランジスタ２１１２がオンになり、各列のトランジスタ２１１３がオフになる。
【００７１】
時刻ｔ３０〜ｔ３２では、垂直制御部２１３は、各行の制御信号２１１７−１〜２１１７−ｍを順にハイレベルパルスにし、各行のトランジスタ２１１６を順にオンにさせる。各行の光電変換部２１１１は、順に、トランジスタ２１１２および２１１６を介して、画素信号をＡＤ変換部２１２４に出力する。
【００７２】
各列のＡＤ変換部２１２４は、各列の光電変換部２１１１からの画素信号をアナログからデジタルに変換し、デジタルの画素信号を記憶する。水平制御部２１４は、各列のＡＤ変換部２１２４に記憶されている画素信号を順に出力線２１５に出力させる。
【００７３】
ＤＦＥ部２２は、出力線２１５を介して、アンプ２１２３を使用せずに生成された各列の画素信号を入力する。そして、ＤＦＥ部２２は、出力線２１５の画素信号を基に、画素信号の加算または間引きを行い、動画像フレームを生成し、動画像フレームをメインストリームとして出力する。
【００７４】
時刻ｔ３１では、操作部１０９は、動画像の撮影中に、ユーザがレリーズボタンを操作すると、静止画像の撮影指示信号を制御部１０７に出力する。すると、制御部１０７は、次の垂直同期信号ＶＤの始まりである時刻ｔ３２で、静止画像の撮影を開始する。
【００７５】
時刻ｔ３２〜ｔ３３は、静止画像フレーム期間である。時刻ｔ３２〜ｔ３３では、撮像制御部２３は、制御信号２１２８をハイレベルにする。すると、トランジスタ２１２１は、オンになり、電源電圧をアンプ２１２３に供給する。アンプ２１２３は、動作可能状態になる。
【００７６】
時刻ｔ３２〜ｔ３３では、垂直制御部２１３は、制御信号２１１４をローレベルにし、制御信号２１１５をハイレベルにする。すると、各列のトランジスタ２１１２がオフになり、各列のトランジスタ２１１３がオンになる。
【００７７】
時刻ｔ３２〜ｔ３３では、垂直制御部２１３は、各行の制御信号２１１７−１〜２１１７−ｍを順にハイレベルパルスにし、各行のトランジスタ２１１６を順にオンにさせる。各行の光電変換部２１１１は、順に、トランジスタ２１１６を介して、画素信号をアンプ２１２３に出力する。
【００７８】
各列のアンプ２１２３は、各列の光電変換部２１１１からの画素信号を増幅する。各列のＡＤ変換部２１２４は、各列のアンプ２１２３により増幅された画素信号をアナログからデジタルに変換し、デジタルの画素信号を記憶する。水平制御部２１４は、各列のＡＤ変換部２１２４に記憶されている画素信号を順に出力線２１５に出力させる。
【００７９】
ＤＦＥ部２２は、出力線２１５を介して、アンプ２１２３を使用して生成された各列の画素信号を入力する。そして、ＤＦＥ部２２は、出力線２１５の画素信号を基に、画素信号の加算または間引きを行い、動画像フレームを生成し、動画像フレームをメインストリームとして出力する。また、ＤＦＥ部２２は、出力線２１５からの画像信号をそのまま静止画像フレームとし、静止画像フレームをサブストリームとして出力する。
【００８０】
次に、時刻ｔ３３〜ｔ３４では、撮像素子１０２は、時刻ｔ３０〜ｔ３２と同様に、動画像の撮影を行う。時刻ｔ３３〜ｔ３４は、動画像フレーム期間である。時刻ｔ３３〜ｔ３４の処理は、時刻ｔ３０〜ｔ３２の処理と同様である。時刻ｔ３４以降では、撮像素子１０２は、動画中静止画モードが終了するまで、時刻ｔ３０〜ｔ３２と同様の処理を繰り返す。
【００８１】
以上のように、ＤＦＥ部２２は、動画中静止画モードでは、連続した複数の動画像フレームを途切れることなくメインストリームとして出力すると共に、操作部１０９の静止画像の撮影指示信号に基づく１つの静止画像フレームをサブストリームとして出力する。
【００８２】
（第３の実施形態）
図７は、第３の実施形態による撮像素子１０２の構成例を示す図である。図７の撮像素子１０２は、図２の撮像素子１０２に対して、列回路部２１２を２つの列回路部２１２ａおよび２１２ｂに分割したものである。以下、第３の実施形態が第１の実施形態と異なる点を説明する。
【００８３】
各列の信号線２１２６には、それぞれ、各列の列回路部２１２ａが接続される。信号線２１２６は、アンプ２１２３の入力端子に接続される。各列の信号線２１２７には、それぞれ、各列の列回路部２１２ｂが接続される。信号線２１２７は、ＡＤ変換部２１２４の入力ノードに接続される。
【００８４】
各列の列回路部２１２ａの各々は、トランジスタ２１２１、電流源２１２２、アンプ２１２３およびＡＤ変換部２１２４ａを有する。電流源２１２２は、信号線２１２６に接続される。トランジスタ２１２１は、撮像制御部２３からの制御信号２１２８に応じて、電源電圧をアンプ２１２３に供給する。アンプ２１２３は、信号線２１２６の画素信号を増幅する。ＡＤ変換部２１２４ａは、アンプ２１２３により増幅された画素信号をアナログからデジタルに変換し、デジタルの画素信号を保持する。
【００８５】
各列の列回路部２１２ｂの各々は、電流源２１２５およびＡＤ変換部２１２４ｂを有する。電流源２１２５は、信号線２１２７に接続される。ＡＤ変換部２１２４ｂは、信号線２１２７の画素信号をアナログからデジタルに変換し、デジタルの画素信号を保持する。
【００８６】
動画像フレーム期間では、水平制御部２１４は、撮像制御部２３の制御の下、各列のＡＤ変換部２１２４ｂに記憶されている画素信号を順に出力線２１５ｂに出力させる。ＤＦＥ部２２は、出力線２１５ｂの画素信号を基に、動画像フレームをメインストリームとして出力する。
【００８７】
静止画像フレーム期間では、水平制御部２１４は、撮像制御部２３の制御の下、各列のＡＤ変換部２１２４ａに記憶されている画素信号を順に出力線２１５ａに静止画像フレーム（サブストリーム）として出力させる。また、水平制御部２１４は、撮像制御部２３の制御の下、各列のＡＤ変換部２１２４ｂに記憶されている画素信号を順に出力線２１５ｂに出力させる。ＤＦＥ部２２は、出力線２１５ｂの画素信号を基に、動画像フレームをメインストリームとして出力する。
【００８８】
図８は、第３の実施形態による撮像装置１００の制御方法を示すタイミングチャートである。時刻ｔ３０では、撮像装置１００は、動画中静止画モードにおける動画像の撮影を開始する。時刻ｔ３０〜ｔ３２は、動画像フレーム期間である。時刻ｔ３０〜ｔ３２では、撮像制御部２３は、制御信号２１２８をローレベルにする。すると、トランジスタ２１２１は、オフになり、電源電圧をアンプ２１２３に供給しない。アンプ２１２３は、オフになり、消費電力を低減することができる。時刻ｔ３０〜ｔ３２では、垂直制御部２１３は、制御信号２１１５−１〜２１１５−ｍをローレベルにする。すると、すべてのトランジスタ２１１３がオフになる。
【００８９】
時刻ｔ３０〜ｔ３２では、垂直制御部２１３は、各行の制御信号２１１４−１〜２１１４−ｍを順にハイレベルパルスにし、各行のトランジスタ２１１２を順にオンにさせる。各行の光電変換部２１１１は、順に、トランジスタ２１１２を介して、画素信号をＡＤ変換部２１２４ｂに出力する。
【００９０】
各列のＡＤ変換部２１２４ｂは、各列の光電変換部２１１１からの画素信号をアナログからデジタルに変換し、デジタルの画素信号を記憶する。水平制御部２１４は、各列のＡＤ変換部２１２４ｂに記憶されている画素信号を順に出力線２１５ｂに出力させる。
【００９１】
ＤＦＥ部２２は、出力線２１５ｂを介して、アンプ２１２３を使用せずに生成された各列の画素信号を入力する。そして、ＤＦＥ部２２は、出力線２１５ｂの画素信号を基に、画素信号の加算または間引きを行い、動画像フレームを生成し、動画像フレームをメインストリームとして出力する。
【００９２】
時刻ｔ３１では、操作部１０９は、動画像の撮影中に、ユーザがレリーズボタンを操作すると、静止画像の撮影指示信号を制御部１０７に出力する。すると、制御部１０７は、次の垂直同期信号ＶＤの始まりである時刻ｔ３２で、静止画像の撮影を開始する。
【００９３】
時刻ｔ３２〜ｔ３３は、静止画像フレーム期間である。時刻ｔ３２〜ｔ３３では、撮像制御部２３は、制御信号２１２８をハイレベルにする。すると、トランジスタ２１２１は、オンになり、電源電圧をアンプ２１２３に供給する。アンプ２１２３は、動作可能状態になる。
【００９４】
時刻ｔ３２〜ｔ３３では、垂直制御部２１３は、各行の制御信号２１１４−１〜２１１４−ｍおよび制御信号２１１５−１〜２１１５−ｍを行順にハイレベルパルスにし、各行のトランジスタ２１１２および２１１３を行順にオンにさせる。各行の光電変換部２１１１は、順に、トランジスタ２１１２および２１１３を介して、画素信号を信号線２１１６および２１１７に出力する。
【００９５】
各列のアンプ２１２３は、各列の信号線２１２６の画素信号を増幅する。各列のＡＤ変換部２１２４ａは、各列のアンプ２１２３により増幅された画素信号をアナログからデジタルに変換し、デジタルの画素信号を記憶する。各列のＡＤ変換部２１２４ｂは、各列の信号線２１２７の画素信号をアナログからデジタルに変換し、デジタルの画素信号を記憶する。
【００９６】
水平制御部２１４は、各列のＡＤ変換部２１２４ｂに記憶されている画素信号を順に出力線２１５ｂに出力させる。ＤＦＥ部２２は、出力線２１５ｂを介して、アンプ２１２３を使用せずに生成された各列の画素信号を入力する。そして、ＤＦＥ部２２は、出力線２１５ｂの画素信号を基に、画素信号の加算または間引きを行い、動画像フレームを生成し、動画像フレームをメインストリームとして出力する。
【００９７】
また、水平制御部２１４は、各列のＡＤ変換部２１２４ａに記憶されている画素信号を順に出力線２１５ａに静止画像フレーム（サブストリーム）として出力させる。
【００９８】
次に、時刻ｔ３３〜ｔ３４では、撮像素子１０２は、時刻ｔ３０〜ｔ３２と同様に、動画像の撮影を行う。時刻ｔ３３〜ｔ３４は、動画像フレーム期間である。時刻ｔ３３〜ｔ３４の処理は、時刻ｔ３０〜ｔ３２の処理と同様である。時刻ｔ３４以降では、撮像素子１０２は、動画中静止画モードが終了するまで、時刻ｔ３０〜ｔ３２と同様の処理を繰り返す。
【００９９】
なお、ＤＦＥ部２２を削除し、図１の信号処理部１０４または制御部１０７がＤＦＥ部２２の処理を行ってもよい。また、ＤＦＥ部２２を削除し、垂直制御部２１３および水平制御部２１４が、画素２１１の画素信号を加算するように読み出したり、画素２１１の画素信号を間引き読み出しすることにより、ＤＦＥ部２２と同様の処理を行ってもよい。
【０１００】
撮像制御部２３は、時刻ｔ３０〜ｔ３４の連続する複数のフレームでは、複数の画素２１１の画素信号に基づく動画像フレームをメインストリームとしてそれぞれ生成するように制御する。また、撮像制御部２３は、連続する複数のフレームのうちの少なくも１つの時刻ｔ３２〜ｔ３３のフレームでは、複数の画素２１１の画素信号に基づく動画像フレームと静止画像フレームを生成するように制御する。
【０１０１】
撮像制御部２３は、連続する複数のフレームのうちの少なくも１つの時刻ｔ３２〜ｔ３３のフレームでは、アンプ２１２３により増幅された画素信号を基に静止画像フレームを生成するように制御する。また、撮像制御部２３は、時刻ｔ３０〜ｔ３４の連続する複数のフレームでは、アンプ２１２３により増幅されてない画素信号を基に動画像フレームを生成するように制御する。
【０１０２】
第１の実施形態では、撮像素子１０２は、動画像フレーム期間では、アンプ２１２３を使用しないで動画像フレームを生成し、静止画像フレーム期間では、アンプ２１２３を使用して動画像フレームを生成する。そのため、それらの動画像フレーム間の画質が異なり、動画像として悪影響が発生する場合がある。
【０１０３】
これに対し、第３の実施形態では、撮像素子１０２は、動画像フレーム期間と静止画像フレーム期間の両方において、アンプ２１２３を使用しないで動画像フレームを生成する。そのため、それらの動画像フレーム間の画質が同じであり、動画像として画質を向上させることができる。また、撮像素子１０２は、第１の実施形態と同様に、動画像フレーム期間では、消費電力を低減し、静止画像フレーム期間では、高画質の静止画像フレームを生成することができる。また、撮像素子１０２は、連続した複数の動画像フレームを途切れることなくメインストリームとして出力すると共に、操作部１０９の静止画像の撮影指示信号に基づく１つの静止画像フレームをサブストリームとして出力することができる。
【０１０４】
以上、第１〜第３の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１０５】
撮像素子１０２は、デジタルカメラまたはビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラまたは車載カメラ等に適用可能である。
【符号の説明】
【０１０６】
２３  撮像制御部、２１１  画素、２１２３  アンプ、２１２４  ＡＤ変換部
【図１】
2020195078.tif 000003
【図２】
2020195078.tif 000004
【図３】
2020195078.tif 000005
【図４】
2020195078.tif 000006
【図５】
2020195078.tif 000007
【図６】
2020195078.tif 000008
【図７】
2020195078.tif 000009
【図８】
2020195078.tif 000010