(57)【要約】【課題】動画撮影中に静止画像データをより高速に取得することが可能な撮像装置を提供する。【解決手段】撮像素子１０１は被写体からの光を受光して光電変換により画像データを取得する。判別制御部１０２は、動画像の取得中に静止画撮影の指示が発生したことを検出して、動画ファイルの生成に係るフレーム画像の読出し方法を変更することで、動画像の読出しにおけるブランキング期間を拡大する制御を行う。動画像判別部１０３は、動画ファイルのフレーム画像の符号化属性（I,P,Bフレーム）を決定し、符号化属性が付加されたフレーム画像のデータをフレームバッファ１０４に記憶する。動画生成部１０５はフレームバッファ１０４に記憶されているフレーム画像から動画ファイルを生成する。静止画生成部１０６は、拡大されたブランキング期間に読出されるデータを用いて静止画ファイルを生成する。【選択図】  図１
2020188335.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子による動画像の取得中に静止画像を取得することが可能な撮像装置であって、
前記撮像素子に対して前記動画像に係るフレーム画像の読出し方法を第１の読出し方法に設定して前記フレーム画像の符号化属性を決定するとともに、前記動画像に係るフレーム画像の取得中に静止画撮影の指示が検出された場合、前記動画像に係るフレーム画像の読出し方法を第２の読出し方法に変更する制御手段と、
前記符号化属性が付加された前記フレーム画像のデータから動画像データを生成する動画生成手段と、
前記制御手段により前記第２の読出し方法に変更された後に、前記撮像素子から取得されるデータを用いて静止画像データを生成する静止画生成手段と、を備え、
前記制御手段は、前記第２の読出し方法として、前記第１の読出し方法に比べて前記動画像データの生成に係るフレーム画像の画素数を低減させた方法を決定することにより、前記動画像の読出しにおけるブランキング期間を拡大する制御を行い、
前記静止画生成手段は前記ブランキング期間に読出されるデータから前記静止画像データを生成する
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記符号化属性を前記フレーム画像ごとに決定し、前記第１および第２の読出し方法により前記撮像素子から読出されて、前記符号化属性が付加された前記フレーム画像のデータを記憶手段に記憶させる制御を行い、
前記動画生成手段は前記記憶手段から取得したデータを用いて前記動画像データを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第２の読出し方法として、前記動画像に係るフレーム画像に対して複数の行もしくは列、または複数の行および複数の列のデータを加算して読出す方法を決定する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記符号化属性は、前記フレーム画像にフレーム内圧縮処理を行うか、またはフレーム間圧縮処理を行うかを決定する属性であり、
前記動画生成手段は、前記フレーム画像ごとに前記符号化属性にしたがって圧縮処理を行う
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記動画像に係るフレーム画像の取得中に静止画撮影の指示が検出され、かつ、前記動画像の生成に係るフレームの前記符号化属性がフレーム間圧縮を表すときに前記フレーム画像の読出し方法を前記第２の読出し方法に変更する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
第１のフレームに係る前記符号化属性が当該フレームの画像のフレーム内圧縮を表し、第２のフレームに係る前記符号化属性が当該フレームの画像のフレーム間圧縮を表す場合、
前記制御手段は、前記動画像に係るフレーム画像の取得中に静止画撮影の指示が検出され、かつ、前記動画像の生成に係るフレーム画像が前記第１のフレームの画像であるときに、前記第１のフレームを前記第２のフレームに置き換えて圧縮処理の制御を行う
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記制御手段は、前記動画像に係るフレーム画像の取得中に静止画撮影の指示が検出され、かつ、前記動画像の生成に係るフレームの前記符号化属性がフレーム内圧縮を表すときに、当該フレームの画像に対する符号化の処理を終了してから前記静止画生成手段により静止画像データを生成する制御を行う
ことを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記動画像に係るフレーム画像の取得中に静止画撮影の指示が検出され、当該動画像データの生成中に前記静止画像のデータが読出される場合、前記動画生成手段は複数のフレームの画像データを用いて補完を行い、前記動画像データを生成する
ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記制御手段は、前記第１の読出し方法として、前記撮像素子の画素群の一部から動画像のデータを読出す方法を決定する
ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
撮像素子による動画像の取得中に静止画像を取得することが可能な撮像装置にて実行される制御方法であって、
前記撮像素子に対して前記動画像に係るフレーム画像の読出し方法を第１の読出し方法に設定して前記フレーム画像の符号化属性を決定するとともに、前記動画像に係るフレーム画像の取得中に静止画撮影の指示が検出された場合、前記動画像に係るフレーム画像の読出し方法を第２の読出し方法に変更する制御工程と、
前記符号化属性が付加された前記フレーム画像のデータから動画像データを生成する動画生成工程と、
前記第２の読出し方法に変更された後に、前記撮像素子から取得されるデータを用いて静止画像データを生成する静止画生成工程と、を有し、
前記制御工程では、前記第２の読出し方法として、前記第１の読出し方法に比べて前記動画像データの生成に係るフレーム画像の画素数を低減させた方法を決定することにより、前記動画像の読出しにおけるブランキング期間を拡大する制御が行われ、
前記静止画生成工程では前記ブランキング期間に読出されるデータから前記静止画像データが生成される
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影および静止画撮像が可能な撮像装置とその制御方法に関する。特に動画撮影中に静止画撮影の指示が検出された場合に動画生成を適切に行い、且つ静止画生成をより高速に行うことを可能する技術に関するものである。
【背景技術】
【０００２】
撮像素子から得られる動画像データは、GOP(Group of Picture)と呼ばれる単位で効率よく圧縮される。GOPにてI (Intra picture) フレームと呼ばれるフレーム内圧縮符号化では、他のフレームから独立して符号化および復号化が可能である。高圧縮率の処理はできないものの、高画質の画像データを取得できるという特徴がある。また、P (Predictive Picture) フレームと呼ばれるフレーム間圧縮符号化では、Iフレームからの差分情報を用いることにより、高い圧縮率を達成可能である。反面ではIフレームを参照しないと符号化および復号化ができないという問題もある。B (Bidirectionally Predictive Picture) フレームと呼ばれる前後フレーム間圧縮符号化では、IフレームおよびPフレーム等の前後するフレームからの差分情報を用いる。これにより、Pフレームよりも更に高い圧縮率を達成可能である。しかし前後のフレームを参照しないと符号化および復号化ができないという問題もある。このような符号化および復号化形式は、H.264/MPEG-4 AVCとしてISO/IEC 14496-10「MPEG-4 Part10 Advanced Video Coding」にて規格化されて公知であるため、その詳細な説明を省略する。
【０００３】
ところで動画像データ生成方式で動画撮影が行われている際に、静止画撮影を行おうとする場合、静止画撮影期間において動画像データが欠落してブランクが発生するという課題がある。そこで特許文献１では、動画像データ生成中に静止画撮影を行う場合に動画像データの生成を中断することなく静止画像データを生成する撮像装置が開示されている。この撮像装置は撮像素子からの信号を、動画用記憶素子と静止画用記憶素子に保持する。動画用記憶素子から動画用のデータが読出されている際の、動画信号読出しブランキング期間を用いて、静止画用記憶素子から静止画用のデータを読出す制御が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−４１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された従来技術では、撮像素子の出力に基づく動画像データの読出し時間に対して、動画像データを読出さない時間、いわゆる動画ブランキング時間が短い。動画ブランキング時間は、撮像素子の出力に基づく静止画像データの読出し時間に割り当てられ、静止画像データを全て読出すためには多くの動画ブランキング時間を必要とする。例えば、６０ｆｐｓ（frames per second）での動画像データの読出し中に静止画像データを読出す場合を想定する。２０回の動画ブランキング時間を必要とする場合、静止画の高速連写を行えず、静止画連写では３ｆｐｓに制限されてしまう。
【０００６】
動画像データのフレームレートとして、高速なレートが要求される場合（例えば１２０ｆｐｓ）、１回の動画ブランキング時間はさらに短くなる。静止画像データを全て読出すためには、さらに多い回数分の動画ブランキング時間が必要となる結果、静止画連写がより遅くなる。
本発明の目的は、動画撮影中に静止画像データをより高速に取得することが可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の実施形態の装置は、撮像素子による動画像の取得中に静止画像を取得することが可能な撮像装置であって、前記撮像素子に対して前記動画像に係るフレーム画像の読出し方法を第１の読出し方法に設定して前記フレーム画像の符号化属性を決定するとともに、前記動画像に係るフレーム画像の取得中に静止画撮影の指示が検出された場合、前記動画像に係るフレーム画像の読出し方法を第２の読出し方法に変更する制御手段と、前記符号化属性が付加された前記フレーム画像のデータから動画像データを生成する動画生成手段と、前記制御手段により前記第２の読出し方法に変更された後に、前記撮像素子から取得されるデータを用いて静止画像データを生成する静止画生成手段と、を備える。前記制御手段は、前記第２の読出し方法として、前記第１の読出し方法に比べて前記動画像データの生成に係るフレーム画像の画素数を低減させた方法を決定することにより、前記動画像の読出しにおけるブランキング期間を拡大する制御を行い、前記静止画生成手段は前記ブランキング期間に読出されるデータから前記静止画像データを生成する。
【発明の効果】
【０００８】
本発明によれば、動画撮影中に静止画像データをより高速に取得することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】実施形態の撮像素子の構成を示す模式図である。
【図３】画素群および列アンプ・ADCを示す模式図である。
【図４】１つの画素の構成を示す回路図である。
【図５】標準的な動画ファイルの生成方法を説明するフローチャートである。
【図６】標準的な動画ファイルの生成方法を説明するタイミングチャートである。
【図７】図４の画素構成に対応する詳細な制御を説明するタイミングチャートである。
【図８】第１から第３の実施形態の処理を説明するフローチャートである。
【図９】第１実施形態の処理を説明するタイミングチャートである。
【図１０】第２実施形態の処理を説明するタイミングチャートである。
【図１１】第３実施形態の処理を説明するタイミングチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。動画撮影中に静止画撮影指示が検出された場合に動画像データの生成を適切に行い、静止画像データの読出しを高速に行うことが可能な撮像装置の例を示す。
【００１１】
図１は、本実施形態にかかわる動画および静止画の撮像が可能な撮像装置１００の主たる構成要素を示すブロック図である。撮像素子１０１は、不図示の撮像光学系によって結像される被写体からの光を受光し、光電変換によって電気信号を出力する。撮像素子１０１にはＣＣＤ（電荷結合素子）型イメージセンサ、ＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等が適用され、被写体の光像に対して、受光感度に応じた画像信号を出力する。撮像素子１０１の駆動方式としては、撮像素子１０１の一括露光を行って記憶素子に信号電荷を一時的に記憶させてから順次読出しを行う、グローバルシャッター方式がある。また、撮像素子１０１を一行もしくは複数行、または一列もしくは複数列ごとに露光を行って記憶素子に信号電荷を一時的に記憶させてから順次読出しを行う、スリットローリング方式がある。本実施形態ではグローバルシャッター方式を適用した例を示す。
【００１２】
判別制御部１０２は、動画撮影条件であるフレーム画素サイズや、単位時間あたりのフレーム画像枚数等の条件を制御する。例えば一般的なHDTV（High definition Television）では、フレーム画像サイズとして水平画素数が１９２０で垂直画素数が１０８０であり、１秒間のフレーム画像枚数が３０ｆｐｓまたは６０ｆｐｓに対応する数である。判別制御部１０２は撮像素子１０１に対して、垂直同期信号（VSYNC：Vertical Synchronizing signal）１０８と水平同期信号（HSYNC：Horizontal Synchronizing signal）を出力する。例えば、HDTVでの動画撮影が行われる場合、VSYNC１０８は１秒間に３０または６０のパルスとして撮像素子１０１に出力され、HSYNC１０９は１０８０のパルスとして出力される。これにより、判別制御部１０２は撮像素子１０１を用いた動画撮影の開始および停止の制御を行う。
【００１３】
また判別制御部１０２は、静止画撮影条件、例えば静止画サイズ、静止画解像度やシャッター速度等の条件を制御する。判別制御部１０２は撮像素子１０１に対するVSYNC１０８およびHSYNC１０９を、静止画撮影条件に基づいて変更することで、撮像素子１０１による静止画撮影の開始および停止の制御を行う。判別制御部１０２は、動画撮影中に静止画撮影の開始指示が発生したか否かを判別する。判別結果に応じて、VSYNC１０８およびHSYNC１０９のリセット制御等が行われ、動画撮影中に静止画撮影が可能となる。
【００１４】
動画像判別部１０３は、撮像素子１０１の出力に基づくフレーム画像信号を順次に取得し、フレーム画像信号に対する圧縮方式の判別を行う。つまり、フレーム内圧縮符号とするべきか、フレーム間予測圧縮符号とするべきかが判別され、最適な情報量の動画ファイルを構成することができる。動画像判別部１０３は、判別制御部１０２により動画撮影中に静止画撮影の開始指示が検出された場合にも、動画ファイルのフレーム画像信号に対する圧縮方式の判別を行う。動画ファイルのフレーム画像信号に対して、規定のフレーム内圧縮符号、またはフレーム間予測圧縮符号のどちらにするべきかが判別され、最適な情報量の動画ファイルを構成することができる。
【００１５】
フレームバッファ１０４は、動画像判別部１０３の指示にしたがって撮像素子１０１から得られたフレーム画像信号を記憶可能な記憶装置であり、複数のフレームの画像信号を記憶保持する。動画生成部１０５は、動画像判別部１０３の指示に基づいてフレームバッファ１０４に記憶されているフレーム画像信号を取得して動画ファイルを生成する。例えば、ISO/IEC 14496-10「MPEG-4 Part10 Advanced Video Coding」による圧縮方式を適用して、動画ファイルを構成するIフレーム、Pフレーム、およびBフレームからなるGOPの生成処理が行われる。
【００１６】
静止画生成部１０６は、撮像素子１０１の出力に基づくフレーム画像信号から静止画ファイルを生成する。例えば、ISO/IEC 10918-1「Joint Photographic Experts Group」による圧縮方式を適用して、静止画ファイルの生成が行われる。
【００１７】
記録メディア１０７は、動画生成部１０５および静止画生成部１０６によってそれぞれ生成された、動画ファイルおよび静止画ファイルのデータを記録する。データを保存する記録メディア１０７については任意の記録デバイスを使用可能である。
【００１８】
図２は、撮像素子１０１の主たる構成を示す模式図である。画素群２０１は複数の単位画素により画素アレイを構成する。単位画素は単数または複数のフォトダイオード（以下、PDとも記す）と、該フォトダイオードの出力を記憶する記憶素子等を備える。PDは被写体からの光を受光し、その受光感度に応じた画素信号を出力する光電変換部を構成する。
【００１９】
タイミング制御回路２０２は、画素群２０１の動作タイミング、および列アンプ・ADC（アナログ・デジタル変換器）２０３、センサ出力部２０４等の動作タイミングを制御する。タイミング制御回路２０２は、VSYNC(108)およびHSYNC(109)等の信号に基づいて動作タイミングの制御を行う。
【００２０】
列アンプ・ADC２０３は、画素群２０１から行ごとに信号の読出しが行われた後に、アナログ・デジタル変換を行う。更に列アンプ・ADC２０３は、画素群２０１の複数列または複数行の信号を加算して読出してAD変換処理を行う機能を有する。センサ出力部２０４は、列アンプ・ADC２０３によってデジタル化された信号を、動画像判別部１０３および静止画生成部１０６にフレーム画像信号として出力する。
【００２１】
図３は、画素群２０１の一部を、８行８列の範囲で模式的に示す図である。一般的な静止画像としては、縦横のアスペクト比が２：３である。廉価な動画および静止画撮像装置では総画素数が約2400万（縦4000画素×横6000画素）程度であり、高価な動画および静止画撮像装置では総画素数が約5000万（縦5800画素×横8600画素）程度である。本実施形態では、後者（水平画素数8600×垂直画素数5800）の総画素数とする。
【００２２】
図３に示す画素３０１は画素群２０１を構成し、各々が列ごとに垂直読出信号線VL_n(302)に接続されている。VL_nは第ｎ列に対応する垂直読出信号線を表し、例えば第１列目の画素３０１はVL_1(302)(Vertical Line 1)に接続され、第２列目の画素３０１はVL_2(302)に接続されている。なお、VL_1〜VL_nについては基本機能が同一であるため同じ符号302を付記している。
【００２３】
また画素３０１は、各々が行ごとに行選択信号線HL_SEL_m(303)に接続されている。HL_SEL_mは第ｍ行に対応する行選択信号線を表し、例えば第１行目の画素３０１はHL_SEL_1(303)(Horizontal Line Select 1)に接続され、第２行目の画素３０１はHL_SEL_2(303)に接続されている。なお、HL_SEL_1〜HL_SEL_mについては基本機能が同一であるため同じ符号303を付記している。
【００２４】
一例として、HL_SEL_1(303)が選択された場合を説明すると、画素群２０１の第１行目の画素の信号が垂直読出信号線VL_1(302)〜VL_n(302)に読出される。列アンプ・ADC２０３は読出された信号を、デジタル化された信号に変換する。また、HL_SEL_m(303)により、画素群２０１の第m行目の画素の信号が垂直読出信号線VL_1(302)〜VL_n(302)に読出された状態では、列アンプ・ADC２０３が複数列の垂直読出信号線からの信号を加算してデジタル化する。つまり、複数の列信号を加算して変換する水平加算機能が実現される。
【００２５】
更には、複数のHL_SEL_m(303)を同時に制御することにより、画素群２０１における複数行の画素の信号が、垂直読出信号線VL_1(302)〜VL_n(302)に加算して読出される。この状態で列アンプ・ADC２０３により垂直読出信号線からの信号をデジタル化された信号に変換する垂直加算機能が実現される。画素３０１はそれぞれ、後述する動作制御用の各種の制御信号線にも接続されている。
【００２６】
図４は、１つの画素３０１の構成例を示す回路図である。画素３０１が備えるPD４０１に被写体からの光が入射すると、その受光感度に応じた電気信号への光電変換が行われる。MOV_MEM４０２はPD４０１の電気信号を動画用信号として記憶する記憶素子であり、転送トランジスタＴｒ１を介してPD４０１と繋がっている。STL_MEM４０３はPD４０１の電気信号を静止画用信号として記憶する記憶素子であり、転送トランジスタＴｒ２を介してPD４０１と繋がっている。
【００２７】
PD４０１とMOV_MEM４０２との間に設けられた転送トランジスタＴｒ１は、信号転送信号TX_MOV_PM(404)で制御することにより、PD４０１の電気信号をMOV_MEM４０２に転送し、動画用信号が記憶される。
【００２８】
転送トランジスタＴｒ３は、MOV_MEM４０２と出力用のフローティングディフュージョン（以下、FDと略記する）部４０８との間に設けられている。転送トランジスタＴｒ３は、信号転送信号TX_MOV_MF(405)で制御することにより、MOV_MEM４０２に保持された動画用信号をFD部４０８へ転送する。
【００２９】
同様に、PD４０１とSTL_MEM４０３との間に設けられた転送トランジスタＴｒ２は、信号転送信号TX_STL_PM(406)で制御することにより、PD４０１の電気信号をSTL_MEM４０３に転送し、静止画用信号が記憶される。転送トランジスタＴｒ４は、STL_MEM４０３とFD部４０８との間に設けられている。転送トランジスタＴｒ４は、信号転送信号TX_STL_MF(407)で制御することにより、STL_MEM４０３に保持された静止画用信号をFD部４０８へ転送する。
【００３０】
信号転送信号TX_MOV_MF(405)、または信号転送信号TX_STL_MF(407)によってFD部４０８へ転送された信号は、トランジスタＴｒ５，Ｔｒ６を介して出力される。トランジスタＴｒ５は増幅トランジスタであり、そのゲートがＦＤ部４０８に接続されている。トランジスタＴｒ６は選択トランジスタであり、行選択信号HL_SEL_m(303)により垂直読出信号VL_n(302)に動画用信号または静止画用信号を出力する。
【００３１】
トランジスタＴｒ７，Ｔｒ８は、PD４０１，FD部４０８を初期化電位にするためのリセットトランジスタである。これらは被写体に応じた電気信号および、動画用信号と静止画用信号を取得する前にリセット信号RES(409)により初期化を行う。トランジスタＴｒ５，Ｔｒ７，Ｔｒ８は電圧VCCの電源線に接続されており、それぞれの制御信号によりスイッチング動作が行われる。
【００３２】
次に図１から図４を参照しつつ、図５から図７を用いて、標準的な動画ファイルの生成処理について説明する。図５は処理方法を説明するフローチャートであり、図６と図７は処理例を示すタイミングチャートである。本実施形態の画素群２０１は総画素数が約5000万（水平画素数8600×垂直画素数5800）である。全画素のうち、所定画素数（水平画素数1920×垂直画素数1080）の画素から、量子化ビット数が１２Ｂｉｔであって、１秒間のフレーム数が６０ｆｐｓに対応する動画ファイルを生成する処理例を説明する。ただし、画素数およびフレーム数等は例示であって、本例に限定されるものではない。
【００３３】
動画信号の読出し方法を、下記に示す。
・第１の動画信号読出し方法
例えば水平方向での４画素および垂直方向での４画素の各信号を加算して読出す方法である。この加算読出しでは、画素群２０１のうち、所定画素数（水平画素数7920×垂直画素数4320）の画素群に被写体からの光が照射されると、各PDの受光感度に応じた電気信号が出力される。水平方向および垂直方向にてそれぞれ信号が加算されることで、低減された画素数（水平画素数1920×垂直画素数1080）の画素信号を動画信号に利用することができる。
【００３４】
・第２の動画信号読出し方法
例えば水平方向での４画素ごと、および垂直方向での４画素ごとに一画素のみの信号を読出す方法である。この間引き読出しでは、画素群２０１のうち、所定画素数（水平画素数7920×垂直画素数4320）の画素に対して被写体からの光が照射される。水平４画素および垂直４画素ごとに離散した画素群の各PDから受光感度に応じた電気信号が出力され、低減された画素数（水平画素数1920×垂直画素数1080）の画素信号を動画信号に利用することができる。
【００３５】
・第３の動画信号読出し方法
この方法は非加算読出しである。例えば、画素群２０１のうち、画面中央部分に該当する所定画素数（水平画素数1920×垂直画素数1080）の画素に被写体からの光が照射される。各PDの受光感度に応じた電気信号が出力され、動画信号に利用することができる。
【００３６】
第１の動画信号読出し方法（加算読出し）では、水平４画素および垂直４画素の１６画素分を１画素に相当する動画用信号として扱うので、高感度撮影には適するが、全体的に画像の明瞭度が低くなるという側面をもつ。加算読出しにより取得された画像データには拡大処理が施される。所定の解像度が得られない場合、Iフレーム（フレーム内圧縮符号化）の適用から除外される。
【００３７】
第２の動画信号読出し方法（間引き読出し）は、水平４画素および垂直４画素ごとの、１６分の１の画素信号のみを動画用信号として扱うので、高感度撮影には適さず、読出さない画素の分だけ全体的に画像の解像度が低下する。しかし、第１の動画信号読出し方法よりも信号読出しは簡潔である。
【００３８】
第３の動画信号読出し方法（非加算読出し）は、１画素ごとに動画信号を扱うので、高感度撮影には適さないが、全体的に画像が明瞭になるという側面をもつ。画素群２０１のうち、画面中央部分の画素しか使用しないので、画素群２０１の画角と、得られる動画像の画角とが一致しない。一方で、第１および第２の動画信号読出し方法と比べて、信号読出しはより簡潔である。
【００３９】
本発明の適用上、動画ファイルの生成方法においては、加算読出し、間引き読出し、非加算読出しの何れでもよい。本実施形態の例では、第１の動画信号読出し方法（加算読出し）を前提として説明する。
【００４０】
図５、図６を参照して、標準的な動画ファイルの生成方法について詳述する。図６では、動画生成部１０５が生成する動画ファイルのフレーム画像の一例を示す。１つのIフレーム画像、１つのPフレーム画像、および２つのBフレーム画像の合計4フレーム画像が、１つのGOPを構成する場合を図示している。VSYNC（108）は、動画ファイルの各々のフレーム画像の始まりを示す同期信号であり、１秒間当たりに生成される動画ファイルのフレーム画像数に相当する。判別制御部１０２はVSYNC（108）を撮像素子１０１に出力する。本実施形態ではVSYNC（108）の周期を、HDTVのフレームレート６０ｆｐｓに対応する周期として扱う。HSYNC（109）は、フレーム画像内における各々の水平ラインの始まりを示す同期信号であり、フレーム画像の垂直解像度に相当する。判別制御部１０２はHSYNC（109）を撮像素子１０１に出力する。本実施形態のHSYNC（109）は、HDTVの場合の垂直画素数１０８０に対応する信号である。
【００４１】
図６のMOV_MEM（402）には、撮像素子１０１の一括露光を行って一時的に信号を記憶してから順次読出しを行うグローバルシャッター方式の動作を示している。各々の動画フレームは、VSYNC（108）に同期して更新される。HSYNC（109）の下には信号TX_MOV_PM(404)およびTX_MOV_MF(405)を示す。なお、その他の記号は図４にて説明済である。図６の詳細については、図７を用いて後述する。
【００４２】
図５のフローチャートにおいて、先ず判別制御部１０２で動画撮影条件および静止画撮影条件が設定される(STEP501)。例えば、動画撮影条件として１秒間のフレーム画像数が６０に設定される。次に、判別制御部１０２は動画撮影の開始指示が発生したかどうかを判定する(STEP502)。動画撮影の開始指示が発生したと判定された場合、STEP503の処理へ進むが、動画撮影の開始指示が発生しない間はSTEP502の判定処理が繰り返し行われる。
【００４３】
STEP503では、同期信号（VSYNCおよびHSYNC）に基づいて、撮像素子１０１からフレーム画像が取得される。１つのIフレーム画像、１つのPフレーム画像、および２つのBフレーム画像の合計４フレーム画像が１つのGOPを構成している。動画像判別部１０３はフレーム画像にフレーム属性を持たせて、属性データを付加してフレームバッファ１０４にデータを順次記憶していく(STEP504)。この場合のフレーム属性は符号化属性、つまりフレーム画像のデータをどのような圧縮方式で符号化処理するかを表す。本実施形態ではフレーム属性としてI,P,Bを例示する。符号化属性データはフレーム内圧縮処理での符号化、フレーム間圧縮処理での符号化等、フレームに応じて異なる属性を表す。ただし、これは符号化属性の一例であり、本発明はフレームに応じてフレーム間予測や補完等の各種方式で処理を行う実施形態に適用可能である。フレームバッファ１０４に記憶されたフレーム画像のデータは、動画像判別部１０３によるフレーム属性のデータに基づいて処理される。
【００４４】
次に、動画生成部１０５は動画圧縮符号化の処理を実行する(STEP505)。I(Intra picture)フレームと判別されたフレーム画像の場合、動画生成部１０５はフレーム内圧縮処理を実行する。つまり、他のフレームから独立して符号化および復号化が可能なIフレームに係るフレーム内圧縮符号化の処理が行われる。また、P(Predictive Picture)フレームと判別されたフレーム画像の場合、動画生成部１０５はIフレームからの差分情報を用いて高い圧縮率を達成するPフレームに係るフレーム間圧縮符号化の処理を行う。B(Bidirectionally Predictive Picture)フレームと判別されたフレーム画像の場合、動画生成部１０５はフレーム間圧縮処理を行う。つまり、IフレームおよびPフレームからの差分情報を用いて高い圧縮率を達成するBフレームに係る前後フレーム間圧縮符号化の処理が実行される。こうして動画生成部１０５により生成された動画ファイルのデータは記録メディア１０７に保存される(STEP506)。
【００４５】
図７は、図６に示すタイミングを詳述に示すタイミングチャートである。以下、図４に示す画素３０１の構成に合わせて説明する。時間軸は左右方向の軸であり、最上位に示すRES(409)信号にて時刻T1，T8，T9を示す。また、HSYNC(109)からVL_n(302)にて時刻T0からT7を示す。
【００４６】
時刻T1で撮像素子１０１にVSYNC（108）およびHSYNC（109）が入力されると、RES(409)信号（リセット信号）により画素３０１のPD４０１およびFD部４０８が初期化される。続いて時刻T2では、TX_MOV_MF(405)信号のイネーブルによって、動画用信号が記憶されているMOV_MEM４０２からFD部４０８へ信号が転送される。
【００４７】
時刻T3では、HL_SEL_1(303)信号のイネーブルによって、画素群２０１の第１行目の画素３０１のFD部４０８から垂直読出信号線VL_1(302)〜VL_n(302)に信号が出力される。HL_SEL_1(303)信号がイネーブルされる期間は、時刻T3から時刻T5までの期間であり、HSYNC(109)の時間間隔に対応する時刻T1から時刻T6までの期間よりも短い。また、HL_SEL_1(303)信号がイネーブルされる時間は、垂直読出信号線VL_n(302)に出力された動画信号を、列アンプ・ADC２０３がデジタル化するために十分な時間に設定される。
【００４８】
本実施形態におけるHSYNCの時間間隔については、垂直画素数１０８０と動画ファイルのフレームレート６０ｆｐｓにより最大値が決定される。更には動画信号に関して１２Ｂｉｔでの量子化を行うための、列アンプ・ADC２０３の動作周波数から、HSYNC(109)の時間間隔の最小値が決定される。ここで、列アンプ・ADC２０３の動作周波数を１GHzとした場合の例を下記式に示す。
式１：最大値の算出式
フレームレート / 垂直画素数＝ 1 / 60 / 1080 ≒ 15.4 μｓ（マイクロ秒）
式２：最小値の算出式
1 / 列アンプ・ADC２０３の動作周波数 × 量子化数 ＝ 1 / 1GHz × 2^12 ≒ 4.1μｓ
HSYNC(109)の時間間隔の設定範囲は上記最小値から最大値までの範囲となる。
【００４９】
図２に示すセンサ出力部２０４の動作周波数は、HSYNC(109)の時間間隔内にて、水平画素数１９２０の画素について１２Ｂｉｔでの出力が可能な動作周波数となる。
式３：動作周波数の算出式
1920 × 12 / HSYNC(109)の時間間隔 ≒ 1.5 〜 5.6 GHz
例えば、標準的な動画ファイルの生成方法におけるHSYNC(109)の時間間隔を10μｓとし、センサ出力部２０４の動作周波数を2.3GHzとする。
【００５０】
図７の時刻T6で撮像素子１０１には、第２行目の画素３０１を読出すためのHSYNC(109)が入力される。時刻T7では、HL_SEL_2(303)信号のイネーブルによって、画素群２０１の第２行目の画素３０１のFD部４０８から、垂直読出信号線VL_1(302)〜VL_n(302)に信号が出力される。
【００５１】
この様な動作は、垂直画素数１０８０に相当する回数に亘って繰り返される。図７の時刻T5から時刻T7までの期間は、垂直読出信号線VL_1(302)〜VL_n(302)の各信号が不定となる期間である。この期間は水平同期信号HSYNCに同期して発生することから、一般には水平ブランキング期間、あるいは省略してHブランクと呼ばれている。
【００５２】
HSYNC(109)の時間間隔が10μｓである場合、画素群２０１から１フレームの読出しにかかる時間は下記式４のとおりである。
式４：読出し時間の算出式
10μｓ × 1080 = 10.8ms（ミリ秒）
読出し時間は、VSYNC(108)の時間間隔である約16.7msよりも短くなる。つまり、図７に示す時刻T8から時刻T9までの時間である約5.8msの期間には、画素群２０１から動画信号を読出す動作が不要である。よって、撮像素子１０１の動作を一時的に停止させて省電力化を図ることが可能である。時刻T8から時刻T9までの期間は、垂直同期信号VSYNCに同期して発生することから、一般には垂直ブランキング期間、あるいは省略してVブランクと呼ばれている。
標準的な動画ファイルの生成処理の説明を終えて、次に動画ファイルの生成中における静止画ファイルの生成処理を、下記の各実施形態において説明する。
【００５３】
［第１実施形態］
次に図１から図４、図８、図９を参照して、本発明の第１実施形態に係る撮像装置において動画ファイルの生成中に静止画ファイルを生成する処理を説明する。本実施形態では、所定画素数（水平画素数1920×垂直画素数1080）の画素群により、各画素の量子化ビット数が１２Ｂｉｔで１秒間のフレーム数が６０ｆｐｓに対応する動画ファイルを生成する際に、静止画ファイルを生成可能である。静止画ファイルは、総画素数約5000万画素（水平画素数8600×垂直画素数5800）の画素群により、各画素の量子化ビット数を１４Ｂｉｔとして生成される。ただし、画素数およびフレーム数等は例示であって、これらに限定されるものではない。また、第１の動画信号読出し方法（加算読出し）を前提として説明する。
【００５４】
図８は本実施形態の処理を説明するフローチャートである。図９は、動画生成部１０５で生成される動画ファイルのフレーム画像の例を示すタイミングチャートである。１つのIフレーム画像、１つのPフレーム画像、および２つのBフレーム画像の合計４フレーム画像により１つのGOPが構成される。第１のBフレーム画像の取得中に静止画像の取得タイミングが発生した例を示す。以下、図５および図６で説明した事項との相違点を説明し、同様の説明を省略する。このような省略方法は後述の実施形態でも同じである。
【００５５】
本実施形態において、HSYNC(109)は動画ファイルの垂直画素および静止画ファイルの垂直画素に応じた信号である。図９のMOV_MEM(402)にはグローバルシャッター方式の動作を示しており、STL_MEM(403)には静止画用信号の取得動作を示している。また、図９では信号TX_STL_PM(406)および信号TX_STL_PM(407)が追加されている。図９には、MOV_MEM(402)にB(1)の動画フレームの信号を記憶している最中に、STL_MEM(403)に静止画用信号を記憶する例を示す。STL_MEM(403)に静止画用信号が記憶されるまでは、前述した標準的な動画ファイルの生成方法と同じである。STL_MEM(403)に静止画用信号が記憶されたあとには、STL_MEM(403)から静止画用信号を読出すために、動画ファイルの読出し方法が変更される。
【００５６】
図８のSTEP701，STEP702，STEP704の各処理は、図５のSTEP501，STEP502，STEP503の各処理と同様であるので、それらの説明を割愛する。動画生成部１０５が動画ファイルを生成する際に生じる垂直ブランキング期間は、前述した標準的な動画ファイルの生成方法と同じく約5.8msとなっている。
【００５７】
STEP702で動画撮影の開始指示が検出されると、STEP703の処理に進む。判別制御部１０２は静止画撮影の指示の発生について判定する(STEP703)。ユーザは不図示の操作部により、静止画撮影の指示を行うことができる。静止画撮影の指示が発生していないと判定された場合、STEP704の処理に進み、また静止画撮影の指示が発生したと判定された場合、STEP708の処理に進む。
【００５８】
静止画撮影の指示が発生した場合、量子化ビット数が１４Ｂｉｔで総画素数が約5000万画素（水平画素数8600×垂直画素数5800）の静止画ファイルを生成する処理が実行される。動作周波数が１GHzである列アンプ・ADC２０３を用いて行われる静止画用信号の読出しにおいて、下記式５から得られる時間が読出しに必要な最小時間である。
式５：読出し時間の算出式
1 / 1GHz × 2^14 × 5800 ≒ 95ms
【００５９】
本実施形態においては、動画ファイルを生成する際に生じる、垂直ブランキング期間を使用して静止画用信号を読出す処理が行われる。下記式６によりフレーム数が算出される。
式６：フレーム数の算出式
95 / 5.8 ≒16.4フレーム
つまり、動画ファイルの１７フレーム分の垂直ブランキング期間を使用して、静止画用信号の読出しが行われることになる。その結果、実際の静止画用信号の読出し、および静止画ファイルの生成にかかる時間は、下記式７により算出される。
式７：所要時間の算出式
17 × 16.7 ≒ 284ms
【００６０】
この計算例では静止画ファイルの処理にて、非常に長い時間が必要となる。そこで、動画ファイルの生成中に静止画ファイルを生成する場合、動画ファイルに係るフレーム画像の読出し方法を変更する処理が行われる。これにより、動画ファイルを生成する際に生じる、垂直ブランキング期間を長くすることができる。
【００６１】
動画撮影中に静止画撮影の指示が発生すると(STEP703)、動画ファイルの読出し方法の変更処理が実行される(STEP708)。前述した第１の動画信号読出し方法では、水平４画素および垂直４画素の各信号を加算して読出す方法を説明した。動画ファイルの読出し方法の変更処理(STEP708)では、垂直４画素の加算読出しが垂直８画素の加算読出しに変更されるので、画素群２０１からの読出し行数を半分に低減することができる。その結果、画素群２０１からの１フレームの読出し時間は下記式８により算出される。
式８：読出し時間の算出式
10μｓ × 540 = 5.4ms
【００６２】
１フレーム中の垂直ブランキング期間は下記式９により算出される。
式９：垂直ブランキング期間の算出式
16.7 − 5.4 = 11.3ms
したがって、標準的な5.8msの場合よりも垂直ブランキング期間を拡大することが可能となる。拡大された垂直ブランキング期間を使用して読出される静止画用信号のフレーム数は、下記式１０により算出される。
式１０：フレーム数の算出式
95 / 11.3 ≒ 8.4フレーム
つまり、動画ファイルの９フレーム分の垂直ブランキング期間を使用して、静止画用信号を読出すことができる。その結果、実際の静止画用信号の読出し、および静止画ファイルの生成にかかる時間は、下記式１１から算出される。
式１１：所要時間の算出式
9 × 16.7 ≒ 150ms
したがって、標準的な場合の所要時間284msよりも、静止画ファイルの処理時間を短縮可能である。
【００６３】
図８のSTEP709でフレーム画像の取得処理が開始され、STEP710でフレーム画像の加算読出しが行われる。画素群２０１から水平４画素の加算、垂直８画素の加算によって読出された所定画素数（水平画素数1920×垂直画素数540）の画素の動画フレームは、静止画用信号を読出さない場合に比べて、垂直方向の解像度が半分になる。
【００６４】
図９に示す様に、MOV_MEM(402)にB(1)の動画フレームが記憶されている最中に、STL_MEM(403)に静止画用信号が記憶される。つまり、B(1)の動画フレームについては当該フレームの前後の動画フレームを参照して符号化処理が行われる。このため、B(1)の動画フレームにおける垂直方向の解像度が半分になったとしても、相応の補完が行われてB(1)の動画フレームのデータが生成される。
【００６５】
また図９に示すように、静止画用信号の読出しは、複数の動画フレームに及んで行われる。図９では、動画フレーム(B1)および動画フレーム(B2)の信号読出しと並行して静止画用の信号読出しが行われる様子を例示している。図８のSTEP711で静止画像の取得処理が開始し、STEP712で静止画像データの読出しが行われる。先述のように静止画の読出し時間は95ms（式５）であって動画ファイルの垂直ブランキング期間の長さは11.3ms（式９）である。この場合、最低でも動画ファイルの９フレームの読出しと並行して、静止画用信号を読出す処理が行われる。
【００６６】
読出された動画用信号はSTEP705でフレームバッファ１０４に記憶された後、STEP706とSTEP713の処理に進む。STEP706では動画圧縮符号化の処理が実行され、STEP713では撮像素子１０１からの静止画用信号に基づく静止画圧縮符号化の処理が実行される。これらは並行して処理が行われる。
【００６７】
こうして動画生成部１０５により生成された動画ファイル、および静止画生成部１０６により生成された静止画ファイルの各データは記録メディア１０７に保存される(STEP707)。
【００６８】
本実施形態にて説明した垂直画素の加算数は例示であって、これに限定されるものではない。また動画ファイルのBフレームの記録の最中に、静止画用信号を読出して静止画ファイルの記録を行う例を説明したが、Iフレームからの差分情報を用いて高い圧縮率を達成するPフレームについても適用可能である。また、他のフレームから独立して符号化および復号化の可能なIフレームの記録中に、静止画像データの記録を行う場合には、当該IフレームをPフレームまたはBフレームに置き換えて符号化処理が実行される。これにより、適切な動画ファイルのフレーム構成の適応が可能になる。あるいは、動画ファイルにおけるIフレームの記録中に、静止画像データの記録を行う場合に、当該Iフレームに対する処理を終了してから記録処理が行われる。以上の事項は後述の実施形態でも同様である。
【００６９】
本実施形態では、所定画素数（水平画素数1920×垂直画素数1080）の画素群による、量子化ビット数が１２Ｂｉｔの各画素信号から１秒間のフレーム数が６０ｆｐｓに対応する動画ファイルを生成する。動画撮影中に静止画撮影の指示が発生した場合に動画ファイルの生成方法が変更される。総画素数約5000万（水平画素数8600×垂直画素数5800）の画素群２０１による、量子化ビット数が１４Ｂｉｔの各画素信号から静止画ファイルを生成することができる。つまり、水平４画素および垂直４画素の加算読出しが行われる動画撮影中に、静止画撮影の指示が発生すると動画信号読出し方法が水平４画素および垂直８画素の加算読出しに切り替わり、画素群２０１からの読出し行数が半分になる。その結果、静止画用信号の読出し時間を短縮できる。
本実施形態によれば、動画撮影中の静止画取得時に動画読出し方法を適応的に変更し、動画読出しに伴う動画ブランキング時間を十分に確保することができる。
【００７０】
［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では第１の動画信号読出し方法である水平４画素および垂直４画素の加算読出しが行われる動画撮影中に、静止画撮影の指示が発生した場合に動画ファイルの生成方法が変更される。水平８画素および垂直４画素の加算読出しを行うことにより、画素群２０１からの読出し列数が半分になる。その結果、静止画用信号の読出し時間を短縮できる。
【００７１】
図１０を参照して、動画ファイルの生成中における静止画ファイルの生成処理について説明する。図１０のタイミングチャートは、動画生成部１０５により生成される動画ファイルのフレーム画像の一例を示す。１つのIフレーム画像、１つのPフレーム画像、および２つのBフレーム画像の合計4フレーム画像が１つのGOPを構成する場合に、第１のBフレーム画像の取得中に静止画像データの取得処理を行う場合を示している。HSYNC(109)は動画ファイルの垂直画素および静止画ファイルの垂直画素に応じた信号である。
【００７２】
動画ファイルの生成中における静止画ファイルの生成処理の流れは、第１実施形態にて説明した図８と同様である。よって図８との相違点のみを説明する。STEP703からSTEP708に進み、動画信号読出し方法の変更処理が行われる。すなわち、水平４画素および垂直４画素の加算読出しが、水平８画素および垂直４画素の加算読出しに変更され、画素群２０１からの読出し列数が半分となる。一行から読出される信号の列数が半分になることで、列アンプ・ADC２０３の並列処理化が可能となり、列アンプ・ADC２０３の処理時間が半分となる。その結果、画素群２０１からの１フレームの読出し時間は、下記式１２により算出される。
式１２：読出し時間の算出式
5μｓ × 1080 = 5.4ms
【００７３】
１フレーム中の垂直ブランキング期間は、下記式１３により算出される。
式１３：垂直ブランキング期間の算出式
16.7 − 5.4 = 11.3ms
したがって、標準的な5.8msの場合よりも垂直ブランキング期間を拡大することが可能となる。拡大された垂直ブランキング期間を使用して読出される静止画用信号のフレーム数は、下記式１４により算出される。
式１４：フレーム数の算出式
95 / 11.3 ≒ 8.4フレーム
つまり、動画ファイルの９フレーム分の垂直ブランキング期間を使用して、静止画用信号を読出しが行われる。その結果、実際の静止画用信号の読出し、および静止画ファイルの生成にかかる時間は上記式１１から、
9 × 16.7 ≒ 150ms
と算出される。標準的な場合の所要時間284msよりも静止画用信号の処理時間を短縮することが可能になる。
【００７４】
また、画素群２０１から、水平８画素の加算および垂直４画素の加算により読出された所定画素数（水平画素数960×垂直画素数1080）の動画フレームは、静止画用信号を読出さない時に比べて、水平方向の解像度が半分になる。図１０に示す様に、MOV_MEM４０２にB(1)の動画フレームの信号が記憶されている最中に、STL_MEM４０３に静止画用信号が記憶される。つまり、動画フレームB(1)では当該フレームの前後の動画フレームを参照して符号化処理が行われる。そのため、当該動画フレームB(1)の水平方向の解像度が半分になったとしても、相応の補完が行われて動画フレームB(1)のデータが生成される。
【００７５】
図１０に示す様に静止画用の信号読出しは、複数の動画フレームに及んで行われる。図１０では、動画フレーム(B1)および動画フレーム(B2)の読出しと並行して静止画用信号が読出される様子を例示している。静止画読出し時間が95msで動画ファイルに係る垂直ブランキング時間が11.3msの場合、最低でも動画ファイルの９フレームの読出しと並行して、静止画用信号の読出し処理が行われる（図８：STEP711および712参照）。
【００７６】
本実施形態では、動画読出し方法にて水平４画素の加算を水平８画素の加算に変更する例を説明したが、水平画素の加算数はこれに限定されるものではない。
【００７７】
［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では第１の動画信号読出し方法である水平４画素および垂直４画素の加算読出しが行われる動画撮影中に、静止画撮影の指示が発生した場合に動画ファイルの生成方法が変更される。水平８画素および垂直８画素の加算読出しを行うことにより、画素群２０１からの読出し行数が半分になり、且つ画素群２０１からの読出し列数が半分になる。その結果、静止画用信号の読出し時間をさらに短縮できる。
【００７８】
図１から図４、および、図８、図１１を参照して、本実施形態における動画ファイルの生成中における静止画ファイルの生成方法について説明する。図１１において、図９および図１０との相違点を垂直読出信号線VL_n(302)に出力される信号のタイミングに示す。
【００７９】
動画ファイルの生成中での静止画ファイルの生成処理の流れは、第１実施形態にて説明した図８と同様である。よって図８との相違点のみを説明する。STEP703からSTEP708に進み、動画信号読出し方法の変更処理が行われる。すなわち、水平４画素の加算が水平８画素の加算に変更され、且つ垂直４画素の加算が垂直８画素の加算に変更されて信号読出しが行われる。画素群２０１からの、読出し行数が半分となり、且つ読出し列数が半分になる。つまり本実施形態では、第１実施形態で示した加算方法と、第２実施形態で示した加算方法とが併用され、同時に適用される。その結果、画素群２０１からの１フレームの読出し時間は、下記式１５により算出される。
式１５：読出し時間の算出式
5μｓ × 540 = 2.7ms
【００８０】
1フレーム中の垂直ブランキング期間は、下記式１６により算出される。
式１６：垂直ブランキング期間の算出式
16.7 − 2.7 = 14ms
よって、標準的な5.8msの場合よりも垂直ブランキング期間を拡大することが可能となる。拡大された垂直ブランキング期間を使用して読出される静止画用信号のフレーム数は、下記式１７により算出される。
式１７：フレーム数の算出式
95 / 14 ≒ 6.8フレーム
つまり、動画ファイルの７フレーム分の垂直ブランキング期間を使用して、静止画用信号を読出すことができる。その結果、実際の静止画用信号の読出し、および静止画ファイルの生成にかかる時間は、下記式１８により算出される。
式１８：所要時間の算出式
7 × 16.7 ≒ 117ms
標準的な場合の所要時間284msよりも静止画用信号の処理時間を短縮可能である。
【００８１】
本実施形態では、画素群２０１から、水平８画素および垂直８画素の加算読出しにより、所定画素数（水平画素数960×垂直画素数540）の動画フレームが取得される。つまり、静止画用信号を読出さない場合に比べて、水平方向および垂直方向の解像度がそれぞれ半分になる。図１１に示す様に、MOV_MEM４０２にB(1)の動画フレームの信号が記憶されている最中に、STL_MEM４０３に静止画用信号が記憶される。つまり、動画フレームB(1)では当該フレームの前後の動画フレームを参照して符号化処理が行われる。そのため、動画フレームB(1)の水平方向および垂直方向の解像度がともに半分なったとしても、相応の補完が行われて動画フレームB(1)が生成される。
【００８２】
また、図１１に示す様に静止画ファイルの読出しは、複数の動画フレームに及んで行われる。図１１では、動画フレーム(B1)および動画フレーム(B2)の読出しと並行して静止画用信号が読出されている様子を例示している。静止画読出し時間が95msで動画ファイルに係る垂直ブランキング時間が14msの場合、最低でも動画ファイルの７フレームの読出しと並行して、静止画用信号の読出し処理が行われる（図８：STEP711および712参照）。
【００８３】
本実施形態では、動画信号読出し方法にて水平４画素の加算が水平８画素の加算に変更され、且つ垂直４画素の加算が垂直８画素の加算に変更される例を説明した。水平画素の加算数および垂直画素の加算数はこれに限定されるものではない。
【００８４】
前記実施形態では、撮像素子からの信号に基づく複数のフレーム画像により形成される動画像データを取得しつつ、静止画像データを取得することができる。動画撮影中に静止画撮影の指示が検出されたか否かの判定が行われ、判定結果により、動画ファイルを生成するための１つのフレーム画像の取得に要する時間および動画フレーム画像の生成方法が制御される。動画読出し方法を適応的に変更することで、動画読出しに伴う動画ブランキング期間を長く確保できる。すなわち静止画像データの読出し時間を十分に確保できるので、動画像データ生成中の静止画撮影にて動画像データの生成を中断することなく、動画像データを適切なタイミングで符号化して生成できる。前記実施形態によれば、静止画撮影期間において動画像データの欠落が発生することなく、また動画撮影中に、静止画撮影（静止画像データの取得）をより高速に行うことが可能な撮像装置を提供できる。
以上、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００８５】
１０１  撮像素子
１０２  判別制御部
１０３  動画像判別部
１０４  フレームバッファ
１０５  動画生成部
１０６  静止画生成部
【図１】
2020188335.tif 000003
【図２】
2020188335.tif 000004
【図３】
2020188335.tif 000005
【図４】
2020188335.tif 000006
【図５】
2020188335.tif 000007
【図６】
2020188335.tif 000008
【図７】
2020188335.tif 000009
【図８】
2020188335.tif 000010
【図９】
2020188335.tif 000011
【図１０】
2020188335.tif 000012
【図１１】
2020188335.tif 000013