(57)【要約】【課題】高フレームレート且つ高解像度を有する動画像を低消費電力にて生成する。【解決手段】全画素読み出しを周期的に行って低フレームレートの高解像度画像列（Ｈ1及びＨ9）を撮像素子から取得すると共に、隣接する高解像度画像の取得間に加算読み出し又は間引き読み出しを行って低解像度画像列（Ｌ2〜Ｌ8）を撮像素子から取得する。この後、取得した高解像度画像列及び低解像度画像列に対して画像処理を施すことにより、高フレームレートの高解像度画像列を生成する。【選択図】図７
2010028722.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子に配列された受光画素群の画素信号の読み出し方式を複数の読み出し方式間で切り替えることにより、第１解像度を有する複数の第１画像が時系列に並んで形成される第１画像列と前記第１解像度よりも高い第２解像度を有する複数の第２画像が時系列に並んで形成される第２画像列とを前記撮像素子から取得する画像取得手段と、
前記第１及び第２画像列に基づいて、前記第２解像度を有する複数の出力画像が時系列に並んで形成される出力画像列を生成する出力画像列生成手段と、を備え、
前記複数の出力画像中の、時間的に隣接する２枚の出力画像間の時間間隔は、前記複数の第２画像中の、時間的に隣接する２枚の第２画像間の時間間隔よりも短い
ことを特徴とする撮像装置。
【請求項２】
前記出力画像列に対して画像圧縮処理を施すことにより、フレーム内符号化画像及びフレーム間予測符号化画像を含む圧縮動画像を生成する画像圧縮手段を更に備え、
前記出力画像列は、前記第１画像の取得タイミングに対応し且つ前記第１及び第２画像から生成される第１出力画像と、前記第２画像の取得タイミングに対応し且つ前記第２画像から生成される第２出力画像と、から成り、
前記画像圧縮手段は、前記第１及び第２出力画像の内、前記第２出力画像を優先的に前記フレーム内符号化画像の対象として選択した上で前記圧縮動画像を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像取得手段は、前記撮像素子から前記第１画像を取得するための前記画素信号の読み出しと前記撮像素子から前記第２画像を取得するための前記画素信号の読み出しとを規定順序で実行する動作を、一定の周期にて繰り返し実行することにより前記第１及び第２画像列を取得する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記第２解像度を有する静止画像の取得の指示を受け付けるシャッタボタンを更に備え、
前記画像取得手段は、前記撮像素子から前記第１画像を取得するための前記画素信号の読み出しと前記撮像素子から前記第２画像を取得するための前記画素信号の読み出しとを、前記シャッタボタンを介して受けた指示内容に基づいて切り替え実行する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項５】
前記複数の第２画像中の異なる第２画像間における、画像上の物体の動きを検出する動き検出手段を更に備え、
前記画像取得手段は、前記撮像素子から前記第１画像を取得するための前記画素信号の読み出しと前記撮像素子から前記第２画像を取得するための前記画素信号の読み出しとを、検出された前記動きに基づいて切り替え実行する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項６】
時間的に隣接する２枚の第２画像の取得間において１枚以上の第１画像の取得が行われ、
前記出力画像列生成手段は、前記第２画像の解像度を前記第１解像度へと低下させることよって第３画像を生成する解像度変換手段を備え、
前記出力画像列のフレームレートを第１フレームレートと呼ぶとともに前記第２画像列のフレームレートを第２フレームレートと呼んだ場合、前記第１フレームレートは前記第２フレームレートよりも高く、
前記出力画像列生成手段は、
前記解像度変換手段を用いて前記第２画像列から前記第２フレームレートの第３画像列を生成した後、
前記第２フレームレートの前記第２画像列と、前記第１及び第３画像列から形成される前記第１フレームレートの画像列と、に基づいて前記第１フレームレートの前記出力画像列を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項７】
撮像素子に配列された受光画素群の画素信号の読み出し方式を複数の読み出し方式間で切り替えることにより、第１解像度を有する複数の第１画像が時系列に並んで形成される第１画像列と前記第１解像度よりも高い第２解像度を有する複数の第２画像が時系列に並んで形成される第２画像列とを前記撮像素子から取得する画像取得手段と、
前記第１及び第２画像の対応付けを行った上で、前記第１及び前記第２画像列を記録媒体に記憶させる記憶制御手段と、を備えた
ことを特徴とする撮像装置。
【請求項８】
請求項７に記載の記録媒体の記憶内容に基づいて、前記第２解像度を有する複数の出力画像が時系列に並んで形成される出力画像列を生成する出力画像列生成手段を備え、
前記複数の出力画像中の、時間的に隣接する２枚の出力画像間の時間間隔は、前記複数の第２画像中の、時間的に隣接する２枚の第２画像間の時間間隔よりも短い
ことを特徴とする画像処理装置。
【請求項９】
前記画像取得手段は、前記第１画像と前記第２画像が同一の視野を有するように前記画素信号を前記撮像素子から読み出す
ことを特徴とする請求項１〜請求項７の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ等の撮像装置、及び、画像処理装置に関する。
【背景技術】
【０００２】
多画素から成る静止画像を撮影可能な撮像素子（イメージセンサ）にて動画像を撮影する場合、撮像素子からの画素信号の読み出し速度に応じて、フレームレートを低く抑える必要がある。高フレームレートを実現すべく撮像素子からの読み出し速度を上げようとすると、消費電力の増大を招く。例えば、撮像素子としてインターライン型ＣＣＤを用いる場合、水平転送路を高速駆動することによって高フレームレートを実現することができるが、そのような高速駆動は、電荷転送効率の低下を招き、結果、消費電力及び発熱量を増大させる。
【０００３】
このような消費電力の増大を招くことなく高フレームレートを実現するためには、画素信号の加算読み出し又は間引き読み出しを行って画像データを減らす必要がある。しかしながら、加算読み出し又は間引き読み出しを行えば、画像データの減少により撮影画像の解像度が低くなる。高フレームレート且つ高解像度を有する動画像を低消費電力にて生成する技術の開発が極めて重要であることは言うまでもない。
【０００４】
尚、高解像度低フレームカメラと低解像度高フレームレートカメラを用いて、低フレームレートの高解像度画像列と高フレームレートの低解像度画像列とを同時に各カメラから読み出し、それらの画像列に基づいて高フレームレートの高解像度出力画像列を生成する技術が提案されている（例えば、下記特許文献１参照）。但し、この技術では、低フレームレートの高解像度画像列と高フレームレートの低解像度画像列を同時に各カメラから読み出して利用するため、データ量が多くなって消費電力が増大する。また、高価な特殊複合センサ（カメラ）が必要となるため、実用性に欠ける。
【０００５】
また、撮像素子の中央部連続信号の読み出しと撮像素子の全領域間引き信号の読み出しとを用途に応じて交互に行う技術も提案されている（例えば、下記特許文献２参照）。この技術では、中央部連続信号の読み出しをオートフォーカス制御用に実行し、全領域間引き信号の読み出しを表示用に実行している。つまり、この技術の用途は限定的であって、この技術は動画像撮影を想定していない。
【０００６】
【特許文献１】特開２００５−３１８５４８号公報
【特許文献２】特開２００５−８６２４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで本発明は、比較的高いフレームレートを有し且つ比較的高い解像度を有する動画像の、低消費電力での生成に寄与する撮像装置及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る第１の撮像装置は、撮像素子に配列された受光画素群の画素信号の読み出し方式を複数の読み出し方式間で切り替えることにより、第１解像度を有する複数の第１画像が時系列に並んで形成される第１画像列と前記第１解像度よりも高い第２解像度を有する複数の第２画像が時系列に並んで形成される第２画像列とを前記撮像素子から取得する画像取得手段と、前記第１及び第２画像列に基づいて、前記第２解像度を有する複数の出力画像が時系列に並んで形成される出力画像列を生成する出力画像列生成手段と、を備え、前記複数の出力画像中の、時間的に隣接する２枚の出力画像間の時間間隔は、前記複数の第２画像中の、時間的に隣接する２枚の第２画像間の時間間隔よりも短いことを特徴とする。
【０００９】
読み出し方式を切り替え制御することによって、共通の撮像素子から比較的低い解像度を有する第１画像列と比較的高い解像度を有する第２画像列を取得する。この後、画像処理によって、第１及び第２画像列から、第２画像列のフレームレートよりも高いフレームレートを有し且つ比較的高い解像度を有する出力画像列を生成する。このような構成を採用することによって、比較的高いフレームレートを有し且つ比較的高い解像度を有する動画像を、低消費電力にて生成することが可能となる。
【００１０】
また例えば、当該撮像装置は、前記出力画像列に対して画像圧縮処理を施すことにより、フレーム内符号化画像及びフレーム間予測符号化画像を含む圧縮動画像を生成する画像圧縮手段を更に備え、前記出力画像列は、前記第１画像の取得タイミングに対応し且つ前記第１及び第２画像から生成される第１出力画像と、前記第２画像の取得タイミングに対応し且つ前記第２画像から生成される第２出力画像と、から成り、前記画像圧縮手段は、前記第１及び第２出力画像の内、前記第２出力画像を優先的に前記フレーム内符号化画像の対象として選択した上で前記圧縮動画像を生成する。
【００１１】
これにより、圧縮動画像の全体的な画質を向上させることができる。
【００１２】
また例えば、前記画像取得手段は、前記撮像素子から前記第１画像を取得するための前記画素信号の読み出しと前記撮像素子から前記第２画像を取得するための前記画素信号の読み出しとを規定順序で実行する動作を、一定の周期にて繰り返し実行することにより前記第１及び第２画像列を取得する。
【００１３】
或いは例えば、当該撮像装置は、前記第２解像度を有する静止画像の取得の指示を受け付けるシャッタボタンを更に備え、前記画像取得手段は、前記撮像素子から前記第１画像を取得するための前記画素信号の読み出しと前記撮像素子から前記第２画像を取得するための前記画素信号の読み出しとを、前記シャッタボタンを介して受けた指示内容に基づいて切り替え実行する。
【００１４】
更に或いは例えば、当該撮像装置は、前記複数の第２画像中の異なる第２画像間における、画像上の物体の動きを検出する動き検出手段を更に備え、前記画像取得手段は、前記撮像素子から前記第１画像を取得するための前記画素信号の読み出しと前記撮像素子から前記第２画像を取得するための前記画素信号の読み出しとを、検出された前記動きに基づいて切り替え実行する。
【００１５】
また具体的には例えば、時間的に隣接する２枚の第２画像の取得間において１枚以上の第１画像の取得が行われ、前記出力画像列生成手段は、前記第２画像の解像度を前記第１解像度へと低下させることよって第３画像を生成する解像度変換手段を備え、前記出力画像列のフレームレートを第１フレームレートと呼ぶとともに前記第２画像列のフレームレートを第２フレームレートと呼んだ場合、前記第１フレームレートは前記第２フレームレートよりも高く、前記出力画像列生成手段は、前記解像度変換手段を用いて前記第２画像列から前記第２フレームレートの第３画像列を生成した後、前記第２フレームレートの前記第２画像列と、前記第１及び第３画像列から形成される前記第１フレームレートの画像列と、に基づいて前記第１フレームレートの前記出力画像列を生成する。
【００１６】
本発明に係る第２の撮像装置は、撮像素子に配列された受光画素群の画素信号の読み出し方式を複数の読み出し方式間で切り替えることにより、第１解像度を有する複数の第１画像が時系列に並んで形成される第１画像列と前記第１解像度よりも高い第２解像度を有する複数の第２画像が時系列に並んで形成される第２画像列とを前記撮像素子から取得する画像取得手段と、前記第１及び第２画像の対応付けを行った上で、前記第１及び前記第２画像列を記録媒体に記憶させる記憶制御手段と、を備えたことを特徴とする。
【００１７】
上記の如く第１及び第２画像列を記録しておくことにより、必要な時に、第１の撮像装置にて生成されるような出力画像列を生成することが可能となる。従って、第２の撮像装置は、比較的高いフレームレートを有し且つ比較的高い解像度を有する動画像の、低消費電力での生成に寄与する。
【００１８】
本発明に係る画像処理装置は、前記記録媒体の記憶内容に基づいて、前記第２解像度を有する複数の出力画像が時系列に並んで形成される出力画像列を生成する出力画像列生成手段を備え、前記複数の出力画像中の、時間的に隣接する２枚の出力画像間の時間間隔は、前記複数の第２画像中の、時間的に隣接する２枚の第２画像間の時間間隔よりも短いことを特徴とする。
【００１９】
また例えば、前記画像取得手段は、前記第１画像と前記第２画像が同一の視野を有するように前記画素信号を前記撮像素子から読み出す。
【発明の効果】
【００２０】
本発明によれば、比較的高いフレームレートを有し且つ比較的高い解像度を有する動画像の、低消費電力での生成に寄与する撮像装置及び画像処理装置を提供することが可能となる。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２３】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。後に説明される、本発明に係る第２〜第６実施形態は、第１実施形態に記載の事項を基礎とした実施形態である。故に、第１実施形態に記載した事項は、矛盾なき限り、第２〜第６実施形態にも適用される。
【００２４】
図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。
【００２５】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００２６】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００２７】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００２８】
撮像素子３３は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（図１において不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００２９】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、通常、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。
【００３０】
マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００３１】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。
【００３２】
録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。
【００３３】
撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３４】
撮影モードでは、規定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。周知の如く、フレーム周期の逆数は、フレームレートと呼ばれる。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種と考えることができる。１つのフレーム周期分の画像データによって１枚分の画像が表現される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施すが、この画像処理を施す前の、ＡＦＥ１２の出力信号そのものによって表される画像を、原画像と呼ぶ。従って、１つのフレーム周期分の、ＡＦＥ１２の出力信号によって、１枚の原画像が表現される。
【００３５】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。
【００３６】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号はＶＲＡＭ２０に書き込まれる。
【００３７】
表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれている映像信号に応じた画像を表示する。また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００３８】
尚、以下の説明では、説明の簡略化上、データの圧縮又は伸張が介在していたとしても、データの圧縮又は伸張の存在を無視することがある。例えば、圧縮された画像データから画像を再生表示するためには、その画像データを伸張する必要があるが、以下の説明では、伸張を行う旨の記述を省略することがある。
【００３９】
［撮像素子の受光画素配列］
図２（ａ）は、撮像素子３３の有効領域内の受光画素配列を示している。撮像素子３３の有効領域は長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点と捉える。原点が撮像素子３３の有効領域の左上隅に位置するものとする。図２（ｂ）に示す如く、撮像素子３３の水平方向における有効画素数Ｍと垂直方向における有効画素数Ｎとの積（Ｍ×Ｎ）に相当する個数の受光画素が二次元配列されることによって、撮像素子３３の有効領域が形成される。撮像素子３３の有効領域内の各受光画素をＰS［ｘ，ｙ］にて表す。ここで、ｘ及びｙは整数であり、１≦ｘ≦Ｍ且つ１≦ｙ≦Ｎを満たす。Ｍ及びＮは、２以上の整数であり、例えば、数１００〜数１０００の範囲内の値をとる。撮像素子３３の原点から見て、右側に位置する受光画素ほど、対応する変数ｘの値が大きくなり、下側に位置する受光画素ほど、対応する変数ｙの値が大きくなるものとする。撮像素子３３において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
【００４０】
図２（ａ）には、不等式「１≦ｘ≦１０」及び「１≦ｙ≦１０」を満たす合計１００個の受光画素ＰS［ｘ，ｙ］が示されている。図２（ａ）に示される受光画素群の内、受光画素ＰS［１，１］の配置位置が最も撮像素子３３の原点に近く、受光画素ＰS［１０，１０］の配置位置が最も撮像素子３３の原点から遠い。
【００４１】
撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図３は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図３に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素ＰS［２ｎA−１，２ｎB］の前面に配置され、青フィルタは、受光画素ＰS［２ｎA，２ｎB−１］の前面に配置され、緑フィルタは、受光画素ＰS［２ｎA−１，２ｎB−１］又はＰS［２ｎA，２ｎB］の前面に配置される。ここで、ｎA及びｎBは整数である。尚、図３並びに後述の図４〜図６において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。
【００４２】
赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号は、受光画素の画素信号を表し、以下、それを「受光画素信号」と呼ぶこともある。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。
【００４３】
［受光画素信号の読み出し方式］
撮像素子３３から受光画素信号を読み出す方式には、撮像素子３３の有効領域内に位置する全ての受光画素からの受光画素信号を個別に読み出す全画素読み出し方式と、複数の受光画素信号を加算しながら読み出す加算読み出し方式と、受光画素信号を間引いて読み出す間引き読み出し方式と、がある。尚、以下の説明では、記述の簡略化上、ＡＦＥ１２における信号増幅及びデジタル化を無視して考える。
【００４４】
・全画素読み出し方式
全画素読み出し方式について説明する。全画素読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、撮像素子３３の有効領域内に位置する全ての受光画素からの受光画素信号が個別にＡＦＥ１２を介して映像信号処理部１３に与えられる。
【００４５】
従って、全画素読み出し方式を用いた場合、図４に示す如く、４×４受光画素についての（４×４）個の受光画素信号が、原画像上における４×４画素についての（４×４）個の画素信号となる。尚、４×４受光画素とは、水平方向に４つの受光画素、垂直方向に４つの受光画素がマトリクス状に配列された計１６個の受光画素を指す。４×４画素についても同様である。
【００４６】
全画素読み出し方式を用いた場合、図４に示す如く、受光画素ＰS［ｘ，ｙ］の受光画素信号が、原画像上の画素位置［ｘ，ｙ］における画素の画素信号となる。原画像を含む任意の着目画像において、画素が配置される着目画像上の位置を、画素位置と呼ぶと共に記号［ｘ，ｙ］にて表す。着目画像の左上隅に位置する、着目画像上の原点から見て、右側に位置する着目画像上の画素ほど、対応する変数ｘの値が大きくなり、下側に位置する着目画像上の画素ほど、対応する変数ｙの値が大きくなるものとする。着目画像において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
【００４７】
原画像では、１つの画素位置に対して、赤成分、緑成分及び青成分の内の何れかの１つの色成分のみの画素信号が存在している。原画像を含む任意の着目画像において、赤成分、緑成分及び青成分のデータを表す画素信号を、夫々、Ｒ信号、Ｇ信号及びＢ信号と呼ぶ。
【００４８】
全画素読み出し方式を用いた場合、原画像上の画素位置［２ｎA−１，２ｎB］に配置される画素の画素信号はＲ信号であり、原画像上の画素位置［２ｎA，２ｎB−１］に配置される画素の画素信号はＢ信号であり、原画像上の画素位置［２ｎA−１，２ｎB−１］又は［２ｎA，２ｎB］に配置される画素の画素信号はＧ信号である。
【００４９】
・加算読み出し方式
加算読み出し方式について説明する。加算読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、複数の受光画素信号を加算することによって得た加算信号が撮像素子３３からＡＦＥ１２を介して映像信号処理部１３に与えられ、１つの加算信号によって、原画像上の１つの画素の画素信号が形成される。
【００５０】
受光画素信号の加算の方法には様々な方法が存在するが、一例として、図５に、加算読み出し方式を用いた原画像の取得の様子を示す。図５に示す例では、１つの加算信号を生成するために、４つの受光画素信号が足し合わされる。この加算読み出し方式を用いる場合、撮像素子３３の有効領域が複数の小受光画素領域に分割して捉えられる。複数の小受光画素領域の夫々は４×４受光画素から形成され、１つの小受光画素領域から４つの加算信号が生成される。小受光画素領域ごとに生成された４つの加算信号の夫々は、原画像上の画素の画素信号として読み出される。
【００５１】
例えば、受光画素ＰS［１，１］〜ＰS［４，４］から成る小受光画素領域に着目した場合、受光画素ＰS［１，１］、ＰS［３，１］、ＰS［１，３］及びＰS［３，３］の受光画素信号を足し合わせて得た加算信号が、原画像上の画素位置［１，１］における画素信号（Ｇ信号）として撮像素子３３から読み出され、受光画素ＰS［２，１］、ＰS［４，１］、ＰS［２，３］及びＰS［４，３］の受光画素信号を足し合わせて得た加算信号が、原画像上の画素位置［２，１］における画素信号（Ｂ信号）として撮像素子３３から読み出され、受光画素ＰS［１，２］、ＰS［３，２］、ＰS［１，４］及びＰS［３，４］の受光画素信号を足し合わせて得た加算信号が、原画像上の画素位置［１，２］における画素信号（Ｒ信号）として撮像素子３３から読み出され、受光画素ＰS［２，２］、ＰS［４，２］、ＰS［２，４］及びＰS［４，４］の受光画素信号を足し合わせて得た加算信号が、原画像上の画素位置［２，２］における画素信号（Ｇ信号）として撮像素子３３から読み出される。
【００５２】
このような加算読み出し方式による読み出しを各小受光画素領域に対して実行する。これにより、原画像上の画素位置［２ｎA−１，２ｎB］に配置される画素の画素信号はＲ信号となり、原画像上の画素位置［２ｎA，２ｎB−１］に配置される画素の画素信号はＢ信号となり、原画像上の画素位置［２ｎA−１，２ｎB−１］又は［２ｎA，２ｎB］に配置される画素の画素信号はＧ信号となる。
【００５３】
・間引き読み出し方式
間引き読み出し方式について説明する。間引き読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、幾つかの受光画素信号が間引かれる。即ち、撮像素子３３の有効領域内の全受光画素の内、一部の受光画素についての受光画素信号のみが撮像素子３３からＡＦＥ１２を介して映像信号処理部１３に与えられ、映像信号処理部１３に与えられた１つの受光画素信号によって、原画像上の１つの画素の画素信号が形成される。
【００５４】
受光画素信号の間引きの方法には様々な方法が存在するが、一例として、図６に、間引き読み出し方式を用いた原画像の取得の様子を示す。この例では、撮像素子３３の有効領域が複数の小受光画素領域に分割して捉えられる。複数の小受光画素領域の夫々は４×４受光画素から形成される。１つの小受光画素領域から４つの受光画素信号のみが原画像上の画素の画素信号として読み出される。
【００５５】
例えば、受光画素ＰS［１，１］〜ＰS［４，４］から成る小受光画素領域に着目した場合、受光画素ＰS［２，２］、ＰS［３，２］、ＰS［２，３］及びＰS［３，３］の受光画素信号が、夫々、原画像上の画素位置［１，１］、［２，１］、［１，２］及び［２，２］における画素信号として撮像素子３３から読み出される。原画像上の画素位置［１，１］、［２，１］、［１，２］及び［２，２］における画素信号は、夫々、Ｇ信号、Ｒ信号、Ｂ信号及びＧ信号である。
【００５６】
このような間引き読み出し方式による読み出しを各小受光画素領域に対して実行する。これにより、原画像上の画素位置［２ｎA−１，２ｎB］に配置される画素の画素信号はＢ信号となり、原画像上の画素位置［２ｎA，２ｎB−１］に配置される画素の画素信号はＲ信号となり、原画像上の画素位置［２ｎA−１，２ｎB−１］又は［２ｎA，２ｎB］に配置される画素の画素信号はＧ信号となる。
【００５７】
以下、全画素読み出し方式、加算読み出し方式及び間引き読み出し方式による信号読み出しを、夫々、全画素読み出し、加算読み出し及び間引き読み出しと呼ぶ。また、以下の説明において、単に加算読み出し方式又は加算読み出しと言った場合、それは図５を参照して説明した上記の加算読み出し方式又は加算読み出しを指し、単に間引き読み出し方式又は間引き読み出しと言った場合、それは図６を参照して説明した上記の間引き読み出し方式又は間引き読み出しを指すものとする。
【００５８】
全画素読み出しによって取得した原画像と、加算読み出し又は間引き読み出しによって取得した原画像は、同一の視野を有している。即ち、両原画像の撮影期間中において撮像装置１及び被写体が静止しているとすれば、両原画像は、同一の被写体の像を表している。
【００５９】
但し、全画素読み出しによって取得した原画像の画像サイズは（Ｍ×Ｎ）である一方で、加算読み出し又は間引き読み出しによって取得した原画像の画像サイズは（Ｍ／２×Ｎ／２）である。即ち、全画素読み出しによって取得した原画像の水平及び垂直方向の画素数はそれぞれＭ及びＮである一方で、加算読み出し又は間引き読み出しによって取得した原画像の水平及び垂直方向の画素数はそれぞれＭ／２及びＮ／２である。このように、全画素読み出しによって取得した原画像と加算読み出し又は間引き読み出しによって取得した原画像との間では解像度が異なり、前者の解像度は、水平及び垂直方向において、後者の解像度の２倍である。
【００６０】
何れの読み出し方式を利用した場合も、原画像上において、Ｒ信号はモザイク状に配置されている。Ｂ及びＧ信号についても同様である。図１の映像信号処理部１３は、このような原画像に対してデモザイキング処理と呼ばれる色補間処理を施すことにより原画像から色補間画像を生成することが可能である。色補間画像では、１つの画素位置に対して、Ｒ、Ｇ及びＢ信号が全て存在する、或いは、輝度信号Ｙ及び色差信号Ｕ及びＶが全て存在する。
【００６１】
［高／低解像度画像の取得方法］
以下の説明では、全画素読み出しによって取得した原画像を高解像度入力画像と呼び、加算読み出し又は間引き読み出しによって取得した原画像を低解像度入力画像と呼ぶ。尚、全画素読み出しによって取得した原画像に上記色補間処理を施すことによって得た色補間画像を高解像度入力画像として取り扱うと共に、加算読み出し又は間引き読み出しによって取得した原画像に上記色補間処理を施すことによって得た色補間画像を低解像度入力画像として取り扱うことも可能である。また、以下の説明において、高解像度画像とは、高解像度入力画像と同じ解像度を有する画像を意味し、低解像度画像とは、低解像度入力画像と同じ解像度を有する画像を意味する。高解像度入力画像は高解像度画像の一種であり、低解像度入力画像は低解像度画像の一種である。
【００６２】
尚、本明細書では、符号（記号）を付記することによって、高解像度入力画像などの名称を略記することがある。例えば、以下の説明において、或る高解像度入力画像を表す記号としてＨ1が割り当てられた場合、高解像度入力画像Ｈ1を単に画像Ｈ1と略記することがあるが、両者は同じものを指す。
【００６３】
撮像素子３３は、全画素読み出し方式による信号読み出しを実行可能に形成されていると共に、加算読み出し方式及び／又は間引き読み出し方式による信号読み出しも実行可能に形成されている。図１のＣＰＵ２３がＴＧ２２と協働しつつ撮像素子３３を制御することにより、何れの読み出し方式を用いて原画像を取得するかを決定する。後述の他の実施形態の説明を含む以下の説明では、説明の具体化及び簡略化のため、低解像度入力画像を得るための読み出し方式として加算読み出し方式が用いられることを想定する。但し、低解像度入力画像を得るための読み出し方式として間引き読み出し方式を用いても良く、間引き読み出し方式を用いる場合は、各実施形態の説明文にて後述される加算読み出し方式及び加算読み出しを間引き読み出し方式及び間引き読み出しに読み替えればよい。
【００６４】
第１実施形態では、全画素読み出しと加算読み出しが規定された順序で行われる。具体的には、１フレーム分の画素信号を読み出すための全画素読み出しを１回実行した後、１フレーム分の画素信号を読み出すための加算読み出しをＬNUM回連続して実行するという動作を一連の動作とし、その一連の動作を一定の周期にて繰り返し実行する。ＬNUMは、１以上の整数である。今、ＬNUMが７である場合を考える。このような読み出しによって得られる画像列を、図７に示す。
【００６５】
時間の経過に伴って、タイミングｔ1、ｔ2、ｔ3、ｔ4、ｔ5、ｔ6、ｔ7、ｔ8、ｔ9、・・・が、この順番で訪れるものとする。そして、タイミングｔ1にて１回分の全画素読み出しが行われ、タイミングｔ2、ｔ3、ｔ4、ｔ5、ｔ6、ｔ7及びｔ8にて、夫々、１、２、３、４、５、６及び７回目の加算読み出しが行われる。この１回分の全画素読み出しと７回分の加算読み出しとから成る一連の動作が、一定の周期にて繰り返し実行される。従って、タイミングｔ1にて行われた全画素読み出しの次の全画素読み出しがタイミングｔ9にて行われ、タイミングｔ9に続くタイミングｔ10より、再度７回分の加算読み出しが行われる。
【００６６】
今、タイミングｔ1及びｔ9の全画素読み出しによって得られる高解像度入力画像を夫々Ｈ1及びＨ9にて表し、タイミングｔ2、ｔ3、ｔ4、ｔ5、ｔ6、ｔ7及びｔ8の加算読み出しによって得られる低解像度入力画像を夫々Ｌ2、Ｌ3、Ｌ4、Ｌ5、Ｌ6、Ｌ7及びＬ8にて表す。
【００６７】
タイミングｔiとタイミングｔi+1との間の区間を単位区間Δｔと呼ぶ。ここで、ｉは１以上の任意の整数である。単位区間Δｔの長さは、ｉの値に関わらず一定である。タイミングｔiは、厳密には例えば、タイミングｔiにて得られるべき入力画像（高解像度入力画像又は低解像度入力画像）の画素信号が撮像素子３３から読み出される期間の開始時刻を指す。従って例えば、タイミングｔ1は、高解像度入力画像Ｈ1の画素信号が撮像素子３３から読み出される期間の開始時刻を指す。尚、タイミングｔiにて得られるべき入力画像の露光期間の開始時刻、中間時刻又は終了時刻を、タイミングｔiと捉えても良い。
【００６８】
［映像信号処理部の構成及び動作］
次に、図１の映像信号処理部１３の構成及び動作について説明する。図８は、映像信号処理部１３として機能する映像信号処理部１３ａの内部ブロック図を含む、撮像装置１の一部ブロック図である。映像信号処理部１３ａは、符号５１〜５９によって参照される各部位を備える。但し、高解像度フレームメモリ５２、低解像度フレームメモリ５５及びメモリ５７の全部又は一部は、図１の内部メモリ１７によって形成されてもよい。
【００６９】
デマルチプレクサ５１には、ＡＦＥ１２からの高解像度入力画像及び低解像度入力画像の画像データが与えられる。デマルチプレクサ５１に与えられた画像データが低解像度入力画像の画像データである場合、その画像データは選択部５４を介して低解像度フレームメモリ５５及び動き検出部５６に与えられる。低解像度フレームメモリ５５は、選択部５４を介して与えられた低解像度画像の画像データを記憶する。
【００７０】
デマルチプレクサ５１に与えられた画像データが高解像度入力画像の画像データである場合、その画像データは高解像度フレームメモリ５２に一時的に記憶された後、低解像度画像生成部５３及び高解像度処理部５８に出力される。低解像度画像生成部５３は、高解像度フレームメモリ５２に記憶された高解像度入力画像の解像度を低解像度側へ変換することによって低解像度画像を生成し、生成した低解像度画像を選択部５４に出力する。従って、デマルチプレクサ５１に与えられた画像データが高解像度入力画像の画像データである場合は、その高解像度入力画像に基づく低解像度画像の画像データが選択部５４を介して低解像度フレームメモリ５５及び動き検出部５６に与えられる。
【００７１】
低解像度画像生成部５３は、高解像度入力画像の画像サイズを水平及び垂直方向の夫々において１／２に減ずることによって低解像度画像を生成する。この生成の手法は、撮像素子３３の有効領域に属する（Ｍ×Ｎ）個の受光画素信号から、（Ｍ／２×Ｎ／２）個の画素信号を有する原画像を生成する方法と同様である。つまり、高解像度入力画像を形成する全画素信号に含まれる複数の画素信号を加算することによって加算信号を生成し、その加算信号を画素信号として有する画像を生成することにより低解像度画像を生成する。或いは、高解像度入力画像を形成する全画素信号の一部を間引くことによって低解像度画像を生成する。
【００７２】
低解像度画像生成部５３によって高解像度入力画像Ｈ1及びＨ9から生成された低解像度画像を夫々Ｌ1及びＬ9にて表し、低解像度画像Ｌ1及びＬ9を夫々タイミングｔ1及びｔ9における低解像度画像と捉える。そうすると、図９に示す如く、画像Ｈ1及びＨ9から成る高解像度入力画像列より画像Ｌ1及びＬ9から成る低解像度画像列が生成され、画像Ｌ1及びＬ9から成る低解像度画像列と画像Ｌ2〜Ｌ8から成る低解像度入力画像列とを合成することによって、画像Ｌ1〜Ｌ9から成る低解像度画像列が生成されることになる。
【００７３】
画像Ｌ1〜Ｌ9から成る低解像度画像列のフレームレートは比較的高く、そのフレームレートは、タイミングｔiとタイミングｔi+1との間の時間長さ（即ち、単位区間Δｔの長さ）の逆数である。一方、画像Ｈ1及びＨ9から成る高解像度入力画像列（及び画像Ｌ1及びＬ9から成る低解像度画像列）のフレームレートは比較的低く、そのフレームレートは、タイミングｔ1とタイミングｔ9との間の時間長さ（８×Δｔ）の逆数である。このように、映像信号処理部１３ａでは、画像Ｈ1及びＨ9から形成される高解像度且つ低フレームレートの画像列と、画像Ｌ1〜Ｌ9から形成される低解像度且つ高フレームレートの画像列と、が生成される。
【００７４】
動き検出部５６は、低解像度フレームメモリ５５に記憶された低解像度画像の画像データと選択部５４より与えられた低解像度画像の画像データとに基づいて、対比されるべき２枚の低解像度画像間におけるオプティカルフローを求める。オプティカルフローの導出方法として、ブロックマッチング法、代表点マッチング法、勾配法などを利用可能である。求めたオプティカルフローは、対比される２枚の低解像度画像間における、画像上の被写体（物体）の動きを表す動きベクトルによって表現される。動きベクトルは、その動きの向き及び大きさを示す二次元量である。動き検出部５６は、求めたオプティカルフローを動き検出結果としてメモリ５７に記憶させる。
【００７５】
動き検出部５６は、隣接フレーム間の動き検出を行う。隣接フレーム間の動き検出結果、即ち、画像Ｌi及びＬi+1間に対して求められた動きベクトルをＭi,i+1にて表す（ｉは１以上の整数）。画像Ｌi及びＬi+1についての動きベクトルの導出中に、選択部５５から他の画像（例えば画像Ｌi+2）の画像データが出力された時は、その他の画像の画像データを後から参照できるように、その他の画像の画像データを低解像度フレームメモリ５５に一時保存しておく。隣接フレーム間の動き検出結果は、必要な分だけメモリ５７に記憶しておくとよい。例えば、画像Ｌ1及びＬ2間の動き検出結果と、画像Ｌ2及びＬ3間の動き検出結果と、画像Ｌ3及びＬ4間の動き検出結果とをメモリ５７に記憶させておき、それらをメモリ５７から読み出して合成すれば、画像Ｌ1〜Ｌ4の内の、任意の２枚の画像間のオプティカルフロー（動きベクトル）を求めることができる。
【００７６】
高解像度処理部５８は、高解像度フレームメモリ５２を介して与えられる、画像Ｈ1及びＨ9を含む複数の高解像度入力画像から成る高解像度画像列と、低解像度フレームメモリ５５を介して与えられる、画像Ｌ1〜Ｌ9を含む複数の低解像度画像から成る低解像度画像列と、メモリ５７に記憶された動き検出結果と、に基づいて、高解像度出力画像列を生成する。
【００７７】
信号処理部５９は、高解像度出力画像列を形成する各高解像度出力画像の映像信号を生成する。この映像信号は、輝度信号Ｙ及び色差信号Ｕ及びＶから形成される。信号処理部５９によって生成された映像信号は圧縮処理部１６に送られて圧縮符号化される。尚、高解像度出力画像列を、動画像として、図１の表示部２７又は撮像装置１の外部表示装置（不図示）にて再生表示することも可能である。
【００７８】
図１０は、高解像度処理部５８から出力される高解像度出力画像列を表している。高解像度出力画像列は、時系列に並ぶ複数の高解像度出力画像Ｈ1’〜Ｈ9’を含んで形成される。画像Ｈ1’〜Ｈ9’は、夫々、タイミングｔ1〜ｔ9における高解像度出力画像である。高解像度入力画像Ｈ1及びＨ9を、そのまま高解像度出力画像Ｈ1’及びＨ9’として利用することができる。高解像度出力画像列のフレームレートは比較的高く、それは画像Ｌ1〜Ｌ9から成る低解像度画像列のフレームレートと同じである。加えて、高解像度出力画像の解像度は、高解像度入力画像のそれと同じである（従って、高解像度出力画像の水平及び垂直方向における画素数は夫々Ｍ及びＮである）。
【００７９】
比較的低いフレームレートを有する高解像度画像列と比較的高いフレームレートを有する低解像度画像列とに基づいて、比較的高いフレームレートを有する高解像度出力画像列を生成する方法として、公知の方法（特開２００５−３１８５４８号に記載された方法）を含む任意の方法を利用可能である。
【００８０】
以下、図１１及び図１２を参照しつつ、高解像度出力画像列を生成方法例として、周波数変換の一種である二次元離散コサイン変換(discrete cosine transform；以下、ＤＣＴという)を用いた方法を示す。尚、本例では、周波数変換の一例として直交変換の一種である二次元ＤＣＴを用いているが、二次元ＤＣＴの代わりに、ウェーブレット変換、ウォルシュ・アダマール変換、離散フーリエ変換、離散サイン変換、ハール変換、スラント変換、カルーネン/レーベ変換等の他の直交変換を用いても良い。
【００８１】
以下、ＤＣＴを用いた高解像度画像生成方法によって生成されるべき高解像度画像を単に生成画像とも呼ぶ。ＤＣＴを用いた高解像度画像生成方法では、生成画像に含まれるべき高周波成分と低周波成分を異なる方法によって推定する。生成画像の高周波成分として、空間領域（画像空間領域）上で動き補償がなされた高解像度画像のＤＣＴスペクトルがそのまま利用される。動き補償ができない部分のスペクトルは、低解像度画像から補間によって生成される。つまり、生成画像の低周波成分は、空間領域上で動き補償がなされた高解像度画像についてのＤＣＴスペクトルに、低解像度画像のＤＣＴスペクトルを合成することによって生成される。
【００８２】
図１１は、ＤＣＴを用いた高解像度画像生成方法のフローチャートである。まず、ステップＳ１１において、空間領域上に表現された高解像度画像及び低解像度画像を周波数領域上に表現された高解像度画像及び低解像度画像に変換するための周波数変換を、二次元ＤＣＴを用いて行う。これによって、周波数領域上に表現された高解像度画像及び低解像度画像を表す高解像度画像及び低解像度画像のＤＣＴスペクトルが生成される。続くステップＳ１２において、動きベクトルを用いた高解像度画像の動き補償を行う。その後、ステップＳ１３において高解像度画像及び低解像度画像のＤＣＴスペクトルを合成する。最後に、ステップＳ１４において、この合成スペクトルに対して、上記の周波数変換の逆変換に相当する逆周波数変換を施す。つまり、合成スペクトルによって表される周波数領域上の画像を空間領域上の画像に変換する。これによって、空間領域上の高解像度画像が生成される。
【００８３】
図１２は、図１１の高解像度画像生成方法を採用した場合における、映像信号処理部１３ａの一部ブロック図である。図１２の符号７１〜７７によって参照される各部位が図８の高解像度処理部５８に設けられる。ＤＣＴ部７１及び７２によってステップＳ１１の処理が実行され、差分画像生成部７３、ＤＣＴ部７４及び加算部７５によってステップＳ１２の処理が実行され、ＤＣＴスペクトル合成部７６によってステップＳ１３の処理が実行され、ＩＤＣＴ部７７によってステップＳ１４の処理が実行される。
【００８４】
ＤＣＴ部７１は、高解像度フレームメモリ５２に記憶されている高解像度画像に対して二次元ＤＣＴを施すことにより、高解像度フレームメモリ５２に記憶されている高解像度画像ごとに高解像度画像のＤＣＴスペクトルを生成する。同様に、ＤＣＴ部７２は、低解像度フレームメモリ５５に記憶されている低解像度画像に対して二次元ＤＣＴを施すことにより、低解像度フレームメモリ５５に記憶されている低解像度画像ごとに低解像度画像のＤＣＴスペクトルを生成する。本例では、高解像度画像に対する二次元ＤＣＴは、１６×１６画素のブロックを単位として実行される。一方、上述したように、水平及び垂直方向において高解像度画像の画像サイズは低解像度画像のそれの２倍である。故に、低解像度画像に対する二次元ＤＣＴは、８×８画素のブロックを単位として実行される。ＤＣＴ部７１によって画像Ｈ1及びＨ9のＤＣＴスペクトルが個別に導出され、ＤＣＴ部７２によって画像Ｌ1〜Ｌ9のＤＣＴスペクトルが個別に導出される。
【００８５】
差分画像生成部７３には、メモリ５７に記憶された動きベクトルと、高解像度フレームメモリ５２及び低解像度フレームメモリ５５に記憶されている高解像度画像及び低解像度画像の画像データと、が入力される。差分画像生成部７３を含む高解像度処理部５８（図８）において、生成しようとしている高解像度画像を高解像度目的フレームという。差分画像生成部７３は、高解像度フレームメモリ５２に記憶された高解像度画像の内、高解像度目的フレームに対して最も時間的に近接した高解像度画像を選択し、その選択した高解像度画像（以下、近接選択画像という）とメモリ５７に記憶された動きベクトルに基づいて、動き補償が成された高解像度目的フレームを推定する。その後、その推定した高解像度目的フレームと近接選択画像との間の、フレーム間差分画像を生成する。
【００８６】
例えば、図１０の画像Ｈ3’が高解像度目的フレームである場合、画像Ｈ9よりも画像Ｈ1が画像Ｈ3’に対して時間的に近接しているため、画像Ｈ1が近接選択画像として選択される。その後、動きベクトルＭ1,2及びＭ2,3の合成ベクトルＭ1,3を求め、画像Ｈ1内の各物体を合成ベクトルＭ1,3に相当する分だけ位置ズレさせて得た画像を、動き補償が成された高解像度目的フレームとして推定する。この推定した高解像度目的フレームと選択した画像Ｈ1との差分画像が、タイミングｔ3に対応するフレーム間差分画像として生成される。画像Ｈ2’、Ｈ4’、Ｈ5’、Ｈ6’、Ｈ7’又はＨ8’が高解像度目的フレームとなる場合も同様である。画像Ｈ2’又はＨ4’が高解像度目的フレームである場合は、画像Ｈ1が近接選択画像として選択され、画像Ｈ6’、Ｈ7’又はＨ8’が高解像度目的フレームである場合は、画像Ｈ9が近接選択画像として選択される。画像Ｈ5’が高解像度目的フレームである場合は、画像Ｈ1又はＨ9が近接選択画像として選択される。
【００８７】
尚、動き検出部５６により２枚の画像間に対して求められるオプティカルフローは、低解像度画像を含む任意の画像が定義される画像座標面上の、様々な位置における動きベクトルの束によって形成される。例えば、オプティカルフローが算出されるべき２枚の画像の夫々の全体画像領域が複数の一部画像領域に分割され、１つの一部画像領域に対して１つの動きベクトルが求められる。或る一部画像領域に対する動きベクトルを算出しようとする際において、その一部画像領域内に複数の動きが存在している場合などにあっては、信頼性の高い動きベクトルの算出ができなくなることもある。そのような一部画像領域に対しては、低補間処理によって解像度入力画像から高解像度目的フレームの画素信号を推定すればよい。例えば、画像Ｈ3’が高解像度目的フレームである場合において、或る一部画像領域に対する動きベクトルＭ1,2及び／又はＭ2,3が算出できていない時、画像Ｌ3における該一部画像領域内の画素信号から、線形補間等を用いて、高解像度目的フレームにおける該一部画像領域内の画素信号を生成すればよい。
【００８８】
ＤＣＴ部７４は、差分画像生成部７３にて生成されたフレーム間差分画像に対して二次元ＤＣＴを施すことにより、フレーム間差分画像のＤＣＴスペクトルを生成する。タイミングｔ1〜ｔ9間に着目した場合、タイミングｔ2〜ｔ8の夫々に対応するフレーム間差分画像が生成される。ＤＣＴ部７４は、フレーム間差分画像ごとにＤＣＴスペクトルを生成する。本例において、フレーム間差分画像に対する二次元ＤＣＴは、１６×１６画素のブロックを単位として実行される。
【００８９】
加算部７５は、高解像度フレームメモリ５２に記憶された高解像度画像の内、高解像度目的フレームに対して最も時間的に近接した高解像度画像（即ち、近接選択画像）についてのＤＣＴスペクトルと、高解像度目的フレームに対応するフレーム間差分画像についてＤＣＴスペクトルを、二次元ＤＣＴの単位であるブロック（１６×１６画素のブロック）ごとに足し合わせることにより、動き補償が成された高解像度目的フレームのＤＣＴスペクトルを算出する。
【００９０】
ＤＣＴスペクトル合成部７６は、この動き補償が成された高解像度目的フレームのＤＣＴスペクトルに対し、ＤＣＴ部７２にて生成された低解像度画像のＤＣＴスペクトルを合成する。高解像度目的フレームが画像Ｈi’である場合、合成の対象となる低解像度画像は画像Ｌiである。当然、この合成は、対応ブロック間で行われる。従って、高解像度目的フレーム上の或る着目ブロックについて合成を行う場合は、動き補償が成された高解像度目的フレームの着目ブロックについてのＤＣＴスペクトルに対して、ＤＣＴ部７２にて生成された、着目ブロックに対応する低解像度画像内のブロックのＤＣＴスペクトルを合成する。
【００９１】
ＤＣＴスペクトル合成部７６の合成によって得られた合成スペクトルは、周波数領域上に表現された高解像度目的フレームを表している。ＩＤＣＴ部７７は、この合成スペクトルに対して二次元ＩＤＣＴ（逆離散コサイン変換）を施すことにより、空間領域上に表現された高解像度目的フレームを生成する（即ち、空間領域上における高解像度目的フレームの画素信号を求める）。
【００９２】
以上のような処理を、高解像度画像が取得されていない全てのフレームに対して実行する。これにより、図１０に示すような画像Ｈ1’〜Ｈ9’を含む高解像度出力画像列を生成することができる。
【００９３】
或る規定フレームレートの画像列を取得するために、常に全画素読み出しを使用すると、常に加算読み出しを使用する場合と比べて撮像装置１の消費電力が増大する。全画素読み出しによって読み出される画素信号の個数は加算読み出しのそれよりも大きく、規定フレームレートを満たすために、全画素読み出し実行時は撮像素子３３の駆動速度（撮像素子３３からの信号読み出し速度）を加算読み出し実行時よりも高める必要があるからである。撮像素子３３の駆動速度の増大は、一般に、消費電力の増大を招く。低消費電力且つ高フレームレートを実現するためには、画素信号の加算読み出し（又は間引き読み出し）を行って画像データ量を減らす必要がある。但し、単純に、加算読み出し（又は間引き読み出し）のみを行うと、動画像の解像度が劣化してしまう。
【００９４】
これを考慮し、上述の如く、全画素読み出しと加算読み出し（又は間引き読み出し）とを規定順序で実行し、これによって得た低フレームレートの高解像度画像列及び高フレームレートの低解像度画像列から、画像処理によって高フレームレートの高解像度画像列を生成する。これにより、低消費電力にて、高フレームレートの高解像度画像列を生成することが可能となる。
【００９５】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態に係る撮像装置の基本的な構成及び動作は、第１実施形態に係る撮像装置１のそれと同様である。以下、第２実施形態に特有の機能を実現する圧縮処理部１６の動作を説明する。
【００９６】
圧縮処理部１６では、映像信号だけでなく音声信号も圧縮されるが、ここでは、映像信号に対する特異な圧縮処理方法を説明する。圧縮処理部１６が、映像信号に対する代表的な圧縮方式である、ＭＰＥＧ（Moving Picture Experts Group）圧縮方式を採用して映像信号の圧縮を行う場合を想定する。ＭＰＥＧでは、フレーム間差分を利用して、圧縮動画像であるＭＰＥＧ動画像を生成する。図１３に、ＭＰＥＧ動画像の構成を模式的に示す。ＭＰＥＧ動画像は、３種類のピクチャ、即ち、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される。
【００９７】
Ｉピクチャは、フレーム内符号化画像（Intra-Coded Picture）であり、１枚のフレームの映像信号を当該フレーム画像内で符号化した画像である。Ｉピクチャ単独で１枚のフレームの映像信号を復号することが可能である。
【００９８】
Ｐピクチャは、フレーム間予測符号化画像（Predictive-Coded Picture）であり、時間的に先のＩピクチャまたはＰピクチャから予測される画像である。Ｐピクチャの対象となる元の画像と当該Ｐピクチャから見て時間的に先のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｐピクチャが形成される。Ｂピクチャは、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）であり、時間的に後及び先のＩピクチャまたはＰピクチャから双方向予測される画像である。Ｂピクチャの対象となる元の画像と、当該Ｂピクチャから見て時間的に後のＩピクチャまたはＰピクチャとの差分及び当該Ｂピクチャから見て時間的に前のＩピクチャまたはＰピクチャとの差分を圧縮符号化したデータにより、Ｂピクチャが形成される。
【００９９】
ＭＰＥＧ動画像は、ＧＯＰ（Group Of Pictures）を単位として構成されている。ＧＯＰは、圧縮及び伸張が行われる単位であり、１つのＧＯＰは、或るＩピクチャから次のＩピクチャまでのピクチャで構成される。１又は２以上のＧＯＰにてＭＰＥＧ動画像は構成される。或るＩピクチャから次のＩピクチャまでのピクチャ枚数は、固定されることもあるが、ある程度の範囲内で変動させることも可能である。
【０１００】
ＭＰＥＧに代表される、フレーム間差分を利用した画像圧縮方式を用いる場合、ＩピクチャはＢ及びＰピクチャの何れにも差分データを提供するため、Ｉピクチャの画質はＭＰＥＧ動画像の全体画質に大きな影響を与える。一方、全画素読み出しによって得られる高解像度画像（Ｈ1'など）は、低解像度画像に基づいて生成される高解像度画像（Ｈ2'など）よりも高い画質を有している。これを考慮し、全画素読み出しによって得られる高解像度画像の画像番号を映像信号処理部１３又は圧縮処理部１６にて記録しておき、画像圧縮の際、記録している画像番号に対応する高解像度出力画像を優先的にＩピクチャの対象として利用する。これにより、圧縮によって得られたＭＰＥＧ動画像の全体的な画質を向上させることができる。
【０１０１】
具体的には、図１０に示される画像Ｈ1'〜 Ｈ9'に注目した場合において、その画像Ｈ1'〜 Ｈ9'の中から２枚の画像をＩピクチャの対象として選択する必要があるときには、画像Ｈ1'及び Ｈ9'をＩピクチャの対象として選択すればよい。また、１つのＧＯＰを構成するピクチャ枚数に応じて、高解像度入力画像の取得枚数ＨNUMと低解像度入力画像の取得枚数ＬNUMの比率を決定してもよい。例えば、１つのＧＯＰを構成するピクチャ枚数が８枚であるならば、図７に示すようにＨNUM：ＬNUM＝１：７とし、１つのＧＯＰを構成するピクチャ枚数が１０枚であるならば、ＨNUM：ＬNUM＝１：９とすればよい。
【０１０２】
圧縮処理部１６は、Ｉピクチャの対象として選択された高解像度出力画像を、ＭＰＥＧ圧縮方式に従って符号化することによりＩピクチャを生成すると共に、Ｉピクチャの対象として選択された高解像度出力画像とＩピクチャの対象として選択されなかった高解像度出力画像とに基づいてＰ及びＢピクチャを生成する。
【０１０３】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。図７に示す如く、第１実施形態においては、時間的に隣接して取得される高解像度入力画像及び低解像度入力画像の取得時間間隔（例えば、タイミングｔ1−ｔ2間の時間間隔）と、時間的に隣接して取得される２枚の低解像度入力画像の取得時間間隔（例えば、タイミングｔ2−ｔ3間の時間間隔）と、が同じとなっている。しかしながら、これを実現するためには、撮像素子３３の駆動速度を高める必要があり、その分、消費電力が増加する。
【０１０４】
このような消費電力の増加を抑制すべく、第３実施形態では、時間的に隣接して取得される高解像度入力画像及び低解像度入力画像の取得時間間隔を、時間的に隣接して取得される２枚の低解像度入力画像の取得時間間隔よりも大きくする。この両者の取得時間間隔が相違する点を除き、第３実施形態に係る撮像装置の基本的な構成及び動作は、第１実施形態に係る撮像装置１のそれと同様である。但し、その相違の存在に由来して、映像信号処理部１３の構成が適宜変更される。以下、本実施形態に係る、第１実施形態との相違点について説明する。
【０１０５】
図１４を参照する。例として、全画素読み出しを行う場合と加算読み出しを行う場合との間で撮像素子３３の駆動速度（撮像素子３３からの信号読み出し速度）を同じにする方法を説明する。全画素読み出しの実行時において撮像素子３３から読み出される信号の個数が加算読み出しの実行時におけるそれの４倍であることを想定しているため、全画素読み出しによって１フレーム分の画素信号を撮像素子３３から読み出すために必要な時間は、加算読み出しのそれの４倍である。故に、低解像度入力画像の１フレーム分の画素信号は、単位区間Δｔと同程度の時間をかけて撮像素子３３から読み出される一方、高解像度入力画像の１フレーム分の画素信号は、単位区間Δｔの概ね４倍の時間をかけて撮像素子３３から読み出される。
【０１０６】
その結果、図１４に示す如く、撮像素子３３から高解像度入力画像Ｈ1が取得された後、撮像素子３３から低解像度入力画像Ｌ2〜Ｌ4は取得されずに、タイミング5〜ｔ8において、夫々、撮像素子３３から低解像度入力画像Ｌ5〜Ｌ8が取得される。その後、撮像素子３３から高解像度入力画像Ｈ9が取得される。画像Ｈ1及びＨ9は、タイミングｔ1及びｔ9において取得された高解像度入力画像である。タイミングｔ1−ｔ8間における１枚の高解像度入力画像及び４枚の高解像度入力画像を取得する動作が、タイミングｔ9以降も繰り返し実行される。
【０１０７】
図１０に示すような高解像度出力画像列を生成するためには、一定時間間隔にて均等に時系列上に並ぶ低解像度画像列が必要である。このため、本実施形態に係る映像信号処理部は、図１５のように形成される。図１５は、本実施形態に係る映像信号処理部１３ｂの内部ブロック図を含む、撮像装置１の一部ブロック図である。映像信号処理部１３ｂは、図１の映像信号処理部１３として機能する。映像信号処理部１３ｂは、図８の映像信号処理部１３ａに低解像度画像補間部８１を追加したものである。
【０１０８】
本実施形態でも、低解像度画像生成部５３によって、画像Ｈ1及びＨ9から低解像度画像Ｌ1及びＬ9が生成され（図９参照）、動き検出部５６によって、時間的に隣接する２枚の低解像度画像間のオプティカルロー（動きベクトル）が算出される。本例では、画像Ｌ2〜Ｌ4の画像データが撮像素子３３から直接的に出力されないため、動き検出部５６は、画像Ｌ1及びＬ5の画像データに基づいて画像Ｌ1及びＬ5間の動きベクトルＭ1,5を算出する。一方で、第１実施形態と同様にして、動きベクトルＭ5,6、Ｍ6,7、Ｍ7,8、Ｍ8,9・・・も算出され、算出された各動きベクトルは、メモリ５７に保存される。
【０１０９】
低解像度画像補間部８１は、一定時間間隔にて均等に時系列上に並ぶ低解像度画像列が得られるように、低解像度フレームメモリ５５に記録された低解像度画像の画像データとメモリ５７に保存された動きベクトルとに基づき、低解像度画像を補間によって推定する。ここで、推定されるべき低解像度画像には、タイミングｔ2〜ｔ4における低解像度画像Ｌ2〜Ｌ4が含まれる。
【０１１０】
具体的には、以下のようにして画像Ｌ2を推定する。タイミングｔ1とタイミングｔ5との間の時間長さ（４×Δｔ）に対する、タイミングｔ1と画像Ｌ2に対応するタイミングｔ2との間の時間長さの比を求める。この比は、１／４である。そして、その比によって動きベクトルＭ1,5の大きさを補正することにより、動きベクトルＭ1,2の大きさを推定する。具体的には、動きベクトルＭ1,2の大きさが動きベクトルＭ1,5の１／４となるように、動きベクトルＭ1,2の大きさを推定する。一方で、動きベクトルＭ1,2の向きは、動きベクトルＭ1,5の向きと同じであると推定される。その後、画像Ｌ1内の各物体を動きベクトルＭ1,2に相当する分だけ位置ズレさせて得た画像を、画像Ｌ2として推定する。
【０１１１】
説明の具体化のため、画像Ｌ2に着目して低解像度画像の推定方法を説明したが、画像Ｌ3及びＬ4を推定する場合も同様である。例えば、画像Ｌ3を推定する場合は、上記比は１／２となるため、動きベクトルＭ1,2の大きさの１／２の大きさを有し且つ動きベクトルＭ1,2と同じ向きを向くベクトルを動きベクトルＭ1,3として推定する。そして、画像Ｌ1内の各物体を動きベクトルＭ1,3に相当する分だけ位置ズレさせて得た画像を、画像Ｌ3として推定すればよい。
【０１１２】
このようにして画像Ｌ1〜Ｌ9を含む低解像度画像列が得られた後の動作は、第１実施形態で述べたものと同様である。
【０１１３】
＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第４実施形態に係る撮像装置の基本的な構成及び動作は、第１又は第３実施形態に係る撮像装置１のそれと同様である。但し、第１又は第３実施形態においては全画素読み出しが一定の周期を以って実行されるように全画素読み出しと加算読み出しの切り替えが行われるのに対し、本実施形態では、この切り替えを特定条件の成否を考慮して実行する。以下に、この切り替えの方法例として、第１〜第４切り替え方法を例示する。尚、第１又は第３実施形態で述べた全画素読み出しと加算読み出しの切り替えを実行する制御を、以下「基本切り替え制御」と呼ぶ。
【０１１４】
［第１切り替え方法］
まず、第１切り替え方法を説明する。第１切り替え方法では、ユーザによるシャッタボタン２６ｂ（図１参照）に対する操作内容を考慮した上で、全画素読み出しと加算読み出しとの間の切り替え制御を行う。シャッタボタン２６ｂは、上述したように、静止画像の撮影を指示するための押しボタンスイッチである。
【０１１５】
シャッタボタン２６ｂは、２段階の押下操作が可能となっており、ユーザがシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。シャッタボタン２６ｂが全押しの状態となっていることがＣＰＵ２３によって確認された後に、速やかに静止画像の撮影が行われる。
【０１１６】
図１６を参照して、第１切り替え方法の具体的実現例を説明する。撮影モードにおいて、動画像の撮影及び記録が指示されると、まず、基本切り替え制御を実行し、これによって得た高解像度出力画像列を外部メモリ１８に記録してゆく。今、タイミングＴAにおいてユーザがシャッタボタン２６ｂを押し込むことによりシャッタボタン２６ｂが半押しの状態となり、その状態がタイミングＴAからタイミングＴBに至る直前まで維持され且つタイミングＴBにおいてシャッタボタン２６ｂが全押しの状態となったことを想定する。
【０１１７】
この場合、シャッタボタン２６ｂが半押しの状態となっている期間中においては、全画素読み出しを行うことなく、低消費電力且つ高フレームレートにて信号読み出しが可能な加算読み出しのみを繰り返し実行する。そして、タイミングＴBにおいてシャッタボタン２６ｂが全押しの状態になったことが確認されると、タイミングＴBを起点として、速やかに静止画像の露光及び全画素読み出しを行う。例えば、タイミングＴBから静止画像用の露光を開始し、その露光完了後、その露光によって蓄えられた受光画素信号を全画素読み出しによって撮像素子３３から読み出すことにより高解像入力画像を取得する。そして、該高解像度入力画像そのもの又は該高解像度入力画像に対して所定の画像処理（デモザイキング処理など）を施した画像を、静止画像として外部メモリ１８に保存する。静止画像取得用の全画素読み出しが終わった後、再び、基本切り替え制御が実行される。尚、静止画像生成用に取得された高解像度入力画像は、高解像度出力画像列の生成にも使用される。
【０１１８】
尚、シャッタボタン２６ｂが半押しの状態となっている期間中においては、撮像装置１の主要被写体に焦点を合わせるためのオートフォーカス制御がなされる。オートフォーカス制御は、例えば、ＴＴＬ（Through The Lens）方式のコントラスト検出法に従い、その期間中の撮像素子３３の出力信号に基づいて撮像部１１内のフォーカスレンズ（不図示）を駆動制御することにより実現される。但し、主要被写体と撮像装置１との距離を測定する測距センサ（不図示）の測定結果に基づいて、オートフォーカス制御を成すことも可能である。
【０１１９】
ユーザの指示によって得られた静止画像は、動画像を形成する各フレームよりも高画質であることが望まれる。故に、静止画像の取得の際には、全画素読み出しを使用する。
一方において、ユーザによって静止画像の撮影指示がなされた場合、その指示時点になるだけ合致した時刻における被写体の画像を静止画像として取得することが要求される。
【０１２０】
消費電力増加を抑制すべく第３実施形態のように全画素読み出し時における撮像素子３３の駆動速度を加算読み出し時におけるそれと同程度としている場合において、タイミングＴBの直前に動画像生成用の全画素読み出しを開始してしまったとしたならば、その読み出しが完了するまで、次回の全画素読み出し（即ち、静止画像生成用の全画素読み出し）を行うことができない。結果、静止画像生成用の全画素読み出しの開始がタイミングＴBより大きく遅れてしまうことがある。第１切り替え方法によれば、このような事態の発生が回避される。また、上記のコントラスト検出法に基づくオートフォーカス制御を実行する場合にあっては、フレームレートが高いほど合焦速度（主要被写体に合焦するまでに必要な時間の逆数）が向上する。この観点からも第１切り替え方法は有益である。
【０１２１】
［第２切り替え方法］
第２切り替え方法を説明する。第２切り替え方法では、画像全体の動きベクトルの大きさが比較的小さい時に全画素読み出しが行われるようにする。
【０１２２】
より具体的に説明する。第２切り替え方法では、動画像撮影が開始すると、加算読み出しが一定の周期にて繰り返し実行されることにより低解像度入力画像列が取得され、図８の動き検出部５６によって、時間的に隣接する２枚の低解像度入力画像間の、画像全体の動きベクトル（以下、全体動きベクトルという）が順次算出される。動き検出部５６により２枚の画像間に対して求められるオプティカルフローは、低解像度画像を含む任意の画像が定義される画像座標面上の、様々な位置における動きベクトルの束によって形成される。例えば、オプティカルフローが算出されるべき２枚の画像の夫々の全体画像領域が複数の一部画像領域に分割され、１つの一部画像領域に対して１つの動きベクトル（以下、領域動きベクトルという）が求められる。複数の一部画像領域に対して求められた複数の領域動きベクトルを平均化したものが、全体動きベクトルである。
【０１２３】
今、図１７に示すように、一定間隔で順次実行される加算読み出しによって、低解像度入力画像Ｉ1、Ｉ2、Ｉ3、・・・Ｉj-1、Ｉj、Ｉj+1、Ｉj+2が、この順番で得られたことを想定する（ｊは整数）。動き検出部５６は、画像Ｉ1〜Ｉj+2の内の、隣接する２枚の画像の組み合わせごとに、全体動きベクトルを算出する。ＣＰＵ２３は、算出された各全体動きベクトルを参照し、全体動きベクトルの大きさが所定の基準大きさ以下であることが一定期間継続して維持されたときに全画素読み出しが実行されるように、読み出し方法を制御する。換言すれば、時間的に連続するＱ個の全体動きベクトルの大きさが全て所定の基準大きさ以下となっていることが確認された後に、全画素読み出しを実行する。図１７に示す例では、Ｑ＝２である。Ｑは３以上の整数であっても良いし、１であってもよい。
【０１２４】
図１７に示す状況の説明を行う。図１７に示す例では、画像Ｉ1〜Ｉjの内の、隣接する任意の２枚の画像について全体動きベクトルの大きさは全て基準大きさより大きい。このため、画像Ｉ1〜Ｉjが取得される期間の最中及び画像Ｉjの取得直後において、全画素読み出しは行われない。一方、画像Ｉj及びＩj+1間の全体動きベクトルの大きさと画像Ｉj+1及びＩj+2間の全体動きベクトルの大きさは、共に基準大きさよりも小さい。Ｑ＝２であるため、画像Ｉj+1の取得の次に全画素読み出しは行われないが、画像Ｉj+2の取得の次に全画素読み出しが行われ、この全画素読み出しによって高解像度入力画像Ｉj+3が取得される。高解像度入力画像Ｉj+3の取得後は、再度、加算読み出しが行われ、画像Ｉ1〜Ｉj+3を得る際と同様の動作が繰り返し実行される。
【０１２５】
第３実施形態で述べたような方法を利用しないならば全画素読み出しの実行は消費電力の増大を招くため、必要性の乏しい全画素読み出しの実行は避けた方が望ましい。全体動きベクトルの大きさが比較的大きい期間中においては、取得される画像内の被写体のぶれも大きいことが想定されるため、このような期間中に、高精細な画像を提供可能な全画素読み出しを行っても画質向上への寄与度は少ない。これらの事情を考慮し、全体動きベクトルの大きさが比較的小さくなっていることが確認された時に、全画素読み出しを行うようにする。これにより、全画素読み出しが効果的に実行され、消費電力の無意味な増大が回避される。
【０１２６】
尚、上述の例では、全体動きベクトルの大きさが基準大きさよりも大きい状態が継続している期間中において加算読み出しのみが繰り返し実行されているが、その期間中に、上記基本切り替え制御を実行するようにしてもよい。また、消費電力の増大を抑制するべく、全画素読み出しの実行頻度に制限を加えてもよい。即ち、一度、全画素読み出しを行った後は、全体動きベクトルの大きさの如何に拘らず、一定期間、次回の全画素読み出しが行われないように全画素読み出しの実行に制限を加えるようにしてもよい。
【０１２７】
［第３切り替え方法］
第３切り替え方法を説明する。第３切り替え方法では、画像上における物体の動きの大きさが比較的大きい時又は画像上に複数の動きが存在している時には、そうでない時よりも、加算読み出しの頻度を高める。
【０１２８】
より具体的に説明する。第３切り替え方法を適用する場合、図１８に示す如く、動画像撮影時の全期間は、複数の期間に分類される。この複数の期間には、安定期間と非安定期間が含まれる。安定期間と非安定期間との間で、高解像度入力画像の取得枚数ＨNUMに対する低解像度入力画像の取得枚数ＬNUMの比率ＬNUM／ＨNUMは異なり、非安定期間における比率ＬNUM／ＨNUMは安定期間における比率ＬNUM／ＨNUMよりも大きくされる。例えば、安定期間においては「ＬNUM／ＨNUM＝７／１」とされる一方、非安定期間においては「ＬNUM／ＨNUM＝１５／１」とされる。
【０１２９】
ＣＰＵ２３は、動き検出部５６の動き検出結果に基づいて、安定期間と非安定期間の切り分けを行い、比率ＬNUM／ＨNUMを決定する。この切り分け方法を説明する。
【０１３０】
第２切り替え方法の説明文にて述べたように、時間的に隣接する２枚の低解像度画像の夫々の全体画像領域が複数の一部画像領域に分割され、２枚の低解像度画像に対して複数の領域動きベクトルが算出されると共に１つの全体動きベクトルが算出される。着目した２枚の低解像度画像についての全体動きベクトルの大きさが所定の基準大きさよりも大きいとき、または、着目した２枚の低解像度画像についての何れかの領域動きベクトルの大きさが所定の基準大きさよりも大きいとき、ＣＰＵ２３は、着目した２枚の低解像度画像間の物体の動き（画像上の動き）が比較的大きいと判断し、そうでないとき、着目した２枚の低解像度画像間の物体の動き（画像上の動き）が比較的小さいと判断する。
【０１３１】
また、動き検出部５６は、着目した２枚の低解像度画像間において、一部画像領域内に複数の動きが存在するか否かを一部画像領域ごとに判断する機能を備える。複数の動きが存在するか否かを判断する手法として、公知の手法（例えば、特開２００８−０６０８９２号公報に記載された手法）を含む任意の手法を採用可能である。着目した２枚の低解像度画像についての何れかの一部画像領域に対して複数の動きが存在すると判断された場合、ＣＰＵ２３は、着目した２枚の低解像度画像間に複数の動き（画像上の動き）が存在すると判断し、そうでないとき、着目した２枚の低解像度画像間に複数の動き（画像上の動き）は存在しないと判断する。
【０１３２】
そして、物体の動きが比較的大きいと判断される２枚の低解像度画像及び（又は）複数の動きが存在すると判断される２枚の低解像度画像が非安定期間に属するように、且つ、物体の動きが比較的小さいと判断される２枚の低解像度画像及び（又は）複数の動きが存在しないと判断される２枚の低解像度画像が安定期間に属するように、ＣＰＵ２３は、安定期間と非安定期間の切り分けを行う。
【０１３３】
第３実施形態で述べたような方法を利用しないならば全画素読み出しの実行は消費電力の増大を招くため、必要性の乏しい全画素読み出しの実行は避けた方が望ましい。非安定期間中においては、取得される画像内の被写体のぶれが大きい又は動きベクトルの検出精度が低いことが想定されるため、非安定期間中に、高精細な画像を提供可能な全画素読み出しを行っても画質向上への寄与度は少ない。これらの事情を考慮し、非安定期間中においては、比率ＬNUM／ＨNUMを比較的大きくする。これにより、画質向上への寄与度が低い全画素読み出しの実行が抑制され、消費電力の無意味な増大が回避される。
【０１３４】
［第４切り替え方法］
第４切り替え方法を説明する。第４切り替え方法では、撮像装置１の駆動源の残量に応じて比率ＬNUM／ＨNUMを変更する。
【０１３５】
より具体的に説明する。撮像装置１は、二次電池等の電池（不図示）を駆動源として動作することが可能に形成されている。撮像装置１に、この電池の残量を検出する残量検出部（不図示）を設けておき、検出された残量が少なくなるにつれて連続的に又は段階的に比率ＬNUM／ＨNUMを増大させるようにする。例えば、検出された残量と所定の基準残量と比較し、検出された残量が基準残量よりも大きい場合は「ＬNUM／ＨNUM＝７／１」とし、検出された残量が基準残量よりも小さい場合は「ＬNUM／ＨNUM＝１５／１」とする。
【０１３６】
これにより、残量が比較的大きい場合は、比率ＬNUM／ＨNUMが比較的低い比率に設定され、結果、比較的画質の高い高解像度出力画像列が生成される。一方、残量が比較的大きい場合は、比率ＬNUM／ＨNUMが比較的高い比率に設定される。比率ＬNUM／ＨNUMの増加により、高解像度出力画像列の画質が比較的低くなるが、一方において電力消費が抑制されて電池の使用可能時間がのびる。電池の残量が少ない時には、画質向上よりも電力消費抑制を優先する方が、ユーザにとってメリットが大きいと考えられる。
【０１３７】
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。上述の第１〜第４実施形態では、撮像素子３３を用いた画像撮影時にリアルタイムに高解像度出力画像列を生成することを想定しているが、この高解像度出力画像列の生成を、画像再生時などに行っても良い。
【０１３８】
例えば、上述の何れかの実施形態にて述べた方法によって、撮像素子３３から高解像度入力画像列及び低解像度入力画像列を取得する。そして、その高解像度入力画像列及び低解像度入力画像列の画像データに対して別々に所定の信号処理及び圧縮処理を施し、これによって得た圧縮画像データを外部メモリ１８に記録する（尚、この信号処理及び／又は圧縮処理を割愛することも可能である）。この際、高解像度入力画像列を形成する各高解像度入力画像と低解像度入力画像列を形成する各低解像度入力画像は、互いに時間的に対応付けられた上で外部メモリ１８に記憶される。
【０１３９】
即ち例えば、図７に示す画像Ｈ1及びＨ9を含む高解像度入力画像列と画像Ｌ2〜Ｌ8を含む低解像度入力画像列を外部メモリ１８に記録する場合は、画像Ｈ1、Ｌ2、Ｌ3、Ｌ4、Ｌ5、Ｌ6、Ｌ7、Ｌ8及びＨ9が、それぞれタイミングｔ1、ｔ2、ｔ3、ｔ4、ｔ5、ｔ6、ｔ7、ｔ8及びｔ9に取得された画像であることが特定されるようにした上で、各画像データが記録される。この記録制御を行う記録制御部は、映像信号処理部１３（又はＣＰＵ２３）に内在していると考えることができる。
【０１４０】
このような記録を行った後、必要な時に、外部メモリ１８に記憶された高解像度入力画像列及び低解像度入力画像列から成る画像列を時系列順に図８又は図１５の映像信号処理部１３ａ又は１３ｂに与えるとよい。これにより、高解像度度処理部５８から上述の高解像度出力画像列の画像データが出力される。この高解像度出力画像列を、信号処理部５９及び圧縮処理部１６を介して外部メモリ１８に記録することもできるし、動画像として図１の表示部２７又は撮像装置１の外部表示装置（不図示）にて再生表示することもできる。
【０１４１】
尚、高解像度入力画像列に対して施されるべき圧縮処理と低解像度入力画像列に対して施されるべき圧縮処理は、共に動画像用の圧縮処理（例えばＭＰＥＧ圧縮方式に従う圧縮処理）であっても良いが、フレームレートが比較的低い高解像度入力画像列に対する圧縮処理は、静止画像用の圧縮処理（例えばＪＰＥＧ（Joint Photographic Experts Group）圧縮方式に従う圧縮処理）であってもよい。また、高解像度入力画像列及び低解像度入力画像列から成る動画像の撮影時に得られた音声信号も、画像データの外部メモリ１８への記録の際に、その画像データに関連付けられて記憶される。この際、高解像度出力画像列に同期して音声信号を再生可能なように記録制御がなされる。
【０１４２】
高解像度入力画像列及び低解像度入力画像列から高解像度出力画像列を生成する機能を、撮像装置１の外部機器に相当する再生装置４００に担わせてもよい。この場合、撮像装置１から、その機能を担う部位（低解像度画像生成部５３及び高解像度処理部５８など）を省くことができ、撮像装置１の消費電力を削減することができる。また、撮影時における画像データの記録サイズを第１実施形態等よりも小さくすることができる。
【０１４３】
図１９に、再生装置４００の概略ブロック図を示す。再生装置４００は、図８又は図１５の映像信号処理部１３ａ又は１３ｂと同じ構成を有する映像信号処理部（画像処理装置）４０１と、液晶ディスプレイなどの表示部４０２と、を備える。外部メモリ１８に記憶された高解像度入力画像列及び低解像度入力画像列から成る画像列を時系列順に映像信号処理部４０１に与えることにより、高解像度出力画像列を生成するための上述の各処理が行われ、映像信号処理部４０１内の高解像度度処理部５８から高解像度出力画像列の画像データが出力される。この高解像度出力画像列を動画像として表示部４０２にて再生表示することができる。
【０１４４】
＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。第６実施形態では、上述の何れかの実施形態にて述べた方法によって、撮像素子３３から高解像度入力画像列及び低解像度入力画像列を取得し、撮像装置１内の低解像度画像生成部５３を用いて高解像度入力画像の画像データから低解像度画像を生成する。この段階で、低解像度入力画像列と低解像度画像生成部５３にて生成された低解像度画像とから成る低解像度画像列が生成される。この後、高解像度出力画像列の生成を行うことなく、その低解像度画像列及び高解像度入力画像列の画像データに対して別々に所定の信号処理及び圧縮処理を施し、これによって得た圧縮画像データを外部メモリ１８に記録する（尚、この信号処理及び／又は圧縮処理を割愛することも可能である）。この際、高解像度入力画像列を形成する各高解像度入力画像と低解像度画像列を形成する各低解像度画像は、互いに時間的に対応付けられた上で外部メモリ１８に記憶される。
【０１４５】
即ち例えば、図７に示す画像Ｈ1及びＨ9を含む高解像度入力画像列と画像Ｌ2〜Ｌ8を含む低解像度入力画像列とが撮像素子３３の撮影によって得られた場合、画像Ｈ1及びＨ9から低解像度画像Ｌ1及びＬ9が生成された後、画像Ｈ1及びＨ9を含む高解像度入力画像列と画像Ｌ1〜Ｌ9を含む低解像度画像列の画像データが外部メモリ１８に記憶される。この際、画像Ｈ1及びＨ9が、それぞれタイミングｔ1及びｔ9における画像であることが特定されるように、且つ、画像Ｌ1、Ｌ2、Ｌ3、Ｌ4、Ｌ5、Ｌ6、Ｌ7、Ｌ8及びＬ9が、それぞれタイミングｔ1、ｔ2、ｔ3、ｔ4、ｔ5、ｔ6、ｔ7、ｔ8及びｔ9における画像であることが特定されるように各画像データが記録される。この記録制御を行う記録制御部は、映像信号処理部１３（又はＣＰＵ２３）に内在していると考えることができる。
【０１４６】
このような記録制御を行うようにすれば、撮影時に取り扱う画像データ量が減少し、撮像装置１の消費電力を第１実施形態等と比べて低減することができると共に、撮影時における画像データの記録サイズを第１実施形態等よりも小さくすることができる。
【０１４７】
外部メモリ１８に記録された画像データ（圧縮画像データ）を、撮像装置１の外部機器に相当する再生装置に与えることにより、再生装置上で、画像Ｈ1及びＨ9を含む高解像度入力画像列、画像Ｌ1〜Ｌ9を含む低解像度画像列、又は、画像Ｈ1’〜Ｈ9’を含む高解像度出力画像列を、動画像として再生表示することができる。但し、撮像装置１に映像信号処理部１３ａ又は１３ｂの機能を持たせておくこともでき、この場合は、外部メモリ１８の記録内容から撮像装置１上にて高解像度出力画像列を生成及び表示することもできる。
【０１４８】
図２０に、第６実施形態に係る再生装置４１０の概略ブロック図を示す。再生装置４１０は、映像信号処理部（画像処理装置）４１１と、液晶ディスプレイなどの表示部４１２と、を備える。映像信号処理部４１１内に高解像化処理ブロックを設けることが可能である。この高解像化処理ブロックは、外部メモリ１８に記録された画像Ｈ1及びＨ9を含む高解像度入力画像列と画像Ｌ1〜Ｌ9を含む低解像度画像列とに基づいて、画像Ｈ1’〜Ｈ9’を含む高解像度出力画像列を生成する機能を備える。図８又は図１５の映像信号処理部１３ａ又は１３ｂを形成する部位の内、その機能を担う部位（高解像度処理部５８を少なくとも含む）が、高解像化処理ブロックに設けられる。
【０１４９】
映像信号処理部４１１が高解像化処理ブロックを備えている場合、再生装置４１０は、表示部４１２の表示画面の解像度に応じて高解像度出力画像列を生成するか否かを切り替え制御する。つまり、表示部４１２の表示画面の解像度が、高解像度出力画像の解像度に応じた所定解像度以上のときには、高解像化処理ブロックを用いて外部メモリ１８に記録された画像データから高解像度出力画像列を生成し、それを動画像として表示部４１２に再生表示する。一方、表示部４１２の表示画面の解像度が、上記の所定解像度よりも低いときには、高解像化処理ブロックを用いることなく、外部メモリ１８に記録された画像Ｌ1〜Ｌ9を含む低解像度画像列をそのまま、動画像として表示部４１２に再生表示する。
【０１５０】
映像信号処理部４１１が高解像化処理ブロックを備えていない場合、外部メモリ１８に記録された画像Ｌ1〜Ｌ9を含む低解像度画像列がそのまま、動画像として表示部４１２に再生表示される。撮像装置１側で、高解像度入力画像列と低解像度画像列を個別に外部メモリ１８に記録しておくことで、高解像化処理ブロックを備えていない再生装置上でも、撮影した動画像を再生することができる。つまり、高解像化処理ブロックを備えていない再生装置に対する互換性が保たれる。
【０１５１】
尚、高解像度入力画像列に対して施されるべき圧縮処理と低解像度画像列に対して施されるべき圧縮処理は、共に動画像用の圧縮処理（例えばＭＰＥＧ圧縮方式に従う圧縮処理）であっても良いが、フレームレートが比較的低い高解像度入力画像列に対する圧縮処理は、静止画像用の圧縮処理（例えばＪＰＥＧ圧縮方式に従う圧縮処理）であってもよい。また、高解像度入力画像列及び低解像度入力画像列から成る動画像の撮影時に得られた音声信号も、画像データの外部メモリ１８への記録の際に、その画像データに関連付けられて記憶される。この際、高解像度入力画像列、低解像度画像列、高解像度出力画像列の夫々に同期して音声信号を再生可能なように記録制御がなされる。
【０１５２】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。また、上述の何れかの実施形態にて記載した事項を他の実施形態に記載した事項と組み合わせて実施することも可能である。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１５３】
［注釈１］
図５に示すような加算読み出しによって低解像度入力画像を取得する例を上述したが、加算読み出しを実現する際の具体的な信号加算方法は、任意に変更可能である。例えば、図５に示す例では受光画素ＰS［１，１］〜ＰS［４，４］から成る４×４受光画素より原画像上の４画素位置［１，１］〜［２，２］の画素信号を生成しているが、他の４×４受光画素（例えば、受光画素ＰS［２，２］〜ＰS［５，５］から成る４×４受光画素）より原画像上の４画素位置［１，１］〜［２，２］の画素信号を生成してもよい。また、図５の例では、４つの受光画素信号を加算するによって原画像上の１つの画素信号を形成しているが、４以外の個数の受光画素信号（例えば、９つの受光画素信号）を加算するによって原画像上の１つの画素信号を形成してもよい。
【０１５４】
間引き読み出しによって低解像度入力画像を取得する場合も、間引きの方法は任意に変更可能である。例えば、図６に示す例では受光画素ＰS［２，２］〜ＰS［３，３］から原画像上の４画素位置［１，１］〜［２，２］の画素信号を生成しているが、受光画素ＰS［１，１］〜ＰS［２，２］から原画像上の４画素位置［１，１］〜［２，２］の画素信号を生成するようにしてもよい。また、図６の例では、４×４受光画素を単位として小受光画素領域を形成しているが小受光画素領域の単位を変更しても良い。例えば、９×９受光画素を単位として小受光画素領域を形成し、９×９受光画素についての計８１個の受光画素信号の中から、間引きによって４つの受光画素信号を抽出して、抽出した４つの受光画素信号を原画像上の４画素位置［１，１］〜［２，２］の画素信号として取り扱うようにしても良い。
【０１５５】
また更に、加算読み出し方式と間引き読み出し方式を組み合わせた読み出し方式（以下、加算/間引き方式という）を利用して低解像度入力画像を取得するようにしてもよい。加算/間引き方式では、加算読み出し方式と同様、複数の受光画素信号を加算することによって原画像の画素信号が形成される。従って、加算/間引き方式は、加算読み出し方式の一種である。一方、撮像素子３３の有効領域内における受光画素信号の内、一部の受光画素信号は原画像の画素信号の生成に寄与しない。つまり、原画像の生成に際して、一部の受光画素信号は間引かれる。故に、加算/間引き方式は、間引き読み出し方式の一種であるとも言える。
【０１５６】
［注釈２］
上述の例では、１枚のイメージセンサのみを用いる単板方式が撮像装置１に採用されていることを想定しているが、３枚のイメージセンサを用いる三板方式が撮像装置１に採用されてもかまわない。
【０１５７】
撮像素子３３が三板方式の撮像素子である場合、図２１に示す如く、撮像素子３３は、３枚の撮像素子３３Ｒ、３３Ｇ及び３３Ｂから形成される。撮像素子３３Ｒ、３３Ｇ及び３３Ｂの夫々は、ＣＣＤやＣＭＯＳイメージセンサ等から成り、光学系を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。撮像素子３３Ｒ、３３Ｇ及び３３Ｂの夫々は、マトリクス状に二次元配列された（Ｍ×Ｎ）個の受光画素を備える。この（Ｍ×Ｎ）個の受光画素は、有効領域内の受光画素であるとする。撮像部１１内の光学系により、撮像素子３３Ｒ、３３Ｇ及び３３Ｂは、夫々、撮像部１１の光学系に対する入射光の、赤成分、緑成分及び青成分にのみ反応する。
【０１５８】
単板方式の撮像素子３３から画素信号を読み出すのと同様にして、全画素読み出し方式、加算読み出し方式又は間引き読み出し方式によって、撮像素子３３Ｒ、３３Ｇ及び３３Ｂから個別に画素信号が読み出されて原画像が取得される。但し、三板方式を採用する場合は、単板方式を採用する場合と異なり、原画像上における１つの画素位置に対して、Ｒ、Ｇ及びＢ信号が全て存在する。この点を除き、三板方式を採用する場合の撮像装置及び再生装置等の構成及び動作は、上述してきたものと同様である。三板方式を採用する場合においても、全画素読み出しが行われるときには、（Ｍ×Ｎ）の画像サイズを有する原画像が高解像度入力画像として取得され、加算読み出し又は間引き読み出しが行われるときには、（Ｍ／２×Ｎ／２）の画像サイズを有する原画像が低解像度入力画像として取得される。但し、加算読み出し又は間引き読み出しによって取得される低解像度入力画像の画像サイズを（Ｍ／２×Ｎ／２）以外にすることも可能である。
【０１５９】
［注釈３］
図１の撮像装置１、図１９の再生装置４００及び図２０の再生装置４１０の夫々は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部（１３、１３ａ、１３ｂ、４０１又は４１１）内で実行される処理の一部を、ソフトウェアを用いて実現することも可能である。勿論、映像信号処理部（１３、１３ａ、１３ｂ、４０１又は４１１）をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置又は再生装置を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【図面の簡単な説明】
【０１６０】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像素子の受光画素配列を示す図（ａ）と、その撮像素子の有効領域を示す図（ｂ）である。
【図３】図１の撮像素子に配置されたカラーフィルタの配列を示す図である。
【図４】全画素読み出しによって原画像が取得される様子を示す図である。
【図５】加算読み出しによって原画像が取得される様子を示す図である。
【図６】間引き読み出しによって原画像が取得される様子を示す図である。
【図７】本発明の第１実施形態に係る信号読み出し方式の切り替え制御によって得られた、高解像度入力画像列と低解像度入力画像列とから成る画像列を示す図である。
【図８】本発明の第１実施形態に係る映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。
【図９】図７に示す画像列から、低フレームレートの高解像度画像列と高フレームレートの低解像度画像列が生成される様子を示す図である。
【図１０】図８の高解像度処理部にて生成される高解像度出力画像列を示す図である。
【図１１】図８の高解像度処理部による、高解像度画像の生成手順を示すフローチャートである。
【図１２】図８の高解像度処理部の内部構成例を詳細に示した、図８の映像信号処理部の一部ブロック図である。
【図１３】本発明の第２実施形態に係り、ＭＰＥＧ動画像の構成を示す図である。
【図１４】本発明の第３実施形態に係る信号読み出し方式の切り替え制御によって得られた、高解像度入力画像列と低解像度入力画像列とから成る画像列を示す図である。
【図１５】本発明の第３実施形態に係る映像信号処理部の内部ブロック図を含む、撮像装置の一部ブロック図である。
【図１６】本発明の第４実施形態に係る信号読み出し方式の、第１切り替え方法を説明するための図である。
【図１７】本発明の第４実施形態に係る信号読み出し方式の、第２切り替え方法を説明するための図である。
【図１８】本発明の第４実施形態に係る信号読み出し方式の、第３切り替え方法を説明するための図である。
【図１９】本発明の第５実施形態に係る再生装置の概略ブロック図である。
【図２０】本発明の第６実施形態に係る再生装置の概略ブロック図である。
【図２１】三板方式を採用した撮像素子の構成図である。
【符号の説明】
【０１６１】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３、１３ａ、１３ｂ、４０１、４１１  映像信号処理部
１６  圧縮処理部
１８  外部メモリ
３３  撮像素子
５３  低解像度画像生成部
５６  動き検出部
５８  高解像度処理部
【図１】
2010028722.tif 000003
【図２】
2010028722.tif 000004
【図３】
2010028722.tif 000005
【図４】
2010028722.tif 000006
【図５】
2010028722.tif 000007
【図６】
2010028722.tif 000008
【図７】
2010028722.tif 000009
【図８】
2010028722.tif 000010
【図９】
2010028722.tif 000011
【図１０】
2010028722.tif 000012
【図１１】
2010028722.tif 000013
【図１２】
2010028722.tif 000014
【図１３】
2010028722.tif 000015
【図１４】
2010028722.tif 000016
【図１５】
2010028722.tif 000017
【図１６】
2010028722.tif 000018
【図１７】
2010028722.tif 000019
【図１８】
2010028722.tif 000020
【図１９】
2010028722.tif 000021
【図２０】
2010028722.tif 000022
【図２１】
2010028722.tif 000023