(57)【要約】【課題】処理量を著しく増大させることなく、動画の画質を高めること。【解決手段】撮像部と、撮像部が撮像した動画を構成する複数の画像のうち、第１画像の画像データよりも少ない画素数で第２画像の画像データを出力する画像出力部と、画像出力部が出力した第１画像の画像データおよび第２画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理部とを備える。プログラムは、上記画像出力部および上記画像処理部において実行されるステップをコンピュータに実行させる。【選択図】図２
2012235396.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部が撮像した動画を構成する複数の画像のうち、第１画像の画像データよりも少ない画素数で第２画像の画像データを出力する画像出力部と、
前記画像出力部が出力した前記第１画像の画像データおよび前記第２画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理部と
を備える撮像装置。
【請求項２】
前記画像処理部が生成した動画データを記録媒体に記録する記録制御部
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記画像出力部は、前記撮像部が有する撮像素子から、前記第１画像を読み出す場合よりも高い間引き率で第２画像を読み出す読み出し部
を有する請求項１または２に記載の撮像装置。
【請求項４】
前記画像処理部は、前記撮像部が有する撮像素子から読み出された前記第１画像の画像データおよび前記第２画像の画像データに色補間処理を施す
を有する請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記画像処理部は、
画像処理された前記第１画像の画像データおよび前記第２画像の画像データを、同一の画素数で出力する処理画像出力部と、
前記処理画像出力部が出力した画像データを、動画として符号化する符号化処理部と
を有する請求項１から４のいずれか一項に記載の撮像装置。
【請求項６】
前記符号化処理部は、前記処理画像出力部が出力した画像データを、フレーム間予測を用いて動画として符号化する
請求項５に記載の撮像装置。
【請求項７】
前記符号化処理部は、前記第１画像の画像データを参照フレームとして用いて、前記第２画像の画像データを符号化する
請求項６に記載の撮像装置。
【請求項８】
前記符号化処理部は、前記第１画像の画像データをＩピクチャまたはＰピクチャとして符号化し、前記第２画像の画像データをＢピクチャとして符号化する
請求項７に記載の撮像装置。
【請求項９】
前記符号化処理部は、フレーム間予測において、符号化対象画像と予測画像との間の差分量が閾値より小さい場合に、予測誤差を０として符号化対象画像を符号化し、
前記画像処理部は、
前記画像出力部が出力する前記第１画像の画像データと前記第２画像の画像データとの間の画素数の差が大きいほど、前記閾値を大きい値に設定する閾値制御部
を有する請求項８に記載の撮像装置。
【請求項１０】
前記画像出力部は、前記第１画像の画像データからより大きいエッジ成分が検出された場合に、より多い画素数で前記第２画像の画像データを出力する
請求項１から９のいずれか一項に記載の撮像装置。
【請求項１１】
前記画像処理部は、
第１画素数の画素値を用いて画像処理を行う第１処理部と、
前記第１画素数よりも少ない第２の画素数の画素値を用いて画像処理を行う第２処理部と、
前記第１画像の画像データを前記第１処理部に画像処理させ、前記第２画像の画像データを前記第２処理部に画像処理させる処理切替部と
を有する請求項１から１０のいずれか一項に記載の撮像装置。
【請求項１２】
前記画像出力部は、前記撮像部が有する撮像素子から読み出された第２画像の画像データに画素の間引き処理を施すことにより、前記撮像素子から読み出された第２画像の画像データを、前記撮像素子から読み出された第１画像の画像データよりも少ない画素数の画像データに変換して出力する
請求項１または２に記載の撮像装置。
【請求項１３】
前記撮像装置を駆動する電池の残存容量を検出する残存容量検出部
をさらに備え、
前記画像出力部は、前記残存容量が少ないほど、前記第２画像の画像データをより少ない画素数で出力する
請求項１から１２のいずれか一項に記載の撮像装置。
【請求項１４】
前記画像処理部による画像処理を実行する回路ブロックの温度を検出する温度検出部
をさらに備え、
前記画像出力部は、前記検出された温度が高いほど、前記第２画像の画像データをより少ない画素数で出力する
請求項１から１３のいずれか一項に記載の撮像装置。
【請求項１５】
撮像された動画を構成する複数の画像のうち、第１画像の画像データよりも少ない画素数で第２画像の画像データを出力する画像出力ステップと、
前記画像出力ステップで出力された前記第１画像の画像データおよび前記第２画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
通常時は高速モードで駆動され、トリガーが押し下げられた時だけ高画質モードで駆動されるＣＣＤイメージセンサーを備える撮像装置が知られている（例えば、特許文献１参照）。高速モードでは、ＣＣＤイメージセンサーは垂直方向の４ライン毎に２ラインの画素信号を出力する。
［先行技術文献］
［特許文献］
［特許文献１］特開２００４−１０４８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
動画を構成する画像を多画素化すると、撮像装置における処理量が著しく増大する場合がある。例えば画像処理に要する消費電力が著しく増大する場合がある。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、撮像装置は、撮像部と、撮像部が撮像した動画を構成する複数の画像のうち、第１画像の画像データよりも少ない画素数で第２画像の画像データを出力する画像出力部と、画像出力部が出力した第１画像の画像データおよび第２画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理部とを備える。
【０００５】
本発明の第２の態様においては、プログラムは、撮像された動画を構成する複数の画像のうち、第１画像の画像データよりも少ない画素数で第２画像の画像データを出力する画像出力ステップと、前記画像出力ステップで出力された前記第１画像の画像データおよび前記第２画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置１００のシステム構成図を示す。
【図２】ＡＳＩＣ１３５のブロック構成の一例を模式的に示す。
【図３】撮像素子１３２を全画素読み出し駆動して得られる全画素画像データの一例を示す。
【図４】撮像素子１３２を間引き読み出し駆動して得られる間引き画像データの一例を示す。
【図５】撮像素子駆動部１４０が符号化と同期して読み出しを制御する制御例を示す。
【図６】撮像装置１００における動作フローの概略を示す。
【図７】動画撮影における動作フローの一例を示す。
【図８】間引き率を設定する場合の動作フローの一例を示す。
【図９】ＡＳＩＣ１３５のブロック構成の他の一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１０】
被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。撮像素子１３２は、レンズ群１２２を通過した被写体光により撮像する撮像部の一部として機能する。
【００１１】
レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。撮像素子１３２は、被写体像である光学像を光電変換する素子であり、例えばＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１３２で光電変換された被写体像は、Ａ／Ｄ変換器１３４でアナログ信号からデジタル信号に変換される。撮像素子駆動部１４０は、撮像素子１３２およびＡ／Ｄ変換器１３４の駆動を制御する。例えば、撮像素子駆動部１４０は、カメラＭＰＵ１３３から与えられる露光時間、露光周期等に従って、撮像素子１３２の電荷リセットおよび読み出しタイミング、読み出しゲイン等に対する制御信号を出力する。撮像素子駆動部１４０は、撮像素子１３２からのアナログ信号としての読み出しに同期して、Ａ／Ｄ変換器１３４にデジタル信号へ変換させる制御信号を出力する。
【００１２】
デジタル信号に変換された受光信号としての被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１３４によりデジタル信号に変換された画像データは、ＡＳＩＣ１３５へ引き渡される。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＳＤＲＡＭ１３６は、ＡＳＩＣ１３５における処理、画像データの記録および再生動作時において一時的に画像データを記憶するためのバッファメモリとして機能する。
【００１３】
ＡＳＩＣ１３５は、画像データを規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０は、例えばフラッシュメモリ等により構成される。
【００１４】
ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。
【００１５】
撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内のＡ／Ｄ変換器１３４、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００１６】
操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各要素を制御する。また、カメラＭＰＵ１３３は、タッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各要素を制御する。
【００１７】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０は、カメラ本体１３０に対して着脱できる、例えばリチウムイオン電池などの二次電池、家庭用ＡＣ電源等により構成される。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各要素への電力供給を制御する。二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。
【００１８】
カメラＭＰＵ１３３は、二次電池等の電池が電源１７０として用いられているか否かを検出する。電池が電源１７０として用いられている場合、電池の残存容量を検出する。カメラＭＰＵ１３３は、撮像装置１００を駆動する電池の残存容量を検出する残存容量検出部として機能する。カメラＭＰＵ１３３は、電池の残存容量が小さいほど、撮像素子１３２が有する複数の光電変換素子から、より大きい間引き率で間引き読み出しさせる。例えば、カメラＭＰＵ１３３は、残存容量が予め定められた値より小さい場合、撮像素子駆動部１４０を制御して、撮像素子１３２から間引き読み出しをさせる。当該残存容量が予め定められた値より大きい場合、撮像素子駆動部１４０を制御して、撮像素子１３２から全画素の読み出しをさせる。
【００１９】
温度検出部１４２は、カメラ本体１３０の温度を検出する。温度検出部１４２は、画像処理を実行する回路ブロックの温度を検出する。温度検出部１４２は、ＡＳＩＣ１３５を温度検出の対象としてよい。なお、温度検出部１４２は、温度検出の対象である部材の温度を直接に検出する必要はなく、温度検出の対象とする部材の温度変化に対応して温度が変化する部位の温度を測定してよい。
【００２０】
カメラＭＰＵ１３３は、温度検出部１４２が検出した温度が大きいほど、撮像素子１３２が有する複数の光電変換素子から、より大きい間引き率で間引き読み出しさせる。例えば、カメラＭＰＵ１３３は、温度検出部１４２が検出した温度が予め定められた値より大きい場合、撮像素子駆動部１４０を制御して、撮像素子１３２から間引き読み出しをさせる。当該温度が予め定められた値以下である場合、撮像素子駆動部１４０を制御して、撮像素子１３２から全画素の読み出しをさせる。
【００２１】
カメラＭＰＵ１３３は、動画を構成する個々のフレームとしての画像データを撮像素子１３２から読み出す場合に、間引き読み出しと、全画素読み出しとを切り替える。全画素数をＮ１、間引き後の画素数をＮ２とすると、ＡＳＩＣ１３５は、間引き読み出しにより撮像素子１３２から取り込まれたＮ２画素の画像データに、画像処理を施して、Ｎ２画素の画像データを生成する。また、ＡＳＩＣ１３５は、全画素読み出しにより取り込まれたＮ１画素の画像データに画像処理を施して、Ｎ１画素の画像データを生成する。ここで、画像処理とは、動画の符号化処理よりも前段階で行われる画像処理のうちの少なくとも一部の処理であってよい。当該画像処理として、色補間処理、ガンマ補正、ホワイトバランス補正等を例示することができる。撮像装置１００によれば、動画データを生成するために、一部のフレームを間引き読み出しされた画像から生成する。このため、全てのフレームを全画素読み出しされた画像から生成する場合と比較して、少ない演算量で画像処理することができる。したがって、一ストリームの動画を生成するために要する全体の演算量を低減することができる。
【００２２】
全画素読み出しされる画像を全画素画像と呼び、間引き読み出しされる画像を間引き画像と呼ぶ場合がある。また、全画素画像の画像データを全画素画像データと呼び、間引き画像の画像データを間引き画像データと呼ぶ場合がある。なお、全画素画像は第１画像の一例であり、間引き読み出しされる画像は、第１画像よりも少ない画素数の画像である第２画像の一例である。すなわち、撮像素子１３２、Ａ／Ｄ変換器１３４および撮像素子駆動部１４０の機能ブロックは、撮像素子１３２から、全画素画像を読み出す場合よりも高い間引き率で間引き画像を読み出す読み出し部として機能する。本機能ブロックは、撮像素子１３２により撮像された動画を構成する複数の画像のうち、第１画像の画像データよりも少ない画素数で第２画像の画像データを出力する画像出力部の一例である。また、ＡＳＩＣ１３５は、出力された全画素画像データおよび間引き画像データをそれぞれ画像処理して、動画データを生成する画像処理部として機能する。例えば、ＡＳＩＣ１３５は、撮像素子から読み出された全画素画像データおよび間引き画像データに色補間処理、ガンマ補正、ホワイトバランス補正等を施す。
【００２３】
ＡＳＩＣ１３５は、間引き読み出しされ画像処理が施されたＮ２画素の画像データに対して画素数変換処理を施して、Ｎ１画素の画像データに変換する。ＡＳＩＣ１３５は、画素数変換処理により得られたＮ１画素の画像データと、画像処理が施された全画素画像データとに対して、動画としての符号化処理を施す。例えば、ＡＳＩＣ１３５は、フレーム間符号化等の符号化処理を施す。符号化処理により得られた動画データは、カメラＭＰＵ１３３の制御によって、外部メモリ１６０に記録される。当該動画データには、全画素読み出しによって得られた画像データに基づくフレームデータが含まれる。したがって、撮像装置１００によれば、画像処理に要する演算量を低減しつつ、ある程度高画質な動画データを提供することができる。画像処理に要する演算量を低減することができるので、ＡＳＩＣ１３５の消費電力を低減することができる。また、ＡＳＩＣ１３５の発熱量を低減することができる。
【００２４】
図２は、ＡＳＩＣ１３５のブロック構成の一例を模式的に示す。ＡＳＩＣ１３５は、処理切替部２００、第１画像処理部２１０、第２画像処理部２２０、処理画像出力部２３０、符号化部２４０および閾値制御部２５０として機能する。第１画像処理部２１０は、前処理部２１２、後処理部２１４および画像解析部２１６を含む。第２画像処理部２２０は、前処理部２２２、後処理部２２４および画素数変換部２２６を含む。符号化部２４０は、フレーム内符号化部２４２およびフレーム間符号化部２４４を含む。
【００２５】
第１画像処理部２１０は、全画素画像用の画像処理を行う画処理ブロックであり、第２画像処理部２２０は、間引き画像用の画像処理を行う画処理ブロックである。第１画像処理部２１０および第２画像処理部２２０は、別個のハードウェアで実装されてよい。第１画像処理部２１０および第２画像処理部は、論理的な処理ブロックとして実装されてもよい。処理切替部２００は、全画素画像データを第１画像処理部２１０に画像処理させ、間引き画像データを第２画像処理部２２０に画像処理させる。処理切替部２００は、全画素画像データを第１画像処理部２１０に提供し、間引き画像データを第２画像処理部２２０に提供するスイッチ部であってよい。
【００２６】
第１画像処理部２１０は、Ｎ１画素の画素値を用いて画像処理を行い、第２画像処理部２２０は、Ｎ２画素数の画素値を用いて画像処理を行う。例えば、第１画像処理部２１０および第２画像処理部２２０がそれぞれ画像フィルタを適用して対応する画像処理を施す場合に、第２画像処理部２２０は、第１画像処理部２１０が適用する画像フィルタよりもフィルタサイズが小さい画像フィルタを適用してよい。
【００２７】
前処理部２１２は、Ａ／Ｄ変換器１３４から出力された全画素画像データに、前処理を施す。前処理としては、欠陥画素補正、黒レベル決定処理、感度比調整、ホワイトバランス評価値を算出する処理、ノイズ除去処理等を例示することができる。後処理部２１４は、前処理部２１２により処理され画像データに後処理を施す。後処理としては、ホワイトバランス調整、ガンマ補正、色補間処理、色変換処理等を例示することができる。色補間処理としては、１画素あたり１色の画像データから、１画素あたり３色の画像データを生成する処理等を例示することができる。色変換処理としては、ＲＧＢ信号としての画像データを、ＹＣ信号としての画像データに変換する処理等を例示することができる。その他、後処理として、平滑化、輪郭補償、鮮鋭化、２次元フィルタリング、斜め線検出等の形状検出処理等を例示することができる。
【００２８】
画像解析部２１６は、画像データを解析する。例えば、画像解析部２１６は、画像データからエッジ成分を検出する。カメラＭＰＵ１３３は、全画素画像データからより大きいエッジ成分が検出された場合に、より多い画素数で間引き画像データを出力させてよい。具体的には、カメラＭＰＵ１３３は、撮像素子駆動部１４０を制御して、全画素画像データからより大きいエッジ成分が検出された場合に、より小さい間引き率で撮像素子１３２から間引き読み出しさせる。エッジ成分を多く含む場合に間引き率を小さくすることで、間引きによりエッジ情報が大きく失われることを未然に防ぐことができる。一方、エッジ成分が少ない場合には間引き率を大きくすることで、画質を著しく低下させることなく演算量を大きく低減することができる。
【００２９】
第２画像処理部２２０において、前処理部２２２は、前処理部２１２に対応する前処理を行う。前処理部２２２における欠陥画素補正処理では、撮像素子１３２の読み出しラインに属する欠陥画素に対して、欠陥画素補正する。また、後処理部２２４は、後処理部２１４に対応する後処理を行う。後処理部２２４は、後処理部２１４が適用する画像フィルタよりもフィルタサイズが小さい画像フィルタを適用してよい。後処理部２２４における画像処理の処理精度は、後処理部２１４よりも低くてよい。例えば、後処理部２２４における色補間処理の補間精度は、後処理部２１４における色補間処理の補間精度よりも低くてよい。
【００３０】
画素数変換部２２６は、後処理部２２４により処理された間引き画像データに対して、補間演算等によって画素数を変換する処理を行う。画素数変換部２２６は、後処理部２２４により処理された間引き画像データを、全画素画像データと同一の画素数の画像データに変換する。
【００３１】
処理画像出力部２３０は、画像処理された全画素画像データおよび間引き画像データを、同一の画素数で出力する。具体的には、処理画像出力部２３０は、第１画像処理部２１０において画像処理が施された画像データと、第２画像処理部２２０から出力された対応する画像処理および画素数変換が施された画像データとのいずれかを選択して、ＳＤＲＡＭ１３６に出力する。処理画像出力部２３０は、第１画像処理部２１０および第２画像処理部２２０のいずれから画像データを入力するかを選択して、ＳＤＲＡＭ１３６に記憶させるスイッチ部であってよい。処理画像出力部２３０は、第１画像処理部２１０から画像処理後の全画素画像データが出力される場合、第１画像処理部２１０を入力として選択し、第２画像処理部２２０から画像処理および画素数変換が施された画像データが出力される場合、第２画像処理部２２０を入力として選択する。
【００３２】
なお、処理画像出力部２３０が出力する画像データが、全画素画像データおよび間引き画像データのいずれから生成された画像データであるかを区別することを目的として、全画素画像データから生成された画像データを単に全画素画像データと呼び、間引き画像データから生成された画像データを間引き画像データと呼ぶ場合がある。処理画像出力部２３０より後段の画像データはいずれも同じ画素数の画像データであるが、例えば処理画像出力部２３０より後段の画像データを示していることが明らかな場合は、間引き画像データから生成された画像データを間引き画像データと呼ぶ場合がある。
【００３３】
符号化部２４０は、処理画像出力部２３０が出力した画像データを、動画として符号化する。具体的には、符号化部２４０は、処理画像出力部２３０が出力した画像データをＳＤＲＡＭ１３６から読み出して、符号化処理を施す。符号化部２４０は、全画素画像データをＩフレームまたはＰフレームとして符号化する。また、符号化部２４０は、間引き画像データをＢフレームとして符号化する。
【００３４】
フレーム内符号化部２４２は、Ｈ．２６０等の規格におけるＩフレームのデータを生成する処理に供される。フレーム間符号化部２４４は、ＰフレームまたはＢフレームにおいて、フレーム間予測を用いて符号化するブロックに対するフレーム間符号化処理を行う。フレーム内符号化部２４２は、ＰフレームまたはＢフレームにおいて、フレーム間予測を用いずに符号化すると判断されたブロックに対して、フレーム内符号化処理を施してよい。
【００３５】
このように、フレーム内符号化部２４２は、全画素画像データをＩピクチャとして符号化する。フレーム間符号化部２４４は、処理画像出力部２３０が出力した画像データを、フレーム間予測を適用して動画として符号化する。具体的には、フレーム間符号化部２４４は、全画素画像データを参照フレームとして用いて、間引き画像データを符号化する。符号化部２４０は、全画素画像データをＩピクチャまたはＰピクチャとして符号化し、間引き画像データをＢピクチャとして符号化する。Ｉフレーム、Ｐフレームのようにフレーム間予測において参照される可能性のあるフレームを、全画素画像データから生成するので、動画データの画質が著しく低下することを未然に防ぐことができる。
【００３６】
フレーム内符号化部２４２は、フレーム間予測において、符号化対象画像と予測画像との間の差分量が閾値より小さい場合に、予測誤差を０として符号化対象画像を符号化する。すなわち、フレーム内符号化部２４２は、フレーム間予測において予測誤差が当該閾値より小さい場合、画像内容が同一のブロックであるとみなす。この場合、符号化対象画像は、実質的に動きベクトルによって表現される。
【００３７】
閾値制御部２５０は、当該閾値を制御する。具体的には、閾値制御部２５０は、全画素画像データと間引き画像データとの間の画素数の差が大きいほど、閾値を大きい値に設定する。フレーム内符号化部２４２が扱う間引き画像データは、間引き読み出しした画像データを画素数変換したものである。したがって、画素数の差が大きいほど、間引き画像データと全画素画像データとの間の差分量も大きくなる場合がある。しかしながら、閾値制御部２５０が、読み出し時の画素数の差が大きいほど閾値を大きく設定するので、予測誤差がある程度大きい場合でも画像内容が同一のブロックとして適切に処理することができる場合がある。したがって、いわば全画素画像データに対応するＩフレームまたはＰフレームの画像情報を用いて、動画データにおいて間引き画像に対応するＢフレームを高画質化することができる。このため、撮像素子１３２を大きく間引き駆動しつつ、高画質な動画データを提供することができる。
【００３８】
図３は、撮像素子１３２を全画素読み出し駆動して得られる全画素画像データの一例を示す。撮像素子１３２は、有効画素としてＬ×Ｍのマトリクス状に光電変換素子を配列した光電変換素子アレイを有する。複数の光電変換素子は、Ｒ、Ｇ、Ｂのいずれかの光を選択的に透過するカラーフィルタを通じて被写体光を受光する。
【００３９】
カメラＭＰＵ１３３は、ＩフレームまたはＰフレームとして処理される画像データを読み出す場合、光電変換素子アレイから全画素読み出しするよう撮像素子駆動部１４０を制御する。この結果、撮像素子１３２に形成された被写体像３００は、全画素画像データ３１０としてＡＳＩＣ１３５に取り込まれる。具体的には、１画素あたり１色の画像データとして、ＡＳＩＣ１３５に取り込まれる。例えば、全画素画像データ３１０における第１ラインに属するＭ個の画素値は、被写体像３００の第１ラインに属するＭ個の光電変換素子の出力にそれぞれ対応し、全画素画像データ３１０における第Ｌラインに属するＭ個の画素値は、被写体像３００の第Ｌラインに属するＭ個の光電変換素子の出力にそれぞれ対応する。したがって、例えば光電変換素子アレイが５７６０×３２４０の光電変換素子で形成される場合、５７６０×３２４０の画素数の全画素画像データ３１０がＡＳＩＣ１３５に取り込まれる。
【００４０】
図４は、撮像素子１３２を間引き読み出し駆動して得られる間引き画像データの一例を示す。カメラＭＰＵ１３３は、Ｂフレームとして処理される画像データを読み出す場合、光電変換素子アレイから間引き読み出しするよう撮像素子駆動部１４０を制御する。この結果、撮像素子１３２に形成された被写体像４００は、全画素画像データ４１０としてＡＳＩＣ１３５に取り込まれる。例えば、全画素画像データ４１０における第１ラインに属するＭ個の画素値は、被写体像４００の第１ラインに属するＭ個の光電変換素子の出力にそれぞれ対応する。一方、全画素画像データ３１０における第Ｌ／３ラインに属するＭ個の画素値は、被写体像３００の第Ｌ−２ラインに属するＭ個の光電変換素子の出力にそれぞれ対応する。したがって、例えば、光電変換素子アレイが５７６０×３２４０の光電変換素子で形成される場合、５７６０×１０８０の画素数の間引き画像データ４１０がＡＳＩＣ１３５に取り込まれる。本図に例示されるように、間引き画像データが表す画像は、全画素画像データが表す画像の部分画像ではなく、全画素画像データが表す画像と画角が略等しい画像であるといえる。
【００４１】
このように、撮像素子１３２から間引き読み出しすることで、撮像素子１３２、Ａ／Ｄ変換器１３４、撮像素子駆動部１４０における処理ブロックの消費電力も低減することができる場合がある。なお、撮像素子１３２を単に間引き駆動するだけでなく、画素加算することによって間引き画像データを出力してもよい。例えば、撮像素子駆動部１４０は、複数ラインに属する光電変換素子の電荷を加算させて、加算された電荷信号をＡ／Ｄ変換器１３４に供給してもよい。
【００４２】
図５は、撮像素子駆動部１４０がＡＳＩＣ１３５における符号化と同期して読み出しを制御する制御例を示す。符号化部２４０は、ＡＳＩＣ１３５に順次に取り込まれた画像データに対して、予め定められた順でＩフレーム、Ｐフレーム、Ｂフレームとして符号化処理を施す。例えば、符号化部２４０は、複数のＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）で構成されるＭＰＥＧ動画を生成する場合に、各ＧＯＰの先頭のフレームをＩフレームとし、以後Ｂフレームを２個生成する毎に、Ｐフレームを１つ生成する。
【００４３】
カメラＭＰＵ１３３は、符号化部２４０におけるフレーム符号化処理と、光電変換素子アレイからの読み出し駆動とを同期させる。カメラＭＰＵ１３３は、符号化部２４０においてＩフレームとして符号化されるべき画像データを取り込む場合に、撮像素子駆動部１４０に全画素読み出し駆動させる。カメラＭＰＵ１３３は、符号化部２４０においてＰフレームとして符号化されるべき画像データを取り込む場合にも、撮像素子駆動部１４０に全画素読み出し駆動させる。カメラＭＰＵ１３３は、符号化部２４０においてＢフレームとして符号化されるべき画像データを取り込む場合に、撮像素子駆動部１４０に間引き読み出し駆動させる。
【００４４】
また、カメラＭＰＵ１３３は、撮像素子駆動部１４０に全画素読み出し駆動させた場合には、処理切替部２００を制御して、ＡＳＩＣ１３５に取り込まれた画像データを第１画像処理部２１０へ供給させる。カメラＭＰＵ１３３は、撮像素子駆動部１４０に間引き読み出し駆動させた場合には、処理切替部２００を制御して、ＡＳＩＣ１３５に取り込まれた画像データを第２画像処理部２２０へ供給させる。したがって、第１画像処理部２１０は、全画素データを処理する場合に動作する。また、第２画像処理部２２０は、間引き画像データを処理する場合に動作する。このため、撮像素子１３２を間引き駆動した場合には、第１画像処理部２１０は動作しなくて済む。つまり、第１画像処理部２１０の画像処理を実装する大規模な回路ブロックを、常時動作させずに済む。
【００４５】
フレーム内符号化部２４２は、カメラＭＰＵ１３３の制御に従って、ＳＤＲＡＭ１３６から順次に読み出した画像データに対してイントラ符号化を適用してＩフレームとして生成する。続いて、フレーム間符号化部２４４は、次にＰフレームとして符号化されるべき画像データをＳＤＲＡＭ１３６から読み出して、前方向予測によるフレーム間符号化を適用する。次に、当該画像データより前の２個の画像データを順次に読み出して、それぞれ双予測によるフレーム間符号化を適用して、２個のＢフレームを生成する。以後、フレーム間符号化部２４４は、Ｐフレームの生成と、２個のＢフレームの生成を繰り返して、１つのＧＯＰデータを生成する。符号化部２４０は、同様の処理を予め定められた数の画像データ毎に適用して、順次に複数のＧＯＰデータを生成する。カメラＭＰＵ１３３は、動画撮影として撮像素子１３２を連続的に駆動している間に、必要に応じてＧＯＰ単位でＳＤＲＡＭ１３６から外部メモリ１６０へＧＯＰデータを転送する。
【００４６】
図６は、撮像装置１００における動作フローの概略を示す。本フローは、操作入力部１４１の一部としての電源スイッチがＯＮされた場合に、開始される。
【００４７】
ステップＳ６０２において、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するプログラム、各種パラメータなどを、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。システムメモリ１３９からＳＤＲＡＭ１３６に展開されるパラメータとしては、静止画撮像および動画撮像のそれぞれの撮像条件等を例示することができる。具体的には、ユーザによって電源ＯＮされる前に設定された撮像条件が、撮像モードに対応づけてシステムメモリ１３９に記録されている。本初期処理において、当該撮像条件が撮像モードに対応づけてＳＤＲＡＭ１３６に展開される。
【００４８】
また、カメラＭＰＵ１３３は、例えば撮像モードを切り替える撮像モードスイッチ等を含む操作入力部１４１の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、撮像モードスイッチが示す撮像モードに対応づけてＳＤＲＡＭ１３６に展開された撮像条件に従って、各撮像モードのデフォルトの撮像条件を設定する。撮像条件としては、動画のフレームレート等を例示することができる。
【００４９】
ステップＳ６０４において、操作入力部１４１に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ６４２）。ステップＳ６４２における処理としては、撮像条件等を設定する処理、動画を継続して撮影する時間である動作撮影時間を設定する処理等を例示することができる。
【００５０】
ステップＳ６０４の判断において、ユーザ指示が画像の再生を実行する指示であると判断された場合、再生処理を実行する（ステップ６３２）。再生処理としては、外部メモリ１６０に記録された画像を表示部１３８にサムネイル表示する処理、ユーザにより選択された画像を表示部１３８に表示する処理等を例示することができる。
【００５１】
ステップＳ６０４の判断において、ユーザ指示が撮影を実行する指示であると判断された場合、ステップＳ６０６において、動画を撮像するか静止画を撮像するかを判断する。例えば、操作入力部１４１の一部としてのレリーズスイッチが押し込まれた場合、静止画を撮像する指示であると判断する。操作入力部１４１の一部としての動画撮影ボタンが押し込まれた場合、動画を撮像する指示であると判断する。
【００５２】
静止画を撮像する場合、ステップＳ６０８において静止画撮影の処理を実行する。具体的には、カメラＭＰＵ１３３は、撮像素子駆動部１４０を制御して撮像素子１３２で露光させ、撮像素子１３２から静止画データとしてＡＳＩＣ１３５に取り込む処理を行う。そして、カメラＭＰＵ１３３は、取り込んだ画像データに対してＡＳＩＣ１３５に色補間処理、ガンマ補正、ホワイトバランス調整等の処理を実行させ、ＳＤＲＡＭ１３６に記憶させる。続いて、ステップＳ６１０において、カメラＭＰＵ１３３は、ＳＤＲＡＭ１３６に記憶された画像データを外部メモリ１６０に記録させる。
【００５３】
ステップＳ６０６の判断において、動画を撮像する指示であると判断された場合、ステップＳ６２２において動画撮影を行う。具体的には、カメラＭＰＵ１３３は、撮像素子駆動部１４０を制御して撮像素子１３２で露光させ、撮像素子１３２からＡＳＩＣ１３５にフレームとしての画像データを取り込ませる処理を繰り返す。撮像素子駆動部１４０は、撮像条件として指定されたフレームレートに従って、撮像素子１３２を読み出し駆動する。ＡＳＩＣ１３５は、取り込まれた画像データを動画用に処理して動画データを生成する。例えば、ＡＳＩＣ１３５は、上述したＧＯＰデータを生成する。ステップＳ６２２における処理フローについては、図７に関連して説明する。
【００５４】
続いて、ステップＳ６２４において、動画の撮像を終了する否かを判断する。例えば、動画撮影ボタンが再度押し込まれた場合に、動画の撮像を終了すると判断する。動画の撮像を終了しない場合、ステップＳ６２２に処理を移行させ、動画の撮像を終了すると判断されるまで、フレームとしての画像データの取り込みと動画用の画処理とを繰り返す。ステップＳ６２４の判断において動画の撮像を終了すると判断された場合、ステップＳ６１０に処理を移行させる。ステップＳ６１０においては、複数のＧＯＰのＧＯＰデータだけでなく、ヘッダ情報等の付加情報を含む動画ファイルを生成する。
【００５５】
ステップＳ６４２、ステップＳ６１２、ステップＳ６３２の処理が完了すると、ステップＳ６１４に進み、電源をＯＦＦするか否かを判断する。例えば、電源スイッチがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示のない状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップＳ６０４に処理を移行させる。
【００５６】
図７は、動画撮影における動作フローの一例を示す。本フローは、図６のステップＳ６２２の詳細な処理フローの一例である。本処理フローに関する処理は、カメラＭＰＵ１３３が主体となって、撮像素子駆動部１４０、ＡＳＩＣ１３５等を制御することによって実行される。
【００５７】
ステップＳ７０２において、カメラＭＰＵ１３３は、撮像素子１３２を間引き駆動すべきか否かを判断する。具体的には、Ｂフレームとして処理される画像データを撮像する場合であり、かつ、予め定められた条件を満たす場合に、撮像素子１３２を間引き駆動すべき旨を判断する。
【００５８】
予め定められた条件として、撮像装置１００が電池により駆動されており、電池の残存容量が予め定められた残存容量の基準値より小さい旨の電源条件を例示することができる。また、予め定められた条件として、温度検出部１４２が検出した温度が予め定められた温度の基準値より大きい旨の温度条件を例示することができる。また、予め定められた条件として、画像のエッジ量が予め定められたエッジ量の基準値よりも小さい旨のエッジ量条件を例示することができる。当該電源条件、温度条件およびエッジ量条件の少なくともいずれかが満たされた場合に、予め定められた条件が満たされたと判断してよい。
【００５９】
間引き駆動すべきと判断された場合、カメラＭＰＵ１３３は間引き率を設定する（ステップＳ７０４）。ステップＳ７０４における処理フローについては、図８に関連して説明する。
【００６０】
続いて、ステップＳ７０６において、カメラＭＰＵ１３３は、撮像素子駆動部１４０を制御して撮像素子１３２を間引き駆動させる。ステップＳ７０８においてカメラＭＰＵ１３３は、ＡＳＩＣ１３５に、取り込まれた間引き画像データを第２画像処理部２２０で画像処理させる。第２画像処理部２２０で処理された間引き画像データは、ＳＤＲＡＭ１３６に記憶される。
【００６１】
ステップＳ７０２で間引き制御すべきでないと判断された場合、撮像素子駆動部１４０を制御して撮像素子１３２を全画素駆動させる（ステップＳ７４２）。続いて、ステップＳ７４４においてカメラＭＰＵ１３３は、ＡＳＩＣ１３５に、取り込まれた全画素画像データを第１画像処理部２１０で画像処理させる。第１画像処理部２１０で処理された全画素画像データは、ＳＤＲＡＭ１３６に記憶される。
【００６２】
ステップＳ７０８、ステップＳ７４４の処理が完了すると、ＡＳＩＣ１３５は、動画の符号化処理として、ステップＳ７１０に処理を進める。ステップＳ７１０において、ＳＤＲＡＭ１３６に記憶されている画像データの中に、Ｉフレームとして処理すべき画像データが存在するか否かを判断する。Ｉフレームとして処理すべき画像データが存在する場合、当該画像データを選択して、フレーム内符号化を施し（ステップＳ７１２）、ＩフレームのデータとしてＳＤＲＡＭ１３６に記憶する（ステップＳ７１４）。
【００６３】
Ｉフレームとして処理すべき画像データが存在しない場合、ステップＳ７２２において、Ｐフレームとして処理すべき画像データが存在するか否かを判断する。Ｐフレームとして処理すべき画像データが存在しない場合、すなわち、処理すべき画像データがＢフレームとして処理される画像データである場合、間引き駆動されて得られた画像データであるか否かを判断する（ステップＳ７２４）。間引き駆動されて得られた画像データである場合、閾値制御部２５０は、予測誤差０とするか否かを判断するための閾値を大きく設定する（ステップＳ７２６）。続いて、ステップＳ７２８において、フレーム間符号化部２４４が画像データにフレーム間符号化を施す。具体的には、ステップＳ７２８においては、画像データにフレーム間符号化を施してＢフレームを生成する。
【００６４】
ステップＳ７２４の判断において、間引き駆動されて得られた画像データでないと判断された場合、予測誤差０とするか否かを判断するための閾値として、予め定められた基準の閾値を適用し（ステップＳ７３２）、ステップＳ７２８に処理を進める。
【００６５】
ステップＳ７２２の判断において、Ｐフレームとして処理すべき画像データが存在すると判断された場合、ステップＳ７３２に処理を進めて、予測誤差０とするか否かを判断するための閾値として、予め定められた基準の閾値を適用する。続いて、ステップＳ７２８において、フレーム間符号化部２４４が画像データにフレーム間符号化を施して、Ｐフレームを生成する。
【００６６】
ステップＳ７２８の処理が完了すると、ステップＳ７２８で生成されたＢフレームまたはＰフレームをＳＤＲＡＭ１３６に記憶する（ステップＳ７１４）。ステップＳ７１４の処理が完了すると本処理フローを終了する。
【００６７】
本処理フローによれば、例えばＡＳＩＣ１３５の温度が一時的に高温になった場合に、Ｂフレームのタイミングで撮像素子１３２を間引き読み出しすることでＡＳＩＣ１３５における演算量を低減することができる。このため、ＡＳＩＣ１３５の温度が著しく高温になることを未然に防ぎつつ、比較的に高画質な動画データを提供することができる。そして、ＡＳＩＣ１３５の温度が予め定められた値以下になった場合には、全画素画像データで各フレームが構成される動画データを生成することができる。
【００６８】
図８は、間引き率を設定する場合の動作フローの一例を示す。本フローは、図７のステップＳ７０４の詳細な処理フローの一例である。本処理フローに関する処理は、カメラＭＰＵ１３３が主体となって実行する。
【００６９】
ステップＳ８０２において、カメラＭＰＵ１３３は、温度検出部１４２が検出した温度が予め定められた温度の基準値よりも大きいか否かを判断する。温度検出部１４２が検出した温度が予め定められた温度の基準値よりも大きい場合、カメラＭＰＵ１３３は、温度検出部１４２が検出した温度と、温度の基準値との差に応じて、間引き率を設定する（ステップＳ８０４）。例えば、カメラＭＰＵ１３３は、温度の基準値との差が大きいほど、大きい間引き率を設定する。このため、温度検出部１４２が検出した温度が高いほど、間引き画像データをより少ない画素数で出力することができる。
【００７０】
ステップＳ８０２の判断において、温度検出部１４２が検出した温度が予め定められた温度の基準値以下であると判断された場合、カメラＭＰＵ１３３は、電池の残存容量が不足するか否かを判断する（ステップＳ８１２）。例えば、電池の残存容量が予め定められた残存容量の基準値より小さい場合に、電池の残存容量が不足すると判断してよい。このため、残存容量が少ないほど、間引き画像データをより少ない画素数で出力することができる。
【００７１】
なお、動画を撮像すべき時間と、電池の残存容量との比較結果に基づき、残存容量が不足するか否かを判断してもよい。例えば、電池の残存容量に基づき動画を撮影できる時間を予測して、動画を撮影できる時間が、ユーザが指示した動画撮影時間よりも短い場合に、残存容量が不足すると判断してよい。動画を撮影できる時間は、電池の残存容量と、動画撮影時に撮像装置１００が単位時間あたりに消費する電力量とから予測してよい。単位時間あたりに消費する電力量は、動画撮影を開始してからの残存容量の時間変化に基づいて算出してよい。
【００７２】
電池の残存容量に応じて間引き率を設定することで、指示された動画撮影時間の動画撮影をすることができる場合には、全画素画像データで構成される動画データを生成することができる。例えば、動画撮影中にユーザがＡＳＩＣ１３５の表示をＯＦＦ等することで、撮像装置１００全体の消費電力が低下する場合がある。全体の消費電力が低下することで、指示された動画撮影時間の動画撮影をすることができるようになった場合には、全画素画像データで構成される動画データを生成することができる。
【００７３】
ステップＳ８１２の判断において、電池の残存容量が不足すると判断された場合、カメラＭＰＵ１３３は、残存容量の不足量に応じて間引き率を設定する。例えば、カメラＭＰＵ１３３は、残存容量の不足量が大きいほど、大きい間引き率を設定する。
【００７４】
ステップＳ８１２の判断において、電池の残存容量が不足しないと判断された場合、カメラＭＰＵ１３３は、画像解析部２１６が全画素画像データから抽出したエッジ量に応じて、間引き率を設定する（ステップＳ８２２）。例えば、カメラＭＰＵ１３３は、エッジ量が小さいほど、高い間引き率を設定する。エッジ量が小さい場合、間引き率を高く設定してもフレームの画質が著しく低下することはないので、動画の画質が著しく低下することもない。エッジ量が小さい場合にも間引き率を高く設定することで、電池による撮像装置１００の駆動時間を更に長くすることができる。
【００７５】
ステップＳ８０４、ステップＳ８１４、ステップＳ８２２の処理が完了すると、本動作フローを終了する。本処理フローで説明したように、撮像装置１００によれば、温度や電池の残存容量等に応じて段階的に間引き率を調節することができる。
【００７６】
図９は、ＡＳＩＣ１３５のブロック構成の他の一例を示す。本構成のＡＳＩＣ１３５は、図２で例示した構成要素に加えて、間引き処理部９００をさらに備える。間引き処理部９００以外の構成要素については、図２において同じ符号を付した構成要素と略同様の動作をするので、その相違点を除いて、説明を省略する。
【００７７】
本例において、撮像素子１３２、Ａ／Ｄ変換器１３４および撮像素子駆動部１４０は、全画素の読み出しを行う。間引き処理部９００は、Ａ／Ｄ変換器１３４が出力した全画素の画像データを取得する。間引き処理部９００は、撮像素子１３２から読み出された第２画像の画像データに画素の間引き処理を施すことにより、撮像素子１３２から読み出された第２画像の画像データを、撮像素子１３２から読み出された第１画像の画像データよりも少ない画素数の画像データに変換して出力する。本例の間引き処理部９００は、撮像素子１３２により撮像された動画を構成する複数の画像のうち、第１画像の画像データよりも少ない画素数で第２画像の画像データを出力する画像出力部の一例である。
【００７８】
処理切替部２００は、間引き処理部９００が出力した画像データを取得する。処理切替部２００は、間引き処理部９００から取得した第１画像データを、第１画像処理部２１０に出力する。処理切替部２００は、間引き処理部９００から出力された第２画像の画像データを、第２画像処理部２２０に出力する。
【００７９】
第１画像処理部２１０は、第１画像データを、図１から図８に関連して説明した全画素画像データとして処理する。第２画像処理部２２０は、第２画像データを、図１から図８に関連して説明した間引き画像データとして処理する。また、第１画像処理部２１０および第２画像処理部２２０よりも後段の処理についても、図１から図８に関連して説明した処理と同様である。
【００８０】
本例のＡＳＩＣ１３５によっても、処理切替部２００は、画素数が少ない画像データを第２画像処理部２２０に画像処理させ、画素数が多い画像データを第１画像処理部２１０に画像処理させることができる。このため、動画において画質が著しく低下することを未然に防ぐことができる。また、画素を間引かない場合と比較して、画像処理に要する消費電力を低減することができる。また、画像処理により生じる発熱量も低減することができる。
【００８１】
以上の説明において、動画データの一例としてのＭＰＥＧファイル等、フレーム間符号化が施された動画データを生成する場合を主として取り上げて、撮像装置１００の各部の処理を具体的に説明した。しかし、動画データとしては、ＭＰＥＧファイル等に限られず、Ｍｏｔｉｏｎ  Ｊｐｅｇ等、フレーム間符号化を施さずに生成された動画データであってよい。
【００８２】
また、以上の説明において、外部メモリ１６０に記録される動画データを生成する場合を取り上げて、撮像装置１００の各部の処理を具体的に説明した。しかし、表示部１３８に動画として表示するための表示用の画像データを、以上に説明した処理を適用して生成してもよい。例えば、第１画像処理部２１０および第２画像処理部２２０が画像処理を施した画像データを、処理画像出力部２３０が表示用の画像データとして出力してもよい。
【００８３】
以上において撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばカメラＭＰＵ１３３等のプロセッサ等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００８４】
本実施形態において、一眼レフカメラとしての撮像装置１００を取り上げて撮像装置の一例を説明した。撮像装置としては、レンズ交換式の一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、撮像機能を有するパーソナルコンピュータ等、撮像機能を有する種々の機器を適用の対象とすることができる。
【００８５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８７】
１００  撮像装置、１２０  交換レンズ、１２１  レンズマウント接点、１３０  カメラ本体、１３１  カメラマウント接点、１２２  レンズ群、１３２  撮像素子、１２３  レンズＭＰＵ、１３３  カメラＭＰＵ、１３４  Ａ／Ｄ変換器、１３５  ＡＳＩＣ、１３６  ＳＤＲＡＭ、１３７  表示制御部、１３８  表示部、１３９  システムメモリ、１４０  撮像素子駆動部、１４１  操作入力部、１４５  接続インタフェース、１７０  電源、１６０  外部メモリ、２００  処理切替部、２１０  第１画像処理部、２２０  第２画像処理部、２３０  処理画像出力部、２４０  符号化部、２５０  閾値制御部、２１２  前処理部、２１４  後処理部、２１６  画像解析部、２２２  前処理部、２２４  後処理部、２２６  画素数変換部、２４０  符号化部、２４２  フレーム内符号化部、２４４  フレーム間符号化部
【図１】
2012235396.tif 000003
【図２】
2012235396.tif 000004
【図３】
2012235396.tif 000005
【図４】
2012235396.tif 000006
【図５】
2012235396.tif 000007
【図６】
2012235396.tif 000008
【図７】
2012235396.tif 000009
【図８】
2012235396.tif 000010
【図９】
2012235396.tif 000011