(57)【要約】【課題】  動画の連続性と、動画及び静止画の品質を担保する撮像装置、動画再生装置及びそのプログラムを実現する。【解決手段】  動画記録処理中は、静止画撮影に適した短い露光時間での撮像と、動画撮影に適した長い露光時間での撮像を交互に行い、長い露光時間で撮像されたフレーム画像データＢを動画データとして記録していくとともに（Ｓ７〜Ｓ９）、動画記録処理中に、シャッタボタンが押下されると（Ｓ５でＹ）、シャッタボタンの押下直前に、短い露光時間で撮像されたフレーム画像データＡ（Ｓ３、Ｓ４）を静止画として記録する（Ｓ６）。【選択図】  図４
2010233254.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段に、動画撮影に適した露光条件での撮像を繰り返し行なわせる第１の撮像制御手段と、
前記撮像手段に、前記第１の撮像制御手段により繰り返し行なわれる動画撮影に適した露光条件での撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせる第２の撮像制御手段と、
前記第１の撮像制御手段により撮像された画像データを動画データとして取得する動画取得手段と、
前記第２の撮像制御手段により撮像された画像データを静止画データとして取得する静止画取得手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記第１の撮像制御手段は、
前記撮像手段に、第１の露光時間での撮像を繰り返し行なわせる手段を含み、
前記第２の撮像制御手段は、
前記撮像手段に、前記第１の撮像制御手段により繰り返し行なわれる第１の露光時間での撮像に対して、繰り返し割り込ませるように、前記第１の露光時間よりも短い第２の露光時間での撮像を繰り返し行なわせる手段を含むことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第２の撮像制御手段は、
前記撮像手段に、所定周期間隔で前記第２の露光時間での撮像を行なわせることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記動画取得手段により取得された動画データを記録手段に記録させる動画記録制御手段を備えたことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
前記動画取得手段により取得された動画データを表示手段に表示させる表示制御手段を備えたことを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項６】
前記静止画取得手段により取得された静止画データを記録手段に記録させる静止画記録制御手段を備えたことを特徴とする請求項１乃至５の何れかに記載の撮像装置。
【請求項７】
静止画データの取得を指示する指示手段を備え、
前記静止画取得手段は、
前記指示手段による指示に応じて、１又は複数の画像データを静止画データとして取得することを特徴とする請求項１乃至６の何れかに記載の撮像装置。
【請求項８】
前記静止画取得手段は、
前記指示手段により指示に応じて、該指示タイミングから所定時間前以降に撮像された画像データを静止画として取得することを特徴とする請求項７記載の撮像装置。
【請求項９】
前記静止画取得手段は、
前記第２の撮像制御手段により撮像された画像データと、該画像データに対応する前記第１の撮像制御手段により撮像された画像データとを合成して１つの画像データを生成する生成手段を含み、該生成手段により生成された画像データを静止画として取得することを特徴とする請求項１乃至８の何れかに記載の撮像装置。
【請求項１０】
前記第２の撮像制御手段により撮像された画像データに対応する前記第１の撮像制御手段により撮像された画像データとは、前記第２の撮像制御手段により撮像された画像データの直前、又は、直後に前記第１の撮像制御手段により撮像された画像データであることを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記動画取得手段により取得された動画データと、前記静止画取得手段により取得された静止画データとを関連付けて記録手段に記録する記録制御手段を備え、
前記静止画取得手段は、
前記第２の撮像制御手段による繰り返しの撮像により得られた複数の画像データを静止画データとして取得することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項１２】
前記記録手段により記録されている動画データ中の任意の動画フレームを指定する指定手段を備え、
前記静止画取得手段は、
更に、前記指定手段により指定された任意の動画フレームに対応する、関連付けられて前記記録手段に記録されている静止画データを取得する手段を含み、
前記記録制御手段は、
更に、前記静止画取得手段により取得された前記任意の動画フレームに対応する静止画データを前記記録手段に記録する手段を含むことを特徴とする請求項１１記載の撮像装置。
【請求項１３】
動画撮影に適した露光条件で繰り返し行なわれる撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせて得られた複数の静止画データが関連付けられて記録された該動画撮影に適した露光条件で繰り返し撮像された動画データを再生する動画再生装置であって、
前記動画データ中の任意の動画フレームを指定する指定手段と、
前記指定手段により指定された任意の動画フレームに対応する、関連付けられて記録されている静止画データを取得する静止画取得手段と、
前記静止画取得手段により取得された前記任意の動画フレームに対応する静止画データを記録手段に記録する記録制御手段と、
を備えたことを特徴とする動画再生装置。
【請求項１４】
前記静止画取得手段は、
前記指定手段により指定された動画フレームと、該動画フレームに対応する静止画データとを合成して１つの画像データを生成する生成手段を含み、該生成手段により生成された画像データを静止画として取得することを特徴とする請求項１３記載の動画再生装置。
【請求項１５】
被写体を撮像する撮像手段を備えたコンピュータを、
前記撮像手段に、動画撮影に適した露光条件での撮像を繰り返し行なわせる第１の撮像制御手段、
前記撮像手段に、前記第１の撮像制御手段により繰り返し行なわれる動画撮影に適した露光条件での撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせる第２の撮像制御手段、
前記第１の撮像制御手段により撮像された画像データを動画データとして取得する動画取得手段、
前記第２の撮像制御手段により撮像された画像データを静止画データとして取得する静止画取得手段、
として機能させることを特徴とするプログラム。
【請求項１６】
動画撮影に適した露光条件で繰り返し行なわれる撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせて得られた複数の静止画データが関連付けられて記録された該動画撮影に適した露光条件で繰り返し撮像された動画データを再生する動画再生装置を、
前記動画データ中の任意の動画フレームを指定する指定手段、
前記指定手段により指定された任意の動画フレームに対応する、関連付けられて記録されている静止画データを取得する静止画取得手段、
前記静止画取得手段により取得された前記任意の動画フレームに対応する静止画データを記録媒体に記録する記録制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、動画再生装置及びそのプログラムに関する。
【背景技術】
【０００２】
動画撮像中に、静止画撮影を行うという技術があり、動画撮影中に静止画撮影を行なうと、静止画撮影を行った期間は動画フレームが欠落して動画の連続性がなくなるので、撮像された静止画データを補正した画像データを、静止画撮影を行なった期間の動画フレームとすることにより動画の連続性を担保し、動画の品質劣化を抑えるというものである（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】公開特許公報  特開２００７−０６０４４９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献によれば、被写体ブレ量に応じて静止画データから動画フレームを作成するが、結局実際に撮像された動画フレームではないため、実際に撮影したときのような綺麗な動画フレームを得ることはできない。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、動画の連続性と、動画及び静止画の品質を担保する撮像装置、動画再生装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による撮像装置は、被写体を撮像する撮像手段と、
前記撮像手段に、動画撮影に適した露光条件での撮像を繰り返し行なわせる第１の撮像制御手段と、
前記撮像手段に、前記第１の撮像制御手段により繰り返し行なわれる動画撮影に適した露光条件での撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせる第２の撮像制御手段と、
前記第１の撮像制御手段により撮像された画像データを動画データとして取得する動画取得手段と、
前記第２の撮像制御手段により撮像された画像データを静止画データとして取得する静止画取得手段と、
を備えたことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、前記第１の撮像制御手段は、
前記撮像手段に、第１の露光時間での撮像を繰り返し行なわせる手段を含み、
前記第２の撮像制御手段は、
前記撮像手段に、前記第１の撮像制御手段により繰り返し行なわれる第１の露光時間での撮像に対して、繰り返し割り込ませるように、前記第１の露光時間よりも短い第２の露光時間での撮像を繰り返し行なわせる手段を含むようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記第２の撮像制御手段は、
前記撮像手段に、所定周期間隔で前記第２の露光時間での撮像を行なわせるようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、前記動画取得手段により取得された動画データを記録手段に記録させる動画記録制御手段を備えるようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記動画取得手段により取得された動画データを表示手段に表示させる表示制御手段を備えるようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、前記静止画取得手段により取得された静止画データを記録手段に記録させる静止画記録制御手段を備えるようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、静止画データの取得を指示する指示手段を備え、
前記静止画取得手段は、
前記指示手段による指示に応じて、１又は複数の画像データを静止画データとして取得するようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記静止画取得手段は、
前記指示手段により指示に応じて、該指示タイミングから所定時間前以降に撮像された画像データを静止画として取得するようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記静止画取得手段は、
前記第２の撮像制御手段により撮像された画像データと、該画像データに対応する前記第１の撮像制御手段により撮像された画像データとを合成して１つの画像データを生成する生成手段を含み、該生成手段により生成された画像データを静止画として取得するようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記第２の撮像制御手段により撮像された画像データに対応する前記第１の撮像制御手段により撮像された画像データとは、前記第２の撮像制御手段により撮像された画像データの直前、又は、直後に前記第１の撮像制御手段により撮像された画像データであるようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記動画取得手段により取得された動画データと、前記静止画取得手段により取得された静止画データとを関連付けて記録手段に記録する記録制御手段を備え、
前記静止画取得手段は、
前記第２の撮像制御手段による繰り返しの撮像により得られた複数の画像データを静止画データとして取得するようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、前記記録手段により記録されている動画データ中の任意の動画フレームを指定する指定手段を備え、
前記静止画取得手段は、
更に、前記指定手段により指定された任意の動画フレームに対応する、関連付けられて前記記録手段に記録されている静止画データを取得する手段を含み、
前記記録制御手段は、
更に、前記静止画取得手段により取得された前記任意の動画フレームに対応する静止画データを前記記録手段に記録する手段を含むようにしてもよい。
【００１８】
上記目的達成のため、請求項１３記載の発明による動画再生装置は、動画撮影に適した露光条件で繰り返し行なわれる撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせて得られた複数の静止画データが関連付けられて記録された該動画撮影に適した露光条件で繰り返し撮像された動画データを再生する動画再生装置であって、
前記動画データ中の任意の動画フレームを指定する指定手段と、
前記指定手段により指定された任意の動画フレームに対応する、関連付けられて記録されている静止画データを取得する静止画取得手段と、
前記静止画取得手段により取得された前記任意の動画フレームに対応する静止画データを記録手段に記録する記録制御手段と、
を備えたことを特徴とする。
【００１９】
また、例えば、請求項１４に記載されているように、前記静止画取得手段は、
前記指定手段により指定された動画フレームと、該動画フレームに対応する静止画データとを合成して１つの画像データを生成する生成手段を含み、該生成手段により生成された画像データを静止画として取得するようにしてもよい。
【００２０】
上記目的達成のため、請求項１５記載の発明によるプログラムは、被写体を撮像する撮像手段を備えたコンピュータを、
前記撮像手段に、動画撮影に適した露光条件での撮像を繰り返し行なわせる第１の撮像制御手段、
前記撮像手段に、前記第１の撮像制御手段により繰り返し行なわれる動画撮影に適した露光条件での撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせる第２の撮像制御手段、
前記第１の撮像制御手段により撮像された画像データを動画データとして取得する動画取得手段、
前記第２の撮像制御手段により撮像された画像データを静止画データとして取得する静止画取得手段、
として機能させることを特徴とする。
【００２１】
上記目的達成のため、請求項１６記載の発明によるプログラムは、動画撮影に適した露光条件で繰り返し行なわれる撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光条件での撮像を繰り返し行なわせて得られた複数の静止画データが関連付けられて記録された該動画撮影に適した露光条件で繰り返し撮像された動画データを再生する動画再生装置を、
前記動画データ中の任意の動画フレームを指定する指定手段、
前記指定手段により指定された任意の動画フレームに対応する、関連付けられて記録されている静止画データを取得する静止画取得手段、
前記静止画取得手段により取得された前記任意の動画フレームに対応する静止画データを記録媒体に記録する記録制御手段、
として機能させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、動画の連続性と、動画及び静止画の品質を担保することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】動画の撮像時におけるタイムチャートを示す図である。
【図３】撮像されたフレーム画像データの様子及び各フレーム画像データのフレーム番号ｎの様子の一例を示すものである。
【図４】第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図５】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図６】合成記録処理の動作を示すフローチャートである。
【図７】第３の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図８】第３の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［第１の実施の形態］
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮像レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、垂直ドライバ６、ＴＧ（timing generator）７、ユニット回路８、ＤＭＡコントローラ（以下、ＤＭＡという）９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、ＤＭＡ１４、画像生成部１５、ＤＭＡ１６、ＤＭＡ１７、表示部１８、ＤＭＡ１９、圧縮伸張部２０、ＤＭＡ２１、フラッシュメモリ２２、バス２３を備えている。
【００２５】
撮像レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮像レンズ２には、レンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ（図示略）と、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ（図示略）とから構成されている。
【００２６】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞りとは、ＣＣＤ５に入射される光の量を制御する機構のことをいう。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。
【００２７】
ＣＣＤ５は、垂直ドライバ６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。この垂直ドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０によって制御される。また、ＣＣＤ５は電子シャッタとしての機能を有し、この電子シャッタは、垂直ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。この電子シャッタのシャッタ速度によって露光時間が変わる。
【００２８】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５によって得られた撮像信号はユニット回路８を経た後、ＤＭＡ９によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ１３）に記憶される。
【００２９】
ＣＰＵ１０は、バッファメモリに記憶された画像データを圧縮してフラッシュメモリ１４に記録する記録処理、バッファメモリに記憶された画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含み、時刻を計時する機能を有する。
特に、ＣＰＵ１０は、撮像素子に動画撮影に適した露光時間での撮像を繰り返し行わせるとともに、動画撮影に適した露光時間での撮像に対して、繰り返し割り込ませるように、静止画撮影に適した露光時間での撮像を繰り返し行わせる連続撮像制御部１０１、フレーム画像データを合成して記録する合成記録処理部１０２、フレーム画像データの再生を行う再生制御部１０３、撮像されたフレーム画像データのフラッシュメモリ２２への記録を制御する記録制御部１０４を有する。
【００３０】
キー入力部１１は、静止画撮像を指示するシャッタボタン、動画撮像の開始や終了を指示する録画ボタン、撮像モードキー、再生モードキー、再生キー、再生停止キー、一時停止キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０がデジタルカメラ1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。
【００３１】
ＤＲＡＭ１３は、ＣＣＤ５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとしても使用される。
【００３２】
ＤＭＡ１４は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部１５に出力するものである。
画像生成部１５は、ＤＭＡ１４から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を施す部分である。
ＤＭＡ１６は、画像生成部１５で画像処理が施された輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。
【００３３】
ＤＭＡ１７は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部１８に出力するものである。
表示部１８は、カラーＬＣＤとその駆動回路を含み、ＤＭＡ１７から出力された画像データの画像を表示させる。
【００３４】
ＤＭＡ１９は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部２０に出力したり、圧縮伸張部２０により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部２０は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ２１は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ２２に記録させたり、フラッシュメモリ２２に記録された圧縮画像データをバッファメモリに記憶させるものである。
【００３５】
Ｂ．デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を説明する前に、本実施の形態におけるデジタルカメラ１は、露光モードを２種類備えており、１つは動画撮像に適した露光時間Ｂで露光するモード（露光モード＝１）、２つ目は静止画撮像に適した、露光モード１の露光時間より短い露光時間Ａで露光するモード（露光モード＝０）がある。この露光モードは撮像する度に切り替わる。つまり、露光モード＝０で撮像すると、次は、露光モード＝１で撮像するというように、露光モードが０→１→０という具合に切り替わる。
【００３６】
また、ＣＣＤ５は、少なくとも３００ｆｐｓのフレーム周期で被写体を撮像する能力を有しており、露光モード０では、１フレーム期間未満の露光時間Ａ（ここでは、１／１２００ｓとする）の露光を行い、露光モード１では、４フレーム期間分の露光時間Ｂ（１／７５ｓ）の露光を行うものとする。なお、１フレーム期間は１／３００ｓとする。
【００３７】
図２は、動画の撮像時におけるタイムチャートを示す図である。
図２を見ると、露光モードが０での撮像と、露光モードが１での撮像とが交互に繰り返し行われているのがわかり、フレーム画像データＢのみが圧縮されて記録されているのがわかる。つまり、フレーム画像データＡは画像生成されるが後述するシャッタボタン押下時を除いて圧縮・記録されることはない。
【００３８】
また、ＣＣＤ５からの画像データの読み出しから画像生成部１５による輝度色差信号の生成までは１フレーム期間未満（１／３００ｓ未満）で行われる。つまり、ＣＣＤ５から読み出されて、ユニット回路８等を介してバッファメモリに記憶されたベイヤーデータが、画像生成部１５によって輝度色差信号の画像データに変換され、該変換された輝度色差信号の画像データがバッファメモリに記憶されるという一連の動作が１フレーム期間未満（１／３００ｓ未満）で行われることになる。
【００３９】
このとき、露光モード１で撮像されるフレーム画像データと、露光モード０で撮像されたフレーム画像データの輝度レベルが同じになるように、絞り、感度（たとえばゲイン）、ＮＤフィルタを調節する。ここでは、ゲインのみを変えることによって調節するものとし、露光モード１で撮像するときのゲイン値を１倍（通常）とし、露光モード０で撮像するときのゲイン値を、露光モード１で撮像するとき（通常）のゲイン値の１６倍とする。これによって、露光モード０で撮像された画像データと、露光モード１で撮像された画像データとの輝度レベルを同じにすることができる。
【００４０】
また、輝度色差信号の画像データの圧縮、該圧縮された画像データの記録も１フレーム期間未満で行われることになる。つまり、バッファメモリに記憶されている輝度色差信号の画像データが圧縮伸張部２０で圧縮され、該圧縮された画像データのバッファメモリへの記憶の一連の動作、バッファメモリに記憶されている圧縮された画像データのフラッシュメモリ２２への記録の一連の動作は１フレーム期間未満で行われることになる。
【００４１】
また、ここでは便宜上、露光モードが０で撮像されたフレーム画像データをフレーム画像データＡと呼び、露光モードが１で撮像されたフレーム画像データをフレーム画像データＢと呼ぶ。また、撮像されたフレーム画像データが何回目に撮像された画像データであるのかを示すため、便宜上、該回数をフレーム画像データに付して表示させるものとする。この回数は０からカウントする。
【００４２】
たとえば、図２中のフレーム画像データＡ０というのは、０回目に撮像されたフレーム画像データあり、且つ、露光モードが０で撮像されたフレーム画像データであることを示している。また、フレーム画像データＢ１というのは、１回目に撮像されたフレーム画像データであり、且つ、露光モードが１で撮像されたフレーム画像データであることを示している。
【００４３】
また、ここでは、露光モードが０での撮像を最初に行い、その後、交互に露光モードを切り替えて撮像していくことから、露光モードが０で撮像されたフレーム画像データはフレーム画像データＡ（２ｎ）で表され、露光モードが１で撮像されたフレーム画像データはフレーム画像データＢ（２ｎ＋１）で表される。但し、（ｎ＝０，１，２，３，・・・）とする。また、このｎをフレーム番号と呼ぶ。
【００４４】
図３は、撮像されたフレーム画像データの様子及び各フレーム画像データのフレーム番号ｎの様子の一例を示すものである。
図３を見るとわかるように、露光モードが０で撮像されたフレーム画像データＡと露光モードが１で撮像されたフレーム画像データＢとが交互に撮像されているのがわかる。また、各フレーム画像データに付されて表示されている番号（数字）は、フレーム画像データが何回目に撮像されたかを表している。
【００４５】
そして、フレーム画像データＡ０、フレーム画像データＢ１のフレーム番号ｎは共に０となり、フレーム画像データＡ２、フレーム画像データＢ３のフレーム番号は共に１となり、フレーム画像データＡ４、フレーム画像データＢ５のフレーム番号は共に２という具合になり、このフレーム番号は、それぞれの露光時間で何回目に撮像されたフレーム画像データであるかを示している。たとえば、フレーム画像データＢ１のフレーム番号ｎは０であるから、該フレーム画像データＢ１は、露光時間１／７５ｓで０回目に撮像された画像データであることがわかり、フレーム画像データＡ８のフレーム番号ｎは４であるから、該フレーム画像データＡ８は、露光時間１／１２００ｓで４回目に撮像された画像データであることがわかる。
【００４６】
なお、露光モードが０での撮像と露光モードが１での撮像を交互に行い、且つ、露光モードが０の露光時間は１フレーム期間未満であり、露光モードが１の露光時間は４フレーム期間分であることから、この露光モードが０で撮像されるフレーム画像データ（フレーム画像データＡという）の撮像周期、露光モードが１で撮像されるフレーム画像データ（フレーム画像データＢという）の撮像周期は、ともに１／６０ｓとなる。
【００４７】
また、撮像されたフレーム画像データのリアルタイム（ライブビュー）表示は、露光モード１で撮像されたフレーム画像データ（フレーム画像データＢ）のみが順々に表示される。図２を見ると、フレーム画像データＢが順々に表示されているのがわかる。このリアルタイム表示とは、撮像されたフレーム画像データをリアルタイムで順々に表示させることをいう。
【００４８】
以下、第１の実施の形態におけるデジタルカメラ１の動作を図４のフローチャートにしたがって説明する。
ユーザのキー入力部１１の撮像モードキー操作により設定された撮像モードにおいて、ユーザによってキー入力部１１の録画ボタンが押下されると（録画ボタンの押下に対応する操作信号がキー入力部１１から送られてくると）、動画記録処理が開始されたと判断し、ＣＰＵ１０は、露光モード＝０に設定する（ステップＳ１）。この設定されたモードに従ってバッファメモリの露光モード記憶領域の記憶を更新する。つまり、ステップＳ１では、露光モード記憶領域に０を記憶させる。
【００４９】
次いで、ＣＰＵ１０の連続撮像制御部１０１は、現在設定されている露光モードが０であるか否かを判断する（ステップＳ２）。この判断は、露光モード記憶領域に記憶されている情報に基づいて判断する。
【００５０】
ステップＳ２で、露光モードが０であると判断すると、ＣＰＵ１０の連続撮像制御部１０１は、露光時間を１／１２００ｓ、ゲイン値を通常のゲイン値の１６倍に設定する（ステップＳ３）。この通常のゲイン値とは、露光モード１で撮像するときのゲイン値である。ここで、露光モード０の露光時間は１／１２００ｓであり、露光モード１の露光時間は１／７５ｓなので、露光モード０の露光時間は露光モード１の露光時間の１／１６となる。したがって、ゲインを１６倍にすることにより、露光モード０で撮像されたフレーム画像データＡと露光モード１で撮像されたフレーム画像データＢとの輝度レベルを同じにすることができる。
【００５１】
次いで、ＣＰＵ１０の連続撮像制御部１０１は、該設定された露光時間（１／１２００ｓ）及びゲイン値（１６倍）で撮像し、つまり、該設定された露光時間でＣＣＤ５に蓄積された画像データを読み出し、ユニット回路８のＡＧＣは該読みだされた画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部１５によって自動利得調整された画像データから生成された輝度色差信号の画像データをバッファメモリに記憶する処理を行う（ステップＳ４）。
【００５２】
次いで、ＣＰＵ１０は、シャッタボタンが押下されたか否かを判断する（ステップＳ５）。この判断は、シャッタボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５３】
ステップＳ５で、シャッタボタンが押下されたと判断すると、ＣＰＵ１０の記録制御部１０４は、ステップＳ４で記憶された直近に撮像されたフレーム画像データＡを静止画として圧縮伸張部２０に圧縮（たとえば、ＪＰＥＧ圧縮）させて、該圧縮させたフレーム画像データをフラッシュメモリ２２に記録させて（ステップＳ６）、ステップＳ１０に進む。このとき、該圧縮されたフレーム画像データＡを静止画ファイルとして記録させる。
一方、ステップＳ５で、シャッタボタンが押下されていないと判断すると、そのままステップＳ１０に進む。
【００５４】
一方、ステップＳ２で、露光モードが０でないと判断すると、つまり、露光モードが１であると判断すると、ＣＰＵ１０の連続撮像制御部１０１は、露光時間を１／７５ｓ、ゲインを通常のゲイン値の１倍に設定する（ステップＳ７）。
【００５５】
次いで、ＣＰＵ１０の連続撮像制御部１０１は、該設定された露光時間（１／７５ｓ）及びゲイン値（１倍）で撮像し、つまり、該設定された露光時間でＣＣＤ５に蓄積された画像データを読み出し、ユニット回路８のＡＧＣは該読みだされた画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部１５によって自動利得調整された画像データから生成された輝度色差信号の画像データをバッファメモリに記憶する処理を行う（ステップＳ８）。
【００５６】
次いで、ＣＰＵ１０の記録制御部１０４は、ステップＳ８で記憶された直近に撮像されたフレーム画像データＢを動画として圧縮伸張部２０に圧縮（たとえば、ＭＰＥＧ圧縮やＭ−ＪＰＥＧ圧縮）させて、該圧縮させたフレーム画像データをフラッシュメモリ２２に記録させて（ステップＳ９）、ステップＳ１０に進む。
ステップＳ１０に進むと、ＣＰＵ１０は、動画記録を終了するか否かを判断する。この判断は、フラッシュメモリ２２の残り記録可能容量が所定量未満になったか否かにより判断したり、録画ボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５７】
ステップＳ１０で、動画記録処理を終了しないと判断すると、ＣＰＵ１０は、現在設定されている露光モードが０であるか否かを判断する（ステップＳ１１）。
ステップＳ１１で、現在設定されている露光モードが０であると判断すると、ＣＰＵ１０は、露光モード＝１に設定して（ステップＳ１２）、ステップＳ２に戻る。
【００５８】
一方、ステップＳ１１で、現在設定されている露光モードが０でない、つまり、１であると判断すると、ＣＰＵ１０は、露光モード＝０に設定して（ステップＳ１３）、ステップＳ２に戻る。
このステップＳ１２、ステップＳ１３の露光モードの設定により、バッファメモリの露光モード記憶領域の記憶が更新される。
【００５９】
このような動作を行うことにより、図３に示すように、露光時間１／１２００ｓで撮像されたフレーム画像データＡと、露光時間１／７５ｓで撮像されたフレーム画像データＢとが交互に撮像され、フレーム画像データＢのみが動画として順次記録されていくことになる。また、動画記録処理中にシャッタボタンが押下されると、直近に撮像されたフレーム画像データＡが静止画として記録されることになる。
【００６０】
一方、ステップＳ１０で、動画記録処理を終了すると判断すると、ＣＰＵ１０の記録制御部１０４は、動画として該記録したフレーム画像データＢに基づいて画像ファイルを生成する（ステップＳ１４）。
なお、この動画記録中も撮像されたフレーム画像データが順々にリアルタイムで表示されていくが、露光時間Ｂで撮像されたフレーム画像データＢのみがリアルタイムで表示されていくものとする。これにより、動きの滑らかな動画をリアルタイムで表示させることができ、連続性があり、品質が担保された動画を表示させることができる。
【００６１】
以上のように、第１の実施の形態においては、短い露光時間での撮像と、長い露光時間での撮像を交互に連続して撮像していき、長い露光時間で撮像されたフレーム画像データＢを動画として記録し、短い露光時間で撮像されたフレーム画像データＡを静止画として記録するので、動画の連続性、動画及び静止画の品質を担保することができる。
つまり、記録される動画を構成する各フレーム画像データは、所定周期間隔で撮像されたものであり、且つ、長い露光時間で撮像されたものであるので、連続性があり、且つ、動きの滑らかな画質の良い動画を得ることができ、また、静止画として記録されるフレーム画像データは、短い露光時間で撮像されたものであるので、画質の良い静止画を得ることができる。
【００６２】
［第２の実施の形態］
次に第２の実施の形態について説明する。
第１の実施の形態においては、フレーム画像データＡを単に静止画として記録するようにしたが、第２の実施の形態においては、フレーム画像データＡとフレーム画像データＢとを合成した画像データを静止画として記録するというものである。
【００６３】
Ｃ．デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
【００６４】
以下、第２の実施の形態におけるデジタルカメラ１の動作を図５のフローチャートにしたがって説明する。
ユーザのキー入力部１１の撮像モードキー操作により設定された撮像モードにおいて、ユーザによってキー入力部１１の録画ボタンが押下されると（録画ボタンの押下に対応する操作信号がキー入力部１１から送られてくると）、動画記録処理が開始されたと判断し、ＣＰＵ１０は、露光モード＝０に設定する（ステップＳ２１）。この設定されたモードに従ってバッファメモリの露光モード記憶領域の記憶を更新する。
【００６５】
次いで、ＣＰＵ１０の連続撮像制御部１０１は、現在設定されている露光モードが０であるか否かを判断する（ステップＳ２２）。この判断は、露光モード記憶領域に記憶されている情報に基づいて判断する。
【００６６】
ステップＳ２２で、露光モードが０であると判断すると、ＣＰＵ１０の連続撮像制御部１０１は、露光時間を１／１２００ｓ、ゲイン値を通常のゲイン値の１６倍に設定する（ステップＳ２３）。この通常のゲイン値とは、露光モード１で撮像するときのゲイン値である。ここで、露光モード０の露光時間は１／１２００ｓであり、露光モード１の露光時間は１／７５ｓなので、露光モード０の露光時間は露光モード１の露光時間の１／１６となる。したがって、ゲインを１６倍にすることにより、露光モード０で撮像されたフレーム画像データＡと露光モード１で撮像されたフレーム画像データＢとの輝度レベルを同じにすることができる。
【００６７】
次いで、ＣＰＵ１０の連続撮像制御部１０１は、該設定された露光時間（１／１２００ｓ）及びゲイン値（１６倍）で撮像し、つまり、該設定された露光時間でＣＣＤ５に蓄積された画像データを読み出し、ユニット回路８のＡＧＣは該読みだされた画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部１５によって自動利得調整された画像データから生成された輝度色差信号の画像データをバッファメモリに記憶する処理を行う（ステップＳ２４）。
【００６８】
次いで、ＣＰＵ１０は、現在、合成記録処理部１０２によるフレーム画像データの合成記録処理が行われているか否かを判断する（ステップＳ２５）。この合成記録処理については後で説明する。
ステップＳ２５で、現在合成記録処理が行われていないと判断すると、ＣＰＵ１０は、シャッタボタンが押下されたか否かを判断する（ステップＳ２６）。この判断は、シャッタボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００６９】
ステップＳ２６で、シャッタボタンが押下されたと判断すると、ＣＰＵ１０の合成記録処理部１０２は、ステップＳ２４で記憶された直近に撮像されたフレーム画像データＡとステップＳ２９で記憶された直近に撮像されたフレーム画像データＢを用いて合成処理を行い、該合成された画像データ（合成画像データ）を記録する合成記録処理を開始して（ステップＳ２７）、ステップＳ３１に進む。
一方、ステップＳ２５で現在合成記録処理が行われていると判断された場合、ステップＳ２６でシャッタボタンが押下されていないと判断された場合は、そのままステップＳ３１に進む。
【００７０】
一方、ステップＳ２２で、露光モードが０でないと判断すると、つまり、露光モードが１であると判断すると、ＣＰＵ１０の連続撮像制御部１０１は、露光時間を１／７５ｓ、ゲインを通常のゲイン値の１倍に設定する（ステップＳ２８）。
【００７１】
次いで、ＣＰＵ１０の連続撮像制御部１０１は、該設定された露光時間（１／７５ｓ）及びゲイン値（１倍）で撮像し、つまり、該設定された露光時間でＣＣＤ５に蓄積された画像データを読み出し、ユニット回路８のＡＧＣは該読みだされた画像データを該設定されたゲイン値に従って自動利得調整し、画像生成部１５によって自動利得調整された画像データから生成された輝度色差信号の画像データをバッファメモリに記憶する処理を行う（ステップＳ２９）。
【００７２】
次いで、ＣＰＵ１０の記録制御部１０４は、ステップＳ２９で記憶された直近に撮像されたフレーム画像データＢを動画として圧縮伸張部２０に圧縮（たとえば、ＭＰＥＧ圧縮やＭ−ＪＰＥＧ圧縮）させて、該圧縮させたフレーム画像データをフラッシュメモリ２２に記録させて（ステップＳ３０）、ステップＳ３１に進む。
ステップＳ３１に進むと、ＣＰＵ１０は、動画記録を終了するか否かを判断する。この判断は、フラッシュメモリ２２の残り記録可能容量が所定量未満になったか否かにより判断したり、録画ボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００７３】
ステップＳ３１で、動画記録処理を終了しないと判断すると、ＣＰＵ１０は、現在設定されている露光モードが０であるか否かを判断する（ステップＳ３２）。
ステップＳ３２で、現在設定されている露光モードが０であると判断すると、ＣＰＵ１０は、露光モード＝１に設定して（ステップＳ３３）、ステップＳ２２に戻る。
一方、ステップＳ３２で、現在設定されている露光モードが０でない、つまり、１であると判断すると、ＣＰＵ１０は、露光モード＝０に設定して（ステップＳ３４）、ステップＳ２２に戻る。
【００７４】
このような動作を行うことにより、図３に示すように、露光時間１／１２００ｓで撮像されたフレーム画像データＡと、露光時間１／７５ｓで撮像されたフレーム画像データＢとが交互に撮像され、フレーム画像データＢのみが動画として順次記録されていくことになる。また、動画記録処理中にシャッタボタンが押下されると、直近に撮像されたフレーム画像データＡとフレーム画像データＢを用いて合成処理が行われ、後述する図６のステップＳ４９で、合成された合成画像データが静止画として記録されることになる。
【００７５】
一方、ステップＳ３１で、動画記録処理を終了すると判断すると、ＣＰＵ１０の記録制御部１０４は、動画として該記録したフレーム画像データＢに基づいて画像ファイルを生成する（ステップＳ３５）。
なお、この動画記録中も撮像されたフレーム画像データが順々にリアルタイムで表示されていくが、露光時間Ｂで撮像されたフレーム画像データＢのみがリアルタイムで表示されていくものとする。これにより、動きの滑らかな動画をリアルタイムで表示させることができ、連続性があり、品質が担保された動画を表示させることができる。
【００７６】
合成記録処理の動作
次に、合成記録処理の動作を図６のフローチャートにしたがって説明する。
図５のステップＳ２７で合成記録処理を開始すると、ＣＰＵ１０の合成記録処理部１０２は、対象座標位置を所定座標位置に設定する（ステップＳ４１）。
【００７７】
次いで、ＣＰＵ１０の合成記録処理部１０２は、ステップＳ２４で記憶された直近に撮像されたフレーム画像データＡと、ステップＳ２９で記憶された直近に撮像されたフレーム画像データＢとの該設定された対象座標位置の画素差分値を算出する（ステップＳ４２）。つまり、フレーム画像データＡの該設定された対象座標位置の画素の値と、フレーム画像データＢの該設定された対象座標位置の画素の値を減算することにより、該対象座標位置の画素値の差（画素差分値）を算出する。この画素差分値は絶対値をとるものとする。
【００７８】
次いで、ＣＰＵ１０の合成記録処理部１０２は、該算出した画素差分値が閾値より大きいか否かを判断する（ステップＳ４３）。
ステップＳ４３で、画素差分値が閾値より大きいと判断すると、ＣＰＵ１０の合成記録処理部１０２は、合成画像データの該設定された対象座標位置の画素値として、フレーム画像データＡの該設定された対象座標位置の画素値を採用して（ステップＳ４４）、ステップＳ４６に進む。
【００７９】
また、ステップＳ４３で、画素差分値が閾値以下であると判断すると、ＣＰＵ１０の合成記録処理部１０２は、合成画像データの該設定された対象座標位置の画素値として、フレーム画像データＡの該設定された対象座標位置の画素値と、フレーム画像データＢの該設定された対象座標位置の画素値との平均値を採用して（ステップＳ４５）、ステップＳ４６に進む。
【００８０】
ステップＳ４６に進むと、ＣＰＵ１０の合成記録処理部１０２は、該採用された画素値を、合成画像データの現在設定されている対象座標位置の画素値としてバッファメモリの合成画像記憶領域に記憶させる。
【００８１】
次いで、ＣＰＵ１０の合成記録処理部１０２は、すべての対象座標位置の画素差分値を算出したか否かを判断する。つまり、すべての対象座標位置を設定したか否かを判断する（ステップＳ４７）。
【００８２】
ステップＳ４７で、未だすべての対象座標位置の画素差分値を算出していないと判断すると、対象座標位置の設定変更を行って（ステップＳ４８）、ステップＳ４２に戻る。このとき、未だ画素差分値が算出されていない対象座標位置に設定変更する。これにより、合成画像データの全ての画素値が定まることになる。
一方、ステップＳ４７で、すべての対象座標位置の画素差分値を算出したと判断すると、ＣＰＵ１０の合成記録処理部１０２は、合成画像記憶領域に記憶されている合成画像データを、静止画として圧縮伸張部２０に圧縮（例えば、ＪＰＥＧ圧縮）させて、該圧縮させた合成画像データをフラッシュメモリ２２に記録させて（ステップＳ４９）、合成記録処理を終了させる。
【００８３】
以上のように、第２の実施の形態においては、短い露光時間での撮像と、長い露光時間での撮像を交互に連続して撮像していき、長い露光時間で撮像されたフレーム画像データＢを動画として記録するので、動画の連続性、動画の品質を担保することができる。
【００８４】
また、静止画として記録されたフレーム画像データは、短い露光時間で撮像されたフレーム画像データＡと、長い露光時間で撮像されたフレーム画像データＢとを合成した画像データなので、静止画として記録される画像データのＳ／Ｎ比を改善さることができ、静止画の品質を向上させることできる。つまり、単に短い露光時間で撮像されたフレーム画像データを静止画として記録してしまうと、露光時間が短いためフレーム画像データのＳ／Ｎ比が悪くなる傾向にあるが、フレーム画像データＡとフレーム画像データＢとを合成することにより、このような問題を生じさせることがない。
【００８５】
［第３の実施の形態］
次に第３の実施の形態について説明する。
第１の実施の形態においては、動画記録中にフレーム画像データＡを静止画として記録するようにしたが、第３の実施の形態においては、動画再生中にフレーム画像データＡを静止画として記録するというものである。
【００８６】
Ｃ．デジタルカメラ１の動作
第３の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
ここで、第３の実施の形態は、撮像されたフレーム画像データＡと、フレーム画像データＢとを１つの動画ファイルとして記録し、該記録された動画ファイルを再生することを前提にしている。つまり、第１の実施の形態においては、順次撮像された複数のフレーム画像データＢのみを記録するようにしたが、第３の実施の形態においては、順次撮像された複数のフレーム画像データＡと複数のフレーム画像データＢとを関連付けて(対応付けて)記録し、該記録された複数のフレーム画像データＢを再生することを前提にしている。
【００８７】
以下、第３の実施の形態におけるデジタルカメラ１の動作を図７のフローチャートにしたがって説明する。
ユーザのキー入力部１１の再生モードキーの操作により再生モードに設定され、ユーザのキー入力部１１の十字キーやＳＥＴキーの操作によりフラッシュメモリ２２に記録されている動画ファイルの中から再生対象となる動画ファイルが選択されると、ＣＰＵ１０の再生制御部１０３は、状態を再生中に設定し（ステップＳ５１）、再生対象となるフレーム番号ｎ＝０に設定する（ステップＳ５２）。
【００８８】
次いで、ＣＰＵ１０の再生制御部１０３は、表示同期待ちを行う（ステップＳ５３）。つまり、表示タイミングが到来するまで待ち処理を行う。この表示タイミングが到来する間隔は表示フレームレートに基づいて定まる。ここでは、表示フレームレートは６０ｆｐｓとするので、１／６０ｓ間隔で表示タイミングが到来することになる。
【００８９】
次いで、ＣＰＵ１０の再生制御部１０３は、現在の状態が再生中であるか否かを判断する（ステップＳ５４）。
ステップＳ５４で、現在の状態が再生中であると判断すると、ＣＰＵ１０の再生制御部１０３は、ユーザによって一時停止の操作が行われたか否かを判断する（ステップＳ５５）。この判断は、キー入力部１１から一時停止キーの操作に対応する操作信号が送られてきたか否かにより判断する。
【００９０】
ステップＳ５５で、一時停止の操作が行われていないと判断すると、ＣＰＵ１０の再生制御部１０３は、再生対象となる動画ファイルの現在設定されているフレーム番号ｎに対応する圧縮されたフレーム画像データＢをフラッシュメモリ２２から読みだしてバッファメモリに記憶させる（ステップＳ５６）。たとえば、現在設定されているフレーム番号ｎが２の場合は、フレーム画像データＢ５が読みだされることになる。
次いで、ＣＰＵ１０の再生制御部１０３は、フレーム番号ｎ＝ｎ＋１に設定する（ステップＳ５７）。つまり、フレーム番号ｎをインクリメントする。たとえば、現在設定されているフレーム番号が２の場合には、フレーム番号が３になる。
【００９１】
そして、ＣＰＵ１０の再生制御部１０３は、該直近に読みだしたフレーム画像データＢを圧縮伸張部２０に伸張させ（ステップＳ７１）、該伸張したフレーム画像データＢを表示させる（ステップＳ７２）。たとえば、現在設定されているフレーム番号ｎが２の場合には、フレーム画像データＢ５が表示されることになる。そして、ステップＳ７３で、ＣＰＵ１０の再生制御部１０３は、再生を終了するか否かを判断し、再生を終了しないと判断するとステップＳ５３に戻る。
この再生を終了すると判断する場合としては、再生対象となる動画ファイル中におけるフレーム番号ｎが最後となるフレーム画像データを表示させた場合や、ユーザのキー入力部１１の再生停止キー操作により再生の終了が指示された場合がある。
【００９２】
一方、ステップＳ５５で、一時停止の操作が行われたと判断すると、ＣＰＵ１０の再生制御部１０３は、再生対象となる動画ファイルの現在設定されているフレーム番号ｎに対応する圧縮されたフレーム画像データＡをフラッシュメモリ２２から読みだしてバッファメモリに記憶させる（ステップＳ５８）。たとえば、現在設定されているフレーム番号ｎが２の場合は、フレーム画像データＡ４が読みだされることになる。
次いで、ＣＰＵ１０の再生制御部１０３は、状態を一時停止中に設定し（ステップＳ５９）、該直近に読みだしたフレーム画像データＡを圧縮伸張部２０に伸張させ（ステップＳ７１）、該伸張したフレーム画像データＡを表示させる（ステップＳ７２）。そして、ステップＳ７３で再生を終了しないと判断するとステップＳ５３に戻る。
【００９３】
一方、ステップＳ５４で、現在の状態が再生中でない、つまり、一時停止中であると判断すると、図８のステップＳ６０に進み、ＣＰＵ１０の再生制御部１０３は、現在、合成記録処理部１０２によるフレーム画像データの合成記録処理が行われているか否かを判断する。
【００９４】
ステップＳ６０で、合成記録処理が行われていないと判断すると、ＣＰＵ１０の再生制御部１０３は、ユーザによってシャッタボタンが押下されたか否かを判断する（ステップＳ６１）。この判断は、シャッタボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ６１で、シャッタボタンが押下されていないと判断するとＣＰＵ１０の再生制御部１０３は、ユーザによって再生再開の操作が行われたか否かを判断する（ステップＳ６２）。この判断は、キー入力部１１から再生キーの操作に対応する操作信号が送られてきたか否かにより判断する。
【００９５】
ステップＳ６２で、再生再開の操作が行われたと判断すると、ＣＰＵ１０の再生制御部１０３は、再生対象となる動画ファイルの現在設定されているフレーム番号ｎに対応する圧縮されたフレーム画像データＢをフラッシュメモリ２２から読みだしてバッファメモリに記憶させる（ステップＳ６３）。
次いで、ＣＰＵ１０は、フレーム番号ｎ＝ｎ＋１に設定し（ステップＳ６４）、状態を再生中に設定する（ステップＳ６５）。
【００９６】
そして、ＣＰＵ１０の再生制御部１０３は、該直近に読みだしたフレーム画像データＢを圧縮伸張部２０に伸張させ（図７のステップＳ７１）、該伸張したフレーム画像データＢを表示させる（ステップＳ７２）。そして、ステップＳ７３で再生を終了しないと判断するとステップＳ５３に戻る。
【００９７】
一方、ステップＳ６２で、再生再開の操作が行われていないと判断すると、ＣＰＵ１０の再生制御部１０３は、コマ送り操作が行われたか否かを判断する（ステップＳ６６）。この判断は、十キーの「→」キー、「←」キーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ６６で、コマ送り操作が行われたと判断すると、ＣＰＵ１０の再生制御部１０３は、該操作に従って、フレーム番号ｎ＝ｎ＋１、又はｎ＝ｎ−１に設定する（ステップＳ６７）。このとき、十字キーの「→」キーが操作された場合はフレーム番号ｎ＝ｎ＋１に設定し、「←」キーが操作された場合はフレーム番号ｎ＝ｎ−１に設定する。
【００９８】
次いで、ＣＰＵ１０の再生制御部１０３は、再生対象となる動画ファイルの現在設定されているフレーム番号ｎに対応する圧縮されたフレーム画像データＡをフラッシュメモリ２２から読みだしてバッファメモリに記憶させる（ステップＳ６８）。
【００９９】
そして、ＣＰＵ１０の再生制御部１０３は、該直近に読みだしたフレーム画像データＡを圧縮伸張部２０に伸張させ（図７のステップＳ７１）、該伸張したフレーム画像データＡを表示させる（ステップＳ７２）。そして、ステップＳ７３で再生を終了しないと判断するとステップＳ５３に戻る。
【０１００】
一方、ステップＳ６１で、シャッタボタンが押下されたと判断すると、ＣＰＵ１０の合成記録処理部１０２は、直近に伸張したフレーム画像データＡ（前回表示させたフレーム画像データＡ）、つまり、現在設定されているフレーム番号ｎのフレーム画像データＡとその直前のフレーム画像データＢを用いて合成記録処理を開始して（ステップＳ６９）、ステップＳ７０に進む。
この合成記録処理は、上記第２の実施の形態に示すような合成処理を開始して、合成処理が終了すると該合成された合成画像データを記録するという処理である。
【０１０１】
この合成処理は、フレーム画像データＡと該フレーム画像データＡの直近に撮像されたフレーム画像データＢとを合成するので、現在設定されているフレーム番号ｎより１つ小さいフレーム番号のフレーム画像データＢを読み出して伸張することにより、現在設定されているフレーム番号ｎのフレーム画像データＡと、現在設定されているフレーム番号ｎより１つ小さいフレーム番号ｎのフレーム画像データＢとを合成する。
【０１０２】
一方、ステップＳ６０で、現在合成記録処理が行われていると判断した場合、ステップＳ６４で、コマ送り操作が行われていないと判断した場合は、そのままステップＳ７０に進む。
ステップＳ７０に進むと、ＣＰＵ１０の再生制御部１０３は、直前に伸張したフレーム画像データＡ（前回表示させたフレーム画像データＡ）を表示させて、ステップＳ５３に戻る。つまり、直近に表示させたフレーム画像データＡを静止画として継続表示させることになる。
【０１０３】
このように、再生処理においては、再生中は、フレーム番号ｎが小さい順、つまり、フレーム画像データＢ１、フレーム画像データＢ３、フレーム画像データＢ５というように再生表示させていき、一時停止操作が行われると、直近に表示させたフレーム画像データＢのフレーム番号より１つ大きいフレーム番号のフレーム画像データＡを表示させる。たとえば、直近に表示されたフレーム画像データがＢ５の場合は、該フレーム画像データＢ５のフレーム番号より１つ大きいフレーム番号３のフレーム画像データＡを継続表示させる。
【０１０４】
そして、一時停止中にコマ送り操作が行われると、該コマ送り操作に従って、次、又は、前のフレーム番号ｎのフレーム画像データＡを表示させる。
そして、一時停止中にシャッタボタンが押下されると、現在表示されているフレーム画像データＡと該フレーム画像データＡの直近に撮像されたフレーム画像データＢとを合成して静止画として記録する。
【０１０５】
また、一時停止中に再生が再開されると、現在継続表示しているフレーム画像データＡのフレーム番号と同じフレーム番号のフレーム画像データＢから順々に表示させる。例えば、フレーム画像データＡ６を継続表示している最中に再生が再開されると、該フレーム画像データＡ６のフレーム番号と同じフレーム番号であるフレーム画像データＢ７から順々にフレーム画像データＢが再生表示されていくことになる。
【０１０６】
以上のように、第３の実施の形態においては、短い露光時間での撮像と、長い露光時間での撮像を交互に連続して撮像されたフレーム画像データを１つの動画ファイルとして記録させ、動画再生中は、長い露光時間で撮像されたフレーム画像データＢを表示させていき、一時停止中には、短い露光時間で撮像されたフレーム画像データＡを表示させるので、動画再生中は被写体の動きが滑らかな奇麗な動画を再生することができるとともに、一時停止中は、鮮明な画像のブレがない奇麗な画像を静止画として表示させることができ、動画の連続性、動画の品質を担保することができる。
【０１０７】
また、一時停止中に、シャッタボタンが押下されると、現在一時停止表示されているフレーム画像データＡと該フレーム画像データＡの直前に撮像されたフレーム画像データＢとを合成し、該合成後の画像データを静止画として記録するので、静止画として記録される画像データのＳ／Ｎ比を改善さることができ、静止画の品質を向上させることできる。
【０１０８】
［変形例］
上記各実施の形態は、以下のような変形例も可能である。
【０１０９】
（０１）上記各実施の形態においては、短い露光時間での撮像と、長い露光時間での撮像を交互に行うようにしたが、短い露光時間での撮像と、長い露光時間での撮像が介在して連続して撮像するものであればよい。
つまり、長い露光時間での撮像→長い露光時間での撮像→短い露光時間での撮像→長い露光時間での撮像→長い露光時間での撮像→短い露光時間での撮像、という具合に、ある露光時間で連続して撮像するとともに、所定周期で他の露光時間での撮像を介在して撮像する方法であってもよい。要は、繰り返し行なわせる長い露光時間（動画に適した露光時間）での撮像に、短い露光時間（静止画に適した露光時間）での撮像を繰り返し割り込ませるものであればよい。これによっても、動画の連続性、動画の品質を担保することができる。
【０１１０】
（０２）また、上記各実施の形態においては、短い露光時間と長い露光時間、つまり、異なる２つの露光時間で動画撮像するようにしたが、異なる３つ以上の露光時間で動画撮像するようにしてもよい。
【０１１１】
（０３）また、上記各実施の形態においては、露光時間を変えるようにしたが露光条件を変えるようにしてもよい。つまり、動画撮影に適した露光条件と、静止画撮影に適した露光条件で交互に撮像するようにしてもよい。
【０１１２】
（０４）また、上記第１及び第２の実施の形態においては、露光時間Ｂで撮像されたフレーム画像データＢをリアルタイム表示させるようにしたが、露光時間Ａで撮像されたフレーム画像データＡをリアルタイム表示させるようにしてもよい。また、フレーム画像データＡとフレーム画像データＢとのどちらをリアルタム表示させるかをユーザが切り替え操作できるようにしてもよい。
【０１１３】
（０５）また、上記第１及び第２の実施の形態においては、シャッタボタンが押下されると、シャッタボタン押下直前に撮像されたフレーム画像データＡを静止画として記録するようにしたが、シャッタボタン押下の直後に撮像されたフレーム画像データＡを静止画として記録するようにしてもよい。
【０１１４】
（０６）また、上記第１及び第２の実施の形態においては、シャッタボタンが押下されると、シャッタボタン押下直前に撮像されたフレーム画像データＡのみを記録するようにしたが、シャッタボタン押下直前に撮像されたフレーム画像データＡから所定時間経過までの間に、若しくは、所定枚数まで撮像されたフレーム画像データＡを記録していくようにしてもよいし、シャッタボタン押下直前に撮像されたフレーム画像データＡから所定時間経過までの間に、若しくは、所定枚数まで撮像されたフレーム画像データＡを用いて合成画像データを順次生成して記録していくようにしてもよい。つまり、連写撮影記録するようにしてもよい。これによっても。動画の連続性、動画の品質を担保することができるとともに、連写された静止画データを記録することができ、シャッタチャンスを逃す確率を少なくすることができる。
【０１１５】
また、シャッタボタン押下直前に撮像されたフレーム画像データＡから所定時間前以降、つまり、シャッタボタン押下直前に撮像されたフレーム画像データから所定時間遡ったタイミングから一定時間撮像されたフレーム画像データＡ、または、該フレーム画像データＡを用いて順次生成された合成画像データを静止画として記録するようにしてもよいし、シャッタボタン押下直前にフレーム画像データＡが撮像されたタイミング前後の一定時間の間に撮像されたフレーム画像データＡ、または、該フレーム画像データＡを用いて順次生成された合成画像データを静止画として記録するようにしてもよい。この場合は、撮像されたフレーム画像データを一定の時間バッファメモリに保持する必要がある。過去のフレーム画像データを記録する場合があるからである。
これにより、過去に撮像された（シャッタボタン押下前に撮像された）フレーム画像データＡを静止画として記録することができ、シャッタチャンスを逃す確率が少なくなる。
【０１１６】
（０７）また、上記第２の実施の形態においては、合成記録処理中は、シャッタボタンの押下を行なうことができなかったが（図５のステップＳ２５でＹ）、合成記録処理中であっても、シャッタボタンの押下を行なうことができるようにしてもよい。この場合は、現在行なっている合成記録処理が終わると、該シャッタボタン押下時に直近に撮像されたフレーム画像データＡを用いて合成記録処理を開始することになる。つまり、合成記録処理が行なわれている最中であっても、次に行なわれる合成記録処理の予約ができるようにする。
この場合は、ステップＳ２５の動作は不要となり、ステップＳ２４を経るとそのままステップＳ２６に進む。
【０１１７】
（０８）また、上記第２及び第３の実施の形態においては、フレーム画像データＡと該フレーム画像データＡの直前に撮像されたフレーム画像データＢとを合成するようにしたが、要は、フレーム画像データＡと、該フレーム画像データＡに対応するフレーム画像データＢとを合成すればよい。
この対応するフレーム画像データとは、直近に表示させたフレーム画像データの直近に、又は、直前に、又は直後に、他の露光時間で撮像されたフレーム画像データのことをいう。
【０１１８】
（０９）また、上記第３の実施の形態においては、動画再生中に一時停止が行われたり、一時停止中に再生再開の操作が行われると、フレーム番号ｎを用いて、該フレーム画像データＡやフレーム画像データＢの切り替え表示を行わせるようにしたが、要は、直近に表示させたフレーム画像データに対応する他の露光時間のフレーム画像データに切り替え表示させるようにしてもよい。
この対応するフレーム画像データとは、直近に表示させたフレーム画像データの直近に、又は、直前に、又は直後に、他の露光時間で撮像されたフレーム画像データのことをいう。
【０１１９】
たとえば、現在表示させているフレーム画像データの直後に、他の露光時間で撮像されたフレーム画像データを対応するフレーム画像データとすると、動画再生中に一時停止がされた場合に、例えば、フレーム画像データＢ９が直近に表示されていたとすると、対応するフレーム画像データはフレーム画像データＡ１０ということになる。
【０１２０】
また、たとえば、現在表示させているフレーム画像データの直前に、他の露光時間で撮像されたフレーム画像データを対応するフレーム画像データとすると、動画再生中に一時停止がされた場合に、例えば、フレーム画像データＢ９が直近に表示されていたとすると、対応するフレーム画像データはフレーム画像データＡ８ということになる。また、一時停止中に再生が再開された場合に、例えば、フレーム画像データＡ８が直近に表示されていたとすると、対応するフレーム画像データはフレーム画像データＢ７ということになる。
【０１２１】
（１０）また、上記第３の実施の形態においては、露光時間Ａで撮像された動画データＡと露光時間Ｂで撮像された動画データＢとを１つの動画ファイルとして記録するようにしたが、要は、露光時間Ａで撮像された動画データＡと露光時間Ｂで撮像された動画データＢとが関連付けられて記録されていればよいので、１つの動画ファイルとして記録しなくてもよい。
【０１２２】
（１１）また、上記第３の実施の形態においては、図８のステップＳ６１でシャッタボタンが押下されると、直近に伸張したフレーム画像データＡ（一時停止中に現在表示されているフレーム画像データＡ）、つまり、現在設定されているフレーム番号ｎのフレーム画像データＡを用いて合成された合成画像データを記録するようにしたが、図８のステップＳ６１でシャッタボタンが押下されると、直近に伸張したフレーム画像データＡ（一時停止中に現在表示されているフレーム画像データＡ）を、単に、静止画として記録するようにしてもよい。これによっても静止画の品質を担保することができる。
【０１２３】
（１２）また、上記第３の実施の形態においては、合成記録処理中は、シャッタボタンの押下や再生再開操作を行なうことができなかったが（図８のステップＳ６０でＹ）、合成記録処理中であっても、シャッタボタンの押下を行なうことができるようにしてもよいし、再生再開の操作を行なうことができるようにしてもよい。
なお、現在合成記録処理が行なわれている最中にシャッタボタンが押下された場合は、現在行なっている合成記録処理が終わると、該シャッタボタン押下時に直近に撮像されたフレーム画像データＡを用いて合成記録処理を開始することになる。つまり、合成記録処理が行なわれている最中であっても、次に行なわれる合成記録処理の予約ができるようにする。
この場合は、ステップＳ６０の動作は不要となり、図７のステップＳ５４で再生中でないと判断すると、そのまま図８のステップＳ６１に進む。
【０１２４】
（１３）また、上記第３の実施の形態においては、一時停止中にシャッタボタンを押下した場合に静止画を記録するようにしたが、一時停止中ではなく動画再生中にシャッタボタンを押下した場合にも静止画を記録するようにしてもよい。
この場合は、シャッタボタンが押下されたタイミングに表示されているフレーム画像データＢに対応するフレーム画像データＡを単に記録するようにしてもよいし、シャッタボタンが押下されたタイミングに表示されているフレーム画像データＢと、該フレーム画像データＢに対応するフレーム画像データＡを合成して記録するようにしてもよい。
【０１２５】
（１４）また、上記変形例（０１）乃至（１３）を矛盾しない範囲で任意に組み合わせた態様であってもよい。
【０１２６】
（１５）また、本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【０１２７】
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像することができる、又は画像を再生することができる機器であれば適用可能である。
【符号の説明】
【０１２８】
１    デジタルカメラ
２    撮像レンズ
３    レンズ駆動ブロック
４    絞り
５    ＣＣＤ
６    垂直ドライバ
７    ＴＧ
８    ユニット回路
９    ＤＭＡ
１０  ＣＰＵ
１１  キー入力部
１２  メモリ
１３  ＤＲＡＭ
１４  ＤＭＡ
１５  画像生成部
１６  ＤＭＡ
１７  ＤＭＡ
１８  表示部
１９  ＤＭＡ
２０  圧縮伸張部
２１  ＤＭＡ
２２  フラッシュメモリ
２３  バス
【図１】
2010233254.tif 000003
【図２】
2010233254.tif 000004
【図３】
2010233254.tif 000005
【図４】
2010233254.tif 000006
【図５】
2010233254.tif 000007
【図６】
2010233254.tif 000008
【図７】
2010233254.tif 000009
【図８】
2010233254.tif 000010