(57)【要約】【課題】常に適切なタイミングで記録フレームレートを変更設定することができる動画撮影装置、及び動画撮影方法を提供する。【解決手段】被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画記録をするとき、２枚目以降の画像を撮像した後においては（ＳＡ２でＹＥＳ）、前回の画像が間引きされておらず、今回の画像と、バッファメモリに記憶しておいた前回の画像とを比較し、前回との差が小さいときには、記録動作をスキップして今回の画像を間引く（ＳＡ３〜ＳＡ６）。前回の画像が間引きされていた場合や、今回の画像と前回の画像との差が大きいときには（ＳＡ３又はＳＡ５がＮＯ）、今回の画像を保存メモリに記録する（ＳＡ７）。結果的に、記録フレームレートを同一の時間間隔内における画像の変化度合に基づき変更することができ、常に適切な記録フレームレートを設定することができる。【選択図】    図２
2004187018.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置において、
前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段と
を備えたことを特徴とする動画撮影装置。
【請求項２】
前記制御手段は、
前記撮像手段による同一の時間間隔による撮像動作で撮像された被写体の前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、
この検出手段の検出結果に基づき、今回の画像の記録手段への記録の可否を判断する判断手段と、
この判別手段により記録すべきと判断された今回の画像のみをフレーム画像として前記記録手段に記録させる記録制御手段と
を含むことを特徴とする請求項１記載の動画撮影装置。
【請求項３】
前記記録制御手段は、前回の画像を前記記録手段に記録させていない場合には、前記判断手段の判断結果によらず、今回の画像をフレーム画像として前記記録手段に記憶させることを特徴とする請求項２記載の動画撮影装置。
【請求項４】
前記制御手段は、
前記撮像手段により撮像された前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、
この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、
この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、
前記判断手段における撮像間隔の変更の可否の判断基準を、前記撮像間隔変更手段による変更後の撮像間隔に対応する判断基準に変更する判断基準変更手段とを含むことを特徴とする請求項１記載の動画撮影装置。
【請求項５】
前記制御手段は、
前記撮像手段により撮像された今回の画像とそれ以前に撮像された過去の画像とを比較し、両画像間の変化の度合を検出する検出手段と、
この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、
この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、
前記検出手段における前記両画像間の変化の度合を検出するに際して今回の画像の比較対照となる過去の画像を、前記撮像間隔変更手段による変更後の撮像間隔に応じた所定の時期に前記撮像手段により撮像された画像に変更する比較画像変更手段と
を含むことを特徴とする請求項１記載の動画撮影装置。
【請求項６】
撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録する動画撮影方法において、
前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出する工程と、
その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する工程と
からなることを特徴とする動画撮影方法。
【請求項７】
撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置が有するコンピュータを、
前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段として機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラ等に用いて好適な動画撮影装置、及び動画撮影方法に関する。
【０００２】
【従来の技術】
従来、動画撮影機能を有するデジタルカメラにおいては動画を静止画単位で圧縮するｍｏｔｉｏｎ−ｊｐｅｇ方式が多く採用されており、動画撮影時には、例えば１秒間に１５枚などの固定のフレームレートで画像が記録されている。
【０００３】
また、下記の特許文献１には、被写体の状態に拘わらず常に被写体を精度よく撮像することを目的として、被写体速度や画像の明るさに応じて、連続して撮像する画像（以下、フレーム画像という。）の撮像間隔（フレームレート）を変更するデジタルカメラが記載されている。
【０００４】
【特許文献１】
特開２００１−３５８９８４号公報（「００５０」段落参照）
【０００５】
【発明が解決しようとする課題】
しかしながら、より少ない画像枚数で効率よく動画撮影を行うことを目的とし、前述したように被写体速度や画像の明るさの変化つまり被写体（画像）の変化に応じ、撮像する画像のフレームレート（撮像フレームレート）を変更して画像の記録間隔（記録フレームレート）を変更することにより枚数を節約しようとする場合には、以下のような問題があった。
【０００６】
すなわち撮像フレームレートが標準の時と高速の時とでは、フレーム画像の撮像間隔が異なるため、相前後して撮像される被写体の変化度合が全く同じ状態でも、標準フレームレート時と高速フレームレート時とでは画像比較による判断結果が変わってしまう。そのため、判断結果にブレが生じてしまうことにより、撮影途中に適切な記録フレームレートの切り替えを行うことができなくなり、その結果、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく（小さく）なり、記録される動画自体が不自然となる。しかも再生時において各画像を連続表示するときの再生フレームレートを調整したとしても、自然な動画を再生することができないという問題があった。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、常に適切なタイミングで記録フレームレートを変更設定することができる動画撮影装置、及び動画撮影方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するために請求項１の発明にあっては、撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置において、前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段とを備えたものとした。
【０００９】
かかる構成においては、動画撮影中には、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき、フレーム画像として記録される各画像の撮像時間間隔が制御されるため、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【００１０】
また、請求項２の発明にあっては、前記制御手段は、前記撮像手段による同一の時間間隔による撮像動作で撮像された被写体の前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、この検出手段の検出結果に基づき、今回の画像の記録手段への記録の可否を判断する判断手段と、この判別手段により記録すべきと判断された今回の画像のみをフレーム画像として前記記録手段に記録させる記録制御手段とを含むものとした。
【００１１】
かかる構成においては、撮像動作の間隔つまり撮像フレームレートを一定（固定）にし、順次得られる前後するフレーム画像同士の変化の度合が検出され、その検出結果に応じて各フレーム画像の記録の可否を決定される。つまり、撮像された画像の記録が、同一の時間間隔内における画像の変化度合に基づき間引かれることとなり、その結果、記録フレームレートが変更される。したがって、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【００１２】
また、請求項３の発明にあっては、前記記録制御手段は、前回の画像を前記記録手段に記録させていない場合には、前記判断手段の判断結果によらず、今回の画像をフレーム画像として前記記録手段に記憶させるものとした。
【００１３】
かかる構成においては、撮影中に逐次検出されるフレーム画像同士の変化度合が連続して少ない状態が続いたにおいて、必要以上に記録画像が間引かれることが防止できる。
【００１４】
また、請求項４の発明にあっては、前記制御手段は、前記撮像手段により撮像された前回の画像と今回の画像とを比較し、両画像間の変化の度合を検出する検出手段と、この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、前記判断手段における撮像間隔の変更の可否の判断基準を、前記撮像間隔変更手段による変更後の撮像間隔に対応する判断基準に変更する判断基準変更手段とを含むものとした。
【００１５】
かかる構成においては、撮像動作の間隔つまり撮像フレームレートが、前回の画像と今回の画像との変化度合に応じて変更されることにより、記録フレームレートが変更され、同時に撮像フレームレートを変更するか否かの判断基準が、各時点の撮像フレームレートに対応する判断基準に変更される。その結果、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき記録フレームレートが変更される。したがって、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【００１６】
また、請求項５の発明にあっては、前記制御手段は、前記撮像手段により撮像された今回の画像とそれ以前に撮像された過去の画像とを比較し、両画像間の変化の度合を検出する検出手段と、この検出手段の検出結果に基づき、前記撮像手段による画像の撮像間隔の変更の可否を判断する判断手段と、この判別手段により撮像間隔を変更すべきと判断されたとき、前記撮像手段における画像の撮像間隔を変更する撮像間隔変更手段と、前記検出手段における前記両画像間の変化の度合を検出するに際して今回の画像の比較対照となる過去の画像を、前記撮像間隔変更手段による変更後の撮像間隔に応じた所定の時期に前記撮像手段により撮像された画像に変更する比較画像変更手段とを含むものとした。
【００１７】
かかる構成においては、撮像動作の間隔つまり撮像フレームレートが、今回の画像とそれ以前に撮像された過去の画像との変化度合に応じて変更されることにより、記録フレームレートが変更され、同時に今回の画像の比較対照となる過去の画像が、変更後の記録フレームレートに応じた所定の時期に撮像された画像に変更される。その結果、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき記録フレームレートが変更される。したがって、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【００１８】
また、請求項６の発明にあっては、撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録する動画撮影方法において、前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出する工程と、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する工程とからなる方法とした。
【００１９】
かかる方法によれば、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができる。
【００２０】
また、請求項７の発明にあっては、撮像手段により被写体の画像を連続的に撮像し、撮像された画像をフレーム画像とする動画を記録手段に記録する動画撮影装置が有するコンピュータを、前記撮像手段により連続的に撮像される画像における同一の時間間隔内における画像の変化度合を検出し、その検出結果に基づき、フレーム画像として前記記録手段に記録する各画像の撮像時間間隔を制御する制御手段として機能させるためのプログラムとした。
【００２１】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
【００２２】
（第１の実施の形態）
図１は、本発明の各実施の形態に共通する電子スチルカメラ１の概略構成を示すブロック図である。この電子スチルカメラ１は、通常の静止画撮影機能に加え、ｍｏｔｉｏｎ−ｊｐｅｇ方式による動画撮影機能を備えたものであり、撮像手段であるＣＣＤ２とＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、ｊｐｅｇ方式による画像データの圧縮・伸張処理を含む各種のデジタル信号処理機能を有するとともに電子スチルカメラ１の各部を制御するワンチップマイコンである。
【００２３】
ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、ＣＣＤ２が光電変換により出力する撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。
【００２４】
ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７が接続されるとともに、アドレス・データバス８を介してＤＲＡＭ９、内蔵フラッシュメモリ１０、カード・インターフェイス１１が接続されており、カード・インターフェイス１１には、電子スチルカメラ１の本体の図示しないスロットルに装着された着脱自在なメモリ・カード１２が接続されている。
【００２５】
ＤＲＡＭ９は、ＣＣＤ２により撮像された後デジタル化された被写体の画像データ等を一時記憶するバッファメモリであるとともに、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。特に、ＤＲＡＭ９には、後述する動画撮影時において、ＣＣＤ２により相前後して撮像された２枚分の画像データを記憶するための記憶領域が確保される。
【００２６】
内蔵フラッシュメモリ１０には、ＤＳＰ／ＣＰＵ３の動作プログラムや各部の制御に使用する各種データが記憶されており、ＤＳＰ／ＣＰＵ３は、前記動作プログラムに従い動作することにより本発明の検出手段、判断手段、記録制御手段として機能する。メモリ・カード１２は、ＪＰＥＧ方式で圧縮された静止画像及びｍｏｔｉｏｎ−ｊｐｅｇ方式による動画像のファイルを記録する保存用メモリ（記録手段）である。
【００２７】
表示装置６はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリ・カード１２から読み出されて伸張された記録画像を表示する。キー入力部７はシャッターボタン、電源キー、ＭＥＮＵキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。
【００２８】
次に、以上の構成からなる電子スチルカメラ１の動画撮影時における動作について説明する。図２は、動画撮影モードが設定された後、ユーザーによりシャッターボタンが押されたときのＤＳＰ／ＣＰＵ３の動画撮影処理の手順を示すフローチャートである。
【００２９】
ＤＳＰ／ＣＰＵ３は、シャッターボタンが押されることにより処理を開始し、まず、ＣＣＤ２により撮像した画像をＤＲＡＭ９に転送し一時記憶する（ステップＳＡ１）。次に、ここで記憶した画像が、シャッターボタンが押された当初のように２枚目以降の画像でなければ（ステップＳＡ２でＮＯ）、今回撮像された画像（フレーム画像）をメモリ・カード１２に転送して記録する（ステップＳＡ７）。
【００３０】
引き続き、シャッターボタンが押されていれば（ステップＳＡ８でＹＥＳ）、ステップＳＡ１へ戻って２回目の撮像を行う。２回目以降の撮像を行った後には（ステップＳＡ２でＹＥＳ）、まず、直前に撮像した画像を間引きしていなかったか否か、つまり前回撮像した画像の記録をスキップしていなかったか否かを判別する（ステップＳＡ３）。この判別は、後述するフラグの状態を確認することにより行う。ここで、画像を間引きしていたときには（ステップＳＡ３でＮＯ）、今回撮像されたフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＡ７）。
【００３１】
また、直前に撮像した画像を間引きしていなければ（ステップＳＡ３でＹＥＳ）、前回撮像したフレーム画像と、今回撮像したフレーム画像とを比較する（ステップＳＡ４）。係る比較処理は、予め決められた手順により、例えば両画像について全体的又は部分的な明るさや輝度分布を演算し、双方の演算結果に基づき両画像間における変化の度合いを変化量として数値化して取得する処理である。そして、今回のフレーム画像において前回との差が大きい、つまり前記変化量が予め決められている所定の閾値を超えていれば（ステップＳＡ５でＮＯ）、そのままステップＳＡ７へ進み、今回撮像したフレーム画像をメモリ・カード１２に転送して記録する。
【００３２】
これに対し、今回のフレーム画像において前回との差が小さい、つまり前記変化量が閾値以下であったときには（ステップＳＡ５でＹＥＳ）、今回のフレーム画像を間引いた旨を示すフラグを立てた後（ステップＳＡ６）、今回のフレーム画像を記録することなく、ステップＳＡ８へ進む。したがって、この直後に、シャッターボタンがまだ押されていたときには（ステップＳＡ８でＹＥＳ）、前述したステップＳＡ３の判別結果がＮＯとなり、次に撮像した画像を無条件にメモリ・カード１２に転送して記録する。そして、シャッターボタンが押され続けている間においては、前述した処理を繰り返し、シャッターボタンが離されたら（ステップＳＡ８でＮＯ）、その時点で動画撮影処理を終了する。
【００３３】
以上のように本実施の形態では、撮像フレームレート（撮像動作の間隔）を一定（固定）にし、今回のフレーム画像と前回のフレーム画像との変化度合が小さい時にだけ、そのフレーム画像を間引く（記録動作をスキップする）ことから、結果的に、記録フレームレートを同一の時間間隔内における画像の変化度合に基づき変更することができる。したがって、常に適切な記録フレームレートを設定することができるため、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく（小さく）なることがなく、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することができる。
【００３４】
しかも、本実施の形態においては、前回のフレーム画像を間引きしていた場合には、今回のフレーム画像を必ず記録するようにしたことから、撮影中に逐次検出されるフレーム画像同士の変化度合が連続して少ない状態が続いた場合、つまり被写体の動きが小さい間に、必要以上に記録画像が間引かれることが防止できる。よって、そのような場合においても、より自然な状態で再生可能な動画を撮影することができる。
【００３５】
なお、本実施の形態においては、フレーム画像の変化が少ない状態が続いた場合に２フレームに１回はフレーム画像を記録するようにしたが、フレーム画像の変化に関係なくフレーム画像を記録させる頻度は任意に設定可能であり、例えば３フレームに１回、３フレームに２回、フレーム画像を記録するようにしてもよい。
【００３６】
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。本実施の形態は、第１の実施の形態と異なり、ＣＣＤ２による画像の撮像フレームレートを、相前後して撮像した画像の変化に応じて、高フレームレート（毎秒２０枚）と低フレームレート（毎秒１０枚）とに変更する電子スチルカメラに関するものである。
【００３７】
また、本実施の形態の電子スチルカメラのハード構成は、図１に示したものと同様であるが、内蔵フラッシュメモリ１０には、ＤＳＰ／ＣＰＵ３を本発明の検出手段、判断手段、撮像間隔変更手段、判断基準変更手段として機能させるためのプログラムが格納されている。また、本実施の形態においても、動画撮影時においてＤＲＡＭ９には、ＣＣＤ２により相前後して撮像された２枚分の画像データを記憶するための記憶領域が確保されるようになっている。
【００３８】
以下、本実施の形態における電子スチルカメラの動作を、動画撮影モードでユーザーによりシャッターボタンが押されたときＤＳＰ／ＣＰＵ３が実行する動画撮影処理の手順を示す図３及び図４のフローチャートに従って説明する。
【００３９】
ＤＳＰ／ＣＰＵ３は、シャッターボタンが押されることにより処理を開始し、まず、高フレームレート撮影モードを設定し（ステップＳＢ１）、さらに後述する撮像フレームレートの切り替え動作の判断基準となる変化量の閾値として、予め決められている高フレームレート撮影モード用の第１の閾値を設定する（ステップＳＢ２）。引き続き、ＣＣＤ２による撮像処理を行い（ステップＳＢ３）、ＣＣＤ２から出力されたフレーム画像のＤＲＡＭ９への一時記憶が終了したら（ステップＳＢ４でＹＥＳ）、ＤＲＡＭ９に記憶されている前回のフレーム画像と今回のフレーム画像とを比較する（ステップＳＢ５）。係る比較処理は第１の実施の形態のステップＳＡ４の処理と同様であり、最終的には両画像の変化の度合いを示す変化量を取得する。次に、取得した変化量が、現在設定されている閾値（動画撮影を開始した当初においては第１の閾値）を超えているか否か、つまり前記変化量が大きいか否かを判別し（ステップＳＢ６）、その判別結果に応じて以下の処理を行う。
【００４０】
すなわち上記変化量がそのときの閾値を超えていない場合にあっては（ステップＳＢ６でＮＯ）、その時点で設定されている撮影モードが高フレームレート撮影モードでなければ（ステップＳＢ７でＮＯ）、ステップＳＢ３で撮像した今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＢ１３）。逆に、その時点で高フレームレート撮影モードが設定されていれば（ステップＳＢ７でＹＥＳ）、撮影モードを低フレームレート撮影モードに切り替え（ステップＳＢ８）、さらに閾値として予め決められている低フレームレート撮影モード用の第２の閾値を設定した後（ステップＳＢ９）、今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＢ１３）。ここで第２の閾値は、第１の閾値よりも大きな値（変化量）であり、本実施の形態にあっては、高フレームレートと低フレームレートとによる撮像時間間隔の比が１：２であるため、それに応じて第１の閾値の約２倍の値が決められている。
【００４１】
一方、前述したステップＳＢ６の判別結果がＹＥＳであって、上記変化量がそのときの閾値を超えていた場合にあっては、その時点で設定されている撮影モードが低フレームレート撮影モードでなければ（ステップＳＢ１０でＮＯ）、今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＢ１３）。逆に、その時点で低フレームレート撮影モードが設定されていれば（ステップＳＢ１０でＹＥＳ）、撮影モードを高フレームレート撮影モードに切り替え（ステップＳＢ１１）、さらに閾値として高フレームレート撮影モード用の第１の閾値を設定した後（ステップＳＢ１２）、今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＢ１３）。
【００４２】
そして、撮像したフレーム画像を記録した後には、シャッターボタンが押され続けている間には（ステップＳＢ１４でＹＥＳ）、現在設定されている撮像フレームレートに応じて設定される次の撮像周期が到来した時点で（ステップＳＢ１５でＹＥＳ）、ステップＳＢ３へ戻り新たな撮像を行い、撮像した画像を一時記憶した後、ステップＳＢ１３までの前述した処理を繰り返す。そして、シャッターボタンが離されたら（ステップＳＢ１４でＮＯ）、その時点で動画撮影処理を終了する。
【００４３】
以上のように本実施の形態では、撮像フレームレートを、前回の画像と今回の画像との変化度合に応じて高フレームレートと低フレームレートとに変更することにより、記録フレームレートを変更する。同時に撮像フレームレートの切り替え動作の判断基準となる変化量の閾値を、撮像フレームレートに応じて第１の閾値と第２の閾値とに切り替えることにより、結果として、同一の時間基準による変化度合に基づき記録フレームレートが変更されるようにした。したがって、本実施の形態においても、常に適切な記録フレームレートを設定することができるため、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく（小さく）なることがなく、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することができる。
【００４４】
（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。本実施の形態も、第２の実施の形態と同様、ＣＣＤ２による画像の撮像フレームレートを、相前後して撮像した画像の変化に応じて、高フレームレート（毎秒２０枚）と低フレームレート（毎秒１０枚）とに変更する電子スチルカメラに関するものである。
【００４５】
また、本実施の形態の電子スチルカメラにおいても、そのハード構成は図１に示したものと同様であるが、内蔵フラッシュメモリ１０には、ＤＳＰ／ＣＰＵ３を本発明の検出手段、判断手段、撮像間隔変更手段、比較画像変更手段として機能させるためのプログラムが格納されており、また動画撮影時においてＤＲＡＭ９には、第１及び第２の実施の形態と異なり、ＣＣＤ２により相前後して撮像された３枚分の画像データを記憶するための記憶領域が確保されるようになっている。
【００４６】
以下、本実施の形態における電子スチルカメラの動作を、動画撮影モードでユーザーによりシャッターボタンが押されたときＤＳＰ／ＣＰＵ３が実行する動画撮影処理の手順を示す図５及び図６のフローチャートに従って説明する。
【００４７】
ＤＳＰ／ＣＰＵ３は、シャッターボタンが押されることにより処理を開始し、まず、高フレームレート撮影モードを設定した後（ステップＳＣ１）、ＣＣＤ２による撮像処理を行う（ステップＳＣ２）。次に、ＣＣＤ２から出力されたフレーム画像のＤＲＡＭ９への一時記憶が終了した後（ステップＳＣ３でＹＥＳ）、ここで記憶した画像が、シャッターボタンが押された当初のように３枚目以降の画像でなければ（ステップＳＣ４でＮＯ）、今回撮像したフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＣ１３）。そして、シャッターボタンが押されていれば（ステップＳＣ１４でＹＥＳ）、次の撮像周期が到来した時点で（ステップＳＣ１５でＹＥＳ）、ステップＳＣ２へ戻って２回目の撮像を行う。
【００４８】
その後、同様の処理によって３回目の撮像を行い、３回目のフレーム画像のＤＲＡＭ９への一時記憶が終了したら（ステップＳＣ４でＹＥＳ）、まず、その時点で高フレームレート撮影モードが設定されているか否かを確認する（ステップＳＣ５）。そして、３回目の撮像を行った直後のように係る判別の結果がＹＥＳであったときには、ＤＲＡＭ９に記憶されている前々回のフレーム画像と今回のフレーム画像とを比較し（ステップＳＣ６）、また高フレームレート撮影モードが設定されていなければ（ステップＳＣ５でＮＯ）、ＤＲＡＭ９に記憶されている前回のフレーム画像と今回のフレーム画像とを比較する（ステップＳＣ７）。なお、係るステップＳＣ６，ＳＣ７の比較処理は第１の実施の形態のステップＳＡ４の処理と同様であり、最終的には両画像の変化の度合いを示す変化量を取得する。
【００４９】
引き続き、ステップＳＣ６又はステップＳＣ７で取得した変化量が、予め決められている所定の閾値を超えているか否かを判別し（ステップＳＣ８）、その判別結果に応じて以下の処理を行う。
【００５０】
すなわち上記変化量が所定の閾値を超えていない場合、つまり前記変化量が小さい場合にあっては（ステップＳＣ８でＮＯ）、その時点で設定されている撮影モードが高フレームレート撮影モードでなければ（ステップＳＣ９でＮＯ）、ステップＳＣ２で撮像した今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＣ１３）。逆に、その時点で高フレームレート撮影モードが設定されていれば（ステップＳＣ９でＹＥＳ）、撮影モードを低フレームレート撮影モードに切り替えた後（ステップＳＣ１０）今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＣ１３）。
【００５１】
一方、前述したステップＳＣ８の判別結果がＹＥＳであって、上記変化量が所定の閾値を超えていた場合、つまり前記変化量が大きい場合にあっては、その時点で設定されている撮影モードが低フレームレート撮影モードでなければ（ステップＳＣ１１でＮＯ）、今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＣ１３）。逆に、その時点で低フレームレート撮影モードが設定されていれば（ステップＳＣ１１でＹＥＳ）、撮影モードを高フレームレート撮影モードに切り替えた後（ステップＳＣ１２）、今回のフレーム画像をメモリ・カード１２に転送して記録する（ステップＳＣ１３）。
【００５２】
そして、撮像したフレーム画像を記録した後には、シャッターボタンが押され続けている間には（ステップＳＣ１４でＹＥＳ）、現在設定されている撮像フレームレートに応じて設定される次の撮像周期が到来した時点で（ステップＳＣ１５でＹＥＳ）、ステップＳＣ２へ戻り新たな撮像を行い、撮像した画像を一時記憶した後、ステップＳＣ１３までの前述した処理を繰り返す。そして、シャッターボタンが離されたら（ステップＳＣ１４でＮＯ）、その時点で動画撮影処理を終了する。
【００５３】
以上のように本実施の形態では、撮像フレームレートを、今回の画像と前回又は前々回の画像（過去の画像）との変化度合に応じて高フレームレートと低フレームレートとに変更することにより、記録フレームレートを変更する。同時に今回の画像の比較対照となる画像を、変更後の撮像フレームレート（記録フレームレート）に応じて、前回の画像と前々回の画像とに切り替えることにより、結果として、同一の時間基準による変化度合に基づき記録フレームレートが変更されるようにした。その結果、各時点における同一の時間間隔内における画像の変化度合、つまり同一の時間基準による変化度合に基づき記録フレームレートが変更される。したがって、本実施の形態においても、常に適切な記録フレームレートを設定することができるため、相前後する任意のフレーム画像間の変化が他の時点に比べて大きく（小さく）なることがなく、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することができる。
【００５４】
一方、図７は、前述した動画撮影中に撮像されるフレーム画像ｆｇ１〜ｄｇ９において、低フレームレート撮影モード及び高フレームレート撮影モードが設定されているときに比較対照となる２枚のフレーム画像の関係を示した図である。本実施の形態において、撮影モードを高フレームレート撮影モードから低フレームレート撮影モードに切り替えるときには支障はないが、逆に撮影モードを低フレームレート撮影モードから高フレームレート撮影モードに切り替えるときには、切り替え直後における今回のフレーム画像ｆｇ４と、その比較対照となる前々回のフレーム画像ｆｇ２との間における撮像時間の間隔がその他のときと異なってしまう。したがって、厳密な処理を要求されるような場合においては、上記の切り替え直後の時点においてのみ、第２の実施の形態で説明したもののように、変化量の判断基準とする閾値を切り替える等の方法によって、比較する双方のフレーム画像間における撮像時間の間隔を他の時点と一致させる対策を行う必要がある。
【００５５】
ところで、以上説明した第１〜第３の本実施の形態においては、保存メモリ（メモリ・カード１２）に記録した、記録フレームレートが一定でない動画データ（複数のフレーム画像）を、一定の再生フレームレート（読出し速度）で再生すると、当然、撮影タイミングと再生タイミングとがずれることになり、あたかもスロー再生や早送り再生をしたかの如く見える箇所が生じることになる。これに関しては、撮影タイミングと再生タイミングとを一致させたい場合、例えば動画ファイル中に撮影（再生）フレームレートの変化情報を埋め込むようにし、再生時には、その変化情報に基づき所定のフレーム画像の再生時点で再生フレームレート（再生時間）を変化させることにより、撮影タイミングと再生タイミングとが一致した自然な動画再生が可能となる。
【００５６】
なお、第１〜第３の本実施の形態においては、１枚撮影する毎にフレーム画像をバッファメモリから保存メモリに転送記録するようにしたが、動画を動画ファイルの形式で保存記録する場合には撮影毎に保存メモリに転送記録せずに撮影毎にバッファメモリの所定エリアに保存対象画像として記憶していき動画撮影が終了した時点でバッファメモリに記憶されている全ての画像を用いて動画ファイルを作成し、この動画ファイルを保存メモリに転送記録するようにしてもよい。
【００５７】
また、以上の説明においては、動画撮影機能付き電子スチルカメラに本発明を適用した場合を示したが、本発明は、静止画撮影機能付きムービーカメラ、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパソコン等の機器にも採用することができる。要は、動画撮影機能を備えた機器であれば本発明を適用することができる。
【００５８】
【発明の効果】
以上説明したように本発明の動画撮影装置、及び動画撮影方法においては、被写体の変化に応じて記録フレームレートを変更するとき、常に適切なタイミングで記録フレームレートを変更設定することができるようにした。よって、自然な状態で再生可能な動画を、より少ない画像枚数で撮影することが可能となる。
【００５９】
また、請求項３の動画撮影装置では、撮影中に逐次検出されるフレーム画像同士の変化度合が連続して少ない状態が続いた場合において、必要以上に記録画像が間引かれることが防止できるようにした。よって、被写体に大きな変化が連続して発生する場合においても、より自然な状態で再生可能な動画の撮影が可能となる。
【００６０】
また、本発明のプログラムにおいては、それを用いることにより、既存の動画撮影装置においても本発明を実施することが可能となる。
【図面の簡単な説明】
【図１】本発明の各実施の形態を示す電子スチルカメラのブロック図である。
【図２】第１の実施の形態における動画撮影時の動作を示すフローチャートである。
【図３】第２の実施の形態における動画撮影時の動作を示すフローチャートである。
【図４】図３に続くフローチャートである。
【図５】第３の実施の形態における動画撮影時の動作を示すフローチャートである。
【図６】図５に続くフローチャートである。
【図７】同実施の形態において動画撮影中に撮像されるフレーム画像、及び比較対照となる２枚のフレーム画像の関係を示した図である。
【符号の説明】
１    電子スチルカメラ
２    ＣＣＤ
３    ＤＳＰ／ＣＰＵ
４    ＴＧ
５    ユニット回路
６    表示装置
７    キー入力部
８    データバス
９    ＤＲＡＭ
１０    内蔵フラッシュメモリ
１１    インターフェイス
１２    メモリ・カード
【図１】
2004187018.tif 000003
【図２】
2004187018.tif 000004
【図３】
2004187018.tif 000005
【図４】
2004187018.tif 000006
【図５】
2004187018.tif 000007
【図６】
2004187018.tif 000008
【図７】
2004187018.tif 000009