(57)【要約】【課題】  動画記録中に単写を連続した場合に一定時間より短い動画が挿入されないようにする。【解決手段】  ユーザがキー入力部５で動画記録を指示すると、ＤＳＰ／ＣＰＵ１は、動画撮影モードになり、撮像素子２による撮影画像から動画データを生成する。一定時間内の動画データをＤＲＡＭ９のバッファに保存し、一定時間を超えると、バッファに格納された動画データと以後の動画データを外部メモリ１２に記録する。静止画撮影指示に対して、動画記録を中止し、撮像素子２による撮影画像から静止画データを生成して外部メモリ１２に記録する。静止画の記録後、バッファに動画データが残っている場合には、その動画データをクリアする。静止画記録に対する代替フレームを動画として外部メモリ１２に追加記録する。【選択図】  図１
2012029184.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮像される複数の画像を順次フレーム画像とする動画データを生成する動画データ生成手段と、
静止画作成指示手段と、
前記静止画作成指示手段による静止画生成指示に従い、前記撮像手段により撮像される１つの画像を静止画とする静止画データを生成する静止画データ生成手段と、
前記動画データを生成している間の第１の静止画生成指示に従い、前記動画データ生成手段による動画データの生成を止め、前記第１の静止画生成指示に続く第２の静止画生成指示までの時間が閾値より短い場合に、前記動画データ生成手段に代替フレームを使って動画像データを生成させる制御手段
とを具備することを特徴とする撮像装置。
【請求項２】
撮像手段と、
前記撮像手段により撮像される複数の画像を順次フレーム画像とする動画データを生成する動画データ生成手段と、
静止画データの生成を指示する静止画生成指示手段と、
前記静止画生成指示手段による静止画生成指示に応じて、前記撮像手段により撮像される１つの画像を静止画とした静止画データを生成する静止画データ生成手段と、
前記動画データを生成している間の前記静止画生成指示に従い、前記動画データ生成手段による動画データの生成を止め、前記静止画生成指示に続く前記静止画生成指示手段の半操作の間、前記動画データ生成手段に代替フレームを使って動画像データを生成させる制御手段
とを具備することを特徴とする撮像装置。
【請求項３】
前記代替フレームは、前記第１の静止画生成指示により前記静止画データ生成手段により生成される静止画データからなることを特徴とする請求項１又は２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、さらに詳しくは、動画撮影機能及び静止画撮影機能を有する撮像装置に関する。
【背景技術】
【０００２】
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０１２８２号公報
【０００４】
近年、撮像素子等の固体撮像素子が撮像した被写体の画像信号をデジタル信号に変換し、その画像データを記録媒体に記録するデジタルカメラが普及してきている。その中には、通常の静止画撮影機能に加え、動画像を記録する動画撮影機能を備えたものがある。
【０００５】
動画撮影中に静止画撮影を行なう技術も知られている。静止画撮影を行なっている間に動画撮影を中断する技術では、記録される動画中に欠落フレームが発生する。すなわち、動画撮影で記録される動画像の長さが、実時間とは異なるものになってしまう。このような記録時間の相違を補正する技術が特許文献１に記載されている。静止画の記録処理が完了すると、静止画撮影による動画記録の中断直前の動画像のフレーム又は静止画撮影で得られる静止画を代替フレームとし、中断期間相当のフレーム数分だけ繰り返し使用（コピー）して、動画像記録を継続する。
【０００６】
一方、静止画撮影には、所謂、連写と呼ばれる連続撮影がある。特許文献１に記載の技術を適用した場合で、動画撮影中に連写を行なうと、代替フレームが連続して続くことになり、同じ画像が長時間続く冗長な動画像となってしまう。連写を行なった場合にも、代替フレームの挿入を一定時間に限定することも知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画記録中に断続的に静止画撮影を行なう場合、タイミングによっては、図８に示すように短い動画部分（０：０２から静止画撮影指示までの期間）ができる。このような動画を再生すると、細切れの動画が入り、見難い動画となってしまう。
【０００８】
本発明は、かかる従来の課題に鑑み、動画撮影中に断続的に静止画を撮影した場合や、動画撮影直後に静止画を撮影した場合であっても、動画像の品位が低下するのを防止できる撮像装置を提示することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、撮像手段と、前記撮像手段により撮像される複数の画像を順次フレーム画像とする動画データを生成する動画データ生成手段と、静止画作成指示手段と、前記静止画作成指示手段による静止画生成指示に従い、前記撮像手段により撮像される１つの画像を静止画とする静止画データを生成する静止画データ生成手段と、前記動画データを生成している間の第１の静止画生成指示に従い、前記動画データ生成手段による動画データの生成を止め、前記第１の静止画生成指示に続く第２の静止画生成指示までの時間が閾値より短い場合に、前記動画データ生成手段に代替フレームを使って動画像データを生成させる制御手段とを具備することを特徴とする。
【００１０】
本発明に係る撮像装置は、撮像手段と、前記撮像手段により撮像される複数の画像を順次フレーム画像とする動画データを生成する動画データ生成手段と、静止画データの生成を指示する静止画生成指示手段と、前記静止画生成指示手段による静止画生成指示に応じて、前記撮像手段により撮像される１つの画像を静止画とした静止画データを生成する静止画データ生成手段と、前記動画データを生成している間の前記静止画生成指示に従い、前記動画データ生成手段による動画データの生成を止め、前記静止画生成指示に続く前記静止画生成指示手段の半操作の間、前記動画データ生成手段に代替フレームを使って動画像データを生成させる制御手段とを具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画撮影中に断続的に静止画を撮影した場合であっても、動画像データの品位が低下するのを防ぐことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。
【図２】ＤＳＰ／ＣＰＵ１による制御の動作フローチャートを示す。
【図３】従来の方法で録画した動画と、図２に示す動作フローで撮影（録画）した動画の比較例を示す。
【図４】ＤＳＰ／ＣＰＵ１による制御の別の動作フローチャートを示す。
【図５】従来の方法で録画した動画と、図４に示す動作フローで撮影（録画）した動画の比較例を示す。
【図６】ＤＳＰ／ＣＰＵ１による制御の別の動作フローチャートを示す。
【図７】従来の方法で録画した動画と、図６に示す動作フローで撮影（録画）した動画の比較例を示す。
【図８】従来例の動画像ファイルの動画フレームを示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１４】
図１は、本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。本実施例の撮像装置は、例えば、動画撮影中に静止画を撮影可能なデジタルビデオカムコーダ又はデジタルカメラである。
【００１５】
本実施例の撮像装置は、ＤＳＰ／ＣＰＵ１及び撮像素子２を有する。ＤＳＰ／ＣＰＵ１は、画像データの圧縮伸長及び音声データ処理を含む各種のデジタル信号処理機能を有するとともに、撮像装置の各部を制御するワンチップマイコンである。ここではワンチップマイコンとして説明するが、別のＤＳＰチップなどに画像データ及び音声データの処理を行わせてもかまわない。
【００１６】
ＤＳＰ／ＣＰＵ１には、撮像素子２を駆動するタイミング発生回路（ＴＧ：Timing Generator）３が接続する。また、ＤＳＰ／ＣＰＵ１には、撮像素子２から出力される撮像信号を画像データに変換するユニット回路４が接続する。ユニット回路４は、撮像素子２から出力される撮像信号を相関二重サンプリングするＣＤＳ（Correlated Double Sampling）回路を備える。ユニット回路４は更に、撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）及び増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）を備える。この結果、撮像素子２の出力信号は、ユニット回路４を経てデジタル信号としてＤＳＰ／ＣＰＵ１に送られる。
【００１７】
ＤＳＰ／ＣＰＵ１には、キー入力部５、音声処理部６及び表示デバイス７が接続し、アドレス・データバス８を介してＤＲＡＭ９、内蔵フラッシュメモリ１０及び外部メモリインターフェース１１が接続する。外部メモリインターフェース１１には、撮像装置本体の図示しないスロットに着脱自在な記録媒体としてのメモリーカードなどの外部メモリ１２が接続される。外部メモリ１２は、撮像装置に内蔵される不揮発性半導体メモリであってもよい。更には、外部メモリ１２は、ハードディスク又は記録可能光ディスクであってもよい。内蔵又は着脱自在の記録媒体に撮影画像を記録する代わりに、通信手段により外部装置に送信して記録しても良い。
【００１８】
表示デバイス７は、カラー液晶表示素子（ＬＣＤ）とその駆動回路を含む。撮影待機状態にあるとき、表示デバイス７は、撮像素子２によって撮像された被写体画像ラブビュー表示する。すなわち、表示デバイス７は、電子ビューファインダ（ＥＶＦ）として機能しうる。表示デバイス７はまた、外部メモリ１２から読み出され伸長された記録画像（静止画又は動画）を表示する。表示デバイス７は、ＤＳＰ／ＣＰＵ１の制御下において、各種設定のためのメニューを表示する。撮像装置は、ＨＤＭＩなど外部出力端子（図示せず）を備え、表示デバイス７で表示するのと同様の画像を外部機器で表示することができる。
【００１９】
キー入力部５は、静止画撮影を行なうためのシャッタボタン、動画撮影に使用する録画開始／終了ボタン、電源キー、及びメニューキー等の複数の操作キーを含む。キー入力部５は、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ１に出力する。シャッタボタンは静止画生成指示手段であり、半押し状態（ＳＷ１がオンでＳＷ２がオフ）と、全押し状態（ＳＷ１，ＳＷ２が共にオン）とで異なる信号を出力する２段階スイッチからなる。換言すると、シャッタボタンは、半操作で半押し状態になり、全操作で全押し状態になる。不図示のＵＳＢなどのインターフェースを介して外部から遠隔操作することができる。
【００２０】
音声処理部６は、内蔵マイク１３、アンプ、Ａ／Ｄ変換器、内蔵スピーカ及びＤ／Ａ変換器等を含む。音声処理部６は、音声付きの静止画又は動画の撮影時に、内蔵マイク１３が取り込んだ周囲の音声信号をデジタル信号に変換してＤＳＰ／ＣＰＵ１に供給する。内蔵マイク１３のほかに、不図示の外部マイクを接続するための入力端子を設けても良い。音声処理部６からの音声データは、ＤＳＰ／ＣＰＵ１によりＤＲＡＭ９に順次蓄積し、最終的には、ＤＳＰ／ＣＰＵ１により生成された画像データと共に外部メモリ１２に記録される。
【００２１】
音声処理部６は、音声付きの静止画又は動画の再生時には、各画像に付属する音声データを再生し、内蔵スピーカ１４から音声出力する。また、音声処理部６は、必要に応じ、内蔵スピーカ１４から各種の報知音を出力する。不図示の外部スピーカに接続する出力端子等を設けても良い。
【００２２】
ＤＲＡＭ９は、撮像素子２により撮像され、デジタル化された画像データ等を一時記憶するバッファメモリであるとともに、ＤＳＰ／ＣＰＵ１のワーキングメモリとしても使用される。内蔵フラッシュメモリ１０には、ＤＳＰ／ＣＰＵ１による各部の制御に必要な制御プログラムが格納される。制御プログラムは、例えば、ＡＦ（オートフォーカス制御）及びＡＥ（自動露出制御）等を含む各種の制御に必要なプログラムを含む。内蔵フラッシュメモリ１０には各制御に必要なデータも記憶される。ＤＳＰ／ＣＰＵ１は、この制御プログラムを実行することにより、以下に説明する種々の制御機能を実現する。
【００２３】
図２は、本実施例の動画記録の動作フローチャートを示す。ユーザがキー入力部５で動画記録を指示すると、ＤＳＰ／ＣＰＵ１は、ユニット回路４及びＴＧ３を動画撮影用の駆動モードに切り替える。さらに、バッファメモリとして必要な領域をＤＲＡＭ９に確保し、インターフェース１１により外部メモリ１２に動画ファイルを生成するなどの動画撮影準備を行なわせる（Ｓ２０１）。
【００２４】
続いて、ＤＳＰ／ＣＰＵ１は、撮影された動画が一定フレーム数以上（例えば３０フレーム）のものであるかをカウントするカウンタを初期化する（Ｓ２０２）。
【００２５】
ＤＳＰ／ＣＰＵ１は、撮像素子２からユニット回路４を経由してＡ／Ｄ変換されたＲＡＷデータを読み出す（Ｓ２０３）。読み出したＲＡＷデータはＤＳＰ／ＣＰＵ１によって現像され、ＹＵＶデータに変換される（Ｓ２０４）。すなわち、ＤＳＰ／ＣＰＵ１は、撮像される複数の画像を順次フレーム画像とする動画データを生成する動画データ生成手段として機能する。ステップＳ２０４は、リサイズ、周辺光量落ち補正及び逆光補正などの各種補正、並びに、ホワイトバランス調整のような色調整などを含んでも良い。この画像データは、モニタ用に表示デバイス７により表示される（Ｓ２０５）。
【００２６】
ＤＳＰ／ＣＰＵ１は、音声処理部６から音声データを取得し（Ｓ２０６）、先ほどの画像データとあわせて動画像用にエンコードし、記録すべき符号化データを生成する（Ｓ２０７）。動画用のフォーマットとしては、Ｈ．２６４及びＭｏｔｉｏｎ  Ｊｐｅｇなど各種フォーマットが知られているが、本実施例は、これらに限定されない。
【００２７】
ＤＳＰ／ＣＰＵ１は、カウンタ値を所定の閾値と比較し（Ｓ２０８）、閾値以下であれば、符号化データはＤＲＡＭ９に保存し（Ｓ２１３）、カウンタ値をインクリメントする（Ｓ２１４）。
【００２８】
一方、カウンタ値が閾値を超えている場合（Ｓ２０８）、ＤＳＰ／ＣＰＵ１は、ＤＲＡＭ９に記憶される符号化データを外部メモリ１２に格納し（Ｓ２１０）、ＤＲＡＭ９から消去する（Ｓ２１１）。
【００２９】
ＤＳＰ／ＣＰＵ１は、キー入力部５から静止画撮影動作が指示されているかを確認し（Ｓ２１５）、静止画撮影イベントがなければ撮像素子２からの読み出し（Ｓ２０３）以降を繰り返す。ＤＲＡＭ９にバッファリングされた動画像の各フレームは随時、外部メモリ１２に記録されていくことになる。この時、同時に、動画記録終了イベントなどを確認してもよい。
【００３０】
静止画撮影のイベントが入力すると（Ｓ２１５）、ＤＳＰ／ＣＰＵ１は、メモリなどのリソースを開放するなど、動画記録を一時中断する処理を実行する（Ｓ２１６）。続いてＤＳＰ／ＣＰＵ１は、ユニット回路４及びＴＧ３を静止画撮影用の駆動モードに切り替え、必要なバッファ領域をＤＲＡＭ９に確保する。また、シャッタ速度及び絞りなどの静止画撮影用パラメータ設定等を行なう（Ｓ２１７）。
【００３１】
ＤＳＰ／ＣＰＵ１は、被写体光学像を撮像素子２に入射させ、撮像素子２から静止画撮影の画像信号を読み出す（Ｓ２１８）。ＤＳＰ／ＣＰＵ１は、この画像信号を現像し（Ｓ２１９）、ＪＰＥＧ方式などで圧縮符号化する（Ｓ２２０）。ＤＳＰ／ＣＰＵ１は、圧縮符号化で得られたＪＰＥＧデータをインターフェース１１により外部メモリ１２に記録する（Ｓ２２１）。すなわち、ＤＳＰ／ＣＰＵ１は、撮像される１つの画像を静止画とする静止画データを生成する静止画データ生成手段として機能する。
【００３２】
この時点で、バッファに動画像データが残っているということは、前回の静止画撮影又は動画撮影開始から今回の静止画撮影までの期間が閾値よりも短い場合である。すなわち、本実施例においては、動画撮影を開始してから今回の静止画撮影の間までに一定のフレーム数（例えば、３０フレーム）の画像がＤＲＡＭ９にバッファリングされなかった場合である。このような短い動画像データが静止画の代替フレーム間に挟まると、見難い動画像データとなり、このような短い動画像データは記録する必要がない。そこで、ＤＳＰ／ＣＰＵ１は、バッファ（ＤＲＡＭ９）に記憶された動画像のフレーム画像データをクリアする（Ｓ２２２、Ｓ２２３）。
【００３３】
用途によって、前回の静止画撮影から今回の静止画撮影までの期間が閾値よりも短い場合と、動画撮影開始から今回の静止画撮影までの期間が閾値よりも短い場合のいずれかのみで、ＤＲＡＭ９に記憶された動画のフレーム画像データをクリアしても良い。
【００３４】
ＤＲＡＭ９に格納される動画像のフレーム画像データのクリアに従い、動画像データのフォーマットにもよるが、フレームカウンタ及びデータオフセット量などの管理情報を、削除した動画フレーム分もとに戻す（Ｓ２２４）。
【００３５】
例えば、動画のフレームレートが３０フレーム／秒の場合、１フレームあたりの時間は１／３０秒であるが、一般的に静止画撮影にかかる時間（Ｓ２１６〜Ｓ２２８）は、これよりも長い。したがって、欠落フレームが生じてしまう。これを埋めるため、又は、動画撮影中に静止画撮影が行なわれたことを視聴者に伝えるために、本実施例では代替フレームを挿入する。すなわち、ＤＳＰ／ＣＰＵ１は、この代替フレームを作成する（Ｓ２２５）。代替フレームは、Ｓ２１９で得られたデータを動画フレームと同じ大きさにリサイズしても良いし、静止画撮影モードに移行する前の動画像のフレームをそのまま用いても良い。さらには、全面が黒の画像など、予め用意したフレーム画像を用いても良い。
【００３６】
ＤＳＰ／ＣＰＵ１は、代替フレームを動画像用に符号化し（Ｓ２２６）、得られた符号化データを外部メモリに記録する（Ｓ２２７）。代替フレームの挿入フレーム数は、静止画撮影によって生じた欠落フレーム数でも良いし、予め決められたフレーム数でもよい。
【００３７】
連写撮影が可能な撮像装置の場合、連写で得られた各静止画データをその都度リサイズして代替フレームとすると、リサイズの処理時間で連写速度が落ちてしまう。連写が終わった後に連写で得られた各静止画データをリサイズして代替フレームとする場合、動画像撮影への復帰に時間がかかる。連写中に得られた特定の１枚の静止画又は静止画撮影モードに入る直前の動画像を代替フレームとすると、その間、同じ代替フレームが続くことになり、冗長な動画データとなる。例えば、３０秒間、静止画を連写していると、代替フレームが３０秒も続いてしまうことになる。このような場合は、後者のように、予め決められたフレーム数を挿入する方が好ましい。つまり、３０秒間、静止画を連写した場合であっても、代替フレームは例えば１秒間にする。このような場合、挿入する代替フレームの数は０．５乃至２秒程度、すなわち３０フレーム／秒なら１５フレーム乃至６０フレーム程度が好ましい。但し、本実施例は、これに限定されない。
【００３８】
代替フレームを挿入中の音声データとして、本実施例では無音のデータを挿入しているが、音声処理部６から音声データを取得し、その音声データを挿入しても良い。また、予め用意した擬似シャッタ音などを挿入しても良い。
【００３９】
ＤＳＰ／ＣＰＵ１は、代替フレームの記録（Ｓ２２７）が終わると、上述した動画像データ管理情報を保管し（Ｓ２２８）、動画撮影の準備（Ｓ２０１）に戻る。ただし、すでに動画ファイルの作成とオープンは終わっているので、この時点でこれらを行なう必要はない。
【００４０】
図３は、従来の方法で録画した動画と、本実施例で撮影（録画）した動画の比較例を示す。図３（ａ）は従来例の録画例を示し、図３（ｂ）は図２に示す制御動作での録画例を示す。従来の方法で代替フレーム間の動画（０：０２から静止画撮影指示の部分）になる部分が、本実施例では、２種類の代替フレームとなる。
【００４１】
代替フレーム間に含まれる動画像の長さが０．０１秒乃至は０．３秒程度であると、音声がノイズのように聞こえやすい。音声なしの動画像データでも、代替フレームの長さよりも短いと見難い動画像となる。また、この長さは代替フレームをどのように作成するかによっても異なる。例えば、静止画撮影モードに移行する直前の動画像フレーム（例えば、図３の４フレーム目）又は黒画面などを代替フレームとする場合は、比較的短い動画像が記録されても違和感は少ない。しかし、撮影した静止画をリサイズして代替フレームを作る場合、それよりも長い動画像が入っても違和感を生じる。
【００４２】
図３を例に説明すると、静止画モードに移行する直前の動画像フレーム（４フレーム目）と代替フレーム（５フレーム目）は、静止画モードに移行するときのタイムラグが原因で不連続な動画像となる。さらに、最後の代替フレーム（８フレーム目）と動画像が再開するフレーム（９フレーム目）も不連続となる。同様に、１０フレーム目と１１フレーム目、さらには１４フレーム目と１５フレーム目も不連続となる。一方で、代替フレームとして静止画撮影モードに移行する直前の動画フレームを使用すると、４フレーム目と５フレーム目は連続している。この場合、不連続となるのは８フレーム目と９フレーム目、１４フレーム目と１５フレーム目の２箇所となり、不連続となる部分が少なくなる。
【００４３】
従って、削除される動画像の長さは、０．０１乃至１秒以下程度が好ましいことになる。但し、本発明は、これらの長さに限定されない。
【００４４】
図３（ｂ）に示すように、本実施例では、動画記録中に断続的に静止画撮影を行なった場合、記録される代替フレーム間に、短い動画像データが記録されない。すなわち、第１の静止画生成指示に続く第２の静止画生成指示までの時間が閾値より短い場合に、その間の動画像データが記録されない。これにより、動画撮影中に断続的に静止画を撮影した場合であっても、動画像データの品位が低下するのを防止できる。
【００４５】
ＤＳＰ／ＣＰＵ１は、静止画作成指示に応じて、上述のように動画データ生成手段を制御する制御手段としても機能する。
【００４６】
図２に示す制御では、符号化済みのデータ、即ち、符号化動画像データをバッファに一時格納した。この場合、ＤＳＰ／ＣＰＵ１は、バッファをクリアする場合に（Ｓ２２３）、フレーム数やデータオフセットなどの種々の管理データを、削除したフレーム数分、元に戻さなくてはならない（Ｓ２２４）。
【００４７】
符号化前のＹＵＶ画像データと音声データをバッファに一時保存するようにしてもよい。この場合で、カウンタが閾値を超えるとき（Ｓ２０８）、ＤＳＰ／ＣＰＵ１は、バッファ内容を保存する際に（Ｓ２１０）、符号化を実行できる。バッファに格納されるデータは圧縮前のデータであるので、必要なメモリ量が増えるが、静止画撮影の際に、動画像データ管理情報のリストア（Ｓ２２４）と動画管理情報の保管（Ｓ２２８）が省略できる。これは、プログラムの簡略化につながる。さらには、静止画撮影から動画像撮影への復帰が高速化できる。
【００４８】
図２に示す制御では、閾値が大きい場合、即ち、代替フレーム間にあって削除される動画像データの長さが長い場合、バッファの容量を多くしなければならない。これに対しては、次のように変更することで、バッファ容量の増加を防止できる。すなわち、動画記録中は、カウンタ値によらずに、外部メモリ１２への記録を継続し、静止画を記録した後に、カウンタが閾値を超えているか否かを判別する。閾値以下の場合、即ち、静止画撮影の間に記録された動画像の長さが短い場合、ＤＳＰ／ＣＰＵ１は、外部メモリ１２に記録済みの動画ファイル上で記録位置を示すファイルポインタを前回の代替フレームの最後のフレームまで戻す。同時に、動画像データの管理情報もリストアする。そして、代替フレームを記録し、動画像データ管理情報を保管し、代替フレーム記録後のファイルポインタを記憶する。このようにすることで、バッファ容量が少なくても、動作可能になる。
【実施例２】
【００４９】
上記実施例では、代替フレーム間の動画の長さで、その動画を削除すべきか否かを判定したが、静止画撮影の準備中か否かで判定してもよい。その実施例を説明する。この実施例では、動画像撮影中の、シャッタボタンの半押しの状態が静止画撮影の準備中となり、全押し状態が静止画撮影指示であるとする。すなわち、静止画撮影後も半押しのままであれば、動画像データの記録を行なわず、半押しでも全押しでもなくなった段階で動画像撮影を再開する。
【００５０】
図４は、この実施例の動作フローチャートを示す。ＤＳＰ／ＣＰＵ１は、ユニット回路４及びＴＧ３を動画撮影用の駆動モードに切り替え、動画禁止フラグをＦＡＬＳＥ（偽）にセットする（Ｓ４０１）。さらに、バッファメモリとして必要な領域をＤＲＡＭ９に確保し、インターフェース１１により外部メモリ１２に動画ファイルを生成するなどの動画撮影準備を行なわせる。
【００５１】
続いて、ＤＳＰ／ＣＰＵ１は、撮影された動画が一定フレーム数以上（例えば３０フレーム）のものであるかをカウントするカウンタを初期化する（Ｓ４０２）。
【００５２】
ＤＳＰ／ＣＰＵ１は、撮像素子２からユニット回路４を経由してＡ／Ｄ変換されたＲＡＷデータを読み出す（Ｓ４０３）。読み出したＲＡＷデータはＤＳＰ／ＣＰＵ１によって現像され、ＹＵＶデータに変換される（Ｓ４０４）。ステップＳ４０４は、リサイズ、周辺光量落ち補正及び逆光補正などの各種補正、並びに、ホワイトバランス調整のような色調整などを含んでも良い。この画像データは、モニタ用に表示デバイス７により表示される（Ｓ４０５）。
【００５３】
動画禁止フラグがＴＲＵＥ（真）の場合（Ｓ４３２）、ＤＳＰ／ＣＰＵ１は、シャッタボタンが半押し状態か否かを判断する（Ｓ４３３）。半押し状態の場合（Ｓ４３３）、動画像の記録（Ｓ４０６、Ｓ４０７、Ｓ４１２）を実行しない。半押し状態でない場合（Ｓ４３３）、ＤＳＰ／ＣＰＵ１は、動画禁止フラグをＦＡＬＳＥ（偽）に変更し（Ｓ４３４）、動画像の記録を行う（Ｓ４０６、Ｓ４０７、Ｓ４１２）。すなわち、ＤＳＰ／ＣＰＵ１は、音声処理部６から音声データを取得し（Ｓ４０６）、先ほどの画像データとあわせて動画像用にエンコードし、記録すべき符号化データを生成する（Ｓ４０７）。ＤＳＰ／ＣＰＵ１は、生成された符号化データを外部メモリ１２に記録する（Ｓ４１２）。
【００５４】
動画禁止フラグがＦＡＬＳＥの場合（Ｓ４３２）、ＤＳＰ／ＣＰＵ１は、動画禁止フラグを変更せずに、動画像の記録を行う（Ｓ４０６、Ｓ４０７、Ｓ４１２）。
【００５５】
静止画撮影イベントがあるまで（Ｓ４１５）、ＤＳＰ／ＣＰＵ１は、ステップＳ４０３以降を繰り返す。静止画撮影イベントがあると（Ｓ４１５）、ＤＳＰ／ＣＰＵ１は、静止画撮影モードに移行し、以下に説明するように、撮影された静止画の記録及び代替フレームの記録を実行する（Ｓ４１６〜Ｓ４３５）。
【００５６】
ＤＳＰ／ＣＰＵ１は、メモリなどのリソースを開放するなど、動画記録を一時中断する処理を実行する（Ｓ４１６）。続いて、ＤＳＰ／ＣＰＵ１は、ユニット回路４及びＴＧ３を静止画撮影用の駆動モードに切り替え、必要な領域をＤＲＡＭ９に確保する。また、シャッタ速度及び絞りなどの静止画撮影用パラメータ設定等を行なう（Ｓ４１７）。
【００５７】
ＤＳＰ／ＣＰＵ１は、被写体光学像を撮像素子２に入射させ、撮像素子２から静止画撮影の画像信号を読み出す（Ｓ４１８）。ＤＳＰ／ＣＰＵ１は、この画像信号を現像し（Ｓ４１９）、ＪＰＥＧ方式などで圧縮符号化する（Ｓ４２０）。ＤＳＰ／ＣＰＵ１は、圧縮符号化で得られたＪＰＥＧデータをインターフェース１１により外部メモリ１２に記録する（Ｓ４２１）。
【００５８】
ステップＳ２２５，Ｓ２２６，Ｓ２２７と同様に、ＤＳＰ／ＣＰＵ１は、代替フレームを作成し（Ｓ４２５）、この代替フレームを動画像用に符号化し（Ｓ４２６）、得られた符号化データを外部メモリに記録する（Ｓ４２７）。代替フレームの挿入フレーム数は、静止画撮影によって生じた欠落フレーム数でも良いし、予め決められたフレーム数でもよい。
【００５９】
ＤＳＰ／ＣＰＵ１は、代替フレームの記録（Ｓ４２７）が終わると、動画禁止フラグをＴＲＵＥに変更して（Ｓ４３５）、動画撮影の準備（Ｓ４０１）に戻る。
【００６０】
図５は、従来の方法で録画した動画と、図４に示す動作フローで撮影（録画）した動画の比較例を示す。図５（ａ）は従来例の録画例を示し、図５（ｂ）は図４に示す制御動作での録画例を示す。図４に示す制御により、動画像撮影中に静止画を撮影し、その後もユーザーが静止画を撮影する意思がある場合に、不要な動画像が挿入されることがない。
【実施例３】
【００６１】
図４に示す制御動作では、動画像撮影中の静止画撮影後にシャッタボタンを半押しに維持すると、動画像記録が行なわれない。例えば、シャッタチャンスを狙って、長時間半押しを維持している場合、常に動画像の記録が行なわれないことになる。これに対し、半押し状態が維持される場合、短い動画を記録しないようにしてもよい。図６は、そのような動作を実現する、ＤＳＰ／ＣＰＵ１による制御の動作フローチャートを示す。
【００６２】
ＤＳＰ／ＣＰＵ１は、ユニット回路４及びＴＧ３を動画撮影用の駆動モードに切り替え、動画禁止フラグをＦＡＬＳＥ（偽）にセットする（Ｓ６０１）。さらに、バッファメモリとして必要な領域をＤＲＡＭ９に確保し、インターフェース１１により外部メモリ１２に動画ファイルを生成するなどの動画撮影準備を行なわせる。
【００６３】
続いて、ＤＳＰ／ＣＰＵ１は、撮影された動画が一定フレーム数以上（例えば３０フレーム）のものであるかをカウントするカウンタを初期化する（Ｓ６０２）。
【００６４】
ＤＳＰ／ＣＰＵ１は、撮像素子２からユニット回路４を経由してＡ／Ｄ変換されたＲＡＷデータを読み出す（Ｓ６０３）。読み出したＲＡＷデータはＤＳＰ／ＣＰＵ１によって現像され、ＹＵＶデータに変換される（Ｓ６０４）。この画像データは、モニタ用に表示デバイス７により表示される（Ｓ６０５）。
【００６５】
ＤＳＰ／ＣＰＵ１は、音声処理部６から音声データを取得し（Ｓ６０６）、先ほどの画像データとあわせて動画像用にエンコードし、記録すべき符号化データを生成する（Ｓ６０７）。
【００６６】
動画禁止フラグがＴＲＵＥ（真）の場合（Ｓ６３２）、ＤＳＰ／ＣＰＵ１は、シャッタボタンが半押し状態か否かを判断する（Ｓ６３３）。半押し状態の場合（Ｓ６３３）、ＤＳＰ／ＣＰＵ１は、カウンタ値を所定の閾値と比較し（Ｓ６０８）、閾値以下であれば、符号化データはバッファ（ＤＲＡＭ９）に保存し（Ｓ６１３）、カウンタ値をインクリメントする（Ｓ６１４）。
【００６７】
カウンタ値が閾値を超えている場合（Ｓ６０８）、又は、動画禁止フラグがＦＡＬＳＥである場合（Ｓ６３２）、ＤＳＰ／ＣＰＵ１は、バッファが空か否かを判断する（Ｓ６０９）。バッファが空の場合（Ｓ６０９）、ＤＳＰ／ＣＰＵ１は、ステップＳ６０７で符号化した動画像データを外部メモリ１２に記録する（Ｓ６１２）。バッファが空でない場合（Ｓ６０９）、ＤＳＰ／ＣＰＵ１は、バッファの内容を保存してからバッファをクリアし（Ｓ６１０，Ｓ６１１）、ステップＳ６０７で符号化した動画像データを外部メモリ１２に記録する（Ｓ６１２）。
【００６８】
また、半押し状態でない場合（Ｓ６３３）、ＤＳＰ／ＣＰＵ１は、動画禁止フラグをＦＡＬＳＥ（偽）に変更し（Ｓ６３４）、バッファが空か否かを判断する（Ｓ６０９）。バッファが空の場合（Ｓ６０９）、ＤＳＰ／ＣＰＵ１は、ステップＳ６０７で符号化した動画像データを外部メモリ１２に記録する（Ｓ６１２）。バッファが空でない場合（Ｓ６０９）、ＤＳＰ／ＣＰＵ１は、バッファの内容を保存してからバッファをクリアし（Ｓ６１０，Ｓ６１１）、ステップＳ６０７で符号化した動画像データを外部メモリ１２に記録する（Ｓ６１２）。
【００６９】
静止画撮影イベントがあるまで（Ｓ６１５）、ＤＳＰ／ＣＰＵ１は、ステップＳ６０３以降を繰り返す。静止画撮影イベントがあると（Ｓ６１５）、ＤＳＰ／ＣＰＵ１は、静止画撮影モードに移行し、撮影された静止画の記録及び代替フレームの記録を実行する（Ｓ６１６〜Ｓ６２８）。ステップＳ６１６〜Ｓ６２７の動作は、図２のステップＳ２１６〜Ｓ２２７の動作と同じである。ステップＳ６２７の後、ＤＳＰ／ＣＰＵ１は、動画禁止フラグをＴＲＵＥに変更して（Ｓ６３５）、ステップＳ６０１に戻る。
【００７０】
図７は、従来の方法で録画した動画と、図６に示す動作フローで撮影（録画）した動画の比較例を示す。図７（ａ）は従来例の録画例を示し、図７（ｂ）は図６に示す制御動作での録画例を示す。図６に示す制御により、動画像撮影中に静止画を撮影し、その後もユーザーが静止画を撮影する意思がある場合に、短い動画像が挿入されることがない。
【００７１】
符号化した動画像データを内部バッファに保管し（Ｓ６１３）、必要になったときに外部メモリ１２に記録している（Ｓ６１０）。しかし、先に説明したように、外部メモリ１２に記録しておき、必要に応じて記録済み部分を削除するようにしてもよい。
【００７２】
上述の実施例は説明例であり、動画像の符号化方式及び表示などの処理は、上記実施例に限定されないし、マルチタスク処理でその他の処理と並行に実行できる。これらの変更も、本発明に含まれる。
【００７３】
本発明では、特に動画データと一緒に音声データが記録されている場合、その音声はノイズのように聞こえてしまい、品位が低下した動画像データとなってしまうことも防止できる。また、動画像撮影を開始した直後に静止画撮影を行なった場合でも、動画像データの品位の低下を防止できる。
【図１】
2012029184.tif 000003
【図２】
2012029184.tif 000004
【図３】
2012029184.tif 000005
【図４】
2012029184.tif 000006
【図５】
2012029184.tif 000007
【図６】
2012029184.tif 000008
【図７】
2012029184.tif 000009
【図８】
2012029184.tif 000010