(57)【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
前記記録手段により記録される動画データの画質を設定する設定手段と、
前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御手段は、前記設定手段により設定された画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記記録媒体の記録データレートと前記設定手段により設定された画質に対応したデータレートとの差に基づいて、前記静止画データのデータ量を調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号処理手段は、単位時間あたりＮ画面の前記静止画データを生成し、前記制御手段は、Ｎ画面それぞれの前記静止画データの情報量が同じになるように前記静止画データのデータ量を調整することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記設定手段は、ユーザの操作に応じて複数の画質のうちの何れかを選択することを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記設定手段は更に、前記記録手段により記録される静止画データの画質を設定し、前記制御手段は、前記設定手段により設定された静止画データの画質に基づいて、前記動画データを記録していないときに前記信号処理手段により生成される静止画データのデータ量を調整することを特徴とする請求項１に記載の撮像装置。
【請求項６】
撮像手段と、
前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
前記記録手段により記録される動画データの画質を設定する設定手段と、
前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする撮像装置。
【請求項７】
撮像手段と、
前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
前記記録手段により記録される静止画データの画質を設定する設定手段と、
前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御手段は、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置。
【請求項８】
前記制御手段は、前記記録媒体の記録データレートと前記静止画データのデータ量との差に基づいて前記動画データのデータ量を調整することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記設定手段は、ユーザの操作に応じて複数の所定の画質のうちの何れかを選択することを特徴とする請求項７または８に記載の撮像装置。
【請求項１０】
前記設定手段は更に、前記記録手段により記録される動画データの画質を設定し、
前記制御手段は、前記動画データの記録開始の指示に応じて、前記設定手段により設定された動画データの画質に基づいて前記動画データのデータ量を調整し、前記動画データの記録中における静止画撮影指示に応じて、前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画データのデータ量を調整することを特徴とする請求項７に記載の撮像装置。
【請求項１１】
前記制御手段は、前記記録手段が前記静止画データの記録を終了した場合、前記設定手段により設定された動画データの画質に基づいて前記動画データのデータ量を調整することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮像手段と、
前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
前記記録手段により記録される静止画データの画質を設定する設定手段と、
前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化手段により符号化される動画データのデータ量を調整することを特徴とする撮像装置。
【請求項１３】
撮像手段と、
前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
前記記録手段により記録される動画データの画質と、前記記録手段により記録される静止画データの画質とを、それぞれ設定する設定手段と、
第１のモードと第２のモードとの何れかを選択する選択手段と、
前記選択手段により選択されたモードに応じて、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御手段は、前記第１のモードにおいては、前記設定手段により設定された動画データの画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定手段により設定された静止画データの画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置。
【請求項１４】
前記制御手段は、前記第１のモードにおいて、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記制御手段は、前記第２のモードにおいて、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記動画符号化手段により符号化される動画データのデータ量を調整することを特徴とする請求項１３に記載の撮像装置。
【請求項１６】
撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
前記記録工程において記録される動画データの画質を設定する設定工程と、
前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御工程においては、前記設定工程において設定された画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする撮像装置の制御方法。
【請求項１７】
撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
前記記録工程において記録される動画データの画質を設定する設定工程と、
前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化工程において符号化される静止画データのデータ量を調整することを特徴とする撮像装置の制御方法。
【請求項１８】
撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
前記記録工程において記録される静止画データの画質を設定する設定工程と、
前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御工程においては、前記設定工程において設定された画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置の制御方法。
【請求項１９】
撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
前記記録工程において記録される静止画データの画質を設定する設定工程と、
前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化工程において符号化される動画データのデータ量を調整することを特徴とする撮像装置の制御方法。
【請求項２０】
撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
前記記録工程において記録される動画データの画質と、前記記録工程において記録される静止画データの画質とを、それぞれ設定する設定工程と、
第１のモードと第２のモードとの何れかを選択する選択工程と、
前記選択工程において選択されたモードに応じて、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
前記制御工程は、前記第１のモードにおいては、前記設定工程において設定された動画データの画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定工程において設定された静止画データの画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関し、特に、動画と静止画とを撮影するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、画像を撮影してメモリカードなどの記録媒体に記録するビデオカメラが知られている。ビデオカメラにおいては、近年、撮像素子の多画素化が進み、動画に加えて高精細な静止画を撮影することが可能となってきた。また、動画の撮影中に静止画を撮影することができるビデオカメラもある。このビデオカメラでは、動画の記録中にシャッターボタンが押されると、静止画を撮影することができる。
【０００３】
例えば、特許文献１に開示されているビデオカメラは、ＭＰＥＧ方式を用いて動画を符号化して記録する。そして、動画の記録中に静止画像の撮影指示があると、イントラ（Ｉ）フレームとして動画を符号化する。さらに、Ｉフレームを静止画データとしてメモリに記憶しておき、動画の撮影が終了した後に、記録媒体に静止画データを記録している。
【０００４】
また、特許文献２に記載のビデオカメラでは、静止画用のバッファメモリを備えている。そして、動画を記録している時に静止画の撮影要求があった場合に、静止画データをバッファメモリに一旦記憶する。そして、動画データの記録が終了すると、バッファメモリから静止画データを読み出して、記録媒体に記録する。
【０００５】
さらに、特許文献３に記載の画像記録装置では、動画データを第１の記録媒体に記録する。そして、動画データを記録している時に静止画の撮影要求があった場合、静止画データを第２の記録媒体に記録する。そして、動画データの記録が終了した後に、第２の記録媒体に記録された静止画データを第１の記録媒体にコピーしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−２８４０５８号公報
【特許文献２】特開平９−２３３４１０号公報
【特許文献３】特開２００５−１２３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、動画の撮影中に静止画撮影が指示されたフレームをＩフレームとして記録する。このため、動画データを再生する時の画質を劣化させるという問題点があった。
【０００８】
また、特許文献２では、動画の撮影中に静止画の撮影が指示されると、バッファメモリに静止画データを記憶し、動画の撮影が終了した後に記録媒体に記録する。しかし、動画の撮影中にバッファメモリの空き容量が無くなると、それ以上静止画を撮影することができなくなるという問題点があった。また、動画の撮影が終了した後にバッファに記憶された静止画データを記録媒体に記録するため、記録媒体に静止画データを記録し終わるまで、ユーザは、撮影など次の操作をすぐに行うことができないという問題点があった。
【０００９】
さらに、特許文献３では、動画の撮影中に静止画の撮影が指示されると、動画データを記録している記録媒体とは別の記録媒体に静止画データを記録する。そして、動画の撮影が終了した後に別の記録媒体に記録されている静止画データを動画データが記録された記録媒体に記録する。このため、動画の撮影停止後、動画データが記録された記録媒体に静止画データを記録し終わるまで、ユーザは、撮影など次の操作をすぐに行うことができないという問題点があった。また、そもそも複数の記録媒体に対して動画と静止画とを記録できなければならない。
【００１０】
この様に、前記特許文献１〜３に記載の技術では、動画の撮影中に静止画の撮影指示があると、撮影した静止画を一旦バッファメモリに蓄積し、動画の記録が終了した後に静止画を記録している。このため、動画の撮影中に、静止画用のバッファメモリの空き容量がなくなった場合、それ以上静止画を撮影できないという制約や、動画の記録が終了した後に次の操作を行うことができないといった制約が生じる。そのため、非常に使い勝手が悪いものであった。
【００１１】
本発明は前述の問題点に鑑み、動画と静止画とを記録する場合の使い勝手を向上させることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の撮像装置は、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される動画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記設定手段により設定された画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される動画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される静止画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される静止画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化手段により符号化される動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される動画データの画質と、前記記録手段により記録される静止画データの画質とを、それぞれ設定する設定手段と、第１のモードと第２のモードとの何れかを選択する選択手段と、前記選択手段により選択されたモードに応じて、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記第１のモードにおいては、前記設定手段により設定された動画データの画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定手段により設定された静止画データの画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする。
本発明の撮像装置の制御方法は、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される動画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程においては、前記設定工程において設定された画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法の他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される動画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化工程において符号化される静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法のその他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される静止画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程においては、前記設定工程において設定された画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法のその他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される静止画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化工程において符号化される動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法のその他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される動画データの画質と、前記記録工程において記録される静止画データの画質とを、それぞれ設定する設定工程と、第１のモードと第２のモードとの何れかを選択する選択工程と、前記選択工程において選択されたモードに応じて、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程は、前記第１のモードにおいては、前記設定工程において設定された動画データの画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定工程において設定された静止画データの画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動画と静止画とを撮影する場合における使い勝手がよくなる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】動画符号化部の構成を示すブロック図である。
【図３】静止画符号化部の構成を示すブロック図である。
【図４】静止画符号化部の構成を示すブロック図である。
【図５】静止画符号化部の構成を示すブロック図である。
【図６】動画の画質モード設定処理を示すフローチャートである。
【図７】記録処理を示すフローチャートである。
【図８】静止画記録処理を示すフローチャートである。
【図９】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図１０】記録処理を示すフローチャートである。
【図１１】静止画符号化処理を示すフローチャートである。
【図１２】記録処理を示すフローチャートである。
【図１３】静止画符号化部を示すブロック図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
本発明の第１の実施形態について図１を参照しながら説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、撮像部１０１は、ＣＣＤなどの撮像素子、画像信号をデジタル信号に変換するＡＤ変換器などを有する。撮像部１０１は、被写体像を撮影し、動画データを出力する。動画信号処理部１０２は、撮像部１０１から出力された動画データに対し、後述の如く必要な処理を施す。動画符号化部１０３は、動画信号処理部１０２から出力された動画データを受け、公知の符号化方式により動画データを符号化してその情報量を圧縮する。
【００１６】
マルチプレクサ１０４は、動画符号化部１０３からの動画データと、静止画符号化部１０８からの静止画データとの何れか一方を選択し、記録処理部１０５に出力する。記録処理部１０５は、マルチプレクサ１０４から出力された動画データ、或いは静止画データに対し、必要な処理を施し、記録するのに適した形式に変換して記録媒体１０６に記録する。
【００１７】
記録媒体１０６はランダムアクセスな記録媒体であり、例えば、メモリカードやハードディスクドライブ（ＨＤＤ）、光ディスクなどを含む。また、本実施形態では、記録媒体１０６の記録データレートは、動画データのデータレートよりも高く、記録媒体１０６として大容量ＨＤＤを用いる。さらに、本実施形態では、記録媒体１０６として、ＨＤＤが撮像装置１００の本体に内蔵されており、容易に取り出せない構成としているが、不図示のメカニズムなどにより、ＨＤＤを容易に交換できるようにしてもよい。
【００１８】
静止画信号処理部１０７は、システム制御部１１１からの静止画の撮影指示に従い、撮像部１０１から出力された動画データのうちの１フレームを静止画として選択し、静止画データを生成する。そして、選択したフレームの静止画データに対して必要な処理を施して静止画符号化部１０８に出力する。静止画符号化部１０８は、静止画信号処理部１０７から出力された静止画データを公知の符号化方式により符号化し、その情報量を圧縮する。
【００１９】
符号量制御部１０９は、後述の如く動画符号化部１０３、静止画符号化部１０８の符号化処理を制御する。表示部１１０は、撮像部１０１から出力された動画データに係る動画像、或いは、静止画の撮影指示に対応する静止画像の他、各種の情報を表示する。
【００２０】
システム制御部１１１は、撮像装置１００各部の動作を制御する。操作部１１２は、電源スイッチや動画の記録開始、停止を指示する動画記録スイッチ、静止画の撮影を指示する静止画記録スイッチなどを含む。また、操作部１１２は、後述の様に、公知のメニュー画面を用いて動画の画質モードや静止画の連写枚数、静止画の画質などを設定するためのメニュースイッチやジョイスティックなどを含む。
【００２１】
本実施形態では、ユーザは、記録する動画像の画質を複数の所定の画質の中から選択することができる。例えば、本実施形態では、標準画質モードと高画質モードとの２つの画質モードを用意しておき、ユーザは何れか一方の画質モードを選択する。ユーザは、記録停止中など、撮影動作中以外のタイミングで操作部１１２を操作することにより、記録する動画の画質モードを選択することができる。
【００２２】
また、高画質モードにおいて記録される動画データのデータレート（単位時間当たりのデータ量）は、標準画質モードにおいて記録される動画データのデータレートとは異なる。即ち、動画符号化部１０３は、高画質モードにおける動画像データのデータレートの上限値を標準画質モードよりも高く設定し、動画データを符号化する。
【００２３】
次に、撮像装置１００による画質モードの設定に伴う動画データのデータレート、及び、動画の撮影中に記録する静止画データのデータ量の設定処理について説明する。図６は、画質モードの設定処理の際に実行される処理を示すフローチャートである。なお、図６の処理は、システム制御部１１１が各部を制御することにより実行される。
【００２４】
前述の様に、ユーザにより動画データの画質モードが選択されると、システム制御部１１１は、設定された画質モードを示す情報を符号量制御部１０９に出力する（Ｓ６０１）。符号量制御部１０９は、システム制御部１１１からの画質モードの情報に基づき、動画データのデータレートＲｍｖ（ビット／秒）を決定し、このＲｍｖの情報を動画符号化部１０３に出力する。前述の様に、各画質モードにおける動画データのデータレートの上限値Ｒｍｖが予め決まっているため、システム制御部１１１は、設定された画質モードに対応するデータレートＲｍｖを決定する。
【００２５】
次に、符号量制御部１０９は、記録処理部１０５が記録媒体１０６にデータを記録する際のデータレートの最大値Ｒｍａｘ（ビット／秒）の情報を取得する（Ｓ６０２）。本実施形態では、記録媒体１０６として、撮像装置１００に内蔵されているＨＤＤを用いるため、このＨＤＤに記録可能なデータレートの最大値は予め記録処理部１０５が保持しているものとする。これ以外にも、例えば、メモリカードなどの交換可能な記録媒体を用いた場合には、記録媒体から、データレートの最大値の情報を読み出すことにより、記録データレートＲｍａｘの情報を取得できる。
【００２６】
次に、符号量制御部１０９は、動画データのデータレートＲｍｖと記録媒体１０６の記録データレートＲｍａｘとに基づいて、動画の撮影中に記録する静止画データの１画面あたりのデータ量Ｖｓｔを以下の様に算出する。
【００２７】
まず、ＲｍａｘからＲｍｖを除いた、残りのデータレートＲｓｔ（ビット／秒）を以下の様に算出する。
Ｒｓｔ＝Ｒｍａｘ−Ｒｍｖ
【００２８】
Ｒｓｔは、動画データの記録中に動画データ以外のデータを記録する場合に、この動画データ以外のデータのデータレートの上限値を示している。ここでは、動画データの記録中に記録するデータを静止画データとする。
【００２９】
さらに、符号量制御部１０９は、Ｒｓｔに基づいて、動画像データの記録中に記録する静止画像データの１画面当たりのデータ量Ｖｓｔ（ビット）を、以下の様に算出する。
Ｖｓｔ＝Ｒｓｔ／Ｎ
【００３０】
ここで、Ｎは撮像装置１００において単位時間当たり、例えば１秒間に撮影可能な静止画の枚数である。本実施形態では、Ｎの値は予め決定されているものとするが、例えば、操作部１１２を設定することにより、上限枚数までの間で任意に変更できるようにしてもよい。この様に、単位時間に撮影されるＮ画面の静止画データのデータ量が、互いに同じデータ量Ｖｓｔとなる。
【００３１】
符号量制御部１０９は、この様にＶｓｔを算出すると、このＶｓｔを示す情報を静止画符号化部１０８に出力する（Ｓ６０３）。
【００３２】
このように、本実施形態では、動画像の画質モードが設定されると、設定された画質モードと記録媒体の記録データレートとに基づいて、動画像データ同時に記録する静止画データの１枚当たりのデータ量Ｖｓｔを決定する。従って、動画データの画質モードを標準画質モードに設定すると、高画質モードよりも、動画の撮影中に記録する静止画データのデータ量が多くなる。即ち、高画質な静止画を撮影することができる。
【００３３】
次に、撮像装置１００による記録動作について説明する。図７は、本実施形態における記録処理を示すフローチャートである。図７の処理は、システム制御部１１１が各部を制御することにより実行される。
【００３４】
操作部１１２により動画の撮影開始が指示されると、システム制御部１１１は、動画データの記録を開始するために各ブロックを制御する（Ｓ７０１）。そして、撮像部１０１から動画データが動画信号処理部１０２に出力される。動画信号処理部１０２は、出力された動画データに対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施し、動画符号化部１０３に出力する。動画符号化部１０３は、供給された動画データを公知の符号化方式に従って符号化する。
【００３５】
本実施形態では、動画符号化部１０３は、ＭＰＥＧ方式により動画データを符号化する。ＭＰＥＧ方式は、フレーム内符号化ピクチャ（Ｉピクチャ）、前方予測フレーム間符号化ピクチャ（Ｐピクチャ）、及び双方向予測フレーム間符号化ピクチャ（Ｂピクチャ）を用いて動画データを符号化する方式である。
【００３６】
図２は、動画符号化部１０３の構成を示すブロック図である。
図２において、ブロック化回路２０１は、入力された動画データを水平方向及び垂直方向が８×８画素単位のブロックに分割し、減算器２０２、及び動き補償回路２１０に供給する。
【００３７】
動き補償回路２１０は、符号化するピクチャがＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであるかに応じて、減算器２０２に対して参照データを出力する。即ち、動き補償回路２１０は、Ｉピクチャ（フレーム内符号化ピクチャ）を符号化する際には、０データを減算器２０２に出力する。また、Ｐピクチャ、またはＢピクチャを符号化する際には、メモリ２０９に記憶された参照フレームのデータとブロック化回路２０１から出力されたデータを比較する。そして、最も差分が小さくなるブロックのデータをメモリ２０９から読み出し、参照データとして減算器２０２に出力する。
【００３８】
まず、フレーム内符号化を行う場合について説明する。
この場合、減算器２０２には０データが参照データとして入力されるので、入力された画像データがそのまま直交変換回路２０３に出力される。直交変換回路２０３は、減算器２０２からの動画データをブロック毎に直交変換し、量子化回路２０４に出力する。
【００３９】
符号量制御回路２１１には、符号量制御部１０９から動画データのデータレートＲｍｖの情報が入力される。符号量制御回路２１１は、このＲｍｖに応じて、量子化回路２０４が動画データを量子化する際の量子化ステップの初期値を設定する。量子化回路２０４は、設定された量子化ステップに従って、直交変換回路２０３からの直交変換後のデータをブロック毎に量子化し、符号化回路２０５、及び逆量子化回路２０７に出力する。
【００４０】
逆量子化回路２０７は、量子化回路２０４から出力された量子化後のデータをブロック毎に逆量子化及び逆直交変換し、加算器２０８に出力する。ここで、フレーム内符号化を行う場合、前述の様に動き補償回路２１０からは０データが供給されており、加算器２０８は逆量子化回路２０７からのデータをそのままメモリ２０９に出力する。メモリ２０９は、供給されたフレームのデータが参照フレームのデータとして記憶される。
【００４１】
また、符号化回路２０５は、量子化回路２０４からのデータに対してハフマン符号などを用いて可変長符号化し、バッファメモリ２０６に出力する。バッファメモリ２０６は符号化されたデータを一時蓄積し、所定のタイミングで符号化動画データとしてマルチプレクサ１０４に出力する。
【００４２】
また、符号量制御回路２１１は、バッファメモリ２０６に蓄積されたデータの蓄積速度を監視する。そして、動画データのデータレートが設定された値Ｒｍｖ以下になるように、量子化回路２０４の量子化ステップを制御する。
【００４３】
次に、フレーム間符号化を行う場合について説明する。
この場合、減算器２０２には動き補償回路２１０から参照データが供給される。減算器２０２では、ブロック化回路２０１からのデータから、動き補償回路２１０から供給される参照データを減算して予測誤差を求め直交変換回路２０３に出力する。直交変換回路２０３は、減算器２０２からのデータに対してブロック毎に直交変換を施して量子化回路２０４に出力する。
【００４４】
量子化回路２０４は、符号量制御回路２１１により制御される量子化ステップに従い、直交変換回路２０３からのデータを量子化し、符号化回路２０５及び逆量子化回路２０７に供給する。逆量子化回路２０７は、量子化回路２０４からのデータを逆量子化及び逆直交変換し、加算器２０８に出力する。
【００４５】
フレーム間符号化を行う場合、加算器２０８に対しては、動き補償回路２１０から参照データが供給されている。加算器２０８は、逆量子化回路２０７からのデータに動き補償回路２１０から供給される参照データを加算してメモリ２０９に出力する。これにより、メモリ２０９には、供給されるフレームのデータが参照フレームのデータとして記憶される。なお、フレーム間予測により符号化されるデータのうち、Ｐピクチャのデータだけが参照フレームのデータとしてメモリ２０９に蓄積される。
【００４６】
符号化回路２０５は、量子化回路２０４からのデータに対してハフマン符号などを用いて可変長符号化し、バッファメモリ２０６に出力する。符号量制御回路２１１は、前述の通り、動画データのデータレートがＲｍｖ以下になるように、量子化回路２０４の量子化ステップを制御する。
【００４７】
図１及び図７の説明に戻り、マルチプレクサ１０４は、静止画の撮影指示が無い場合には、動画符号化部１０３からの符号化後動画データを選択し、記録処理部１０５に出力する。記録処理部１０５は、マルチプレクサ１０４から出力された動画データを内部のメモリに一時蓄積する。そして、メモリに蓄積された動画データのデータ量が所定量に達すると、メモリから動画データを読み出し、必要なデータを付加して記録媒体１０６に記録する。メモリに蓄積された動画データが決められたデータ量になると、記録媒体１０６への記録を中止する。この様に、本実施形態では、記録媒体に対し、動画データを間欠的に記録している。
【００４８】
次に、動画データの記録中、操作部１１２から静止画の撮影指示があるかどうかを判別する（Ｓ７０２）。静止画撮影の指示が無い場合、動画の記録停止の指示があったかどうかを判別する（Ｓ７０３）。動画記録停止の指示が無い場合にはＳ７０１に戻り、そのまま動画データの記録を続ける。
【００４９】
一方、動画の記録停止の指示があると、記録媒体１０６に対する動画データの記録を停止する（Ｓ７０４）。本実施形態では、動画データをファイルとして記録し、記録開始の指示から記録停止の指示までの間に記録した１シーンの動画データを１つのファイルとして管理する。
【００５０】
次に、Ｓ７０２で、動画の撮影中に静止画の撮影指示があった場合の処理について説明する。動画の記録中に静止画撮影の指示があると、Ｓ７０５に移行し、静止画記録処理を実行する。
【００５１】
図８は、図７のＳ７０５の静止画記録処理を示すフローチャートである。
静止画撮影の指示があると、システム制御部１１１は、静止画信号処理部１０７に対して静止画撮影を指示する。静止画信号処理部１０７は、静止画撮影の指示があると、撮像部１０１から出力されている動画データのうち、静止画撮影の指示に応じたタイミングで１画面のデータを選択し、内部のメモリに一時蓄積する（Ｓ８０１）。そして、静止画信号処理部１０７は、メモリに蓄積した１画面の静止画データに対し、撮像部１０１から出力される画像信号に対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施して、静止画符号化部１０８に出力する。
【００５２】
次に、静止画符号化部１０８は、入力した静止画データを公知の符号化方式に従って符号化する。本実施形態では、静止画符号化部１０８は、ＪＰＥＧ方式に従って静止画データを符号化する。
【００５３】
図３は、静止画符号化部１０８の構成を示すブロック図である。
図３において、ブロック化回路３０１は、入力された静止画データを水平方向及び垂直方向で８×８画素単位のブロックに分割し、直交変換回路３０２に出力する。直交変換回路３０２は、静止画データをブロック毎に直交変換してメモリ３０３に蓄積する。
【００５４】
符号量制御回路３０７には、符号量制御部１０９から静止画データの１枚当たりのデータ量Ｖｓｔの情報が入力される。符号量制御回路３０７は、静止画のサイズ（画素数）、１画素当たりのビット幅等を考慮して、量子化回路３０４に対して、量子化ステップの初期値を設定する。
【００５５】
量子化回路３０４は、メモリ３０３から直交変換された静止画データを読み出す。そして、符号量制御回路３０７の指示に従って、直交変換された静止画データをブロック毎に量子化し、符号化回路３０５に供給する。符号化回路３０５は、量子化された静止画データをブロック毎に可変長符号化し、バッファメモリ３０６に蓄積する。また、符号化の際の符号長についての情報を符号量制御回路３０７に出力する（Ｓ８０２）。
【００５６】
次に、符号量制御回路３０７は、符号化回路３０５から出力される情報に応じて、１枚当たりの静止画データのデータ量を算出する（Ｓ８０３）。そして、算出したデータ量が、設定されたデータ量Ｖｓｔを上回っているかどうか判別する（Ｓ８０４）。
【００５７】
算出したデータ量が、設定されたデータ量Ｖｓｔを上回っていた場合は、符号量制御回路３０７は、量子化回路３０４の量子化ステップを大きくする（Ｓ８０７）。そして、再度、直交変換された静止画データをメモリ３０３から読み出し、量子化及び符号化を行い（Ｓ８０８）、Ｓ８０３に戻ってデータ量を算出する。このように、撮影された静止画データのデータ量が設定されたデータ量Ｖｓｔ以下になるように符号化する。
【００５８】
一方、静止画データのデータ量がＶｓｔ以下になった場合は（Ｓ８０４でＹＥＳ）、符号量制御回路３０７は、バッファメモリ３０６から符号化された静止画データを読み出し、マルチプレクサ１０４に出力する（Ｓ８０５）。
【００５９】
次に、マルチプレクサ１０４は、システム制御部１１１から静止画撮影の指示を受け、静止画符号化部１０８から前記の様に符号化された静止画データが出力されると、この静止画データを選択して記録処理部１０５に出力する。そして、記録処理部１０５は、マルチプレクサ１０４から出力された静止画データをメモリに一時蓄積する。そして、動画データの記録を行っていない所定のタイミングで静止画データをメモリから読み出し、記録媒体１０６に記録する（Ｓ８０６）。なお、本実施形態では、１回の静止画撮影指示によって記録される１画面の静止がデータを１つのファイルとして管理する。
【００６０】
以上のように本実施形態によれば、記録媒体１０６の記録データレートと、記録する動画データのデータレートとに基づいて、動画の撮影中に記録する静止画データのデータ量を決定する。そのため、動画データを記録しながら静止画データを記録することができるとともに、静止画像の最小撮影間隔を保証することができるようになる。
【００６１】
従って、１シーンの動画の撮影中に静止画撮影指示があっても、撮影した静止画データを動画の撮影終了まで記憶しておくためのバッファメモリが不要となる。また、動画の撮影中に撮影できる静止画の枚数の制限が無くなる。
【００６２】
また、動画の撮影が終了した後に静止画データを記録せずに済むので、ユーザは、動画の撮影終了後、すぐに次の操作を行うことができる。さらに、ユーザが設定した画質モードに従って動画データのデータレートを決めるので、１シーンの中で動画データの符号量のばらつきを抑え、良好な画質を得ることができる。
【００６３】
なお、本実施形態において、動画データの記録中に静止画像データを記録する場合には、静止画データのデータ量をＶｓｔ以下となるように符号化した。一方、本実施形態では、動画データの記録中以外にも静止画データを記録することができる。即ち、記録停止状態において、ユーザが操作部１１２を操作して静止画の撮影を指示すると、システム制御部１１１が静止画信号処理部１０７と静止画符号化部１０８を制御して、１画面の静止画データを生成し、符号化する。そして、この静止画データを記録処理部１０５により記録媒体１０６に記録する。
【００６４】
このとき、静止画データのデータ量は、動画データの画質（データレート）に無関係に設定する。即ち、静止画データのデータ量を所定のデータ量としてもよい。或いは、動画データの画質モードとは別に、静止画像のみを記録する場合の静止画像データの画質モードをユーザが設定できるようにしてもよい。システム制御部１１１は、この様に、静止画のみを記録する場合の静止画データの画質モードに従い、静止画データのデータ量を調整する。
【００６５】
また、本実施形態では、動画データの画質モードとして、２種類のモードを用意したが、これに限らず、３つ以上の画質モードを用意し、ユーザが画質モードを選択できるようにしてもよい。
【００６６】
（第２の実施形態）
本実施形態では、静止画符号化部１０８が、符号量算出回路を複数備える構成とした。
図４は、本実施形態の静止画符号化部１０８の構成を示すブロック図である。なお、撮像装置の全体構成及び動画符号化回路の構成については第１の実施形態と同様である。以下、第１の実施形態と異なる箇所のみ説明する。
【００６７】
図４において、符号量算出回路４０７ａ〜４０７ｃはそれぞれ、直交変換された静止画データを異なる量子化ステップで量子化した場合の符号量を算出する回路である。それぞれの符号量算出回路４０７ａ〜４０７ｃは、メモリ４０３から直交変換された静止画データを読み出して、ブロック毎に各々量子化する。本実施形態では、符号量制御回路４０８は、Ｖｓｔに基づいて、それぞれの符号量算出回路４０７ａ〜４０７ｃに対し、それぞれ異なる量子化ステップを設定する。
【００６８】
符号量算出回路４０７ａ〜４０７ｃはそれぞれ、量子化したデータを可変長符号化し、静止画データの１枚の符号量を算出する。そして、符号量算出回路４０７ａ〜４０７ｃはそれぞれ、算出した符号量の情報を符号量制御回路４０８に出力する。
【００６９】
符号量制御回路４０８は、符号量算出回路４０７ａ〜４０７ｃによって符号量が算出された静止画データのうち、符号量がＶｓｔ以下で、かつ符号量が大きいものを選択する。そして、選択した静止画データを符号化するために設定した量子化ステップを量子化回路４０４に設定する。量子化回路４０４は、メモリ４０３から直交変換された静止画データを読み出して量子化し、符号化回路４０５に出力する。
【００７０】
符号化回路４０５は、入力されたデータを可変長符号化してバッファメモリ４０６に出力し、符号化データを記憶する。バッファメモリ４０６に記憶されたデータは、マルチプレクサ１０４に出力される。
【００７１】
以上のように、本実施形態によれば、静止画データの符号量の見積もりを並列に実行するようにしたので、静止画データの符号化に要する時間を短縮することが可能になる。そのため、動画の撮影中における静止画の撮影間隔を短くすることが可能になる。
【００７２】
なお、図４では、３つの符号量算出回路４０７ａ〜４０７ｃを備え、各符号量算出回路によって静止画データの符号量の見積もりを並列に実行する構成とした。これ以外にも、２つ、或いは４つ以上の符号量算出回路を備える構成としてもよい。
【００７３】
（第３の実施形態）
本実施形態では、第１及び第２の実施形態とは異なる構成の静止画像符号化回路の場合について説明する。
図５は、本実施形態の静止画符号化部１０８の構成を示すブロック図である。なお、撮像装置の全体構成及び動画像符号化回路の構成については第１の実施形態と同様である。以下、第１の実施形態と異なる箇所のみ説明する。
【００７４】
図５において、量子化回路５０４ａ〜５０４ｃはそれぞれ、メモリ５０３から直交変換された静止画データを読み出して、ブロック毎に各々量子化する。本実施形態では、符号量制御回路５０８は、Ｖｓｔに基づいて、それぞれの量子化回路５０４ａ〜５０４ｃに対し、それぞれ異なる量子化ステップを設定する。
【００７５】
符号化回路５０５ａ〜５０５ｃはそれぞれ、入力したデータを可変長符号化し、符号化したデータをバッファメモリ５０６ａ〜５０６ｃに記憶する。また、符号化回路５０５ａ〜５０５ｃはそれぞれ、符号長の情報を符号量制御回路５０８に出力する。符号量制御回路５０８は、符号化回路５０５ａ〜５０５ｃ毎に、静止画データの１枚の符号量を算出する。
【００７６】
また、符号量制御回路５０８は、符号化回路５０５ａ〜５０５ｃにより符号化された静止画データのうち、データ量がＶｓｔ以下で、かつ符号量が大きいものを選択する。そして、セレクタ５０７を制御し、バッファメモリ５０６ａ〜５０６ｃのうち、選択した静止画データを記憶したバッファメモリから静止画データを読み出し、マルチプレクサ１０４に出力する。
【００７７】
以上のように本実施形態によれば、静止画像データの符号量の見積もりを並列に実行するとともに、その時の符号化データをバッファメモリに記憶するようにした。これにより、静止画像データの符号化に要する時間をさらに短縮することが可能になり、動画像の撮影中における静止画像の撮影間隔を短くすることが可能になる。
【００７８】
なお、図５では、３つの量子化回路５０４ａ〜５０４ｃを備え、各量子化回路によって並列に静止画データを量子化する構成とした。これ以外にも、２つ、或いは４つ以上の量子化回路を備える構成としてもよい。
【００７９】
（第４の実施形態）
本実施形態では、動画の撮影中に記録する静止画の画質（データ量）をユーザが任意に設定できるようにした。
図９は、本実施形態に係る撮像装置１００ａの構成例を示すブロック図である。図９の撮像装置１００ａは、図１の撮像装置１００と同様の機能ブロックを備え、同様に、動画、静止画の撮影機能を持つ。以下、第１の実施形態と異なる箇所について説明する。
【００８０】
本実施形態では、ユーザは、操作部１１２を操作することにより、動画の撮影中に記録する静止画データの画質を設定することができる。例えば、本実施形態では、静止画の画質モードとして、標準画質モードと高画質モードとの２つの画質モードを用意しておき、ユーザは何れか一方の画質モードを選択する。ユーザは、記録停止中など、撮影動作中以外のタイミングで操作部１１２を操作することにより、記録する静止画の画質モードを選択することができる。
【００８１】
システム制御部１１１は、ユーザにより選択された画質モードの情報を符号量制御部１０９ａに出力する。符号量制御部１０９ａは、システム制御部１１１からの静止画の画質モードの情報に基づいて、動画の撮影中に記録する静止画データの量子化ステップを決定し、静止画符号化部１０８ａに出力する。
【００８２】
また、符号量制御部１０９ａは、第１の実施形態と同様、ユーザが選択した動画データの画質モードに従って動画データのデータレートＲｍｖを決定し、動画符号化部１０３に出力する。さらに、符号量制御部１０９ａは、記録媒体１０６の記録データレートＲｍａｘの情報を取得する。
【００８３】
次に、撮像装置１００による記録動作について説明する。図１０は、本実施形態における記録処理を示すフローチャートである。図１０の処理は、システム制御部１１１が各部を制御することにより実行される。
【００８４】
システム制御部１１１は、操作部１１２より動画の撮影開始の指示があると、各部を制御して動画データの符号化、及び記録処理を開始する（Ｓ１００１）。このとき、第１の実施形態と同様、符号量制御部１０９ａは動画データのデータレートＲｍｖの情報を動画符号化部１０３に出力する。動画符号化部１０３は、符号化される動画データのデータレートがＲｍｖを超えない様に符号量を調整する。
【００８５】
そして、この様に動画データを記録中に、操作部１１２から静止画の撮影指示があるかどうかを判別する（Ｓ１００２）。静止画撮影の指示が無い場合は、動画の記録停止の指示があったかどうかを判別する（Ｓ１０１０）。記録停止の指示が無い場合にはＳ１００１に戻り、そのまま動画データの記録を続ける。また、動画の記録停止の指示があると、記録媒体１０６に対する動画データの記録を停止する（Ｓ１０１１）。
【００８６】
次に、Ｓ１００２で、動画の撮影中に静止画の撮影指示があった場合の処理について説明する。動画の記録中に静止画撮影の指示があると、Ｓ１００３に移行し、静止画符号化処理を実行する。
【００８７】
図１３は、本実施形態における静止画符号化部１０８ａの構成を示す図である。なお、図１３において、図３と同様の構成については同一番号を付加し、その詳細な説明は省略する。また、図１１は、Ｓ１００３の静止画記録処理を示すフローチャートである。
図１１において、静止画撮影の指示があると、システム制御部１１１は、静止画信号処理部１０７に対して静止画撮影を指示する。静止画信号処理部１０７は、静止画撮影の指示があると、撮像部１０１から出力されている動画データのうち、静止画撮影の指示に応じたタイミングで１画面のデータを選択し、内部のメモリに一時蓄積する（Ｓ１１０１）。そして、静止画信号処理部１０７は、メモリに蓄積した１画面の静止画データに対し、撮像部１０１から出力される画像信号に対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施して、静止画符号化部１０８ａに出力する。
【００８８】
静止画符号化部１０８ａの符号量制御回路１３０７は、前記の様に符号量制御部１０９ａより入力した静止画の画質モードの情報に基づき、量子化回路３０４における量子化ステップを設定する（Ｓ１１０２）。そして、静止画符号化部１０８ａは、設定された量子化ステップに従い、前述の様に静止画データを符号化し（Ｓ１１０３）、符号化した静止画データをバッファメモリ３０６に保存する（Ｓ１１０４）。
【００８９】
また、本実施形態では、符号量制御回路１３０７は、符号化回路３０５より、静止画データの符号化結果を順次取得し、一画面の静止画データのデータ量Ｓｖを算出する。そして、このＳｖ（ビット）の情報を符号量制御部１０９ａに出力する。
【００９０】
この様に図１０のＳ１００３において静止画データの符号化が終了すると、図１０のＳ１００４に進み、符号量制御部１０９ａは、静止画符号化部１０８ａより静止画データのデータ量Ｓｖの情報を取得する（Ｓ１００４）。そして、このデータ量Ｓｖに応じて、動画データのデータレートＲｍｖを変更するか否かを判別する（Ｓ１００５）。
【００９１】
このとき、まず、符号量制御部１０９ａは、例えば、静止画を撮影する間隔Ｎが１に設定されている場合、下記の式を満たすかどうかを判別する。
Ｒｍａｘ−Ｒｍｖ＞Ｓｖ
【００９２】
即ち、記録媒体の記録データレートから動画データのデータレートを引いた残りが、静止画データのデータ量Ｓｖよりも大きいかどうかを判別する。前記の式を満たしている場合、動画像データのデータレートＲｍｖを変更すること無く、動画データの記録中に静止画データを記録することができると判断し、Ｓ１０１０に進む。
【００９３】
一方、ステップＳ１００５において、静止画データのデータ量Ｓｖが、
Ｒｍａｘ−Ｒｍｖ≦Ｓｖ
である場合、動画データの記録中に静止画データを記録するためには、動画データのデータレートを現在よりも下げる必要があると判断し、Ｓ１００６に進む。そして、以下の様に動画データのデータレートＲｍｖ'を算出する。
Ｒｍｖ'＝Ｒｍｖ×α（ただし、０＜α＜１）
【００９４】
そして、動画データのデータレートをＲｍｖ'に変更するよう、動画符号化部１０３に対し、Ｒｍｖ'の情報を出力する（Ｓ１００６）。なお、αの値が極端に小さいと、動画の画質が著しく低下するため、概ね０．７〜０．９程度とすることが望ましい。
【００９５】
動画符号化部１０３は、符号化された動画データのデータレートが新たに設定されたＲｍｖ'を超えないよう、動画データを符号化する。そして、記録処理部１０５は、マルチプレクサ１０４を介してバッファメモリ３０６に保存されている静止画データを読み出し、この静止画データと符号化された動画データとを記録媒体１０６に記録する（Ｓ１００７）。
【００９６】
そして、静止画データの記録を開始した後、静止画データの記録が終了するのを待つ（Ｓ１００８）。静止画の記録が終了すると、動画データのデータレートを変更前のＲｍｖに戻し、このＲｍｖの情報を動画符号化部１０３に出力する。すると、動画符号化部１０３は、再び、動画データのデータレートがＲｍｖを超えない様に符号化し、記録処理部１０５は、符号化された動画データを記録媒体１０６に記録する（Ｓ１００９）。
【００９７】
この様に静止画データを記録した場合、データ量Ｓｖの静止画データを記録し終わるまでの時間Ｔは、
Ｔ＝Ｓｖ／（Ｒｍａｘ−Ｒｍｖ×α）  （秒）
となる。
【００９８】
以上説明した様に、本実施形態によれば、動画の撮影中に記録する静止画データの画質をユーザが予め設定しておく。そして、動画の撮影中に静止画撮影の指示があると、符号化された静止画データのデータ量に基づいて動画データのデータレートを変更して動画データ及び静止画データを記録する。このため、動画の撮影中に静止画撮影の指示があった場合に、動画を記録しながら、ユーザが設定した画質の静止画を記録できる。
【００９９】
また、１シーンの動画の撮影中に静止画撮影の指示があっても、撮影した静止画データを動画の撮影終了まで記憶しておくためのバッファメモリが不要となる。また、動画の撮影中に撮影できる静止画の枚数の制限が無くなる。
【０１００】
また、動画の撮影が終了した後に静止画データを記録せずに済むので、ユーザは、動画の撮影終了後、すぐに次の操作を行うことができる。さらに、動画の撮影中に静止画を撮影する場合に、動画のデータレートを下げたく無い場合は、静止画の画質を低く設定すればよい。
【０１０１】
なお、本実施形態では、動画の撮影中に記録する静止画の画質モードとして、２種類のモードを用意したが、これに限らず、３つ以上の画質モードを用意し、ユーザが画質モードを選択できるようにしてもよい。
【０１０２】
（第５の実施形態）
第１〜第３の実施形態では、動画の撮影中に静止画を撮影する場合に、動画データのデータレートは変えずに、静止画データのデータ量を設定した。一方、第４の実施形態では、動画の撮影中に静止画を撮影する場合に、設定された静止画データの画質（データ量）は変えずに、動画データのデータレートを設定した。
【０１０３】
これに対して本実施形態では、動画の撮影中に静止画を撮影する場合に、動画のデータレートは変えずに静止画のデータ量を設定する第１のモードと、静止画の画質を変えずに動画のデータレートを設定する第２のモードとを備える。そして、ユーザが、これらの第１、及び第２のモードの何れかを選択し、設定できるようにした。
【０１０４】
なお、本実施形態における撮像装置の構成は、図１に記載の撮像装置１００に図９に記載の撮像装置１００ａの機能を付加したものと同様であり、また、基本的な記録処理も同様である。即ち、ユーザは、操作部１１２により、記録する動画データの画質モードを設定すると共に、動画の撮影中に記録する静止画の画質モードも設定する。また、ユーザは操作部１１２を操作することにより、前記の第１のモード（動画優先モード）と第２のモード（静止画優先モード）とを選択する。そして、システム制御部１１１は、動画の撮影中に静止画撮影の指示があると、ユーザが設定したモードに応じて各部を制御する。
【０１０５】
図１２は、本実施形態における記録処理を示すフローチャートである。なお、図１２の処理は、システム制御部１１１が各部を制御することにより実行される。
ユーザにより、動画の記録開始が指示されると、システム制御部１１１は、動画優先モード、静止画優先モードの何れが選択されているかを判別する（Ｓ１２０１）。動画優先モードが選択されていた場合、Ｓ１２０２の動画優先モード処理を実行する。この動画優先モード処理においては、第１の実施形態にて説明した図７、図８の処理と同様の処理を実行する。
【０１０６】
一方、静止画優先モードが選択されていた場合、Ｓ１２０３の静止画優先モード処理を実行する。この静止画優先モード処理においては、第４の実施形態において説明した図１０、図１１の処理と同様の処理を実行する。
【０１０７】
（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【０１０８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１０９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図６〜図８、図１０〜図１２）に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１１０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１１１】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【０１１２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【０１１３】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１１４】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１１６】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【符号の説明】
【０１１７】
１００  撮像装置
１０１  撮像部
１０２  動画信号処理部
１０３  動画符号化部
１０４  マルチプレクサ
１０５  記録処理部
１０６  記録媒体
１０７  静止画信号処理部
１０８  静止画符号化部
１０９  符号量制御部
１１０  表示部
１１１  システム制御部
１１２  操作部
【図１】
0005230483.tif 000002
【図２】
0005230483.tif 000003
【図３】
0005230483.tif 000004
【図４】
0005230483.tif 000005
【図５】
0005230483.tif 000006
【図６】
0005230483.tif 000007
【図７】
0005230483.tif 000008
【図８】
0005230483.tif 000009
【図９】
0005230483.tif 000010
【図１０】
0005230483.tif 000011
【図１１】
0005230483.tif 000012
【図１２】
0005230483.tif 000013
【図１３】
0005230483.tif 000014