(57)【要約】  画像データ（静止画データ）の符号化を行うことによって動画データを作成する。間欠記録モードが設定されている場合に、エンコーダ（画像圧縮部４２）によって作成された複数の動画データをマージして１つの間欠動画データを記録する。間欠記録モードにおいて、画像データの符号化が完了する都度エンコーダへの給電を停止する。エンコーダへの給電停止後、次に画像データの符号化を行う必要が生じた場合にエンコーダへの給電を再開する。間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な継続情報をエンコーダへの給電停止中に管理する。
2010032457.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
前記画像データの符号化を行うことによって動画データを作成するエンコーダと、
当該撮像装置の記録モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードを設定する記録モード設定部と、
前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録する記録制御部と、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するとともに、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理する継続情報管理部と、
を備えた、撮像装置。
【請求項２】
前記エンコーダは、当該撮像装置または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダにおけるバッファ占有度をシミュレートしつつ前記画像データの符号化を行うことによって、再生時に前記デコーダのバッファのアンダーフローを回避しうる前記動画データを作成するように構成され、
前記継続情報が、直近の過去の符号化処理の完了時における前記バッファ占有度を特定するための情報を含み、
給電再開後に前記継続情報を参照することによって、前記エンコーダは、直近の過去の符号化処理の完了時における前記バッファ占有度を基準として新たな符号化処理を行う、請求項１に記載の撮像装置。
【請求項３】
前記給電制御部は、前記エンコーダを構成している回路ブロックへのクロック供給を停止することによって給電を停止する、請求項１に記載の撮像装置。
【請求項４】
前記画像生成部によって生成された前記画像データを保存可能な記憶部をさらに備え、
前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得して前記記憶部に一時的に保存するとともに、前記記憶部に保存された時系列の前記静止画データが所定数に到達した場合に、前記エンコーダへの給電を再開すべき旨を前記給電制御部に指示し、
前記給電制御部による給電再開後、前記エンコーダは、符号化されるべき前記画像データとして前記記憶部から時系列の前記静止画データを取得し、それら静止画データを符号化することによって１単位の前記動画データを作成する、請求項１に記載の撮像装置。
【請求項５】
前記記録制御部は、前記エンコーダによって作成された前記動画データを前記記憶部に一時的に保存するとともに、間欠記録を停止すべき旨の契機を取得することに応じて、前記記憶部に保存された複数の前記動画データを用いて前記間欠動画データを作成する、請求項４に記載の撮像装置。
【請求項６】
前記記録制御部は、（i）前記画像データをフレーム単位で符号化することによって、圧縮された前記静止画データを生成する静止画圧縮用エンコーダと、（ii)圧縮された前記静止画データを復号化する静止画伸張用デコーダとを含み、圧縮された前記静止画データを前記記憶部に保存するとともに、給電再開後において、圧縮された前記静止画データを復号化することによって、符号化されるべき前記画像データとしての伸張された静止画データを前記エンコーダのために準備する、請求項４に記載の撮像装置。
【請求項７】
前記記憶部が、当該撮像装置に着脱可能なメモリカードを含む、請求項４に記載の撮像装置。
【請求項８】
前記継続情報は、前記間欠動画データを構成するビットストリームのデコード時刻を特定するためのタイムスタンプをさらに含む、請求項１に記載の撮像装置。
【請求項９】
前記エンコーダによる動画圧縮方式が、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣである、請求項１に記載の撮像装置。
【請求項１０】
前記撮像装置が、バッテリで駆動するビデオカメラである、請求項１に記載の撮像装置。
【請求項１１】
前記画像生成部によって生成された前記画像データと、前記エンコーダが生成した前記動画データとを保存可能な記憶部と、
前記動画データを復号化するデコーダと、をさらに備え、
前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得する一方、
新たな静止画データの取得に応じて前記エンコーダへの給電が再開され、
給電再開後において、前記記憶部上に先に作成された動画データが存在する場合に、先に作成された前記動画データの復号化が前記デコーダによって行われるとともに、復号化によって得られたデータと前記新たな静止画データとを用いて新たな動画データを作成するための符号化処理が前記エンコーダによって行われ、
前記エンコーダによって作成された前記新たな動画データが前記記憶部に再記録される、請求項１に記載の撮像装置。
【請求項１２】
被写体を撮像して画像データを生成するステップと、
前記画像データの符号化を行うことによって動画データを作成するステップと、
前記画像データの符号化を行うエンコーダの動作モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録するステップと、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するステップと、
前記エンコーダへの給電停止後、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理するステップと、
を含む、動画データ作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。特に、被写体を長時間撮影するとともに、撮影により得られた画像を所定の時間間隔で記録する機能を持った撮像装置に関する。本発明は、また、そのような撮像装置に採用できる動画データ作成方法に関する。
【背景技術】
【０００２】
従来、動画データを半導体メモリ等の記録媒体に記録するビデオカメラが知られている。このようなビデオカメラにおいては、ＭＰＥＧ−２（Moving Picture Experts Group Phase 2）およびＨ．２６４／ＡＶＣ（Advanced Video Cording）に代表される圧縮符号化方式を用いて動画データを作成し、作成した動画データを半導体メモリに記録する。【０００３】
この種のビデオカメラは様々な撮影機能を持っていることが多い。その１つに、所定の時間間隔で記録を行うことによって、長時間かけてゆっくり動くシーンを短時間の動画で再現できる間欠記録機能がある。例えば特開２００７−１５９０５６号公報には、間欠記録機能に適用できる符号化装置が開示されている。この符号化装置によると、予め定められた１回の撮影時間内に得られた画像データを１単位として、１単位毎に符号化が完結するようにフレーム間符号化を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１５９０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
間欠記録を行う場合、長時間の撮影が望まれる。持ち運び可能なビデオカメラは、バッテリで駆動されるため、長時間の撮影を行えるよう、撮影時に使用する電力を抑える必要がある。消費電力を抑えるには、必要に応じてシステムの一部、例えばエンコーダを休止させることが有効である。しかし、エンコーダを休止させると連続再生可能な動画データを作成できない可能性がある。【０００６】
本発明は、間欠記録を行う場合においても連続再生可能な動画データを作成できる撮像装置を提供することを目的とする。さらに、本発明は、その撮像装置に採用できる動画データ作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
すなわち、本発明は、
被写体を撮像する撮像部と、
前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
前記画像データの符号化を行うことによって動画データを作成するエンコーダと、
当該撮像装置の記録モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードを設定する記録モード設定部と、
前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて（マージして）、１つの間欠動画データを記録する記録制御部と、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するとともに、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理する継続情報管理部と、
を備えた、撮像装置を提供する。【０００８】
他の側面において、本発明は、
被写体を撮像して画像データを生成するステップと、
前記画像データの符号化を行うことによって動画データを作成するステップと、
前記画像データの符号化を行うエンコーダの動作モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録するステップと、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するステップと、
前記エンコーダへの給電停止後、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理するステップと、
を含む、動画データ作成方法を提供する。
【発明の効果】
【０００９】
本発明では、間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な継続情報をエンコーダへの給電停止中にエンコーダに代わって管理する。給電再開後、エンコーダは、参照した継続情報を次の符号化処理、すなわち次の動画データの作成に反映させうる。これにより、連続再生可能な間欠動画データを作成できる。【００１０】
なお、本明細書では「符号化」および「復号化」をそれぞれ「圧縮」および「伸張」と同じ意味で用いるものとする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１に係る撮像装置の構成を示すブロック図
【図２】間欠記録モードでの動画データの作成方法を示す概略図
【図３】符号化処理においてエンコーダ（画像圧縮部）がシミュレートする仮想デコーダのバッファ占有度の概略図
【図４】給電停止前のバッファ占有度を給電停止後の符号化処理に引き継がない場合の問題点を示す概略図
【図５】図４に示す問題点を本実施形態によって解決できることを示す概略図
【図６】間欠記録モードで実行される処理のフローチャート
【図７】本発明の実施形態２に係る間欠記録のフローチャート
【図８】本発明の実施形態３に係る間欠記録のフローチャート
【図９】本発明の実施形態４に係る間欠記録のフローチャート
【発明を実施するための形態】
【００１２】
当業者に知られているように、エンコーダは、ビットストリーム（画像データの流れ）を復号化するデコーダを破綻させることがないように、符号化されたビットストリームを生成する。ビデオカメラを例にすると、エンコーダで生成されたビットストリームは、メモリカード等のストレージに格納される。再生時において、ストレージから読み出されたビットストリームは、デコーダのバッファに入力される。デコーダは、バッファからビットストリームを取り出して復号化し、画像を再生する。このとき、デコーダのバッファがオーバーフローしたり、アンダーフローしたりしてしまうと、デコーダはビットストリームを正しく復号化できない場合がある。この不具合を未然に防ぐために、エンコーダは、デコーダのバッファをアンダーフローおよびオーバーフローさせないように、ビットストリームを符号化する必要がある。この要求を満たすため、ＭＰＥＧ−２およびＨ．２６４／ＡＶＣでは、「仮想デコーダ」という概念が導入されている。「仮想デコーダ」とは、デコーダの振る舞い、すなわちデコーダのバッファの状態を仮想的にモデル化したものである。エンコーダは、この仮想デコーダを破綻させないように、ビットストリームを生成する必要がある。
【００１３】
エンコーダが常時活動状態にある場合、エンコーダ自身が仮想デコーダの状態を常に把握できるため、バッファの破綻を回避しうる動画データを継続的に作成できる。しかし、消費電力を抑える目的でエンコーダを休止させた場合は、仮想デコーダの継続性が絶たれるので、適正な動画データを作成するのに何らかの措置を講ずる必要がでてくる。
【００１４】
これに対し、以下のような一つの実施形態を提案できる。すなわち、エンコーダは、自身が設けられた撮像装置または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダにおけるバッファ占有度をシミュレートしつつ画像データの符号化を行うことによって、再生時にデコーダのバッファのアンダーフローを回避しうる動画データを作成するように構成されている。継続情報は、直近の過去の符号化処理の完了時におけるバッファ占有度を特定するための情報を含む。給電再開後に継続情報を参照することによって、エンコーダは、直近の過去の符号化処理の完了時におけるバッファ占有度を基準として新たな符号化処理を行う。
【００１５】
上記の構成によれば、給電再開後にエンコーダに継続情報を提供できるように、エンコーダへの給電停止中にエンコーダに代わって仮想デコーダのバッファ占有度を管理する。給電再開後、エンコーダは継続情報を参照することで、直近の過去の符号化処理の完了時における仮想デコーダのバッファ占有度を特定できるとともに、特定したバッファ占有度を基準として新たな符号化処理を行う。このようにすれば、間欠記録モードでエンコーダへの給電を止めたり再開したりしても、再生装置のデコーダのバッファを破綻させない適正な符号化ビットストリームを作成できる。
【００１６】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００１７】
（実施形態１）
１．構成
図１は、本発明の実施形態１に係る撮像装置の構成を示すブロック図であり、詳細には、ビデオカメラの構成を示している。ビデオカメラ１００は、光学系１０、撮像素子２０、ＡＤＣ３０（Analog-Digital Converter）、画像処理部４０、コントローラ７０、バッファ７１、マイクロホン５０、音声処理部６０、システムエンコーダ７２、システムデコーダ７３、カードスロット８１、液晶ディスプレイ８２、スピーカ８３、操作部８４および給電制御部７５を備えている。本発明の実施にこれら全ての要素が不可欠というわけではない。図１はビデオカメラ１００の典型的な構成を表しているに過ぎない。以下、ビデオカメラ１００の構成を詳細に説明する。
【００１８】
光学系１０は、例えば、対物レンズ、ズームレンズ、絞り、ＯＩＳユニット（Optical Image Stabilizer Unit）およびフォーカスレンズを含む。光学系１０は、被写体からの光を集め、被写体像を形成する。撮像素子２０は、光学系１０で形成された被写体像を撮像して、画像データを生成する。撮像素子２０は、典型的には、ＣＭＯＳイメージセンサ（Complementary Metal-Oxide Semiconductor）またはＣＣＤイメージセンサ（Charge-Coupled Device）で構成されている。ＡＤＣ３０は、撮像素子２０で生成された画像データをデジタル信号に変換する。光学系１０、撮像素子２０およびＡＤＣ３０は、画像データを生成する撮像部を構成している。
【００１９】
画像処理部４０は、ＡＤＣ３０で変換された画像データに対して各種の処理を施す。画像処理部４０は、上記撮像部で生成された画像データから、システムエンコーダ７２へ入力するべき画像データを生成したり、液晶ディスプレイ８２に表示するべき画像データを生成したりする。また、画像処理部４０は、システムデコーダ７３から出力された画像データに対して画像処理を施すことによって、液晶ディスプレイ８２に表示するべき画像データを生成したり、システムエンコーダ７２へ再入力するべき画像データを生成したりする。画像処理部４０は、ＤＳＰ（Digital Signal Processor）またはマイクロコンピュータで構成されうる。
【００２０】
画像処理部４０は、詳細には、画像前処理部４１、画像圧縮部４２および画像伸張部４３を含む。画像前処理部４１は、ＡＤＣ３０でデジタル信号に変換された画像データに対して、ガンマ補正およびホワイトバランス補正等の各種画像処理を行い、処理された画像データを生成する。
【００２１】
画像圧縮部４２（エンコーダ）は、離散コサイン変換、ハフマン符号化（可変長符号化）、フレーム間予測等の技術を用いて画像データを圧縮する。画像圧縮部４２は、動画データおよび静止画データのいずれの画像データの圧縮にも対応している。動画データの圧縮方式として、例えば、ＭＰＥＧ−２およびＨ．２６４／ＡＶＣが挙げられる。静止画データの圧縮方式として、例えば、ＪＰＥＧ（Joint Photographic Experts Group）およびＧＩＦ（Graphics Interchange Format）が挙げられる。
【００２２】
画像伸張部４３（デコーダ）は、例えば、システムデコーダ７３から出力された符号化画像データを液晶ディスプレイ８２で再生する場合に、この画像データを非圧縮の状態に復号化する。
【００２３】
マイクロホン５０は、音声を集めて音声データを生成する。ステレオ音声およびマルチチャネル音声の入力に対応するために、マイクロホン５０は、複数のマイクロホンで構成されていてもよい。
【００２４】
音声処理部６０は、マイクロホン５０の音声データに対して各種の処理を施す。音声処理部６０は、システムエンコーダ７２へ入力するべき音声データを生成したり、スピーカ８３に出力するべき音声データを生成したりする。また、音声処理部６０は、システムデコーダ７３が出力するべき音声データに対して音声処理を施すことによって、スピーカ８３に出力するべき音声データを生成したり、システムエンコーダ７２へ再入力するべき音声データを生成したりする。音声処理部６０は、ＤＳＰまたはマイクロコンピュータで構成されうる。
【００２５】
音声処理部６０は、詳細には、音声前処理部６１、音声圧縮部６２および音声伸張部６３を含む。音声前処理部６１は、マイクロホン５０で集められたアナログの音声データをデジタル信号の音声データへと変換する。音声前処理部６１は、また、ステレオ音声の生成およびマルチチャネル音声の生成等の各種音声処理を行う。
【００２６】
音声圧縮部６２（エンコーダ）は、ＭＰ３（MPEG-1 Audio Layer 3）およびＡＡＣ（Advanced Audio Coding）に代表される公知の圧縮方式で音声データを符号化する。
【００２７】
音声伸張部６３（デコーダ）は、システムデコーダ７３から出力された符号化音声データをスピーカ８３で出力する場合等に、この音声データを復号化する。
【００２８】
システムエンコーダ７２は、画像処理部４０から出力された符号化画像データ、および音声処理部６０から出力された符号化音声データを多重化することによって、メモリカード８０に記録するべきＡＶデータ（Audio and Visual Data）を生成する。
【００２９】
システムデコーダ７３は、メモリカード８０に記録されたＡＶデータを復号化し、符号化画像データおよび符号化音声データを生成する。システムデコーダ７３は、また、生成した符号化画像データを画像伸張部４３へ、符号化音声データを音声伸張部６３へそれぞれ出力する。
【００３０】
コントローラ７０は、ビデオカメラ１００の全体を制御する。コントローラ７０は、また、間欠記録時に画像圧縮部４２によって作成された複数の動画データをまとめて、連続再生可能な１つの動画データを記録する記録制御部としての役割を担う。コントローラ７０が提供するべき機能は、ＤＳＰ等のハードウェアと、そのハードウェアを用いて実行されるべき制御プログラムを含むソフトウェアとの組み合わせで実現されうる。また、ＡＤＣ３０、画像処理部４０、音声処理部６０、コントローラ７０、バッファ７１、システムエンコーダ７２およびシステムデコーダ７３は、専用設計された１チップのシステムＬＳＩ（Large-Scale Integration）で構成されていてもよい。
【００３１】
バッファ７１は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、強誘電体メモリ、磁気メモリ等で構成できる。バッファ７１は、コントローラ７０のワークメモリとして機能するだけでなく、必要に応じて、画像処理部４０で生成した画像データおよび各種情報を一時的に保存および管理する役割等、種々の目的で使用される。
【００３２】
コントローラ７０は、カードスロット８１を介して、カードスロット８１に装着されたメモリカード８０にアクセスできる。メモリカード８０は、フラッシュメモリ、強誘電体メモリおよび磁気メモリ等の不揮発性メモリで構成されている。メモリカード８０には、ＡＶデータ、音声データおよび画像データ等の各種データを格納できる。なお、メモリカード８０に代えて、またはメモリカード８０とともに、ハードディスクドライブおよび／または内蔵メモリが、各種データを格納するためのストレージとして設けられていてもよい。
【００３３】
液晶ディスプレイ８２は、撮像素子２０で生成した画像データに基づく画像およびメモリカード８０から読み出したＡＶデータ中の画像データに基づく画像を表示する表示部である。また、液晶ディスプレイ８２は、ビデオカメラ１００の各種の設定情報および撮影時間も表示できる。
【００３４】
スピーカ８３は、マイクロホン５０で集めた音声データに基づく音声およびメモリカード８０から読み出したＡＶデータ中の音声データに基づく音声を出力できる。
【００３５】
電源７４は、持ち運び可能なビデオカメラにおいてはバッテリである。電源７４はバッテリに限らず、ＡＣ電源であってもよい。給電制御部７５は、例えば、電源回路、リセット回路およびクロック回路で構成されている。給電制御部７５は、コントローラ７０の指示に従って、各ブロックにクロックおよび電源７４からの電力を供給する役割を担う。
【００３６】
操作部８４は、各種の操作手段を総称した構成要素であり、ユーザの指示を受け付け、その指示をコントローラ７０に伝達する役割を担う。操作部８４の一部は、液晶ディスプレイ８２を使用したタッチスクリーンで構成されていてもよい。
【００３７】
本実施形態において、操作部８４は、記録モード設定部を含む。記録モード設定部とは、通常の記録モードで撮影を行うか、間欠記録モードで撮影を行うかをユーザが設定するための操作部である。間欠記録モードとは、単位時間あたりに１単位の動画データを作成する頻度が通常の記録モードで動画データを作成する場合の頻度よりも低い記録モードである。例えば、通常の記録モードにおいて、１秒間に２４フレームのピクチャを取り込み、１２フレームのピクチャの集まり（１ＧＯＰ：Group Of Picture）を用いて１単位の動画データを作成する場合、１秒あたり２単位の動画データが作成される。
【００３８】
他方、図２に示すように、間欠記録モードでは、ピクチャの取り込み間隔を長くする。例えば、１秒、１０秒、３０秒、１分または２分毎に、１フレームのピクチャを取り込む。そして、通常の記録モードのときと同じように、１２フレームのピクチャを用いて１単位の動画データを作成する。１秒に１フレームのピクチャを取り込む場合には、１２秒毎に１単位の動画データが作成される。こうして作成された複数の動画データは、最終的に、１つの連続再生可能な間欠動画データとして取り扱われる。このようすれば、長時間かけてゆっくり動くシーンを短時間の動画で再現できる。
【００３９】
なお、特開２００７−１５９０５６号公報に記載されているように、複数フレームのピクチャを通常の記録モードと同じレートで取り込んで符号化を行い、次の複数フレームのピクチャを取り込むタイミングまで何もしない方法もある。すなわち、短い時間間隔で動画データを作成し、それらをまとめて１つの間欠動画データを生成することもできる。ただし、本実施形態のように、ピクチャの取り込み間隔そのものを一定にした方が、人の目に滑らかに映る動画を作成できる。
【００４０】
画像圧縮部４２は、ビデオカメラ１００または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダのバッファ占有度をシミュレートしつつ画像データの符号化を行う。それにより、再生時にデコーダのバッファのアンダーフローを回避しうる動画データを作成する。このことは、通常の記録モードであっても間欠記録モードであっても同じである。ＭＰＥＧ−２が規定する仮想デコーダのモデルは、ビデオバッファ検証器（ＶＢＶ：Video Buffer Verifier）と呼ばれている。Ｈ．２６４／ＡＶＣが規定する仮想デコーダのモデルは、仮想参照デコーダ（ＨＲＤ：Hypothetical Reference Decoder）と呼ばれている。
【００４１】
図３は、符号化処理においてエンコーダ（本実施形態では画像圧縮部４２に相当する）がシミュレートする仮想デコーダのバッファ占有度の概略図である。図３において、縦軸が仮想デコーダのバッファ占有度、言い換えればバッファ内のビット量を表している。横軸は時間を表している。「バッファサイズ」は、動画を再生するのに必要なデコーダのバッファサイズを表す。「遅延時間」は、バッファへのビットストリームの入力を開始後、その時間が経過するまで復号化を待つように再生装置のデコーダに通知するための情報である。「バッファサイズ」および「遅延時間」は、規格で定められた値であって、エンコーダによってビットストリーム中に記述される。具体的に、「バッファサイズ」および「遅延時間」は、再生装置のデコーダが認識できるように、通常、ビットストリーム中の各種ヘッダに相当する部分に記述されている。また、ビットストリーム中の各種ヘッダに相当する部分には、動きベクトル情報およびピクチャタイプ等、デコーダがストリームを復号するのに不可欠な情報に加え、図３中に示す「入力ビットレート」および「バッファからのビット引き抜き時刻」等が記述されている。
【００４２】
図３に示すように、ビットストリームは、仮想デコーダのバッファが空の状態から所定のビットレートで入力される。遅延時間の経過後、バッファから１ピクチャに相当するビットが瞬時に引き抜かれ、仮想デコーダによって瞬時に復号化される。ビットの引き抜きが起こると、バッファ内のビット量は減る。その後、次の引き抜き時刻まで所定のビットレートでビットが蓄積される。バッファ内に１ピクチャ分のビットが蓄積されていないにも拘らず、ビット引き抜き時刻が到来した場合には、「アンダーフロー」が起こる。すなわち、デコーダによって引き抜かれるべきビットが枯渇しているので、デコーダは十分なビットが蓄積されるまで待機する。結果として、いわゆるコマ落ち等の不具合が起こる。他方、バッファサイズを越えてビットストリームが入力された場合には、「オーバーフロー」が起こる。バッファの物理的な容量を超えてビットを蓄積することはできないので、この場合にもコマ落ち等の不具合が起こる可能性がある。
【００４３】
画像圧縮部４２は、仮想デコーダのバッファ占有度をシミュレートしつつ、画像データの符号化を行うことによって、再生時にデコーダのバッファのアンダーフローおよびオーバーフローを回避しうる動画データを作成できる。例えば、ある引き抜き時刻でバッファ内のビット量が少なすぎたり多すぎたりする場合、エンコーダは、画像データを量子化する際の量子化係数を調整することによって１ピクチャ（またはスライス）に相当するビット量を下げたり上げたりする。こうして作成された動画データは、バッファ内のビット量を常に空の状態（＝０）と上限（＝バッファサイズ）との間に保ちうるものとなる。
【００４４】
ＤＶＤ（Digital Versatile Disc）の再生装置のように、バッファへの入力ビットレートが可変である場合は、通常、アンダーフローのみ回避できれば足りる。ただし、再生装置によっては、入力ビットレートが固定の場合もありうる。したがって、アンダーフローおよびオーバーフローの両方を回避しうる動画データの作成が望ましい。また、テレビ放送のように、バッファへの入力ビットレートが固定の場合は、アンダーフローおよびオーバーフローの両方を回避しうる動画データを作成する必要がある。
【００４５】
図３に示す仮想バッファのモデルは、あくまでも通常の記録モードで動画データを記録する場合を表している。他方、本実施形態では、間欠記録モードでの消費電力を抑えるために、画像圧縮部４２への給電を必要に応じて止めたり再開したりする。すなわち、連続再生可能な動画データの作成中にも拘らず、画像圧縮部４２を休止させる。画像圧縮部４２が常時活動状態にある場合、画像圧縮部４２自身が仮想デコーダの状態を常に把握できるため、バッファの破綻を回避しうる動画データを継続的に作成できる。
【００４６】
しかし、図４に示すように、ある符号化処理と次の符号化処理との間に画像圧縮部４２の休止（給電停止）が挟まると、画像圧縮部４２は直近の過去の符号化処理の完了時におけるバッファ占有度を忘れる。その結果、仮想デコーダの継続性が絶たれる。仮想デコーダの継続性を無視して間欠動画データを作成すると、その動画データの再生時にバッファの破綻（アンダーフローおよび／またはオーバーフロー）を招くおそれがある。例えば、本来ならばバッファ内のビット量がＤ1と枯渇気味なので、次の符号化処理ではこのビット量Ｄ1を考慮して、圧縮率を高める等の調整を行わなければならないのに、初期遅延があることを前提に符号化処理を行ってしまう。その結果、再生時にアンダーフローが起こる間欠動画データが作成される。
【００４７】
これに対し、図５に示すように、直近の過去の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ1）を画像圧縮部４２への給電停止中に管理するとともに、給電再開後に画像圧縮部４２によって参照できるようにすれば、画像圧縮部４２は、その参照したバッファ占有度（点Ｄ1）を基準として新たな符号化処理を行なえる。直近の過去の符号化処理の完了時におけるバッファ占有度が次の符号化処理に引き継がれる、すなわち、仮想デコーダの継続性は保たれるので、再生時にバッファを破綻させない適正な間欠動画データを作成できる。
【００４８】
本実施形態では、間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な情報として、「継続情報」を用いる。ここでいう「連続再生可能」とは、再生時に再生装置のバッファを破綻させないことを意味している。
【００４９】
継続情報は、簡単には、直近の過去の符号化処理の完了時におけるバッファ占有度を特定するための情報を含む。継続情報は、バッファ７１、メモリカード８０または不揮発性の内蔵メモリ（図示せず）に保存されうる。バッファ７１、メモリカード８０または内蔵メモリは、継続情報を画像圧縮部４２への給電停止中に管理する継続情報管理部としての役割を担う。さらに、継続情報には、タイムスタンプが含まれていてもよい。「タイムスタンプ」とは、間欠動画データを構成するビットストリームのデコード時刻を特定するための情報である。言い換えれば、図３に示す「ビット引き抜き時刻」がタイムスタンプに対応する。これにより、滞りなく再生できる間欠動画データを作成できる。
【００５０】
なお、継続情報のうち、仮想デコーダのバッファ占有度は、間欠動画データに含まれない情報である。継続情報におけるバッファ占有度は、間欠記録時に一時的に作成される情報に過ぎない。他方、タイムスタンプは、間欠動画データに記述されるべき情報であって、動画データの作成時に画像圧縮部４２によって、ストリーム中のヘッダに相当する部分にフレーム毎に記述される。
【００５１】
２．動作
次に、図６のフローチャートを参照して、間欠記録モードで実行される処理を説明する。コントローラ７０は、間欠記録の開始契機を取得することに応じて、図６に示す処理を実行する。開始契機は、例えば、ユーザによって間欠記録の開始操作が行われたときに発生する。具体的には、ビデオカメラ１００の記録モードとして、間欠記録モードが設定されている状態で記録開始の入力操作が行われることに応じて間欠記録を開始する。あるいは、操作部８４に間欠記録開始用の操作ボタンを設け、その操作ボタンがオンされることに応じて間欠記録を開始してもよい。
【００５２】
コントローラ７０は、画像前処理部４１によって生成された画像データを静止画データの形にて所定の時間間隔で画像生成部４１から取り込む（ステップＳ２０１）。ユーザは、操作部８４を用いて静止画データの取り込み間隔（所定の時間間隔）を設定できる。設定された時間間隔は、バッファ７１または図示しない内蔵メモリ上に保存される。
【００５３】
コントローラ７０は、取り込んだ静止画データをバッファ７１に一時的に保存する（ステップＳ２０２）。バッファ７１は、画像生成部４１によって生成された画像データを保存可能な記憶部として機能する。ステップＳ２０１および２０２の時点で、画像圧縮部４２への給電は停止中である。なお、静止画データの保存先として、バッファ７１に代えて、ビデオカメラ１００のカードスロット８１に着脱可能なメモリカード８０を用いることもできる。バッファ７１の容量に比べメモリカード８０の容量は十分に大きいので、メモリカード８０を使用する場合には記憶容量の心配をせずに済む。内蔵メモリまたはハードディスクドライブを設けた場合には、それらのストレージに静止画データを一時的に保存してもよい。
【００５４】
次に、コントローラ７０は、バッファ７１に保存された時系列の静止画データの数を確認する（ステップＳ２０３）。静止画データの数が所定数に達していない場合には、静止画データの取り込みを続ける。静止画データの数が所定数に達していた場合、画像圧縮部４２への給電を開始（２回目以降は再開）すべき旨を給電制御部７５に指示する。給電制御部７５は、コントローラ７０の指示を受け、画像圧縮部４２への給電を開始する（ステップＳ２０４）。詳細には、給電制御部７５は、画像圧縮部４２へのクロック供給およびリセット解除といった電力制御を実行する。一般に、動作していない回路ブロックのクロック供給を停止すれば、全体の消費電力は確実に下がる。クロック供給が遮断された回路ブロックの電流は静的リーク電流のみになり、その回路ブロックの消費電力が極小となるからである。符号化処理を行う画像圧縮部４２の電力消費量は特に大きいので、画像圧縮部４２への給電を停止すること（クロック供給の遮断）による消費電力の低減を十分に期待できる。
【００５５】
なお、静止画データの計数および電力制御がコントローラ７０によって自動的に行われることに代えて、ユーザの操作によって電力制御を実行し、その後、動画データの作成を開始してもよい。
【００５６】
画像圧縮部４２への給電開始後、コントローラ７０は、画像圧縮部４２に継続情報の読み出しを指示する（ステップＳ２０５）。画像圧縮部４２は、バッファ７１（継続情報管理部）の継続情報の有無を確認し、継続情報が存在する場合には継続情報を読み出し、継続情報が存在しない場合には継続情報の読み出しを行わずに次の処理を実行する。図３〜５の説明から理解できるように、間欠記録を開始後、１回も符号化処理（ステップＳ２０６）が行われていない場合には、継続情報は未だ存在しない。継続情報が新規に作成され、かつ最初にバッファ７１に保存されるのは、１回目の符号化処理が終わってからである。
【００５７】
次に、コントローラ７０は、画像圧縮部４２に動画データの作成を指示する（ステップＳ２０６）。画像圧縮部４２は、符号化されるべき画像データとしてバッファ７１から時系列の静止画データを取得し、それら静止画データを符号化することによって１単位の動画データを作成する。符号化処理は、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣに準拠した方式にて行える。場合によっては、ｍｏｔｉｏｎＪＰＥＧも採用しうる。
【００５８】
図２を参照して説明したように、静止画データの数が所定数（本実施形態では１２フレーム）に達した場合に、画像圧縮部４２は、これらの静止画データを符号化し、動画データを生成する。例えば、２分間隔で静止画データを取り込んだ場合には、２４分の周期で１２フレームの静止画データがバッファ７１に蓄積されるので、動画データの作成は２４分間隔で実施すればよい。２４ｆｐｓ（Frame Per Second）のフレームレートで符号化を行った場合、１２フレームの静止画データの符号化によって約０．５秒で再生可能な動画データが得られる。
【００５９】
動画データの作成が完了すると、コントローラ７０は、画像圧縮部４２に対し、画像圧縮部４２がその時点で認識している仮想デコーダのバッファ占有度およびタイムスタンプを継続情報としてバッファ７１に記憶ないし更新させるように指示する（ステップＳ２０７）。図５に示すように、直近の過去の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ1）は、通常、その後の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ2）と相違している。したがって、符号化処理が完了する都度、継続情報を更新する。
【００６０】
さらに、動画データの作成が完了すると、コントローラ７０は、給電制御部７５に対し、画像圧縮部４２への給電を停止すべき旨の指示を出す（ステップＳ２０８）。給電制御部７５は、画像圧縮部４２を構成している回路ブロックへのクロック供給を停止することによって給電を停止する。このように、間欠記録モードにおいて、給電制御部７５は、画像データの符号化が完了する都度画像圧縮部４２への給電を停止するとともに、次に画像データの符号化を行う必要が生じた場合に画像圧縮部４２への給電を再開する。これにより、電力の消費を十分に抑制できる。
【００６１】
次に、コントローラ７０は、作成された動画データをメモリカード８０に記録する（ステップＳ２０９）。現在実行中の間欠記録で先に作成された動画データがメモリカード８０に存在する場合、先に作成された動画データと、新たに記録するべき動画データとをまとめて、連続再生可能な１つの間欠動画データを作成する。これらの動画データは、画像圧縮部４２によって、仮想デコーダの継続性を担保しつつ作成されたものであるから、１つの動画データにまとめたとしても、再生装置のバッファを破綻させないものとなる。具体的に、コントローラ７０は、先の動画データのシーケンスの後ろに新たな動画データを付加し、シーケンスの終了コードを修正する処理を行う。
【００６２】
最後に、コントローラ７０は、間欠記録の終了条件の成否を判断する（ステップＳ２１０）。具体的には、ユーザによって間欠記録の終了操作が行われたかどうかを判断する。間欠記録を継続する場合、ステップＳ２０１からステップＳ２０９の処理を繰り返す。なお、予め設定された間欠記録時間の経過を間欠記録の終了条件としてもよい。すなわち、間欠記録開始からの時間を計測するとともに、設定された間欠記録時間に達した場合に、間欠記録を終了してもよい。
【００６３】
本実施形態によれば、画像圧縮部４２への給電を止めたり再開したりするが、給電再開時に継続情報を参照することにより、画像圧縮部４２は、直近の過去の仮想デコーダのバッファ占有度を認識でき、認識したバッファ占有度を基準として次の符号化処理を行える。このようにして作成された複数の動画データをまとめることによって得られた間欠動画データは、通常の記録モードで作成した動画データと何ら変わらない。また、作成された間欠動画データは１つのファイルで管理されるので、メモリカード８０に多数のＡＶデータが記録され、ＡＶデータの検索に時間がかかるといった問題も生じない。
【００６４】
なお、本実施形態では動画データのみに注目しているが、本発明はこれに限定されない。例えば、間欠記録モードでメモリカード８０に記録するべきデータが、多重化された間欠ＡＶデータであってもよい。具体的には、画像圧縮部４２で作成された動画データをシステムエンコーダ７２（例えばＭＰＥＧ−２システム）で音声データと多重化し、メモリカード８０に記録する。ストリームに音声データが必須というわけではないが、音声データが存在しない場合、再生装置によっては再生不能に陥る可能性もある。そのため、何らかの音声データを用いて、間欠ＡＶデータを作成するのが好ましい。使用できる音声データとしては、どのようなものでも構わない。例えば、マイクロホン５０で集めて音声処理部６０で生成した音声データ、および無音化した音声データを使用できる。また、ビデオカメラ１００の内蔵メモリ、ハードディスクドライブ、メモリカード８０等にユーザが予め準備した音楽データを間欠ＡＶデータの作成に用いてもよい。この場合、間欠ＡＶデータを再生したときに、もとの音楽が途切れることなく流れるように多重化を自由に行える利点がある。
【００６５】
以下の実施形態２〜４にかかるビデオカメラの構成は実施形態１のそれと同じなので、説明を省略する。実施形態２〜４では、間欠動画データの作成の方法が、実施形態１でのそれと少し異なる。ただし、技術的な矛盾が生じない限り、実施形態１で説明した全ての構成および方法は、実施形態２〜４に当然に組み合わせることができる。
【００６６】
（実施形態２）
図７に示すように、ステップＳ４０１〜ステップＳ４０８は、それぞれ、実施形態１のステップＳ２０１〜ステップＳ２０８に対応している。ステップＳ４０９に示すように、本実施形態によると、コントローラ７０は、画像圧縮部４２によって作成された動画データをメモリカード８０に逐一記録することに代えて、バッファ７１（記憶部）の空き領域に一時的に保存する。そして、間欠記録を停止すべき旨の契機を取得することに応じて、バッファ７１に保存された複数の動画データを用いて間欠動画データを作成し、メモリカード８０に記録する（ステップＳ４１１）。
【００６７】
つまり、コントローラ７０は、間欠記録の開始から間欠記録の終了条件が成立するまでの間、作成した複数の動画データをバッファ７１に保存する。間欠記録の終了条件が成立したら、コントローラ７０は、バッファ７１上の全ての動画データをまとめて１つの間欠動画データを作成する。このような方法によると、画像圧縮部４２によって動画データが作成される都度、コントローラ７０がメモリカード８０にアクセスせずに済む。複数の動画データをまとめるための処理も１回で済むので、コントローラ７０の負荷が軽減されうる。システムエンコーダ７２で行うべき多重化も１回で済む。なお、実施形態１と同様、バッファ７１に一時的に保存するべきデータは、音声データと動画データとを含むＡＶデータであってもよい。
【００６８】
また、間欠記録を停止すべき旨の契機を取得することに代えて、バッファ７１の空き容量の多寡に応じて、複数の動画データをまとめて間欠動画データを作成する処理を行ってもよい。例えば、バッファ７１の空き容量が所定量を下回った時点で、バッファ７１に保存された複数の動画データを用いて間欠動画データを作成してもよい。このようにすれば、バッファ７１の容量不足を回避できるとともに、バッファ７１の容量を超えるサイズの間欠動画データを作成できる。
【００６９】
（実施形態３）
本実施形態では、静止画データをバッファ７１に保存する際、その静止画データをいったん圧縮している。図８に示すように、コントローラ７０は、静止画データを取り込んだ後、取り込んだ静止画データを圧縮するとともに、圧縮された静止画データをバッファ７１に保存する（ステップＳ５０１およびＳ５０２）。静止画データの圧縮方式として、例えば、ＪＰＥＧおよびＧＩＦが挙げられる。
【００７０】
次に、コントローラ７０は、バッファ７１に保存された時系列の静止画データの数を確認する（ステップＳ５０３）。静止画データの数が所定数に達していた場合、バッファ７１から静止画データを読み出し、静止画データを伸張する（ステップＳ５０４）。以降のステップＳ５０５〜５１１は、それぞれ、実施形態１のステップＳ２０４〜２１０に対応している。
【００７１】
本実施形態によれば、コントローラ７０は、（i）画像データをフレーム単位で符号化することによって、圧縮された静止画データを生成する静止画圧縮用エンコーダとしての機能と、（ii)圧縮された静止画データを復号化する静止画伸張用デコーダとしての機能とを担う。コントローラ７０は、圧縮された静止画データをバッファ７１に保存するとともに、給電再開後において、圧縮された静止画データをバッファ７１から読み出して復号化することによって、符号化されるべき画像データとしての伸張された静止画データを画像圧縮部４２のために準備する。圧縮された静止画データをバッファ７１に記憶することによって、バッファ７１の容量不足を回避できる。
【００７２】
（実施形態４）
図９に示すように、本実施形態において、コントローラ７０は、静止画データを取り込んだ後、間欠記録の開始後にメモリカード８０に記録した動画データまたは静止画データの有無を確認する（ステップＳ６０１）。動画データおよび静止画データのいずれも存在しない場合は、取り込んだ静止画データをメモリカード８０に保存する（ステップＳ６０２）。その後、再度、静止画データの取り込みを行う（ステップＳ６０１）。静止画データが存在する場合は、その静止画データをメモリカード８０から読み出し、その静止画データと新たに取り込んだ静止画データとを用いて、動画データを作成する。作成した動画データをメモリカード８０に記録した後、再度、静止画データの取り込みを行う（ステップＳ６０１）。
【００７３】
他方、動画データが存在する場合は、メモリカード８０から動画データを読み出す（ステップＳ６０３）。
【００７４】
次に、コントローラ７０は、画像伸張部４３への給電を開始すべき旨を給電制御部７５に指示する。給電制御部７５は、コントローラ７０の指示を受け、画像伸張部４２への給電を開始する（ステップＳ６０４）。そして、画像伸張部４３に対し、読み出した動画データの伸張を行うように指示する（ステップＳ６０５）。伸張後、画像伸張部４３への給電を停止する（ステップＳ６０６）。
【００７５】
ステップＳ６０７および６０８の処理は、それぞれ、実施形態１のステップＳ２０４および２０５に対応している。
【００７６】
画像圧縮部４２への給電開始後、コントローラ７０は、画像圧縮部４２に対し、動画データの作成を指示する（ステップＳ６０９）。画像圧縮部４２は、伸張した動画データからフレーム間符号化処理に必要な参照フレームを抽出し、ステップＳ６０２で取り込んだ静止画データを加えて、新たな動画データを作成する。すなわち、本実施形態では、伸張した動画データに、取り込んだ静止画データを加えて、新たに符号化された動画データを作成する。
【００７７】
ステップＳ６１０および６１１は、それぞれ、実施形態１のステップＳ２０７および２０８に対応している。
【００７８】
画像圧縮部４２への給電停止後、コントローラ７０は、新たな動画データをメモリカード８０に記録する（ステップＳ６１２）。コントローラ７０は、新たな動画データを、ステップＳ６０３で読み込んだ動画データに上書き記録してもよい。これにより、メモリカード８０上の動画データのサイズを抑えることができる。また、コントローラ７０は、新たな動画データ中の新たに生成した差分データのみを、ステップＳ６０３で読み込んだ動画データに追加的に記録してもよい。
【００７９】
本実施形態において、バッファ７１は、静止画データを保存可能な記憶部として機能し、メモリカード８０は、画像圧縮部４２が生成した動画データを保存可能な記憶部として機能している。画像圧縮部４２への給電停止中において、コントローラ７０は、画像データを静止画データの形にて所定の時間間隔で画像前処理部４１から取り込む。新たな静止画データの取り込みに応じて画像圧縮部４２への給電が再開される。給電再開後において、メモリカード８０上に先に作成された動画データが存在する場合に、先に作成された動画データの復号化が画像伸張部４３によって行われるとともに、復号化によって得られた動画データと新たな静止画データとを用いて新たな動画データを作成するための符号化処理が画像圧縮部４２によって行われる。画像圧縮部４２によって作成された新たな動画データがメモリカード８０に再記録される。
【００８０】
本実施形態の方法によれば、静止画データを取り込む都度、その静止画データを用いて符号化された動画データを作成する。そのため、バッテリが空になる等、何らかの原因によって間欠記録が中断した場合に、その時点までに取り込んだ静止画データが全て失われるのを防止でき、中断直前までの動画データをメモリカード８０に確実に記録できる。
【００８１】
なお、本実施形態においても、動画データとともに音声データを取り扱ってもよい。この場合、メモリカード８０に記録されたＡＶデータは、システムデコーダ７３によって動画データと音声データとに分けられ、分離した動画データに対して、本実施形態で説明した処理が行われる。
【産業上の利用可能性】
【００８２】
本発明は、間欠記録機能を備えた撮像装置、例えばビデオカメラに有用である。
【図１】
2010032457.tif 000003
【図２】
2010032457.tif 000004
【図３】
2010032457.tif 000005
【図４】
2010032457.tif 000006
【図５】
2010032457.tif 000007
【図６】
2010032457.tif 000008
【図７】
2010032457.tif 000009
【図８】
2010032457.tif 000010
【図９】
2010032457.tif 000011
【手続補正書】
【提出日】平成23年3月9日(2011.3.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】撮像装置および動画データ作成方法
【技術分野】
【０００１】
本発明は、撮像装置に関する。特に、被写体を長時間撮影するとともに、撮影により得られた画像を所定の時間間隔で記録する機能を持った撮像装置に関する。本発明は、また、そのような撮像装置に採用できる動画データ作成方法に関する。
【背景技術】
【０００２】
従来、動画データを半導体メモリ等の記録媒体に記録するビデオカメラが知られている。このようなビデオカメラにおいては、ＭＰＥＧ−２（Moving Picture Experts Group Phase 2）およびＨ．２６４／ＡＶＣ（Advanced Video Cording）に代表される圧縮符号化方式を用いて動画データを作成し、作成した動画データを半導体メモリに記録する。
【０００３】
この種のビデオカメラは様々な撮影機能を持っていることが多い。その１つに、所定の時間間隔で記録を行うことによって、長時間かけてゆっくり動くシーンを短時間の動画で再現できる間欠記録機能がある。例えば特開２００７−１５９０５６号公報には、間欠記録機能に適用できる符号化装置が開示されている。この符号化装置によると、予め定められた１回の撮影時間内に得られた画像データを１単位として、１単位毎に符号化が完結するようにフレーム間符号化を行う。
【先行技術文献】
【０００４】
【特許文献】
【特許文献１】特開２００７−１５９０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
間欠記録を行う場合、長時間の撮影が望まれる。持ち運び可能なビデオカメラは、バッテリで駆動されるため、長時間の撮影を行えるよう、撮影時に使用する電力を抑える必要がある。消費電力を抑えるには、必要に応じてシステムの一部、例えばエンコーダを休止させることが有効である。しかし、エンコーダを休止させると連続再生可能な動画データを作成できない可能性がある。
【０００６】
本発明は、間欠記録を行う場合においても連続再生可能な動画データを作成できる撮像装置を提供することを目的とする。さらに、本発明は、その撮像装置に採用できる動画データ作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
すなわち、本発明は、
被写体を撮像する撮像部と、
前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
前記画像データの符号化を行うことによって動画データを作成するエンコーダと、
当該撮像装置の記録モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードを設定する記録モード設定部と、
前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて（マージして）、１つの間欠動画データを記録する記録制御部と、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するとともに、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理する継続情報管理部と、
を備えた、撮像装置を提供する。
【０００８】
他の側面において、本発明は、
被写体を撮像して画像データを生成するステップと、
前記画像データの符号化を行うことによって動画データを作成するステップと、
前記画像データの符号化を行うエンコーダの動作モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録するステップと、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するステップと、
前記エンコーダへの給電停止後、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理するステップと、
を含む、動画データ作成方法を提供する。
【発明の効果】
【０００９】
本発明では、間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な継続情報をエンコーダへの給電停止中にエンコーダに代わって管理する。給電再開後、エンコーダは、参照した継続情報を次の符号化処理、すなわち次の動画データの作成に反映させうる。これにより、連続再生可能な間欠動画データを作成できる。
【００１０】
なお、本明細書では「符号化」および「復号化」をそれぞれ「圧縮」および「伸張」と同じ意味で用いるものとする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１に係る撮像装置の構成を示すブロック図
【図２】間欠記録モードでの動画データの作成方法を示す概略図
【図３】符号化処理においてエンコーダ（画像圧縮部）がシミュレートする仮想デコーダのバッファ占有度の概略図
【図４】給電停止前のバッファ占有度を給電停止後の符号化処理に引き継がない場合の問題点を示す概略図
【図５】図４に示す問題点を本実施形態によって解決できることを示す概略図
【図６】間欠記録モードで実行される処理のフローチャート
【図７】本発明の実施形態２に係る間欠記録のフローチャート
【図８】本発明の実施形態３に係る間欠記録のフローチャート
【図９】本発明の実施形態４に係る間欠記録のフローチャート
【発明を実施するための形態】
【００１２】
当業者に知られているように、エンコーダは、ビットストリーム（画像データの流れ）を復号化するデコーダを破綻させることがないように、符号化されたビットストリームを生成する。ビデオカメラを例にすると、エンコーダで生成されたビットストリームは、メモリカード等のストレージに格納される。再生時において、ストレージから読み出されたビットストリームは、デコーダのバッファに入力される。デコーダは、バッファからビットストリームを取り出して復号化し、画像を再生する。このとき、デコーダのバッファがオーバーフローしたり、アンダーフローしたりしてしまうと、デコーダはビットストリームを正しく復号化できない場合がある。この不具合を未然に防ぐために、エンコーダは、デコーダのバッファをアンダーフローおよびオーバーフローさせないように、ビットストリームを符号化する必要がある。この要求を満たすため、ＭＰＥＧ−２およびＨ．２６４／ＡＶＣでは、「仮想デコーダ」という概念が導入されている。「仮想デコーダ」とは、デコーダの振る舞い、すなわちデコーダのバッファの状態を仮想的にモデル化したものである。エンコーダは、この仮想デコーダを破綻させないように、ビットストリームを生成する必要がある。
【００１３】
エンコーダが常時活動状態にある場合、エンコーダ自身が仮想デコーダの状態を常に把握できるため、バッファの破綻を回避しうる動画データを継続的に作成できる。しかし、消費電力を抑える目的でエンコーダを休止させた場合は、仮想デコーダの継続性が絶たれるので、適正な動画データを作成するのに何らかの措置を講ずる必要がでてくる。
【００１４】
これに対し、以下のような一つの実施形態を提案できる。すなわち、エンコーダは、自身が設けられた撮像装置または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダにおけるバッファ占有度をシミュレートしつつ画像データの符号化を行うことによって、再生時にデコーダのバッファのアンダーフローを回避しうる動画データを作成するように構成されている。継続情報は、直近の過去の符号化処理の完了時におけるバッファ占有度を特定するための情報を含む。給電再開後に継続情報を参照することによって、エンコーダは、直近の過去の符号化処理の完了時におけるバッファ占有度を基準として新たな符号化処理を行う。
【００１５】
上記の構成によれば、給電再開後にエンコーダに継続情報を提供できるように、エンコーダへの給電停止中にエンコーダに代わって仮想デコーダのバッファ占有度を管理する。給電再開後、エンコーダは継続情報を参照することで、直近の過去の符号化処理の完了時における仮想デコーダのバッファ占有度を特定できるとともに、特定したバッファ占有度を基準として新たな符号化処理を行う。このようにすれば、間欠記録モードでエンコーダへの給電を止めたり再開したりしても、再生装置のデコーダのバッファを破綻させない適正な符号化ビットストリームを作成できる。
【００１６】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００１７】
（実施形態１）
１．構成
図１は、本発明の実施形態１に係る撮像装置の構成を示すブロック図であり、詳細には、ビデオカメラの構成を示している。ビデオカメラ１００は、光学系１０、撮像素子２０、ＡＤＣ３０（Analog-Digital Converter）、画像処理部４０、コントローラ７０、バッファ７１、マイクロホン５０、音声処理部６０、システムエンコーダ７２、システムデコーダ７３、カードスロット８１、液晶ディスプレイ８２、スピーカ８３、操作部８４および給電制御部７５を備えている。本発明の実施にこれら全ての要素が不可欠というわけではない。図１はビデオカメラ１００の典型的な構成を表しているに過ぎない。以下、ビデオカメラ１００の構成を詳細に説明する。
【００１８】
光学系１０は、例えば、対物レンズ、ズームレンズ、絞り、ＯＩＳユニット（Optical Image Stabilizer Unit）およびフォーカスレンズを含む。光学系１０は、被写体からの光を集め、被写体像を形成する。撮像素子２０は、光学系１０で形成された被写体像を撮像して、画像データを生成する。撮像素子２０は、典型的には、ＣＭＯＳイメージセンサ（Complementary Metal-Oxide Semiconductor）またはＣＣＤイメージセンサ（Charge-Coupled Device）で構成されている。ＡＤＣ３０は、撮像素子２０で生成された画像データをデジタル信号に変換する。光学系１０、撮像素子２０およびＡＤＣ３０は、画像データを生成する撮像部を構成している。
【００１９】
画像処理部４０は、ＡＤＣ３０で変換された画像データに対して各種の処理を施す。画像処理部４０は、上記撮像部で生成された画像データから、システムエンコーダ７２へ入力するべき画像データを生成したり、液晶ディスプレイ８２に表示するべき画像データを生成したりする。また、画像処理部４０は、システムデコーダ７３から出力された画像データに対して画像処理を施すことによって、液晶ディスプレイ８２に表示するべき画像データを生成したり、システムエンコーダ７２へ再入力するべき画像データを生成したりする。画像処理部４０は、ＤＳＰ（Digital Signal Processor）またはマイクロコンピュータで構成されうる。
【００２０】
画像処理部４０は、詳細には、画像前処理部４１、画像圧縮部４２および画像伸張部４３を含む。画像前処理部４１は、ＡＤＣ３０でデジタル信号に変換された画像データに対して、ガンマ補正およびホワイトバランス補正等の各種画像処理を行い、処理された画像データを生成する。
【００２１】
画像圧縮部４２（エンコーダ）は、離散コサイン変換、ハフマン符号化（可変長符号化）、フレーム間予測等の技術を用いて画像データを圧縮する。画像圧縮部４２は、動画データおよび静止画データのいずれの画像データの圧縮にも対応している。動画データの圧縮方式として、例えば、ＭＰＥＧ−２およびＨ．２６４／ＡＶＣが挙げられる。静止画データの圧縮方式として、例えば、ＪＰＥＧ（Joint Photographic Experts Group）およびＧＩＦ（Graphics Interchange Format）が挙げられる。
【００２２】
画像伸張部４３（デコーダ）は、例えば、システムデコーダ７３から出力された符号化画像データを液晶ディスプレイ８２で再生する場合に、この画像データを非圧縮の状態に復号化する。
【００２３】
マイクロホン５０は、音声を集めて音声データを生成する。ステレオ音声およびマルチチャネル音声の入力に対応するために、マイクロホン５０は、複数のマイクロホンで構成されていてもよい。
【００２４】
音声処理部６０は、マイクロホン５０の音声データに対して各種の処理を施す。音声処理部６０は、システムエンコーダ７２へ入力するべき音声データを生成したり、スピーカ８３に出力するべき音声データを生成したりする。また、音声処理部６０は、システムデコーダ７３が出力するべき音声データに対して音声処理を施すことによって、スピーカ８３に出力するべき音声データを生成したり、システムエンコーダ７２へ再入力するべき音声データを生成したりする。音声処理部６０は、ＤＳＰまたはマイクロコンピュータで構成されうる。
【００２５】
音声処理部６０は、詳細には、音声前処理部６１、音声圧縮部６２および音声伸張部６３を含む。音声前処理部６１は、マイクロホン５０で集められたアナログの音声データをデジタル信号の音声データへと変換する。音声前処理部６１は、また、ステレオ音声の生成およびマルチチャネル音声の生成等の各種音声処理を行う。
【００２６】
音声圧縮部６２（エンコーダ）は、ＭＰ３（MPEG-1 Audio Layer 3）およびＡＡＣ（Advanced Audio Coding）に代表される公知の圧縮方式で音声データを符号化する。
【００２７】
音声伸張部６３（デコーダ）は、システムデコーダ７３から出力された符号化音声データをスピーカ８３で出力する場合等に、この音声データを復号化する。
【００２８】
システムエンコーダ７２は、画像処理部４０から出力された符号化画像データ、および音声処理部６０から出力された符号化音声データを多重化することによって、メモリカード８０に記録するべきＡＶデータ（Audio and Visual Data）を生成する。
【００２９】
システムデコーダ７３は、メモリカード８０に記録されたＡＶデータを復号化し、符号化画像データおよび符号化音声データを生成する。システムデコーダ７３は、また、生成した符号化画像データを画像伸張部４３へ、符号化音声データを音声伸張部６３へそれぞれ出力する。
【００３０】
コントローラ７０は、ビデオカメラ１００の全体を制御する。コントローラ７０は、また、間欠記録時に画像圧縮部４２によって作成された複数の動画データをまとめて、連続再生可能な１つの動画データを記録する記録制御部としての役割を担う。コントローラ７０が提供するべき機能は、ＤＳＰ等のハードウェアと、そのハードウェアを用いて実行されるべき制御プログラムを含むソフトウェアとの組み合わせで実現されうる。また、ＡＤＣ３０、画像処理部４０、音声処理部６０、コントローラ７０、バッファ７１、システムエンコーダ７２およびシステムデコーダ７３は、専用設計された１チップのシステムＬＳＩ（Large-Scale Integration）で構成されていてもよい。
【００３１】
バッファ７１は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、強誘電体メモリ、磁気メモリ等で構成できる。バッファ７１は、コントローラ７０のワークメモリとして機能するだけでなく、必要に応じて、画像処理部４０で生成した画像データおよび各種情報を一時的に保存および管理する役割等、種々の目的で使用される。
【００３２】
コントローラ７０は、カードスロット８１を介して、カードスロット８１に装着されたメモリカード８０にアクセスできる。メモリカード８０は、フラッシュメモリ、強誘電体メモリおよび磁気メモリ等の不揮発性メモリで構成されている。メモリカード８０には、ＡＶデータ、音声データおよび画像データ等の各種データを格納できる。なお、メモリカード８０に代えて、またはメモリカード８０とともに、ハードディスクドライブおよび／または内蔵メモリが、各種データを格納するためのストレージとして設けられていてもよい。
【００３３】
液晶ディスプレイ８２は、撮像素子２０で生成した画像データに基づく画像およびメモリカード８０から読み出したＡＶデータ中の画像データに基づく画像を表示する表示部である。また、液晶ディスプレイ８２は、ビデオカメラ１００の各種の設定情報および撮影時間も表示できる。
【００３４】
スピーカ８３は、マイクロホン５０で集めた音声データに基づく音声およびメモリカード８０から読み出したＡＶデータ中の音声データに基づく音声を出力できる。
【００３５】
電源７４は、持ち運び可能なビデオカメラにおいてはバッテリである。電源７４はバッテリに限らず、ＡＣ電源であってもよい。給電制御部７５は、例えば、電源回路、リセット回路およびクロック回路で構成されている。給電制御部７５は、コントローラ７０の指示に従って、各ブロックにクロックおよび電源７４からの電力を供給する役割を担う。
【００３６】
操作部８４は、各種の操作手段を総称した構成要素であり、ユーザの指示を受け付け、その指示をコントローラ７０に伝達する役割を担う。操作部８４の一部は、液晶ディスプレイ８２を使用したタッチスクリーンで構成されていてもよい。
【００３７】
本実施形態において、操作部８４は、記録モード設定部を含む。記録モード設定部とは、通常の記録モードで撮影を行うか、間欠記録モードで撮影を行うかをユーザが設定するための操作部である。間欠記録モードとは、単位時間あたりに１単位の動画データを作成する頻度が通常の記録モードで動画データを作成する場合の頻度よりも低い記録モードである。例えば、通常の記録モードにおいて、１秒間に２４フレームのピクチャを取り込み、１２フレームのピクチャの集まり（１ＧＯＰ：Group Of Picture）を用いて１単位の動画データを作成する場合、１秒あたり２単位の動画データが作成される。
【００３８】
他方、図２に示すように、間欠記録モードでは、ピクチャの取り込み間隔を長くする。例えば、１秒、１０秒、３０秒、１分または２分毎に、１フレームのピクチャを取り込む。そして、通常の記録モードのときと同じように、１２フレームのピクチャを用いて１単位の動画データを作成する。１秒に１フレームのピクチャを取り込む場合には、１２秒毎に１単位の動画データが作成される。こうして作成された複数の動画データは、最終的に、１つの連続再生可能な間欠動画データとして取り扱われる。このようすれば、長時間かけてゆっくり動くシーンを短時間の動画で再現できる。
【００３９】
なお、特開２００７−１５９０５６号公報に記載されているように、複数フレームのピクチャを通常の記録モードと同じレートで取り込んで符号化を行い、次の複数フレームのピクチャを取り込むタイミングまで何もしない方法もある。すなわち、短い時間間隔で動画データを作成し、それらをまとめて１つの間欠動画データを生成することもできる。ただし、本実施形態のように、ピクチャの取り込み間隔そのものを一定にした方が、人の目に滑らかに映る動画を作成できる。
【００４０】
画像圧縮部４２は、ビデオカメラ１００または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダのバッファ占有度をシミュレートしつつ画像データの符号化を行う。それにより、再生時にデコーダのバッファのアンダーフローを回避しうる動画データを作成する。このことは、通常の記録モードであっても間欠記録モードであっても同じである。ＭＰＥＧ−２が規定する仮想デコーダのモデルは、ビデオバッファ検証器（ＶＢＶ：Video Buffer Verifier）と呼ばれている。Ｈ．２６４／ＡＶＣが規定する仮想デコーダのモデルは、仮想参照デコーダ（ＨＲＤ：Hypothetical Reference Decoder）と呼ばれている。
【００４１】
図３は、符号化処理においてエンコーダ（本実施形態では画像圧縮部４２に相当する）がシミュレートする仮想デコーダのバッファ占有度の概略図である。図３において、縦軸が仮想デコーダのバッファ占有度、言い換えればバッファ内のビット量を表している。横軸は時間を表している。「バッファサイズ」は、動画を再生するのに必要なデコーダのバッファサイズを表す。「遅延時間」は、バッファへのビットストリームの入力を開始後、その時間が経過するまで復号化を待つように再生装置のデコーダに通知するための情報である。「バッファサイズ」および「遅延時間」は、規格で定められた値であって、エンコーダによってビットストリーム中に記述される。具体的に、「バッファサイズ」および「遅延時間」は、再生装置のデコーダが認識できるように、通常、ビットストリーム中の各種ヘッダに相当する部分に記述されている。また、ビットストリーム中の各種ヘッダに相当する部分には、動きベクトル情報およびピクチャタイプ等、デコーダがストリームを復号するのに不可欠な情報に加え、図３中に示す「入力ビットレート」および「バッファからのビット引き抜き時刻」等が記述されている。
【００４２】
図３に示すように、ビットストリームは、仮想デコーダのバッファが空の状態から所定のビットレートで入力される。遅延時間の経過後、バッファから１ピクチャに相当するビットが瞬時に引き抜かれ、仮想デコーダによって瞬時に復号化される。ビットの引き抜きが起こると、バッファ内のビット量は減る。その後、次の引き抜き時刻まで所定のビットレートでビットが蓄積される。バッファ内に１ピクチャ分のビットが蓄積されていないにも拘らず、ビット引き抜き時刻が到来した場合には、「アンダーフロー」が起こる。すなわち、デコーダによって引き抜かれるべきビットが枯渇しているので、デコーダは十分なビットが蓄積されるまで待機する。結果として、いわゆるコマ落ち等の不具合が起こる。他方、バッファサイズを越えてビットストリームが入力された場合には、「オーバーフロー」が起こる。バッファの物理的な容量を超えてビットを蓄積することはできないので、この場合にもコマ落ち等の不具合が起こる可能性がある。
【００４３】
画像圧縮部４２は、仮想デコーダのバッファ占有度をシミュレートしつつ、画像データの符号化を行うことによって、再生時にデコーダのバッファのアンダーフローおよびオーバーフローを回避しうる動画データを作成できる。例えば、ある引き抜き時刻でバッファ内のビット量が少なすぎたり多すぎたりする場合、エンコーダは、画像データを量子化する際の量子化係数を調整することによって１ピクチャ（またはスライス）に相当するビット量を下げたり上げたりする。こうして作成された動画データは、バッファ内のビット量を常に空の状態（＝０）と上限（＝バッファサイズ）との間に保ちうるものとなる。
【００４４】
ＤＶＤ（Digital Versatile Disc）の再生装置のように、バッファへの入力ビットレートが可変である場合は、通常、アンダーフローのみ回避できれば足りる。ただし、再生装置によっては、入力ビットレートが固定の場合もありうる。したがって、アンダーフローおよびオーバーフローの両方を回避しうる動画データの作成が望ましい。また、テレビ放送のように、バッファへの入力ビットレートが固定の場合は、アンダーフローおよびオーバーフローの両方を回避しうる動画データを作成する必要がある。
【００４５】
図３に示す仮想バッファのモデルは、あくまでも通常の記録モードで動画データを記録する場合を表している。他方、本実施形態では、間欠記録モードでの消費電力を抑えるために、画像圧縮部４２への給電を必要に応じて止めたり再開したりする。すなわち、連続再生可能な動画データの作成中にも拘らず、画像圧縮部４２を休止させる。画像圧縮部４２が常時活動状態にある場合、画像圧縮部４２自身が仮想デコーダの状態を常に把握できるため、バッファの破綻を回避しうる動画データを継続的に作成できる。
【００４６】
しかし、図４に示すように、ある符号化処理と次の符号化処理との間に画像圧縮部４２の休止（給電停止）が挟まると、画像圧縮部４２は直近の過去の符号化処理の完了時におけるバッファ占有度を忘れる。その結果、仮想デコーダの継続性が絶たれる。仮想デコーダの継続性を無視して間欠動画データを作成すると、その動画データの再生時にバッファの破綻（アンダーフローおよび／またはオーバーフロー）を招くおそれがある。例えば、本来ならばバッファ内のビット量がＤ1と枯渇気味なので、次の符号化処理ではこのビット量Ｄ1を考慮して、圧縮率を高める等の調整を行わなければならないのに、初期遅延があることを前提に符号化処理を行ってしまう。その結果、再生時にアンダーフローが起こる間欠動画データが作成される。
【００４７】
これに対し、図５に示すように、直近の過去の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ1）を画像圧縮部４２への給電停止中に管理するとともに、給電再開後に画像圧縮部４２によって参照できるようにすれば、画像圧縮部４２は、その参照したバッファ占有度（点Ｄ1）を基準として新たな符号化処理を行なえる。直近の過去の符号化処理の完了時におけるバッファ占有度が次の符号化処理に引き継がれる、すなわち、仮想デコーダの継続性は保たれるので、再生時にバッファを破綻させない適正な間欠動画データを作成できる。
【００４８】
本実施形態では、間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な情報として、「継続情報」を用いる。ここでいう「連続再生可能」とは、再生時に再生装置のバッファを破綻させないことを意味している。
【００４９】
継続情報は、簡単には、直近の過去の符号化処理の完了時におけるバッファ占有度を特定するための情報を含む。継続情報は、バッファ７１、メモリカード８０または不揮発性の内蔵メモリ（図示せず）に保存されうる。バッファ７１、メモリカード８０または内蔵メモリは、継続情報を画像圧縮部４２への給電停止中に管理する継続情報管理部としての役割を担う。さらに、継続情報には、タイムスタンプが含まれていてもよい。「タイムスタンプ」とは、間欠動画データを構成するビットストリームのデコード時刻を特定するための情報である。言い換えれば、図３に示す「ビット引き抜き時刻」がタイムスタンプに対応する。これにより、滞りなく再生できる間欠動画データを作成できる。
【００５０】
なお、継続情報のうち、仮想デコーダのバッファ占有度は、間欠動画データに含まれない情報である。継続情報におけるバッファ占有度は、間欠記録時に一時的に作成される情報に過ぎない。他方、タイムスタンプは、間欠動画データに記述されるべき情報であって、動画データの作成時に画像圧縮部４２によって、ストリーム中のヘッダに相当する部分にフレーム毎に記述される。
【００５１】
２．動作
次に、図６のフローチャートを参照して、間欠記録モードで実行される処理を説明する。コントローラ７０は、間欠記録の開始契機を取得することに応じて、図６に示す処理を実行する。開始契機は、例えば、ユーザによって間欠記録の開始操作が行われたときに発生する。具体的には、ビデオカメラ１００の記録モードとして、間欠記録モードが設定されている状態で記録開始の入力操作が行われることに応じて間欠記録を開始する。あるいは、操作部８４に間欠記録開始用の操作ボタンを設け、その操作ボタンがオンされることに応じて間欠記録を開始してもよい。
【００５２】
コントローラ７０は、画像前処理部４１によって生成された画像データを静止画データの形にて所定の時間間隔で画像生成部４１から取り込む（ステップＳ２０１）。ユーザは、操作部８４を用いて静止画データの取り込み間隔（所定の時間間隔）を設定できる。設定された時間間隔は、バッファ７１または図示しない内蔵メモリ上に保存される。
【００５３】
コントローラ７０は、取り込んだ静止画データをバッファ７１に一時的に保存する（ステップＳ２０２）。バッファ７１は、画像生成部４１によって生成された画像データを保存可能な記憶部として機能する。ステップＳ２０１および２０２の時点で、画像圧縮部４２への給電は停止中である。なお、静止画データの保存先として、バッファ７１に代えて、ビデオカメラ１００のカードスロット８１に着脱可能なメモリカード８０を用いることもできる。バッファ７１の容量に比べメモリカード８０の容量は十分に大きいので、メモリカード８０を使用する場合には記憶容量の心配をせずに済む。内蔵メモリまたはハードディスクドライブを設けた場合には、それらのストレージに静止画データを一時的に保存してもよい。
【００５４】
次に、コントローラ７０は、バッファ７１に保存された時系列の静止画データの数を確認する（ステップＳ２０３）。静止画データの数が所定数に達していない場合には、静止画データの取り込みを続ける。静止画データの数が所定数に達していた場合、画像圧縮部４２への給電を開始（２回目以降は再開）すべき旨を給電制御部７５に指示する。給電制御部７５は、コントローラ７０の指示を受け、画像圧縮部４２への給電を開始する（ステップＳ２０４）。詳細には、給電制御部７５は、画像圧縮部４２へのクロック供給およびリセット解除といった電力制御を実行する。一般に、動作していない回路ブロックのクロック供給を停止すれば、全体の消費電力は確実に下がる。クロック供給が遮断された回路ブロックの電流は静的リーク電流のみになり、その回路ブロックの消費電力が極小となるからである。符号化処理を行う画像圧縮部４２の電力消費量は特に大きいので、画像圧縮部４２への給電を停止すること（クロック供給の遮断）による消費電力の低減を十分に期待できる。
【００５５】
なお、静止画データの計数および電力制御がコントローラ７０によって自動的に行われることに代えて、ユーザの操作によって電力制御を実行し、その後、動画データの作成を開始してもよい。
【００５６】
画像圧縮部４２への給電開始後、コントローラ７０は、画像圧縮部４２に継続情報の読み出しを指示する（ステップＳ２０５）。画像圧縮部４２は、バッファ７１（継続情報管理部）の継続情報の有無を確認し、継続情報が存在する場合には継続情報を読み出し、継続情報が存在しない場合には継続情報の読み出しを行わずに次の処理を実行する。図３〜５の説明から理解できるように、間欠記録を開始後、１回も符号化処理（ステップＳ２０６）が行われていない場合には、継続情報は未だ存在しない。継続情報が新規に作成され、かつ最初にバッファ７１に保存されるのは、１回目の符号化処理が終わってからである。
【００５７】
次に、コントローラ７０は、画像圧縮部４２に動画データの作成を指示する（ステップＳ２０６）。画像圧縮部４２は、符号化されるべき画像データとしてバッファ７１から時系列の静止画データを取得し、それら静止画データを符号化することによって１単位の動画データを作成する。符号化処理は、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣに準拠した方式にて行える。場合によっては、ｍｏｔｉｏｎＪＰＥＧも採用しうる。
【００５８】
図２を参照して説明したように、静止画データの数が所定数（本実施形態では１２フレーム）に達した場合に、画像圧縮部４２は、これらの静止画データを符号化し、動画データを生成する。例えば、２分間隔で静止画データを取り込んだ場合には、２４分の周期で１２フレームの静止画データがバッファ７１に蓄積されるので、動画データの作成は２４分間隔で実施すればよい。２４ｆｐｓ（Frame Per Second）のフレームレートで符号化を行った場合、１２フレームの静止画データの符号化によって約０．５秒で再生可能な動画データが得られる。
【００５９】
動画データの作成が完了すると、コントローラ７０は、画像圧縮部４２に対し、画像圧縮部４２がその時点で認識している仮想デコーダのバッファ占有度およびタイムスタンプを継続情報としてバッファ７１に記憶ないし更新させるように指示する（ステップＳ２０７）。図５に示すように、直近の過去の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ1）は、通常、その後の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ2）と相違している。したがって、符号化処理が完了する都度、継続情報を更新する。
【００６０】
さらに、動画データの作成が完了すると、コントローラ７０は、給電制御部７５に対し、画像圧縮部４２への給電を停止すべき旨の指示を出す（ステップＳ２０８）。給電制御部７５は、画像圧縮部４２を構成している回路ブロックへのクロック供給を停止することによって給電を停止する。このように、間欠記録モードにおいて、給電制御部７５は、画像データの符号化が完了する都度画像圧縮部４２への給電を停止するとともに、次に画像データの符号化を行う必要が生じた場合に画像圧縮部４２への給電を再開する。これにより、電力の消費を十分に抑制できる。
【００６１】
次に、コントローラ７０は、作成された動画データをメモリカード８０に記録する（ステップＳ２０９）。現在実行中の間欠記録で先に作成された動画データがメモリカード８０に存在する場合、先に作成された動画データと、新たに記録するべき動画データとをまとめて、連続再生可能な１つの間欠動画データを作成する。これらの動画データは、画像圧縮部４２によって、仮想デコーダの継続性を担保しつつ作成されたものであるから、１つの動画データにまとめたとしても、再生装置のバッファを破綻させないものとなる。具体的に、コントローラ７０は、先の動画データのシーケンスの後ろに新たな動画データを付加し、シーケンスの終了コードを修正する処理を行う。
【００６２】
最後に、コントローラ７０は、間欠記録の終了条件の成否を判断する（ステップＳ２１０）。具体的には、ユーザによって間欠記録の終了操作が行われたかどうかを判断する。間欠記録を継続する場合、ステップＳ２０１からステップＳ２０９の処理を繰り返す。なお、予め設定された間欠記録時間の経過を間欠記録の終了条件としてもよい。すなわち、間欠記録開始からの時間を計測するとともに、設定された間欠記録時間に達した場合に、間欠記録を終了してもよい。
【００６３】
本実施形態によれば、画像圧縮部４２への給電を止めたり再開したりするが、給電再開時に継続情報を参照することにより、画像圧縮部４２は、直近の過去の仮想デコーダのバッファ占有度を認識でき、認識したバッファ占有度を基準として次の符号化処理を行える。このようにして作成された複数の動画データをまとめることによって得られた間欠動画データは、通常の記録モードで作成した動画データと何ら変わらない。また、作成された間欠動画データは１つのファイルで管理されるので、メモリカード８０に多数のＡＶデータが記録され、ＡＶデータの検索に時間がかかるといった問題も生じない。
【００６４】
なお、本実施形態では動画データのみに注目しているが、本発明はこれに限定されない。例えば、間欠記録モードでメモリカード８０に記録するべきデータが、多重化された間欠ＡＶデータであってもよい。具体的には、画像圧縮部４２で作成された動画データをシステムエンコーダ７２（例えばＭＰＥＧ−２システム）で音声データと多重化し、メモリカード８０に記録する。ストリームに音声データが必須というわけではないが、音声データが存在しない場合、再生装置によっては再生不能に陥る可能性もある。そのため、何らかの音声データを用いて、間欠ＡＶデータを作成するのが好ましい。使用できる音声データとしては、どのようなものでも構わない。例えば、マイクロホン５０で集めて音声処理部６０で生成した音声データ、および無音化した音声データを使用できる。また、ビデオカメラ１００の内蔵メモリ、ハードディスクドライブ、メモリカード８０等にユーザが予め準備した音楽データを間欠ＡＶデータの作成に用いてもよい。この場合、間欠ＡＶデータを再生したときに、もとの音楽が途切れることなく流れるように多重化を自由に行える利点がある。
【００６５】
以下の実施形態２〜４にかかるビデオカメラの構成は実施形態１のそれと同じなので、説明を省略する。実施形態２〜４では、間欠動画データの作成の方法が、実施形態１でのそれと少し異なる。ただし、技術的な矛盾が生じない限り、実施形態１で説明した全ての構成および方法は、実施形態２〜４に当然に組み合わせることができる。
【００６６】
（実施形態２）
図７に示すように、ステップＳ４０１〜ステップＳ４０８は、それぞれ、実施形態１のステップＳ２０１〜ステップＳ２０８に対応している。ステップＳ４０９に示すように、本実施形態によると、コントローラ７０は、画像圧縮部４２によって作成された動画データをメモリカード８０に逐一記録することに代えて、バッファ７１（記憶部）の空き領域に一時的に保存する。そして、間欠記録を停止すべき旨の契機を取得することに応じて、バッファ７１に保存された複数の動画データを用いて間欠動画データを作成し、メモリカード８０に記録する（ステップＳ４１１）。
【００６７】
つまり、コントローラ７０は、間欠記録の開始から間欠記録の終了条件が成立するまでの間、作成した複数の動画データをバッファ７１に保存する。間欠記録の終了条件が成立したら、コントローラ７０は、バッファ７１上の全ての動画データをまとめて１つの間欠動画データを作成する。このような方法によると、画像圧縮部４２によって動画データが作成される都度、コントローラ７０がメモリカード８０にアクセスせずに済む。複数の動画データをまとめるための処理も１回で済むので、コントローラ７０の負荷が軽減されうる。システムエンコーダ７２で行うべき多重化も１回で済む。なお、実施形態１と同様、バッファ７１に一時的に保存するべきデータは、音声データと動画データとを含むＡＶデータであってもよい。
【００６８】
また、間欠記録を停止すべき旨の契機を取得することに代えて、バッファ７１の空き容量の多寡に応じて、複数の動画データをまとめて間欠動画データを作成する処理を行ってもよい。例えば、バッファ７１の空き容量が所定量を下回った時点で、バッファ７１に保存された複数の動画データを用いて間欠動画データを作成してもよい。このようにすれば、バッファ７１の容量不足を回避できるとともに、バッファ７１の容量を超えるサイズの間欠動画データを作成できる。
【００６９】
（実施形態３）
本実施形態では、静止画データをバッファ７１に保存する際、その静止画データをいったん圧縮している。図８に示すように、コントローラ７０は、静止画データを取り込んだ後、取り込んだ静止画データを圧縮するとともに、圧縮された静止画データをバッファ７１に保存する（ステップＳ５０１およびＳ５０２）。静止画データの圧縮方式として、例えば、ＪＰＥＧおよびＧＩＦが挙げられる。
【００７０】
次に、コントローラ７０は、バッファ７１に保存された時系列の静止画データの数を確認する（ステップＳ５０３）。静止画データの数が所定数に達していた場合、バッファ７１から静止画データを読み出し、静止画データを伸張する（ステップＳ５０４）。以降のステップＳ５０５〜５１１は、それぞれ、実施形態１のステップＳ２０４〜２１０に対応している。
【００７１】
本実施形態によれば、コントローラ７０は、（i）画像データをフレーム単位で符号化することによって、圧縮された静止画データを生成する静止画圧縮用エンコーダとしての機能と、（ii)圧縮された静止画データを復号化する静止画伸張用デコーダとしての機能とを担う。コントローラ７０は、圧縮された静止画データをバッファ７１に保存するとともに、給電再開後において、圧縮された静止画データをバッファ７１から読み出して復号化することによって、符号化されるべき画像データとしての伸張された静止画データを画像圧縮部４２のために準備する。圧縮された静止画データをバッファ７１に記憶することによって、バッファ７１の容量不足を回避できる。
【００７２】
（実施形態４）
図９に示すように、本実施形態において、コントローラ７０は、静止画データを取り込んだ後、間欠記録の開始後にメモリカード８０に記録した動画データまたは静止画データの有無を確認する（ステップＳ６０１）。動画データおよび静止画データのいずれも存在しない場合は、取り込んだ静止画データをメモリカード８０に保存する（ステップＳ６０２）。その後、再度、静止画データの取り込みを行う（ステップＳ６０１）。静止画データが存在する場合は、その静止画データをメモリカード８０から読み出し、その静止画データと新たに取り込んだ静止画データとを用いて、動画データを作成する。作成した動画データをメモリカード８０に記録した後、再度、静止画データの取り込みを行う（ステップＳ６０１）。
【００７３】
他方、動画データが存在する場合は、メモリカード８０から動画データを読み出す（ステップＳ６０３）。
【００７４】
次に、コントローラ７０は、画像伸張部４３への給電を開始すべき旨を給電制御部７５に指示する。給電制御部７５は、コントローラ７０の指示を受け、画像伸張部４２への給電を開始する（ステップＳ６０４）。そして、画像伸張部４３に対し、読み出した動画データの伸張を行うように指示する（ステップＳ６０５）。伸張後、画像伸張部４３への給電を停止する（ステップＳ６０６）。
【００７５】
ステップＳ６０７および６０８の処理は、それぞれ、実施形態１のステップＳ２０４および２０５に対応している。
【００７６】
画像圧縮部４２への給電開始後、コントローラ７０は、画像圧縮部４２に対し、動画データの作成を指示する（ステップＳ６０９）。画像圧縮部４２は、伸張した動画データからフレーム間符号化処理に必要な参照フレームを抽出し、ステップＳ６０２で取り込んだ静止画データを加えて、新たな動画データを作成する。すなわち、本実施形態では、伸張した動画データに、取り込んだ静止画データを加えて、新たに符号化された動画データを作成する。
【００７７】
ステップＳ６１０および６１１は、それぞれ、実施形態１のステップＳ２０７および２０８に対応している。
【００７８】
画像圧縮部４２への給電停止後、コントローラ７０は、新たな動画データをメモリカード８０に記録する（ステップＳ６１２）。コントローラ７０は、新たな動画データを、ステップＳ６０３で読み込んだ動画データに上書き記録してもよい。これにより、メモリカード８０上の動画データのサイズを抑えることができる。また、コントローラ７０は、新たな動画データ中の新たに生成した差分データのみを、ステップＳ６０３で読み込んだ動画データに追加的に記録してもよい。
【００７９】
本実施形態において、バッファ７１は、静止画データを保存可能な記憶部として機能し、メモリカード８０は、画像圧縮部４２が生成した動画データを保存可能な記憶部として機能している。画像圧縮部４２への給電停止中において、コントローラ７０は、画像データを静止画データの形にて所定の時間間隔で画像前処理部４１から取り込む。新たな静止画データの取り込みに応じて画像圧縮部４２への給電が再開される。給電再開後において、メモリカード８０上に先に作成された動画データが存在する場合に、先に作成された動画データの復号化が画像伸張部４３によって行われるとともに、復号化によって得られた動画データと新たな静止画データとを用いて新たな動画データを作成するための符号化処理が画像圧縮部４２によって行われる。画像圧縮部４２によって作成された新たな動画データがメモリカード８０に再記録される。
【００８０】
本実施形態の方法によれば、静止画データを取り込む都度、その静止画データを用いて符号化された動画データを作成する。そのため、バッテリが空になる等、何らかの原因によって間欠記録が中断した場合に、その時点までに取り込んだ静止画データが全て失われるのを防止でき、中断直前までの動画データをメモリカード８０に確実に記録できる。
【００８１】
なお、本実施形態においても、動画データとともに音声データを取り扱ってもよい。この場合、メモリカード８０に記録されたＡＶデータは、システムデコーダ７３によって動画データと音声データとに分けられ、分離した動画データに対して、本実施形態で説明した処理が行われる。
【産業上の利用可能性】
【００８２】
本発明は、間欠記録機能を備えた撮像装置、例えばビデオカメラに有用である。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
前記画像データの符号化を行うことによって動画データを作成するエンコーダと、
当該撮像装置の記録モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードを設定する記録モード設定部と、
前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録する記録制御部と、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するとともに、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理する継続情報管理部と、
を備えた、撮像装置。
【請求項２】
前記エンコーダは、当該撮像装置または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダにおけるバッファ占有度をシミュレートしつつ前記画像データの符号化を行うことによって、再生時に前記デコーダのバッファのアンダーフローを回避しうる前記動画データを作成するように構成され、
前記継続情報が、直近の過去の符号化処理の完了時における前記バッファ占有度を特定するための情報を含み、
給電再開後に前記継続情報を参照することによって、前記エンコーダは、直近の過去の符号化処理の完了時における前記バッファ占有度を基準として新たな符号化処理を行う、請求項１に記載の撮像装置。
【請求項３】
前記給電制御部は、前記エンコーダを構成している回路ブロックへのクロック供給を停止することによって給電を停止する、請求項１に記載の撮像装置。
【請求項４】
前記画像生成部によって生成された前記画像データを保存可能な記憶部をさらに備え、
前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得して前記記憶部に一時的に保存するとともに、前記記憶部に保存された時系列の前記静止画データが所定数に到達した場合に、前記エンコーダへの給電を再開すべき旨を前記給電制御部に指示し、
前記給電制御部による給電再開後、前記エンコーダは、符号化されるべき前記画像データとして前記記憶部から時系列の前記静止画データを取得し、それら静止画データを符号化することによって１単位の前記動画データを作成する、請求項１に記載の撮像装置。
【請求項５】
前記記録制御部は、前記エンコーダによって作成された前記動画データを前記記憶部に一時的に保存するとともに、間欠記録を停止すべき旨の契機を取得することに応じて、前記記憶部に保存された複数の前記動画データを用いて前記間欠動画データを作成する、請求項４に記載の撮像装置。
【請求項６】
前記記録制御部は、（i）前記画像データをフレーム単位で符号化することによって、圧縮された前記静止画データを生成する静止画圧縮用エンコーダと、（ii)圧縮された前記静止画データを復号化する静止画伸張用デコーダとを含み、圧縮された前記静止画データを前記記憶部に保存するとともに、給電再開後において、圧縮された前記静止画データを復号化することによって、符号化されるべき前記画像データとしての伸張された静止画データを前記エンコーダのために準備する、請求項４に記載の撮像装置。
【請求項７】
前記記憶部が、当該撮像装置に着脱可能なメモリカードを含む、請求項４に記載の撮像装置。
【請求項８】
前記継続情報は、前記間欠動画データを構成するビットストリームのデコード時刻を特定するためのタイムスタンプをさらに含む、請求項１に記載の撮像装置。
【請求項９】
前記エンコーダによる動画圧縮方式が、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣである、請求項１に記載の撮像装置。
【請求項１０】
前記撮像装置が、バッテリで駆動するビデオカメラである、請求項１に記載の撮像装置。
【請求項１１】
前記画像生成部によって生成された前記画像データと、前記エンコーダが生成した前記動画データとを保存可能な記憶部と、
前記動画データを復号化するデコーダと、をさらに備え、
前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得する一方、
新たな静止画データの取得に応じて前記エンコーダへの給電が再開され、
給電再開後において、前記記憶部上に先に作成された動画データが存在する場合に、先に作成された前記動画データの復号化が前記デコーダによって行われるとともに、復号化によって得られたデータと前記新たな静止画データとを用いて新たな動画データを作成するための符号化処理が前記エンコーダによって行われ、
前記エンコーダによって作成された前記新たな動画データが前記記憶部に再記録される、請求項１に記載の撮像装置。
【請求項１２】
被写体を撮像して画像データを生成するステップと、
前記画像データの符号化を行うことによって動画データを作成するステップと、
前記画像データの符号化を行うエンコーダの動作モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録するステップと、
前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するステップと、
前記エンコーダへの給電停止後、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理するステップと、
を含む、動画データ作成方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010032457.tif 000012
【図２】
2010032457.tif 000013
【図３】
2010032457.tif 000014
【図４】
2010032457.tif 000015
【図５】
2010032457.tif 000016
【図６】
2010032457.tif 000017
【図７】
2010032457.tif 000018
【図８】
2010032457.tif 000019
【図９】
2010032457.tif 000020
【手続補正書】
【提出日】平成23年6月14日(2011.6.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像部と、
前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
前記画像データを符号化することによって動画データを作成するエンコーダと、
当該撮像装置の記録モードとして、前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する頻度よりも低い間欠記録モードを設定する記録モード設定部と、
前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データとして記録する記録制御部と、
前記間欠記録モードにおいて、前記動画データの作成が完了した後に前記エンコーダへの給電を停止し、次に前記動画データを作成する必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
前記間欠動画データを連続再生可能なストリームとするために用いられる情報であって、前記動画データを作成する際に前記エンコーダが参照する継続情報を、前記エンコーダへの給電停止中に管理する継続情報管理部と、
を備えた、撮像装置。
【請求項２】
前記エンコーダは、当該撮像装置または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダにおけるバッファ占有度をシミュレートしつつ前記画像データの符号化を行うことによって、再生時に前記デコーダのバッファのアンダーフローを回避しうる前記動画データを作成するように構成され、
前記継続情報が、直近の過去の符号化処理の完了時における前記バッファ占有度を特定するための情報を含み、
給電再開後に前記継続情報を参照することによって、前記エンコーダは、直近の過去の符号化処理の完了時における前記バッファ占有度を基準として新たな符号化処理を行う、請求項１に記載の撮像装置。
【請求項３】
前記給電制御部は、前記エンコーダを構成している回路ブロックへのクロック供給を停止することによって給電を停止する、請求項１に記載の撮像装置。
【請求項４】
前記画像生成部によって生成された前記画像データを保存可能な記憶部をさらに備え、
前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得して前記記憶部に一時的に保存するとともに、前記記憶部に保存された時系列の前記静止画データが所定数に到達した場合に、前記エンコーダへの給電を再開すべき旨を前記給電制御部に指示し、
前記給電制御部による給電再開後、前記エンコーダは、符号化されるべき前記画像データとして前記記憶部から時系列の前記静止画データを取得し、それら静止画データを符号化することによって１単位の前記動画データを作成する、請求項１に記載の撮像装置。
【請求項５】
前記記録制御部は、前記エンコーダによって作成された前記動画データを前記記憶部に一時的に保存するとともに、間欠記録を停止すべき旨の契機を取得することに応じて、前記記憶部に保存された複数の前記動画データを用いて前記間欠動画データを作成する、請求項４に記載の撮像装置。
【請求項６】
前記記録制御部は、（i）前記画像データをフレーム単位で符号化することによって、圧縮された前記静止画データを生成する静止画圧縮用エンコーダと、（ii)圧縮された前記静止画データを復号化する静止画伸張用デコーダとを含み、圧縮された前記静止画データを前記記憶部に保存するとともに、給電再開後において、圧縮された前記静止画データを復号化することによって、符号化されるべき前記画像データとしての伸張された静止画データを前記エンコーダのために準備する、請求項４に記載の撮像装置。
【請求項７】
前記記憶部が、当該撮像装置に着脱可能なメモリカードを含む、請求項４に記載の撮像装置。
【請求項８】
前記継続情報は、前記間欠動画データを構成するビットストリームのデコード時刻を特定するためのタイムスタンプをさらに含む、請求項１に記載の撮像装置。
【請求項９】
前記エンコーダによる動画圧縮方式が、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣである、請求項１に記載の撮像装置。
【請求項１０】
前記撮像装置が、バッテリで駆動するビデオカメラである、請求項１に記載の撮像装置。
【請求項１１】
前記画像生成部によって生成された前記画像データと、前記エンコーダが生成した前記動画データとを保存可能な記憶部と、
前記動画データを復号化するデコーダと、をさらに備え、
前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得する一方、
新たな静止画データの取得に応じて前記エンコーダへの給電が再開され、
給電再開後において、前記記憶部上に先に作成された動画データが存在する場合に、先に作成された前記動画データの復号化が前記デコーダによって行われるとともに、復号化によって得られたデータと前記新たな静止画データとを用いて新たな動画データを作成するための符号化処理が前記エンコーダによって行われ、
前記エンコーダによって作成された前記新たな動画データが前記記憶部に再記録される、請求項１に記載の撮像装置。
【請求項１２】
被写体像を撮像して画像データを生成するステップと、
前記画像データを符号化することによって動画データを作成するステップと、
前記画像データを符号化するエンコーダの動作モードとして、前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データとして記録するステップと、
前記間欠記録モードにおいて、前記動画データの作成が完了した後に前記エンコーダへの給電を停止するステップと、
前記エンコーダへの給電停止後、次に前記動画データの作成を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
前記間欠動画データを連続再生可能なストリームとするために用いられる情報であって、前記動画データを作成する際に前記エンコーダが参照する継続情報を、前記エンコーダへの給電停止中に管理するステップと、
を含む、動画データ作成方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
すなわち、本発明は、
被写体像を撮像する撮像部と、
前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
前記画像データを符号化することによって動画データを作成するエンコーダと、
当該撮像装置の記録モードとして、前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する頻度よりも低い間欠記録モードを設定する記録モード設定部と、
前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて（マージして）、１つの間欠動画データとして記録する記録制御部と、
前記間欠記録モードにおいて、前記動画データの作成が完了した後に前記エンコーダへの給電を停止し、次に前記動画データを作成する必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
前記間欠動画データを連続再生可能なストリームとするために用いられる情報であって、前記動画データを作成する際に前記エンコーダが参照する継続情報を、前記エンコーダへの給電停止中に管理する継続情報管理部と、
を備えた、撮像装置を提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
他の側面において、本発明は、
被写体像を撮像して画像データを生成するステップと、
前記画像データを符号化することによって動画データを作成するステップと、
前記画像データを符号化するエンコーダの動作モードとして、前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データとして記録するステップと、
前記間欠記録モードにおいて、前記動画データの作成が完了した後に前記エンコーダへの給電を停止するステップと、
前記エンコーダへの給電停止後、次に前記動画データの作成を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
前記間欠動画データを連続再生可能なストリームとするために用いられる情報であって、前記動画データを作成する際に前記エンコーダが参照する継続情報を、前記エンコーダへの給電停止中に管理するステップと、
を含む、動画データ作成方法を提供する。
【国際調査報告】
2010032457.tif 000021
2010032457.tif 000022
2010032457.tif 000023
2010032457.tif 000024