(57)【要約】【課題】動画像データの符号化処理および記録処理時に消費電力の時間分布の均一化を図り、バッテリでの駆動時間を従来よりも延ばすことができる動画像記録装置、動画像記録方法、その記録媒体およびプログラムを提供する。【解決手段】符号化器１２０は、連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する。一時記憶装置１１７は、符号下記１２０が出力した符号化データを含むビットストリームを一時的に記憶する。書き込みタイミング制御装置１１８は、フレーム内符号化の処理中にのみ一時記憶装置１１７より符号化データを含むビットストリーム読み出してディスクメディア１１５に記録する。【選択図】  図１
2005006197.tif 000002
【特許請求の範囲】
【請求項１】
連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する符号化手段と、
前記符号化手段が出力する前記符号化データを一時的に記憶する一時記憶手段と、
前記符号化手段より前記フレーム内符号化の処理中または前記フレーム間符号化の処理中であることを示す符号化処理情報を取得する符号化処理情報取得手段と、
前記符号化処理情報取得手段が取得した前記符号化処理情報を基に、前記フレーム内符号化の処理中にのみ、前記一時記憶手段より前記符号化データを読み出して記録媒体に記録する処理を行う記録制御手段と
を具備することを特徴とする動画像記録装置。
【請求項２】
前記記録媒体は、間歇的な書き込みが可能な記録媒体であることを特徴とする請求項１に記載の動画像記録装置。
【請求項３】
前記符号化手段が前記符号化データとしてＭＰＥＧ方式に準拠した符号化データを出力する場合に、前記符号化処理情報取得手段は、前記符号化処理情報として前記符号化手段が処理中のフレームタイプがＩフレーム、Ｐフレーム、Ｂフレームのいずれであるかに関する情報を取得し、
前記記録制御手段は、前記フレームタイプに関する情報を基に、前記Ｉフレームの処理中にのみ前記一時記憶手段より前記符号化データを読み出して記録媒体に記録すること
を特徴とする請求項１または請求項２に記載の動画像記録装置。
【請求項４】
前記一時記憶手段は、少なくとも１つのグループオブピクチャ分の前記符号化データを記憶することを特徴とする請求項３に記載の動画像記録装置。
【請求項５】
前記符号化手段が前記フレーム間符号化の処理を行う際に、動きベクトル検出処理を行う場合に、前記符号化処理手段より前記動きベクトル検出処理の終了を示す情報を取得する終了情報取得手段を更に具備し、
前記記録制御手段は、前記フレーム内符号化の処理中の期間に加えて、前記フレーム間符号化の処理中であって動きベクトル検出処理の終了後の期間も、前記一時記憶手段より前記符号化データを読み出して記録媒体に記録する処理を行うこと
を特徴とする請求項１から請求項４のいずれか１項に記載の動画像記録装置。
【請求項６】
連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する第１のステップと、
前記第１のステップで出力する前記符号化データを一時記憶手段に一時的に記憶する第２のステップと、
前記第１のステップにおいて前記フレーム内符号化の処理中に前記一時記憶手段より前記符号化データを読み出して記録媒体に記録する第３のステップと
を有することを特徴とする動画像記録方法。
【請求項７】
前記第１のステップで前記フレーム間符号化の処理を行う際に動きベクトル検出処理を行う場合に、前記フレーム間符号化の処理中であって動きベクトル検出処理の終了後の期間に前記一時記憶手段より前記符号化データを読み出して前記記録媒体に記録する第４のステップを更に有することを特徴とする請求項６に記載の動画像記録方法。
【請求項８】
連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する第１のステップと、
前記第１のステップで出力する前記符号化データを一時記憶手段に一時的に記憶する第２のステップと、
前記第１のステップにおいて前記フレーム内符号化の処理中に前記一時記憶手段より前記符号化データを読み出して記録媒体に記録する第３のステップと
を動画像記録装置に実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
前記第１のステップで前記フレーム間符号化の処理を行う際に動きベクトル検出処理を行う場合に、前記フレーム間符号化の処理中であって動きベクトル検出処理の終了後の期間に前記一時記憶手段より前記符号化データを読み出して前記記録媒体に記録する第４のステップを更に前記動画像記録装置に実行させるためのプログラムを記録した請求項８に記載のコンピュータ読み取り可能な記録媒体。
【請求項１０】
連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する第１のステップと、
前記第１のステップで出力する前記符号化データを一時記憶手段に一時的に記憶する第２のステップと、
前記第１のステップにおいて前記フレーム内符号化の処理中に前記一時記憶手段より前記符号化データを読み出して記録媒体に記録する第３のステップと
を動画像記録装置に実行させるためのプログラム。
【請求項１１】
前記第１のステップで前記フレーム間符号化の処理を行う際に動きベクトル検出処理を行う場合に、前記フレーム間符号化の処理中であって動きベクトル検出処理の終了後の期間に前記一時記憶手段より前記符号化データを読み出して前記記録媒体に記録する第４のステップを更に前記動画像記録装置に実行させるための請求項１０に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）などのフレーム間動き補償機能をもった符号化方式を採用した動画像記録装置に関するものであって、特に間歇的に書き込みが可能な記録メディアを具備した動画像記録装置、動画像記録方法、その記録媒体およびプログラムに関する。
【０００２】
【従来の技術】
近年、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）を中心とした、フレーム間動き補償機能を有する動画像符号化方式が、急激に実用化されてきている。規格自体は、ＭＰＥＧ−１（ＩＳＯ／ＩＥＣ  １１１７２−２）、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ  １３８１８−２）、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ  １４４９６−２）と制定されているが、すべての方式において、フレーム間動き補償機能が搭載されている。
【０００３】
上述したＭＰＥＧ方式においては、間歇的に書き込みを可能とするためフレーム内符合化画面（イントラフレーム）を少なくとも１枚含む画面群（フレーム群）であるＧＯＰ（グループオブピクチャ）を構成する。図８は、ＭＰＥＧ方式におけるＧＯＰのフレーム構成を示す図である。図８において、“Ｉ”が付与されているフレームは、イントラフレーム（以下、Ｉフレームとする）であり、フレーム内符号化されたフレームである。また、“Ｐ”が付与されているフレームは、前方予測フレーム（Ｐフレーム）であり、前方のフレームのみを上記動き検出の対象とするフレームである。また、“Ｂ”が付与されているフレームは、双方向予測フレーム（Ｂフレーム）であり、前後双方から動きベクトルを検出するフレームである。また、図８に示す各フレームには１〜１８まで通し番号（フレーム番号）が付与されており、ここでは、フレーム１〜フレーム１５をＧＯＰとする。
【０００４】
以上に示したフレームにおいて、Ｉフレーム（フレーム３）には動き検出処理は不要である。また、Ｂフレーム（フレーム１，２，４，５，…）は、図８の矢印に示すように前方のフレーム、および後方のフレーム両方を参照して動きベクトル検出を行う。また、Ｐフレーム（フレーム６，９，…）は、図８の矢印に示すように前方のフレームのみを参照して動きベクトル検出を行う。以上に示したように、Ｂフレームの動きベクトル検出の処理は、Ｐフレームの処理と比べてもいっそう重い負荷となる処理である。また、Ｂフレームに対する動き検出以外の符号化処理（ＤＣＴ、量子化、ハフマン符号化など）においても、Ｉフレームに対する同様の処理と比較して、動きベクトル検出の処理ほどの違いはないにしろ、より負荷の大きい処理である。
【０００５】
次に、上述した図８のフレーム構成において、各フレームの動きベクトル検出の処理や符合化処理（例えば、ハードウェアでの処理）に必要な消費電力分布について説明する。図９は、図８に示したフレーム構成における各フレームの消費電力分布例を示す図である。図９に示すように、Ｉフレームの処理に必要な消費電力が最も少なく、次にＰフレームの処理であり、最も消費電力が多いのはＢフレームの処理である。消費電力のフレームごとの絶対的な比率は、必ずしも図９に示す関係になるとは限らないが、相対的な分布はこのようになることは容易に推察される。
【０００６】
一方、上述したＭＰＥＧ処理後の動画データを記録メディアへ記録する場合において、例えば、記録メディアがテープメディアの場合では、所定のスピードで連続した書き込みを行う。また、記録メディアが光ディスクなどの書き込みスピードが充分に速く、ランダムアクセス性も有するメディアの場合には、間歇的な書き込みが可能になっている。この間歇的な書き込み時のみに光ディスクに対して例えばレーザーピックアップの駆動が行われるため、間歇的な書き込み実行時に、急激に消費電力が増加している。
【０００７】
例えば、動画の符号化処理時に消費電力を低減した画像符号化装置として、複数のブロックにより構成される画像と、当該画像より前の画像との誤差を各ブロック毎に検出することにより、適用する符号化方法を各ブロック毎に決定し、符号化方法が決定したブロックのうち、イントラ符号化が適用されるブロックのカウント値に基づいて、残りのブロックの符号化方法を決定することで、不要な動きベクトルの検出を省略し、消費電力を低減することができる画像符号化装置が開示されている（例えば、特許文献１参照。）。
【０００８】
【特許文献１】
特開２００３−１２５４１２号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した間歇的な書き込み動作が各フレームの処理タイミングと無関係に行われると双方の消費電流のバランスが悪くなってしまう場合がある。具体的にはＩフレーム処理時で書き込み動作をしていない期間が最も消費電力が少なくなり、逆にＢフレーム処理時で書き込み動作を行っている期間が最も消費電力が多くなる。このように消費電力にムラがあると、例えば画像記録装置がバッテリで駆動されていた場合に、結果としてバッテリでの駆動時間が短くなってしまうという問題がある。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、動画像データの符号化処理および記録処理時に消費電力の時間分布の均一化を図り、バッテリでの駆動時間を従来よりも延ばすことができる動画像記録装置、動画像記録方法、その記録媒体およびプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明による動画像記録装置においては、連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する符号化手段と、符号化手段が出力する符号化データを一時的に記憶する一時記憶手段と、符号化手段よりフレーム内符号化の処理中またはフレーム間符号化の処理中であることを示す符号化処理情報を取得する符号化処理情報取得手段と、符号化処理情報取得手段が取得した符号化処理情報を基に、フレーム内符号化の処理中にのみ、一時記憶手段より符号化データを読み出して記録媒体に記録する処理を行う記録制御手段とを具備することを特徴とする。
【００１２】
また、本発明による動画像記録方法においては、連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する第１のステップと、第１のステップで出力する符号化データを一時記憶手段に一時的に記憶する第２のステップと、第１のステップにおいてフレーム内符号化の処理中に一時記憶手段より符号化データを読み出して記録媒体に記録する第３のステップとを有することを特徴とする。
【００１３】
また、本発明による記録媒体は、連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する第１のステップと、第１のステップで出力する符号化データを一時記憶手段に一時的に記憶する第２のステップと、第１のステップにおいてフレーム内符号化の処理中に一時記憶手段より符号化データを読み出して記録媒体に記録する第３のステップとを動画像記録装置に実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１４】
また、本発明によるプログラムは、連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力する第１のステップと、第１のステップで出力する符号化データを一時記憶手段に一時的に記憶する第２のステップと、第１のステップにおいてフレーム内符号化の処理中に一時記憶手段より符号化データを読み出して記録媒体に記録する第３のステップとを動画像記録装置に実行させるためのプログラムである。
【００１５】
これにより、本発明の動画像記録装置、動画像記録方法、その記録媒体およびプログラムにおいては、連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力し、その符号化データを一時記憶手段に一時的に記憶し、フレーム内符号化の処理中に一時記憶手段より符号化データを読み出して記録媒体に記録するので、消費電力の少ないフレーム内符号化の処理中に消費電力を多く消費する記録媒体への記録処理を行うことができる。すなわち、動画像データの符号化処理および記録処理時に消費電力の時間分布の均一化を図り、バッテリでの駆動時間を従来よりも延ばすことができる。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
まず、本発明の第１の実施形態である動画像記録装置の概略構成について説明する。尚、本実施形態における動画像記録装置は、デジタルカメラなどの画像生成装置より入力されるアナログ映像信号（例えば、ビデオ信号）をＭＰＥＧ形式の動画像データにエンコードしてディスクメディアに記録する構成である。
【００１７】
図１は、本発明の第１の実施形態である動画像記録装置の概略構成を示す図である。図１において、１０１は、撮像装置であり動画像を撮影してビデオ信号を出力する。１０２は、Ａ／Ｄ（アナログ／ディジタル）コンバータであり、撮像装置１０１が出力するビデオ信号に対してＡ／Ｄ変換処理を行い、ディジタル動画像データを出力する。１０３は、動きベクトル検出回路であり、連続するフレームの冗長性を削減して符号化効率を高めるため動きベクトルを検出する回路である。また、動きベクトル検出回路１０３は、リファレンスフレームメモリ１０４に格納される参照フレームより、動きベクトルにより指定されるブロックの画像データを読み出して後述する画像差分器１０５へ出力する。１０４は、リファレンスフレームメモリであり、動きベクトル検出回路１０３での処理においてリファレンスとなる画像データであって、後述するローカル復号器１１９が復号した画像データを格納する。
【００１８】
１０５は、画像差分器であり、動きベクトル検出回路１０３が出力する動きベクトルで指定されるブロックの画像データから、後述するローカル復号器１１９が出力する画像データを減算する。１０６は、ＤＣＴ（離散コサイン変換）回路であり、画像差分器１０５が出力する減算後の画像データに対して変換符号化（ＤＣＴ処理）を行い、ＤＣＴ係数データを出力する変換回路である。１０７は量子化回路であり、ＤＣＴ回路１０６が出力するＤＣＴ係数データに対して量子化処理を行う。１０８は、係数並び替え回路であり、マクロブロック内における量子化処理後のＤＣＴ係数データの並び替え（ジグザグスキャンやオルタネートスキャンと呼ばれる）を行う。
【００１９】
１０９は、ハフマン符号などを利用したエントロピー符号器であり、係数並び替え回路１０８が出力する量子化処理後のＤＣＴ係数データと、動きベクトル検出回路１０３が検出した動きベクトルとを基に符号化処理を行うことでハフマン符号化された符号化データを出力する。１１０は、ストリーム形成回路であり、エントロピー符号器１０９が符号化した符号化データに対して、適宜ヘッダ情報やスタートコードなどを付加してビットストリームを形成して出力する。
【００２０】
以上に示した、動きベクトル検出回路１０３〜ストリーム形成回路１１０により、符号化器１２０を構成している。尚、符号化器１２０の構成はこの限りではなく、Ａ／Ｄコンバータ７０２が出力する動画像データを例えばＭＰＥＧ形式等の圧縮形式で符号化する構成であれば種々の構成を用いて好適である。
【００２１】
また、１１２は、逆量子化回路であり、量子化回路１０７が量子化したＤＣＴ係数データに対して逆量子化を行う。１１１は、ＩＤＣＴ（逆離散コサイン変換）回路であり、逆量子化回路１１２が出力する逆量子化後のＤＣＴ係数データに対してＩＤＣＴ処理を行う。また、ＩＤＣＴ回路１１１の出力する画像データは、上述した画像差分器１０５に入力される。１１３は、加算器であり、ＩＤＣＴ回路１１１が出力する画像データと、リファレンスフレームメモリ１０４に格納しているリファレンス画像データとの加算演算を行い、復号画像データを生成する。この復号画像データはリファレンスフレームメモリ１０４に格納される。
【００２２】
以上に示したＩＤＣＴ回路１１１、逆量子化回路１１２、加算器１１３により、ローカル復号器１１９が構成されている。このローカル復号器１１９は、ＭＰＥＧ形式の画像データを復号する復号器において復号されると期待される差分復号画像を符号化側で再生する機能を実現している。尚、ローカル復号器１１９の構成はこの限りではなく、量子化回路１０７が量子化後のＤＣＴ係数データを基に復号画像データを生成できる構成であれば種々の構成を用いて好適である。
【００２３】
１１４は、多重化器であり、ストリーム形成回路１１０が出力するビットストリームと、オーディオストリームとを多重化したビットストリームを出力する。尚、多重化後のビットストリームはディスクメディア１１５に書き込み（記録）可能なデータである。また、ディスクメディア１１５に書き込む前に、上述したビットストリームに対して、例えばオーディオなどの他のメディアにおけるビットストリームとの多重化を行ったり、エラー訂正のための符号を付加したりしてもよい。
【００２４】
ここで、上述した動きベクトル検出回路１０３の動作について説明する。
図２は、図１に示した動きベクトル検出回路１０３の動作例を示す図である。前方予測および後方予測での動きベクトル検出を行う場合に、動きベクトル検出回路１０３は、符号化した図２に示すようなマクロブロック２１の範囲の画像データとリファレンスフレームメモリ１０４から参照するリファレンス画像データとの間で差分を算出し、その絶対値和が最小となる位置を動きベクトルとして検出する。各ＭＰＥＧ符号化でサブサンプリング比が４：２：０の場合は、図２に示すように、マクロブロック２１は、４つの輝度ブロック（６４×４：総数２５６画素）および、２つの色差ブロックより構成される。また、動きベクトル検出回路１０３が行う動きベクトル検出処理では、マクロブロック２１の４つの輝度ブロックのみを使用して行われる。
【００２５】
動きベクトル検出回路１０３が各画素データに対して行う一点での処理は、２５６回の差分および絶対値演算および、絶対値の総和をとる演算である。この演算を（式１）に示す。
【数１】
2005006197.tif 000003
上述した（式１）において、ｂはマクロブロック２１内のブロックの番号（０≦ｂ≦３）、ｐはマクロブロック２１内のピクセル番号（０≦ｐ≦６３）である。また、Ｐｂ，ｐおよびＲｂ，ｐは、それぞれの位置における、符号化対象画像データおよびリファレンス画像データのピクセル値（画素値）である。具体的には、８ビットの画像データの場合は、０≦Ｐｂ，ｐ≦２５５，０≦Ｒｂ，ｐ≦２５５である。
【００２６】
以上に示すように、動きベクトル検出回路１０３は、各画素データに対する１点での演算には、６４×４＝２５６回の差分演算と同数回の絶対値演算、その結果の総和をとる演算を必要する。また、これを縦横方向にリファレンス画像データにおける比較位置を動かしながら同様の絶対値和演算を行い、所定の範囲まで演算を行ったのちに、最終的にその和が最小となる点までの変移を求める。また、画素データの平均化を行うことで１／２画素単位で処理を行い、横及び縦方向の動きベクトル値とする場合もある。また、ＭＰＥＧ−４においては、マクロブロック２１（１６×１６）ではなくブロック（８×８）ごとに動きベクトルを求める手法も採用されている。
【００２７】
上述したいずれの動きベクトル検出方法にしても、動きベクトル検出回路１０３における、動きベクトル探索演算は非常に高負荷の処理であり消費電力が高くなる。また、動きベクトル検出処理について各種の簡略法が提案されているが、たとえ簡略化したとしても、動画像記録装置全体に占める処理負荷は大きく、動画像記録装置における消費電力に示す割合も大きいが、Ｂフレーム処理時のみ動作するので消費電力の時間分布にムラがある。また、ディスクメディアへの書き込み処理も消費電力的に高負荷の処理であり、動画像記録装置における消費電力に示す割合も大きい。また、ディスクメディア１１５への書き込み処理は、間歇的であるので、この処理による消費電力の時間分布にもムラがある。双方の処理による消費電力のムラにおけるピーク部分が重なると多大な消費電力となることがある。そこで、以下に説明する構成により、双方の処理による消費電力のピーク部分が重ならないように制御する。
【００２８】
１１６は、フレームタイプコントローラであり、符号化器１２０における符号化中のフレームタイプ情報を通知する。具体的には、符号化器１２０が符号化実行中のフレームタイプ（Ｉフレーム、Ｐフレーム、あるいはＢフレーム）に関する情報であるフレームタイプ情報を後述する書き込みタイミング制御装置１１８に伝送する。
【００２９】
１１７は、一時記憶装置であり、ＧＯＰ単位で多重化器１１４が出力する多重化済みのビットストリームを記録する。具体的には、一時記憶装置１１７は、半導体メモリなどの記録媒体を備える装置である。尚、一時記憶装置１１７は、少なくとも１つ以上のＧＯＰ分の多重化済みビットストリームを蓄積可能な記憶容量を有する。
【００３０】
１１８は、書き込みタイミング制御装置であり、符号化器１２０が処理するフレームタイプに応じてディスクメディア１１５への書き込み処理を制御する。具体的には、書き込みタイミング制御装置１１８は、フレームタイプコントローラ１１６からのフレームタイプ情報により、符号化器１２０がＩフレームを処理中の期間のみに一時記憶装置１１７からビットストリームを読み出してディスクメディア１１５への書き込みを一括して行う。そのために、リファレンスフレームメモリ（あるいはそのコントローラ）１０４から、書き込みタイミング制御装置１１８へ、フレーム同期をとるための同期信号Ｓｙｎｃも同時に伝送される。
【００３１】
ここで、一時記憶装置１１７の記憶容量例および書き込みタイミング制御装置１１８の書き込み速度例について説明する。例えば図８に示したようなＧＯＰの構成である場合に、１ＧＯＰには１５フレーム分（図８のフレーム１からフレーム１５）のビットストリームが含まれる。ここで、ビデオカメラ１０１から入力されるビデオ信号が、３０フレーム／秒のビデオシーケンスであるとする。この場合に、ビットストリームの具体的なビットレートを５１２ｋｂｐｓと設定すると、１ＧＯＰ分の総ビット数は、０．５秒分で、２５６ｋビットとなる。従って、一時記憶装置１１７の記憶容量は、２５６ｋビット相当を用意すればよいことになる。
【００３２】
また、符号化器１２０がＩフレームを処理中の期間（以下、Ｉフレーム期間とする）に、書き込みタイミング制御装置１１８が、１ＧＯＰ分のビットストリームデータをディスクメディア１１５に書き込みするためには、１／３０秒以下での書き込みを行えばよい。すなわち、書き込みタイミング制御装置１１８の書き込み速度は、２５６ｋ×３０≒７．７Ｍｂｐｓとなる。この程度の速度であれば書き込みタイミング制御装置１１８は、Ｉフレーム期間の間に充分ディスクメディア１１５への書き込みが可能である。
【００３３】
以上に示した構成により、本実施形態における動画像記録装置は、符号化処理における消費電力の少ない期間（Ｉフレーム処理機関）に、ディスクメディア１１５への書き込み処理を行うことで、トータルでの最大消費電力量を抑えることができる。これにより、動画像記録装置がバッテリ駆動である場合には、バッテリ駆動時間を長持ちさせることが可能となる。
【００３４】
次に、図１に示した動画像記録装置におけるビデオ信号をＭＰＥＧ方式のビットストリームに変換して記録する録画動作について説明する。
図３は、図１に示した動画像記録装置におけるビデオ信号をＭＰＥＧ方式のビットストリームに変換して記録する録画動作を示すフロー図である。図３に示すように、ステップＳ３０１において、動画像記録装置は、ビデオ信号に対する符号化の処理を開始する。次に、ステップＳ３０２において、動画像記録装置は、ディスクメディア１１５へ録画するための以下に示す録画処理を開始する。
【００３５】
まず、ステップＳ３０３において、フレームタイプコントローラ１１６は、符号化器１２０が処理中のフレームタイプを判定する。ここで、フレームタイプコントローラ１１６がＩフレームと判定した場合（ステップＳ３０３のＹｅｓ）には、ステップＳ３０５に進み、書き込みタイミング制御装置１１８は、一時記憶装置１１７に蓄積されたビットストリームを読み出しディスクメディア１１５への書き込みを実行する。また、フレームタイプコントローラ１１６がＰフレームおよびＢフレーム（Ｉフレームではない）と判定した場合（ステップＳ３０３のＹｅｓ）には、ステップＳ３０４に進み、動画像記録装置は、一時記憶装置１１７へビットストリームの蓄積を行う。
【００３６】
上述したステップＳ３０４またはＳ３０５の次は、符号化器１２０が最終フレームを処理していない（＝録画終了していない）場合（ステップＳ３０６のＮｏ）には、ステップＳ３０３に戻り、動画像記録装置は、次のフレームに対する処理を行う。また、符号化器１２０が最終フレームを処理した（＝録画終了した）場合（ステップＳ３０６のＹｅｓ）には、ステップＳ３０７に進み、書き込みタイミング制御装置１１８は、一時記憶装置１１７より最終フレーム分を含むＧＯＰのビットストリームを読み出しディスクメディア１１５へ書き込む。以上により、ステップＳ３０８において、動画像記録装置は、画像の録画処理を終了する。
【００３７】
以上に説明したように、本実施形態における動画像記録装置は、符号化器１２０にとって処理の比較的軽い（＝消費電力が少ない）Ｉフレーム期間でのみディスクメディア１１５への書き込みを行う。これにより、消費電力の平滑化を実現することが可能になる。図４は、本実施形態の動画像記録装置における消費電力の時間分布例を示す図である。これは、図９に示した符号化処理の消費電力の時間分布例に、ディスクメディアへの書き込み処理の消費電力を加算した図でもある。図４に示すように符号化処理において消費電力の最も少ない、Ｉフレーム期間に書き込み処理の消費電力が加算されることで、動画像記録装置全体としては、消費電力の時間分布が平滑化されている。これにより、例えば、動画像記録装置がバッテリで駆動されている場合には、消費電力が平滑化されているので、バッテリへの負荷を軽減できる。すなわち、動画像記録装置のバッテリ駆動時間を延ばすことができる。
【００３８】
尚、本実施形態において書き込みタイミング制御装置１１８は、１／３０秒に一度の書き込みを行っているため、ディスクメディア１１５のように間歇的な書き込みが可能なメディアが好適であり、テープなどの一定速度で書き込むメディアでは困難である。
【００３９】
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態では、ディスクメディアに記録するビットストリームのビットレートを５１２ｋｂｐｓと仮定した。これは、Ｑｕａｒｔｅｒ  ＶＧＡ（３２０×２４０）程度のサイズの動画像に対しては充分なパフォーマンス（画質）を提供する。しかしながら、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｉｔｔｅｅ）フルサイズ（７２０×４８０）のような大きな画像を、高画質のビットストリームとするには、例えば１０Ｍｂｐｓ以上のビットレートが必要となることがある。この場合に、第１の実施形態に示したＧＯＰと同じ構成のＧＯＰを処理するには、ディスクメディアへの書き込み速度は、５Ｍｂｉｔ×３０≒１５０Ｍｂｐｓとなる。これは、現時点における高速のディスク装置をもってしてもかなり高い書き込み要求速度であり、書き込みが間に合わない可能性も高い。このような高ビットレートに対応したものが第２の実施形態における動画像記録装置である。
【００４０】
図５は、本発明の第２の実施形態である動画像記録装置の概略構成を示す図である。図５に示す動画像記録装置において、図１に示した第１の実施形態の動画像記録装置と同じ符号を有するものは、同じ機能であるので、説明を省略する。図５に示すように、第２の実施形態である動画像記録装置において、第１の実施形態と比べて新たに追加された構成は、動き検出終了通知回路２２０および一時記憶更新装置２２１である。
【００４１】
動き検出終了通知回路２２０は、動きベクトル検出回路１０３より動きベクトル検出の処理終了に関する情報を受信して、一時記憶更新装置２２１へ動き検出終了タイミング信号を出力する。一時記憶更新装置２２１は、各フレーム期間が終了した時点で書き込み未終了のビットストリームがある場合に、書き込みタイミング制御装置１１８から、書き込み未終了の信号を受信して、一時記憶装置１１７に蓄積しているビットストリームデータを更新する。この更新の処理とは具体的には、一時記憶更新装置２２１は、一時記憶装置１１７に蓄積しているビットストリームデータの内、書き込みが終了した分を削除する処理を行う。
【００４２】
以上の構成により、第２の実施形態の動画像記録装置は、高ビットレートに対応した書き込み処理を行う。
図６は、第２の実施形態の動画像記録装置における高ビットレートに対応した書き込み処理動作を示す図である。図６に示すように、動画像記録装置の書き込みタイミング制御装置１１８は、フレーム同期信号Ｓｙｎｃに同期して、ディスクメディア１１５への書き込みを行う。尚、フレーム同期信号Ｓｙｎｃは、図６に示すように各フレームを符号化処理する期間のみＨ（ハイ）レベルとなる。
【００４３】
また、図６の符号６１は、動きベクトル検出処理の期間（動きベクトル検出処理期間）を示す四角（以下、期間６１とする）である。６２は、一時記憶装置への書き込み処理期間を示す四角（以下、期間６２とする）である。図６に示すように、時刻ｔ１でフレーム同期信号Ｓｙｎｃが立ち上がると期間６１が開始される。また、時刻ｔ２で期間６１が終了する（＝動きベクトル処理が終了する）と期間６２が開始される。また、時刻ｔ３でフレーム同期信号Ｓｙｎｃが立ち下がると期間６２が終了する。すなわち、この期間６２が示すように、一時記憶更新装置２２１は、動き検出終了通知回路２２０から受信する動き検出終了タイミング信号を基に、期間６１が終わった時点（動きベクトル検出処理が終わった時点）から、一時記憶装置１１７に多重化処理後のビットストリームを書き込む処理を開始するよう一時記憶装置１１７を制御する。
【００４４】
６３は、ディスクメディア１１５への書き込み期間を示す四角（以下、期間６３とする）である。図６においては、時刻ｔ４〜ｔ５に示すＩフレーム期間（フレーム３の処理期間）の間にディスクメディア１１５への全ビットストリームの書き込みが終了できなかった場合を示している。これにより、時刻ｔ６〜ｔ７および時刻ｔ８〜ｔ９の期間６３に示すように、書き込みタイミング制御装置１１８は、期間６２を２回利用して、ディスクメディア１１５へのビットストリームの書き込みを行う。
【００４５】
以上に示すように、本実施形態における動画像記録装置は、ビットストリームが高ビットレートで伝送されるためにＩフレーム期間内でディスクメディア１１５への書き込みが終了できない場合に、次のフレーム処理期間であって、動きベクトル検出処理が終了している期間を利用してディスクメディア１１５への書き込みを行うことができる。すなわち、本実施形態の動画像記録装置は、第１の実施形態と比較すると、動き検出終了を通知する機能と、その動き検出終了の通知に応じたディスクメディア１１５への書き込み制御機能を更に備える構成である。
【００４６】
従来の問題点として、ＰフレームおよびＢフレームはＩフレームと比べて、動き検出処理の負荷が大きく消費電力が多くなると上述したが、実際には、ＰフレームおよびＢフレームの符号化期間においても、動き検出処理の行われない期間（期間６２）が存在する。この期間であれば、ほぼＩフレーム期間の消費電力と変わらない消費電力であるので、ディスクメディア１１５への書き込み処理を行うのに好都合な期間である。以上により、動画像記録装置において、高ビットレートのビットストリームに対応すると共に、消費電力の時間分布を平滑化した録画処理を行うことができる。
【００４７】
次に、図５に示した動画像記録装置におけるビデオ信号をＭＰＥＧ方式のビットストリームに変換して記録する録画動作について説明する。
図７は、図５に示した動画像記録装置におけるビデオ信号をＭＰＥＧ方式のビットストリームに変換して記録する録画動作を示すフロー図である。図７に示すように、ステップＳ４０１において、動画像記録装置は、ビデオ信号に対する符号化の処理を開始する。次に、ステップＳ４０２において、動画像記録装置は、ディスクメディア１１５へ録画するための以下に示す録画処理を開始する。
【００４８】
まず、ステップＳ４０３において、フレームタイプコントローラ１１６は、符号化器１２０が処理中のフレームタイプを判定する。ここで、フレームタイプコントローラ１１６がＩフレームと判定した場合（ステップＳ４０３のＹｅｓ）には、ステップＳ４０５に進み、書き込みタイミング制御装置１１８は、一時記憶装置１１７に蓄積されたビットストリームを読み出しディスクメディア１１５への書き込みを実行する。また、フレームタイプコントローラ１１６がＰフレームおよびＢフレーム（Ｉフレームではない）と判定した場合（ステップＳ４０３のＹｅｓ）には、ステップＳ４０４に進み、動画像記録装置は、一時記憶装置１１７へビットストリームの蓄積を行う。
【００４９】
上述したステップＳ４０５の次に、ステップＳ４０６において、書き込みタイミング制御装置１１８は、図６に示したフレーム同期信号Ｓｙｎｃが立ち下がった時点で、全ビットストリーム（１ＧＯＰ分）のディスクメディア１１５への書き込みが終了しているか否かを判定する。ここで、全ビットストリームのディスクメディア１１５への書き込みが終了していると判定した場合（ステップＳ４０６のＹｅｓ）には、動画像記録装置は、後述するステップＳ４０９の処理に進む。また、全ビットストリームのディスクメディア１１５への書き込みが終了していないと判定した場合（ステップＳ４０６のＮｏ）には、動画像記録装置は、それに関する情報を一時記憶更新装置２２１へ送信する。これにより、ステップＳ４１２において、一時記憶更新装置２２１は、一時記憶装置１１７に蓄積されているビットストリームデータを更新する。
【００５０】
次に、ステップＳ４０７において、一時記憶更新装置２２１は、ＭＥ（動きベクトル検出処理）実行中であるか否かを、動き検出終了通知回路２２０から受信する動き検出終了タイミング信号を基に判断する。ここで、ＭＥ実行中であると判断した場合（ステップＳ４０７のＹｅｓ）には、ステップＳ４１２に戻って、一時記憶更新装置２２１は、一時記憶装置１１７に蓄積されているビットストリームデータを更新する。
【００５１】
また、ＭＥ実行中でない（＝ＭＥ実行終了）と判断した場合（ステップＳ４０７のＮｏ）には、一時記憶更新装置２２１が書き込みタイミング制御装置１１８にその旨を通知する。これにより、ステップＳ４０８において、書き込みタイミング制御装置１１８は、一時記憶装置１１７に残っている未書き込みのビットストリームデータを読み出し、ディスクメディア１１５へ書き込み処理を行う。尚、同時に、図６に示すように、一時記憶更新装置２２１は、一時記憶装置１１７が多重化処理を終えたビットストリームデータを蓄積するよう制御する。以上のステップＳ４０８の処理をおえると、動画像記録装置は、ステップＳ４０６の処理に戻り、ディスクメディア１１５への書き込みが終了したか否かを判定する。
【００５２】
次に、符号化器１２０が最終フレームを処理していない（＝録画終了していない）場合（ステップＳ４０９のＮｏ）には、ステップＳ４０３に戻り、動画像記録装置は、次のフレームに対する処理を行う。また、符号化器１２０が最終フレームを処理した（＝録画終了した）場合（ステップＳ４０９のＹｅｓ）には、ステップＳ４１０に進み、書き込みタイミング制御装置１１８は、一時記憶装置１１７より最終フレームを含む最終ＧＯＰのビットストリームを読み出しディスクメディア１１５へ書き込む。以上により、ステップＳ４１１において、動画像記録装置は、画像の録画処理を終了する。
【００５３】
以上に示した処理において本実施形態の特徴となる処理は、ステップＳ４０６〜Ｓ４０７およびステップＳ４１２の処理であり、これらの処理は図６に示した処理に対応している。すなわち、本実施形態における動画像記録装置は、書き込み処理終了判定を行い、もし書き込み処理が終了していない場合は、一時記憶更新処理２２１にて、一時記憶装置１１７の中からディスクメディア１１５へ書き込み済みのビットストリームデータを消去し、未書き込みのビットストリームデータだけを継続して保存する。その後、動画像記録装置は、ＭＥ処理が終了するまで待って、継続して保持しているビットストリームデータをディスクメディア１１５へ書き込む処理を行う。
【００５４】
以上により、動画像記録装置において、高ビットレートのビットストリームに対応すると共に、消費電力の時間分布を平滑化した録画処理を行うことができる。また、一時記憶装置１１７がビットストリームデータの書き込み処理（蓄積処理）に消費電力を大きく消費する構成である場合に、図６に示したように、一時記憶装置１１７におけるビットストリームデータの書き込み処理も、動きベクトル検出処理終了後に行うことで、更なる消費電力の時間分布の平滑化を達成することができる。これにより、例えばバッテリ駆動である動画像記録装置において、高ビットレートのビットストリームに対応すると共に、従来の動画像記録装置と比べて単位時間あたりのバッテリの消耗を抑えることができるという効果が得られる。
【００５５】
尚、上述した実施形態においては、符号化処理後の動画像データを格納する記録媒体としてディスクメディアを用いたが、この限りではなく、間歇的な書き込み（ランダムアクセス）が可能な記録媒体であれば種々の記録媒体を用いて好適である。上述した間歇的な書き込みが可能な記録媒体として、例えば、フラッシュメモリ等の不揮発性のメモリなどがある。
【００５６】
また、図１および図５に示したデジタルビデオカメラの各種処理部は、専用のハードウェアにより実現されるものであってもよく、また、各処理部の一部または全部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各処理部における種々の処理を実現する為のプログラムをメモリに読み込んで実行することによりその処理を実現させるものであってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【００５７】
また、コンピュータが読み出したプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の各種制御回路の機能が実現される場合も含まれる。
【００５８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の各種制御回路の機能が実現されてもよい。
【００５９】
また、上述した実施形態における動画像記録装置は、デジタルカメラなどの画像生成装置より入力されるアナログ映像信号（ビデオ信号）をＭＰＥＧ形式の動画像データにエンコードしてディスクメディアに記録する構成を示したが、この限りではない。例えば、ディジタル映像信号をＭＰＥＧ形式の動画像データにエンコードする構成などであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００６０】
【発明の効果】
以上説明したように、本発明の動画像記録装置、動画像記録方法、その記録媒体およびプログラムにおいては、連続したフレーム画像より構成される動画像データに対してフレーム内符号化またはフレーム間符号化を行うことで符号化データを出力し、その符号化データを一時記憶手段に一時的に記憶し、フレーム内符号化の処理中に一時記憶手段より符号化データを読み出して記録媒体に記録するので、消費電力の少ないフレーム内符号化の処理中に消費電力を多く消費する記録媒体への記録処理を行うことで、動画像データの符号化処理および記録処理時に消費電力の時間分布の均一化を図ることができる。これにより、例えば動画像記録装置がバッテリで駆動されている場合に、バッテリでの駆動時間を従来よりも延ばすことができるという効果を得る。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である動画像記録装置の概略構成を示す図である。
【図２】図１に示した動きベクトル検出回路１０３の動作例を示す図である。
【図３】図１に示した動画像記録装置におけるビデオ信号をＭＰＥＧ方式のビットストリームに変換して記録する録画動作を示すフロー図である。
【図４】本実施形態の動画像記録装置における消費電力の時間分布例を示す図である。
【図５】本発明の第２の実施形態である動画像記録装置の概略構成を示す図である。
【図６】第２の実施形態の動画像記録装置における高ビットレートに対応した書き込み処理動作を示す図である。
【図７】図５に示した動画像記録装置におけるビデオ信号をＭＰＥＧ方式のビットストリームに変換して記録する録画動作を示すフロー図である。
【図８】ＭＰＥＧ方式におけるＧＯＰのフレーム構成を示す図である。
【図９】図８に示したフレーム構成における各フレームの消費電力分布例を示す図である。
【符号の説明】
１０１      撮像装置
１０２      Ａ／Ｄコンバータ
１０３      動きベクトル検出回路
１０４      リファレンスフレームメモリ
１０５      画像差分器
１０６      ＤＣＴ（離散コサイン変換）回路
１０７      量子化回路
１０８      係数並び替え回路
１０９      エントロピー符号器
１１０      ストリーム形成回路
１１１      ＩＤＴＣ回路
１１２      逆量子化回路
１１３      加算器
１１４      多重化器
１１５      ディスクメディア
１１６      フレームタイプコントローラ
１１７      一時記憶装置
１１８      書き込みタイミング制御装置
１１９      ローカル復号器
１２０      復号化器
【図１】
2005006197.tif 000004
【図２】
2005006197.tif 000005
【図３】
2005006197.tif 000006
【図４】
2005006197.tif 000007
【図５】
2005006197.tif 000008
【図６】
2005006197.tif 000009
【図７】
2005006197.tif 000010
【図８】
2005006197.tif 000011
【図９】
2005006197.tif 000012