(57)【要約】【課題】  記録メディアに応じた最適な符号量制御が可能な装置を提供する。【解決手段】  動画像データを入力する入力手段と、前記動画像データを符号化する符号化手段と、前記符号化手段により出力された符号化動画像データを第１の記録媒体に記録する第１の記録手段と、前記符号化手段により出力された符号化動画像データを第２の記録媒体に記録する第２の記録手段と、前記第１の記録媒体と前記第２の記録媒体のうち一方を選択して前記符号化動画像データを記録させる選択手段と、前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、前記選択手段の選択結果に応じて前記符号量制御手段による制御手順を変更する変更手段とを備える。【選択図】  図１
2006237846.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを入力する入力手段と、
前記動画像データを符号化する符号化手段と、
前記符号化手段により出力された符号化動画像データを第１の記録媒体に記録する第１の記録手段と、
前記符号化手段により出力された符号化動画像データを第２の記録媒体に記録する第２の記録手段と、
前記第１の記録媒体と前記第２の記録媒体のうち一方を選択して前記符号化動画像データを記録させる選択手段と、
前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、
前記選択手段の選択結果に応じて前記符号量制御手段による制御手順を変更する変更手段とを備える画像処理装置。
【請求項２】
前記符号化手段は符号化すべき前記動画像の状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記動画像信号を符号化し、前記変更手段は、前記選択手段の選択結果に応じて、前記符号量制御手段による符号量制御パラメータを変更することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記符号量制御パラメータは前記符号化動画像データのデータレートを目標データレートに収束させるまでの前記動画像信号の記録開始からの目標時間であることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記符号量制御手段は前記符号化動画像データの発生符号量に基づいて前記符号化動画像データのデータレートを変化させて目標データレートに近づけるよう前記符号化手段を制御し、前記符号量制御パラメータは前記符号化動画像データのデータレートを変化させる際の変化量に関するパラメータであることを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記符号量制御手段は前記符号化動画像データのデータレートを所定の比較値と比較した比較結果に基づいて前記符号化動画像データのデータレートを変化させるよう前記符号化手段を制御し、前記符号量制御パラメータは前記比較値であることを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記変更手段は前記選択手段の選択結果に応じて、前記比較値の設定手順を変更することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記変更手段は前記比較値を記録開始の指示に応じて所定値から徐々に目標データレートに対応した値まで変化させると共に、前記比較値を前記目標データレートに対応した値まで変化させるまでの期間を前記選択手段の選択結果に応じて変更することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記符号量制御手段は前記符号化動画像データの発生符号量に基づいて前記符号化動画像データのデータレートを変化させて所定の目標データレートに近づけるよう前記符号化手段を制御し、前記符号量制御パラメータは前記符号化動画像データのデータレートを前記所定の目標データレートに近づける際の強制力に関するパラメータであることを特徴とする請求項２記載の画像処理装置。
【請求項９】
前記強制力に関するパラメータは、前記動画像データの複雑度の情報を前記符号量制御手段による符号量制御の処理に反映させる程度に関するパラメータであることを特徴特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記符号量制御手段は、前記複雑度の情報に基づいて前記目標データレートの値を前記所定の目標データレートとは異なる値に設定する第１のモードと、前記複雑度の情報にかかわらず前記目標データレートの値を一定値に設定する第２のモードとを有し、前記変更手段は前記選択手段の選択結果に応じて前記第１のモードと第２のモードを切り替えるよう前記符号量制御手段を制御することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記強制力に関するパラメータは、前記動画像データの圧縮率の制限に関するパラメータであることを特徴特徴とする請求項８記載の画像処理装置。
【請求項１２】
前記符号化手段は符号化すべき前記動画像の状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記動画像信号を符号化し、前記符号量制御手段は、前記符号化動画像データのデータレートが目標データレートに近づくよう前記符号化手段を制御する第１のモードと、前記符号化動画像データのデータレートが前記目標データレートに基づいて設定された範囲内となるよう前記符号化手段を制御する第２のモードとを有し、前記変更手段は前記選択手段の選択結果に応じて前記第１のモードと第２のモードとを切り替えることを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記第２のモードにおいて、前記符号量制御手段は、前記符号化動画像データのデータレートが前記目標データレートに近づくよう制御せずに、前記符号化動画像データのデータレートが前記目標データレートに基づいて設定された最大データレート及び最小データレートの範囲内となるよう前記符号化手段を制御することを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記符号化手段は符号化すべき前記動画像の状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記動画像信号を符号化し、前記符号量制御手段は、前記符号化動画像データのデータレートを目標データレートに収束させるよう前記符号化手段を制御する第１のモードと、前記目標データレートに対する前記符号化動画像データのデータレートの収束処理を行わない第２のモードとを有し、前記変更手段は前記選択手段の選択結果に応じて前記第１のモードと第２のモードとを切り替えることを特徴とする請求項１記載の画像処理装置。
【請求項１５】
前記符号量制御手段は前記符号化動画像データのデータレートが目標データレートとなるように前記符号化手段を制御し、前記変更手段は前記選択手段の選択結果に応じて、前記符号化動画像データのデータレートの算出期間を変更することを特徴とする請求項１記載の画像処理装置。
【請求項１６】
前記変更手段は前記選択手段の選択結果に応じて、前記符号化動画像データのデータレートの算出期間の長さを変更することを特徴とする請求項１５記載の画像処理装置。
【請求項１７】
前記変更手段は、前記選択手段の選択結果に応じて、記録開始の指示からの全ての期間である第１の期間と、前記第１の期間よりも短い第２の期間のうちの一方を選択することを特徴とする請求項１５記載の画像処理装置。
【請求項１８】
前記符号量制御手段は、所定期間における前記符号化動画像データのデータレートが目標データレートとなるよう前記符号化手段を制御する第１のモードと、記録開始後の全ての期間の前記符号化動画像データの平均データレートが前記目標データレートとなるよう前記符号化手段を制御する第２のモードとを有し、前記変更手段は前記選択手段の選択結果に基づいて前記第１のモードと第２のモードを切り替えるよう前記符号量制御手段を制御することを特徴とする請求項１記載の画像処理装置。
【請求項１９】
前記符号量制御手段は、記録開始後の全ての期間の前記符号化動画像データの平均データレートの情報を用いて前記符号化手段を制御する第１のモードと、前記平均データレートの情報を用いずに前記符号化手段を制御する第２のモードとを有し、前記変更手段は前記選択手段の選択結果に基づいて前記第１のモードと第２のモードを切り替えるよう前記符号量制御手段を制御することを特徴とする請求項１記載の画像処理装置。
【請求項２０】
前記第１の記録媒体と第２の記録媒体は、互いに記録可能なデータ量が異なることを特徴とする請求項１記載の画像処理装置。
【請求項２１】
撮像手段と、
前記撮像手段により得られた動画像データを符号化する符号化手段と、
前記符号化手段により出力された符号化動画像データを第１の記録媒体に記録する第１の記録手段と、
前記符号化手段により出力された符号化動画像データを第２の記録媒体に記録する第２の記録手段と、
前記第１の記録媒体と前記第２の記録媒体のうち一方を選択して前記符号化動画像データを記録させる選択手段と、
前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、
前記符号量制御手段が第１の制御手順にて前記符号化手段を制御すると共に前記選択手段が前記第１の記録媒体を選択して前記第１の記録手段により符号化動画像データを記録する第１のモードと、前記符号量制御手段が第２の制御手順にて前記符号化手段を制御すると共に前記選択手段が前記第２の記録媒体を選択して前記第２の記録手段により符号化動画像データを記録する第２のモードとを切り替えるモード切り替え手段とを備える撮像装置。
【請求項２２】
撮像手段により得られた動画像データを符号化し、この符号化された動画像データを第１の記録媒体と第２の記録媒体に記録する装置であって、
前記第１の記録媒体に対して前記動画像データを記録する場合には記録開始後第１の期間で前記符号化された動画像データのデータレートを目標データレートに収束させるよう前記符号化処理における符号量制御を行い、前記第２の記録媒体に対して前記動画像データを記録する場合には記録開始後前記第１の期間よりも短い第２の期間で前記符号化された動画像データのデータレートを前記目標データレートに収束させるよう前記符号化処理における符号量制御を行うことを特徴とする撮像装置。
【請求項２３】
撮像手段により得られた動画像データを符号化し、この符号化された動画像データを第１の記録媒体と第２の記録媒体に記録する装置であって、
前記第１の記録媒体に対して前記動画像データを記録する場合には画質を優先して前記符号化処理における符号量制御を行い、前記第２の記録媒体に対して前記動画像データを記録する場合には記録時間の制度を優先して前記符号化処理における符号量制御を行うことを特徴とする撮像装置。
【請求項２４】
動画像データを入力する入力ステップと、
前記動画像データを符号化する符号化ステップと、
前記符号化された符号化動画像データを第１の記録媒体に記録する第１の記録ステップと、
前記符号化された符号化動画像データを第２の記録媒体に記録する第２の記録ステップと、
前記第１の記録媒体と前記第２の記録媒体のうち一方を選択して前記符号化動画像データを記録させる選択ステップと、
前記符号化される符号化動画像データの発生符号量を制御する符号量制御ステップと、
前記選択ステップにおける選択結果に応じて前記符号量制御ステップによる制御手順を変更する変更ステップとを有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特には動画像データの符号化処理可変長符号化を用いて動画を圧縮し記録する際の、カメラ撮影による動画と外部入力動画の符号化ビットレート制御に関する。
【背景技術】
【０００２】
近年、ＶＴＲに代わり、ハードディスクやＤＶＤなどのディスク媒体などに動画像信号をデジタルデータとして記録再生するディスクレコーダがテレビジョン放送の録画に用いられるようになってきた。これらの装置では、デジタル動画データをＭＰＥＧ２などの可変長符号化によって符号化し、その膨大な情報量を圧縮することによって一枚のディスクメディアに記録することを可能としている。
【０００３】
可変長符号化による圧縮では、入力画像の複雑さや動きに応じて符号化データのデータレート（ビットレート）が随時変化する。そこで、通常はバッファオーバーフロー、アンダーフロー防止や記録容量の制限を満たすため、フィードバック制御によって符号化データ量を所定の値に近づける符号化ビットレート制御が行われている（例えば特許文献１参照）。
【０００４】
この様な可変長符号化処理においては、符号化ビットレートの制御方式の違いにより、発生符号量をほぼ一定に保つ固定ビットレート（ＣＢＲ：Ｃｏｎｓｔａｎｔ  Ｂｉｔ  Ｒａｔｅ）符号化と、符号化ビットレートの平均値を目標値に近づけながらも、動画の各フレームにおいては画像の複雑さや動きの激しさに応じて最適な符号量配分を行う可変ビットレート（Ｖａｒｉａｂｌｅ  Ｂｉｔ  Ｒａｔｅ）符号化の２種類の符号化方式がある。
【０００５】
ＶＢＲ符号化においては、符号化すべき動画像データ全体に渡っての発生符号量見積もりを行った後、実際の符号化を行う２パス構成をとることで、理想的な符号量配分が可能となる。そのため、従来は、符号化すべき動画像データを一度蓄積した後、ソフトウェアでのオフライン処理によってＶＢＲ符号化を行っていた。
【０００６】
近年、このＶＢＲ符号化をリアルタイムで行うハードウェアの開発が進み、現在、前述の如きディスクレコーダでは、画質に有利なリアルタイムＶＢＲ符号化が行われることが一般的になってきた。符号化すべき動画像データについて事前に符号量を配分して符号化を行う２パスエンコードに対し、これらのリアルタイムのビットレート制御技術は１パスエンコードと呼ばれる。
【０００７】
１パスエンコードによるＶＢＲ符号化時の符号化ビットレート制御においては、動画像のフレームごとの複雑さや動きの激しさといった局所的な特性に左右されず、２パスエンコードによる理想に近い符号量配分を実現するために、所定期間の符号化ビットレートを平均し、その平均値を目標とする符号化ビットレートに合わせるよう、徐々に符号量を制御していくことが考えられている。この平均ビットレートを目標値へ漸近させる制御の傾きによって目標とする符号化ビットレートへの収束時間が決定する。
【０００８】
図１４は、この様に目標ビットレートを設定してＶＢＲ符号化により動画像データを符号化した場合の符号化ビットレートの変化の例を示す図である。Ｌ１４０１は単位時間あたりの符号化ビットレート変化を示す。Ｌ１４０１では収束時間Ｔの間に緩やかに目標ビットレートＢＲに収束している。
【０００９】
ＶＢＲ符号化において所定の収束時間で目標ビットレートとなるよう制御する方法については、符号化開始からの経過時間と現在までの平均ビットレートに基づき、目標ビットレートに対応する収束カーブを選択することによって、画質への影響を少なくしながらも、所定の収束時間で目標ビットレートに収束させる実施例が知られている（例えば特許文献２参照）。
【００１０】
ディスクレコーダなどでテレビ放送を受信して記録する場合には、動画像の局所的特性への依存を排除して理想的な配分に近づける目的から、ＶＢＲ符号化における目標ビットレートへの収束時間として、１０分前後とすることが理想と考えられている。
【００１１】
また、その際、記録開始からの総ビットレートの平均を算出し、その結果を目標とする符号化ビットレートに合わせるよう制御することにより、トータルの記録データ量を所定の精度で保証することができる。
【００１２】
また、近年では、メモリカードを記録メディアとしたデジタルカメラや、ＤＶＤを記録メディアとしたビデオカメラも登場している。さらに、ＤＶＤのドライブとメモリカードスロットを両方備え、各記録メディアに対して動画像データを記録可能なビデオカメラも登場している。
【特許文献１】特開２０００−１９７０４８号公報
【特許文献２】特開２０００−１９７０４８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
近年、メモリカードの記録容量は近年急激に増大しつつあるとはいえ、ＤＶＤなどの光ディスクやＨＤＤなどに比べると記録容量が限られており、また、記録開始から記録停止までの一つのシーンが１分以下であることが多い。
【００１４】
そこで、比較的記録容量の大きなディスクメディアと、記録容量の小さいメモリカードの両方に対して動画像データを記録可能なビデオカメラにおいて、ＶＢＲ符号化の際に長時間にわたって目標ビットレートとなるよう符号量制御を行うと、メモリカードに記録する場合には目標レートに収束する前に記録停止となる場合が多くなってしまう。
【００１５】
このように、メモリカードに対して動画像データを記録する場合にも、ディスクに対して動画像データを符号化する場合と同様にビットレートの制御を行った場合、記録容量の限られたメモリカードへの記録時においても記録ビットレートが著しく変動し、記録可能時間が正確に予測できず、非常に使い勝手が悪かった。
【００１６】
本発明はこのような問題を解決し、記録メディアに応じた最適な符号量制御が可能な装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
以上の問題点を解決するため、本発明は、動画像データを入力する入力手段と、前記動画像データを符号化する符号化手段と、前記符号化手段により出力された符号化動画像データを第１の記録媒体に記録する第１の記録手段と、前記符号化手段により出力された符号化動画像データを第２の記録媒体に記録する第２の記録手段と、前記第１の記録媒体と前記第２の記録媒体のうち一方を選択して前記符号化動画像データを記録させる選択手段と、前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、前記選択手段の選択結果に応じて前記符号量制御手段による制御手順を変更する変更手段とを備える。
【発明の効果】
【００１８】
本発明によれば、記録メディアに応じて符号量制御の処理を変更することで、記録画質、あるいは、記録時間などを優先した符号量制御の処理を柔軟に切り替えることが可能となる。
【発明を実施するための最良の形態】
【００１９】
図１は本発明の第１の実施形態の概略構成を示す図である。
【００２０】
図１において、１０１はレンズ光学系及びＣＣＤ等の光電変換からなるカメラ部である、１０１で撮像されたアナログ動画信号はＡ／Ｄ変換回路１０２でデジタル画像信号に変換された後、カメラ信号処理部１０３によって画素補間、色変換、γ変換等の処理を受け、符号化すべき画像フォーマットのデータとして画面並べ替え回路１０９に出力される。画面並べ替え回路１０９はカメラ信号処理回路１０３からの動画像信号を、符号化すべき順序に応じて並べ替える。例えば、ＭＰＥＧ２符号化においては、Ｂピクチャと呼ばれる双方向予測フレームは、前後のフレームが符号化された後に符号化すべきものであるため、画面並べ替え回路１０９における並べ変え処理は、入力した動画像データの画面順を符号化すべき順序に並べ変えてから処理することに相当する。
【００２１】
差分回路１１０では、スイッチ１２３の選択により、Ｉピクチャの符号化時には並べ変え回路１０９から出力された画像データそのものを出力し、Ｐピクチャ及びＢピクチャの符号化時には、動き補償予測回路１２１から出力された予測画像データと並べ変え回路１０９からの画像データとの差分値をＤＣＴ回路１１１に供給される。ＤＣＴ回路１１１は入力された画像データに対し公知のＤＣＴ処理を施す。ＤＣＴ係数に変換された画像データは量子化回路１１２において、レート制御回路１２７により設定される量子化スケールＱによって量子化される。このＱ値を変化させることによって量子化後の係数値は大きく変化し、これによって発生符号量が変化する。
【００２２】
可変長符号化回路１１３は量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファ１１４は符号化レート制御のために発生符号化データを一時保存する。バッファに貯められた符号化データは、スイッチ１０８を介して出力される記録メディアであるメモリカード１２９、光ディスク１１６への記録レートに応じて読み出される。
【００２３】
本形態においては、ユーザがスイッチ１２４を操作することにより、メモリカード１２９と光ディスク１１６のうち動画像データの記録メディアを任意に選択することができる。本形態のビデオカメラは、メモリカードスロットとディスクスロットとを備え、記録メディア選択回路１２５はスイッチ１２４によりメモリカードが選択された場合、スイッチ１０８をメモリカード記録回路１２８側に接続する。メモリカード記録回路１２８はバッファ１１４より読み出した符号化動画像データに対してパケット化、多重化などの処理を施し、カードスロットを介して装着されたメモリカード１２９に対して記録する。また、スイッチ１２４によりディスクが選択された場合、記録メディア選択回路１２５はスイッチ１０８をディスク記録回路１１５側に接続する。ディスク記録回路１１５はバッファ１１４より読み出した符号化動画像データに対してパケット化など必要な処理を施してディスク１１６に記録する。
【００２４】
一方、量子化回路１１２で量子化された係数データは、予測画像データを得るために逆量子化回路１１７で逆量子化され、逆ＤＣＴ回路１１８でＤＣＴ逆変換される。
【００２５】
加算回路１１９ではスイッチ１２２の選択によって、Ｉピクチャ符号化時には逆ＤＣＴ変換後のデータをそのまま出力し、またＰピクチャもしくはＢピクチャの符号化時において動き補償予測回路１２１から出力された予測画像データと加算され局部復号画像としてビデオメモリ１２０に保存される。
【００２６】
動き補償予測回路１２１ではビデオメモリ１２０に蓄えられた局部復号画像と入力画像を比較することにより、動き補償を行った予測画像データを生成し、差分回路１１０に供給するとともに、次の局部復号のための予測画像として加算回路１１９にも供給する。
【００２７】
本実施形態の特徴であるレート制御設定回路１２６は、記録メディア選択回路１２５による選択結果に基づき、レート制御回路１２７の符号化レート制御パラメータを変更する。制御パラメータ変更の詳細については後述する。
【００２８】
レート制御回路１２７はバッファ１１４から得られる、発生符号量、バッファ充填率などの情報を用いて、量子化回路１１２における量子化スケールＱの値を制御し、発生符号量を制御する。本形態においては、レート制御設定回路１２６により、選択スイッチ１２４により選択された記録メディアの種類に応じて、符号量制御のためのパラメータを設定する。
【００２９】
図２は本実施形態による、符号化ビットレート制御の切り替えに伴って生成される動画像データの符号化ビットレートの様子を示す図である。
【００３０】
本実施形態では、記録メディアとしてメモリカード１２９を選択した場合と、ディスク１１５を選択した場合とで、符号化ビットレートを目標ビットレートに収束させるまでの収束時間を切り替えている。Ｌ２０１はディスク１１５を選択した場合の、単位時間あたりの符号化ビットレート変化を示す。Ｌ２０１では収束時間Ｔ１の間に符号化ビットレートが目標ビットレートＢＲに収束している。一方、Ｌ２０２はメモリカード１２９を選択した場合の、単位時間あたりの符号化ビットレート変化を示したもので、Ｔ１に比べて十分に短い収束時間Ｔ２以内に符号化ビットレートが目標ビットレートに収束している。
【００３１】
図３は、レート制御回路１２７において、このような制御を行うために設定する平均ビットレートの閾値を示す図である。Ｌ３０１は収束時間をＴ１とした場合に設定する所定期間の平均ビットレートについての閾値を示しており、現在の平均ビットレートが経過時間に対してＬ３０１より上にある場合は、目標とするビットレートに対して発生符号量が多すぎるため、量子化スケールを大きくするよう制御することによって目標ビットレートに対して収束させていく。
【００３２】
Ｌ３０２は収束時間をＴ２とした場合に設定する所定期間の平均ビットレートの閾値を示している。Ｌ３０１と同様の制御を行うことによって収束時間Ｔ２で、目標ビットレートに収束させる。本形態では、メモリカード１２９とディスク１１５のうち、記録メディア選択回路１２５の選択結果に応じてレート制御設定回路１２６がレート制御回路１２７における目標ビットレートの制御動作を設定する。
【００３３】
即ち、メモリカード１２９を選択した場合は図３のＬ３０２を選択し、ディスク１１５を選択した場合はＬ３０１を選択するよう、レート制御回路１２７に設定することにより、記録メディアに応じて目標ビットレートに達するまでの収束時間を制御することができる。
【００３４】
図４は本実施形態におけるビットレート制御処理を示すフローチャートである。
【００３５】
不図示スイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、何れの記録メディアが選択されているのかを判別する（Ｓ４０１）。メモリカード１２９が選択されていた場合、レート制御設定回路１２６は、平均ビットレートの閾値として図３のＬ３０２を選択するよう、レート制御回路１２７を制御する（Ｓ４０２）。
【００３６】
次に、目標ビットレートとは別に、最大転送速度など記録上の上限を越えないよう現在の量子化スケールを制御する最大ビットレート保証処理（Ｓ４０３）、ＭＰＥＧ２におけるＶＢＶと呼ばれる仮想バッファがオーバーフロー／アンダーフローを起こさないよう現在の量子化スケールを制御するＶＢＶバッファ補償処理を行う（Ｓ４０４）。なお、可変ビットレート符号化においては、オーバーフローは原理的に発生しない。これらＳ４０３、Ｓ４０４の符号化制御処理は一般的なものであり、前記特許文献１にも一例が記載されているため詳細な説明は省略する。
【００３７】
そして、記録開始からの経過時間とＬ３０２とに基づいて平均ビットレートの閾値を設定し（Ｓ４０５）、設定された平均ビットレートの閾値と算出した平均ビットレートとを比較して、発生符号量を制御する（Ｓ４０６）。そして、記録停止の指示があるまで、Ｓ４０３からＳ４０６のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４０７）。
【００３８】
このとき、Ｌ３０２においては、経過時間に対する目標ビットレートの閾値の変化の度合いがＬ３０１に比べて大きいため、符号量制御の際に量子化スケールの値を大きく変化させながら、発生符号量を制御することになる。
【００３９】
一方、Ｓ４０１において、ディスク１１５が選択されていた場合、レート制御設定回路１２６は平均ビットレートの閾値として図３のＬ３０１を選択するよう、レート制御回路１２７を制御する（Ｓ４０８）。
【００４０】
そして、最大ビットレート保証処理（Ｓ４０９）、ＶＢＶバッファ補償処理を行い（Ｓ４１０）、記録開始からの経過時間とＬ３０１とに基づいて平均ビットレートの閾値を設定し（Ｓ４１１）、設定された平均ビットレートの閾値と現在までの平均ビットレートとを比較して、発生符号量を制御する（Ｓ４１２）。記録停止の指示があるまで、Ｓ４０９からＳ４１２のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４１３）。
【００４１】
この様に、本実施形態においては、メモリカードに対して動画像を記録する場合は、ディスクに対して動画像を記録する場合に比べて短時間の間に符号化ビットレートを目標ビットレートに収束させるので、比較的短時間の撮影を繰り返した場合でも記録時間が大幅に変動することがない。また、ディスクに対して動画像を記録する場合は、長期間で符号化ビットレートを目標ビットレートに収束させるので、最適な符号量配分が期待でき、記録時間と画質を両立させることが可能となる。
【００４２】
次に、第２の実施形態を説明する。
【００４３】
図５、図６は第２の実施形態による符号化ビットレート制御の結果発生する符号化データのビットレートの様子を示す図である。
【００４４】
本実施形態では、メモリカードに動画像を記録する場合とディスクに動画像を記録する場合とで、符号化難易度を用いて符号量制御を行うか否かを切り替えている。具体的には、後述の様に、メモリカードに対して動画像データを記録する際には、画像の状態（符号化難易度）に拘らず符号化動画像データのデータレートが目標データレートとなるよう符号量を制御するが、ディスクに対して動画像データを記録する場合には、画像に動きなどが少なく、符号化難易度が低い状態の場合には目標データレートとなるよう符号量を制御するが、符号化難易度が高くなった場合、目標データレートの設定値を高く変更し、強制的に所定の目標データレートに収束させることを避けるようにした。尚、本実施形態においても記録装置の構成は図１と同様であるため、詳細な説明は省略する。
【００４５】
図５は符号化対象の動画像の符号化難易度に拘らず目標ビットレートを一定値ＢＲと設定した場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｌ５０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ５０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。
【００４６】
従って、この場合には、符号化動画像データのデータレートを一定にすることができる。
【００４７】
一方、図６は符号化対象の動画像の符号化難易度が高い場合に目標ビットレートを変更し、Ｂｒ（Ｄｐｒｄ）とした場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｄｐｒｄは符号化難易度Ｄについての予測値であり、過去の発生符号量や画像の特徴量などを用いて推定する。Ｌ６０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ６０２は符号化難易度を示す。
【００４８】
ここでは、符号化難易度が所定のレベル以下の場合は、目標ビットレートを図５と同様に一定値に設定するが、符号化難易度が高く変化すると、それに応じて目標ビットレートＢｒ（Ｄｐｒｄ）を変更する。そのため、発生符号量（圧縮率）は変化するが、符号化難易度による画質劣化の違いが少なくなるよう、目標ビットレートを制御することが可能である。
【００４９】
本実施形態では、ディスク１１５に対して動画像を記録する場合には図６の様に符号化難易度により目標ビットレートを変更しながら符号量を制御し、メモリカード１２９に対して動画像を記録する場合には図５の様に一定の目標ビットレートによって符号量を制御するよう、レート制御設定回路１２６によって、レート制御回路１２７による、これら２種類の目標ビットレート制御特性を切り替えて設定する。
【００５０】
図７は、本実施形態におけるビットレート制御処理を示すフローチャートである。
【００５１】
不図示スイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、何れの記録メディアが選択されているのを判別する（Ｓ７０１）。ディスク１１５が選択されていた場合、レート制御設定回路１２６は、図６の如く符号化難易度に応じて目標ビットレートを変更する目標レート可変モードを選択し、レート制御回路１２７に対して設定する（Ｓ７０２）。
【００５２】
そして、図４と同様、最大ビットレート保証処理（Ｓ７０３）、ＶＢＶバッファ保証処理（Ｓ７０４）を実行する。そして、レート制御回路１２７は、過去の発生符号量、画像の特徴量などから符号化難易度を予測しＤｐｒｄを求め（Ｓ７０５）、このＤｐｒｄに基づき符号化難易度に応じたＢｒ（Ｄｐｒｄ）を求めて目標ビットレートに設定する（Ｓ７０６）。そして、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７０７）。以上のＳ７０３からＳ７０７までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７０８）。
【００５３】
一方、Ｓ７０１でメモリカード１２９が選択されていた場合、レート制御設定回路１２６は、図５の如く目標ビットレートを一定の値に設定する目標レート固定モードを選択し、レート制御回路１２７に対して設定する（Ｓ７０９）。
【００５４】
そして、図４と同様、最大ビットレート保証処理（Ｓ７１０）、ＶＢＶバッファ保証処理（Ｓ７１１）を実行する。そして、レート制御回路１２７は、符号化難易度に拘らず目標ビットレートを所定値ＢＲに設定し（Ｓ７１２）、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７１３）。以上のＳ７０９からＳ７１３までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７１４）。
【００５５】
この様に、本実施形態によれば、ディスクに対して動画像を記録する場合は、符号化難易度が変化した場合にも、画像によらず画質劣化がほぼ一定の符号化動画像データを記録することができ、また、メモリカードに対して動画像を記録する場合は、符号化ビットレートを一定の目標レートとすることで、記録時間を保証することができる。
【００５６】
次に、第３の実施形態を説明する。
【００５７】
図８は第３の実施形態による制御の結果発生する符号化ビットレートの様子を示す図である。
【００５８】
本実施形態では、選択された記録メディアに応じて、記録開始からの平均ビットレートが目標値となるよう発生符号量を制御するか、あるいは、所定期間の平均ビットレートが目標値となるよう発生符号量を制御するかを切り替えている。尚、本実施形態においても記録装置の構成は図１となるため、詳細な説明は省略する。
【００５９】
図８において、Ｌ８０１はメモリカード１２９を選択した場合に前述の様に発生符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示す図である。Ｌ８０１では、時間Ｔ２の時点で符号化ビットレートが目標ビットレートＢＲに近づくが、目標ビットレートに対する記録開始からのトータルの発生符号量のオーバー分をキャンセルし、記録開始からのトータルの発生符号量を目標ビットレートＢＲ×記録開始から現時点Ｔ１までの期間に近づけるため、Ｔ２経過後も発生符号量を抑圧し、記録開始から現時点Ｔ１までのトータルの平均ビットレートがＢＲとなるように制御している。
【００６０】
一方、Ｌ８０２はディスク１１５を選択した場合に前述の様に符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示した図である。Ｌ８０２では、時間Ｔ２で符号化ビットレートが目標ビットレートに収束した後は、それ以上発生符号量を抑えること無く目標ビットレートＢＲ近傍となるよう符号化ビットレートを制御している。
【００６１】
図９は、このような制御を行うため、レート制御回路１２７により設定する平均ビットレートの算出期間とそのときに発生する符号量の様子を示す図である。
【００６２】
Ｌ９０１は記録開始から現在までの期間ＳＴ１におけるトータルの平均ビットレートを目標ビットレートＢＲと比較して符号化を行った際の記録開始時からの発生符号量の合計を示している。時刻Ｔ２において、発生符号量の傾きは目標符号量増加の傾きに等しくなっているが、トータルの発生符号量は目標符号量を上回っているため、Ｔ２後もＬ８０１で示したように符号量は抑制される。
【００６３】
一方、Ｌ９０２は、所定期間ＳＴ２毎の平均ビットレートと目標ビットレートとを比較して符号化を行った場合にＳＴ２の間に発生する符号量の様子を示す図である。Ｌ９０２では、期間ＳＴ２の平均ビットレートが目標ビットレートに到達した後は、発生符号量はＬ８０１の様に目標ビットレートよりも大幅に抑制されることはない。
【００６４】
図１０は本実施形態におけるビットレート制御処理を示すフローチャートである。
【００６５】
不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、何れの記録メディアが選択されているのかを判別する（Ｓ１００１）。ディスク１１５が選択されていた場合、レート制御設定回路１２６は、所定期間ＳＴ２毎に平均ビットレートを算出するよう、レート制御回路１２７に対して設定する（Ｓ１００２）。
【００６６】
そして、図４と同様、最大ビットレート保証処理（Ｓ１００３）、ＶＢＶバッファ保証処理（Ｓ１００４）を実行する。そして、レート制御回路１２７は、設定されたＳＴ２期間毎に平均ビットレートを算出し（Ｓ１００５）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１００６）。以上のＳ１００３からＳ１００６までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１００７）。
【００６７】
一方、Ｓ１００１でメモリカード１２９が選択されていた場合、レート制御設定回路１２６は、記録開始から現在までの期間ＳＴ１の平均ビットレートを算出して符号量制御を行うよう、レート制御回路１２７に対して設定する（Ｓ１００８）。
【００６８】
そして、図４と同様、最大ビットレート保証処理（Ｓ１００９）、ＶＢＶバッファ保証処理（Ｓ１０１０）を実行する。そして、レート制御回路１２７は、記録開始から現時点までの期間ＳＴ１の平均ビットレートを算出し（Ｓ１０１１）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１０１２）。以上のＳ１００９からＳ１０１２までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１０１３）。
【００６９】
この様に、本実施形態によれば、ディスクに対して動画像を記録する場合は、ビットレートが目標ビットレートに収束した後に画質の落ち込みの無い、高画質な動画像を記録でき、また、メモリカードに対して動画像を記録する場合は、記録時間を保証した符号化を行うことが可能となる。
【００７０】
次に、第４の実施形態を説明する。
【００７１】
本実施形態では、ディスクに対して動画像を記録する場合とメモリカードに対して動画像を記録する場合とで、符号化データのデータレートを目標ビットレートへ収束させる制御を行うかどうかを切り替えている。尚、本実施例においても記録装置の概略構成図は、前述の図１となるため、構成図の説明は省略する。
【００７２】
図１１は、短期の符号量制御である目標ビットレートレンジ保証と、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を併用した場合における、単位時間あたりの符号化ビットレートの変化を示す図である。
【００７３】
Ｌ１１０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１１０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。
【００７４】
また、本形態では、目標ビットレートＢＲに基づいて、符号化動画像データのビットレートの上限目標ＢＲ＋と下限目標ＢＲ−とを設定し、これらの間の目標ビットレートレンジ内に符号化動画像データのデータレートが収まるよう、短期的な制御を行うビットレートレンジ保証処理を実行する。なお、ここで言う上限目標ＢＲ＋とは、目標ビットレートの値に応じて許容レンジとして設定するものであり、前述の実施形態にて実行していた最大ビットレート保証処理において保証しているメディアの最大記録レートや伝送レートによって定められる最大ビットレートとは別のものである。
【００７５】
一方、図１２は短期の符号量制御である目標ビットレートレンジ保証処理のみを用い、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を行わない場合における、単位時間あたりの符号化ビットレートの変化を示す図である。
【００７６】
Ｌ１２０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１２０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は目標ビットレートレンジＢＲ＋〜ＢＲ−の間で変動するが、目標ビットレートＢＲに対する符号化データレートの収束処理は行われない。
【００７７】
本発明では、前述のレート制御設定回路１２６によって、これら２種類の目標ビットレート制御特性を切り替えて設定する。即ち、記録先メディアとしてディスクが選択された場合は図１２に示す制御を実行し、メモリカードが選択された場合は図１１に示す制御を実行するよう、レート制御回路１２７に設定することにより、入力信号に応じた目標ビットレート制御が行える。
【００７８】
図１３は本実施形態におけるビットレート制御処理を示すフローチャートである。
【００７９】
不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、ディスクとメモリカードの何れが選択されているかを判別する（Ｓ１３０１）。ディスク１１５が選択されていた場合、レート制御設定回路１２６は、レート制御回路１２７に対し、図１２に示した様にビットレートレンジの保証処理のみを行うモードを設定する。
【００８０】
レート制御回路１２７は、図４と同様、最大ビットレート保証処理（Ｓ１３０２）、ＶＢＶバッファ保証処理（Ｓ１３０３）を実行する。そして、目標ビットレートＢＲに対して設定されたビットレート許容レンジＢＲ＋〜ＢＲ−の間に符号化データのデータレートが収まるよう、例えばピクチャ単位、ＧＯＰ単位での短期的な符号量制御を行うビットレート保証処理を実行する（Ｓ１３０４）。以上のＳ１３０２からＳ１３０４までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３０５）。
【００８１】
一方、Ｓ１３０１でメモリカード１２９が選択されていた場合、レート制御設定回路１２６は、レート制御回路１２７に対し、図１１に示した様にビットレートレンジの保証処理に加えて目標ビットレートに対する収束処理も行うモードを設定する。
【００８２】
そして、レート制御回路１２７は、図４と同様、最大ビットレート保証処理（Ｓ１３０６）、ＶＢＶバッファ保証処理（Ｓ１３０７）、ビットレートレンジ保証処理を実行する（Ｓ１３０８）。そして、レート制御回路１２７は、所定の収束時間で符号化動画像データのデータレートを目標ビットレートに収束させるよう符号量制御処理を実行する（Ｓ１３０９）。以上のＳ１３０６からＳ１３０９までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３１０）。
【００８３】
この様に、本実施形態によれば、ディスクに対して動画像を記録する場合には、符号化データのデータレートを目標ビットレートそのものに収束させずに、符号化難易度に応じてビットレートを許容レンジ内で変化させることにより、画像によらず画質劣化がほぼ一定な画像を記録することができ、また、メモリカードに対して動画像を記録する場合は、据え置き型のレコーダと同様の、記録時間の精度を優先した録画が可能となる。
【００８４】
なお、前述の各実施形態では、カメラにより撮影された動画像データと外部からの動画像データを選択的に符号化、記録する装置について説明したが、これに限らず、複数の入力ソースを持ち、各入力ソースからの動画像データを符号化して記録する構成であれば本発明を容易に適用でき、同様の効果をもつ。
【図面の簡単な説明】
【００８５】
【図１】本発明を適用した記録装置の概略構成図である。
【図２】本発明の実施形態によるビットレート制御の例を示す図である。
【図３】本発明の実施形態による制御方式の例を示す図である。
【図４】本発明の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図５】第２の実施形態によるビットレート制御の例を示す図である。
【図６】第２の実施形態によるビットレート制御の例を示す図である。
【図７】第２の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図８】第３の実施形態によるビットレート制御の例を示す図である。
【図９】第３の実施形態による制御方式の例を示す図である。
【図１０】第３の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図１１】第４の実施形態によるビットレート制御の例を示す図である。
【図１２】第４の実施形態による制御方式の例を示す図である。
【図１３】第４の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図１４】従来のビットレート制御の例を示す図である。
【図１】
2006237846.tif 000003
【図２】
2006237846.tif 000004
【図３】
2006237846.tif 000005
【図４】
2006237846.tif 000006
【図５】
2006237846.tif 000007
【図６】
2006237846.tif 000008
【図７】
2006237846.tif 000009
【図８】
2006237846.tif 000010
【図９】
2006237846.tif 000011
【図１０】
2006237846.tif 000012
【図１１】
2006237846.tif 000013
【図１２】
2006237846.tif 000014
【図１３】
2006237846.tif 000015
【図１４】
2006237846.tif 000016