(57)【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により得られた動画像データを増幅する画像処理手段と、
前記画像処理手段による増幅利得を設定する利得設定手段と、
前記画像処理手段より出力された動画像データを符号化する符号化手段と、
前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、
前記利得設定手段により設定された増幅利得に応じて、前記符号量制御手段が互いに異なる制御手順にて符号量制御動作を実行する複数の符号化モードを切り替える切り替え手段とを備え、
前記複数の符号化モードは、前記動画像データの記録開始から第１の期間の間に前記符号化動画像データのデータレートを目標データレートに収束させるよう前記符号量制御手段が前記符号化手段を制御する第１のモードと、前記動画像データの記録開始から、前記第１の期間よりも短い第２の期間の間に前記符号化動画像データのデータレートを目標データレートに収束させるよう前記符号量制御手段が前記符号化手段を制御する第２のモードとを含み、
前記切り替え手段は、前記増幅利得が前記閾値を超えていない場合に前記第１の符号化モードに切り替え、前記増幅利得が閾値を超えている場合に前記第２の符号化モードに切り替えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、動画像データの符号化処理に関する。
【背景技術】
【０００２】
近年、ＶＴＲに代わり、ハードディスクやＤＶＤなどのディスク媒体などに動画像信号をデジタルデータとして記録再生するディスクレコーダがテレビジョン放送の録画に用いられるようになってきた。これらの装置では、デジタル動画データをＭＰＥＧ２などの可変長符号化によって符号化し、その膨大な情報量を圧縮することによって一枚のディスクメディアに記録することを可能としている。
【０００３】
可変長符号化による圧縮では、入力画像の複雑さや動きに応じて符号化データのデータレート（ビットレート）が随時変化する。そこで、通常はバッファオーバーフロー、アンダーフロー防止や記録容量の制限を満たすため、フィードバック制御によって符号化データ量を所定の値に近づける符号化ビットレート制御が行われている（例えば特許文献１参照）。
【０００４】
この様な可変長符号化処理においては、符号化ビットレートの制御方式の違いにより、発生符号量をほぼ一定に保つ固定ビットレート（ＣＢＲ：Ｃｏｎｓｔａｎｔ  Ｂｉｔ  Ｒａｔｅ）符号化と、符号化ビットレートの平均値を目標値に近づけながらも、動画の各フレームにおいては画像の複雑さや動きの激しさに応じて最適な符号量配分を行う可変ビットレート（Ｖａｒｉａｂｌｅ  Ｂｉｔ  Ｒａｔｅ）符号化の２種類の符号化方式がある。
【０００５】
ＶＢＲ符号化においては、符号化すべき動画像データ全体に渡っての発生符号量見積もりを行った後、実際の符号化を行う２パス構成をとることで、理想的な符号量配分が可能となる。そのため、従来は、符号化すべき動画像データを一度蓄積した後、ソフトウェアでのオフライン処理によってＶＢＲ符号化を行っていた。
【０００６】
近年、このＶＢＲ符号化をリアルタイムで行うハードウェアの開発が進み、現在、前述の如きディスクレコーダでは、画質に有利なリアルタイムＶＢＲ符号化が行われることが一般的になってきた。符号化すべき動画像データについて事前に符号量を配分して符号化を行う２パスエンコードに対し、これらのリアルタイムのビットレート制御技術は１パスエンコードと呼ばれる。
【０００７】
１パスエンコードによるＶＢＲ符号化時の符号化ビットレート制御においては、動画像のフレームごとの複雑さや動きの激しさといった局所的な特性に左右されず、２パスエンコードによる理想に近い符号量配分を実現するために、所定期間の符号化ビットレートを平均し、その平均値を目標とする符号化ビットレートに合わせるよう、徐々に符号量を制御していくことが考えられている。この平均ビットレートを目標値へ漸近させる制御の傾きによって目標とする符号化ビットレートへの収束時間が決定する。
【０００８】
図１４は、この様に目標ビットレートを設定してＶＢＲ符号化により動画像データを符号化した場合の符号化ビットレートの変化の例を示す図である。Ｌ１４０１は単位時間あたりの符号化ビットレート変化を示す。Ｌ１４０１では収束時間Ｔの間に緩やかに目標ビットレートＢＲに収束している。
【０００９】
ＶＢＲ符号化において所定の収束時間で目標ビットレートとなるよう制御する方法については、符号化開始からの経過時間と現在までの平均ビットレートに基づき、目標ビットレートに対応する収束カーブを選択することによって、画質への影響を少なくしながらも、所定の収束時間で目標ビットレートに収束させる技術が考えられている。
【００１０】
ディスクレコーダなどでテレビ放送を受信して記録する場合には、動画像の局所的特性への依存を排除して理想的な配分に近づけるため、ＶＢＲ符号化における目標ビットレートへの収束時間を１０分前後とすることが理想と考えられている。
【００１１】
また、その際、記録開始からの総ビットレートの平均を算出し、その結果を目標とする符号化ビットレートに合わせるよう制御することにより、トータルの記録データ量を所定の精度で保証することができる。従って、テレビ放送の予約録画など、メディアの空き容量と記録時間が規定される場合に有効である。
【００１２】
また、近年では、ＤＶＤを記録メディアとしたビデオカメラも登場している。ビデオカメラにおいては、通常、記録開始から記録停止までの一つのシーンが１分以下であることが多い。そして、前述の様に、ＶＢＲ符号化の際に長時間にわたって目標ビットレートとなるよう符号量制御を行うと、目標レートに収束する前に記録停止となる場合が多くなるため、ビデオカメラなどでは１分以下の短い期間で目標ビットレートに収束するよう、ＶＢＲ符号化時の符号量を制御することが考えられる。
【００１３】
更に、ビデオカメラにおいては、家庭用ディスクレコーダなどに比べて記録時間の保証の要求が低いため、記録開始からの総平均ビットレートを用いた厳密な記録容量の合わせこみは行わない場合もある。
【特許文献１】特開２０００−１９７０４８号
【発明の開示】
【発明が解決しようとする課題】
【００１４】
ビデオカメラでは、通常の明るさの範囲では、主に絞りとシャッタスピードの組み合わせによって適正露出となるように制御する。しかし、絞りが開放となるような暗い場面において、シャッタスピードを極端に遅くすると画像にブレが発生する。そのため、そのような暗い場面では、信号処理回路のゲインを上げる場合がある。
【００１５】
信号処理回路のゲインを上げると、それに伴い画像中のノイズも増加する。
【００１６】
そのため、通常の明るさで撮影している場合に比べて符号化難易度が変化し、符号量の配分が最適で無くなるという問題がある。
【００１７】
本発明はこのような問題を解決し、撮影時の信号処理回路の設定状態に応じた最適な符号量制御が可能な装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
以上の問題点を解決するため、本発明は、撮像手段と、前記撮像手段により得られた動画像データを増幅する画像処理手段と、前記画像処理手段による増幅利得を設定する利得設定手段と、前記画像処理手段より出力された動画像データを符号化する符号化手段と、前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、前記利得設定手段により設定された増幅利得に応じて、前記符号量制御手段が互いに異なる制御手順にて符号量制御動作を実行する複数の符号化モードを切り替える切り替え手段とを備え、前記複数の符号化モードは、前記動画像データの記録開始から第１の期間の間に前記符号化動画像データのデータレートを目標データレートに収束させるよう前記符号量制御手段が前記符号化手段を制御する第１のモードと、前記動画像データの記録開始から、前記第１の期間よりも短い第２の期間の間に前記符号化動画像データのデータレートを目標データレートに収束させるよう前記符号量制御手段が前記符号化手段を制御する第２のモードとを含み、前記切り替え手段は、前記増幅利得が前記閾値を超えていない場合に前記第１の符号化モードに切り替え、前記増幅利得が閾値を超えている場合に前記第２の符号化モードに切り替える。
【発明の効果】
【００１９】
画像処理回路のゲインが高くなり、符号化難易度が上がる状況においても発生符号量の変動を抑えて記録時間が大幅に変更することを防ぐことができる
【発明を実施するための最良の形態】
【００２０】
図１は本発明の第１の実施形態の概略構成を示す図である。
【００２１】
図１において、１０１はレンズ光学系及びＣＣＤ等の撮像素子からなるカメラ部である、１０１で撮像されたアナログ動画信号はカメラ信号処理部１０２によってデジタル画像信号に変換され、画素補間、色変換、γ変換等の処理を受け、符号化すべき画像フォーマットのデータとして画面並べ替え回路１０４に供給される。
【００２２】
カメラ制御回路１０３は、カメラ部１０１から出力された画像信号の明るさに応じて映像信号処理部１０２の増幅利得を制御する。例えば、画像信号が暗く所定の値より遅いシャッタスピードになる場合には、残像防止のためカメラ制御回路からの制御により信号処理部１０３の増幅利得を上げ、シャッタスピードが遅くならないよう制御する。
【００２３】
入力された動画信号は、画面並べ替え回路１０４において符号化すべき順序に並べ替えられる。例えば、ＭＰＥＧ２符号化においては、Ｂピクチャと呼ばれる双方向予測フレームは、前後のフレームが符号化された後に符号化すべきものであるため、画面並べ替え回路１０４はこの様に入力された動画像データのフレーム順序を符号化すべき順序に並べ替えて出力する。
【００２４】
差分回路１０５では、スイッチ１１８の選択により、Ｉピクチャを符号化する場合には並べ替え回路１０４からの画像データをそのまま出力し、Ｐピクチャ及びＢピクチャの符号化時には動き補償予測回路１１７から出力された予測画像データとの差分値を求めて出力する。ＤＣＴ回路１０６は差分回路１０５から出力された画像データに対して公知のＤＣＴ処理を施してＤＣＴ係数を出力する。ＤＣＴ回路１０６によりＤＣＴ係数に変換された画像データは量子化回路１０７において所定の量子化スケールＱによって量子化される。このＱ値を変化させることによって量子化後の係数値は大きく変化し、これによって可変長符号化後の発生符号量が変化する。
【００２５】
可変長符号化回路１０８は量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファメモリ１０９は符号化レート制御のために発生符号化データを一時保存する。バッファに貯められた符号化データは、所定のレートで読み出され、記録部１１１によってパケット化、多重化、記録変調などが行われ、ディスクＤに記録される。本実施形態では、ディスクＤとして光ディスクを用いる。
【００２６】
一方、量子化回路１０７で量子化された係数データは、予測画像データを得るために逆量子化回路１１３で逆量子化され、逆ＤＣＴ回路１１４でＤＣＴ逆変換される。
【００２７】
加算回路１１５ではスイッチ１２２の選択によって、Ｉピクチャの符号化時には逆ＤＣＴ変換後のデータをそのまま出力し、またＰピクチャもしくはＢピクチャの符号化時には、動き補償予測回路１１７からの予測画像データと加算され局部復号画像データとしてメモリ１１６に保存される。
【００２８】
動き補償予測回路１１７ではメモリ１１６に蓄えられた局部復号画像と入力画像を比較することにより、動き補償を行った予測画像データを生成し、差分回路１０５に供給するとともに、次の局部復号のための予測画像として加算回路１１５にも供給する。
【００２９】
レート制御設定回路１１２は、カメラ制御回路１０３による映像信号処理部１０２の利得制御の状態に基づき、レート制御回路１１０の符号化レート制御パラメータを変更する。制御パラメータ変更の詳細については後述する。
【００３０】
レート制御回路１１０はバッファメモリ１０９から得られる、発生符号量、バッファ充填率などの情報を用いて量子化スケール値Ｑを制御して、発生符号量を制御する。具体的には、レート制御設定回路１１０によって、この制御のためのパラメータを各記録モードに合わせて設定し、符号化された動画像データのデータレートを目標ビットレートに収束させる。
【００３１】
図２は本実施形態による、符号化ビットレート制御の切り替えに伴って生成される動画像データの符号化ビットレートの様子を示す図である。
【００３２】
本実施形態では、カメラ制御部１０３による映像信号処理部１０２のゲインの設定状態に応じて、符号化ビットレートを目標ビットレートに収束させるまでの収束時間を切り替えている。Ｌ２０１はゲインが所定の閾値以下の場合の、単位時間あたりの符号化ビットレート変化を示す。Ｌ２０１では収束時間Ｔ１の間に符号化ビットレートが目標ビットレートＢＲに収束している。
【００３３】
一方、Ｌ２０２はゲインが閾値を超えた場合の、単位時間あたりの符号化ビットレート変化を示したもので、Ｔ１に比べて十分に短い収束時間Ｔ２以内に符号化ビットレートが目標ビットレートに収束している。
【００３４】
図３は、レート制御回路１２７において、このような制御を行うために設定する平均ビットレートの閾値を示す図である。Ｌ３０１は収束時間をＴ１とした場合に設定する所定期間の平均ビットレートについての閾値を示しており、現在の平均ビットレートが経過時間に対してＬ３０１より上にある場合は、目標とするビットレートに対して発生符号量が多すぎるため、量子化スケールを大きくするよう制御することによって目標ビットレートに対して収束させていく。
【００３５】
Ｌ３０２は収束時間をＴ２とした場合に設定する所定期間の平均ビットレートの閾値を示している。Ｌ３０１と同様の制御を行うことによって収束時間Ｔ２で、目標ビットレートに収束させる。本形態では、カメラ制御部１０３によるゲインの設定状態に応じてレート制御設定回路１１２がレート制御回路１１０における目標ビットレートの制御動作を設定する。
【００３６】
即ち、ゲインが閾値Ｔｈ以下の場合は図３のＬ３０１を選択し、ゲインが閾値を超えた場合はＬ３０２を選択するよう、レート制御回路１１０に設定することにより、撮影している画像の状況に応じて目標ビットレートに達するまでの収束時間を最適に制御することができる。
【００３７】
図４は本実施形態におけるビットレート制御処理を示すフローチャートである。
【００３８】
不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、カメラ制御部１０３によるゲインの設定値が閾値を超えているか否かを判別する（Ｓ４０１）。ゲインが閾値以下の場合、レート制御設定回路１１２は、平均ビットレートの閾値として図３のＬ３０１を選択するよう、レート制御回路１１０を制御する（Ｓ４０２）。
【００３９】
次に、目標ビットレートとは別に、ディスクＤの最大転送速度など記録上の上限を越えないよう現在の量子化スケールを制御する最大ビットレート保証処理（Ｓ４０３）、ＭＰＥＧ２におけるＶＢＶと呼ばれる仮想バッファがオーバーフロー／アンダーフローを起こさないよう現在の量子化スケールを制御するＶＢＶバッファ補償処理を行う（Ｓ４０４）。なお、可変ビットレート符号化においては、オーバーフローは原理的に発生しない。これらＳ４０３、Ｓ４０４の符号化制御処理は一般的なものであり、前記特許文献１にも一例が記載されているため詳細な説明は省略する。
【００４０】
そして、記録開始からの経過時間とＬ３０１とに基づいて平均ビットレートの閾値を設定し（Ｓ４０５）、設定された平均ビットレートの閾値と算出した平均ビットレートとを比較して、発生符号量を制御する（Ｓ４０６）。そして、記録停止の指示があるまで、Ｓ４０３からＳ４０６のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４０７）。
【００４１】
このとき、Ｌ３０１においては、経過時間に対する目標ビットレートの閾値の変化の度合いがＬ３０２に比べて小さいため、符号量制御の際に量子化スケールの値を小さく変化させながら、発生符号量を制御することになる。
【００４２】
一方、Ｓ４０１において、ゲインの値が閾値を超えている場合、レート制御設定回路１１２は平均ビットレートの閾値として図３のＬ３０２を選択するよう、レート制御回路１２７を制御する（Ｓ４０８）。
【００４３】
そして、最大ビットレート保証処理（Ｓ４０９）、ＶＢＶバッファ補償処理を行い（Ｓ４１０）、記録開始からの経過時間とＬ３０２とに基づいて平均ビットレートの閾値を設定し（Ｓ４１１）、設定された平均ビットレートの閾値と現在までの平均ビットレートとを比較して、発生符号量を制御する（Ｓ４１２）。記録停止の指示があるまで、Ｓ４０９からＳ４１２のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４１３）。
【００４４】
この様に、本実施形態においては、カメラ制御部によるゲイン設定の状態に応じてビットレートの制御動作を切り替える構成とした。
【００４５】
そのため、撮影画像が極端に暗くなり、ゲインが高くなると、目標ビットレートに対して短時間に収束するよう制御するため、符号化難易度が上がる状況においても発生符号量の変動を抑えて記録時間が大幅に変更することを防ぐことができる。
【００４６】
また、画像の明るさが標準的な場合には、収束時間を長く設定することで、最適な符号量配分を実現できる。
【００４７】
次に、第２の実施形態を説明する。
【００４８】
図５、図６は第２の実施形態による符号化ビットレート制御の結果発生する符号化データのビットレートの様子を示す図である。
【００４９】
本実施形態では、カメラ制御部１０３によるゲインの設定状態に応じて、符号化難易度を用いて符号量制御を行うか否かを切り替えている。
【００５０】
具体的には、後述の様に、ゲインの値が閾値以下の場合には画像の状態（符号化難易度）に拘らず符号化動画像データのデータレートが目標データレートとなるよう符号量を制御するが、ゲインが閾値を超えている場合には、画像に動きなどが少なく、符号化難易度が低い状態の場合には所定の目標データレートとなるよう符号量を制御するが、符号化難易度が高くなった場合、目標データレートの設定値を高く変更し、強制的に所定の目標データレートに収束させることを避けるようにした。尚、本実施形態においても記録装置の構成は図１と同様であるため、詳細な説明は省略する。
【００５１】
図５は符号化対象の動画像の符号化難易度に拘らず目標ビットレートを一定値ＢＲと設定した場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｌ５０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ５０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。
【００５２】
従って、この場合には、符号化動画像データのデータレートを一定にすることができる。
【００５３】
一方、図６は符号化対象の動画像の符号化難易度が高い場合に目標ビットレートを変更し、Ｂｒ（Ｄｐｒｄ）とした場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｄｐｒｄは符号化難易度Ｄについての予測値であり、過去の発生符号量や画像の特徴量などを用いて推定する。Ｌ６０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ６０２は符号化難易度を示す。
【００５４】
ここでは、符号化難易度が所定のレベル以下の場合は、目標ビットレートを図５と同様に一定値に設定するが、符号化難易度が高く変化すると、それに応じて目標ビットレートＢｒ（Ｄｐｒｄ）を変更する。そのため、発生符号量（圧縮率）は変化するが、符号化難易度による画質劣化の違いが少なくなるよう、目標ビットレートを制御することが可能である。
【００５５】
図７は、本実施形態におけるビットレート制御処理を示すフローチャートである。
【００５６】
不図示スイッチにより記録開始の指示があるとフローがスタートし、まず、カメラ制御部１０３によるゲインの設定値が閾値を超えているか否かを判別する（Ｓ７０１）。ゲインが閾値以下の場合、レート制御設定回路１１２は、図４と同様、最大ビットレート保証処理（Ｓ７０２）、ＶＢＶバッファ保証処理（Ｓ７０３）を実行する。そして、レート制御回路１１０は、符号化難易度に拘らず目標ビットレートを所定値ＢＲに設定し（Ｓ７０４）、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７０５）。以上のＳ７０２からＳ７０５までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７０６）。
【００５７】
一方、ゲインが閾値を超えていた場合、図４と同様、最大ビットレート保証処理（Ｓ７０７）、ＶＢＶバッファ保証処理（Ｓ７０８）を実行する。そして、レート制御回路１１０は、過去の発生符号量、画像の特徴量などから符号化難易度を予測しＤｐｒｄを求め（Ｓ７０９）、このＤｐｒｄに基づき符号化難易度に応じたＢｒ（Ｄｐｒｄ）を求めて目標ビットレートに設定する（Ｓ７１０）。そして、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７１１）。以上のＳ７０７からＳ７１１までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７１２）。
【００５８】
この様に、本実施形態によれば、ゲインが閾値を越えて、符号化難易度が高くなる場合は、符号化難易度に応じた目標ビットレートを用いて、画像によらず画質劣化がほぼ一定となるよう制御することができる。また、ゲインが閾値以下の場合は、記録時間の精度を優先した符号量制御を実現できる。
【００５９】
次に、第３の実施形態を説明する。
【００６０】
図８は第３の実施形態による制御の結果発生する符号化ビットレートの様子を示す図である。
【００６１】
本実施形態では、撮影開始時におけるカメラ制御部１０３によるゲインの設定状態に応じて、記録開始からの平均ビットレートが目標値となるよう発生符号量を制御するか、あるいは、所定期間の平均ビットレートが目標値となるよう発生符号量を制御するかを切り替えている。尚、本実施形態においても記録装置の構成は図１となるため、詳細な説明は省略する。
【００６２】
図８において、Ｌ８０１はゲインが閾値以下の場合に前述の様に発生符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示す図である。Ｌ８０１では、時間Ｔ２の時点で符号化ビットレートが目標ビットレートＢＲに近づくが、目標ビットレートに対する記録開始からのトータルの発生符号量のオーバー分をキャンセルし、記録開始からのトータルの発生符号量を目標ビットレートＢＲ×記録開始から現時点Ｔ１までの期間に近づけるため、Ｔ２経過後も発生符号量を抑圧し、記録開始から現時点Ｔ１までのトータルの平均ビットレートがＢＲとなるように制御している。
【００６３】
一方、Ｌ８０２はゲインが閾値を超えていた場合に前述の様に符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示した図である。Ｌ８０２では、時間Ｔ２で符号化ビットレートが目標ビットレートに収束した後は、それ以上発生符号量を抑えること無く目標ビットレートＢＲ近傍となるよう符号化ビットレートを制御している。
【００６４】
図９は、このような制御を行うため、レート制御回路１１０により設定する平均ビットレートの算出期間とそのときに発生する符号量の様子を示す図である。
【００６５】
Ｌ９０１は記録開始から現在までの期間ＳＴ１におけるトータルの平均ビットレートを目標ビットレートＢＲと比較して符号化を行った際の記録開始時からの発生符号量の合計を示している。時刻Ｔ２において、発生符号量の傾きは目標符号量増加の傾きに等しくなっているが、トータルの発生符号量は目標符号量を上回っているため、Ｔ２後もＬ８０１で示したように符号量は抑制される。
【００６６】
一方、Ｌ９０２は、所定期間ＳＴ２毎の平均ビットレートと目標ビットレートとを比較して符号化を行った場合にＳＴ２の間に発生する符号量の様子を示す図である。Ｌ９０２では、期間ＳＴ２の平均ビットレートが目標ビットレートに到達した後は、発生符号量はＬ８０１の様に目標ビットレートよりも大幅に抑制されることはない。
【００６７】
図１０は本実施形態におけるビットレート制御処理を示すフローチャートである。
【００６８】
不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、カメラ制御部１０３によるゲインの設定値が閾値を超えているか否かを判別する（Ｓ１００１）。ゲインが閾値以下の場合、記録開始から現在までの期間ＳＴ１の平均ビットレートを算出して符号量制御を行うよう、レート制御回路１１０に対して設定する（Ｓ１００２）。
【００６９】
そして、図４と同様、最大ビットレート保証処理（Ｓ１００３）、ＶＢＶバッファ保証処理（Ｓ１００４）を実行する。そして、レート制御回路１１０は、記録開始から現時点までの期間ＳＴ１の平均ビットレートを算出し（Ｓ１００５）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１００６）。以上のＳ１００３からＳ１００６までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１００７）。
【００７０】
一方、Ｓ１００１でゲインが閾値以下の場合、レート制御設定回路１２６は、レート制御設定回路１１２は、所定期間ＳＴ２毎に平均ビットレートを算出するよう、レート制御回路１１０に対して設定する（Ｓ１００８）。
【００７１】
そして、図４と同様、最大ビットレート保証処理（Ｓ１００９）、ＶＢＶバッファ保証処理（Ｓ１０１０）を実行する。そして、レート制御回路１１０は、設定されたＳＴ２期間毎に平均ビットレートを算出し（Ｓ１０１１）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１０１２）。以上のＳ１００９からＳ１０１２までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１０１３）。
【００７２】
この様に、本実施形態によれば、標準的な明るさの画像を撮影している場合には、ビットレートが目標ビットレートに収束した後に画質の落ち込みの無い、高画質な動画像を記録できる。また、ゲインが閾値を超えるような画像を撮影している場合には、符号化難易度が高くなることによる符号量のばらつきを抑え、記録時間を保証した符号化を行うことが可能となる。
【００７３】
次に、第４の実施形態を説明する。
【００７４】
本実施形態では、カメラ制御部１０３のゲイン設定状態に応じて符号化データのデータレートを目標ビットレートへ収束させる制御を行うかどうかを切り替えている。尚、本実施例においても記録装置の概略構成図は、前述の図１となるため、構成図の説明は省略する。
【００７５】
図１１は、短期の符号量制御である目標ビットレートレンジ保証と、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を併用した場合における、単位時間あたりの符号化ビットレートの変化を示す図である。
【００７６】
Ｌ１１０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１１０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。
【００７７】
また、本形態では、目標ビットレートＢＲに基づいて、符号化動画像データのビットレートの上限目標ＢＲ＋と下限目標ＢＲ−とを設定し、これらの間の目標ビットレートレンジ内に符号化動画像データのデータレートが収まるよう、短期的な制御を行うビットレートレンジ保証処理を実行する。なお、ここで言う上限目標ＢＲ＋とは、目標ビットレートの値に応じて許容レンジとして設定するものであり、前述の実施形態にて実行していた最大ビットレート保証処理において保証しているメディアの最大記録レートや伝送レートによって定められる最大ビットレートとは別のものである。
【００７８】
一方、図１２は短期の符号量制御である目標ビットレートレンジ保証処理のみを用い、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を行わない場合における、単位時間あたりの符号化ビットレートの変化を示す図である。
【００７９】
Ｌ１２０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１２０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は目標ビットレートレンジＢＲ＋〜ＢＲ−の間で変動するが、目標ビットレートＢＲに対する符号化データレートの収束処理は行われない。
【００８０】
本発明では、前述のレート制御設定回路１１２によって、これら２種類の目標ビットレート制御特性を切り替えて設定する。即ち、カメラ制御部１０３による設定ゲインが閾値を超える場合は図１２に示す制御を実行し、ゲインが閾値以下の場合は図１１に示す制御を実行するよう、レート制御回路１１０に設定することにより、入力信号に応じた目標ビットレート制御が行える。
【００８１】
図１３は本実施形態におけるビットレート制御処理を示すフローチャートである。
【００８２】
不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、カメラ制御部１０３によるゲインの設定値が閾値を超えているか否かを判別する（Ｓ１３０１）。ゲインが閾値以下の場合、レート制御回路１１２に対し、図１１に示した様にビットレートレンジの保証処理に加えて目標ビットレートに対する収束処理も行うモードを設定する。
【００８３】
レート制御回路１１０は、図４と同様、最大ビットレート保証処理（Ｓ１３０２）、ＶＢＶバッファ保証処理（Ｓ１３０３）を実行する。そして、目標ビットレートＢＲに対して設定されたビットレート許容レンジＢＲ＋〜ＢＲ−の間に符号化データのデータレートが収まるよう、例えばピクチャ単位、ＧＯＰ単位での短期的な符号量制御を行うビットレート保証処理を実行する（Ｓ１３０４）。そして、レート制御回路１１０は、所定の収束時間で符号化動画像データのデータレートを目標ビットレートに収束させるよう符号量制御処理を実行する（Ｓ１３０５）。以上のＳ１３０２からＳ１３０５までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３０６）。
【００８４】
一方、Ｓ１３０１でゲインが閾値を超えていた場合、レート制御設定回路１１２は、レート制御回路１１０に対し、図１２に示した様にビットレートレンジの保証処理のみを行うモードを設定する。
【００８５】
そして、レート制御回路１１０は、図４と同様、最大ビットレート保証処理（Ｓ１３０７）、ＶＢＶバッファ保証処理（Ｓ１３０８）、ビットレートレンジ保証処理を実行する（Ｓ１３０９）。以上のＳ１３０７からＳ１３０９までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３１０）。
【００８６】
この様に、本実施形態によれば、ゲインが閾値を超える場合には符号化データのデータレートを目標ビットレートそのものに収束させずに、符号化難易度に応じてビットレートを許容レンジ内で変化させることにより、画像によらず画質劣化がほぼ一定な画像を記録することができる。また、ゲインが閾値以下の場合には、記録時間の精度を優先した録画が可能となる。
【００８７】
なお、前述の各実施形態では、カメラ制御部によるゲイン設定の状態に応じてビットレート制御を変更していたが、撮影画面の輝度の情報とゲイン設定状態とに基づいてビットレート制御を変更する構成としてもよい。
【図面の簡単な説明】
【００８８】
【図１】本発明を適用したビデオカメラの概略構成図である。
【図２】本発明の実施形態によるビットレート制御の例を示す図である。
【図３】本発明の実施形態によるビットレート制御の例を示す図である。
【図４】本発明の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図５】第２の実施形態によるビットレート制御の例を示す図である。
【図６】第２の実施形態によるビットレート制御の例を示す図である。
【図７】第２の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図８】第３の実施形態によるビットレート制御の例を示す図である。
【図９】第３の実施形態によるビットレート制御の例を示す図である。
【図１０】第３の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図１１】第４の実施形態によるビットレート制御の例を示す図である。
【図１２】第４の実施形態によるビットレート制御の例を示す図である。
【図１３】第４の実施形態におけるビットレート制御の動作を示すフローチャートである。
【図１４】従来のビットレート制御の例を示す図である。
【図１】
0004759360.tif 000002
【図２】
0004759360.tif 000003
【図３】
0004759360.tif 000004
【図４】
0004759360.tif 000005
【図５】
0004759360.tif 000006
【図６】
0004759360.tif 000007
【図７】
0004759360.tif 000008
【図８】
0004759360.tif 000009
【図９】
0004759360.tif 000010
【図１０】
0004759360.tif 000011
【図１１】
0004759360.tif 000012
【図１２】
0004759360.tif 000013
【図１３】
0004759360.tif 000014
【図１４】
0004759360.tif 000015