(57)【要約】【課題】  本発明は、符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体に関し、例えばビデオカメラに適用して、１パス方式により記録時間を保証する場合でも、多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てることができるようにする。【解決手段】  本発明は、入力画像データＤ１から予測される概算の発生符号量ROUGH PRED(n) を補正係数ADJUST(n) により補正して真の予測符号量TRUE PRED(n)を計算し、この真の予測符号量TRUE PRED(n)に基づいて、入力画像データＤ１を符号化処理するようにして、実際の発生符号量BIT(n)により対応するピクチャータイプの補正係数ADJUST(n) を生成する。【選択図】        図１
2006246276.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化方法において、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有する
ことを特徴とする符号化方法。
【請求項２】
前記係数設定のステップは、
符号化処理を完了したピクチャーで検出された前記概算の予測符号量と、対応する前記符号化データにおける実際の発生符号量との比率により前記補正係数を設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記符号化のステップは、
少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算する
ことを特徴とする請求項１に記載の符号化方法。
【請求項４】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、前記真の予測符号量を前記目標符号量に設定することにより、ＶＢＲにより前記符号化データを生成するように、前記目標符号量を設定し、
前記真の予測符号量が、前記一定値より大きい場合、前記一定値に対応する符号量を前記目標符号量に設定することにより、ＣＢＲにより前記符号化データを生成するように、前記目標符号量を設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項５】
前記符号化のステップは、
少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算し、
前記符号化方法は、
ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換える
ことを特徴とする請求項１に記載の符号化方法。
【請求項６】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、前記真の予測符号量を前記目標符号量に設定することにより、ＶＢＲにより前記符号化データを生成するように、前記目標符号量を設定し、
前記真の予測符号量が、前記一定値より大きい場合、前記一定値に対応する符号量を前記目標符号量に設定することにより、ＣＢＲにより前記符号化データを生成するように、前記目標符号量を設定し、
前記符号化方法は、
前記固定の量子化スケールの切り換えに連動して、前記ＶＢＲとＣＢＲとの符号化制御の切り換えに係る前記一定値を切り換える
ことを特徴とする請求項５に記載の符号化方法。
【請求項７】
前記一定値及び前記量子化スケールの切り換えにより、
前記符号化データを記録する記録媒体の記録可能時間を切り換える
ことを特徴とする請求項６に記載の符号化方法。
【請求項８】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップと、
前記真の目標符号量を補正する補正のステップとを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、
前記補正のステップは、
前記量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、前記真の発生符号量を補正する
ことを特徴とする請求項１に記載の符号化方法。
【請求項９】
前記補正のステップは、
前記実際の発生符号量を、前記符号化のステップにおける量子化スケールを一定基準の量子化スケールに設定した場合の発生符号量に換算し、該換算した発生符号量により前記対応するピクチャータイプの前記補正係数を設定することにより、前記真の発生符号量を補正する
ことを特徴とする請求項８に記載の符号化方法。
【請求項１０】
前記係数設定のステップは、
BIT BY CONSTQ PRED = e＾（ k*( QP CONSTQ-QP AVERAGE )) * BITの演算により、前記実際の発生符号量を換算する
ことを特徴とする請求項９に記載の符号化方法。
ここで、BIT BY CONSTQ PREDは、換算後の発生符号量であり、QP AVERAGEは、実際の符号化を行った際の各マクロブロックにおける量子化スケールの平均量子化スケールであり、QP CONSTQ は、前記一定基準の量子化スケールであり、BIT は、前記実際の発生符号量であり、k は、係数であり、＾は、べき乗の演算子である。
【請求項１１】
前記係数k が、-0.1126 である
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、前記真の予測符号量を前記目標符号量に設定することにより、ＶＢＲにより前記符号化データを生成するように、前記目標符号量を設定し、
前記真の予測符号量が、前記一定値より大きい場合、前記一定値に対応する符号量を前記目標符号量に設定することにより、ＣＢＲにより前記符号化データを生成するように、前記目標符号量を設定する
ことを特徴とする請求項８に記載の符号化方法。
【請求項１３】
前記符号化のステップは、
少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算し、
前記符号化方法は、
ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換える
ことを特徴とする請求項８に記載の符号化方法。
【請求項１４】
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、前記真の予測符号量を前記目標符号量に設定することにより、ＶＢＲにより前記符号化データを生成するように、前記目標符号量を設定し、
前記真の予測符号量が、前記一定値より大きい場合、前記一定値に対応する符号量を前記目標符号量に設定することにより、ＣＢＲにより前記符号化データを生成するように、前記目標符号量を設定し、
前記固定の量子化スケールの切り換えに連動して、前記ＶＢＲとＣＢＲとの符号化制御の切り換えに係る前記一定値を切り換える
ことを特徴とする請求項１３に記載の符号化方法。
【請求項１５】
前記一定値及び前記量子化スケールの切り換えにより、
前記符号化データを記録する記録媒体の記録可能時間を切り換える
ことを特徴とする請求項１４に記載の符号化方法。
【請求項１６】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
符号化処理に供するピクチャーを他のピクチャータイプにより符号化処理した場合の、他のピクチャータイプによる前記概算の予測符号量を併せて求め、
前記真の符号量予測のステップは、
前記他のピクチャータイプの概算の予測符号量より、他のピクチャータイプによる真の予測符号量を併せて求め、
前記目標符号量設定のステップは、
対応するピクチャータイプによる前記真の予測符号量と、前記他のピクチャータイプによる真の予測符号量とにより、割り当て可能な符号量を配分して、前記目標符号量を設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項１７】
前記割り当て可能な符号量の配分が、
前記対応するピクチャータイプによる前記真の予測符号量と、前記他のピクチャータイプによる真の予測符号量とが、１ＧＯＰにおける各ピクチャーの発生符号量であるとの仮定による配分である
ことを特徴とする請求項１６に記載の符号化方法。
【請求項１８】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、
前記目標符号量設定のステップは、
前記真の予測符号量が、前記画質改善の基準値より大きな一定値より小さい場合、前記真の予測符号量を前記目標符号量に設定することにより、ＶＢＲにより前記符号化データを生成するように設定すると共に、
前記真の予測符号量が、前記一定値より大きい場合、前記一定値に対応する符号量を前記目標符号量に設定することにより、ＣＢＲにより前記符号化データを生成するように設定して、
前記真の予測符号量が、前記画質改善用の基準値より小さい場合、前記真の予測符号量が低下するに従って増大する係数により、前記真の予測符号量を増大させて前記目標符号量に設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項１９】
前記目標符号量設定のステップは、
前記係数の増大を一定値により制限する
ことを特徴とする請求項１８に記載の符号化方法。
【請求項２０】
入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャー毎に発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化装置において、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測手段と、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測手段と、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化手段と、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定手段と
を備えることを特徴とする符号化装置。
【請求項２１】
前記入力画像データを、一体に保持された撮像手段より入力する
ことを特徴とする請求項２０に記載の符号化装置。
【請求項２２】
演算処理手段により実行することにより、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化処理のプログラムにおいて、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有する
ことを特徴とする符号化処理のプログラム。
【請求項２３】
演算処理手段により実行することにより、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化処理のプログラムを記録した記録媒体において、
前期符号化処理のプログラムは、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有する
ことを特徴とする符号化処理のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体に関し、例えばビデオカメラに適用することができる。本発明は、入力画像データから予測される概算の発生符号量を補正係数により補正して真の予測符号量を計算し、この真の予測符号量に基づいて、入力画像データを符号化処理するようにして、実際の発生符号量により対応するピクチャータイプの補正係数を設定することにより、１パス方式により記録時間を保証する場合でも、さらには多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てることができるようにする。
【背景技術】
【０００２】
従来、動き補償予測符号化では、ＶＢＲ（Variable Bit Rate ）、ＣＢＲ（Constant Bit Rate ）による符号化制御が広く知られている。ここでＶＢＲによる符号化制御は、予め設定された固定の量子化スケールで動画像を符号化する方式である。これに対してＣＢＲによる符号化制御は、発生符号量が所定の目標値となるように、量子化スケールを可変して符号化制御する方式である。
【０００３】
ＶＢＲによる符号化制御は、処理対象に応じて発生符号量が種々に変化し、これにより記録媒体に動画を記録する場合には、記録可能な時間を保証できない欠点がある。このため動画の記録等では、主にＣＢＲによる符号化制御により記録時間を保証している。
【０００４】
しかしながらＣＢＲによる符号化制御は、符号化が容易なピクチャーを不必要に高画質に符号化処理する場合があり、これにより符号化効率の点で実用上、未だ不十分な欠点がある。このため例えば特開２００１−２８７５３号公報には、ＶＢＲによる符号化制御とＣＢＲによる符号化制御とを切り換えて符号化処理することにより、符号化効率を向上する方法が提案されている。
【０００５】
またＣＢＲによる符号化制御は、固定した量子化スケールにより仮の符号化処理を実行して発生符号量を計測し、この計測結果により量子化スケールを可変して実際の符号化処理を実行するいわゆる２パス方式と、発生符号量を予測しながらリアルタイムで量子化スケールを可変するいわゆる１パス方式とがある。１パス方式は、２パス方式に比して演算量がほぼ１／２であり、またリアルタイムで動画を処理できる特徴があり、これにより各種の記録装置で採用されている。
【０００６】
しかしながら１パス方式にあっては、各ピクチャーに適切に符号量を割り当てて高画質により動画を符号化する点で、実用上、未だ不十分な問題がある。
【０００７】
すなわち１パス方式では、発生符号量に応じたフィードバック制御により量子化スケールを可変しており、これにより１つのピクチャーを符号化した後でなければ、圧縮率を調整し得ない。これにより画質の変化に対して追従性良く量子化スケールを可変することが困難な欠点があり、ピクチャー毎に符号量を見たときに、必ずしも適切に符号量を割り当てることが困難な問題がある。
【０００８】
この問題を解決する１つの方法として、例えば高周波成分等の符号化処理の困難度を示す特徴量をピクチャー毎に検出し、この検出結果を基準にしたフィードフォワード制御により量子化スケールを制御する方法も種々に提案されている。しかしてこの方法の場合、例えばＭＰＥＧ２等の符号化処理にあっては、概ね各ピクチャーに適切に符号量を割り当てることができる。
【０００９】
しかしながらこの種の符号化方法には、Ｈ．２６４／ＡＶＣ（Advanced Video Coding ）、ＭＰＥＧ(Moving Picture Experts Group)４のように多くの予測モードから最適な予測モードを選択して符号化処理する方法もあり、このような符号化方式では、特徴量と発生符号量とは、相関が著しく低下する。これによりこのように多数の予測モードが存在する符号化処理では、この方法でも、適切に符号量を割り当てることが困難になる問題がある。
【特許文献１】特開２００１−２８７５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は以上の点を考慮してなされたもので、１パス方式により記録時間を保証する場合でも、さらには多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てることができる符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１１】
かかる課題を解決するため請求項１の発明においては、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化方法に適用して、前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有するようにする。
【００１２】
また請求項５の発明においては、請求項１の構成において、前記符号化のステップは、少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算し、前記符号化方法は、ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換える。
【００１３】
また請求項８の発明においては、請求項１の構成において、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップと、前記真の目標符号量を補正する補正のステップとを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、前記補正のステップは、前記量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、前記真の発生符号量を補正する。
【００１４】
また請求項１３の発明においては、請求項９の構成において、前記符号化のステップは、少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算し、前記符号化方法は、ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換える。
【００１５】
また請求項１６の発明においては、請求項１の構成において、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、符号化処理に供するピクチャーを他のピクチャータイプにより符号化処理した場合の、他のピクチャータイプによる前記概算の予測符号量を併せて求め、前記真の符号量予測のステップは、前記概算の予測符号量より、他のピクチャータイプによる真の予測符号量を併せて求め、前記目標符号量設定のステップは、対応するピクチャータイプによる前記真の予測符号量と、前記他のピクチャータイプによる真の予測符号量とにより、割り当て可能な符号量を配分して、前記目標符号量を設定する。
【００１６】
また請求項１８の発明においては、請求項１の構成において、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、前記目標符号量設定のステップは、前記真の予測符号量が、前記画質改善の基準値より大きな一定値より小さい場合、前記真の予測符号量を前記目標符号量に設定することにより、ＶＢＲにより前記符号化データを生成するように設定すると共に、前記真の予測符号量が、前記一定値より大きい場合、前記一定値に対応する符号量を前記目標符号量に設定することにより、ＣＢＲにより前記符号化データを生成するように設定して、前記真の予測符号量が、前記画質改善用の基準値より小さい場合、前記真の予測符号量が低下するに従って増大する係数により、前記真の予測符号量を増大させて目標符号量に設定する。
【００１７】
また請求項１９の発明においては、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャー毎に発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化装置に適用して、前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測手段と、前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測手段と、前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化手段と、前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定手段とを備えるようにする。
【００１８】
また請求項２２の発明においては、演算処理手段により実行することにより、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化処理のプログラムに適用して、前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有するようにする。
【００１９】
また請求項２３の発明においては、演算処理手段により実行することにより、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化処理のプログラムを記録した記録媒体に適用して、前記符号化処理のプログラムは、前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有するようにする。
【００２０】
請求項１の構成により、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化方法に適用して、前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を生成する係数設定のステップとを有するようにすれば、多数の予測モードが存在する場合にあって、概算の予測符号量によっては発生符号量を正確に予測できない場合でも、補正係数により得られる真の予測符号量により発生符号量を実用上十分な精度で求めることができる。これによりこのような精度の高い真の予測符号量を用いることにより、１パス方式により記録時間を保証する場合でも、さらには多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てることができる。
【００２１】
また請求項５の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項１の構成を前提に、前記符号化のステップは、少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算すれば、この固定の量子化スケールによる発生符号量を基準にして、各ピクチャーの発生符号量を予測して符号化処理することになる。これによりこの固定の量子化スケールにあっては、符号化データにおける発生符号量の設定基準とすることができる。これにより前記符号化方法は、ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換えることにより、発生符号量の平均レートを簡易に設定することができる。
【００２２】
また請求項８の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項１の構成を前提に、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップと、前記真の目標符号量を補正する補正のステップとを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、前記補正のステップは、前記量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、前記真の発生符号量を補正することにより、例えばＣＢＲにより真の予測符号量から目標符号量を設定して符号化処理する場合にあっても、一定基準の量子化スケールによる符号化処理を基準にして発生符号量を予測することができ、これによりさらに一段と発生符号量の予測精度を向上し得、その分、一段と精度良く各ピクチャーに適切に符号量を割り当てることができる。
【００２３】
また請求項１３の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項９の構成を前提に、前記符号化のステップは、少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算すれば、この固定の量子化スケールによる発生符号量を基準にして、各ピクチャーの発生符号量を予測して符号化処理することになる。これによりこの固定の量子化スケールにあっては、符号化データにおける発生符号量の設定基準とすることができる。これにより前記符号化方法は、ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換えることにより、発生符号量の平均レートを簡易に設定することができる。
【００２４】
また請求項１６の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項１の構成を前提に、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、符号化処理に供するピクチャーを他のピクチャータイプにより符号化処理した場合の、他のピクチャータイプによる前記概算の予測符号量を併せて求め、前記真の符号量予測のステップは、前記概算の予測符号量より、他のピクチャータイプによる真の予測符号量を併せて求め、前記目標符号量設定のステップは、対応するピクチャータイプによる前記真の予測符号量と、前記他のピクチャータイプによる真の予測符号量とにより、割り当て可能な符号量を配分して、前記目標符号量を設定すれば、各ピクチャーにおける符号化の困難度が徐々に変化している場合にあっても、この変化に対応して各ピクチャーに割り当てる符号量を設定することができ、これにより一段と適切に各ピクチャーに符号量を割り当てることができる。
【００２５】
また請求項１８の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項１の構成を前提に、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、前記目標符号量設定のステップは、前記真の予測符号量が、前記画質改善の基準値より大きな一定値より小さい場合、前記真の予測符号量を前記目標符号量に設定することにより、ＶＢＲにより前記符号化データを生成するように設定すると共に、前記真の予測符号量が、前記一定値より大きい場合、前記一定値に対応する符号量を前記目標符号量に設定することにより、ＣＢＲにより前記符号化データを生成するように設定して、前記真の予測符号量が、前記画質改善用の基準値より小さい場合、前記真の予測符号量が低下するに従って増大する係数により、前記真の予測符号量を増大させて目標符号量に設定すれば、発生符号量の少ない符号化処理の簡易な画像については、符号量の割り当てを増大させて符号化処理することができる。しかしてこのような画像にあっては、比較的画質劣化が目立ち易い特徴がある。これにより画質を向上することができる。
【００２６】
これらにより請求項２０、請求項２２、請求項２３の構成によれば、１パス方式により記録時間を保証する場合でも、さらには多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てることができる符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００２７】
本発明によれば、１パス方式により記録時間を保証する場合でも、さらには多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てることができる。
【発明を実施するための最良の形態】
【００２８】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００２９】
（１）実施例の構成
図２は、本発明の実施例に係るディジタルビデオカメラを示すブロック図である。このディジタルビデオカメラ１は、所望の被写体による撮像結果を符号化処理して記録媒体２に記録する。このためこのディジタルビデオカメラ１において、カメラ部３は、撮像結果を取得して画像データを出力する。
【００３０】
すなわちカメラ部３において、ドライバ４は、制御部５の制御により光学ブロック６の絞り、フォーカスレンズ、ズームレンズを駆動し、光学ブロック６は、このドライバ４による駆動の条件により入射光を集光して続くＣＣＤ固体撮像素子（ＣＣＤ：Charge Coupled Device ）７の撮像面に光学像を形成する。タイミング生成部８は、制御部５の制御によりＣＣＤ固体撮像素子７の各種タイミング信号を生成して出力し、ドライバ９は、このタイミング生成部８から出力される各種タイミング信号のうちの一部のタイミング信号によりＣＣＤ固体撮像素子７を駆動する。ＣＣＤ固体撮像素子７は、このタイミング生成部８から直接入力されるタイミング信号、ドライバ９を介して入力されるタイミング信号により動作して、撮像面に形成された光学像の撮像結果を出力する。前処理回路１０は、このＣＣＤ固体撮像素子の撮像結果を相関二重サンプリング処理した後、制御部５の制御による利得により増幅してアナログディジタル変換処理し、その処理結果による画像データをカメラＤＳＰ１２に出力する。
【００３１】
カメラＤＳＰ１２は、このカメラ部３から出力される画像データを信号処理した後、符号化処理して制御部５に出力し、またこれとは逆に制御部５から入力される符号化データを復号する。
【００３２】
すなわちカメラＤＳＰ１２において、ＡＦ／ＡＥ／ＡＷＢ部１３は、カメラ部３から出力される画像データから自動フォーカス制御、自動絞り制御に必要な各種の情報を取得して制御部５に出力し、またこの画像データを制御部５の制御により自動ホワイトバランス調整して制御部５等に出力する。なおＡＦ／ＡＥ／ＡＷＢ部１３は、これらの処理に加えて、撮像結果の処理に必要なニー処理、ガンマ補正処理、マトリックス演算処理等の各種処理を実行する。エンコーダ１４は、動き補償、直交変換により画像データを符号化処理して符号化データを生成する符号化装置であり、制御部５の制御により、ＡＦ／ＡＥ／ＡＷＢ部１３により処理された画像データを符号化処理して符号化データを生成し、この符号化データを制御部５に出力する。デコーダ１５は、これとは逆に制御部５から入力される符号化データを復号化し、その処理結果による画像データを制御部５に出力する。ＳＤＲＡＭコントローラ１６は、カメラＤＳＰ１２に外付けのメモリであるＳＤＲＡＭ１７の書き込み、読み出しを制御し、このカメラＤＳＰ１２の一連の処理に係る画像データ、符号化データをＳＤＲＡＭ１７に一時格納する。
【００３３】
なおこのカメラＤＳＰ１２において、これら一連の処理に係るプログラムは、このディジタルビデオカメラ１に事前にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、さらには記録媒体に記録して提供するようにしてもよい。因みに、このような記録媒体は、光ディスク、磁気ディスク、メモリカード等、種々の記録媒体を広く適用することができる。
【００３４】
記録媒体２は、エンコーダ１４による符号化データ等を記録し、また記録した符号化データを再生して出力する。ここで記録媒体２は、光ディスク、磁気ディスク、メモリカード等、種々の記録媒体を広く適用することができ、媒体インターフェース（媒体Ｉ／Ｆ）２１は、制御部５の制御により制御部５から出力されるデータをこの記録媒体２に記録し、また記録媒体２に記録されたデータを読み出して制御部５に出力する。
【００３５】
外部インターフェース（外部Ｉ／Ｆ）２２は、例えばパーソナルコンピュータ等の外部機器を接続するインターフェースであり、制御部５の制御により、制御部５から出力されるデータをこの外部機器に出力し、またこの外部機器より入力されるデータを制御部５に出力する。これによりこのディジタルビデオカメラ１では、外部機器との間で画像データ、符号化データ等の種々のデータを送受する。
【００３６】
ＬＣＤコントローラ２４は、制御部５の制御により、制御部５のバスＢＵＳに出力される画像データにより液晶表示装置（ＬＣＤ）２３を駆動し、これにより液晶表示装置２３は、バスＢＵＳに出力される撮像結果による画像データ、復号結果による画像データを表示する。
【００３７】
制御部５は、このディジタルビデオカメラ１全体の動作を制御する制御手段であり、ランダムアクセスメモリ（ＲＡＭ）２５にワークエリアを確保して中央処理ユニット（ＣＰＵ）２６によりフラッシュメモリＲＯＭ２７に記録された処理プログラムを実行することにより、操作部２９の操作に応動してカメラ部３、カメラＤＳＰ１２の動作を立ち上げ、カメラ部３で得られる撮像結果をカメラＤＳＰ１２により処理して符号化処理し、その処理結果による符号化データを取得して記憶媒体２に記録する。また撮像結果による画像データを取得して液晶表示装置２３によりモニタ画像を表示する。またこれらの処理において、カメラＤＳＰ１２より取得した情報によりカメラ部３の絞り、フォーカスを制御し、これにより自動絞り制御、自動フォーカス制御の処理を実行する。またユーザーによる操作に応動して記録媒体２に記録された符号化データを読み出してカメラＤＳＰ１２により復号化し、その処理結果による画像データを取得して液晶表示装置２３によりモニタ画像を表示する。
【００３８】
これらの処理において、制御部５は、ユーザーにより操作部２９の操作に応動して、後述するエンコーダ１４の処理に供するパラメータを切り換えることにより、長時間記録モードと標準時間記録モードとで全体の動作モードを切り換え、エンコーダ１４により生成される符号化データのビットレートを切り換える。これにより制御部５は、記録媒体２の記録可能時間を切り換え、各動作モードに応じた記録時間により撮像結果を記録媒体２に記録する。
【００３９】
図３は、このようにして記録媒体２に記録される符号化データの符号化制御に係る特性を示す特性曲線図である。エンコーダ１４は、横軸により示すように、固定した量子化スケールQP INIT により量子化して発生する符号量が一定の上限レートLIMIT RATEより大きくなると、符号化データのレートが一定の上限値LIMIT RATEとなるように符号化制御し、これによりこの場合、ＣＢＲの手法により入力画像データを符号化処理する。またこれとは逆に、固定した量子化スケールQP INIT により量子化して発生する符号量が一定の上限レートLIMIT RATEより小さい場合には、ＶＢＲの手法により、この固定した量子化スケールQP INIT に従って入力画像データを符号化処理する。これによりエンコーダ１４は、記録媒体２への記録時間を補償しつつ、符号量の低下により符号化制御をＶＢＲの手法に切り換えて無駄な符号量の割り当てを防止し、これらによりＶＢＲの手法とＣＢＲの手法との切り換えにより符号化効率を向上して記録時間を担保する。
【００４０】
またエンコーダ１４は、このようにＶＢＲの手法により入力画像データを符号化処理する際に、固定した量子化スケールQP INIT により量子化して発生する符号量が画質操作境界レートLRB END RATEより小さい場合、画質操作境界レートLRB END RATEによる符号量より固定した量子化スケールQP INIT による符号量が低下するに従って、この固定した量子化スケールQP INIT による符号量に比して符号化データの符号量が一時的に増大するように、発生符号量を制御する。
【００４１】
これによりエンコーダ１４は、比較的符号化が容易な被写体について、意図的に多めの符号量を割り当てて符号化処理を実行し、このような被写体の画質を改善する。
【００４２】
図４は、このディジタルビデオカメラ１に適用されるエンコーダ１４の構成を詳細に示すブロック図である。このエンコーダ１４は、多くの予測モードから最適な予測モードを選択し、この最適な予測モードにより直交変換、動き補償して画像データＤ１を符号化処理する。より具体的に、このエンコーダ１４は、ＡＶＣの手法により画像データを符号化処理する。これにより順次入力される入力画像データＤ１によるピクチャーに順次ピクチャータイプを設定し、１パス方式により各ピクチャーにおける発生符号量を予測しながら、画像データＤ１を符号化処理する。
【００４３】
このためエンコーダ１４は、減算回路３２を介してディスクリートコサイン変換回路（ＤＣＴ）３４に画像データＤ１を入力する。ここでディスクリートコサイン変換回路３４は、減算回路３２の出力データをディスクリートコサイン変換処理により直交変換処理して係数データを出力する。
【００４４】
量子化回路３５は、符号化制御回路３１の制御により量子化スケールを切り換え、ディスクリートコサイン変換回路３４から出力される係数データを量子化処理する。可逆符号化回路３６は、この量子化回路３５の出力データを可逆符号化処理し、量子化スケール、予測モードのデータ等と共に符号化データＤ２により出力する。
【００４５】
逆量子化回路３７は、量子化回路３５の出力データを逆量子化処理し、これにより量子化回路３５の入力データを復号する。逆ディスクリートコサイン変換回路（逆ＤＣＴ）３８は、逆量子化回路３７の出力データを逆ディスクリートコサイン変換処理し、これによりディスクリートコサイン変換回路３４の入力データを復号する。エンコーダ１４では、この逆ディスクリートコサイン変換回路３８の出力データにモード判定回路３３の出力データを加算することにより、減算回路３２に入力する入力画像データを復号する。デブロックフィルタ３９は、この復号した入力画像データをフィルタリング処理し、ブロック歪みを除去して出力する。フレームメモリ４０は、このデブロックフィルタ３９の出力データを所定フレーム分保持する。
【００４６】
イントラ予測回路４１は、フレームメモリ４０に保持された同一ピクチャーの画像データを用いて、複数のイントラ予測モードから最適なイントラ予測モードを検出する。インター予測回路１２は、フレームメモリ４０に保持された複数の予測フレームをそれぞれ用いて、複数のインター予測モードから最適なインター予測モードを検出する。
【００４７】
モード判定回路３３は、Ｉピクチャーにおいて、イントラ予測回路４１で検出される最適なイントラ予測モードによる予測画像データを生成し、この予測画像データを減算回路３２に出力する。これによりこのエンコーダ１４は、Ｉピクチャーにおいて、多数のイントラ予測モードから最適な予測モードを選択し、この最適な予測モードによる予測残差データを直交変換処理、可変長符号化処理して符号化データＤ２を生成する。
【００４８】
モード判定回路３３は、さらにＰピクチャー及びＢピクチャーにおいて、イントラ予測回路１１で検出される最適な予測モードと、インター予測回路１２で検出される最適な予測モードとから、最適な予測モードを選択し、この選択した予測モードによる予測画像データを減算回路３２に出力する。これによりこのエンコーダ１４は、Ｐピクチャー及びＢピクチャーにおいて、多数のイントラ予測モード、インター予測モードから最適な予測モードを選択し、この最適な予測モードによる予測残差データを直交変換処理、可変長符号化処理して符号化データＤ２を生成する。
【００４９】
符号化制御回路３１は、このエンコーダ１４の量子化回路３５における量子化スケールを制御し、これにより符号化データＤ２の符号量を制御する。
【００５０】
すなわちこの符号化制御回路３１において、イントラ予測回路４１は、入力画像データＤ１よりイントラ予測に係る疑似的な予測画像データを生成する。ここでＡＶＣでは、１６×１６画素ブロック、４×４画素ブロックの各ブロック毎に複数の予測モードが設定され、これらの予測モードより最適な予測モードが選択されて予測画像データが生成されるものの、このイントラ予測回路４１では、この本来の予測画像データと同様の傾向を示す疑似的な予測画像データを生成する。この擬似的な予測は、特定のモードでのみ予測を行うなど、本来の予測を簡易化することで行う。また、時間的に過去のピクチャーの予測結果を流用してもよい。
【００５１】
減算回路４２は、このイントラ予測回路４１から出力される擬似的な予測画像データを、入力画像データＤ１から減算し、これによりイントラ予測に係る疑似的な予測残差データを生成する。これらによりイントラ予測回路４１は、イントラ予測に係る符号化の困難度を示す特徴量を検出する。
【００５２】
フレームメモリ４３は、所定フレーム分だけ入力画像データＤ１を記録して保持し、簡易インター予測回路４４に参照画像データとして出力する。
【００５３】
簡易インター予測回路４４は、フレームメモリ４３に保持された画像データを用いて、インター予測に係る疑似的な予測画像データを生成する。ここでＡＶＣでは、複数の予測フレームを用いて、大きさの異なるブロックでそれぞれ１画素より小さな精度で動きベクトルを検出し、最も発生符号量の少ない予測フレーム、ブロックにより予測画像データが生成されるものの、この簡易インター予測回路４４では、この本来の予測画像データと同様の傾向を示す疑似的な予測画像データを生成する。具体的には、１６×１６画素ブロックによるマクロブロックについてのみ、整数画素精度により、各予測フレームで動きベクトルを検出して最適な予測モードを検出し、この検出結果による予測画像データを出力する。なおこの場合、入力画像データＤ１をダウンサンプリングして処理するようにしてもよく、さらにはこれら１６×１６画素ブロックの複数の予測モードにおいて、最も予測モードに選択される確率の高い予測モードにより予測画像データを生成するようにしてもよい。
【００５４】
減算回路４５は、この簡易インター予測回路４４から出力される擬似的な予測画像データを、入力画像データＤ１から減算し、これによりインター符号化に係る疑似的な予測残差データを生成する。なおイントラ予測回路４１、簡易インター予測回路４４による処理結果は、本来のイントラ予測回路１１、インター予測回路１２における処理に利用するようにして、その分、全体の処理を簡略化するようにしてもよい。
【００５５】
これらによりフレームメモリ４３、簡易インター予測回路４４、減算回路４５は、１６×１６画素ブロックを単位にして、インター予測に係る符号化の困難度を示す特徴量を検出する。なおこれらイントラ予測、インター予測に係る特徴量の検出にあっては、予測精度と処理速度との兼ね合いにより種々の検出手法を広く適用することができ、例えば直交変換処理の処理単位のブロックサイズによりこれら特徴量を検出するようにしてもよく、さらには実用上十分な精度を確保できる場合には、イントラ予測に係る特徴量に高周波成分の信号レベルを適用するようにしてもよい。
【００５６】
発生符号量予測回路４６は、これら減算回路４２、４５から出力される予測残差データにより符号化処理による発生符号量を予測する。
【００５７】
目標符号量決定回路４７は、この発生符号量予測回路４６の予測結果に基づいて、符号化処理の目標符号量を決定し、量子化回路３５の量子化スケールを設定する。
【００５８】
図１は、これら発生符号量予測回路４６、目標符号量決定回路４７の構成を詳細に示す機能ブロック図である。なおこの図１に示す構成において、乗算回路等の演算回路は、以下に説明する対応する数式の符号を付して対応関係を示す。
【００５９】
発生符号量予測回路４６は、Ｐピクチャー、Ｂピクチャーについて、減算回路４２、４５から出力される予測残差データをそれぞれマクロブロック毎に合計し、値の小さい側の合計値を当該マクロブロックの残差データMB BD に設定する。またさらにこのマクロブロックの残差データMB BD を各ピクチャーで合計し、合計値を当該ピクチャーの残差データBD(n) （図１において符号５１により示す）に設定する。またＩピクチャーについては、減算回路４２から出力されるイントラ予測に係る予測残差データをピクチャー単位で合計し、合計値を当該ピクチャーのイントラ予測に係る残差データBD (n) に設定する。これらにより発生符号量予測回路４６は、これら残差データBD(n) により符号化処理に係る困難度を示す特徴量をピクチャー単位で検出する。なおこの残差データBD(n) にあっては、予測残差データの絶対値和により検出するようにしてもよい。
【００６０】
ここで目標符号量決定回路４７は、各ピクチャータイプのシーケンス先頭となるピクチャーでは、量子化回路３５の量子化スケールを事前に設定された固定の量子化スケールQP INIT に設定し、これにより各シーケンスの先頭ピクチャーをこの固定の量子化スケールQP INIT による固定圧縮率で符号化処理する。
【００６１】
発生符号量予測回路４６は、この固定の量子化スケールQP INIT による発生符号量BIT(0)（図１において符号５２により示す）を各ピクチャータイプ毎に検出し、以降の各ピクチャーでは、対応するピクチャータイプで検出した発生符号量BIT(0)を用いて、次式の演算処理を実行することにより、概算の予測符号量ROUGH PRED(n) （図１において符号５４により示す）を予測する。なおここで残差データBD(0) （図１において符号５３により示す）は、この対応するピクチャータイプのシーケンス先頭で検出される残差データBD(n) である。
【００６２】
【数１】
2006246276.tif 000003
【００６３】
これにより発生符号量予測回路４６は、先頭ピクチャーを固定の量子化スケールで符号化処理するようにして、この固定の量子化スケールによる実際の発生符号量を基準にして、このピクチャーに対する困難度の相対的な変化により、各ピクチャーの概算の予測符号量をピクチャータイプ毎に検出する。
【００６４】
また発生符号量予測回路４６は、このようにして発生符号量を予測する際に、当該ピクチャーを他のピクチャータイプにより符号化処理した場合に予測される予測符号量を併せて計算する。これにより発生符号量予測回路４６は、入力画像データＤ１による各ピクチャー毎に、それぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーにより符号化処理した際の概算の発生符号量を予測する。
【００６５】
ところでこのようにして計算される概算の予測符号量ROUGH PRED(n) は、概ね実際の発生符号量を表してはいるものの、誤差を有している。特に、Ｐピクチャー、Ｂピクチャーに係る予測符号量ROUGH PRED(n) では、この誤差が大きくなる。このため発生符号量予測回路４６は、次式の演算処理により、Ｐピクチャー、Ｂピクチャーについての予測符号量ROUGH PRED(n) を、直前ピクチャーまでの実際の処理結果によりそれぞれ補正して、真の予測符号量TRUE PRED(n)（図１において符号５５により示す）を計算する。
【００６６】
【数２】
2006246276.tif 000004
【００６７】
なおここでADJUST(n) （図１において符号５６により示す）は、各ピクチャータイプの補正係数であり、後述する処理により導出される。しかしてこのようにして求められる真の予測符号量TRUE PRED(n)は、シーケンス先頭のピクチャーを固定圧縮率により符号化処理する際に適用される固定した量子化スケールQP INIT により各ピクチャーを符号化処理した場合の発生符号量を予測するものであり、実験した結果によれば、実際の発生符号量にかなりの精度で一致することが確認されている。
【００６８】
なおこのようにして真の予測符号量TRUE PRED(n)を計算して符号化処理するに際して、例えばシーンチェンジ等により動画の性質がシーケンス先頭から大きく変化した場合、改めて上述した各ピクチャータイプに係るシーケンス先頭の処理を実行して、真の予測符号量TRUE PRED(n)を計算し直すようにしてもよい。
【００６９】
目標符号量決定回路４７は、このようにして求めた真の予測符号量TRUE PRED(n)により、ＶＢＲとＣＢＲによる目標符号量をそれぞれ決定する。なおＩピクチャーの真の予測符号量TRUE PRED(n)にあっては、大まかな予測符号量ROUGH PRED(n) が適用される。
【００７０】
このため目標符号量決定回路４７は、符号処理対象ピクチャーのピクチャータイプについて検出した真の予測符号量TRUE PRED(n)を用いて、次式の演算処理により、ＶＢＲによる目標符号量VBR TARGET(n) （図１において符号５７により示す）を計算する。
【００７１】
【数３】
2006246276.tif 000005
【００７２】
なおここで LRB(n) （図１において、符号５８により示す）は、図３について上述した画質改善のために、固定した量子化スケールQP INIT による符号量に対して、意図的に符号量を増大させるための係数であり、1 ＜LRB(n)である。この係数LRB(n)は、画像をモニタしながら手動により設定するようにしてもよいが、この実施例では、図３について上述したように、難易度の低い動画像で圧縮率を意図的に下げ、画質劣化を目だたなくするように、以下のようにして設定する。
【００７３】
すなわち目標符号量決定回路４７は、この画質改善に係るしきい値のレートLRB END RATEを用いて、次式の演算処理を実行することにより、係数LRB(n)を計算する。
【００７４】
【数４】
2006246276.tif 000006
【００７５】
ここでINSTANT RATE(n) は、処理対象であるｎ番目のピクチャーにおける瞬時レートである。またAPPLY GAINは、このように意図的に圧縮率を下げる度合いを示す利得であり、0 ＜APPLY GAIN＜ 1の範囲で調整される係数である。この利得APPLY GAINが値０の場合には、何ら圧縮率を低下させないことになり、画質改善の効果がゼロとなる。また利得APPLY GAINが値１の場合には、この難易度の低い動画像で、目標符号量VBR TARGET(n) は、しきい値のレートLRB END RATEを実現する符号量と一致することになる。
【００７６】
これにより目標符号量決定回路４７は、固定した量子化スケールQP INIT による予測符号量TRUE PRED(n)がしきい値のレートLRB END RATEより低下するに従って、この固定した量子化スケールQP INIT による符号量に対して目標符号量を増大させる。
【００７７】
またこれにより（４）式により求められる係数LRB(n)は、難易度が非常に低いピクチャーで極端に大きな値になることにより、（４）式で求められる値をリミッタにより値２．５〜３．０に制限し、これにより極端な目標符号量VBR TARGET(n) の増大を防止する。
【００７８】
なお瞬時レートINSTANT RATE(n) は、次式により求められる。ここでI NUM 、P NUM 、P NUM は、それぞれ１ＧＯＰを形成するＩピクチャー、Ｐピクチャー、Ｂピクチャーの枚数であり、AVERAGE I BIT 、AVERAGE P BIT 、AVERAGE B BIT は、それぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーの平均発生符号量であり、PICTURE RATEは、このエンコーダ１４における１秒間当たりのフレーム数（フレームレート）である。
【００７９】
【数５】
2006246276.tif 000007
【００８０】
ここでＩピクチャーの平均発生符号量AVERAGE I BIT は、次式により求められる。
【００８１】
【数６】
2006246276.tif 000008
【００８２】
なおここでFLT は、0 ≦ FLT＜１の範囲で設定される調整値であり、値０．２前後が適切な値である。これにより目標符号量決定回路４７は、直前の２つのＩピクチャーにおける平均発生符号量AVERAGE I BIT(n-2)、AVERAGE I BIT(n-1)を調整値FLT により重み付け加算して、ｎ番目のＩピクチャーに係る平均発生符号量AVERAGE I BIT(n)を求める。これによりＩピクチャーの平均発生符号量AVERAGE I BIT は、調整値FLT を値０に近づけると、時間的に短い瞬間的なレートとなり、調整値FLT を値１に近づけると、時間的に長い平均的なレートとなる。なおこのＩピクチャーの平均発生符号量AVERAGE I BIT に係る初期値AVERAGE I BIT(0)は、任意に定めてよい。また調整値 FLTは、値１でなければ、値０に設定してもよい。目標符号量決定回路４７は、同様にしてＰピクチャー、Ｂピクチャーの平均発生符号量AVERAGE P BIT 、AVERAGE B BIT を求め、調整値FLT を設定して係数 LRB(n) を設定する。
【００８３】
これらのため目標符号量決定回路４７は、発生符号量の監視結果により調整値FLT を設定して画質改善の程度を示す係数 LRB(n) を設定する。またこの係数 LRB(n) を用いて符号化処理対象のピクチャーにおけるＶＢＲの目標符号量VBR TARGET (n)を計算する。
【００８４】
また目標符号量決定回路４７は、次式の演算処理によりＸピクチャーのＣＢＲによる目標符号量CBR TARGET X(n) を計算する。なおここでＸピクチャーは、Ｉピクチャー、Ｐピクチャー又はＢピクチャーである。
【００８５】
【数７】
2006246276.tif 000009
【００８６】
ここで真の予測符号量TRUE PRED I(n)、TRUE PRED P(n)、TRUE PRED B(n)は、ｎ番目のピクチャーをそれぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーにより符号化処理した場合の予測符号量であり、（２）式について上述したように、符号化処理対象のピクチャーについて真の予測符号量を求める場合に、併せて求めた他のピクチャータイプにより符号化処理すると仮定した場合の真の予測符号量が適用される。ここでGOP SIZEは、ＣＢＲにより設定される１ＧＯＰに係る符号量であり、後述する演算処理により求められる。
【００８７】
これにより目標符号量決定回路４７は、符号化処理対象のピクチャーをＩピクチャー、Ｐピクチャー、Ｂピクチャーにより符号化処理した場合に発生する符号量の配分により、GOP SIZEによる符号量を符号化処理対象のピクチャーに割り当ててＣＢＲによる目標符号量CBR TARGET X(n) を計算する。
【００８８】
ここで符号量GOP SIZEは、次式により示すように、ＶＢＲとＣＢＲとの切り換えに係る上限レートLIMIT RATE、１ピクチャー当たりの平均レートＭ、オフセット値OFFSETを用いて次式により求められる。
【００８９】
【数８】
2006246276.tif 000010
【００９０】
また１ピクチャー当たりの平均レートＭは、次式により示すように、エンコーダ１４における１秒間当たりのフレーム数（フレームレート）PICTURE RATEを、１ＧＯＰを形成する各ピクチャーの枚数I NUM 、P NUM 、B NUM の総計により割り算して求められる。
【００９１】
【数９】
2006246276.tif 000011
【００９２】
またオフセット値OFFSETは、ｎ番目のピクチャーにおける瞬時レートINSTANT RATE(n)
、平均レートＭを用いて、次式により求められる。
【００９３】
【数１０】
2006246276.tif 000012
【００９４】
これらにより目標符号量決定回路４７は、符号化処理対象のピクチャーをＩピクチャー、Ｐピクチャー、Ｂピクチャーにより符号化処理した場合に発生する符号量の配分により、符号化処理対象のピクチャーのＣＢＲによる目標符号量CBR TARGET X(n) を設定し、瞬時レートの脈動を防止する。
【００９５】
すなわち図５に示すように、ＴＭ（Test Mode ）５による符号化制御では、瞬間レートが増大してＣＢＲにより符号化制御した場合、ＧＯＰ周期で瞬間レートにリップルが観察されているものの、この実施例により目標符号量CBR TARGET X(n) を設定した場合には、このようなリップルが抑圧され、瞬間レートの変動が小さいことが判る。また図６は、ＣＢＲによる発生符号量を示すものであり、ＴＭ５による場合、発生符号量の脈動が大きく、特にＩピクチャーの直後のＰピクチャーにおいて、発生符号量が極端に低下していることが判る。しかしながらこの実施例によれば、ＴＭ５による場合に比して、発生符号量の脈動が抑圧されていることが判り、これらにより各ピクチャーに適切に符号量が割り当てられていることが判る。
【００９６】
目標符号量決定回路４７は、次式により示すように、このようにして得られるＶＢＲによる目標符号量VBR TARGET(n) と、ＣＢＲによる目標符号量CBR TARGET (n)とから値の小さい側の目標符号量を選択して、最終的な目標符号量TARGET(n) （図１において、符号６１により示す）に設定する。
【００９７】
【数１１】
2006246276.tif 000013
【００９８】
これによりエンコーダ１４は、図３について上述したように上限レートLIMIT RATEにおいてＶＢＲによる符号化制御とＣＢＲによる符号化制御とを切り換える。
【００９９】
符号化制御回路３１は、発生符号量がこのようにして決定した目標符号量TARGET(n) となるように、ＴＭ５、ステップ２の手法により量子化回路３５の量子化スケールを制御する。すなわち符号化制御回路３１は、ピクチャータイプごとにそれぞれ仮想バッファを定義した上で、１つのマクロブロックを符号化処理する毎に、次式の演算処理により仮想バッファの内容を更新し、量子化スケールを更新する。
【０１００】
【数１２】
2006246276.tif 000014
【０１０１】
【数１３】
2006246276.tif 000015
【０１０２】
【数１４】
2006246276.tif 000016
【０１０３】
なおここでdi、dp、dbは、それぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーの仮想バッファの容量であり、d0i 、d0p 、d0b は、各仮想バッファの初期値である。またBj-1は、ｊ−１番目のマクロブロックまでの発生符号量である。Ti、Tp、Tbは、それぞれ各ピクチャーの目標符号量であり、それぞれ各ピクチャーの目標符号量TARGET (n) が代入される。MB Countは、そのピクチャー内のマクロブロック数である。
【０１０４】
また仮想バッファの容量di、dp、dbは、次式によりそれぞれ量子化スケールに変換される。
【０１０５】
【数１５】
2006246276.tif 000017
【０１０６】
ここでdjには、ピクチャータイプに応じて、仮想バッファの容量di、dp、dbが代入される。またｒは、リアクションパラメータであり、次式により表される。なお、必要に応じてＴＭ５のステップ３で採用されているように、絵柄に応じて量子化スケールを局所的に変化させるようにしてもよい。
【０１０７】
【数１６】
2006246276.tif 000018
【０１０８】
符号化制御回路３１は、このようにして得られる量子化スケールQjを量子化回路３５に設定して、ディスクリートコサイン変換回路３４から出力される係数データを量子化処理する。なお符号化制御回路３１は、上述したように、各ピクチャータイプのシーケンス先頭のピクチャーについては、固定した初期設定の量子化スケールQP INIT により各マクロブロックを符号化処理するように、量子化回路３５の動作を制御する。
【０１０９】
しかしてこのようにして設定した量子化スケールによるｎ番目ピクチャーの発生符号量BIT(n)（図１において、符号６２により示す）と、対応する真の予測符号量TRUE PRED(n)との比較により、（２）式について上述した補正係数ADJUST(n) を求めることができるとも考えられ、このｎ番目のピクチャーによる補正係数ADJUST(n) を続くピクチャーにおける予測符号量TRUE PRED(n+1)に利用して高い精度により発生符号量を予測できるとも考えられる。
【０１１０】
しかしながらここで検出される発生符号量BIT(n)にあっては、（１２）〜（１６）式による量子化スケールの設定により符号化処理されていることにより、その前提である固定した量子化スケールQP INIT とは異なる量子化スケールで処理されていることになる。これにより単に発生符号量BIT(n)と対応する真の予測符号量TRUE PRED(n)との比較によっては、正しく補正係数ADJUST(n) を求めることが困難になり、精度良く発生符号量を予測できなくなる。
【０１１１】
このため発生符号量予測回路４６は、量子化回路３５の量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、真の発生符号量TRUE PRED(n)を補正する。ここでこの実施例では、この一定基準の量子化スケールに、シーケンス先頭の固定の量子化スケールQP INITが適用される。具体的に発生符号量予測回路４６は、次式の演算処理により、検出される発生符号量BIT(n)を、一定の量子化スケールQP CONSTQ（QP INIT）による発生符号量BIT BY CONSTQ PRED(n) に換算する。
【０１１２】
【数１７】
2006246276.tif 000019
【０１１３】
なおここで eは、自然対数であり、ｋは、調整値である。またQP AVERAGE(n) は、符号化の際に実際に使用された量子化スケールのフレーム内の平均値である。なおｋは、実験的にいくつかのシーケンスから求めることができ、好ましくは-0.110＜ｋ＜-0.115に設定して実用上十分に精度良く発生符号量を予測することができ、より好ましくはｋ=
-0.1126 として十分な精度を確保することができる。
【０１１４】
発生符号量予測回路４６は、この（１７）式により求められる一定の量子化スケールQP CONSTQ による発生符号量BIT BY CONSTQ PRED(n) を用いて、次式の演算処理を実行することにより、同一のピクチャータイプに係る続くｎ＋１番目のピクチャーについての補正係数ADJUST(n + 1) を求めた後、この続くｎ＋１番目のピクチャーについて、上述した演算処理を繰り返す。
【０１１５】
【数１８】
2006246276.tif 000020
【０１１６】
なおこの（１８）式による補正係数ADJUST(n + 1) の演算は、フレーム間予測するＰピクチャー、Ｂピクチャーについて適用され、フレーム内予測のみによるＩピクチャーにあっては、（１）式により求められる概算の予測符号量ROUGH PRED(n) が実際に発生する符合量BIT(n)に強い相関を有すことにより、適用されない。すなわちＩピクチャーにおいては、補正係数ADJUST(n + 1) に値１の固定値が適用され、これにより上述したように、概算の予測符号量ROUGH PRED(n) が真の予測符号量TRUE PRED(n)に適用される。
【０１１７】
しかして図７及び図８は、フレームが進む程、徐々に発生符号量が増大するような動画を符号化処理した場合の処理結果を示す特性曲線図である。なおここでシーケンス先頭の固定の量子化スケールQP INIT にはI,P=31/B=33 を選択した。またＣＢＲとＶＢＲとの切り換えに係る上限レートLIMIT RATEは、１５〔Ｍｂｐｓ〕、画質改善に係るしきい値のレートLRB END RATEは、９〔Ｍｂｐｓ〕とした。この特性曲線図において、単に固定量子化スケールにより符号化制御した場合には、徐々に発生符号量が増大しているのに対し、この実施例によるエンコーダ１４では２０フレーム近辺より発生符号量が制限されていることが判る。またシーケンス先頭から１０フレームまでの範囲では、固定量子化スケールにより符号化制御した場合に比して、この実施例による発生符号量が多いことにより、図３について画質改善の作用を確認することができる。また図８に示す特性曲線図によれば、このような画質改善の作用が９〔Ｍｂｐｓ〕程度で終了し、その後、１５〔Ｍｂｐｓ〕でレートが一定となっていることが判る。
【０１１８】
これらによりエンコーダ１４では、ＣＢＲとＶＢＲとの切り換えに係る上限レートLIMIT RATEの設定により、符号化データの瞬間ビットレートを制限でき、これによりこの上限レートLIMIT RATEの切り換えにより記録媒体２の記録可能時間を切り換えることができる。
【０１１９】
これに対して各ピクチャータイプのシーケンス先頭に設定される固定の量子化スケースQP INIT は、（１）式について上述したように続くピクチャーにおける発生符号量の予測基準であり、これによりこの固定の量子化スケールQP INIT の設定により、符号化データの平均発生符号量を可変することができる。
【０１２０】
これらによりこの実施例において、制御部５は、図９に示すように、上限レートLIMIT
RATE、固定の量子化スケールQP INIT を連動させて切り換えて、長時間記録モードと標準時間記録モードとで動作モードを切り換える。
【０１２１】
（２）実施例の動作
以上の構成において、このディジタルビデオカメラ１では（図２）、撮像結果による画像データがカメラ部３で取得され、この画像データがカメラＤＳＰ１２において自動ホワイトバランス調整等の処理を受けた後、エンコーダ１４により符号化処理される。またこの符号化処理結果による符号化データが制御部５を介して記録媒体２に記録され、これにより所望する被写体の撮像結果が記録媒体２に記録される。
【０１２２】
このエンコーダ１４において、この画像データＤ１は（図４）、順次、ピクチャータイプが設定され、予測画像データとの差分データがディスクリートコサイン変換回路３４によりディスクリートコサイン変換処理され、その処理結果による係数データが量子化回路３５により量子化処理された後、可逆符号化回路３６により可逆符号化処理され、これらにより符号化データが生成される。また逆量子化回路３７、逆ディスクリートコサイン変換回路３８、デブロックフィルタ３９により入力画像データＤ１が復号されてフレームメモリ４０に格納される。エンコーダ１４では、このフレームメモリ４０に格納された復号結果である画像データを用いて、イントラ予測回路１１、インター予測回路１２により多数の予測モードから最適なイントラ予測及びインター予測の予測モードが検出され、さらに続くモード判定回路３３によりこれらの予測モードからピクチャータイプに応じて最適な予測モードが検出される。またこの最適な予測モードによる予測画像データが減算回路３２に入力される。
【０１２３】
このような符号化処理と同時並列的に、入力画像データＤ１は、符号化制御回路３１において、事前に、各ピクチャーの発生符号量が予測され、この予測結果により量子化回路３５の量子化スケールが制御され、これにより発生符号量が制御されて記録媒体２への記録時間が保証される。
【０１２４】
しかしてこのエンコーダ１４においては、このような多数の予測モードから最適な予測モードを選択して符号化処理していることにより、従来の１パス方式における方式により発生符号量を予測したのでは、正しく発生符号量を予測し得ず、これにより各ピクチャーへの符号量の割り当てが不適切になり、その分、画質が劣化する。
【０１２５】
このためこのエンコーダ１４では、イントラ予測回路１１、インター予測回路１２にそれぞれ対応するイントラ予測回路４１、簡易インター予測回路４４において、簡易な処理により本来の予測画像データと同様の傾向を示す疑似的な予測画像データが生成され、減算回路４２、４５によりこの擬似的な予測画像データとの間の予測残差データが生成される。また発生符号量予測回路４６において（図１）、この予測残差データがそれぞれピクチャー毎に累積加算されて、各ピクチャーの残差データBD(n) が検出される。これによりエンコーダ１４では、符号化の困難度を示す特徴量が検出される。
【０１２６】
エンコーダ１４では、少なくとも各ピクチャータイプのシーケンス先頭では、固定の量子化スケールQP INIT により符号化処理するようにして、このピクチャーにおける実際の発生符号量BIT(0)を基準にして、このピクチャーにおける特徴量BD(0) と、符号化対象のピクチャーで検出される特徴量BD(n) との比率により符号化対象のピクチャーについて概算の予測符号量ROUGH PRED(n)が求められる（（１）式）。
【０１２７】
ここでこのようにして求められる概算の予測符号量ROUGH PRED(n)にあっては、正確さに欠けることになる。またこのような方法以外の、例えば高周波成分による特徴量を概算の予測符号量ROUGH PRED(n)に適用する場合にあっても、正確さに欠けることになる。
【０１２８】
このためエンコーダ１４では、このようにして求められた概算の予測符号量ROUGH PRED(n)をピクチャータイプに応じた補正係数ADJUST(n) により補正して（（２）式）、真の予測符号量TRUE PRED(n)を求め、この真の予測符号量TRUE PRED(n)に基づいて、入力画像データを符号化処理して符号化データを生成するようにして、この符号化データの実際の発生符号量により対応するピクチャータイプの補正係数ADJUST(n) が生成される（（１８）式）。しかしてこのようにして検出される真の予測符号量TRUE PRED(n)にあっては、実際の発生符号量にかなりの精度で一致することが確認されている。
【０１２９】
これによりこの実施例においては、高い精度により発生符号量を予測できることにより、この予測した発生符号量により各ピクチャーに符号量を割り当てて、従来に比してより適切に各ピクチャーに符号量を割り当てることができ、これにより１パス方式により記録時間を保証する場合でも、さらには多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てて、画質を向上することができる。
【０１３０】
またこのとき符号化処理を完了した直前のピクチャーで検出された概算の予測符号量と、対応する符号化データにおける実際の発生符号量との比率により補正係数ADJUST(n+1)を設定し（（１８）式）、これにより例えば画像が変化して真の予測符号量TRUE PRED(n)の精度が一時的に低下した場合であっても、この画質の変化に対応するように補正係数ADJUST(n+1) を補正して真の予測符号量TRUE PRED(n)の精度を高めることができ、これによりシーンチェンジ等により画像が変化する場合でも、各ピクチャーに適切に符号量を割り当てて、画質を向上することができる。
【０１３１】
また少なくとも各ピクチャータイプのシーケンス先頭では、固定の量子化スケールQP INIT により符号化処理するようにして、このピクチャーにおける実際の発生符号量BIT(0)を基準にして、このピクチャーにおける特徴量と、符号化対象のピクチャーで検出される特徴量との比率により符号化対象のピクチャーについて概算の予測符号量ROUGH PRED(n)を求め、この概算の予測符号量ROUGH PRED(n)を補正して真の予測符号量TRUE PRED(n)を求めることにより、このエンコーダ１４では、固定の量子化スケールQP INIT を基準にして、この固定の量子化スケールQP INIT に係る特徴量BD(0) に対する符号化対象のピクチャーで検出される特徴量BD(n) の相対的な変化により量子化スケールが制御されて符号化処理されることになる。
【０１３２】
これにより固定量子化スケールで符号化を行った場合の符号量とほぼ同等の符号量を、画像の符号化の前に高精度で予測することができる。
【０１３３】
またこれにより所望する画質に応じてこの固定の量子化スケールQP INIT を設定することにより、平均発生符号量を種々に設定することができ、これにより簡易な設定により種々に画質を設定することができる。すなわちこのエンコーダ１４では、記録媒体への記録モードの切り換えにより、制御部５によりこの各ピクチャータイプのシーケンス先頭に係る量子化スケールQP INIT が切り換えられ、これにより記録モードに応じて画質が切り換えられる（図９）。
【０１３４】
しかしてこのエンコーダ１４では、このようにして検出された真の予測符号量TRUE PRED(n)を一定値である上限レートLIMIT RATEにより判定して、真の予測符号量TRUE PRED(n)が上限レートLIMIT RATEより小さい場合、真の予測符号量TRUE PRED(n)を目標符号量TARGET(n) に設定することにより、ＶＢＲにより符号化処理を実行し、また真の予測符号量TRUE PRED(n)が上限レートLIMIT RATEより大きい場合、上限レートLIMIT RATEに対応する符号量を目標符号量に設定することにより、ＣＢＲにより符号化処理する（（１１）式）。またこの目標符号量となるように、ＴＭ５のステップ２の処理により、量子化スケールを設定して入力画像データが符号化処理される（（１２）〜（１６）式）。これによりエンコーダ１４は、ＣＢＲにより記録媒体２への記録可能時間を担保しつつ、発生符号量が少ない場合にはＶＢＲにより符号化処理して符号化効率を向上する。
【０１３５】
またこのようにＶＢＲによる符号化とＣＢＲによる符号化とを真の発生符号量により切り換えるようにして、この真の発生符号量の予測精度が向上していることにより、これらＶＢＲによる符号化とＣＢＲによる符号化とを滑らかにかつ瞬時に切り換えることができ、これによりこのような切り換え時における違和感の発生を防止することができる。
【０１３６】
またこのようにしてＶＢＲとＣＢＲとで符号化制御を切り換えるようにして、記録モードに応じて制御部５によりこの上限レートLIMIT RATEが切り換えられ、これにより記録モードに応じて符号化データのレートが切り換えられる（図９）。このときこの上限レートLIMIT RATEの切り換えに連動してシーケンス先頭に係る量子化スケールQP INIT を切り換えることにより、符号化データのレートの切り換えに対応するように、平均発生符号量を切り換えることができ、これにより動作モードの切り換えに対してＶＢＲによる画像とＣＢＲによる画像とでほぼ等しく画質を切り換えることができ、動作モードの切り換えによる違和感を解消することができる。
【０１３７】
ところでこのように発生符号量を予測してＶＢＲにより符号化データを生成する場合にあって、発生符号量が目標符号量となるように量子化回路３５における量子化スケールを設定して符号化処理する場合、発生符号量の予測基準である固定の量子化スケールとは異なる量子化スケールにより符号化されることになる。この場合に、実際の発生符号量により求めた補正係数により概算の発生予測符号量を補正して真の発生符号量を求めるようにしたのでは、精度に欠けることになる。
【０１３８】
このためこのエンコーダ１４では、量子化回路３５の量子化スケールを一定基準の量子化スケールであるシーケンス先頭の固定の量子化スケールに設定したとした場合に予測される発生符号量に、真の発生符号量TRUE PRED(n)を補正する。より具体的には、（１７）式の演算処理により、実際の発生符号量を、符号化の処理による量子化スケールをシーケンス先頭の固定の量子化スケールに設定した場合の発生符号量に換算し、該換算した発生符号量により対応するピクチャータイプの補正係数を生成する。
【０１３９】
これによりエンコーダ１４では、レート制御をかけた状態でも、通常は固定量子化スケールで符号化した場合と同等の発生符号量を生成するため、各ピクチャーに適切に符号量を設定して画質を向上することができる。またこのような補正を補正係数ADJUST(n) の設定に係るフィードバックの処理により実行することにより、その分、処理を簡略化することができる。
【０１４０】
またこのようにして発生符号量を予測しながらＶＢＲとＣＢＲとを切り換えて符号化処理するようにして、ＣＢＲの符号化制御において、例えばＭＰＥＧ２に適用されているＴＭ５等の従来手法により各ピクチャーの目標符号量を設定したのでは、発生符号量における脈動、いわゆるあばれが大きくなる（図５）。すなわちＴＭ５の手法では、１つのＧＯＰの割り当て符号量から１つのピクチャーの発生符号量を減算して残りの割り当て符号量を計算しながら、この残りの割り当て符号量を残りのピクチャーに逐次配分することにより、ＧＯＰ境界で発生ビットのあばれ、脈動が発生し易く、特にＧＯＰ内で難易度が変化する場合に、各ピクチャーへの符号量の割り当てを適切に実行できなくなる。
【０１４１】
このためエンコーダ１４では、対応するピクチャータイプによる概算の予測符号量と共に、符号化処理に供するピクチャーを他のピクチャータイプにより符号化処理した場合の、他のピクチャータイプによる概算の予測符号量が併せて求められ、またこの他のピクチャータイプによる概算の予測符号量より、他のピクチャータイプによる真の予測符号量が併せて求められる。またこれら対応するピクチャータイプによる真の予測符号量と他のピクチャータイプによる真の予測符号量とにより、シーケンスのピクチャー毎にそのシーケンスの瞬間的なレートが計測され（（６）式）、この瞬間的なレートを用いて、割り当て可能な符号量を配分して、目標符号量が設定される（（７）〜（１０）式）。
【０１４２】
より具体的には、対応するピクチャータイプによる真の予測符号量と、他のピクチャータイプによる真の予測符号量とが、１ＧＯＰにおける各ピクチャーの発生符号量であるとの仮定により、割り当て可能な符号量を配分して、目標符号量が設定される。
【０１４３】
これによりＧＯＰで難易度が変化している場合であっても、この変化に対応して各ピクチャーへの目標符号量の設定時点で、それぞれ最適な配分より目標符号量を割り当てることができ、これにより一段と適切に各ピクチャーに符号量を割り当てることができる。これにより発生符号量の脈動、あばれを防止して画質を向上することができる。
【０１４４】
これに対してＶＢＲによる符号化処理において、単に固定の量子化スケールにより符号化処理していたのでは、難易度の低いシーケンスで画質劣化が目立つことになる。因みに、このような画質劣化を回避するために、このような難易度の低いシーケンスを中心に量子化スケールを調整すると、難易度の高いシーケンスが連続した場合に、記録時間を保証することが困難になる。
【０１４５】
このためエンコーダ１４では、シーケンスのピクチャー毎にそのシーケンスの瞬間レートが計測され（（５）式）、これによりシーケンスの瞬間的な難易度が把握される。また難易度の低い瞬間レートの低いシーケンスの場合、意図的に圧縮率を下げ（（３）及び（４）式）、これによりこのような難易度の低いシーケンスにおける画質劣化が防止される。
【０１４６】
すなわち真の予測符号量が、ＣＢＲとの切り換えに係る一定値より小さな画質改善用の基準値より小さい場合、真の予測符号量が低下するに従って増大する係数により、真の予測符号量を増大させて目標符号量が設定され、これにより難易度の低いシーケンスにおける画質劣化が防止される。
【０１４７】
またこのようにして画質劣化を防止するようにして、この係数の増大を一定値により制限することにより、例えばレンズキャップをした状態で誤って撮影を開始した場合のような場合については、発生符号量を低減して無駄な記録容量の消費を低減することができる。
【０１４８】
（３）実施例の効果
以上の構成によれば、入力画像データから予測される概算の発生符号量を補正係数により補正して真の予測符号量を計算し、この真の予測符号量に基づいて、入力画像データを符号化処理するようにして、実際の発生符号量により対応するピクチャータイプの補正係数を設定することにより、１パス方式により記録時間を保証する場合でも、さらには多くの予測モードが存在する場合でも、各ピクチャーに適切に符号量を割り当てることができる。
【０１４９】
またこのとき、符号化処理を完了したピクチャーで検出された概算の予測符号量と、対応する符号化データにおける実際の発生符号量との比率により補正係数を設定することにより、シーンチェンジ等により画像が変化する場合でも、各ピクチャーに適切に符号量を割り当てて、画質を向上することができる。
【０１５０】
また少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより入力画像データを符号化処理し、この固定の量子化スケールによる実際の発生符号量を基準にして、シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される特徴量との比率により、符号化対象のピクチャーについて概算の予測符号量を計算することにより、この固定の量子化スケールによる発生符号量を基準にして、高精度に発生符号量を予測して適切に符号量を割り当てることができる。
【０１５１】
しかしてこの真の予測符号量に基づいて目標符号量を設定するように、また実際の発生符号量がこの目標符号量となるように、量子化スケールを設定して符号化処理するようにして、真の予測符号量が一定値より小さい場合、真の予測符号量を目標符号量に設定し、真の予測符号量がこの一定値より大きい場合、この一定値に対応する符号量を目標符号量に設定することにより、記録媒体への記録可能時間を保証して、符号化効率を向上することができる。
【０１５２】
またユーザーによる操作に応動して各シーケンス先頭に係る固定の量子化スケールを切り換えることにより、符号化データの平均発生符号量を切り換えることができ、これにより所望する画質により撮像結果を記録することができる。
【０１５３】
またこの固定の量子化スケールの切り換えに連動して、ＶＢＲとＣＢＲとの符号化制御の切り換えに係る一定値を切り換えることにより、記録可能時間の切り換えに連動させて平均発生符号量を切り換えて、画質を切り換えることができる。
【０１５４】
また真の予測符号量に基づいて目標符号量を設定し、この目標符号量となるように量子化スケールを設定して符号化処理するようにして、この量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、真の発生符号量を補正することにより、ＶＢＲにより符号化処理する場合でも、ＣＢＲによる発生符号量を精度良く求めることができ、これによっても各ピクチャーに適切に符号量を割り当てることができる。
【０１５５】
具体的に、実際の発生符号量を、符号化のステップにおける量子化スケールをシーケンス先頭の固定の量子化スケールに設定した場合の発生符号量に換算し、この換算した発生符号量により補正係数を生成することにより、補正係数の設定に係るフィードバックの処理において、併せて真の予測符号量を補正することができ、その分、処理を簡略化することができる。
【０１５６】
またさらに具体的に、（１７）式の演算処理により発生符号量を換算するようにして、精度良く発生符号量を予測することができ、さらにはこの（１７）式における定数ｋを-0.110＜ｋ＜-0.115  に設定して実用上十分に精度良く発生符号量を予測することができる。またより好ましくはｋ= -0.1126 として十分な精度を確保することができる。
【０１５７】
また他のピクチャータイプにより符号化処理した場合の他のピクチャータイプによる概算の予測符号量、真の予測符号量を併せて求め、対応するピクチャータイプによる真の予測符号量と他のピクチャータイプによる真の予測符号量とにより、割り当て可能な符号量を配分して、目標符号量を設定することにより、発生符号量の脈動、あばれを有効に回避することができ、その分、画質を向上することができる。
【０１５８】
具体的に、対応するピクチャータイプによる真の予測符号量と、他のピクチャータイプによる真の予測符号量とが、１ＧＯＰにおける各ピクチャーの発生符号量であるとの仮定により割り当て可能な符号量を配分して、目標符号量を設定することにより、発生符号量の脈動、あばれを有効に回避することができ、その分、画質を向上することができる。
【０１５９】
また真の予測符号量が、ＶＢＲとＣＢＲとの切り換えに係る一定値より小さな画質改善用の基準値より小さい場合、真の予測符号量が低下するに従って増大する係数により、真の予測符号量を増大させて目標符号量に設定することにより、符号化の困難度が低い場合の画質劣化を目立たなくすることができる。
【０１６０】
またこのときこの係数の増大を一定値により制限することにより、符号化の困難度が著しく低い場合における無駄な記録媒体の消費を防止することができる。
【実施例２】
【０１６１】
図１０は、本発明の実施例２に係るパーソナルコンピュータを示すブロック図である。この実施例においては、このパーソナルコンピュータ６０における処理により画像データを符号化処理する。
【０１６２】
すなわちこのパーソナルコンピュータ６０は、入出力インターフェース６１を介してバスＢＵＳに各種の入出力インターフェースが接続される。ここでこの入出力インターフェースは、キーボード、マウス等による入力部６２、表示装置、スピーカ等による出力部６３、ハードディスク装置等による記憶部６４、モデム等による通信部６５、光ディスク、磁気ディスク等の記録媒体６６の記録再生に係るドライブ６７等により形成される。
【０１６３】
パーソナルコンピュータ６０は、リードオンリメモリ（ＲＯＭ）６８の記録に基づいて中央処理ユニット６９により全体の動作を立ち上げ、ランダムアクセスメモリ（ＲＡＭ）７０にワークエリアを確保して中央処理ユニット（ＣＰＵ）６９により記憶部６４に記録された各種アプリケーションプログラムを実行することにより、所望の処理を実行する。このパーソナルコンピュータ６０は、このアプリケーションプログラムの１つに、光ディスクへの画像データの記録再生に係るアプリケーションプログラムが設けられ、このアプリケーションプログラムにおける記録時の符号化処理に係る符号化処理プログラムに、実施例１について上述したエンコーダ１４をソフトウエアにより構成する符号化処理のプログラムが設けられる。なおこの実施例においては、この符号化処理のプログラムの実行により画像データを符号化処理する点を除いて、実施例１について上述したエンコーダ１４と同一に構成される。
【０１６４】
ここで図１１は、この符号化処理のプログラムに係る中央処理ユニット６９の処理手順を示すフローチャートである。中央処理ユニット６９は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移り、入力画像データをイントラ予測、簡易インター予測し、図４について上述した減算回路４２、４５から出力される予測残差データを検出する。また続くステップＳＰ３において、当該ピクチャーの最後のマクロブロックまで処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ２に戻って、続くマクロブロックについて予測残差データを検出する。これに対してステップＳＰ３で肯定結果が得られると、ステップＳＰ３からステップＳＰ４に移り、（１）〜（２）式の演算処理を実行して真の発生符号量を予測する。
【０１６５】
また続くステップＳＰ５において、（３）〜（１０）式の演算処理を実行してＶＢＲ、ＣＢＲの目標符号量を計算し、式（１１）に示すこれらの目標符号量の比較により最終的な目標符号量TARGET(n)を検出する。
【０１６６】
また続くステップＳＰ６において、本来のイントラ予測、インター予測に係る最適な予測モードを検出する。また続くステップＳＰ７において、この最適な予測モードにより本来の符号化処理に係る予測残差データを生成し、この予測残差データをディスクリートコサイン変換処理して係数データを得、この係数データを量子化処理、可逆符号化処理して符号化データを生成する。この処理において、中央処理ユニット６９は、実際の発生符号量がステップＳＰ５で求めた目標符号量になるように、（１２）〜（１６）式の演算処理を実行してマクロブロック毎に、量子化スケールを設定して符号化データを生成する。
【０１６７】
また続くステップＳＰ９において、符号化データを逆量子化処理、逆ディスクリートコサイン変換処理し、予測残差データを復号し、続くステップＳＰ９において、この復号した予測残差データより画像データを復号してデブロックフィルタによりブロック歪みを除去し、フレームメモリであるランダムアクセスリメモリ７０に又は記憶部６４に一時格納する。
【０１６８】
続いて中央処理ユニット６９は、ステップＳＰ１０において、当該ピクチャーの最後のマクロブロックまで処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ６に戻って、続くマクロブロックについて符号化処理を開始する。これに対してステップＳＰ１０で肯定結果が得られると、ステップＳＰ１０からステップＳＰ１１に移り、（１７）式に係る演算処理を実行して実際の発生符号量を固定した量子化スケールによる発生符号量に換算する。また続くステップＳＰ１２において、この換算した発生符号量を用いて（１８）式の演算処理を実行して補正係数を生成する。
【０１６９】
中央処理ユニット６９は、続くステップＳＰ１３において、シーケンスの最後まで符号化処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ２に戻って続くピクチャーの処理を開始するのに対し、ステップＳＰ１３で肯定結果が得られると、ステップＳＰ１３からステップＳＰ１４に移ってこの処理手順を終了する。
【０１７０】
図１２は、図１１の処理手順に係るステップＳＰ２の処理を詳細に示すフローチャートである。中央処理ユニット６９は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、イントラ予測に係る予測画像データを生成し、続くステップＳＰ２２において、このイントラ予測に係る予測画像データを用いてイントラ予測に係る予測残差データを計算する。
【０１７１】
また続くステップＳＰ２４において、符号化処理対象のピクチャーがインター予測の適用があるＢ、Ｐピクチャーか否か判断し、ここで否定結果が得られると、ステップＳＰ２４からステップＳＰ２５に移り、このイントラ予測に係る予測残差データの合計値をこのマクロブロックにおける残差データBDに設定した後、ステップＳＰ２６に移って元の処理手順に戻る。
【０１７２】
これに対してステップＳＰ２４で肯定結果が得られると、中央処理ユニット６９は、ステップＳＰ２４からステップＳＰ２７に移り、入力画像データから簡易インター予測に係る予測画像データを生成し、続くステップＳＰ２８において、この予測画像データによりインター予測による予測残差データを計算する。また続くステップＳＰ２９において、インター予測による予測残差データの合計値と、イントラ予測による予測残差データの合計値とを比較し、イントラ予測による予測残差データの合計値の方が小さい場合、ステップＳＰ２５に移って、イントラ予測による予測残差データの合計値をこのマクロブロックにおける残差データBDに設定した後、ステップＳＰ２６に移って元の処理手順に戻る。
【０１７３】
これに対してインター予測による予測残差データの合計値の方が小さい場合、ステップＳＰ２９からステップＳＰ３０に移って、このインター予測による予測残差データの合計値をこのマクロブロックにおける残差データBDに設定した後、ステップＳＰ２６に移って元の処理手順に戻る。
【０１７４】
なおこの図１０及び図１１に示す処理手順においては示されていないが、（７）式の演算処理に必要な他のピクチャータイプにより符号化処理した場合の発生符号量にあっても、中央処理ユニット６９は、この一連の処理手順において、併せて計算する。
【０１７５】
この実施例によれば、符号化処理のプログラムの実行により画像データを符号化処理する場合にあっても、実施例１と同様の効果を得ることができる。
【実施例３】
【０１７６】
図１３は、本発明の第３の実施例に係るエンコーダを示すブロック図である。このエンコーダ７４は、ＭＰＥＧ２により入力画像データＤ１を符号化処理する。
【０１７７】
すなわちこのエンコーダ７４は、減算回路７５を介して入力画像データＤ１をディスクリートコサイン変換回路７６に入力し、このディスクリートコサイン変換回路７６により係数データを生成する。またこの係数データを量子化回路７７により量子化処理し、可逆符号化回路７８を介して符号化データＤ２により出力する。また逆量子化回路７９、逆ディスクリートコサイン変換回路８０、加算回路８１により、入力画像データＤ１を復号してフレームメモリ８２に記録する。またＰピクチャー、Ｂピクチャーにおいて、このフレームメモリ８２に記録された画像データを用いた動き補償により予測画像データを生成し、この予測画像データを減算回路７５に入力する。
【０１７８】
このエンコーダ７４において、符号化制御回路８３は、この入力画像データＤ１より発生符号量を予測し、この予測結果により量子化回路７７の量子化スケールを設定し、これらにより１パス方式によるＣＢＲにより画像データＤ１を符号化処理する。
【０１７９】
すなわち符号化制御回路８３において、ディフィカルティ検出回路８４は、マクロブロック毎に、符号化処理の困難度を示す特徴量を検出する。ここでこの特徴量の検出にあっては、種々の手法を適用することができ、例えば入力画像データにおける高周波成分の信号レベル等を適用することができる。
【０１８０】
発生符号量予測回路８５は、このディフィカルティ検出回路８４で検出される特徴量をピクチャー単位で合計し、その結果得られる合計値により各ピクチャーの真の発生符号量、他のピクチャータイプで符号化処理した場合の真の発生符号量を検出する。
【０１８１】
目標符号量決定回路８６は、この発生符号量予測回路８５の処理結果に基づいて、各ピクチャーの目標符号量を計算し、実際の発生符号量がこの目標符号量となるように、量子化回路７７の量子化スケールを設定する。
【０１８２】
図１４は、図１との対比により、これら発生符号量予測回路８５、目標符号量決定回路８６による構成を詳細に示すブロック図である。
【０１８３】
発生符号量予測回路８５は、残差データMB BD に代えて、ディフィカルティ検出回路８４で検出される特徴量を用いて、概算の発生符号量、真の発生符号量を計算する以外、実施例１について上述した発生符号量予測回路４６と同一に構成される。
【０１８４】
これに対して目標符号量決定回路８６は、ＶＢＲに係る構成、ＣＢＲとＶＢＲとの切り換えに係る構成を有していない点を除いて、実施例１について上述した目標符号量決定回路４７と同一に構成される。
【０１８５】
この実施例によれば、多数の予測モードを有していない符号化方式により符号化処理する場合にあっても、さらにはＣＢＲのみによる符号化処理する場合にあっても、実施例１について上述したＣＢＲによる符号化制御に係る効果と同一の効果を得ることができる。
【０１８６】
すなわち入力画像データから予測される概算の発生符号量を補正係数により補正して真の予測符号量を計算し、この真の予測符号量に基づいて割り当て可能な符号量を配分して入力画像データを符号化処理することにより、１パス方式により記録時間を保証する場合に、各ピクチャーに適切に符号量を割り当てることができる。
【０１８７】
すなわち従来のＭＰＥＧ２では、ＴＭ５により各ピクチャーに目標符号量を設定しており、図５及び図６について上述したように、ＴＭ５による場合には、発生符号量の脈動、あばれが著しい。しかしながらこの実施例によれば、瞬時レートにより割り当て可能な符号量を配分することにより、このような発生符号量の脈動、あばれを防止することができ、その分、各ピクチャーに適切に符号量を割り当てることができる。なおこの実施例においては、発生符号量の予測に係るフィードバックループの構成が、従来のＭＰＥＧ２によるエンコーダに比して複雑になるが、この構成にあっては、例えばＭＰＥＧ２のエンコーダとＡＶＣによるエンコーダとを一体に集積回路化する場合に、ＡＶＣによるエンコーダに実施例の構成を適用してその構成の一部をＭＰＥＧ２のエンコーダで利用することにより、簡略化することができる。
【実施例４】
【０１８８】
なお上述の実施例においては、（１７）式の処理により、実際の発生符号量を、一定基準の量子化スケールにより符号化処理した場合の発生符号量に換算して、真の発生予測符号量を補正する場合について述べたが、本発明はこれに限らず、例えば別途、真の発生予測符号量を補正する処理を設けるようにしてもよく、さらには概算の発生予測符号量の補正により真の発生予測符号量を補正するようにしてもよい。なおこれらの場合には、（１７）式に対応して、補正用の係数を別途演算処理することが必要になる。
【０１８９】
また上述の実施例においては、（１８）式の処理により、直前のピクチャーの処理結果だけに基づいて補正係数ADJUST(n) を設定する場合について述べたが、本発明はこれに限らず、それまで使用していた補正係数ADJUST(n-1) を直前のピクチャーの処理結果により補正して補正係数ADJUST(n) を設定するようにしてもよい。このようにすればストロボ発光等による一時的な画質の変化により真の発生符号量の予測精度を劣化させないようにすることができる。
【０１９０】
また上述の実施例においては、ＶＢＲとＣＢＲとで処理を切り換える場合、ＣＢＲのみにより符号化処理する場合について述べたが、本発明はこれに限らず、平均発生符号量の切り換えに係る構成、困難度が低い場合に圧縮率を低下させる構成等にあっては、ＶＢＲのみにより符号化処理する場合にも広く適用することができる。
【０１９１】
また上述の実施例においては、ディスクリートコサイン変換処理により直交変換処理する場合について述べたが、本発明はこれに限らず、カルーネン・レーベ変換等による直交変換処理を適用する場合等にも広く適用することができる。
【０１９２】
また上述の実施例においては、ＡＶＣ、ＭＰＥＧ２により符号化処理する場合について述べたが、本発明はこれに限らず、種々のフォーマットにより符号化処理する場合に広く適用することができる。
【産業上の利用可能性】
【０１９３】
本発明は、符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体に関し、例えばビデオカメラに適用することができる。
【図面の簡単な説明】
【０１９４】
【図１】本発明の実施例に係るディジタルビデオカメラに適用されるエンコーダの一部構成を示すブロック図である。
【図２】本発明の実施例に係るディジタルビデオカメラを示すブロック図である。
【図３】図２のディジタルビデオカメラに適用されるエンコーダの特性を示す特性曲線図である。
【図４】図２のディジタルビデオカメラに適用されるエンコーダを示すブロック図である。
【図５】図４のエンコーダによる発生符号量を示す特性曲線図である。
【図６】図４のエンコーダによる発生符号量の脈動を示す特性曲線図である。
【図７】図４のエンコーダによる発生符号量の変化を示す特性曲線図である。
【図８】図４のエンコーダによるＶＢＲとＣＢＲとの処理の切り換えによる発生符号量の変化を示す特性曲線図である。
【図９】図４のエンコーダにおける動作モードの切り換えの説明に供する特性曲線図である。
【図１０】本発明の実施例２に係るパーソナルコンピュータを示すブロック図である。
【図１１】図１０のパーソナルコンピュータにおける中央処理ユニットの処理手順を示すフローチャートである。
【図１２】図１１のフローチャートにおける一部処理手順を詳細に示すフローチャートである。
【図１３】本発明の実施例３に係るエンコーダを示すブロック図である。
【図１４】図１３のエンコーダの一部構成を示すブロック図である。
【符号の説明】
【０１９５】
１……ディジタルビデオカメラ、２……記録媒体、３……カメラ部、５……制御部、１２……カメラＤＳＰ、１１、４１……イントラ予測回路、１２……インター予測回路、１４、７４……エンコーダ、８３……符号化制御回路、３３……モード判定回路、４４……簡易インター予測回路、４６、８５……発生符号量予測回路、４７、８７……目標符号量決定回路
【図１】
2006246276.tif 000021
【図２】
2006246276.tif 000022
【図３】
2006246276.tif 000023
【図４】
2006246276.tif 000024
【図５】
2006246276.tif 000025
【図６】
2006246276.tif 000026
【図７】
2006246276.tif 000027
【図８】
2006246276.tif 000028
【図９】
2006246276.tif 000029
【図１０】
2006246276.tif 000030
【図１１】
2006246276.tif 000031
【図１２】
2006246276.tif 000032
【図１３】
2006246276.tif 000033
【図１４】
2006246276.tif 000034
【手続補正書】
【提出日】平成18年2月10日(2006.2.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化方法において、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有する
ことを特徴とする符号化方法。
【請求項２】
前記係数設定のステップは、
符号化処理を完了したピクチャーで検出された前記概算の予測符号量と、対応する前記符号化データにおける実際の発生符号量との比率により前記補正係数を設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記符号化のステップは、
少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算する
ことを特徴とする請求項１に記載の符号化方法。
【請求項４】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、ＶＢＲにより前記符号化データを生成するように、前記真の予測符号量を前記目標符号量に設定し、
前記真の予測符号量が、前記一定値より大きい場合、ＣＢＲにより前記符号化データを生成するように、前記一定値に対応する符号量を前記目標符号量に設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項５】
前記符号化のステップは、
少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、
前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算し、
前記符号化方法は、
ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換える
ことを特徴とする請求項１に記載の符号化方法。
【請求項６】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、ＶＢＲにより前記符号化データを生成するように、前記真の予測符号量を前記目標符号量に設定し、
前記真の予測符号量が、前記一定値より大きい場合、ＣＢＲにより前記符号化データを生成するように、前記一定値に対応する符号量を前記目標符号量に設定し、
前記符号化方法は、
前記固定の量子化スケールの切り換えに連動して、前記ＶＢＲとＣＢＲとの符号化制御の切り換えに係る前記一定値を切り換える
ことを特徴とする請求項５に記載の符号化方法。
【請求項７】
前記一定値及び前記量子化スケールの切り換えにより、
前記符号化データを記録する記録媒体の記録可能時間を切り換える
ことを特徴とする請求項６に記載の符号化方法。
【請求項８】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップと、
前記真の予測符号量を補正する補正のステップとを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、
前記補正のステップは、
前記量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、前記真の予測符号量を補正する
ことを特徴とする請求項１に記載の符号化方法。
【請求項９】
前記補正のステップは、
前記実際の発生符号量を、前記符号化のステップにおける量子化スケールを一定基準の量子化スケールに設定した場合の発生符号量に換算し、該換算した発生符号量により前記対応するピクチャータイプの前記補正係数を設定することにより、前記真の予測符号量を補正する
ことを特徴とする請求項８に記載の符号化方法。
【請求項１０】
前記係数設定のステップは、
BIT BY CONSTQ PRED = e＾（ k*( QP CONSTQ-QP AVERAGE )) * BITの演算により、前記実際の発生符号量を換算する
ことを特徴とする請求項９に記載の符号化方法。
ここで、BIT BY CONSTQ PREDは、換算後の発生符号量であり、QP AVERAGEは、実際の符号化を行った際の各マクロブロックにおける量子化スケールの平均量子化スケールであり、QP CONSTQ は、前記一定基準の量子化スケールであり、BIT は、前記実際の発生符号量であり、k は、係数であり、＾は、べき乗の演算子である。
【請求項１１】
前記係数k が、-0.1126 である
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、ＶＢＲにより前記符号化データを生成するように、前記真の予測符号量を前記目標符号量に設定し、
前記真の予測符号量が、前記一定値より大きい場合、ＣＢＲにより前記符号化データを生成するように、前記一定値に対応する符号量を前記目標符号量に設定する
ことを特徴とする請求項８に記載の符号化方法。
【請求項１３】
前記符号化のステップは、
少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算し、
前記符号化方法は、
ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換える
ことを特徴とする請求項８に記載の符号化方法。
【請求項１４】
前記目標符号量設定のステップは、
前記真の予測符号量が、一定値より小さい場合、ＶＢＲにより前記符号化データを生成するように、前記真の予測符号量を前記目標符号量に設定し、
前記真の予測符号量が、前記一定値より大きい場合、ＣＢＲにより前記符号化データを生成するように、前記一定値に対応する符号量を前記目標符号量に設定し、
前記固定の量子化スケールの切り換えに連動して、前記ＶＢＲとＣＢＲとの符号化制御の切り換えに係る前記一定値を切り換える
ことを特徴とする請求項１３に記載の符号化方法。
【請求項１５】
前記一定値及び前記量子化スケールの切り換えにより、
前記符号化データを記録する記録媒体の記録可能時間を切り換える
ことを特徴とする請求項１４に記載の符号化方法。
【請求項１６】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、
前記概算の符号量予測のステップは、
符号化処理に供するピクチャーを他のピクチャータイプにより符号化処理した場合の、他のピクチャータイプによる前記概算の予測符号量を併せて求め、
前記真の符号量予測のステップは、
前記他のピクチャータイプの概算の予測符号量より、他のピクチャータイプによる真の予測符号量を併せて求め、
前記目標符号量設定のステップは、
対応するピクチャータイプによる前記真の予測符号量と、前記他のピクチャータイプによる真の予測符号量とにより、割り当て可能な符号量を配分して、前記目標符号量を設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項１７】
前記割り当て可能な符号量の配分が、
前記対応するピクチャータイプによる前記真の予測符号量と、前記他のピクチャータイプによる真の予測符号量とが、１ＧＯＰにおける各ピクチャーの発生符号量であるとの仮定による配分である
ことを特徴とする請求項１６に記載の符号化方法。
【請求項１８】
前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、
前記符号化のステップは、
前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、
前記目標符号量設定のステップは、
前記真の予測符号量が、前記画質改善の基準値より大きな一定値より小さい場合、ＶＢＲにより前記符号化データを生成するように、前記真の予測符号量を前記目標符号量に設定すると共に、
前記真の予測符号量が、前記一定値より大きい場合、ＣＢＲにより前記符号化データを生成するように、前記一定値に対応する符号量を前記目標符号量に設定して、
前記真の予測符号量が、前記画質改善用の基準値より小さい場合、前記真の予測符号量が低下するに従って増大する係数により、前記真の予測符号量を増大させて前記目標符号量に設定する
ことを特徴とする請求項１に記載の符号化方法。
【請求項１９】
前記目標符号量設定のステップは、
前記係数の増大を一定値により制限する
ことを特徴とする請求項１８に記載の符号化方法。
【請求項２０】
入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャー毎に発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化装置において、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測手段と、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測手段と、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化デー
タを生成する符号化手段と、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定手段と
を備えることを特徴とする符号化装置。
【請求項２１】
前記入力画像データを、一体に保持された撮像手段より入力する
ことを特徴とする請求項２０に記載の符号化装置。
【請求項２２】
演算処理手段により実行することにより、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化処理のプログラムにおいて、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有する
ことを特徴とする符号化処理のプログラム。
【請求項２３】
演算処理手段により実行することにより、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャーの発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化処理のプログラムを記録した記録媒体において、
前記符号化処理のプログラムは、
前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測のステップと、
前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測のステップと、
前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化のステップと、
前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定のステップとを有する
ことを特徴とする符号化処理のプログラムを記録した記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また請求項８の発明においては、請求項１の構成において、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップと、前記真の予測符号量を補正する補正のステップとを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、前記補正のステップは、前記量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、前記真の予測符号量を補正する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また請求項１３の発明においては、請求項８の構成において、前記符号化のステップは、少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算し、前記符号化方法は、ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また請求項１８の発明においては、請求項１の構成において、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、前記目標符号量設定のステップは、前記真の予測符号量が、前記画質改善の基準値より大きな一定値より小さい場合、ＶＢＲにより前記符号化データを生成するように、前記真の予測符号量を前記目標符号量に設定すると共に、前記真の予測符号量が、前記一定値より大きい場合、ＣＢＲにより前記符号化データを生成するように、前記一定値に対応する符号量を前記目標符号量に設定して、前記真の予測符号量が、前記画質改善用の基準値より小さい場合、前記真の予測符号量が低下するに従って増大する係数により、前記真の予測符号量を増大させて目標符号量に設定する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また請求項２０の発明においては、入力画像データによるピクチャーに順次ピクチャータイプを設定し、各ピクチャー毎に発生符号量を予測しながら、前記入力画像データを符号化処理して符号化データを生成する符号化装置に適用して、前記入力画像データより前記符号化データにおける概算の発生符号量を予測して、概算の予測符号量を出力する概算の符号量予測手段と、前記ピクチャータイプに応じた補正係数により、前記概算の予測符号量を補正して、真の予測符号量を計算する真の符号量予測手段と、前記真の予測符号量に基づいて、前記入力画像データを符号化処理して前記符号化データを生成する符号化手段と、前記符号化データの実際の発生符号量を検出し、対応するピクチャータイプの前記補正係数を設定する係数設定手段とを備えるようにする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また請求項８の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項１の構成を前提に、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップと、前記真の予測符号量を補正する補正のステップとを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理することにより、前記真の予測符号量に基づいて、前記入力画像データを符号化処理し、前記補正のステップは、前記量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、前記真の予測符号量を補正することにより、例えばＣＢＲにより真の予測符号量から目標符号量を設定して符号化処理する場合にあっても、一定基準の量子化スケールによる符号化処理を基準にして発生符号量を予測することができ、これによりさらに一段と発生符号量の予測精度を向上し得、その分、一段と精度良く各ピクチャーに適切に符号量を割り当てることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また請求項１３の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項８の構成を前提に、前記符号化のステップは、少なくとも各ピクチャータイプのシーケンス先頭のピクチャーについては、事前に設定された固定の量子化スケールにより前記入力画像データを符号化処理し、前記概算の符号量予測のステップは、前記固定の量子化スケールによる前記符号化データの実際の発生符号量を基準にして、前記シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される前記特徴量との比率により、前記符号化対象のピクチャーについて前記概算の予測符号量を計算すれば、この固定の量子化スケールによる発生符号量を基準にして、各ピクチャーの発生符号量を予測して符号化処理することになる。これによりこの固定の量子化スケールにあっては、符号化データにおける発生符号量の設定基準とすることができる。これにより前記符号化方法は、ユーザーによる操作に応動して前記固定の量子化スケールを切り換えることにより、前記符号化データの平均発生符号量を切り換えることにより、発生符号量の平均レートを簡易に設定することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また請求項１８の構成によれば、このように精度の高い真の予測符号量を検出可能な請求項１の構成を前提に、前記真の予測符号量に基づいて、符号化処理の目標符号量を設定する目標符号量設定のステップを有し、前記符号化のステップは、前記符号化データの実際の発生符号量が前記目標符号量となるように、量子化スケールを設定して前記入力画像データを符号化処理し、前記目標符号量設定のステップは、前記真の予測符号量が、前記画質改善の基準値より大きな一定値より小さい場合、ＶＢＲにより前記符号化データを生成するように、前記真の予測符号量を前記目標符号量に設定すると共に、前記真の予測符号量が、前記一定値より大きい場合、ＣＢＲにより前記符号化データを生成するように、前記一定値に対応する符号量を前記目標符号量に設定して、前記真の予測符号量が、前記画質改善用の基準値より小さい場合、前記真の予測符号量が低下するに従って増大する係数により、前記真の予測符号量を増大させて目標符号量に設定すれば、発生符号量の少ない符号化処理の簡易な画像については、符号量の割り当てを増大させて符号化処理することができる。しかしてこのような画像にあっては、比較的画質劣化が目立ち易い特徴がある。これにより画質を向上することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
すなわちカメラ部３において、ドライバ４は、制御部５の制御により光学ブロック６の絞り、フォーカスレンズ、ズームレンズを駆動し、光学ブロック６は、このドライバ４による駆動の条件により入射光を集光して続くＣＣＤ固体撮像素子（ＣＣＤ：Charge Coupled Device ）７の撮像面に光学像を形成する。タイミング生成部８は、制御部５の制御によりＣＣＤ固体撮像素子７の各種タイミング信号を生成して出力し、ドライバ９は、このタイミング生成部８から出力される各種タイミング信号のうちの一部のタイミング信号によりＣＣＤ固体撮像素子７を駆動する。ＣＣＤ固体撮像素子７は、このタイミング生成部８から直接入力されるタイミング信号、ドライバ９を介して入力されるタイミング信号により動作して、撮像面に形成された光学像の撮像結果を出力する。前処理回路１０は、このＣＣＤ固体撮像素子の撮像結果を相関二重サンプリング処理した後、制御部５の制御による利得により増幅してアナログディジタル変換処理し、その処理結果による画像データをカメラＤＳＰ１２１に出力する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
カメラＤＳＰ１２１は、このカメラ部３から出力される画像データを信号処理した後、符号化処理して制御部５に出力し、またこれとは逆に制御部５から入力される符号化データを復号する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
すなわちカメラＤＳＰ１２１において、ＡＦ／ＡＥ／ＡＷＢ部１３は、カメラ部３から出力される画像データから自動フォーカス制御、自動絞り制御に必要な各種の情報を取得して制御部５に出力し、またこの画像データを制御部５の制御により自動ホワイトバランス調整して制御部５等に出力する。なおＡＦ／ＡＥ／ＡＷＢ部１３は、これらの処理に加えて、撮像結果の処理に必要なニー処理、ガンマ補正処理、マトリックス演算処理等の各種処理を実行する。エンコーダ１４は、動き補償、直交変換により画像データを符号化処理して符号化データを生成する符号化装置であり、制御部５の制御により、ＡＦ／ＡＥ／ＡＷＢ部１３により処理された画像データを符号化処理して符号化データを生成し、この符号化データを制御部５に出力する。デコーダ１５は、これとは逆に制御部５から入力される符号化データを復号化し、その処理結果による画像データを制御部５に出力する。ＳＤＲＡＭコントローラ１６は、カメラＤＳＰ１２１に外付けのメモリであるＳＤＲＡＭ１７の書き込み、読み出しを制御し、このカメラＤＳＰ１２１の一連の処理に係る画像データ、符号化データをＳＤＲＡＭ１７に一時格納する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
なおこのカメラＤＳＰ１２１において、これら一連の処理に係るプログラムは、このディジタルビデオカメラ１に事前にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、さらには記録媒体に記録して提供するようにしてもよい。因みに、このような記録媒体は、光ディスク、磁気ディスク、メモリカード等、種々の記録媒体を広く適用することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
制御部５は、このディジタルビデオカメラ１全体の動作を制御する制御手段であり、ランダムアクセスメモリ（ＲＡＭ）２５にワークエリアを確保して中央処理ユニット（ＣＰＵ）２６によりフラッシュＲＯＭ２７に記録された処理プログラムを実行することにより、操作部２９の操作に応動してカメラ部３、カメラＤＳＰ１２１の動作を立ち上げ、カメラ部３で得られる撮像結果をカメラＤＳＰ１２１により処理して符号化処理し、その処理結果による符号化データを取得して記録媒体２に記録する。また撮像結果による画像データを取得して液晶表示装置２３によりモニタ画像を表示する。またこれらの処理において、カメラＤＳＰ１２１より取得した情報によりカメラ部３の絞り、フォーカスを制御し、これにより自動絞り制御、自動フォーカス制御の処理を実行する。またユーザーによる操作に応動して記録媒体２に記録された符号化データを読み出してカメラＤＳＰ１２１により復号化し、その処理結果による画像データを取得して液晶表示装置２３によりモニタ画像を表示する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
イントラ予測回路１１は、フレームメモリ４０に保持された同一ピクチャーの画像データを用いて、複数のイントラ予測モードから最適なイントラ予測モードを検出する。インター予測回路１２は、フレームメモリ４０に保持された複数の予測フレームをそれぞれ用いて、複数のインター予測モードから最適なインター予測モードを検出する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
簡易インター予測回路４４は、フレームメモリ４３に保持された画像データを用いて、インター予測に係る疑似的な予測画像データを生成する。ここでＡＶＣでは、複数の予測フレームを用いて、大きさの異なるブロックでそれぞれ１画素より高い精度で動きベクトルを検出し、最も発生符号量の少ない予測フレーム、ブロックにより予測画像データが生成されるものの、この簡易インター予測回路４４では、この本来の予測画像データと同様の傾向を示す疑似的な予測画像データを生成する。具体的には、１６×１６画素ブロックによるマクロブロックについてのみ、整数画素精度により、各予測フレームで動きベクトルを検出して最適な予測モードを検出し、この検出結果による予測画像データを出力する。なおこの場合、入力画像データＤ１をダウンサンプリングして処理するようにしてもよく、さらにはこれら１６×１６画素ブロックの複数の予測モードにおいて、最も予測モードに選択される確率の高い予測モードにより予測画像データを生成するようにしてもよい。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
なお瞬時レートINSTANT RATE(n) は、次式により求められる。ここでI NUM 、P NUM 、B NUM は、それぞれ１ＧＯＰを形成するＩピクチャー、Ｐピクチャー、Ｂピクチャーの枚数であり、AVERAGE I BIT 、AVERAGE P BIT 、AVERAGE B BIT は、それぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーの平均発生符号量であり、PICTURE RATEは、このエンコーダ１４における１秒間当たりのフレーム数（フレームレート）である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
【数５】
2006246276.tif 000035
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
【数６】
2006246276.tif 000036
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
ここで符号量GOP SIZEは、次式により示すように、ＶＢＲとＣＢＲとの切り換えに係る上限レートLIMIT RATE、１秒間のＧＯＰ数Ｍ、オフセット値OFFSETを用いて次式により求められる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
また１秒間のＧＯＰ数Ｍは、次式により示すように、エンコーダ１４における１秒間当たりのフレーム数（フレームレート）PICTURE RATEを、１ＧＯＰを形成する各ピクチャーの枚数I NUM 、P NUM 、B NUM の総計により割り算して求められる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
またオフセット値OFFSETは、ｎ番目のピクチャーにおける瞬時レートINSTANT RATE(n)、１秒間のＧＯＰ数Ｍを用いて、次式により求められる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
このため発生符号量予測回路４６は、量子化回路３５の量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、真の予測符号量TRUE PRED(n)を補正する。ここでこの実施例では、この一定基準の量子化スケールに、シーケンス先頭の固定の量子化スケールQP INITが適用される。具体的に発生符号量予測回路４６は、次式の演算処理により、検出される発生符号量BIT(n)を、一定の量子化スケールQP CONSTQ（QP INIT）による発生符号量BIT BY CONSTQ PRED(n) に換算する。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
（２）実施例の動作
以上の構成において、このディジタルビデオカメラ１では（図２）、撮像結果による画像データがカメラ部３で取得され、この画像データがカメラＤＳＰ１２１において自動ホワイトバランス調整等の処理を受けた後、エンコーダ１４により符号化処理される。またこの符号化処理結果による符号化データが制御部５を介して記録媒体２に記録され、これにより所望する被写体の撮像結果が記録媒体２に記録される。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
このためこのエンコーダ１４では、イントラ予測回路１１、インター予測回路１２にそれぞれ対応するイントラ予測回路４１、簡易インター予測回路４４において、簡易な処理により本来の予測画像データと同様の傾向を示す疑似的な予測画像データが生成され、減算回路４２、４５によりこの擬似的な予測画像データと入力画像データＤ１の間で予測残差データが生成される。また発生符号量予測回路４６において（図１）、この予測残差データがそれぞれピクチャー毎に累積加算されて、各ピクチャーの残差データBD(n) が検出される。これによりエンコーダ１４では、符号化の困難度を示す特徴量が検出される。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
このエンコーダ１４では、真の予測符号量TRUE PRED(n)から求められるＶＢＲによる目標符号量VBR TARGET(n) と、上限レートLIMIT RATEから求められるＣＢＲによる目標符号量CBR TARGET(n) とを比較することによって（（１１）式）、真の予測符号量TRUE PRED(n)を一定値である上限レートLIMIT RATEにより判定し、真の予測符号量TRUE PRED(n)が上限レートLIMIT RATEより小さい場合、真の予測符号量TRUE PRED(n)を目標符号量TARGET(n) に設定することにより、ＶＢＲにより符号化処理を実行し、また真の予測符号量TRUE PRED(n)が上限レートLIMIT RATEより大きい場合、上限レートLIMIT RATEに対応する符号量を目標符号量に設定することにより、ＣＢＲにより符号化処理する。またこの目標符号量となるように、ＴＭ５のステップ２の処理により、量子化スケールを設定して入力画像データが符号化処理される（（１２）〜（１６）式）。これによりエンコーダ１４は、ＣＢＲにより記録媒体２への記録可能時間を担保しつつ、発生符号量が少ない場合にはＶＢＲにより符号化処理して符号化効率を向上する。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
またこのようにしてＶＢＲとＣＢＲとで符号化制御を切り換えることを前提に、記録モードに応じて制御部５によりこの上限レートLIMIT RATEが切り換えられ、これにより記録モードに応じて符号化データのレートが切り換えられる（図９）。このときこの上限レートLIMIT RATEの切り換えに連動してシーケンス先頭に係る量子化スケールQP INIT を切り換えることにより、符号化データのレートの切り換えに対応するように、平均発生符号量を切り換えることができ、これにより動作モードの切り換えに対してＶＢＲによる画像とＣＢＲによる画像とでほぼ等しく画質を切り換えることができ、動作モードの切り換えによる違和感を解消することができる。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
またこのようにして画質劣化を防止するようにして、この係数の増大が一定値以上増大しないように制限することにより、例えばレンズキャップをした状態で誤って撮影を開始した場合のような場合については、発生符号量を低減して無駄な記録容量の消費を低減することができる。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０１５０
【補正方法】変更
【補正の内容】
【０１５０】
また少なくとも各ピクチャータイプのシーケンス先頭のピクチャーの入力画像データについては、事前に設定された固定の量子化スケールにより入力画像データを符号化処理し、この固定の量子化スケールによる実際の発生符号量を基準にして、シーケンス先頭のピクチャーで検出される符号化の困難度を示す特徴量と、符号化対象のピクチャーで検出される特徴量との比率により、符号化対象のピクチャーについて概算の予測符号量を計算することにより、この固定の量子化スケールによる発生符号量を基準にして、高精度に発生符号量を予測して適切に符号量を割り当てることができる。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
また真の予測符号量に基づいて目標符号量を設定し、実際の発生符号量がこの目標符号量となるように量子化スケールを設定して符号化処理するようにして、この量子化スケールを一定基準の量子化スケールに設定したとした場合に予測される発生符号量に、真の発生符号量を補正することにより、ＶＢＲにより符号化処理する場合でも、ＣＢＲによる発生符号量を精度良く求めることができ、これによっても各ピクチャーに適切に符号量を割り当てることができる。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
また続くステップＳＰ８において、符号化データを逆量子化処理、逆ディスクリートコサイン変換処理し、予測残差データを復号し、続くステップＳＰ９において、この復号した予測残差データより画像データを復号してデブロックフィルタによりブロック歪みを除去し、フレームメモリであるランダムアクセスリメモリ７０に又は記憶部６４に一時格納する。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
図１２は、図１１の処理手順に係るステップＳＰ２の処理を詳細に示すフローチャートである。中央処理ユニット６９は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、イントラ予測に係る予測画像データを生成し、続くステップＳＰ２３において、このイントラ予測に係る予測画像データを用いてイントラ予測に係る予測残差データを計算する。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０１７１
【補正方法】変更
【補正の内容】
【０１７１】
また続くステップＳＰ２４において、符号化処理対象のピクチャーがインター予測の適用があるＢ、Ｐピクチャーか否か判断し、ここで否定結果が得られると、ステップＳＰ２４からステップＳＰ２５に移り、このイントラ予測に係る予測残差データの合計値をこのマクロブロックにおける残差データBDに設定した後、ステップＳＰ２６に移って図１１の処理手順に戻る。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】０１７３
【補正方法】変更
【補正の内容】
【０１７３】
これに対してインター予測による予測残差データの合計値の方が小さい場合、ステップＳＰ２９からステップＳＰ３０に移って、このインター予測による予測残差データの合計値をこのマクロブロックにおける残差データBDに設定した後、ステップＳＰ２６に移って図１１の処理手順に戻る。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】０１７７
【補正方法】変更
【補正の内容】
【０１７７】
すなわちこのエンコーダ７４は、減算回路７５を介して入力画像データＤ１をディスクリートコサイン変換回路７６に入力し、このディスクリートコサイン変換回路７６により係数データを生成する。またこの係数データを量子化回路７７により量子化処理し、可逆符号化回路７８を介して符号化データＤ２として出力する。また逆量子化回路７９、逆ディスクリートコサイン変換回路８０、加算回路８１により、入力画像データＤ１を復号してフレームメモリ８２に記録する。またＰピクチャー、Ｂピクチャーにおいて、このフレームメモリ８２に記録された画像データを用いた動き補償により予測画像データを生成し、この予測画像データを減算回路７５に入力する。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０１８０
【補正方法】変更
【補正の内容】
【０１８０】
発生符号量予測回路８５は、このディフィカルティ検出回路８４で検出される特徴量をピクチャー単位で合計し、その結果得られる合計値により各ピクチャーの真の発生符号量とそのピクチャーを他のピクチャータイプで符号化処理した場合の真の発生符号量を検出する。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０１９５
【補正方法】変更
【補正の内容】
【０１９５】
１……ディジタルビデオカメラ、２……記録媒体、３……カメラ部、５……制御部、１２１……カメラＤＳＰ、１１、４１……イントラ予測回路、１２……インター予測回路、１４、７４……エンコーダ、８３……符号化制御回路、３３……モード判定回路、４４……簡易インター予測回路、４６、８５……発生符号量予測回路、４７、８７……目標符号量決定回路
【手続補正３７】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2006246276.tif 000037
【手続補正３８】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2006246276.tif 000038
【手続補正３９】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2006246276.tif 000039
【手続補正４０】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2006246276.tif 000040