(57)【要約】【課題】映像データの部分ごとの絵柄の複雑さに応じて発生ビット量を調節し、全体として圧縮後の映像の品質を向上させる。【解決手段】実難度データ算出回路２８２は、映像の絵柄の複雑さを示す指標データ（ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティ）から、圧縮後のデータ量に対応する実難度データＤj を算出する。パラメータ算出回路２８６は、ＶＢＶバッファの占有量等に応じてパラメータＲj ’を調節する。目標データ量算出回路２８４は、パラメータ算出回路２８６が調節したパラメータＲj ’に、実難度データＤj に基づいて算出される乗数を乗算し、圧縮後の映像のデータ量の目標値を示す目標データ量Ｔj を算出する。目標データ量Ｔj から量子化インデックスＱＩＮＤを算出し、圧縮符号化処理に用いることにより、レート制御が実現される。【選択図】図１８
2007053788.tif 000002
【特許請求の範囲】
【請求項１】
動画の非圧縮映像データを、圧縮後の映像データ（圧縮映像データ）をバッファリングするＶＢＶバッファに基づいて定まる条件を満たすデータレートに圧縮する映像データ圧縮装置であって、
前記非圧縮映像データの映像の複雑さを示す難度データを算出する難度データ算出手段と、
前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）、および、算出した前記難度データに基づいて、所定数の非圧縮映像データのピクチャーに圧縮後のデータ量（割当データ量）を割り当てるデータ量割当手段と、
算出した前記難度データおよび前記割当データ量に基づいて、前記非圧縮映像データの圧縮後のデータ量の目標値をピクチャーごとに算出する目標値算出手段と、
前記非圧縮映像データを所定の圧縮方法により、圧縮後のデータ量が算出した前記目標値になるように圧縮する圧縮手段と
を有する映像データ圧縮装置。
【請求項２】
前記難度データ算出手段は、前記難度データとして、前記非圧縮映像データの圧縮後のデータ量を算出する
請求項１に記載の映像データ圧縮装置。
【請求項３】
前記データ量割当手段は、前記ＶＢＶバッファの占有データ量が所定の閾値以上である場合に、算出した前記難度データに基づいて、前記非圧縮映像データの映像が複雑であればあるほど前記割当データ量の値を大さくし、
前記目標値算出手段は、前記非圧縮映像データの映像が複雑であればあるほど前記目標値の値を大きくし、前記非圧縮映像データの映像が簡単であればあるほど前記目標値の値を小さくする
請求項１に記載の映像データ圧縮装置。
【請求項４】
前記データ量割当手段は、前記圧縮映像データに与えられる全てのデータ量を全てのピクチャーに均等に配分した基準値を、生成した前記圧縮映像データのピクチャーのデータ量から減算して差分値を算出し、前記非圧縮映像データの圧縮が終了した場合に、算出した差分値の総和が負値の０に近い値になるように前記割当データ量を算出する
請求項３に記載の映像データ圧縮装置。
【請求項５】
前記目標量算出手段は、最新のピクチャーの難度データを所定数のピクチャーの難度データの総和を除算した値に、算出した前記割当データ量を乗算して前記目標値を算出する
請求項３に記載の映像データ圧縮装置。
【請求項６】
前記圧縮手段は、前記非圧縮映像データを、複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャーまたはこれらの組み合わせ）を所定の順番で含むピクチャータイプシーケンスに圧縮する
請求項３に記載の映像データ圧縮装置。
【請求項７】
前記難度データ算出手段は、前記難度データとして、ＰピクチャーまたはＢピクチャーに圧縮されるピクチャーのＭＥ残差、および、Ｉピクチャーに圧縮されるピクチャーのフラットネス、イントラＡＣデータ、アクティビティおよびグローバルコンプレクシティまたはこれらの組み合わせを算出する
請求項６に記載の映像データ圧縮装置。
【請求項８】
前記データ量割当手段は、前記ＶＢＶバッファの占有データ量の前記所定の閾値として、最新のＩピクチャーのデータ量に、生成した前記圧縮映像データのデータレートに応じた加算値、または、固定の加算値を加算した数値を用いる
請求項６に記載の映像データ圧縮装置。
【請求項９】
前記データ量割当手段は、前記ＶＢＶバッファの占有データ量が所定の閾値以上であるか否かの判断を、前記圧縮手段が、前記非圧縮映像データをＰピクチャーに圧縮した直後に行う
請求項８に記載の映像データ圧縮装置。
【請求項１０】
動画の非圧縮映像データを、圧縮後の映像データ（圧縮映像データ）をバッファリングするＶＢＶバッファに基づいて定まる条件を満たすデータレートに圧縮する映像データ圧縮方法であって、
前記ＶＢＶバッファがアンダーフローを生じるまでのデータ量、および、前記非圧縮映像データのピクチャーの映像の複雑さに基づいて、所定数の前記非圧縮映像データのピクチャーに圧縮後のデータ量（割当データ量）を割り当て、
前記非圧縮映像データのピクチャーの映像の複雑さ、および、算出した前記割当データ量に基づいて、前記非圧縮映像データの圧縮後のデータ量の目標値をピクチャーごとに算出し、
前記非圧縮映像データを所定の圧縮方法により、圧縮後のデータ量が算出した前記目標値になるように圧縮する
映像データ圧縮方法。
【請求項１１】
前記非圧縮映像データのピクチャーの映像の複雑さを示すデータとして、前記非圧縮映像データの圧縮後のデータ量を用いる
請求項１０に記載の映像データ圧縮方法。
【請求項１２】
前記ＶＢＶバッファの占有データ量が所定の閾値以上である場合に、算出した前記難度データに基づいて、前記非圧縮映像データの映像が複雑であればあるほど前記割当データ量の値を大さくし、
前記非圧縮映像データの映像が複雑であればあるほど前記目標値の値を大きくし、前記非圧縮映像データの映像が簡単であればあるほど前記目標値の値を小さくする
請求項１０に記載の映像データ圧縮方法。
【請求項１３】
前記圧縮映像データに与えられる全てのデータ量を全てのピクチャーに均等に配分した基準値を、生成した前記圧縮映像データのピクチャーのデータ量から減算して差分値を算出し、前記非圧縮映像データの圧縮が終了した場合に、算出した差分値の総和が負値の０に近い値になるように前記割当データ量を算出する
請求項１２に記載の映像データ圧縮方法。
【請求項１４】
前記非圧縮映像データを、複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャーまたはこれらの組み合わせ）を所定の順番で含むピクチャータイプシーケンスに圧縮する
請求項１２に記載の映像データ圧縮方法。
【請求項１５】
最新のピクチャーの難度データを所定数のピクチャーの難度データの総和を除算した値に、算出した前記割当データ量を乗算して前記目標値を算出する
請求項１３に記載の映像データ圧縮方法。
【請求項１６】
前記難度データとして、ＰピクチャーまたはＢピクチャーに圧縮されるピクチャーのＭＥ残差、および、Ｉピクチャーに圧縮されるピクチャーのフラットネス、イントラＡＣデータ、アクティビティおよびグローバルコンプレクシティまたはこれらの組み合わせを算出する
請求項１３に記載の映像データ圧縮方法。
【請求項１７】
前記ＶＢＶバッファの占有データ量の前記所定の閾値として、最新のＩピクチャーのデータ量に、生成した前記圧縮映像データのデータレートに応じた加算値、または、固定の加算値を加算した数値を用いる
請求項１３に記載の映像データ圧縮方法。
【請求項１８】
前記ＶＢＶバッファの占有データ量が所定の閾値以上であるか否かの判断は、前記非圧縮映像データをＰピクチャーに圧縮した直後に行う
請求項１７に記載の映像データ圧縮方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非圧縮映像データを圧縮符号化する映像データ圧縮装置およびその方法に関する。
【背景技術】
【０００２】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により、Ｉピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionally predictive coded picture)およびＰピクチャー(predictive coded picture)から構成されるＧＯＰ(group of pictures) 単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。
【０００３】
このために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る映像データ圧縮装置は、動画の非圧縮映像データを、圧縮後の映像データ（圧縮映像データ）をバッファリングするＶＢＶバッファに基づいて定まる条件を満たすデータレートに圧縮する映像データ圧縮装置であって、前記非圧縮映像データの映像の複雑さを示す難度データを算出する難度データ算出手段と、前記ＶＢＶバッファにバッファリングされている前記圧縮映像データのデータ量（占有データ量）、および、算出した前記難度データに基づいて、所定数の非圧縮映像データのピクチャーに圧縮後のデータ量（割当データ量）を割り当てるデータ量割当手段と、算出した前記難度データおよび前記割当データ量に基づいて、前記非圧縮映像データの圧縮後のデータ量の目標値をピクチャーごとに算出する目標値算出手段と、前記非圧縮映像データを所定の圧縮方法により、圧縮後のデータ量が算出した前記目標値になるように圧縮する圧縮手段とを有する。
【０００７】
好適には、前記難度データ算出手段は、前記難度データとして、前記非圧縮映像データの圧縮後のデータ量を算出する。
【０００８】
好適には、前記データ量割当手段は、前記ＶＢＶバッファの占有データ量が所定の閾値以上である場合に、算出した前記難度データに基づいて、前記非圧縮映像データの映像が複雑であればあるほど前記割当データ量の値を大さくし、前記目標値算出手段は、前記非圧縮映像データの映像が複雑であればあるほど前記目標値の値を大きくし、前記非圧縮映像データの映像が簡単であればあるほど前記目標値の値を小さくする。
【０００９】
好適には、前記データ量割当手段は、前記圧縮映像データに与えられる全てのデータ量を全てのピクチャーに均等に配分した基準値を、生成した前記圧縮映像データのピクチャーのデータ量から減算して差分値を算出し、前記非圧縮映像データの圧縮が終了した場合に、算出した差分値の総和が負値の０に近い値になるように前記割当データ量を算出する。
【００１０】
好適には、前記目標量算出手段は、最新のピクチャーの難度データを所定数のピクチャーの難度データの総和を除算した値に、算出した前記割当データ量を乗算して前記目標値を算出する。
【００１１】
好適には、前記圧縮手段は、前記非圧縮映像データを、複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャーまたはこれらの組み合わせ）を所定の順番で含むピクチャータイプシーケンスに圧縮する。
【００１２】
好適には、前記難度データ算出手段は、前記難度データとして、ＰピクチャーまたはＢピクチャーに圧縮されるピクチャーのＭＥ残差、および、Ｉピクチャーに圧縮されるピクチャーのフラットネス、イントラＡＣデータおよびアクティビティまたはこれらの組み合わせを算出する。
【００１３】
好適には、前記データ量割当手段は、前記ＶＢＶバッファの占有データ量の前記所定の閾値として、最新のＩピクチャーのデータ量に、生成した前記圧縮映像データのデータレートに応じた加算値、または、固定の加算値を加算した数値を用いる。
【００１４】
好適には、前記データ量割当手段は、前記ＶＢＶバッファの占有データ量が所定の閾値以上であるか否かの判断を、前記圧縮手段が、前記非圧縮映像データをＰピクチャーに圧縮した直後に行う。
【００１５】
本発明に係る映像データ圧縮装置は、動画の非圧縮映像データを、例えば、ＭＰＥＧ方式により複数の種類のピクチャー（Ｉピクチャー、ＰピクチャーおよびＢピクチャー）を所定の組み合わせおよび順番で含むピクチャータイプシーケンスに圧縮符号化し、圧縮符号化後の映像データ（圧縮映像データ）のデータ量を記録媒体等の記録容量以下に抑え、ＭＰＥＧのＶＢＶ（video buffering verifier) バッファの占有量に対する拘束条件を満たし、しかも、伸長復号後の映像の品質が高い圧縮映像データを生成する。
【００１６】
本発明に係る映像データ圧縮装置において、難度データ算出手段は、非圧縮映像データの映像の複雑さ（簡単さ）を示す難度データを生成する。難度データ算出手段が生成する難度データとしては、例えば、ＭＥ残差、非圧縮映像データを予備的に圧縮符号化した圧縮映像データのデータ量に対応する実難度データＤj、あるいは、映像の平坦さを指標するために新たに定義したフラットネス(flatness)、イントラＡＣ(intra-AC)、ＴＭ５においてマクロブロックの量子化値(MQUANT)を算出するために用いられるアクティビティ(activity)、および、グローバルコンプレクシティ(global complexity) が用いられる。
【００１７】
データ量割当手段は、圧縮映像データをバッファリングするＶＢＶバッファにアンダーフローが生じないように、ＶＢＶバッファに所定の閾値以上、例えば、最新のＩピクチャーのデータ量に所定のマージンを見込んだデータ量以上の圧縮映像データがバッファリングされている場合にのみ、非圧縮映像データの圧縮後のピクチャーに割り当て可能なデータ量を示す割当データ量の調節を行う。なお、ＶＢＶバッファにバッファリングされている圧縮映像データのデータ量の判断は、圧縮手段が、圧縮映像データのピクチャーを生成する度に行う必要はなく、ＶＢＶバッファ内のデータ量が、この判断にとって最適な値になる圧縮手段がＰピクチャーを生成した直後に行うのが好適である。
【００１８】
データ量割当手段による割当データ量の調節は、例えば、圧縮映像データに全体として許される最大のデータ量（最大データ量；例えば、記録媒体の記録容量）を、各ピクチャーに均等に割り当てた基準値を中心として行われ、ＶＢＶバッファの占有量が一定以上である場合（アンダーフローが生じないであろう場合）に、映像が複雑な所定数（Ｌ枚）のピクチャーには基準値よりも多くの割当データを割り当て、映像が簡単なピクチャーには基準値よりも少ない割当データを割り当て、最終的に、圧縮映像データのデータ量が最大データ量を超えず、しかも、圧縮映像データのデータ量がほぼ最大データ量となるようにする。
【００１９】
なお、データ量割当手段による割当データ量の調節を行う際に、ＶＢＶバッファのアンダーフローに対する条件のみを設けるのではなく、当然に、圧縮映像データのデータレートは、ＶＢＶバッファにオーバーフローを生じさせないという条件を満たす必要がある。
【００２０】
目標量算出手段は、例えば、最新のピクチャーの難度データを、Ｌ枚のピクチャーの難度データの総和値により除算した値に、データ量割当手段が算出した割当データを乗算して、非圧縮映像データのピクチャーそれぞれに対する圧縮後のデータ量の目標値を算出する。
このように、データ量割当手段および目標量算出手段により、最大データ量を有効に利用可能となり、多くのデータ量を必要とする複雑な映像のピクチャーから多いデータ量の圧縮映像データが生成され、少ないデータ量で済む簡単な映像のピクチャーから少ないデータ量の圧縮映像データが生成され、圧縮映像データの映像の品質が全体として向上する。
【００２１】
圧縮手段は、例えば、ＭＰＥＧ方式により、非圧縮映像データを、所定のピクチャータイプシーケンスで、圧縮符号化後のデータ量がほぼ、目標量算出手段が算出した目標値になるように圧縮符号化する。
【００２２】
また、本発明に係る映像データ圧縮方法は、動画の非圧縮映像データを、圧縮後の映像データ（圧縮映像データ）をバッファリングするＶＢＶバッファに基づいて定まる条件を満たすデータレートに圧縮する映像データ圧縮方法であって、前記ＶＢＶバッファがアンダーフローを生じるまでのデータ量、および、前記非圧縮映像データのピクチャーの映像の複雑さに基づいて、所定数の前記非圧縮映像データのピクチャーに圧縮後のデータ量（割当データ量）を割り当て、前記非圧縮映像データのピクチャーの映像の複雑さ、および、算出した前記割当データ量に基づいて、前記非圧縮映像データの圧縮後のデータ量の目標値をピクチャーごとに算出し、前記非圧縮映像データを所定の圧縮方法により、圧縮後のデータ量が算出した前記目標値になるように圧縮する。
【発明の効果】
【００２３】
本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる。
【発明を実施するための最良の形態】
【００２４】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００２５】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００２６】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２７】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および直流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２８】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行い、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２９】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００３０】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等をホストコンピュータ２０に対して出力する。
【００３１】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３２】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００３３】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００３４】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、ホストコンピュータ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００３５】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、ホストコンピュータ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００３６】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３７】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３８】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３９】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００４０】
【数１】
2007053788.tif 000003
【００４１】
但し、式１において、Ｄj は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’j の初期値（Ｒ’1 ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００４２】
【数２】
2007053788.tif 000004
【００４３】
【数３】
2007053788.tif 000005
【００４４】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+L は、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示す。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００４５】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+L
は、ホストコンピュータ２０により既に算出されている。
【００４６】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４７】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４８】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４９】
第２実施形態
以下、本発明の第２の実施形態を説明する。
第１の実施形態に示した簡易２パスエンコード方式は、入力される非圧縮映像データに、ほぼ１ＧＯＰ分（例えば、０．５秒）程度の遅延を与えるだけで圧縮符号化し、適切なデータ量の圧縮映像データを生成することができる優れた方式である。
【００５０】
しかしながら、これらの方式は、エンコーダーを２つ必要とする。一般に、映像データを圧縮符号化するエンコーダーは大規模のハードウェアを必要とし、集積回路化しても非常に高価であり、しかも、サイズが大きい。従って、これらの方式がエンコーダーを２つ必要とすることは、これらの方式を実現する装置の低コスト化、小型化および省電力化を妨げる。また、圧縮符号化に要する時間遅延は、短ければ短いほど望ましいが、実難度データＤj および予測難度データＤj
’の算出処理および予備的な圧縮符号化処理そのものが数ピクチャー分の処理時間を要するので、これらの処理自体が、時間遅延の短縮化を妨げる原因となる。
【００５１】
第２の実施形態は、かかる問題点を解決するためになされたものであって、１つのエンコーダを用いるのみで、簡易２パスエンコード方式および予測簡易２パスエンコード方式と同等に適切なデータ量の圧縮映像データを生成することができ、しかも、処理に要する時間遅延がより短い映像データ圧縮方式を提供することを目的とする。
【００５２】
図５は、第２の実施形態における本発明に係る映像データ圧縮装置２の構成の概要を示す図である。
図６は、図５に示した映像データ圧縮装置２の圧縮符号化部２４の詳細な構成を示す図である。
なお、図５および図６において、映像データ圧縮装置２の構成部分のうち、第１の実施形態において説明した映像データ圧縮装置１（図１〜図３）の構成部分と同一のものには同一の符号を付して示してある。
【００５３】
図５に示すように、映像データ圧縮装置２は、映像データ圧縮装置１（図１〜図３）の圧縮符号化部１０を、圧縮符号化部１０からエンコーダ１６２を除いた圧縮符号化部２４で置換し、エンコーダ制御部１２をエンコーダ制御部２２で置換し、バッファメモリ(buffer)１８２を付加した構成を採る。
図６に示すように、圧縮符号化部２４は、映像並び替え回路２２０、走査変換・マクロブロック化回路２２２および統計量算出回路２２４から構成され、圧縮符号化部２４の他の構成部分は、圧縮符号化部１０と同一の構成を採る。
【００５４】
エンコーダ制御部２２は、エンコーダ制御部１２と同様に、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。
エンコーダ制御部２２において、映像並び替え回路２２０は、入力された非圧縮映像データを符号化順に並べ替える。
【００５５】
走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理等を行う。
統計量算出回路２２４は、映像並び替え回路２２０および走査変換・マクロブロック化回路２２２により処理され、Ｉピクチャーに圧縮符号化されるピクチャーからフラットネス(flatness)およびイントラＡＣ(intra AC)等の統計量を算出する。
【００５６】
映像データ圧縮装置２は、これらの構成部分により、非圧縮映像データの統計量（フラットネス，イントラＡＣ）および動き予測の予測誤差量（ＭＥ残差）を非圧縮映像データＶＩＮの絵柄の難度の代わりに用いて、映像データ圧縮装置１（図１，図２）と同様に適応的に目標データ量Ｔj を算出して、高精度なフィードフォワード制御を行うことにより、非圧縮映像データＶＩＮを適切なデータ量の圧縮映像データに圧縮符号化する。
なお、映像データ圧縮装置２においては、動き検出器１４およびエンコーダ制御部２２の統計量算出回路２２４により、予め検出された指標データに基づいて目標データ量Ｔj が定めるられることから、以下、映像データ圧縮装置２における圧縮符号化方式を、フィード・フォワード・レート・コントロール（ＦＦＲＣ; feed foward rate control）方式と呼ぶことにする。
【００５７】
なお、ＭＥ残差は、圧縮されるピクチャーと、参照ピクチャーの映像データとの差分値の絶対値和あるいは自乗値和として定義され、動き検出器１４により、圧縮後にＰピクチャーおよびＢピクチャーとなるピクチャーから算出され、映像の動きの速さおよび絵柄の複雑さを表し、フラットネスと同様に、難度および圧縮後のデータ量と相関性を有する。
【００５８】
Ｉピクチャーについては、他のピクチャーの参照なしに圧縮符号化されるため、ＭＥ残差を求めることができず、ＭＥ残差に代わるパラメータとして、フラットネスおよびイントラＡＣを用いる。
また、フラットネスは、映像データ圧縮装置２を実現するために、映像の空間的な平坦さを表す指標として新たに定義されたパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。
また、イントラＡＣは、映像データ圧縮装置２を実現するために、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として新たに定義したパラメータであって、フラットネスと同様に、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。
【００５９】
以下、ＭＥ残差、フラットネスおよびイントラＡＣについて説明する。
第１の実施形態において説明した簡易２パスエンコード方式および予測簡易２パスエンコード方式において、実難度データＤj は映像の絵柄の難しさを示し、目標データ量Ｔj は実難度データＤj に基づいて算出される。
【００６０】
また、エンコーダ１８が生成する圧縮映像データのデータ量を、目標データ量Ｔj が示す値に近づけるために、量子化回路１６８（図２，図６）において量子化値Ｑj の制御が行われる。従って、映像データを圧縮符号化せずに得られ、実難度データＤj と同様に映像データの絵柄の複雑さ（難しさ）を適切に示すパラメータを、エンコーダ１８の量子化回路１６８における量子化処理以前に得ることができれば、エンコーダ１６２（図１，図２）を省略し、処理遅延時間の短縮するという目的を達成することができる。ＭＥ残差、フラットネスおよびイントラＡＣは、実難度データＤj と強い相関を有するので、このような目的を達成するために適切である。
【００６１】
ＭＥ残差と実難度データＤj との関係
他のピクチャーを参照して圧縮符号化処理し、ＰピクチャーおよびＢピクチャーを生成する際には、動き検出器１４は、圧縮対象となるピクチャー（入力ピクチャー）の注目マクロブロックと、参照されるピクチャー（参照ピクチャー）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求める。ＭＥ残差は、このように、動きベクトルを求める際に、最小になった各マクロブロックの差分値の絶対和または自乗和を、ピクチャー全体について総和した値として定義される。
【００６２】
図７は、映像データ圧縮装置１，２により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
図８は、映像データ圧縮装置１，２により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
なお、図７および図８においては、実難度データＤj として、エンコーダ１８が固定の量子化値を用いて圧縮符号化して得られた圧縮映像データのデータ量を用いており（以下、図１０，図１１において同じ）、図７および図８は、ＣＣＩＲにより規格化された標準画像[cheer (cheer leaders), mobile (mobile and calender), tennis (table tennis), diva(diva with noise)] およびその他の画像(resort)を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるＭＥ残差と実難度データＤj との関係を示すグラフであり、図７および図８において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(me resid)がＭＥ残差を示す。
図７および図８を参照して分かるように、ＭＥ残差は実難度データＤj と非常に強い相関関係を有する。従って、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの実難度データＤj の代わりに、ＭＥ残差は、目標データ量Ｔj
の生成に用いられ得る。
【００６３】
フラットネスと実難度データＤj との関係
図９は、フラットネスの計算方法を示す図である。
フラットネスは、まず、図９に示すように、ＭＰＥＧ方式においてＤＣＴ処理の単位となるＤＣＴブロックそれぞれを、２画素×２画素の小ブロックに分割し、次に、これらの小ブロック内の対角の画素のデータ（画素値）の差分値を算出し、差分値を所定の閾値と比較し、さらに、差分値が閾値よりも小さくなる小ブロック総数をピクチャーごとに求めることにより算出される。なお、フラットネスの値は、映像の絵柄が空間的に複雑であるほど小さくなり、平坦であれば大きくなる。
【００６４】
図１０は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
なお、図１０は、図７および図８と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるフラットネスと実難度データＤj との関係を示すグラフであり、図１０において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(flatness)がフラットネスを示す。
図１０に示すように、フラットネスと実難度データＤj には、強い負の相関関係があり、実難度データＤj は、フラットネスを一次関数に代入する等の方法により近似可能であることがわかる。
【００６５】
イントラＡＣと実難度データＤj との関係
イントラＡＣは、ＤＣＴブロックごとに、ＤＣＴブロック内の画素それぞれの画素値と、ＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として算出される。つまり、イントラＡＣは、下の式４により求めることができる。
【００６６】
【数４】
2007053788.tif 000006
【００６７】
図１１は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
なお、図１１は、図７および図８と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるイントラＡＣと実難度データＤj との関係を示すグラフであり、図１１において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(intra AC)がイントラＡＣを示す。
図１１に示すように、イントラＡＣと実難度データＤj には、強い正の相関関係があり、実難度データＤj は、イントラＡＣを一次関数に代入する等の方法により近似可能であることがわかる。
【００６８】
ここまでに説明したように、各指標データ（統計量）により実難度データＤj
を一次関数等により近似可能であることが分かる。従って、各ピクチャータイプの実難度データＤj は、以下に示すように算出可能である。
【００６９】
Ｐピクチャーについては下に示す式５により、Ｂピクチャーについては下に示す式６により、実難度データＤj はＭＥ残差により近似される。また、Ｉピクチャーについては、式５，６と同様の近似式により実難度データＤj は、フラットネスおよびイントラＡＣまたはこれらのいずかにより近似される。
【００７０】
【数５】
2007053788.tif 000007
【００７１】
【数６】
2007053788.tif 000008
【００７２】
さらに、第１の実施形態に示した簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj を、式１に代入することにより目標データ量Ｔj が算出される。
【００７３】
以下、実難度データＤj をＭＥ残差、フラットネスおよびイントラＡＣで近似し、簡易２パスエンコード方式により非圧縮映像データを圧縮符号化する場合を例に、映像データ圧縮装置２の動作を説明する。
エンコーダ制御部２２において、映像並び替え回路２２０は、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換等を行い、統計量算出回路２２４は、Ｉピクチャーに圧縮符号化されるピクチャーに対して、図９および式４に示した演算処理を行い、フラットネスおよびイントラＡＣ等の統計量を算出する。
【００７４】
動き検出器１４は、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【００７５】
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式５および式６に示した演算処理を行って実難度データＤj を近似し、式５および式６と同様な演算処理を行って、フラットネスおよびイントラＡＣにより実難度データＤj を近似する。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１に代入し、目標データ量Ｔj を算出し、算出した目標データ量Ｔj をエンコーダ１８の量子化制御回路１８０に設定する。
【００７６】
エンコーダ１８のＤＣＴ回路１６６は、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して、バッファメモリ１８２を介して外部に出力する。
【００７７】
なお、ＴＭ５方式等においては、マクロブロックの量子化値(MQUANT)を算出するために、下の式７に示すアクティビティ(activity)という統計量が用いられる。アクティビティは、フラットネスおよびイントラＡＣと同様に、実難度データＤj と強い相関関係を有するので、これらパラメータの代わりにアクティビティを用いて、実難度データＤj を近似し、圧縮符号化を行うように映像データ圧縮装置２を構成してもよい。
【００７８】
【数７】
2007053788.tif 000009
【００７９】
また、以上、第１の実施形態に示した簡易２パスエンコードを行う場合を例に、映像データ圧縮装置２の動作を説明したが、映像データ圧縮装置２は、予測簡易２パスエンコードを行いうることはいうまでもない。
また、第２の実施形態に示した映像データ圧縮装置２に対しても、第１の実施形態示した映像データ圧縮装置１に対してと同様の変形が可能である。
【００８０】
第３実施形態
本発明の第３の実施形態の説明に先立ち、図１２を参照して、第３の実施形態における本発明に係る映像データ圧縮装置の背景および目的等を説明する。
図１２は、ＭＰＥＧのＭＰ＠ＭＬ方式によりＴＭ５に示された圧縮アルゴリズムを用いて、映像データ圧縮装置１，２（図１〜図３，図５，図６）が、圧縮映像データのＧＯＰのデータ量（発生ビット量）をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。なお、図１２においては、縦軸はＶＢＶバッファにバッファリングされている圧縮映像データのデータ量を示し、横軸は時間経過を示す。
【００８１】
ＴＭ５に示された圧縮アルゴリズムは、圧縮映像データのＧＯＰ当たりのデータ量を、ほぼ一定にすることができる点で優れている。しかしながら、圧縮映像データのデータレートを固定値にするＭＰＥＧの固定レート符号化方式においては、必ずしもＧＯＰ単位にデータ量を一定にする必要はない。
【００８２】
この固定レート符号化方式は、圧縮符号化後の映像データをバッファリングする仮想的なＶＢＶバッファ(video buffering verifier buffer) が要求する制約条件を満たすこと、つまり、ＶＢＶバッファにバッファリングされている圧縮映像データのデータ量（占有量Ｂn ）が規定値を上回ったり（オーバーフローを生じたり）、逆に、規定値以下になったり（アンダーフローを生じたり）しないことのみを圧縮映像データに要求する。
【００８３】
ＭＰ＠ＭＬ方式により、ＴＭ５に示される圧縮アルゴリズムを用いて圧縮符号化を行うと、バッファリング容量１．８ＭｂｉｔのＶＢＶバッファにおける圧縮映像データの占有量Ｂn を評価すると、例えば、図１２に示すように、占有量Ｂn は高い値で推移し、ＶＢＶバッファを必ずしも有効に利用できないことが分かる。
【００８４】
ＶＢＶバッファを有効利用しえないのは、ＶＢＶバッファにおける占有量Ｂn
が高い値で推移するのは、ＶＢＶバッファのバッファリング容量が約１．８Ｍｂｉｔと大きいにもかかわらず、ＶＢＶバッファの入出力の単位となる圧縮映像データのピクチャーのデータ量が少ないためである。
このように、低いデータレートの圧縮映像データを生成する際に、非圧縮映像データの映像の複雑さのいかんにかかわらず、所定の枚数のピクチャー（ＧＯＰ）のデータ量をほぼ一定にすると、複雑な絵柄の部分の非圧縮映像データを圧縮符号化して得られる圧縮映像データを伸長復号して得られる映像の品質が極端に劣化し、逆に、簡単な絵柄の部分から得られる圧縮映像データの品質が比較的よくなる。従って、全体として見た場合には、圧縮映像データに多くのむらが生じ、しかも、絵柄が不安定になり、品質が悪くなる。
【００８５】
第３の実施形態に示すフィードバックレート制御方式は、かかる問題点に鑑みてなされたものであり、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファのバッファリング容量を有効に利用し、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることを目的とする。
【００８６】
図１３は、第３の実施形態における本発明に係るエンコーダ２６の構成を示す図である。
なお、図１３においては、エンコーダ２６の構成部分の内、図１〜図３および図５，図６に示したエンコーダ１８の構成部分と同一のものには同一の符号を付してある。
【００８７】
エンコーダ２６は、映像データ圧縮装置２（図５，図６）のエンコーダ１８の代わりに用いられる装置であって、図１３に示すように、エンコーダ２６は、量子化制御回路１８０の代わりに、グローバルコンプレクシティ算出回路（ＧＣ算出回路）２６２、目標データ量算出（Ｔj 算出）回路２６４および量子化インデックス生成回路２６６を含む量子化制御部２６０を有し、ホストコンピュータ２０によらずに、ＶＢＶバッファにおける圧縮映像データの占有量Ｂn 、および、実難度データＤj またはグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて目標データ量Ｔj および量子化値Ｑj （量子化インデックスＱＩＮＤ）を算出可能に構成されている。
【００８８】
エンコーダ２６は、これらの構成部分により、１つのエンコーダのみにより圧縮映像データのデータ量により量子化回路１６８の量子化処理に対するフィードバック制御を行い、非圧縮映像データの部分ごとに絵柄に応じたデータ量を割り当てて圧縮映像データを生成し、圧縮映像データの品質を向上させる。
【００８９】
エンコーダ２６の各構成部分の動作
以下、エンコーダ２６の各構成部分の内、映像データ圧縮装置１，２（図１〜図３，図５，図６）のエンコーダ１８と異なる部分（量子化制御部２６０）の動作を説明する。
ＧＣ算出回路２６２の動作
ＧＣ算出回路２６２は、可変長符号化回路１７０から出力される圧縮映像データのデータ量ＳI ，Ｓp ，ＳB と、量子化回路１６８が量子化に用いた量子化値の平均値ＱI ，Ｑp ，ＱB とに基づいて、各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出し、目標データ量算出回路２６４、量子化インデックス生成回路２６６、および、必要に応じてホストコンピュータ２０に対して出力する。
【００９０】
なお、グローバルコンプレクシティＸI ，Ｘp ，ＸB は、ＭＰＥＧのＴＭ５方式の第１段階（ステップ１）においてピクチャータイプごとに算出され、〔Ｘ（Ｉ，Ｐ，Ｂ）；ＸI ＝ＳI ＱI ，Ｘp ＝Ｓp Ｑp ，ＸB ＝ＳB ＱB と定義され、グローバルコンプレクシティＸI ，Ｘp ，ＸB は、それぞれＩピクチャー、ＰピクチャーおよびＢピクチャーの実難度データＤI ，Ｄp ，ＤB とほぼ同値（ＸI
，Ｘp ，ＸB ≒ＤI ，Ｄp ，ＤB ）になる。
【００９１】
目標データ量算出回路２６４の動作
動作（処理）の概要
目標データ量算出回路２６４は、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB 各ピクチャータイプの実難度データＤj を近似し、さらに、ＶＢＶバッファの占有量Ｂn に基づいて各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。なお、目標データ量算出回路２６４が算出した目標データ量Ｔj は、量子化インデックス生成回路２６６に対して出力される。
【００９２】
目標データ量Ｔj の算出方法
まず、目標データ量算出回路２６４における目標データ量Ｔj の基本的な算出方法を説明する。
上述のように、各ピクチャータイプの実難度データＤj はそれぞれ、グローバルコンプレクシティＸI ，Ｘp ，ＸB とほぼ同値である。従って、目標データ量算出回路２６４は、グローバルコンプレクシティＸI ，Ｘp ，ＸB から各ピクチャータイプの目標データ量Ｔj を算出することができる。
なお、上記各関係式において、重み付け係数Ｋp ，ＫB は、ピクチャータイプごとに目標データ量Ｔj に異なった重み付けを行うために導入された係数であり、重み付け係数Ｋp ，ＫB の値をそれぞれ大きくすればするほど、Ｉピクチャーの目標データ量Ｔj と比較して、ＰピクチャおよびＢピクチャーの目標データ量Ｔj が少なくなる。例えば、ＭＰＥＧ方式のＴＭ５方式においては、重み付け係数Ｋp ，ＫB は固定値であり、それぞれ１．０，１．４（Ｋp ＝１．０，ＫB ＝１．４、デフォルト値）である。
【００９３】
このように、ＭＰＥＧ方式のＴＭ５方式においては、Ｐピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＰピクチャーのグローバルコンプレクシティＸp の比率の通りの目標データ量Ｔj が与えられ、Ｂピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＢピクチャーのグローバルコンプレクシティＸB の比率よりも意図的に小さい目標データ量Ｔj が与えられる。
【００９４】
レート制御方法
次に、目標データ量算出回路２６４におけるレート制御方法を説明する。
ＭＰＥＧのＴＭ５方式のレート制御において、重要な役割を果たすパラメータとしてパラメータＲがある。このパラメータＲは、ＭＰＥＧ方式において、レート制御の制御単位（例えばＧＯＰ）の残りのピクチャーに割り当てることができるデータ量を示す。
【００９５】
ここで、映像データ圧縮装置１，２（図１〜図３，図５，図６）においては、例えば、ＧＯＰの前半のピクチャーの映像が複雑である（実難度データＤj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB 等の値が大きい）場合等に、ＧＯＰの前半のピクチャーに多くのデータ量を割り当てると、ＧＯＰの後半のピクチャーに対するパラメータＲが極端に少ない値になったり、さらには、負数となったりして、ＧＯＰの後半のピクチャーに割り当てるべきデータ量が不足してしまうことがある。
【００９６】
このように、映像データ圧縮装置１，２において、パラメータＲの値が極端に小さくなったり負数になってしまうことがあるのは、ホストコンピュータ２０（図１，図５）が、レート制御の制御単位であるＧＯＰそれぞれのデータ量を一定に保つように、ＧＯＰの前半のピクチャーに対して多く割り当てすぎたデータ量を、ＧＯＰの後半のピクチャーに対してデータ量を少なく割り当てることにより補償するようにデータ量を割り当てるからである。ホストコンピュータ２０において、パラメータＲは、このように、ＧＯＰといった比較的短い期間におけるデータ量の補償処理に用いられる。
【００９７】
一方、エンコーダ２６の目標データ量算出回路２６４においては、このような短い制御単位でデータ量を一定にするためのパラメータＲのみでレート制御を行うのではなく、ＶＢＶバッファの制約条件の範囲内で、長期間におけるデータ量が一定になるように、残りのデータ量を均等に割り当てるパラメータＲj ’を制御する。
【００９８】
つまり、目標データ量算出回路２６４はパラメータＲj ’を制御し、非圧縮映像データのある期間に含まれるピクチャーに対して過剰に割り当てデータ量を、データ量を少なく割り当てると圧縮映像データの品質が劣化しそうな期間では補償せず、絵柄が簡単で、少ないデータ量を割り当てても圧縮映像データの品質の劣化が少ない期間で補償するように目標データ量Ｔj を調節する。
さらに、目標データ量算出回路２６４は、エンコーダ２６が１枚のピクチャーを圧縮符号化するたびに、式３と同様の処理を行ってパラメータＲj ’の値を更新する。
【００９９】
ＶＢＶバッファに対する考慮
しかしながら、パラメータＲj ’を圧縮映像データのデータ量が多く（データレートが高く）なるように調節する場合、圧縮映像データのデータ量の増加量を予測することが難しく、ＶＢＶバッファにアンダーフローが生じる可能性がある。従って、圧縮映像データのデータ量を多くするようにレート制御を行う場合には、未来のＶＢＶバッファの占有量Ｂn を考慮して、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn （圧縮映像データの残りデータ量）が多い場合にのみ、パラメータＲj ’の調節を行う。
【０１００】
なお、以上説明したＶＢＶバッファの占有量Ｂn を考慮したレート制御を実現するために、目標データ量算出回路２６４は、以下に説明する処理をさらに行う。
つまり、目標データ量算出回路２６４は、映像データの映像が複雑な部分に多く割り当てるデータ量を、エンコーダ２６が出力する圧縮映像データのデータレートではなく、ＶＢＶバッファがアンダーフローするまでのデータ量に基づいて求める。
【０１０１】
また、目標データ量算出回路２６４は、映像データの映像が複雑な部分に、所定のデータレートよりも多く割り当てるデータ量の合計値（借金額）をパラメータsum-supplement（初期値０）として記憶し、所定数のピクチャーの実難度データＤj の値の合計が小さくなった際にパラメータsum-supplementの値を減ずるようにレート制御を行い、非圧縮映像データの圧縮符号化が終了した時点でのパラメータsum-supplementの値が０にごく近い負値になるようにレート制御を行う。ただし、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn が少ない場合には、実難度データＤj の値にかかわらず、映像データの各ピクチャーの目標データ量Ｔj の値が小さくなるようにレート制御を行い、アンダーフローの発生を防ぐ。
【０１０２】
目標データ量算出回路２６４の処理内容のまとめ
以下、さらに、図１４および数式を参照して、目標データ量算出回路２６４による目標データ量Ｔj を詳細に説明する。
図１４は、図１３に示した目標データ量算出回路２６４の処理を示すフローチャート図である。
図１４に示すように、ステップ５００（Ｓ５００）において、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn をチェックし、ＶＢＶバッファに十分な量の圧縮映像データがバッファリングされており、アンダーフローが生じない余裕があるか否かを判断し、余裕がある場合にはＳ５０２の処理に進み、余裕がない場合にはＳ５１２の処理に進む。
【０１０３】
なお、ＶＢＶバッファの占有量Ｂn の判断には、下の式８に示す閾値VBV-R'j-Marginが用いられる。
【０１０４】
【数８】
2007053788.tif 000010
【０１０５】
なお、式８において、last-I-genbit は、最新のＩピクチャーのデータ量であり、VBV-Marginは、目標データ量Ｔj の計算の際のアンダーフロー対策のための定数であり、frame-bit は１ピクチャー当たりのデータ量である。式８に示したように、閾値VBV-R'j-Marginの算出に最近のＩピクチャーのデータ量last-I-genbit を用いることにより、エンコーダ２６が次に、データ量が多いＩピクチャーの圧縮映像データを生成する場合にも、アンダーフローの発生を、ほぼ、完全に防止することができる。目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn と閾値VBV-R'j-Marginとを比較することにより、Ｓ５００の処理においてＶＢＶバッファに余裕があるか否かの判断を行う。
【０１０６】
また、目標データ量算出回路２６４は、Ｓ５００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２６がピクチャを圧縮符号化するごとに行う必要は必ずしもなく、例えば、エンコーダ２６がＰピクチャーを生成した直後にのみ行ってもよい。
【０１０７】
これは、以下の理由による。つまり、エンコーダ２６がＩピクチャーを生成した直後はＶＢＶバッファの占有量が低くなるが、次にＩピクチャーを生成するまでに、通常、占有量が回復するので、エンコーダ２６がＩピクチャーを生成した直後には、目標データ量算出回路２６４はＳ５００の処理における判断を行う必要がなく、逆に、エンコーダ２６がデータ量が少ないＢピクチャーを生成した直後に、目標データ量算出回路２６４がＳ５００の処理における判断を行うと、ＶＢＶバッファがアンダーフローを生じるまでに十分な余裕があると誤って判断し、却ってＶＢＶバッファにアンダーフローを生じさせてしまう可能性が生じるからである。
【０１０８】
ステップ５０２（Ｓ５０２）において、目標データ量算出回路２６４は、下の式９−１に示すＮ枚のピクチャーのグローバルコンプレクシティＸI ，Ｘp ，ＸB の総和の値が閾値Ｔｈ１より大きいか否かを判断する。総和sum-difficultyの値が閾値Ｔｈ１より大きい場合にはＳ５０４の処理に進み、閾値Ｔｈ１以下である場合にはＳ５０８の処理に進む。なお、閾値Ｔｈ１は、パラメータＲj ’の値を大きくして圧縮映像データのデータ量を増やすか、あるいは逆に、パラメータＲj ’の値を小さくして圧縮映像データのデータ量を減らすかを定めるために重要である。
【０１０９】
ステップ５０４（Ｓ５０４）において、目標データ量算出回路２６４は、下の式９−２に示すように、パラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断する。パラメータＲj ’の値が閾値（Ｇ＋Ｔｈ２）よりも大きい場合にはＳ５０６の処理に進み、閾値（Ｇ＋Ｔｈ２）よりも小さい場合にはＳ５１６の処理に進む（Ｇ＝ N x bit-rate / picture-rate）。
【０１１０】
【数９】
2007053788.tif 000011
【０１１１】
ステップ５０６（Ｓ５０６）において、目標データ量算出回路２６４は、例えば、下の式１０−１により、パラメータＲj ’に加算（補給）するデータ量（補給データ量）supplementを算出する。なお、式１０−１中のパラメータβ（０＜β＜１）は、式１０−２に示すように定義され、ＶＢＶバッファがアンダーフローを生じるまでのデータ量を判断するためのパラメータであり、パラメータβの値が大きく、ＶＢＶバッファのアンダーフローに対する余裕が大きければ大きいほどほど、補給データ量supplementの値は大きくなる。
【０１１２】
【数１０】
2007053788.tif 000012
【０１１３】
また、式１０−１中の閾値Ｔｈ３は、補給データ量supplementの値を決定するための定数であり、MAX-supplementは、補給データ量supplementを制限するための制限値である。
【０１１４】
総和sum-difficultyの値が（Ｔｈ１＋Ｔｈ３）よりも大きくなると、式１０−１の右辺の分数項の値が１より大きくなってしまうので、下の式１１に示すように、補給データ量supplementの値を補正する。
【０１１５】
【数１１】
2007053788.tif 000013
【０１１６】
ステップ５０８（Ｓ５０８）において、目標データ量算出回路２６４は、パラメータsum-supplementが正値であり、映像データの絵柄が複雑な部分に補給した補給データ量supplementが、完全には補償されていない（借金がある）状態にあるか否かを判断する。借金がある場合にはＳ５１０の処理に進み、借金がない場合にはＳ５１２の処理に進む。
【０１１７】
ステップ５１０（Ｓ５１０）において、目標データ量算出回路２６４は、映像データの絵柄が複雑な部分に補給した補給データ量supplementを補償するために、式１０−１のパラメータβの値を１とし、下の式１２に示す負値の補給データ量supplementを算出する。負値の補給データ量supplementをパラメータＲj ’に加算する（Ｓ５１４）ことにより、圧縮映像データのデータ量が減少してパラメータsum-supplementを０に近づけること（借金の返済）ができる。
【０１１８】
【数１２】
2007053788.tif 000014
【０１１９】
ステップ５１２（Ｓ５１２）において、目標データ量算出回路２６４は、ＶＢＶバッファにアンダーフローが生じる可能性があると判断し、下の式１３により負値の補給データ量supplementを算出する。負値の補給データ量supplementをパラメータＲj ’に加算する（Ｓ５１４）ことにより、圧縮映像データのデータ量が減少し、ＶＢＶバッファのアンダーフローが防止される。
【０１２０】
【数１３】
2007053788.tif 000015
【０１２１】
ステップ５１４（Ｓ５１４）において、目標データ量算出回路２６４は、下の式１４，式１５によりパラメータＲj ’，sum-supplementを更新する。
【０１２２】
【数１４】
2007053788.tif 000016
【０１２３】
【数１５】
2007053788.tif 000017
【０１２４】
ステップ５１６（Ｓ５１６）において、目標データ量算出回路２６４は、下式１６に示すように目標データ量Ｔj を算出し、量子化インデックス生成回路２６６に対して出力する。
【０１２５】
【数１６】
2007053788.tif 000018
【０１２６】
ただし、式１６において、ＮI ，Ｎp ，ＮB はそれぞれ、１ＧＯＰ中に現れるＩピクチャー、ＰピクチャーおよびＢピクチャーの数を示し、１ＧＯＰの構成がＮ＝１，Ｍ＝３である場合には、ＮI ＝１，Ｎp ＝４，ＮB ＝１０である。
【０１２７】
ステップ５１８（Ｓ５１８）において、量子化インデックス生成回路２６６は、目標データ量算出回路２６４が生成した目標データ量Ｔj に基づいて量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１２８】
ステップ５２０（Ｓ５２０）において、エンコーダ２６の量子化制御部２６０以外の構成部分は、量子化インデックス生成回路２６６が生成した量子化インデックスＱＩＮＤに基づいて非圧縮映像データを圧縮符号化する。
ステップ５２２（Ｓ５２２）において、目標データ量算出回路２６４は、変数ｊをインクリメントする。
【０１２９】
量子化インデックス生成回路２６６の動作
以下、再び図１３を参照して、量子化インデックス生成回路２６６の動作（処理）を説明する。
量子化インデックス生成回路２６６は、例えば、ＭＰＥＧ方式のＴＭ５の第２段階および第３段階（ステップ２，ステップ３）と同様に、目標データ量算出回路２６４から入力された目標データ量Ｔj 、および、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB から量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１３０】
なお、量子化インデックスは、量子化回路１６８において、量子化処理の単位となるマクロブロックごとに変化する量子化値Ｑj の組み合わせを示すインデックスとして用いられるデータであって、量子化値Ｑj と等価である。つまり、量子化インデックス生成回路２６６から量子化インデックスを受けた量子化回路１６８は、受けた量子化インデックスが示す量子化値Ｑj の組み合わせに変換し、ＤＣＴ回路１６６から入力される映像データを量子化する。
【０１３１】
以下、エンコーダ２６（図１３）の動作を説明する。
動き検出器１４は、第１の実施形態においてと同様に、動きベクトルの生成等の処理を行う。
エンコーダ制御部２２は、第１の実施形態と同様に、ピクチャーの並び替え処理等を行う。
【０１３２】
エンコーダ２６（図１３）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量Ｓj からグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、図１４を参照して説明したように、最も新しく生成された各ピクチャータイプの目標データ量Ｔj を算出する。
【０１３３】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態および第２の実施形態においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０１３４】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態および第２の実施形態においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０１３５】
なお、第３の実施形態として示したエンコーダ２６の処理の内容は、第１の実施形態および第２の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）にも応用可能である。
また、エンコーダ２６の目標データ量算出回路２６４は、実難度データＤj を用いて目標データ量Ｔj を算出するように構成しても、グローバルコンプレクシティＸI ，Ｘp ，ＸB を用いて目標データ量Ｔj を算出してもよい。
【０１３６】
また、エンコーダ２６において量子化制御部２６０が行った処理を、映像データ圧縮装置１，２（図１〜図３，図５，図６）においてホストコンピュータ２０が行うことも可能である。
また、第３の実施形態に示した各パラメータを定義する式は例示であり、エンコーダ２６の構成・用途に合わせて、各式を変更することができる。
また、第３の実施形態に示したエンコーダ２６に対しては、第１の実施形態および第２の実施形態に示した変形が可能である。
【０１３７】
図１５は、ＭＰＥＧのＭＰ＠ＭＬ方式により、エンコーダ２６（図１３）が、圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。なお、図１５においては、縦軸はＶＢＶバッファにバッファリングされている圧縮映像データのデータ量を示し、横軸は時間経過を示す。
【０１３８】
以上説明したエンコーダ２６により圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行うと、ＶＢＶバッファの占有量Ｂn の占有量Ｂn
は、図１５に示すように大きな範囲で変化し、図１２に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）を圧縮映像データを生成した場合に比べて、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファを有効に利用していることが分かる。
また、エンコーダ２６によれば、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることができる。
【０１３９】
第４実施形態
以下、本発明の第４の実施形態として、フィードフォワードレート制御方式を説明する。フィードフォワードレート制御方式は、ＶＢＶバッファが要求する制約条件の範囲内でＶＢＶバッファのバッファリング容量を有効に利用し、非圧縮映像データの部分ごとに、絵柄に応じたデータ量を割り当てることにより、圧縮映像データの品質を全体として向上させることを目的とする。
【０１４０】
図１６は、第４の実施形態における本発明に係る映像データ圧縮装置４の構成を示す図である。
図１７は、図１６に示したエンコーダ２８の構成を示す図である。
図１８は、図１７に示した量子化制御部２８０の構成を示す図である。
なお、図１６〜図１８においては、映像データ圧縮装置４の構成部分の内、図１〜図３，図５，図６，図１３に示した映像データ圧縮装置１〜２およびエンコーダ２６の構成部分と同一のものには同一の符号を付してある。
【０１４１】
図１６に示すように、映像データ圧縮装置４は、映像データ圧縮装置２，３（図５，図６，図１３）のエンコーダ１８を、エンコーダ２８で置換した構成を採る。
また、図１７に示すように、エンコーダ２８は、量子化制御回路１８０を量子化制御部２８０で置換した構成を採り、図１８に示すように、量子化制御部２８０は、実難度データ（Ｄj ）算出回路２８２、目標データ量（Ｔj ）算出回路２８４、パラメータ（Ｒj ’）算出回路２８６および量子化インデックス生成回路２８８から構成される。
【０１４２】
量子化制御部２８０は、エンコーダ２６（図１３）においてと同様に、ホストコンピュータ２０によらずに、指標データ〔統計量；第２の実施形態において説明したフラットネス（図９，図１０）、イントラＡＣ（図１１）、アクティビティ（式７）およびＭＥ残差（図７，図８）〕、および、ＶＢＶバッファにおける圧縮映像データの占有量Ｂn に基づいて目標データ量Ｔj および量子化値Ｑj （量子化インデックスＱＩＮＤ）を算出可能に構成されている。
【０１４３】
映像データ圧縮装置４は、これらの構成部分により、１つのエンコーダのみにより圧縮映像データのデータ量により量子化回路１６８の量子化処理に対するフィードフォワード制御を行い、非圧縮映像データの部分ごとに絵柄に応じたデータ量を割り当てて圧縮映像データを生成し、圧縮映像データの品質を向上させる。
【０１４４】
映像データ圧縮装置４の各構成部分の動作
以下、映像データ圧縮装置４の各構成部分の内、映像データ圧縮装置１，２，３（図１〜図３，図５，図６，図１３）と異なる部分（量子化制御部２８０）の動作を説明する。
実難度データ算出回路２８２算出回路
実難度データ算出回路２８２は、動き検出器１４から入力される指標データ（ＭＥ残差による近似により、式５，式６に示したように、ＰピクチャーおよびＢピクチャーの実難度データＤj を算出し、また、エンコーダ制御部２２の統計量算出回路２２４から入力される指標データ（フラットネス、イントラＡＣおよびアクティビティ）による近似により、式５，式６と同様にＩピクチャーの実難度データＤj を算出し、パラメータ算出回路２８６およびパラメータ算出回路２８６に対して出力する。
【０１４５】
目標データ量算出回路２８４の動作
目標データ量算出回路２８４は、エンコーダ２６（図１３）の目標データ量算出回路２６４と同様に、第１の実施形態において式１に示した処理を行い、実難度データ算出回路２８２から入力された実難度データＤj 、および、パラメータ算出回路２８６から入力されるパラメータＲj ’に基づいて、各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。
【０１４６】
パラメータ算出回路２８６の動作
パラメータ算出回路２８６は、エンコーダ２６の目標データ量算出回路２６４（図１３）と同様に、式８〜式１５および図１４に示した処理を行ってパラメータＲj ’を調節し、更新する。ただし、パラメータ算出回路２８６は、図１４に示したＳ５１６の処理において、式１６の代わりに式１により、目標データ量Ｔj を算出し、量子化インデックス生成回路２８８に対して出力する。
【０１４７】
量子化インデックス生成回路２８８の動作
量子化インデックス生成回路２８８は、エンコーダ２６の量子化インデックス生成回路２６６（図１３）と同様に、目標データ量算出回路２８４から入力された目標データ量Ｔj に基づいて量子化インデックスＱＩＮＤを生成し、量子化回路１６８に対して出力する。
【０１４８】
以下、映像データ圧縮装置４の動作を説明する。
量子化制御部２８０の実難度データ算出回路２８２は、動き検出器１４およびエンコーダ制御部２２から入力される指標データ（ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティ）から、式５，式６に示したように、実難度データＤj を算出する。
【０１４９】
パラメータ算出回路２８６は、式８〜式１５に示したように、ＶＢＶバッファの占有量および映像データの絵柄の複雑さに応じてパラメータＲj ’を調節し、レート制御を行う。
目標データ量算出回路２８４は、パラメータ算出回路２８６が調節したパラメータＲj ’を、式１に代入し、目標データ量Ｔj を算出する。
【０１５０】
量子化インデックス生成回路２８８は、算出された目標データ量Ｔj から量子化インデックスＱＩＮＤを算出する。
エンコーダ２８の量子化制御部２８０以外の部分は、パラメータ算出回路２８６が算出した量子化インデックスＱＩＮＤを用いて非圧縮映像データを圧縮符号化する。
【０１５１】
なお、第４の実施形態として示した映像データ圧縮装置４の処理の内容は、第１の実施形態〜第３の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図５，図６）にも応用可能である。
また、映像データ圧縮装置４において量子化制御部２８０が行った処理を、映像データ圧縮装置１，２（図１〜図３，図５，図６）においてホストコンピュータ２０が行うことも可能である。
また、第４の実施形態に示した映像データ圧縮装置４に対しても、第１の実施形態〜第３の実施形態に示した変形が可能である。
【０１５２】
第５実施形態
以下、本発明の第５の実施形態として、第３の実施形態に示したエンコーダ２６の動作の変形例を説明する。
ここまで、第１の実施形態において簡易２パスエンコード方式、第２の実施形態においてＦＦＲＣ方式を説明し、さらに、第３の実施形態および第４の実施形態において、ＶＢＶバッファの占有量に応じて圧縮映像データのデータ量を調節するフィードバックレート制御方式およびフィードフォワードレート制御方式を説明した。
【０１５３】
ＭＰＥＧ方式のＴＭ５はパラメータＲを、第１の実施形態〜第４の実施形態に示した各方式はパラメータＲj ’（式１等）を用いて目標データ量Ｔj を算出する。これらの各方式により、非圧縮映像データの非常に映像の絵柄が難しい（符号化難度が高い）部分を、低いデータレートの圧縮映像データに圧縮符号化しようとする場合、いかに量子化値Ｑj （量子化インデックスＱＩＮＤ）の値を大きくして圧縮率を上げ、データ量を少なくしようとしても、実際に生成した圧縮映像データのデータ量が目標データ量Ｔj を上回り、パラメータＲ，Ｒj ’の値が急速に減少し、レート制御の単位（例えばＧＯＰ）の最後の方のピクチャーでは、パラメータＲ，Ｒj ’の値が０以下になってしまうことがある。
【０１５４】
例えば、ＭＰＥＧのＴＭ５においては、パラメータＲの値が０以下になると、各ピクチャーには最低のデータ量（frame-bit/8 ；但し、frame-bit は圧縮映像データの所望の１ピクチャー当たりのデータレート）が割り当てられることになる。このように、最低のデータ量が割り当てられたピクチャーを、所望のデータレートの１／８という低いデータレートの圧縮映像データに圧縮符号化すると、かかる部分から得られる圧縮映像データの品質は顕著に低下してしまう。
【０１５５】
また、例えば、映像の絵柄が難しい非圧縮映像データの圧縮符号化処理を長い間、続けると、パラメータＲ，Ｒj ’の値が非常に小さくなり、非圧縮映像データの映像の絵柄が簡単になった後も、しばらくの間、パラメータＲ，Ｒj ’の値がある程度大きな正値に回復せず、パラメータＲ，Ｒj ’の値が回復するまでの間ずっと、最低データ量が各ＧＯＰに割り当てられてしまい、圧縮映像データの歪みが多くなってしまう。
一方、パラメータＲj ’は、本来、ＦＩＦＯメモリ１６０の遅延時間に対応するＬ枚のピクチャーに割り当てるデータ量の平均値であるため、その値は、（frame-bit ×Ｌ）から大きく外れることはない。
【０１５６】
本発明の第５の実施形態は、上述した問題点に鑑みてなされたものであり、非圧縮映像データの映像の絵柄が複雑で（実難度データＤj の値が大きく）、目標データ量Ｔj に対して、実際に生成される圧縮映像データのデータ量Ｓj の値が多い場合であっても、圧縮映像データの品質を高く保つことができ、しかも、映像が複雑な絵柄から簡単な絵柄に変化した場合のパラメータＲj ’の値が速やかに回復可能であることを目的とし、第３の実施形態に示したエンコーダ２６の量子化制御部２６０の目標データ量算出回路２６４（図１３）の処理内容を変更したものである。
【０１５７】
第５の実施形態において、エンコーダ２６は、第３の実施形態においてと同様に、ＶＢＶバッファの占有量Ｂn およびグローバルコンプレクシティＸI ，Ｘp
，ＸB に基づいて目標データ量Ｔj をフィードバック制御し、さらに、パラメータＲj ’が所定の下限値以下になることを制限することにより、第３の実施形態におけるレート制御と同様な効果を得るとともに、圧縮映像データの品質の著しい低下を防ぐ。
【０１５８】
目標データ量算出回路２６４の動作
以下、エンコーダ２６の各構成部分の内、映像データ圧縮装置１，２およびエンコーダ２６（図１〜図３，図５，図６，図１３）と処理内容が異なる目標データ量算出回路２６４の動作（処理内容）を説明する。
目標データ量算出回路２６４は、第３の実施形態においてと同様に、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB 各ピクチャータイプの実難度データＤj を近似し、さらに、ＶＢＶバッファの占有量Ｂn に基づいて各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出してレート制御を行う。
【０１５９】
レート制御方法
目標データ量算出回路２６４は、第３の実施形態においてと同様に、ＶＢＶバッファの占有量を考慮してパラメータＲj ’を調節し、パラメータＲj ’に、グローバルコンプレクシティＸI ，Ｘp ，ＸB 等から算出される乗数を乗算して目標データ量Ｔj を調節する。
但し、第３の実施形態においてと異なり、第５の実施形態においては、目標データ量算出回路２６４は、パラメータＲj ’に対して下限値Ｒmin を設定し、第３の実施形態においてと同様に算出したパラメータＲj ’が、下限値Ｒmin 以下〔Ｒj ’＜Ｒmin 〕になった場合に〔Ｒj ’＝Ｒmin 〕とし、パラメータＲj ’が下限値Ｒmin 以下にならないように制限する。下限値Ｒmin としては、例えば、〔Ｒmin ＝frame-bit ×Ｌ×３／４〕あるいは〔Ｒmin ＝frame-bit ×Ｌ×１／４〕といった値が用いられる。
【０１６０】
第１の実施形態において式３に示したように、第ｊ番目のピクチャーのデータ量がＳj であり、第ｊ＋Ｌ番目のピクチャーのデータ量がＳj+L であり、ピクチャータイプに応じてパラメータＲj ’に加算されるデータ量がＦj+L である場合には、次のパラメータＲj+1 ’の値は、（Ｒj ’−Ｓj ＋Ｆj+L ）〔Ｒj+1 ’＝Ｒj ’−Ｓj ＋Ｆj+L 〕となる。しかしながら、次のパラメータＲj+1 ’（＝Ｒj ’−Ｓj ＋Ｆj+L ）もまた下限値Ｒmin 以下〔Ｒj+1 ’＜Ｒmin 〕となる可能性がある。この場合には、次のパラメータＲj+1 ’を、下式１７に示すように下限値Ｒmin に制限する。
【０１６１】
【数１７】
2007053788.tif 000019
【０１６２】
また、目標データ量算出回路２６４は、第３の実施形態においてと同様に、映像データの映像が複雑な部分に多く割り当てるデータ量の合計値（借金額）をパラメータsum-supplementとして記憶する。従って、パラメータＲj ’の値を上述のように下限値Ｒmin に制限しない場合には、式１５に示したようにパラメータsum-supplementの更新を行い、パラメータＲj ’の値を下限値Ｒmin に制限した場合には、下式１８に示すように補給データ量supplementを累加算してパラメータsum-supplementの更新を行う。
【０１６３】
【数１８】
2007053788.tif 000020
【０１６４】
目標データ量算出回路２６４の処理内容のまとめ
以下、さらに、図１９を参照して、第５の実施形態における目標データ量算出回路２６４によるレート制御処理を詳細に説明する。
図１９は、第５の実施形態における目標データ量算出回路２６４の処理を示すフローチャート図である。
図１９に示すように、目標データ量算出回路２６４は、第３の実施形態において図１４に示した各処理と同様の処理を行う。
【０１６５】
ステップ６００（Ｓ６００）において、目標データ量算出回路２６４は、ＶＢＶバッファの占有量Ｂn に応じてＳ６０２またはＳ６１２の処理に進む。なお、目標データ量算出回路２６４は、Ｓ６００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２６がＰピクチャーを生成した直後にのみ行ってもよい。
【０１６６】
ステップ６０２（Ｓ６０２）において、目標データ量算出回路２６４は、式９−１によりＮ枚のピクチャーの実難度データＤj の総和sum-difficultyの値が閾値Ｔｈ１より大きいか否かを判断し、判断結果に応じてＳ６０４またはＳ６０８の処理に進む。
ステップ６０４（Ｓ６０４）において、目標データ量算出回路２６４は、式９−２によりパラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断し、判断結果に応じてＳ６０６またはＳ６１６の処理に進む。
【０１６７】
ステップ６０６（Ｓ６０６）において、目標データ量算出回路２６４は、例えば式１０−１、式１０−２および式１１により補給データ量supplementを算出する。
ステップ６０８（Ｓ６０８）において、目標データ量算出回路２６４は、補給データ量supplementが補償されているか否かを判断し、判断結果に応じてＳ６１０またはＳ６１２の処理に進む。
ステップ６１０（Ｓ６１０）において、目標データ量算出回路２６４は、補給データ量supplementの補償のために、式１２により負値の補給データ量supplementを算出する。
【０１６８】
ステップ６１２（Ｓ６１２）において、目標データ量算出回路２６４は、式１３により負値の補給データ量supplementを算出し、ＶＢＶバッファのアンダーフローを防止する。
ステップ６１４（Ｓ６１４）において、目標データ量算出回路２６４は、式１４，式１５によりパラメータＲj ’，sum-supplementを算出し、パラメータＲj
’が下限値Ｒmin 以下になる場合には、パラメータＲj ’を下限値Ｒmin に制限する。
【０１６９】
ステップ６１６（Ｓ６１６）において、目標データ量算出回路２６４は、式１６に示したように目標データ量Ｔj を算出する。
ステップ６１８（Ｓ６１８）において、エンコーダ２６は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ６２０（Ｓ６２０）において、目標データ量算出回路２６４は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０１７０】
ステップ６２２（Ｓ６２２）において、目標データ量算出回路２６４は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断する。次のパラメータＲj+1 ’が下限値Ｒmin より大きい場合にはＳ６２８の処理に進み、大きくない場合にはＳ６２４の処理に進む。
ステップ６２４（Ｓ６２４）において、目標データ量算出回路２６４は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１７１】
ステップ６２６（Ｓ６２６）において、目標データ量算出回路２６４は、式１８によりパラメータsum-supplementを更新する。
ステップ６２８（Ｓ６２８）において、目標データ量算出回路２６４は、変数ｊをインクリメントする。
【０１７２】
以下、第５の実施形態におけるエンコーダ２６（図１３）の動作を説明する。
動き検出器１４は、第１の実施形態および第３の実施形態においてと同様に、動きベクトルの生成等の処理を行う。
エンコーダ制御部２２は、第１の実施形態等においてと同様に、ピクチャーの並び替え処理等を行う。
ＦＩＦＯメモリ１６０は、第１の実施形態等においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
【０１７３】
エンコーダ２６（図１３）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量Ｓj からグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、最も新しく生成された各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、図１９を参照して説明したように、次のピクチャーの目標データ量Ｔj を算出する。
【０１７４】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態等においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０１７５】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態等においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０１７６】
変形例
以下、第５の実施形態の変形例を説明する。
第５の実施形態において示した改良フィードバックレート制御方式は、第１の実施形態、第２の実施形態および第４の実施形態に示した映像データ圧縮装置１，２，４（図１〜図３，図５，図６，図１６〜図１８）にも応用可能である。また、第５の実施形態においては、目標データ量算出回路２６４が、ＶＢＶバッファを考慮して目標データ量Ｔj を算出する場合について説明したが、ＶＢＶバッファを考慮せずに目標データ量Ｔj を生成するように目標データ量算出回路２６４の動作を変更してもよい。
【０１７７】
以下、図２０を参照して、映像データ圧縮装置１（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を応用する変形例を説明する。
図２０は、映像データ圧縮装置１（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を行う場合の処理を示すフローチャート図である。
図２０に示すように、映像データ圧縮装置１のホストコンピュータ２０は、ＶＢＶバッファを考慮したレート制御を行わないので、図１９に示したＳ６００〜Ｓ６１４に対応する処理を行わず、Ｓ６１６〜６２８に対応する処理のみを行う。
【０１７８】
ステップ７００（Ｓ７００）において、映像データ圧縮装置１のホストコンピュータ２０は、式１により目標データ量Ｔj を算出する。
ステップ７０２（Ｓ７０２）において、エンコーダ１８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ７０４（Ｓ７０４）において、ホストコンピュータ２０は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０１７９】
ステップ７０６（Ｓ７０６）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断し、判断結果に応じてＳ７１２またはＳ６０８の処理に進む。
ステップ７０８（Ｓ７０８）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１８０】
ステップ７１０（Ｓ７１０）において、ホストコンピュータ２０は、式１８によりパラメータsum-supplementを更新する。
ステップ７１２（Ｓ７１２）において、ホストコンピュータ２０は、変数ｊをインクリメントする。
なお、映像データ圧縮装置４（図１６〜図１８）において、第４の実施形態に示したフィードフォーワードレート制御を改良し、第５の実施形態に示した改良フィードフォーワードレート制御と同等の効果を得るためには、映像データ圧縮装置４のパラメータ算出回路２８６の動作を変更し、図１４に示した各処理を実行すればよい。但し、この場合、Ｓ６１６の処理において、式１６の代わりに式１により目標データ量Ｔj を算出する必要がある。
【０１８１】
また、図２０に示した処理において、パラメータＲj ’を、ＭＰＥＧのＴＭ５におけるパラメータＲに置換することにより、改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用することも可能である。
しかしながら、ＭＰＥＧのＴＭ５におけるパラメータＲは、ＧＯＰの最初の部分のピクチャーに対しては大きな値をとるが、ＧＯＰの終わりの部分に対しては殆ど０に近い値になる。このような性質を有するパラメータＲに、負値の固定の下限値Ｒmin 〔例えば、Ｒmin ＝−２×frame-bit 〕を設定することも可能であるが、効果が薄い。
【０１８２】
そこで、改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合には、図２１に示すように、下限値Ｒmin を定める関数を導入することにより、第５の実施例においてと同様の効果を得ることができる。
【０１８３】
つまり、ＭＰＥＧのＴＭ５においては、ＧＯＰの最初の部分のピクチャーに対してパラメータＲが大きくなるように、終わりの部分のピクチャーに対してパラメータＲの値が０に近づくので、図２１において点線で例示するように、ＧＯＰの最初で下限値Ｒmin の値が(N/2×frame-bit)となり、ＧＯＰの最後で下限値Ｒmin の値が(-N/2 ×frame-bit)となるような直線を引き、パラメータＲがこの直線を下回る場合に、第５の実施形態に示した改良フィードバックレート制御方式と同様に、パラメータＲを直線上の下限値Ｒmin に制限し、差分値を別パラメータとして記憶しておけばよい。
【０１８４】
また、第５の実施形態においてエンコーダ２６の量子化制御部２６０が行った処理を、ホストコンピュータ２０が行うことも可能である。
また、第５の実施形態に示した各パラメータを定義する式は例示であり、エンコーダ２６の構成・用途に合わせて、各式を変更することができる。
【０１８５】
以上説明したように、第５の実施形態に示した改良フィードバックレート制御方式によれば、入力映像データの映像の絵柄が、圧縮後のデータレートに対して難しく、データ量が大きくなりすぎる場合においても、ピクチャタイプに応じたデータ量の配分を保ったレート制御が可能であり、圧縮映像データの品質を向上させることができる。
また、下限値を設けたため、難しい入力映像データの映像の絵柄が簡単になった場合にも、短い時間の内に圧縮映像データに多くのデータ量を配分するようにパラメータＲ，Ｒj ’を回復することができ、圧縮映像データの品質のムラの発生を防ぐことができる。
【０１８６】
第６実施形態
以下、本発明の第６の実施形態として、第４の実施形態に示した映像データ圧縮装置４（図１６）の動作の変形例（改良フィードフォワードレート制御方式）を説明する。
改良フィードフォワードレート制御方式は、第４の実施形態に示したフィードフォワードレート制御方式を、目標データ量Ｔj に対して実際に生成される圧縮映像データのデータ量Ｓj の値が多い場合であっても、圧縮映像データの品質を高く保つことができ、しかも、映像が複雑な絵柄から簡単な絵柄に変化した場合のパラメータＲj ’の値が速やかに回復するように改良したものである。
【０１８７】
第６の実施形態において、映像データ圧縮装置４は、ＶＢＶバッファの占有量Ｂn および指標データ（ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティ）に基づいて目標データ量Ｔj をフィードフォワード制御し、さらに、パラメータＲj ’が所定の下限値以下になることを制限することにより、第４の実施形態におけるレート制御と同様な効果を得るとともに、圧縮映像データの品質の著しい低下を防ぐ。
【０１８８】
各構成部分の動作
以下、映像データ圧縮装置４の各構成部分の内、映像データ圧縮装置４においてと処理内容が異なる量子化制御部２８０（図１７）の目標データ量算出回路２８４およびパラメータ算出回路２８６（図１８）の動作（処理内容）を説明する。
目標データ量算出回路２８４の動作
目標データ量算出回路２８４は、実難度データ算出回路２８２が指標データから算出した実難度データＤj （ＤI ，Ｄp ，ＤB ）と、パラメータ算出回路２８６がＶＢＶバッファの占有量Ｂn および実難度データＤj から算出したパラメータＲj ’とに基づいて各ピクチャータイプの目標データ量Ｔj を算出する。
【０１８９】
パラメータ算出回路２８６の動作
レート制御方法
パラメータ算出回路２８６は、第４の実施形態においてと同様に、ＶＢＶバッファの占有量を考慮してパラメータＲj ’の値を調節することによりレート制御を行う。
但し、パラメータ算出回路２８６は、パラメータＲj ’に対して下限値Ｒmin
を設定し、パラメータＲj ’が下限値Ｒmin 以下〔Ｒj ’＜Ｒmin 〕になった場合に〔Ｒj ’＝Ｒmin 〕とし、パラメータＲj ’が下限値Ｒmin 以下にならないように制限する。下限値Ｒmin としては、例えば、〔Ｒmin ＝frame-bit ×Ｌ×３／４〕あるいは〔Ｒmin ＝frame-bit ×Ｌ×１／４〕といった値が用いられる。
【０１９０】
式３に示したように、第ｊ番目のピクチャーのデータ量がＳj であり、第ｊ＋Ｌ番目のピクチャーのデータ量がＳj+L であり、ピクチャータイプに応じてパラメータＲj ’に加算されるデータ量がＦj+L である場合には、次のパラメータＲj+1 ’の値は、〔Ｒj+1 ’＝Ｒj ’−Ｓj ＋Ｆj+L 〕となる。しかしながら、次のパラメータＲj+1 ’（＝Ｒj ’−Ｓj ＋Ｆj+L ）もまた下限値Ｒmin 以下〔Ｒj+1 ’＜Ｒmin 〕となる可能性がある。この場合には、次のパラメータＲj+1 ’を、式１７に示したように下限値Ｒmin に制限する。
【０１９１】
また、パラメータ算出回路２８６は、借金額をパラメータsum-supplementとして記憶する。従って、パラメータＲj ’の値を上述のように下限値Ｒmin に制限しない場合には、式１５に示したようにパラメータsum-supplementの更新を行い、パラメータＲj ’の値を下限値Ｒmin に制限した場合には、式１８に示したように補給データ量supplementを累加算してパラメータsum-supplementの更新を行う。
【０１９２】
パラメータ算出回路２８６の処理内容のまとめ
以下、再び図１９を参照して、第６の実施形態におけるパラメータ算出回路２８６によるレート制御処理および関連部分の処理の内容を詳細に説明する。
ステップ６００（Ｓ６００）において、パラメータ算出回路２８６は、ＶＢＶバッファの占有量Ｂn に応じてＳ６０２またはＳ６１２の処理に進む。なお、パラメータ算出回路２８６は、Ｓ６００の処理におけるＶＢＶバッファの占有量Ｂn の判断を、エンコーダ２８がＰピクチャーを生成した直後にのみ行ってもよい。
【０１９３】
ステップ６０２（Ｓ６０２）において、パラメータ算出回路２８６は、式９−１によりＮ枚のピクチャーの実難度データＤj の総和sum-difficultyの値が閾値Ｔｈ１より大きいか否かを判断し、判断結果に応じてＳ６０４またはＳ６０８の処理に進む。
ステップ６０４（Ｓ６０４）において、パラメータ算出回路２８６は、式９−２によりパラメータＲj ’が閾値（Ｇ＋Ｔｈ２）よりも多いか否かを判断し、判断結果に応じてＳ６０６またはＳ６１６の処理に進む。
【０１９４】
ステップ６０６（Ｓ６０６）において、パラメータ算出回路２８６は、例えば式１０−１、式１０−２および式１１により補給データ量supplementを算出する。
ステップ６０８（Ｓ６０８）において、パラメータ算出回路２８６は、補給データ量supplementが補償されているか否かを判断し、判断結果に応じてＳ６１０またはＳ６１２の処理に進む。
ステップ６１０（Ｓ６１０）において、パラメータ算出回路２８６は、補給データ量supplementの補償のために、式１２により負値の補給データ量supplementを算出する。
【０１９５】
ステップ６１２（Ｓ６１２）において、パラメータ算出回路２８６は、式１３により負値の補給データ量supplementを算出し、ＶＢＶバッファのアンダーフローを防止する。
ステップ６１４（Ｓ６１４）において、パラメータ算出回路２８６は、式１４，式１５によりパラメータＲj ’，sum-supplementを算出し、パラメータＲj ’が下限値Ｒmin 以下になる場合には、パラメータＲj ’を下限値Ｒmin に制限する。
【０１９６】
ステップ６１６（Ｓ６１６）において、目標データ量算出回路２８４は、第５の実施形態に示したエンコーダ２６の目標データ量算出回路２６４とは異なり、式１６の代わりに式１を用いて目標データ量Ｔj を算出する。
ステップ６１８（Ｓ６１８）において、エンコーダ２８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ６２０（Ｓ６２０）において、パラメータ算出回路２８６は、式３により次のパラメータＲj+1 ’を算出し、更新する。
【０１９７】
ステップ６２２（Ｓ６２２）において、パラメータ算出回路２８６は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断する。次のパラメータＲj+1 ’が下限値Ｒmin より大きい場合にはＳ６２８の処理に進み、大きくない場合にはＳ６２４の処理に進む。
ステップ６２４（Ｓ６２４）において、パラメータ算出回路２８６は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０１９８】
ステップ６２６（Ｓ６２６）において、パラメータ算出回路２８６は、式１８によりパラメータsum-supplementを更新する。
ステップ６２８（Ｓ６２８）において、パラメータ算出回路２８６は、変数ｊをインクリメントする。
【０１９９】
以下、第６の実施形態における映像データ圧縮装置４（図１６）の動作を説明する。
動き検出器１４は、動きベクトルおよびＭＥ残差の生成等の処理を行う。
エンコーダ制御部２２は、ピクチャーの並び替え処理および指標データ（フラットネス、イントラＡＣおよびアクティビティ）の生成等の処理を行う。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【０２００】
エンコーダ２８（図１６）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２８０の実難度データ算出回路２８２は、実難度データＤj を算出する。
パラメータ算出回路２８６は、図１９に示したようにパラメータＲj ’の算出を行い、目標データ量算出回路２８４は、最も新しく生成された各ピクチャータイプのピクチャーの実難度データＤj （ＤI ，Ｄp ，ＤB ）に基づいて、式１により目標データ量Ｔj を算出する。
【０２０１】
量子化インデックス生成回路２８８は、算出された目標データ量Ｔj に基づいて、量子化インデックスを算出し、エンコーダ２８の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態等においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０２０２】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態等においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データを生成し、バッファメモリ１８２を介して出力する。
【０２０３】
変形例
以下、再び図２０を参照して、映像データ圧縮装置１（図１〜図３）の動作を変更し、第６の実施形態に示した改良フィードフォワードレート制御を応用する変形例を説明する。
映像データ圧縮装置１のホストコンピュータ２０は、ＶＢＶバッファを考慮したレート制御を行わないので、図１９に示したＳ６００〜Ｓ６１４に対応する処理を行わず、Ｓ６１６〜６２８に対応する処理のみを行う。
【０２０４】
ステップ７００（Ｓ７００）において、映像データ圧縮装置１のホストコンピュータ２０は、式１により目標データ量Ｔj を算出する。
ステップ７０２（Ｓ７０２）において、エンコーダ１８は、量子化インデックスＱＩＮＤを用いて圧縮符号化処理を行う。
ステップ７０４（Ｓ７０４）において、ホストコンピュータ２０は、式３により、次のパラメータＲj+1 ’を算出し、更新する。
【０２０５】
ステップ７０６（Ｓ７０６）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’が下限値Ｒmin より大きいか否かを判断し、判断結果に応じてＳ７１２またはＳ６０８の処理に進む。
ステップ７０８（Ｓ７０８）において、ホストコンピュータ２０は、次のパラメータＲj+1 ’を下限値Ｒmin に制限する。
【０２０６】
ステップ７１０（Ｓ７１０）において、ホストコンピュータ２０は、式１８によりパラメータsum-supplementを更新する。
ステップ７１２（Ｓ７１２）において、ホストコンピュータ２０は、変数ｊをインクリメントする。
【０２０７】
また、図２０に示した処理において、パラメータＲj ’を、ＭＰＥＧのＴＭ５におけるパラメータＲに置換することにより、改良フィードフォワードレート制御方式を、ＭＰＥＧのＴＭ５自体に応用することも可能である。
しかしながら、ＭＰＥＧのＴＭ５におけるパラメータＲは、ＧＯＰの最初の部分のピクチャーに対しては大きな値をとるが、ＧＯＰの終わりの部分に対しては殆ど０に近い値になる。このような性質を有するパラメータＲに、負値の固定の下限値Ｒmin 〔例えば、Ｒmin ＝−２×frame-bit 〕を設定することも可能であるが、効果が薄い。
【０２０８】
そこで、改良フィードフォワードレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合には、図２１に示したように、下限値Ｒmin を定める関数を導入することにより、第６の実施例においてと同様の効果を得ることができる。
【０２０９】
つまり、ＭＰＥＧのＴＭ５においては、ＧＯＰの最初の部分のピクチャーに対してパラメータＲが大きくなるように、終わりの部分のピクチャーに対してパラメータＲの値が０に近づくので、図２１に例示したように、ＧＯＰの最初で下限値Ｒmin の値が(N/2×frame-bit)となり、ＧＯＰの最後で下限値Ｒmin の値が(-N/2 ×frame-bit)となるような直線を引き、パラメータＲがこの直線を下回る場合に、第６の実施形態に示した改良フィードフォワードレート制御方式と同様に、パラメータＲを直線上の下限値Ｒmin に制限し、差分値を別パラメータとして記憶しておけばよい。
また、第６の実施形態に示した各パラメータを定義する式は例示であり、映像データ圧縮装置４の構成・用途に合わせて、各式を変更することができる。
【０２１０】
以上説明したように、第６の実施形態に示した改良フィードフォワードレート制御方式によれば、入力映像データの映像の絵柄が、圧縮後のデータレートに対して難しく、データ量が大きくなりすぎる場合においても、ピクチャタイプに応じたデータ量の配分を保ったレート制御が可能であり、圧縮映像データの品質を向上させることができる。
また、下限値を設けたため、難しい入力映像データの映像の絵柄が簡単になった場合にも、短い時間の内に圧縮映像データに多くのデータ量を配分するようにパラメータＲ，Ｒj ’を回復することができ、圧縮映像データの品質のムラの発生を防ぐことができる。
【図面の簡単な説明】
【０２１１】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】第２の実施形態における本発明に係る映像データ圧縮装置の構成の概要を示す図である。
【図６】図５に示した映像データ圧縮装置２の圧縮符号化部の詳細な構成を示す図である。
【図７】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図８】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図９】フラットネスの計算方法を示す図である。
【図１０】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図１１】映像データ圧縮装置（図１〜図３，図５，図６）により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
【図１２】ＭＰＥＧのＭＰ＠ＭＬ方式により、映像データ圧縮装置（図１〜図３，図５，図６）が、圧縮映像データのＧＯＰの発生ビット量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。
【図１３】図１３に示したエンコーダの構成を示す図である。
【図１４】図１３に示した目標データ量算出回路の処理を示すフローチャート図である。
【図１５】ＭＰＥＧのＭＰ＠ＭＬ方式により、エンコーダ（図１３）が、圧縮映像データのＧＯＰのデータ量をほぼ一定に保って固定長符号化を行った場合のＶＢＶバッファの占有量Ｂn の経時的な変化の評価結果を示す図である。
【図１６】第４の実施形態における本発明に係る映像データ圧縮装置の構成を示す図である。
【図１７】図１６に示したエンコーダの構成を示す図である。
【図１８】図１７に示した量子化制御部の構成を示す図である。
【図１９】第５の実施形態における目標データ量算出回路の処理を示すフローチャート図である。
【図２０】映像データ圧縮装置（図１〜図３）の動作を変更し、第５の実施形態に示した改良フィードバックレート制御を行う場合の処理を示すフローチャート図である。
【図２１】第５の実施形態に示した改良フィードバックレート制御方式を、ＭＰＥＧのＴＭ５自体に応用する場合に用いる下限値Ｒmin を定める関数を示す図である。
【符号の説明】
【０２１２】
１，２，４…映像データ圧縮装置、１０，２４…圧縮符号化部、１２，２２…エンコーダ制御部、１４…動き検出器、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８，２６，２８…エンコーダ、２６０，２８０…量子化制御部、２６２…ＧＣ算出回路、２８２…実難度データ算出回路、２８４，２６４…目標データ量算出回路、２８６…パラメータ算出回路、２６６，２８８…量子化インデックス生成回路、１６４…加算回路、１６６…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符号化回路、１７２…逆量子化回路、１７４…逆ＤＣＴ回路、１７６…加算回路、１７８…動き補償回路、１８０…量子化制御回路、１８２…バッファメモリ、２０…ホストコンピュータ
【図１】
2007053788.tif 000021
【図２】
2007053788.tif 000022
【図３】
2007053788.tif 000023
【図４】
2007053788.tif 000024
【図５】
2007053788.tif 000025
【図６】
2007053788.tif 000026
【図７】
2007053788.tif 000027
【図８】
2007053788.tif 000028
【図９】
2007053788.tif 000029
【図１０】
2007053788.tif 000030
【図１１】
2007053788.tif 000031
【図１２】
2007053788.tif 000032
【図１３】
2007053788.tif 000033
【図１４】
2007053788.tif 000034
【図１５】
2007053788.tif 000035
【図１６】
2007053788.tif 000036
【図１７】
2007053788.tif 000037
【図１８】
2007053788.tif 000038
【図１９】
2007053788.tif 000039
【図２０】
2007053788.tif 000040
【図２１】
2007053788.tif 000041
【手続補正書】
【提出日】平成18年10月30日(2006.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
非圧縮映像データを圧縮する映像データ圧縮装置であって、
前記非圧縮映像データから、前記非圧縮映像データの絵柄の複雑さを示す難度データをピクチャごとに算出する難度データ算出手段と、
前記難度データ算出手段により算出された前記難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当てるデータ量割当手段と、
前記データ量割当手段により割り当てられたデータ量及び前記難度データ算出手段により算出された難度データに応じて、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出する目標データ量算出手段と、
各ピクチャの圧縮後のデータ量が前記目標データ量算出手段により算出された目標データ量になるように、前記非圧縮映像データを圧縮する圧縮手段と
を有する映像データ圧縮装置。
【請求項２】
前記データ量割当手段は、前記パラメータが所定の下限値以下となることを制限する
請求項１に記載の映像データ圧縮装置。
【請求項３】
前記難度データ算出手段は、前記圧縮映像データをピクチャ単位で圧縮した圧縮映像データのデータ量に対応する実難度データ、又は、グローバルコンプレクシティを、前記難度データとして算出する
請求項１に記載の映像データ圧縮装置。
【請求項４】
前記圧縮手段は、ＭＰＥＧ規格に従って前記非圧縮映像データを圧縮し、
前記仮想的なバッファは、ＶＢＶバッファである
請求項１に記載の映像データ圧縮装置。
【請求項５】
前記難度データ算出手段は、Ｉピクチャとして圧縮するピクチャから、フラットネス又はイントラＡＣを前記難度データとして算出する
請求項１に記載の映像データ圧縮装置。
【請求項６】
前記難度データ算出手段は、Ｐピクチャ又はＢピクチャとして圧縮するピクチャから、ＭＥ残差を前記難度データとして算出する
請求項１に記載の映像データ圧縮装置。
【請求項７】
非圧縮映像データを圧縮する映像データ圧縮装置であって、
前記非圧縮映像データをピクチャ単位で圧縮することにより、圧縮された圧縮映像データのデータ量に対応する実難度データをピクチャごとに算出する実難度データ算出手段と、
前記難度データ算出手段により算出された前記難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当てるデータ量割当手段と、
前記データ量割当手段により割り当てられたデータ量及び前記難度データ算出手段により算出された難度データに応じて、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出する目標データ量算出手段と、
各ピクチャの圧縮後のデータ量が前記目標データ量算出手段により算出された目標データ量になるように、前記非圧縮映像データを圧縮する圧縮手段と
を有する映像データ圧縮装置。
【請求項８】
非圧縮映像データを圧縮する映像データ圧縮方法であって、
前記非圧縮映像データから、前記非圧縮映像データの絵柄の複雑さを示す難度データをピクチャごとに算出し、
ＶＢＶバッファがアンダーフローするまでの残りデータ量及び前記算出された前記難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当て、
前記割り当てたデータ量及び前記算出した難度データに応じて、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出し、
各ピクチャの圧縮後のデータ量が前記算出した目標データ量になるように、前記非圧縮映像データを圧縮する
映像データ圧縮方法。
【請求項９】
非圧縮映像データを圧縮する映像データ圧縮方法であって、
前記非圧縮映像データをピクチャ単位で圧縮することにより、圧縮された圧縮映像データのデータ量に対応する実難度データをピクチャごとに算出し、
ＶＢＶバッファがアンダーフローするまでの残りデータ量及び前記算出した難度データに応じて、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当てるデータ量割当手段と、
前記データ量割当手段により割り当てられたデータ量及び前記算出した難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出し、
各ピクチャの圧縮後のデータ量が前記算出した目標データ量になるように、前記非圧縮映像データを圧縮する
映像データ圧縮方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するために、本発明に係る映像データ圧縮装置は、非圧縮映像データを圧縮する映像データ圧縮装置であって、前記非圧縮映像データから、前記非圧縮映像データの絵柄の複雑さを示す難度データをピクチャごとに算出する難度データ算出手段と、前記難度データ算出手段により算出された前記難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当てるデータ量割当手段と、前記データ量割当手段により割り当てられたデータ量及び前記難度データ算出手段により算出された難度データに応じて、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出する目標データ量算出手段と、各ピクチャの圧縮後のデータ量が前記目標データ量算出手段により算出された目標データ量になるように、前記非圧縮映像データを圧縮する圧縮手段とを有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、本発明に係る映像データ圧縮装置は、非圧縮映像データを圧縮する映像データ圧縮装置であって、前記非圧縮映像データをピクチャ単位で圧縮することにより、圧縮された圧縮映像データのデータ量に対応する実難度データをピクチャごとに算出する実難度データ算出手段と、前記難度データ算出手段により算出された前記難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当てるデータ量割当手段と、前記データ量割当手段により割り当てられたデータ量及び前記難度データ算出手段により算出された難度データに応じて、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出する目標データ量算出手段と、各ピクチャの圧縮後のデータ量が前記目標データ量算出手段により算出された目標データ量になるように、前記非圧縮映像データを圧縮する圧縮手段とを有する。
また、本発明に係る映像データ圧縮方法は、非圧縮映像データを圧縮する映像データ圧縮方法であって、前記非圧縮映像データから、前記非圧縮映像データの絵柄の複雑さを示す難度データをピクチャごとに算出し、ＶＢＶバッファがアンダーフローするまでの残りデータ量及び前記算出された前記難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当て、前記割り当てたデータ量及び前記算出した難度データに応じて、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出し、各ピクチャの圧縮後のデータ量が前記算出した目標データ量になるように、前記非圧縮映像データを圧縮する。
また、本発明に係る映像データ圧縮方法は、非圧縮映像データを圧縮する映像データ圧縮方法であって、前記非圧縮映像データをピクチャ単位で圧縮することにより、圧縮された圧縮映像データのデータ量に対応する実難度データをピクチャごとに算出し、ＶＢＶバッファがアンダーフローするまでの残りデータ量及び前記算出した難度データに応じて、非圧縮映像データの所定数のピクチャに圧縮後のデータ量を割り当てるデータ量割当手段と、前記データ量割当手段により割り当てられたデータ量及び前記算出した難度データに応じて、前記圧縮映像データを復号する復号手段における入力バッファに対応する仮想的なバッファの制約条件の範囲内で前記非圧縮映像データの所定期間の圧縮処理に伴うデータ量が一定となるように、前記仮想的なバッファがアンダーフローするまでの残りのデータ量を割り当てるパラメータを制御して、前記非圧縮映像データの圧縮処理に伴う各ピクチャの目標データ量を算出し、各ピクチャの圧縮後のデータ量が前記算出した目標データ量になるように、前記非圧縮映像データを圧縮する。