(57)【要約】【課題】映像データの動きの大きさ、絵柄の複雑さに応じて、量子化値を求めるために用いられる重み付け係数Ｋp ，ＫB を最適化する。【解決手段】エンコーダ２６が、１ピクチャー分の圧縮符号化を行うたびに、ＣＧ算出回路２６２は、量子化値の平均値および圧縮映像データのデータ量から、ＭＰＥＧ方式のＴＭ５のグローバルコンプレクシティを算出する。目標データ量算出回路２６４は、最新の各ピクチャータイプの実難度データＤj により各ピクチャータイプの重み付け係数Ｋp ，ＫB を更新し、次のピクチャーの目標データ量Ｔj を算出する。量子化インデックス生成回路２６６は、算出された目標データ量Ｔj に対応する量子化インデックス（量子化値）を算出し、量子化回路１６８は、量子化インデックスに基づいて、ＤＣＴ回路１６６から入力される映像データを量子化する。【選択図】図２６
2006148953.tif 000002
【特許請求の範囲】
【請求項１】
非圧縮映像データを、所定の圧縮方式により、複数の種類のピクチャー（Ｉフレーム、ＰフレームおよびＢフレーム）を所定の順番で含むピクチャータイプシーケンスの圧縮映像データに圧縮する映像データ圧縮装置であって、
前記ピクチャータイプそれぞれの圧縮後のデータ量に対応し、前記非圧縮映像データの難しさを示す難度データを算出する難度データ算出手段と、
算出した前記ピクチャータイプそれぞれの難度データ、および、前記ピクチャータイプそれぞれの圧縮後のデータ量を重み付けする重み付け係数に基づいて、前記ピクチャータイプそれぞれのピクチャーの圧縮後のデータ量の目標値を算出する目標値算出手段と、
前記非圧縮映像データのピクチャータイプそれぞれのピクチャーを、所定の圧縮方法により、圧縮後のデータ量が算出した前記ピクチャータイプの目標値になるように圧縮して前記圧縮映像データを生成する圧縮手段と、
生成した圧縮映像データのデータ量に基づいて、前記ピクチャータイプそれぞれの重み付け係数を更新する重み付け係数更新手段と
を有する映像データ圧縮装置。
【請求項２】
前記重み付け係数更新手段は、少なくともＰピクチャーの重み付け係数Ｋp およびＢピクチャーの重み付け係数ＫB を、圧縮後のデータ量を多くできる場合、および、非圧縮映像データの映像の動きが大きい場合に、圧縮後のＰピクチャーおよびＢピクチャーの圧縮後のデータ量が多くなる値とする
請求項１に記載の映像データ圧縮装置。
【請求項３】
前記重み付け係数更新手段は、少なくともＰピクチャーの重み付け係数Ｋp およびＢピクチャーの重み付け係数ＫB それぞれを、所定数のピクチャーごとに均等に配分したデータ量Ｇに対する所定数の難度データＤk の加算値ΣＤk の比率ｘ（ｘ＝ΣＤk ／Ｇ）と、最新のＩピクチャーの難度データに対する最新のＰピクチャーの難度データの比率（ＤI ／Ｄp ）、および、Ｉピクチャーの難度データに対する最新のＢピクチャーの難度データの比率（ＤI ／ＤB ）とに基づいて算出し、更新する
請求項２に記載の映像データ圧縮装置。
【請求項４】
前記重み付け係数更新手段は、ＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB にそれぞれ上限値Ｌp ，ＬB を設け、算出した前記重み付け係数Ｋp ，ＫB が前記上限値Ｌp ，ＬB を超える場合に、前記上限値Ｌp ，ＬB を超えた前記重み付け係数Ｋp ，ＫB の値を前記上限値Ｌp ，ＬB とする
請求項３に記載の映像データ圧縮装置。
【請求項５】
前記目標値算出手段は、Ｉピクチャー、ＰピクチャーおよびＢピクチャーの目標値Ｔj を、Ｐピクチャーの重み付け係数Ｋp 、Ｂピクチャーの重み付け係数ＫB 、第ｊ番目のピクチャーの難度データＤj 、最新のＩピクチャーの難度データＤI 、各ピクチャーに均等に配分した場合のデータ量Ｒj 、所定数のＰピクチャーの難度データを加算した加算値ΣＤp 、および、所定数のＢピクチャーの難度データを加算した加算値ΣＤB に基づいて算出する
請求項１に記載の映像データ圧縮装置。
【請求項６】
前記目標値算出手段は、
Ｉピクチャーの第ｊ番目のピクチャーの目標値Ｔj を第１の数式〔Ｔj ＝Ｋp
ＫB Ｄj Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出し、
Ｐピクチャーの第ｊ番目のピクチャーの目標値Ｔpjを第２の数式〔Ｔj ＝ＫB
ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出し、
Ｂピクチャーの第ｊ番目のピクチャーの目標値Ｔj を第３の数式〔Ｔj ＝Ｋp
ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出する
請求項５に記載の映像データ圧縮装置。
【請求項７】
非圧縮映像データを、所定の圧縮方式により、複数の種類のピクチャー（Ｉフレーム、ＰフレームおよびＢフレーム）を所定の順番で含むピクチャータイプシーケンスの圧縮映像データに圧縮する映像データ圧縮方法であって、
前記ピクチャータイプそれぞれの圧縮後のデータ量に対応し、前記非圧縮映像データの難しさを示す難度データを算出し、
算出した前記ピクチャータイプそれぞれの難度データ、および、前記ピクチャータイプそれぞれの圧縮後のデータ量を重み付けする重み付け係数に基づいて、前記ピクチャータイプそれぞれのピクチャーの圧縮後のデータ量の目標値を算出し、
前記非圧縮映像データのピクチャータイプそれぞれのピクチャーを、所定の圧縮方法により、圧縮後のデータ量が算出した前記ピクチャータイプの目標値になるように圧縮して前記圧縮映像データを生成し、
生成した圧縮映像データのデータ量に基づいて、前記ピクチャータイプそれぞれの重み付け係数を更新する
映像データ圧縮方法。
【請求項８】
少なくともＰピクチャーの重み付け係数Ｋp およびＢピクチャーの重み付け係数ＫB を、圧縮後のデータ量を多くできる場合、および、非圧縮映像データの映像の動きが大きい場合に、圧縮後のＰピクチャーおよびＢピクチャーの圧縮後のデータ量が多くなる値とする
請求項７に記載の映像データ圧縮方法。
【請求項９】
少なくともＰピクチャーの重み付け係数Ｋp およびＢピクチャーの重み付け係数ＫB それぞれを、所定数のピクチャーごとに均等に配分したデータ量Ｇに対する所定数の難度データＤk の加算値ΣＤk の比率ｘ（ｘ＝ΣＤk ／Ｇ）と、最新のＩピクチャーの難度データに対する最新のＰピクチャーの難度データの比率（ＤI ／Ｄp ）、および、Ｉピクチャーの難度データに対する最新のＢピクチャーの難度データの比率（ＤI ／ＤB ）とに基づいて算出し、更新する
請求項８に記載の映像データ圧縮方法。
【請求項１０】
ＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB にそれぞれ上限値Ｌp ，ＬB を設け、算出した前記重み付け係数Ｋp ，ＫB が前記上限値Ｌp ，ＬB を超える場合に、前記上限値Ｌp ，ＬB を超えた前記重み付け係数Ｋp ，ＫB
の値を前記上限値Ｌp ，ＬB とする
請求項９に記載の映像データ圧縮方法。
【請求項１１】
Ｉピクチャー、ＰピクチャーおよびＢピクチャーの目標値Ｔj を、Ｐピクチャーの重み付け係数Ｋp 、Ｂピクチャーの重み付け係数ＫB 、第ｊ番目のピクチャーの難度データＤj 、最新のＩピクチャーの難度データＤI 、各ピクチャーに均等に配分した場合のデータ量Ｒj 、所定数のＰピクチャーの難度データを加算した加算値ΣＤp 、および、所定数のＢピクチャーの難度データを加算した加算値ΣＤB に基づいて算出する
請求項７に記載の映像データ圧縮方法。
【請求項１２】
Ｉピクチャーの第ｊ番目のピクチャーの目標値Ｔj を第１の数式〔Ｔj ＝Ｋp
ＫB Ｄj Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出し、
Ｐピクチャーの第ｊ番目のピクチャーの目標値Ｔpjを第２の数式〔Ｔj ＝ＫB
ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出し、
Ｂピクチャーの第ｊ番目のピクチャーの目標値Ｔj を第３の数式〔Ｔj ＝Ｋp
ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出する
請求項１１に記載の映像データ圧縮方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非圧縮映像データを圧縮符号化する映像データ圧縮装置およびその方法に関する。
【背景技術】
【０００２】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により、Ｉピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly predictive coded picture)およびＰピクチャー(predictive coded picture)から構成されるＧＯＰ(group of pictures) 単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。
【０００３】
このために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る映像データ圧縮装置は、非圧縮映像データを、所定の圧縮方式により、複数の種類のピクチャー（Ｉフレーム、ＰフレームおよびＢフレーム）を所定の順番で含むピクチャータイプシーケンスの圧縮映像データに圧縮する映像データ圧縮装置であって、前記ピクチャータイプそれぞれの圧縮後のデータ量に対応し、前記非圧縮映像データの難しさを示す難度データを算出する難度データ算出手段と、算出した前記ピクチャータイプそれぞれの難度データ、および、前記ピクチャータイプそれぞれの圧縮後のデータ量を重み付けする重み付け係数に基づいて、前記ピクチャータイプそれぞれのピクチャーの圧縮後のデータ量の目標値を算出する目標値算出手段と、前記非圧縮映像データのピクチャータイプそれぞれのピクチャーを、所定の圧縮方法により、圧縮後のデータ量が算出した前記ピクチャータイプの目標値になるように圧縮して前記圧縮映像データを生成する圧縮手段と、生成した圧縮映像データのデータ量に基づいて、前記ピクチャータイプそれぞれの重み付け係数を更新する重み付け係数更新手段とを有する。
【０００７】
好適には、前記重み付け係数更新手段は、少なくともＰピクチャーの重み付け係数Ｋp およびＢピクチャーの重み付け係数ＫB を、圧縮後のデータ量を多くできる場合、および、非圧縮映像データの映像の動きが大きい場合に、圧縮後のＰピクチャーおよびＢピクチャーの圧縮後のデータ量が多くなる値とする。
【０００８】
好適には、前記重み付け係数更新手段は、少なくともＰピクチャーの重み付け係数Ｋp およびＢピクチャーの重み付け係数ＫB それぞれを、所定数のピクチャーごとに均等に配分したデータ量Ｇに対する所定数の難度データＤk の加算値ΣＤk の比率ｘ（ｘ＝ΣＤk ／Ｇ）と、最新のＩピクチャーの難度データに対する最新のＰピクチャーの難度データの比率（ＤI ／Ｄp ）、および、Ｉピクチャーの難度データに対する最新のＢピクチャーの難度データの比率（ＤI ／ＤB ）とに基づいて算出し、更新する。
【０００９】
好適には、前記重み付け係数更新手段は、ＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB にそれぞれ上限値Ｌp ，ＬB を設け、算出した前記重み付け係数Ｋp ，ＫB が前記上限値Ｌp ，ＬB を超える場合に、前記上限値Ｌp ，ＬB を超えた前記重み付け係数Ｋp ，ＫB の値を前記上限値Ｌp ，ＬB とする。
【００１０】
好適には、前記目標値算出手段は、Ｉピクチャー、ＰピクチャーおよびＢピクチャーの目標値Ｔj を、Ｐピクチャーの重み付け係数Ｋp 、Ｂピクチャーの重み付け係数ＫB 、第ｊ番目のピクチャーの難度データＤj 、最新のＩピクチャーの難度データＤI 、各ピクチャーに均等に配分した場合のデータ量Ｒj 、所定数のＰピクチャーの難度データを加算した加算値ΣＤp 、および、所定数のＢピクチャーの難度データを加算した加算値ΣＤB に基づいて算出する。
【００１１】
好適には、前記目標値算出手段は、Ｉピクチャーの第ｊ番目のピクチャーの目標値Ｔj を第１の数式〔Ｔj ＝Ｋp ＫB Ｄj Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp＋Ｋp ΣＤB ）〕により算出し、Ｐピクチャーの第ｊ番目のピクチャーの目標値Ｔpjを第２の数式〔Ｔj ＝ＫB ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出し、Ｂピクチャーの第ｊ番目のピクチャーの目標値Ｔj を第３の数式〔Ｔj ＝Ｋp ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕により算出する。
【００１２】
本発明に係る映像データ圧縮装置は、例えば、ＭＰＥＧ方式等の圧縮符号化方式により、非圧縮映像データを圧縮符号化し、複数の種類のピクチャー（Ｉフレーム、ＰフレームおよびＢフレーム）を所定の順番で含むピクチャータイプシーケンスの圧縮映像データを生成する。
【００１３】
本発明に係る映像データ圧縮装置において、難度データ算出手段は、例えば、所定の数値を所定の関数（一次関数等）に代入することにより、ＤＣＴ処理後のピクチャーを固定の量子化値により量子化した場合のデータ量として求められ、非圧縮映像データの各ピクチャーの絵柄の複雑さを示す難度データを、各ピクチャータイプ（Ｉピクチャー、ＰピクチャーおよびＢピクチャー）別に近似的に算出する。
なお、難度データの算出のための上記所定の数値としては、例えば、ＰピクチャーおよびＢピクチャーの生成時において、動きベクトルを生成する際の２つのピクチャー間の誤差成分の電力パワーとして定義されるＭＥ残差、圧縮符号化後にＩピクチャーとなるピクチャーの絵柄の複雑さを示すデータとして新たに定義されたフラットネスおよびイントラＡＣ、あるいは、量子化処理の際の量子化値を求めるために用いられるグローバルコンプレクシティが用いられる。
【００１４】
目標値算出手段は、算出した各ピクチャータイプの難度データ（Ｄj ：ＤI ，Ｄp ，ＤB ）から、各ピクチャータイプごとの圧縮符号化のデータ量の目標値Ｔj を算出する。具体的には、例えば、目標値算出手段は、Ｐピクチャーの重み付け係数Ｋp 、Ｂピクチャーの重み付け係数ＫB 、第ｊ番目のピクチャーの難度データＤj 、最新のＩピクチャーの難度データＤI 、各ピクチャーに均等に配分した場合のデータ量Ｒj 、所定数のＰピクチャーの難度データを加算した加算値ΣＤp 、および、所定数のＢピクチャーの難度データを加算した加算値ΣＤB の各数値を、第１の数式〔Ｔj ＝Ｋp ＫB Ｄj Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕、第２の数式〔Ｔj ＝ＫB ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕および第３の数式〔Ｔj ＝Ｋp ＤB Ｒj ／（Ｋp ＫB ＤI ＋ＫB ΣＤp ＋Ｋp ΣＤB ）〕にそれぞれ代入し、各ピクチャータイプの目標値Ｔj それぞれを算出する。
圧縮手段は、例えば、ＭＰＥＧ方式により圧縮後の各ピクチャータイプのデータ量がほぼ、目標値算出手段が算出した目標値Ｔj となるように量子化値を制御して、非圧縮映像データのピクチャーそれぞれを圧縮符号化する。
【００１５】
重み付け係数更新手段は、圧縮手段が生成した各ピクチャータイプのデータ量に基づいて、上記第１の数式〜第３の数式における重み付け係数Ｋp ，ＫB を更新し、圧縮映像データの品質が全体として向上するように、非圧縮映像データの絵柄の複雑さに応じた値に最適化する。
具体的には、重み付け係数更新手段は、例えば、圧縮後のデータ量を多くできる場合、および、非圧縮映像データの映像の動きが大きい場合には、圧縮後のＰピクチャーおよびＢピクチャーの圧縮後のデータ量を多くするために、重み付け係数Ｋp ，ＫB を小さな値に制御するとともに、重み付け係数Ｋp ，ＫB にそれぞれ上限値Ｌp ，ＬB を設けることにより、これらの係数が極端な値となることによる映像の品質低下を防止する。
【００１６】
また、本発明に係る映像データ圧縮方法は、非圧縮映像データを、所定の圧縮方式により、複数の種類のピクチャー（Ｉフレーム、ＰフレームおよびＢフレーム）を所定の順番で含むピクチャータイプシーケンスの圧縮映像データに圧縮する映像データ圧縮方法であって、前記ピクチャータイプそれぞれの圧縮後のデータ量に対応し、前記非圧縮映像データの難しさを示す難度データを算出し、算出した前記ピクチャータイプそれぞれの難度データ、および、前記ピクチャータイプそれぞれの圧縮後のデータ量を重み付けする重み付け係数に基づいて、前記ピクチャータイプそれぞれのピクチャーの圧縮後のデータ量の目標値を算出し、前記非圧縮映像データのピクチャータイプそれぞれのピクチャーを、所定の圧縮方法により、圧縮後のデータ量が算出した前記ピクチャータイプの目標値になるように圧縮して前記圧縮映像データを生成し、生成した圧縮映像データのデータ量に基づいて、前記ピクチャータイプそれぞれの重み付け係数を更新する。
【発明の効果】
【００１７】
以上説明したように、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、所定のデータ量以下に音声・映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、ほぼ実時間的に映像データを圧縮符号化することができ、しかも、伸長復号後に高品質な映像を得ることができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後のデータ量を見積もって圧縮率を調節し、圧縮符号化処理を行うことができる。
【発明を実施するための最良の形態】
【００１８】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００１９】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００２０】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２１】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および交流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２２】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行し、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２３】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００２４】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等をホストコンピュータ２０に対して出力する。
【００２５】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００２６】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００２７】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００２８】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、ホストコンピュータ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００２９】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、ホストコンピュータ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００３０】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３１】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３２】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３３】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００３４】
【数１】
2006148953.tif 000003
【００３５】
但し、式１において、Ｄj は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’j の初期値（Ｒ’1 ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００３６】
【数２】
2006148953.tif 000004
【００３７】
【数３】
2006148953.tif 000005
【００３８】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+L は、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示す。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００３９】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+Lは、ホストコンピュータ２０により既に算出されている。
【００４０】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４１】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４２】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４３】
第２実施形態
第１の実施形態に示した簡易２パスエンコード方式によれば、実時間かつ、絵柄の難度に応じた適応的な非圧縮映像データに対する圧縮符号化処理が可能である。しかしながら、第１の実施形態に示した簡易２パスエンコード方式を用いた場合、実時間性が厳しく要求される場合には、ＦＩＦＯメモリ１６０の遅延時間を大きくすることができず、真に適切な目標データ量Ｔj の算出が難しく、圧縮映像データＶＯＵＴを伸長復号して得られる映像の品質が低下してしまう可能性がある。
【００４４】
第２の実施形態においては、第１の実施形態に示した映像データ圧縮装置１（図１）を用い、ホストコンピュータ２０の処理内容を変更して、ＦＩＦＯメモリ１６０の遅延時間を長くしなくても適切な目標データ量Ｔj の値を得ることができるように、非圧縮映像データをＬピクチャー分、予備的に圧縮符号化して得られた圧縮映像データの第ｊ番目のピクチャー〜第（ｊ＋Ｌ−１）番目のピクチャーの実難度データＤj 〜Ｄj+L-1 から、圧縮映像データの第（ｊ＋Ｌ）番目のピクチャー〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャー（Ｂは整数）の難度データ（予測難度データ）Ｄj+L 〜Ｄj+L+B を算出し、実際に得られた難度データＤj 〜Ｄj+L-1 （実難度データ）および予測によって得られた難度データＤ’j+L 〜Ｄ’j+L+B に基づいて、第１の実施形態に示した簡易２パスエンコード方式よりも適切な目標データ量Ｔj の値を得ることができる圧縮符号化方式（予測簡易２パスエンコード方式）を説明する。
【００４５】
まず、第２の実施形態で説明する予測簡易２パスエンコード方式を概念的に説明する。
予測簡易２パスエンコード方式は、徐々に絵柄が難しくなってゆく、つまり、徐々に圧縮符号化時のＤＣＴ処理後の高い周波数成分が多くなり、動きが速くなってゆく非圧縮映像データの絵柄は、さらに難しくなってゆき、逆に、徐々に絵柄が難しくなくなって（簡単になって）ゆく非圧縮映像データの絵柄は、さらに簡単になってゆくであろうと予測可能であることを前提する。
【００４６】
つまり、予測簡易２パスエンコード方式は、ホストコンピュータ２０が、この前提に基づいて、さらに絵柄が難しくなってゆくと予測される場合には、さらに絵柄が難しいピクチャーに備えて、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を節約し、逆に、さらに絵柄が簡単になってゆくと予測される場合には、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を増やすようにエンコーダ１８に対する圧縮率の制御を行う。
【００４７】
さらに、予測簡易２パスエンコード方式の概念的な説明を続ける。
映像データは、一般的に、時間方向および空間方向について相関性が高く、映像データの圧縮符号化は、これらの相関性に着目し、冗長性を除くことにより行われる。
時間方向について相関性が高いということは、現時点の非圧縮映像データのピクチャーの難度とそれ以降の非圧縮映像データのピクチャーの難度とが近いということを意味する。また、難度の増減の傾向も、現時点までの難度の増減の傾向がそれ以降も続くことが多い。
【００４８】
具体例を挙げると、カメラが静止状態からゆっくりとカメラを水平方向に回し初め、最後に一定の回転速度で回転しながら、静止している物体を撮影する場合の非圧縮映像データの絵柄を考える。最初はカメラが停止状態であるため、静止映像が撮影され、絵柄の難度は低くなる。次に、カメラを回し始めて１〜２秒後に一定の回転速度になると仮定すると、カメラを回し始めて１〜２秒間は絵柄の難度は高くなる傾向を示す。この状態を、映像データ圧縮装置１側から見ると、数ＧＯＰ分の圧縮映像データを生成する間、入力される非圧縮映像データの絵柄の難度が高くなる傾向が続くことになる。
【００４９】
従って、この具体例に示したような場合には、非圧縮映像データの絵柄の難度が増大傾向を示した場合に、それ以降の絵柄の難度が増大傾向を示すと予測するのは妥当である。以下に説明する予測簡易２パスエンコード方式は、このような難度および難度の増減傾向の時間的相関性を積極的に利用して、圧縮映像データの各ピクチャーに対して、第１の実施形態に示した簡易２パスエンコード方式においてよりも適切な目標データ量の割り当てを行おうとするものである。
【００５０】
以下、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を説明する。
図５（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、第１の実施形態においてと同様に、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図５（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
【００５１】
ＦＩＦＯメモリ１６０は、第１の実施形態においてと同様に、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、第１の実施形態においてと同様に、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、実難度データＤj を順次、算出する。
【００５２】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図５（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図５（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、第１の実施形態においてと同様に、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図５（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００５３】
従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第（ｊ−Ａ）番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図５（Ｂ）の範囲ｃ、但し、図５はＡ＝０の場合を示す）の圧縮符号化を完了し、これらのピクチャーの圧縮符号化後のデータ量、および、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力している。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、難度データ（実難度データ、図５（Ｂ）の範囲ｄ）Ｄj-A ，Ｄj-A+1 ，…，Ｄj ，Ｄj+1，Ｄj+2 ，…，Ｄj+L-1 の算出を既に終了している。なお、Ａは整数であり、正負を問わない。
【００５４】
ホストコンピュータ２０は、実難度データＤj-A ，Ｄj-a+1 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 に基づいて、映像データＳ１２の第（ｊ＋Ｌ）番目〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャーの圧縮符号化後の難度データ（予測難度データ、図５（Ｂ）の範囲ｅ）Ｄ’j+L ，Ｄ’j+L+1 ，Ｄ’j+L+2 ，…，Ｄ’j+L+Bを予測し、下に示す式４により、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出する。従って、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出するために、実難度データと予測難度データとを含めて、図５（Ｂ）の範囲ｃの（Ａ＋Ｌ＋Ｂ＋１）ピクチャー分の難度データを用いることになる。なお、予測難度データＤj ’は、例えば、実難度データＤj を直線近似し、近似により得られた直線を外挿する等の方法により算出されうる。
【００５５】
【数４】
2006148953.tif 000006
【００５６】
なお、式４の各記号は、式１の各記号に同じである。
エンコーダ１８は、第１の実施形態と同様に、ホストコンピュータ２０により量子化制御回路１８０に設定された目標データ量Ｔj に基づいて、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図５（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図５（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｌ＋１）番目のピクチャー（図５（Ｃ）のピクチャーｂ’）以前の図５（Ｃ）の範囲ｄ’の実難度データＤj-A+1，Ｄj-A+2 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L 、および、図５（Ｃ）の範囲ｅ’に示す予測難度データ、Ｄ’j+L+1 ，Ｄ’j+L+2 ，Ｄ’j+L+3 ，…，Ｄ’j+L+B+1 、つまり、図５（Ｃ）の範囲ｃ’に示す実難度データと予測難度データとに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔj+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔj+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の予測簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００５７】
以下、図６を参照して、第２の実施形態における映像データ圧縮装置１の動作を整理して説明する。
図６は、第２の実施形態における映像データ圧縮装置１（図１）の動作を示すフローチャートである。
図６に示すように、ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、式１等に用いられる数値ｊ，Ｒ’1 を、ｊ＝−（Ｌ−１），Ｒ’1 ＝(Bit rate ×(L+B))/Picture rate として初期化する。
【００５８】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、数値ｊが０より大きいか否かを判断する。数値ｊが０より大きい場合にはＳ１０６の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１０６（Ｓ１０６）において、エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーを圧縮符号化し、実難度データＤj+L を生成する。
【００５９】
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は数値ｊをインクリメントする（ｊ＝ｊ＋１）。
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ１１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
【００６０】
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、数値ｊが数値Ａよりも大きいか否かを判断する。数値ｊが数値Ａよりも大きい場合にはＳ１１４の処理に進み、小さい場合にはＳ１１６の処理に進む。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、実難度データＤj-A 〜Ｄj+L-1 に基づいて、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は実難度データＤ1 〜Ｄj+L-1 から、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
【００６１】
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、式４を用いて目標データ量Ｔj を算出し、エンコーダ１８の量子化制御回路１８０に設定する。さらに、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔj に基づいて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化し、第ｊ番目のピクチャーから実際に得られた圧縮映像データのデータ量Ｓj をホストコンピュータ２０に対して出力する。
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、エンコーダ１８からのデータ量Ｓj を記憶し、さらに、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーの実難度データＤj+L を出力する。
【００６２】
ステップ１２２（Ｓ１２２）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目を圧縮符号化して得られた圧縮映像データＶＯＵＴを外部に出力する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、ピクチャータイプに応じて、式３中に用いられる数値Ｆj+L を算出する。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式３に示した演算（Ｒ’j+1 ＝Ｒ’j −Ｓj ＋Ｆj+L ）を行う。
【００６３】
以上説明したように、第２の実施形態に示した映像データ圧縮装置１による予測簡易２パスエンコードによれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に基づいて予測した難度をさらに用いて適応的に非圧縮映像データＶＩＮを圧縮符号化することができ、簡易２パスエンコード方式に比べて、より適切な目標データ量を圧縮映像データの各ピクチャーに割り当てることが可能である。従って、予測簡易２パスエンコード方式による圧縮映像データを伸長復号した場合、簡易２パスエンコード方式による圧縮映像データを伸長復号した場合に比べて、より高品質な映像を得ることができる。
【００６４】
第３実施形態
以下、本発明の第３の実施形態として、編集処理により、複数の非圧縮映像データ（以下、非圧縮映像データをシーンとも記す）を連続的に接続して１つの非圧縮映像データ（編集映像データ）とし、この複数のシーンからなる編集映像データを、第１の実施形態に示した映像データ圧縮装置１（図１）を用いた簡易２パスエンコード方式により圧縮符号化する方法を説明する。
【００６５】
図７（Ａ）〜（Ｃ）は、第２の実施形態における予測簡易２パスエンコード方式、および、第３の実施形態における改良予測簡易２パスエンコード方式による、シーンチェンジの前後のピクチャーに対する圧縮符号化を示す図である。
第２の実施形態に示した予測簡易２パスエンコード方式は、図７（Ａ）に示すように入力される映像データに含まれるピクチャー間の時間的な相関性を利用し、圧縮映像データのピクチャーそれぞれのデータ量を予測する。しかしながら、図７（Ｂ）に示すタイミングでシーンチェンジ(scene change)が生じた場合、シーンチェンジの前後では、ピクチャー間に相関性がないので、図７（Ｃ）に示すように、シーンチェンジの前の難度データに基づいてシーンチェンジの後のピクチャーに対する目標データ量Ｔj を算出することとなり、第２の実施形態に示した予測簡易２パスエンコード方式の効果を得ることができないばかりか、却って、伸長復号後の映像の品質が悪化してしまう可能性がある。
【００６６】
つまり、具体例を挙げると、予測簡易２パスエンコード方式において、絵柄が簡単なシーンが入力されている間にシーンチェンジが生じ、絵柄が難しいシーンに代わった場合、ホストコンピュータ２０は、シーンチェンジ後も、入力される編集映像データの難度データの値を小さく予測するにも関わらず、実際には、絵柄が難しいピクチャーが入力され、後のシーンの各ピクチャーに割り当てるデータ量が不足してしまう。このように、割り当てるデータ量が不足した場合、シーンチェンジ部分の圧縮映像データに著しい符号化歪みが生じ、伸長復号して得られる映像の品質が著しく低下してしまう。
【００６７】
第３の実施形態に示す予測簡易２パスエンコード方式（改良予測簡易２パスエンコード方式）は、かかる観点からなされたものであって、シーンチェンジの前後等において編集映像データの時間的な相関性が失われた場合に、編集映像データの時間的な相関性が失われた部分に生じる難度データの予測に基づくデータ量の割り当てに起因する悪影響を除去し、さらに、シーンチェンジ直後のピクチャーに割り当てる符号量を精度よく予測し、効率的な圧縮符号化を行うことを目的とする。
【００６８】
この目的を達成するために、改良予測簡易２パスエンコード方式は、第２の実施形態に示した映像データ圧縮装置１（図１）を用いた予測簡易２パスエンコード方式を改良し、シーンチェンジを検出し、圧縮映像データのピクチャーに割り当てるデータ量の算出に用いることができなくなったシーンチェンジ前の実難度データではなく、シーンチェンジ後に求めた実難度データを用いて、可能な限り正確に、その後の所定数のピクチャーの難度を予測する。
【００６９】
まず、図８および図９を参照して、改良予測簡易２パスエンコード方式を概念的に説明する。
図８（Ａ）〜（Ｃ）は、エンコーダ制御部１２（図１）による編集映像データのピクチャーの順序の入れ替え処理、および、ホストコンピュータ２０によるピクチャーの種類（ピクチャータイプ）の変更処理を示す図である。
図９は、編集映像データのシーンチェンジ部分付近の実難度データの値の経時的な変化を例示する図である。なお、図９において、Ｉピクチャー、ＰピクチャーおよびＢピクチャーは、編集映像データを圧縮符号化した後のピクチャータイプを示す。
【００７０】
編集映像データのシーンチェンジが圧縮符号化後にＰピクチャーとなるピクチャー（以下、「圧縮符号化後にＰピクチャーとなるピクチャー」等を、単に「Ｐピクチャー」等とも記す）で生じると、エンコーダ制御部１２（図１）が、図８（Ａ），（Ｂ）に示すように編集映像データのピクチャーの順序を並び替えた映像データＳ１２からエンコーダ１６２およびホストコンピュータ２０が生成する実難度データＤj の値は、例えば、図９に示すように変化する。つまり、シーンチェンジの直後、編集映像データの先頭のＰピクチャーの実難度データＤj は、このピクチャーから生成される圧縮映像データのＰピクチャーが、前方のピクチャーを参照することができないため増加し、Ｉピクチャーとほぼ、同様の処理によって生成されることになる。従って、シーンの先頭のＰピクチャーの実難度データＤj の値は、例えば、Ｉピクチャーの難度データＤj と同程度の値になる。
【００７１】
従って、ホストコンピュータ２０は、エンコーダ１６２が生成する圧縮映像データのピクチャータイプシーケンスに基づいて、実難度データＤj の値の経時的な変化を監視し、例えば、Ｐピクチャーの実難度データＤj の値が、直前のＰピクチャーの実難度データＤj の１．５倍以上になった場合、直前のＩピクチャーの実難度データＤj の０．７倍以上になった場合、あるいは、第２の実施形態に示した予測簡易２パスエンコード方式においてと同じ方法でホストコンピュータ２０が予測した値に比べ、実際の実難度データの値が１．５倍以上になった場合に、そのＰピクチャーに対応する編集映像データのピクチャーでシーンチェンジが生じたと判断することができる。
【００７２】
しかしながら、編集映像データのシーンチェンジが圧縮符号化後にＩピクチャーとなるピクチャーで生じると、ホストコンピュータ２０が生成する実難度データＤj の値はほとんど変化しないことがあり、逆に、シーンチェンジ後の編集映像データの絵柄が単純な場合等には、かえって、実難度データＤj の値が減少する可能性がある。また、シーンチェンジ前の編集映像データの絵柄が複雑で、シーンチェンジ後の編集映像データの絵柄が平坦である場合、あるいは、シーンチェンジ前後の編集映像データに非常に動きが大きい場合等には、Ｐピクチャーの実難度データＤj の値が顕著に増加しない場合がある。しかしながら、事実上、シーンチェンジの直後は後方のピクチャーのみしか参照できないので、シーンチェンジ直後のＢピクチャーの実難度データＤj の値は、Ｐピクチャーの実難度データＤj の値と同程度にまで増大する。
【００７３】
従って、ホストコンピュータ２０は、実難度データＤj の値の経時的な変化を監視し、例えば、Ｂピクチャーの実難度データＤj の値が、直前のＢピクチャーの実難度データＤj の１．５倍以上になった場合、あるいは、予測した値と比べ実際の実難度データＤj の値が１．５倍以上になった場合に、そのＢピクチャーの直前のＩピクチャーおよびＰピクチャーに対応する編集映像データのピクチャーでシーンチェンジが生じたと判断することができる。
なお、Ｐピクチャーの実難度データＤj の変化に基づいてシーンチェンジを検出する方法、および、Ｂピクチャーの実難度データＤj の変化に基づいてシーンチェンジを検出する方法を併用することにより、ホストコンピュータ２０は、シーンチェンジの検出を確実に行うことができる。
【００７４】
一方、シーンチェンジの発生により、編集映像データのシーンチェンジ以前のピクチャーとシーンチェンジ以降のピクチャーの相関性はなくなるので、第２の実施形態に示した予測簡易２パスエンコード方式におけるシーンチェンジ以前の実難度データＤj を用いた、シーンチェンジ以降のピクチャーに対する予測難度データＤ’j は意味を有さなくなる。
しかしながら、編集映像データのシーンチェンジ直後の数枚のピクチャーは、それ以降のピクチャーと充分な相関性を有し、従って、シーンチェンジ直後の数枚のピクチャーの実難度データＤj に基づいて、それ以降の所定枚数のピクチャーの難度データＤj の値を予測することが可能である。
【００７５】
さらに、第２の実施形態に示した予測簡易２パスエンコード方式においては、式４に示したように目標データ量Ｔj を算出する。従って、目標データ量Ｔj を算出するためには、下に示す式５において定義される総和値Ｓｕｍj を用いればよく、必ずしも個々の予測難度データＤ’j を求める必要はない。
【００７６】
【数５】
2006148953.tif 000007
【００７７】
式５において定義した総和値Ｓｕｍj を用いると、式４は、下に示す式６に書き換えることができる。
【００７８】
【数６】
2006148953.tif 000008
【００７９】
つまり、ホストコンピュータ２０は、個々の予測難度データＤ’j ではなく、総和値Ｓｕｍj を予測することができさえすれば、目標データ量Ｔj を算出することができる。
【００８０】
第３の実施形態における改良予測簡易２パスエンコード方式において、ホストコンピュータ２０は、シーンチェンジ直後に生成した実難度データＤj に基づいて総和値Ｓｕｍj を予測し、予測した総和値Ｓｕｍj に基づいて、目標データ量Ｔj を精度よく算出する。続いて所定数の編集映像データのピクチャーが入力される間、ホストコンピュータ２０は、その後に生成した実難度データＤj に基づいて、総和値Ｓｕｍj の値を順次、補正する。さらに、ホストコンピュータ２０は、シーンチェンジ以降、さらに所定数のピクチャーが入力され、充分な数の実難度データＤj を生成した後には、第２の実施形態に示した予測簡易２パスエンコード方式においてと同じ方法により、目標データ量Ｔj を生成する。
【００８１】
次に、第３の実施形態における映像データ圧縮装置１（図１）の動作を説明する。なお、説明の簡略化のために、第３の実施形態においても、図７に示したように、映像データ圧縮装置１は、第２の実施形態においてと同じピクチャータイプシーケンス（Ｎ＝１５，Ｍ＝３；Ｎは１ＧＯＰに含まれるピクチャー数、ＭはＰピクチャーの間のＢピクチャー数）に編集映像データを圧縮符号化し、第２の実施形態においてと同様に、１５個のピクチャーの実難度データＤj から、次の１５個のピクチャーの予測難度データＤ’j を生成する場合を例に説明する。
【００８２】
エンコーダ制御部１２は、第１の実施形態および第２の実施形態においてと同様の処理を行い、例えば、図８（Ａ）に示したピクチャータイプシーケンスで入力される非圧縮映像データのピクチャーの順番を、図８（Ｂ）に示すように、エンコーダ１６２およびエンコーダ１８における圧縮符号化に適した順番、つまり、Ｂピクチャーが直後のＩピクチャーまたはＰピクチャーの後ろになる順番に入れ替えて、映像データＳ１２としてエンコーダ１６２およびＦＩＦＯメモリ１６０に対して出力する。従って、例えば、図８（Ａ）に示したように、第１のシーンのデータと第２のシーンのデータとの間のシーンチェンジがＢピクチャーに圧縮符号化されるべきピクチャーであっても、エンコーダ１６２およびエンコーダ１８に入力される後ろのシーンの最初のピクチャータイプは必ずＰピクチャーまたはＩピクチャーになる。
ＦＩＦＯメモリ１６０は、第１の実施形態および第２の実施形態においてと同様に、例えば、入力される編集映像データを１５ピクチャー分、遅延してエンコーダ１８に対して出力する。
【００８３】
エンコーダ１６２は、第１の実施形態および第２の実施形態においてと同様に、シーンチェンジの有無にかかわらず、映像データＳ１２をピクチャータイプシーケンスＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂで圧縮符号化し、実難度データＤj を生成してホストコンピュータ２０に対して出力する。エンコーダ１６２が生成する実難度データＤj の値の経時的な変化は、例えば、図９に示したようになり、一般的に、シーンチェンジが発生した直後の後ろのシーンの最初のＰピクチャーの実難度データの値は、他のＰピクチャーの実難度データの値と比べて大きくなる。
【００８４】
ホストコンピュータ２０は、エンコーダ１６２から入力される実難度データの値の経時的な変化を監視し、第３の実施形態において上述したように、実難度データＤj の値が、直前のＰピクチャーの実難度データＤj-1 の、例えば１．５倍（実用的には１．４倍〜１．８倍の間の値とすると好適）以上の値を示すＰピクチャーを検出する等の方法によりＰピクチャーでシーンチェンジが発生したことを判断する。シーンチェンジを検出した場合、ホストコンピュータ２０はさらに、図８（Ｃ）に示したように、後ろのシーンの最初のＰピクチャーを前のシーンの最後のピクチャーを参照しないＩピクチャーに変更し、前のシーンの最後のＩピクチャーをＰピクチャーに変更するように、エンコーダ１８を制御して編集映像データのシーンチェンジの前後の部分を圧縮符号化する際のピクチャータイプシーケンスを変更させる。
【００８５】
なお、シーンチェンジが生じてもＩピクチャー自体のデータ量には大きな変化は生じるとは限らない。しかし、ホストコンピュータ２０は、第３の実施形態において上述したように、Ｂピクチャーの実難度データの値の経時的な変化を監視し、例えば、直前のＢピクチャーの実難度データの１．５倍の値の実難度データを有するＢピクチャーを検出する等の方法により、Ｉピクチャーでシーンチェンジが生じたことを判断することができる。
【００８６】
図１０は、ホストコンピュータ２０が、編集映像データにシーンチェンジが発生する場合に、実難度データＤ1 〜Ｄ15に基づいて予測難度データＤ’16〜Ｄ’30を算出する方法、および、編集映像データにシーンチェンジが発生しない場合の予測難度データＤ’16〜Ｄ’30を算出する方法を示す図である。
ホストコンピュータ２０は、編集映像データにシーンチェンジが発生しない場合には、エンコーダ１６２から得られたデータから、図１０中に○印で示す実難度データＤ1 〜Ｄ15を生成し、生成した実難度データＤ1 〜Ｄ15に基づいて、図１０中に×印で示す予測難度データＤ’16〜Ｄ’30をピクチャーの種類（ピクチャータイプ）ごとに算出する。
【００８７】
つまり、編集映像データにシーンチェンジが発生しない場合には、ホストコンピュータ２０は、Ｂピクチャーの実難度データＤ2 ，Ｄ3 ，…，Ｄ13，Ｄ14の値を、図１０中の点線Ａで直線近似して外挿し、Ｂピクチャーの予測難度データＤ’16，Ｄ’17，…，Ｄ’29，Ｄ’30を生成し、Ｉピクチャーの実難度データＤ4、および、必要に応じてこれ以前のＩピクチャーの実難度データＤj の値を直線近似して外挿し、Ｉピクチャーの予測難度データＤ’18を生成し、Ｐピクチャーの実難度データＤ1 ，Ｄ7 ，…，Ｄ12、および、必要に応じてこれ以前のＰピクチャーの実難度データＤj の値を直線近似して外挿し、Ｐピクチャーの予測難度データＤ’15，Ｄ’21，…，Ｄ’27を生成する。さらに、ホストコンピュータ２０は、これらの実難度データＤj および予測難度データＤ’j を用いて、第２の実施形態に示した予測簡易２パス方式により目標データ量Ｔj を算出する。
【００８８】
以下、ホストコンピュータ２０が、Ｐピクチャーで編集映像データのシーンチェンジを検出した場合の処理内容を、段階に分けて説明する。
第１段階
ホストコンピュータ２０が、Ｐピクチャーでシーンチェンジが発生したことを検出した場合、図１０中に●で示すＰピクチャーの実難度データＤ15のみからでは、ピクチャー間の動きの量等によって左右されるＢピクチャーおよびＰピクチャーの難度を予測することができない。そこで、ホストコンピュータ２０は、予め実験等により求められたＩピクチャー、ＰピクチャーおよびＢピクチャーの実難度データの値の比率（ｉ：ｐ：ｂ）を用いて、式５に定義した総和値Ｓｕｍjを求める。
【００８９】
つまり、ホストコンピュータ２０は、第（ｊ＋１）番目（図１０においてはｊ＝１）のピクチャーに対する目標データ量を算出するために、例えば、下に示す予め求めたＩピクチャー、ＰピクチャーおよびＢピクチャーの実難度データの値の比率（ｉ：ｐ：ｂ）を用いた式７に、シーンチェンジが生じたＰピクチャーの実難度データＤj+15を代入して、第（ｊ＋１）番目のピクチャーに対する目標データ量Ｔj+1 の算出に用いる総和値Ｓｕｍj+1 を予測し、さらに、予測した総和値Ｓｕｍj+1 を式４に代入して、第（ｊ＋１）番目のピクチャーに対する目標データ量Ｔj+1 を算出する。
【００９０】
【数７】
2006148953.tif 000009
【００９１】
式７においては、シーンチェンジが発生したＰピクチャーの実難度データＤj+15の値が、第３の実施形態において上述したように、直後のＩピクチャーの実難度データＤj+18と等しいことを前提とし、ホストコンピュータ２０が、予め求めた比率（ｉ：ｐ：ｂ）、および、１ＧＯＰに含まれるＩピクチャー、ＰピクチャーおよびＢピクチャーの枚数を乗じた係数を、シーンチェンジ後に最初に算出したＰピクチャーの実難度データＤj+15に乗算し、さらに、所定の定数αを加算して総和値Ｓｕｍj+1 を算出することを意味している。
【００９２】
なお、式７においては、定数αは、実験等により予め求められる所定の値をとり、図１０中の第（ｊ＋１５）番目のＰピクチャーの直後、つまり、シーンチェンジ直後の第（ｊ＋１６）番目および第（ｊ＋１７）番目のＢピクチャーが、前方予測または後方予測のみにより生成されるために、他のＢピクチャーに比べてデータ量が多いことを見越したマージンとしての意味を有する。
【００９３】
ホストコンピュータ２０が、式７により求めた総和値Ｓｕｍj を用いて、第（ｊ＋１５）番目〜第（ｊ＋３０）番目の難度データの直線予測を変更したと仮定すると、予測難度データＤ’j+15〜Ｄ’j+30の値は、シーンチェンジにより増加し、図１０中に点線Ｂで示した値になる。ただし、目標データ量Ｔj の算出のためには総和値Ｓｕｍj の値のみを予測すればよく、また、後述するように、定数αの値は、第（ｊ＋２）番目のピクチャーに対する総和値Ｓｕｍj+1 を算出する際に補正されるので、ホストコンピュータ２０は、シーンチェンジが発生しない場合と異なり、シーンチェンジが発生した場合、難度データの予測をピクチャーの種類（ピクチャータイプ）別に敢えて行わない。
【００９４】
第２段階
ホストコンピュータ２０が、第（ｊ＋２）番目のピクチャーに対する目標データ量Ｔj+2 を算出する際には、第（ｊ＋１６）番目のＢピクチャーの実難度データＤj+16が算出されている。図１０に示した例においては、第（ｊ＋１６）番目のＢピクチャーは、後ろのシーンに属するが、図８（Ａ），（Ｂ）に示したように、エンコーダ制御部１２がピクチャーの順序を入れ替えているため、第（ｊ＋１６）番目のＢピクチャーが、前のシーンに属している可能性があり、また、前方予測または後方予測のみにより生成されているため、ホストコンピュータ２０は、第（ｊ＋１６）番目のＢピクチャーの実難度データＤj+16を、第（ｊ＋２）番目のピクチャーに対する目標データ量Ｔj+2 を算出する際の総和値Ｓｕｍj+2の予測に用いることはできない。
【００９５】
しかしながら、式７において、定数αとしてマージンを考慮した２枚のＢピクチャーの内の最初の１枚のＢピクチャーの実難度データＤj+16の値を用いて、式７の定数αを補正することは可能である。そこで、ホストコンピュータ２０は、下に式８として示すように、式７の定数αを、実難度データＤj+16に基づいて補正して定数α’を算出し、さらに精度が高い総和値Ｓｕｍj+2 を予測することができる。ホストコンピュータ２０は、予測した総和値Ｓｕｍj+2 を式４に代入して、第（ｊ＋２）番目のピクチャーに対する目標データ量Ｔj+2 を算出する。
【００９６】
【数８】
2006148953.tif 000010
【００９７】
第３段階
ホストコンピュータ２０が、第（ｊ＋３）番目のピクチャーに対する目標データ量Ｔj+3 を算出する際には、第（ｊ＋１７）番目のＢピクチャーの実難度データＤj+17が算出されている。従って、式７において、定数αとしてマージンを考慮した２枚のＢピクチャーの両方、つまり、図８（Ａ）〜（Ｃ）に示したピクチャータイプシーケンスにおいて、ＩピクチャーおよびＰピクチャーに挟まれる１組のＢピクチャー全ての実難度データＤj+16，Ｄj+16の値が判明したので、下に式９として示すように、式７の定数αあるいは式８の定数α’は不要になる。
【００９８】
【数９】
2006148953.tif 000011
【００９９】
第４段階
ホストコンピュータ２０が、第（ｊ＋４）番目のピクチャーに対する目標データ量Ｔj+3 を算出する際には、第（ｊ＋１８）番目のＩピクチャーの実難度データＤj+18が算出されている。この段階で、図１０に示した例においては、シーンチェンジ以降の全ての種類（ピクチャータイプ）のピクチャーの実難度データＤi の値が判明する。そこで、式７〜式９において用いられた予め求められた比率（ｉ：ｐ：ｂ）の値を、ホストコンピュータ２０が実際に算出したＩピクチャーの実難度データＤj+18、Ｐピクチャーの実難度データＤj+15およびＰピクチャーの実難度データＤj+16（Ｄj+17）に置き換えることが可能になる。
【０１００】
このように、ホストコンピュータ２０は、予め求めた比率（ｉ：ｐ：ｂ）を、実際の比率〔Ｄj+18：Ｄj+15：Ｄj+16（Ｄj+17）〕に置換した式９を用いて、さらに精度よく総和値Ｓｕｍj+18を予測し、式４に代入して第（ｊ＋４）番目のピクチャーに対する目標データ量Ｔj+4 を算出する。
【０１０１】
第５段階
第４段階と同様に、第（ｊ＋５）番目以降の数枚（例えば６〜９枚）のピクチャーに対する目標データ量Ｔj+3 を算出し、予測難度データＤ’i の算出に充分な数量の実難度データＤi が得られた後は、ホストコンピュータ２０は、シーンチェンジが発生しない場合と同様に、直線近似により予測難度データＤ’i を算出し、算出した予測難度データＤ’i を式４に代入して、目標データ量Ｔi を算出する。
【０１０２】
ホストコンピュータ２０が、第３の実施形態において上述したように、Ｉピクチャーの実難度データＤi の変化に基づいて、Ｉピクチャーでシーンチェンジが発生したと判断した場合、Ｐピクチャーでシーンチェンジが発生したと判断した場合と同じ処理、つまり、上述した第１段階〜第５段階の処理を行うことにより、各ピクチャーに対する目標データ量Ｔi を算出することができる。
【０１０３】
一方、ホストコンピュータ２０が、第３の実施形態において上述したように、Ｂチャネルの実難度データＤi の値の変化に基づいて、Ｉピクチャーでシーンチェンジが発生したと判断した場合、ホストコンピュータ２０は、Ｐピクチャーでシーンチェンジが発生したと判断した場合における第１段階または第２段階の処理を行うことができない。従って、Ｂチャネルの実難度データＤi の値の変化に基づいてＩピクチャーでシーンチェンジが発生したと判断した場合、ホストコンピュータ２０は、Ｐピクチャーでシーンチェンジが発生したと判断した場合における第２段階または第３段階の処理を行い、各ピクチャーに対する目標データ量Ｔi を算出する。
【０１０４】
以上説明した総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理の内容を、フローチャートを参照して、さらに説明する。
図１１および図１２は、第３の実施形態における改良予測簡易２パスエンコード方式における総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理内容を示すフローチャート図である。
【０１０５】
なお、図１１および図１２において、データＳＣ＿Ｆｌａｇは、過去１５ピクチャー以内にシーンチェンジが生じている場合にはシーンチェンジの位置を示し、これ以外の場合には０に設定される。また、データＩ＿Ｆｌａｇの値は、図８（Ａ）〜（Ｃ）に示したピクチャータイプシーケンスにおいて、Ｉピクチャーの直後、３ピクチャーに対する処理が終了するまでは１となり、それ以外の場合には０になる。また、係数Ｉｔｈ１，Ｉｔｈ２，Ｐｔｈ，Ｂｔｈは、シーンチェンジの検出の際に、それぞれＩピクチャー、ＰピクチャーおよびＢピクチャーの値を判断するために用いる係数を示す。
【０１０６】
図１１に示すように、ステップ１００（Ｓ１００）において、ホストコンピュータ２０は、エンコーダ１６２から所定のデータを得て、実難度データＤi を生成する。
ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇの値が０であるか否かを判断する。データＳＣ＿Ｆｌａｇの値が０である場合にはＳ２００（図１２）の処理に進み、０でない場合にはＳ１０４の処理に進む。
【０１０７】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、第ｉ番目のピクチャーの種類（ピクチャータイプ）を判断し、第ｉ番目のピクチャーがＢピクチャー、Ｐピクチャー、Ｉピクチャーである場合には、それぞれＳ１０６，Ｓ１２０，Ｓ１２８の処理に進む。
ステップ１０６（Ｓ１０６）において、ホストコンピュータ２０は、データＩ＿Ｆｌａｇの値が０であるか否かを判断する。データＩ＿Ｆｌａｇの値が０である場合にはＳ１１０の処理に進み、０でない場合にはＳ１０８の処理に進む。
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は、Ｂピクチャーの実難度データＤi が予測難度データＤ’i ×Ｂｔｈより大きいか否かを判断し、大きい場合にはＳ１１２の処理に進み、小さい場合にはＳ１１０の処理に進む。
【０１０８】
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、シーンチェンジが発生しない場合と同じ処理を行って、予測難度データＤ’i を算出する。
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇの値を１にする。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、第ｉ番目のピクチャーが、シーンチェンジ後の１枚目のＢピクチャーである場合には、式８により総和値Ｓｕｍi を算出し、シーンチェンジ後の２枚目のＢピクチャーである場合には、式９により総和値Ｓｕｍi を算出する。
【０１０９】
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は、予測した総和値Ｓｕｍi または予測難度データＤ’i を式４に代入して、第ｉ番目のピクチャーに対する目標データ量Ｔi （target bit) を算出する。
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、データｉをインクリメントする。
【０１１０】
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、Ｐピクチャーの実難度データＤi が予測難度データＤ’i ×Ｐｔｈより大きいか否かを判断し、大きい場合にはＳ１２２の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１２２（Ｓ１２２）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇにデータｉを代入する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、データＩ＿Ｆｌａｇの値を０にする。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式７を用いて、総和値Ｓｕｍi を予測する。
【０１１１】
ステップ１２８（Ｓ２２０）において、ホストコンピュータ２０は、Ｉピクチャーの実難度データＤi が予測難度データＤ’i ×Ｉｔｈ１〜予測難度データＤ’i ×Ｉｔｈ２の範囲外か否かを判断し、範囲外の場合にはＳ１３０の処理に進み、範囲内の場合にはＳ１１０の処理に進む。
ステップ１３０（Ｓ１３０）において、ホストコンピュータ２０は、データＳＣ＿Ｆｌａｇにデータｉを代入する。
ステップ１３２（Ｓ１３２）において、ホストコンピュータ２０は、データＩ＿Ｆｌａｇの値を１にして、Ｓ１２６の処理に進む。
【０１１２】
図１２に示すように、ステップ２００（Ｓ２００）において、ホストコンピュータ２０は、データｉからデータＳＣ＿Ｆｌａｇを減算した値が１，２，３〜９，９以上である場合にそれぞれ、Ｓ２０２，Ｓ２０４，Ｓ２０６，Ｓ２１０の処理に進む。
ステップ２０２（Ｓ２０２）において、ホストコンピュータ２０は、式８により総和値Ｓｕｍi を予測し、Ｓ１１６（図１１）の処理に進む。
ステップ２０４（Ｓ２０４）において、ホストコンピュータ２０は、式９により総和値Ｓｕｍi を予測し、Ｓ１１６（図１１）の処理に進む。
【０１１３】
ステップ２０６（Ｓ２０６）において、ホストコンピュータ２０は、式９の於ける予め求めた比率（ｉ：ｐ：ｂ）を、算出した実難度データに置換する。
ステップ２０８（Ｓ２０８）において、ホストコンピュータ２０は、比率（ｉ：ｐ：ｂ）を、算出した実難度データに置換した式９を用いて、総和値Ｓｕｍiを予測する。
【０１１４】
ステップ２１０（Ｓ２１０）において、ホストコンピュータ２０は、ピクチャー（ｉ−ＳＣ＿Ｆｌａｇ）枚分の実難度データを用いて、直線近似を行い、総和値Ｓｕｍi （予測難度データＤ’i ）を算出する。
ステップ２１２（Ｓ２１２）において、ホストコンピュータ２０は、（ｉ−ＳＣ＿Ｆｌａｇ）＝１５であるか否かを判断する。（ｉ−ＳＣ＿Ｆｌａｇ）＝１５である場合にはＳ２１４の処理に進み、（ｉ−ＳＣ＿Ｆｌａｇ）＝１５でない場合にはＳ１１０（図１１）の処理に進む。
【０１１５】
ホストコンピュータ２０は、以上説明した処理により生成した目標データ量Ｔj を、エンコーダ１８の量子化制御回路１８０に設定する。
エンコーダ１８は、第１の実施形態および第２の実施形態においてと同様に、ホストコンピュータ２０から設定された目標データ量Ｔj に基づいて、図８（Ｃ）に示すように、後ろのシーンの最初のＰピクチャーが、前のシーンの最後のピクチャーを参照しないように、Ｉピクチャーに変更し、前のシーンの最後のＩピクチャーをＰピクチャーに変更して圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１１６】
以上、第３の実施形態に示した改良予測簡易２パスエンコード方式によれば、シーンチェンジやカメラフラッシュ等を含む映像データにより多くのデータ量を割り当てて圧縮符号化可能である上に、シーンチェンジやカメラフラッシュの前後に発生する符号化歪みを顕著に低減することができる。従って、第３の実施形態に示した改良予測簡易２パスエンコード方式によって生成した圧縮映像データを伸長復号して得られる映像の品質を向上させることができる。
【０１１７】
なお、第３の実施形態においては、Ｎ＝１５，Ｍ＝３のピクチャーシーケンスに対する処理に適合する式７〜式９を例示したが、式７〜式９を適切に変更する（式７〜式９中の係数４，１０をピクチャーシーケンスに合わせて変更する）ことにより、他のピクチャーシーケンスに対しても、改良予測簡易２パスエンコードを適用することができる。
【０１１８】
第４実施形態
以下、本発明の第４の実施形態として、第３の実施形態に示した改良予測簡易２パスエンコード方式のシーンチェンジ検出方法の変形例を説明する。
まず、本発明の第４の実施形態におけるシーンチェンジ検出方法の原理を説明する。
【０１１９】
映像データ圧縮装置１（図１）が、シーンチェンジ付近の編集映像データから、第２の実施形態および第３の実施形態にそれぞれ示した予測簡易２パスエンコード方式および改良予測簡易２パスエンコード方式において、映像データのピクチャー間の時間的相関性を用いて生成される予測難度データＤj ’は、実難度データＤj-1 以前の映像データの難度の変化の傾向をよく反映しており、その実難度データＤj との誤差は、シーンチェンジがないかぎり非常に少なくなる。例えば、図１０に示した場合においては、予測難度データＤ16’は、１５個の実難度データＤ1 〜Ｄ15に基づいて、これらの１つ先のピクチャーの難度を予測した値であり、シーンチェンジがない場合には、精度が非常に高いと期待できる。
【０１２０】
図１３は、シーンチェンジがＰピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
一方、図１３に示すように、シーンチェンジがＰピクチャーで生じた場合、シーンチェンジ直後のＰピクチャーの実難度データＤj は、多くの場合、前方のピクチャーを参照した圧縮符号化ができなくなるために、予測難度データＤj ’よりも大幅に大きな値となる。
【０１２１】
逆に、シーンチェンジ部分のＰピクチャーの実難度データＤj は、例えば、シーンチェンジ前の絵柄に比べて、シーンチェンジ後の絵柄が平坦である場合等には、予測難度データＤj ’よりも大幅に小さな値となる場合もある。
また、シーンチェンジ直後のＢピクチャーの実難度データＤj の値は、後方のピクチャーのみを参照して圧縮符号化されるために、予測難度データＤj ’に比べて大幅に、例えばＰピクチャー並みに大きくなる。
【０１２２】
図１４は、シーンチェンジがＩピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
また、図１４に示すように、シーンチェンジが、第ｊ（１６）番目のＩピクチャーで生じた場合、シーンチェンジ前後のＩピクチャーには時間的相関関係がないので、シーンチェンジ直後のＩピクチャーの予測難度データＤj ’と実難度データＤj との間に誤差が生じる。
【０１２３】
しかしながら、Ｉピクチャーは、元々、他のピクチャーを参照せずに圧縮符号化されるので、Ｐピクチャーでシーンチェンジが生じた場合に比べて、予測難度データＤj ’と実難度データＤj との差は少ない。
一方、シーンチェンジ直後のＢピクチャーの実難度データＤj の値は、Ｐフレームでシーンチェンジが生じた場合と同様に、予測難度データＤj ’に比べて大幅に大きくなる。
【０１２４】
このように、ＰピクチャーおよびＩピクチャーの予測難度データＤj ’と難度データＤj の値に大きな誤差が生じない場合であっても、Ｂピクチャー自体の予測難度データＤj ’と難度データＤj の値に大きな誤差が生じた場合には、その直前のＩピクチャーまたはＰピクチャーでシーンチェンジが生じたと判断することができる。
【０１２５】
第４の実施形態に示すシーンチェンジ検出方法は、以上説明した実難度データＤj と予測難度データＤj ’との関係を利用しており、第３の実施形態にそれぞれ示した改良簡易２パスエンコード方式において、より正確にシーンチェンジの検出を可能とする。つまり、第４の実施形態に示すシーンチェンジ検出方法は、第３の実施形態に示した映像データ圧縮装置１を用いた改良予測簡易２パスエンコード方式において、予測難度データＤj ’と実難度データＤj との値を比較してシーンチェンジを正確に検出するようになっている。
【０１２６】
具体的には、第４の実施形態におけるシーンチェンジの検出は、Ｉピクチャーの実難度データＤjIに対する予測難度データＤjI’の比の値（ＤjI／ＤjI’）、および、Ｐピクチャーの実難度データＤjpに対する予測難度データＤjp’の比の値（Ｄjp／Ｄjp’）が、所定の閾値の範囲外にある場合〔ＴｈI1＜（Ｄj ／Ｄj’）または（ＤjP／ＤjP’）＜ＴｈI2，Ｔｈp1＜（ＤjP／ＤjP’）または（Ｄj／Ｄj ’）＜Ｔｈp2。ただし、ＴｈI1＞１＞ＴｈI2＞０，Ｔｈp1＞１＞Ｔｈp2＞０〕には、シーンチェンジの発生をそのピクチャーで検出する。但し、通常、ＰピクチャーのＰピクチャーの実難度データＤjpに対する予測難度データＤjp’の比の値（Ｄjp／Ｄjp’）が、加減値ＴｈP2以下になることは殆どない。
【０１２７】
また、第４の実施形態におけるシーンチェンジ検出方法は、ＩピクチャーおよびＰピクチャーの実難度データＤjI，ＤjPに対する予測難度データＤjI’，ＤjP’の比の値が、上記所定の閾値の範囲内である場合であっても、Ｂピクチャーの実難度データＤjBに対する予測難度データＤjB’の比の値（ＤjB／ＤjB’）が、所定の範囲外にある場合に〔ＴｈB ＜（ＤjB／ＤjB’）。但し、ＴｈB ＞１〕、シーンチェンジの発生を、そのＢピクチャーの直前のＩピクチャーまたはＰピクチャーでシーンチェンジが生じたと検出する。
【０１２８】
次に、第４の実施形態における映像データ圧縮装置１（図１）の動作を説明する。
エンコーダ制御部１２は、第１の実施形態〜第３の実施形態においてと同様に、非圧縮映像データのピクチャーを、例えば、図８（Ａ）に示した順番から図８（Ｂ）に示した順番に入れ替える。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第３の実施形態においてと同様に、例えば、入力される編集映像データを１５ピクチャー分、遅延する。
エンコーダ１６２は、第１の実施形態〜第３の実施形態においてと同様に、シーンチェンジの有無にかかわらず、映像データＳ１２を圧縮符号化し、実難度データＤj を生成する。
【０１２９】
ホストコンピュータ２０は、エンコーダ１６２から入力される実難度データＤj と予測難度データＤj ’とを比較し、第４の実施形態において上述したように、ＰピクチャーおよびＩピクチャーの予測難度データＤj ’の実難度データＤjに対する比の値、および、Ｂピクチャーの予測難度データＤj ’の実難度データＤj に対する比の値が、上記所定の範囲外となる位置でシーンチェンジが発生したことを検出する。
【０１３０】
シーンチェンジを検出した場合、ホストコンピュータ２０はさらに、第３の実施形態においてと同様に、後ろのシーンの最初のＰピクチャーを前のシーンの最後のピクチャーを参照しないＩピクチャーに変更し（図８（Ｃ））、前のシーンの最後のＩピクチャーをＰピクチャーに変更するように、ピクチャータイプシーケンスを変更させる。
【０１３１】
ホストコンピュータ２０は、第３の実施形態においてと同様に、編集映像データにシーンチェンジが発生しない場合には、エンコーダ１６２から得られたデータから実難度データＤj を生成し、予測難度データＤ’16〜Ｄ’30をピクチャータイプごとに算出する。
また、ホストコンピュータ２０は、シーンチェンジが発生した場合には、シーンチェンジ前後でピクチャーの相関性がなくなるので、第３の実施形態においてと同様に、シーンチェンジ直後の所定数枚のピクチャーの実難度データＤj から、式６により、総和値Ｓｕｍj （式５）を算出し、算出した総和値Ｓｕｍj に基づいて、目標データ量Ｔj を算出する。
エンコーダ１２は、圧縮符号化後のデータ量が、ホストコンピュータ２０が生成した目標データ量Ｔj が示す値に近くなるように遅延された非圧縮映像データＳ１６を圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１３２】
以下、フローチャートを参照して、第４の実施形態に示した映像データ圧縮装置１のホストコンピュータ２０によるシーンチェンジ検出処理の内容をさらに説明する。
図１５は、第４の実施形態における映像データ圧縮装置１（図１）のホストコンピュータ２０によるシーンチェンジ検出処理の内容を示すフローチャート図である。
【０１３３】
図１５に示すように、ステップ３００（Ｓ３００）において、ホストコンピュータ２０は、第ｊ番目の実難度データＤj を算出する。
ステップ３０２（Ｓ３０２）において、ホストコンピュータ２０は、第ｊ番目のピクチャーがあるか否かを判断する。第ｊ番目のピクチャーがある場合には、Ｓ３０４の処理に進み、ない場合には処理を終了する。
ステップ３０４（Ｓ３０４）において、ホストコンピュータ２０は、第ｊ番目のピクチャーのピクチャータイプを判断する。第ｊ番目のピクチャーのピクチャータイプがＢピクチャー、ＩピクチャーまたはＰピクチャーである場合、それぞれ、Ｓ３０６，Ｓ３１６，Ｓ３２０の処理に進む。
【０１３４】
ステップ３０６（Ｓ３０６）において、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔをインクリメントする。
ステップ３０８（Ｓ３０８）において、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔの値が１であるか否かを判断する。数値Ｂ＿ｃｏｕｎｔの値が１である場合には、Ｓ３１２の処理に進み、数値Ｂ＿ｃｏｕｎｔの値が１でない場合には、Ｓ３１０の処理に進む。
【０１３５】
ステップ３１０（Ｓ３１０）において、ホストコンピュータ２０は、シーンチェンジが発生しなかったと判断する。
ステップ３１２（Ｓ３１２）において、ホストコンピュータ２０は、Ｂピクチャーから生成した予測難度データＤj ’と実難度データＤj との比の値を算出し、Ｄj ＞ＴｈB ×Ｄj ’（ＤjB／ＤjB’＞ＴｈB ）であるか否かを判断する。Ｄj ＞ＴｈB ×Ｄj ’である場合、Ｓ３１０の処理に進み、Ｄj ＞ＴｈB ×Ｄj ’でない場合、Ｓ３１４の処理に進む。
ステップ３１４（Ｓ３１４）において、ホストコンピュータ２０は、直前のＩピクチャーまたはＰピクチャー〔第（ｊ−１）番目のピクチャー〕でシーンチェンジが発生したと判定する。
【０１３６】
ステップ３１６（Ｓ３１６）において、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔの値をゼロクリアする。
ステップ３１８（Ｓ３１８）において、ホストコンピュータ２０は、Ｐピクチャーから生成した予測難度データＤj ’と実難度データＤj との比の値を算出し、Ｄj ＞ＴｈP1×Ｄj ’またはＤj ＜ＴｈP2×Ｄj ’であるか否かを判断する。Ｄj ＞ＴｈP1×Ｄj ’またはＤj ＜ＴｈP2×Ｄj ’である場合、Ｓ３２４の処理に進み、Ｄj ＞ＴｈP1×Ｄj ’またはＤj ＜ＴｈP2×Ｄj ’でない場合、Ｓ３１０の処理に進む。
【０１３７】
ステップ３２０（Ｓ３２０）において、ホストコンピュータ２０は、ホストコンピュータ２０は、数値Ｂ＿ｃｏｕｎｔの値をゼロクリアする。
ステップ３２２（Ｓ３２２）において、ホストコンピュータ２０は、Ｉピクチャーから生成した予測難度データＤj ’と実難度データＤj との比の値を算出し、Ｄj ＞ＴｈI1×Ｄj ’またはＤj ＜ＴｈI2×Ｄj ’であるか否かを判断する。Ｄj ＞ＴｈI1×Ｄj ’またはＤj ＜ＴｈI2×Ｄj ’である場合、Ｓ３２４の処理に進み、Ｄj ＞ＴｈI1×Ｄj ’またはＤj ＜ＴｈI2×Ｄj ’でない場合、Ｓ３１０の処理に進む。
【０１３８】
ステップ３２４（Ｓ３２４）において、ホストコンピュータ２０は、第ｊ番目のピクチャーでシーンチェンジが発生したとを判断する。
ステップ３２６（Ｓ３２６）において、ホストコンピュータ２０は、実難度データＤj までを用いて、次の予測難度データＤj+1 を算出する。
ステップ３２８（Ｓ３２８）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０１３９】
なお、第４の実施形態においては、予測難度データＤj ’の予測方法として、第３の実施形態に示した直線近似を用いたが、予測難度データＤj ’の予測方法は、これに限らず、例えば、実難度データＤj の差分値に基づいて、実難度データＤj の変化を予測することにより予測難度データＤj ’を算出する方法を採ってもよい。
また、第４の実施形態においては、シーンチェンジを検出する際に、Ｂピクチャーの前のピクチャーがＩピクチャーであろうとＰピクチャーであろうと、同じＢピクチャーの予測難度データＤj ’と実難度データＤj との比較の際に、同じ閾値ＴｈB を用いたが、前のピクチャーのピクチャータイプに応じて、閾値を変更してもよい。
【０１４０】
以上第４の実施形態において説明したシーンチェンジの検出方法によれば、第３の実施形態に示した実難度データＤj の経時的な変化の監視によっては、検出しにくかったＩピクチャーでのシーンチェンジ、あるいは、シーンチェンジの前の絵柄が難しく、シーンチェンジ後の絵柄が優しい場合のＰピクチャーでのシーンチェンジを、確実に検出することができる。従って、第３の実施形態に示したシーンチェンジの検出方法を採用する場合に比べて、圧縮符号化後の映像データの品質を向上させることができる。
【０１４１】
第５実施形態
以下、本発明の第５の実施形態を説明する。
第１の実施形態に示した簡易２パスエンコード方式、および、第２の実施形態に示した予測簡易２パスエンコード方式は、入力される非圧縮映像データに、ほぼ１ＧＯＰ分（例えば、０．５秒）程度の遅延を与えるだけで圧縮符号化し、適切なデータ量の圧縮映像データを生成することができる優れた方式である。
【０１４２】
しかしながら、これらの方式は、エンコーダーを２つ必要とする。一般に、映像データを圧縮符号化するエンコーダーは大規模のハードウェアを必要とし、集積回路化しても非常に高価であり、しかも、サイズが大きい。従って、これらの方式がエンコーダーを２つ必要とすることは、これらの方式を実現する装置の低コスト化、小型化および省電力化を妨げる。また、圧縮符号化に要する時間遅延は、短ければ短いほど望ましいが、実難度データＤj および予測難度データＤj’の算出処理および予備的な圧縮符号化処理そのものが数ピクチャー分の処理時間を要するので、これらの処理自体が、時間遅延の短縮化を妨げる原因となる。
【０１４３】
第５の実施形態は、かかる問題点を解決するためになされたものであって、１つのエンコーダを用いるのみで、簡易２パスエンコード方式および予測簡易２パスエンコード方式と同等に適切なデータ量の圧縮映像データを生成することができ、しかも、処理に要する時間遅延がより短い映像データ圧縮方式を提供することを目的とする。
【０１４４】
図１６は、第５の実施形態における本発明に係る映像データ圧縮装置２の構成の概要を示す図である。
図１７は、図１６に示した映像データ圧縮装置２の圧縮符号化部２４の詳細な構成を示す図である。
なお、図１６および図１７において、映像データ圧縮装置２の構成部分のうち、第１の実施形態および第２の実施形態において説明した映像データ圧縮装置１（図１，図２）の構成部分と同一のものには同一の符号を付して示してある。
【０１４５】
図１６に示すように、映像データ圧縮装置２は、映像データ圧縮装置１（図１，図２）の圧縮符号化部１０を、圧縮符号化部１０からエンコーダ１６２を除いた圧縮符号化部２４で置換し、エンコーダ制御部１２をエンコーダ制御部２２で置換し、バッファメモリ(buffer)１８２を付加した構成を採る。
図１７に示すように、圧縮符号化部２４は、映像並び替え回路２２０、走査変換・マクロブロック化回路２２２および統計量算出回路２２４から構成され、圧縮符号化部２４の他の構成部分は、圧縮符号化部１０と同一の構成を採る。
【０１４６】
エンコーダ制御部２２は、エンコーダ制御部１２と同様に、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。
エンコーダ制御部２２において、映像並び替え回路２２０は、入力された非圧縮映像データを符号化順に並べ替える。
【０１４７】
走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理等を行う。
統計量算出回路２２４は、映像並び替え回路２２０および走査変換・マクロブロック化回路２２２により処理され、Ｉピクチャーに圧縮符号化されるピクチャーからフラットネス(flatness)およびイントラＡＣ(intra AC)等の統計量を算出する。
【０１４８】
映像データ圧縮装置２は、これらの構成部分により、非圧縮映像データの統計量（フラットネス，イントラＡＣ）および動き予測の予測誤差量（ＭＥ残差）を非圧縮映像データＶＩＮの絵柄の難度の代わりに用いて、映像データ圧縮装置１（図１，図２）と同様に適応的に目標データ量Ｔj を算出して、高精度なフィードフォワード制御を行うことにより、非圧縮映像データＶＩＮを適切なデータ量の圧縮映像データに圧縮符号化する。
なお、映像データ圧縮装置２においては、動き検出器１４およびエンコーダ制御部２２の統計量算出回路２２４により、予め検出された指標データに基づいて目標データ量Ｔj が定めるられることから、以下、映像データ圧縮装置２における圧縮符号化方式を、フィード・フォワード・レート・コントロール（ＦＦＲＣ; feed foward rate control）方式と呼ぶことにする。
【０１４９】
なお、ＭＥ残差は、圧縮されるピクチャーと、参照ピクチャーの映像データとの差分値の絶対値和あるいは自乗値和として定義され、動き検出器１４により、圧縮後にＰピクチャーおよびＢピクチャーとなるピクチャーから算出され、映像の動きの速さおよび絵柄の複雑さを表し、フラットネスと同様に、難度および圧縮後のデータ量と相関性を有する。
【０１５０】
Ｉピクチャーについては、他のピクチャーの参照なしに圧縮符号化されるため、ＭＥ残差を求めることができず、ＭＥ残差に代わるパラメータとして、フラットネスおよびイントラＡＣを用いる。
また、フラットネスは、映像データ圧縮装置２を実現するために、映像の空間的な平坦さを表す指標として新たに定義されたパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。
また、イントラＡＣは、映像データ圧縮装置２を実現するために、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として新たに定義したパラメータであって、フラットネスと同様に、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。
【０１５１】
以下、ＭＥ残差、フラットネスおよびイントラＡＣについて説明する。
第１の実施形態および第２の実施形態において説明した簡易２パスエンコード方式および予測簡易２パスエンコード方式において、実難度データＤj は映像の絵柄の難しさを示し、目標データ量Ｔj は実難度データＤj に基づいて算出される。
【０１５２】
また、エンコーダ１８が生成する圧縮映像データのデータ量を、目標データ量Ｔj が示す値に近づけるために、量子化回路１６８（図２，図１７）において量子化値Ｑj の制御が行われる。従って、映像データを圧縮符号化せずに得られ、実難度データＤj と同様に映像データの絵柄の複雑さ（難しさ）を適切に示すパラメータを、エンコーダ１８の量子化回路１６８における量子化処理以前に得ることができれば、エンコーダ１６２（図１）を省略し、処理遅延時間の短縮するという目的を達成することができる。ＭＥ残差、フラットネスおよびイントラＡＣは、実難度データＤj と強い相関を有するので、このような目的を達成するために適切である。
【０１５３】
ＭＥ残差と実難度データＤj との関係
他のピクチャーを参照して圧縮符号化処理し、ＰピクチャーおよびＢピクチャーを生成する際には、動き検出器１４は、圧縮対象となるピクチャー（入力ピクチャー）と参照されるピクチャー（参照ピクチャー）との間の差分値の絶対値和あるいは自乗値和が最小となるように動きベクトルを求める。ＭＥ残差は、動きベクトルを求める際の２つのピクチャー間の誤差成分の電力パワーとして定義される。
【０１５４】
図１８は、映像データ圧縮装置１，２により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
図１９は、映像データ圧縮装置１，２により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
なお、図１８および図１９は、ＣＣＩＲにより規格化された標準画像[cheer (cheer leaders), mobile (mobile and calender), tennis (table tennis), diva(diva with noise)] およびその他の画像(resort)を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるＭＥ残差と実難度データＤj との関係を示すグラフであり、図１８および図１９において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(me resid)がＭＥ残差を示す。
図１８および図１９を参照して分かるように、ＭＥ残差は実難度データＤj と非常に強い相関関係を有する。従って、圧縮後にＰピクチャーまたはＢピクチャーとなるピクチャーの実難度データＤj の代わりに、ＭＥ残差は、目標データ量Ｔj の生成に用いられ得る。
【０１５５】
フラットネスと実難度データＤj との関係
図２０は、フラットネスの計算方法を示す図である。
フラットネスは、まず、図２０に示すように、ＭＰＥＧ方式においてＤＣＴ処理の単位となるＤＣＴブロックそれぞれを、２画素×２画素の小ブロックに分割し、次に、これらの小ブロック内の対角の画素のデータ（画素値）の差分値を算出し、差分値を所定の閾値と比較し、さらに、差分値が閾値よりも小さくなる小ブロック総数をピクチャーごとに求めることにより算出される。
なお、フラットネスの値は、映像の絵柄が空間的に複雑であるほど小さくなり、平坦であれば大きくなる。
【０１５６】
図２１は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
なお、図２１は、図１８および図１９と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるフラットネスと実難度データＤj との関係を示すグラフであり、図２１において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(flatness)がフラットネスを示す。
図２１に示すように、フラットネスと実難度データＤj には、強い負の相関関係があり、実難度データＤj は、フラットネスを一次関数に代入する等の方法により近似可能であることがわかる。
【０１５７】
イントラＡＣと実難度データＤj との関係
イントラＡＣは、ＤＣＴブロックごとに、ＤＣＴブロック内の画素それぞれの画素値と、ＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として算出される。つまり、イントラＡＣは、下の式１０により求めることができる。
【０１５８】
【数１０】
2006148953.tif 000012
【０１５９】
図２２は、映像データ圧縮装置１，２により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
なお、図２２は、図１８および図１９と同様に、ＣＣＩＲにより規格化された標準画像およびその他の画像を実際にＭＰＥＧ２方式により圧縮符号化した場合に得られるイントラＡＣと実難度データＤj との関係を示すグラフであり、図２２において、グラフの縦軸(difficulty)が実難度データＤj を示し、横軸(intra AC)がイントラＡＣを示す。
図２２に示すように、イントラＡＣと実難度データＤj との間には強い正の相関関係があり、実難度データＤj は、イントラＡＣを一次関数に代入する等の方法により近似可能であることがわかる。
【０１６０】
Ｐピクチャーについては下に示す式１１により、Ｂピクチャーについては下に示す式１２により、実難度データＤj はＭＥ残差により近似される。また、Ｉピクチャーについては、式１１および式１２と同様の近似式により実難度データＤj は、フラットネスおよびイントラＡＣまたはこれらのいずかにより近似される。
【０１６１】
【数１１】
2006148953.tif 000013
【０１６２】
【数１２】
2006148953.tif 000014
【０１６３】
さらに、第１の実施形態に示した簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj を、式１または式４に代入することにより目標データ量Ｔj が算出される。
あるいは、第２の実施形態に示した予測簡易２パスエンコード方式においては、これらの近似により得られた実難度データＤj から予測難度データＤj ’が算出され、実難度データＤj および予測難度データＤj ’を式４に代入することにより目標データ量Ｔj が算出される。
【０１６４】
以下、実難度データＤj をＭＥ残差、フラットネスおよびイントラＡＣで近似し、簡易２パスエンコード方式により非圧縮映像データを圧縮符号化する場合を例に、映像データ圧縮装置２の動作を説明する。
エンコーダ制御部２２において、映像並び替え回路２２０は、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、走査変換・マクロブロック化回路２２２は、ピクチャー・フィールド変換等を行い、統計量算出回路２２４は、Ｉピクチャーに圧縮符号化されるピクチャーに対して、図２０および式１０に示した演算処理を行い、フラットネスおよびイントラＡＣ等の統計量を算出する。
【０１６５】
動き検出器１４は、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する。
ＦＩＦＯメモリ１６０は、入力された映像データをＬピクチャー分だけ遅延する。
【０１６６】
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式１１および式１２に示した演算処理を行って実難度データＤj を近似し、式１１および式１２と同様な演算処理を行って、フラットネスおよびイントラＡＣにより実難度データＤj を近似する。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１または式４に代入し、目標データ量Ｔj を算出し、算出した目標データ量Ｔj をエンコーダ１８の量子化制御回路１８０に設定する。
【０１６７】
エンコーダ１８のＤＣＴ回路１６６は、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して、バッファメモリ１８２を介して外部に出力する。
【０１６８】
なお、ＭＰＥＧのＴＭ５方式等においては、マクロブロックの量子化値(MQUANT)を算出するために、下の式１３に示すアクティビティ(activity)という統計量が用いられる。アクティビティは、フラットネスおよびイントラＡＣと同様に、実難度データＤj と強い相関関係を有するので、これらパラメータの代わりにアクティビティを用いて、実難度データＤj を近似し、圧縮符号化を行うように映像データ圧縮装置２を構成してもよい。
【０１６９】
【数１３】
2006148953.tif 000015
【０１７０】
また、以上、第１の実施形態に示した簡易２パスエンコードを行う場合を例に、映像データ圧縮装置２の動作を説明したが、映像データ圧縮装置２は、予測簡易２パスエンコードを行いうることはいうまでもない。
また、第５の実施形態に示した映像データ圧縮装置２に対しても、第１の実施形態および第２の実施形態に示した映像データ圧縮装置１に対してと同様の変形が可能である。
【０１７１】
第６実施形態
以下、本発明の第６の実施形態を説明する。
第５の実施形態に示したＦＦＲＣ方式においては、統計的に求められた指標データ（統計量）、つまり、ＭＥ残差、フラットネス、イントラＡＣおよびアクティビティを、式１１および式１２等の一次関数に代入して実難度データＤj を近似する。
これらの指標データと難度データＤj とは、図１８、図１９、図２１および図２２に示したように、強い相関関係を有するが、映像データの絵柄によっては、上記一次関数から若干の誤差が生じる。
【０１７２】
第６の実施形態における映像データ圧縮装置２の処理は、かかる問題点を解決するためになされたものであり、映像データの絵柄等に応じて、式１１および式１２等に示した重み付け係数ａp ，ａB 等を、適応的に刻一刻と調節して、第５の実施形態においてより高い精度で実難度データＤj を指標データで近似することができ、より高い品質の圧縮映像データを生成することができるように改良されている。
【０１７３】
以下、第６の実施形態における映像データ圧縮装置２の処理の概要を説明する。
映像データ圧縮装置２（図１６）のエンコーダ１８が、１ピクチャー分の圧縮符号化を終了するたびに、ホストコンピュータ２０には、生成した圧縮映像データの１ピクチャー分のデータ量が判明し、さらに、圧縮符号化時の量子化値Ｑjの平均値、および、以下に説明するグローバルコンプレクシティ(GC; global complexity) を算出することができる。
グローバルコンプレクシティは、ＭＰＥＧのＴＭ５において、圧縮映像データのデータ量と量子化値Ｑj とを乗算した値として、下の式１４−１〜式１４−３に示すように定義され、映像の絵柄の複雑さを示す。
【０１７４】
【数１４】
2006148953.tif 000016
【０１７５】
なお、式１４−１〜式１４−３において、ＳI ，ＳB ，Ｓp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのデータ量を示し、ＱI ，ＱB ，Ｑp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーを生成する際の量子化値Ｑj の平均値を示し、ＸI ，ＸB ，Ｘp は、それぞれＩピクチャー、ＢピクチャーおよびＰピクチャーのグローバルコンプレクシティを示す。
式１４−１〜式１４−３に示したグローバルコンプレクシティは、実難度データＤj とは必ずしも一致しないが、量子化値Ｑj の平均値が極端に大きかったり小さかったりしない限り、実難度データＤj とほぼ一致する。
【０１７６】
ここで、Ｉピクチャー、ＰピクチャーおよびＢピクチャーの指標データ、例えばイントラＡＣ（他のパラメータでも可）およびＭＥ残差と、グローバルコンプレクシティとが比例関係にあるとすると、これらの指標データとグローバルコンプレクシティとの比例係数εI ，εP ，εB は、下の式１５−１〜式１５−３により算出できる。
【０１７７】
【数１５】
2006148953.tif 000017
【０１７８】
各ピクチャータイプの実難度データＤj は、式１５−１〜式１５−３により算出した比例係数εI ，εP ，εB を用いて、下の式１６−１〜式１６−３に示すように近似され、算出される。
【０１７９】
【数１６】
2006148953.tif 000018
【０１８０】
ホストコンピュータ２０が、式１５−１〜式１５−３に示したように、比例係数εI ，εP ，εB を、エンコーダ１８がピクチャーを１枚圧縮符号化するたびに算出して最適化し、式１６−１〜式１６−３により各ピクチャータイプの実難度データＤj の値を求めることにより、映像データの絵柄に関わらず、指標データにより実難度データＤj を、常に最適に近似することができる。
【０１８１】
ホストコンピュータ２０は、式１５−１〜式１５−３および式１６−１〜式１６−３に示したように近似された実難度データＤj に対して、式１または式４に示した演算処理を行って目標データ量Ｔj を算出する。
なお、ＭＰＥＧのＴＭ５におけるように、実難度データＤj に基づいて定める値に対して、意図的に、実際に算出する目標データ量Ｔj の値を一定の比率で変更する場合には、下の式１７−１〜式１７−３により、目標データ量Ｔj を算出することができる。
【０１８２】
【数１７】
2006148953.tif 000019
【０１８３】
なお、式１７−１〜式１７−３全ての分母において、ＤI,P,B は、エンコーダ１８に入力される前のＦＩＦＯメモリ１６０にバッファリングされているＬピクチャー分の非圧縮映像データから生成された指標データにより近似された実難度データＤj を示し、Ｒj は、第ｊ番目のピクチャー以降のＬ枚のピクチャーに割り当てることができるデータ量の平均値を示す。
【０１８４】
以下、図２３を参照して、第６の実施形態における映像データ圧縮装置２の処理内容を説明する。
図２３は、第６の実施形態における映像データ圧縮装置２（図１６，図１７）の圧縮符号化処理の内容を、ピクチャーの符号化順に示す図である。
エンコーダ制御部２２は、第５の実施形態においてと同様に、非圧縮映像データＶＩＮを符号化順にピクチャーを並べ替え、ピクチャー・フィールド変換等を行い、Ｉピクチャーに圧縮符号化される第（ｊ＋Ｌ）番目のピクチャーからフラットネスおよびイントラＡＣ等の統計量を算出する（図２３ａ）。
【０１８５】
動き検出器１４は、第１の実施形態〜第５の実施形態においてと同様に、ＰピクチャーおよびＢピクチャーに圧縮符号化される第（ｊ＋Ｌ）番目のピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する（図２３ａ）。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第５の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
ホストコンピュータ２０は、動き検出器１４が生成したＭＥ残差に対して式１６−１および式１６−２に示した演算処理を行って実難度データＤj を近似し、式１６−３に示した演算処理を行って、イントラＡＣ等により実難度データＤjを近似する（図２３ｂ）。
さらに、ホストコンピュータ２０は、近似した実難度データＤj を式１あるいは式１７−１〜式１７−３に代入し、目標データ量Ｔj を算出して、エンコーダ１８の量子化制御回路１８０に設定する（図２３ｃ）。
【０１８６】
エンコーダ１８のＤＣＴ回路１６６は、第１の実施形態〜第５の実施形態においてと同様に、遅延した映像データの第ｊ番目のピクチャーをＤＣＴ処理する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化するとともに、第ｊ番目のピクチャーの圧縮符号化に用いた量子化値Ｑj の平均値を算出し、ホストコンピュータ２０に対して出力する。
可変長符号化回路１７０は、第１の実施形態〜第５の実施形態においてと同様に、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０１８７】
エンコーダ１８が、第ｊ番目のピクチャーの圧縮符号化を終了すると、ホストコンピュータ２０は、量子化制御回路１８０から入力される第ｊ番目のピクチャーに対する量子化値Ｑj の平均値と、圧縮符号化された第ｊ番目のピクチャーのデータ量とに基づいて、式１４−１〜式１４−３に示したようにグローバルコンプレクシティを算出する（図２３ｄ）。
さらに、ホストコンピュータ２０は、算出したグローバルコンプレクシティにより、式１５−１〜式１５−３に示したように比例係数εI ，εP ，εB を更新する（図２３ｅ）。更新された比例係数εI ，εP ，εB は、次のピクチャーの圧縮符号化の際の変換式（式１６−１〜式１６−３）に反映される。
【０１８８】
図２４を参照して、第６の実施形態におけるホストコンピュータ２０の処理内容をさらに説明する。
図２４は、第６の実施形態における映像データ圧縮装置２のホストコンピュータ２０（図１８）の処理内容を示すフローチャート図である。
図２４に示すように、ステップ３００（Ｓ３００）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーのＭＥ残差あるいはイントラＡＣ等の指標データ（統計量）をエンコーダ制御部２２または動き検出器１４から取り込む。
【０１８９】
ステップ３０２（Ｓ３０２）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがいずれのピクチャータイプに圧縮符号化されるかを判断する。第（ｊ＋Ｌ）番目のピクチャーがＩピクチャーに圧縮符号化される場合にはＳ３０４の処理に進み、Ｐピクチャーに圧縮符号化される場合にはＳ３０６の処理に進み、Ｂピクチャーに圧縮符号化される場合にはＳ３０８の処理に進む。
【０１９０】
ステップ３０４（Ｓ３０４）、ステップ３０６（Ｓ３０６）およびステップ３０８（Ｓ３０８）それぞれにおいて、ホストコンピュータ２０は、式１６−１〜式１６−３により実難度データＤj を近似する。
ステップ３１０（Ｓ３１０）において、ホストコンピュータ２０は、近似した実難度データＤj を用いて、式１あるいは式１７−１〜式１７−３により、目標データ量Ｔj を算出する。
ステップ３１２（Ｓ３１２）において、エンコーダ１８は、第ｊ番目のピクチャーを圧縮符号化する。
【０１９１】
ステップ３１４（Ｓ３１４）において、ホストコンピュータ２０は、エンコーダ１８が圧縮した第ｊ番目のピクチャーのデータ量、および、量子化制御回路１８０が量子化回路１６８に設定する量子化値Ｑj の平均値から、グローバルコンプレクシティＸI ，ＸB ，Ｘp 〔Ｘ（Ｉ，Ｂ，Ｐ）〕を算出する。
【０１９２】
ステップ３１６（Ｓ３１６）において、ホストコンピュータ２０は、第ｊ番目のピクチャーがいずれのピクチャータイプに圧縮符号化されたかを判断する。第ｊ番目のピクチャーがＩピクチャーに圧縮符号化された場合にはＳ３１８の処理に進み、Ｐピクチャーに圧縮符号化された場合にはＳ３２０の処理に進み、Ｂピクチャーに圧縮符号化された場合にはＳ３２０の処理に進む。
ステップ３１８（Ｓ３１８）、ステップ３２０（Ｓ３２０）およびステップ３２２（Ｓ３２２）それぞれにおいて、ホストコンピュータ２０は、式１５−１〜式１５−３により比例係数εI ，εP ，εB を更新する。
ステップ３２４（Ｓ３２４）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０１９３】
なお、第５の実施形態においてと同様に、例えば、下の式１８に示すように、実難度データＤj と、比例係数εI ，εP ，εB と指標データとの乗算値との間にオフセット（δP ）が存在する場合がある。このような場合には、下の式１９に示すように、グローバルコンプレクシティＸI ，ＸB ，Ｘp からオフセット値δI ，δB ，δP を減算した値を指標データで除算することにより、比例係数εI ，εP ，εB を算出することができる。
【０１９４】
【数１８】
2006148953.tif 000020
【０１９５】
【数１９】
2006148953.tif 000021
【０１９６】
また、第６の実施形態に示した映像データ圧縮装置２の動作についても、第５の実施形態等に示したものと同様な変形が可能である。
以上述べたように、第６の実施形態における映像データ圧縮装置２の動作によれば、第５の実施形態に示した映像データ圧縮装置２の動作と同じ効果を得られる他、第５の実施形態におけるよりもさらに正確な目標データ量Ｔj が算出でき、この結果、圧縮映像データの品質を向上させることができる。
【０１９７】
第７実施形態
以下、本発明の第７の実施形態を説明する。
ＭＰＥＧ方式等のＴＭ５(test model 5)の処理の第１段階（ステップ１）においては、式１４−１〜式１４−３（第６の実施形態）に示したグローバルコンプレクシティＸI ，Ｘp ，ＸB 〔Ｘ（Ｉ，Ｐ，Ｂ）〕を用いて、圧縮後のピクチャーそれぞれに割り当てる目標データ量Ｔj が算出される。
【０１９８】
グローバルコンプレクシティＸI ，Ｘp ，ＸB から目標データ量Ｔj を求める際には、式１７−１〜式１７−３が用いられる。式１７−１〜式１７−３には、ピクチャーの種類（ピクチャータイプ）ごとに目標データ量Ｔj に異なった重み付けを行うために、Ｋp ，ＫB という係数が導入されている。式１７−１〜式１７−３を参照してわかるように、重み付け係数Ｋp ，ＫB の値をそれぞれ大きくすればするほど、Ｉピクチャーの目標データ量Ｔj と比較して、ＰピクチャおよびＢピクチャーの目標データ量Ｔj が少なくなる。
【０１９９】
例えば、ＭＰＥＧ方式のＴＭ５においては、重み付け係数Ｋp ，ＫB は固定値であり、それぞれ１．０，１．４（Ｋp ＝１．０，ＫB ＝１．４、デフォルト値）である。つまり、ＭＰＥＧ方式のＴＭ５においては、Ｐピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＰピクチャーのグローバルコンプレクシティＸp の比率の通りの目標データ量Ｔj が与えられ、Ｂピクチャーには、ＩピクチャーのグローバルコンプレクシティＸI に対するＢピクチャーのグローバルコンプレクシティＸB の比率よりも意図的に小さい目標データ量Ｔj が与えられる。
【０２００】
多くの場合、固定の重み付け係数Ｋp ，ＫB を用いることにより、各ピクチャータイプに対して適切な値の目標データ量Ｔj が算出される。しかしながら、固定値の重み付け係数Ｋp ，ＫB は、圧縮語のデータレートの値、および、非圧縮映像データの絵柄によっては、最適な値でなくなる可能性がある。
【０２０１】
一方、「ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用」（甲藤，太田、信学技報 IE95-10, DSP95-10 (1995-04) p71〜p78 ；文献１）において、非圧縮映像データの動きの大きさ、絵柄の複雑さに応じて、重み付け係数Ｋp ，ＫB （式１７−１〜式１７−３；第６の実施形態）を最適化することにより、圧縮映像データの品質を改善することができる旨が報告されている。しかしながら、文献１には、圧縮映像データのデータレートおよび非圧縮映像データの動きに応じて重み付け係数Ｋp ，ＫB を変更する方法は開示されいない。
【０２０２】
また、実際には、圧縮映像データのデータレートを充分高い値にすることができる場合は、重み付け係数Ｋp ，ＫB の値にデフォルト値を用いて目標データ量Ｔj を求める場合に、圧縮映像データの品質が最良になる。一方、圧縮映像データのデータレートを充分高い値にすることができない場合は、重み付け係数Ｋp，ＫB の値を非圧縮映像データの動きの大きさ、絵柄の複雑さに応じて、重み付け係数Ｋp ，ＫB を最適化して目標データ量Ｔj を求める方が、圧縮映像データの品質が向上する。
【０２０３】
具体的には、例えば、動きが大きくても絵柄が簡単な映像データを圧縮符号化する際には、重み付け係数Ｋp ，ＫB を変更するよりもデフォルト値とした方が圧縮映像データの品質が結果として向上する。また、動きが小さい映像データを圧縮符号化する場合は、Ｉピクチャーに多くのデータ量を割り当てるような重み付け係数Ｋp ，ＫB 、つまり、値が大きい重み付け係数Ｋp ，ＫB を用いると圧縮映像データの品質が向上する。逆に、動きが大きい映像データを圧縮符号化する場合は、ＰピクチャーおよびＢピクチャーに多くのデータ量を割り当てるような重み付け係数Ｋp ，ＫB 、つまり、値が小さい重み付け係数Ｋp ，ＫB を用いると圧縮映像データの品質が向上する。
【０２０４】
第７の実施形態においては、映像データ圧縮装置１，２（図１〜図３，図１６，図１７）を改良し、これらと同様にＦＦＲＣ方式により映像データを圧縮する装置であって、ピクチャータイプごとの目標データ量Ｔj を算出する際に用いられる重み付け係数Ｋp ，ＫB を、非圧縮映像データの動き・絵柄に応じて適応的に変更・調節し、圧縮映像データの品質を改善した映像データ圧縮装置３を説明する。
【０２０５】
図２５は、第７の実施形態における本発明に係る映像データ圧縮装置３の構成を示す図である。
図２６は、図２５に示したエンコーダ２６の構成を示す図である。
図２５に示すように、映像データ圧縮装置３は、映像データ圧縮装置２（図１６，図１７）のエンコーダ１８を、エンコーダ２６で置換した構成を採る。
なお、図２５および図２６においては、映像データ圧縮装置３の構成部分の内、図１〜図３に示した映像データ圧縮装置１および図１６，図１７に示した映像データ圧縮装置２の構成部分と同一のものには同一の符号を付してある。
【０２０６】
また、図２６に示すように、エンコーダ２６は、量子化制御回路１８０の代わりに、グローバルコンプレクシティ算出回路（ＧＣ算出回路）２６２、目標データ量算出（Ｔj 算出）回路２６４および量子化インデックス生成回路２６６を含む量子化制御部２６０を有し、ホストコンピュータ２０によらずに、実難度データＤj またはグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて目標データ量Ｔj を算出可能に構成されている。
映像データ圧縮装置３は、これらの構成部分により、第５の実施形態および第６の実施形態において説明したＦＦＲＣ方式により非圧縮映像データを圧縮符号化し、出力する。
【０２０７】
以下、量子化制御部２６０の各構成部分の動作を説明する。
ＧＣ算出回路２６２は、可変長符号化回路１７０から出力される圧縮映像データのデータ量ＳI ，Ｓp ，ＳB と、量子化回路１６８が量子化に用いた量子化値の平均値ＱI ，Ｑp ，ＱB とに基づいて、式１４−１〜式１４−３（第６実施形態）に示したように、各ピクチャータイプのグローバルコンプレクシティＸI ，Ｘp ，ＸB を算出し、目標データ量算出回路２６４、量子化インデックス生成回路２６６、および、必要に応じてホストコンピュータ２０に対して出力する。
【０２０８】
目標データ量算出回路２６４は、例えば、ＭＰＥＧ方式のＴＭ５の第１段階（ステップ１）と同様に、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB により各ピクチャータイプの実難度データＤj を近似し、式１７−１〜式１７−３（第６実施形態）に示したように、各ピクチャータイプのピクチャーそれぞれの目標データ量Ｔj を算出し、量子化インデックス生成回路２６６に対して出力する。
【０２０９】
具体例を挙げて上述したように、例えば、動きが大きくても絵柄が簡単な映像データを圧縮符号化する際には、重み付け係数Ｋp ，ＫB を変更するよりもデフォルト値とし、符号化難度が高い（実難度データＤj の値が大きい）絵柄の映像データの内、動きが小さい部分を圧縮符号化する際には重み付け係数Ｋp ，ＫBの値を大きくし、逆に、動きが大きい映像データを圧縮符号化する際には、重み付け係数Ｋp ，ＫB の値を比較的、小さくすることが望ましい。
【０２１０】
式２０、式２１−１および式２１−２を参照して、目標データ量算出回路２６４における重み付け係数Ｋp ，ＫB の更新処理の内容をさらに説明する。
重み付け係数Ｋp ，ＫB を、どの程度変更すべきかを判断するために、下に示す圧縮映像データＶＯＵＴのデータレートに対する実難度データＤj の比率ｘというパラメータを導入する。
【０２１１】
【数２０】
2006148953.tif 000022
【０２１２】
ただし、式２０において、bitrate は、１秒間当たりの発生データ量（データレート）であり、Ｎは１ＧＯＰ当たりのピクチャーの枚数であり、picture rateは１秒間あたりのピクチャーの枚数である。
【０２１３】
また、非圧縮映像データの動きの大小は、Ｉピクチャーの実難度データＤI に対するＰピクチャーの実難度データＤP の比率（ＤI ／Ｄp ）、および、Ｉピクチャーの実難度データＤI に対するＢピクチャーの実難度データＤB の比率（ＤI ／ＤB ）により判断することができる。
従って、目標データ量算出回路２６４は、例えば、最新のＩピクチャーの実難度データＤI とＰピクチャーの実難度データＤp との比率（ＤI ／Ｄp ）に比例するようにＰピクチャーの重み付け係数Ｋp を算出し、最新のＩピクチャーの実難度データＤI とＢピクチャーの実難度データＤB との比率（ＤI ／ＤB ）に比例するようにＢピクチャーの重み付け係数ＫB を算出する。
【０２１４】
図２７は、目標データ量算出回路２６４（図２６）が算出するＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB を示す図である。
しかしながら、非圧縮映像データの絵柄の複雑さおよび動きの大きさによっては、単純に重み付け係数Ｋp ，ＫB と比率（ＤI ／Ｄp ，ＤI ／ＤB ）とを比例させた場合、重み付け係数Ｋp ，ＫB の値が極端に大きくなりすぎる場合および小さくなりすぎる場合がある。従って、比率ｘ（式２０）に所定の閾値δ1 ，δ2 ，δ3 （δ1 ＜δ2 ，δ3 ）を設ける。
【０２１５】
比率ｘが閾値δ1 よりも小さい場合には、圧縮映像データＶＯＵＴのデータレートが充分に大きい、あるいは、非圧縮映像データの絵柄が単純または動きが小さいと判断できるので、重み付け係数Ｋp ，ＫB の値が小さくなりすぎないように（但し、割り当てられるデータ量は多くなりすぎる）、デフォルト値を用いる。一方、非圧縮映像データの絵柄が複雑であるにもかかわらず、動きがごく少ない場合には、Ｉピクチャーの実難度データＤI の値は、ＰピクチャーおよびＢピクチャーの実難度データＤP ，ＤB に比べて非常に大きくなる。
【０２１６】
これらの場合に対応するために、重み付け係数Ｋp ，ＫB が必要以上に大きくなりすぎる（但し、割り当てられるデータ量は少なくなりすぎる）ので、Ｐピクチャーについて比率ｘに閾値δ3 、Ｂピクチャーについて比率ｘに閾値δ2 を設け、比率ｘがこれらの閾値δ3 ，δ2 を超える部分について、重み付け係数Ｋp，ＫB を上限値Ｌp ，ＬB として制限する。
なお、重み付け係数Ｋp ，ＫB と比率ｘとの関係は、それぞれ閾値δ1 〜閾値δ3 および閾値δ1 〜閾値δ2 の範囲内で、下の式２１−１および式２１−２に示す通りとなる。
【０２１７】
【数２１】
2006148953.tif 000023
【０２１８】
目標データ量算出回路２６４は、ＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB を、以上述べたように、それぞれ閾値δ1 〜閾値δ3 および閾値δ1 〜閾値δ2 の範囲内で式２１−１および式２１−２を用いて算出し、これらの範囲外ではデフォルト値または上限値Ｌp ，ＬB （＝ＤI ／Ｄp ，ＤI ／ＤB）に制限する。
【０２１９】
量子化インデックス生成回路２６６は、例えば、ＭＰＥＧ方式のＴＭ５の第２段階および第３段階（ステップ２，ステップ３）と同様に、目標データ量算出回路２６４から入力された目標データ量Ｔj 、および、ＧＣ算出回路２６２から入力されたグローバルコンプレクシティＸI ，Ｘp ，ＸB から量子化インデックスを生成し、量子化回路１６８に対して出力する。
【０２２０】
なお、量子化インデックスは、量子化回路１６８において、量子化処理の単位となるマクロブロックごとに変化する量子化値Ｑj の組み合わせを示すインデックスとして用いられるデータであって、量子化値Ｑj と１対１に対応する。つまり、量子化インデックス生成回路２６６から量子化インデックスを受けた量子化回路１６８は、受けた量子化インデックスが示す量子化値Ｑj の組み合わせに変換し、ＤＣＴ回路１６６から入力される映像データを量子化する。
【０２２１】
以下、映像データ圧縮装置３（図２５，図２６）の動作を説明する。
動き検出器１４は、第１の実施形態〜第６の実施形態においてと同様に、動きベクトルの生成等を行う。
エンコーダ制御部２２は、第５の実施形態および第６の実施形態においてと同様に、ピクチャーの並び替え等の前処理を行う。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第７の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
【０２２２】
エンコーダ２６（図２６）が、１ピクチャー分の圧縮符号化を終了するたびに、量子化制御部２６０のＧＣ算出回路２６２は、量子化インデックス生成回路２６６の量子化インデックスから量子化値Ｑj の平均値を算出し、量子化値Ｑj の平均値および圧縮映像データのデータ量を、式１４−１〜式１４−３（第６実施形態）に代入し、グローバルコンプレクシティＸI ，Ｘp ，ＸB を算出する。
【０２２３】
目標データ量算出回路２６４は、圧縮映像データの目標データ量算出回路２６４は、最も新しく生成された各ピクチャータイプのピクチャーの実難度データＤj （ＤI ，ＤP ，ＤB ）に基づいて、式２０、式２１−２および式２１−２に示した処理を行い、各ピクチャータイプの重み付け係数Ｋp ，ＫB を更新し、式１７−１〜式１７−３（第６実施形態）に示したように、次のピクチャーの目標データ量Ｔj を算出する。
【０２２４】
量子化インデックス生成回路２６６は、算出された目標データ量Ｔj およびグローバルコンプレクシティＸI ，Ｘp ，ＸB に基づいて、量子化インデックスを算出し、エンコーダ２６の量子化回路１６８に設定する。
ＤＣＴ回路１６６は、第１の実施形態〜第６の実施形態においてと同様に、次のピクチャーに対してＤＣＴ処理を行う。
【０２２５】
量子化回路１６８は、ＤＣＴ処理された映像データを、設定された量子化インデックスを量子化値Ｑj に変換し、変化により得られた量子化値Ｑj により量子化処理を行う。
可変長符号化回路１７０は、第１の実施形態〜第６の実施形態においてと同様に、可変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０２２６】
なお、映像データ圧縮装置３の目標データ量算出回路２６４を、実難度データＤj の代わりに、ＧＣ算出回路２６２から入力されるグローバルコンプレクシティＸI ，Ｘp ，ＸB を用いて重み付け係数Ｋp ，ＫB の更新を行うように変形することができる。
また、このような場合、式２１−１および式２１−２において用いられる比率（ＤI ／Ｄp ，ＤI ／ＤB ）を、グローバルコンプレクシティＸI ，Ｘp ，ＸBを用いた（ＸI ／Ｘp ，ＸI ／ＸB ）に置き換えることも可能である。
【０２２７】
また、第７の実施形態においては、図２７に示したように、重み付け係数Ｋp，ＫB と比率ｘとの所定の範囲内の関係を、一次関数（式２１−１，式２１−２）で表したが、この範囲の重み付け係数Ｋp ，ＫB と比率ｘの関係を表すためにより適切な関数があれば、目標データ量算出回路２６４が、その関数を用いて重み付け係数Ｋp ，ＫB を更新するように変形してもよい。
また、第７の実施形態として示した映像データ圧縮装置３の処理の内容は、第１の実施形態〜第６の実施形態に示した映像データ圧縮装置１，２（図１〜図３，図１６，図１７）にも応用可能である。
【０２２８】
また、第７の実施形態に示した比率ｘの定義式（式２０）、および、重み付け係数Ｋp ，ＫB の算出式（式２１−１，式２１−２）は例示であって、同様な意味を有する他のパラメータを、他の数式により算出するように目標データ量算出回路２６４の動作を変形することも可能である。
また、比率ｘと重み付け係数Ｋp ，ＫB との関係を、予め実験等により求めておき、これらの数値の関係を示すテーブルを作成し、比率ｘに基づいてテーブルを参照することにより、重み付け係数Ｋp ，ＫB を得るように目標データ量算出回路２６４の処理内容を変形してもよい。
【０２２９】
また、映像データ圧縮装置３において量子化制御部２６０が行った処理を、映像データ圧縮装置１，２においてホストコンピュータ２０が行うことも可能である。
また、第７の実施形態に示した映像データ圧縮装置３に対しては、第１の実施形態〜第６の実施形態に示した変形が可能である。
【０２３０】
第８実施形態
以下、本発明の第８の実施形態を説明する。
ここまでに、第５の実施形態および第６の実施形態として、指標データ（統計量）、つまり、フラットネス、イントラＡＣ、アクティビティおよびＭＥ残差を用い、圧縮映像データの品質の向上と、圧縮符号化処理の実時間性とを両立させるフィード・フォワード・レート・コントロール（ＦＦＲＣ）方式を説明した。また、第３の実施形態および第４の実施形態として、簡易２パスエンコード方式または予測簡易２パスエンコード方式を改良して、編集映像データを圧縮符号化するために好適な改良予測簡易２パスエンコード方式を説明した。
【０２３１】
第８の実施形態においては、これらの実施形態に示したＦＦＲＣ方式および改良予測簡易２パスエンコード方式を組み合わせ、映像データ圧縮装置２（図１６，図１７）を用い、これらの方式両方の特徴を兼ね備え、実難度データＤj を得るためのエンコーダが不要で、しかも、編集映像データに含まれる映像データ（シーン）の境界（シーンチェンジ）部分の圧縮映像データの品質が低下することがない映像データ圧縮方式（改良ＦＦＲＣ方式）を説明する。
【０２３２】
改良予測簡易２パスエンコード方式においては、実難度データＤj が時間的に大きく変化する部分をシーンチェンジ部分として検出し、ピクチャータイプシーケンスを変更して圧縮符号化を行う。このようなシーンチェンジの検出は、ＦＦＲＣ方式においても、実難度データＤj の代わりに指標データにより近似した実難度データＤj の経時的な変化を監視することにより可能である。
【０２３３】
しかしながら、シーンチェンジの有無を判断するためには、シーンチェンジ部分の前後、１ＧＯＰ程度の範囲の指標データの時間的変化を監視する必要があり、映像データ圧縮装置２において、動き検出器１４が指標データを算出した後、かなりの時間が経過した後にシーンチェンジ部分の検出が可能となり、実際には、エンコーダ１８における圧縮符号化処理の直前になって、初めて、シーンチェンジ部分の検出が可能となる可能性もある。
従って、ホストコンピュータ２０は、処理時間を確保するために、指標データによる実難度データＤj の近似する処理（第５の実施形態において示した式１１，式１２等、および、第６の実施形態において示した式１６−１〜式１６−３）を、シーンチェンジの検出の前にほぼ終了している必要がある。
【０２３４】
第８の実施形態における映像データ圧縮装置２は、シーンチェンジの検出結果が確定していない状態で、指標データあるいはグローバルコンプレクシティによる実難度データＤj の近似処理を仮に行い、仮に算出した実難度データＤj の内、シーンチェンジに伴う変更を要する部分だけを、シーンチェンジの有無およびピクチャータイプシーケンスの変更の有無が確定した後に補正し、目標データ量Ｔj を算出する処理を行う。
【０２３５】
以下、Ｎ枚〔説明の簡略化のために、以下、例えばＮ＝Ｌ（ＬはＦＩＦＯメモリ１６０の遅延時間に対応するピクチャー数）とする〕のピクチャーのＭＥ残差の算出を行う度に、このＮ枚のピクチャーに対するピクチャータイプシーケンスを最終的に決定する場合を例として、第８の実施形態における映像データ圧縮装置２の圧縮符号化処理の内容を説明する。なお、ピクチャータイプシーケンスの決定に用いられるＮ枚のピクチャーは、ピクチャータイプシーケンスの決定する処理の処理単位であり、必ずしもエンコーダ１８におけるピクチャータイプシーケンスと一致していなくてもよく、また、通常のＧＯＰと異なり、先頭がＩピクチャーでなくともよい。また、以下、このようなＮ枚のピクチャ一１組を、レート・コントロールＧＯＰ（ＲＧＣＯＰ;rate control GOP ）とも記す。
【０２３６】
図２８は、第８の実施形態における映像データ圧縮装置２（図１６，図１７）の圧縮符号化動作を符号化順に示す図である。
動き検出器１４は、第１の実施形態〜第７の実施形態においてと同様に、ＰピクチャーおよびＢピクチャーに圧縮符号化される第（ｊ＋Ｎ）番目のピクチャーについて動きベクトルを生成し、さらに、ＭＥ残差を算出する（図２３ａ）。
エンコーダ制御部２２は、第５の実施形態〜第７の実施形態においてと同様に、ピクチャーの並び替え等の前処理を行い、さらに、フラットネス、イントラＡＣおよびアクティビティ等の指標データを算出する。
ＦＩＦＯメモリ１６０は、第１の実施形態〜第７の実施形態においてと同様に、入力された映像データをＬピクチャー分だけ遅延する。
【０２３７】
映像データ圧縮装置２（図１６，図１７）の１ピクチャー分の圧縮符号化が終了するたびに、ホストコンピュータ２０には、第５の実施形態〜第７の実施形態においてと同様に、エンコーダ制御部２２が算出したフラットネス、イントラＡＣおよびアクティビティ、および、動き検出器１４が算出したＭＥ残差（統計量）が入力される。ホストコンピュータ２０は、これらの指標データを記憶する（図２８ａ）。さらに、ホストコンピュータ２０は、シーンチェンジが発生しておらず、ピクチャーシーケンスに変更が生じないと仮定して、第６の実施形態においてと同様に、最適化された比例係数εI ，εP ，εB （第６の実施形態に示した式１４−１〜式１４−３）を用いて、式１６−１〜式１６−３により、シーンチェンジがないと仮定した場合の実難度データＤj の値を近似し、予測する（図２８ｂ）。
【０２３８】
具体的には、ホストコンピュータ２０は、第１のＲＧＣＯＰのＩピクチャーからＮ枚目のピクチャーはＩピクチャーに圧縮符号化され、Ｍの整数倍（ｎ×Ｍ）番目のピクチャーはＰピクチャーに圧縮符号化され、これら以外のピクチャーはＢピクチャーに圧縮符号化されると仮定し、それぞれＩピクチャー、ＰピクチャーおよびＢピクチャーに圧縮符号化されるピクチャーから生成された指標データ、および、比例係数εI ，εP ，εB を、式１６−１〜式１６−３に代入して実難度データＤj を近似し、算出する。但し、Ｍは、エンコーダ１８におけるシーンチェンジがない場合のＰピクチャーの間隔を示す。
【０２３９】
つまり、例えば、ホストコンピュータ２０は、前のＲＧＣＯＰ（第１のＲＧＣＯＰ；ＲＧＣＯＰ＃１）のＩピクチャーを基準としてピクチャーの枚数を計数し、エンコーダ１８が、第２のＲＧＣＯＰ（ＲＧＣＯＰ＃２）の各ピクチャーをいずれのピクチャータイプに圧縮符号化するかを仮定し、仮定したピクチャータイプに応じて、式１６−１〜式１６−３に示したように、指標データにより実難度データＤj の値を近似し、予測する。
【０２４０】
なお、ＲＧＣＯＰ内にシーンチェンジ部分が存在する確率は、比較的、少ないと考えられるので、ホストコンピュータ２０は、予測した実難度データＤj に基づいて、ほとんどのＲＧＣＯＰに対する目標データ量Ｔj を算出することになる（図２８ｆ）。
また、実難度データＤj は、式１（第１の実施形態）、式４（第２の実施形態）または式１７−１〜式１７−３（第６の実施形態）の分母の計算に用いられるのみであり、また、後述するように、ホストコンピュータ２０は、ピクチャータイプシーケンスの変更の有無が確定した段階で補正を行うので、常に、目標データ量Ｔj の値を正確に算出することができる。
【０２４１】
第２のＲＧＣＯＰ（ＲＧＣＯＰ＃２）の各ピクチャーの実難度データＤj の算出が終了すると、算出した実難度データＤj または指標データに対して、第３の実施形態および第４の実施形態に示した方法を適用することにより、ホストコンピュータ２０は、第２のＲＧＣＯＰにおけるシーンチェンジを検出することができる。第２のＲＧＣＯＰにおけるシーンチェンジの有無に応じて、ホストコンピュータ２０は、シーンチェンジの有無に応じて、エンコーダ１８を制御してピクチャータイプシーケンスの変更〔図８（Ｃ）〕を行う。
このようなホストコンピュータ２０の処理により、ピクチャータイプシーケンスの変更の有無が分かり、各ピクチャーをいずれのピクチャータイプに圧縮符号化するかが確定する（図２８ｃ）。
【０２４２】
ホストコンピュータ２０は、ピクチャータイプシーケンスに変更がある場合には、記憶した指標データおよび変更後のピクチャータイプに基づいて、第２のＲＧＣＯＰについて実難度データＤj の値を補正して、正しい実難度データＤj を算出し（図２８ｄ）、さらに、式１、式４または式１７−１〜式１７−３を用いて、各ピクチャータイプに応じた第（Ｎ＋１）番目のピクチャーの目標データ量ＴN+1 (target bit)を算出し（図２８ｅ）、エンコーダ１８の量子化制御回路１８０に設定する。
【０２４３】
具体的には、図８（Ｃ）に示したように、ホストコンピュータ２０は、圧縮後にＰピクチャーではなく、Ｉピクチャーになるように変更されたピクチャーの指標データを、式１６−１の代わりに式１６−２に代入し、逆に、圧縮後にＩピクチャーではなく、Ｐピクチャーになるように変更されたピクチャーの指標データを、式１６−２の代わりに式１６−１に代入して実難度データＤj の値を補正する。
【０２４４】
エンコーダ１８のＤＣＴ回路１６６は、第１の実施形態〜第７の実施形態においてと同様に、ＤＣＴ処理を行う。
量子化回路１６８は、ＤＣＴ処理された映像データを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化値Ｑj の平均値を算出する。
可変長符号化回路１７０は、第１の実施形態〜第７の実施形態においてと同様に、変長符号化を行い、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成し、バッファメモリ１８２を介して出力する。
【０２４５】
エンコーダ１８が、第ｊ番目のピクチャーの圧縮符号化を終了すると、ホストコンピュータ２０は、量子化値Ｑj の平均値と、圧縮符号化された第ｊ番目のピクチャーのデータ量とに基づいて、式１４−１〜式１４−３に示したようにグローバルコンプレクシティを算出する。
さらに、ホストコンピュータ２０は、算出したグローバルコンプレクシティにより、式１５−１〜式１５−３に示したように比例係数εI ，εP ，εB を更新し、最適化する。第６の実施形態においてと同様に、更新された比例係数εI ，εP ，εB は、次のピクチャーの圧縮符号化の際の変換式（式１６−１〜式１６−３）に反映される。
【０２４６】
図２９を参照して、第８の実施形態におけるホストコンピュータ２０の処理内容をさらに説明する。
図２９は、第８の実施形態における映像データ圧縮装置２のホストコンピュータ２０（図１６）の処理内容を示すフローチャート図である。なお、図７においては、第６の実施形態に示したグローバルコンプレクシティの算出処理等は省略されている。
【０２４７】
図２９に示すように、第８の実施形態におけるホストコンピュータ２０の処理は、第１段階（Ｓ４００）および第２段階（Ｓ４２０）に分かれており、第１段階においては、シーンチェンジがなく、ピクチャータイプシーケンスに変更がない仮定して実難度データＤj を予測する処理が行われ、第２段階においては、シーンチェンジが生じ、ピクチャータイプシーケンスが変更された場合に、実難度データＤj の値を補正する処理が行われる。
【０２４８】
第１段階（Ｓ４００；Ｓ４０２〜Ｓ４１２）は、シーンチェンジがない場合の実難度データＤj を予測する処理であって、第１段階のステップ４０２（Ｓ４０２）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーのＭＥ残差あるいはイントラＡＣ等の指標データ（統計量）をエンコーダ制御部２２または動き検出器１４から取り込み、記憶する。
ステップ４０４（Ｓ４０４）において、ホストコンピュータ２０は、第〔ｊ＋Ｌ（ｊ＋Ｎ）〕番目のピクチャーがＢピクチャーに圧縮符号化されるか否かを判断する。第（ｊ＋Ｌ）番目のピクチャーがＢピクチャーに圧縮符号化される場合にはＳ４０６の処理に進み、Ｂピクチャーに圧縮符号化されない場合にはＳ４０８の処理に進む。
【０２４９】
ステップ４０６（Ｓ４０６）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがＢピクチャーに圧縮符号化されると予測し、式１６−３により実難度データＤj を近似し、算出する。
ステップ４０８（Ｓ４０８）において、ホストコンピュータ２０は、前のＲＧＣＯＰにおいてＩピクチャーに圧縮符号化されるピクチャーから、現在のＲＧＣＯＰの第（ｊ＋Ｌ）番目のピクチャーまでの間のピクチャーの枚数（間隔）が、Ｎ枚であるか否かを判断する。間隔がＮ枚である場合には、Ｓ４１２の処理に進み、Ｎ枚でない場合にはＳ４１０の処理に進む。
【０２５０】
ステップ４１０（Ｓ４１０）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがＰピクチャーに圧縮符号化されると予測し、式１６−２により実難度データＤj を近似し、算出する。
ステップ４１２（Ｓ４１２）において、ホストコンピュータ２０は、第（ｊ＋Ｌ）番目のピクチャーがＩピクチャーに圧縮符号化されると予測し、式１６−１により実難度データＤj を近似し、算出する。
【０２５１】
第２段階（Ｓ４２０；Ｓ４２２〜Ｓ４３４）は、第１段階で予測した実難度データＤj を補正する処理であって、第２段階のステップ４２２（Ｓ４２２）において、ホストコンピュータ２０は、新たなＲＧＣＯＰが始まったか否かを判断し、始まらない場合にはＳ４３０の処理に進み、始まった場合にはＳ４２４の処理に進む。
ステップ４２４（Ｓ４２４）において、ホストコンピュータ２０は、Ｉピクチャーの位置が変わるようにピクチャータイプシーケンスが変更されたか否かを判断し、Ｉピクチャーの位置が変わるようにピクチャータイプシーケンスが変更された場合にはＳ４２６の処理に進み、変更されない場合にはＳ４３０の処理に進む。
【０２５２】
ステップ４２６（Ｓ４２６）において、ホストコンピュータ２０は、新たにＩピクチャーに圧縮符号化されるピクチャーについて、式１６−１により実難度データＤj を近似し、算出する。
ステップ４２８（Ｓ４２８）において、ホストコンピュータ２０は、新たにＰピクチャーに圧縮符号化されるピクチャーについて、式１６−２により実難度データＤj を近似し、算出する。
【０２５３】
ステップ４３０（Ｓ４３０）において、ホストコンピュータ２０は、式１、式４または式１７−１〜式１７−３により、第ｊ番目のピクチャーに対する目標データ量Ｔj を算出し、エンコーダ１８（図１６，図１７）の量子化制御回路１８０に設定する。
ステップ４３２（Ｓ４３２）において、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔj に基づいて第ｊ番目のピクチャーを圧縮符号化する。
ステップ４３４（Ｓ４３４）において、ホストコンピュータ２０は、数値ｊをインクリメントする。
【０２５４】
なお、第８の実施形態においては、映像データ圧縮装置２のホストコンピュータ２０は、シーンチェンジがあった場合に、圧縮後のピクチャーが変更されたピクチャーの実難度データＤj のみを補正する処理を行うが、処理時間に余裕があれば、ピクチャータイプシーケンスが確定した後に、全てのピクチャーの実難度データＤj を算出するように変形することができる。
また、第８の実施形態に示した映像データ圧縮装置２の動作についても、第３の実施形態〜第７の実施形態に示したものと同様な変形が可能である。
また、第１の実施形態〜第７の実施形態においてそれぞれ説明した映像データ圧縮装置１，２，３（図１〜図３，図１６，図１７，図２５，図２６）の処理内容は、互いに矛盾を生じない限り、組み合わせることが可能である。
【０２５５】
以上述べたように、第８の実施形態における映像データ圧縮装置２の動作によれば、第５の実施形態〜第７の実施形態に示した映像データ圧縮装置２の動作と同じ効果を得られる他、これらの実施形態におけるよりもさらに正確な目標データ量Ｔj が算出でき、しかも、シーンチェンジ部分の圧縮映像データの品質が低下しない。
【図面の簡単な説明】
【０２５６】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置の予測簡易２パスエンコードの動作を示す図である。
【図６】第２の実施形態における映像データ圧縮装置（図１）の動作を示すフローチャートである。
【図７】（Ａ）〜（Ｃ）は、第２の実施形態における予測簡易２パスエンコード方式、および、第３の実施形態における改良予測簡易２パスエンコード方式による、シーンチェンジの前後のピクチャーに対する圧縮符号化を示す図である。
【図８】（Ａ）〜（Ｃ）は、エンコーダ制御部（図１）による編集映像データのピクチャーの順序の入れ替え処理、および、ホストコンピュータによるピクチャータイプの変更処理を示す図である。
【図９】編集映像データのシーンチェンジ部分付近の実難度データの値の経時的な変化を例示する図である。
【図１０】ホストコンピュータ（図１）が、編集映像データにシーンチェンジが発生する場合に、実難度データＤ1 〜Ｄ15に基づいて予測難度データＤ’16〜Ｄ’30を算出する方法、および、編集映像データにシーンチェンジが発生しない場合の予測難度データＤ’16〜Ｄ’30を算出する方法を示す図である。
【図１１】第３の実施形態における改良予測簡易２パスエンコード方式における総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理内容を示す第１のフローチャート図である。
【図１２】第３の実施形態における改良予測簡易２パスエンコード方式における総和値Ｓｕｍi の予測および目標データ量Ｔi の算出に係る処理内容を示す第２のフローチャート図である。
【図１３】シーンチェンジがＰピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
【図１４】シーンチェンジがＩピクチャーで生じた場合に、その前後における実難度データＤj （○印）と予測難度データＤ’j （×印）との関係を、圧縮符号化の順に例示する図である。
【図１５】第４の実施形態における映像データ圧縮装置（図１）のホストコンピュータによるシーンチェンジ検出処理の内容を示すフローチャート図である。
【図１６】第５の実施形態における本発明に係る映像データ圧縮装置の構成の概要を示す図である。
【図１７】図１６に示した映像データ圧縮装置の圧縮符号化部の詳細な構成を示す図である。
【図１８】図１および図１６に示した映像データ圧縮装置により、Ｐピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図１９】図１および図１６に示した映像データ圧縮装置により、Ｂピクチャーを生成する際のＭＥ残差と実難度データＤj との相関関係を示す図である。
【図２０】フラットネスの計算方法を示す図である。
【図２１】図１および図１６に示した映像データ圧縮装置により、Ｉピクチャーを生成する際のフラットネスと実難度データＤj との相関関係を示す図である。
【図２２】図１および図１６に映像データ圧縮装置により、Ｉピクチャーを生成する際のイントラＡＣと実難度データＤj との相関関係を示す図である。
【図２３】第６の実施形態における映像データ圧縮装置（図１７）の圧縮符号化処理の内容を、ピクチャーの符号化順に示す図である。
【図２４】第６の実施形態における映像データ圧縮装置のホストコンピュータ（図１７）の処理内容を示すフローチャート図である。
【図２５】第７の実施形態における本発明に係る映像データ圧縮装置の構成を示す図である。
【図２６】図２５に示したエンコーダの構成を示す図である。
【図２７】目標データ量算出回路（図２６）が算出するＰピクチャーおよびＢピクチャーの重み付け係数Ｋp ，ＫB を示す図である。
【図２８】第８の実施形態における映像データ圧縮装置（図１７）の圧縮符号化動作を符号化順に示す図である。
【図２９】第８の実施形態における映像データ圧縮装置のホストコンピュータ（図１７）の処理内容を示すフローチャート図である。
【符号の説明】
【０２５７】
１，２…映像データ圧縮装置、１０，２４…圧縮符号化部、１２，２２…エンコーダ制御部、１４…動き検出器、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８，２６…エンコーダ、２６０…量子化制御部、２６２…ＧＣ算出回路、２６４…目標データ量算出回路、２６６…量子化インデックス生成回路、１６４…加算回路、１６６…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符号化回路、１７２…逆量子化回路、１７４…逆ＤＣＴ回路、１７６…加算回路、１７８…動き補償回路、１８０…量子化制御回路、１８２…バッファメモリ、２０…ホストコンピュータ。
【図１】
2006148953.tif 000024
【図２】
2006148953.tif 000025
【図３】
2006148953.tif 000026
【図４】
2006148953.tif 000027
【図５】
2006148953.tif 000028
【図６】
2006148953.tif 000029
【図７】
2006148953.tif 000030
【図８】
2006148953.tif 000031
【図９】
2006148953.tif 000032
【図１０】
2006148953.tif 000033
【図１１】
2006148953.tif 000034
【図１２】
2006148953.tif 000035
【図１３】
2006148953.tif 000036
【図１４】
2006148953.tif 000037
【図１５】
2006148953.tif 000038
【図１６】
2006148953.tif 000039
【図１７】
2006148953.tif 000040
【図１８】
2006148953.tif 000041
【図１９】
2006148953.tif 000042
【図２０】
2006148953.tif 000043
【図２１】
2006148953.tif 000044
【図２２】
2006148953.tif 000045
【図２３】
2006148953.tif 000046
【図２４】
2006148953.tif 000047
【図２５】
2006148953.tif 000048
【図２６】
2006148953.tif 000049
【図２７】
2006148953.tif 000050
【図２８】
2006148953.tif 000051
【図２９】
2006148953.tif 000052