(57)【特許請求の範囲】
【請求項１】
映像データの絵柄の難度を示す難度データを用いて前記映像データを符号化処理する符号化装置において、
前記映像データを符号化処理する符号化手段と、
前記映像データに対して、前記映像データの第１の符号化区間を符号化処理し、符号化処理後のデータ量を実難度データとして算出する実難度データ算出手段と、
前記実難度データ算出手段により算出された前記実難度データから、前記映像データの第２の符号化区間の実難度データを近似した近似難度データを、予測難度データとして算出する予測難度データ算出手段と、
前記実難度データ算出手段により算出された前記実難度データ及び前記予測難度データ算出手段により算出された前記予測難度データに基づいて、前記映像データの符号化対象ピクチャに対する目標符号量を算出する目標符号量算出手段と、
前記目標符号量算出手段により算出された前記目標符号量となるように、前記符号化対象ピクチャを符号化処理するように、前記符号化手段の符号化処理を制御する符号化制御手段と、
を有する符号化装置。
【請求項２】
前記実難度データ算出手段は、ピクチャ単位で前記実難度データを算出し、
前記予測難度データ算出手段は、ピクチャ単位で前記予測難度データを算出し、
前記目標符号量算出手段は、ピクチャ単位で前記目標符号量を算出する
請求項１に記載の符号化装置。
【請求項３】
前記符号化装置は、前記映像データをＬピクチャ分（Ｌは正の整数）遅延させる遅延手段を更に有し、
前記実難度データ算出手段は、Ａ，Ｂ，ｊを正の整数、符号化対象ピクチャを前記映像データの第（ｊ）番目のピクチャとした場合に、前記映像データの第（ｊ−Ａ）番目のピクチャ〜第（ｊ＋Ｌ−１）番目のピクチャを前記第１の符号化区間として前記実難度データを算出し、
前記予測難度算出手段は、前記映像データの第（ｊ＋Ｌ）番目のピクチャ〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャを前記第２の符号化区間として前記予測難度データを算出する
請求項２に記載の符号化装置。
【請求項４】
前記予測難度データ算出手段は、前記実難度データ及び所定の関数を用いて近似することにより、前記予測難度データを算出する
請求項１に記載の符号化装置。
【請求項５】
前記所定の関数は、直線で表される１次関数であり、
前記予測難度データ算出手段は、前記１次関数を用いた直線予測を行うことにより前記予測難度データを算出する
請求項４に記載の符号化装置。
【請求項６】
前記予測難度データ算出手段は、前記第１の符号化区間における前記実難度データの平均値である平均実難度データを算出し、前記直線と前記実難度データとの２乗誤差に基づいて、算出された前記平均実難度データに対する前記実難度データの誤差を示す誤差関数を算出し、算出された前記誤差関数を最小にする前記一次関数を用いて前記予測難度データを算出する
請求項５に記載の符号化装置。
【請求項７】
前記予測難度データ算出手段は、前記第１の符号化区間における前記実難度データの平均値である平均実難度データを算出し、前記直線と前記実難度データとの差の絶対値に基づいて、算出された前記平均実難度データに対する前記実難度データの誤差を示す誤差関数を算出し、算出された前記誤差関数を最小にする前記一次関数を用いて前記予測難度データを算出する
請求項５に記載の符号化装置。
【請求項８】
前記予測難度データ算出手段は、前記符号化対象ピクチャに近いピクチャの前記実難度データほど前記誤差関数に大きな影響を与える重み付け係数を算出し、算出した前記重み付け係数を用いて重み付け直線予測を行うことにより前記予測難度データを算出する
請求項７に記載の符号化装置。
【請求項９】
前記予測難度データ算出手段は、符号化処理順序で隣接する前記実難度データの差分値を算出し、算出した前記差分値を用いて前記１次関数を積分した２次関数上の値として前記予測難度データを近似する差分予測を行うことにより、前記予測難度データを算出する
請求項５に記載の符号化装置。
【請求項１０】
前記予測難度データ算出手段は、前記映像データのＧＯＰに含まれるピクチャのピクチャタイプ毎の実難度データの値の比率を算出し、算出した前記比率で前記実難度データを正規化して予測することにより、前記映像データのＧＯＰに含まれる各ピクチャの仮の予測難度データを算出し、算出した前記仮の予測難度に前記比率を乗算することにより、前記予測難度データを算出する
請求項２に記載の符号化装置。
【請求項１１】
映像データの絵柄の難度を示す難度データを用いて前記映像データを符号化処理する符号化方法において、
前記映像データに対して、前記映像データの第１の符号化区間を符号化処理し、符号化処理後のデータ量を実難度データとして算出する実難度データ算出工程と、
前記実難度データ算出工程において算出された前記実難度データから、前記映像データの第２の符号化区間の実難度データを近似した近似難度データを、予測難度データとして算出する予測難度データ算出工程と、
前記実難度データ算出工程において算出された前記実難度データ及び前記予測難度データ算出工程において算出された前記予測難度データに基づいて、前記映像データの符号化対象ピクチャに対する目標符号量を算出する目標符号量算出工程と、
前記目標符号量算出工程において算出された前記目標符号量となるように、前記符号化対象ピクチャを符号化処理する符号化工程と、
を有する符号化方法。
【請求項１２】
映像データの絵柄の難度を示す難度データを用いて前記映像データを符号化する符号化処理を制御する符号化制御装置において、
前記映像データに対して、前記映像データの第１の符号化区間を符号化処理し、符号化処理後のデータ量を実難度データとして算出する実難度データ算出手段と、
前記実難度データ算出手段により算出された前記実難度データから、前記映像データの第２の符号化区間の実難度データを近似した近似難度データを、予測難度データとして算出する予測難度データ算出手段と、
前記実難度データ算出手段により算出された前記実難度データ及び前記予測難度データ算出手段により算出された前記予測難度データに基づいて、前記映像データの符号化対象ピクチャに対する目標符号量を算出する目標符号量算出手段と、
前記目標符号量算出手段により算出された前記目標符号量となるように、前記符号化対象ピクチャを符号化する符号化処理を制御する符号化制御手段と、
を有する符号化制御装置。
【請求項１３】
映像データの絵柄の難度を示す難度データを用いて前記映像データを符号化する符号化処理を制御する符号化制御方法において、
前記映像データに対して、前記映像データの第１の符号化区間を符号化処理し、符号化処理後のデータ量を実難度データとして算出する実難度データ算出工程と、
前記実難度データ算出工程において算出された前記実難度データから、前記映像データの第２の符号化区間の実難度データを近似した近似難度データを、予測難度データとして算出する予測難度データ算出工程と、
前記実難度データ算出工程において算出された前記実難度データ及び前記予測難度データ算出工程において算出された前記予測難度データに基づいて、前記映像データの符号化対象ピクチャに対する目標符号量を算出する目標符号量算出工程と、
前記目標符号量算出工程において算出された前記目標符号量となるように、前記符号化対象ピクチャを符号化する符号化処理を制御する符号化制御工程と、
を有する符号化制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、非圧縮映像データを圧縮符号化する符号化装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
非圧縮のディジタル映像データをＭＰＥＧ(moving picture experts group)等の方法により圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-oprical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を可能な限り高くしつつ、記録媒体の記録容量以下にする必要がある。
この必要を満たすために、まず、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法が採られる（以下、このような圧縮符号化方法を「２パスエンコード」とも記す）。
【０００３】
しかしながら、２パスエンコードにより圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を２回施す必要があり、時間がかかってしまう。また、１回の圧縮符号化処理で最終的な圧縮映像データを生成することができないために、撮影した映像データをそのまま実時間的（リアルタイム）に圧縮符号化し、記録することができない。
【０００４】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、２パスエンコードによらずに所定のデータ量以下に圧縮符号化した圧縮映像データを伸長復号した場合に、高品質な映像を得ることができる映像データ圧縮装置およびその方法を提供することを目的とする。
【０００５】
また、本発明は、２パスエンコードによらずに、圧縮符号化後の圧縮映像データのデータ量を見積もり、見積もった圧縮映像データのデータ量に基づいて圧縮率を調節して非圧縮映像データを圧縮符号化することができる符号化装置およびその方法を提供することを目的とする。
また、本発明は、２パスエンコードによらずに、高精度に圧縮符号化後の圧縮映像データのデータ量を見積もりながら、非圧縮映像データを圧縮符号化することができる符号化装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の符号化装置は、映像データの絵柄の難度を示す難度データを用いて前記映像データを符号化処理する符号化装置であって、前記映像データを符号化処理する符号化手段と、前記映像データに対して、前記映像データの第１の符号化区間を符号化処理し、符号化処理後のデータ量を実難度データとして算出する実難度データ算出手段と、前記実難度データ算出手段により算出された前記実難度データから、前記映像データの第２の符号化区間の実難度データを近似した近似難度データを、予測難度データとして算出する予測難度データ算出手段と、前記実難度データ算出手段により算出された前記実難度データ及び前記予測難度データ算出手段により算出された前記予測難度データに基づいて、前記映像データの符号化対象ピクチャに対する目標符号量を算出する目標符号量算出手段と、前記目標符号量算出手段により算出された前記目標符号量となるように、前記符号化対象ピクチャを符号化処理するように、前記符号化手段の符号化処理を制御する符号化制御手段とを有する。
【０００７】
好適には、前記実難度データ算出手段は、ピクチャ単位で前記実難度データを算出し、前記予測難度データ算出手段は、ピクチャ単位で前記予測難度データを算出し、前記目標符号量算出手段は、ピクチャ単位で前記目標符号量を算出する。
【０００９】
好適には、前記符号化装置は、前記映像データをＬピクチャ分（Ｌは正の整数）遅延させる遅延手段を更に有し、前記実難度データ算出手段は、Ａ，Ｂ，ｊを正の整数、符号化対象ピクチャを前記映像データの第（ｊ）番目のピクチャとした場合に、前記映像データの第（ｊ−Ａ）番目のピクチャ〜第（ｊ＋Ｌ−１）番目のピクチャを前記第１の符号化区間として前記実難度データを算出し、前記予測難度算出手段は、前記映像データの第（ｊ＋Ｌ）番目のピクチャ〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャを前記第２の符号化区間として前記予測難度データを算出する。
【００１０】
好適には、前記予測難度データ算出手段は、前記実難度データ及び所定の関数を用いて近似することにより、前記予測難度データを算出する。
【００１１】
好適には、前記所定の関数は、直線で表される１次関数であり、前記予測難度データ算出手段は、前記１次関数を用いた直線予測を行うことにより前記予測難度データを算出する。
【００１２】
好適には、前記予測難度データ算出手段は、前記第１の符号化区間における前記実難度データの平均値である平均実難度データを算出し、前記直線と前記実難度データとの２乗誤差に基づいて、算出された前記平均実難度データに対する前記実難度データの誤差を示す誤差関数を算出し、算出された前記誤差関数を最小にする前記一次関数を用いて前記予測難度データを算出する。
【００１３】
好適には、前記予測難度データ算出手段は、前記第１の符号化区間における前記実難度データの平均値である平均実難度データを算出し、前記直線と前記実難度データとの差の絶対値に基づいて、算出された前記平均実難度データに対する前記実難度データの誤差を示す誤差関数を算出し、算出された前記誤差関数を最小にする前記一次関数を用いて前記予測難度データを算出する。
【００１４】
前記予測難度データ算出手段は、前記符号化対象ピクチャに近いピクチャの前記実難度データほど前記誤差関数に大きな影響を与える重み付け係数を算出し、算出した前記重み付け係数を用いて重み付け直線予測を行うことにより前記予測難度データを算出する。
【００１５】
好適には、前記予測難度データ算出手段は、符号化処理順序で隣接する前記実難度データの差分値を算出し、算出した前記差分値を用いて前記１次関数を積分した2次関数上の値として前記予測難度データを近似する差分予測を行うことにより、前記予測難度データを算出する。
【００１６】
前記予測難度データ算出手段は、前記映像データのＧＯＰに含まれるピクチャのピクチャタイプ毎の実難度データの値の比率を算出し、算出した前記比率で前記実難度データを正規化して予測することにより、前記映像データのＧＯＰに含まれる各ピクチャの仮の予測難度データを算出し、算出した前記仮の予測難度に前記比率を乗算することにより、前記予測難度データを算出する。
【００１７】
本発明の符号化方法は、映像データの絵柄の難度を示す難度データを用いて前記映像データを符号化処理する符号化方法であって、前記映像データに対して、前記映像データの第１の符号化区間を符号化処理し、符号化処理後のデータ量を実難度データとして算出する実難度データ算出工程と、前記実難度データ算出工程により算出された前記実難度データから、前記映像データの第２の符号化区間の実難度データを近似した近似難度データを、予測難度データとして算出する予測難度データ算出工程と、前記実難度データ算出工程により算出された前記実難度データ及び前記予測難度データ算出工程により算出された前記予測難度データに基づいて、前記映像データの符号化対象ピクチャに対する目標符号量を算出する目標符号量算出工程と、前記目標符号量算出工程により算出された前記目標符号量となるように、前記符号化対象ピクチャを符号化処理する符号化工程とを有する。
【００２０】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
ＭＰＥＧ方式といった映像データの圧縮符号化方式により、高い周波数成分が多い絵柄、あるいは、動きが多い絵柄といった難度(difficulty)が高い映像データを圧縮符号化すると、一般的に圧縮に伴う歪みが生じやすくなる。このため、難度が高い映像データは低い圧縮率で圧縮符号化する必要があり、難度が高いデータを圧縮符号化して得られる圧縮映像データに対しては、難度が低い絵柄の映像データの圧縮映像データに比べて、多くの目標データ量を配分する必要がある。
【００２１】
このように、映像データの難度に対して適応的に目標データ量を配分するためには、従来技術として示した２パスエンコード方式が有効である。しかしながら、２パスエンコード方式は、実時間的な圧縮符号化に不向きである。
第１の実施形態として示す簡易２パスエンコード方式は、かかる２パスエンコード方式の問題点を解決するためになされたものであり、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの難度データから非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、ＦＩＦＯメモリ等により所定の時間だけ遅延した非圧縮映像データの圧縮率を適応的に制御することができる。
【００２２】
図１は、本発明に係る映像データ圧縮装置１の構成を示す図である。
図１に示すように、映像データ圧縮装置１は、圧縮符号化部１０およびホストコンピュータ２０から構成され、圧縮符号化部１０は、エンコーダ制御部１２、動き検出器(motion estimator)１４、簡易２パス処理部１６、第２のエンコーダ(encoder) １８から構成され、簡易２パス処理部１６は、ＦＩＦＯメモリ１６０および第１のエンコーダ１６２から構成される。
映像データ圧縮装置１は、これらの構成部分により、編集装置およびビデオテープレコーダ装置等の外部機器（図示せず）から入力される非圧縮映像データＶＩＮに対して、上述した簡易２パスエンコードを実現する。
【００２３】
映像データ圧縮装置１において、ホストコンピュータ２０は、映像データ圧縮装置１の各構成部分の動作を制御する。また、ホストコンピュータ２０は、簡易２パス処理部１６のエンコーダ１６２が非圧縮映像データＶＩＮを予備的に圧縮符号化して生成した圧縮映像データのデータ量、ＤＣＴ処理後の映像データの直流成分（ＤＣ成分）の値および直流成分（ＡＣ成分）の電力値を制御信号Ｃ１６を介して受け、受けたこれらの値に基づいて圧縮映像データの絵柄の難度を算出する。さらに、ホストコンピュータ２０は、算出した難度に基づいて、エンコーダ１８が生成する圧縮映像データの目標データ量Ｔj を制御信号Ｃ１８を介してピクチャーごとに割り当て、エンコーダ１８の量子化回路１６６（図３）に設定し、エンコーダ１８の圧縮率をピクチャー単位に適応的に制御する。
【００２４】
エンコーダ制御部１２は、非圧縮映像データＶＩＮのピクチャーの有無をホストコンピュータ２０に通知し、さらに、非圧縮映像データＶＩＮのピクチャーごとに圧縮符号化のための前処理を行う。つまり、エンコーダ制御部１２は、入力された非圧縮映像データを符号化順に並べ替え、ピクチャー・フィールド変換を行い、非圧縮映像データＶＩＮが映画の映像データである場合に３：２プルダウン処理（映画の２４フレーム／秒の映像データを、３０フレーム／秒の映像データに変換し、冗長性を圧縮符号化前に取り除く処理）等を行い、映像データＳ１２として簡易２パス処理部１６のＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
動き検出器１４は、非圧縮映像データの動きベクトルの検出を行し、エンコーダ制御部１２およびエンコーダ１６２，１８に対して出力する。
【００２５】
簡易２パス処理部１６において、ＦＩＦＯメモリ１６０は、エンコーダ制御部１２から入力された映像データＳ１２を、例えば、非圧縮映像データＶＩＮが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅延し、遅延映像データＳ１６としてエンコーダ１８に対して出力する。
【００２６】
図２は、図１に示した簡易２パス処理部１６のエンコーダ１６２の構成を示す図である。
エンコーダ１６２は、例えば、図２に示すように、加算回路１６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可変長符号化回路（ＶＬＣ）１７０、逆量子化回路（ＩＱ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回路１７６および動き補償回路１７８から構成される一般的な映像データ用圧縮符号化器であって、入力される映像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、圧縮映像データのピクチャーごとのデータ量等を映像エンコーダ２０に対して出力する。
【００２７】
加算回路１６４は、加算回路１７６の出力データを映像データＳ１２から減算し、ＤＣＴ回路１６６に対して出力する。
ＤＣＴ回路１６６は、加算回路１６４から入力される映像データを、例えば、１６画素×１６画素のマクロブロック単位に離散コサイン変換（ＤＣＴ）処理し、時間領域のデータから周波数領域のデータに変換して量子化回路１６８に対して出力する。また、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値を映像エンコーダ２０に対して出力する。
【００２８】
量子化回路１６８は、ＤＣＴ回路１６６から入力された周波数領域のデータを、固定の量子化値Ｑで量子化し、量子化データとして可変長符号化回路１７０および逆量子化回路１７２に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像データのデータ量を、制御信号Ｃ１６を介してホストコンピュータ２０に対して出力する。
逆量子化回路１７２は、可変長符号化回路１６８から入力された量子化データを逆量子化し、逆量子化データとして逆ＤＣＴ回路１７４に対して出力する。
【００２９】
逆ＤＣＴ回路１７４は、逆量子化回路１７２から入力される逆量子化データに対して逆ＤＣＴ処理を行い、加算回路１７６に対して出力する。
加算回路１７６は、動き補償回路１７８の出力データおよび逆ＤＣＴ回路１７４の出力データを加算し、加算回路１６４および動き補償回路１７８に対して出力する。
動き補償回路１７８は、加算回路１７６の出力データに対して、動き検出器１４から入力される動きベクトルに基づいて動き補償処理を行い、加算回路１７６に対して出力する。
【００３０】
図３は、図１に示したエンコーダ１８の構成を示す図である。
図３に示すように、エンコーダ１８は、図２に示したエンコーダ１６２に、量子化制御回路１８０を加えた構成になっている。エンコーダ１８は、これらの構成部分により、映像エンコーダ２０から設定される目標データ量Ｔj に基づいて、ＦＩＦＯメモリ１６０によりＬピクチャー分遅延された遅延映像データＳ１６に対して動き補償処理、ＤＣＴ処理、量子化処理および可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮映像データＶＯＵＴを生成し、外部機器（図示せず）に出力する。
【００３１】
エンコーダ１８において、量子化制御回路１８０は、可変長量子化回路１７０が出力する圧縮映像データＶＯＵＴのデータ量を順次、監視し、遅延映像データＳ１６の第ｊ番目のピクチャーから最終的に生成される圧縮映像データのデータ量が、映像エンコーダ２０から設定された目標データ量Ｔj に近づくように、順次、量子化回路１６８に設定する量子化値Ｑj を調節する。
また、可変長量子化回路１７０は、圧縮映像データＶＯＵＴを外部に出力する他に、遅延映像データＳ１６を圧縮符号化して得られた圧縮映像データＶＯＵＴの実際のデータ量Ｓj を制御信号Ｃ１８を介してホストコンピュータ２０に対して出力する。
【００３２】
以下、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコード動作を説明する。
図４（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置１の簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図４（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
なお、エンコーダ制御部１２によるピクチャーの順番並べ替えにより、図４等に示すピクチャーの符号化の順番と伸長復号後の表示の順番とは異なる。
【００３３】
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、および、ＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
【００３４】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ（ｊは整数）番目のピクチャー（図４（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図４（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図４（Ｂ）の範囲ｃ）の圧縮符号化を完了しており、これらのピクチャーの圧縮符号化後の実難度データＤj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 は、ホストコンピュータ２０により既に算出されている。
【００３５】
ホストコンピュータ２０は、下に示す式１により、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj を算出し、算出した目標データ量Ｔj を量子化制御回路１８０に設定する。
【００３６】
【数１】
0003879134.tif 000002
【００３７】
但し、式１において、Ｄj は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’j の初期値（Ｒ’1 ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００３８】
【数２】
0003879134.tif 000003
【００３９】
【数３】
0003879134.tif 000004
【００４０】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆj+L は、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示す。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔj に基づいて調節する量子化値Ｑj により量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００４１】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤj+1 ，Ｄj+2 ，Ｄj+3 ，・・・，Ｄj+L は、ホストコンピュータ２０により既に算出されている。
【００４２】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔj+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４３】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔj に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑk （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４４】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４５】
第２実施形態
第１の実施形態に示した簡易２パスエンコード方式によれば、実時間かつ、絵柄の難度に応じた適応的な非圧縮映像データに対する圧縮符号化処理が可能である。しかしながら、第１の実施形態に示した簡易２パスエンコード方式を用いた場合、実時間性が厳しく要求される場合には、ＦＩＦＯメモリ１６０の遅延時間を大きくすることができず、真に適切な目標データ量Ｔj の算出が難しく、圧縮映像データＶＯＵＴを伸長復号して得られる映像の品質が低下してしまう可能性がある。
【００４６】
第２の実施形態においては、第１の実施形態に示した映像データ圧縮装置１（図１）を用い、ホストコンピュータ２０の処理内容を変更して、ＦＩＦＯメモリ１６０の遅延時間を長くしなくても適切な目標データ量Ｔj の値を得ることができるように、非圧縮映像データをＬピクチャー分、予備的に圧縮符号化して得られた圧縮映像データの第ｊ番目のピクチャー〜第（ｊ＋Ｌ−１）番目のピクチャーの実難度データＤj 〜Ｄj+L-1 から、圧縮映像データの第（ｊ＋Ｌ）番目のピクチャー〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャー（Ｂは整数）の難度データ（予測難度データ）Ｄj+L 〜Ｄj+L+B を算出し、実際に得られた難度データＤj 〜Ｄj+L-1 （実難度データ）および予測によって得られた難度データＤ’j+L 〜Ｄ’j+L+B に基づいて、第１の実施形態に示した簡易２パスエンコード方式よりも適切な目標データ量Ｔj の値を得ることができる圧縮符号化方式（予測簡易２パスエンコード方式）を説明する。
【００４７】
まず、第２の実施形態で説明する予測簡易２パスエンコード方式を概念的に説明する。
予測簡易２パスエンコード方式は、徐々に絵柄が難しくなってゆく、つまり、徐々に圧縮符号化時のＤＣＴ処理後の高い周波数成分が多くなり、動きが速くなってゆく非圧縮映像データの絵柄は、さらに難しくなってゆき、逆に、徐々に絵柄が難しくなくなって（簡単になって）ゆく非圧縮映像データの絵柄は、さらに簡単になってゆくであろうと予測可能であることを前提する。
【００４８】
つまり、予測簡易２パスエンコード方式は、ホストコンピュータ２０が、この前提に基づいて、さらに絵柄が難しくなってゆくと予測される場合には、さらに絵柄が難しいピクチャーに備えて、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を節約し、逆に、さらに絵柄が簡単になってゆくと予測される場合には、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を増やすようにエンコーダ１８に対する圧縮率の制御を行う。
【００４９】
さらに、予測簡易２パスエンコード方式の概念的な説明を続ける。
映像データは、一般的に、時間方向および空間方向について相関性が高く、映像データの圧縮符号化は、これらの相関性に着目し、冗長性を除くことにより行われる。
時間方向について相関性が高いということは、現時点の非圧縮映像データのピクチャーの難度とそれ以降の非圧縮映像データのピクチャーの難度とが近いということを意味する。また、難度の増減の傾向も、現時点までの難度の増減の傾向がそれ以降も続くことが多い。
【００５０】
具体例を挙げると、カメラが静止状態からゆっくりとカメラを水平方向に回し初め、最後に一定の回転速度で回転しながら、静止している物体を撮影する場合の非圧縮映像データの絵柄を考える。最初はカメラが停止状態であるため、静止映像が撮影され、絵柄の難度は低くなる。次に、カメラを回し始めて１〜２秒後に一定の回転速度になると仮定すると、カメラを回し始めて１〜２秒間は絵柄の難度は高くなる傾向を示す。この状態を、映像データ圧縮装置１側から見ると、数ＧＯＰ分の圧縮映像データを生成する間、入力される非圧縮映像データの絵柄の難度が高くなる傾向が続くことになる。
【００５１】
従って、この具体例に示したような場合には、非圧縮映像データの絵柄の難度が増大傾向を示した場合に、それ以降の絵柄の難度が増大傾向を示すと予測するのは妥当である。以下に説明する予測簡易２パスエンコード方式は、このような難度および難度の増減傾向の時間的相関性を積極的に利用して、圧縮映像データの各ピクチャーに対して、第１の実施形態に示した簡易２パスエンコード方式においてよりも適切な目標データ量の割り当てを行おうとするものである。
【００５２】
以下、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を説明する。
図５（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、第１の実施形態においてと同様に、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図５（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
【００５３】
ＦＩＦＯメモリ１６０は、第１の実施形態においてと同様に、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、第１の実施形態においてと同様に、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、実難度データＤj を順次、算出する。
【００５４】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図５（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図５（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、第１の実施形態においてと同様に、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図５（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００５５】
従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第（ｊ−Ａ）番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図５（Ｂ）の範囲ｃ、但し、図５はＡ＝０の場合を示す）の圧縮符号化を完了し、これらのピクチャーの圧縮符号化後のデータ量、および、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力している。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、難度データ（実難度データ、図５（Ｂ）の範囲ｄ）Ｄj-A ，Ｄj-A+1 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 の算出を既に終了している。なお、Ａは整数であり、正負を問わない。
【００５６】
ホストコンピュータ２０は、実難度データＤj-A ，Ｄj-a+1 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L-1 に基づいて、映像データＳ１２の第（ｊ＋Ｌ）番目〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャーの圧縮符号化後の難度データ（予測難度データ、図５（Ｂ）の範囲ｅ）Ｄ’j+L ，Ｄ’j+L+1 ，Ｄ’j+L+2 ，…，Ｄ’j+L+B を予測し、下に示す式４により、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出する。従って、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔj を算出するために、実難度データと予測難度データとを含めて、図５（Ｂ）の範囲ｃの（Ａ＋Ｌ＋Ｂ＋１）ピクチャー分の難度データを用いることになる。なお、実難度データに基づいて予測難度データを算出する方法は、第５の実施形態以降に詳述する。
【００５７】
【数４】
0003879134.tif 000005
【００５８】
なお、式４の各記号は、式１の各記号に同じである。
エンコーダ１８は、第１の実施形態と同様に、ホストコンピュータ２０により量子化制御回路１８０に設定された目標データ量Ｔj に基づいて、目標データ量Ｔj に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図５（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図５（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｌ＋１）番目のピクチャー（図５（Ｃ）のピクチャーｂ’）以前の図５（Ｃ）の範囲ｄ’の実難度データＤj-A+1 ，Ｄj-A+2 ，…，Ｄj ，Ｄj+1 ，Ｄj+2 ，…，Ｄj+L 、および、図５（Ｃ）の範囲ｅ’に示す予測難度データ、Ｄ’j+L+1 ，Ｄ’j+L+2 ，Ｄ’j+L+3 ，…，Ｄ’j+L+B+1 、つまり、図５（Ｃ）の範囲ｃ’に示す実難度データと予測難度データとに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔj+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔj+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 に近いデータ量の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の予測簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００５９】
以下、図６を参照して、第２の実施形態における映像データ圧縮装置１の動作を整理して説明する。
図６は、第２の実施形態における映像データ圧縮装置１（図１）の動作を示すフローチャートである。
図６に示すように、ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、式１等に用いられる数値ｊ，Ｒ’1 を、ｊ＝−（Ｌ−１），Ｒ’1 ＝(Bit rate ×(L+B))/Picture rate として初期化する。
【００６０】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、数値ｊが０より大きいか否かを判断する。数値ｊが０より大きい場合にはＳ１０６の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１０６（Ｓ１０６）において、エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーを圧縮符号化し、実難度データＤj+L を生成する。
【００６１】
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は数値ｊをインクリメントする（ｊ＝ｊ＋１）。
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ１１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
【００６２】
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、数値ｊが数値Ａよりも大きいか否かを判断する。数値ｊが数値Ａよりも大きい場合にはＳ１１４の処理に進み、小さい場合にはＳ１１６の処理に進む。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、実難度データＤj-A 〜Ｄj+L-1 に基づいて、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は実難度データＤ1 〜Ｄj+L-1 から、予測難度データＤ’j+L 〜Ｄ’j+L+B を算出する。
【００６３】
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、式４を用いて目標データ量Ｔj を算出し、エンコーダ１８の量子化制御回路１８０に設定する。さらに、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔj に基づいて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化し、第ｊ番目のピクチャーから実際に得られた圧縮映像データのデータ量Ｓj をホストコンピュータ２０に対して出力する。
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、エンコーダ１８からのデータ量Ｓj を記憶し、さらに、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーの実難度データＤj+L を出力する。
【００６４】
ステップ１２２（Ｓ１２２）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目を圧縮符号化して得られた圧縮映像データＶＯＵＴを外部に出力する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、ピクチャータイプに応じて、式３中に用いられる数値Ｆj+L を算出する。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式３に示した演算（Ｒ’j+1 ＝Ｒ’j −Ｓj ＋Ｆj+L ）を行う。
【００６５】
以上説明したように、第２の実施形態に示した映像データ圧縮装置１による予測簡易２パスエンコードによれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に基づいて予測した難度をさらに用いて適応的に非圧縮映像データＶＩＮを圧縮符号化することができ、簡易２パスエンコード方式に比べて、より適切な目標データ量を圧縮映像データの各ピクチャーに割り当てることが可能である。従って、予測簡易２パスエンコード方式による圧縮映像データを伸長復号した場合、簡易２パスエンコード方式による圧縮映像データを伸長復号した場合に比べて、より高品質な映像を得ることができる。
【００６６】
第３実施形態
以下、本発明の第３の実施形態を説明する。
エンコーダ１６２およびエンコーダ１８（図１）は、ＭＰＥＧ方式等により、非圧縮映像データを、複数のＩピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly coded picture) およびＰピクチャー(predictive coded picture)またはこれらの組み合わせから構成されるＧＯＰ(group of pictures) 単位に圧縮符号化する。このため、第１の実施形態に示した簡易２パスエンコード方式も、ＧＯＰの枠内に区切って行うのが便利である。第３の実施形態においては、映像データ圧縮装置１（図１）を用い、ＧＯＰの枠内で行う簡易２パスエンコード方式を説明する。
【００６７】
図７（Ａ）〜（Ｃ）は、第３の実施形態において、本発明に係る映像データ圧縮装置１がＧＯＰの枠内で行う簡易２パスエンコード方式を示す図である。なお、図７においては、最初のＧＯＰの最初のピクチャーを１番目のピクチャーとして示している。
【００６８】
図７（Ａ）に示すように、エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＮピクチャー分（Ｌ＝Ｎ、Ｎは整数）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値を順次、ホストコンピュータ２０に対して出力する。
【００６９】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＮピクチャーだけ遅延されているので、図７（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図７（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＮピクチャー分先の第（ｊ＋Ｎ）番目のピクチャー（図７（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００７０】
しかし、第３の実施形態においては、映像データ圧縮装置１はＧＯＰの枠内で簡易２パスエンコードを行うので、ホストコンピュータ２０は、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際に、エンコーダ１６２が圧縮符号化を完了している映像データＳ１２の第ｊ番目のピクチャー〜第（ｊ＋Ｎ−１）番目のピクチャーの内、第ｊ番目〜第Ｎ番目のピクチャー（図７（Ｂ）の範囲ｃ）の圧縮符号化後の実難度データ（図７（Ｂ）の範囲ｄ）Ｄj ，Ｄj+1 ，…，ＤN を用いて目標データ量Ｔj を、下に示す式５により算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００７１】
【数５】
0003879134.tif 000006
【００７２】
ただし、式５中のＲ”j は、ＧＯＰに割り当てられた目標データ量から、遅延映像データＳ１６の同一ＧＯＰ内の第１番目のピクチャー〜第（ｊ−１）番目のピクチャーに対する圧縮符号化で既に実際に使用されたデータ量を減算した値、つまり、同一ＧＯＰの残りのピクチャーの圧縮映像データに割り当てられるべき目標データ量である。従って、Ｒ”j は、下に示す式６により求められる。
【００７３】
【数６】
0003879134.tif 000007
【００７４】
従って、ＧＯＰの最初のピクチャーを圧縮符号化する場合のＲ”1 （ｊ＝１）は、下に示す式７により、求められる。
【００７５】
【数７】
0003879134.tif 000008
【００７６】
ただし、式７において、Ｇは１つのＧＯＰに割り当てられる固定データ量（Ｇ＝(Bit rate ×N)/Picture rate ）であり、ＲN （ｊ＝Ｎ）の初期値は０である。
【００７７】
エンコーダ１８は、第１の実施形態と同様に、量子化制御回路１８０にホストコンピュータ２０から設定された目標データ量Ｔj に基づいて、データ量が目量データ量Ｔj に近い圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図７（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図７（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第Ｎ番目のピクチャー以前の図７（Ｃ）の範囲ｄ’の実難度データＤj+1 ，Ｄj+2 ，…，ＤN 、つまり、図７（Ｃ）の範囲ｃ’に示す難度データに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔj+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目標データ量Ｔj+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００７８】
以上説明したように、第３の実施形態に示した映像データ圧縮装置１による簡易２パスエンコードによれば、ＧＯＰの枠内で簡易２パスエンコードを行うことができるので、処理内容が簡単で、処理時間が短くてすむ。従って、実時間性を要求される実況中継の非圧縮映像データを圧縮符号化するために適しており、しかも、映像データ圧縮装置１の構成を簡単かつ安価に構成することができる。
【００７９】
第４実施形態
以下、本発明の第４の実施形態を説明する。
第４の実施形態においては、映像データ圧縮装置１（図１）によるＧＯＰの枠内に区切って行う予測簡易２パスエンコード、つまり、同じエンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を行う際に、同一のＧＯＰの各ピクチャーの実難易データ、および、次のＧＯＰについて予測した予測難易データを用いて目標データ量Ｔj を算出し、エンコーダ１８の量子化制御回路１８０に設定して圧縮符号化を行う方法を説明する。
【００８０】
図８（Ａ）〜（Ｃ）は、第４の実施形態において、本発明に係る映像データ圧縮装置１がＧＯＰの枠内で行う予測簡易２パスエンコード方式を示す図である。なお、図８においては、ＧＯＰの最初のピクチャーを１番目のピクチャーとして示している。
【００８１】
図８（Ａ）に示すように、エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＮピクチャー分つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値を順次、ホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値から実難度データＤj を算出する。
【００８２】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＮピクチャーだけ遅延されているので、図８（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図８（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＮピクチャー分先の第（ｊ＋Ｎ）番目のピクチャー（図８（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００８３】
しかし、第４の実施形態においては、映像データ圧縮装置１はＧＯＰの枠内で簡易２パスエンコードを行うので、ホストコンピュータ２０は、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際に、エンコーダ１６２が圧縮符号化を完了している映像データＳ１２の第ｊ番目のピクチャー〜第（ｊ＋Ｎ−１）番目のピクチャーの内、第ｊ番目〜第（ｊ＋Ｎ−１）番目のピクチャー（図８（Ｂ）の範囲ｃ）の圧縮符号化後の難度データ（図８（Ｂ）の範囲ｄ）を実難度データＤj ，Ｄj+1 ，…，Ｄj+N-1 として用い、さらに、同じＧＯＰの第（ｊ＋１）番目のピクチャー〜次のＧＯＰの最後のピクチャー（第２Ｎ番目のピクチャー）までの予測難度データＤ’j+N ，Ｄ’j+N+1 ，…，Ｄ’2Nを算出し、実難度データおよび予測難度データに基づいて目標データ量Ｔj を、下に示す式８により算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００８４】
【数８】
0003879134.tif 000009
【００８５】
ただし、式８中において、ｊ＝１，２，…，Ｎであり、Ｒ" j は、２個のＧＯＰに割り当てられた目標データ量から、２個のＧＯＰ内の遅延映像データＳ１６の第１番目のピクチャー〜第（ｊ−１）番目のピクチャーに対する圧縮符号化で既に実際に使用されたデータ量を減算した値、つまり、２個のＧＯＰの残りのピクチャーの圧縮映像データに割り当てられるべき目標データ量である。従って、Ｒ”j は、下に示す式９により求められる。
【００８６】
【数９】
0003879134.tif 000010
【００８７】
従って、図８の最初のＧＯＰの最初のピクチャーを圧縮符号化する場合のＲ”1 （ｊ＝１）は、下に示す式１０により、求められる。
【００８８】
【数１０】
0003879134.tif 000011
【００８９】
ただし、式１０のＲ”N の初期値はＧである。
【００９０】
エンコーダ１８は、第２の実施形態と同様に、量子化制御回路１８０にホストコンピュータ２０から設定された目標データ量Ｔj に基づいて、データ量が目標データ量Ｔj に近い圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図８（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図８（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｎ）番目のピクチャー以前の図８（Ｃ）の範囲ｄ’の実難度データＤj+2 ，Ｄj+3 ，…，ＤN+1 つまり、図８（Ｃ）の範囲ｃ’に示す実難度データ、および、映像データＳ１２の第（ｊ＋Ｎ＋１）番目のピクチャー〜第２Ｎ番目のピクチャーの予測難度データに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔj+1 を算出する。
【００９１】
エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔj+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔj+1 の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００９２】
以下、図９を参照して、第４の実施形態における映像データ圧縮装置１の動作を説明する。
図９は、第４の実施形態における映像データ圧縮装置１の動作を示すフローチャートである。
【００９３】
図９に示すように、ステップ２０２（Ｓ２０２）において、ホストコンピュータ２０は、数値ＧＯＰcount ，ＲN を０クリアする（ＧＯＰcount ，ＲN ＝０）。
ステップ２０４（Ｓ２０４）において、ホストコンピュータ２０は、数値ＧＯＰcount が０であるか否かを判断する。数値ＧＯＰcount が０である場合には、ホストコンピュータ２０はＳ２０６の処理に進み、０でない場合にはＳ２１０の処理に進む。
【００９４】
ステップ２０６（Ｓ２０６）において、映像データＳ１２の第（ｊ＋Ｎ）番目のピクチャーを圧縮符号化し、結果として得られた圧縮映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
ステップ２０８（Ｓ２０８）において、ホストコンピュータ２０は、数値ｊがＮであって、ｊ＝１である場合に、数値ＧＯＰcount をインクリメントし、数値Ｒ”1 をＧ＋Ｒ”N （Ｒ”1 ＝Ｇ＋Ｒ”N ；式７）とし、これ以外の場合には数値ｊをインクリメントし、数値Ｒ”j をＲ”j-1 −Ｓj （Ｒ”j ＝Ｒ”j-1 −Ｓj ；式６）とする。
【００９５】
ステップ２１０（Ｓ２１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ２１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
ステップ２１２（Ｓ２１２）において、ホストコンピュータ２０は、実難度データＤj 〜Ｄj+N-1 から予測難度データＤ’j+N 〜Ｄ’2Nを算出する。
ステップ２１４（Ｓ１２４）において、ホストコンピュータ２０は、実難度データＤj 〜Ｄj+N-1 および予測難度データＤ’j+N 〜Ｄ’2Nを用いて目標データ量Ｔj を算出し、エンコーダ１８の量子化制御回路１８０に設定する。エンコーダ１８は、設定された目標データ量Ｔj を用いて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化する。
【００９６】
ステップ２１６（Ｓ２１６）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られた圧縮映像データのデータ量Ｓj をホストコンピュータ２０に対して出力し、ホストコンピュータ２０はデータ量Ｓj を記憶する。エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｎ）番目のピクチャーを圧縮符号化し、結果として得られた映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値に基づいて、実難度データＤj+N を算出する。
ステップ２１８（Ｓ２１８）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目の圧縮映像データＶＯＵＴを外部に出力する。
【００９７】
以上説明したように、第４の実施形態に示した映像データ圧縮装置１によるＧＯＰの枠内での予測簡易２パスエンコードは、第３の実施形態に示したＧＯＰの枠内での簡易２パスエンコードに比べ、より適切な目標データ量Ｔj を算出することができるので、圧縮符号化の結果として得られる圧縮映像データＶＯＵＴを伸長復号した映像の品質を高めることができる。しかも、第２の実施形態に示したＧＯＰの枠に納まらない予測簡易２パスエンコードに比べて処理内容が簡単で、処理時間が短くてすみ、実時間性を要求される実況中継の非圧縮映像データを圧縮符号化するために適しており、しかも、映像データ圧縮装置１の構成を簡単かつ安価に構成することができる。
【００９８】
第５実施形態
以下、本発明の第５の実施形態として、実難度データに基づいて予測難度データを、単純な直線予測により算出する方法を説明する。なお、同一ＧＯＰに複数の種類のピクチャータイプが混在していると、難度データの予測が複雑化する。従って、説明の便宜上、第５の実施形態においては、ＧＯＰに含まれるピクチャーが全てＩピクチャーであり、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例に説明する。
【００９９】
図１０は、第５の実施形態において、直線予測により実難度データから予測難度データを算出する方法を例示する図である。なお、図１０には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１００】
エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーを１５ピクチャー分（Ｌ＋Ａ＝１５）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、まず、図１０中に○印を付して示すように、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第１番目のピクチャー〜第１５番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して順次、出力する。ホストコンピュータ２０は、これらの値に基づいて、実難度データＤ1 〜Ｄ15を順次、算出する。
【０１０１】
ホストコンピュータ２０は、算出した実難度データＤ1 〜Ｄ15の平均値Ｄ”を、下に示す式１１により算出する。
【０１０２】
【数１１】
0003879134.tif 000012
【０１０３】
つぎに、ホストコンピュータ２０は、下に示す式１２により、１５個の実難度データＤ1 〜Ｄ15の中心のデータ、つまり、実難度データＤ8 が平均値Ｄ”で、傾きがａの、下に示す式１３により仮の予測難度データＤ1 ’〜Ｄ’15を算出し、式１３により誤差関数Ｅ（ａ）を求める。
【０１０４】
【数１２】
0003879134.tif 000013
【０１０５】
【数１３】
0003879134.tif 000014
【０１０６】
さらに、ホストコンピュータ２０は、式１３に示した誤差関数Ｅ（ａ）を最小にする傾きａを求める。ホストコンピュータ２０は、このように求めた傾きａを式１２に代入し、図１０中に×印で示す予測難度データＤ’16〜Ｄ’30を算出する。
以上のようにホストコンピュータ２０は、予測難度データＤ’16〜Ｄ’30を算出し、第２の実施形態および第３の実施形態に示したように、算出した予測難度データＤ16’〜Ｄ30’を用いて目標データ量Ｔ1 を算出する。
【０１０７】
さらに、ホストコンピュータ２０は、エンコーダ１８が第１のピクチャーから生成する圧縮映像データのデータ量を目標データ量Ｔ1 とするための量子化値Ｑ1 を算出し、エンコーダ１８の量子化回路１６６に設定する。エンコーダ１８は、ホストコンピュータ２０から設定された量子化値Ｑ1 を用いて遅延映像データＳ１６の第１のピクチャーを圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
以上のように、ホストコンピュータ２０は、各ピクチャーに対する目標データ量を算出し、各ピクチャーを順次、圧縮符号化する。
【０１０８】
なお、式１３には、ホストコンピュータ２０が、式１２に示した直線と実難度データＤ1 〜Ｄ15との２乗誤差に基づいて誤差関数Ｅ（ａ）を算出する場合を示したが、ホストコンピュータ２０の計算量を少なくするためには、式１３の代わりに、下に示す式１４により、式１２に示した直線と実難度データＤ1 〜Ｄ15との絶対値に基づいて誤差関数Ｅ（ａ）を算出してもよい。
【０１０９】
【数１４】
0003879134.tif 000015
【０１１０】
なお、本実施形態の直線予測は、実難度データ数および予測難度数が１５以外の場合にも適用できるのはいうまでもない。
【０１１１】
第６実施形態
以下、本発明の第６の実施形態として、実難度データに基づいて予測難度データを、実難度データに重み付けをして算出する方法（重み付け直線予測）を説明する。なお、同一ＧＯＰに複数の種類のピクチャータイプが混在していると、難度データの予測が複雑化する。従って、説明の便宜上、第６の実施形態においても、第５の実施形態と同様に、ＧＯＰに含まれるピクチャーが全てＩピクチャーであり、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例に説明する。
【０１１２】
映像データのピクチャー間の時間的な相関性は、時間間隔が長くなるほど薄れてゆくと考えられる。従って、圧縮符号化中のピクチャーの目標データ量を算出するためには、時間的に近いピクチャーの難度ほど、圧縮符号化中のピクチャーの難度と大きな相関性があると考えられる。しかしながら、第５の実施形態に示した単純な直線予測により予測難度データを算出した場合、このような、時間経過に伴う難度の相関性は考慮されない。第６の実施形態で説明する重み付け直線予測による予測難度データの算出は、圧縮符号化中のピクチャーと近いピクチャーの難度ほど誤差関数に大きな影響を与えるようにして、予測難度データの制度を向上させることも目的にしている。
【０１１３】
図１１は、第６の実施形態において、重み付け直線予測により実難度データから予測難度データを算出する方法を例示する図である。なお、図１１には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１１４】
エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーを１５ピクチャー分（Ｌ＋Ａ＝１５）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、まず、図１１中に○印を付して示すように、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、圧縮映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値に基づいて、第１番目のピクチャー〜第１５番目のピクチャーの圧縮符号化データの実難度データＤ1 〜Ｄ15を順次、算出する。
【０１１５】
ホストコンピュータ２０は、算出した実難度データＤ1 〜Ｄ15の平均値Ｄ”を、下に示す式１５により、係数ｋの重み付け平均値ｋ”を算出し、また、式１６により、実難度データＤ1 〜Ｄ15それぞれに重み付け係数ω（１＞ω＞０）の巾乗を乗算して重み付けし、実難度データＤ1 〜Ｄ15の重み付け平均値Ｄ”を算出する。
【０１１６】
【数１５】
0003879134.tif 000016
【０１１７】
【数１６】
0003879134.tif 000017
【０１１８】
つぎに、ホストコンピュータ２０は、算出した係数ｋの重み付け平均値ｋ”および実難度データＤ1 〜Ｄ15の重み付け平均値Ｄ”を用い、下に示す式１７で表される直線を定める。
【０１１９】
【数１７】
0003879134.tif 000018
【０１２０】
さらに、式１７から仮の予測難度データＤ1 ’〜Ｄ’15を算出し、式１８により誤差関数Ｅ（ａ）を求める。
【０１２１】
【数１８】
0003879134.tif 000019
【０１２２】
さらに、ホストコンピュータ２０は、式１３に示した誤差関数Ｅ（ａ）を最小にする傾きａを求める。ホストコンピュータ２０は、このように求めた傾きａを式１２に代入し、図１１中に×印で示す予測難度データＤ’16〜Ｄ’30を算出する。
以上のようにホストコンピュータ２０は、予測難度データＤ’16〜Ｄ’30を算出し、第２の実施形態および第３の実施形態に示したように、算出した予測難度データＤ’16〜Ｄ’30を用いて目標データ量Ｔ1 を算出する。
【０１２３】
さらに、ホストコンピュータ２０は、エンコーダ１８が第１のピクチャーから生成する圧縮映像データのデータ量を目標データ量Ｔ1 とするための量子化値Ｑ1 を算出し、エンコーダ１８の量子化回路１６６に設定する。エンコーダ１８は、ホストコンピュータ２０から設定された量子化値Ｑ1 を用いて遅延映像データＳ１６の第１のピクチャーを圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
以上のように、ホストコンピュータ２０は、各ピクチャーに対する目標データ量を算出し、各ピクチャーを順次、圧縮符号化する。
【０１２４】
なお、式１８には、ホストコンピュータ２０が、式１６に示した直線と実難度データＤ1 〜Ｄ15との２乗誤差に基づいて誤差関数Ｅ（ａ）を算出する場合を示したが、ホストコンピュータ２０の計算量を少なくするためには、式１８の代わりに、下に示す式１９により、式１６に示した直線と実難度データＤ1 〜Ｄ15との絶対値に基づいて誤差関数Ｅ（ａ）を算出してもよい。
【０１２５】
【数１９】
0003879134.tif 000020
【０１２６】
なお、本実施形態の直線予測は、実難度データ数および予測難度数が１５以外の場合にも適用できるのはいうまでもない。
【０１２７】
第７実施形態
以下、本発明の第７の実施形態として、実難度データに基づいて予測難度データを、隣接する実難度データ間の差分の変化を考慮して算出する方法（差分予測）を説明する。なお、同一ＧＯＰに複数の種類のピクチャータイプが混在していると、難度データの予測が複雑化する。従って、説明の便宜上、第７の実施形態においても、これまで説明した第５の実施形態および第６の実施形態と同様に、ＧＯＰに含まれるピクチャーが全てＩピクチャーであり、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例に説明する。
【０１２８】
図１２は、第７の実施形態において、差分予測により実難度データから予測難度データを算出する方法を例示する図である。なお、図１２には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１２９】
例えば、図１２中に、○印で示すように、徐々に実難度データの値の増加が鈍っている絵柄の映像データにおいては、その後（第１６番目のピクチャー以降）も、映像データの難度の増加が鈍くなり、さらに、難度が減少してゆくことが予想される。このような場合、隣接する実難度データ間の値の差分を予測難度データに反映させることにより、予測難度データの精度をさらに向上させることができると考えられる。第７の実施形態に示す差分予測は、かかる観点から、予測難度データの精度を向上させようとするものである。なお、隣接する実難度データ間の値の差分を予測難度データに反映させる方法は、何種類も考えられ、いくらでも複雑化できるが、第７の実施形態においては、最も単純な、差分の値を直線近似する場合について説明する。
【０１３０】
エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーを１５ピクチャー分（Ｌ＋Ａ＝１５）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、まず、図１２中に○印を付して示すように、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第１番目のピクチャー〜第１５番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値から実難度データＤ1 〜Ｄ15を順次、算出する。
【０１３１】
ホストコンピュータ２０は、エンコーダ１６２から入力された圧縮映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値から実難度データＤ1 〜Ｄ15を算出し、さらに、隣接する実難度データ間の差分値Δk （Δk ＝Ｄk −Ｄk-1 ；ｋ＝０，２，…，１４）を算出する。
さらに、ホストコンピュータ２０は、第５の実施形態に示した式１０〜式１３または第６の実施形態に示した式１４〜式１８を用いて直線近似を行い、予測差分値Δ16〜Δ30を算出する。
【０１３２】
さらに、ホストコンピュータ２０は、算出した予測差分値Δ16〜Δ30について、第５の実施形態に示した式１１または第６の実施形態に示した式１６を適用し、予測難度データＤ’16を算出し、下に示す式２０を用いて、予測難度データＤ’17〜Ｄ’30を算出する。
【０１３３】
【数２０】
0003879134.tif 000021
【０１３４】
ホストコンピュータ２０は、実難度データＤ1 〜Ｄ15、および、以上説明したように算出した予測難度データＤ’16〜Ｄ’30を用いて目標データ量Ｔ1 を算出する。
なお、第７の実施形態においては、ホストコンピュータ２０が隣接するピクチャー間の差分値Δk を直線（１次関数）で近似する。従って、ホストコンピュータ２０が算出する予測難度データＤ’16〜Ｄ’30は、図１２に×印を付して示すように１次関数を積分した放物線（２次関数）上の値に近似される。
【０１３５】
さらに、ホストコンピュータ２０は、エンコーダ１８が第１のピクチャーから生成する圧縮映像データのデータ量を目標データ量Ｔ1 とするための量子化値Ｑ1 を算出し、エンコーダ１８の量子化回路１６６に設定する。エンコーダ１８は、ホストコンピュータ２０から設定された量子化値Ｑ1 を用いて遅延映像データＳ１６の第１のピクチャーを圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
以上のように、ホストコンピュータ２０は、各ピクチャーに対する目標データ量を算出し、各ピクチャーを順次、圧縮符号化する。
なお、本実施形態の直線予測は、実難度データ数および予測難度数が１５以外の場合にも適用できるのはいうまでもない。
【０１３６】
第８実施形態
以下、本発明の第８の実施形態として、ＧＯＰが複数の種類のピクチャーから構成されている場合に予測難度データを算出する方法を説明する。なお、第８の実施形態においは、１ＧＯＰがＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの順に１５のピクチャーから構成され、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例示する。
【０１３７】
第５の実施形態〜第７の実施形態においては、便宜上、ＧＯＰがＩピクチャーのみから構成されている場合を例に本発明の説明を行った。しかしながら、実際には、ＧＯＰはＩピクチャー、ＰピクチャーおよびＢピクチャーから構成され、ピクチャータイプに対応した方法で予測難度データを算出する必要がある。第８の実施形態における予測難度データの算出方法は、かかる実情を考慮したものである。
【０１３８】
ピクチャータイプ別の予測
まず、第１にピクチャータイプ別に予測難度データを算出し、予測簡易２パスエンコードを行う方法が考えられる。
つまり、エンコーダ１６２（図１）がＧＯＰの各ピクチャーを圧縮符号化して得たデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の値をホストコンピュータ２０に対して出力し、ホストコンピュータ２０がこれらの値から算出した実難度データを、ホストコンピュータ２０が第４の実施形態〜第７の実施形態に示した単純な直線予測、重み付け直線予測または差分予測によりピクチャータイプ別に独立して処理し、Ｉピクチャー、ＰピクチャーおよびＢピクチャーそれぞれの予測難度データを算出し、目標データ量Ｔj を算出する。
エンコーダ１８は、第２の実施形態および第４の実施形態〜第７の実施形態に示したように、ピクチャータイプ別にホストコンピュータ２０が算出した目標データ量Ｔj に基づいて遅延映像データＳ１６を圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１３９】
正規化予測
次に、ＧＯＰに含まれる各ピクチャーの実難度データの値に応じて実難度データを正規化し、正規化した実難度データから予測難度データを算出し、予測簡易２パスエンコードを行う方法が考えられる。
【０１４０】
正規化予測を行う場合、まず、ホストコンピュータ２０は、エンコーダ１６２がＧＯＰの各ピクチャーから生成したＩピクチャー、ＢピクチャーおよびＰピクチャーそれぞれのデータ量、ＤＣＴ処理後のＤＣ成分の値およびＡＣ成分の電力値から実難度データを算出し、さらに、Ｉピクチャー、ＢピクチャーおよびＰピクチャーそれぞれの実難度データの値の比率（Ｉ：Ｐ：Ｂ）を算出する。
【０１４１】
次に、ホストコンピュータ２０は、算出した実難度データの値の比率でＩピクチャー、ＢピクチャーおよびＰピクチャーの実難度データを正規化し、正規化した実難度データを用いて仮の予測難度データを算出する。さらに、ホストコンピュータ２０は、仮の予測難度データにＩピクチャー、ＢピクチャーおよびＰピクチャーそれぞれの比率を乗算して予測難度データを算出する。
【０１４２】
以下、図１３を参照して正規化予測方法をさらに具体的に説明する。
図１３は、第８の実施形態において、ＧＯＰが複数のタイプのピクチャーから構成される場合に、実難度データから予測難度データを算出する方法を示す図である。なお、図１３には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１４３】
エンコーダ１６２は、映像データＳ１２のＧＯＰにＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの順に含まれるピクチャーのデータ量、ＤＣＴ処理後のＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値から、それぞれ図１３中に○印で示す実難度データＤ1 〜Ｄ15を算出する。
さらに、ホストコンピュータ２０は、生成した実難度データＤ1 〜Ｄ15を正規化する。つまり、例えば、実難度データＤ1 〜Ｄ15の内、Ｉピクチャーの難度データＤ1 の値、Ｐピクチャーの難度データＤ4 ，Ｄ7 ，Ｄ10，Ｄ13それぞれの値、および、Ｂピクチャーの難度データＤ2 ，Ｄ3 ，Ｄ5 ，Ｄ6 ，Ｄ8 ，Ｄ9 ，Ｄ11，Ｄ12，Ｄ14，Ｄ15それぞれの値の比率、つまり、１つのＩピクチャーのデータ量、１つのＰピクチャーのデータ量および１つのＢピクチャーのデータ量の比率が、例えばほぼ４：２：１である場合に、ホストコンピュータ２０は、Ｉピクチャーの実難度データＤ1 を４で除算し、Ｐピクチャーの実難度データＤ4 ，Ｄ7 ，Ｄ10，Ｄ13それぞれの値を２で除算し、さらに、Ｂピクチャーの実難度データＤ2 ，Ｄ3 ，Ｄ5 ，Ｄ6 ，Ｄ8 ，Ｄ9 ，Ｄ11，Ｄ12，Ｄ14，Ｄ15それぞれの値を１で除算して正規化を行い、図１３中に●印で示す正規化した実難度データを生成する。
【０１４４】
次に、ホストコンピュータ２０は、例えば、第５の実施形態に示した単純な直線予測により、図１３中に×印で示す仮の予測難度データを生成する。
さらに、図１３中に×印で示す仮難度データの内、Ｉピクチャーの仮難度データには４を乗算し、Ｐピクチャーの仮難度データには２を乗算し、Ｂピクチャーの仮難度データには１を乗算して、図１３中に□印で示す予測難度データＤ’16〜Ｄ’30を生成する。
【０１４５】
第５の実施形態においてと同様に、ホストコンピュータ２０は、実難度データＤ1 〜Ｄ15および予測難度データＤ’16〜Ｄ’30を用いて目標データ量Ｔj を生成する。
エンコーダ１８は、ホストコンピュータ２０が生成した目標データ量Ｔj に基づいて、遅延映像データＳ１６を圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１４６】
【発明の効果】
以上説明したように、本発明に係る符号化装置およびその方法によれば、２パスエンコードによらずに非圧縮映像データを所定のデータ量以下に圧縮符号化できる。
また、本発明に係る映像データ圧縮装置およびその方法によれば２パスエンコードによらずに所定のデータ量以下に圧縮符号化した圧縮映像データを伸長復号した場合に、高品質な映像を得ることができる。
【０１４７】
また、本発明に係る符号化装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後の圧縮映像データのデータ量を見積もり、見積もった圧縮映像データのデータ量に基づいて圧縮率を調節して非圧縮映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、高精度に圧縮符号化後の圧縮映像データのデータ量を見積もりながら、非圧縮映像データを圧縮符号化することができる。
【図面の簡単な説明】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置の予測簡易２パスエンコードの動作を示す図である。
【図６】第２の実施形態における映像データ圧縮装置（図１）の動作を示すフローチャートである。
【図７】（Ａ）〜（Ｃ）は、第３の実施形態において、本発明に係る映像データ圧縮装置１がＧＯＰの枠内で行う簡易２パスエンコード方式を示す図である。
【図８】（Ａ）〜（Ｃ）は、第４の実施形態において、本発明に係る映像データ圧縮装置がＧＯＰの枠内で行う予測簡易２パスエンコード方式を示す図である。
【図９】第４の実施形態における映像データ圧縮装置の動作を示すフローチャートである。
【図１０】第５の実施形態において、直線予測により実難度データから予測難度データを算出する方法を例示する図である。
【図１１】第６の実施形態において、重み付け直線予測により実難度データから予測難度データを算出する方法を例示する図である。
【図１２】第７の実施形態において、差分予測により実難度データから予測難度データを算出する方法を例示する図である。
【図１３】第８の実施形態において、ＧＯＰが複数のタイプのピクチャーから構成される場合に、実難度データから予測難度データを算出する方法を示す図である。
【符号の説明】
１…映像データ圧縮装置、１０…圧縮符号化部、１２…エンコーダ制御部、１４…モーションエスティメータ、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８…エンコーダ、２０…ホストコンピュータ
【図１】
0003879134.tif 000022
【図２】
0003879134.tif 000023
【図３】
0003879134.tif 000024
【図４】
0003879134.tif 000025
【図５】
0003879134.tif 000026
【図６】
0003879134.tif 000027
【図７】
0003879134.tif 000028
【図８】
0003879134.tif 000029
【図９】
0003879134.tif 000030
【図１０】
0003879134.tif 000031
【図１１】
0003879134.tif 000032
【図１２】
0003879134.tif 000033
【図１３】
0003879134.tif 000034