(57)【特許請求の範囲】
【請求項１】
動画像により構成されている動画像情報を量子化して符号化する際の符号化レートを制御する符号化レート制御装置において、
符号化すべき前記動画像情報の入力開始時刻から予め設定された第１時刻までの間に入力される前記動画像情報である先情報を符号化する際の前記符号化レートに対して第１の制御を施す第１制御手段と、
前記第１の制御の結果に基づいて、前記先情報に続いて入力される前記動画像情報である後情報を符号化する際の前記符号化レートに対して前記第１の制御と異なる第２の制御を施し、全ての前記動画像情報を通した前記符号化レートの平均値を予め設定された所定平均値に対応する平均値に収束させる第２制御手段と、を備え、
前記第１制御手段及び前記第２制御手段は、前記先情報及び前記後情報を夫々量子化する際の量子化スケールコードを変更することにより発生符号量を変化させつつ前記符号化レートを制御すると共に、前記量子化スケールコードを変更するタイミングである変更タイミングを、複数のフレーム画像により構成される情報単位であって予め定められた複数の数の前記情報単位毎に、時間軸上に複数個設け、
前記第１制御手段は、現在の前記変更タイミングである現変更タイミングと、当該現変更タイミングの直前の前記変更タイミングである直前変更タイミングとの間の前記符号化レートの平均値である第１平均値を算出し、当該第１平均値に基づいて前記第１の制御を行い、
前記第２制御手段は、前記動画像情報の符号化開始時点から前記現変更タイミングまでの前記符号化レートの平均値である第２平均値を算出し、当該第２平均値に基づいて前記第２の制御を行うことを特徴とする符号化レート制御装置。
【請求項２】
請求項１に記載の符号化レート制御装置において、
前記第１制御手段は、
前記変更タイミング毎に前記符号化レートが取り得る値を予め第１レート範囲毎に分割し、前記第１平均値がいずれの前記第１レート範囲内に属するかを判定する第１判定手段と、
前記第１平均値が属する前記第１レート範囲に対応して前記量子化スケールコードを変更し前記第１の制御を行う第１変更手段と、
により構成されていると共に、
前記第２制御手段は、
前記変更タイミング毎に前記符号化レートが取り得る値を前記第１レート範囲と異なる第２レート範囲毎に予め分割し、前記第２平均値がいずれの前記第２レート範囲内に属するかを判定する第２判定手段と、
前記第２平均値が属する前記第２レート範囲に対応して前記量子化スケールコードを変更し前記第２の制御を行う第２変更手段と、
により構成されていることを特徴とする符号化レート制御装置。
【請求項３】
請求項２に記載の符号化レート制御装置において、
前記変更タイミング毎の各前記第１レート範囲の境界値を、対応する当該境界値毎に結んだ線が直線であると共に、
前記変更タイミング毎の各前記第２レート範囲の境界値を、対応する当該境界値毎に結んだ線が夫々に前記所定平均値に収束する曲線であることを特徴とする符号化レート制御装置。
【請求項４】
請求項１から３のいずれか一項に記載の符号化レート制御装置において、
前記先情報に対応する前記変更タイミングは等しい時間間隔で設定されていると共に、
前記後情報に対応する前記変更タイミングは、当該後情報における前段及び後段において密な時間間隔で設定されており、当該後情報における中段において疎な時間間隔で設定されていることを特徴とする符号化レート制御装置。
【請求項５】
請求項１から４のいずれか一項に記載の符号化レート制御装置において、
前記第２制御手段は、前記第２の制御により設定される前記量子化スケールコードの値が、予め設定されている当該量子化スケールコードの最小値以上最大値以下の範囲内の値となるように前記第２の制御を行うことを特徴とする符号化レート制御装置。
【請求項６】
請求項１から５のいずれか一項に記載の符号化レート制御装置において、
前記第１制御手段及び前記第２制御手段は、夫々前記符号化レートに対して予め設定された当該符号化レートの最大値を当該符号化レートが超えない範囲内で前記第１の制御及び前記第２の制御を行うことを特徴とする符号化レート制御装置。
【請求項７】
請求項１から６のいずれか一項に記載の符号化レート制御装置において、
前記符号化された動画像情報の復号時に用いられるメモリにおける蓄積量を検証しつつ前記符号化が行われることを特徴とする符号化レート制御装置。
【請求項８】
請求項１から７のいずれか一項に記載の符号化レート制御装置と、
前記変更された量子化スケールコードを用いて前記量子化を行う量子化手段と、
前記量子化された動画像情報を可変長符号化する符号化手段と、
を備えることを特徴とする情報符号化装置。
【請求項９】
請求項８に記載の符号化装置において、
前記符号化手段は、前記動画像情報に対して前記符号化レートによりＭＰＥＧ２(Moving Picture Expert Group ２)方式の圧縮符号化を行うことを特徴とする情報符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定の量子化スケールコードを用いて情報を量子化し、更にこれを符号化する際の符号化レートを制御する符号化レート制御装置及び当該符号化レート制御装置を含む情報符号化装置の技術分野に属し、より詳細には、当該符号化レートを可変としつつ当該符号化を行う際の当該符号化レートを制御する符号化レート制御装置及び当該符号化レート制御装置を含む情報符号化装置の技術分野に属する。
【０００２】
【従来の技術】
従来、情報、特にディジタル情報を符号化して例えば記録媒体に記録したり又は放送電波を介して伝送する方法として種々の符号化方法が考案されているが、その中で、近年実用化されたＤＶＤ（従来のＣＤ（Compact  Disk）に比して約７倍に記録容量を高めた光ディスク）に対して動画像を記録するために用いられているＭＰＥＧ方式が脚光を浴びている。
【０００３】
ここで、当該ＭＰＥＧ方式とは、符号化したい画像と当該画像に対して時間的に先行又は後行する参照画像との差分に対してＤＣＴ（Discrete  Cosine  Transform（離散コサイン変換））を施すと共に量子化して得られた情報及びマクロブロック（当該画像における１６画素×１６画素の画素を含む正方形の画素のブロックをいう。）単位の動きベクトル（参照画像と符号化したい画像との間で何らかの画像の動きがある場合における当該動きの方向と量を示すベクトルをいう。）の差分を可変長符号化して伝送又は記録することにより、本来、膨大な情報量となる画像情報を高能率に圧縮することが可能となる符号化技術である。
【０００４】
ところで、画像を圧縮する場合に、単調な画像と複雑な画像を全て同じ圧縮率で圧縮してしまうと、例えばそれが複雑な画像であった場合には、過度に圧縮されることに起因して圧縮後の画像に劣化が生じる。
【０００５】
そこで、上記ＭＰＥＧ方式においては、いわゆる可変レート符号化により、各画像毎に圧縮レートを可変として（すなわち、符号化レートを可変として）符号化が行えるような構成となっている。
【０００６】
一方、上記ＭＰＥＧ方式における可変レート符号化を用いた圧縮方法としては、いわゆる二回可変レート符号化方式と呼ばれる手法と一回可変レート符号化方式と呼ばれる手法とがある。
【０００７】
ここで、二回可変レート符号化方式とは、一度符号化すべき全画像に渡って夫々の符号化後のデータ発生量（換言すれば、その量子化スケールコード）を試算し、試算したデータの発生量に応じて、二回目の処理において各フレーム画像の符号化レートや量子化スケールコードを正確に制御し、夫々の画像の複雑さに適応した最適な圧縮符号化を行う方法である。
【０００８】
この二回可変レート符号化方式によれば、データ発生量を前もって取得することができるため、画像を所定のデータ量に圧縮符号化する場合に、常に最適な符号化レート及び量子化スケールコードを算出して圧縮符号化できるので、高画質に圧縮符号化することができる。
【０００９】
一方、一回可変レート符号化方式においては、先ず、所定の方法により当初の画像の量子化スケールコードを仮に設定し、当該仮設定した量子化スケールコードを用いて画像の量子化及び符号化を開始する。そして、その後に発生する各画像の符号化後のデータ発生量に応じて変化する符号化レート（この段階では画像のデータ発生量が変化しても対応する量子化スケールコードが一定であるので、対応する符号化レートも変化してしまう。）の平均値を逐次求め、この平均値と予め設定されている閾値とを比較し、当該平均値の方が大きいときはデータの発生量が多すぎるとして量子化スケールコードを増大して平均値を小さくする制御を行い、一方当該平均値のほうが小さいときはデータの発生量が過小であるとして量子化スケールコードを低減して当該平均値を大きくする処理を行う。
【００１０】
この一回可変レート符号化方式によれば、入力してくる符号化すべき画像を実時間で（すなわち、入力してくる画像を複数回分析することなく、入力した順にリアルタイムで）圧縮符号化することができる。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記二回可変レート符号化方式によると、符号化すべき夫々の画像を予め一回分析する必要があり、実時間での圧縮符号化には不向きであるという問題点があった。
【００１２】
一方、一回可変レート符号化方式では、実時間での圧縮符号化は可能であるが、その圧縮符号化の開始当初に仮設定される量子化スケールコードの値が実際の画像の特性に合致していない場合（例えば、符号化すべき一連の画像において、その先頭付近では画像内の動きはほとんどなかったが、シーンチェンジ等により急激に画像内の動きが増大した場合等）には画質の著しい低下を来たしてしまうという問題点があった。
【００１３】
そこで、本発明は、上記の各問題点に鑑みて為されたもので、その課題は、実時間での符号化を行った場合でも、情報品質の劣化を最小限に限定することが可能な符号化レート制御装置及び当該符号化レート制御装置を含む情報符号化装置を提供することにある。
【００２６】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、動画像により構成されている動画像情報を量子化して符号化する際の符号化レートを制御する符号化レート制御装置において、符号化すべき前記動画像情報の入力開始時刻から予め設定された第１時刻までの間に入力される前記動画像情報である先情報を符号化する際の前記符号化レートに対して第１の制御を施すレート制御部等の第１制御手段と、前記第１の制御の結果に基づいて、前記先情報に続いて入力される前記動画像情報である後情報を符号化する際の前記符号化レートに対して前記第１の制御と異なる第２の制御を施し、全ての前記動画像情報を通した前記符号化レートの平均値を予め設定された所定平均値に対応する平均値に収束させるレート制御部等の第２制御手段と、を備え、前記第１制御手段及び前記第２制御手段は、前記先情報及び前記後情報を夫々量子化する際の量子化スケールコードを変更することにより発生符号量を変化させつつ前記符号化レートを制御すると共に、前記量子化スケールコードを変更するタイミングである変更タイミングを、複数のフレーム画像により構成される情報単位であって予め定められた複数の数の前記情報単位毎に、時間軸上に複数個設け、前記第１制御手段は、現在の前記変更タイミングである現変更タイミングと、当該現変更タイミングの直前の前記変更タイミングである直前変更タイミングとの間の前記符号化レートの平均値である第１平均値を算出し、当該第１平均値に基づいて前記第１の制御を行い、前記第２制御手段は、前記動画像情報の符号化開始時点から前記現変更タイミングまでの前記符号化レートの平均値である第２平均値を算出し、当該第２平均値に基づいて前記第２の制御を行うように構成される。
【００２７】
よって、一つの動画像情報を符号化する際の符号化レートについて、その符号化レートを、先情報に対する第１の制御と後情報に対する第２の制御の二段階の制御により最終的に所定平均値に対応する平均値に収束させるので、情報品質の劣化を最小限に抑制しつつ当該動画像情報を符号化することができる。また、第１の制御時には第１平均値を用いて制御を行うと共に、第２の制御時には第２平均値を用いて制御を行うので、第１の制御時には簡易な処理で効率的に符号化レートの制御を行うことができると共に、第２の制御により確実に符号化レートを所定平均値に対応する平均値に収束させることができる。
【００３２】
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の符号化レート制御装置において、前記第１制御手段は、前記変更タイミング毎に前記符号化レートが取り得る値を予め第１レート範囲毎に分割し、前記第１平均値がいずれの前記第１レート範囲内に属するかを判定するＣＰＵ等の第１判定手段と、前記第１平均値が属する前記第１レート範囲に対応して前記量子化スケールコードを変更し前記第１の制御を行うＣＰＵ等の第１変更手段と、により構成されていると共に、前記第２制御手段は、前記変更タイミング毎に前記符号化レートが取り得る値を前記第１レート範囲と異なる第２レート範囲毎に予め分割し、前記第２平均値がいずれの前記第２レート範囲内に属するかを判定するＣＰＵ等の第２判定手段と、前記第２平均値が属する前記第２レート範囲に対応して前記量子化スケールコードを変更し前記第２の制御を行うＣＰＵ等の第２変更手段と、により構成されている。
【００３３】
よって、第１の制御時の第１レート範囲と異なる第２レート範囲を用いて第２平均値が属する第２レート範囲を判定し、当該判定結果に基づいて量子化スケールコードを変更するので、各制御毎に異なるレート範囲を用いて量子化スケールコードを変更することにより確実に符号化レートを所定平均値に対応する平均値に収束させることができる。
【００３４】
上記の課題を解決するために、請求項３に記載の発明は、請求項２に記載の符号化レート制御装置において、前記変更タイミング毎の各前記第１レート範囲の境界値を、対応する当該境界値毎に結んだ線が直線であると共に、前記変更タイミング毎の各前記第２レート範囲の境界値を、対応する当該境界値毎に結んだ線が夫々に前記所定平均値に収束する曲線であるように構成される。
【００３５】
よって、簡易な処理で第１の制御ができると共に、符号化レートを極端に変動させることなく第２の制御を施すことができる。
【００３６】
上記の課題を解決するために、請求項４に記載の発明は、請求項１から３のいずれか一項に記載の符号化レート制御装置において、前記先情報に対応する前記変更タイミングは等しい時間間隔で設定されていると共に、前記後情報に対応する前記変更タイミングは、当該後情報における前段及び後段において密な時間間隔で設定されており、当該後情報における中段において疎な時間間隔で設定されている。
【００３７】
よって、第１の制御時には簡易な処理で符号化レートの制御ができると共に、第２の制御時における処理負担を軽くしつつ確実に符号化レートを所定平均値に対応する平均値に収束させることができる。
【００３８】
上記の課題を解決するために、請求項５に記載の発明は、請求項１から４のいずれか一項に記載の符号化レート制御装置において、前記第２制御手段は、前記第２の制御により設定される前記量子化スケールコードの値が、予め設定されている当該量子化スケールコードの最小値以上最大値以下の範囲内の値となるように前記第２の制御を行うように構成される。
【００３９】
よって、量子化スケールコードの値が予め設定されるその最小値以上最大値以下の範囲内の値となるように設定されるので、より適切に符号化レートを制御することができる。
上記の課題を解決するために、請求項６に記載の発明は、請求項１から５のいずれか一項に記載の符号化レート制御装置において、前記第１制御手段及び前記第２制御手段は、夫々前記符号化レートに対して予め設定された当該符号化レートの最大値を当該符号化レートが超えない範囲内で前記第１の制御及び前記第２の制御を行うように構成される。
【００４０】
よって、符号化レートの最大値を超えることによる例えば記録媒体への転送速度を越えた符号化が行なわれる等の不具合の発生を防止できる。
【００４１】
上記の課題を解決するために、請求項７に記載の発明は、請求項１から６のいずれか一項に記載の符号化レート制御装置において、前記符号化された動画像情報の復号時に用いられるメモリにおける蓄積量を検証しつつ前記符号化が行われるように構成される。
【００４２】
よって、復号用のメモリにおける蓄積量を検証しつつ符号化が行なわれるので、動画像情報の復号時において、当該メモリがオーバーフローしたり或いはアンダーフローすることがなく、安定的に復号が可能な符号化を行うことができる。
【００４３】
上記の課題を解決するために、請求項８に記載の発明は、請求項１から７のいずれか一項に記載の符号化レート制御装置と、前記変更された量子化スケールコードを用いて前記量子化を行う量子化部等の量子化手段と、前記量子化された動画像情報を可変長符号化する可変長符号化部等の符号化手段と、を備える。
【００４４】
よって、符号化レートを逐次所定平均値に対応する平均値に収束させることにより、情報品質の劣化を最小限に抑制しつつ当該動画像情報を符号化することができる。
【００４５】
上記の課題を解決するために、請求項９に記載の発明は、請求項８に記載の符号化装置において、前記符号化手段は、前記動画像情報に対して前記符号化レートによりＭＰＥＧ２方式の圧縮符号化を行うように構成される。
【００４６】
よって、動画像情報における画質の劣化を最小限としつつ当該動画像情報を圧縮符号化することができる。
【００４７】
【発明の実施の形態】
次に、本発明に好適な実施の形態について、図面に基づいて説明する。なお、以下に説明する実施の形態は、上記ＭＰＥＧ方式のうちのＭＰＥＧ２方式に準拠して動画像の圧縮符号化を行う符号化装置に対して本発明を適用した場合の実施形態である。
【００４８】
先ず、実施形態に係る符号化装置の構成及び概要動作について、図１を用いて説明する。なお、図１は当該符号化装置の概要構成を示すブロック図である。
【００４９】
図１（ａ）に示すように、実施形態の符号化装置Ｓは、加算器１と、ＤＣＴ部２と、量子化手段としての量子化部３と、逆量子化部４と、符号化手段としての可変長符号化部５と、逆ＤＣＴ部６と、動き検出部７と、動き補償予測部８と、本発明に係る第１制御手段、第２制御手段及び制御手段としてのレート制御部９と、により構成されている。
【００５０】
更に、レート制御部９は、図１（ｂ）に示すように、判定手段、第１判定手段、第２判定手段、変更手段、第１変更手段及び第２変更手段としてのＣＰＵ９ａと、メモリ９ｂと、により構成されている。
【００５１】
次に、符号化装置Ｓの概要動作について、図１を用いて説明する。
【００５２】
図１に示すように、符号化装置Ｓに外部から入力されるディジタル情報信号Ｓd（当該ディジタル情報信号Ｓdのうちの画像情報については複数のフレーム画像により構成されており、各フレームを構成する画素毎にディジタル化されている。）は、動き検出部７へ入力されると共に、加算器１へ入力される。
【００５３】
そして、動き検出部７において、ディジタル情報信号Ｓd内の各フレームについて上記動きベクトルが算出され、対応するベクトル信号Ｓvが動き補償予測部８へ出力される。
【００５４】
ここで、当該動きベクトルについて詳説すると、当該動きベクトルは、ＭＰＥＧ２方式に基づいた動画像の圧縮時において実行される動き補償処理に用いられるものである。
【００５５】
すなわち、当該動き補償処理においては、先ず、符号化する画像を予め設定された所定数の画素を含む上記マクロブロックに分割し、各々のマクロブロック内の各画素と、時間軸上で前又は後のいずれか一方のフレーム内の対応する画素との差分の絶対値をマクロブロック内の全ての画素について加算した絶対値和が最小となる画像（すなわち、当該マクロブロック内の画像に最も近い、当該前又は後のいずれか一方のフレーム内の画像）の空間的な位置を求める。
【００５６】
そして、当該マクロブロックとそれに最も近い画像との移動関係を上記動きベクトルとし、この動きベクトルを当該前又は後のいずれか一方のフレーム内の画像を示す情報として符号化する。これにより、実際に符号化する情報量を、画像情報そのものをそのまま符号化する場合に比して相当量圧縮して当該画像情報を符号化することができるのである。
【００５７】
次に、加算器１へ出力されたディジタル情報信号Ｓdは、当該加算器１において動き補償予測部８からの補償信号Ｓeが減算され、減算信号ＳaとしてＤＣＴ部２へ出力される。
【００５８】
次に、ＤＣＴ部２は、当該減算信号Ｓaに対して情報量の圧縮のためのＤＣＴを施し、変換信号Ｓdcとして量子化部３へ出力する。
【００５９】
そして、量子化部３は、後述するレート信号Ｓrrで示される量子化スケールコードで当該変換信号Ｓdcを量子化し、量子化信号Ｓqを生成して可変長符号化部５及び逆量子化部４へ出力する。
【００６０】
次に、逆量子化部４は、量子化信号Ｓqに対して逆量子化処理を施し、逆量子化信号Ｓiqを生成して逆ＤＣＴ部６へ出力する。
【００６１】
そして、逆ＤＣＴ部６は、逆量子化信号Ｓiqに対して逆ＤＣＴ（逆離散コサイン変換）を施し、逆変換信号Ｓidとして動き予測補償予測部８へ出力する。
【００６２】
その後、動き補償予測部８は、上述したベクトル信号Ｓv内に含まれる動きベクトルと逆変換信号Ｓidとに基づいて、ＭＰＥＧ２方式におけるいわゆるフレーム間予測を用いた動き補償処理を行い、情報量の圧縮のための上記補償信号Ｓeを生成して加算器１に出力する。
【００６３】
一方、可変長符号化部５は、上記量子化信号Ｓqに対して可変長符号化処理を施し、元のディジタル情報信号ＳdをＭＰＥＧ２方式で圧縮符号化した信号である圧縮情報信号Ｓpdをレート制御部９及び図示しない符号化バッファメモリに出力する。
【００６４】
このとき、レート制御部９は、当該圧縮情報信号Ｓpdに基づく後述する本発明の処理により、量子化部３における量子化の際の量子化スケールコード（換言すれば、圧縮情報信号Ｓpdにおける符号化レート）を最適化するための上記レート信号Ｓrrを生成して当該量子化部３に出力する。
【００６５】
より具体的には、図１（ｂ）に示すように、レート制御部９内のＣＰＵ９ａは、入力されてくる圧縮情報信号Ｓpdに基づいて、メモリ９ｂとの間でメモリ信号Ｓｍとして後述するデータの授受を行いつつ量子化部３における量子化スケールコードを設定するための上記レート信号Ｓrrを生成して当該量子化部３へ出力する。
【００６６】
次に、レート制御部９における本発明に係る処理について、図２乃至図１１を用いて説明する。
【００６７】
先ず、実際に当該処理について説明する前に、ＭＰＥＧ２方式により圧縮符号化された圧縮情報信号ＳpdにおけるＧＯＰ（Group  Of  Picture）と称される情報単位について、図２を用いてその概要を説明する。なお、図２は一のＧＯＰを構成する複数のフレーム画像の例を示している。
【００６８】
圧縮情報信号Ｓpdに含まれている画像情報は、ビデオパックと称される情報単位から構成されており、このビデオパックには、更に一又は複数のＧＯＰが含まれている。
【００６９】
図２では、一のＧＯＰ１０が１５枚のフレーム画像（再生時間に換算して約０．５秒）から構成されている場合（このフレーム画像数は原則であり、ＭＰＥＧ２方式では一のＧＯＰ１０に合まれるフレーム画像数は一定ではない。）を示しているが、この内、符号「Ｉ」で示されるフレーム画像は、Ｉピクチャ（Intra-coded  picture：イントラ符号化画像）と呼ばれ、自らの画像のみで完全なフレーム画像を再生することができるフレーム画像をいう。
【００７０】
また、符号「Ｐ」で示されるフレーム画像は、Ｐピクチャ（Predictive-coded  Picture：前方予測符号化画像）と呼ばれ、既に復号化されたＩピクチャ又は他のＰピクチャに基づいて補償再生された予測画像との差を復号化する等して生成される予測画像である。
【００７１】
更に、符号「Ｂ」で示されるフレーム画像は、Ｂピクチャ（Bidirectionally  predictive-coded  picture：両方向予測符号化画像）といい、時間的に先行したＩピクチャ又はＰピクチャのみでなく、時間的に後行するＩピクチャ又はＰピクチャをも予測に用いて再生される予測画像をいう。
【００７２】
なお、図２においては、各ピクチャ間の予測関係（補間関係）を矢印で示している。
【００７３】
ここで、ＭＰＥＧ２方式においては、上述したように夫々のＧＯＰ１０に含まれるデータ量が一定でない可変レート符号化方式を採用している。
【００７４】
すなわち、一のＧＯＰ１０に含まれる各ピクチャが動きの速い動画に対応しており、各ピクチャ間の相関関係が小さい場合には、各ピクチャを構成するためのデータ量が多くなり、従って一のＧＯＰ１０に合まれるデータ量も多くなる。
【００７５】
他方、一のＧＯＰ１０に含まれる各ピクチャが、あまり動きのない動画に対応しており、各ピクチャ間の相関関係が大きい場合には、各ピクチャを構成するためのデータ量も少なくなり、一のＧＯＰ１０に含まれるデータ量も少なくなることとなる。
【００７６】
次に、本発明に係る可変レート制御について、具体的に図３乃至図１０を用いて説明する。
【００７７】
なお、図３は実施形態における第１の制御時の処理を示すフローチャートであり、図４は平均レート（すなわち、可変レートの平均値）に対する第１の制御を説明する図であり、図５は最大符号量の保証処理を示すフローチャートであり、図６は実施形態の復号バッファメモリのオーバーフロー及びアンダーフローの防止処理を示すフローチャートであり、図７及び図８は実施形態における第２の制御時の処理を示すフローチャートであり、図９及び図１０は平均レートに対する第２の制御を説明する図である。
【００７８】
また、以下に説明する可変レート符号化処理においては、符号化すべき情報における最初の約１０５秒間（すなわち、２１０個分のＧＯＰ１０に相当する時間）で可変レート（以下、単に符号化レートと称する。）に対する第１の制御を行い、先頭から１０５秒以降の情報については当該符号化レートに対して第２の制御を施し、最終的に当該情報全体の符号化レートの平均値が４．２Mbps（bit  per  second）近辺の値となるように制御する。また、符号化レートの許容される最大値は、８．０Mbpsと規定されているものとする。
【００７９】
ここで、当該情報全体での符号化レートの平均値を４．２Mbps近辺の値とし、符号化レートの最大値を８．０Mbpsとしているのは、実施形態の符号化装置Ｓを含む情報処理システム全体としての要求に基づくものであり、具体的には、例えば放送電波を受信して得たディジタル情報信号Ｓdを符号化装置Ｓにより圧縮符号化して記録媒体に記録するというような情報処理システムを考えた場合に、情報全体での符号化レートの平均値は、記録媒体の総記録容量とその記録媒体に記録しようとするディジタル情報信号Ｓdの総時間等を勘案して設定されるものであり、一方、符号化レートの最大値は記録媒体に記録する記録部の記録処理能力（記録スピードの最大値）を超えない範囲とする必要があることを勘案して設定されるものである。
【００８０】
実施形態の符号化レート制御においては、符号化すべきディジタル情報信号Ｓdにおける最初の約１０５秒間に対する符号化レート制御処理として、先ず、図３に示すように、量子化スケールコードの値（以下、単にＱＳと称する。）を「３」とし、その量子化スケールコードを用いてディジタル情報信号Ｓdに含まれる最初のピクチャ（符号化装置Ｓの符号化後のＧＯＰ１０中では、最初のＩピクチャ（図２参照）となるピクチャ）を符号化し、その符号化の結果としての発生符号量をＢ(first)とする（ステップＳ１）。
【００８１】
次に、当該発生符号量Ｂ(first)と最初の量子化スケールコードの値「３」を用い、ＱＳと発生符号量の積が一定となるという実験上の仮定に基づいて、符号化レート制御した結果としての初期のＱＳであるＱＳ(init)を以下の式により算出する（ステップＳ２）。
【００８２】
【数１】
ＱＳ(init)＝３×Ｂ(first)／（ＧＯＰ１０内のＩピクチャの平均許容量）
より具体的には、今、一のＧＯＰ１０内に存在する各ピクチャの符号量の比率を
【００８３】
【数２】
Ｉ：Ｐ：Ｂ＝Ｒi：Ｒp：Ｒb
とすると、
【００８４】
【数３】
0003907875.tif 000002
となる。ここで、数字「２９．９７」はディジタル情報信号Ｓdに含まれている画像がＮＴＳＣ（National  Television  System  Committee）方式の画像であるときのフレーム周波数（単位はＨｚ）であり、数字「１５」は一のＧＯＰ１０に含まれているフレーム画像の数であり、数字「４．２」は上記ディジタル情報信号Ｓd全体を符号化する際の符号化レートの平均値の目標値（単位はMbps）である。更に、数字「１」、「４」及び「１０」は一のＧＯＰ１０内に含まれるＩピクチャ、Ｐピクチャ及びＢピクチャの数である。
【００８５】
そして、上記式（１）によりＱＳ(init)が求まると、これ以後圧縮情報信号Ｓpdに含まれている３０個のＧＯＰ１０を、原則としてこのＱＳ(init)を用いた量子化及び符号化により求める。なお、このとき、ＣＰＵ９ａは、各ＧＯＰ１０毎の符号化レートを夫々別個にメモリ９ｂに記憶させつつレート信号Ｓrrを生成する。
【００８６】
次に、進行中の符号化における符号化レートが、許容されているその最大値を越えないようにＱＳを確認し、もし最大値を越えそうであればその時のＱＳ(init)を補正する（ステップＳ３）。このステップＳ３の処理の細部については、後程詳述する。
【００８７】
ＱＳの補正が終了すると、次に、現在のＱＳのままディジタル情報信号Ｓdの符号化を進行した場合に、当該符号化された圧縮情報信号Ｓpdを復号する復号装置における復号バッファメモリ（一般には、ＶＢＶ（Video  Buffering  Verifier）バッファと称される。）においてオーバーフロー又はアンダーフローが生じないかを確認し、もしオーバーフロー又はアンダーフローが生じそうであればその時のＱＳを補正する（ステップＳ４）。このステップＳ４の処理の細部についても、後程詳述する。
【００８８】
再度のＱＳの補正が終了すると、次に、ステップＳ３及びＳ４の処理が一のＧＯＰ１０内の全てのフレーム画像について終了したか否かが判定され（ステップＳ５）、終了していないときは（ステップＳ５；いいえ）当該ＧＯＰ１０に含まれている全てのピクチャについてステップＳ３及びＳ４の処理を実行すべくステップＳ３に戻る。
【００８９】
一方、ステップＳ５の判定において、一のＧＯＰ１０内の全てのピクチャについて処理が終了しているときは（ステップＳ５；はい）、次に、ＱＳに対する第１の制御を行うべきディジタル情報信号Ｓdの先頭から２１０個分のＧＯＰに対応する時間（約１０５秒）が経過したか否かが判定され（ステップＳ６）、経過しているときは（ステップＳ６；はい）後述する第２の制御処理におけるＱＳの最大値及び最小値（すなわち、動画像情報の復号時の画質等を考慮して設定される最大値及び最小値）の初期値として、夫々最大値を「９」とし最小値を「３」とした（ステップＳ４７）後、当該第２の制御処理に移行し、経過していないときは（ステップＳ６；いいえ）、ステップＳ２でＱＳ(init)を設定した以降３０個のＧＯＰ１０に対応する時間（約１５秒間）が経過したか否かが判定される（ステップＳ７）。
【００９０】
そして、経過していないときは（ステップＳ７；いいえ）、経過するまで上記ステップＳ３及びＳ４を継続すべくステップＳ３に戻り、一方、経過しているときは（ステップＳ７；はい）それまでの３０個のＧＯＰ１０が生成された際の符号化レートをメモリ９ｂから読み出してその平均値（すなわち、平均レート）を算出し、その平均値が４．２Mbpsよりも大きいか否かが判定される（ステップＳ８）。
【００９１】
ここで、当該３０個のＧＯＰ１０に対応する符号化レートの平均値の算出方法を説明する。
【００９２】
すなわち、３０個のＧＯＰ１０に対応する符号化レートの平均値をＲgopとし、符号化により一のＧＯＰ１０が生成された際の符号化レートをＧＥＮGOPとすると、当該Ｒgopは以下の式により算出される。
【００９３】
【数４】
0003907875.tif 000003
ここで、上式における数字「２９．９７／１５」は符号化レートＧＥＮGOPの単位を「bps」に変換するためのものである。
【００９４】
そして、この平均値Ｒgopが４．２Mbpsよりも大きいときは（ステップＳ８；はい）、発生符号量が多すぎるとしてそれを低減させるべくＱＳを「１」だけインクリメントし（ステップＳ９）、当該インクリメントした値で第１の制御を継続すべくステップＳ３へ戻る。
【００９５】
一方、ステップＳ８の判定において、平均値Ｒgopが４．２Mbpsよりも大きくないときは（ステップＳ８；いいえ）、次に、平均値Ｒgopが４．０Mbpsよりも小さいか否かが判定される（ステップＳ１０）。
【００９６】
そして、この平均値Ｒgopが４．０Mbpsよりも小さいときは（ステップＳ１０；はい）、発生符号量が少なすぎるとしてそれを増加させるべくＱＳを「１」だけデクリメントし（ステップＳ１１）、当該デクリメントした値で第１の制御を継続すべくステップＳ３へ戻る。
【００９７】
以上の動作をディジタル情報信号Ｓdにおける先頭から２１０個のＧＯＰ１０分だけ３０個のＧＯＰ１０毎（すなわち、約１５秒毎）に繰り返すことにより、例えば図４に示すようにＱＳ(init)より後の符号化レートが高くなり過ぎても、当該２１０個のＧＯＰ１０に対応する時間（約１０５秒）が経過するまでには当該符号化レートがディジタル情報信号Ｓd全体を通しての符号化レートが収束すべき平均値（４．２Mbps）に基づいて予め設定された許容範囲内（すなわち、４．０Mbps以上４．２Mbps以下）に収束するはずであるという予測の下で、その時のディジタル情報信号Ｓdを符号化するのに適するであろうＱＳを第１の制御により求めることができる。
【００９８】
次に、上記ステップＳ３における符号化レートの最大値を保証するためのＱＳの補正処理について、図５を用いて説明する。
【００９９】
ステップＳ３においては、符号化レートがその最大値（実施形態の場合８．０Mbps）を越えないように保証するために、ＱＳと発生符号量Ｂとの積が一定であることを利用してＧＯＰ１０内の各ピクチャ単位でＱＳの補正を行う。
【０１００】
すなわち、図５に示すように、今、当該最大値をＭＡＸＲＡＴＥ[bps]とすると、一のＧＯＰ１０に割り当てられる符号量の最大値ＭＡＸGOPは、
【０１０１】
【数５】
ＭＡＸGOP＝ＭＡＸＲＡＴＥ×１５／２９．９７
となる。ここで、上式における数字「１５／２９．９７」はＮＴＳＣ方式における一秒間内に一のＧＯＰ１０が占める時間である。
【０１０２】
そして、この符号量の最大値ＭＡＸGOPを
【０１０３】
【数６】
Ｉ：Ｐ：Ｂ＝Ｒi：Ｒp：Ｒb
の割合で各ピクチャに割り振る（ステップＳ２０）。
【０１０４】
このとき、最初に符号化するのはＩピクチャであるので、当該Ｉピクチャの最大許容符号量ＭＡＸiは、
【０１０５】
【数７】
ＭＡＸi＝ＭＡＸGOP×Ｒi／（１×Ｒi＋４×Ｒp＋１０×Ｒb）
となる。
【０１０６】
これと同様に、Ｐピクチャ及びＢピクチャについても夫々の最大許容符号量ＭＡＸp及びＭＡＸbを以下のように求める（ステップＳ２０）。
【０１０７】
【数８】
ＭＡＸp＝ＭＡＸGOP×Ｒp／（１×Ｒi＋４×Ｒp＋１０×Ｒb）
ＭＡＸb＝ＭＡＸGOP×Ｒb／（１×Ｒi＋４×Ｒp＋１０×Ｒb）
このようにして各ピクチャの最大許容符号量が求まると、次に、ＱＳ(init)以降に図３に示した処理により決定されるいずれかのＱＳで各ピクチャを符号化し、その結果発生した符号量をＧＥＮpic(pic=i,p,b)として当該ＧＥＮpic(pic=i,p,b)が夫々に上記ＭＡＸpic(pic=i,p,b)より大きいか否かを判定する（ステップＳ２１）。
【０１０８】
そして、ステップＳ２１の判定において、全てのＧＥＮpicがＭＡＸpic(pic=i,p,b)より大きくないときは（ステップＳ２１；いいえ）、現在の発生符号量はその最大値以下で適切であり、従ってＱＳも適切であるとしてこれを補正することなくステップＳ４へ移行する。
【０１０９】
一方、ステップＳ２１の判定において、いずれかのＧＥＮpicがＭＡＸpicより大きいときは（ステップＳ２１；はい）、現在の発生符号量がその最大値を越えており、このままのＱＳだと発生符号量が多すぎて８．０Mbpsという最大値を保証できなくなる可能性があるとして、同一のＧＯＰ１０内の以後の各ピクチャを以下に示す補正後の新たなＱＳnで量子化及び符号化を行い（ステップＳ２２）、ステップＳ４に移行する。
【０１１０】
【数９】
ＱＳn=直前のＱＳ×ＧＥＮpic(pic=i,p,b)／ＭＡＸpic(pic=i,p,b)
なお、ステップＳ３における補正では、ＱＳの上限値が予め「３１」と規格上定められているので、これ以下の値をＱＳnとする必要がある。このとき、上記Ｒi、Ｒp及びＲbの値は、夫々に、ＩピクチャのＱＳをＱＳi、ＰピクチャのＱＳをＱＳp、ＢピクチャのＱＳをＱＳbとして、
【０１１１】
【数１０】
ＱＳi：ＱＳp：ＱＳb＝１：１：１．４
として算出することができる。
【０１１２】
次に、上記ステップＳ４における復号装置における復号バッファメモリのオーバーフロー又はアンダーフローの防止のためのＱＳの補正処理について、図６を用いて説明する。
【０１１３】
先ず、符号化レートと復号バッファメモリの容量との関係について説明する。
【０１１４】
これまで述べてきたように、ＭＰＥＧ２方式では、圧縮され符号化された後の各ピクチャ毎の発生符号量は相互に異なったものとなる。
【０１１５】
従って、実施形態の符号化装置Ｓでは、符号化された画像を伸長して復号する上記復号装置で圧縮情報信号Ｓpdが復号された際に、当該復号装置内の復号バッファメモリ（復号された画像を一時的に蓄積し、出力タイミング等の制御を行うためのバッファメモリ）においてオーバーフロー又はアンダーフローが発生することがないように（オーバーフローが発生すると復号されない画像が生じることとなり、一方アンダーフローが発生すると復号画像が途切れることとなる。）、符号化装置Ｓによる符号化時において、当該復号バッファメモリ内のデータの蓄積量を検証（シミュレート）しながら符号化するデータ量（すなわち、符号化レート）の設定を行い、これにより当該オーバーフロー又はアンダーフローを回避するように構成されている。
【０１１６】
より具体的には、符号化時に一時的に圧縮情報信号Ｓpdが蓄積される図示しない符号化バッファメモリにおいて、一のピクチャが符号化されて当該符号化バッファメモリに蓄積されると、復号時においては当該蓄積されたピクチャ分だけ対応するタイミングにおいて復号バッファメモリから動画像情報が出力されることとなるので、当該対応するタイミングにおいて当該蓄積されたピクチャ分だけ復号バッファメモリの蓄積量が減少する。
【０１１７】
ここで、符号化バッファメモリにおける出力レート（例えば記録媒体への記録レート）及び復号バッファメモリにおける入力レート（例えば記録媒体からの再生レート）は共にほぼ一定であるので、一ピクチャの符号化量が少なすぎると復号時において当該復号バッファメモリから一度に出力される動画像情報量が少なくなり、当該復号バッファメモリにおいてオーバーフローが発生し、一方、一ピクチャの符号化量が多すぎると復号時において当該復号バッファメモリから一度に出力される動画像情報量が大きくなり、当該復号バッファメモリにおいてアンダーフローが発生する。
【０１１８】
そこで、ＣＰＵ９ａは、この復号バッファメモリの蓄積量の変化を常に検証（シミュレート）しつつ符号化レートを設定するためのレート信号Ｓrrを出力するのである。
【０１１９】
次に、図６を用いて具体的にステップＳ４の処理について説明する。
【０１２０】
ステップＳ４においては、ＣＰＵ９ａは、復号バッファメモリの残量Ｃvbvを常にシミュレートしている。
【０１２１】
具体的には、図６に示すように、先ず、残量Ｃvbvに基づいて、各ピクチャ内の各スライス（一のピクチャはスライスと呼ばれる横長の帯状の領域が表示画面上で縦に３０個積み重ねられて構成されている。）に割り当てられる最大符号量ＭＡＸslを以下に式により算出する（ステップＳ２５）。
【０１２２】
【数１１】
ＭＡＸsl＝Ｃvbv／３０
なお、上式では、圧縮情報信号Ｓpd中の画像一ピクチャ当り復号バッファメモリの残量Ｃvbvだけの許容量があるものとしている。
【０１２３】
最大符号量ＭＡＸslが算出されると、次に、スライス単位で現在のスライスまでのｓｌ個のスライスでの発生符号量ＧＥＮslと（ＭＡＸsl×ｓｌ）との大小関係を比較する（ステップＳ２６）。そして、ステップＳ２６の判定において、ＧＥＮslが（ＭＡＸsl×ｓｌ）よりも大きいときは（ステップＳ２６；はい）、このままのＱＳだと発生符号量が多すぎて復号バッファメモリがアンダーフローする可能性があるとして、以後のスライスを符号化する際のＱＳを１だけインクリメントする（ステップＳ２７）。
【０１２４】
一方、ステップＳ２６の判定において、ＧＥＮslが（ＭＡＸsl×ｓｌ）よりも大きくないとき（ステップＳ２６；いいえ）又は以後のスライスを符号化する際のＱＳを１だけインクリメントした（ステップＳ２７）後は、次に、復号バッファメモリ内の情報量が予め設定されている閾値以下とシミュレートされているか否かが判定される（ステップＳ４５）。
【０１２５】
ここで、ステップＳ４５における比較処理の対象である上記閾値は、復号バッファメモリの最大容量を上述したピクチャにおける一スライスに割り振った値に現在復号バッファメモリに蓄積されているとシミュレートされるスライス数を乗じた値とされる。より具体的には、例えば、復号バッファメモリ内に現在１０スライス分の動画像情報が蓄積されているとシミュレートされているとすると、復号バッファメモリの最大容量を「３０（すなわち、一ピクチャ内のスライス数）」で割った値に「１０」を乗じた値がその時の閾値とされる。
【０１２６】
そして、この閾値よりも復号バッファメモリ内の情報量が多いとシミュレートされるときは（ステップＳ４５；はい）、このまま動画像情報の入力を継続すると復号バッファメモリがオーバーフローする可能性があるので、一時的にＱＳをその許容される最大値である「３１」として符号発生量を低減させ（ステップＳ４６）、ステップＳ５の処理へ移行する。
【０１２７】
一方、ステップＳ４５の判定において、当該閾値よりも復号バッファメモリ内の情報量が多くないとシミュレートされるときは（ステップＳ４５；いいえ）、取り敢えず現在は復号バッファメモリがオーバーフローする可能性はないとシミュレートされるとして、次に、一のピクチャ内の全てのスライスについて上述した処理が終了しているか否かを判定し（ステップＳ２８）、終了していないときは（ステップＳ２８；いいえ）各ピクチャ内の残ったスライスについてステップＳ２６乃至Ｓ２８並びにＳ４５及びＳ４６の処理を実行すべくステップＳ２６に戻る。
【０１２８】
一方、ステップＳ２８の判定において、一のピクチャ内の全てのスライスについて上述した処理が終了しているときは（ステップＳ２８；はい）そのままステップＳ５の処理に移行する。
【０１２９】
次に、本発明に係る、符号化すべきディジタル情報信号Ｓdにおける最初の１０５秒以後に対する符号化レート制御処理について、図７乃至図１０を用いて説明する。
【０１３０】
なお、図７及び図８に示すフローチャートにおいて、図３に示すフローチャートと同一の処理については、同一のステップ番号を付して細部の説明は省略する。
【０１３１】
また、以下に説明する実施形態では、符号化すべきディジタル情報信号Ｓdの符号化レートを制御する時間単位をＴ秒とし、このＴ秒間を３６個のＧＯＰ１０に対応する時間で分割し、夫々の分割点を符号化レートの平均値を確認するタイミング（以下、チェックタイミングと称する。）として設定している。
【０１３２】
図７及び図８に示すように、ディジタル情報信号Ｓdにおける最初の約１０５秒（すなわち、ディジタル情報信号Ｓdの先頭から２１０個のＧＯＰ１０分）以後の符号化レート制御においては、先ず、図３におけるステップＳ３乃至Ｓ５と同様の処理を実行し、発生符号量の最大値の保証と復号バッファメモリの正常な蓄積動作の保証を行う。
【０１３３】
そして、一のＧＯＰ１０に対してステップＳ３及びＳ４の処理が終了すると（ステップＳ５；はい）、次に、符号化を続行しつつチェックタイミングが到達したか否かが判定される（ステップＳ３０）。
【０１３４】
そして、チェックタイミングでないときは（ステップＳ３０；いいえ）、そのまま符号化を継続すべく元の符号化処理に移行する。
【０１３５】
このとき、移行した後の符号化処理においては、当該チェックタイミングになるまで（すなわち、次の３６個のＧＯＰが生成されるまで）は図７に示すステップＳ３乃至Ｓ５の処理を繰り返し、当該チェックタイミングに至ったとき毎に（ステップＳ３０；はい）、以下に示すステップＳ３１乃至Ｓ４０及びＳ４８乃至Ｓ５４の処理を直ちに実行し、次に、当該実行後のＱＳの最大値及び最小値を用いて次のチェックタイミングまでの符号化処理において図７に示すステップＳ３乃至Ｓ５の処理を行うことを順次繰り返すこととなる。
【０１３６】
一方、ステップＳ３０の判定において、チェックタイミングに到達したときは（ステップＳ３０；はい）、次に、そのタイミングでの平均レートが図９において当該図９内のカーブ０より上の領域にあるか否かが判定される（ステップＳ３１）。
【０１３７】
ここで、当該ステップＳ３１における平均レートについて説明すると、当該平均レートとは、各チェックタイミングにおいて、ディジタル情報信号Ｓd全体の先頭のタイミング（すなわち、ディジタル情報信号Ｓd全体の入力開始時刻）からそのチェックタイミングまでの全てのＧＯＰ１０の符号化レート（各ＧＯＰ１０を符号化する度にメモリ９ｂ内に記憶されているものである。）の平均値を平均レートＲaveとするものである。
【０１３８】
すなわち、
【０１３９】
【数１２】
0003907875.tif 000004
この式において、ＧＥＮGOPは、上述したように一のＧＯＰ１０が生成された際の符号化レートを示すものであり、ＣＴはそのチェックタイミングまでに存在したＧＯＰ１０の数である。
【０１４０】
更に、上記ステップＳ３１におけるカーブ０について、図９を用いて説明すると、図７及び図８に示す処理においては、図９に示すように、横軸を時間とし、縦軸を平均レートＲaveとするグラフ図において、予め実験的に求められたカーブを複数本設定しておき、夫々のチェックタイミングにおいて、各カーブとその時の平均レートＲaveとを比較し、その比較結果によりＱＳを増減して符号化レートに対して第２の制御を施し、最終的にディジタル情報信号Ｓdに含まれている情報全体の符号化レートの平均値を上述した４．２Mbps近辺の値に収束させる。
【０１４１】
ここで、当該カーブについて詳説すると、図９に示すように、本実施形態では、四本のカーブが予め設定されている。そして、各カーブは、具体的には、以下に示す各点を直線で結んだものとされる。すなわち、夫々時間ｔと平均レートＲaveを含む座標値（ｔ、Ｒave）により各カーブが通る図９上の座標点を示すと、カーブ０は、
【０１４２】
【数１３】
（ｔ、Ｒave）＝（０、４．０）、（Ｔ／２、４．０）、（Ｔ、４．２）
の三点を通る線であり、カーブ１は、
【０１４３】
【数１４】
（ｔ、Ｒave）＝（０、６．０）、（Ｔ／６４、５．５）、（Ｔ／３２、５．２５）、（Ｔ／１６、５．０）、（Ｔ／８、４．７５）、（Ｔ／４、４．５）、（Ｔ／２、４．２５）、（Ｔ、４．２）
の八点を通る線であり、カーブ２は、
【０１４４】
【数１５】
（ｔ、Ｒave）＝（０、６．０）、（Ｔ／４、５．０）、（Ｔ／２、４．５）、（Ｔ、４．２）
の四点を通る線であり、カーブ３は、
【０１４５】
【数１６】
（ｔ、Ｒave）＝（０、６．０）、（Ｔ／２、５．０）、（Ｔ、４．２）
の三点を通る線とされている。
【０１４６】
そして、以下の処理においては、各チェックタイミングにおける平均レートＲaveが図９においてカーブ０よりも下の領域内にあるときは発生符号量が少ないとしてこれを増大させるべくＱＳをそれまでの値から「１」だけデクリメントし、カーブ０とカーブ１の間の領域内にあるときは発生符号量が適正であるとしてＱＳを不変とし、カーブ１とカーブ２との間の領域内にあるときは発生符号量が多いとしてこれを低減させるべくＱＳをそれまでの値から「１」だけインクリメントし、カーブ２とカーブ３との間の領域内にあるときは発生符号量が更に多いとしてこれを更に低減させるべくＱＳをそれまでの値から「２」だけインクリメントし、カーブ３より上の領域内にあるときは発生符号量が極めて多いとしてこれを速やかに低減させるべくＱＳをそれまでの値から「３」だけインクリメントする。これにより、最終的に平均レートを４．２Mbps近辺の値とする。
【０１４７】
ステップＳ３１の判定において、算出された平均レートＲaveが図９においてカーブ０よりも上の領域内にあるときは（ステップＳ３１；はい）、次に、当該平均レートＲaveが次のカーブ１よりも上の領域内にあるか否かが判定される（ステップＳ３２）。
【０１４８】
そして、ステップＳ３２の判定において平均レートＲaveがカーブ１よりも上の領域内にないときは（ステップＳ３２；いいえ）、平均レートＲaveはカーブ０とカーブ１との間の領域内にあるとして、ＱＳを補正せずそのままステップＳ３５へ移行する。
【０１４９】
一方、ステップＳ３２の判定において、平均レートＲaveがカーブ１よりも上の領域内にあるときは（ステップＳ３２；はい）、次に、直前のチェックタイミングにおける平均レートＲaveと現在のチェックタイミングにおける平均レートＲaveとを比較し、後者が前者に比して十分に小さいか否かが判定される（ステップＳ３３）。
【０１５０】
このステップＳ３３の処理について、図１０（ａ）を用いて説明する。
【０１５１】
図７及び図８に示す平均レートに対する第２の制御においては、直前のチェックタイミングをｔ[CT-1]とし、その直前のチェックタイミングにおける平均レートＲaveをＲave[CT-1]とし、一方、現在のチェックタイミングをｔ[CT]とし、現在の平均レートＲaveをＲave[CT]とすると、Ｒave[CT]がカーブ１より上の領域内にあったとしても（ステップＳ３２；はい）、Ｒave[CT]がＲave[CT-1]に比して十分に低減されているときは、平均レートＲaveしては、望ましい変化傾向にあるとして、この場合はＱＳは変化させないこととする。そして、十分に低減されているか否かの判断は、以下の式に基づいて行なわれる。
【０１５２】
【数１７】
Ｒave[CT]＜（Ｒave[CT-1]−４．２）×｛（Ｔ−ｔ[CT]）／（Ｔ−ｔ[CT-1]）｝
＋４．２                                          …  （２）
すなわち、式（２）が成立するときはＱＳは不変とし（ステップＳ３３；はい）そのままステップＳ３５へ移行する。
【０１５３】
一方、式（２）が成立しないときは（ステップＳ３３；いいえ）平均レートＲaveが十分に低減されておらず、このままでは平均レートＲaveが所望の値に収束しない可能性があるとして、次に、現在のＱＳがステップＳ４７において設定したその最大値（現在は「９」）以上か否かが判定される（ステップＳ４８）。
【０１５４】
そして、ステップＳ４８の判定において、現在のＱＳが当該最大値以上でないときは（ステップＳ４８；いいえ）、次に、現在のＱＳが当該最大値より一少ないＱＳと等しいか否かが判定される（ステップＳ５３）。
【０１５５】
ステップＳ５３の判定において、現在のＱＳが当該最大値より一少ないＱＳと等しいときは（ステップＳ５３；はい）、次の３６個分のＧＯＰ１０に対する図７に示す処理において平均レートを低減させるべくＱＳの最小値を「４」とする（ステップＳ５４）と共にＱＳを「１」だけインクリメントし（ステップＳ３４）、次に、カーブ３までについて上記したステップＳ３２乃至Ｓ３４並びにＳ４８乃至Ｓ５１並びにＳ５３及びＳ５４の処理が行われたか否かが判定され（ステップＳ３５）、終了していないときは（ステップＳ３５；いいえ）次のカーブ２についてステップＳ３２乃至Ｓ３４並びにＳ４８乃至Ｓ５１並びにＳ５３及びＳ５４の処理を行うべく当該ステップＳ３２へ戻る。これにより、カーブ１からカーブ３までについて当該ステップＳ３２乃至Ｓ３４及びＳ４８乃至Ｓ５１並びにＳ５３及びＳ５４の処理が行なわれる。
【０１５６】
なお、上記式（２）は、図１０（ａ）においてｘで示される値とＲave[CT]とを比較し、その大小によってＱＳを補正するか否かを判断するためのものである。
【０１５７】
次に、ステップＳ４８の判定において、現在のＱＳが当該最大値以上であるときは（ステップＳ４８；はい）、当該ＱＳが最大値以上である状態が五つの連続したチェックタイミングにおいて継続したか否かが判定される（ステップＳ４９）。
【０１５８】
そして、連続して５回その状態が継続していないときは（ステップＳ４９；いいえ）、符号化レートの値を低減すべく上記ステップＳ３４へ移行してＱＳを一だけインクリメントする。
【０１５９】
一方、ステップＳ４９の判定において、ＱＳが最大値以上である状態が連続して５回継続しているときは（ステップＳ４９；はい）、現在の符号化レートが極端に増大していることとなるので、緊急に符号化レートを低減させる必要があるとしてＱＳの最大値を一だけ増大させてＱＳを増大させる（ステップＳ５０）と共に現在のＱＳの最小値も「５」に増大させ（ステップＳ５１）、上記ステップＳ３４へ移行する。
【０１６０】
一方、ステップＳ５３の判定において、現在のＱＳが当該最大値より一少ないＱＳと等しくないときは（ステップＳ５３；いいえ）、符号化レートの値を低減すべく上記ステップＳ３４へ移行してＱＳを一だけインクリメントする。
【０１６１】
また、ステップＳ３５の判定において、カーブ３についてまでステップＳ３２乃至Ｓ３４並びにＳ４８乃至Ｓ５１並びにＳ５３及びＳ５４の処理が終了しているときは（ステップＳ３５；はい）、次に、平均レートＲaveの極端な低下を防止するために、直前のチェックタイミングから現在のチェックタイミングまでの平均レートＲaveが３．５Mbpsより低いか否かが判定され（ステップＳ３６）、当該平均レートＲaveが３．５Mbpsより低いときは（ステップＳ３６；はい）、現在平均レートＲaveが低くなり過ぎているとして発生符号量を増大させるべくＱＳを「１」だけデクリメントする（ステップＳ３７）。
【０１６２】
また、ステップＳ３６の判定において、平均レートＲaveが３．５Mbpsより低くないときは（ステップＳ３６；いいえ）、現在の平均レートＲaveが適切であるとしてそのままステップＳ５２へ移行する。
【０１６３】
次に、現在のＱＳの最小値及び最大値を用いてＱＳを規制し（すなわち、ＱＳがその最小値未満であるときはＱＳを当該最小値とし、その最大値より大きいときはその最大値として）（ステップＳ５２）、ステップＳ３８へ移行する。
【０１６４】
そして、最後に、現在のＱＳを、符号化装置Ｓの特性上ＱＳとして許容されている範囲内、すなわち、０以上３１以下の値とすべく制限をかけて（換言すると、ＱＳが３１より大きいときは３１として）（ステップＳ３８）そのまま符号化を継続すべく元の符号化処理に移行する。
【０１６５】
なお、ステップＳ３８の規制処理とステップＳ５２の規制処理との違いは、前者が符号化装置Ｓの特性上において（すなわち、ＭＰＥＧ２方式において）ＱＳとして許容されている範囲内の値に当該ＱＳを規制する処理であるのに対し、後者は再生時の画質の観点からＱＳを規制するものである。
【０１６６】
一方、ステップＳ３１の判定において、平均レートＲaveがカーブ０よりも上の領域内にないときは（ステップＳ３１；いいえ）、次に、直前のチェックタイミングにおける平均レートと現在のチェックタイミングにおける平均レートとを比較し、後者が前者に比して十分に大きいか否かが判定される（ステップＳ３９）。
【０１６７】
このステップＳ３９の処理について、図１０（ｂ）を用いて説明する。
【０１６８】
図７及び図８に示す平均レートに対する第２の制御においては、上記ステップＳ３３の場合と同様にパラメータｔ[CT-1]、Ｒave[CT-1]、ｔ[CT]及びＲave[CT]を設定すると、Ｒave[CT]がカーブ０より下の領域内にあったとしても（ステップＳ３１；いいえ）、Ｒave[CT]がＲave[CT-1]に比して十分に増大されているときは、平均レートＲaveとしては望ましい変化傾向にあるとして、この場合はＱＳは変化させないこととする。そして、十分に増大されているか否かの判断は、以下の式に基づいて行なわれる。
【０１６９】
【数１８】
Ｒave[CT]＞（４．２−Ｒave[CT-1]）×｛（ｔ[CT] −ｔ[CT-1]）／（Ｔ−ｔ              [CT-1]）｝＋Ｒave[CT-1]                        …  （３）
すなわち、式（３）が成立するときはＱＳは不変とし（ステップＳ３９；はい）そのままステップＳ３５へ移行する。
【０１７０】
一方、式（３）が成立しないときは（ステップＳ３９；いいえ）平均レートＲaveが十分に増大されておらず、現在のＱＳのままでは平均レートＲaveが収束しない可能性があるとして、符号化レートを増大すべくＱＳを「１」だけデクリメントし（ステップＳ４０）、そのままステップＳ３５へ移行してそれ以後上述した処理を行う。
【０１７１】
なお、上記式（３）は、図１０（ｂ）においてｘ’で示される値とＲave[CT]とを比較し、その大小によってＱＳを補正するか否かを判断するためのものである。
【０１７２】
以上説明したように、実施形態の符号化レート制御処理によれば、ディジタル情報信号Ｓdを符号化する際の符号化レートについて、その符号化レートを第１の制御と第２の制御の二段階の制御により最終的に所定平均値（４．２Mbps）近辺の値に収束させるので、画像品質の劣化を最小限に抑制しつつディジタル情報信号Ｓdを実時間で符号化することができる。
【０１７３】
また、ディジタル情報信号Ｓdを量子化する際のＱＳを変更することで第１の制御及び第２の制御を行うので、効率的に符号化レートの制御を行うことができる。
【０１７４】
更に、第１の制御時（ディジタル情報信号Ｓdの入力開始時点から２１０個のＧＯＰ１０に相当する期間）には約１５秒毎（すなわち、３０個のＧＯＰ１０毎）の平均レートを用いて第１の制御を行うと共に、当該第１の制御時以降の第２の制御時にはディジタル情報信号Ｓdの先頭からそのチェックタイミングまでの全情報の符号化の平均レートを用いて第２の制御を行うので、第１の制御時には簡易な処理で第１の制御を行うことができると共に、第２の制御時にはより確実に符号化レートを所定平均値近辺の値に収束させることができる。
【０１７５】
更にまた、第１の制御時の平均レートの良否の判断を行う領域（図４参照）よりも細かく領域を分割して（図９参照）第２の制御時の平均レートの良否の判断を行うので、簡易な構成で確実に符号化レートを所定平均値近辺の値に収束させることができる。
【０１７６】
また、第１の制御時の平均レートの良否の判断を行う領域が直線により分割されていると共に、第２の制御時の平均レートの良否の判断を行う領域（図９参照）が曲線により分割されているので、簡易な構成で第１の制御ができると共に、符号化レートが極端に変動することのない第２の制御が可能となる。
【０１７７】
更に、符号化レートの最大値との整合性が取れる範囲内でＱＳを補正するので、符号化レートの最大値を超えることによる符号化処理の中断等の不具合の発生を防止できる。
【０１７８】
更にまた、圧縮符号化された圧縮情報信号Ｓpdの復号時に用いられる復号バッファメモリにおける蓄積量を検証しつつ符号化が行われるので、復号時において、当該復号バッファメモリがオーバーフローしたり或いはアンダーフローすることがなく、安定的に復号が可能な符号化を行うことができる。
【０１７９】
また、符号化レートを逐次所定平均値近辺の平均値に収束させることにより、ディジタル情報信号Ｓdにおける画質の劣化を最小限に抑制しつつ且つ実時間で当該ディジタル情報信号Ｓdを符号化することができる。
【０１８０】
更にまた、ＱＳの値がその最小値以上最大値以下の範囲内の値となるように設定されるので、より適切に符号化レートを制御することができると共に、その最大値及び最小値が動画像情報の再生態様に基づいて変更されるので、動画像情報の再生態様に基づいてＱＳの値が変化する範囲が規定されることとなり、当該動画像情報の再生態様が劣化することを効果的に防止しつつ符号化レートを制御することができる。
【０１８１】
なお、上述の実施形態においては、第２の制御時のチェックタイミングは３６個のＧＯＰ毎に設けたが、これ以外に、例えば、符号化の時間軸上における前段及び後段において密な間隔で設定し、更に符号化の中段において疎な間隔で設定してもよい。
【０１８２】
この場合には、符号化レートが大きく変動する可能性のある当該前段と、最終定に目標とする平均値に必ず収束させる必要のある当該後段において時間的に密なＱＳの制御を行い、符号化レートが安定してくる当該中段において時間的に粗なＱＳの制御を行うことにより、第２の制御時における処理負担を軽くしつつ確実に符号化レートを所定平均値の近辺の平均値に収束させることができる。
【０１８３】
また、上述の実施形態ではＭＰＥＧ２方式の圧縮符号化に対して本発明を適用した場合について説明したが、本発明は、これ以外に、符号化のレートを最適化しつつ実時間で符号化を行う符号化装置に対して広く適用することができる。
【０１８４】
【実施例】
次に、上述した符号化レート制御処理をテレビ放送が行われたある音楽番組内の３０分の映像に対して行ったときの実際の平均レートの変化について、図１１を用いて説明する。なお、図１１において横軸はＧＯＰ１０の数で表した符号化すべき情報の時間的長さであり、左縦軸は各ＧＯＰ１０における発生符号量（単位kbit）であり、右縦軸は各ＧＯＰ１０における各スライスのＱＳ値の和である。
【０１８５】
この図１１から明らかなように、本発明を適用した場合には、最終的に平均レートが目標とする４．２Mbps近辺の値である４．４３０Mbpsに収束していることが判る。
【０１９３】
【発明の効果】
請求項１に記載の発明によれば、一つの動画像情報を符号化する際の符号化レートについて、その符号化レートを、先情報に対する第１の制御と後情報に対する第２の制御の二段階の制御により最終的に所定平均値に対応する平均値に収束させるので、情報品質の劣化を最小限に抑制しつつ当該動画像情報を符号化することができる。
【０１９４】
従って、当該動画像情報を実時間で符号化する場合でも情報品質を劣化させることなく当該符号化を行うことができる。
【０１９５】
また、先情報及び後情報を夫々量子化する際の量子化スケールコードを変更することにより発生符号量を変化させつつ符号化レートを制御するので、効率的に符号化レートの制御を行うことができる。
【０１９６】
更に、第１の制御時には第１平均値を用いて制御を行うと共に、第２の制御時には第２平均値を用いて制御を行うので、第１の制御時には簡易な処理で符号化レートの制御を行うことができると共に、第２の制御により確実に符号化レートを所定平均値に対応する平均値に収束させることができる。
【０１９７】
請求項２に記載の発明によれば、請求項１に記載の発明の効果に加えて、第１の制御時の第１レート範囲と異なる第２レート範囲を用いて第２平均値が属する当該第２レート範囲を判定し、当該判定結果に基づいて量子化スケールコードを変更するので、各制御毎に異なるレート範囲を用いて量子化スケールコードを変更することにより確実に符号化レートを所定平均値に対応する平均値に収束させることができる。
【０１９８】
請求項３に記載の発明によれば、請求項２に記載の発明の効果に加えて、変更タイミング毎の各第１レート範囲の境界値を、対応する当該境界値毎に結んだ線が直線であると共に、変更タイミング毎の各第２レート範囲の境界値を、対応する当該境界値毎に結んだ線の夫々が所定平均値に収束する曲線であるので、簡易な処理で第１の制御ができると共に、符号化レートを極端に変動させることなく第２の制御を施すことができる。
【０１９９】
請求項４に記載の発明によれば、請求項１から３のいずれか一項に記載の発明の効果に加えて、先情報に対応する変更タイミングが等しい時間間隔で設定されていると共に、後情報に対応する変更タイミングが、当該後情報における前段及び後段において密な時間間隔で設定されており、当該後情報における中段において疎な時間間隔で設定されているので、第１の制御時には簡易な処理で符号化レートの制御ができると共に、第２の制御時における処理負担を軽くしつつ確実に符号化レートを所定平均値に対応する平均値に収束させることができる。
【０２００】
請求項５に記載の発明によれば、請求項１から４のいずれか一項に記載の発明の効果に加えて、量子化スケールコードの値が予め設定されるその最小値以上最大値以下の範囲内の値となるように設定されるので、より適切に符号化レートを制御することができる。
【０２０１】
請求項６に記載の発明によれば、請求項１から５のいずれか一項に記載の発明の効果に加えて、符号化レートに対して予め設定された当該符号化レートの最大値を当該符号化レートが超えない範囲内で第１の制御及び第２の制御を行うので、符号化レートの最大値を超えることによる例えば記録媒体への転送速度を越えた符号化が行なわれる等の不具合の発生を防止できる。
【０２０２】
請求項７に記載の発明によれば、請求項１から６のいずれか一項に記載の発明の効果に加えて、復号用のメモリにおける蓄積量を検証しつつ符号化が行なわれるので、動画像情報の復号時において、当該メモリがオーバーフローしたり或いはアンダーフローすることがなく、安定的に復号が可能な符号化を行うことができる。
【０２０３】
請求項８に記載の発明によれば、符号化レートを逐次所定平均値に対応する平均値に収束させることにより、情報品質の劣化を最小限に抑制しつつ当該動画像情報を符号化することができる。
【０２０４】
請求項９に記載の発明によれば、請求項８に記載の発明の効果に加えて、動画像情報に対して符号化レートによりＭＰＥＧ２方式の圧縮符号化を行うので、動画像情報における画質の劣化を最小限としつつ当該動画像情報を圧縮符号化することができる。
【図面の簡単な説明】
【図１】実施形態の符号化装置の概要構成を示すブロック図であり、（ａ）は全体構成を示すブロック図であり、（ｂ）はレート制御部の細部構成を示すブロック図である。
【図２】ＧＯＰを構成するフレーム画像の例を示す図である。
【図３】実施形態の第１の制御時の処理を示すフローチャートである。
【図４】平均レートに対する第１の制御を説明する図である。
【図５】最大符号量の保証処理を示すフローチャートである。
【図６】復号バッファメモリのオーバーフロー及びアンダーフローの防止処理を示すフローチャートである。
【図７】実施形態の第２の制御時の処理を示すフローチャート（Ｉ）である。
【図８】実施形態の第２の制御時の処理を示すフローチャート（II）である。
【図９】平均レートに対する第２の制御を説明する図（Ｉ）である。
【図１０】平均レートに対する第２の制御を説明する図（II）であり、（ａ）はＱＳ制御の必要性の判断を説明する図（Ｉ）であり、（ｂ）はＱＳ制御の必要性の判断を説明する図（II）である。
【図１１】実施例を説明する図である。
【符号の説明】
１…加算器
２…ＤＣＴ部
３…量子化部
４…逆量子化部
５…可変長符号化部
６…逆ＤＣＴ部
７…動き検出部
８…動き補償予測部
９…レート制御部
９ａ…ＣＰＵ
９ｂ…メモリ
１０…ＧＯＰ
Ｓ…符号化装置
Ｓd…ディジタル情報信号
Ｓpd…圧縮情報信号
Ｓa…減算信号
Ｓdc…変換信号
Ｓq…量子化信号
Ｓrr…レート信号
Ｓiq…逆量子化信号
Ｓid…逆ＤＣＴ信号
Ｓe…補償信号
Ｓv…ベクトル信号
Ｓm…メモリ信号
【図１】
0003907875.tif 000005
【図２】
0003907875.tif 000006
【図３】
0003907875.tif 000007
【図４】
0003907875.tif 000008
【図５】
0003907875.tif 000009
【図６】
0003907875.tif 000010
【図７】
0003907875.tif 000011
【図８】
0003907875.tif 000012
【図９】
0003907875.tif 000013
【図１０】
0003907875.tif 000014
【図１１】
0003907875.tif 000015