(57)【特許請求の範囲】
【請求項１】
相違する量子化曲線に対する相違する調整量の制御ユニットによって制御することができ、前記調整量が、量子化ステップの幅によって最密量子化ステップから最粗量子化ステップまで区別される量子化器と、
量子化及びＶＬＣ符号化された入力信号のデータをバッファリングするバッファメモリと、
前記制御ユニットによって現在選択された前記量子化器の量子化ステップによる試行中に信号セグメントの前記ＶＬＣ符号化によって生じたビット量を演算するビットカウンタと、
符号化すべき信号セグメントに対する複数の試行中に、前記量子化器を相違する調整量で制御するとともに、前記試行中に公称ビット量にほぼ相当するビット量が生じた前記信号セグメントを最終的に符号化して伝送するために前記量子化器の調整量を選択する前記制御ユニットとによって、前記入力信号をセグメント化して符号化する符号化器において、
前記公称ビット量が、前記最密量子化ステップに関連する調整量より大きい場合、前記量子化器の調整量を、最終的な調整量として前記最密量子化ステップに変更し、前記公称ビット量が、前記最粗量子化ステップに関連する調整量より小さい場合、前記量子化器の調整量を、最終的な調整量として前記最粗量子化ステップに変更し、前記公称ビット量が、前記最密量子化ステップに関連する調整値より小さく、かつ、前記最粗量子化ステップに関連する調整値より大きい場合、前記前記量子化ステップに対して二分法をｋ回の試行回数実行して前記制御ユニットが前記量子化器の最終的な調整量を決定することによって、前記量子化器の最終的な調整量を演算し、最初の試行を、前記二分法による演算の最初の量子化ステップの幅として前記最密量子化ステップと前記最粗量子化ステップとの間の幅を用いて行う手段を設けたことを特徴とする符号化器。
【請求項２】
前記二分法の演算を予め決定されたｋ回の試行回数の後に終了する手段を設けたことを特徴とする請求項１記載の符号化器。
【請求項３】
前記符号化器をビデオ符号化器とし、前記信号セグメントを、少なくともビデオ画像、ビデオ画像の一部、ビデオ画像の差又はビデオ画像の差の一部としたことを特徴とする請求項１又は２記載の符号化器。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、
相違する量子化曲線に対する相違する調整量の制御ユニットによって制御することができ、前記調整量が、量子化ステップの幅によって最密量子化ステップから最粗量子化ステップまで区別される量子化器と、
量子化及びＶＬＣ符号化された入力信号のデータをバッファリングするバッファメモリと、
前記制御ユニットによって現在選択された前記量子化器の量子化ステップによる試行中に信号セグメントの前記ＶＬＣ符号化によって生じたビット量を演算するビットカウンタと、
符号化すべき信号セグメントに対する複数の試行中に、前記量子化器を相違する調整量で制御するとともに、前記試行中に公称ビット量にほぼ相当するビット量が生じた前記信号セグメントを最終的に符号化して伝送するために前記量子化器の調整量を選択する前記制御ユニットとによって、前記入力信号をセグメント化して符号化する符号化器に関するものである。
【０００２】
【従来の技術】
このような符号化器は例えば、CCITT規格H.261（例えば、Draft Revision of Recommendation H.261: Video Codec for Audiovisual Services at p × 64kbit/s. Signal Processing: Image Communication 2 (1990), pp221-239, Elsevier参照）に従って構成されたビテオホン（テレビ電話）で使用されている。この勧告を後に（Ｉ）として引用する。
【０００３】
符号化をCCITT勧告H.261 に従って実行する場合には静止画像の符号化に使用することもできる。静止画像の符号化は、画像品質を良好にしたままで数工程で行われ、その間各工程では、前に符号化及び復号化された静止画像は予測画像として使用される。勧告T.81を後に(II)として引用する（International StandardDIS 10111918-1.CCITT Recommendation T.81.Digital Compression and Codingof Continuous-Tone Still Images.Part I: Requirements and Guideline(JPEG) 参照）。
【０００４】
最後に、冒頭で説明した特徴を有する符号化器は、例えばBrandenburg,K 等によるAspec: Adaptive spectral entropy coding of high-quality music signal. An Audio Engineering Society preprint. Presented at the 90th Convention 1991, February 19-22, Paris. Preprint 3011(A-4) から明らかなように音響符号化にも使用されている。これを後に(III) として引用する。
【０００５】
しかしながら本発明を主に、H.261規格に適合したビデオ符号化器に基づいて説明する。これの他の使用への転用は、この特定の説明から明らかである。
【０００６】
符号化すべきビデオデータを、画像ごとに勧告（Ｉ）に従う符号化器に供給する。上記信号セグメント（これについては以下参照）は一般に、ＣＩＦフォーマット又はＱＣＩＦフォーマット（勧告（Ｉ）参照）のビデオ画像に関連する予測誤差となる。
【０００７】
勧告（Ｉ）によれば、ＣＩＦフォーマットのビデオデータは、階層的に他のサブデータすなわち１２個のブロック群（ＧＯＢ）に分割される。各ＧＯＢは３２個のマクロブロックに分割され、各マクロブロックは６ブロックに分割される。１ブロックは、８×８画素の正方形の画像区分の６４輝度値（Ｙ値）又は二つの色差成分（ＣB又はＣR値）のうちの一つの６４値からなる。これらクロミナンス値は、クロミナンスに対して水平方向及び垂直方向に１：２の比でサブサンプルした１６×１６画素の画像区分から生じる。１マイクロブロックは、１６×１６画素の画像区分の輝度情報成分及びクロミナンス情報成分を具える。
【０００８】
勧告（Ｉ）による符号化器は二つの主モードすなわちイントラ・モード又はインター・モードで動作する。モード間では、入力画像（現行画像）と、その符号化され、好適には動作が補償された前の画像（予測画像）との間の画像データの差が符号化される。イントラ・モードでは、予測誤差の代わりに入力画像が、前の画像を参照することなく符号化される。
【０００９】
符号化はブロック中で実行される。ブロックデータ又はブロックデータ差に、２次元離散余弦変換が被られる。この際に決定される変換率は、可制御量子化器に供給され、量子化後ＶＬＣ符号化され、バッファメモリに記憶される。さらに、符号化された画像は、符号化器の帰還枝路（のブロック）で復号化され、画像メモリに記憶され、次の入力画像に対する予測画像として使用される。
【００１０】
符号化器の量子化器は、その量子化曲線を調整できる間は制御可能である。相違する量子化曲線を、これらの量子化ステップの幅により区別することができる。量子化曲線内では、量子化ステップは通常等しい。大きい量子化ステップを有する特性曲線で粗量子化が得られ、小さい量子化ステップを有する特性曲線で密量子化が得られる。粗量子化を実行する場合、大きな量子化誤差がその上に取り込まれ、バッファメモリに記憶されるＶＬＣデータが少なくなる。密量子化が実行される場合、ビット数が一般に増大し、これらビットは、転送される前にバッファメモリでＶＬＣコードワードの形態でバッファリングされる。
【００１１】
バッファメモリは一時的な一定ビットレートで空にされ、その間メモリを極めて一時的に依存するビットレートで充填することができる。バッファメモリに１秒ごとに記憶されるビット量が多いか少ないかは、量子化器の量子化ステップ及び予測誤差の寸法したがって画像データに依存する。
【００１２】
上記勧告（Ｉ）は、どの量子化曲線をどのビデオ画像のデータに対して使用するかを規定していない。この勧告（Ｉ）は、一つの量子化曲線のみを１マクロブロック内で使用すべきである、すなわちこの曲線をせいぜいマクロブロックからマクロブロックに変化させることができるだけであることと、常に同一の量子化曲線をイントラ・モードでのＤＣ率に対して使用する必要があることだけを規定している。ありうる量子化ステップは、整数２，４，６ ─ ６２である。
【００１３】
【発明が解決しようとする課題】
量子化器は一般に、欧州特許明細書第0363682 号又は欧州特許明細書第0284168号に示すように、バッファの充填状態Ｐに応じて制御される。このような制御は、バッファメモリのオーバーフロー又はアンダーフローを回避するために用いられている。メモリの容量の技術的な問題は今日ほとんどないので、オーバーフローのおそれ及びこれに付随する情報の損失はもはや存在しない。その理由は、十分に大容量のメモリを使用することができるからであり、それにもかかわらずバッファメモリの充填状態Ｐが閾値ＰＳを超えないことが好ましい。その理由は、低伝送ビットレートでは、かなり明確な送信機端部におけるビデオ画像の符号化と、受信機端部における同一ビデオ画像の復号化及び組立との間の一時的な時間間隔が、許容できなくなるほど大きくなるからである。例えば、この一時的な時間間隔が、ビデオホンの会話の参加者に十分気づかれないようにする必要がある。許容される時間間隔の範囲を０．１秒とする。したがって、技術的にほとんど制限されないメモリ容量に対しても、上記理由によりバッファメモリの充填状態Ｐが閾値を超えないようにする必要があるという問題が存在したままである。バッファメモリの充填状態による量子化器の制御（後に充填状態制御と称する。）では、同一画像又は同一画像差に属するマクロブロックが、相違する量子化曲線で量子化されるだけである。その理由は、バッファメモリの充填状態は符号化中大きな変動を被るおそれがあるからである。
【００１４】
画像の符号化中のある量子化曲線から他の量子化曲線への変化は充填状態制御モードでは任意である。その理由は、符号化すべきマクロブロックの情報成分を考慮することなくこの変化を行う必要があるからである。したがって、観察者に重要な画像部を粗く量子化し、他のそれほど重要でない部分を不必要に密に量子化するおそれがある。その結果、充填状態制御による画像品質が主観的及び客観的に不十分になる。
【００１５】
本発明の目的は、復号化された画像の品質を主観的及び客観的な観点から十分改善するような量子化器の制御を実行する符号化器を提供することである。
【００１６】
【課題を解決するための手段】
冒頭で説明したタイプの符号化器において、この目的は、前記公称ビット量が、前記最密量子化ステップに関連する調整量より大きい場合、前記量子化器の調整量を、最終的な調整量として前記最密量子化ステップに変更し、前記公称ビット量が、前記最粗量子化ステップに関連する調整量より小さい場合、前記量子化器の調整量を、最終的な調整量として前記最粗量子化ステップに変更し、前記公称ビット量が、前記最密量子化ステップに関連する調整値より小さく、かつ、前記最粗量子化ステップに関連する調整値より大きい場合、前記前記量子化ステップに対して二分法をｋ回の試行回数実行して前記制御ユニットが前記量子化器の最終的な調整量を決定することによって、前記量子化器の最終的な調整量を演算し、最初の試行を、前記二分法による演算の最初の量子化ステップの幅として前記最密量子化ステップと前記最粗量子化ステップとの間の幅を用いて行う手段を設けたことを特徴とする符号化器によって達成される。
【００１７】
これは、画像の符号化に対して、例えば量子化器の単一量子化ステップのみを、完全な画像（単一セグメント）したがって画像の全てのマイクロブロックに対して使用することを意味する。
【００１８】
この手段は、主観的及び客観的な画像の全てのブロックに対して単一の量子化曲線を使用することにより十分高い画像品質となるという認識に基づく。「ブロッキング」と称する動作も減少する。重要な画像部と重要でない画像部との間の区別を設けなくても、重要な部分は粗く量子化されず、かつ、重要でない部分は密に量子化されないことは明白である。
【００１９】
本発明の好適例では、前記手段によって、二分法を使用し、前記量子化器の最終的な量子化ステップを決定するようにしたことを特徴とする。このような特徴は、実験によって頻繁に確認された曖昧な仮定が、各信号セグメントに対するビット量が量子化ステップｓの単調な関数であることに基づく場合のみ、適切な量子化ステップｓに対する検索を促進する。
【００２０】
他の例は、前記手段によって、前記二分法の演算を予め決定されたｋ回の試行回数の後に終了する手段を設けたことを特徴とするものである。
【００２１】
【発明の実施の形態】
図１のブロックダイヤグラムは、勧告（Ｉ）に規定された命令に従って動作するとともに本発明による追加を含むビデオ符号化器の最も重要な機能ユニットを示す。クロック信号の接続は示さず説明するのみである。一連の制御接続及びアドレス接続も、図が複雑にならないように省略又は説明するのみである。しかしながら、当業者は、図において省略したパーツを容易に想定してこれらを回路に具体的な形態で追加することができる。
【００２２】
参照番号１は情報源符号化器、すなわち必須の構成要素として変換ユニット１Ｂと、可制御量子化器１Ｃと、復号器１Ｄを有する帰還ループとを含む勧告（Ｉ）に従うビデオ符号化器のパーツを示す。接続ａ２を介してビデオ符号化器１に供給される入力画像に対する予測画像は、復号器１Ｄから得られる。接続ａ２上の入力画像を、約３０Ｈｚの繰り返し周波数で接続ａ１上で受信されるＣＩＦフォーマットの画像のうちの選択したものとする。本例では、１回の接続ごとに平均して三番目の画像のみが接続ａ１から接続ａ２に到達するようにスイッチＳ１を制御する。
【００２３】
可制御機能ユニット１Ａは、接続ａ２からの入力画像と接続ｂ上の（ＣＩＦフォーマットの）予測誤差のうちのいずれかを出力する。予測誤差は、入力画像の全てのデータと予測画像のデータとの間の差からなる。接続ｂ上の信号は、勧告（Ｉ）で規定された命令に従う情報源符号化器１によって符号化すべき上記入力信号である。この信号は、ユニット１Ｂにより離散余弦変換した後、接続ｃを介して可制御量子化器１Ｃに供給され、この可制御量子化器１Ｃからの信号は、可制御スイッチＳ２及び接続ｄの区分を介して、エントロピー符号化器とも称される可変長符号化器５に供給される。エントロピー符号化器５のコードワードはバッフォメモリ６に記憶され、このメモリから６４×ｐ kbit/sのビットレートで読み出されるとともに、好ましくは符号化形態で受信器に伝送される。特に説明しない限り、本例ではｐ＝１の場合を取り扱う。バッファメモリ６に記憶されたコードワードは、画像用のサイド（副）情報成分も具える。これら成分を、動画の有効なデータ低減符号化に要求される動きベクトル成分とする。
【００２４】
情報源符号化器１の全ての可制御機能ユニットは制御ユニット３によって制御され、この制御を、制御ユニット３と情報源符号化器１との間の接続ａ５によって表す。本発明は主に量子化器１Ｃの制御を含み、バッファメモリ６の充填状態Ｐが、従来のように画像の符号化中量子化器１Ｃの量子化ステップを変えることなく動作中規定された制限内で動くようにする。充填状態Ｆが接続ａ６を介して制御ユニット３に伝送され、後に説明する方法でこのユニットにより評価される。
【００２５】
さらに、制御ユニット３と、基本的には符号化すべき画像を予め解析するように作用するとともに勧告（Ｉ）に従う符号化器の素子とする必要のない一連の特定素子との間の情報交換がある。これら素子は、特に上記スイッチＳ１及び画像メモリ７を具え、これらを、接続システムａ３を介して制御ユニット３に接続する。他の特定素子を、ＶＬＣ符号化器５により画像ごとに発生するビットを計数するとともに、その計数を、接続ａ４を介して制御ユニット３に送るビットカウンタ４とする。ＶＬＣ符号化器５により画像ごとに発生するビット数を、後に画像量Ｂと称する。その制御機能を実行するために、制御ユニット３は画像量Ｂ及びバッファ充填状態Ｐを要する。可制御スイッチＳ３は、制御接続ｂ６を介して制御ユニット３により制御される。
【００２６】
制御ユニット３によって解決すべき目的を、以下の問い「どのようにｉ番目の画像の最終符号化に対する量子化器１Ｃの量子化ステップｓiを選定して、この符号化時の画像量Ｂi（ｓi）が、予め設定した公称画像量ＢＳiを十分な目安と仮定するようにすべきか？」によって要約することができる。
【００２７】
本発明によれば、この問いに対する答えは、ビデオ画像のシーケンスが符号化される際の図１の回路で発生する工程を参照して説明される。符号化された画像が列挙される。ｉ番目に符号化された画像に関連する値には、既に説明したように索引ｉが付与される。最初の画像の符号化前に、制御ユニット３は、最初の画像に要求される公称ビット値ＢＳ1 の量を求めて、バッファメモリ６が、最初の画像の符号化中ロードされるデータによって所望の充填状態を得る。本例では、ＢＳ1 ＝64,000bit とする。この数は、伝送ビットレート(64kbit/s)及び符号化画像(10 画像/s) の繰り返し周波数の商に起因する。これは本例の各画像に対して十分大きく、したがってｉに依存しない。
【００２８】
制御ユニット３はスイッチＳ１を符号化器１の入力部で制御する。図示したスイッチＳ１の位置では、最初の画像が画像メモリ７に書き込まれる。この書き込み工程が終了すると、スイッチＳ１が第２の説明した位置に切り替えられ、メモリ７の成分が立上がりのクロック周波数で情報源符号化器１に供給されて、符号化される。スイッチＳ１は、接続ａ１上の他のビデオ画像を画像メモリ７に書き込むことができるようになるまで第２の位置のままである。
【００２９】
最初のビデオ画像が画像メモリ７から最初に読み出されるとき、情報源符号化器１の量子化器１Ｃは、最密量子化（ｓ＝２）に調整される。次いで最初の試行が行われて、この調整で最初の画像を符号化するのに何ビット使用されたかを求める。制御ユニット３は、ビットカウンタ４から関連のビット量Ｂi（２）を受け取る。スイッチＳ２及びＳ３は、制御ユニット３により図示した位置（ブロッキング状態）に維持され、試行が発生するすなわち量子化器の所定の量子化ステップで画像ごとに何ビット発生したかを求めるために単独で符号化動作が実行されるまで、この位置のままである。この位置では、バッファメモリ６の成分及び復号器１Ｄの予測画像が変わるのを防止する。
【００３０】
制御ユニットが、公称ビット量ＢＳ1 がビット量Ｂi（２）より大きい量子化ステップｓ＝２を有する最初の画像に対する最初の試行を決定すると、次いで符号化プロセスが、スイッチＳ２及びＳ３を閉鎖した状態（導通状態）で繰り返される。最終量子化ステップｓ1はこの際２の値を有する。
【００３１】
しかしながら、制御ユニットが、公称画像量ＢＳ1がビット量Ｂi（２）より小さいと決定する場合、次いで、ｓ＝６２での次の検索はスイッチＳ２及びＳ３を開放した状態で開始する。公称ビット量ＢＳ1がビット量Ｂi（２）より小さいことがこの検索から明らかになった場合、次いで、最粗の量子化ステップｓ＝６２の最初の画像が符号化される。
【００３２】
公称ビット量ＢＳ1が画像量Ｂi（６２）とＢi（２）との間にある場合、したがって検索した量子化ステップが幅２＜ｓ＜６２内にある場合、他の試行が行われ、すなわち量子化ステップｓ＝３２の試行が行われる。このステップは、端点がｓ＝２及びｓ＝６２を有する量子化ステップの幅のほぼ中間である。この量子化ステップに対し、ビット量Ｂi （３２）が公称ビット量ＢＳ1より大きくなる場合、検索した量子化ステップを、幅３２＜ｓ＜６２又は幅２＜ｓ＜３２中に見つけることができる。この場合、これらサブ幅のうちの一つを、既に説明した量子化ステップの全幅と全く同様に使用する（二分法）。
【００３３】
実験によれば、約８〜１０回の試行後のビット量は、実際の各画像シーケンスに対して約０．１％上の公称ビット量に相当することが確認されている。本例では、試行の回数を１０回に制限する。このことは、１０回目の試行前にスイッチＳ２及びＳ３が第２の位置（導通状態）にされることを意味する。１０回目の試行を同時の最終実行とする。この場合バッファメモリ６は公称ビット量でほとんど充填され、復号器１Ｄでは新たな予測画像が、接続ａ１を介して供給される他のビデオ画像に対して利用される。この画像がメモリ７に書き込まれる前に、スイッチＳ２及びＳ３が再び非導通状態すなわちブロック状態になる。
【００３４】
制御ユニット３の動作は、図２に線図的に示すプログラムステップを具えるプログラムによって決められる。
【００３５】
ここで図２を説明する。制御ユニット３に記憶されたプログラム開始後、最初にバッファメモリ６の充填状態Ｐを検査する。この充填状態が閾値ＰＳより大きい場合、接続ａ１上の次のビデオ画像に対する待ち時間が観測される。この質問が、充填状態Ｐが閾値ＰＳ以下になるまで繰り返される。充填状態Ｐが閾値ＰＳ以下の場合、制御ユニット３は、スイッチＳ１を、符号化器１を画像メモリ７に接続する位置にする。同時に、スイッチＳ２及びＳ３を開放する（非導通状態）。この場合変数ｓを２に設定する。変数ｓの実際値を、量子化器１Ｃが量子化される量子化ステップとする。
【００３６】
次いで、メモリ７中の画像が試行符号化される。ＶＬＣ符号化器中に発生したビット数Ｂi（２）はビットカウンタ４によって計数され、その結果が接続ａ４を介して制御ユニット３に送られる。本例ではこれが、全ての画像に対して等しい公称ビット量ＢＳすなわち6400ビットよりビット数Ｂi（２）が小さいか否かの質問によって続けられる。
【００３７】
最後の問いが肯定の場合、スイッチＳ２及びＳ３が先ず導通状態となり、次いでメモリ７中の画像が量子化ステップ２で最終的に符号化され、符号化後スイッチＳ１が、接続ａ１を画像メモリ７の入力部に接続する位置となる。次いで、次の画像に対する待ち時間が観測され、質問Ｐ≦ＰＳ？が繰り返される。質問Ｂi（２）≦ＢＳ？に対する答えが否定であるものである場合、変数ｓを６２に設定するとともに、この量子ステップを有する画像メモリ７の画像をもう一度符号化する。Ｂi （６２）＞ＢＳであることが確認されると、Ｂi （２）＜ｓに対する肯定の答えの場合に実行されるのと同一のプログラム区分が実行される。
【００３８】
質問Ｂi （６２）＞ＢＳに対する答えが否定である場合、実行変数ｋを１に設定するとともに、補助変数ｓｕを２に設定し、同時に他の補助変数ｓｏを６２に設定する。これら二つの変数は、検索された量子化ステップを見つけることができる範囲内の量子化ステップの幅の制限を表す。その後量子化ステップに対する変数ｓを、この量子化ステップの幅の中間値すなわち（ｓｕ＋ｓｏ）／２に設定する。許容しうる量子化ステップがこの動作の結果生じない場合には、値をこれに応じてまとめる必要がある。この量子化ステップとともに他の試行が開始され、その後結果として生じたビット量Ｂi （ｓ）が公称ビット量ＢＳより大きいか否か質問される。肯定の場合には、変数ｓｕの値はｓの現行値に設定され、否定の場合には、変数ｓｏがｓの現行値に設定される。その後実行変数ｋが１増分され、次いでその値が１０より大きいか否か質問される。１０より小さい場合、最後の符号化動作が実行され、１０より小さくない場合、実行変数ｋに対するループがもう１度実行される。
【００３９】
符号化すべき画像に対する量子化器の単一量子化ステップに対して本例で示された手段を、同一の目的を行う他の手段に置き換えることもできる。
【００４０】
例えば、画像メモリ７を省略することができる。しかしながらその代わりに、伝送された入力画像の値をバッファリングするメモリを、変換ユニット１Ｂと量子化器１Ｃとの間に挿入する必要がある。この場合、繰り返される変換動作を試行中省略することができる。
【００４１】
ビットカウンタ４を省略することもできる。その理由は、上記動作に対して、制御ユニット３がこれらビット数の代わりにＶＬＣ符号化の際に発生するビット数のみを必要とするからである。このような状況において、このビット数を、ビデオ画像が符号化されるコードワード長を簡単な方法で問い合わせることができる場合ＶＬＣ符号化器５から得ることができる。この場合、これらコードワード長のみを累積する。
【００４２】
スイッチＳ１，Ｓ２及びＳ３の動作を、他の手段例えばクロックパルスの供給を適切な瞬時に断続することにより実現することができる。
【図面の簡単な説明】
【図１】本発明による符号化器のブロックダイヤグラムである。
【図２】本発明による符号化器を制御するフローチャートである。
【符号の説明】
１  情報源符号化器
１Ａ  可制御機能ユニット
１Ｂ  変換ユニット
１Ｃ  可制御量子化器
１Ｄ  復号器
３  制御ユニット
４  ビットカウンタ
５  可変長符号化器
６  バッファメモリ
７  画像メモリ
ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ｂ，ｃ，ｄ  接続
ｂ６  制御接続
Ｓ１，Ｓ２，Ｓ３  スイッチ
【図１】
0003957337.tif 000002
【図２】
0003957337.tif 000003