(57)【特許請求の範囲】
【請求項１】
入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、
上記予測残差を第１のブロックへ分割する第１のブロック化手段と、
上記第１のブロック化手段により出力される上記第１のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、上記第１のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第１のフラグを生成する第１のブロック用の有意判定手段と、
上記第１のブロックを細分化し、第２のブロックを生成する第２のブロック化手段と、
上記第２のブロック化手段により出力される上記第２のブロックのアクティビティーと入力される上記有意判定用のしきい値に基づいて、上記第２のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第２のフラグを生成する第２のブロック用の有意判定手段と、
上記第１のブロック用の有意判定手段および上記第２のブロック用の有意判定手段のいずれの有意判定手段においても有意と判定されたブロックに含まれる上記予測残差を量子化する量子化手段と、
予め定められた複数種類の上記第１のブロックのサイズと上記第２のブロックのサイズの態様を、階層分岐の複数の態様とし、
上記有意判定のしきい値を可変しながら、各有意判定用のしきい値において上記階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量を予め設定された目標値以下とするしきい値を決定し、決定された上記しきい値を上記第１および第２のブロック用の有意判定手段に対して供給するように構成されたフィードフォワード形式の情報量制御手段と、
上記情報量制御手段により決定された階層分岐に対応する上記第１及び第２のブロックの、上記第１のフラグと当該第１のブロックの有意ブロックを細分化した上記第２のブロックに対応する上記第２のフラグと、上記量子化手段の出力とを少なくとも伝送するフレーミング手段と、
を備えたことを特徴とする画像信号伝送装置。
【請求項２】
請求項１に記載の画像信号伝送装置において、
上記情報量制御手段は、符号化すべき予測残差に対して、上記第１および第２のブロックの構造の上記アクティビティーの所定期間の度数分布表をそれぞれ形成し、
上記階層分岐の複数の態様毎に、上記度数分布表の有意判定用の所定のしきい値よりも大きい部分の面積から、有意ブロックの数を計算し、計算された有意ブロックの数から発生情報量をそれぞれ予測し、
予測された上記発生情報量の最小値を目標値と比較し、
予測された上記発生情報量の最小値が上記目標値以下となるような上記しきい値を決定するように構成されたことを特徴とする画像信号伝送装置。
【請求項３】
請求項１に記載の画像信号伝送装置において、
上記量子化手段は、上記決定された階層分岐に対応する最下位層のブロックの有意ブロックを、複数の量子化ビット割当用のしきい値に基づき、当該有意ブロックのアクティビティーが大きくなるに従って割当量子化ビット数が多くなるように量子化し、
上記情報量制御手段は、上記有意判定用のしきい値と上記複数の量子化ビット割当用のしきい値とを可変しながら、各有意判定用のしきい値と複数の量子化ビット割当用のしきい値において上記階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量が予め設定された目標値以下となるしきい値を決定し、
上記量子化手段は、上記決定されたしきい値に対応する複数の量子化ビット割当用のしきい値に基づき、上記有意ブロックを量子化する
ようになされたことを特徴とする画像信号伝送装置。
【請求項４】
請求項３に記載の画像信号伝送装置において、
上記情報量制御手段は、符号化すべき予測残差に対して、上記第１および第２のブロックの構造の上記アクティビティーの所定期間の度数分布表をそれぞれ形成し、
上記階層分岐の複数の態様毎に、上記度数分布表の上記有意判定用のしきい値よりも大きい部分の面積から、有意ブロックの数を計算し、
上記複数の態様毎に計算された上記第１のブロックの有意及び無為ブロックの数に基づき予測される上記第１及び第２のフラグと、上記有意判定用のしきい値及び複数の量子化ビット割当用のしきい値に基づく最下位層のブロックの有意ブロックに対応する量子化ビット数とから発生情報量をそれぞれ予測し、
予測された上記発生情報量の最小値を目標値と比較し、
予測された上記発生情報量の最小値が上記目標値以下となるような上記有意判定用のしきい値および複数の量子化ビット割当用のしきい値を決定するように構成されたことを特徴とする画像信号伝送装置。
【請求項５】
入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、
上記予測残差を第１のブロックへ分割する第１のブロック化ステップと、
上記第１のブロック化ステップにより出力される上記第１のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、上記第１のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第１のフラグを生成する第１のブロック用の有意判定ステップと、
上記第１のブロックを細分化し、第２のブロックを生成する第２のブロック化ステップと、
上記第２のブロック化ステップにより出力される上記第２のブロックのアクティビティーと入力される上記有意判定用のしきい値に基づいて、上記第２のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第２のフラグを生成する第２のブロック用の有意判定ステップと、
上記第１のブロック用の有意判定ステップおよび上記第２のブロック用の有意判定ステップのいずれの有意判定ステップにおいても有意と判定されたブロックに含まれる上記予測残差を量子化する量子化ステップと、
予め定められた複数種類の上記第１のブロックのサイズと上記第２のブロックのサイズの態様を、階層分岐の複数の態様とし、
上記有意判定のしきい値を可変しながら、各有意判定用のしきい値において上記階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量を予め設定された目標値以下とするしきい値を決定し、決定された上記しきい値を上記第１および第２のブロック用の有意判定ステップに対して供給するように構成されたフィードフォワード形式の情報量制御ステップと、
上記情報量制御ステップにより決定された階層分岐に対応する上記第１及び第２のブロックの、上記第１のフラグと当該第１のブロックの有意ブロックを細分化した上記第２のブロックに対応する上記第２のフラグと、上記量子化ステップの出力とを少なくとも伝送するフレーミングステップと、
を備えたことを特徴とする画像信号伝送方法。
【請求項６】
請求項１に記載の画像信号伝送方法において、
上記情報量制御ステップは、符号化すべき予測残差に対して、上記第１および第２のブロックの構造の上記アクティビティーの所定期間の度数分布表をそれぞれ形成し、
上記階層分岐の複数の態様毎に、上記度数分布表の有意判定用の所定のしきい値よりも大きい部分の面積から、有意ブロックの数を計算し、計算された有意ブロックの数から発生情報量をそれぞれ予測し、
予測された上記発生情報量の最小値を目標値と比較し、
予測された上記発生情報量の最小値が上記目標値以下となるような上記しきい値を決定するように構成されたことを特徴とする画像信号伝送方法。
【請求項７】
請求項１に記載の画像信号伝送方法において、
上記量子化ステップは、上記決定された階層分岐に対応する最下位層のブロックの有意ブロックを、複数の量子化ビット割当用のしきい値に基づき、当該有意ブロックのアクティビティーが大きくなるに従って割当量子化ビット数が多くなるように量子化し、
上記情報量制御ステップは、上記有意判定用のしきい値と上記複数の量子化ビット割当用のしきい値とを可変しながら、各有意判定用のしきい値と複数の量子化ビット割当用のしきい値において上記階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量が予め設定された目標値以下となるしきい値を決定し、
上記量子化ステップは、上記決定されたしきい値に対応する複数の量子化ビット割当用のしきい値に基づき、上記有意ブロックを量子化する
ようになされたことを特徴とする画像信号伝送方法。
【請求項８】
請求項３に記載の画像信号伝送方法において、
上記情報量制御ステップは、符号化すべき予測残差に対して、上記第１および第２のブロックの構造の上記アクティビティーの所定期間の度数分布表をそれぞれ形成し、
上記階層分岐の複数の態様毎に、上記度数分布表の上記有意判定用のしきい値よりも大きい部分の面積から、有意ブロックの数を計算し、
上記複数の態様毎に計算された上記第１のブロックの有意及び無為ブロックの数に基づき予測される上記第１及び第２のフラグと、上記有意判定用のしきい値及び複数の量子化ビット割当用のしきい値に基づく最下位層のブロックの有意ブロックに対応する量子化ビット数とから発生情報量をそれぞれ予測し、
予測された上記発生情報量の最小値を目標値と比較し、
予測された上記発生情報量の最小値が上記目標値以下となるような上記有意判定用のしきい値および複数の量子化ビット割当用のしきい値を決定するように構成されたことを特徴とする画像信号伝送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ブロック化された画像信号を圧縮する場合、データ伝送量をより削減することができる画像信号伝送装置および方法に関する。
【０００２】
【従来の技術】
従来、画像圧縮において、なんらかの前処理によって求められた予測残差を所定のビット数で量子化することで情報量を削減するのが一般的な方法である。このように予測残差を量子化することにより発生するデータ量（以下、符号化データ量と称する）を削減する有効な手法の１つとして、供給されたサンプル値とその予測値との差分をとることによって、求められた予測誤差を所定のビット数で量子化しているが、予測残差すべてを量子化するので、かなりの符号化データ量になる。
【０００３】
この符号化データ量を抑える１つの方法として、予測残差をブロック分割して、そのブロック毎に伝送することが有意か否かを判定する有意判定を行い、その有意判定において、無意と判定されたブロックについては伝送しないというものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、この場合、ブロックサイズが小さいと有意となるブロックの出現確率は減るが、総ブロック数が増えるため、フラグなどのオーバーヘッドが増えて、結果的に符号化データ量が増えてしまうということがあるという問題があった。また、ブロックサイズが小さいと画像の内容によっては、有意ブロックの数が大幅に変わり、情報量を一定にするための制御が難しくなるという問題があった。
【０００５】
従って、この発明の目的は、階層構造とすることによって符号化データ量を削減するとともに、フィードフォワードバッファリングを行うことによって、符号化データ量を目標値以下に制御することができる画像信号伝送装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、予測残差を第１のブロックへ分割する第１のブロック化手段と、第１のブロック化手段により出力される第１のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第１のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第１のフラグを生成する第１のブロック用の有意判定手段と、第１のブロックを細分化し、第２のブロックを生成する第２のブロック化手段と、第２のブロック化手段により出力される第２のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第２のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第２のフラグを生成する第２のブロック用の有意判定手段と、第１のブロック用の有意判定手段および第２のブロック用の有意判定手段のいずれの有意判定手段においても有意と判定されたブロックに含まれる予測残差を量子化する量子化手段と、予め定められた複数種類の第１のブロックのサイズと第２のブロックのサイズの態様を、階層分岐の複数の態様とし、有意判定のしきい値を可変しながら、各有意判定用のしきい値において階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量を予め設定された目標値以下とするしきい値を決定し、決定されたしきい値を第１および第２のブロック用の有意判定手段に対して供給するように構成されたフィードフォワード形式の情報量制御手段と、情報量制御手段により決定された階層分岐に対応する第１及び第２のブロックの、第１のフラグと当該第１のブロックの有意ブロックを細分化した第２のブロックに対応する第２のフラグと、量子化手段の出力とを少なくとも伝送するフレーミング手段と、を備えたことを特徴とする画像信号伝送装置である。
【０００７】
さらに、請求項５に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、予測残差を第１のブロックへ分割する第１のブロック化ステップと、第１のブロック化ステップにより出力される第１のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第１のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第１のフラグを生成する第１のブロック用の有意判定ステップと、第１のブロックを細分化し、第２のブロックを生成する第２のブロック化ステップと、第２のブロック化ステップにより出力される第２のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第２のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第２のフラグを生成する第２のブロック用の有意判定ステップと、第１のブロック用の有意判定ステップおよび第２のブロック用の有意判定ステップのいずれの有意判定ステップにおいても有意と判定されたブロックに含まれる予測残差を量子化する量子化ステップと、予め定められた複数種類の第１のブロックのサイズと第２のブロックのサイズの態様を、階層分岐の複数の態様とし、有意判定のしきい値を可変しながら、各有意判定用のしきい値において階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量を予め設定された目標値以下とするしきい値を決定し、決定されたしきい値を第１および第２のブロック用の有意判定ステップに対して供給するように構成されたフィードフォワード形式の情報量制御ステップと、情報量制御ステップにより決定された階層分岐に対応する第１及び第２のブロックの、第１のフラグと当該第１のブロックの有意ブロックを細分化した第２のブロックに対応する第２のフラグと、量子化ステップの出力とを少なくとも伝送するフレーミングステップと、を備えたことを特徴とする画像信号伝送方法である。
【０００８】
予測残差を階層的に有意判定することで伝送する符号化データ量を削減することができ、さらにフィードフォワードバッファリングを行うことで符号化データ量を目標値以下に制御することができる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。画像信号伝送装置の一実施例のブロック図を図１に示す。１で示す入力端子から現フレームの画像データが入力され、その画像データは、動き検出回路２および減算器３へ供給される。また、有意判定によって、有意ブロックに含まれる予測残差が量子化回路４において、量子化され、その量子化値が逆量子化回路５へ供給される。逆量子化回路５では、量子化値としきい値から元の予測残差が復元された後、その予測残差は、加算器６に供給される。
【００１０】
加算器６において、復号された予測残差と、予測回路８からの予測画像データとが加算され、すなわちローカル復号された出力は、フレームメモリ７へ供給される。このフレームメモリ７には、ローカル復号によって動き補償がされた前フレームの予測結果が記憶されている。その前フレームの画像データは、フレームメモリ７から動き検出回路２および予測回路８へ供給される。動き検出回路２では、入力画像データとフレームメモリ７から供給される画像データとを用いて、例えばＮフレームと（Ｎ＋２）フレームの２フレーム間でのブロックマッチングによって、ブロック単位に動きベクトルの検出が行われる。
【００１１】
検出された動きベクトルは、動き検出回路２からフレーミング回路１７および予測回路８へ供給される。そして、減算器３では、予測回路８からの予測画像データが入力画像データから減算され、予測残差が生成される。生成された予測残差は、階層化のためのブロック化回路１０に供給される。このブロック化回路１０では、供給された予測残差を１６ライン×１６画素の第１のブロック（以下、１６×１６ブロックと称する）、８ライン×８画素の第２のブロック（以下、８×８ブロックと称する）および４ライン×４画素の第３のブロック（以下、４×４ブロックと称する）のブロックに分割される。
【００１２】
分割された１６×１６ブロックは、ブロック化回路１０からＤＲテーブル１１へ供給され、８×８ブロックは、ＤＲテーブル１２へ供給され、同様に４×４ブロックは、ＤＲテーブル１３へ供給される。このＤＲテーブル１１、１２および１３では、各ブロックと対応する階層毎に１フレーム当りの予測残差の絶対値の最大値（最大残差）の度数分布表が作成される。最大残差は、各階層の１ブロック毎に求められる。また、各ＤＲテーブル１１、１２および１３では、符号化データ量の計算のために、１フレーム分の遅延が生じる。そして、各ＤＲテーブル１１、１２および１３から計算された度数分布表が情報量予測計算回路１４へ供給される。
【００１３】
情報量予測計算回路１４には、符号化データ量の目標ビットレートが予め設定されており、しきい値ＲＯＭ１５からしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３が供給される。また、しきい値ＲＯＭ１５の内容は、後述するように有意判定用の第１のしきい値Ｔｈおよび量子化ビット割当用の第２のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が一括して増減するように、測定、シュミレーション、経験等に基づいて定められている。
【００１４】
そして、有意判定回路９において、しきい値Ｔｈと最大残差とを比較してその大小で有意ブロックを判定することに着目すると、情報量予測計算回路１４では、しきい値ＲＯＭ１５から供給されたしきい値Ｔｈより大きい最大残差を有するブロックが有意ブロックと判定される。
【００１５】
すなわち、情報量予測計算回路１４では、後述するように各ＤＲテーブル１１、１２および１３から供給された度数分布表を使用し、しきい値テーブルに設定されたしきい値に応じて符号化データ量を予測し、目標ビットレート以下になるようなしきい値番号と階層分岐の態様を決定する。このしきい値番号と階層分岐の態様から実際に有意ブロックの判定を行い、有意ブロックと判定されたブロックについて、適応量子化が行われる。また、決定された階層分岐の態様を指示する階層番号は、情報量予測計算回路１４から有意判定回路９へ供給される。そのときのしきい値番号および階層番号は、フレーミング回路１７へ供給される。
【００１６】
上述したように、しきい値ＲＯＭ１５では、目標ビットレート以下になるしきい値番号が決定されるまで、しきい値番号を１つづつ大きくし、そのしきい値番号に対応するしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が情報量予測計算回路１４へ出力される。
【００１７】
そして、有意判定回路９には、情報量予測計算回路１４から階層分岐の態様を指示する階層番号としきい値ＲＯＭ１５から有意判定用のしきい値Ｔｈ、さらにブロック化回路１０から分割された１６×１６ブロック、８×８ブロックおよび４×４ブロックが供給される。この有意判定回路９では、しきい値Ｔｈに基づいて、階層番号に基づいた階層分岐の態様でもってブロックの有意判定が行われ、有意／無意を識別するための有意フラグと有意ブロックのデータが出力される。
【００１８】
有意判定回路９からの有意フラグは、フレーミング回路１７へ供給され、有意ブロックのデータは、上述したように量子化回路４へ供給される。量子化回路４では、供給された有意ブロックのデータに対してしきい値ＲＯＭ１５から供給される量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて可変長（半固定長）の量子化が行われる。
【００１９】
この量子化回路４は、図３に示す量子化特性を有する適応量子化回路である。この図３は、符号を含めた３ビット固定長の量子化の場合の例を示す。まず、有意ブロックの判定の際に、注目ブロック内で最大残差（ダイナミックレンジ）が求められており、この最大残差を４で割った値を量子化ステップ幅として決定し、各画素の予測残差をこの量子化ステップ幅で割って整数化し、これを量子化コードとする。一般に、例えば３ビット固定長のＡＤＲＣ（ダイナミックレンジ適応符号化）を用いた予測残差をｘi とし、量子化ビット数をｎとし、最大残差をｍａｘとし、量子化コードをｑi とすると、
【００２０】
ｑi ＝〔ｘi ／（ｍａｘ／２n-1 ）〕
で表される。ただし、〔  〕は、整数化を意味する。
【００２１】
そして、後述する量子化ビット割当の制御に基づいて、決定された量子化ビット割当にしたがって、有意ブロックの予測残差の量子化が行われ、最大残差と量子化コード並びに有意フラグがしきい値番号および階層番号と共に、フォーマット化されて、伝送される。
【００２２】
この図３では、マイナス側に最大残差が求めるため、量子化コードは、プラス側から（３、２、１、０、−１、−２、−３、−４）となる場合の一例を示したが、プラス側に最大残差が求められる場合、この例の３ビット固定長の量子化コードは、プラス側から（４、３、２、１、０、−１、−２、−３）となる。このような量子化は、予測残差の０が０として復号され、また、最大残差の存在する極性の側に量子化の範囲が偏り、量子化誤差を少なくできるものである。
【００２３】
量子化回路４からの量子化値は、逆量子化回路５および可変長符号化回路１６へ供給される。逆量子化回路５では、量子化回路４へ供給した同じ量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、量子化値の逆量子化が行われる、すなわち量子化値の復号が行われ、もとの予測残差が復元され、上述したように加算器６へ供給される。可変長符号化回路１６では、供給された有意ブロックの量子化値に対して、例えばハフマン符号化のようなエントロピー符号化を用いてさらにデータ量が削減され、有意フラグと共にフレーミング回路１７へ供給される。
【００２４】
フレーミング回路１７には、有意フラグ、可変長符号化された量子化値、動きベクトルおよび情報量予測計算回路１４からしきい値番号および階層分岐の態様を示す階層番号が供給される。フレーミング回路１７に入力される量子化値は、画像の内容によってデータ量が変化するが、フレーミング回路１７の出力は、伝送路の容量にあわせて一定のビットレートで出力される。
【００２５】
ここで、ブロックの階層構造の一例を図２に示す。予測残差について、例えば１６×１６ブロックの大きさの第１のブロックに分割し（第１階層：Ｌ１）、まず、注目ブロック内の最大残差を検出し、この最大値を予め決められたしきい値と比較する。その結果、最大値がしきい値よりも小さい場合は、無意ブロックと判断し、有意フラグは `０' として、予測残差の伝送は行わない。
【００２６】
`１' （有意）：（最大残差）＞しきい値Ｔｈ
`０' （無意）：（最大残差）≦しきい値Ｔｈ
【００２７】
一方、最大残差がしきい値よりも大きい場合は、有意ブロックであると判断し、有意フラグを立てる（ `１' にする）と共に、さらに下位の階層の有意判定に制御が移る。第１階層で有意と判定されたブロックは、さらに８×８ブロックの大きさの第２のブロックに細分化し（第２階層：Ｌ２）、同様な有意判定を行い、第２階層で有意と判定されたブロックは、さらに４×４ブロックの大きさの第３のブロックに分割され（第３階層：Ｌ３）、有意判定が行われる。
【００２８】
ここで、ブロックの階層分岐の態様について、上述ではＬ１−Ｌ２−Ｌ３の順番に階層分岐が行われるよう説明したが、Ｌ１−Ｌ２の順番に階層分岐を行う場合、Ｌ１−Ｌ３の順番に階層分岐を行う場合またはＬ２−Ｌ３の順番に階層分岐を行う場合もある。情報量予測計算回路１４では、ある有意判定のしきい値Ｔｈが与えられた場合に、符号化データ量が最も少なくなるような階層分岐の態様を決定する。
【００２９】
次に、ＤＲテーブル１１、１２および１３において計算される最大残差の度数分布表を図４を用いて説明する。図４Ａは、１６×１６ブロックで構成される階層Ｌ１の１フレーム期間の最大残差の度数分布表を示し、ブロックの最大残差がしきい値Ｔｈより大きいか否かにより有意判定が行われる。この図４Ａにおいて、しきい値Ｔｈより小さい側の面積ｓ０は無意ブロックを示し、しきい値Ｔｈ以上の面積ｓ１は有意ブロックと判定されたブロックの数を示すことになる。
【００３０】
図４Ｂは、８×８ブロックで構成される階層Ｌ２の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ａに示すブロック数の４倍のブロック数が計数される。また、階層Ｌ１において、有意と判定されたブロックであっても、階層Ｌ２では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｂでは、有意と判定されたブロック数が面積ｓ２で表されている。
【００３１】
同様に、図４Ｃは、４×４ブロックで構成される階層Ｌ３の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ｂに示すブロック数の４倍のブロック数が計数される。また、有意と判定された面積ｓ２のブロックであっても、階層Ｌ３では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｃでは、有意と判定されたブロック数が面積ｓ３で表されている。
【００３２】
上述したように、これらの度数分布表がＤＲテーブル１１、１２および１３から情報量予測計算回路１４へ供給され、情報量予測計算回路１４では、さまざまな階層分岐の態様毎に有意ブロック数および有意フラグビット数が以下に示すように、求められる。
【００３３】
Ｌ１の場合
（有意ブロック数）L1＝ｓ１
（有意フラグビット数）L1＝ｓ０＋ｓ１
【００３４】
Ｌ１−Ｌ２−Ｌ３の場合
（有意ブロック数）L1-L2-L3＝ｓ３
（有意フラグビット数）L1-L2-L3＝ｓ０＋ｓ１＋ｓ１×４＋ｓ２×４
【００３５】
Ｌ１−Ｌ３の場合
（有意ブロック数）L1-L3 ＝ｓ３
（有意フラグビット数）L1-L3 ＝ｓ０＋ｓ１＋ｓ１×１６
【００３６】
Ｌ２−Ｌ３の場合
（有意ブロック数）L2-L3 ＝ｓ３
（有意フラグビット数）L2-L3 ＝（ｓ０＋ｓ１）×４＋ｓ２×４
【００３７】
Ｌ１−Ｌ２の場合
（有意ブロック数）L1-L2 ＝ｓ３
（有意フラグビット数）L1-L2 ＝ｓ０＋ｓ１＋ｓ１×４
【００３８】
また、量子化回路４は、量子化ビット割当用のしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、可変長符号化を行う。図５を用いて、その可変長量子化の一例を説明する。一例として、適応量子化器の割当ビット数を符号の１ビットを含めて２〜５ビットとし、有意判定用のしきい値Ｔｈによって、有意ブロックと判定されたブロックの最大残差と量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３とで比較することで量子化ビット割り当てが以下のように決定される。
【００３９】
Ｔｈ  ＜（最大残差）≦Ｔｈ１：１ビット量子化
Ｔｈ１＜（最大残差）≦Ｔｈ２：２ビット量子化
Ｔｈ２＜（最大残差）≦Ｔｈ３：３ビット量子化
Ｔｈ３＜（最大残差）        ：４ビット量子化
【００４０】
このときの量子化による符号化データの符号化データ量は、ＡＤＲＣを用いたときのバッファリングの原理と同様にして求めることができる。各階層分岐に応じた量子化ビット数（量子化コードの合計ビット数を意味する）は、各階層分岐の態様における最下位層における度数分布の面積に応じて以下のように決定される。例えば、階層Ｌ１のみの処理を行う場合には、この階層Ｌ１が最下位層となり、また、階層Ｌ１−Ｌ２−Ｌ３の処理を行う場合には、階層Ｌ３が最下位層となる。図５の例では、第３階層の度数分布表であって、各面積について第３階層のものであることを示す `３' の添字を付加する。他の階層Ｌ１、Ｌ２についてもそれぞれ `１' および `２' の添字を付加する。
【００４１】
Ｌ１の場合
（量子化ビット数）L1＝（Ｓ1 １×２＋Ｓ1 ２×３＋Ｓ1 ３×４＋Ｓ1 ４×５）×（１６×１６）＋（Ｓ1 １＋Ｓ1 ２＋Ｓ1 ３＋Ｓ1 ４）×８
【００４２】
Ｌ１−Ｌ２−Ｌ３の場合
（量子化ビット数）L1-L2-L3＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４３】
Ｌ１−Ｌ３の場合
（量子化ビット数）L1-L3 ＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４４】
Ｌ２−Ｌ３の場合
（量子化ビット数）L2-L3 ＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４５】
Ｌ１−Ｌ２の場合
（量子化ビット数）L1-L2 ＝（Ｓ2 １×２＋Ｓ2 ２×３＋Ｓ2 ３×４＋Ｓ2 ４×５）×（８×８）＋（Ｓ2 １＋Ｓ2 ２＋Ｓ2 ３＋Ｓ2 ４）×８
【００４６】
以上のようにして、あるしきい値Ｔｈが決定すると、各階層分岐の態様毎に求められた有意フラグビット数と上式のように求められた量子化ビット数を加算することで符号化データの符号化データ量を算出することができる。すなわち、各階層分岐の態様毎に次式によって、符号化データ量が計算される。
（符号化データ量）* ＝（有意フラグビット数）* ＋（量子化ビット数）* 
ただし、＊は、階層分岐の態様を表し、階層番号はこれを、例えば３ビットで表記するものである。
【００４７】
このように、求められた符号化データ量が最小となるものが最も効率的な階層分岐の態様である。また、その最小の符号化データ量が目標ビットレートと比較され、目標ビットレートを越える場合には、しきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が変更され、符号化データ量が目標ビットレート以下となるまで同様の処理が繰り返される。
【００４８】
次に、しきい値ＲＯＭ１５に用いられるＲＯＭテーブルの一例を図６に示す。このＲＯＭテーブルには、有意判定用のしきい値と、量子化ビット割当用のしきい値が設定されており、しきい値番号が小さいと、符号化データ量は大きく、しきい値番号が大きくなるにつれて符号化データ量が小さくなるように測定、シュミレーション、経験等に基づいて設定されている。ある、伝送路に応じた目標ビットレートが設定されると、後述する図７に示す処理手順に従って、しきい値番号の小さい方から、上述したように、符号化データ量の予測計算が行われ、さらにその中で最小の符号化データ量となる階層分岐の態様が選択される。
【００４９】
その後、しきい値番号を順に大きい方に検索し、同様な計算を行って目標ビットレートより符号化データ量が下回ったところで、しきい値番号が決定される。この決定されたしきい値番号に格納されているしきい値の組合せによって、実際に有意ブロックの判定（階層分岐を含む）と適応量子化が行われることになる。最終的に、伝送される符号化データは、上述の有意フラグと量子化コード以外に、しきい値番号および階層分岐の態様を示す識別番号がフレーミング回路１７から伝送される。
【００５０】
ここで、上述のしきい値番号を決定するための手順の一例を図７に示す。このフローチャートは、ステップ２１から始まり、このステップ２１では、最終的に伝送される符号化データ量の目標ビットレートが設定される。そして、ステップ２２では、しきい値番号の初期設定が行われ、しきい値番号に０が設定され、ステップ２３へ制御が移る。ステップ２３では、そのしきい値番号が１５より大きいか否かが判断され、１５よりしきい値番号が小さい場合、ステップ２４へ制御が移り、１５よりしきい値番号が大きい場合、ステップ２８へ制御が移る。
【００５１】
ステップ２４では、しきい値番号によるしきい値に基づいて、上述したような各階層分岐の態様による符号化データ量の計算が行われ、ステップ２５では、各階層分岐の態様の中から最小値となる符号化データ量が算出され、ステップ２６において、その符号化データ量がステップ２１で設定された目標ビットレートより、小さいか否かが判断される。目標ビットレートより符号化データ量が大きい場合、ステップ２７へ制御が移り、目標ビットレートより符号化データ量が小さい場合、ステップ２８へ制御が移る。
【００５２】
そして、ステップ２７では、しきい値番号を＋１インクリメントし、ステップ２３へ制御が移る。このようにして、しきい値番号（アドレス）が０から１５まで１つづつ移り、そのつど有意判定用のしきい値および量子化ビット割当用のしきい値が変更され、各階層分岐の態様による符号化データ量（有意フラグビット数と量子化ビット数）が計算される。これを繰り返すことで計算された符号化データ量が目標ビットレートより小さくなるしきい値番号が選択されると、上述したようにステップ２７からステップ２８へ制御が移る。そして、ステップ２８では、選択されたしきい値番号に決定されると共に、そのときの符号化データ量を生じさせた階層分岐の態様を指示する階層番号が決定される。そして、このフローチャートは終了する。また、このフローチャートは、１フレーム毎にしきい値番号および階層番号の決定が行われる。
【００５３】
ここで、この画像信号伝送装置の復号側の一実施例を図８のブロック図に示す。上述のフレーミング回路１７から伝送される符号化データが入力端子３１を介してフレーム分解回路３２へ供給され、フレーム分解回路３２では、しきい値番号、符号化データ、動きベクトル、有意フラグ、階層番号に分解され、出力される。しきい値番号は、しきい値ＲＯＭ３３へ供給され、上述の図６に示すＲＯＭテーブルから対応する量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が選択され、選択されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３は、しきい値ＲＯＭ３３から逆量子化回路３５へ供給される。
【００５４】
符号化データは、可変長符号化のデコーダ回路３４へ供給され、可変長符号化の復号が行われた後、逆量子化回路３５では、供給されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、予測残差に復号される。復号された予測残差は、０データ補間回路３６において、有意フラグおよび階層分岐の識別番号に応じて０データを出力するか、供給された予測残差を出力するかが選択される。選択された出力は、加算器３７において、フレームメモリ３８からの出力と加算される。
【００５５】
アドレス制御回路３９には、フレーム分解回路３２から動きベクトル、有意フラグおよび階層分岐の識別番号が供給され、それらに基づいてフレームメモリ３８を制御している。フレームメモリ３８には、前フレームの復号画像が記憶され、アドレス制御回路３９からの制御信号に応じて、加算器３７へ復号画像を出力し、その加算結果（すなわち、復号画像）が再びフレームメモリ３８に記憶される。また、フレームメモリ３８から出力され、記憶される復号画像が出力端子４０を介して、出力される。
【００５６】
なお、有意フラグについては、ブロックの階層分岐の態様にしたがって、ツリー構造で圧縮を施すことなくまとめておくか、あるいは階層毎にフラグに対してフレーム単位でランレングス・ハフマン符号化を行って、さらに情報量を削減しても良い。ただし、この場合フレームメモリが必要となる。
【００５７】
この実施例では、並列に第１、第２および第３の度数分布表を生成しているが、第１の度数分布表を生成した後、第２の度数分布表を生成し、さらにその後第３の度数分布表を生成することで、階層分岐の態様を適宜選択することも可能である。
【００５８】
また、この実施例では、ブロックのアクティビティーとして予測残差の最大値の絶対値を使用しているが、予測残差の自乗和または予測残差の積和をアクティビティーとして使用することも可能である。
【００５９】
なお、上述の一実施例と異なり、量子化回路が固定長の量子化を行い、有意判定のしきい値を可変することによって、符号化データ量を制御するようにしても良い。
【００６０】
【発明の効果】
この発明に依れば、予測残差ブロックにおける有意判定を階層的に行い、且つしきい値に応じて階層の階層分岐を変化させることで、圧縮効率を高めることが可能となると共に、フィードフォワードバッファリングを行うことで、情報量を一定に制御するとが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号伝送装置の一実施例を示すブロック図である。
【図２】この発明に係る階層的ブロックの一例を示す略線図である。
【図３】この発明に係る線形量子化の一例の説明に用いる図である。
【図４】この発明に係る各階層の度数分布表の一例を示す分布図である。
【図５】この発明に係る非線形量子化の一例の説明に用いる図である。
【図６】この発明に係るしきい値番号の一例を示したＲＯＭテーブルである。
【図７】この発明に係るしきい値番号の検索の一例を処理を示したフローチャートである。
【図８】この発明の画像信号伝送装置の復号側の一実施例を示すブロック図である。
【符号の説明】
２  動き検出回路
３  減算器
４  量子化回路
５  逆量子化回路
６  加算器
７  フレームメモリ
８  予測回路
９  有意判定回路
１０  ブロック化回路
１１、１２、１３  ＤＲテーブル
１４  情報量予測計算回路
１５  しきい値ＲＯＭ
１６  可変長符号化回路
１７  フレーミング回路
【図１】
0003675002.tif 000002
【図２】
0003675002.tif 000003
【図３】
0003675002.tif 000004
【図５】
0003675002.tif 000005
【図４】
0003675002.tif 000006
【図６】
0003675002.tif 000007
【図７】
0003675002.tif 000008
【図８】
0003675002.tif 000009