(57)【特許請求の範囲】
【請求項１】
画面を分割したブロックを単位に直交変換を使って画像を符号化する画像符号化装置において、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値との１つの組み合わせに対して１つの可変長符号を割り当てる第１の符号化手段と、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報との１つの組み合わせに対して１つの可変長符号を割り当てる第２の符号化手段と、
周囲の符号化済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも小さい場合には、上記第１の符号化手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、上記第２の符号化手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの符号化手段のどちらかを選択する手段とを備えることを、
特徴とする画像符号化装置。
【請求項２】
画面を分割したブロックを単位に直交変換を使って画像を符号化する画像符号化装置において、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値との１つの組み合わせに対して１つの可変長符号を割り当てる第１の符号化手段と、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報との１つの組み合わせに対して１つの可変長符号を割り当てる第２の符号化手段と、
周囲の符号化済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも大きい場合には、上記第１の符号化手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、上記第２の符号化手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの符号化手段のどちらかを選択する手段とを備えることを、
特徴とする画像符号化装置。
【請求項３】
画面を分割したブロックを単位に直交変換を使って画像を符号化する画像符号化装置において、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値との１つの組み合わせに対して１つの可変長符号を割り当てる第１の符号化手段と、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報との１つの組み合わせに対して１つの可変長符号を割り当てる第２の符号化手段と、
直交変換を行う対象の情報をフレーム間の相関を使わずに作成した場合には、上記第１の符号化手段を用いることを決定し、フレーム間の相関を使って作成した場合には、上記第２の符号化手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの符号化手段のどちらかを選択する手段とを備えることを、
特徴とする画像符号化装置。
【請求項４】
画面を分割したブロックを単位に直交変換を使って画像を符号化する画像符号化装置において、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値との１つの組み合わせに対して１つの可変長符号を割り当てる第１の符号化手段と、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報との１つの組み合わせに対して１つの可変長符号を割り当てる第２の符号化手段と、
周囲の符号化済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも大きい場合には、上記第２の符号化手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、上記第１の符号化手段による符号量と上記第２の符号化手段による符号量とを比較するか、あるいは、上記第１の符号化手段による符号予測量と上記第２の符号化手段による符号予測量とを比較して、その比較に基づいて、上記２つの符号化手段の内の少ない符号量となる方の符号化手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの符号化手段のどちらかを選択する手段と、
上記比較に基づいてどちらの符号化手段を用いるのかを決定した場合に、上記２つの符号化手段のどちらを用いたのかを示す情報を符号化する手段とを備えることを、
特徴とする画像符号化装置。
【請求項５】
画面を分割したブロックを単位に直交変換を使って画像を符号化する画像符号化装置において、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値との１つの組み合わせに対して１つの可変長符号を割り当てる第１の符号化手段と、
非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報との１つの組み合わせに対して１つの可変長符号を割り当てる第２の符号化手段と、
周囲の符号化済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも小さい場合には、上記第２の符号化手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、上記第１の符号化手段による符号量と上記第２の符号化手段による符号量とを比較するか、あるいは、上記第１の符号化手段による符号予測量と上記第２の符号化手段による符号予測量とを比較して、その比較に基づいて、上記２つの符号化手段の内の少ない符号量となる方の符号化手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの符号化手段のどちらかを選択する手段と、
上記比較に基づいてどちらの符号化手段を用いるのかを決定した場合に、上記２つの符号化手段のどちらを用いたのかを示す情報を符号化する手段とを備えることを、
特徴とする画像符号化装置。
【請求項６】
直交変換を使って画像を符号化することで生成された符号化データを画面を分割したブロックを単位に復号する画像復号装置において、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値とを復号する第１の復号手段と、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報とを復号する第２の復号手段と、
周囲の復号済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも小さい場合には、上記第１の復号手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、上記第２の復号手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの復号手段のどちらかを選択する手段とを備えることを、
特徴とする画像復号装置。
【請求項７】
直交変換を使って画像を符号化することで生成された符号化データを画面を分割したブロックを単位に復号する画像復号装置において、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値とを復号する第１の復号手段と、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報とを復号する第２の復号手段と、
周囲の復号済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも大きい場合には、上記第１の復号手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、上記第２の復号手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの復号手段のどちらかを選択する手段とを備えることを、
特徴とする画像復号装置。
【請求項８】
直交変換を使って画像を符号化することで生成された符号化データを画面を分割したブロックを単位に復号する画像復号装置において、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値とを復号する第１の復号手段と、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報とを復号する第２の復号手段と、
直交変換を行う対象の情報をフレーム間の相関を使わずに作成した場合には、上記第１の復号手段を用いることを決定し、フレーム間の相関を使って作成した場合には、上記第２の復号手段を用いることを決定する手段と、
上記決定結果に基づいて、上記２つの復号手段のどちらかを選択する手段とを備えることを、
特徴とする画像復号装置。
【請求項９】
直交変換を使って画像を符号化することで生成された符号化データを画面を分割したブロックを単位に復号する画像復号装置において、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値とを復号する第１の復号手段と、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報とを復号する第２の復号手段と、
周囲の復号済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも大きい場合には、上記第２の復号手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、上記第１の復号手段と上記第２の復号手段のどちらを用いて復号を行うべきかを示す情報の符号化データを復号することで、上記２つの復号手段のどちらを用いて復号を行うのかを決定する手段と、
上記決定結果に基づいて、上記２つの復号手段のどちらかを選択する手段とを備えることを、
特徴とする画像復号装置。
【請求項１０】
直交変換を使って画像を符号化することで生成された符号化データを画面を分割したブロックを単位に復号する画像復号装置において、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値とを復号する第１の復号手段と、
１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報とを復号する第２の復号手段と、
周囲の復号済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも小さい場合には、上記第２の復号手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、上記第１の復号手段と上記第２の復号手段のどちらを用いて復号を行うべきかを示す情報の符号化データを復号することで、上記２つの復号手段のどちらを用いて復号を行うのかを決定する手段と、
上記決定結果に基づいて、上記２つの復号手段のどちらかを選択する手段とを備えることを、
特徴とする画像復号装置。
【請求項１１】
請求項１ないし５のいずれか１項に記載の画像符号化装置の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラム。
【請求項１２】
請求項１ないし５のいずれか１項に記載の画像符号化装置の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
請求項６ないし１０のいずれか１項に記載の画像復号装置の実現に用いられる処理をコンピュータに実行させるための画像復号プログラム。
【請求項１４】
請求項６ないし１０のいずれか１項に記載の画像復号装置の実現に用いられる処理をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画面を分割したブロックを単位に直交変換を使って画像を符号化する画像符号化装置と、直交変換を使って画像を符号化することで生成された符号化データを画面を分割したブロックを単位に復号する画像復号装置と、その画像符号化装置の実現に用いられる画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その画像復号装置の実現に用いられる画像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【０００２】
【従来の技術】
値の分散の小さい複数の情報をまとめて符号化する場合に直交変換が用いられている。直交変換によれば、低周波成分に電力が集中するため、情報量を削減することができる。
【０００３】
このような直交変換後の成分を符号化する場合には、一般的にランレングス符号化が応用される。
【０００４】
直交変換係数は多次元行列となるが、その多次元行列の各成分が、多数の同じ値（Ａ）と、それと異なる値（Ｂ１，Ｂ２，・・・，Ｂｎ）とで構成されている場合、まず、多次元行列中の成分を、或る定められた順序でスキャンして１次元配列にする。この１次元配列中では、同じ値（Ａ）が多数を占めているため、値（Ａ）が連続して並ぶ場合が多い。
【０００５】
そこで、値（Ａ）の並んだ成分の数をランレングス符号化する方法が用いられている。あるいは、値（Ａ）の並ぶ数（ＬＡ）と、値（Ａ）の前後に存在する値（Ｂｉ；ｉ＝１〜ｎ）との間に相関がある場合には、（ＬＡ）と（Ｂｉ）との組み合わせに対して、１つの可変長符号を割り当てる２次元可変長符号化を行う方法もある。ここで、一般的に、（ＬＡ）をラン、（Ｂｉ）をレベルと呼ぶ。
【０００６】
この方法は、ラスト情報を使わずに可変長符号を構成するのでラスト非複合手段の１手法である。
【０００７】
例えば、２次元画像の符号化では、一般に、画素をＤＣＴした後の係数を２次元可変長符号化する。
【０００８】
まず、各画素を縦横８画素のブロックに分割し、ブロック毎に２次元ＤＣＴする。２次元ＤＣＴでは、低周波数部分には０以外の値が集中し、逆に高周波数部分には値０が多くなる性質がある。このＤＣＴ係数を８×８の２次元行列とみなす。低周波数部分から高周波数部分へジグザグスキャンして１次元配列にする。値が０の係数の連続する数をランとし、その後の係数の値をレベルとして、２次元可変長符号化する。
【０００９】
予めランとレベルとの各組み合わせに対して、１つの符号を対応させたルックアップテーブルを作っておき、このルックアップテーブルを利用して２次元可変長符号化する。ルックアップテーブルに無い組み合わせの場合には、エスケープ符号を使った固定長符号化を行う。一般的に固定長符号化の方が符号長が長くなる。あるいは、２次元可変長符号化を行う方法として、ルックアップテーブルを利用しない、算術符号化を用いることも可能である。
【００１０】
また、多次元行列中の値（Ｂｉ）と、値（Ａ）の長さ（ＬＡ）との２次元可変長符号化を行う前に、値（Ｂｉ）を量子化する方法もある。量子化によって、値（Ｂｉ）がより小さい値（ＢＱｉ）に変換されるとすると、値（ＢＱｉ）と（ＬＡ）との組み合わせを２次元可変長符号化する。一般的に、２次元可変長符号化では、値（Ｂｉ）が小さいほど、より短い符号長の符号を割り当てるため、量子化により符号量の削減が可能となる。
【００１１】
これらの２次元可変長符号化では、２次元ＤＣＴの最後の係数を符号化した後に、ＥＯＢという特有なビットパターンを持つ固定長符号を出力する。このＥＯＢは、復号側でビット配列から２次元ＤＣＴの係数を可変長復号する際に、復号するべき係数が終わったことを知るために利用される。
【００１２】
他方、値（Ｂｉ）と（ＬＡ）とを可変長符号化する際に、値（Ｂｉ）が、多次元行列中で最後の値（Ａ）以外の成分かどうかを示すラスト情報を含めて符号化するという方法を用いる３次元可変長符号化方法がある。
【００１３】
この方法は、ラスト情報を使って可変長符号を構成するのでラスト複合手段の１手法である。
【００１４】
例えば画像符号化方式ＭＰＥＧ−４では、２次元ＤＣＴした係数のうち、値が０以外の係数（上述のＢｉ）を符号化する際に、最後の０以外の係数（Ｂｉ）でない場合にはラスト情報を０に設定し、最後の０以外の係数（Ｂｉ）である場合にはラスト情報を１に設定し、ランとレベルとラスト情報との３次元可変長符号化を行う。
【００１５】
ランとレベルとラスト情報との各組み合わせに対して、１つの符号を対応させたルックアップテーブルを予め作っておき、それを参照しながら３次元可変長符号化を行う。ルックアップテーブルに無い組み合わせの場合には、エスケープ符号を使った固定長符号化を行う。
【００１６】
ラスト複合手段で構成した可変長符号を使う場合（例えば３次元可変長符号化）は、ラスト非複合手段で構成した可変長符号を使う場合（例えば２次元可変長符号化）に比べて、ラスト情報が１となる成分の数が符号化する成分の全体数に対して或る程度多い割合を占める場合に有効である。行列内の符号化するべき成分の数が少ない場合に、その割合が大きくなるので、そのような場合には、ラスト複合手段で構成した可変長符号を使うことが有効である。
【００１７】
そのため、例えば３次元可変長符号化では、行列内の符号化するべき成分が少ない場合には、ランの値が大きくなる傾向があるため、ルックアップテーブルを使って符号化する場合には、ラスト１に対して、ランの値が小さい場合から大きい場合まで可変長符号を用意しておく。そのため、２次元可変長符号化で可変長符号を用意していたランとレベルのうち、使用頻度の低いものから順にルックアップテーブルから削除される。
【００１８】
また、３次元可変長符号化で用いるルックアップテーブルと、２次元可変長符号化で用いるルックアップテーブルとの間で、予め用意されるランとレベルとの組み合わせに対する可変長符号の符号量の傾向も異なる。一般的に、３次元可変長符号化では、用意されるレベルの値は小さく、ランの値は小さい場合から大きい場合まで用意される傾向がある。
【００１９】
また、３次元画像符号化で３次元ＤＣＴを使う方法もある。この場合には、３次元ＤＣＴ係数をジグザグスキャンして１次元配列にする。その後、２次元画像符号化と同様に、１次元配列に対して、２次元可変長符号化あるいは３次元可変長符号化を行う。
【００２０】
【発明が解決しようとする課題】
ラスト複合手段は、行列内で符号化するべき成分の数が少ない場合、すなわちランの長さが長くなる場合には有効であるが、成分の数が多い場合には、逆にラスト非複合手段よりも符号量が多くなる。
【００２１】
成分の数は、直交変換する前の情報の分散等に依存して異なるため、情報によっては、ラスト複合手段を使うことにより符号化効率が低下する。
【００２２】
例えば画像符号化の場合には、一般的にマクロブロック等の領域毎にＤＣＴを行う。画像内容は領域毎に異なるため、２次元可変長符号化の方が３次元可変長符号化の方よりも符号量の少ない領域がある。
【００２３】
また、フレーム間予測符号化を使う場合には、フレーム間の相関を使って符号化するインター符号化と、フレーム間の相関を使わないイントラ符号化のいずれかを選択できるが、一般的にイントラ符号化では成分の数が多い傾向があり、インター符号化では成分の数が少ない傾向がある。
【００２４】
従って、画像シーケンス全体で２次元可変長符号化あるいは３次元可変長符号化を適用すると、前者の場合（画像シーケンス全体で２次元可変長符号化を用いる場合）には、インター符号化の符号化効率が低下し、後者の場合（画像シーケンス全体で３次元可変長符号化を用いる場合）には、イントラ符号化の符号化効率が低下する。
【００２５】
しかるに、従来技術では、符号化対象の情報全体に対して、２次元可変長符号化を適用するようにしているか、３次元可変長符号化を適用するようにしている。
【００２６】
これから、従来技術に従っていると、符号化効率が低下するという問題点がある。
【００２７】
本発明はかかる事情に鑑みてなされたものであって、画像などを符号化・復号するときにあって、２次元可変長符号化・復号と３次元可変長符号化・復号を適応的に選択して符号化・復号を行うことができるようにすることで、符号化効率の向上を実現する新たな符号化・復号技術の提供を目的とする。
【００３５】
【課題を解決するための手段】
（１）この目的を達成するために、本発明の画像符号化装置は、画面を分割したブロックを単位に直交変換を使って画像を符号化するという構成を採るときにあって、（イ）非有意な直交変換係数の連続する数と、有意な直交変換係数の値との１つの組み合わせに対して１つの可変長符号を割り当てる第１の符号化手段と、（ロ）非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報との１つの組み合わせに対して１つの可変長符号を割り当てる第２の符号化手段と、（ハ）２つの符号化手段のどちらを用いて符号化を行うのかを決定する決定手段と、（ニ）決定手段の決定結果に基づいて、２つの符号化手段のどちらかを選択する選択手段とを備えるように構成する。
この構成を採るときに、決定手段は、第１の符号化手段による符号量と第２の符号化手段による符号量とを比較するか、あるいは、第１の符号化手段による符号予測量と第２の符号化手段による符号予測量とを比較して、その比較に基づいて、２つの符号化手段の内の少ない符号量となる方の符号化手段を用いることを決定することがあり、この場合には、２つの符号化手段のどちらを用いたのかを示す情報を符号化する手段を備えることになる。
【００３７】
このように構成される本発明の画像符号化装置では、第１の符号化手段と第２の符号化手段とを備えるときにあって、（イ）周囲の符号化済みブロックにおける、直交変換における有意係数の総数または有意係数間の距離の平均値に基づいて、例えば、直交変換の対象となる画像の領域毎に、２つの符号化手段のどちらを用いて符号化を行ったらより効率的な符号化を行えるようになるのかを判断することで、２つの符号化手段のどちらを用いて符号化を行うのかを決定したり、（ロ）動画像をフレーム間予測符号化方法を使って符号化するときにあって、直交変換を行う対象の情報をフレーム間の相関を使って作成したのか、フレーム間の相関を使わずに作成したのかにより、例えば、１つ又は複数のフレーム毎や、フレーム間予測するフレームから切り出される直交変換の対象となる画像の領域毎に、２つの符号化手段のどちらを用いて符号化を行ったらより効率的な符号化を行えるようになるのかを判断することで、２つの符号化手段のどちらを用いて符号化を行うのかを決定する。
【００３８】
例えば、決定手段は、周囲の符号化済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも小さい場合には、第１の符号化手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、第２の符号化手段を用いることを決定する。
また、決定手段は、周囲の符号化済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも大きい場合には、第１の符号化手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、第２の符号化手段を用いることを決定する。
また、決定手段は、周囲の符号化済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも大きい場合には、第２の符号化手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、第１の符号化手段による符号量と第２の符号化手段による符号量とを比較するか、あるいは、第１の符号化手段による符号予測量と第２の符号化手段による符号予測量とを比較して、その比較に基づいて、２つの符号化手段の内の少ない符号量となる方の符号化手段を用いることを決定する。
ここで、決定手段がこの決定方法を用いる場合には、復号側で、どちらの符号化手段を用いて符号化を行ったのかを知ることができないので、２つの符号化手段のどちらを用いたのかを示す情報を符号化することになる。
また、決定手段は、周囲の符号化済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも小さい場合には、第２の符号化手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、第１の符号化手段による符号量と第２の符号化手段による符号量とを比較するか、あるいは、第１の符号化手段による符号予測量と第２の符号化手段による符号予測量とを比較して、その比較に基づいて、２つの符号化手段の内の少ない符号量となる方の符号化手段を用いることを決定する。
ここで、決定手段がこの決定方法を用いる場合には、復号側で、どちらの符号化手段を用いて符号化を行ったのかを知ることができないので、２つの符号化手段のどちらを用いたのかを示す情報を符号化することになる。
また、決定手段は、フレーム間の相関を使わないＩフレームと、直前のフレームとの差分を符号化するＰフレームとで構成される符号化データの場合、Ｉフレームの画像情報を第１の符号化手段を使って符号化し、Ｐフレームの画像情報（差分情報）を第２の符号化手段を使って符号化することで符号化効率を向上できるようになることから、１つ又は複数のフレーム毎に、この判断基準に従って、２つの符号化手段のどちらを用いて符号化を行うのかを決定する。このとき、領域毎にフレーム間の相関を使うか使わないかを選択できる場合には、領域毎に、この判断基準に従って、２つの符号化手段のどちらを用いて符号化を行うのかを決定することができる。
【００３９】
そして、その決定に基づいて、その決定した符号化手段を用いて符号化を行うように処理する。
【００４１】
このようにして、本発明の画像符号化装置によれば、直交変換を使って画像を符号化するという構成を採るときにあって、２次元可変長符号化手段の符号化と３次元可変長符号化手段の符号化とを適応的に選択して符号化を行うことで、符号化効率を向上できるようになる。
【００４２】
ここで、本発明の画像符号化装置を構成する各処理手段は、コンピュータプログラムにより実現可能であり、このコンピュータプログラムは、コンピュータが読取可能な適当な記録媒体に記録することができる。
【００４３】
次に、本発明の画像符号化装置が実行する、直交変換における有意係数の総数や有意係数間の距離の平均値といった周囲の符号化済みの符号化データに基づいてどちらの符号化手段を用いて符号化を行うのかということを決定する処理について説明する。
【００４４】
すでに符号化した領域の符号化データとしては、直交変換係数の総数、ランの平均値などの特徴量が挙げられる。いずれも、現領域の特徴量と周囲の領域の特徴量との変化が急激でない。そのため、周囲の領域の特徴量から現領域の特徴量を予測することが可能である。
【００４５】
一方、特徴量の大小により、符号量のより少ない可変長符号化を予測することが可能である。例えば、直交変換係数の総数については、その総数が多いほど、ランの小さい場合に符号長が短くなる可変長符号化の方が符号化効率が高くなることが予想できる。同様にして、ランの平均値については、その平均値が小さいほど、ランの小さい場合に符号長が短くなる可変長符号化の方が符号化効率が高くなることが予想できる。
【００４６】
これから、本発明の画像符号化装置では、例えば、すでに符号化した領域のランの平均値から、現領域のランの平均値を予想して、その予想した値が予め設定した閾値よりも小さい場合には、ランの小さい場合に符号長が短くなる２次元可変長符号化を選択するように処理するのである。
【００４７】
このようにして、符号化済みの符号化データに基づいて、２つの符号化手段のどちらを用いて符号化を行うのかを決定する場合に、現領域の特徴量の予測の確からしさが低いときには、それに基づいて符号化手段の選択を行うことができないことから、例えば、２つの符号化手段の符号量や符号予測量を算出して、それに基づいて符号化手段の選択を行うことになる。
【００４８】
このときには、復号側で、どちらの符号化手段を用いて符号化を行ったのかを知ることができないので、どちらの符号化手段を用いて符号化を行ったのかを示す情報を符号化する必要がある。
【００４９】
例えば、ランの平均値を予測して符号化手段を選択する場合に、その予測されるランの値が予め設定した閾値よりも小さい場合には、予測の確からしさが低くなるので、２つの符号化手段の符号量や符号予測量を算出して、それに基づいて符号化手段の選択を行うとともに、どちらの符号化手段を用いて符号化を行ったのかを示す情報（可変長選択符号）を符号化するのである。
【００５０】
もちろん、現領域の特徴量の予測の確からしさに関係なく、２つの符号化手段のどちらを用いて符号化を行ったのかについて、それを示す可変長選択符号を符号化するという構成を採ってもよいが、復号側で知ることができない場合のみに可変長選択符号を符号化するという構成を採ると、そのような全ての領域に対して可変長選択符号を符号化する場合に比べて、符号化効率を向上できるようになる。
【００５１】
一方、本発明を拡張することで、Ｎ次元行列を符号化するときにあって、ランを使う代わりに、行列内の２成分間の位置の差分情報を使うことができる。この方法を用いた符号化装置及び復号装置では、ランの代わりに、２成分間の位置の差分のノルムを使うことができる。
【００５２】
例えば、図１のような２次元行列を符号化するときに、図２に示すようなジグザグスキャンを使うことで、図３に示すような有意な値の１次元配列が得られる場合には、１つ前に位置する有意な値の行列成分（ｘ，ｙ)(x,y=０〜7)について、ｘが偶数または０でｙが０の場合には図４（ａ）の座標系を適用し、それ以外でｘ＋ｙが偶数の場合には図４（ｂ）の座標系を適用し、ｘ＋ｙが奇数の場合には図４（ｃ）の座標系を適用することで、図５に示すように、ランの代わりに、２成分間の位置の差分のノルムを使うことができる。
【００５３】
この場合には、２成分間の位置の差分はＮ次元の情報となるため、符号化済みの符号化データなどに基づいて、Ｎ次元可変長符号化手段と、ラスト情報を組み合わせた（Ｎ＋１）次元可変長符号化手段という２つの符号化手段のいずれかを選択するという構成を採ることになる。
【００５４】
この構成を採る場合にも、符号化済みの符号化データに基づいて、２つの符号化手段のどちらを用いて符号化を行うのかを決定する場合に、予測の確からしさが低いときには、それに基づいて符号化手段の選択を行うことができないことから、例えば、２つの符号化手段の符号量や符号予測量を算出して、それに基づいて符号化手段の選択を行うことになる。
【００５５】
このときには、復号側で、どちらの符号化手段を用いて符号化を行ったのかを知ることができないので、どちらの符号化手段を用いて符号化を行ったのかを示す情報を符号化する必要がある。
【００５６】
もちろん、予測の確からしさに関係なく、２つの符号化手段のどちらを用いて符号化を行ったのかについて、それを示す可変長選択符号を符号化するという構成を採ってもよいが、復号側で知ることができない場合のみに可変長選択符号を符号化するという構成を採ると、そのような全ての領域に対して可変長選択符号を符号化する場合に比べて、符号化効率を向上できるようになる。
【００５７】
（２）また、この目的を達成するために、本発明の画像復号装置は、直交変換を使って画像を符号化することで生成された符号化データを画面を分割したブロックを単位に復号するという構成を採るときにあって、（イ）１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値とを復号する第１の復号手段と、（ロ）１つの可変長符号から、非有意な直交変換係数の連続する数と、有意な直交変換係数の値と、符号化する有意な直交変換係数が最後の有意な係数かどうかを示す情報とを復号する第２の復号手段と、（ハ）２つの復号手段のどちらを用いて復号を行うのかを決定する決定手段と、（ニ）決定手段の決定結果に基づいて、２つの復号手段のどちらかを選択する選択手段とを備えるように構成する。
【００５８】
この構成を採るときに、符号化手段の種別を示す情報の符号化データが生成されていることがあり、このときには、その符号化データを復号する手段を備えることになる。
【００５９】
このように構成される本発明の画像復号装置では、第１の復号手段と第２の復号手段とを備えるときにあって、（イ）周囲の復号済みブロックにおける、直交変換における有意係数の総数または有意係数間の距離の平均値に基づいて、２つの復号手段のどちらを用いて復号を行うのかを決定したり、（ロ）フレーム間予測符号化方法を使って符号化された動画像を復号対象とするときにあって、直交変換を行う対象の情報をフレーム間の相関を使って作成したのか、フレーム間の相関を使わずに作成したのかを示す情報の復号データに従って、２つの復号手段のどちらを用いて復号を行うのかを決定したり、（ハ）符号化手段の種別を示す情報の復号データに従って、２つの復号手段のどちらを用いて符号化を行うのかを決定する。
例えば、決定手段は、周囲の復号済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも小さい場合には、第１の復号手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、第２の復号手段を用いることを決定する。
また、決定手段は、周囲の復号済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも大きい場合には、第１の復号手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、第２の復号手段を用いることを決定する。
また、決定手段は、周囲の復号済みブロックにおける、直交変換における有意係数間の距離の平均値から、現ブロックの有意係数間の距離の予測値を求め、その予測値が予め設定した値よりも大きい場合には、第２の復号手段を用いることを決定し、その予測値が予め設定した値よりも小さい場合には、第１の復号手段と第２の復号手段のどちらを用いて復号を行うべきかを示す情報の符号化データを復号することで、２つの復号手段のどちらを用いて復号を行うのかを決定する。
また、決定手段は、周囲の復号済みブロックにおける、直交変換における有意係数の総数から、現ブロックの有意係数の総数の予測値を求め、その予測値が予め設定した値よりも小さい場合には、第２の復号手段を用いることを決定し、その予測値が予め設定した値よりも大きい場合には、第１の復号手段と第２の復号手段のどちらを用いて復号を行うべきかを示す情報の符号化データを復号することで、２つの復号手段のどちらを用いて復号を行うのかを決定する。
また、決定手段は、直交変換を行う対象の情報をフレーム間の相関を使わずに作成した場合には、第１の復号手段を用いることを決定し、フレーム間の相関を使って作成した場合には、第２の復号手段を用いることを決定する。
【００６０】
そして、その決定に基づいて、その決定した復号手段を用いて復号を行うように処理する。
【００６１】
このようにして、本発明の画像復号装置によれば、２次元可変長符号化手段の符号化と３次元可変長符号化手段の符号化とを適応的に選択して符号化を行うという構成を採る本発明の画像符号化装置により生成された符号化データを復号できるようになる。
【００６２】
ここで、本発明の画像復号装置を構成する各処理手段は、コンピュータプログラムにより実現可能であり、このコンピュータプログラムは、コンピュータが読取可能な適当な記録媒体に記録することができる。
【００６３】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００６４】
画像を縦横８画素のブロックに分割して、画像情報をＤＣＴし、そのＤＣＴ係数を可変長符号化する画像符号化装置と、その画像符号化装置の符号化データを復号する画像復号装置の動作例とについて２例示す。
【００６５】
先ず最初に、ランの平均値を使って、２次元可変長符号化と３次元可変長符号化を選択する手法について説明する。
【００６６】
図６に、この手法を実現する本発明の画像符号化装置の一実施形態例を図示する。
【００６７】
この実施形態例に従う場合、本発明の画像符号化装置は、現ブロックの画像情報をＤＣＴするＤＣＴ部１０１と、ＤＣＴ係数を２次元可変長符号化する２次元可変長符号化部１０３と、ＤＣＴ係数を３次元可変長符号化する３次元可変長符号化部１０４と、可変長符号化方式を選択する可変長符号化選択部１０２と、ＤＣＴ係数のランの平均値を求めて蓄積するラン情報蓄積部１０５と、ラン情報蓄積部１０５に蓄積したランの平均値から現ブロックのランの平均値を予測するラン情報予測部１０６とを備える。
【００６８】
現ブロックのランの平均値の予測値Ｐは、図７に示すブロック位置のランの平均値ＲＵＮ（ｉ）から、
Ｐ＝ΣＲＵＮ（ｉ）／４    但し、Σはｉ＝０〜３の総和
を使って予測するものとする。
【００６９】
可変長符号化選択部１０２は、予測したランの平均値の予測値Ｐが、
Ｐ≦Ｔh     但し、Ｔh は閾値
を満たす場合には２次元可変長符号化部１０３を選択し、満たさない場合には３次元可変長符号化部１０４を選択する。ここで、閾値Ｔｈは予め設定されており、例えば、Ｔｈ＝２とする。
【００７０】
すなわち、現ブロックの予測したランの平均値Ｐが閾値Ｔｈよりも小さい場合には、２次元可変長符号化部１０３を用いた方が符号化効率を高められるので２次元可変長符号化部１０３を選択し、逆に大きい場合には、３次元可変長符号化部１０４を用いた方が符号化効率を高められるので３次元可変長符号化部１０４を選択するのである。
【００７１】
なお、画面の上端のブロックには、図７中のＢ１，Ｂ２，Ｂ３に相当するブロックが存在せず、また、画面の左端のブロックには、図７中のＢ０，Ｂ１に相当するブロックが存在しない。このような場合には、存在しないブロックのラン長は予め定めた所定の値であるとして、上述のラン平均値の予測値Ｐを計算する。例えば、この所定の値を０とすると、画面左隅のブロックについては、必ず２次元可変長符号化部１０３が選択されることになる。
【００７２】
次に、図８に示すブロックＡとブロックＢとを符号化する手順について詳細に説明する。
【００７３】
ここで、ラン情報蓄積部１０５には、ブロックＡ以前のブロックであるブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値が少なくとも蓄積されているものとする。また、ブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値を、それぞれＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）で表し、ＲＵＮ（Ｐ）＝４，ＲＵＮ（Ｑ）＝３，ＲＵＮ（Ｒ）＝２，ＲＵＮ（Ｓ）＝１，ＲＵＮ（Ｔ）＝１であったとする。
【００７４】
このような前提の元で、本発明の画像符号化装置は、まずブロックＡを次のように符号化する。
【００７５】
まず、ＤＣＴ部１０１は、ブロックＡの画像情報をＤＣＴする。これを受けて、ラン情報予測部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＰ，Ｑ，Ｒ，Ｓのランの平均値〔ＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ）〕を使って、ブロックＡのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝３と予測される。
【００７６】
これから、可変長符号化選択部１０２は、上述の選択ルールに従って３次元可変長符号化部１０４を選択する。この選択を受けて、３次元可変長符号化部１０４は、ＤＣＴ係数を３次元可変長符号化し、符号化データを出力する。
【００７７】
このとき、ラン情報蓄積部１０５は、ＤＣＴ部１０１で得られた複数のランから、ブロックＡのランの平均値を求めて蓄積する。このランの平均値がＲＵＮ（Ａ）＝４であったとする。
【００７８】
続いて、本発明の画像符号化装置は、ブロックＢを次のように符号化する。
【００７９】
まず、ＤＣＴ部１０１は、ブロックＢの画像情報をＤＣＴする。これを受けて、ラン情報予測部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＡ，Ｒ，Ｓ，Ｔのランの平均値〔ＲＵＮ（Ａ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）〕を使って、ブロックＢのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝２と予測される。
【００８０】
これから、可変長符号化選択部１０２は、上述の選択ルールに従って２次元可変長符号化部１０３を選択する。この選択を受けて、２次元可変長符号化部１０３は、ＤＣＴ係数を２次元可変長符号化し、符号化データを出力する。
【００８１】
このとき、ラン情報蓄積部１０５は、ＤＣＴ部１０１で得られた複数のランから、ブロックＢのランの平均値を求めて蓄積する。
【００８２】
本発明の画像符号化装置は、以上の処理を繰り返し、すべての画面内のブロックを符号化する。
【００８３】
図９に、この本発明の画像符号化装置により生成された符号化データを復号する本発明の画像復号装置の一実施形態例を図示する。
【００８４】
この実施形態例に従う場合、本発明の画像復号装置は、ＤＣＴ係数を逆ＤＣＴするＩＤＣＴ部１０９と、符号化データを２次元可変長復号する２次元可変長復号部１０７と、符号化データを３次元可変長復号する３次元可変長復号部１０８と、可変長符号化方式を選択する可変長符号化選択部１０２と、ＤＣＴ係数のランの平均値を求めて蓄積するラン情報蓄積部１０５と、ラン情報蓄積部１０５に蓄積したランの平均値から現ブロックのランの平均値を予測するラン情報予測部１０６とを備える。
【００８５】
図６に示した本発明の画像符号化装置と同様に、現ブロックのランの平均値の予測値Ｐは、図７に示すブロック位置のランの平均値ＲＵＮ（ｉ）から、
Ｐ＝ΣＲＵＮ（ｉ）／４    但し、Σはｉ＝０〜３の総和
を使って予測するものとする。
【００８６】
そして、可変長符号化選択部１０２は、予測したランの平均値Ｐが、
Ｐ≦Ｔh     但し、Ｔh は閾値
を満たす場合には２次元可変長復号部１０７を選択し、満たさない場合には３次元可変長復号部１０８を選択する。ここで、閾値Ｔｈは予め設定されており、例えば、Ｔｈ＝２とする。
【００８７】
なお、画面の上端のブロックには、図７中のＢ１，Ｂ２，Ｂ３に相当するブロックが存在せず、また、画面の左端のブロックには、図７中のＢ０，Ｂ１に相当するブロックが存在しない。このような場合には、存在しないブロックのラン長は予め定めた所定の値であるとして上述のラン平均値の予測値Ｐを計算する。例えば、この所定の値を０とすると、画面左隅のブロックについては、必ず２次元可変長復号部１０７が選択されることになる。
【００８８】
次に、図８に示すブロックＡとブロックＢとを復号する手順について詳細に説明する。
【００８９】
ここで、ラン情報蓄積部１０５には、ブロックＡ以前のブロックであるブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値が少なくとも蓄積されているものとする。また、ブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値を、それぞれＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）で表し、ＲＵＮ（Ｐ）＝４，ＲＵＮ（Ｑ）＝３，ＲＵＮ（Ｒ）＝２，ＲＵＮ（Ｓ）＝１，ＲＵＮ（Ｔ）＝１であったとする。
【００９０】
このような前提の元で、本発明の画像復号装置は、まずブロックＡを次のように復号する。
【００９１】
まず、ラン情報予測部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＰ，Ｑ，Ｒ，Ｓのランの平均値〔ＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ）〕を使って、ブロックＡのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝３と予測される。
【００９２】
これから、可変長符号化選択部１０２は、上述の選択ルールに従って３次元可変長復号部１０８を選択する。この選択を受けて、３次元可変長復号部１０８は、符号化データを３次元可変長復号し、ＤＣＴ係数を出力する。
【００９３】
このとき、ラン情報蓄積部１０５は、３次元可変長復号部１０８で得られたＤＣＴ係数の複数のランから、ブロックＡのランの平均値を求めて蓄積する。このブロックＡのランの平均値は、上述の画像符号化装置と同様にＲＵＮ（Ａ）＝４と求められる。
【００９４】
そして、ＩＤＣＴ部１０９は、復号されたＤＣＴ係数を逆ＤＣＴし、ブロックＡの画像情報を求める。
【００９５】
続いて、本発明の画像復号装置は、ブロックＢを次のように復号する。
【００９６】
まず、ラン情報予測部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＡ，Ｒ，Ｓ，Ｔのランの平均値〔ＲＵＮ（Ａ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）〕を使って、ブロックＢのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝２と予測される。
【００９７】
これから、可変長符号化選択部１０２は、上述の選択ルールに従って２次元可変長復号部１０７を選択する。この選択を受けて、２次元可変長復号部１０７は、符号化データを２次元可変長復号し、ＤＣＴ係数を出力する。
【００９８】
このとき、ラン情報蓄積部１０５は、２次元可変長復号部１０７で得られたＤＣＴ係数の複数のランから、ブロックＢのランの平均値を求めて蓄積する。
【００９９】
そして、ＩＤＣＴ部１０９は、復号されたＤＣＴ係数を逆ＤＣＴし、ブロックＢの画像情報を求める。
【０１００】
本発明の画像復号装置は、以上の処理を繰り返し、すべての画面内のブロックを復号する。
【０１０１】
以上のように、図６及び図９の実施形態例に従う本発明では、すでに符号化した領域のラン情報により、２次元可変長符号化と３次元可変長符号化という２つの符号化方法の中から、符号化効率の向上を実現できる符号化方法を選択して符号化を行うように処理するので、符号化効率を向上できるようになる。
【０１０２】
なお、本実施形態例では、ラン情報によってどちらの符号化を用いるのかを選択したが、ＤＣＴ係数の総数などの他の符号化データを使用しても同様な制御が可能である。
【０１０３】
図１０に、本発明の画像符号化装置の他の実施形態例を図示する。
【０１０４】
この実施形態例に従う本発明の画像符号化装置では、図６の実施形態例と異なって、「Ｐ≦Ｔh 」を満たす場合に、予測の確からしさが低いことを考慮して、直ちに２次元可変長符号化部１０３を選択するのではなくて、２次元可変長符号化部１０３による符号量と３次元可変長符号化部１０４による符号量とを比較して、どちらを選択するのかを決定するように処理している。なお、符号量を比較するのではなくて、符号予測量を求めるようにして、それを比較するようにしてもよい。
【０１０５】
この実施形態例に従う場合、本発明の画像符号化装置は、現ブロックの画像情報をＤＣＴするＤＣＴ部１０１と、ＤＣＴ係数を２次元可変長符号化する２次元可変長符号化部１０３と、ＤＣＴ係数を３次元可変長符号化する３次元可変長符号化部１０４と、可変長符号化方式を選択する可変長符号化選択部１０２と、ＤＣＴ係数のランの平均値を求めて蓄積するラン情報蓄積部１０５と、ラン情報蓄積部１０５に蓄積したランの平均値から現ブロックのランの平均値を予測するラン情報予測部１０６と、ランの平均値の予測値から可変長選択符号（どちらの符号化を選択したのかを示す情報）を出力するかどうかを決定する可変長選択符号符号化決定部１１０と、可変長選択符号を符号化する可変長選択符号符号化部１１２と、２次元可変長符号化部１０３で符号化した符号化データを出力するのか３次元可変長符号化部１０４で符号化した符号化データを出力するのかを決定する可変長符号化選択決定部１１１とを備える。
【０１０６】
図６に示した本発明の画像符号化装置と同様に、現ブロックのランの平均値の予測値Ｐは、図７に示すブロック位置のランの平均値ＲＵＮ（ｉ）から、
Ｐ＝ΣＲＵＮ（ｉ）／４    但し、Σはｉ＝０〜３の総和
を使って予測するものとする。
【０１０７】
可変長選択符号符号化決定部１１０は、予測したランの平均値Ｐが「Ｐ≦Ｔh 」を満たす場合には、どちらの符号化を選択したのかを示す情報であるところの可変長選択符号を符号化することを決定し、満たさない場合には、可変長選択符号を符号化しないことを決定する。ここで、閾値Ｔｈは予め設定されており、Ｔｈ＝２とする。
【０１０８】
可変長符号化選択決定部１１１は、可変長選択符号が符号化されることが決定される場合に、２次元可変長符号化部１０３からの出力の符号量と、３次元可変長符号化部１０４からの出力の符号量とを比較し、より小さい符号量の方の出力が最終的な出力となるようにと、可変長符号化選択部１０２を制御する。
【０１０９】
可変長符号化選択部１０２は、可変長選択符号が符号化されない場合（「Ｐ≦Ｔh 」を満たさない場合）には、３次元可変長符号化部１０４からの出力を選択し、可変長選択符号が符号化される場合には、可変長符号化選択決定部１１１の決定に従って、２次元可変長符号化部１０３からの出力あるいは３次元可変長符号化部１０４からの出力のいずれかを選択する。
【０１１０】
ここで、可変長選択符号は、２次元可変長符号化部１０３からの出力が選択された場合には０であり、３次元可変長符号化部１０４からの出力が選択された場合には１であるとする。
【０１１１】
なお、画面の上端のブロックには、図８中のＢ１，Ｂ２，Ｂ３に相当するブロックが存在せず、また、画面の左端のブロックには、図８中のＢ０，Ｂ１に相当するブロックが存在しない。このような場合には、存在しないブロックのラン長は予め定めた所定の値であるとして上述のラン平均値の予測値Ｐを計算する。例えば、この所定の値を０とすると、画面左隅のブロックについては、必ず２次元可変長符号化部１０３が選択されることになる。
【０１１２】
次に、図８に示すブロックＡとブロックＢとを符号化する手順について詳細に説明する。
【０１１３】
ここで、ラン情報蓄積部１０５には、ブロックＡ以前のブロックであるブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値が少なくとも蓄積されているものとする。また、ブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値を、それぞれＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）で表し、ＲＵＮ（Ｐ）＝４，ＲＵＮ（Ｑ）＝３，ＲＵＮ（Ｒ）＝２，ＲＵＮ（Ｓ）＝１，ＲＵＮ（Ｔ）＝１であったとする。
【０１１４】
このような前提の元で、本発明の画像符号化装置は、まずブロックＡを次のように符号化する。
【０１１５】
まず、ＤＣＴ部１０１は、ブロックＡの画像情報をＤＣＴする。これを受けて、２次元可変長符号化部１０３は、ＤＣＴ係数を２次元可変長符号化し、３次元可変長符号化部１０４は、ＤＣＴ係数を３次元可変長符号化する。
【０１１６】
一方、ラン情報予側部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＰ，Ｑ，Ｒ，Ｓのランの平均値〔ＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ）〕を使って、ブロックＡのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝３と予測される。
【０１１７】
これから、可変長選択符号符号化決定部１１０は、可変長選択符号を符号化しないことを決定する。これを受けて、可変長符号化選択部１０２は、３次元可変長符号化部１０４からの出力を画像符号化装置の出力として出力する。
【０１１８】
このとき、ラン情報蓄積部１０５は、ＤＣＴ部１０１で得られた複数のランから、ブロックＡのランの平均値を求めて蓄積する。このランの平均値がＲＵＮ（Ａ）＝４であったとする。
【０１１９】
続いて、本発明の画像符号化装置は、ブロックＢを次のように符号化する。
【０１２０】
まず、ＤＣＴ部１０１は、ブロックＢの画像情報をＤＣＴする。これを受けて、２次元可変長符号化部１０３は、ＤＣＴ係数を２次元可変長符号化し、３次元可変長符号化部１０４は、ＤＣＴ係数を３次元可変長符号化する。
【０１２１】
一方、ラン情報予側部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＡ，Ｒ，Ｓ，Ｔのランの平均値〔ＲＵＮ（Ａ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）〕を使って、ブロックＢのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝２と予測される。
【０１２２】
これから、可変長選択符号符号化決定部１１０は、可変長選択符号を符号化することを決定する。これを受けて、可変長符号化選択決定部１１１は、２次元可変長符号化部１０３からの出力の符号量と、３次元可変長符号化部１０４からの出力の符号量とを比較する。ここでは、２次元可変長符号化部１０３からの符号量の方が少なかったとする。
【０１２３】
これから、可変長選択符号符号化部１１２は、２次元可変長符号化部１０３の方が符号量が少ないため、可変長選択符号として０を出力する。一方、可変長符号化選択部１０２は、２次元可変長符号化部１０３からの出力を画像符号化装置の出力として出力する。
【０１２４】
このとき、ラン情報蓄積部１０５は、ＤＣＴ部１０１で得られた複数のランから、ブロックＢのランの平均値を求めて蓄積する。
【０１２５】
本発明の画像符号化装置は、以上の処理を繰り返し、すべての画面内のブロックを符号化する。
【０１２６】
図１１に、この本発明の画像符号化装置により生成された符号化データを復号する本発明の画像復号装置の一実施形態例を図示する。
【０１２７】
この実施形態例に従う場合、本発明の画像復号装置は、ＤＣＴ係数を逆ＤＣＴするＩＤＣＴ部１０９と、符号化データを２次元可変長復号する２次元可変長復号部１０７と、符号化データを３次元可変長復号する３次元可変長復号部１０８と、可変長符号化方式を選択する可変長符号化選択部１０２と、ＤＣＴ係数のランの平均値を求めて蓄積するラン情報蓄積部１０５と、ラン情報蓄積部１０５に蓄積したランの平均値から現ブロックのランの平均値を予測するラン情報予側部１０６と、ランの平均値の予測値から可変長選択符号を復号するかどうかを決定する可変長選択符号復号決定部１１３と、可変長選択符号を復号する可変長選択符号復号部１１４とを備える。
【０１２８】
図６に示した本発明の画像符号化装置と同様に、現ブロックのランの平均値の予測値Ｐは、図７に示すブロック位置のランの平均値ＲＵＮ（ｉ）から、
Ｐ＝ΣＲＵＮ（ｉ）／４    但し、Σはｉ＝０〜３の総和
を使って予測するものとする。
【０１２９】
可変長選択符号復号決定部１１３は、予測したランの平均値Ｐが「Ｐ≦Ｔh 」満たす場合には、どちらの符号化を選択したのかを示す情報であるところの可変長選択符号を復号することを決定し、満たさない場合には、可変長選択符号を復号しないことを決定する。ここで、閾値Ｔh は予め設定されており、Ｔｈ＝２とする。
【０１３０】
可変長符号化選択部１０２は、可変長選択符号を復号した場合には、可変長選択符号に従って、２次元可変長復号部１０７または３次元可変長復号部１０８を選択し、可変長選択符号を復号しない場合には、３次元可変長復号部１０８を選択する。
【０１３１】
なお、画面の上端のブロックには、図７中のＢ１，Ｂ２，Ｂ３に相当するブロックが存在せず、また、画面の左端のブロックには、図７中のＢ０，Ｂ１に相当するブロックが存在しない。このような場合には、存在しないブロックのラン長は予め定めた所定の値であるとして上述のラン平均値の予測値Ｐを計算する。例えば、この所定の値を０とすると、画面左隅のブロックについては、必ず２次元可変長復号部１０７が選択されることになる。
【０１３２】
次に、図８に示すブロックＡとブロックＢとを復号する手順について詳細に説明する。
【０１３３】
ここで、ラン情報蓄積部１０５には、ブロックＡ以前のブロックであるブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値が少なくとも蓄積されているものとする。また、ブロックＰ，Ｑ，Ｒ，Ｓ，Ｔのランの平均値を、それぞれＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）で表し、ＲＵＮ（Ｐ）＝４，ＲＵＮ（Ｑ）＝３，ＲＵＮ（Ｒ）＝２，ＲＵＮ（Ｓ）＝１，ＲＵＮ（Ｔ）＝１であったとする。
【０１３４】
このような前提の元で、本発明の画像復号装置は、まずブロックＡを次のように復号する。
【０１３５】
まず、ラン情報予測部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＰ，Ｑ，Ｒ，Ｓのランの平均値〔ＲＵＮ（Ｐ），ＲＵＮ（Ｑ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ）〕を使って、ブロックＡのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝３と予測される。
【０１３６】
これから、可変長選択符号復号決定部１１３は、可変長選択符号を復号しないことを決定する。これを受けて、可変長符号化選択部１０２は、３次元可変長復号部１０８を選択し、これを受けて、３次元可変長復号部１０８は、符号化データを３次元可変長復号し、ＤＣＴ係数を出力する。
【０１３７】
このとき、ラン情報蓄積部１０５は、３次元可変長復号部１０８で得られたＤＣＴ係数の複数のランから、ブロックＡのランの平均値を求めて蓄積する。このブロックＡのランの平均値は、上述の画像符号化装置と同様にＲＵＮ（Ａ）＝４と求められる。
【０１３８】
そして、ＩＤＣＴ部１０９は、復号されたＤＣＴ係数を逆ＤＣＴし、ブロックＡの画像情報を求める。
【０１３９】
続いて、本発明の画像復号装置は、ブロックＢを次のように復号する。
【０１４０】
まず、ラン情報予測部１０６は、ラン情報蓄積部１０５に蓄積されたブロックＡ，Ｒ，Ｓ，Ｔのランの平均値〔ＲＵＮ（Ａ），ＲＵＮ（Ｒ），ＲＵＮ（Ｓ），ＲＵＮ（Ｔ）〕を使って、ブロックＢのランの平均値を予測する。上述した算出式に従って、この予測値ＰはＰ＝２と予測される。
【０１４１】
これから、可変長選択符号復号決定部１１３は、可変長選択符号を復号することを決定する。これを受けて、可変長選択符号復号部１１４は、可変長選択符号を復号する。このとき、可変長選択符号として、２次元可変長符号化部１０３を示す０が得られる。
【０１４２】
これから、可変長符号化選択部１０２は、可変長選択符号が０であることに対応して、２次元可変長復号部１０７を選択する。これを受けて、２次元可変長復号部１０７は、符号化データを２次元可変長復号し、ＤＣＴ係数を出力する。
【０１４３】
このとき、ラン情報蓄積部１０５は、２次元可変長復号部１０７で得られたＤＣＴ係数の複数のランから、ブロックＢのランの平均値を求めて蓄積する。
【０１４４】
そして、ＩＤＣＴ部１０９は、復号されたＤＣＴ係数を逆ＤＣＴし、ブロックＢの画像情報を求める。
【０１４５】
本発明の画像復号装置は、以上の処理を繰り返し、すべての画面内のブロックを復号する。
【０１４６】
以上のように、図１０及び図１１の実施形態例に従う本発明では、すでに符号化した領域のラン情報により、２次元可変長符号化と３次元可変長符号化という２つの符号化方法の中から、符号化効率の向上を実現できる符号化方法を選択して符号化を行うように処理するときにあって、いずれの符号化を選択したのかについて示す可変長選択符号について、符号化が必要とされるときのみ符号化するように処理することから、符号化効率を向上できるようになる。
【０１４７】
なお、本実施形態例では、ラン情報によってどちらの符号化を用いるのかを選択したが、ＤＣＴ係数の総数などの他の符号化データを使用しても同様な制御が可能である。
【０１４８】
また、フレーム間予測符号化を用いる画像符号化装置と画像復号装置では、フレーム間の相関を使うか使わないかの符号化モードに従って、可変長符号化の選択を行うことも可能である。この場合には、ラン情報蓄積部とラン情報予測部を備えずに、直接符号化モードによって可変長符号化を切り替えるという構成を採ることになる。
【０１４９】
また、本実施形態例では、画像符号化におけるＤＣＴ係数の符号化の方法について示したが、ＤＣＴ以外の直交変換を使った場合の画像符号化装置と画像復号装置については、ＤＣＴ部あるいはＩＤＣＴ部を他の直交変換に置き換えることにより同様な形式で実現できる。
【０１５０】
また、本実施形態例では、２次元の画像情報を直交変換して符号化あるいは復号する場合の手順について示したが、３次元の画像情報の符号化も同様な構成で実現できる。
【０１５１】
また、一般的な多次元行列の成分の符号化では、本実施形態例の２次元可変長符号化部をラスト非複合手段の符号化部に入れ替え、３次元可変長符号化部をラスト複合手段の符号化部に入れ替えて、この２つの符号化部を選択するという構成で実現できる。
【０１５２】
また、行列をＤＣＴを行わずに符号化することも可能である。この場合には、ＤＣＴ部を備えない、あるいはＤＣＴ以外の直交変換を用いることも可能である。この場合には、ＤＣＴ部の代わりに直交変換部を備えることになる。
【０１５３】
【発明の効果】
以上説明したように、本発明によれば、画面を分割したブロックを単位に直交変換を使って画像を符号化するときに、行列毎あるいは複数の行列毎に、２次元可変長符号化と３次元可変長符号化とを選択して使用することにより、より符号化効率を高めて符号化することが可能である。
【０１５４】
すなわち、画像符号化においては、直交変換後の係数を２次元行列とみなすことができ、この場合に、本発明によれば、成分（この場合にはブロック）毎に、既に符号化した成分（この場合にはブロック）の情報を使って、２次元可変長符号化と３次元可変長符号化を選択して符号化することが可能であり、どちらか片方を使う場合よりも符号化効率を向上することができる。
【図面の簡単な説明】
【図１】本発明の適用可能な符号化方法の説明図である。
【図２】本発明の適用可能な符号化方法の説明図である。
【図３】本発明の適用可能な符号化方法の説明図である。
【図４】本発明の適用可能な符号化方法の説明図である。
【図５】本発明の適用可能な符号化方法の説明図である。
【図６】本発明の画像符号化装置の一実施形態例である。
【図７】現ブロックのラン平均値の予測値Ｐの算出方法の説明図である。
【図８】実施形態例の説明に用いるブロック配置の説明図である。
【図９】本発明の画像復号装置の一実施形態例である。
【図１０】本発明の画像符号化装置の他の実施形態例である。
【図１１】本発明の画像復号装置の他の実施形態例である。
【符号の説明】
１０１  ＤＣＴ部
１０２  可変長符号化選択部
１０３  ２次元可変長符号化部
１０４  ３次元可変長符号化部
１０５  ラン情報蓄積部
１０６  ラン情報予測部
１０７  ２次元可変長復号部
１０８  ３次元可変長復号部
１０９  ＩＤＣＴ部
１１０  可変長選択符号符号化決定部
１１１  可変長符号化選択決定部
１１２  可変長選択符号符号化部
１１３  可変長選択符号復号決定部
１１４  可変長選択符号復号部
【図１】
0003866580.tif 000002
【図２】
0003866580.tif 000003
【図３】
0003866580.tif 000004
【図４】
0003866580.tif 000005
【図５】
0003866580.tif 000006
【図６】
0003866580.tif 000007
【図７】
0003866580.tif 000008
【図８】
0003866580.tif 000009
【図９】
0003866580.tif 000010
【図１０】
0003866580.tif 000011
【図１１】
0003866580.tif 000012