(57)【要約】      （修正有）【課題】非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を適応的に変更して、符号化効率の高い画像符号化装置を提供する。【解決手段】量子化手段３により得られた単位ブロックの量子化値と、予測手段８からの予測情報とを受け取り、該量子化値の並び順を変更して符号化手段５に送出する配置手段４を具備する。該配置手段４は、周波数毎の量子化値の頻度を、予測情報の種類及び／又はパラメータ毎に符号化済の単位ブロックの量子化値を用いて算出し、最頻の量子化値を用いて、非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を変更する。【選択図】図１
2011223307.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素から構成される単位ブロックの各画素に対して、直交変換、量子化および符号化を順次行って単位ブロック毎に符号化を行う画像符号化装置において、
前記量子化により得られた前記単位ブロックの量子化値を受け取り、該量子化値の並び順を変更して符号化手段に送出する配置手段を具備し、
該配置手段は、非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を変更することを特徴とする画像符号化装置。
【請求項２】
複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から予測される各画素との間で差分処理を行って得られた予測残差について直交変換、量子化および符号化を順次行って単位ブロック毎に符号化を行う画像符号化装置において、
前記量子化により得られた前記単位ブロックの量子化値を受け取り、該量子化値の並び順を変更して符号化手段に送出する配置手段を具備し、
該配置手段は、非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を変更することを特徴とする画像符号化装置。
【請求項３】
複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から予測される各画素との間で差分処理を行って得られた予測残差について直交変換、量子化および符号化を順次行って単位ブロック毎に符号化を行う画像符号化装置において、
前記量子化により得られた前記単位ブロックの量子化値と予測情報とを受け取り、該量子化値の並び順を変更して符号化手段に送出する配置手段を具備し、
該配置手段は、前記予測情報を用いて、非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を変更することを特徴とする画像符号化装置。
【請求項４】
前記配置手段が前記並び順を決定するのに利用する量子化値は、符号化済の単位ブロックの量子化値に限定されていることを特徴とする請求項1ないし３のいずれかに記載の画像符号化装置。
【請求項５】
前記配置手段は、単位ブロック内の周波数毎に量子化値の頻度を算出し、該頻度に応じて量子化値の全て若しくはその一部の順序を決定することを特徴とする請求項1ないし４のいずれかに記載の画像符号化装置。
【請求項６】
前記単位ブロック内の周波数毎の量子化値の頻度は、符号化済の量子化値を逐次計数することで算出されることを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記配置手段は、前記周波数毎の量子化値の頻度を、予測情報の種類及び／又はパラメータ毎に算出することを特徴とする請求項５または６に記載の画像符号化装置。
【請求項８】
前記配置手段は、符号化対象ブロックの予測情報と一致する予測情報で算出した量子化値の頻度において、周波数毎の最頻値を当該ブロックの各量子化値として推定することを特徴とする請求項５ないし７のいずれかに記載の画像符号化装置。
【請求項９】
前記配置手段は、周波数毎の量子化値の頻度において、最頻値の絶対値の順序で当該ブロックの各量子化値を配置することで、０値が最後に連続しやすいようにすることを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記配置手段は、周波数毎の量子化値の頻度において、最頻値の絶対値が同じ場合は、正負符号毎にまとめるような順序で当該ブロックの各量子化値を配置し、同値が連続しやすいようにすることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記配置手段は、周波数毎の量子化値の頻度において、最頻値が一致する場合は最頻値の出現確率の順序で当該ブロックの各量子化値を配置することで、同値が連続しやすいようにすることを特徴とする請求項９に記載の画像符号化装置。
【請求項１２】
前記配置手段は、周波数毎の量子化値の頻度において、初期値として予め他の画像で算出した頻度を利用するように構成されていることを特徴とする請求項９に記載の画像符号化装置。
【請求項１３】
前記配置手段は、周波数毎の量子化値の頻度において、実際の量子化値が非０値である場合に、他の量子化値にも非０値が同時に発生する頻度を用いて、未配置の量子化値における０値の頻度を補正するように構成されていることを特徴とする請求項５に記載の画像符号化装置。
【請求項１４】
前記配置手段は、周波数毎の量子化値の頻度において、０値の頻度の降順に並べてから非０値が同時に発生する頻度による補正を未配置の量子化値に適用することで、０値が連続しやすいように配置することを特徴とする請求項１３に記載の画像符号化装置。
【請求項１５】
前記配置手段は、周波数毎の量子化値の頻度において、不一致の量子化値が位置する場所を中心とした２次元近傍の頻度について、０値の頻度を低下させるようにすることを特徴とする請求項１４に記載の画像符号化装置。
【請求項１６】
前記配置手段は、周波数毎の量子化値の頻度において、不一致の量子化値が位置する場所を中心とした２次元近傍の範囲は、前記量子化値の絶対値に応じて変化させるようにすることを特徴とする請求項１５に記載の画像符号化装置。
【請求項１７】
前記配置手段は、周波数毎の量子化値の頻度において、不一致の量子化値が位置する場所を中心とした２次元近傍の頻度で低下させる値は、前記量子化値の絶対値に応じて変化させることを特徴とする請求項１５に記載の画像符号化装置。
【請求項１８】
前記配置手段は、周波数毎の量子化値の頻度において、不一致の量子化値が位置する場所を中心とした２次元近傍の頻度で低下させる値は、当該ブロックに限定することで他のブロックには引き継がないようにすることを特徴とする請求項１５ないし１７のいずれかに記載の画像符号化装置。
【請求項１９】
前記配置手段は、周波数毎の量子化値の頻度において、頻度が更新された場合は、未配置の周波数について順序の再設定を反復することを特徴とする請求項５ないし７のいずれかに記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置に関し、特に、変換係数の並び順を適応的に変化させることで、符号化効率を向上させる画像符号化装置に関するものである。
【背景技術】
【０００２】
従来の画像符号化において、ブロック単位で処理された変換係数を可変長符号化する際に、ラン・レベル符号化が用いられている。ラン・レベル符号化は、変換係数の量子化後に０値が多く出現する特性を利用して、０値と非０値とを区別して処理する。具体的には、非０値の前に並ぶ０値の個数（ラン）と非０値そのもの（レベル）とが一組となって可変長符号化される。よって、０値が連続している場合は、ラン・レベル符号化の符号化効率が向上する。なお、０値の出現確率が同じ場合でも、０値が連続する場合と連続しない場合では符号化効率が大きく異なる。
【０００３】
ところで、ブロック単位で処理される変換係数は２次元状に配置されているので、量子化後に１次元で配置し直されるにあたり、従来の配置方式では、ラン・レベル符号化で効率的に符号化できるように、なるべく０値が連続するように工夫されている。
【０００４】
非特許文献１で示されるH．264 や一般的な映像符号化方式では、人間の視覚特性が高周波成分に敏感でないことを利用して、量子化で高周波成分に０値が発生しやすくした上で、低周波から高周波に並ぶように一次元へ配置している。
【０００５】
非特許文献２乃至非特許文献５では、予め設定した複数の並び順の中から０値が連続しやすい順序を適応的に選択することで、符号化効率を高める方法を提案している。特に、非特許文献５では、近傍のブロックが選択した順序から当該ブロックの順序を予測することで符号化効率を高める方法を提案している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】角野他，「Ｈ．２６４／ＡＶＣ教科書インプレス標準教科書シリーズ」，インプレスネットビジネスカンパニー，２００４年
【非特許文献２】Xiaopeng Fan, et al."A novel coefficient scanning scheme for directional spatial prediction-based image compression," Proceedings of the 2003 International Conference on Multimedia and Expo, Vol. II, pp.557-560, 2003.
【非特許文献３】Li Zhang, et al. "Macroblock-Level Adaptive Scan Scheme for Discrete Cosine Transform Coefficients," IEEE International Symposium on Circuits and Systems, pp. 537-540, 2007.
【非特許文献４】Yang Tao, et al, "More scanning patterns for entropy coding for H.264" Proceedings of 2007 International Symposium on Intelligent Signal Processing and Communication Systems, pp490-493, 2007.
【非特許文献５】Jie Jia, et al."A most probable scan mode decision for H.264/AVC interpicture coding," 2nd IEEE International Conference on Computer Science and Information Technology, pp. 401-405, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１は、一通りの順序しか用意していないため、複数の予測モードによって０値の発生確率が変化する場合に対応できないという問題がある。例えば、H．264 のIntra予測は符号化済みの近接する画素を基準として対象ブロックの予測値を生成するので、予測の基準となる画素から離れるほど大きな予測誤差が生じるという問題が指摘されている。Intra 予測は９種類の予測方法で構成されているので、大きな予測誤差の発生しやすい場所は予測方法毎に異なる。すなわち、量子化後の変換係数が0 値になりやすい場所も異なるため、非特許文献１は符号化効率を十分に高めることができないという問題がある。
【０００８】
一方、非特許文献２、非特許文献３および非特許文献４は、それぞれ複数の異なる順序を適応的に選択するため、非特許文献１の問題を解決できる。しかしながら、いずれもブロック毎にどの順序を選択したのかを表す情報（サイド情報）を追加しなければならないため、適応的順序による符号化効率の改善効果を追加情報によって打ち消される恐れがある。
【０００９】
非特許文献５は、３種類の順序を適応的に選択するとともに、当該ブロックの順序を予測することで順序を表す追加情報を削減するため、非特許文献１乃至非特許文献４の問題を解決する。しかし、予め設定された複数の順序の中に０値の連続長を最大化する最適な順序が常に存在するとは限らないという問題がある。
【００１０】
本発明の目的は、前述した従来技術の問題点を解消し、非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を適応的に変更して、符号化効率の高い画像符号化装置を提供することにある。
【課題を解決するための手段】
【００１１】
前記した目的を達成するために、本発明は、複数の画素から構成される単位ブロックの各画素に対して、直交変換、量子化および符号化を順次行って単位ブロック毎に符号化を行う画像符号化装置、または複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から予測される各画素との間で差分処理を行って得られた予測残差について直交変換、量子化および符号化を順次行って単位ブロック毎に符号化を行う画像符号化装置において、前記量子化により得られた前記単位ブロックの量子化値を受け取り、該量子化値の並び順を変更して符号化手段に送出する配置手段を具備し、該配置手段は、非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を変更するようにした点に第１の特徴がある。
【００１２】
また、本発明は、複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から予測される各画素との間で差分処理を行って得られた予測残差について直交変換、量子化および符号化を順次行って単位ブロック毎に符号化を行う画像符号化装置において、前記量子化により得られた前記単位ブロックの量子化値と予測情報とを受け取り、該量子化値の並び順を変更して符号化手段に送出する配置手段を具備し、該配置手段は、前記予測情報を用いて、非０の量子化値あるいは０の量子化値が連続して並ぶように、前記単位ブロックの量子化値の並び順を変更するようにした点に第２の特徴がある。
【００１３】
また、前記配置手段が前記並び順を決定するのに利用する量子化値は、符号化済の単位ブロックの量子化値に限定されるようにした点に第３の特徴がある。
【００１４】
また、前記配置手段は、単位ブロック内の周波数毎に量子化値の頻度を算出し、該頻度に応じて量子化値の全て若しくはその一部の順序を決定するようにした点に第４の特徴がある。
【００１５】
また、前記配置手段は、周波数毎の量子化値の頻度において、実際の量子化値が非０値である場合に、他の量子化値にも非０値が同時に発生する頻度を用いて、未配置の量子化値における０値の頻度を補正するように構成した点に第５の特徴がある。
【発明の効果】
【００１６】
前記第１、第２の特徴によれば、符号化手段で各単位ブロックの符号化対象領域の画素についての符号化を行うに際して、非０の量子化値あるいは０の量子化値が連続して並ぶようになるので、符号化手段での符号化が効率的になる。
【００１７】
また、前記第２の特徴によれば、予測手段から入力される予測情報の種類毎に、空間的に対応する単位ブロックの各画素の配置を変えることができるようになり、非０の量子化値あるいは０の量子化値が連続して並ぶようになるので、符号化手段での符号化が効率的になる。
【００１８】
前記第３、第４、第５の特徴によれば、復号側でも符号化側と同等の処理が行えるので、量子化値の順序に関して追加情報を復号側に送る必要がない。換言すれば、配置は適応的に変化しうるにも関わらず、配置に関する情報を格納する必要がないことから高い符号化効率が可能となる。
【００１９】
前記第４、第５の特徴によれば、過去の量子化値の頻度に基づいて空間的に対応する単位ブロックの各画素の配置を変えることができるようになり、非０の量子化値あるいは０の量子化値が連続して並ぶようになるので、符号化手段での符号化が効率的になる。また、同じ値を持つ量子化値が並びやすくなり、符号化効率を改善することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明が適用される画像符号化装置の一実施形態のブロック図である。
【図２】図１の画像符号化装置に対応する画像復号装置の一実施形態のブロック図である。
【図３】本発明の第１実施形態の動作を説明するフローチャートである。
【図４】入力画像ａの説明図である。
【図５】予測情報（モード）別のブロックを説明する図である。
【図６】モード別のブロックの量子化値の２次元配置を示す図である。
【図７】周波数毎の量子化値の頻度の一例（ヒストグラム）を説明する図である。
【図８】第１実施形態における、量子化値の１次元配置の１例を説明する図である。
【図９】非０共起確率の具体例を示す図である。
【図１０】本発明の第２実施形態の動作を説明するフローチャートである。
【図１１】第２実施形態における、量子化値の１次元配置の１例を説明する図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の画像符号化装置の構成を示すブロック図、図２は画像復号装置の構成を示すブロック図である。
【００２２】
本発明の一実施形態の画像符号化装置は、複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から予測される各画素との間で差分処理を行って得られた予測残差について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置において、前記単位ブロックの量子化値を効率的に符号化できるように配置する機能を付加した構成を特徴とするものである。
【００２３】
本実施形態の画像符号化装置は、図１に示すように、差分器１と、予測誤差を直交変換で周波数領域に変換する変換手段２と、該変換手段２で得られた変換係数を量子化する量子化手段３と、該量子化手段３で量子化された量子化値及び予測情報に応じて適応的に量子化値を配置する配置手段４と、該配置手段で適応的に配置された量子化値（量子化された変換係数）を可変長符号化する符号化手段５と、該量子化された変換係数を逆量子化する逆量子化手段６と、該逆量子化により得られた変換係数を逆変換して予測誤差を再生する逆変換手段７と、符号化済の復号画素から入力画素を予測する予測手段８と、予測情報及び符号化済の復号画素から予測画素を生成する補償手段９と、加算手段１０とから構成されている。
【００２４】
一方、本発明の一実施形態の画像符号化装置に対応する画像復号装置の一実施形態は、図２に示すように、逆直交変換で画素領域に逆変換する復号手段２１と、量子化値及び予測情報に応じて適応的に量子化値を逆配置する逆配置手段２２と、量子化されている変換係数を逆量子化する逆量子化手段２３と、逆量子化手段２３で得られた変換係数を逆変換する逆変換手段２４と、予測情報及び復号済画素から予測画素を生成する補償手段２５と、加算手段２６とから構成されている。該画像復号装置の動作については、後述する。
【００２５】
以下に、図１の画像符号化装置の動作を説明する。
【００２６】
入力画像ａである符号化対象領域の入力画素は、差分器１と予測手段８に入力する。差分器１は、該入力画素と、補償手段９から送られる符号化済画素から予測された予測画素との差分を予測残差として算出し、算出された予測残差は変換手段２に送られる。
【００２７】
変換手段２は、差分器１から送られてきた予測残差を、直交変換によって周波数領域に変換し、該直交変換によって得られた変換係数を量子化手段３に出力する。直交変換としては、ＤＣＴ、ＤＣＴの近似変換またはＤＷＴ（離散ウェーブレット変換）などを利用することができる。入力画像の各ピクチャ（フレーム）は、予め規定された数の画素（例えば、３２×３２画素、１６×１６画素、８×８画素、４×４画素あるいはそれらの組み合わせ）から構成される単位ブロックに分割され、単位ブロック毎に直交変換が行われる。
【００２８】
量子化手段３は、変換手段２から送られてきた変換係数を量子化する。量子化によって得られた量子化値は、配置手段４及び逆量子化手段６に出力される。量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで、出力するビットレートを一定に保つことも可能である。
【００２９】
配置手段４は、予測手段８から送られる予測情報と、量子化手段３から送られる量子化値とを入力する。入力された量子化値は、後述の手順に従って、予測情報と過去の頻度若しくは確率に応じて、符号化手段５で効率的に符号化しやすい順序へと適応的に並べられる。なお、後述の手順を適用する量子化値は、単位ブロック内の全ての量子化値を対象としても良いし、あるいはその一部だけを対象としても良い。後者の場合は、低周波成分を予め設定した順序で並べ、高周波成分を適応配置とすることが望ましい。並び直された量子化値は符号化手段５に送られる。
【００３０】
符号化手段５は、配置手段４から送られた量子化値及び予測手段から送られた予測情報を符号化し、符号情報ｂとして出力する。符号化は、符号間の冗長性を取り除く可変長符号又は算術符号などを利用することができる。
【００３１】
一方、逆量子化手段６は、量子化処理の逆の手順を行うことで、量子化手段３から送られた量子化値を変換係数に逆量子化する。逆量子化によって得られた変換係数は逆変換手段７に送られる。
【００３２】
逆変換手段７は、直交変換の逆の手順を行うことで、逆量子化手段６から送られた変換係数を逆直交変換する。逆変換によって得られた予測残差は加算器１０に送られる。
【００３３】
加算器１０には、逆変換手段７から送られる予測残差と、補償手段９から送られる符号化済画素から予測された予測画素とが入力される。加算器１０は、入力された予測残差と予測画素との合計を復号画素として算出する。算出された復号画素は予測手段８と補償手段９とに送られる。
【００３４】
予測手段８は、画像の冗長性を削減する予測情報を決定するものであり、加算器１０から送られた復号画素をもとに、入力信号ａを近似するための方法を予測情報として決定する。決定された予測情報は配置手段４、符号化手段５および補償手段９に送られる。予測方法については、従来から各種方法が利用できる。例えば、H．264 ではIntra 予測や動き予測が利用されている。このとき、予測情報の決定については、各予測モードで個別に符号化し、符号量と歪量から算出される符号化コストを最小化する予測モードを選択する。符号化コストを最小化する方式の詳細については、非特許文献１に記載されているので説明を省略する。
【００３５】
さらに、補償手段９は、加算器１０から送られた復号画素及び予測手段８で決定された予測情報に基づいて、入力画素の近似値としての予測画素を生成する。生成された予測画素は、差分器１及び加算器１０へ送られる。
【００３６】
次に、本発明の一実施形態の画像符号化装置の特徴的構成である配置手段４で配置順序を決定する手順について説明する。図３は、該手順の概略を示すフローチャートであり、図４は前記入力画像ａの量子化の進行途中を説明する図である。
【００３７】
いま、図４に示すように、入力画像ａがフレームＦ１，Ｆ２，Ｆ３，・・・からなり、フレームＦ３の４画素×４ラインのブロックＦ３Ｂ２（以下、現在符号化ブロックと呼ぶ）が例えばH．264 の4×4Intra 予測のモード１で符号化されているとする。また、フレームＦ１の４×４ブロックＦ１Ｂ１，Ｆ１Ｂ２，Ｆ１Ｂ３，Ｆ１Ｂ４，フレームＦ２の４×４ブロックＦ２Ｂ１，Ｆ２Ｂ２，Ｆ２Ｂ３，およびフレームＦ３の４×４ブロックＦ３Ｂ１が、既に4×4Intra 予測のモード１で符号化されていたとする。
【００３８】
このような状況において、図３のステップＳ１では、現在符号化ブロックＦ３Ｂ２の予測モード１で得られた予測誤差を直交変換した係数が量子化される。ステップＳ２では、既に量子化された同一モードのブロックの量子化値を用いて、周波数ｆ０〜ｆ１５毎のヒストグラムが求められ、周波数ｆ０〜ｆ１５毎の量子化値の頻度若しくは確率が求められる。ステップＳ３では、絶対値で最大となる量子化値を使って最頻の量子化値が求められる。つまり、該ステップＳ２、Ｓ３では、予測情報毎かつ単位ブロック内の周波数毎に、量子化値の全部あるいはその一定範囲における頻度若しくは確率が計算され、最頻の量子化値が求められる。例えば、予測情報がH．264 の4×4Intra 予測のモードである場合、モード０乃至８について、それぞれ４×４個の周波数ｆ０〜ｆ１５における量子化値の頻度および最頻の量子化値が算出される。
【００３９】
図５は、4×4Intra 予測のモード０〜８に属するブロックの一例を表にして示したものであり、前記の各ブロックＦ１Ｂ１、ＦＩＢ２、・・・、Ｆ３Ｂ１がモード１に属していることが示されている。図５は、またモード０，２〜８に属する既に量子化された他のブロックが存在することを示している。
【００４０】
図６には、モード１の既に（過去に）量子化された４×４ブロックＦ１Ｂ１，Ｆ１Ｂ２，Ｆ１Ｂ３，Ｆ１Ｂ４，Ｆ２Ｂ１，Ｆ２Ｂ２，Ｆ２Ｂ３およびＦ３Ｂ１の量子化値と、現在符号化ブロックＦ３Ｂ２の量子化値との一例が周波数ｆ０〜ｆ１５（図７（ａ）参照）に対応させて示されている。図示されていないが、他のそれぞれのモードのブロックに対しても、同様に、各ブロックの量子化値が周波数ｆ０〜ｆ１５に対応させて求められていることは明らかである。
【００４１】
次いで、図７（ｂ）に示されているように、周波数ｆ０〜ｆ１５のそれぞれに対して、モード１のブロックの量子化値のヒストグラムが求められる。そして、各周波数毎の頻度が最大の量子化値が求められる。例えば、周波数ｆ０、ｆ１、・・・、ｆ１５の頻度が最大の量子化値として、図示されているように、５、−６、・・・、０が算出される。
【００４２】
次に、図３のステップＳ４では、頻度が最大となる量子化値の絶対値を使って周波数ｆ０〜ｆ１５が降順に並べられる。例えば、周波数ｆ０、ｆ１、・・・・、ｆ１５に対応する頻度が最大となる値が、図８に示される、５、−６、３、−４、・・・、０であったとすると、該頻度が最大となる値の絶対値を使って、周波数０〜ｆ１５が図示されているように降順に並べられる。
【００４３】
ステップＳ５では、絶対値が同値で正負が異なるものがあるかどうかの判断がなされる。この判断が肯定の場合には、ステップＳ６に進んで、予め定めた所定の順序で並べられる。正負、負正のどちらの順序で並べても構わないが、予め並べる順序は確定しておく。
【００４４】
ステップＳ５の判断が否定の場合にはステップＳ７に進んで、絶対値も正負も同値であるものがあるかどうかの判断がなされる。この判断が肯定の場合には、ステップＳ８に進んで、確度を使って並び順が確定される。確度には、最大頻度の度数あるいは頻度の分散を利用できる。度数を利用する場合は、度数の昇順に並べる。一方、分散を利用する場合は、分散の降順に並べる。なお、度数は、例えば図７（ｂ）のヒストグラムの縦軸である。このように度数の昇順または分散の降順に並べるのは、０が連続する可能性を高めるためである。例えば、図８では、ｆ８からｆ１５までは０が最頻値となっているが、ｆ８における０の度数が例えば１００個であり、一方ｆ１５における０の度数が１００００個であるとすると、符号化対象ブロックのｆ８よりｆ１５に０が出現しやすいといえる。よって、ｆ８とｆ１５をランダムに並べるより、ｆ１５をｆ８より後に配置した方が、０が連続する可能性が高まる。他の周波数でも同様である。
【００４５】
ステップＳ９では、頻度が最大の量子化値の全てが降順に並べられたか否かの判断がなされ、この判断が否定の場合にはステップＳ４に戻って前記ステップＳ４〜Ｓ９の処理が繰り返される。
【００４６】
このようにしてステップＳ９が肯定になると、ステップＳ１０に進み、現在符号化ブロックＦ３Ｂ２の量子化値を、降順に並べられた周波数ｆ０〜ｆ１５の順に配列する。
【００４７】
例えば、図８に示されているように、周波数ｆ０、ｆ１、・・・・、ｆ１５に対応する頻度が最大となる値が、５、−６、・・・、０であったとすると、該頻度が最大となる値の絶対値を使って、周波数が降順に並べられる。降順に並べられた周波数が、ｆ１、ｆ０、ｆ３、ｆ２、・・・、ｆ１５であったとすると、現在符号化ブロックＦ３Ｂ２の量子化値が、この周波数の並び順に１次元配置される。つまり、入力された２次元配置の量子化値を前記周波数の並び順で１次元配置の量子化値として配置する。
【００４８】
最後に、ステップＳ１１で、現在符号化ブロックＦ３Ｂ２の周波数毎の量子化値を使って頻度を更新することで、次の単位ブロックの処理に備える。なお、最初に符号化するブロックでは、過去の頻度が存在しないため、予め他の画像で算出した頻度を初期値として利用することもできる。
【００４９】
このようにして１次元配置することにより、１以上の値をもつ量子化値を配列した後に０の値をもつ量子化値が配列される確率が高くなる。換言すれば、１以上の値をもつ量子化値の配列の中に０の値をもつ量子化値が入ったり、逆に０の値をもつ量子化値の配列の中に１以上の値をもつ量子化値（非０の量子化値）が入ったりする確率が小さくなる。この結果、符号化手段５における符号化効率を高めることができるようになる。また、絶対値が同じ量子化値を隣り合わせに並べることができるようになる。また、配置手段４は、前記周波数毎の量子化値の頻度を、予測情報の種類及び／又はパラメータ毎に算出するので、予測符号化モードの特性に応じた配置を求めることができる。
【００５０】
前記の説明は、現在符号化ブロック（Ｆ３Ｂ２）に対するものであったが、前記の処理は、入力画像ａの最後のブロックまで順次行われることは明らかである。
【００５１】
次に、本発明の第２実施形態を説明する。この実施形態は、非０が同時に発生する共起確率で１次元配置を一時的に補正することによって、個別ブロックの特性に対応させるようにしたものである。ここでの非０共起確率は、ある周波数における量子化値が非０であるとき、他の各周波数における量子化値も非０である確率であることを指す。
【００５２】
例えば、図９の具体例では、直交変換後の４×４個の周波数ｆ０〜ｆ１５がある場合、周波数ｆ０における量子化値が非０であるとき、他の各周波数ｆ１〜ｆ１５における量子化値も非０である確率（又は、頻度）は、それぞれ、０．９８、０．９７、０．８７、０．７、・・・・・、０．３１、０．０１であることを示している。また、周波数ｆ１における量子化値が非０であるとき、他の各周波数ｆ０、ｆ２〜ｆ１５における量子化値も非０である確率（又は、頻度）は、それぞれ、０．９８、０．８、０．４、０．６５、・・・、０．３、０．０１であることを示している。また、周波数ｆ８における量子化値が非０であるとき、他の各周波数ｆ０〜ｆ７、ｆ９〜ｆ１５における量子化値も非０である確率（又は、頻度）は、それぞれ、０．３、０．２９、０．２２、０．３１、・・・、０．０４、０．０３であることを示している。以下、同様である。なお、この非０共起確率は、既に符号化された同じモードの量子化値を用いて求められたものである。
【００５３】
次に、該第２実施形態の機能を、図１０のフローチャートを参照して説明する。なお、いま、現在符号化ブロック（Ｆ３Ｂ２）の量子化値Ｘと各周波数ｆ０〜ｆ１５が０になる確率又は頻度（以下、０確率Ｙという）が、それぞれ図１１(a)、(b)に示されているような値であったとし、随時図１１(a)〜(c)を参照して具体例で説明する。
【００５４】
図１０のステップＳ２１では、図４で説明したように、現在符号化ブロック（Ｆ３Ｂ２）が量子化される。ステップＳ２２では、該現在符号化ブロック（Ｆ３Ｂ２）の量子化値を、０確率Ｙの降順で１次元に整列する。ステップＳ２３では、該整列中に、非０の量子化値が現れたかどうかの判断がなされる。非０の量子化値でない場合には、ステップＳ２２の動作が継続されるが、非０の量子化値が現れると、処理はステップＳ２４に進む。
【００５５】
例えば、現在符号化ブロック（Ｆ３Ｂ２）の量子化値Ｘと各周波数ｆ０〜ｆ１５が０になる確率（０確率Ｙ）とが、図１１(a)、(b)のそれぞれに示されているような値であったとすると、同図(c)に示されているように、各周波数の量子化値Ｘが０確率Ｙの値の降順に１次元に整列される。この整列途中で非０の値が現れたかどうかが監視され、例えば周波数ｆ８で非０の量子化値「１」が現れると、図３のステップＳ２３が肯定となり、処理はステップＳ２４に進む。
【００５６】
ステップＳ２４では、一般に、０確率Ｙの高い周波数の量子化値ほど、非０が出現した時の共起確率Ｚが高いことを利用して、未配置の量子化値における０確率から対応する非０共起確率に予め設定した値を乗じて求めた値を減算する。次いで、ステップＳ２５で、未配置の量子化値を０確率の降順で再整列する。例えば、図１１(c)では、周波数ｆ８の量子化値が「１」であったから、周波数ｆ８より後の周波数ｆ１０、ｆ１２、・・・、ｆ０の０確率Ｙから、周波数ｆ８の該周波数ｆ１０、ｆ１２、・・・、ｆ０に対する非０共起確率に予め設定した値（例えば、０．５）を乗じて求めた値が減算される。そして、該減算された０確率の値を用いて、未配置の量子化値Ｘが０確率の値の降順に１次元に整列される。この処理により、周波数ｆ８の隣に非０の量子化値がくる確率が低くなる。換言すれば、１次元配列の後の方に非０の量子化値が集まるので、該後の方で非０の量子化値が連続する確率が高くなる。
【００５７】
ステップＳ２６では、最後の量子化値、つまり１６個目の量子化値が整列されたか否かの判断が行われ、否定の場合には、ステップＳ２７に進んで現在符号化ブロック（Ｆ３Ｂ２）の量子化値を、再整列した順に１次元整列する。次いでステップＳ２８に進んで、再び非０が出現したかどうかの判断がなされる。この判断が否定の場合にはステップＳ２６に進む。一方、肯定の場合には、ステップＳ２４に進んで、未配置の量子化値における０確率から、対応する非０共起確率に予め設定した値を乗じて求めた値を減算される。以上のように、ステップＳ２４〜Ｓ２８が繰り返されて、ステップＳ２６が肯定になると、ステップＳ２９に進む。
【００５８】
ステップＳ２９では、前記のようにして得られた１次元の結果を逆順で出力する。さらに、ステップＳ３０では、前記０確率Ｙと非０共起確率Ｚとを更新して処理を終了する。なお、非０共起確率の補正は、当該ブロックだけで利用することとし、他のブロックには引き継がないことで、ブロック固有の分布に適応することができる。
【００５９】
なお、前記の説明では、周波数ｆ８に非０の量子化値が現れた時、それ以降の周波数に対応する量子化値の非０の値が周波数ｆ８から離れるようにしたが、これとは逆に、非０の値が周波数ｆ８に近づくようにして、ｆ８の後に非０の値が続くようにしてもよい。
【００６０】
本実施形態によれば、前記ステップＳ２３〜Ｓ２５の処理により、非０の量子化値が現れたら、０確率Ｙを非０共起確率Ｚで補正して未配置の量子化値を再整列させるようにしているので、非０の値あるいは０の値が並びやすくなり、符号化手段５での符号化を適応的に効率的に行えるようになる。
【００６１】
次に、本発明の第３実施形態を説明する。この実施形態は、第２実施形態を簡略化したものであり、非０共起確率が周波数の差に反比例しやすいことを利用して、非０値が現れた場所を中心として２次元配置における近傍の周波数の０値の確率または頻度を低下させるように逐次変更する。
【００６２】
具体的には、前記並び順で配置している途中に非０値が現れた場合は、該非０値の近傍の周波数における０値の確率または頻度を予め設定した値だけ低下させる。あるいは、非０値の絶対値に比例して近傍の範囲及び低下させる量を変化させても良い。更新された０値の確率または頻度に応じて未配置の周波数の順序を再設定することを繰り返すことで、符号化効率を向上させる可能性が高い並び順に変更することができる。
【００６３】
また、前記第１〜３実施形態では、配置手段４が前記並び順を決定するのに利用する量子化値は、符号化済の単位ブロックの量子化値に限定されているので、復号側でも同等の処理が行える。このため、順序に関して追加情報を保持することなく再構成できるようになる。
【００６４】
また、前記単位ブロック内の周波数毎の量子化値の頻度、０確率又は非０共起確率の算出を、符号化済の量子化値を逐次計数することで行うようにしたので、素材の特性やビットレートの変動に応じて順序を決定することができるようになる。
【００６５】
次に、図２の画像復号装置の動作を説明する。前記符号情報ｂが復号手段２１に入力してくると、該復号手段２１は、前記符号化手段５の逆の手順としての可変長復号を行うことで量子化値及び予測情報を出力する。可変長復号によって得られた量子化値は逆配置手段２２に、一方予測情報は逆配置手段２２と補償手段２５に送られる。
【００６６】
逆配置手段２２は、復号手段２１から送られる量子化値と予測情報とを入力し、前記配置手段４と逆の手順によって、２次元配置に並べられる。並び直された量子化値は逆量子化手段２３に送られる。該逆量子化手段２３で逆量子化することにより得られた変換係数は、逆変換手段２４に送られて逆変換され、予測誤差が再生される。補償手段２５は、加算器２６から送られた復号画素及び復号手段２１から送られた予測情報に基づいて、入力画素の近似値としての予測画素を生成する。加算器２６は、逆変換手段２４から送られる予測誤差と補償手段２５からの予測画素とを加算して復号画像ｃを生成し、出力する。
【００６７】
前記逆配置手段２２は、予測情報と量子化値に基づいて、4×4Intra予測のモード別にブロックの各周波数ｆ０〜ｆ１５の頻度が最大の量子化値を求めて元の２次元配置に並べ直すことができる、あるいは各周波数ｆ０〜ｆ１５の０確率及び非０共起確率を求めて元の２次元配置に並べ直すことができるから、配置に関する情報である追加情報を用いる必要がない。このため、前記配置手段４で非０の量子化値あるいは０の量子化値が連続して並びやすくした分、符号化効率を改善することができる。
【００６８】
なお、前記した実施形態は、H．264の符号化装置を例に挙げて説明したが、本発明はこれに限定されず、JPEG、MPEGなどの符号化装置および復号装置にも適用できることは明らかである。JPEGの符号化装置は、図１の変換手段２，量子化手段３，配置手段４および符号化手段５から構成されること、また、MPEGの符号化装置は、図１において、予測手段８を有しないことは明らかである。
【符号の説明】
【００６９】
２・・・変換手段、３・・・量子化手段、４・・・配置手段、５・・・符号化手段、６・・・逆量子化手段、７・・・逆変換手段、８・・・予測手段、９・・・補償手段、２１・・・復号手段、２２・・・逆配置手段、２３・・・逆量子化手段、２４・・・逆変換手段、２５・・・補償手段。
【図１】
2011223307.tif 000003
【図２】
2011223307.tif 000004
【図３】
2011223307.tif 000005
【図４】
2011223307.tif 000006
【図５】
2011223307.tif 000007
【図６】
2011223307.tif 000008
【図７】
2011223307.tif 000009
【図８】
2011223307.tif 000010
【図９】
2011223307.tif 000011
【図１０】
2011223307.tif 000012
【図１１】
2011223307.tif 000013
【手続補正書】
【提出日】平成22年4月21日(2010.4.21)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2011223307.tif 000014
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2011223307.tif 000015