(57)【要約】  予測符号化方式を利用した画像圧縮装置は、圧縮対象画像内の１ラインにつき、複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい予測器による予測誤差量に基づいて、複数種類の量子化器のうち一つの量子化器を決定する。また、上記１ライン内の所定の画素ブロックにつき、上記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい予測器の種類に基づいて、上記複数種類の予測器のうち一つの予測器を特定する。そして、特定された予測器と決定された量子化器とを用いて画素ブロックのデータを圧縮する。画像復元装置は、決定された量子化器に対応する逆量子化器と特定された予測器とを用いて、圧縮画像データから圧縮対象画像を復元する。
2009157047.tif 000002
【特許請求の範囲】
【請求項１】
予測符号化方式を利用した画像圧縮装置であって、
複数種類の予測器と、
複数種類の量子化器と、
圧縮対象画像内の１ラインにつき、前記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器による予測誤差量に基づいて、前記複数種類の量子化器のうち一つの量子化器を決定する広域評価部と、
前記１ライン内の所定の画素ブロックにつき、前記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器の種類に基づいて、前記複数種類の予測器のうち一つの予測器を特定する局所評価部と、
前記局所評価部により特定された予測器と、前記広域評価部により決定された量子化器とを用いて、前記所定の画素ブロックのデータを圧縮する圧縮部と、
を有することを特徴とする画像圧縮装置。
【請求項２】
前記広域評価部は、前記予測誤差量が大きい場合に、前記量子化器として、相対的に大きな量子化ステップ幅を有する量子化器を決定することを特徴とする請求項１記載の画像圧縮装置。
【請求項３】
前記１ラインの画素値を格納するラインバッファをさらに備え、前記局所評価部は、該ラインバッファから出力される画素値を用いた予測により前記予測誤差を生成し、前記広域評価部は、該ラインバッファに入力される画素値を用いた予測により前記予測誤差量を算出することを特徴とする請求項１又は２記載の画像圧縮装置。
【請求項４】
予測符号化方式を利用した画像復元装置であって、
圧縮対象画像内の１ラインにつき、複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器による予測誤差量に基づいて決定された、複数種類の量子化器のうち一つの量子化器を示す量子化器情報と、前記１ライン内の所定の画素ブロックにつき、前記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器の種類に基づいて特定された、前記複数種類の予測器のうち一つの予測器を示す予測器情報と、該特定された予測器と該決定された量子化器とを用いて前記所定の画素ブロックのデータを圧縮して得られた圧縮画像データとを受信する受信部と、
前記量子化器情報が示す量子化器に対応する逆量子化器と、前記予測器情報が示す予測器とを用いて、前記圧縮画像データから前記圧縮対象画像を復元する復元部と、
を有することを特徴とする画像復元装置。
【請求項５】
予測符号化方式を利用した画像圧縮処理を行うコンピュータのためのプログラムであって、
圧縮対象画像内の１ラインにつき、複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器による予測誤差量に基づいて、複数種類の量子化器のうち一つの量子化器を決定し、
前記１ライン内の所定の画素ブロックにつき、前記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器の種類に基づいて、前記複数種類の予測器のうち一つの予測器を特定し、
前記特定された予測器と決定された量子化器とを用いて前記所定の画素ブロックのデータを圧縮する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【請求項６】
前記コンピュータは、前記予測誤差量が大きい場合に、前記量子化器として、相対的に大きな量子化ステップ幅を有する量子化器を決定することを特徴とする請求項５記載のプログラム。
【請求項７】
前記コンピュータは、前記１ラインの画素値を格納するラインバッファから出力される画素値を用いた予測により前記予測誤差を生成し、該ラインバッファに入力される画素値を用いた予測により前記予測誤差量を算出することを特徴とする請求項５又は６記載のプログラム。
【請求項８】
予測符号化方式を利用した画像復元処理を行うコンピュータのためのプログラムであって、
圧縮対象画像内の１ラインにつき、複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器による予測誤差量に基づいて決定された、複数種類の量子化器のうち一つの量子化器を示す量子化器情報と、前記１ライン内の所定の画素ブロックにつき、前記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい該予測器の種類に基づいて特定された、前記複数種類の予測器のうち一つの予測器を示す予測器情報と、該特定された予測器と該決定された量子化器とを用いて前記所定の画素ブロックのデータを圧縮して得られた圧縮画像データとを受信し、
前記量子化器情報が示す量子化器に対応する逆量子化器と、前記予測器情報が示す予測器とを用いて、前記圧縮画像データから前記圧縮対象画像を復元する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測符号化方式（Differential Pulse Code Modulation，ＤＰＣＭ）を利用した画像圧縮装置及び画像復元装置に関する。
【背景技術】
【０００２】
画像データを圧縮してデータ量を削減する画像圧縮技術は、様々な分野の機器に用いられており、その分野の１つとして車載装置が挙げられる。車載装置に表示される動画像に画像圧縮技術を適用するには、以下の条件を満たす必要がある。
（１）高画質
自然画とComputer Graphics （ＣＧ）画像の双方で高画質であることが求められる。車載装置で扱う画像情報としては、一般のテレビ画像や映画等に代表される自然画と、カーナビゲーションの地図等に代表されるＣＧ画像（デジタル画像）が知られている。これらは画像の性質としては大きく異なり、自然画では低周波成分が、またデジタル画像では高周波成分が多く含まれている。最近の車載装置や携帯電話機を含む携帯端末では、地図等のデジタル画像と、テレビ画像や映画等の自然画像との両方を扱うようになってきており、これらのように特性の異なる画像についても効果的な画像圧縮技術が望まれている。
（２）低遅延
映像情報は、通常、車載Local Area Network（ＬＡＮ）により伝送される。このとき、車中の前部座席と後部座席の双方において画面のズレがないように同等の映像を表示するためには、圧縮、伝送、及び復元処理に時間がかからず低遅延であることが求められる。
（３）軽量
多重伝送を行う場合、ＬＡＮ端末毎に圧縮装置及び復元装置が必要になるため、個々の装置の回路規模が小さく、かつ、軽量であることが求められる。【０００３】
画像圧縮技術の１つとして、画素単位で画素値を予測する予測符号化方式が知られている。予測符号化方式を利用した画像圧縮技術では、量子化ステップの幅を変化させることで、自然画とＣＧ画像のように特性の異なる画像の双方に対して、精密に発生符号量を調整することができる。【０００４】
図１は、この予測符号化方式を利用した画像圧縮処理を示している。予測器１０２は、圧縮前の画像データ１０１が入力されると、周辺画素の画素値から対象画素の画素値を予測し、実際の画素値と予測値の差を予測誤差として出力する。【０００５】
例えば、通常の平面予測では、図２に示すように、注目ライン２０２上の対象画素２１４の画素値Ｘが、注目ライン２０２上の隣接画素２１３と直前ライン２０１上の隣接画素２１１及び２１２の画素値を用いて予測される。画素２１３、２１１、及び２１２の画素値をそれぞれＡ、Ｂ、及びＣとすると、対象画素２１４の予測値Ｘ’は次式により求められる。
Ｘ’＝Ａ＋Ｃ−Ｂ      （１）
この場合、画像は概ね平坦であり、隣接画素の画素値は概ね近い値である、という前提で予測が行われる。【０００６】
次に、量子化器１０３は、予測誤差Ｘ−Ｘ’を量子化して代表値に変換する。量子化器１０３が使用する量子化ステップ幅の大小によって、同じ画像データ１０１に対する代表値は異なってくる。【０００７】
次に、可変長符号器１０４は、その代表値の出現頻度に応じた可変長符号を割り当てて、圧縮符号を生成する。通常、可変長符号の符号長は出現頻度に反比例した長さになるため、代表値が異なれば符号長も異なる。このため、量子化ステップ幅の大小によって、同じ画像データ１０１に対する圧縮効率が変化する。【０００８】
図３は、量子化ステップ幅が小さい場合の量子化代表値の例を示している。横軸は、予測器１０２から出力される予測誤差を表し、縦軸は、予測誤差の出現頻度を表している。この例では、予測誤差−３０〜＋３０が５つの量子化ステップ３０１〜３０５に分割されており、それぞれの代表値は−１８、−６、０、＋６、＋１８となっている。この場合、代表値−１８及び＋１８の符号長は最も長く、代表値−６及び＋６の符号長は中位であり、代表値０の符号長は最も短くなる。【０００９】
一方、図４は、量子化ステップ幅が大きい場合の量子化代表値の例を示している。この例では、予測誤差−３０〜＋３０が３つの量子化ステップ４０１〜４０３に分割されており、それぞれの代表値は−１５、０、＋１５となっている。図３の場合と同様に、代表値０の符号長は最も短いが、代表値−１５及び＋１５の符号長としては中位の長さを割り当てることが可能である。【００１０】
このように、量子化ステップ幅が小さい量子化器では、量子化誤差は小さくなる（画質は良い）が、圧縮効率は低下する。一方、量子化ステップ幅が大きい量子化器では、符号長の総和が短くなるので圧縮効率は向上するが、量子化誤差は大きくなる（画質は悪い）。【００１１】
このような画像圧縮処理において、異なる種類の予測アルゴリズムを選択的に切り替える方法が知られている（例えば、特許文献１を参照）。この方法では、異なる種類の音声信号が混在する場合において、それぞれ異なる予測アルゴリズムで動作する２つの予測器を設け、どちらの予測値に基づく符号を出力するかをモード判定により決定する。【００１２】
また、フィードバック型の符号量制御方法も知られている（例えば、特許文献２及び３を参照）。この制御方法では、圧縮データが可変レートでレートバッファに取り込まれ、そのレートバッファの充足度に応じて、圧縮データのビット伝送レートが修正される。その際、複数の量子化器のうちの１つを選択することで、ビット伝送レートを修正することができる。【００１３】
図５は、２つの予測器を切り替える回路と２つの量子化器を切り替える回路を組み合わせた、仮想的な画像圧縮装置の構成例を示している。この画像圧縮装置は、バッファ５０１、予測器５０２−１、５０２−２、選択部５０３、５０５、５０７、モード判定部５０４、量子化器５０６−１、５０６−２、可変長符号器５０８、レートバッファ５０９、及びレートコントローラ５１０を備える。【００１４】
バッファ５０１は、入力される画像データのうち１ライン分又は１フレーム分の画素を格納し、予測器５０２−１及び５０２−２は、それぞれ異なる予測アルゴリズムに基づき対象画素の予測誤差を出力する。モード判定部５０４は、予測器５０２−１及び５０２−２の予測誤差に応じて選択部５０３を切り替え、いずれかの予測誤差を選択部５０５に出力する。【００１５】
量子化器５０６−１及び５０６−２は、それぞれ異なる量子化ステップ幅で予測誤差を量子化し、可変長符号器５０８は、量子化代表値を可変長符号に変換してレートバッファ５０９に出力する。レートコントローラ５１０は、レートバッファ５０９の充足度に応じて選択部５０５及び５０７を切り替え、量子化器５０６−１又は５０６−２のいずれかを選択する。【００１６】
このような構成によれば、予測器及び量子化器の両方を選択的に切り替えることができるが、次のような問題がある。
（１）選択される予測器によって符号化効率が異なるため、予測器を切り替えることで特性の異なる信号（画像）に対しても圧縮率の向上が期待できる。しかしながら、予測器によって発生する符号量が異なり、モード判定部５０４は発生符号量をモニタできないため、予測器の切り替えにより符号量を調整することは不可能である。
（２）レートコントローラ５１０は、レートバッファ５０９の充足度が高くなったときに初めて伝送レートを下げる制御を開始する。このため、圧縮開始直後は量子化ステップ幅が小さく設定され、図６の矢印６０３が示すように、発生符号量６０１が平均発生符号量６０２を上回って画質が過剰に良くなる。一方、レートバッファ５０９の充足度が高くなると、局所的に量子化ステップ幅が粗くなり、矢印６０４が示すように、発生符号量６０１が減少して画質が過剰に悪くなる場合がある。特にＣＧ画像のようにドット変動が多い場合は、予測精度が下がるため、急激に画質が悪くなる場合がある。【００１７】
さらに、予測器の予測誤差から量子化ステップ幅を決定する方法も知られている（例えば、特許文献４を参照）。この方法では、入力される音声信号を一定の時間間隔で区切って得られるブロック毎に予測器を決定し、その予測器による予測誤差から量子化ステップ幅を決定する。そして、決定した予測器と量子化ステップ幅により、そのブロックの音声信号を圧縮する。【００１８】
この場合、量子化ステップ幅を決定する際に参照するブロックと、決定された量子化ステップ幅による量子化の対象となるブロックとが同一であるので、局所的な情報（ブロック）のみに基づいて量子化が行われる。局所的な情報に応じて量子化ステップ幅が決定されるため、ステップ幅の変更が頻繁に発生する（もしくは変更幅が大きくなる）可能性があり、出力データの品質劣化につながる恐れがある。
【特許文献１】特許第３２２８９４３号明細書
【特許文献２】特開平８−２９８４６５号公報
【特許文献３】米国特許第４０９３９６２号明細書
【特許文献４】特開平１０−２０８９３号公報
【発明の開示】
【００１９】
本発明の課題は、予測符号化方式を利用した画像圧縮技術において、局所的な画像劣化を起こさずに圧縮符号の符号量を調整することである。
開示の画像圧縮装置は、予測符号化方式を利用した画像圧縮装置であって、複数種類の予測器、複数種類の量子化器、広域評価部、局所評価部、及び圧縮部を有する。
【００２０】
広域評価部は、圧縮対象画像内の１ラインにつき、上記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい予測器による予測誤差量に基づいて、複数種類の量子化器のうち一つの量子化器を決定する。
【００２１】
局所評価部は、上記１ライン内の所定の画素ブロックにつき、上記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい予測器の種類に基づいて、上記複数種類の予測器のうち一つの予測器を特定する。
【００２２】
圧縮部は、局所評価部により特定された予測器と、広域評価部により決定された量子化器とを用いて、所定の画素ブロックのデータを圧縮する。
開示の画像復元装置は、予測符号化方式を利用した画像復元装置であって、受信部及び復元部を有する。
【００２３】
受信部は、量子化器情報、予測器情報、及び圧縮画像データを受信する。量子化器情報は、圧縮対象画像内の１ラインにつき、複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい予測器による予測誤差量に基づいて決定された、複数種類の量子化器のうち一つの量子化器を示す。
【００２４】
予測器情報は、上記１ライン内の所定の画素ブロックにつき、上記複数種類の予測器と同じ種類の複数の予測器を用いてそれぞれ予測を行い、予測誤差が最も小さい予測器の種類に基づいて特定された、上記複数種類の予測器のうち一つの予測器を示す。
【００２５】
圧縮画像データは、特定された予測器と決定された量子化器とを用いて所定の画素ブロックのデータを圧縮して得られる。復元部は、量子化器情報が示す量子化器に対応する逆量子化器と、予測器情報が示す予測器とを用いて、圧縮画像データから圧縮対象画像を復元する。
【００２６】
このような画像圧縮装置及び画像復元装置によれば、画素ブロック毎に誤差が小さい方の予測器を選択することで、予測誤差が低減される。また、圧縮処理の処理単位となる画素ブロックよりも大きな範囲の画像データに基づいて量子化器が選択されるため、局所的な情報に左右されずに量子化ステップ幅を決定することができる。
【００２７】
１ライン全体の傾向として予測誤差が大きければ、予め大きな量子化ステップ幅を選択することで、圧縮後の発生符号量の増加が抑止される。また、処理途中で量子化ステップ幅を変更する場合でも、変更幅が極端に大きくならないため、目立つほどの画質劣化を起こすこともない。したがって、局所的な画像劣化を起こさずに圧縮符号の符号量を調整することができる。
【図面の簡単な説明】
【００２８】
【図１】予測符号化方式を利用した画像圧縮処理を示す図である。
【図２】通常の平面予測を示す図である。
【図３】量子化ステップ幅が小さい場合の量子化代表値を示す図である。
【図４】量子化ステップ幅が大きい場合の量子化代表値を示す図である。
【図５】仮想的な画像圧縮装置の構成図である。
【図６】広域評価を行わない場合の発生符号量の変化を示す図である。
【図７】第１の画像圧縮装置の構成図である。
【図８】広域評価を行う場合の発生符号量の変化を示す図である。
【図９】第２の画像圧縮装置の構成図である。
【図１０】画像圧縮処理のフローチャートである。
【図１１】量子化ステップ幅が小さい場合の量子化テーブルを示す図である。
【図１２】量子化ステップ幅が大きい場合の量子化テーブルを示す図である。
【図１３】圧縮符号を示す図である。
【図１４】広域評価部の構成図である。
【図１５】局所評価部の構成図である。
【図１６】第１の予測部の構成図である。
【図１７】画像復元装置の構成図である。
【図１８】画像復元処理のフローチャートである。
【図１９】量子化ステップ幅が小さい場合の逆量子化テーブルを示す図である。
【図２０】量子化ステップ幅が大きい場合の逆量子化テーブルを示す図である。
【図２１】第２の予測部の構成図である。
【図２２】情報処理装置の構成図である。
【図２３】プログラムおよびデータの提供方法を示す図である。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
上述したように、予測器の種類や画像の種類によって発生符号量及び画質が大きく変動することが知られている。これに対して、高画質、低遅延、及び軽量という条件を満たすべく、ライン方向の予測符号化方式を適用する際に、自然画向け及びＣＧ画像向けにそれぞれ異なる予測器を選択的に切り替えるだけでなく、予測器を切り替えた場合の予測誤差を圧縮前に広域的に（ライン単位で）推定する。そして、ライン単位での推定結果をもとに量子化ステップ幅を調整し、発生符号量及び画質が一定になるようにする。【００３０】
図７は、このような画像圧縮装置の構成例を示している。この画像圧縮装置は、ラインバッファ７０１、ブロックバッファ７０２、選択部７０３、７０５、７０６、７０８、予測器７０４−１、７０４−２、量子化器７０７−１、７０７−２、可変長符号器７０９、広域評価部７１０、及び局所評価部７２０を備える。【００３１】
広域評価部７１０は、予測器７１１−１、７１１−２、予測誤差累算部７１２、及びモード判定部７１３を備え、局所評価部７２０は、予測器７２１−１、７２１−２、予測誤差累算部７２２、及びモード判定部７２３を備える。【００３２】
ラインバッファ７０１は、入力される画像データのうち１ライン分の画素を、圧縮対象ラインとして格納する。一般に、１ラインは複数個の画素ブロックからなり、１ブロックは所定数（例えば、８個又は１６個）の画素からなる。ブロックバッファ７０２は、ラインバッファ７０１に格納された１ライン分の画素のうち、１ブロック分の画素を圧縮対象ブロックとして格納する。選択部７０３は、ブロックバッファ７０２から出力される画素の出力先として、予測器７０４−１又は７０４−２のいずれかを選択する。【００３３】
予測器７０４−１及び７０４−２は、それぞれ異なる予測アルゴリズムに基づき対象画素の予測誤差を出力する。選択部７０５は、予測器７０４−１又は７０４−２のいずれかから出力される画素を選択する。量子化器７０７−１及び７０７−２は、それぞれ異なる量子化ステップ幅で予測誤差を量子化し、可変長符号器７０９は、量子化代表値を可変長符号に変換して圧縮符号を生成する。【００３４】
広域評価部７１０の予測器７１１−１及び７１１−２は、それぞれ予測器７０４−１及び７０４−２と同じ予測アルゴリズムに基づき、ラインバッファ７０１に入力される画素の予測誤差を出力する。この画素は、ラインバッファ７０１に格納された圧縮対象ラインの次のラインの画素に相当する。【００３５】
予測誤差累算部７１２は、予測器７１１−１及び７１１−２によって、１ライン分の予測誤差累算結果を算出する際に、ブロック毎に最小の予測誤差絶対和を選択して累算することで、１ライン分の画素の予測誤差を累算し、モード判定部７１３は、該累算した予測誤差のうち少ない方の予測誤差累算結果に基づいて選択部７０６及び７０８を切り替え、量子化器７０７−１又は７０７−２のいずれかを選択する。  局所評価部７２０の予測器７２１−１及び７２１−２は、それぞれ予測器７０４−１及び７０４−２と同じ予測アルゴリズムに基づき、ラインバッファ７０１から出力される画素の予測誤差を出力する。この画素は、圧縮対象ラインの画素に相当する。【００３６】
予測誤差累算部７２２は、予測器７２１−１及び７２１−２による１ブロック分の画素の予測誤差をそれぞれ累算し、モード判定部７２３は、予測誤差累算結果すなわち該累算した予測誤差のうち少ない方の予測誤差を出力した予測器に基づいて選択部７０３及び７０５を切り替え、予測器７０４−１又は７０４−２のいずれかを選択する。  予測誤差累算部７１２及び７２２とモード判定部７１３及び７２３の構成としては、例えば、国際出願ＰＣＴ／ＪＰ２００７／００１１３５の明細書に記載された構成を採用することができる。【００３７】
なお、図７では、２つの予測器と２つの量子化器を切り替える構成になっているが、広域評価部７１０が備える予測器と、局所評価部７２０が備える予測器と、符号化に利用する予測器とがそれぞれ同様の種類を備えていれば、予測器及び／又は量子化器の数は３つ以上でも構わない。【００３８】
このような画像圧縮装置によれば、局所的な予測誤差に基づいて予測器７０４−１又は７０４−２を選択的に切り替えるだけでなく、広域的な予測誤差の推定結果に基づいて量子化器７０７−１又は７０７−２を選択的に切り替えることができる。【００３９】
局所評価部７２０の動作により、画素ブロック毎に誤差が小さい方の予測器を選択することで、予測誤差が低減される。また、広域評価部７１０の動作により、圧縮処理の処理単位となるブロックよりも大きな範囲の画像データに基づいて量子化器が選択されるため、局所的な情報に左右されずに量子化ステップ幅を決定することができる。【００４０】
１ライン全体の傾向として予測誤差が大きければ、予め大きな量子化ステップ幅を選択することで、図８の矢印８０３が示すように、圧縮後の発生符号量８０１の増加が抑止される。また、処理途中で量子化ステップ幅を変更する場合でも、矢印８０４が示すように、変更幅が極端に大きくならないため、目立つほどの画質劣化を起こすこともない。したがって、発生符号量８０１は平均発生符号量８０２から極端に乖離することがなくなり、画質が適切に維持される。【００４１】
このように、実際の圧縮処理を行う前に適切な予測器及び量子化器が選択されるため、発生符号量を抑えることができる。図７の構成では、圧縮前に推定処理を行う広域評価部７１０を設ける必要があるが、１次元予測符号化方式を採用すればライン単位で処理が完結するため、低遅延及び軽量が達成できる。【００４２】
次に、図９から図１６までを参照しながら、画像圧縮装置の構成と動作についてより詳細に説明する。ここでは、車載装置に搭載される画像圧縮装置を想定し、圧縮対象画像には自然画及びＣＧ画像が含まれるものとする。ＣＧ画像では周期パターンが頻出するため、数画素前を参照する周期パターン予測器と通常の予測器を切り替えて使用する必要がある。【００４３】
図９は、このような画像圧縮装置の構成例を示しており、図１０は、画像圧縮処理のフローチャートを示している。図９の画像圧縮装置は、ラインバッファ９０１、ブロックバッファ９０２、予測部９０３、量子化部９０４、可変長符号器９０５、広域評価部９０６、局所評価部９０７、及び逆量子化部９０８を備える。【００４４】
入力される画像データは圧縮対象となる画素の集合であり、画面内のライン方向の順序に従って画素が送信されてくる。まず、広域評価部９０６は、圧縮前に予め１ラインで発生する予測誤差を、広域評価部９０６が備える複数種類の予測器毎に累算する（ステップ１００１）。【００４５】
そして、最も少ない予測誤差を出力した予測器による予測誤差累算結果からどの量子化器を使用するかを決定し、使用する量子化器を示す広域モードフラグを量子化部９０４及び可変長符号器９０５に出力する（ステップ１００２）。広域モードとしては、例えば、小さな量子化ステップ幅の量子化器を使用する広域モード１と、大きな量子化ステップ幅の量子化器を使用する広域モード２の２種類が用いられる。【００４６】
ラインバッファ９０１は、１ライン分の画素を圧縮対象ラインとして格納し、広域評価部９０６が１ライン分の予測誤差を累算して広域モードを決定するまで、そのラインの圧縮処理を遅延させる。【００４７】
次に、局所評価部９０７は、ラインバッファ９０１から出力される画素を用いて、局所評価部９０７が備える複数種類の予測器毎にブロック単位で予測誤差を算出し、最も少ない予測誤差を出力した予測器に従ってどの予測器を使用して符号化処理を行うかを決定し、使用する予測器を示す局所モードフラグを予測部９０３及び可変長符号器９０５に出力する（ステップ１００３）。【００４８】
局所モードとしては、例えば、４画素前予測器を使用する局所モード１と、８画素前予測器を使用する局所モード２と、通常予測器を使用する局所モード３が用いられる。４画素前予測器は、４画素前の画素値を予測値として採用し、８画素前予測器は、８画素前の画素値を予測値として採用し、通常予測器は、例えば、（１）式のＸ’を予測値として採用する。【００４９】
ブロックバッファ９０２は、１ブロック分の画素を圧縮対象ブロックとして格納し、局所評価部９０７が１ブロック分の予測誤差を累算して局所モードを決定するまで、そのブロックの圧縮処理を遅延させる。【００５０】
次に、予測部９０３は、局所評価部９０７からの局所モードフラグをもとに使用する予測器を選択し、圧縮対象画素（原画）の画素値と予測値の差分である予測誤差を算出する（ステップ１００４）。【００５１】
次に、量子化部９０４は、広域評価部９０６からの広域モードフラグをもとに使用する量子化器を選択する。そして、予測部９０３から出力される予測誤差を量子化し、量子化値と量子化番号を逆量子化部９０８及び可変長符号器９０５の両方に出力する（ステップ１００５）。【００５２】
広域モード１に対応する量子化器は、例えば、図１１に示すような量子化テーブルにより、予測誤差を量子化値と量子化番号に変換する。この量子化テーブルでは、予測誤差の範囲が比較的小さな量子化ステップ幅で分割されている。【００５３】
一方、広域モード２に対応する量子化器は、例えば、図１２に示すような量子化テーブルにより、予測誤差を量子化値と量子化番号に変換する。この量子化テーブルでは、予測誤差の範囲が比較的大きな量子化ステップ幅で分割されている。【００５４】
逆量子化部９０８は、予測値と量子化値を加算して原画に対応する復元画素の画素値を算出し、予測部９０３に出力する。
可変長符号器９０５は、広域モードフラグ、局所モードフラグ、及び量子化番号をそれぞれ判別可能な形式で圧縮符号を生成し、画像復元装置に出力する（ステップ１００６）。このとき、量子化番号は可変長符号に変換される。画像復元装置は、圧縮符号に含まれる広域モードフラグ及び局所モードフラグをもとにモード遷移を行う。【００５５】
図１３は、可変長符号器９０５から出力される圧縮符号の例を示している。広域モードフラグ１３０１は、ライン毎にライン先頭の画素が圧縮されたときに出力される。広域モード１の場合は、例えば、固定長ビット“０”が出力され、広域モード２の場合は、例えば、固定長ビット“１”が出力される。【００５６】
局所モードフラグ１３０２−１〜１３０２−４は、ブロック毎にブロック先頭の画素が圧縮されたときに出力される。局所モード１の場合は、例えば、固定長ビット“００”が出力され、局所モード２の場合は、例えば、固定長ビット“０１”が出力され、局所モード３の場合は、例えば、固定長ビット“１０”が出力される。【００５７】
符号部１３０３−１〜１３０３−４は、１ブロック分の可変長符号の列である。
図１４は、図９の広域評価部９０６の構成例を示している。なお、図１４の構成例は、図７の広域評価部７１０の中に、予測器が３種類備えられている例を示している。この広域評価部は、レジスタ１４０１、１４０２−１〜１４０２−８、差分絶対値算出器１４０３、１４０５、１４０８、加算器１４０４、１４０６、１４０９、通常予測器１４０７、カウンタ１４１０、プライオリティエンコーダ１４１１、累算部１４１２、及び判定部１４１３を備える。差分絶対値算出器１４０３、１４０５、１４０８、及び通常予測器１４０７は、図７の予測器７１１−１（もしくは７１１−２）に相当する。加算器１４０４、１４０６、１４０９は、図７の予測誤差累算部７１２に相当する。プライオリティエンコーダ１４１１、累算部１４１２、及び判定部１４１３は、図７のモード判定部７１３に相当する。【００５８】
レジスタ１４０１は、入力される原画の画素値を保持し、レジスタ１４０２−１〜１４０２−８は、レジスタ１４０１から出力される画素値を順番に保持する。したがって、レジスタ１４０２−１〜１４０２−８には、連続する８個の画素値が入力順に保持される。例えば、レジスタ１４０２−４は、原画に対して４画素前の画素値を保持し、レジスタ１４０２−８は、原画に対して８画素前の画素値を保持している。【００５９】
差分絶対値算出器１４０３は、レジスタ１４０１及びレジスタ１４０２−４が保持する画素値の差分を予測誤差として算出し、その絶対値を出力する。加算器１４０４は、差分絶対値算出器１４０３から出力される予測誤差絶対値を１ブロック分累算して、周期４の予測誤差絶対和を出力する。この場合、レジスタ１４０２−１〜１４０２−４と差分絶対値算出器１４０３は、４画素前予測器として動作する。【００６０】
差分絶対値算出器１４０５は、レジスタ１４０１及びレジスタ１４０２−８が保持する画素値の差分を予測誤差として算出し、その絶対値を出力する。加算器１４０６は、差分絶対値算出器１４０５から出力される予測誤差絶対値を１ブロック分累算して、周期８の予測誤差絶対和を出力する。この場合、レジスタ１４０２−１〜１４０２−８と差分絶対値算出器１４０５は、８画素前予測器として動作する。【００６１】
通常予測器１４０７は、例えば、（１）式のＸ’を予測値として算出し、差分絶対値算出器１４０８は、レジスタ１４０１が保持する画素値と算出された予測値の差分の絶対値を算出する。加算器１４０９は、差分絶対値算出器１４０８から出力される予測誤差絶対値を１ブロック分累算して、予測誤差絶対和を出力する。【００６２】
カウンタ１４１０は、ブロック毎に加算器１４０４、１４０６、及び１４０９の累算結果をリセットする。
ところで、実際の圧縮処理では、ブロック単位で局所モード１〜３のうちのいずれかのモードが一貫して適用される。そこで、プライオリティエンコーダ１４１１は、１ライン分の予測誤差累算結果を算出する際に、ブロック毎に最小の予測誤差絶対和を選択して累算部１４１２に出力する。【００６３】
累算部１４１２は、プライオリティエンコーダ１４１１から出力されるブロック毎の予測誤差絶対和を１ライン分累算し、ライン単位の予測誤差累算結果を出力する。
判定部１４１３は、累算部１４１２から出力される予測誤差累算結果をもとに広域モードを決定し、広域モードフラグを出力する。ここで、所定の圧縮率を実現したい場合は、１ライン分の予測誤差累算結果と１ラインの画素数から、発生符号量を考慮して広域モードが決定される。【００６４】
例えば、次式のような条件が成り立つ場合は、図１１のような量子化器を使用しても、発生符号量が比較的少ない量子化番号１〜３が頻出すると考えられるため、広域モード１が選択される。
１ライン分の予測誤差累算結果／１ラインの画素数＜７      （２）
（２）式の左辺は、１画素当たりの平均予測誤差を表しており、（２）式の右辺は、平均予測誤差の閾値を表している。逆に、（２）式が満たされない場合は、図１１に示した量子化器を使用すると、発生符号量が比較的多い量子化番号４以上が頻出する可能性がある。そこで、図１２に示した量子化器を使用するために、広域モード２が選択される。【００６５】
なお、（２）式の右辺の閾値７は一例に過ぎず、量子化テーブルの内容によって閾値は変動する。
図１５は、図９の局所評価部９０７の構成例を示している。なお、図１５の構成例は、図７の局所評価部７２０の中に、予測器が３種類備えられている例を示している。この局所評価部は、レジスタ１５０１、１５０２−１〜１５０２−８、差分絶対値算出器１５０３、１５０５、１５０８、加算器１５０４、１５０６、１５０９、通常予測器１５０７、カウンタ１５１０、及びプライオリティエンコーダ１５１１を備える。差分絶対値算出器１５０３、１５０５、１５０８、及び通常予測器１５０７は、図７の予測器７２１−１（もしくは７２１−２）に相当する。加算器１５０４、１５０６、１５０９は、図７の予測誤差累算部７２２に相当する。プライオリティエンコーダ１５１１は、図７のモード判定部７２３に相当する。【００６６】
このうち、レジスタ１５０１、１５０２−１〜１５０２−８、差分絶対値算出器１５０３、１５０５、１５０８、加算器１５０４、１５０６、１５０９、通常予測器１５０７、及びカウンタ１５１０の動作は、図１４のレジスタ１４０１、１４０２−１〜１４０２−８、差分絶対値算出器１４０３、１４０５、１４０８、加算器１４０４、１４０６、１４０９、通常予測器１４０７、及びカウンタ１４１０の動作と同様である。【００６７】
プライオリティエンコーダ１５１１は、ブロックバッファ９０２に次に入力されるブロックに対して、局所モード１〜３のいずれを一貫して適用するかを決定し、局所モードフラグを出力する。このとき、プライオリティエンコーダ１５１１は、加算器１５０４、１５０６、及び１５０９から出力される予測誤差絶対和（１ブロック分の予測誤差累算結果）を比較し、最小の予測誤差絶対和を生成した予測器を選択する。【００６８】
したがって、加算器１５０４の予測誤差絶対和が最小であれば、４画素前予測器を使用する局所モード１が選択され、加算器１５０６の予測誤差絶対和が最小であれば、８画素前予測器を使用する局所モード２が選択される。また、加算器１５０９の予測誤差絶対和が最小であれば、通常予測器を使用する局所モード３が選択される。【００６９】
図１６は、図９の予測部９０３の構成例を示している。なお、図１６の構成例は、図７の画像圧縮装置において、予測器が３種類備えられている例を示している。この予測部９０３は、レジスタ１６０１、１６０２、１６０３−１〜１６０３−８、通常予測器１６０４、マルチプレクサ（ＭＰＸ）１６０５、及び減算器１６０６を備える。レジスタ１６０１、１６０２、１６０３−１〜１６０３−８、及び通常予測器１６０４は、図７の予測器７０４−１（もしくは７０４−２）に相当する。【００７０】
レジスタ１６０１は、ブロックバッファ９０２から出力される原画の画素値を保持し、レジスタ１６０２は、逆量子化部９０８から出力される復元画素の画素値を保持する。レジスタ１６０３−１〜１６０３−８は、レジスタ１６０２から出力される画素値を順番に保持する。したがって、レジスタ１６０３−１〜１６０３−８には、連続する８個の画素値が入力順に保持される。例えば、レジスタ１６０３−４は、復元画素に対して４画素前の画素値を保持し、レジスタ１６０３−８は、復元画素に対して８画素前の画素値を保持している。【００７１】
通常予測器１６０４は、例えば、（１）式のＸ’を予測値として算出し、ＭＰＸ１６０５に出力する。
ＭＰＸ１６０５は、局所モードフラグをもとに、レジスタ１６０３−４が保持する画素値、レジスタ１６０３−８が保持する画素値、又は通常予測器１６０４の出力値のいずれかを選択し、その値を予測値として減算器１６０６に出力する。局所モードフラグが局所モード１を表す場合は、レジスタ１６０３−４の画素値が選択され、局所モード２を表す場合は、レジスタ１６０３−８の画素値が選択される。また、局所モード３を表す場合は、通常予測器１６０４の出力値が選択される。【００７２】
減算器１６０６は、レジスタ１６０１が保持する画素値から予測値を減算して予測誤差を算出し、量子化部９０４に出力する。
このように、予測部９０３は、局所モード１の場合は４画素前予測器として動作し、局所モード２の場合は８画素前予測器として動作し、局所モード３の場合は通常予測器として動作する。【００７３】
次に、図１７から図２１までを参照しながら、圧縮符号から元の画像データを復元する画像復元装置の構成と動作について説明する。
図１７は、画像復元装置の構成例を示しており、図１８は、画像復元処理のフローチャートを示している。図１７の画像復元装置は、例えば、画像圧縮装置とともに車載装置に搭載され、可変長復号器１７０１、逆量子化部１７０２、及び予測部１７０３を備える。【００７４】
可変長復号器１７０１は、画像圧縮装置から出力された圧縮符号から広域モードフラグ、局所モードフラグ、及び符号部を抽出し、符号部を可変長復号して量子化番号を生成する（ステップ１８０１）。広域モードフラグは、ライン先頭１ビットから抽出され、量子化番号とともに逆量子化部１７０２に出力される。局所モードフラグはブロック先頭２ビットから抽出され、予測部１７０３に出力される。【００７５】
次に、逆量子化部１７０２は、可変長復号器１７０１からの広域モードフラグをもとに使用する逆量子化器を選択する。そして、可変長復号器１７０１から出力される量子化番号を逆量子化して予測誤差量子化値を生成し、予測部１７０３に出力する（ステップ１８０２）。【００７６】
広域モード１に対応する逆量子化器は、例えば、図１９に示すような逆量子化テーブルにより、量子化番号を予測誤差量子化値に変換する。一方、広域モード２に対応する量子化器は、例えば、図２０に示すような逆量子化テーブルにより、量子化番号を予測誤差量子化値に変換する。当然ながら、画像圧縮装置が有する量子化テーブルと画像復元装置が有する逆量子化テーブルとは、それぞれ対応し、同じステップ幅を持つものである。【００７７】
次に、予測部１７０３は、可変長復号器１７０１からの局所モードフラグをもとに使用する予測器を選択し（ステップ１８０３）、復元画素の予測値を算出する（ステップ１８０４）。局所モード１の場合は４画素前予測器が選択され、局所モード２の場合は８画素前予測器が選択され、局所モード３の場合は通常予測器が選択される。【００７８】
そして、予測部１７０３は、得られた予測値と、逆量子化部１７０２から出力される予測誤差量子化値を加算して復元画素の画素値を算出し、画像データとして出力する（ステップ１８０５）。また当然ながら、画像圧縮装置が有する予測器の種類と画像復元装置が有する予測器の種類とは、それぞれ対応するものである。【００７９】
図２１は、図１７の予測部１７０３の構成例を示している。この予測部１７０３は、レジスタ２１０１、２１０２、２１０３−１〜２１０３−８、通常予測器２１０４、ＭＰＸ２１０５、及び加算器２１０６を備える。【００８０】
レジスタ２１０１は、逆量子化部１７０２から出力される予測誤差量子化値を保持し、レジスタ２１０２は、加算器２１０６から出力される復元画素の画素値を保持する。レジスタ２１０３−１〜２１０３−８は、レジスタ２１０２から出力される画素値を順番に保持する。したがって、レジスタ２１０３−１〜２１０３−８には、連続する８個の画素値が入力順に保持される。例えば、レジスタ２１０３−４は、復元画素に対して４画素前の画素値を保持し、レジスタ２１０３−８は、復元画素に対して８画素前の画素値を保持している。【００８１】
通常予測器２１０４は、例えば、（１）式のＸ’を予測値として算出し、ＭＰＸ２１０５に出力する。
ＭＰＸ２１０５は、局所モードフラグをもとに、レジスタ２１０３−４が保持する画素値、レジスタ２１０３−８が保持する画素値、又は通常予測器２１０４の出力値のいずれかを選択し、その値を予測値として加算器２１０６に出力する。局所モードフラグが局所モード１を表す場合は、レジスタ２１０３−４の画素値が選択され、局所モード２を表す場合は、レジスタ２１０３−８の画素値が選択される。また、局所モード３を表す場合は、通常予測器２１０４の出力値が選択される。【００８２】
減算器２１０６は、予測値とレジスタ２１０１が保持する予測誤差量子化値とを加算して復元画素の画素値を算出し、レジスタ２１０２と不図示の画像表示部に出力する。この復元画素の画素値は、予測値の生成に使用するためにレジスタ２１０２に出力される。【００８３】
このように、予測部１７０３は、局所モード１の場合は４画素前予測器として動作し、局所モード２の場合は８画素前予測器として動作し、局所モード３の場合は通常予測器として動作する。【００８４】
図９から図２１までの実施形態では、画像圧縮装置及び画像復元装置が車載装置に搭載される場合を想定しているが、画像圧縮装置及び画像復元装置の用途はこれに限られず、一般的な画像データに広く適用可能である。【００８５】
また、図９から図２１までの実施形態では、３つの予測器、２つの量子化器、及び２つの逆量子化器を切り替える構成になっているが、一般には、複数の予測器、複数の量子化器、及び複数の逆量子化器に対して適用可能である。【００８６】
さらに、予測器、量子化器、及び逆量子化器の構成は、図１１、図１２、図１４〜図１６、及び図１９〜図２１に示したものに限られず、圧縮符号の構成は、図１３に示したものに限られない。【００８７】
図７及び図９の画像圧縮装置と図１７の画像復元装置の処理をソフトウェアにより実現する場合、例えば、図２２に示すような情報処理装置（コンピュータ）が用いられる。図２２の情報処理装置は、ＣＰＵ２２０１、メモリ２２０２、入力装置２２０３、出力装置２２０４、外部記憶装置２２０５、媒体駆動装置２２０６、およびネットワーク接続装置２２０７を備え、それらはバス２２０８により互いに接続されている。【００８８】
メモリ２２０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）等を含み、処理に用いられるプログラムおよびデータを格納する。メモリ２２０２は、図９のラインバッファ９０１及びブロックバッファ９０２としても使用される。ＣＰＵ２２０１は、メモリ２２０２を利用してプログラムを実行することにより、画像圧縮装置又は画像復元装置の処理を行う。【００８９】
入力装置２２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置２２０４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。この処理結果には、復元された画像データが含まれる。【００９０】
外部記憶装置２２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置２２０５に、プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ２２０２にロードして使用する。【００９１】
媒体駆動装置２２０６は、可搬記録媒体２２０９を駆動し、その記録内容にアクセスする。可搬記録媒体２２０９は、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体２２０９にプログラムおよびデータを格納しておき、必要に応じて、それらをメモリ２２０２にロードして使用する。【００９２】
ネットワーク接続装置２２０７は、Local Area Network（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う。ネットワーク接続装置２２０７は、生成された圧縮符号を画像復元装置に送信したり、画像圧縮装置から圧縮符号を受信したりする。また、情報処理装置は、必要に応じて、プログラムおよびデータを外部の装置からネットワーク接続装置２２０７を介して受け取り、それらをメモリ２２０２にロードして使用する。【００９３】
図２３は、図２２の情報処理装置にプログラムおよびデータを提供する方法を示している。可搬記録媒体２２０９や外部装置２３０１のデータベース２３１１に格納されたプログラムおよびデータは、情報処理装置２３０２のメモリ２２０２にロードされる。外部装置２３０１は、そのプログラムおよびデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置２３０２に送信する。ＣＰＵ２２０１は、そのデータを用いてそのプログラムを実行し、上述した処理を行う。
【図１】
2009157047.tif 000003
【図２】
2009157047.tif 000004
【図３】
2009157047.tif 000005
【図４】
2009157047.tif 000006
【図５】
2009157047.tif 000007
【図６】
2009157047.tif 000008
【図７】
2009157047.tif 000009
【図８】
2009157047.tif 000010
【図９】
2009157047.tif 000011
【図１０】
2009157047.tif 000012
【図１１】
2009157047.tif 000013
【図１２】
2009157047.tif 000014
【図１３】
2009157047.tif 000015
【図１４】
2009157047.tif 000016
【図１５】
2009157047.tif 000017
【図１６】
2009157047.tif 000018
【図１７】
2009157047.tif 000019
【図１８】
2009157047.tif 000020
【図１９】
2009157047.tif 000021
【図２０】
2009157047.tif 000022
【図２１】
2009157047.tif 000023
【図２２】
2009157047.tif 000024
【図２３】
2009157047.tif 000025
【国際調査報告】
2009157047.tif 000026
2009157047.tif 000027