(57)【要約】【課題】AVC/H.264で採用している画面内予測は、符号化対象ブロックの左上、上、右上、又は左のブロックの1ライン分の画素データのみを用いることが知られており、このため、符号化対象ブロックのサイズを大きくすると一般的に、予測効率が低下するという問題があった。【解決手段】本発明による画像符号化装置は、入力画像信号を複数の画素からなるブロックに分割する分割手段と、予め定められた複数のコードパターンを有する第1のコードブックから、符号化済みの前記ブロック内の画素値を用いてコードパターンを探索する第1の探索手段と、前記第1の探索手段の結果に基づいて、符号化対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて、予測誤差を符号化する符号化手段とを備える。【選択図】図1
2008017304.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を複数の画素からなるブロックに分割する分割手段と、
予め定められた複数のコードパターンを有する第1のコードブックから、符号化済みの前記ブロック内の画素値を用いてコードパターンを探索する第1の探索手段と、
前記第1の探索手段の結果に基づいて、符号化対象領域の画素値を予測する予測手段と、
前記予測手段により予測した画素値に基づいて、予測誤差を符号化する符号化手段と、
を備えることを特徴とする画像符号化装置。
【請求項２】
符号化に用いられた複数のコードパターンを有する第1のコードブックを画像符号化装置から受信する手段と、
符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記受信手段により受信した前記第1のコードブック内のコードパターンを探索する第2の探索手段と、
前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、
前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段と、
を備えることを特徴とする画像復号装置。
【請求項３】
符号化に用いられた複数のコードパターンを有する第1のコードブックと同一の第2のコードブックと、
前記第1のコードブック内の符号化に用いられたコードパターンのインデックスを画像符号化装置から受信する手段と、
符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記受信手段により受信したインデックスに基づいて、前記第2のコードブック内のコードパターンを探索する第2の探索手段と、
前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、
前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段と、
を備えることを特徴とする画像復号装置。
【請求項４】
符号化に用いられた複数のコードパターンを有する第1のコードブックと、前記第1のコードブック内の符号化に用いられたコードパターンのインデックスとを符号化装置から受信する手段と、
符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記受信手段により受信したインデックスに基づいて、前記第1のコードブック内のコードパターンを探索する第2の探索手段と、
前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、
前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段と、
を備えることを特徴とする画像復号装置。
【請求項５】
符号化に用いられた複数のコードパターンを有する第1のコードブックと同一の第2のコードブックと、
符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記第2のコードブック内のコードパターンを探索する第2の探索手段と、
前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、
前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段と、
を備えることを特徴とする画像復号装置。
【請求項６】
(a)入力画像信号を複数の画素からなるブロックに分割するステップと、
(b) 予め定められた複数のコードパターンを有する第1のコードブックから、符号化済みの前記ブロック内の画素値を用いてコードパターンを探索するステップと、
(c)前記ステップ(b)の結果に基づいて、符号化対象領域の画素値を予測するステップと、
(d) 前記ステップ(c)により予測した画素値に基づいて、予測誤差を符号化するステップと、
を含むことを特徴とする画像符号化方法。
【請求項７】
画像符号化装置を構成するコンピュータを、
入力画像信号を複数の画素からなるブロックに分割する手段と、
予め定められた複数のコードパターンを有する第1のコードブックから、符号化済みの前記ブロック内の画素値を用いて、コードパターンを探索する第1の探索手段と、
前記第1の探索手段の結果に基づいて、符号化対象領域の画素値を予測する予測手段と、
前記予測手段により予測した画素値に基づいて予測誤差を符号化する符号化手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル映像符号化に関し、特に、予め作成したコードブックの中から入力画像信号に類似したパターンにより符号化対象領域の画素値を予測して、入力画像信号を符号化する装置、その符号化信号を復号する画像復号装置、入力画像信号を符号化する方法、及び画像符号化するプログラムに関するものである。
【背景技術】
【０００２】
デジタル放送などのアプリケーションでは、伝送エラーやチャンネル切り替えに対応するため、周期的にイントラ符号化を行っている。イントラ符号化は、他のフレームのデータを用いてフレーム間予測符号化を行う画像と比較して、符号化効率を高めることが難しい。このため、AVC/H.264などの符号化では、符号化済みの画素を用いて画面内予測を行い、符号化効率の向上を図っている（例えば、非特許文献1）。
【０００３】
図4に、従来の画面内予測を用いた符号化ブロック図を示す。図4に示す画像符号化装置は、例えばH.264における代表的な画像符号化装置を示しており、その符号化動作を簡単に説明する。同図における画像符号化装置は、DCT（離散コサイン変換）などの直交変換部120と、変換係数の量子化を実行する量子化部129と、逆量子化部130と、逆DCT（逆離散コサイン変換）などの逆直交変換部121と、画面内の予測画像を生成する画面内予測部123と、画面間予測に用いる動きベクトルを生成する動き推定部125と、画面間予測を行う動き補償部124と、符号化対象画像信号と動き補償後の画像信号又は画面内予測画像との合成画像を生成する加算部127と、入力信号と動き補償後の信号又は画面内予測画像の信号との誤差信号を生成する加算部126と、動きベクトルと共にその誤差信号を直交変換及び量子化の後に符号化する可変長符号化を行うエントロピー符号化部128とを備えている。
【０００４】
画像符号化装置の入力信号として、まず、Iピクチャ（最初のフレーム信号、又は適当な間隔での最初のフレームであり、例えば放送では通常0.5秒毎に挿入）を直交変換部120、量子化部129を介してエントロピー符号化部128により符号化する。次に、2フレーム目以降（Pピクチャ、Bピクチャ）について、動き推定部125により符号化対象画像と参照画像との間で動きベクトル検出し、検出した動きベクトルと参照画像を用いて符号化対象画像の動き補償予測画像を生成する。次に、動き補償部124にて、作成した動き補償予測画像と符号化対象画像との間の輝度（又は色差）の補償信号を求め、加算部126を介して動き補償誤差信号を生成する。その動き補償誤差信号を直交変換部120及び量子化部129を介した後、エントロピー符号化部128にてその誤差信号及び動きベクトルを符号化する。
【０００５】
これにより、画面間予測に基づいて、高効率の符号化を実現できるが、更に高効率化を図るため、画面内予測部123において、符号化対象ブロックの左上、上、右上、又は左のブロックの1ライン分の画素データのみを用いて予測することにより、より符号化効率を高めることができる。
【０００６】
図5に、従来の符号化対象領域の画素値を予測する画面内予測の模式図を示す。図5(A)には、“垂直予測”による画面内予測の様子を示し、図5(B)には、“水平予測”による画面内予測の様子を示す。また、図5(C)には、“平均値予測”による画面内予測の様子を示し、図5(D)には、“平面予測”による画面内予測の様子を示す。
【０００７】
図5(A)〜(D)では、フレームを複数の画素から構成される複数のブロック（例えば、4×4画素、16×16画素などのブロックサイズがある）に分割して行う画面内予測において、符号化対象ブロック54を模式的に示している。符号化対象ブロック54内の画素180Ac、180Bc、180Cc及び180Dcは、符号化される画素を表している。符号化対象ブロック54に直接隣接する画素180As、180Bs、180Cs及び180Dsは、それぞれ符号化対象ブロック54内の画素値の予測に用いる参照画素を表している。
【０００８】
即ち、従来の画面内予測において、符号化対象ブロック54内の画素180Ac、180Bc、180Cc及び180Dcは、“垂直予測”では、符号化対象ブロック54の上の直接隣接する画素のみを参照し（図5(A)参照）、“水平予測”では、符号化対象ブロック54の左の直接隣接する画素のみを参照し（図5(B)参照）、“平均値予測”では、符号化対象ブロック54の上及び左の直接隣接する画素のみから平均値を算出して参照し（図5(C)参照）、“平面予測”では、上及び左の直接隣接する画素のみを参照し、その上及び左の対応する参照画素から斜め方向に平均値を算出して参照する（図5(D)参照）。
【０００９】
尚、図5(A)〜(D)に示すこれら画面内予測は、従来技術として知られており、AVC/H.264において標準化されている。
【００１０】
図5の説明から分かるように、従来の画面内予測は、符号化対象ブロックの近傍ブロックの隣接する画素のみを用いて予測を行っている。尚、図5(A)〜(D)に示す方式のいずれか1つを選択して画面内予測を実現することは可能である。しかし、例えば動画像を符号化放送する場合には多様な映像を扱うため、図5に示す各方式をブロック毎に切替えて符号化することが一般的である。この場合、各方式のいずれを用いて画面内予測を行ったかを示す識別子（インデックスとも称する）を符号化信号に付加して伝送することにより、画像復号装置における復号を可能とする。
【００１１】
【非特許文献１】羽鳥光俊監修「1セグ放送教科書」、(株)インプレス、2005年6月21日、p55-61
【発明の開示】
【発明が解決しようとする課題】
【００１２】
前述したように、従来の画面内予測は、符号化対象ブロックの左上、上、右上、又は左のブロックの1ライン分の画素データのみを用いている。画面内予測は符号化の高効率化に有益であるが、ブロックサイズが大きくなるほど、即ち、1フレーム当たりのブロック数が低減するほど、画面内予測におけるモード情報などのオーバーヘッドが低減するが、一般的に予測効率が低下するという問題があった。
【００１３】
そこで、本発明は、上記課題を解決するためになされたものであり、画面内予測における予測効率を高めることを可能とする装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の画像符号化装置における画面内予測では、まず、符号化対象ブロックよりも大きなサイズのパターンを構成要素とする予め用意した画面内予測用のコードブックを用いる。そして、画面内予測用のコードブックでは、ベクトル量子化の技法を応用して、画面内の符号化対象ブロックに近接する符号化済みの画像データのみを用いて、その画面内予測用のコードブックから、コードパターンを探索する。次に、最も類似したコードパターンから符号化対象ブロック内の画素データを予測し、予測画像を生成する。
【００１５】
更なる本発明の応用の画像復号装置における画面内予測では、本発明の画像符号化装置に用いる画面内予測用と同一のコードブックを用いる。そして、画面内の復号対象ブロックに近接する復号済みの画像データを用いて、その画面内予測用のコードブックから、コードパターンを探索する。次に、最も類似したコードパターンから復号対象ブロック内の画素データを予測し、予測画像を生成する。
【００１６】
より具体的には、本発明による画像符号化装置は、入力画像信号を複数の画素からなるブロックに分割する分割手段と、予め定められた複数のコードパターンを有する第1のコードブックから、符号化済みの前記ブロック内の画素値を用いて、コードパターンを探索する第1の探索手段と、前記第1の探索手段の結果に基づいて、符号化対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて、予測誤差を符号化する符号化手段とを備える。
【００１７】
また、本発明による画像復号装置は、符号化に用いられた複数のコードパターンを有する第1のコードブックを画像符号化装置から受信する手段と、符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記受信手段により受信した前記第1のコードブック内のコードパターンを探索する第2の探索手段と、前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段とを備える。
【００１８】
別の本発明による画像復号装置は、符号化に用いられた複数のコードパターンを有する第1のコードブックと同一の第2のコードブックと、前記第1のコードブック内の符号化に用いられたコードパターンのインデックスを画像符号化装置から受信する手段と、符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記受信手段により受信したインデックスに基づいて、前記第2のコードブック内のコードパターンを探索する第2の探索手段と、前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段とを備える。
【００１９】
更に別の本発明による画像復号装置は、符号化に用いられた複数のコードパターンを有する第1のコードブックと、前記第1のコードブック内の符号化に用いられたコードパターンのインデックスとを符号化装置から受信する手段と、符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記受信手段により受信したインデックスに基づいて、前記第1のコードブック内のコードパターンを探索する第2の探索手段と、前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段とを備える。
【００２０】
それとは別の具体的態様として、本発明による画像復号装置は、符号化に用いられた複数のコードパターンを有する第1のコードブックと同一の第2のコードブックと、符号化ブロックに対応する復号後のブロック内の画素値を用いて、前記第2のコードブックのコードパターンを探索する第2の探索手段と、前記第2の探索手段の結果に基づいて、復号対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて、予測誤差を復号する復号手段とを備える。
【００２１】
それとは別の具体的態様として、本発明によれば、(a)入力画像信号を複数の画素からなるブロックに分割するステップと、(b) 予め定められた複数のコードパターンを有する第1のコードブックから、符号化済みの前記ブロック内の画素値を用いて、コードパターンを探索するステップと、(c) 前記ステップ(b)の結果に基づいて、符号化対象領域の画素値を予測するステップと、(d) 前記ステップ(c)により予測した画素値に基づいて、予測誤差を符号化するステップとを含み、符号化データを生成する画像符号化方法としても実現することができる。
【００２２】
それとは別の具体的態様として、本発明によれば、画像符号化装置を構成するコンピュータを、入力画像信号を複数の画素からなるブロックに分割する手段と、予め定められた複数のコードパターンを有する第1のコードブックから、符号化済みの前記ブロック内の画素値を用いて、コードパターンを探索する第1の探索手段と、前記第1の探索手段の結果に基づいて、符号化対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて予測誤差を符号化する符号化手段として機能させるためのプログラムとしても実現することができる。
【発明の効果】
【００２３】
本発明によれば、符号化時の画面内予測において、符号化済みの画素値を用いて最も類似したコードパターンを探索して予測することにより、より符号化に適した画像データを参照することを可能とする。これにより、従来方式の画面内予測よりも高効率な符号化を可能とする。
【００２４】
更に、本発明の画像符号化装置は、画像復号装置で参照するデータ（即ち、画像復号装置に伝送される符号化データ）と同一のデータに対して、画像復号装置と同一の画面内予測用のコードブックを用いて類似パターンを探すことにより、画像復号装置で得られる予測信号と同一の予測信号を得ることができる。これにより、画像符号化装置から画像復号装置に、画面内予測に用いるコードブックのインデックスを伝送する必要が無くなり、画像符号化装置が伝送するオーバーヘッド情報（即ち、画面内予測用のコードブックのインデックス）を不要とできる。これは、画像符号化装置による符号化効率を高めることを意味する。
【００２５】
また、本発明は、イントラ符号化画像だけでなく、画面間予測フレームのイントラブロックにも適用することができ、静止画又は動画の符号化効率の向上を図ることができる。
【発明を実施するための最良の形態】
【００２６】
まず、本発明による一実施例の画像符号化装置について説明する。
【００２７】
（画像符号化装置）
図1に、本発明による画面内予測にコードブックを用いた一実施例の画像符号化装置の構成を示すブロック図を示す。同図における画像符号化装置は、“符号化＋量子化”部10と、“逆量子化＋逆符号化”部11と、画面内予測用のコードブック探索部12と、画面内の予測画像を生成する画面内予測部13と、画面間予測に用いる動きベクトルを生成する動き推定部15と、画面間予測を行う動き補償部14と、符号化対象画像と動き補償後の画像信号又は画面内予測画像との合成画像を生成する加算部17と、符号化対象画像と動き補償後の補償信号又は画面内予測画像の補償信号の反転値との間の誤差信号を生成する加算部16と、動きベクトルと共にその誤差信号を符号化する可変長符号化などのエントロピー符号化部18とを備えている。
【００２８】
“符号化＋量子化”部10は、図4に示す直交変換部120及び量子化部129からなる構成と同様とすることができるが、その他にも、“DCT＋スカラ量子化”、“DCT＋ベクトル量子化（VQとも称する）”、又は、“ベクトル量子化（VQ）”など、既知の手段を用いることができ、“符号化＋量子化”の構成は、本発明の主題ではない。同様に、“逆量子化＋逆符号化”部11は、図4に示す逆量子化部130及び逆直交変換部121からなる構成と同様とすることができるが、これに限定するものではない。
【００２９】
動き推定部15、動き補償部14と、加算部17と、加算部16と、エントロピー符号化部18は、それぞれ図4に示す動き推定部125、動き補償部124と、加算部127と、加算部126と、エントロピー符号化部128と同様に機能する手段と解してよく、説明を省略する。
【００３０】
本実施例によれば、コードブック探索部12では、符号化対象ブロックの近隣の符号化済みブロックの画素のみを用いて、予め作成した画面内予測用のコードブックを参照し、そのコードブックの中で最も類似したパターンを探索する（以下、“コードブック探索予測”とも称する）。画面内予測部13では、そのコードパターンを符号化対象ブロックの画像データの予測画像とでき、符号化対象ブロックの画像と予測画像との差を“符号化＋量子化”部10に送る。
【００３１】
ここで、“コードブック探索予測”において、コードブックの中から最も類似したパターンを探索する方法及びコードブックの例については、後述する。
【００３２】
従って、本実施例のように構成すれば、符号化時の画面内予測において、符号化済みの画素値を用いて最も類似したコードパターンを探索して予測することにより、より符号化に適した画像データを参照でき、より正確な画面内予測画像を生成できるようになる。これにより、従来方式の画面内予測よりも高効率な符号化が可能となる。
【００３３】
次に、本発明による一実施例の画像復号装置について説明する。
【００３４】
（画像復号装置）
図2に、本発明による画面内予測にコードブックを用いた一実施例の画像復号装置の構成を示すブロック図を示す。同図における画像復号装置は、ビットストリームを解析するデータ解析部40と、“逆量子化＋逆符号化”部41と、加算部42と、画面内予測用のコードブック探索部12と、画面内の予測画像を生成する画面内予測部43と、画面間予測画像を生成する動き補償部44とを備えている。尚、コードブック探索部12と、画面内予測部43と、動き補償部44とを備える処理部を、予測画像生成部45と称することとし、破線で示す。
【００３５】
データ解析部40は、ビットストリームに含まれる、符号化データのインデックス、動きベクトル、符号化信号等を含むエントロピー符号化された符号化データを解析する制御部である。データ解析部40では、一定周期のフレーム画像内の符号化対象ブロックについての符号化データを解析し、適応のタイミングで、符号化データを“逆量子化＋逆符号化”部41へと出力し、又、予測画像生成部45内へと動き補償予測又は画面内予測を制御する制御信号を出力する。“逆量子化＋逆符号化”部41の動作は、図1に示す“逆量子化＋逆符号化”部11の動作と同様と解してよい。“逆量子化＋逆符号化”部41から出力される符号化対象ブロックの誤差信号と、符号化対象ブロック毎に予測画像生成部45からの予測画像信号とを加算部42により加算した後、復号データとして出力する。これらの動作は、後述する予測画像生成部45内の動作を除き、本発明の特有の動作ではなく、従来の画像復号装置と同様であり、説明を省略する。
【００３６】
本実施例と、従来の画像復号装置とを比較すると、本実施例の予測画像生成部45内に、コードブック探索部12を備えている点で相違する。本実施例は、そのコードブック探索の結果に基づいて画面内予測を行うことにより、予測画像を生成し、加算部42に出力する。
【００３７】
また、データ解析部40は、符号化データとは別に、画像符号化装置において符号化に用いられた複数のコードパターンを有する第1のコードブック、及び／又は、画像符号化装置において探索された前記第1のコードブック内のコードパターンを規定するインデックスを、符号化装置から受信する受信手段でもある。ここで、画像復号装置が予め本発明によるコードブックを有している（例えば、製造時点で予め備えているなど）ときは、インデックスのみを受信すればよい。画像復号装置が予め本発明によるコードブックを有していないが、画像符号化装置と同一のアルゴリズムでコードブック探索し、画面内予測して復号する手段を有するときは、インデックスは不要であり、コードブックのみを受信すればよい。画像復号装置が本発明によるコードブック及びインデックスを必要とするときは、コードブック及びインデックスを双方受信すればよい。
【００３８】
それとは別に、本実施例による画像復号装置では、画像符号化装置が有する画面内予測用コードブックと同一のコードブックを保持することもできる。例えば、画像符号化装置から、動画像送信の前にコードブックを送信することにより、画像復号装置が同一のコードブックを保持することができる。そして、画像符号化装置同様、復号対象ブロックの近隣の復号済みブロックの画像を用いて、最も類似のコードパターンをコードブックから探索し、復号対象ブロックの予測画像を生成する。
【００３９】
これにより、画像符号化装置から画像復号装置に、画面内予測に用いるコードブックのインデックスを伝送する必要が無くなる。言い換えれば、画像符号化装置は、画像復号装置で参照するデータ（即ち、画像復号装置に伝送される符号化データ）と同一のデータに対して、画像復号装置と同一の画面内予測用のコードブックを用いて類似パターンを探すことにより、画像復号装置で得られる予測信号と同一の予測信号を得ることができる。即ち、画像符号化装置から画像復号装置に、画面内予測に用いるコードブックのインデックスを伝送する必要が無くなるため、画像符号化装置による符号化効率を高めることができる。
【００４０】
本実施例で説明した、画像符号化装置及び画像復号装置で用いる画面内予測用のコードブックは、トレーニング用の画像を用いて予めLBGアルゴリズムなどを用いて生成することができる。
【００４１】
例えば、コードブックのサイズ低減、コードブック探索の効率化を図るために、コードブック作成については、既知の平均値分離正規化VQと同様に、参照画素の平均値及び標準偏差を求めて、それにより直流成分を除去し、正規化を行った後にLBGアルゴリズムを用いて作成することが一般的である。
【００４２】
次に、本発明による画面内予測に用いるコードブック例について説明する。
【００４３】
（コードブック例）
図3に、本発明による一実施例において、コードブック探索を用いて、符号化対象領域の画素値を予測する画面内予測の模式図を示す。図3(A)〜(D)は、それぞれ独立したコードブック探索の例である。図3(A)〜(D)では、フレームを複数の画素から構成される複数のブロック（例えば、4×4画素、16×16画素、又は用途によって64×64画素などのブロックサイズとできる）に分割して行う画面内予測において、符号化対象ブロック54と、符号化対象ブロック54に近接するブロック50〜53を模式的に示している。符号化対象ブロック54内の画素80Ac、80Bc、80Cc及び80Dcは、符号化される画素を表している。
【００４４】
図3において、太枠90A、90B、90C及び90Dは、コードブックの探索領域を示す。近接ブロック50〜53において、それぞれの太枠90A、90B、90C及び90D内の画素80As、80Bs、80Cs及び80Dsは、コードブック探索に用いる画素であり、太枠90A、90B、90C及び90D外の画素80Am、80Bm、80Cm及び80Dmは、コードブック探索に用いない画素である。即ち、予め用意するコードブックは、太枠90A、90B、90C及び90Dで示すようなパターンの画素からなるコードパターンを複数有する。
【００４５】
図3(A)又は図3(B)に示すコードパターンでは、図5に示す従来の画面内予測と比較して、より広範囲で参照する画素が多いため、符号化対象の画素について、周囲の特定のパターンを有する絵柄を反映できることが分かる。特に、コードブック内のコードパターン探索によって、符号化対象の画素を決定するため、ブロックサイズが比較的大きな場合であっても、従来方式の画面内予測に比べて、様々なパターンを有する絵柄に対応できることは理解されるべきである。
【００４６】
図3(C)又は図3(D)に示すコードパターンでは、ベクトル量子化技法を応用していることを特に示す例である。これらのコードブックを用いるコードブック探索では、図5に示す従来の画面内予測と比較して、参照する画素の数によらず、画像内の本来参照に好ましい近接ブロック内の画素を特定的に参照することを可能とする。同コードパターンにおいても、コードブック内のコードパターン探索によって、符号化対象の画素を決定するため、ブロックサイズが比較的大きな場合であっても、従来方式の画面内予測に比べて、好適な符号化を可能とする。
【００４７】
ここで、“コードブック探索予測”において、コードブックの中から最も類似したパターンを探索する方法の例を説明する。代表的に、図3(A)に示すコードパターンを複数備えるコードブックの探索方法について説明することとする。まず、それぞれの太枠90Aのコードブックを予め用意する。次に、それぞれの太枠90A内の画素80Asの平均値を算出する。その平均値と、コードブック内のコードパターンの対応する範囲との間で最も近い類似パターンを探索する。ここで、平均値の算出は、参照画素領域のうち、区分的な領域として複数の平均値とし、複数の平均値から類似パターンを探索することもできる。或いは、構成画素の画素値からその輝度差又は色差を基準としてもよい。類似パターンを探索後、コードクック内の符号化対象画素に対応する画像データを予測画像とする。
【００４８】
ここで、類似パターンの判断手法として、参照画素の平均値とコードパターン内の値との間で、各々の値に対して、差分の絶対値の和、差分の2乗値の和の絶対値、又は差分の2乗値の和の平方根を算出し、その算出値を所定の閾値と比較して、最も近い類似パターンを判断するように構成すればよい。
【００４９】
上述の実施例では、特定のコードブックを用いて画面内予測を行うことにより、入力画像の符号化を実現する方法又は装置について説明したが、以下のような応用例が考えられる。
【００５０】
本実施例では、画面内予測部13において、“コードブック探索予測”を用いて画面内予測するように説明したが、画面内予測部13では、“コードブック探索予測”を、従来方式の“垂直予測”、“水平予測”、“平均値予測”、及び、“平面予測”のうちのいずれかと置換、又は併用できる。即ち、本発明による画面内予測は、従来の画面内予測と組み合わせ、予測モードの1つとして用いることで、より高い符号化効率を得ることを可能とする。
【００５１】
また、コードブック探索して、適合度に応じて類似パターンを数個選び、そのうちで予測に用いるパターンを選択し、選択結果を伝送する方法もある。更に、複数のコードブックや、ブロックサイズやブロックの形状の異なるコードブックを複数用意して、そのコードブックを切り替えて用いる方法もある。この場合には、インデックスは必要となるが、画面内予測の精度が向上し、結果として、より符号化効率を高めることができる。
【００５２】
また、上述においては、画像符号化装置又は画像復号装置について説明したが、画像符号化方法、画像符号化用のプログラム、又はそのプログラムを記録した記録媒体に応用することにより、本発明と同様な効果を生じさせる多方面の分野に適用できるようになる。
【００５３】
例えば本発明によれば、画像符号化装置をコンピュータとして構成させ、コンピュータは、前述の各手段を実行させるCPUや、前述の各手段及びコードブックを記憶するメモリを備える。本発明によれば、その画像符号化装置を構成するコンピュータを、入力画像信号を複数の画素からなるブロックに分割する手段と、予め定められた複数のコードパターンを有する第1のコードブックを有し、符号化済みの前記ブロック内の画素値を用いて、前記第1のコードブック内のコードパターンを探索する第1の探索手段と、前記第1の探索手段の結果に基づいて、符号化対象領域の画素値を予測する予測手段と、前記予測手段により予測した画素値に基づいて予測誤差を符号化する符号化手段として機能させるためのプログラムを記録媒体に記録でき、より多方面のアプリケーションに適用することを容易にする。
【００５４】
上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
【産業上の利用可能性】
【００５５】
符号化ブロックよりも大きなサイズのパターンを構成要素とするコードブックを予め用意し、符号化時に符号済みの画素値を用いて最も類似したパターンを見つけて予測することにより、高効率な符号化が可能となり、静止画像及び／又は動画像の符号化処理において有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明による画面内予測にコードブックを用いた一実施例の画像符号化装置の構成を示すブロック図である。
【図２】本発明による画面内予測にコードブックを用いた一実施例の画像復号装置の構成を示すブロック図である。
【図３】本発明による一実施例において、コードブック探索を用いて、符号化対象領域の画素値を予測する画面内予測の模式図である。
【図４】従来の画面内予測を用いた符号化ブロック図である。
【図５】従来の符号化対象領域の画素値を予測する画面内予測の模式図である。
【符号の説明】
【００５７】
10 符号化+量子化部
11 逆量子化+逆符号化部
12 コードブック探索部
13 画面内予測部
14 動き補償部
15 動き推定部
16 加算部
17 加算部
18 エントロピー符号化部
40 データ解析部
41 逆量子化+逆符号化部
42 加算部
43 画面内予測部
44 動き補償部
45 予測画像生成部
【図１】
2008017304.tif 000003
【図２】
2008017304.tif 000004
【図３】
2008017304.tif 000005
【図４】
2008017304.tif 000006
【図５】
2008017304.tif 000007