(57)【要約】【課題】画像を低いビットレートの圧縮データに圧縮符号化する画像符号化装置を提供する。【解決手段】動画像符号化装置１では、動き補償予測部２によって生成される予測画像と符号化対象フレームとの差演算による予測残差画像を、変換部８がＭａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔｓ法（ＭＰ法）によって分解する。変換部８は所定の二次元パターンを生成する母関数に、かかる二次元パターンを湾曲させるためのパラメータを与えた二次元関数に基づく基底セットを用いて、予測残差画像を分解する。かかる構成によれば、ＭＰ法に基づいて予測残差画像を少ない反復処理回数で分解することが可能となる。その結果、予測残差画像を少ない数のアトム情報に分解することができるので、低いビットレートの動画像の圧縮データを生成することが可能となる。【選択図】  図１
2004297492.tif 000002
【特許請求の範囲】
【請求項１】
所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づく複数の基底が格納された辞書記憶手段と、
符号化対象画像を所定の変換規則に基づき前記複数の基底を用いて分解し、該符号化対象画像をその分解に用いられた前記基底へのインデックス情報と、該インデックス情報によって特定される前記基底に乗じる係数と、該係数を該インデックス情報によって特定される前記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報に変換する変換手段と、
前記基底情報を圧縮符号化してなる圧縮符号を含む圧縮データを生成する符号化手段と
を備える画像符号化装置。
【請求項２】
変換手段が、所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納された複数の基底を用い所定の変換規則に基づいて符号化対象画像を分解し、該符号化対象画像をその分解に用いられた前記基底へのインデックス情報と、該インデックス情報によって特定される前記基底に乗じる係数と、該係数を該インデックス情報によって特定される前記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報に変換する変換ステップと、
符号化手段が、前記基底情報を所定の圧縮符号化規則に基づいて圧縮符号化してなる圧縮符号を含む圧縮データを生成する符号化ステップと
を備える画像符号化方法
【請求項３】
コンピュータを、
所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納された複数の基底を用い所定の変換規則に基づいて符号化対象画像を前記複数の基底を用いて分解し、符号化対象画像をその分解に用いられた前記基底へのインデックス情報と、該インデックス情報によって特定される前記基底に乗じる係数と、該係数を該インデックス情報によって特定される前記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報に変換する変換手段と、
前記基底情報を所定の圧縮符号化規則に基づいて圧縮符号化してなる圧縮符号を含む圧縮データを生成する符号化手段と、
として機能させる画像符号化プログラム。
【請求項４】
前記所定の二次元関数は、更に前記所定の二次元パターンを移動、回転、及び二方向へ拡大縮小させるパラメータを更に含むことを特徴とする請求項３に記載の画像符号化プログラム。
【請求項５】
前記符号化手段は、前記辞書記憶手段に記憶された前記複数の基底各々の前記パラメータを前記圧縮データに含めることを特徴とする請求項３または４に記載の画像符号化プログラム。
【請求項６】
所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づく複数の基底が格納される辞書記憶手段と、
復号対象画像を復元するために用いられる前記基底へのインデックス情報と、該インデックス情報によって特定される前記基底に乗じる係数と、該係数を該インデックス情報によって特定される前記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報が圧縮符号化されてなる圧縮符号とが含まれる圧縮データを復号する復号手段と、
前記復号手段によって復号される前記基底情報に所定の逆変換規則を適用して前記復号対象画像を生成する逆変換手段と
を備える画像復号装置。
【請求項７】
復号手段が、所定の二次元パターンを生成すると共に該二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納される複数の基底へのインデックス情報のうち復号対象画像を所定の逆変換規則に基づいて復元するために用いられる前記基底へのインデックス情報と、該インデックス情報によって特定される前記基底に乗じる係数と、該係数を該インデックス情報によって特定される前記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報が圧縮符号化されてなる圧縮符合とが含まれる圧縮データを復号する復号ステップと、
逆変換手段が、前記復号手段によって復号される前記基底情報に所定の逆変換規則を適用して前記復号対象画像を生成する逆変換ステップと
を備える画像復号方法。
【請求項８】
コンピュータを、
所定の二次元パターンを生成すると共に該二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納される複数の基底へのインデックス情報のうち復号対象画像を所定の逆変換規則に基づいて復元するために用いられる前記基底へのインデックス情報と、該インデックス情報によって特定される前記基底に乗じる係数と、該係数を該インデックス情報によって特定される前記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報が圧縮符号化されてなる圧縮符号とが含まれる圧縮データを復号する復号手段と、
前記復号手段によって復号される前記基底情報に所定の逆変換規則を適用して前記復号対象画像を生成する逆変換手段と、
として機能させる画像復号プログラム。
【請求項９】
前記所定の二次元関数は、更に前記所定の二次元パターンを移動、回転、及び二方向へ拡大縮小させるパラメータを含むことを特徴とする請求項８に記載の画像復号プログラム。
【請求項１０】
前記復号手段は、前記圧縮データに含められる前記複数の基底各々を生成するためのパラメータに基づいて、前記辞書記憶手段に前記複数の基底を記憶させることを特徴とする請求項８または９に記載の画像復号プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラムに関するものである。
【０００２】
【従来の技術】
画像を圧縮符号化してなる圧縮データを生成する画像符号化装置では、符号化対象画像を複数の基底を用いて分解する処理が実行される。このような画像符号化装置の一種として、Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔｓ法（以下、本明細書においては「ＭＰ法」という。）を用いて復号対象フレームの予測残差画像を符号化対象画像として分解する処理を実行する動画像符号化装置が知られている（例えば、非特許文献１）。ＭＰ法は、符号化対象画像を初期の残差成分とし下式（１）を用いて残差成分を基底セットを用いて分解する処理を反復するものである。ここで、式（１）において、ｆは符号化対象画像、Ｒｎｆは第ｎ反復処理後の残差成分であり、ＧｋｎはＲｎｆとの内積値を最大とする基底であり、Ｒｍｆは第ｍ反復処理後の残差成分である。すなわち、ＭＰ法によれば、基底セットのうちから残差成分との内積値を最大とする基底が選択され、選択された基底とこの基底に乗じる為の係数である最大の内積値とに残差成分が分解される。
【数１】
2004297492.tif 000003
【０００３】
上記の動画像符号化装置は、二次元Ｇａｂｏｒ関数に基づいて予め用意された過完備（Ｏｖｅｒ−Ｃｏｍｐｌｅｔｅ）な基底セットを用いてＭＰ法により予測残差画像を分解している。
【０００４】
【非特許文献１】
Ｎｅｆｆ  Ｒ．  ａｎｄ  Ｚａｋｈｏｒ  Ａ．，  ”Ｖｅｒｙ  Ｌｏｗ  Ｂｉｔ−Ｒａｔｅ  Ｃｏｄｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔ，”  ＩＥＥＥ  Ｔｒａｎｓ．  Ｃｉｒｃｕｉｔｓ  Ｓｙｓｔ．  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌ．，  ｖｏｌ．７，  ｎｏ．１，  ｐｐ．  １５８−１７１，  Ｆｅｂｒｕａｒｙ
【０００５】
【発明が解決しようとする課題】
しかしながら、二次元Ｇａｂｏｒ関数に基づいて生成される基底セットには、原点対称の二次元パターンを生成する基底しか含まれないため、一般に湾曲したパターン等の非当方性のパターンが含まれる予測残差画像をこの基底セットを用いて分解するためには、多くの反復処理を実行する必要がある。その結果、上述の動画像符号化装置では、符号化対象フレームを分解してなる符号を用いて生成される圧縮データのビットレートが大きくなる。
【０００６】
本発明は上記問題点を解決するためになされたもので、符号化対象画像を低いビットレートの圧縮データに圧縮符号化する画像符号化装置、画像符号化方法、及び画像符号化プログラムを提供し、また、かかる圧縮データを復号する画像復号装置、画像符号化方法、及び画像復号プログラムを提供することを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像符号化装置は、所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づく複数の基底が格納された辞書記憶手段と、符号化対象画像を所定の変換規則に基づき上記複数の基底を用いて分解し、該符号化対象画像をその分解に用いられた上記基底へのインデックス情報と、該インデックス情報によって特定される上記基底に乗じる係数と、該係数を該インデックス情報によって特定される上記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報に変換する変換手段と、上記基底情報を圧縮符号化してなる圧縮符号を含む圧縮データを生成する符号化手段と
を備えることを特徴としている。
【０００８】
また、上記課題を解決するため、本発明の画像符号化方法は、変換手段が、所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納された複数の基底を用い所定の変換規則に基づいて符号化対象画像を分解し、該符号化対象画像をその分解に用いられた上記基底へのインデックス情報と、該インデックス情報によって特定される上記基底に乗じる係数と、該係数を該インデックス情報によって特定される上記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報に変換する変換ステップと、符号化手段が、上記基底情報を所定の圧縮符号化規則に基づいて圧縮符号化してなる圧縮符号を含む圧縮データを生成する符号化ステップとを備えることを特徴としている。
【０００９】
これらの発明によれば、辞書記憶手段に記憶された複数の基底には、所定の二次元パターンを湾曲させたパターンを生成する基底が含まれるので、かかる複数の基底を用いた所定の変換規則、すなわちＭＰ法に基づいて符号化対象画像を少ない反復処理回数で分解することが可能となる。その結果、符号化対象画像を少ない数の基底情報に分解することができるので、低いビットレートの圧縮データを生成することが可能となる。
【００１０】
また、上記課題を解決するため、本発明の画像符号化プログラムは、所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納された複数の基底を用い所定の変換規則に基づいて符号化対象画像を上記複数の基底を用いて分解し、符号化対象画像をその分解に用いられた上記基底へのインデックス情報と、該インデックス情報によって特定される上記基底に乗じる係数と、該係数を該インデックス情報によって特定される上記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報に変換する変換手段と、上記基底情報を所定の圧縮符号化規則に基づいて圧縮符号化してなる圧縮符号を含む圧縮データを生成する符号化手段と、として機能させることを特徴としている。
【００１１】
かかる画像符号化プログラムをコンピュータに実行させることによって、コンピュータは、上述した変換手段と符号化手段として機能するので、所定の二次元パターンを湾曲させたパターンを生成する基底を含む複数の規定を用いた所定の変換規則、すなわちＭＰ法に基づいて符号化対象画像を少ない反復処理回数で分解することが可能となる。その結果、符号化対象画像を少ない数の基底情報に分解することができるので、低いビットレートの圧縮データを生成することが可能となる。
【００１２】
また、本発明の画像符号化プログラムにおいては、上記所定の二次元関数は、更に上記所定の二次元パターンを移動、回転、及び二方向へ拡大縮小させるパラメータを更に含むことが好ましい。
【００１３】
かかる発明によれば、上記の所定の二次元関数には所定の二次元パターンを移動、回転、二方向へ拡大縮小するためのパラメータが含まれているので、かかる所定の二次元関数に基づく複数の基底を用いることによって、符号化対象画像をＭＰ法によって分解するための反復処理回数を更に少なくすることができる。その結果、圧縮データのビットレートを更に低減することが可能となる。
【００１４】
また、本発明の画像符号化プログラムにおいては、上記符号化手段は、上記辞書記憶手段に記憶された上記複数の基底各々の上記パラメータを上記圧縮データに含めることを特徴としても良い。
【００１５】
かかる発明によれば、圧縮データには上記の複数の基底各々を生成するためのパラメータが含まれるので、画像復号装置との間で上記の複数の基底を予め共通にしておくことなく、圧縮データの生成に用いた複数の基底と同じ複数の基底をかかるパラメータに基づいて上記の所定の二次元関数を既知の画像復号装置に記憶させることができる。
【００１６】
また、本発明は別の面においては、上述した画像符号化装置または画像符号化プログラムによって動作するコンピュータによって圧縮符号化される圧縮データを復号して画像を生成する画像復号装置に関するものであり、所定の二次元パターンを生成する所定の二次元関数であって、該所定の二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づく複数の基底が格納される辞書記憶手段と、復号対象画像を復元するために用いられる上記基底へのインデックス情報と、該インデックス情報によって特定される上記基底に乗じる係数と、該係数を該インデックス情報によって特定される上記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報が圧縮符号化されてなる圧縮符号とが含まれる圧縮データを復号する復号手段と、上記復号手段によって復号される上記基底情報に所定の逆変換規則を適用して上記復号対象画像を生成する逆変換手段とを備えることを特徴としている。
【００１７】
また、本発明の画像復号方法は、所定の二次元パターンを生成すると共に該二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納される複数の基底へのインデックス情報のうち復号対象画像を所定の逆変換規則に基づいて復元するために用いられる上記基底へのインデックス情報と、該インデックス情報によって特定される上記基底に乗じる係数と、該係数を該インデックス情報によって特定される上記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報が圧縮符号化されてなる圧縮符合とが含まれる圧縮データを復号する復号ステップと、逆変換手段が、上記復号手段によって復号される上記基底情報に所定の逆変換規則を適用して上記復号対象画像を生成する逆変換ステップとを備えることを特徴としている。
【００１８】
これらの発明によれば、圧縮データに含まれる圧縮符号から復号される基底情報に、辞書記憶手段に記憶されている複数の基底を用いた所定の逆変換規則、すなわちＭＰ法による変換処理の逆変換処理を適用することによって、復号対象画像を復元することができる。なお、辞書記憶手段には上記の圧縮データを生成するために画像符号化装置に備えられている複数の基底と同一のものを記憶しておくことができる。
【００１９】
また、本発明の画像復号プログラムは、コンピュータを、所定の二次元パターンを生成すると共に該二次元パターンを湾曲させるパラメータを含む所定の二次元関数に基づき辞書記憶手段に格納される複数の基底へのインデックス情報のうち復号対象画像を所定の逆変換規則に基づいて復元するために用いられる上記基底へのインデックス情報と、該インデックス情報によって特定される上記基底に乗じる係数と、該係数を該インデックス情報によって特定される上記基底に乗じてなるパターンを復元する位置を特定するための位置情報とを含む基底情報が圧縮符号化されてなる圧縮符号とが含まれる圧縮データを復号する復号手段と、上記復号手段によって復号される上記基底情報に所定の逆変換規則を適用して上記復号対象画像を生成する逆変換手段と、として機能させることを特徴としている。
【００２０】
かかる画像復号プログラムによれば、コンピュータを上述した、復号手段と逆変換手段と機能させることができるので、上述した画像符号化装置によって生成される圧縮データを用いて、復号対象画像を復元することができる。
【００２１】
また、本発明の画像復号プログラムにおいては、上記所定の二次元関数は、更に上記所定の二次元パターンを移動、回転、及び二方向へ拡大縮小させるパラメータを含むことが好ましい。
【００２２】
また、本発明の画像復号プログラムにおいては、上記復号手段は、上記圧縮データに含められる上記複数の基底各々を生成するためのパラメータに基づいて、上記辞書記憶手段に上記複数の基底を記憶させることを特徴としても良い。
【００２３】
かかる発明によれば、圧縮データには画像符号化装置の辞書記憶手段に記憶されている複数の基底各々のパラメータが含まれるので、画像符号化装置の辞書記憶手段に記憶されている複数の基底と共通の複数の基底を画像復号装置に予め記憶させておかなくても、画像復号装置は上記の所定の二次元関数が既知であれば、この所定の二次元関数に上記のパラメータを適用することで、辞書記憶手段に記憶させるべき複数の基底を生成することができる。
【００２４】
【発明の実施の形態】
本発明の実施形態にかかる動画像符号化装置１について説明する。動画像符号化装置１は、物理的にはＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった格納装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動通信端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【００２５】
次に、動画像符号化装置１の機能的な構成について説明する。図１は動画像符号化装置１の機能的な構成を示すブロック図である。図１に示すように、動画像符号化装置１は、動き補償予測部（動き補償予測手段）２と、フレームメモリ４と、減算部（減算手段）６、変換部（変換手段、辞書記憶手段）８と、量子化部１０と、符号化部（符号化手段）１２と、逆量子化部１４と、逆変換部１６と、加算部１８とを備えて構成される。以下、それぞれの構成要素について詳細に説明する。
【００２６】
動き補償予測部２は、フレームメモリ４に格納されている参照フレームを用いて符号化対象フレームに対する動き補償を行い、かかる符号化対象フレームの予測画像を生成する。
【００２７】
より具体的には、動き補償予測部２は符号化対象フレームを所定サイズのブロックに分割する。この所定サイズは、例えば１６画素×１６ラインのサイズとすることができる。動き補償予測部２は、かかる分割によって生成された複数のブロックの各々について、フレームメモリ４に格納されている参照フレームのうち所定の領域の予測参照領域に対するブロックマッチングを行い、各々のブロックの参照フレームに対する動きベクトルを検出する。動き補償予測部２は、かかる動きベクトルを用いて参照フレームから符号化対象フレームの予測画像を生成する。なお、参照フレームから生成する予測参照領域の画像は、整数画素のみによって構成される画像に限らず、整数画素間を１／２位置、１／４位置を補間する補間画素を設けた画像としても良い。このように補間画素を設けることによって、動きベクトルを高解像度に検出することが可能とされる。
【００２８】
減算部６は、動き補償予測部２によって生成される予測画像と符号化対象フレームとの差演算を実行し、予測画像と符号化対象フレームとの残差からなる予測残差画像を生成する。
【００２９】
変換部８は、式（１）に示すＭＰ法により予測残差画像を分解する。変換部８は、ＭＰ法を実行するために用いる基底セットを保持している。かかる基底セットは、所定の二次元関数に基づくものである。所定の二次元関数には、例えば、下式（２）に示す母関数に基づく二次元関数を用いることができる。
【数２】
2004297492.tif 000004
【００３０】
また、所定の二次元関数は、上記の母関数によって生成される二次元パターンを種々に変形させるパラメータを含む。かかるパラメータとしては、式（２）によって生成される二次元パターンを移動させる移動パラメータ、回転させる回転パラメータ、Ｘ方向とＹ方向の二方向へ独立に拡大・縮小させるスケーリングパラメータ、及び上記の二次元パターンを湾曲させる湾曲パラメータを用いることができる。
【００３１】
ここで、上記の二次元パターンを湾曲させるために、下式（３）によるｘ’を式（２）に代入し、下式（３）のＫ及びαを湾曲パラメータとして用いることができる。例えば、αとして２を与えることにより、式（２）の母関数によって生成される二次元パターンを湾曲させてアーチ状の二次元パターンを得ることができる。また、Ｋに正または負の数値を与えることによってアーチ状の二次元パターンの向きを変えることができる。
【数３】
2004297492.tif 000005
【００３２】
変換部８は、上記のパラメータを調整して得られる基底セットを用いて、上述した式（１）により、予測残差画像を、基底セットの中から選択される基底と基底に乗じる係数と、基底に係数を乗じたパターンを復元する位置を特定するための位置情報とを含むアトム情報（基底情報）の組に変換する。アトム情報に含まれる係数は、量子化部１０によって量子化操作が施され、アトム情報には上記の係数に代えて量子化係数が含められる。
【００３３】
符号化部１２は、動き補償予測部２によって生成された動きベクトルをエントロピー符号化処理によって符号化して、圧縮符号を生成する。また、符号化部１２は、量子化部１０によってそれに含む係数が量子化係数とされたアトム情報を符号化して、圧縮符号を生成する。符号化部１２は、これら圧縮符号を含む圧縮データを生成する。以下、アトム情報の符号化処理について詳述する。
【００３４】
符号化部１２は、まず、符号化対象フレームを分解して生成されたアトム情報に含まれる量子化係数のうち絶対値が最小の量子化係数を求め、これを符号化フレームにおける量子化係数の最小絶対値として記憶する。かかる最小絶対値は、各符号化対象フレームのフレームヘッダに含められることによって圧縮データに含められる。
【００３５】
次いで、符号化部１２は符号化対象フレームを複数のブロックに分割し、各々のブロックにおいてアトム情報の符号化処理を行う。符号化対象フレームに対するアトム情報の符号化処理は、ブロックのサイズを変えて行われる。ブロックのサイズとしては、例えば、４×４、８×８、１６×１６の３種のサイズを用いることができ、この場合にはアトム情報の符号化処理は３回繰り返される。なお、ブロックのサイズ、及びブロックのサイズを変更する回数は上記の例に限定されるものではない。
【００３６】
符号化部１２は、符号化対象フレームを分割した複数のブロック各々において、そのブロック内に位置が含まれる位置情報を有するアトム情報の有無を示すアトムフラグを求める。また、そのブロックにアトム情報が含まれる場合には、アトム情報の数を求める。そして、アトムフラグ及びアトム数を算術符号化して上記の圧縮データに含める。この算術符号化処理については後述する。
【００３７】
符号化部１２は、次に、複数のブロック各々についてそのブロック内に含まれるアトム情報を、各々のアトム情報に含まれる量子化係数をその絶対値の降順に並び替える。そして、符号化部１２は、各々のアトム情報に含まれる位置情報をブロックにおける相対的な位置情報へと変換したブロック内位置情報とし、かかるブロック内位置情報とインデックス情報とを上記の並びの順に算術符号化して上記の圧縮データに含める。また、各々のアトム情報に含まれる量子化係数をその絶対値と上記の最小絶対値との差分値である差分量子化係数に変換して算術符号化する。また、各々の量子化係数の正負を示す正負符号を算術符号化し、上記の圧縮データに含める。ここで、各々のブロックにおいて差分量子化係数を上記の並びの順に算術符号化する処理では、「０」となる差分量子化係数が現れた時点で差分量子化係数の符号化は停止される。
【００３８】
以下、上述した符号化部１２によって行われるアトム情報の算術符号化処理について詳述する。まず、ブロックにおけるアトムの有無を示すアトムフラグは、図２に示すアトムフラグの符号化値と２進値との対応関係を用いて、２進値へと変換される。２進値とされたアトムフラグは、ブロックのサイズ毎に初期値が異なる確率テーブルを用いて算術符号化される。この確率テーブルとしては、図３の確率テーブルを用いることができる。図３は、アトムフラグの算術符号化に用いられる確率テーブル初期値の一例を示すものであり、確率テーブルの初期値がブロックのサイズによって異なる。これは、ブロックのサイズが小さい程、各々のブロックがその中にアトム情報を有する確率が小さく、逆にブロックのサイズが大きい程、各々のブロックがその中にアトム情報を有する確率が大きくなるためである。周知のように算術符号化は確率テーブルを用いて符号を数直線上の区間に割り当てるものであるから、アトムフラグの符号化においては発生頻度の多い２進値に大きな区間が割り当てられるようするため、図３に示すようにブロックサイズに応じて異なる確率テーブルが用いられる。アトムフラグの算術符号化に用いられる確率テーブルは、発生頻度の大きい２進値に数直線上の区間が大きく割り当てられるように、過去のフレーム内の２進値の発生頻度に応じて更新される。なお、アトムフラグの算術符号化に用いる確率テーブルとしては、図４に示す確率テーブルも適用可能である。図４において、「ＦＡＮ」はフレーム内のアトム数を示し、「ＦＳ」はフレームの画素数を示す。図４に示す確率テーブルを用いても、アトムフラグの算術符号化に関し、図３に示す確率テーブルによる効果と同様の効果が得られる。
【００３９】
ブロック内に含まれるアトム数は、図５に示すアトム数の符号化値と２進値の対応関係を用いて２進値の列へ変換される。そして、アトム数に対応する２進値の列が、それぞれのＢＩＮ番号（ＢＩＮ番号は、２進値のビット番号を示す。）毎に用意された確率テーブルに基づいて算術符号化される。図６は、アトム数を算術符号化する際に用いる確率テーブルの例を示す図であり、ＢＩＮ番号０の確率テーブルの初期値の一例を示す。アトム数についても、ブロックのサイズによってＢＩＮ番号毎に２進値の発生頻度が異なるので、発生頻度の多い２進値が数直線上において大きな区間を割り当てられるように、確率テーブルの初期値が設定されている。かかる確率テーブルは、過去のフレーム内のＢＩＮ番号毎の２進値の発生頻度に応じて更新される。
【００４０】
ブロック内位置情報は、横軸・縦軸それぞれにわけて２進値の列へ変更された後、算術符号化される。図７（ａ）〜（ｃ）は、それぞれブロック内位置情報と２進値の対応関係の一例を示す図であり、それぞれブロックサイズ４×４、８×８、１６×１６の場合のブロック内位置情報と２進値の対応関係を示す。ブロック内位置情報は、ブロックサイズに応じた上記の対応関係を用いて２進値の列へと変換される。ブロック内位置情報が変換された２進値の列は、各々のＢＩＮ番号毎に算術符号化される。この算術符号化に用いる確率テーブルは「０」「１」ともに０．５の区間を数直線上に割り当てる確率テーブルを用いることができる。
【００４１】
インデックス情報も同様に、図８に示すインデックス情報と２進値の対応関係の一例に示される規則にしたがって、２進値の列に変換される。インデックス情報が変換された２進値の列は、各々のＢＩＮ番号毎に算術符号化される。この算術符号化に用いる確率テーブルは「０」「１」ともに０．５の区間を数直線上に割り当てる確率テーブルを用いることができる。かかる確率テーブルは、過去のフレーム内のＢＩＮ番号毎の２進値の発生頻度に応じて更新される。
【００４２】
量子化係数の正負符号は、図９に示す正負符号と２進値の対応関係の一例に示される規則にしたがって、２進値に変換される。正負符号が変換された２進値は、確率テーブルは「０」「１」ともに０．５の区間を数直線上に割り当てる確率テーブルを用いて算術符号化される。
【００４３】
差分量子化係数については、図１０に示す差分量子化係数と２進値の対応関係の一例に示される規則にしたがって、２進値の列に変換される。差分量子化係数が変換された２進値の列は、各々のＢＩＮ番号毎に算術符号化される。この算術符号化に用いる確率テーブルは２進値の「０」「１」ともに０．５の区間を数直線上に割り当てる確率テーブルを用いることができる。かかる確率テーブルは、過去のフレーム内のＢＩＮ番号毎の２進値の発生頻度に応じて更新される。
【００４４】
図１に戻り、符号化部１２は、以上のアトム情報の符号化処理をブロックサイズを変更して実行し、生成される圧縮符号のビットレートが最小の圧縮符号を採用して圧縮データに含め、かかる圧縮符号の生成に用いられたブロックサイズをフレームヘッダに含める。符号化対象フレームを分割するブロックサイズを小さくすれば、ブロック内位置情報の符号量は小さくできるがアトムフラグ及びアトム数の符号量は増える。逆にブロックサイズを大きくすればアトムフラグ及びアトム数の符号量は少なくできるが、ブロック内位置情報の符号量は増える。上述した符号化処理によれば、符号化対象フレーム毎に最適なブロックサイズを用いて求められた圧縮符号を用いることができるので圧縮データのビットレートを低減することができる。
【００４５】
逆量子化部１４、逆変換部１６、及び加算部１８は、フレームメモリ４に参照フレームを格納するための処理を行う部分である。逆量子化部１４は、アトム情報に含まれる量子化係数を逆量子化する。逆変換部１６は、変換部８によって行われる変換処理の逆変換処理をアトム情報に対して行い、予測残差画像を復元する。加算部１８は、参照フレームの予測画像と逆変換部１６によって復元された予測残差画像を加算し、参照フレームを生成する。かかる参照フレームは、上述したようにフレームメモリ４に格納され、この参照フレームは動き補償予測部２によって符号化対象フレームの予測画像を生成する処理に用いられる。
【００４６】
以下、動画像符号化装置１の動作について説明し、併せて実施形態にかかる動画像符号化方法について説明する。図１１は、かかる動画像符号化方法のフローチャートである。図１１に示すように、動画像符号化装置１においては、動き補償予測部２によって動き補償予測が行われる（ステップＳ０１）。動き補償予測においては、符号化対象フレームが所定サイズのブロックに分割される。そして、各々のブロックについて動き補償予測部２によって参照フレームに対する動きベクトルが求められ、符号化対象フレームの予測画像が生成される。ここで、参照フレームには、先に符号化されたフレームを用いることができる。すなわち、先に符号化されたフレームに関し、逆量子化部１４によって逆量子化され、逆変換部１６によって逆変換されることによって生成される予測残差画像と、そのフレームの予測画像とが加算部１８によって加算されてフレームメモリ４に格納された画像が参照フレームとして用いられる。
【００４７】
次に、減算部６によって、符号化対象フレームと予測画像の差演算が行われ、予測残差画像が生成される（ステップＳ０２）。予測残差画像は、変換部８によって上述したＭＰ法に基づく処理によってアトム情報に変換される（ステップＳ０３）。次に、アトム情報に含まれる係数が量子化部１０によって、量子化されて量子化係数へと変換される（ステップＳ０４）。そして、上述の動きベクトルとアトム情報とが、符号化部１２によって符号化される（ステップＳ０５）。
【００４８】
符号化部１２は、符号化対象フレームにおけるアトム情報に含まれる係数のうち、絶対値が最小の係数を最小絶対値として抽出する。かかる最小絶対値はフレームヘッダに含められる。次に符号化部１２は、符号化対象フレームを複数のブロックに分割する。
【００４９】
符号化部１２は、各々のブロックについて、図１２のフローチャートに示すアトム情報の符号化処理を行う。まず、符号化部１２は、そのブロックに位置が含まれるアトム情報の有無を示すアトムフラグを求め、かかるアトムフラグを上述したように算術符号化する（ステップＳ１０）。次に、符号化部１２は、ブロック内にアトム情報が含まれるか否か、すなわちアトムフラグが１であるか否かを判断し（ステップＳ１１）、アトムフラグが１でない場合には、アトム情報がそのブロックには無いので、そのブロックに関するアトム情報の符号化処理を終了する。一方、符号化部は、アトムフラグが１である場合、すなわちそのブロック内にアトム情報が含まれる場合には、そのブロック内に含まれるアトム情報の数を上述したように算術符号化する（ステップＳ１２）。
【００５０】
そして、符号化部１２は、ブロックに含まれるアトム情報を係数の絶対値の降順に並び替える。次いで、符号化部１２は、アトム情報に含まれる位置情報をブロック内における相対的な位置情報であるブロック内位置情報に変換し、ブロック内位置情報を算術符号化する（ステップＳ１３）。
【００５１】
次に、符号化部１２は、アトム情報に含まれるインデックス情報を算術符号化する（ステップＳ１４）。そして、符号化部１２は、アトム情報に含まれる量子化係数の正負符号を算術符号化し、量子化係数をその絶対値と上記の最小絶対値との差分値である差分量子化係数に変換し、かかる差分量子化係数を算術符号化する（ステップＳ１５）。符号化部１２は、ブロック内の全てのアトム情報の符号化が終了しているか否かを判断し（ステップＳ１６）、終了している場合にはそのブロックに関するアトム情報の符号化処理を終了し、一方、終了していない場合には、ステップＳ１２〜Ｓ１６の処理を繰り返す。
【００５２】
以上の処理は、符号化対象フレームを分割するブロックのサイズを変更して行われ、符号化された圧縮符号のうちビットレートが低い圧縮符号が採用されると共に、フレームヘッダに採用されたブロックのサイズが含められる。
【００５３】
次に、実施形態にかかる動画像復号装置２０について説明する。動画像復号装置２０は、物理的にはＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった格納装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【００５４】
次に、動画像復号装置２０の機能的な構成について説明する。図１３は動画像復号装置２０の機能的な構成を示すブロック図である。動画像復号装置２０は、機能的には、復号部（復号手段）２２と、逆量子化部２４と、逆変換部（逆変換手段）２６と、動き補償予測部（動き補償予測手段）２８と、フレームメモリ３０と、加算部（加算手段）３２とを備えて構成される。
【００５５】
復号部２２は、動画像符号化装置１によって生成された圧縮データを復号する。復号部２２は、動画像符号化装置１の符号化部１２によって利用された確率テーブルの初期値と確率テーブルの更新の規則とを予め知っており、符号化部１２によって符号化された圧縮データを復号することができる。また、復号部２２は、圧縮データを復号することによって得られる差分量子化係数に、フレームヘッダに含められている最小絶対値を加算し、この値に正負符号を付加して量子化係数を復元する。また、復号部２２は、フレームヘッダに含められているブロックのサイズを参照してブロック内位置情報を復号対象フレームにおける位置情報に変換する。以上の処理を行うことによって復号部２２は、動きベクトルとアトム情報とを復元する。また、かかるアトム情報に含まれている量子化係数は、逆量子化部２４によって逆量子化が施されてなる係数に変換される。
【００５６】
逆変換部２６は、動画像符号化装置１によって上述のＭＰ法に用いられたものと同じ基底セットを備えており、かかる基底セットを参照して上述のアトム情報から復号対象フレームの予測残差画像を生成する。すなわち、逆変換部２６が行う逆変換処理は、アトム情報に含まれる位置情報、係数、及び基底へのインデックス情報を用いて行われるものであり、位置情報によって特定される位置に、インデックス情報によって特定される基底によって生成される二次元パターンにアトム情報に含まれる係数を乗じた二次元パターンを復元するものである。かかる逆変換処理によって、予測残差画像が生成される。
【００５７】
動き補償予測部２８は、復号部２２によって復号された動きベクトルを用い、フレームメモリ３０に格納されている参照フレームを参照し、復号対象フレームの予測画像を生成する。
【００５８】
フレームメモリ３０は、先に復号されたフレームが参照フレームとして格納される一時メモリであり、上述したように動き補償予測部２８によって参照される参照フレームが格納される。
【００５９】
加算部３２は、動き補償予測部２８によって生成される予測画像と、逆変換部２６とによって生成される予測残差画像を加算することによって、復号対象フレームを生成する。
【００６０】
以下、動画像復号装置２０の動作について説明すると共に、実施形態にかかる動画像復号方法について説明する。図１４は、かかる動画像復号方法を示すフローチャートである。動画像復号装置２０においては、動画像符号化装置１によって生成された圧縮データが復号部２２によって上述したように復号され、位置情報、量子化係数が復元されたアトム情報とされる（ステップＳ２１）。復号部２２によって復号されたアトム情報はこの段階で量子化係数を含んでおり、量子化係数は逆量子化部２４によって逆量子化された係数へと変換される（ステップＳ２２）。次いで、逆変換部２６によって、動画像符号化装置１が上述したＭＰ法に用いたものと同じ基底セットが参照され、上述のアトム情報から復号対象フレームの予測残差画像が生成される（ステップＳ２３）。
【００６１】
次に、復号部２２によって復号された動きベクトルと、フレームメモリ３０に格納された参照フレームを用いた動き補償予測が、動き補償予測部２８によって実行され、復号対象フレームの予測画像が生成される（ステップＳ２４）。そして、加算部３２によって予測残差画像と予測画像が加算され復号対象フレームが生成される（ステップＳ２５）。
【００６２】
次に、コンピュータを上述した動画像符号化装置１として機能させるための動画像符号化プログラム１００と、コンピュータを上述した動画像復号装置２０として機能させるための動画像復号プログラム１２０について説明する。図１５、図１６はそれぞれ、動画像符号化プログラム１００、動画像復号プログラム１２０の構成を示す図である。
【００６３】
図１５に示すように、動画像符号化プログラム１００は、処理を統括するメインモジュール１０１と、動き補償測モジュール１０２と、減算モジュール１０４と、変換モジュール１０６と、量子化モジュール１０８と、符号化モジュール１１０と、逆量子化モジュール１１２と、逆変換モジュール１１４と、加算モジュール１１６とを備える。動き補償測モジュール１０２、減算モジュール１０４、変換モジュール１０６、量子化モジュール１０８、符号化モジュール１１０、逆量子化モジュール１１２、逆変換モジュール１１４、加算モジュール１１６がコンピュータに行わせる機能はそれぞれ、上述した動き補償予測部２、減算部６、変換部８、量子化部１０、符号化部１２、逆量子化部１４、逆変換部１６、加算部１８と同様である。
【００６４】
また、図１６に示すように、動画像符号化プログラム１２０は、処理を統括するメインモジュール１２１と、復号モジュール１２２と、逆量子化モジュール１２４と、逆変換モジュール１２６と、動き補償予測モジュール１２８と、加算モジュール１３０とを備える。復号モジュール１２２、逆量子化モジュール１２４、逆変換モジュール１２６、動き補償予測モジュール１２８、加算モジュール１３０がコンピュータに実現させる機能はそれぞれ、上述した復号部２２、逆量子化部２４、逆変換部２６と、動き補償予測部２８と、加算部３２と同様である。
【００６５】
以下、本実施形態にかかる動画像符号化装置１及び動画像復号装置２０の作用及び効果を説明する。動画像符号化装置１では、変換部８が、式（１）及び（２）によって示される二次元関数による基底セットを用いて予測残差画像を分解する。上記の二次元関数に基づく基底には、式（１）による母関数によって生成される二次元パターンを湾曲させた二次元パターンを生成する基底が含まれる。したがって、変換部８は、かかる複数の基底を用いＭＰ法に基づいて予測残差画像を少ない反復処理回数で分解することが可能となる。その結果、予測残差画像を少ない数のアトム情報に分解することができるので、低いビットレートの圧縮データを生成することが可能となる。
【００６６】
また、上記の二次元関数には、式（１）及び（２）によって生成されるパターンを移動、回転、及び二方向へ拡大縮小するパラメータを含めることができる。かかる二次元関数による基底セットを用いることによって、予測残差画像をＭＰ法によって分解するための反復処理回数を更に少なくすることができる。その結果、圧縮データのビットレートを更に低減することが可能となる。
【００６７】
また、動画像復号装置２０に上記の基底セットと共通の基底セットを保持させることによって、動画像復号装置２０においては、動画像符号化装置１によって生成される圧縮データから動画像を復元することが可能となる。ここで、動画像符号化装置１が用いる基底セットを動画像復号装置２０に予め保持させておけば、動画像符号化装置１は圧縮データに予測残差画像を分解して生成されるインデックス情報を含めることによって、予測残差画像を復元するために用いる基底を動画像復号装置２０に特定させることができる。
【００６８】
なお、動画像符号化装置１は、基底セットに含まれる複数の基底各々の生成に用いられるパラメータを、圧縮データに含めることもできる。かかる場合には、動画像符号化装置１が用いる基底セットを動画像復号装置２０に予め保持させておかなくても、動画像符号化装置１が用いる上記の二次元関数について動画像復号装置２０に知識を与えておくことによって、動画像復号装置２０は圧縮データに含まれるパラメータから動画像符号化装置１によって用いられる基底セットと同じ基底セットを生成することができる。
【００６９】
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されず種々の変形態様を構成することができる。例えば、変換部８によって用いられる所定の二次元関数は、上記実施形態の式（２）及び（３）に示される関数に限られるものではない。例えば、かかる所定の二次元関数の母関数としては、式（２）の母関数に代えて下式（４）を用いることができる。
【数４】
2004297492.tif 000006
【００７０】
また、式（４）によって生成される所定の二次元パターンを湾曲させるため、例えば下式（５）を用い、下式（５）のＪ，Ｋ、β、及びγを湾曲パラメータとして用いることができる。
【数５】
2004297492.tif 000007
【００７１】
また、上記の実施形態においては、動画像の符号化及び復号を例にとって本発明の思想を説明したが、本発明の思想は動画像の符号化及び復号に限定されるものではなく、静止画像を符号化対象画像とする符号化及び復号にも本発明の思想は適用され得る。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、画像を低いビットレートの圧縮データに圧縮符号化する画像符号化装置、画像符号化方法、及び画像符号化プログラムが提供される。また、本発明によれば、かかる圧縮データを復号する画像復号装置、画像復号方法、及び画像復号プログラムが提供される。
【図面の簡単な説明】
【図１】図１は、実施形態にかかる動画像符号化装置の機能的構成を示すブロック図である。
【図２】図２は、アトムフラグの符号化値と２進値との対応関係の一例を示す図である。
【図３】図３は、アトムフラグの算術符号化に用いられる確率テーブル初期値の例を示す図である。
【図４】図４は、アトムフラグの算術符号化に用いられる確率テーブル初期値の他の例を示す図である。
【図５】図５は、アトム数の符号化値と２進値の対応関係の一例を示す図である。
【図６】図６は、アトム数の算術符号化するための確率テーブル初期値の例を示す図であり、アトム数に対応する２進値のＢＩＮ番号０の算術符号化に用いる確率テーブル初期値の例を示す。
【図７】図７（ａ）は、ブロックサイズ４×４の場合の、ブロック内位置情報と２進値の対応関係の一例を示す図である。
図７（ｂ）は、ブロックサイズ８×８の場合の、ブロック内位置情報と２進値の対応関係の一例を示す図である。
図７（ｃ）は、ブロックサイズ１６×１６の場合の、ブロック内位置情報と２進値の対応関係の一例を示す図である。
【図８】図８は、インデックス情報と２進値の対応関係の一例を示す図である。
【図９】図９は、正負符号と２進値の対応関係の一例を示す図である。
【図１０】図１０は、差分量子化係数と２進値の対応関係の一例を示す図である。
【図１１】図１１は、実施形態にかかる動画像符号化方法のフローチャートを示す。
【図１２】図１２は、実施形態にかかる動画像符号化方法のフローチャートであり、かかる動画像符号化方法におけるブロック内のアトム情報の符号化処理を示す。
【図１３】図１３は、実施形態にかかる動画像復号装置の機能的構成を示すブロック図である。
【図１４】図１４は、実施形態にかかる動画像復号方法のフローチャートである。
【図１５】図１５は、実施形態にかかる動画像符号化プログラムの構成を示す図である。
【図１６】図１６は、実施形態にかかる動画像復号プログラムの構成を示す図である。
【符号の説明】
１…動画像符号化装置、２…動き補償予測部、４…フレームメモリ、６…減算部、８…変換部、１０…量子化部、１２…符号化部、１４…逆量子化部、１６…逆変換部、１８…加算部、２０…動画像復号装置、２２…復号部、２４…逆量子化部、２６…逆変換部、２８…動き補償予測部、３０…フレームメモリ、３２…加算部。
【図１】
2004297492.tif 000008
【図２】
2004297492.tif 000009
【図３】
2004297492.tif 000010
【図４】
2004297492.tif 000011
【図５】
2004297492.tif 000012
【図６】
2004297492.tif 000013
【図７】
2004297492.tif 000014
【図８】
2004297492.tif 000015
【図９】
2004297492.tif 000016
【図１０】
2004297492.tif 000017
【図１１】
2004297492.tif 000018
【図１２】
2004297492.tif 000019
【図１３】
2004297492.tif 000020
【図１４】
2004297492.tif 000021
【図１５】
2004297492.tif 000022
【図１６】
2004297492.tif 000023