(57)【要約】【課題】  圧縮効率を向上する。【解決手段】  複数の領域に分割された符号化対象画像の符号化方法であって、  該符号化対象画像の符号化対象領域に隣接する領域の画像の特徴を示す画像特徴量を算出する画像特徴量算出ステップと、  前記画像特徴量算出ステップにおいて算出した画像特徴量を用いて前記符号化対象領域の符号化モード群を選択する符号化モード群選択ステップと、  前記符号化モード群選択ステップにおいて選択された前記符号化モード群に属する複数の符号化モードのうち、一つの符号化モードを選択する符号化モード選択ステップと、  前記符号化モード選択ステップにおいて選択された符号化モードを用いた予測処理により算出された予測差分値に所定の変換処理を行い符号化ストリームに含めて出力ステップとを備える。【選択図】  図1
2009272969.tif 000002
【特許請求の範囲】
【請求項１】
複数の領域に分割された符号化対象画像を符号化する画像符号化装置であって、
該符号化対象画像の符号化対象領域に隣接する領域の画像の特徴を示す画像特徴量を算出する画像特徴量算出部と、
前記画像特徴量算出部において算出した画像特徴量を用いて前記符号化対象領域の符号化モード群を選択する符号化モード群選択部と、
前記符号化モード群選択部において選択された前記符号化モード群に属する複数の符号化モードのうち、一つの符号化モードを選択する符号化モード選択部と、
前記符号化モード選択部において選択された符号化モードを用いた予測処理により算出された予測差分値に所定の変換処理を行い符号化ストリームに含めて出力する出力部と、を備えることを特徴とする画像符号化装置。
【請求項２】
前記画像特徴量算出部は、該符号化対象画像の符号化対象領域に隣接する領域のうち、既に符号化処理が行われた領域の画像に所定のフィルタ処理を行い、前記領域の画像に含まれる画素値の分散値または前記領域の画像に含まれるエッジ強度または前記領域の画像に含まれるエッジ角度のいずれかまたはこれらの組み合わせを画像特徴量として算出することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記出力部においては、符号化モード群選択部において選択した符号化モード群と符号化モード選択部において選択した符号化モードのうち、前記符号化モードについての情報のみを符号化ストリームに含めて出力することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
複数の領域に分割された符号化対象画像の符号化方法であって、
該符号化対象画像の符号化対象領域に隣接する領域の画像の特徴を示す画像特徴量を算出する画像特徴量算出ステップと、
前記画像特徴量算出ステップにおいて算出した画像特徴量を用いて前記符号化対象領域の符号化モード群を選択する符号化モード群選択ステップと、
前記符号化モード群選択ステップにおいて選択された前記符号化モード群に属する複数の符号化モードのうち、一つの符号化モードを選択する符号化モード選択ステップと、
前記符号化モード選択ステップにおいて選択された符号化モードを用いた予測処理により算出された予測差分値に所定の変換処理を行い符号化ストリームに含めて出力ステップとを備えることを特徴とする画像符号化方法。
【請求項５】
前記画像特徴量算出ステップにおいて、該符号化対象画像の符号化対象領域に隣接する領域のうち、該符号化対象領域よりも先に符号化処理が行われた領域の画像に所定のフィルタ処理を行い、前記領域の画像に含まれる画素値の分散値または前記領域の画像に含まれるエッジ強度または前記領域の画像に含まれるエッジ角度のいずれかまたはこれらの組み合わせを画像特徴量として算出することを特徴とする請求項４に記載の画像符号化方法。
【請求項６】
前記出力ステップにおいては、符号化モード群選択ステップにおいて選択した符号化モード群と符号化モード選択ステップにおいて選択した符号化モードのうち、前記符号化モードについての情報のみを符号化ストリームに含めて出力することを特徴とする請求項４に記載の画像符号化方法。
【請求項７】
複数の領域に分割された画像が符号化された符号化ストリームを復号する画像復号化装置であって、
前記符号化ストリームに所定の処理を行い、復号化対象領域の予測差分値を復号化する予測差分復号化部と、
復号化対象画像の復号化対象領域に隣接する領域の画像の特徴を示す画像特徴量を算出する画像特徴量算出部と、
前記画像特徴量算出部において算出した画像特徴量を用いて前記復号化対象領域の符号化モード群を特定する符号化モード群特定部と、
前記符号化モード群選択部において特定された前記符号化モード群に属する複数の符号化モードのうち、一つの符号化モードを特定する符号化モード特定部と、
前記符号化モード特定部において特定された符号化モードに対応する予測処理により取得された参照画像と前記予測差分復号化部において復号化された予測差分とを合成して復号化画像を生成する復号化画像生成部とを備えることを特徴とする画像復号化装置。
【請求項８】
前記画像特徴量算出部は、該復号化対象画像の符号化対象領域に隣接する領域のうち、該復号化対象領域よりも先に復号化処理が行われた領域の画像に所定のフィルタ処理を行い、前記領域の画像に含まれる画素値の分散値または前記領域の画像に含まれるエッジ強度または前記領域の画像に含まれるエッジ角度のいずれかまたはこれらの組み合わせを画像特徴量として算出することを特徴とする請求項７に記載の画像復号化装置。
【請求項９】
前記符号化モード特定部においては、前記符号化モード群特定部において特定した符号化モード群の情報と、前記符号化ストリームに含まれている符号化モード番号とを用いて、符号化モードを特定することを特徴とする請求項７に記載の画像復号化装置。
【請求項１０】
複数の領域に分割された画像が符号化された符号化ストリームを復号する画像復号化方法であって、
前記符号化ストリームに所定の処理を行い、復号化対象領域の予測差分値を復号化する予測差分復号化ステップと、
復号化対象画像の復号化対象領域に隣接する領域の画像の特徴を示す画像特徴量を算出する画像特徴量算出ステップと、
前記画像特徴量算出ステップにおいて算出した画像特徴量を用いて前記復号化対象領域の符号化モード群を特定する符号化モード群特定ステップと、
前記符号化モード群選択ステップにおいて特定された前記符号化モード群に属する複数の符号化モードのうち、一つの符号化モードを特定する符号化モード特定ステップと、
前記符号化モード特定ステップにおいて特定された符号化モードに対応する予測処理により取得された参照画像と前記予測差分復号化ステップにおいて復号化された予測差分とを合成して復号化画像を生成する復号化画像生成ステップとを備えることを特徴とする画像復号化方法。
【請求項１１】
前記画像特徴量算出ステップにおいて、該復号化対象画像の符号化対象領域に隣接する領域のうち、該復号化対象領域よりも先に復号化処理が行われた領域の画像に所定のフィルタ処理を行い、前記領域の画像に含まれる画素値の分散値または前記領域の画像に含まれるエッジ強度または前記領域の画像に含まれるエッジ角度のいずれかまたはこれらの組み合わせを画像特徴量として算出することを特徴とする請求項１０に記載の画像復号化方法。
【請求項１２】
前記符号化モード特定ステップにおいては、前記符号化モード群特定ステップにおいて特定した符号化モード群の情報と、前記符号化ストリームに含まれている符号化モード番号とを用いて、符号化モードを特定することを特徴とする請求項１０に記載の画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術に関する。
【背景技術】
【０００２】
大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が知られている。
【０００３】
MPEG (Moving Picture Experts Group)方式やH.264/AVC規格などが知られている。
【０００４】
符号化モードを増加させた場合にオーバヘッド情報の符号量の増加の影響が大きくなり、符号化効率が低下する。これを改善する技術として、特許文献１が知られている。
【０００５】
【特許文献１】特開2007-235991
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示される技術では、符号化モード群を示すテーブル（符号化モードテーブル）を示す情報と符号化モードを示す情報を符号化ストリームに含める必要があり、符号化モードを示す情報の符号量の増加を十分に低減することができないという課題があった。
【０００７】
本発明の目的は、符号化モードを示す情報の符号量を低減させることにより、圧縮効率を向上することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００９】
本発明によれば、圧縮効率を向上することが可能である。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施例を、図面を参照して説明する。
【００１１】
まず、図3を用いて従来のH.264/AVC規格による符号化処理の動作例について説明する。H.264/AVC規格では、符号化対象画像に対してラスタースキャンの順序に従って16×16画素のマクロブロック単位による符号化を実行し(301)、符号化対象となるマクロブロックに対して画面間予測(302)および画面内予測(303)を実行する。
【００１２】
ここで、画面内予測では、符号化対象ブロックの左、左上、上、右上に隣接する符号化ブロック（符号化対象ブロックよりも先に符号化処理／復号化処理が行われるブロック、以下、単に「既符号化ブロック」または「既復号化ブロック」と記す。）の復号化画像を参照し、主に参照画素値を特定の方向にコピーすることによって予測を実行する。H.264/AVC規格では、マクロブロックをさらに小さなブロックに分割して予測を行うことが可能であり、さらに予測方向も複数の候補が用意されている。そのため、ここではそれぞれのブロックサイズ(304)と予測方向(305)による予測を実行する。
【００１３】
一方、画面間予測の場合は、既に符号化した画像を参照し、動き探索により符号化対象ブロックと類似した領域を参照画像中から探すことによって予測を行う。この場合も予測を行うブロックサイズを選択することができるため、候補となるすべてのブロックサイズ(306)に対して、動き探索(307)を実行し、予測を行う。
【００１４】
最後に、予測を行った複数の符号化モード(符号化方法とブロックサイズの組み合わせ)の中から最適なものを選択(308)する。
【００１５】
図10は符号化モードの種類を列挙したリストの一例である。左側に、従来のH.264/AVC規格の符号化モードのリストと示し、右側に本発明の一実施例の符号化モードのリストと示している。
【００１６】
ここで、上述のように、H.264/AVC規格では、すべての予測方法とブロックサイズに対して予測を実行し、それらの組み合わせとして表される多数の符号化モードの中から最適なものを選択する。H.264/AVC規格における符号化モードの一例(1001)を示す。H.264/AVC規格では、選択された符号化モードを表す記号が予測差分とともに符号化され、符号化ストリーム内に含められる。すなわち、例(1001)に示す利用可能な複数の符号化モードのそれぞれには互いに重複しない番号が与えられ、この番号が可変長符号化される。しかし、H.264/AVC規格の場合、候補となる符号化モードの数が多いためこの番号を表すためのビット量が多く必要であるといった課題があった。
【００１７】
これに対し、図10の本発明の一実施例の符号化処理の例(1002)では、互いに性質の似通った符号化モードの集合を「符号化モード群」としてグループ分けを行い、複数の符号化モード群から一つの符号化モード群を選択し、当該選択された符号化モード群に属する複数の符号化モードの中から最適なものを選択する手順により、最終的な符号化モードを選択する。
【００１８】
本発明の一実施例の復号化処理においては、符号化処理において選択された符号化モード群と、選択された符号化モードとを特定し、特定した符号化モードに対応する復号化処理を行う。
【００１９】
なお、本実施例では、符号化処理、復号化処理の単位は、従来のH.264/AVC規格と同じくマクロブロック単位を基本として説明するが、符号化対象画像を複数に分割する領域であればマクロブロック単位でなくとも良い。
【００２０】
ここで、本発明の一実施例の符号化処理の符号化モード群の選択においては、符号化モード群を符号化対象領域の周辺に位置する既符号化ブロックの情報に基づいて選択する。また、本発明の一実施例の復号化処理の符号化モード群の特定においても、同じく、符号化モード群を符号化対象領域の周辺に位置する既符号化ブロックの情報に基づいて特定する。これにより、例えば、符号化処理において選択した符号化モード群を示すフラグを符号化ストリームに含めなくても、復号化処理において符号化モード群の特定を行うことができる。
【００２１】
本発明の一実施例の符号化処理においても、選択した符号化モード群に属する一つの符号化モードを示すフラグを符号化ストリームに格納する。ここで、符号化モード群は、利用可能な複数の符号化モードをグループ分けしたものであるから、各符号化モード群に含まれる符号化モードの数は、利用可能な符号化モードの総数よりも小さい。
【００２２】
よって、従来技術のように、利用可能な複数の符号化モードのそれぞれに互いに重複しない番号を与えて、これを示すフラグを符号化ストリームに格納する場合に比べて、本発明の一実施例の符号化処理において、符号化ストリームに格納するフラグの情報量は小さくなる。
【００２３】
図6に、符号化モード群の選択方法の一例を示す。図6において、隣接ブロックの例(601)に示すように、対象ブロックの左側、上側、右上側、左上側に隣接する既符号化ブロックをそれぞれ隣接ブロックA、隣接ブロックB、隣接ブロックC、隣接ブロックDとする。
【００２４】
さらにそれらのブロックの復号画像に対して、所定の画像処理を行って取得された画像特徴量をそれぞれICA、ICB、ICC、ICDとした場合、対象ブロックの符号化モード群はこれらの値を引数とする関数gを用いて式(602)のように示す。
【００２５】
この関数gを用いることにより、対象領域で利用する符号化モード群は既符号化ブロックの情報から選択することが可能となる。さらに関数gを符号化処理のみならず、復号化処理側でも用いることにより、符号化モード群を表す番号を符号化して伝送する必要がなくなる。これにより、符号化モード群を示すのに必要なビット量(603)を0とすることができる。
【００２６】
ここで、上記画像特徴量としては、例えばエッジ情報（エッジ強度またはエッジ角度）を用いてもよく、画素値（輝度値や色ごとの強度）の分散情報などを用いてもよい。または、これらの情報の組み合わせでもよい。
【００２７】
上記所定の画像処理の方法は、用いる画像特徴量に応じた技術を用いればよい。例えば、エッジ情報を用いるのであれば、例えば図７に示すソーベルフィルタを用いたエッジ検出処理を利用すれば効果的である。
【００２８】
ここで、ソーベルフィルタを利用する場合、垂直方向用のフィルタ(701)および垂直方向用のフィルタ(702)の2種類を用いて各方向のエッジを検出する。また、プレウィットフィルタを利用しても良い。この場合、垂直方向用のフィルタ(703)や水平方向用のフィルタ(704)の他にも、斜め方向用のフィルタ(705)(706)が用意されている。また、より単純なフィルタの利用例として、まず特定の大きさの矩形フィルタを用意し、その中の濃度値の最大値と最小値の差を計算するMIN-MAXフィルタの利用が考えられる。
【００２９】
図9に、ソーベルフィルタ(701)(702)を利用してエッジ強度とエッジ角度を計算する方法と、画素値の分散値を計算する方法ついて、その一例を示す。ここでは、対象ブロックに対してそれぞれ左側、上側、右上側、左上側に隣接する既符号化ブロックA、B、C、D(901)の復号化画像に対して、それぞれブロック内の画素(画素1〜画素m×n) (902)に対して、垂直方向用のフィルタ(701)と水平方向用のフィルタ(702)を適用させる。このとき、画素i(i=1,..,m×n)に水平方向用のフィルタと垂直方向用のフィルタを作用させて得た値をそれぞれfx(i)、fy(x)とすると、例えば、エッジ強度は式(903)のように、エッジ角度は式(904)のように計算できる。さらに、画素値の分散値は式(905)のように計算できる。画像特徴量ICA、ICB、ICC、ICDとしては、これらの値をそのまま利用しても良いし、正規化や複数の特徴量を合成してもよい。なお、上記の例ではブロックサイズがm×n画素の場合を示しており、H.264/AVC規格の場合はm=16、n=16となる。
【００３０】
対象ブロックの予測モードを出力するための関数gはどのようなものでも構わないが、例えばニューラルネットワークの機械学習機能を利用することによって関数gを実現すると効果的である。
【００３１】
図8を用いて、ニューラルネットワークを利用して関数gを実現した場合の例について説明する。ニューラルネットワークとは、複数のしきい値論理ユニットを入力層から出力層まで階層的に配置したネットワークのことである。フィードフォーワード型のネットワークでは、ユニット間の結合は隣接する層間でのみ存在し、かつ入力層から出力層へ向かう一方向である。結合されたユニット間には結合の重みが与えられ、上位階層のユニットへの入力は下位階層のユニット群が出力する値と結合の重みの積和となる。学習を行う際には、出力層で所望の結果が得られるようにこれらの重みを調整する。ここでは、隣接ブロックA〜Dのエッジ強度もしくはエッジ角度を正規化したもの、または画素値の分散値を正規化したものを画像特徴量として入力した際に(701)、符号化モード群番号nの尤度がそれぞれ計算されて出力される(703)ように、あらかじめニューラルネットワーク(702)の学習を行っておく。本願における尤度とは、入力される画像特徴量を有する対象ブロックに対して、一つの符号化モード群に属する符号化モードにより符号化した場合の符号量が、利用可能な他の符号化モード群に属する符号化モードにより符号化した場合の符号量に比べて、最も小さくなる可能性の確からしさを示す指標である。このとき、最も高い尤度が出力される符号化モード群の番号を返す関数を上記関数gとして設定すれば(704)、図6にて示した方法による符号化および復号化が可能になる。
【００３２】
上記学習方法は特に問わないが、例えば誤差逆伝播法(BP法:Back Propagation method)を利用すれば大きな効果が見られる。BP法については、例えば参考文献１に詳しく解説されている。
[参考文献１] 特開2003-44827
また、上記以外にも、関数gとしては、例えばエッジの強度や角度、分散値などを変数とする単純な多項式から、カーネル法、SVM(Support Vector Machine)、k近傍法、線形判別式分析、ベイズベット、隠れマルコフモデル、決定木学習などの機械学習手法を利用したものまで、幅広く考えられる。
【００３３】
さらに、ブースティングを利用するなどの手段により、複数の識別機を組み合わせても良い。どのモデルを利用して関数gを実現するかについてあらかじめ定めておいても良い。また、関数gがどのような入出力を行うのかについてはあらかじめ符号化側と復号化側の両者に入出力の対応表のテーブルなどを備えておいても良い。また、符号化ストリームに関数gの情報を格納できるようにしても構わない。
【００３４】
また、上記の実施例では変数として周辺ブロックにおける画素値の分散値、エッジの強度や角度を利用しているが、周辺ブロックの画素値平均や標準偏差、符号化方法、符号化モードなど、周辺ブロックの情報ならどのようなものを利用しても良いし、QP(Quantization Parameter：量子化パラメータ)や画面解像度など、符号化条件に関するパラメータを追加しても構わない。また、本実施例では対象画像と同一の画面における既符号化ブロックの情報を利用しているが、例えば一つ前のフレームなど、対象画像とは別の画像における画像特徴量を利用してもよい。
【００３５】
次に図１を用いて、本発明による動画像符号化装置の一実施例について説明する。
【００３６】
動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に分割するブロック分割部(103)と、ブロック単位で動きを検出する動き探索部(104)と、ブロック単位で画面内予測を行う画面内予測部(105)と、動き探索部(104)にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部(106)と、符号化対象ブロックの周辺に位置する既符号化ブロックの復号画像に所定の画像処理を施して画像特徴量を算出する画像特徴量算出部(117)と、画像特徴量算出部(117)が算出した画像特徴量を用いて、当該符号化対象ブロックの符号化モード群を選択するモード群選択部(108)と、モード群選択部(108)が選択した符号化モード群に属する複数の符号化モードのうちから画像の性質に合った符号化モード(予測方法およびブロックサイズ)を選択するモード選択部(107)と、予測差分を生成するための減算部(109)と、予測差分に対して符号化を行う周波数変換部(110)および量子化部(111)と、記号の発生確率に応じた符号化を行うための可変長符号化部(112)と、一度符号化した予測差分を復号化するための逆量子化処理部(113)および逆周波数変換部(114)と、復号化された予測差分を用いて復号化画像を生成するための加算部(115)と、復号化画像を保持して後の予測に活用するための参照画像メモリ(116)を有する。以下に各部の動作の詳細を説明する。
【００３７】
入力画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部(103)にて細かなブロックに分割し、動き探索部(104)、画面内予測部(105)、および画面間予測部(106)に渡す。動き探索部(104)では、参照画像メモリ(116)に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(106)に渡す。画面内予測部(105)および画面間予測部(106)では画面内予測処理および画面間予測処理をいくつかの大きさのブロック単位で実行する。
【００３８】
ここで、画像特徴量算出部(117)では、参照画像メモリ(116)から対象ブロックの周辺に位置する既符号化ブロックの復号画像を受信し、図６において説明した所定の画像処理を施して画像特徴量を取得し、(602)に示す関数gによって符号化モード群を選択する。モード選択部(108)では、選択した符号化モード群に含まれる符号化モードの中から最適なものを選択する。
【００３９】
続いて減算部(109)では選択された符号化モードによって予測差分を生成し、周波数変換部(110)に渡す。周波数変換部(110)および量子化処理部(111)では、送られてきた予測差分に対して指定された大きさのブロック単位でそれぞれDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換および量子化処理を行い、可変長符号化処理部(112)および逆量子化処理部(113)に送信する。
【００４０】
さらに可変長符号化処理部(112)では、周波数変換係数によって表される予測差分情報を、例えば符号化モード群の番号や符号化モード番号、画面内予測符号化における予測方向、画面間予測符号化における動きベクトルなど、予測復号化に必要な情報とともに、記号の発生確率に基づいて可変長符号化を行って符号化ストリームを生成する。また、逆量子化処理部(113)および逆周波数変換部(114)では、量子化後の周波数変換係数に対して、それぞれ逆量子化およびIDCT(Inverse DCT：逆DCT)などの逆周波数変換を施し、予測差分を復号して加算部(115)に送る。続いて加算部(115)にて予測差分と予測値を加算し、復号化画像を生成して参照画像メモリ(116)に格納する。
【００４１】
次に、図2を用いて、図1に示す動画像符号化装置の実施例における1フレームの動画像符号化方法について説明する。まず、ループ１(201)に示されるように、符号化対象となるフレーム内に存在するすべてのブロックに対して、以下の処理を行う。すなわち、ソーベルフィルタなどを利用して対象ブロックの周辺に位置する符号化済みのブロックの画像特徴量を算出し(202)、図6の式(602)に示す関数gによって符号化モード群を選択する。続いて、選択した符号化モード群に含まれるすべての符号化モードに対して(204)、予測を実行し(205)、予測差分の計算を行う(206)。そして、その中から予測精度が最も高い符号化モードを選択する(207)。続いて、選ばれた符号化モードで生成された予測差分に対して周波数変換(208)と量子化処理(209)を施す。さらに可変長符号化を行い、可変長符号化されたデータを符号化ストリームに含めて出力する(210)。このとき、選択された符号化モードを示す情報も符号化ストリームに含めて出力する。一方、量子化済みの周波数変換係数に対しては、逆量子化処理(211)と逆周波数変換処理(212)を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する(213)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(214)。
【００４２】
以上説明した本実施例に係る動画像符号化装置及び動画像符号化方法によれば、選択した一つの符号化モードを符号化モード群の情報と、符号化モード群に属する符号化モードのうち一つの符号化モードを示す情報とに分け、符号化モード群の情報については符号化対象ブロックに隣接するブロックの画像の特徴に基づいて選択し、符号化モード群の情報を符号化ストリームに含めず、符号化モード群に属する符号化モードのうち一つの符号化モードを示す情報のみを符号化ストリームに含める。
【００４３】
これにより、利用可能な複数の符号化モードのうち選択した一つの符号化モードを示す情報を、それぞれに互いに重複しない番号からなるフラグ情報として符号化ストリームに含める場合に比べて、符号化モードを示す情報の符号量を低減させることが可能となり、圧縮効率を向上することが可能となる。
【００４４】
次に図4を用いて、本発明による動画像復号化装置の一実施例を説明する。動画像復号化装置は、例えば図1に示す動画像符号化装置によって生成された符号化ストリーム(401)に対して可変長符号化の逆の手順を踏む可変長復号化部(402)と、予測差分を復号化するための逆量子化処理部(403)および逆周波数変換部(404)と、対象ブロックの周辺に位置する既符号化ブロックの復号画像に所定の画像処理を施して画像特徴量算出する画像特徴量算出部(410)と、画像特徴量算出部(410)が算出した画像特徴量を用いて、当該符号化対象ブロックの符号化モード群を特定するモード群特定部(411)と、モード群特定部(411)が特定した符号化モード群に属する符号化モード群のうちから、該当ブロックに使用されている符号化モードを特定するモード特定部(405)と、画面内予測を行う画面内予測部(406)と、画面間予測を行う画面間予測部(407)と、復号化画像を取得する加算部(408)と、復号化画像を一時的に記憶しておくための参照画像メモリ(409)を有する。以下に各部の動作の詳細を説明する。
【００４５】
可変長復号化部(402)では、符号化ストリーム(401)を可変長復号化し、予測差分の周波数変換係数成分と、ブロックサイズや動きベクトルなど予測処理に必要な情報を取得する。前者の予測差分情報に対しては逆量子化処理部(403)に、後者の予測処理に必要な情報に対しては、予測手段に応じて画面内予測部(406)、または画面間予測部(407)に送られる。続いて、逆量子化処理部(403)および逆周波数変換部(404)では、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を施して復号化を行う。
【００４６】
ここで、画像特徴量算出部(410)では、参照画像メモリ(409)から対象ブロックの周辺に位置する既符号化ブロックの復号画像を受信する。受信した既符号化ブロックの復号画像に図６において説明した所定の画像処理を施して画像特徴量を算出する。モード群特定部(411)は画像特徴量算出部(410)が算出した画像特徴量と図６の式(602)に示す関数gなどにより、当該符号化対象ブロックの符号化モード群を特定する。モード特定部(405)では、モード群特定部(411)が特定した符号化モード群の情報と符号化ストリームに含まれている符号化モード番号とから該当ブロックに使用されている符号化モードを特定する。さらに、特定した符号化モードについての情報を画面内予測部(406)または画面間予測部(407)に送信する。
【００４７】
続いて画面内予測部(406)または画面間予測部(407)では、可変長復号化部(402)から送られてきた情報と参照画像メモリ(409)に格納される復号化画像を参照し、前記モード特定部(405)で特定された符号化モードに対応する予測処理を行う。加算部(408)にて、当該予測処理により取得した参照画像を、逆量子化処理部(403)および逆周波数変換部(404)により復号化された予測差分とを加算して復号化画像を生成し、復号化画像を参照画像メモリ(409)に格納する。
【００４８】
図5は、図4に示す動画像復号化装置の実施例における1フレームの動画像復号化方法について示している。まず、ループ１(501)に示されるように、1フレーム内のすべてのブロックに対して、以下の処理を行う。すなわち、入力ストリームに対して可変長復号化処理を施し(502)、逆量子化処理(503)および逆周波数変換処理(504)を施して復号化対象領域の予測差分を復号化する。続いて、ソーベルフィルタなどを利用して対象ブロックの周辺に位置する符号化済みのブロックの画像特徴量を算出し(505)、図６の式(602)に示す関数gによって符号化モード群を特定する(506)。続いて、特定したと符号化モード群の情報と、符号化ストリームに含まれている符号化モード番号とから符号化モードを特定する(507)。さらに、復号した予測差分に対して特定した符号化モードに対応する予測処理を行い、当該予測処理により取得した参照画像と復号化した予測差分とを合成することにより、復号化画像を生成する。生成した復号化画像を参照画像メモリに格納する(508)。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(509)。
【００４９】
以上説明した本実施例に係る画像復号化装置及び画像復号化方法によれば、選択した一つの符号化モードを符号化モード群の情報と、符号化モード群に属する符号化モードのうち一つの符号化モードを示す情報とに分け、符号化モードを符号化モード群の情報を含めずに生成された符号化ストリームが入力された場合も、復号化対象ブロックに隣接するブロックの画像の特徴に基づいて符号化モード群の情報を特定することが可能となり、符号化モードを示す情報の符号量を低減したより圧縮効率の高い符号化ストリームに対する復号処理が可能となる。
【００５０】
以上説明した実施例では周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどんなものでも構わない。特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。さらに、可変長符号化も特に行わなくて良い。
【００５１】
また、実施例では、符号化モード番号を可変長符号化しているが、符号化モード番号も符号化モード群の番号と同様に、図6のように周辺ブロックの画像特徴量を用いて選択しても良い。この場合、符号化モード群の番号と符号化モード番号を符号化する必要がなくなり、さらなる圧縮率の向上が期待できる。
【００５２】
実施例は動画像を符号化する場合について述べているが、本発明は静止画像の符号化にも有効である。例えば、図1のブロック図から動き探索部(104)と画面間予測部(106)を排除すれば、静止画像に特化した符号化装置のブロック図に相当する。
【００５３】
また、実施例ではブロック単位で符号化する場合について述べているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で符号化する場合に本発明を利用しても良い。
【図面の簡単な説明】
【００５４】
【図１】本実施例で用いる画像符号化装置のブロック図
【図２】本実施例で用いる画像符号化装置の流れ図
【図３】H.264/AVC規格による符号化処理の概念的な説明図
【図４】本実施例で用いる画像復号化装置のブロック図
【図５】本実施例で用いる画像復号化装置の流れ図
【図６】本実施例で用いる符号化モード群の選択方法の一例の説明図
【図７】エッジ検出に用いるフィルタの例の説明図
【図８】符号化モード群の尤度計算の一例の説明図
【図９】画像特徴量の算出方法についての一例の説明図
【図１０】H.264/AVC規格及び本実施例で用いる符号化モードの種類を列挙したリストの一例の図
【符号の説明】
【００５５】
１０１…原画像、１０２…原画像メモリ、１０３…ブロック分割部、１０４…動き探索部、１０５…画面内予測部、１０６…画面間予測部、１０７…モード選択部、１０８…モード群選択部、１０９…減算部、１１０…周波数変換部、１１１…量子化処理部、１１２…可変長符号化部、１１３…逆量子化処理部、１１４…逆周波数変換部、１１５…加算部、１１６…参照画像メモリ、１１７…画像特徴量算出部、４０１…符号化ストリーム、４０２…可変長復号化部、４０３…逆量子化処理部、４０４…逆周波数変換部、４０５…モード特定部、４０６…画面内予測部、４０７…画面間予測部、４０８…加算部、４０９…参照画像メモリ、４１０…画像特徴量算出部、４１１…符号化モード群特定部
【図１】
2009272969.tif 000003
【図２】
2009272969.tif 000004
【図３】
2009272969.tif 000005
【図４】
2009272969.tif 000006
【図５】
2009272969.tif 000007
【図６】
2009272969.tif 000008
【図７】
2009272969.tif 000009
【図８】
2009272969.tif 000010
【図９】
2009272969.tif 000011
【図１０】
2009272969.tif 000012