(57)【要約】【課題】H.264/AVCにおける画面内予測符号化では、符号化済みの隣接画素を利用して対象ブロックの予測を行うため、空間的に離れた画素を参照して予測を行う必要があり、予測精度が十分であるとは言えなかった。【解決手段】画面内予測符号化および復号化を行う際には、常に隣接する画素を利用する。符号化時には、一定の方向（予測方向）に沿って隣接画素の差分値（予測差分）を計算し、予測方向とともに符号化する。この時、ブロック単位で符号化する場合には、隣接する画素が未符号化状態である可能性があるが、この場合は原画像における隣接画素間の差分値を符号化する。一方、復号化時には、直前の画素値を復号した値に予測差分を加算する処理を予測方向に沿って繰り返すことによって、復号画像を取得する。これにより、隣接する画素間の強い相関性を利用して効率性の高い符号化処理を行うことができる。【選択図】図４
2009049969.tif 000002
【特許請求の範囲】
【請求項１】
ブロック単位で画面内予測を行って予測差分を計算する画面内予測部と、予測差分に対
して符号化を行う周波数変換部及び量子化部と、記号の発生確率に応じた符号化を行うた
めの可変長符号化部を有する動画像符号化装置において、
前記画面内予測部は、符号化対象となる画素を常に隣接する画素を参照して予測符号化
処理を行う画面内予測符号化手段を備えていることを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記画面内予測部では、予測方向が複数定義されており、予測符号化の際には該当する
予測方向に沿って隣接する画素間の差分を計算することを特徴とする動画像符号化装置。
【請求項３】
請求項１または請求項２に記載の動画像符号化装置において、
前記画面内予測部には、符号化対象となる画素を常に隣接する画素を参照して予測符号
化処理を行う前記画面内予測符号化手段に加えて、異なる予測符号化処理を実行する画面
内予測符号化手段が備わっており、上記画面内予測部の複数の画面内予測符号化手段によ
って符号化された結果の中から最適なものをブロック単位または画像単位で選択する符号
化モード選択部を有することを特徴とする動画像符号化装置。
【請求項４】
ブロック単位で画面内予測を行って予測差分を計算し、予測差分に対して符号化を行う
周波数変換及び量子化を行い、記号の発生確率に応じた符号化を行うための可変長符号化
を行う動画像符号化方法において、
前記画面内予測の際に、符号化対象となる画素を常に隣接する画素を参照して予測符号
化処理を実行する画面内予測符号化を行うことを特徴とする動画像符号化方法。
【請求項５】
請求項４に記載の動画像符号化方法において、
前記画面内予測の際には、予測方向が複数定義されており、予測符号化の際には該当す
る予測方向に沿って隣接する画素間の差分を計算することを特徴とする動画像符号化方法
。
【請求項６】
請求項４または請求項５記載の動画像符号化方法において、
前記画面内予測の際には、符号化対象となる画素を常に隣接する画素を参照して予測符
号化処理を実行する前記画面内予測符号化に加えて、異なる予測符号化処理を実行する画
面内予測符号化を行い、上記予測符号化の際の複数の画面内予測符号化によって符号化さ
れた結果の中から最適なものをブロック単位または画像単位で選択することを特徴とする
動画像符号化方法。
【請求項７】
可変長符号化の逆の手順を踏む可変長復号化部と、予測差分を復号化するための逆量子
化処理部及び逆周波数変換部と、ブロック単位で画面内予測を行って復号画像を取得する
ための画面内予測部を有する動画像復号化装置において、
画面内予測部には、復号対象となる画素を常に隣接する画素を参照して予測する画面内予
測復号化手段を備えていることを特徴とする動画像復号化装置。
【請求項８】
請求項７に記載の動画像復号化装置において、
前記画面内予測部では、予測方向が複数定義されており、予測復号化の際には該当する予
測方向に沿って隣接する画素の復号画像と予測差分の和を計算することを特徴とする動画
像復号化装置。
【請求項９】
請求項７または請求項８に記載の動画像復号化装置において、
前記画面内予測部には、前記画面内予測復号化手段に加えて、異なる予測復号化処理を実
行する画面内予測復号化手段が備わっており、上記複数の画面内予測復号化手段では、ブ
ロック単位または画像単位で異なる方式によって予測符号化されたデータを復号化するこ
とを特徴とする動画像復号化装置。
【請求項１０】
可変長符号化の逆の手順を踏む可変長復号化を行い、予測差分を復号化するための逆量
子化処理及び逆周波数変換を行い、ブロック単位で画面内予測を行って復号画像を取得す
るための画面内予測を行う動画像復号化方法において、
前記画面内予測の際には、復号対象となる画素を常に隣接する画素を参照して予測する画
面内予測復号化を行うことを特徴とする動画像復号化方法。
【請求項１１】
請求項１０に記載の動画像復号化方法において、
前記画面内予測を行う際の予測方向が複数定義されており、予測復号化の際には該当す
る予測方向に沿って復号対象となる画素の予測差分を隣接する画素の復号画像と加算する
ことを特徴とする動画像復号化方法。
【請求項１２】
請求項１０または請求項１１に記載の動画像復号化方法において、
前記復号対象となる画素を常に隣接する画素を参照して予測する画面内予測復号化に加
えて、異なる方法で予測復号化処理を実行する画面内予測復号化が可能であり、ブロック
単位または画像単位で異なる方式によって予測符号化されたデータを復号化することを特
徴とする動画像復号化方法。
【請求項１３】
請求項１に記載の動画像符号化装置において、前記画面内予測符号化手段は、前記符号化対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値または原画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像符号化装置。
【請求項１４】
請求項４に記載の動画像符号化方法において、前記画面内予測の際には、前記符号化対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値または原画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像符号化方法。
【請求項１５】
請求項７に記載の動画像復号化装置において、前記画面内予測復号化手段は、前記復号対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像復号化装置。
【請求項１６】
請求項１０に記載の動画像復号化方法において、前記画面内予測の際には、前記復号対象となる画素に隣接する画素の画素値または該隣接する画素の周辺に位置する複数の画素のうち何れか複数の復号画像の画素値を変数とする平滑化関数の値を参照することを特徴とする動画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像を符号化及び復号化する動画像符号化技術に関する。
【背景技術】
【０００２】
大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving
Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPE
G-4規格、H.264/AVC(Advanced  Video  Coding)規格等として国際標準の符号化方式とな
っている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにお
ける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなって
きている。
【０００３】
これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像をブロッ
ク単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を
除いて符号量を減らしている。特にH.264/AVCでは、符号化対象ブロックの周辺画素を利
用する画面内予測符号化方式を採用することにより、劇的な圧縮率の向上を実現した。
【０００４】
しかし、H.264/AVCにおける画面内予測の場合、対象ブロックに隣接する画素情報しか
参照することができず、予測精度が十分であるとは言えなかった。そのため、画面内予測
の精度を向上させて圧縮率を上げるための画面内符号化技術が求められるようになった。
以上に述べた背景から、画面内予測に利用可能な画素の種類を増やすことによって画面
内予測の精度を向上させる技術が多数提案されている。
【０００５】
例えば、特許文献１では、画像全体を反転してから符号化することを可能にすることに
よって、符号化処理の順序を変更して画面内予測に利用可能な画素の種類を増やしている
。
また、特許文献２では、対象ブロックの予測に利用するブロックを同一画面内の符号化
済み領域の中から探索することによって、離れたブロックを参照して予測を行うことを可
能にしている。
【０００６】
また、特許文献３には、入力ブロックを少なくとも２つ以上の領域に分離して、分離さ
れた領域のうち、第１領域の画素に対して周辺ブロックの画素を利用してイントラ予測符
号化を行い、イントラ予測符号化された第１領域の画素を復元した後、復元された第１領
域の画素を利用して、複数個の予測モードのうち少なくとも一つ以上の予測モードによっ
て第２領域の画素を予測する段階を含むことを特徴とするイントラ予測符号化方法が開示
されている。
【０００７】
また、特許文献４には、入力ブロックを少なくとも２つ以上の領域に分離し、分離され
た領域のうち、第１領域の画素に対して周辺ブロックの画素を利用してイントラ予測を行
った後、分離された領域のうち、第２領域の所定の画素周辺に位置した第１領域の画素の
空間的特性を決定し、決定された空間的特性に基づいて第２領域の画素の予測のための第
１領域の参照画素を決定し、決定された第１領域の参照画素に基づいて第２領域の画素の
予測を行う映像のイントラ予測符号化方法が開示されている。
【０００８】
また、非特許文献１には、画質歪みと符号量の関係から最適な符号化モードを決定する
RD-Optimization方式が記載されている。
【特許文献１】特開２００６−３５２１８１号公報
【特許文献２】特開２００７−４３６５１号公報
【特許文献３】特開２００７−７４７２５号公報
【特許文献４】特開２００７−７４７２５号公報
【非特許文献１】G. Sullivan and T.Wiegand:Rate-Distortion Optimization for VｉｄｅｏＣｏｍｐｒｅｓｓｉｏｎ”，  ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ，  ｖｏｌ．１５，  ｎｏ．６，  ｐｐ．７４−９０，  １９９８．
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、上記の文献を含む既存の画面内予測符号化技術は、どれも符号化済みの画素を
復号化したものを用いて予測を行っているため、ブロック単位で画面内予測符号化を行う
場合には、空間的に離れた画素を参照して予測する必要があった。この場合、予測対象画
素と被参照画素の距離が大きくなることにより、画素間の相関性が低下して予測精度が落
ちるといった問題があった。
【００１０】
H.264/AVCにおける画面内予測符号化では、符号化済みの隣接画素を利用して対象ブロ
ックの予測を行うため、空間的に離れた画素を参照して予測を行う必要があり、予測精度
が十分であるとは言えなかった。
【００１１】
そこで、本発明は常に隣接する画素を参照して予測を行うことによって、予測精度を改
善する技術を提供する。本発明の目的は、常に画素間相関の高い隣接画素を参照して予測
を行うことによって、画面内予測符号化の効率性を高めることにある。
【課題を解決するための手段】
【００１２】
本発明では、画面内予測符号化および復号化を行う際には、常に隣接する画素を利用す
る。符号化時には、一定の方向（予測方向）に沿って隣接画素の差分値（予測差分）を計
算し、予測方向とともに符号化する。この時、ブロック単位で符号化する場合には、隣接
する画素が未符号化状態である可能性があるが、この場合は原画像における隣接画素間の
差分値を符号化する。一方、復号化時には、直前の画素値を復号した値に予測差分を加算
する処理を予測方向に沿って繰り返すことによって、復号画像を取得する。これにより、
隣接する画素間の強い相関性を利用して効率性の高い符号化処理を行うことができる。
【発明の効果】
【００１３】
本発明によれば、少ない符号量で高画質の映像を提供するための動画像符号化技術およ
び復号化技術を提供することができる。本発明は次世代の画像符号化規格に向けたもので
あり、例えば本技術による予測符号化技術を従来技術と組み合わせて利用することにより
、高い圧縮率を実現することができる。例えば、本技術とH.264/AVCによる画面内予測符
号化技術をブロック単位で使い分けることにより、画像の性質に適した符号化を行うこと
が可能になる。また、本発明は高ビットレートでの符号化、特にロスレス符号化に対して
特に高い効果がある。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施例を、図面を参照して説明する。
【００１５】
図３は、従来技術であるH.264/AVCによる画面内予測符号化処理の動作について概念的
に示したものである。H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序
に従って符号化を実行し(301)、符号化済み画像領域の復号化画像を用いて予測符号化を
行う。
【００１６】
そのため、画面内予測符号化処理の動作例(302)では、予測方向ベクトルを傾きとする
同一直線上の画素はすべて同一画素から予測されることになり、例えば(303)に示すよう
に、符号化対象ブロックの画素B、C、D、Eはすべて同一画素Aを参照して予測符号化が行
われ、画素Aを復号化した値との差分(予測差分)が計算される。さらに、縦、横、斜めな
ど、数種類の予測方向候補の中から最適なものをブロック単位で選択することができ(304
)、予測差分と予測方向の値が符号化される。
【００１７】
一方、復号化処理は復号化済みの被参照画素と予測差分を用いて上記処理の逆手順を踏
めばよく、予測差分を予測方向に沿って非参照画素と足し合わせることによって復号化画
像を取得する(305)。例えば(306)では、復号化対象ブロック上の画素B、C、D、Eはすべて
復号化済みの被参照画素Aと予測差分の和によって復号化される。以上のように、H.264/A
VCによる画面内予測符号化処理では、被参照画素を符号化済みのものに限定するため、空
間的に離れた画素を参照する必要があり（例えば画素Eは離れた画素Aを参照して予測符号
化が行われている。）、離れた画素間では相関性が低下して予測精度が十分ではないとい
った問題があった。
【００１８】
図４は、本発明による画面内予測符号化処理の動作について概念的に示した図である。
この場合も符号化対象画像に対してラスタースキャンの順序に従って符号化を行う(401)
が、本発明では上記の問題を解決するために、符号化処理が完了していなくても空間的に
近い画素を参照して予測を行うことを可能にした。例えば(402)では、常に隣接する画素
を参照して縦方向に予測を行っている。
【００１９】
この場合、未符号化領域を参照する際には、従来技術のように復号化済みの画素情報を
利用することができないため、同じ座標に位置する原画像の値を用いて予測を行う。例え
ば(403)では、画素C、D、Eはそれぞれ、未符号化の画素B、C、Dを用いて予測が行われて
おり、これら未符号化の画素に対しては原画像における上下に位置する画素間の差分（B-
A=b、C-B=ｃ、D-C=ｄ、E-D=e）を計算する。さらに本発明に対しても様々な予測方向を定
義することができ(404)、予測差分と予測方向の値を符号化する。
【００２０】
復号化の際には符号化時とは異なり予測処理に復号化画像のみを利用し、予測方向に沿
って直前の座標に位置する復号画像に予測差分を足し合わせる処理を繰り返すことにより
復号画像を取得できる(405)。例えば(406)では、画素B、C、D、Eはそれぞれ、画素A、B、
C、Dの復号画像（A’、B’、C’、D’）に対して予測差分(b’、c’、d’、e’)を加算す
ることによって復号画像を取得できる。
【００２１】
本発明の場合、符号化時に予測差分に対して量子化処理を施せば、量子化誤差が蓄積し
てしまう恐れがある。そのため、本発明を利用すれば予測精度が向上して予測差分は減少
するが、量子化誤差が増加するという事態が発生する場合がある。こういった場合、従来
技術を用いて予測符号化を行った方が、符号化効率が高くなる可能性がある。
【００２２】
そのため、本発明による予測符号化技術を従来技術と組み合わせて利用することにより
、画像の性質に応じて高い圧縮率を実現することができる。例えば、本技術と従来技術を
ブロック単位で使い分けて予測符号化することにより、画像の性質に適した符号化が可能
になる。従来技術としては、例えば図３に示すH.264/AVCによる画面内予測符号化や、符
号化対象画像とは異なる画像（復号画像）を用いる画面間予測符号化などを利用すると効
果的である。
【実施例１】
【００２３】
図１は、本発明による動画像符号化装置の一実施例を示したものである。動画像符号化
装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に
分割したブロック単位で動きを検出する動き探索部(103)と、同じくブロック単位で画面
内予測を行う画面内予測部(104)、検出された動き量を基に画面間予測を行う画面間予測
部(105)と、画像の性質に合った予測符号化手段を決定するモード選択部(106)と、予測差
分を生成するための減算部(107)と、予測差分に対して符号化を行う周波数変換部(108)、
および量子化部(109)と、記号の発生確率に応じた符号化を行うための可変長符号化部(11
0)と、一度符号化した予測差分を復号化するための逆量子化処理部(111)、および逆周波
数変換部(112)と、復号化された予測差分を用いて復号画像を生成するための加算部(113)
と、復号化画像を保持して後の予測に活用するための参照画像メモリ(114)を有する。
【００２４】
原画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持しこ
れを細かなブロックに分割して動き探索部(103)、および画面内予測部(104)に渡す。
【００２５】
動き探索部(103)では、参照画像メモリ(114)に格納されている復号化済み画像を用いて
該当ブロックの動き量を計算し、動きベクトルとして画面間予測部(105)に渡す。
【００２６】
画面内予測部(104)、および画面間予測部(105)ではそれぞれ画面内予測処理と画面間予
測処理をいくつかの大きさのブロック単位で実行し、モード選択部(106)にて最適な予測
符号化手段を選ぶ。続いて加算部(107)では最適な予測符号化手段による予測差分を生成
し、周波数変換部(108)に渡す。
【００２７】
画面内予測部(104)には、本発明の特徴である符号化対象となる画素を常に隣接する画
素を参照して予測符号化処理を行う改良型の画面内予測符号化手段と、例えばH.264/AVC
による従来型の画面内予測符号化手段が含まれる。
【００２８】
周波数変換部(108)、および量子化処理部(109)では、送られてきた差分画像に対して指
定された大きさのブロック単位でそれぞれDCT(Discrete
Cosine Transformation：離散コサイン変換)などの周波数変換、および量子化処理を行い
、可変長符号化処理部(110)および逆量子化処理部(111)に渡す。
【００２９】
さらに可変長符号化処理部(110)では、周波数変換係数によって表される予測差分情報
を、例えば画面内予測符号化における予測方向や画面間予測符号化における動きベクトル
など、予測復号化に必要な付加情報とともに、記号の発生確率に基づいて可変長符号化を
行って符号化ストリームを生成する。
【００３０】
また、逆量子化処理部(111)、逆周波数変換部(112)では、量子化後の周波数変換係数に
対して、それぞれ逆量子化、およびIDCT(Inverse DCT：逆DCT)などの逆周波数変換を施し
、予測差分を取得して加算部(113)に送る。続いて加算部(113)により復号画像を生成して
参照画像メモリ(114)に格納する。
【００３１】
図２は、本発明による動画像復号化装置の一実施例を示したものである。動画像復号化
装置は、例えば図１に示す動画像符号化装置によって生成された符号化ストリーム(201)
に対して可変長符号化の逆の手順を踏む可変長復号化部(202)と、予測差分を復号化する
ための逆量子化処理部(203)、および逆周波数変換部(204)と、予測を行うための画面内予
測部(205)、および画面間予測部(206)と、復号画像を取得するための加算部(207)と、復
号画像を一時的に記憶しておくための参照画像メモリ(208)を有する。
【００３２】
画面内予測部(205)には、本発明の特徴である復号対象となる画素を常に隣接する画素
を参照して予測する画面内予測復号化手段と、例えばH.264/AVCによる従来型の画面内予
測符号化手段が含まれる。
【００３３】
可変長復号化部(202)では、符号化ストリーム(201)を復号化し、予測差分の周波数変換
係数成分と、予測方向や動きベクトルなどの予測処理に必要な付加情報を取得する。前者
の予測差分情報に対しては逆量子化処理部(203)に、後者の付加情報に対しては、予測手
段に応じて画面内予測部(205)または画面間予測部(206)に送られる。続いて、逆量子化処
理部(203)、逆周波数変換部(204)では、予測差分情報に対して逆量子化と逆周波数変換を
施して復号化を行い、一方で画面内予測部(205)または画面間予測部(206)において、付加
情報を基に予測処理を実行して加算部(207)で復号画像を生成するとともに、復号画像を
参照画像メモリ(208)に格納する。
【００３４】
図５は、図１に示す動画像符号化装置の実施例における1フレームの符号化処理手順に
ついて示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対
して(501)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モ
ード(予測方法とブロックサイズの組み合わせ)に対して予測符号化処理を行って予測差分
を計算し、その中から最も符号化効率の高いものを選択する。予測処理方法としては、本
発明による方法（以下、「改良型画面内予測符号化処理」(505)）の他に、例えばH.264/A
VCに採用されている画面内予測方法(以下、「従来型画面内予測符号化処理」(506)）や画
面間予測符号化処理(507)を実行し、その中から最適なものを選ぶことによって、画像の
性質に応じて効率良く符号化できる。さらに、上記多数の符号化モードの中から最も符号
化効率の高いものを選択する際には(508)、例えば画質歪みと符号量の関係から最適な符
号化モードを決定するRD-Optimization方式を利用することによって、効率良く符号化で
きる。RD-Optimization方式の詳細については、非特許文献１に記載されている。
【００３５】
続いて、選ばれた符号化モードで生成された予測差分に対して周波数変換(509)と量子
化処理(510)を施し、さらに可変長符号化を行うことによって符号化ストリームを生成す
る(511)。一方、量子化済みの周波数変換係数に対しては逆量子化処理(512)と逆周波数変
換処理(513)を施して予測差分を復号化し、復号画像を生成して参照画像メモリに格納す
る(514)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化
は終了する(515)。
【００３６】
図６は、上記改良型画面内予測符号化処理(505)の詳細な処理手順について示している
。ここでは、縦、横、斜めなど、あらかじめ定義されたすべての予測方向に対し(601)、
ブロック内に存在するすべての画素に対して予測方向に沿った順序で以下の処理を行う(6
02)。すなわち、該当する画素がブロック境界に属するなら(603)、直前座標の復号画像と
現座標の原画像の差分を計算し(604)、ブロック境界に属さないなら、直前座標の原画像
と現座標の原画像の差分を計算する(605)。以上の処理を、すべての予測方向に対して完
了すれば、1ブロック分の予測差分を取得することができ、予測符号化処理を終了する(60
6)。
【００３７】
図７は、図２に示す動画像復号化装置の実施例における1フレームの復号化処理手順に
ついて示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(
701)。すなわち、入力ストリームに対して可変長復号化処理を施し(702)、逆量子化処理(
703)と逆周波数変換処理(704)を施して予測差分を復号化する。続いて、対象ブロックが
どの方法によって予測符号化されているかに応じて、改良型画面内予測復号化処理(707)
、従来型画面内予測復号化処理(708)、画面間予測復号化処理(709)を行い、復号画像を取
得して参照画像メモリに格納する。以上の処理をすべてのブロックに対して完了すれば、
画像1フレーム分の復号化が終了する(710)。
【００３８】
図８は、上記改良型画面内予測復号化処理(707)の詳細な処理手順について示している
。ここでは、ブロック内に存在するすべての画素に対して、予測方向に沿った順序で以下
の処理を行う(801)。すなわち、直前座標の復号画像と現座標の予測差分の和を計算する(
802)。以上の処理をすべての画素に対して完了すれば、1ブロック分の復号画像を取得す
ることができ、予測復号化処理を終了する(803)。
【００３９】
以上の実施例による改良型画面内予測符号化処理では、ブロック境界に位置する画素の
予測に符号化済み画素の復号画像を利用している。これは、対象ブロックにおける量子化
誤差が別のブロックに伝播するのを防ぐためである。しかし、この場合ブロックの境界部
分で予測誤差が大きくなる可能性がある。そのため、予測誤差を小さくするために、ブロ
ック境界に位置する画素に対しても、直前座標の原画像を利用して予測符号化してもよい
。
【００４０】
また、本実施例による改良型画面内予測符号化処理では、符号化時と復号化時の参照画素の値が異なるため、量子化誤差が蓄積しやすい。そこで、この量子化誤差を低減するために、改良型画面内予測符号化処理の別の構成例として、予測を行う際に参照画素の画素値を平滑化しても良い。この場合、誤差が拡散されて予測精度が高くなる。この効果は、特に低ビットレートにおいて高くなる。以下にこの別の構成例について説明する。
【００４１】
図１２は、図６に示す改良型画面内予測符号化処理において、上記平滑化処理を用いた場合の構成例である。図１２の構成例では、参照画素の画素値の平滑化を行っている。ここでは、縦、横、斜めなど、あらかじめ定義されたすべての予測方向に対し(1201)、ブロック内に存在するすべての画素に対して予測方向に沿った順序で以下の処理を行う(1202)。すなわち、該当する画素がブロック境界に属するなら(1203)、直前座標の復号画像を平滑化し(1204)、続いて平滑化後の復号画像と現座標の原画像の差分を計算する(1206)。逆にブロック境界に属さないなら、直前座標の原画像を平滑化し(1205)、平滑化後の原画像と現座標の原画像の差分を計算する(1207)。以上の処理を、すべての予測方向に対して完了すれば、1ブロック分の予測差分を取得することができ、予測符号化処理を終了する(1208)。
【００４２】
ここで、図１２のステップ1204及びステップ1205における平滑化処理ついて、図１１を用いて説明する。図１１は、参照画素の平滑化処理の一実施例について示している。
【００４３】
図１２のステップ1204における平滑化処理は、例えば、図１１においては、画素F’に対する平滑化処理として示される。すなわち、図１２のステップ1203において予測対象画素がブロックの境界に属する画素(この例では画素Ｊ)であると判断した場合は、直前座標の画素（画素F’）及びその周辺の画素の復号画像を平滑化する。この例では、平滑化対象となる画素F’の平滑化後の画素値S(F’)は、画素F’の復号画像の画素値と、画素F’の両隣に位置するそれぞれの画素(G’、Ｈ’)の復号画像の画素値との加重平均として算出している。ここで、S(X)は画素Xについて、複数の画素の復号画像の画素値を平滑化した画素値を算出するための関数の一例である。
【００４４】
図１２のステップ1205における平滑化処理は、例えば、図１１においては、画素Jに対する平滑化処理として示される。すなわち、図１２のステップ1203において予測対象画素がブロックの境界に属しない画素(この例では画素L)であると判断した場合は、直前座標の画素（画素J）及びその周辺の画素の原画像を平滑化する。この例では、平滑化対象となる画素Ｊの平滑化後の画素値T(J)は、画素Ｊの原画像の画素値と、画素Ｊの両隣に位置するそれぞれの画素(I、K)の原画像の画素値との加重平均として算出している。ここで、T(X)は画素Xについて、複数の画素の原画像の画素値を平滑化した画素値を算出するための関数の一例である。
【００４５】
上記の二つの平滑化処理の例では、加重平均の一例を用いた。しかし、平滑化対象の画素の周辺(隣接していても、離れていてもかまわない)に位置する複数の画素の画素値（復号画像または原画像の画素値）を変数とする関数の値を用いて平滑化対象の画素を算出する方法であれば、従来の様々な平滑化方法を用いてもかまわない。
【００４６】
以上説明した平滑化処理を用いた改良型画面内予測符号化処理を行う画像符号化装置及び画像符号化方法によれば、復号時においてより量子化誤差を低減することが可能となり、少ない符号量でより高画質な映像を復号することのできる符号化ストリームを生成することが可能となる。
【００４７】
次に、図１３に図８に示す改良型画面内予測復号化処理において、上記平滑化処理を用いた場合の構成例を説明する。ここでは、ブロック内に存在するすべての画素に対して、予測方向に沿った順序で以下の処理を行う(1301)。すなわち、直前座標の復号画像を平滑化し(1302)、平滑化後の復号画像と現座標の予測差分の和を計算する(1303)。以上の処理をすべての画素に対して完了すれば、1ブロック分の復号画像を取得することができ、予測復号化処理を終了する(1304)。図１３のステップ1302に示す平滑化処理は、例えば、図１2のステップ1204における画素F’の平滑化処理において画素値S(F’)を算出する場合と同様の処理を行えばよい。
【００４８】
以上説明した平滑化処理を用いた改良型画面内予測復号化処理を行う画像復号化装置及び画像復号化方法によれば、より量子化誤差を低減することが可能となり、より高画質な映像を復号することが可能となる。
【００４９】
また、実施例では周波数変換の一例としてDCTを挙げているが、DST(Discrete  Sine  T
ransformation：離散サイン変換)、WT(Wavelet  Transformation：ウェーブレット変換)
、DFT(Discrete  Fourier  Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve  
Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換なら
どんなものでも構わないし、特に周波数変換を施さずに予測差分そのものを符号化しても
構わない。さらに、可変長符号化も特に行わなくて良い。
【００５０】
図９は、本発明を利用した場合に生成される符号化ストリームのうち、ブロック単位で
設定されるべき符号化パラメータに関する部分の構成例について示している。ここではH.
264/AVCにおける処理単位と同様に、固定長サイズのマクロブロック単位で符号化モード
を決定する場合について説明している。マクロブロックはさらに細かなブロックに分割す
ることができ、分割されたブロック単位で予測符号化が行われるものとする。この時、マ
クロブロックごとにその座標を特定するためのマクロブロック番号(901)と、予測方法と
ブロックサイズを表す符号化モード番号(902)、そして例えば画面間予測の際の動きベク
トルや画面内予測の際の予測方向など、予測を行う際に必要となる付加情報(903)、そし
て予測差分情報(904)が可変長符号化されて格納される。特に符号化モード番号(902)に対
しては、すべての予測手段に対して連番で割り当てても良いし、予測手段ごとに異なるビ
ットで表しても良い。
【００５１】
図１０は、ブロック単位で設定されるべき符号化パラメータに関する部分に対する別の
構成例について示している。この例では、マクロブロック番号(1001)と、予測方法(1002)
に対して、本発明による隣接画素を利用した予測を行うか否かを表すフラグ(1003)を付加
し、さらに付加情報(1004)と予測差分情報(1005)を格納する。
【００５２】
本実施例は動画像を符号化する場合について述べているが、本発明は静止画の符号化に
も有効である。すなわち、図１のブロック図から動き探索部(103)と画面間予測部(105)を
排除すれば、すなわち静止画像に特化した符号化装置のブロック図に相当する。
【図面の簡単な説明】
【００５３】
【図１】図１は、本実施例で用いる画像符号化装置のブロック図である。
【図２】図２は、本実施例で用いる画像復号化装置のブロック図である。
【図３】図３は、H.264/AVCで用いる画面内予測符号化処理の概念的な説明図である。
【図４】図４は、本実施例で用いる画面内予測符号化処理の概念的な説明図である。
【図５】図５は、本実施例で用いる画像符号化装置の流れ図である。
【図６】図６は、本実施例で用いる画像符号化装置の詳細な流れ図である。
【図７】図７は、本実施例で用いる画像復号化装置の流れ図である。
【図８】図８は、本実施例で用いる画像復号化装置の詳細な流れ図である。
【図９】図９は、本実施例で用いる符号化ストリームの構成例である。
【図１０】図１０は、本実施例で用いる符号化ストリームの構成例である。
【図１１】図１１は、本実施例で用いる平滑化処理の概念的な説明図である。
【図１２】図１２は、本実施例で用いる画像符号化装置の詳細な流れ図である。
【図１３】図１３は、本実施例で用いる画像復号化装置の詳細な流れ図である。
【符号の説明】
【００５４】
１０１    入力画像
１０２    現画像メモリ
１０３    動き探索部
１０４    画面内予測部
１０５    画面間予測部
１０６    モード選択部
１０７    減算部
１０８    周波数変換部
１０９    量子化処理部
１１０    可変長符号化部
１１１    逆量子化処理部
１１２    逆周波数変換部
１１３    加算部
１１４    参照画像メモリ
２０１    符号化ストリーム
２０２    可変長復号化部
２０３    逆量子化処理部
２０４    逆周波数変換部
２０５    画面内予測部
２０６    画面間予測部
２０７    加算部
２０８    参照画像メモリ
３０１〜３０６    H.264/AVCによる画面内予測符号化処理の説明図
４０１〜４０６    本発明による画面内予測符号化処理の説明図
５０１〜５１５    フローチャートのブロック
６０１〜６０６    フローチャートのブロック
７０１〜７１０    フローチャートのブロック
８０１〜８０３    フローチャートのブロック
９０１〜９０４    ストリームに格納する情報
１００１〜１００５    ストリームに格納する情報
１２０１〜１２０８    フローチャートのブロック
１３０１〜１３０４    フローチャートのブロック
【図１】
2009049969.tif 000003
【図２】
2009049969.tif 000004
【図３】
2009049969.tif 000005
【図４】
2009049969.tif 000006
【図５】
2009049969.tif 000007
【図６】
2009049969.tif 000008
【図７】
2009049969.tif 000009
【図８】
2009049969.tif 000010
【図９】
2009049969.tif 000011
【図１０】
2009049969.tif 000012
【図１１】
2009049969.tif 000013
【図１２】
2009049969.tif 000014
【図１３】
2009049969.tif 000015