(57)【特許請求の範囲】
【請求項１】
符号化対象ブロックのサイズの倍数ではない画像サイズを有する画像を符号化する画像符号化方法であって、
前記画像に追加する拡張画像であり、該画像との境界にある境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上となる前記拡張画像を、直交変換を行うブロック単位で前記画像に追加して符号化対象画像を生成する生成ステップと、
前記境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上の場合に前記符号化対象画像の局所復号画像に対し、前記拡張画像と前記画像との境界でデブロッキングフィルタ処理を無効にするデブロッキングフィルタステップと、
を有する画像符号化方法。
【請求項２】
前記拡張画像は、
周波数変換後に前記直交変換で得られるＤＣＴ係数の非ゼロ係数が最も少なくなる画像である請求項１記載の画像符号化方法。
【請求項３】
前記所定値は、少なくとも１８以上である請求項１又は２記載の画像符号化方法。
【請求項４】
符号化対象ブロックのサイズの倍数ではない画像サイズを有する画像を符号化する画像符号化装置であって、
前記画像に追加する拡張画像であり、該画像との境界にある境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上となる前記拡張画像を、直交変換を行うブロック単位で前記画像に追加して符号化対象画像を生成する生成部と、
前記境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上の場合に前記符号化対象画像の局所復号画像に対し、前記拡張画像と前記画像との境界でデブロッキングフィルタ処理を無効にするデブロッキングフィルタ部と、
を備える画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化を行い、デブロッキングフィルタ機能を有する画像符号化方法及び画像符号化装置に関する。
【背景技術】
【０００２】
近年マルチメディア化が進み、動画像を扱う機会が多くなってきている。画像データは情報量が大きく、画像の集合である動画像は、テレビ放送の主流であるハイビジョン（１９２０×１０８０）放送で１Ｇｂｉｔ／ｓｅｃを超える情報量である。動画像データを伝送するためのネットワーク環境は、光サービスでも帯域が１００Ｍｂｉｔ／ｓｅｃしかなく、有効な帯域においては２０Ｍｂｉｔ／ｓｅｃ程度となっており、動画像をそのまま伝送するには不十分な帯域となっている。
【０００３】
また、一般的な蓄積メディアであるＢｌｕ−ｒａｙ  Ｄｉｓｃでは、二重構造５０ＧＢのもので７分ほどしか記録できないことになる。そのため、Ｈ．２６４／ＡＶＣなどに代表される圧縮符号化技術によって、情報量を圧縮して伝送・蓄積を行っている。
【０００４】
符号化標準技術であるＨ．２６４／ＡＶＣは、直交変換やフレーム間予測、フレーム内予測、算術符号化、デブロッキングフィルタなどのツールを利用して、動画像の１／１００程度までの圧縮を実現している。ツールの一つであるデブロッキングフィルタは、マクロブロック単位の符号化によるブロック歪を抑える働きがあり、特に圧縮率を上げた場合の画質劣化を低く抑える効果がある。
【０００５】
現在、ハイビジョンの１６倍の解像度をもつスーパーハイビジョン（７６８０×４３２０）の研究・開発が盛んに行われている。しかし、スーパーハイビジョンに対応したエンコーダ、デコーダは存在せず、ハイビジョンサイズに分割し、複数台のエンコーダ、デコーダで分割して処理を実現している。Ｈ．２６４／ＡＶＣでは、１６×１６のマクロブロック単位で符号化するが、ハイビジョンの画像サイズである１９２０×１０８０は１６の倍数ではなく、符号化の際に１９２０×１０８８へ画像の拡張が行われる。
【０００６】
拡張の方法として、黒やグレーの固定パターンを追加する方法と、画面端の画像を引き延ばす方法が存在する。また、拡張した画像の漏れ込みを防ぐためにデブロッキングフィルタを無効とする制御を行うことがある。また、計算複雑性及びメモリアクセス量を削減するデブロッキングフィルタ処理がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２０１０−５２３０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述したように画像を拡張する方法として、黒やグレーの固定パターンを追加する方法と画面端の画像を引き延ばす方法が存在する。これらの各方式の特徴を図１に示す。
【０００９】
図１は、各従来方式の特徴の一例を示す図である。図１に示すように、黒やグレーの固定パターンを追加する方法では、画像の拡張による処理量が増加しない。しかし、デブロッキングフィルタが有効であると、符号化対象である画像に関係のない黒やグレーの画像が漏れ込み、画質劣化を招く。
【００１０】
例えば、スーパーハイビジョン画像を分割して符号化した場合には、画面の中央部分に分割位置が発生し、漏れ込んだ画像による画質劣化が分割位置での画像の不連続として観測されるため、大きな問題となる。
【００１１】
図２は、スーパーハイビジョンでの問題点を説明するための図である。図２に示す例では、ハイビジョンサイズに分割した画像の境界は、画像の漏れ込みによる画質劣化が生じ、境界線ａ１１となって見える場合がある。
【００１２】
図１に戻り、デブロッキングフィルタを無効にする場合、ブロックノイズを軽減することができず、ブロックノイズによる画質劣化の原因となる。また、スライス単位でブロックに対してデブロッキングフィルタを無効にすることも可能であるが、画像拡張部分とは異なる箇所でのブロックノイズによる画質劣化が発生することになる。
【００１３】
画面端の画像を引き伸ばす方法では、画像の漏れ込みによる画質劣化は発生しないが、画像ごとに拡張データを用意しなければならず、固定パターンで拡張するよりも処理量が増加する。これは、デブロッキングフィルタの有効、無効に関わらない。
【００１４】
そこで、開示の技術は、上記課題に鑑みてなされたものであり、拡張した画像との境界において画質劣化を防ぎ、かつ拡張処理の処理量を抑えることを目的とする。
【課題を解決するための手段】
【００１５】
開示の一態様における画像符号化方法は、符号化対象ブロックのサイズの倍数ではない画像サイズを有する画像を符号化する画像符号化方法であって、前記画像に追加する拡張画像であり、該画像との境界にある境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上となる前記拡張画像を、直交変換を行うブロック単位で前記画像に追加して符号化対象画像を生成する生成ステップと、前記境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上の場合に前記符号化対象画像の局所復号画像に対し、前記拡張画像と前記画像との境界でデブロッキングフィルタ処理を無効にするデブロッキングフィルタステップと、を有する。
【発明の効果】
【００１６】
開示の技術によれば、拡張した画像との境界において画質劣化を防ぎ、かつ拡張処理の処理量を抑えることができる。
【図面の簡単な説明】
【００１７】
【図１】各従来方式の特徴の一例を示す図。
【図２】スーパーハイビジョンでの問題点を説明するための図。
【図３】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図４】符号化部の概略構成の一例を示すブロック図。
【図５】有効画像と拡張画像との関係を示す図。
【図６】閾値βを示す図。
【図７】デブロッキングフィルタの局所的な無効化の一例を示す図。
【図８】符号化対象画像の一例を示す図。
【図９】拡張画像の例を示す図。
【図１０】フレームメモリに配置される例を示す図。
【図１１】デブロッキングフィルタとブロックとの関係について説明するための図。
【図１２】画質の比較表を示す図。
【図１３】画素値を返すプログラムの一例を示す図。
【図１４】処理量の比較表を示す図。
【図１５】実施例における符号化処理の一例を示すフローチャート。
【図１６】符号化部による予測符号化処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照しながら実施例について詳細に説明する。
【００１９】
［実施例］
＜構成＞
図３は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図３に示す画像符号化装置１００は、フレームメモリ１０１、拡張データ生成部１０２、符号化部１０３を有する。
【００２０】
フレームメモリ１０１は、原画像を記憶する。また、フレームメモリ１０１は、原画像を拡張するための画像である拡張画像を記憶する。本実施例では、予め定められた拡張画像を追加するため、事前にフレームメモリ１０１に拡張画像を記憶しておくことができる。
【００２１】
拡張画像は、この拡張画像を追加した場合、拡張画像と原画像との境界において、デブロッキングフィルタが局所的に無効となるような画像である。拡張画像の詳細については後述する。
【００２２】
拡張データ生成部１０２は、原画像がマクロブロックサイズの倍数でない場合、拡張画像を原画像に追加して符号化対象画像（拡張データ）のサイズをマクロブロックサイズの倍数にする。拡張データ生成部１０２は、拡張画像を追加するだけであるので、拡張処理が簡単である。
【００２３】
これにより、画像の拡張処理は、原画像を引き伸ばす方法よりも処理量の増加を抑えることができる。
【００２４】
符号化部１０３は、マクロブロックサイズである１６の倍数となった符号化対象画像を符号化する。符号化部１０３の詳細は、図４を用いて説明する。
【００２５】
なお、フレームメモリ１０１に拡張画像を記憶する例を説明したが、拡張データ生成部１０２が拡張画像を記憶しておいてもよい。この場合、拡張データ生成部１０２が必要に応じて原画像に拡張画像を追加する。
【００２６】
図４は、符号化部１０３の概略構成の一例を示すブロック図である。図４に示す符号化部１０３は、前処理部２０１、予測誤差信号生成部２０２、ＤＣＴ・量子化部２０３、エントロピー符号化部２０４、逆量子化・逆ＤＣＴ部２０５、復号画像生成部２０６を有する。符号化部１０３は、さらに、デブロッキングフィルタ部２０７、フレームバッファ２０８、動き予測部２０９、動き補償部２１０を有する。
【００２７】
前処理部２０１は、ピクチャタイプに合わせてピクチャを並べ替えるピクチャ並べ替え部等を有し、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部２０１は、縮小画像を生成し、動きの方向などを調査する処理などを行ってもよい。
【００２８】
予測誤差信号生成部２０２は、入力された動画像データの符号化対象画像が１６×１６ピクセル（画素）のブロック（ＭＢ）に分割されたマクロブロックデータ（以降、ＭＢデータともいう）を取得する。予測誤差信号生成部２０２は、そのＭＢデータと、動き補償部２１０から出力される予測画像のＭＢデータとにより、予測誤差信号を生成する。予測誤差信号生成部２０２は、生成された予測誤差信号をＤＣＴ・量子化部２０３に出力する。
【００２９】
ＤＣＴ・量子化部２０３は、入力された予測誤差信号を８×８単位や４×４単位でＤＣＴ（Discrete Cosine Transform）変換する。なお、ＤＣＴ変換以外にもアダマール（Hadamard）変換などの直交変換を行ってもよい。ＤＣＴ・量子化部２０３は、直交変換処理によって水平及び垂直方向の周波数成分に分離されたデータを取得する。
【００３０】
これは、画像の空間相関性により、周波数成分に変換する事により低周波成分にデータが集まり情報量圧縮を行う事が可能となるからである。
【００３１】
ＤＣＴ・量子化部２０３は、直交変換されたデータ（ＤＣＴ係数）を量子化することによって、データの符号量を低減し、この量子化された値をエントロピー符号化部２０４及び逆量子化・逆ＤＣＴ部２０５に出力する。
【００３２】
エントロピー符号化部２０４は、ＤＣＴ・量子化部２０３から出力されたデータをエントロピー符号化してビットストリームを出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００３３】
エントロピー符号化部２０４は、例えば、基本的には出現頻度の高い係数の組合せにはより短い符号を、出現頻度の低い係数組合せにはより長い符号を割当てる。これにより、全体的に符号長を短くしようとする。例えば、Ｈ．２６４では、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）やＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）と呼ばれる方式のエントロピー符号化を選択することができる。
【００３４】
逆量子化・逆ＤＣＴ部２０５は、ＤＣＴ・量子化部２０３から出力されたデータを逆量子化する。逆量子化・逆ＤＣＴ部２０５は、逆量子化されたデータに対して、逆ＤＣＴ変換を行って、周波数成分から画素成分へ変換し、変換後のデータを復号画像生成部２０６に出力する。逆ＤＣＴ処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００３５】
復号画像生成部２０６は、動き補償部２１０で動き補償された画像のＭＢデータと、逆量子化・逆ＤＣＴ部２０５により復号処理された予測誤差信号とを加算する。これにより、復号化側と同等の処理画像を符号化側でも生成することができる。
【００３６】
符号化側で生成された画像を局所復号画像と呼び、符号化側に復号化側と同一の処理画像を生成することにより、次ピクチャ以降の差分符号化を行うことが可能となる。復号画像生成部２０６は、加算して生成した局所復号画像のＭＢデータを、デブロッキングフィルタ部２０７に出力する。
【００３７】
デブロッキングフィルタ部２０７は、デブロッキングフィルタ条件を満たす場合に、デブロッキングフィルタ処理を行う（デブロッキングフィルタを有効にする）。デブロッキングフィルタ条件は、次の通りである。
Ｂｓ＞０  ・・・条件１
｜Ｐ０−Ｑ０｜＜α  ・・・条件２
｜Ｐ１−Ｐ０｜＜β  ・・・条件３
｜Ｑ１−Ｑ０｜＜β  ・・・条件４
この条件１〜４を全て満たす場合に、デブロッキングフィルタ処理が行われる。
【００３８】
なお、Ｂｓは、Ｈ．２６４／ＡＶＣで定義されているブロック境界強度であり、０以上４以下の値を持つ。０の場合はデブロッキングフィルタを無効にすることを意味する。Ｐ０、Ｐ１、Ｑ０、Ｑ１については、図５を用いて説明する。
【００３９】
図５は、有効画像と拡張画像との関係を示す図である。図５に示す丸は画素を表す。図５に示すように、Ｐ０は、有効画像（原画像）の最下端のラインの画素を表し、Ｐ１は、最下端の直上のラインの画素を表す。また、Ｑ０は、拡張画像の最上端のラインの画素を表し、Ｑ１は、最上端の直下のラインの画素を表す。また、Ｑ０は、有効画像との境界にあるため境界画素ともいい、Ｑ１は、境界画素に隣接するため、境界画素に隣接する画素ともいう。境界画素に隣接する画素は、水平方向の境界画素を含まない。
【００４０】
図６は、閾値βを示す図である。図６に示すように、βは、量子化スケールＱＰの値に応じて設定される。βの最大値は１８である。また、αは、βと同じように量子化スケールＱＰの値に応じて０〜２５５が設定される。
【００４１】
図４に戻り、フレームバッファ２０８は、デブロッキングフィルタ後のＭＢデータを記憶する。フレームバッファ２０８に記憶される局所復号画像は参照画像となりうる。
【００４２】
動き予測部２０９は、符号化対象画像におけるＭＢデータと、フレームバッファ２０８から取得する参照画像のＭＢデータとを用いて動き探索を行い、適切な動きベクトルを求める。
【００４３】
動きベクトルとは、ブロック単位で参照画像から符号化対象画像のＭＢに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。
【００４４】
動き探索は、例えば、画素の差分絶対値和の大きさのみでなく、動きベクトルの評価値も付加することが一般的である。動きベクトルの符号化は、成分そのものでなく周辺ＭＢの動きベクトルとの差分ベクトルを符号化する。よって、動き予測部２０９は、差分ベクトルを求め、その成分の大きさにより、動きベクトル符号長相当の評価値を出力する。動き予測部２０９は、探索した動きベクトルを動き補償部２１０に出力する。
【００４５】
動き補償部２１０は、参照画像のデータを動き予測部２０９から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのＭＢデータが生成される。動き補償されたＭＢデータは、参照画像として予測誤差信号生成部２０２及び復号画像生成部２０６に出力される。
【００４６】
（デブロッキングフィルタの無効領域）
次に、実施例において、どの領域に対してデブロッキングフィルタを無効にしたいかを説明する。図７は、デブロッキングフィルタの局所的な無効化の一例を示す図である。図７に示す例では、マクロブロックサイズは１６×１６、ブロックサイズは４×４である。図７に示すように、ブロック毎の境界でデブロッキングフィルタ処理の有効無効を判定するとする。
【００４７】
図７に示す有効画像（原画像）と拡張画像との境界領域ｂ１２は、画像の漏れ込みを防ぐため、デブロッキングフィルタを無効にしたい領域である。また、有効画像のブロック同士の境界領域ｂ１１は、デブロッキングフィルタを有効にしたい領域である。
【００４８】
ここで、領域ｂ１２のデブロッキンギフィルタだけを無効化する場合に、前述した条件式４に着目すると、拡張画像のＱ１、Ｑ０の画素の関係を用いれば、原画像を変更せずに済む。また、エントロピー符号化を考慮すると、拡張画像は、符号量が少ない画像、例えば、固定パターンの画像の方がよい。
【００４９】
そこで、実施例では、拡張画像の画素Ｑ０、Ｑ１の関係が次の式を満たすようにする。
｜Ｑ１−Ｑ０｜≧β  ・・・条件５
βは最大値が１８である。よって、Ｑ１とＱ０の差分絶対値が１８以上になるように設定すれば、条件４を満たさなくなり、領域ｂ１２ではデブロッキングフィルタは無効となる。
【００５０】
（拡張画像）
次に、拡張画像の例について説明する。図８は、符号化対象画像の一例を示す図である。図８に示すように、原画像３０１は、１９２０×１０８０であり、縦方向がマクロブロックサイズの１６の倍数ではない。よって、実施例では、１９２０×８の拡張画像３０２を原画像３０１に追加する。
【００５１】
図９は、拡張画像の例を示す図である。図９（Ａ）は、拡張画像（その１）の例を示す。図９（Ａ）に示すように、Ｑ０の画素４０１の画素値「２５５」と、Ｑ１の画素４０２の画素値「２００」との差分絶対値が１８以上となっている。Ｑ０の画素（境界画素）の画素値とＱ１の画素の画素値（境界画素に隣接する画素）との差分絶対値が１８以上であれば、Ｑ０とＱ１との画素値はどんな値をとってもよい。
【００５２】
また、拡張画像の符号量を減らすことを考えると、横方向に同じ画素値となるようにする。これは、横方向にスキャンして差分をとる場合に、差分値が０となるからである。ライン３〜７の画素値は、例えば単一の画素値にすればよい。
【００５３】
図９（Ｂ）は、拡張画像（その２）の例を示す。図９（Ｂ）に示すように、Ｑ０の画素４０３の画素値「２５４」と、Ｑ１の画素４０４の画素値「１９１」との差分絶対値が１８以上となっている。例えば、ライン０の画素値は全て「２５４」であり、ライン１の画素値は全て「１９１」であり、ライン２の画素値は全て「６５」であり、ライン３の画素値は全て「２」であり、ライン４以降の画素値は全て「０」とする。
【００５４】
図９（Ｂ）に示す拡張画像の画素値は、拡張画像の１列目と２列目との画素値の差が大きく（１８以上）、周波数変換後に直交変換で得られるＤＣＴ係数の非ゼロ係数が最も少なくなるような画素値である。これにより、図９（Ｂ）に示す画像は、周波数変換時の係数が最も少なくなり、符号化効率の高い拡張画像となる。
【００５５】
拡張データ生成部１０２は、上記の通り、予め設定された固定パターンの拡張画像を原画像に追加するだけでよいので、追加処理の処理量を増大させなくてすむ。
【００５６】
図１０は、フレームメモリ１０１に配置される例を示す図である。フレームメモリ１０１にはフレームごとに原画が入力され、１０８０ラインまでを原画像３０１で配置し、予め配置された拡張画像３０２と合わせて符号化対象画像として利用される。フレーム毎に有効画像（原画像）の画素値は変化するが、拡張画像３０２の画素値は、予め設定された画素値であるため変わることはない。
【００５７】
（デブロッキングフィルタと隣接ブロック）
図１１は、デブロッキングフィルタとブロックとの関係について説明するための図である。図１１に示す例では、ブロック５０１がデブロッキングフィルタ対象のブロックである。ブロック５０１〜５０５が、デブロッキングフィルタに関係するブロックである。
【００５８】
例えば、原画像が１９２０×１０８０である場合、８ライン分の画像を補う必要がある。そこで、条件５を満たすような画素値とすることで、ブロック５０１とブロック５０５との境界において、デブロッキングフィルタは無効になり、画像の漏れ込みを防ぐことができる。
【００５９】
また、ブロック５０２〜５０４とブロック５０１とのそれぞれの境界において、従来通り条件判定を行い、デブロッキングフィルタ処理を行うことで、ブロックノイズなどによる画質劣化を防ぐことができる。
【００６０】
これにより、拡張画像を予め設定された固定パターンの画像にしても、デブロッキングフィルタを局所的に無効化することで、画質劣化を防ぐことができる。
【００６１】
（画質評価）
次に、実施例における拡張方法と従来の拡張方法との画質比較を行う。図１２は、画質の比較表を示す図である。図１２に示すように、拡張方法が黒やグレーの固定パターンによる拡張（従来の拡張方法１）の場合、画質が劣化する。例えば、デブロッキングフィルタが有効であれば画像の漏れ込みによる画質が劣化し、デブロッキングフィルタが無効であれば（ブロック全体が無効）、ブロックノイズにより画質が劣化する。
【００６２】
また、画面端の引き伸ばしによる拡張方法（従来の拡張方法２）及び実施例による拡張方法の場合、画質劣化は少ない。
【００６３】
（処理量評価）
次に、実施例における拡張方法と従来の拡張方法との処理量の比較を行う。画面端の引き伸ばしによる拡張を行う場合、１０８０ライン以下の画素に対しては最も近くの画素を返すことになる。
【００６４】
図１３は、画素値を返すプログラムの一例を示す図である。図１３に示す例では、ｘは画素の横方向の位置、ｙは画素の縦方向の位置を示す。１０８０ライン以降では、最も近い真上の１０８０ラインの画素値を返すとする。
【００６５】
例えば、図１３に示す（１）〜（３）の処理に、それぞれ１サイクル費やすとする。
（１）ｙが１０８０より大きいかの判定処理
（２）ｙを１０８０にする処理
（３）画素値を返す処理
上記の通り、従来の拡張方法２では、３サイクル必要となる。一方、実施例による拡張方法では、（３）のサイクルのみが必要となる。予め画素値がフレームメモリ１０１に配置されているからである。
【００６６】
従来の拡張方法２と実施例による拡張方法との比較は以下になる。例えば、1秒分の画像を全てスキャンしたとする。
従来の拡張方法２    ：３×１９２０×１０８８×６０＝３７６０１２８００サイクル
実施例による拡張方法：１×１９２０×１０８８×６０＝１２５３３７６００サイクル
この処理を、１ＧＨｚのコアＣＰＵ（Central Processing Unit）で動作させたとすると、以下の処理時間がかかる。
従来の拡張方法２    ：０．３７６ｓｅｃ
実施例による拡張方法：０．１２５ｓｅｃ
よって、実施例によれば、従来の拡張方法２より０．２２１秒も速く拡張処理ができる。
【００６７】
図１４は、処理量の比較表を示す図である。図１４に示すように、固定パターンによる拡張方法（従来の拡張方法１）及び実施例による拡張方法は、処理時間の増大が小さい。一方、画面端の引き伸ばしによる拡張方法（従来の拡張方法２）は、処理時間の増大が大きい。
【００６８】
画質評価と処理量評価をまとめると、実施例による拡張方法は、画質劣化が少なく、処理時間の増大は小さい。
【００６９】
＜動作＞
次に、実施例における画像符号化装置１０の動作について説明する。図１５は、実施例における符号化処理の一例を示すフローチャートである。図１５に示すステップＳ１０１で、拡張データ生成部１０２は、原画像に拡張画像の追加処理を行う。このとき、拡張画像は、予め設定された画像であるので、拡張処理の処理時間は小さい。
【００７０】
ステップＳ１０２で、符号化部１０３は、符号化対象画像に対して符号化処理を行う。符号化部１０３は、デブロッキングフィルタ処理を実施可能であるが、拡張画像と原画像との境界においては、局所的にデブロッキングフィルタを無効にする。
【００７１】
図１６は、符号化部１０３による予測符号化処理の一例を示すフローチャートである。図１６に示すステップＳ１０１で、予測誤差信号生成部２０２は、符号化対象画像のＭＢデータと、参照画像のＭＢデータとの差分をとって予測誤差信号を生成する。
【００７２】
ステップＳ２０２で、ＤＣＴ・量子化部２０３は、予測誤差信号に対してＤＣＴ変換、量子化処理を行う。
【００７３】
ステップＳ２０３で、逆量子化・逆ＤＣＴ部２０５は、量子化値に対して逆量子化処理、逆ＤＣＴ変換を行う。
【００７４】
ステップＳ２０４で、復号画像生成部２０６は、逆ＤＣＴ変換されたデータと、参照画像のデータとを加算して復号画像を生成する。この復号画像は局所復号画像である。
【００７５】
ステップＳ２０５で、デブロッキングフィルタ部２０７は、対象ブロックの各境界領域がデブロッキングフィルタ条件１〜４を満たすかを判定する。条件を満たせば（ステップＳ２０５−ＹＥＳ）ステップＳ２０６に進み、条件を満たさなければ（ステップＳ２０５−ＮＯ）ステップＳ２０７に進む。
【００７６】
このとき、拡張画像と原画像との境界領域においては、条件４が満たさないように拡張画像の画素値が設定されているので、デブロッキングフィルタは無効となる。
【００７７】
ステップＳ２０６で、デブロッキングフィルタ部２０７は、条件を満たす境界にデブロッキングフィルタ処理を実行する。
【００７８】
ステップＳ２０７で、フレームバッファ２０８は、デブロッキングフィルタ部２０７から出力された画像データを記憶する。この画像データは、動き予測や動き補償に用いられる。
【００７９】
以上、実施例によれば、拡張した画像との境界において画質劣化を防ぎ、かつ拡張処理の処理量を抑えることができる。また、実施例によれば、符号化効率を考慮して、拡張画像の画素値を予め設定することができる。
【００８０】
また、上記実施例では、拡張画像を原画像の下部に追加する例を示したが、上、左右に追加する場合でも、実施例による拡張処理を適用することができる。また、実施例では、Ｈ．２６４／ＡＶＣを例に説明したが、デブロッキングフィルタ処理を行う符号化方式であれば適用できる。
【００８１】
なお、前述した実施例で説明した画像符号化処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像符号化処理を実現することができる。
【００８２】
また、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した画像符号化処理は、１つ又は複数の集積回路に実装してもよい。
【００８３】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【００８４】
なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
符号化対象ブロックのサイズの倍数ではない解像度を有する画像を符号化する画像符号化方法であって、
前記画像に追加する拡張画像であり、該画像との境界にある境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上となる前記拡張画像を前記画像に追加して符号化対象画像を生成する生成ステップと、
前記符号化対象画像の局所復号画像に対し、前記拡張画像と前記画像との境界でデブロッキングフィルタ処理を無効にするデブロッキングフィルタステップと、
を有する画像符号化方法。
（付記２）
前記拡張画像は、
周波数変換後にＤＣＴ係数が最も少なくなる画像である付記１記載の画像符号化方法。
（付記３）
前記所定値は、少なくとも１８以上である付記１又は２記載の画像符号化方法。
（付記４）
符号化対象ブロックのサイズの倍数ではない解像度を有する画像を符号化する画像符号化装置であって、
前記画像に追加する拡張画像であり、該画像との境界にある境界画素と該境界画素に隣接する画素との差分絶対値が所定値以上となる前記拡張画像を前記画像に追加して符号化対象画像を生成する生成部と、
前記符号化対象画像の局所復号画像に対し、前記拡張画像と前記画像との境界でデブロッキングフィルタ処理を無効にするデブロッキングフィルタ部と、
を備える画像符号化装置。
【符号の説明】
【００８５】
１０１  フレームメモリ
１０２  拡張データ生成部
１０３  符号化部
２０１  前処理部
２０２  予測誤差信号生成部
２０３  ＤＣＴ・量子化部
２０４  エントロピー符号化部
２０５  逆量子化・逆ＤＣＴ部
２０７  復号画像生成部
２０８  フレームバッファ
２０９  動き予測部
２１０  動き補償部
【図１】
0005741092.tif 000002
【図２】
0005741092.tif 000003
【図３】
0005741092.tif 000004
【図４】
0005741092.tif 000005
【図５】
0005741092.tif 000006
【図６】
0005741092.tif 000007
【図７】
0005741092.tif 000008
【図８】
0005741092.tif 000009
【図９】
0005741092.tif 000010
【図１０】
0005741092.tif 000011
【図１１】
0005741092.tif 000012
【図１２】
0005741092.tif 000013
【図１３】
0005741092.tif 000014
【図１４】
0005741092.tif 000015
【図１５】
0005741092.tif 000016
【図１６】
0005741092.tif 000017