(57)【要約】【課題】新たな判定情報（符号化フラグ情報）を必要とせずに、圧縮効率を改善するための技術を提供する。【解決手段】符号化対象領域ごとの圧縮において、スキップモード（符号化対象領域の情報を圧縮せず、以前の符号化対象領域の情報をコピーする処理）に基づいて、既存の符号化規格により生成した既存予測画像を使用するのか、復号画像同士で動き探索処理を行って新たに生成した補間予測画像を使用するのかを決定する。【選択図】図２
2011082629.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化して符号化画像データを出力する画像符号化方法であって、
符号化対象画像に対する予測画像と前記符号化対象画像との差分データを生成するステップと、
前記差分データを符号化して符号化画像データを生成し、出力するステップと、
前記符号化画像データを復号し、局部復号画像を生成するステップと、
前記局部復号画像を用いて、前記予測画像を生成するステップであって、前記符号化対象画像に関連付けられたスキップモード情報に基づいて、画面内又は画面間予測画像と前記局部復号画像同士で動き探索を実行して生成した補間予測画像との一方を前記予測画像として出力するステップと、
を備えることを特徴とする画像符号化方法。
【請求項２】
請求項１の画像符号化方法であって、
前記予測画像を生成するステップでは、前記符号化対象画像がＢピクチャであり、当該Ｂピクチャの前記スキップモードが有効とされている符号化対象領域についてのみ、前記補間予測画像が前記予測画像として出力されることを特徴とする画像符号化方法。
【請求項３】
請求項２の画像符号化方法であって、
前記予測画像を生成するステップでは、前記符号化対象画像がＰピクチャの場合は、前記画面内又は画面間予測画像が前記予測画像として出力されることを特徴とする画像符号化方法。
【請求項４】
伝送されてきた符号化画像データを復号し、復号画像データを出力する画像復号化方法であって、
前記符号化画像データを構文解析し、少なくとも、復号対象の符号化画像データと、スキップモード情報を含む、復号に必要な符号化情報とに分離するステップと、
前記復号対象の符号化画像データを復号し、予測誤差データを生成するステップと、
前記予測誤差データと予測画像とを加算して復号画像を生成し、出力するステップと、
既存の復号画像を用いて前記予測画像を生成するステップであって、前記スキップモード情報に基づいて、画面内又は画面間予測画像と前記既存の復号画像同士で動き探索を実行して生成した補間予測画像との一方を前記予測画像として出力するステップと、
を備えることを特徴とする画像復号化方法。
【請求項５】
請求項４の画像復号化方法であって、
前記予測画像を生成するステップでは、前記復号対象の符号化画像データがＢピクチャであり、当該Ｂピクチャの前記スキップモードが有効とされている復号化対象領域についてのみ、前記補間予測画像が前記予測画像として出力されることを特徴とする画像復号化方法。
【請求項６】
請求項５の画像復号化方法であって、
前記予測画像を生成するステップでは、前記復号対象の符号化画像データがＰピクチャの場合は、前記画面内又は画面間予測画像が前記予測画像として出力されることを特徴とする画像復号化方法。
【請求項７】
画像データを符号化して符号化画像データを出力する画像符号化装置であって、
符号化対象画像に対する予測画像と前記符号化対象画像との差分データを生成する差分データ生成部と、
前記差分データを符号化して符号化画像データを生成し、出力する符号化画像データ生成部と、
前記符号化画像データを復号し、局部復号画像を生成する局部復号画像生成部と、
前記局部復号画像を用いて、前記予測画像を生成する予測画像生成部と、を備え、
前記予測画像生成部は、前記符号化対象画像に関連付けられたスキップモード情報に基づいて、画面内又は画面間予測画像と前記局部復号画像同士で動き探索を実行して生成した補間予測画像との一方を前記予測画像として出力することを特徴とする画像符号化装置。
【請求項８】
伝送されてきた符号化画像データを復号し、復号画像データを出力する画像復号化装置であって、
前記符号化画像データを構文解析し、少なくとも、復号対象の符号化画像データと、スキップモード情報を含む、復号に必要な符号化情報とに分離する構文解析部と、
前記復号対象の符号化画像データを復号し、予測誤差データを生成する復号処理部と、
前記予測誤差データと予測画像とを加算して復号画像を生成し、出力する復号画像生成部と、
既存の復号画像を用いて前記予測画像を生成する予測画像生成部と、を備え、
前記予測画像生成部は、前記スキップモード情報に基づいて、画面内又は画面間予測画像と前記既存の復号画像同士で動き探索を実行して生成した補間予測画像との一方を前記予測画像として出力することを特徴とする画像復号化装置。
【請求項９】
コンピュータを請求項７に記載の画像符号化装置として機能させるためのプログラム。
【請求項１０】
コンピュータを請求項８に記載の画像復号化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを効率的に削減して符号化するための画像符号化方法及び装置、画像復号化方法及び装置、並びにプログラムに関するものである。
【背景技術】
【０００２】
従来、画像圧縮のための技術として、ＭＰＥＧ（Moving Picture Experts Group）に代表される国際標準符号化規格が知られている。そして、さらに画像データを削減するため、符号化装置における局部復号画像同士で動き探索処理を行って生成した画像を予測画像または復号画像として用いる技術と既存の符号化技術とを併用することにより、圧縮率を向上させる技術が知られている（例えば、特許文献１）。より具体的に述べると、特許文献１では、既存の符号化規格により生成した予測画像と、局部復号画像同士で動き探索処理を行い生成した画像とを画素ブロックごとに切り替えて符号化しており、これにより圧縮効率を向上させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５４０１５号公報
【非特許文献】
【０００４】
【非特許文献１】「改訂三版Ｈ．２６４/ＡＶＣ教科書」、2009年1月1日発行、インプレスＲ＆Ｄ、第１２５ページ（スキップトマクロブロック）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で示されるような方法、つまり既存の符号化規格により生成した予測画像と、復号画像同士で動き探索処理を実施して新たに生成した画像とをブロック単位で切り替えて符号化する方法では、どちらの画像を使用するかの判定情報（フラグ情報）が既存のフラグ情報に加えて新たに必要となる。従って、入力映像によっては当該判定情報由来の符号量が多くなってしまい、特許文献１による方法で圧縮した場合の方が従来規格で圧縮した場合よりも圧縮効率が低下する可能性がある。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、新たな判定情報を必要とせずに、圧縮効率を改善するための技術を提供するものである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明は、Ｈ．２６４/ＡＶＣの符号化情報（フラグ）として既に規定されているスキップモード（スキップトマクロブロック）に基づいて、既存の方法で生成された既存予測画像（画面内又は画面間予測画像）及び補間予測によって生成された補間予測画像のいずれか一方を選択して予測画像として用いる。
【０００８】
即ち、本発明では、画像を符号化して伝送する際には、まず、符号化対象画像に対する予測画像と符号化対象画像との差分データを生成する。そして、差分データを符号化して符号化画像データを生成し、出力する。また、予測画像を生成する際には、符号化対象画像に関連付けられたスキップモード情報に基づいて、画面内又は画面間予測画像と局部復号画像同士で動き探索を実行して生成した補間予測画像との一方を予測画像として出力する。なお、予測画像を生成するとき、符号化対象画像がＢピクチャであり、当該Ｂピクチャのスキップモードが有効とされている符号化対象領域についてのみ、前記補間予測画像が前記予測画像として出力されるように処理が制御される。また、符号化対象画像がＰピクチャの場合は、画面内又は画面間予測画像が予測画像として出力されるように処理が制御される。
【０００９】
一方、符号化画像データを復号して、復号画像データを生成する場合は、まず、符号化画像データを構文解析し、少なくとも、復号対象の符号化画像データと、スキップモード情報を含む、復号に必要な符号化情報とに分離する。そして、復号対象の符号化画像データを復号し、予測誤差データを生成する。さらに、予測誤差データと予測画像とを加算して復号画像を生成する。また、予測画像を生成する際には、スキップモード情報に基づいて、画面内又は画面間予測画像と既存の復号画像同士で動き探索を実行して生成した補間予測画像との一方を予測画像として出力される。
【００１０】
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
【発明の効果】
【００１１】
本発明によれば、従来方式よりも少ない符号量で映像信号を記録、伝送することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態による画像符号化装置の概略構成を示す図である。
【図２】本発明の第１の実施形態による符号化部の詳細な構成を示す図である。
【図３】符号化対象フレームとの前後のフレームとの関係を示す図である。
【図４】補間予測画像と既存予測画像が混在する場合のフレーム例を示す図である。
【図５】本発明の実施形態による復号化装置の概略構成を示す図である。
【図６】復号処理の詳細を説明するためのフローチャートである。
【図７】変形例としての復号処理の詳細を説明するためのフローチャートである。
【図８】本発明の第２の実施形態による符号化部の詳細な構成を示す図である
【発明を実施するための形態】
【００１３】
本発明は、予測画像生成方式（既存（画面内／画面間）予測画像と補間予測画像のどちらを予想画像とするか）を示すフラグ（判定情報）を伝送せずに符号化を実現する画像符号化装置、及び、当該フラグを用いずに符号化された画像を復号する画像復号化装置に関するものである。特に、本発明は、例えばＨ．２６４／ＡＶＣ規格に準拠した符号化及び復号化に好適なものである。
【００１４】
以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。
【００１５】
（１）第１の実施形態
＜画像符号化装置の全体構成＞
図１は、本発明の実施形態による画像符号化装置の概略構成を示す図である。１０１は入力画像を記憶する映像入力部である。１０２は入力画像を符号化対象領域（例えばマクロブロック単位やスライス単位）に分割する領域分割部である。１０３は領域分割部によって分割された入力画像データを符号化単位で符号化、局部復号する符号化部である。１０４は符号化部１０３によって符号化されたデータを可変長符号化する可変長符号化部である。以下、本実施形態における各処理部の詳細について述べる。
【００１６】
映像入力部１０１は、入力画像を符号化する順番に並べ替える。順番の並べ替えは、ピクチャが画面内予測ピクチャ（Ｉピクチャ）または片方向予測ピクチャ（Ｐピクチャ）または双方向予測ピクチャ（Ｂピクチャ）のいずれかであるかによって実行され、これにより画像群（例えばＧＯＰ）は表示順から符号化順に並べ替えられる。
【００１７】
次に、領域分割部１０２は、符号化対象フレームを符号化対象領域に分割する。分割する領域の形状は、正方形、長方形領域のようなブロック単位（例えばマクロブロック単位やスライス単位）でも、ｗａｔｅｒｓｈｅｄ法のような手法を用いて抽出したオブジェクト単位でもよい。また分割する領域の大きさは、１６×１６画素のような既存符号化規格で採用されている大きさから、６４×６４画素のような大きなサイズでもよい。領域分割部１０２によって分割された画像は、符号化部１０３に送信される。
【００１８】
＜符号化部の詳細構成＞
図２は、符号化部１０３のより詳細な構成を示す図である。２０１は、領域分割部１０２によって分割された画像と補間予測画像決定部２１１にして決定した画像（局部復号画像であって、対象符号化領域の予測画像：画像内／画像間予測画像及び補間予測画像の何れかである）との差分を算出し、残差（予測誤差データ）を出力する差分器である。
【００１９】
２０２は、差分器２０１が出力した差分データを周波数変換し、周波数変換されたデータを量子化する周波数変換・量子化部である。２０３は、周波数変換・量子化部２０２が出力したデータを逆量子化した後、逆周波数変換する逆量子化・逆周波数変換部である。
【００２０】
２０４は、逆量子化・逆周波数変換部２０３が出力するデータと補間予測画像決定部２１１に手決定した画像とを加算し、復号画像を出力する加算器である。２０５は、加算器２０４が出力するデータ（復号画像）を記憶する復号画像記憶部である。
【００２１】
２０９は、復号画像記憶部に記憶されている復号画像同士で最も近似している領域を検出し、動き情報を出力する復号画像動き探索部である。
【００２２】
２０６は、符号化対象領域と同一フレーム内であって、その領域の周辺画素から予測画像を生成する画面内予測部である。２０７は符号化対象領域が属するフレームとは異なるフレーム内の領域から、符号化対象領域の画像に近い画像を検出し、復号画像動き探索部２０９によって得られた動き情報を用いて動き補償を実行し、予測画像を生成する画面間予測部である。２０８は、画面内予測画像または画面間予測画像のうち符号化効率の高い方を選択し（例えば符号量の少ない予測方式を選択する）、選択された予測画像を既存予測画像として出力する、画面内／画面間予測画像選択部である。
【００２３】
２１０は、復号画像動き探索部によって検出された動き情報に基づいて補間画像を生成する補間予測画像生成部である。２１１は、補間予測画像生成部２１０によって生成された画像（補間予測画像）または画面内／画面間予測画像選択部２０８にて生成した予測画像（既存予測画像）のどちらを使用するかを決定する補間予測画像決定部である。補間予測画像が選択されるのは、符号化対象画像がＢピクチャであって、符号化対象領域のスキップモードが有効となっている場合である。つまり、補間予測画像決定部２１１は、スキップモード情報に基づいて、既存予測画像及び補間予測画像の何れを、符号化対象画像との差分を取るべき画像として選択するか決定する。
【００２４】
次に、符号化部１０３の各処理部の詳細について説明する。周波数変換・量子化部２０２は、符号化対象画像と生成された予測画像との差分画像を、例えばＤＣＴ（Discrete Cosine Transform）やウェーブレット変換等を用いて周波数変換し、周波数変換後の係数を量子化する。量子化後のデータは、可変長符号化部１０４および逆周波数変換・逆量子化部２０３に送信される。
【００２５】
逆量子化・逆周波数変換部２０３は、周波数変換・量子化部２０２が行った処理の逆処理を行う。つまり、そこに入力されたデータは逆量子化され、逆量子化されたデータは逆ＤＣＴや逆ウェーブレット変換等により逆周波数変換され、上記差分画像（予測誤差データ）に相当する画像が生成される。
【００２６】
また、加算器２０４は、逆量子化・逆周波数変換部２０３から出力される差分画像に相当する画像と、補間予測画像決定部２１１によって決定された予測画像とを加算して局部復号画像を生成する。生成された局部復号画像は、復号画像記憶部２０５に記憶される。
【００２７】
画面内予測部２０６は、復号画像記憶部２０５に記憶された復号済みの符号化対象領域の周辺画素を用いて予測画像を生成する。また、画面間予測部２０７は、入力された符号化対象領域の画像データと復号画像記憶部２０５に記憶された復号済みフレーム内の画像領域の画像データとが最も近似している領域をマッチング処理により検出し、その検出した領域を予測画像とする。
【００２８】
復号画像記憶部２０５に記憶された復号画像は、復号画像動き探索部２０９にも送信される。復号画像動き探索部２０９は、次の処理を実行する。
【００２９】
まず、図３に示すように符号化対象フレームｎ（ｎは符号化順番を示す自然数）の前後のフレーム内の画素fn-1(x-dx,y-dy)及びfn+1(x+dx,y+dy)を用いて、式（１）に示される予測誤差絶対値和SADn(x,y)を求める。ここでＲは動き探索時の領域サイズであり、ｍは動き探索の精度を向上させるためのオフセットである。
【００３０】
【数１】
2011082629.tif 000003
【００３１】
次に式（１）のSADn(x,y)が最小となる動き探索領域Ｒ内の座標(dx,dy)を求めて動きベクトルを決定する。動き探索に関し、ここでは全探索の例を述べたが、処理量削減のために、簡略化した動き探索方法でも良い。
【００３２】
補間予測画像生成部２１０は、次のような方法によって補間予測画像を生成する。すなわち、補間予測画像生成部２１０は、復号画像動き探索部２０９で求められた動きベクトルを用いて、式（２）のように符号化対象フレームの前後の符号化済みのフレーム内の画素fn-1(x-dx,y-dy)及びfn+1(x+dx,y+dy)から符号化対象領域の画素fn(x,y)を生成する。
【００３３】
【数２】
2011082629.tif 000004
【００３４】
また、符号化対象領域が１６×１６画素のマクロブロックの場合、符号化対象領域の補間予測画像は、式（３）で表される。
【００３５】
【数３】
2011082629.tif 000005
【００３６】
続いて、補間予測画像決定部２１１は、符号化単位（例えば、マクロブロック）に付加されるスキップモードフラグが有効となっているか否かに基づいて、補間予測画像と既存予測画像のどちらを予測画像とするのか決定する。スキップモードが有効であれば補間予測画像が選択され、無効であれば既存予測画像が選択される。なお、このスキップモードは、符号化対象フレームがＢピクチャのときのみ用いられるモードであり、ＭＰＥＧ４やＨ．２６４／ＡＶＣの規格でサポートされているものである（非特許文献１参照）。従って、符号化対象画像がＰピクチャのときは、常に既存予測画像が予測画像となる。このように、補間画像を予測画像として用いるか否かについての判断に既存のフラグを用いるので、新たな判定情報（フラグ）を設定し多重化して送信する必要がない。よって、補間予測画像を用いることの利点を最大限に享受することができるようになる。なお、符号化対象領域の画像データは、スキップモード情報と関連付けられて符号化部１０３に入力される。従って、スキップモード情報は画像データに付加されて符号化部１０３に入力されても良いし、領域分割部１０２でスキップモード情報が、符号化対象領域の画像データから分離され、補間予測画像決定部２１１に提供されるようにしてもよい。
【００３７】
図４は、予測画像の選択についての理解をより深めるために提示された、補間予測画像と既存予測画像が混在する場合のフレーム例を示す図である。ここで、図４を用いて、補間予測画像決定部２１１の処理の詳細を説明する。
【００３８】
まず、符号化対象領域をＸとすると、Ｘにおいてスキップモードが選択されている場合（スキップモードが有効の場合）には、補間予測画像が予測画像として用いられる。一方、Ｘにおいてスキップモードが選択されていない場合には、既存予測画像が予測画像として用いられる。なぜなら既存規格（例えば、ＭＰＥＧ等）では、アンカー領域の動きベクトルを用いて符号化対象領域の動きベクトルを予測しているため、符号化モードが画面内予測されているときには、アンカー領域の動きベクトルが０となり動きベクトルの予測精度が低下する。そのため、復号画像同士で動き探索を行って得た動きベクトルを使用して生成する補間予測画像を選択した方が有利となるからである。
【００３９】
なお、上述の説明では、既存予測画像及び補間予測画像を生成した後、補間予測画像決定部２１１がスキップモード情報に基づいてどちらを残差生成のための予測画像とするかを決定しているが、別の形態もありうる。例えば、画面内予測部２０６及び画面間予測部２０７は、符号化対象領域のスキップモード情報が無効である場合に動作し、補間予測画像生成部２１０は、符号化対象領域のスキップモード情報が有効である場合に動作するようにしても良い。この場合、補間予測画像決定部２１１の動作はより単純なものとなる。このようにすることにより、全ての符号化対象領域について既存予測画像及び補間予測画像の両方を生成する必要がなくなるので、符号化装置における計算負荷を軽減することができるようになる。
【００４０】
＜復号化装置の構成＞
以下、上記符号化装置により符号化したデータを復号する復号化装置について説明する。図５は、本発明の実施形態による復号化装置の概略構成を示す図である。
【００４１】
図５において、５０１は、符号化側から送られた符号化データを復号する可変長復号部である。５０２は、可変長復号したデータを構文解析する構文解析部である。この構文解析により、送られてきたデータのヘッダ部分、画像データ部分等、どこからどこまでがどのような情報かを把握することができるようになる。
【００４２】
５０３は、構文解析部５０２が送信したデータを逆量子化し、逆周波数変換する逆量子化・逆周波数変換部である。５０４は、逆量子化・逆周波数変換部５０３が出力したデータと、補間予測画像決定部５０７が出力する予測画像データと、を加算し、復号画像を生成する加算器である。５０５は、加算器５０４が出力するデータを記憶する復号画像記憶部である。
【００４３】
５０６は、構文解析部５０２が送信した符号化モード情報に基づいて、復号画像記憶部５０５に記憶された画像を用いて予測画像を生成する既存予測画像生成部である。５０７は、既存予測画像生成部５０６にて生成した予測画像と補間予測画像生成部５０９に生成した画像のどちらを使用するかを決定する補間予測画像決定部である。５０８は、復号画像記憶部５０５に記憶されている復号画像同士で最も近似している領域を検出する復号画像動き探索部である。５０９は、復号画像動き探索部５０８にて検出した動き情報に基づいて補間画像を生成する補間予測画像生成部である。５１０は、復号画像記憶部５０５に記憶されている復号画像を表示する映像表示装置である。
【００４４】
＜復号処理の詳細＞
以下、図６を用いて復号処理の詳細について説明する。図６は、当該復号処理の詳細を説明するためのフローチャートである。
【００４５】
図６において、まず、可変長復号部５０１は、受信した符号化データを可変長復号し、当該可変長復号データを構文解析部５０２に送る（Ｓ６０１）。次に構文解析部５０２は、復号したストリームデータの構文分けを行って各データを分離し、その中の予測誤差データを逆量子化・逆周波数変換部５０３に提供し、また動きベクトル情報を既存予測画像生成部５０６および補間予測画像決定部５０７に送信する（Ｓ６０２）。そして、逆量子化・逆周波数変換部５０３は、予測誤差データを逆量子化し、逆量子化されたデータに対して逆周波数変換処理（例えば、逆ＤＣＴ変換や逆ウェーブレット変換等（ただし、符号化装置の変換方式に対応するもの））を行う（Ｓ６０３）。
【００４６】
そして、既存予測画像生成部５０６は、既存の符号化規格の方法で画面内予測画像または画面間予測画像を生成する（Ｓ６０４）。また、復号画像動き探索部５０８は、符号化側の復号画像動き探索部２０９の処理と同じ方法で動き探索処理を行う（Ｓ６０５）。さらに、補間予測画像生成部５０９は、符号化側の補間予測画像生成部２１０と同じ方法で補間画像を生成する（Ｓ６０６）。
【００４７】
続いて、補間予測画像決定部５０７は、補間予測画像か既存予測画像かのいずれを用いるかを、符号化側の補間予測画像決定部２１１の処理と同じ方法で決定する（Ｓ６０７）。つまり、補間予測画像決定部５０７は、符号化対象領域においてスキップモードが有効である場合に（Ｓ６０７でＹＥＳ）、補間予測画像を予測画像として出力するように制御される。
【００４８】
補間予測画像決定部５０７は、当該符号化対象領域の予測画像として補間予測画像を用いると決定した場合（Ｓ６０７でＹＥＳ）には、補間予測画像を出力し、それに基づいて復号画像が生成される（Ｓ６０８）。一方、補間予測画像決定部５０７は、当該符号化対象領域の予測画像として既存予測画像を用いると決定した場合には、既存予測画像を出力し、それに基づいて復号画像が生成される（Ｓ６０９）。この復号画像が最終的に映像表示装置５１０によって出力される。
【００４９】
なお、図６に基づく処理では、既存予測画像と補間予測画像を生成した後にスキップモードの情報に基づいてどちらを選択するか決定しているが、図７に基づく処理のように、符号化対象領域の画像においてスキップモードが有効の場合に補間予測画像を生成するようにしてもよい。このようにすることにより、必要な場合のみ補間予測画像を生成すれば良いので、演算量が少なくて済むという利点がある。
【００５０】
以上、本実施形態によれば、符号化対象領域が補間予測画像か既存予測画像かを判定するための新たな情報（新たな判定フラグ）を伝送する必要がなくなり、既存の符号化規格と比較して圧縮率を向上することができるようになる。
【００５１】
（２）第２の実施形態
第２の実施形態は、第１の実施形態における符号化部１０３において、Ｈ．２６４/ＡＶＣに準拠した通常の符号化方法を採用している。つまり、図２の構成から、補間予測画像生成部２１０及び補間予測画像決定部２１１を除いた構成となっている。以下、図８を用いて符号化部１０３について説明する。なお、本実施形態による復号化装置の構成は、第１の実施形態のそれと同様であるため説明を省略する。
【００５２】
図８は、第２の実施形態による符号化部の構成を示す図である。図８において、８０１は領域分割部１０２にて分割した画像と画面内／画面間予測画像選択部８０８によって予測画像として決定された画像との差分を算出する差分器である。８０２は差分器８０１が出力した差分データを周波数変換し、量子化する周波数変換・量子化部である。８０３は、周波数変換・量子化部８０２が出力したデータを逆量子化、逆周波数変換する逆量子化・逆周波数変換部である。
【００５３】
８０４は、逆量子化・逆周波数変換部８０３が出力するデータと画面内／画面間予測画像選択部８０８が予測画像として選択した画像とを加算する加算器である。８０５は、加算器８０４が出力するデータを記憶する復号画像記憶部である。
【００５４】
８０６は、符号化対象領域の周辺画素から予測画像を生成する画面内予測部である。８０７は符号化対象フレームと異なるフレーム内の領域から、符号化対象領域に近い画像を検出して予測画像とする画面間予測部である。８０８は画面内予測画像または画面間予測画像のうち符号化効率の高い方（符号量が少ない方）を選択する画面内／画面間予測部である。８０９は、復号画像記憶部８０５に記憶されている復号画像同士で最も近似している領域を検出する復号画像動き探索部である。
【００５５】
次に、符号化部１０３の各処理部の詳細について説明する。周波数変換・量子化部８０２は、例えば、差分画像をＤＣＴ（Discrete Cosine transform）やウェーブレット変換等を用いて周波数変換し、周波数変換後の係数を量子化する。量子化後のデータは、可変長符号化部１０４および逆周波数変換・逆量子化部８０３に送信される。逆量子化・逆周波数変換部８０３は、周波数変換・量子化部８０２にて行った処理の逆処理を行う。
【００５６】
加算器８０４は、画面内／画面間予測部８０８が出力した予測画像と逆周波数変換・逆量子化部８０３が出力したデータを加算し、局部復号画像を生成する。生成された局部復号画像は、復号画像記憶部８０５に記憶される。
【００５７】
画面内予測部８０６は、復号画像記憶部８０５に記憶されている復号済みの符号化対象領域の周辺画素を用いて予測画像を生成する。また、画面間予測部８０７は、入力された符号化対象領域と復号画像記憶部８０５に記憶されている復号済みフレーム内の画像領域とが最も近似している領域をマッチング処理により検出し、その検出した領域を予測画像とする。
【００５８】
また、復号画像記憶部８０５に記憶されている復号画像は、復号画像動き探索部８０９に送信される。復号画像動き探索部８０９は、第１の実施形態で説明した式（１）により予測誤差絶対値和SADn(x,y)を求め、これが最小となる動き探索領域Ｒ内の座標(dx,dy)を求めて動きベクトルを決定する。動き探索に関し、ここでは全探索の例を述べたが、処理量削減のために、簡略化した動き探索方法でも良い。
【００５９】
以上のように、第２の実施形態による符号化・復号化装置によれば、符号化対象領域が補間予測画像か既存予測画像かを判定するための情報を伝送する必要がなくなり、既存の符号化規格よりも圧縮率を向上できる。また、本実施形態による符号化装置では、符号化対象領域が補間予測画像か既存予測画像かを判定するための処理する必要がなくなり、第１の実施形態よりも演算量・処理時間を削減することができる。
【００６０】
（３）まとめ
本発明では、Ｈ．２６４/ＡＶＣの符号化情報（フラグ）として既に規定されているスキップモード（スキップトマクロブロック）に基づいて、既存の方法で生成された既存予測画像（画面内又は画面間予測画像）及び補間予測によって生成された補間予測画像のいずれか一方を選択して予測画像として用いる。スキップモードが有効となるのは符号化対象画像がＢピクチャのときのみであり、当該Ｂピクチャのスキップモードが有効とされている符号化対象領域（マクロブロック）についてのみ補間予測画像が予測画像として出力される。符号化対象画像がＰピクチャの場合は、画面内又は画面間予測画像が予測画像として出力される。このように、規格上で既に規定されている符号化情報を用いて予測画像として用いる画像を決定しているので、当該決定のための判定フラグ情報を新たに設定して伝送する必要がなくなる。このような判定フラグ情報の１つ１つは符号量としては多くないが、蓄積すると膨大な量となってしまうため、新たな判定情報を伝送しないことにより圧縮効率向上に与えるメリットは絶大である。
【００６１】
一方、伝送されてきた符号化画像データを復号して、復号画像データを生成する場合も、予測誤差データと加算して復号画像を生成するための予測画像を生成する際には、スキップモード情報に基づいて、画面内又は画面間予測画像と既存の復号画像同士で動き探索を実行して生成した補間予測画像との一方を予測画像として出力する。また、符号化装置側で補間予測画像を予測画像として用いていない場合であっても、復号化装置側で既存予測画像及び補間予測画像のいずれか一方を予測画像として用いるために、スキップモードに基づいて何れを選択するか決定することが可能である（以上は第２の実施形態に相当）。従って、効率よく画像復号処理を実行することが可能となる。
【００６２】
なお、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【００６３】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
【００６４】
また、実施の形態の機能を実現するソフトウェアのプログラムコードを、インターネット等のネットワークを介して配信することにより、それをダウンロードしてシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ-ＲＷ、ＣＤ-Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
【符号の説明】
【００６５】
１０１    映像入力部
１０２    領域分割部
１０３    符号化部
１０４    可変長符号化部
２０１、８０１    減算器
２０２、８０２    周波数変換・量子化部
２０３、５０３、８０３    逆量子化・逆周波数変換部
２０４、５０４、８０４    加算器
２０５、５０５、８０５    復号画像記憶部
２０６、８０６    画面内予測部
２０７、８０７    画面間予測部
２０８、８０８    画面内／画面間予測画像選択部
２０９、８０９、５０８    復号画像動き探索部
２１０、５０９    補間予測画像生成部
２１１、５０７    補間予測画像決定部
５０１    可変長復号部
５０２    構文解析部
５０６    予測画像生成部
５１０    映像表示装置
【図１】
2011082629.tif 000006
【図２】
2011082629.tif 000007
【図３】
2011082629.tif 000008
【図４】
2011082629.tif 000009
【図５】
2011082629.tif 000010
【図６】
2011082629.tif 000011
【図７】
2011082629.tif 000012
【図８】
2011082629.tif 000013