(57)【特許請求の範囲】
【請求項１】
予め設定された共通空間座標系で画像位置が指定された第１座標系上の符号化対象画像を符号化して得られる圧縮画像データであって、前記符号化対象画像と画像領域の大きさ又は画像位置が異なり、且つ、前記共通空間座標系で画像位置が指定された参照画像を参照して符号化された圧縮画像データを復号化する予測復号化方法において、
（ａ）前記圧縮画像データから、前記共通空間座標系の原点と第１座標系の原点との間の位置関係を示すオフセット信号と、復号化対象画像の圧縮画像信号とを抽出し、
（ｂ）前記オフセット信号を参照して、前記参照画像から予測画像を取得し、
（ｃ）前記圧縮画像信号を逆量子化および逆直交変換により復号化して、第１座標系上にて伸長差分画像を生成し、
（ｄ）前記予測画像と前記伸長差分画像とを加算することにより再生画像を生成する
ことを特徴とする予測復号化方法。
【請求項２】
圧縮画像データから動きベクトルデータを抽出し、抽出された前記動きベクトルデータを復号化して、動きベクトルを生成し、前記動きベクトルに基づいて参照画像から予測画像を取得することを特徴とする請求の範囲第１項記載の予測復号化方法。
【請求項３】
符号化対象画像はフレーム毎に異なる画像領域の大きさまたは画像位置が指定されたことを特徴とする請求の範囲第１項または第２項記載の予測復号化方法。
【請求項４】
予め設定された共通空間座標系で画像位置が指定された第１座標系上の符号化対象画像と画像領域の大きさ又は画像位置が異なり、且つ、前記共通空間座標系で画像位置が指定された参照画像を参照して、前記符号化対象画像を符号化する予測符号化方法において、
（ａ）前記参照画像から予測画像を指定する動きベクトルを前記共通空間座標系上での前記符号化対象画像の動きに基づいて生成し、
（ｂ）前記参照画像から前記動きベクトルに対応する予測画像を取得し、
（ｃ）前記符号化対象画像と前記予測画像から差分画像を生成し、
（ｄ）前記第１座標系上で前記差分画像を直交変換および量子化して、圧縮画像信号を生成し、
（ｅ）前記第１座標系上で前記圧縮画像信号を逆量子化および逆直交変換して、伸長差分画像を生成し、
（ｆ）前記伸長差分画像と前記取得した予測画像とを加算し、再生画像を復元して参照画像として保存し、
（ｇ）前記共通空間座標系の原点と前記第１座標系の原点との間の位置関係を示すオフセット信号と前記生成された動きベクトルとを前記圧縮画像信号とともに符号化して伝送する
ことを特徴とする予測符号化方法。
【請求項５】
前記共通空間座標系は連続する画像の表示領域を示す座標系であり、前記第１座標系は符号化対象画像毎に付与され、前記符号化対象画像の圧縮対象領域を示す座標系であることを特徴とする請求の範囲第４項記載の予測符号化方法。
【発明の詳細な説明】
技術分野
本発明は、デジタル画像データを蓄積もしくは伝送するための符号化・復号化方法および装置に関するもので、特に画像予測における動き情報を符号化・復号化し、予測画像を高精度に生成する方法および装置に関するものである。
背景技術
デジタル画像を効率よく蓄積もしくは伝送するには、圧縮符号化する必要がある。デジタル画像を圧縮符号化するための方法として、従来JPEGやMPEGに代表される離散コサイン変換（DCT）のほかに、サブバンドやウェアブレット、フラクタルなどの波形符号化方法がある。
また、画像間の冗長な信号を取り除くには動き補償を用いた画像予測を行い、差分信号を波形符号化する。
ここでは、動き補償DCTに基づくMPEG方式について説明する。入力画像を複数の16x16のマクロブロックに分割して処理する。一つのマクロブロックをさらに8x8のブロックに分割し、8x8のDCTを施してから量子化する。これはフレーム内符号化と呼ばれる。
一方、ブロックマッチングをはじめとする動き検出方法で、時間に隣接する別のフレームの中から対象マクロブロックに誤差の最も小さい予測マクロブロックを検出し、検出された動きに基づいて、過去の画像から動き補償をし、最適な予測ブロックを取得する。誤差の最も小さい予測マクロブロックを示す信号が動きベクトルである。
次に対象となるブロックと対応する予測ブロックの差分を求め、DCTを施し、変換係数を量子化し、動き情報と共に伝送もしくは蓄積する。これをフレーム間符号化と呼ぶ。
受信側では、量子化された変換係数をもとの差分信号に復元した後に、動きベクトルに基づいて予測ブロックを取得し、差分信号と加算し、画像を再生する。
予測画像の生成はブロック単位に行われているが、パンやズームのように画像全体が動く場合があり、この場合画像全体を動き補償する。動き補償、もしくは予測画像の生成は単純な平行移動から拡大・縮小・回転などの変形に伴うものがある。
（数１）から（数４）は移動・変形をあらわす式を示す。（x,y）は画素の座標で、（u,v）は変換された座標であり、（x,y）における動きベクトルである。そのほかの変数は移動や変形を示す変換パラメータである。
［数１］
（u,v）＝（ｘ＋e,y＋ｆ）
［数２］
（u,v）＝（ax＋e,dy＋ｆ）
［数３］
（u,v）＝（ax＋by＋e,cx＋dy＋ｆ）
［数４］
（u,v）＝（gx2＋pxy＋ry2＋ax＋by＋e,h
x2＋qxy＋sy2cx＋dy＋ｆ）
（数３）の変換はアフィン変換と呼ばれるもので、以降これを例として説明する。アフィン変換のパラメータ（a,b,c,d,e,f）は以下のように求めることができる。
まず、画像を複数のブロック（2x2、4x4、8x8など）に分割して、ブロックマッチングの方法で各ブロックの動きベクトルを求める。求められた動きベクトルの中から信頼性の高いものを少なくとも３個を選び、数３の連立方程式６つを解くことによりアフィンパラメータを得る。一般的には誤差を少なくするためには、より多くの点を選び、最小二乗法でアフィンパラメータを求める。
このようにして求められたアフィンパラメータを予測画像生成に用いられる。受信側にも同じ予測画像生成ができるようにアフィンパラメータを伝送する必要がある。
しかし、従来のフレーム間符号化は対象画像と参照画像とが同じ大きさを有することを前提としており、異なる大きさの画像について十分に対応されていない。隣接する二つの画像の大きさの変化は、その画像の中にある物体の動きによるものが多い。
たとえば、両手をおろして立っている人物（第７（Ａ）図）が両手を挙げることにより人物を囲む長方形の大きさが変化する（第７（Ｂ）図）。符号化効率を考えるとき、動きベクトルの符号量が少なくなるように、対象画像と参照画像とを同じ座標空間に変換する必要がある。
また、画像の大きさの変換により分割される画像のマクロブロックの配置が変化する。たとえば第７（Ａ）図から第７（Ｂ）図に変化するときに、マクロブロック701はマクロブロック703と704の二つに分けられ圧縮符号化されるために、第７（Ｂ）図の再生画像において、人物の顔に量子化による垂直のひずみが出現し、視覚上の画質が低下する。
また、アフィン変換を高い精度で行うことが必要であるために、アフィンパラメータ（a,b,c,d,e,f等）は一般に小数点以下の実数であるため、高制度に伝送しようとすると、長いビット数で伝送する必要がある。
従来では、アフィンパラメータを単に量子化して固定長もしくは可変長符号で伝送するため、アフィンパラメータの精度を低下させ、高い精度のアフィン変換が得られず、所望の予測画像生成ができない。
（数１）から（数４）からわかるように、変換パラメータの個数は２個から10個、またはそれ以上のものがある。変換パラメータを伝送するには、その最大の個数にあわせて符号化すると少ないパラメータを伝送するときに冗長な符号を送ることになるという問題がある。
発明の開示
本発明の第１の目的は、アフィン変換のようにそのパラメータが整数でない多くの桁数を有する場合に、正確な変換をより少ないデータ伝送量で実現できるデジタル画像データ符号化、復号化装置を提供することである。
その目的を達成するために、入力画像を符号化してデータ圧縮する画像圧縮手段と、その画像圧縮手段により圧縮した画像を復号して得た画像を座標変換して、座標変換することにより発生する座標データを出力する座標変換手段と、この座標変換手段の座標データから変換パラメータを生成する変換パラメータ生成手段と、この変換パラメータ生成手段によって生成された変換パラメータを用いて、入力画像から予測画像を生成する予測画像生成手段と、前記圧縮画像と座標データを伝送する伝送手段と、を備え、画像予測符号化装置を構成したものである。
又、圧縮画像データと座標データを入力し、可変長復号する可変長復号手段と、前記可変長復号手段により復号された座標データから、変換パラメータを生成する変換パラメータ生成手段と、前記変換パラメータ生成手段により生成された変換パラメータを用いて予測画像データを生成する予測画像生成手段と、前記予測画像生成手段からの予測画像と前記可変長復号された圧縮画像データを加算することにより復号画像を生成する加算手段とを有するデジタル画像復号化装置である。
特に変換パラメータ生成手段が、Ｎ個（Ｎは自然数）の画素の座標点と、前記Ｎ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点とから変換パラメータを生成する符号化、復号化装置である。更に、変換パラメータ生成手段が、大きさの異なる第１から第Ｎの対象画像を入力し、前記第１から第Ｎの対象画像に対し、共通空間座標を設定し、前記第１から第Ｎの対象画像について、所定の方法で圧縮符号化し第１から第Ｎの圧縮画像を生成し、前記第１から第Ｎの圧縮画像を復号化し、前記共通空間座標に変換し、第１から第Ｎの伸張画像を生成して格納すると同時に、前記第１から第Ｎの伸張画像を前記共通空間座標に変換することによって生成される変換パラメータを出力するデジタル画像符号化、符号化装置である。
本発明の第二の目的は、特に座標データとして異なる大きさの画像を予測符号化するときに、対象画像と参照画像とを同じ座標空間に変換した座標データを伝送することにより動き検出の精度を向上させると同時に動きベクトルの符号量を少なくし画質の向上を図ったデジタル画像符号化、復号化装置である。
この目的を達成するために、本発明の画像予測符号化装置は、大きさの異なる第一から第Ｎの対象画像を入力し、第一から第Ｎの対象画像に対し、共通空間座標を設定し、第一の対象画像について、所定の方法で圧縮符号化し第一の圧縮画像を生成した後、第一の圧縮画像を復号化し、共通空間座標に変換し、第一の伸長画像を生成して格納すると同時に、第一の対象画像を共通空間座標に変換することによって生成される第一オフセット信号（座標データ）を符号化し、第一の圧縮画像と共に伝送し、第ｎ（ｎ＝2,3,...N）の対象画像について、共通空間座標に変換し、第（ｎ−１）の伸長画像を参照して予測画像を生成し、第ｎの対象画像と予測画像とから差分画像を生成して圧縮符号化し、第ｎの圧縮画像を生成した後、第ｎの圧縮画像を復号化し、共通空間座標に変換し、第ｎの伸長画像を生成して格納すると同時に、第ｎの対象画像を共通空間座標に変換することによって生成される第ｎのオフセット信号（座標データ）を符号化し、第ｎの圧縮画像と共に伝送するとしたものである。
また、本発明の画像予測復号化装置は、入力端子と、データ解析器と、復号化器と、加算器と、座標変換器と、動き補償器と、フレームメモリとを具備し、入力端子に、大きさの異なる第一から第Ｎの対象画像を符号化し、第ｎ（ｎ＝2,3,...,N）の対象画像を共通空間座標に変換することによって生成される第ｎのオフセット信号を含めた第一から第Ｎの圧縮画像データを入力し、データ解析器にて、第一の圧縮画像データを分析し、第一の圧縮画像信号と第一のオフセット信号とを出力し、復号化器に第一の圧縮画像信号を入力し、第一の再生画像に復元した後、座標変換器にて、第一のオフセット信号を元もとに、第一の再生画像を座標変換し、フレームメモリに格納し、第ｎ（ｎ＝2,3,...,N）の圧縮画像データについて、データ解析器にて、第ｎの圧縮画像データを分析し、第ｎの圧縮画像信号と第ｎのオフセット信号と第ｎの動き信号とを出力し、復号化器に第ｎの圧縮画像信号を入力し、第ｎの伸長差分画像に復元し、動き補償器に第ｎのオフセット信号と第ｎの動き信号とを入力し、第ｎのオフセット信号と第ｎの動き信号をもとに、フレームメモリに格納された第（ｎ−１）の再生画像から第ｎの予測画像を取得し、加算器にて第ｎの伸長差分画像と第ｎの予測画像とを加算して第ｎの再生画像に復元し出力すると同時に、座標変換器にて、第ｎのオフセット信号をもとに、第ｎの再生画像を座標変換しフレームメモリに格納するとしたものである。
本発明の第三の目的は、座標データとして伝送するデータにアフィン変換を行う場合のアフィンパラメータを含む変換パラメータを高精度に伝送し、高精度な予測画像生成を可能にするデジタル画像符号化、復号化装置を提供することである。
この発明によると、可変長復号化部と、差分画像伸長部と、加算部と、変換パラメータ生成部と、予測画像生成部とフレームメモリとから構成するデジタル画像復号化装置で、可変長復号化部にデータを入力し、データから、差分画像データを分離し差分画像伸長部に伝送すると同時に、座標データを分離し変換パラメータ生成部に入力し、差分画像伸長部にて、差分画像データを伸長し、加算部に伝送し、変換パラメータ生成部にて、座標データから変換パラメータを生成し、予測画像生成部に伝送し、予測画像生成部にて、変換パラメータとフレームメモリから入力される画像とから予測画像生成し、加算部に伝送し、加算部にて、伸長された差分画像に予測画像を加算し、画像を生成し出力すると同時にフレームメモリに格納する。
上記の座標データは、Ｎ個の画素の座標点と、Ｎ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点であり、または、Ｎ個の画素の座標点と、Ｎ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点の差分値であり、または、所定のＮ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点であり、または、所定のＮ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点と予測値との差分値である。
この予測値は、所定のＮ個の座標点であり、または前フレームのＮ個の変換済み座標点である。
また、本発明によると、変換パラメータ推定部と、予測画像生成部と、第一加算部と、差分画像圧縮部と、差分画像伸長部と、第二加算部と、フレームメモリと、伝送部とから構成するデジタル画像符号化装置で、デジタル画像を入力し、変換パラメータ推定部にて、フレームメモリに格納されている画像とデジタル画像とから変換パラメータを推定し、予測画像生成部に、推定された変換パラメータとフレームメモリに格納された画像とを入力し、推定された変換パラメータに基づいて予測画像を生成し、第一加算部にて、デジタル画像と予測画像との差分を求め、差分画像圧縮部にて圧縮差分データに圧縮し、伝送部に送ると同時に、差分画像伸長部にて、圧縮差分データを伸長差分データに伸長し、第二加算部にて、予測画像と加算し、フレームメモリに格納するデジタル画像符号化装置において、変換パラメータ推定部から、座標データを伝送部に送り、圧縮差分データと共に伝送する。
上記の座標データは、Ｎ個の画素の座標点と、Ｎ個の座標点を変換パラメータによって変換されたＮ個の変換済み座標点であり、または、Ｎ個の画素の座標点と、Ｎ個の変換済み座標点とＮ個の画素の座標点との差分であり、または、所定のＮ個の画素の座標点を変換パラメータによって変換されたＮ個の変換済み座標点であり、Ｎ個の変換済み座標点と所定のＮ個の画素の座標点との差分であり、または、Ｎ個の変換済み座標点と過去のフレームのＮ個の変換済み座標点との差分である。
また、本発明によると、可変長復号化部と、差分画像伸長部と、加算部と、変換パラメータ生成部と、予測画像生成部とフレームメモリとから構成するデジタル画像復号化装置で、可変長復号化部にデータを入力し、データから、差分画像データを分離し差分画像伸長部に伝送すると同時に、座標データの個数の個数と座標データとを変換パラメータ生成部に入力し、差分画像伸長部にて、差分画像データを伸長し、加算部に伝送し、変換パラメータ生成部にて、変換パラメータの個数に基づいて変換パラメータ生成方法を切り替え、座標データから変換パラメータを生成し、予測画像生成部に伝送し、予測画像生成部にて、変換パラメータとフレームメモリから入力される画像とから予測画像生成し、加算部に伝送し、加算部にて、伸長された差分画像に前記予測画像を加算し、画像を生成し、出力すると同時にフレームメモリに格納する。
上記の座標データがＮ個の画素の座標点と、Ｎ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点であり、または、座標データがＮ個の画素の座標点と、Ｎ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点とＮ個の画素の座標点との差分であり、または、座標データがＮ個の画素の座標点と過去のフレームのＮ個の画像の座標点との差分と、Ｎ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点と過去のフレームのＮ個の変換済み座標点との差分であり、または、所定のＮ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点であり、または、所定のＮ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点と所定のＮ個の座標点との差分であり、または、所定のＮ個の座標点の線形多項式によって変換されたＮ個の変換済み座標点と過去のフレームのＮ個の変換済み座標点との差分である。
また、変換パラメータをそのまま伝送する際に、変換パラメータを画像サイズで定倍してから量子化し符号化し、または変換パラメータの最大値の指数部を求め、指数部で変換パラメータを正規化し、指数部と正規化された変換パラメータを伝送する。
【図面の簡単な説明】
第１図は本発明の実施例１による画像予測符号化装置を示すブロック図である。
第２図は本発明の実施例１、２における画像の座標変換を示す第一模式図である。
第３図は本発明の実施例１の画像予測符号化装置による符号化画像データ系列を示す模式図である。
第４図は本発明の実施例１、２における画像の座標変換を示す第二模式図である。
第５図は本発明の実施例２による画像予測復号化装置を示すブロック図である。
第６図は本発明の実施例１、２において分割された画像を示す模式図である。
第７図は従来の方法で分割された画像を示す模式図である。
第８図は本発明の実施例３のデジタル画像復号化装置のブロック図である。
第９図は本発明の実施例３のデジタル画像符号化装置のブロック図である。
第10図は本発明の実施例４のデジタル画像復号化装置のブロック図である。
第11図は本発明の実施例５のデジタル画像復号化装置のブロック図である。
第12図は本発明の実施例５のデジタル画像符号化装置のブロック図である。
発明を実施するための最良の形態
以下、本発明の実施例について、第１図から第12図を用いて説明する。
（実施例１）
第１図は本発明の実施例１による画像予測符号化装置のブロック図を示し、第１図において101は入力端子、102は第一加算器、103は符号化器、106は出力端子、107は復号化器、110は第二加算器、111は第一座標変換器、112第二座標変換器、113は動き検出器、114は動き補償器、115はフレームメモリである。
以上のように構成された画像予測符号化装置について、以下、その動作を述べる。入力端子101に大きさの異なる第一から第Ｎの対象画像を入力する。Ｎは映像の長さによって決定される。
まず、入力端子101に第一の対象画像を入力し、第一加算器102を経由し、符号化器103にて圧縮符号化する。この場合、第一加算器102における引き算は行わない。また、本実施例では、対象画像を複数隣接するブロック（8x8画素）に分割し、離散コサイン変換器DCT（104）にて空間領域の信号を周波数領域の信号に変換して変換ブロックを生成する。
変換ブロックは量子化器Ｑ（105）によって量子化され、第一の圧縮画像を生成し、出力端子106に出力し、固定長もしくは可変長の符号に変換して伝送する（図示されていない）。同時に、第一の圧縮画像を復号化器107にて伸長画像に復元する。本実施例では、逆量子化器IQ（108）によって逆量子化され、逆離散コサイン変換器（IDCT）109にて空間信号に変換される。
このように得られた再生画像を第一座標変換器111にて座標変換し、第一の再生画像をしてフレームメモリ115に格納する。
次に、第一座標変換器111の操作を説明する。第２（Ａ）図を第一の対象画像とする。画像201の画素a1は、座標系203において（0,0）の座標をもつ。第２（Ｃ）図には新しい座標系205が設定されている。この座標系は表示画面の座標系でもいいし、または対象画像の中心点を原点とする座標系でもよい。
いずれの場合、座標系205は符号化をはじめる前にあらかじめ設定されるものである。対象画像201を座標系205にマッピングしたものは第２（Ｃ）図に示されている。
この座標変換により対象画像201の画素a1の座標が（x_a,y_a）になる。なお、回転を含めた座標変換を行うこともある。x_a,y_aの値を固定長、8bitに符号化して第一の圧縮画像と共に伝送する。
次に、第ｎ（ｎ＝2,3,...,N）の対象画像を入力端子101に入力する。第ｎの対象画像をライン126を経由し第二の座標変換器112に入力し、座標系205に変換する。第２（Ｂ）図の画像202を第ｎの対象画像とする。
それを座標系205にマッピングし、画素b1の座標を（x_b,y_b）に変換する（第２（Ｃ）図）。座標変換された対象画像202を動き検出器113に入力し、複数のブロックに分割してフレームメモリ115に格納された第（ｎ−１）の再生画像を参照し、ブロックマッチングなどの方法で動き検出し、動きベクトルを生成する。
生成された動きベクトルをライン128に出力し符号化し伝送する（図示されていない）と同時に動き補償器114に送られ、フレームメモリ115に格納された第（ｎ−１）の再生画像をアクセスし予測ブロックを生成する。動き検出・動き補償についての実施例は、たとえばUSP5,193,004に開示されている。
第一加算器102に、第ｎの対象画像のブロックとその予測ブロックを入力して差分ブロックを生成する。差分ブロックを符号化器103にて圧縮し、第ｎの圧縮画像を生成し出力端子106に出力すると同時に、復号化器107にて伸長差分ブロックに復元する。
第二の加算器110にて、伸長差分ブロックにライン125を経由して送られる予測ブロックを加算し、画像を再生する。このように再生された画像を第一の座標変換器111に入力し、第２（Ｃ）図の画像202と同じように座標変換し、第ｎの再生画像としてフレームメモリ115に格納すると同時に、画素b1の座標（x_b,y_b）を符号化し第ｎの圧縮画像と共に伝送する。
第３図は本発明の実施例の画像予測符号化装置による符号化画像データ系列を示す模式図である。符号化画像データの先頭に画像同期信号303、続いて、座標変換によるパラメータx_a（304）,y_a（305）、画像のサイズ306、307、量子化に用いられるステップ値308がある。
そのあと、動きベクトルや画像の圧縮データが続く。即ち座標データとしてパラメータx_a（304）,y_a（305）、画像のサイズ306、307が伝送されることになる。
第４図は本発明の実施例における画像の座標変換の別の形態を示す。この場合、対象画像を複数の領域に分割され、それぞれの領域について座標変換を行う。
たとえば、画像201を三つの領域R1,R2,R3に分割し、それぞれの領域を圧縮・伸長してから、第一の座標変換器111にて再生されたR1、R2、R3の領域をそれぞれ座標変換し、フレームメモリ115に格納する。座標変換に用いられるパラメータ（x_a1,y_a1），（x_a2,y_a2），（x_a3,y_a3）を同時符号化して伝送する。
次に、画像202を入力し、領域R4,R5,R6に分割され、それぞれの領域を第二の座標変換器112にて座標変換する。各座標変換された領域について、フレームメモリ115に格納された領域を参照し動き検出・動く補償を行い、予測信号を生成し、第一の加算器102にて差分信号を生成し、圧縮・伸長してから、第二の加算器にて予測信号を加算する。
このように再生された各領域をそれぞれ座標変換してフレームメモリ115に格納する。座標変換に用いられるパラメータ（x_b1,y_b1），（x_b2,y_b2），（x_b3,y_b3）を同時符号化して伝送する。
異なる大きさの画像を共通の空間座標に変換することにより、動き検出の精度を向上させると同時に動きベクトルの符号量を少なくし画質を向上させることができる。
第６（Ａ）図と第６（Ｂ）図の画像を点605に座標をあわせることにより、ブロック601とブロック603、ブロック602とブロック604が一致しているので、動き検出は正確に求められる。
またこの例では、ブロック603とブロック604の動きベクトルがゼロに近い値になるため動きベクトルの符号量を削減することができる。一般の画像について、隣接する二つの画像についても同じことがいえる。また、第７（Ｂ）図と違って、第６（Ｂ）図のブロック603の顔は一つのブロックに収まるために、顔に量子化による垂直のひずみは出現しない。
（実施例２）
第５図は本発明の実施例２による画像予測復号化装置にブロック図を示し、第５図において501は入力端子、502はデータ解析器、503は復号化器、506は加算器、507は出力端子、508は座標変換器、509は動き検出器、510はフレームメモリである。
以上のように構成された画像予測符号化装置について、以下、その動作を述べる。入力端子501に、大きさの異なる第一から第Ｎの対象画像を符号化し、第ｎ（ｎ＝1,2,3,...,N）の対象画像を共通空間座標に変換することによって生成される第ｎの変換パラメータを含めた第一から第Ｎの圧縮画像データを入力する。第３図の模式図は圧縮画像データの一例を示す。データ解析器502にて入力された圧縮画像データを解析する。
まず第一の圧縮画像データをデータ解析器502にて解析し、第一の圧縮画像を復号化器503に出力する。また、共通空間座標に変換することによって生成される第一の変換パラメータ（第２（Ｃ）図のx_a,y_a）をライン520を経由して座標変換器508に送る。
復号化器503では、第一の圧縮画像を伸長画像に復元し、出力端子507に出力する。同時に伸長画像を座標変換器508に入力する。本実施例では、逆量子化し、IDCTを施して空間領域の信号に復元する。
座標変換器508では第一の変換パラメータをもとに、伸長画像を共通空間座標系にマッピングし、第一の再生画像として出力し、フレームメモリ510に格納する。座標変換について実施例１にて説明したのと同じである。
次に第ｎ（ｎ＝2,3,...,N）の圧縮画像データをデータ解析器502にて解析し、第ｎの圧縮差分画像を復号化器503に出力する。また、第ｎの動きデータをライン521を経由し動き補償器509に送り、共通空間座標に変換することによって生成される第ｎの変換パラメータ（第２（Ｃ）図のx_b,y_bに相当）をライン520を経由して座標変換器508および動き補償器509に送る。
復号化器503では、第ｎの圧縮差分画像を第ｎの伸長差分画像に復元し、加算器506に出力する。本実施例では、対象ブロックの差分信号を逆量子化し、IDCTし、伸長差分ブロックとして出力する。
一方、動き補償器509では、第ｎ変換パラメータと該当ブロックの動きベクトルを用いて、フレームメモリ510から予測ブロックを取得する。
本実施例では、対象ブロックの座標を変換パラメータを用いて変換し、すなわち対象ブロックの座標に第ｎの変換パラメー第２（Ｃ）図のx_b,y_b）を加算し、その和に動きベクトルを加算することにより、フレームメモリ510の番地を決定する。このようにして得られた予測ブロックを加算器506に送り、伸長差分ブロックと加算し、画像を再生する。再生された画像を出力端子507に出力すると同時に、座標変換器508にて第ｎの変換パラメータを用いて座標変換してフレームメモリ510に格納する。
なお、座標変換器508の代わりに、動き補償器509またはその前後に於いて、対象ブロックの座標に第ｎ番目の画像と第ｎ−１番目の画像の変換パラメータの差分（x_b−x_a,y_b−y_a）を加算し、それに動きベクトルを加算する機能を有する他の装置を付加して、フレームメモリ510の番地を決定しても同様な効果を有することは言うまでもない。
次に入力端子501に別の圧縮画像データを入力する場合を考える。すなわち、大きさの異なる第一から第Ｎの対象画像を複数の対象領域に分割し符号化して、それぞれの対象領域を共通空間座標に変換することによって生成される変換バラメータを含めた第一から第Ｎの圧縮画像データを入力する。
まず記第一の圧縮画像データをデータ解析器502にて分析し、第ｍ（ｍ＝1,2,...,M）の圧縮領域を復号化器503に出力する。第４（Ａ）図ではＭ＝３。また、共通空間座標に変換することによって生成される第ｍの変換パラメータ（第４（Ａ）図のx_am,y_am,m＝1,2,3）をライン520を経由して座標変換器508に送る。復号化器503では、第ｍの圧縮領域を第ｍの伸長領域に復元し、出力端子507に出力する。同時に第ｍの伸長領域を座標変換器508に入力する。
そこで第ｍの変換パラメータをもとに、第ｍの伸長領域を共通空間座標系にマッピングし、第ｍの再生領域として出力し、フレームメモリ510に格納する。方法は前述と同じである。
次に第ｎ（ｎ＝2,3,...,N）の圧縮画像データをデータ解析器502にて解析し、その中にある第ｋ（ｋ＝1,2,...,K）の圧縮差分領域を復号化器503に出力する。第４（Ｂ）図ではＫ＝３。
また、対応する動きデータをライン521を経由し動き検出器509に送り、共通空間座標に変換することによって生成される第ｋの変換パラメータ（第４（Ｂ）図のx_bk,y_bk,k＝1,2,3）をライン520を経由して座標変換器508および動き補償器509に送る。
復号化器503では、第ｋの圧縮差分領域を第ｋの伸長差分領域に復元し、加算器506に出力する。本実施例では、対象ブロックの差分信号を逆量子化し、IDCTし、伸長差分ブロックとして出力する。
一方、動き補償器509では、第ｋの変換パラメータと該当ブロックの動きベクトルを用いて、フレームメモリ510から予測ブロックを取得する。本実施例では、対象ブロックの座標を第ｋの変換パラメータの用いて変換し、すなわち対象ブロックの座標に第ｋ変換パラメータ（たとえば第４（Ｂ）図のx_bk,y_bk,k＝1,2,3）を加算し、その和に動きベクトルを加算することにより、フレームメモリ510の番地を決定する。
このようにして得られた予測ブロックを加算器506に送り、伸長差分ブロックと加算し、画像を再生する。再生された画像を出力端子507に出力すると同時に、座標変換器508にて座標変換してフレームメモリ510に格納する。
（実施例３）
第８図は本発明による実施例３の復号化装置のブロック図を示す。入力端子801、可変長復号化部802、差分画像伸長部803、加算部804、出力端子805、変換パラメータ生成部806、フレームメモリ807と予測画像生成部808から構成される。
圧縮符号化された画像データを入力端子801に入力する。可変長復号化802では、入力データを解析し、差分画像データや座標データを分離し、それぞれ、ライン8002と8003を経由して差分画像伸長部803と変換パラメータ生成部806に送る。
差分画像データには、DCTされ、量子化された変換係数と量子化幅が含まれる。差分画像伸長部803では、変換係数を量子化幅を利用して逆量子した後に逆DCTをし、差分画像に伸長する。
一方、座標データには、変換パラメータを生成するためのデータが含まれ、変換パラメータ生成部806にて、変換パラメータを生成する。たとえば、（数３）に示すアフィン変換の場合、（a,b,c,d,e,f）が生成される。詳細について以下に説明する。
変換パラメータ生成部806にて生成された変換パラメータと、フレームメモリに格納される画像を予測画像生成部808に入力する。（数３）に示すアフィン変換の場合、変換パラメータ生成部806から送られる（a,b,c,d,e,f）を用いて、（数３）にしたがって、（x,y）にある画素の予測値はフレームメモリに格納される画像の（u,v）にある画素になる。（数１）、（数２）、（数４）の場合についても同じである。
このようにして生成された予測画像を加算部804に送り、差分画像に加算し、画像を再生する。再生された画像は出力端子805に出力すると同時にフレームメモリ807に格納する。
さて、上述の座標データは複数の形態をとることが可能で、以下に説明する。
座標データがＮ個の画素の座標点と、そのＮ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点とからなる場合を考える。
ここに、Ｎは変換パラメータを求めるために必要な点の個数である。アフィンパラメータの場合、６つのパラメータがあるので、６つの変数を解くには６つの式を必要とする。一つの座標点には（x,y）の成分があるために、Ｎ＝３であれば、６つのアフィン変数パラメータを解くことができる。
（数１）の場合、Ｎ＝１、（数２）の場合Ｎ＝２、（数４）の場合Ｎ＝５である。Ｎ個の変換済み座標点は動きベクトルであり、（数１）から（数４）の左辺の（u,v）に相当する。
アフィン変換の場合、３個の座標点（x0,y0），（x1,y1），（x2,y2）と変換済み座標点（u0,v0），（u1,v1），（u2,v2）ラインが8003を経由し変換パラメータ生成部806に入力する。変換パラメータ生成部806では、下記に連立方程式を解くことにより、アフィンパラメータが得られる。
［数５］
（u0,v0）＝（ax0＋by0＋e,cx0＋dy0＋ｆ）
（u1,v1）＝（ax1＋by1＋e,cx1＋dy1＋ｆ）
（u2,v2）＝（ax2＋by2＋e,cx2＋dy2＋ｆ）
なお、より多くの座標データを用いて変換パラメータを求めることも可能である。ほかの場合も同様に変換パラメータを解くことができる。Ｎ個の（x,y）をうまく選択することにより非常に高精度な変換パラメータを求めることができる。直角に配置されるＮ個の（x,y）が好ましい。
なお、変換済みの座標点（u0,v0），（u1,v1），（u2,v2）に対し、対応する座標点（x0,y0），（x1,y1），（x2,y2）を求めるときには、（数５）の代わりに（数６）の連立方程式を求めてもよい。
［数６］
（x0,y0）＝（Au0＋Bv0＋E,Cu0＋Dv0＋Ｆ）
（x1,y1）＝（Au1＋Bv1＋E,Cu1＋Dv1＋Ｆ）
（x2,y2）＝（Au2＋Bv2＋E,Cu2＋Dv2＋Ｆ）
次に、座標データが、Ｎ個の画素の座標点と、Ｎ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点の差分値である場合を考える。差分をとるための予測値がＮ個の画素の座標点の場合、変換パラメータ生成部806にて、Ｎ個の画素の座標点とＮ個の変換済み座標点の差分値とを加算し、Ｎ個の画素の座標点と加算したＮ個の変換済み座標点とから変換パラメータを生成する。
なお、差分をとるための予測値が前のフレームのＮ個の画素の変換済み座標点の場合、変換パラメータ生成部806にて、前のフレームのＮ個の変換済み座標点とＮ個の変換済み座標点の差分値とを加算し、Ｎ個の画素の座標点と加算したＮ個の変換済み座標点とから変換パラメータを生成する。加算したＮ個の変換済み座標点を次のフレームの予測値として、格納しておく。
次に、座標データが、所定のＮ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点である場合を考える。所定のＮ個の座標点はあらかじめに定められた座標点であり、伝送する必要がない。変換パラメータ生成部806にて、所定のＮ個の画素の座標点とＮ個の変換済み座標点とから変換パラメータを生成する。
次に、座標点が、所定のＮ個の座標点を所定の線形多項式によって変換されたＮ個の変換済み座標点の差分値である場合を考える。差分をとるための予測値がＮ個の画素の座標点の場合、変換パラメータ生成部806にて、Ｎ個の画素の座標点とＮ個の変換済み座標点の差分値とを加算し、Ｎ個の画素の座標点と加算したＮ個の変換済み座標点とから変換パラメータを生成する。
なお、差分をとるための予測値が前のフレームのＮ個の画素の変換済み座標点の場合、変換パラメータ生成部806にて、前のフレームのＮ個の変換済み座標点とＮ個の変換済み座標点の差分値とを加算し、Ｎ個の画素の座標点と加算したＮ個の変換済み座標点とから変換パラメータを生成する。加算したＮ個の変換済み座標点を次のフレームの予測値として、格納しておく。
第９図は本発明の実施例３の符号化装置のブロック図である。入力端子901と、変換パラメータ推定部903と、予測画像生成部908と、第一加算部904と、差分画像圧縮部905と、差分画像伸長部910と、第二加算部911と、フレームメモリ909と、伝送部906とから構成される。入力端子901にデジタル画像を入力する。変換パラメータ推定部903にて、フレームメモリに格納されている画像とデジタル画像とから変換パラメータを推定する。アフィンパラメータの推定方法について前述した通りである。
なお、フレームメモリに格納されている画像のかわりに、その原画像を用いてもよい。変換パラメータ推定部903で推定された変換パラメータはライン9002を経由して予測画像生成部908に送る。
また、変換パラメータを用いて変換された座標データをライン9009を経由し伝送部906に送る。座標データについて複数の形態をもつことが可能で、前述した通りである。
予測画像生成部908では、推定された変換パラメータとフレームメモリ909に格納された画像とを入力し、推定された変換パラメータに基づいて前述したように予測画像を生成する。次に、第一加算部904にて、デジタル画像と予測画像との差分を求め、差分画像圧縮部905にて圧縮差分データに圧縮し、伝送部906に送る。
差分画像圧縮905では、差分画像をDCTし量子化する。同時に、差分画像伸長部910にて、圧縮差分データを伸長差分データに伸長する。差分画像伸長部910では、逆量子化と逆DCTが施される。伸長差分データを第二加算部にて、予測画像と加算しフレームメモリに格納する。伝送部906では、圧縮差分データ、量子化幅、座標データを符号化し、多重化した後に伝送・蓄積する。
（実施例４）
第10図は本発明による実施例４のデジタル画像復号化装置である。入力端子1001と、可変長復号化部1002と、差分画像伸長部1003と、加算部1004と、変換パラメータ生成部1006と、予測画像生成部1008とフレームメモリ1007とから構成する。基本的な動作は第８図と同じである。異なるところについてのみ説明する。
変換パラメータ生成部1006は複数の種類の変換パラメータが生成できる構成になっている。パラメータ生成部1006aは（数２）に示すパラメータ（a,e,d,f）、パラメータ生成部1006bは（数３）に示すパラメータ（a,b,e,c,d,f）、パラメータ生成部1006cは（数４）に示すパラメータ（g,p,r,a,b,e,h,q,s,c,d,f）を生成する手段から構成される。
（数２）は２つの座標点、（数３）は６つの座標点、（数４）は12個の座標点があればパラメータが生成できる。この座標点の個数はライン10010を経由し、スイッチ1009と1010とを制御する。座標点の個数が２のときスイッチ1009と1010とをそれぞれ端子1011aと1012aに接続し、座標データをライン10003を経由しパラメータ生成部1006aに送り、連立方程式を解くことにより（数２）のパラメータを生成し端子1012aから出力する。
座標点の個数が３、６のときはそれぞれパラメータ生成部1006bと1006cに接続する。このようにして、座標点の個数情報より、伝送する座標データの種類がわかり、切り替えて変換パラメータを生成することが可能である。
ライン10003を経由する座標データの形態は前述した通りである。なお、（数２）から（数４）の右辺の（x,y）が既知の場合、伝送する必要がないため、ライン10010を経由する座標点の個数は、（数２）に対し１、（数３）に対し３、（数４）に対し６と対応させても可能である。さらに、変換パラメータ生成部は３つに限るものではなく、それ以上があってもよい。
（実施例５）
第11図と第12図は本発明による実施例５のデジタル画像復号化装置と符号化装置のブロック図を示す。基本的には第８図と第９図と同じである。異なるところは、変換パラメータ生成部806のかわりに、変換パラメータ伸長部1106となり、また、変換パラメータ推定部903と1203の動作が多少異なる。これについて説明する。
第12図の変換パラメータ推定部1203では変換パラメータを推定した後に、それを画像サイズで定倍し、量子化してからライン12009経由して伝送部1206に送る。変換パラメータは実数値であり、定倍してからさらに整数化する必要がある。
アフィンパラメータの場合、（a,b,c,d）は高精度に表現する必要がある。ａとｃは垂直座標のパラメータで、画像の垂直の画素数Ｖを乗算し、またｂとｄは水平座標のパラメータで、画像の水平の画素数Ｈで乗算する。
また、（数４）のように二乗の項がある場合、定培する画像サイズを同じ二乗（H2,V2,HV）にしても可能である。第11図の変換パラメータ伸長部1106では、定培されたパラメータを除算し、パラメータを再生する。
また、第12図の変換パラメータ推定部1203では変換パラメータを推定した後に、変換パラメータの最大値を求める。好ましくは、絶対値の最大値がよい。その最大値の指数部（好ましくは２のべき乗の指数部）で、変換パラメータを正規化する。すなわち各変換パラメータに指数部の値を乗算する。
このように正規化された変換パラメータと指数部を伝送部1206に送り、固定長符号に変換して伝送する。第11図の変換パラメータ伸長部1106では、正規化された変換パラメータを指数部で除算し変換パラメータに伸長する。
アフィンパラメータ（a,b,c,d）の場合、（a,b,c,d）の中から最大値を求める。平行移動のパラメータ（e,f）を含めてもよいが、普通値の大きさが桁数が違うので、含めない。数４のパラメータについても同様で、二乗の項と一乗の項のパラメータをわけて正規化することは好ましいが、これに限ることではない。
上述したすべての実施例では、差分画像が非ゼロな場合について説明したが、差分画像が完全にゼロの場合も同じである。この場合、予測画像がそのまま出力されることになる。また、画像全体の変換について説明したが、二次元もしくは三次元の画像を複数の小領域に分割し、各小領域にアフィン変換をはじめとした変換を施す場合も同じように適用可能である。
産業上の利用可能性
以上のように本発明によれば、大きさの異なる画像を同じ座標系に変換してから動き検出し予測画像を生成することにより動き検出の精度を向上すると同時に動きベクトルの符号量を削減する効果が得られる。
また、復号化側で座標データから変換パラメータを求めることにより、精度の高い変換パラメータが得られ、高精度な予測画像生成が可能になる。また、変換パラメータを正規化したり、画像サイズで定倍することにより、画像に応じた精度でパラメータを伝送することができる。
さらに、座標データの個数によって変換パラメータの生成を切り替えることにより、変換パラメータの生成が最適な処理が可能になると同時に、座標データを効率よく伝送できる。
【図１】
0003573465.tif 000002
【図２】
0003573465.tif 000003
【図３】
0003573465.tif 000004
【図４】
0003573465.tif 000005
【図５】
0003573465.tif 000006
【図６】
0003573465.tif 000007
【図７】
0003573465.tif 000008
【図８】
0003573465.tif 000009
【図９】
0003573465.tif 000010
【図１０】
0003573465.tif 000011
【図１１】
0003573465.tif 000012
【図１２】
0003573465.tif 000013
0003573465.tif 000014
0003573465.tif 000015
0003573465.tif 000016