(57)【特許請求の範囲】
【請求項１】
画像の画像ブロックへの分割と、係数のブロックを出力する、上記画像ブロックの離散コサイン変換と、量子化ステップを用いた、ブロックの各係数の量子化とを行い、ビデオ画像からのディジタルデータを圧縮する方法において、
画像の区分け及び得られた領域のラベル付けを更に行い、
ブロックの各係数に対する量子化ステップを定義する際に用いられるブロック制御間隔を各ブロックに関連付け、
上記量子化ステップの値が上記ラベルの関数として計算されることを特徴とする方法。
【請求項２】
上記関数は、設定値ビットレートの関数として画像について計算されたブロック制御間隔値を１以上増やす、又は1以上減らす関数であり、
二つの別個のブロック制御間隔は二つの別個の領域に対応することを特徴とする請求項１記載の方法。
【請求項３】
上記１以上増やす、又は1以上減らす関数は、設定値ビットレートに一致する平均ビットレートを維持するような方法で設定値ビットレートの関数として計算された上記ブロック制御間隔値あたりに分布することを特徴とする請求項２記載の方法。
【請求項４】
ブロック毎に、上記ブロックの空間的特性及び／又は時間的特性を反映する複雑さの係数を計算し、
上記ブロック制御間隔の計算は上記係数の関数として行われることを特徴とする請求項１乃至３のうちいずれか１項記載の方法。
【請求項５】
上記複雑さの係数は、上記ブロックの空間的な不均一性を表す空間的な複雑さの係数であることを特徴とする請求項４記載の方法。
【請求項６】
上記複雑さの係数は、ある画像と別の画像との間のブロックの変位量の関数として計算された時間的な複雑さの係数であることを特徴とする請求項４記載の方法。
【請求項７】
上記複雑さの係数は、手動で定義されることを特徴とする請求項４記載の方法。
【請求項８】
画像を画像ブロックに分割する回路と、画像ブロックの係数のブロックへの変換を行う離散コサイン変換回路と、上記変換されたブロックに属する係数をブロック制御間隔に基づいて量子化する量子化回路と、装置によって出力されるデータに対する設定値ビットレートの関数として、前記画像のブロック制御間隔を計算する制御回路とを含む、ビデオ画像からのディジタルデータを圧縮する装置において、
領域を定義し、各ブロック毎にブロックが属する領域に関係したラベルを上記量子化回路に渡すため上記ディジタルデータを受け取る区分回路を更に有し、
上記量子化回路は、各画像ブロック毎にブロック制御間隔を送出すべく、上記計算されたブロック制御間隔を使用する前に上記ラベルの関数として上記ブロック制御間隔を修正することを特徴とする装置。
【請求項９】
上記量子化回路は、二つの別個のブロック制御間隔が二つの別個の領域に対応するように上記量子化ステップの値を増加又は減少させることを特徴とする請求項８記載の方法。
【請求項１０】
上記ディジタルデータは、ブロックの空間的な不均一性の関数として空間的な係数を計算し、画像の各ブロックに割り当てる前解析回路に伝送され、
上記計算されたブロック制御間隔は上記空間的な係数の関数として修正されることを特徴とする請求項８又は９記載の装置。
【請求項１１】
上記ディジタルデータは、先行の画像の対応した動きに対するブロックの相対移動の大きさの関数として、空間的な係数を計算し、画像の各ブロックに割り当てる前解析回路に伝送され、
上記ブロック制御間隔は上記空間的な係数の関数として修正されることを特徴とする請求項８又は９記載の装置。
【請求項１２】
上記ディジタルデータは、ユーザによって与えられたデータの関数として空間的な係数を計算し、画像の各ブロックに割り当てる前解析回路に伝送され、
上記ブロック制御間隔は上記空間的な係数の関数として修正されることを特徴とする請求項８又は９記載の装置。
【請求項１３】
請求項１に記載の方法に従って圧縮されたデータを受け取り、画像の種々の領域に属する画像ブロックと各ブロックに割り当てられたブロック制御間隔とに関係するビデオデータを伸張する装置において、上記割り当てられたブロック制御間隔の関数としての逆量子化を、画像ブロックに属する係数に施す回路と、上記逆量子化された画像ブロックの逆変換を行う逆離散コサイン変換回路とを含み、上記ブロックが属する領域を決定する手段を更に有し、領域はラベル値によって定義され、上記ブロックが属する領域を決定する手段は、上記ブロックが属する画像にわたって上記ブロック制御間隔を平均化する手段と、上記ブロックの上記ブロック制御間隔の、上記平均化されたブロック制御間隔との不一致を算出する手段とを含み、上記不一致は上記ラベル値に関係付けられることを特徴とする装置。
【請求項１４】
受け取られたデータは上記ブロックと関連した動きベクトルに関係し、
上記領域を決定する手段は、動きベクトルを使用することにより、一画像から別の画像への上記ブロックの時間的な追跡を行う手段を更に含むことを特徴とする請求項１３記載の装置。
【発明の詳細な説明】
本発明は、ディジタルビデオデータを圧縮し、符号化されたビデオ画像に関係する領域情報を伝送する点でディジタルビデオデータを符号化する方法に関する。本発明は、また、上記方法を実施する装置に関する。
ビデオデータを圧縮する技術は、例えば、ＭＰＥＧ２標準に記載されているように公知である。しかし、それらの技術は、画像の区分に関係したデータ、例えば、領域情報を利用しない。付加情報が伝送されるべき場合には、一定の画像品質のための伝送コストを上昇させるか、若しくは、符号化の標準との互換性が無くす必要がある。
本発明の目的は、上記の欠点を解決することである。
このため、本発明の要旨は、画像を画像ブロックに分割し、係数を渡すため上記ブロックを離散コサイン変換し、量子化ステップを用いて各係数を量子化する、ビデオ画像からのディジタルデータを圧縮する方法において、画像を区分けし、得られた領域にラベルを付ける段階を更に有し、ブロックの各係数に対する量子化ステップを定義する際に基準とされ、値が上記ラベルの関数として計算されるブロック制御間隔を各ブロックに関連付けることを特徴とする方法である。
また、本発明の要旨は、画像を画像ブロックに分割する回路と、画像ブロックを係数のブロックに変換する離散コサイン変換回路と、上記変換されたブロックに属する係数を制御間隔に基づいて量子化する量子化回路と、出力されるデータに対する設定値ビットレートの関数として画像制御間隔を計算する制御回路とを含み、ビデオ画像からのディジタルデータを圧縮する上記方法を実施する装置において、領域を定義し、各ブロック毎にブロックが属する領域に関係したラベルを上記量子化回路に渡すため上記ディジタルデータを受ける区分回路を更に有し、上記量子化回路は、各画像ブロック毎にブロック制御間隔を送出すべく、上記制御間隔を使用する前に上記ラベルの関数として上記制御間隔を修正することを特徴とする装置である。
また、本発明の要旨は、画像ブロックに属する係数を逆量子化する回路と、上記画像ブロックを逆離散コサイン変換する逆離散コサイン変換回路とを含み、上記の方法に従って圧縮されたデータを受け、画像の種々の領域に属する画像ブロックと各ブロックに割り当てられた制御間隔とに関係するビデオデータを伸張する装置において、上記ブロックが属する領域を該ブロックに関して受けられた制御間隔に基づいて決定する手段を更に有することを特徴とする装置である。
このように、領域情報は、制御間隔と関係した情報によって“搬送”される。
本発明によれば、領域情報は、所定の伝送ビットレートに対し画像の品質を劣化させることなく伝送することが可能である。符号化処理は、ＭＰＥＧ標準が採用されているときには、ＭＰＥＧ標準と互換性を保つ。
本発明の他の特徴及び利点は、限定されることのない例として挙げられた、本発明による装置を表す添付された図１と共に提示された以下の説明から明らかになる。
以下、図１に示された装置の説明を行う。
ビデオ画像からのディジタルデータは装置の入力に伝送される。入力は、画像の時間的順序を変更する画像メモリ回路１の入力と、領域への区分回路２の入力に同時に連結される。画像メモリ回路の出力は、前解析回路３の入力と、画像ブロックへの分割回路４の入力と、動き評価回路５の入力とに連結される。分割回路の出力は、減算器６の第１の入力と、選択回路７の第１の入力とに連結される。減算器の第２の入力は画像予測回路８から得られる。
減算器６の出力は選択回路７の第２の入力に連結される。この回路の出力は離散コサイン変換又はＤＣＴ変換回路９に連結される。得られた係数は量子化回路１０の第１の入力に送られ、量子化回路の出力は、可変長符号化又はＶＬＣ回路１１を介して本装置の出力に連結される。前解析回路３の出力は量子化回路１０の第２の入力に連結される。区分回路２の出力は量子化回路１０の第３の入力に連結される。
量子化回路の出力は、直列接続された逆量子化回路１２と逆離散コサイン変換計算回路１３とメモリ１４とを順番に経由して動き評価器５の第２の入力にも連結される。このメモリの出力は予測回路８の第１の入力にも接続される。動き評価器５の出力は予測回路８の第２の入力に接続される。
最後に、ＶＬＣ符号化回路１１の出力は、制御回路１５を介して量子化回路１０の第４の入力に連結される。
本装置の入力は、例えば、４：２：０フォーマットのディジタルビデオデータを受ける。このデータはメモリ１内に画像のグループの形で格納され、このメモリは上記画像をある種の順序にランク付けする。各画像は、現在の画像の各ブロックを順番に上記選択回路７の入力に送る分割回路４によって画像ブロックに分割される。
画像予測回路８の役割は、メモリ１４から得られる再現された先行の画像と、動き評価器５によって伝達された動きベクトルとから予測画像を計算することである。現在のブロックと関係した予測ブロックは減算器の入力に伝達され、減算器からの出力としてブロックエラー又は残留分を送出するため、もう一方の入力に与えられた現在のブロックから減算される。選択回路７は、エラーブロック又は現在のブロックから、最小エネルギーを有するブロックを選択する。現在のブロックの選択は、ブロックのイントラ（フレーム内）符号化を意味し、エラーブロックの選択は、インタ（フレーム間）符号化を意味する。勿論、インタ符号化には、ここで詳細には説明されないが、例えば、ＭＰＥＧ２標準に定義されているような数タイプのインタ符号化がある。従って、符号化の選択には、インタ符号化のタイプが含まれる。選択されたブロックは、量子化回路１０に伝送される前に、離散コサイン変換計算回路９を用いて離散コサイン変換を受ける。係数は、次に、加重マトリックスに基づいて重み付けられたブロック量子化ステップである実際の量子化ステップを用いて量子化され、ジグザグ形の走査を受け、装置からの出力として利用できるようになる前に可変長符号化を行うＶＬＣ回路１１に送られる。
量子化回路１０によって行われる量子化は、装置の出力での設定値ビットレートに依存する。制御回路１５を含む制御ループは、出力ビットレートを制御することが可能である。このビットレートは、制御回路に伝達されるべくＶＬＣ符号器の出力でタップされ、この制御回路は、測定されたビットレート及び設定値ビットレートに基づいて、量子化ステップを計算する基礎になる制御間隔（後で詳述する）を計算する。
前解析回路３は画像の前解析を行い、換言すると、先行の符号化に基づいて決定された量子化ステップに対し符号化されるべき画像のビットレートを計算する。ここから、制御ループを用いて補正することができる画像量子化ステップが導出される。
量子化回路１０からの出力として利用可能である現在のブロックの量子化された係数は、上記係数を再現する逆量子化回路に伝達され、次に、現在の画像のブロックを再現する逆離散コサイン変換回路に伝達される。ブロックは、再現又は再構成された画像を出力に送出するメモリ１４に格納される。動き評価器５は、現在のブロックに割り当てられ、画像予測回路８に伝達された動きベクトルを導き出すため、一方の入力で受けられた現在のブロックを他方の入力で受けられた再現画像と比較する。画像予測回路８は、処理されている現在のブロックに対し動きベクトル分ずつシフトした再現された画像ブロックである予測ブロックを減算器６に伝達する。
本装置に入力されたディジタルビデオデータは、区分回路２にも伝達される。区分回路の役割は、ある種の規準、例えば、均一性若しくは動きの規準に合致するゾーン又は領域を画像中に定義することである。基本的な区分は、例えば、画像の背景に関する対象の識別であり、均一な背景に対し目立つものを識別することである。
ブロックが属する領域の関数として領域番号又はラベルを画像の各ブロックに割り当てる係数のマトリックスは、次に、量子化回路に伝達される。
区分回路は、均一なゾーン（同質の動き）及びそれらの境界（勾配）に基づいて領域を定義することができる動き評価と動きベクトル場と輝度勾配とに基づいてこの区分を実行し得る。本例の場合、回路によって計算された動きベクトルが成形（例えば、画素／ブロックタイプの変換）された後に、動き評価が画素レベルで行われるときに、上記動きベクトルが画像予測回路に伝達され得るならば、動き評価器５は必要ではない。
区分回路は、情報を出力に同期的に送出するため、画像メモリ回路１によって行われるのと類似した方法で画像の記憶及び再配列を行う。
実際的には、ＭＰＥＧ標準によれば、符号化装置は、量子化ステップではなく、標準中でQuant＿Scale＿Codeとして公知の制御間隔を伝達する。
より厳密に言うと、符号化装置は、この間隔を数個のマクロブロックにより構成された個々のマクロブロックと共に伝達し、ＭＰＥＧ標準における前述の全ての動作が画像ブロックではなく、マクロブロックに関して行われる。以下の論理は、マクロブロック、或いは、画像ブロックについて同等に当てはまる。
量子化回路によって計算された制御間隔の値及び動き評価器によって送出された動きベクトルの値は、必要に応じて（同様にこの多重化を行う動き評価器と符号化装置との間の連結は図１に示されていない）、特に、回路１１による可変長符号化後に、イントラ係数又は残留分の各マクロブロックと共に伝達される。イントラモードの場合、この動き評価は必要ではない。
一例において、係数のブロック内で第ｉ行第ｊ列に対応した添え字ｉ，ｊを有する係数に実際に適用される量子化ステップを表す量子化ステップｑｒ（ｉ，ｊ）は、以下の式：
0004295828.tif 000002
によってブロックに対する制御間隔ｑと関係付けられる。
ｖ（ｉ，ｊ）は加重マトリックスの加重係数であり、この加重は係数が量子化される前に係数に適用される。
ｆ（ｑ）は、制御間隔ｑをブロックに適用されたブロック量子化ステップｆ（ｑ）と関連付ける線形又は非線形則である。
一般的に言うと、ブロック制御間隔とも称される制御間隔は、各ブロック又はマクロブロック毎に圧縮器によって伝達されたパラメータとして定義され、その値はブロック又はマクロブロックの係数に適用された実際の量子化ステップの関数である。
区分回路によって伝達されたラベルのマトリックスは、制御回路に基づいて従来の方法で計算された制御間隔に対し、その制御間隔を修正するように直接的に作用する。これは、実際に係数を量子化するため使用される対応した修正量子化ステップであり、修正された制御間隔（ブロック制御間隔）は、圧縮されたデータと共に復号器に伝達されるので、領域情報を“輸送”する。
上記の修正を行うため、各領域には、領域毎に異なる値である増加又は減少値が割り付けられ、この値は、次に、制御回路による計算に従って制御間隔の値に適用される。上記の値は、制御を妨害しないように、制御間隔値と同じ、或いは、制御間隔値に近い平均値を維持するため、制御回路によって計算された制御間隔値あたりに分布する。
例えば、制御間隔の計算された値が２０であり、伝達されるべき領域の個数が５である場合、マクロブロックが属する領域に依存して１８乃至２２の間の（整数値である）ブロック制御間隔でマクロブロックの係数を量子化するよう選択することができる。
この修正による量子化ステップへの影響は小さく、小さい量子化ステップで符号化された低周波の係数に関する影響は高周波の係数に関する影響よりも大きくない。
装置の出力のビットレートが時間的に変化し得るＶＢＲ（可変ビットレート）タイプの動作の下では、量子化ステップの修正、即ち、ビットレートの修正は障害を生じさせない。
固定平均ビットレートが求められるＣＢＲ（固定ビットレート）タイプの動作の下では、制御処理は、一般的に、先行のスライスに対し測定されたビットレート及び設定値ビットレートの関数として、この設定値ビットレートに接近するような方法で、画像の最後のストライプ、又は、ＭＰＥＧ標準で採用された用語法による“スライス”に対する量子化ステップを利用する。そのとき、領域情報は失われるので、この制御処理は画像の内部で禁止される。次に、制御はスライスレベルではなく画像レベルで行われる。簡単に言うと、設定値ビットレートに達する速度、即ち、応答時間は遅くなり、瞬時的なビットレートは一定ではない。
機能不全による損失が生じないことを保証するため予備モードを定義することが可能である。例えば、従来のストリップベースド制御への復帰は、バッファを空にさせるか、若しくは、オーバーフローさせる危険にさらす。ブロック制御間隔がストライプ毎に固定され、一方、各ブロック毎に領域の関数として変えられることは、復号器に動作の変更を知らせるが、この変更はＭＰＥＧ標準を利用する通常の復号器に影響を与えない。例えば、画像若しくは先行の画像との相関から領域情報を再現することは可能であり、或いは、このようなアラーム状態を利用できないとする方が簡単である。
以下に本発明による装置の改良について説明する。
図１を再度参照するに変更部分が点線で示され、前解析回路３の第２の出力は空間的チューニング係数を計算する回路１６に接続される。この回路の出力は、量子化回路１０の第５の入力に連結される。
この回路の目的は、各マクロブロック毎に、画像の空間的特性を反映する係数を計算すること、即ち、エラーが他のマクロブロックよりも目立つマクロブロックを検出することである。
例えば、高度にテクスチャー状の画像のゾーンに属するマクロブロックの場合に、係数の値は１に接近し、この値は属しているゾーンの一様性が増すと共に減少する。上記の係数は、画像の前解析中に実行されたエネルギー又はマクロブロックを符号化するコストの計算から推定される。一様なゾーンに属するマクロブロックは、テクスチャー状のゾーンに属するマクロブロックよりも小さいエネルギーを出すので、より小さい係数が一様なゾーンに属するマクロブロックに割り付けられる。
採用された別の規準は、変位ベクトル又は動きベクトルに含まれる時間的情報を使用する。大半のシーンよりも遅く移動するゾーンに対する係数は、画像の残りの部分よりも小さい。かくして、これらのゾーンが優先される。
上記の規準は手動で定義してもよく、ユーザは自分が好ましいと思う画像の特定のゾーンを定義する。これは、オペレータによって行われる主観的な品質制御の場合である。
係数を各マクロブロックに割り当て、補正マスクと称される空間的係数のマトリックスは、かくして、空間的係数を計算する上記の回路によって計算され、量子化回路１０に伝達される。
区分回路２によって送出された領域番号のマトリックスに基づいて、量子化回路は、領域毎に全く同一の係数を得るため、空間的係数を領域に関して平均化する。
この変形例では、量子化回路は、増加及び減少演算を行うのではなく、上記の平均化された係数を用いて従来の方法で獲得された量子化ステップを乗算する演算を実行し、次に、新しい整数制御値を決定するため計算された制御間隔の値を丸める。空間的係数の平均化（統一値が獲得される）又は丸めによって、異なる領域に対し二つの同一の制御間隔が得られる場合、同一性を除去するため最も近傍の整数値が選択される。
このように、制御間隔（又は量子化ステップ）は、領域のラベルに基づいてランダムに修正されるのではなく、画像の空間的特性及び時間的特性を考慮することにより修正されるので、同一ビットレートに対する画像の品質が改善される。
例えば、空間的重み付けの場合、小さい空間係数に対応する均一なゾーンは小さい量子化ステップで符号化され、大きい係数に対応するテクスチャー状のゾーンは大きい量子化ステップで符号化される。あるブロックから別のブロックまでの間で量子化ステップ（即ち、間隔自体）の変動が大きくなると共に、ブロックの影響は大きくなり、視聴者には、一様なゾーン内よりもテクスチャー状のゾーン内のブロックの影響が目立たなくなる。
各領域に関して空間的係数αを平均化するのではなく、一つの領域について一つの値α、例えば、同一の領域に属するマクロブロックの中からの最小値又は最大値を選択することが等価的に可能である。二つの異なる領域は異なる制御間隔の値を用いて符号化されたか否かが検査され、符号化されていない場合、一致していることが分かった値は、例えば、１ずつ増加又は減少させられる。
復号器側で、領域は画像に関して取り込まれた種々の制御間隔の値によって決定される。
領域の時間的な追跡は、幾つかの付加的な条件によって、（不可欠ではないが）画像シーケンスレベルで実現可能である。
例えば、領域ｎに割り当てられた現在のマクロブロックと、現在のマクロブロックを、領域ｍに割り当てられ、先に再現された画像のマクロブロックと合わせる動きベクトルとに基づいて、先行の画像のラベルｍをもつ領域が現在の画像のラベルｎをもつ領域と一致することを推定することが可能になる。
復号器側の領域の決定は、符号器により伝達された制御間隔を画像全体で平均化することにより行ってもよい。符号器レベルの制御回路によって計算された制御間隔は、特に、例えば、イントラ符号化からインタ符号化に符号化タイプが変化するとき、ある画像の別の画像との間で変化する。画像全体で制御間隔を平均化した後、獲得された値は、この平均間隔に基づいて作動する符号器側の制御回路によって計算された制御間隔と一致する。受け取られた制御間隔と、復号器側で計算された平均制御間隔との間の不一致は、符号器がこの間隔を１ずつ増加又は減少させることにより動作する場合に、符号器側で同一の領域ラベルがある画像から別の画像までの間で維持されることが保証されるならば、時間的な追跡を可能にさせる。
空間的係数を含む場合、αの値は平均間隔による単純な除算により決定される。領域情報を与えるαの値は、一定の領域に対する時間に亘って一定に保たれるべきである。
領域情報はマクロブロックの精度に制限される。しかし、復号器、又は、特定用途復号器がより高精度の情報を要求するとき、例えば、勾配法を用いて境界を正確に計算することにより、この分解能を改良することが可能である。
上記の例において、ＭＰＥＧ標準の下で復号器に伝達されるのは制御間隔であるため、この制御間隔が領域情報を輸送する。勿論、この情報は、伝送された情報に対して加えられた修正が復号化された画像の品質に殆ど影響を与えないという条件に当然基づいてこのタイプの情報が伝送されるとき、量子化ステップ、量子化ステップの所定の関数である任意の値、又は、マクロブロックの符号化と連結され、マクロブロックと一括して復号器に伝送された他の任意の情報（例えば、動きベクトル等）で伝達される構成を等価的に実現することができる。
【図１】
0004295828.tif 000003