(57)【要約】【課題】  動きの非常に緩やかな場面を有する画像に対して２つの基準を用いて画像を符号化でき、画像の動きに合わせて最適な分解能を提供する。【解決手段】  この二重基準画像符号化方法は、第１の基準に従って低い空間分解能および高い時間分解能により画像を伝送、または、第２の基準に従って高い空間分解能および低い時間分解能により画像を伝送するために、きわめて遅いデータ伝送速度によるものである。この画像符号化方法は、選択された符号化モードに従ってイントラ・モードまたはインター・モードで符号化し、符号化されたデータの量の関数としての、量子化ステップ変数に従って、前記符号化されたデータを量子化するための画像に関する量子化ステップの平均値を計算し、この量子化ステップの平均値に従って、前記第１の基準または第２の基準により、符号化されるべき次の画像を変換する。【選択図】  図１
2006054902.tif 000002
【特許請求の範囲】
【請求項１】
第１の基準に従って１／４共通中間フォーマットの低い空間分解能および高い時間分解能により画像を伝送するため、または、第２の基準に従って共通中間フォーマットの高い空間分解能および低い時間分解能により画像伝送するため、きわめて遅いデータレートでの二重基準を用いた画像符号化方法であって、伝送されるべき画像は、予測誤差信号を複数の量子化ステップへと量子化するための量子化回路を含む符号化装置により符号化される画像符号化方法において、
前記量子化回路を用いて前記量子化ステップの平均値を計算し、
計算された前記平均値を第１の所定のしきい値およびこの第１の所定のしきい値よりも高い第２の所定のしきい値と比較し、
時間の経過順に、前記量子化ステップの前記平均値が前記第１の所定のしきい値よりも低いときに前記第１の基準で前記画像を符号化し、
次いで、前記量子化ステップの前記平均値が前記第２の所定のしきい値よりも低い間は前記第１の基準で前記画像を符号化し、
次いで、前記量子化ステップの前記平均値が前記第２の所定のしきい値よりも高い間は前記第２の基準で前記画像を符号化し、
次いで、前記量子化ステップの前記平均値が前記第１の所定のしきい値よりも高い間は前記第２の基準で前記画像を符号化し、
次いで、前記量子化ステップの前記平均値が前記第１の所定のしきい値よりも低いときに前記第１の基準で前記画像を符号化する画像符号化方法。
【請求項２】
前記画像を複数のブロックに分割し、最新の画像の各ブロックに関する予測誤差を計算し、量子化の前にコサイン変換により前記予測誤差を変換する請求項１に記載の画像符号化方法。
【請求項３】
前記量子化されたデータを可変長符号に従って符号化することを特徴とする請求項２に記載の画像符号化方法。
【請求項４】
前記予測誤差に関する動きを補償する請求項１ないし請求項３の何れかに記載の画像符号化方法。
【請求項５】
前記符号化装置は、画像予測器と、可変の量子化ステップに従って画像データを量子化する量子化器と、伝送される画像を再構成する画像再構成装置と、第１および第２の基準に従って前記画像を符号化するためのしきい値タイプ制御装置を介して予測誤差計算装置に結合された符号配置器および調整装置と、を備える請求項１ないし請求項３の何れかに記載の画像符号化方法。
【請求項６】
可変長符号を用いて符号化された画像を復号化する復号化器と、この復号化器に結合された逆量子化回路と、この逆量子化回路に接続された逆コサイン変換計算装置と、第１の入力と前記逆コサイン変換計算装置に結合された第２の入力と出力を有する画像再構成装置と、この画像再構成装置の前記第１の入力に結合されて前記第１または第２の基準に従って制御される予測装置と、を備える請求項５に記載の画像符号化方法。
【請求項７】
前記符号化装置は、画像予測器と、量子化器と、伝送された画像を再構成する再構成装置と、前記第１または第２の基準に従って前記画像の符号化を制御するしきい値タイプ制御装置と、このしきい値タイプ制御装置を介して予測誤差計算装置に結合された符号配置器および調整装置と、を備えることを特徴とする請求項４に記載の画像符号化方法。
【請求項８】
可変長符号を用いて符号化された画像を復号化する復号化器と、この復号化器に結合された逆量子化回路と、この逆量子化回路に接続された逆コサイン変換計算装置と、第１の入力と前記逆コサイン変換計算装置に結合された第２の入力と出力を有する画像再構成装置と、この画像再構成装置の前記第１の入力に結合されて前記第１または第２の基準に従って制御される予測装置と、を備える請求項７に記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像符号化方法に係り、特に、データ伝送速度が非常に低い画像を二重基準符号化方法およびこの方法を実施するための符号化／復号化装置に関する。
【背景技術】
【０００２】
この発明は、特に６４Ｋビットより低いデータ伝送速度での差分符号化装置または「コーデック（符号化／復号化装置）」の製造に用いられる。
【０００３】
これらの符号化／復号化装置においては、非常に低い伝送速度での動画像の伝送は、伝送データを圧縮するための装置を用いることに加えて画像信号の空間分解能と時間分解能とを制限するための技術の開発を必要としている。空間分解能の制限は、垂直方向および水平方向画像をサブサンプリング（副標本化）することによって行なわれている。この技術分野においては、共通中間フォーマット（以下、ＣＩＦ―Common Intermediate Format―）と４分の１共通中間フォーマット（以下、ＱＣＩＦ―Quarter of Common Intermediate Format ―）とを使用する方法が知られている。これらはそれぞれ「共通中間フォーマット」および「クォータ（１／４の）共通中間フォーマット」の頭文字である。
【０００４】
ＣＩＦの形式においては、輝度成分（ルミナンス―luminance ）における１ライン当たりの点（ドット）の数は３５２ドットであり、色成分（クロミナンス―chrominance ）における１ライン当たりの点（ドット）の数はＤｒ成分とＤｂ成分に対してそれぞれ１７６ドット、画像当たりのライン数は輝度信号に対して２８８ドットであり、Ｄｒクロミナンス信号およびＤｂクロミナンス信号に対してそれぞれ１４４ドットである。ＱＣＩＦ形式においては、輝度成分における１ライン当たりの点の数は１７６ドット、クロミナンス成分における１ライン当たりの点（ドット）の数は、Ｄｒ成分とＤｂ成分に対してそれぞれ８８ドットであり、画像当たりのライン数は輝度信号に対しては１４４ライン、Ｄｒクロミナンス信号およびＤｂクロミナンス信号に対してはそれぞれ７２ラインである。
【０００５】
時間分解能を制限することは非常に簡単に行なうことができ、画像信号源により供給される画像の数よりも、伝送される画像の数を減少させることにより行なわれている。実際には、２５Ｈｚ（すなわち、１秒間当たり２５画像）におけるＣＩＦ基準に対する画像源が存在する場合には、画像を１．２５Ｈｚの周波数で符号化して伝送することにより、時間分解能の低減を可能にしている。
【０００６】
現在知られている符号化器および復号化器は「テレビジョン電話の符号化についてのＣＣＩＴＴ専門化グループ」の勧告Ｈ２６１バージョン１９８９に一般に適合する。これに関連して、それらは６４Ｋビット／秒の整数倍だけ変化できるデータ転送速度アプリケ−ションに非常に良好に適合する。それ以下では、良好な空間分解能と良好な時間分解能とを有する符号化器を製造することは非常に困難である。しかし、非常に低いデータ転送速度（３２Ｋビット／秒、１６Ｋビット／秒等）における画像の伝送は空間領域と時間領域とにおいて画像信号のサブサンプリングを行なうことを強制する。
【０００７】
したがって、ＱＣＩＦ形式にまで低下させられた空間分解能を得るために、５Ｈｚで画像を伝送すること、およびＣＩＦ形式にまで低下させられた空間分解能を得るために１．２５Ｈｚで画像を伝送することを選択できる。しかし、それらの状態においては、むしろ１．２５ＨｚＣＩＦ基準が動きの緩やかな動画像のために意図されており、他の基準は動きの激しい動画像に対して、より一層適切なものである。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、動きの非常に緩やかな光景の存在する中では、１秒間当たり１．２５周期のＣＩＦフォーマットを用いることにより空間分解能が適用され、動きの激しい光景に対しては、ＱＣＩＦフォーマットが用いられるレベルにまで空間分解能が低下されて画像の喪失に対して、１秒間当たり５周期まで時間分解能を向上させるようにして、二重の基準を用いて符号化するための二重基準符号化方法を実現することにある。
【０００９】
また、本発明の目的は、二重の基準を用いて符号化するための二重基準符号化方法を実施するための符号化／復号化装置を提供することにもある。
【課題を解決するための手段】
【００１０】
また、本発明の目的は、二重の基準を用いて符号化するための二重基準符号化方法を実施するための符号化／復号化装置を提供することにもある。
【００１１】
上記目的を達成するために、本発明の基本構成としての第１の構成に係る画像符号化方法は、第１の基準に従って１／４共通中間フォーマット（以下、ＱＣＩＦ）の低い空間分解能および高い時間分解能により画像を伝送するため、または、第２の基準に従って共通中間フォーマット（以下、ＣＩＦ）の高い空間分解能および低い時間分解能により画像伝送するため、きわめて遅いデータレートでの二重基準を用いた画像符号化方法であって、伝送されるべき画像は、予測誤差信号を複数の量子化ステップへと量子化するための量子化回路を含む符号化装置により符号化される画像符号化方法において、前記量子化回路を用いて前記量子化ステップの平均値を計算し、計算された前記平均値を第１の所定のしきい値およびこの第１の所定のしきい値よりも高い第２の所定のしきい値と比較し、時間の経過順に、前記量子化ステップの前記平均値が前記第１の所定のしきい値よりも低いときに前記第１の基準で前記画像を符号化し、次いで、前記量子化ステップの前記平均値が前記第２の所定のしきい値よりも低い間は前記第１の基準で前記画像を符号化し、次いで、前記量子化ステップの前記平均値が前記第２の所定のしきい値よりも高い間は前記第２の基準で前記画像を符号化し、次いで、前記量子化ステップの前記平均値が前記第１の所定のしきい値よりも高い間は前記第２の基準で前記画像を符号化し、次いで、前記量子化ステップの前記平均値が前記第１の所定のしきい値よりも低いときに前記第１の基準で前記画像を符号化することを特徴とする。
【００１２】
第２の構成に係る画像符号化方法は、上記基本構成としての第１の構成に記載のものにおいて、前記画像を複数のブロックに分割し、最新の画像の各ブロックに関する予測誤差を計算し、量子化の前にコサイン変換により前記予測誤差を変換するものである。
【００１３】
第３の構成に係る画像符号化方法は、上記第２の構成に記載のものにおいて、前記量子化されたデータを可変長符号に従って符号化することを特徴とする。
【００１４】
第４の構成に係る画像符号化方法は、上記第１ないし第３の構成の何れかに記載のものにおいて、前記予測誤差に関する動きを補償するものである。
【００１５】
第５の構成に係る画像符号化方法は、上記第１ないし第３の構成の何れかに記載のものにおいて、前記符号化装置は、画像予測器と、可変の量子化ステップに従って画像データを量子化する量子化器と、伝送される画像を再構成する画像再構成装置と、第１および第２の基準に従って前記画像を符号化するためのしきい値タイプ制御装置を介して予測誤差計算装置に結合された符号配置器および調整装置と、を備える。
【００１６】
第６の構成に係る画像符号化方法は、上記第５の構成に記載のものにおいて、可変長符号を用いて符号化された画像を復号化する復号化器と、この復号化器に結合された逆量子化回路と、この逆量子化回路に接続された逆コサイン変換計算装置と、第１の入力と前記逆コサイン変換計算装置に結合された第２の入力と出力を有する画像再構成装置と、この画像再構成装置の前記第１の入力に結合されて前記第１または第２の基準に従って制御される予測装置と、を備える。
【００１７】
第７の構成に係る画像符号化方法は、上記台４の構成に記載のものにおいて、前記符号化装置は画像予測器と、量子化器と、伝送された画像を再構成する再構成装置と、前記第１または第２の基準に従って前記画像の符号化を制御するしきい値タイプ制御装置と、このしきい値タイプ制御装置を介して予測誤差計算装置に結合された符号配置器および調整装置と、を備えることを特徴とする。
【００１８】
第８の構成に係る画像符号化方法は、上記第７の構成に記載のものにおいて、可変長符号を用いて符号化された画像を復号化する復号化器と、この復号化器に結合された逆量子化回路と、この逆量子化回路に接続された逆コサイン変換計算装置と、第１の入力と前記逆コサイン変換計算装置に結合された第２の入力と出力を有する画像再構成装置と、この画像再構成装置の前記第１の入力に結合されて前記第１または第２の基準に従って制御される予測装置と、を備える。
【００１９】
本発明の主な利点は、データ転送速度が低下する手順中に、適応するように実行される基準の選択および変更を行なえることである。第１の基準はゆっくり動く画像のために意図され、第２の基準は高い運動度の画像を符号か／復号化するのに、より一層適切なものである。したがって、第１の場合には空間分解能を低下させることが好ましく、第２の場合には、符号化器への入力端子における画像の時間周波数を高くすることが好ましい画像間運動の伝送である。
【００２０】
符号化された画像に対して２つの所定のしきい値で計算される、量子化過程の平均値の比較を基にする基準変更の基準は、基準の変更時に２つの符号化モードの間で符号化器を安定に動作させることを可能にする。
【００２１】
したがって、ヒステリシスを持って行なわれるしきい値化は、符号化器が新しい基準に置かれるたびに、画像の伝送中に基準変更手順を禁止することを可能にする。これは非常に低いデータ転送速度における符号化に関連して、符号化器を、２つの上記特定の基準を使用することにより処理しなければならない画面を内容とする画像に適応することを許容している。
【００２２】
本発明のその他の特徴および利点は、添付図面に関して与えられる以下の説明の助けにより分かるであろう。
【発明の効果】
【００２３】
以上詳細に説明したように、本発明によれば動きの非常に緩やかな光景が存在する動画像においては、１秒間当たり１．２５周期のＣＩＦフォーマットを第２の基準として用いることにより良好な空間分解能が適用され、動きの激しい画像に対しては、第１の基準としてのＱＣＩＦフォーマットが用いられるレベルにまで空間分解能を低下させた画像に対しては、１秒間当たり５周期まで時間分解能を向上させて良好な時間分解能を適用するようにして、動きの激しい画像に対しても動きの緩やかな画像に対しても適応可能な二重基準符号化方法を実現することができる。また、上記のような二重の基準を用いて符号化するための二重基準符号化方法を実施するための符号化／復号化装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、添付図面を参照しながら本発明に係る二重基準画像符号化方法の実施形態について詳細に説明する。
【００２５】
図１に示された本発明の一実施形態に係る符号化装置は、閉じられた破線内に表されている符号化器１を含む。この符号化器は、たとえば、テレビジョンカメラ３で発生したビデオ信号を獲得するための装置２と伝送チャネル４との間に結合される。符号化器１は画像予測器５と、量子化器［quantifier］６と、伝送された画像を再構成するための画像再構成装置７と、可変長符号化装置により形成された符号割当て器８とを備える。伝送すべきビデオ画像は画像獲得装置２によりライン／ブロック変換装置９を介して、減算器回路１０の第１の入力端子へ供給される。減算器回路１０の第２の入力端子は画像予測器５の出力端子へ接続されている。減算器回路１０の出力端子はコサイン変換計算装置１１を介して量子化器６の入力端子へ結合される。
【００２６】
予測器５は予測値ｐを減算器回路１０の第１の入力端子へ供給する。符号化すべき各値ｘは、コサイン変換計算装置１１により変換された後で、差ｄ＝Ｘ−ｐの態様で量子化器６の入力端子へ加えられる。各量子化レベルに対して、符号割当て器８は、バッファメモリ１２に記憶されている符号Ｃｉを、伝送チャネル４へ送られる前に結合する。多重化回路１３がバッファメモリ１２への符号Ｃｉの伝送を行なう。量子化回路６の出力端子において得られる量子化された信号は、逆量子化回路１４と逆コサイン変換計算装置１５を介して再構成回路７の第１の入力端子へ加えられる。再構成回路７の第２の入力端子は経路指定回路１６の予測回路５の出力端子へ結合される。
【００２７】
画像再構成回路７により再構成された画像サンプルは再構成画像メモリ１７に記憶される。それらのサンプルは動き補償装置１８を介して予測回路５へ次に加えられる。制御装置９により３つの符号化モードへのモード切り替えを行なえるようにされる。それら３つの符号化モードは、画像内符号化モードと、符号化すべき画像の現在のブロックと先行する画像中の対応するブロックとの差をそれに従って符号化するような画像間符号化モードと、現在のブロックと先行する画像中に移動させられたブロックとの間の、最良の予測を表す、差を符号化する、動きを補償された画像間符号化モードとである。
【００２８】
バッファメモリ１２の一杯になった状態に従って、コサイン変換により変換される画像ブロックの係数は、量子化ステップにおいて、量子化器６により量子化され、量子化解除器１４により量子化を解除される。それは調整段２０により計算される。符号割当て器８により行なわれる可変長符号化は符号語を、伝送すべき情報の統計的特性に一致させる。ひとたび符号化されると、たとえば、用いられる符号化の型、補償されたモードにおける変位ベクトル等を表す他の情報が係数へ乗ぜられ、全体がバッファメモリ１２内へ送られる。バッファメモリ１２の一杯にされた状態に従って、調整されたデータ転送速度を得るように、係数の量子化は多少とも粗に行なわれる。
【００２９】
動き補償装置１８は現在の画像ブロックを用いて、この現在のブロックを、先行して再構成された画像を格納する再構成画像メモリ１７に記憶された画像ブロックと比較する。このメモリ１７は、量子化の後で再構成装置７により再構成された画素を入力して、その係数を逆変換する。ひとたび基準の変更が判断されると、動き補償装置１８は、符号化された運動ベクトル「Ｖ」をマルチプレクサ１３へ送信するとともに、現在のブロックおよびその予測との間の差を計算して符号化するために、先行する画像中の変位させられたブロックを差し引くように、変位値を予測器５へ送る。このように図１に表されている符号化装置は符号化を演繹的に行なうこと、すなわち、本来の符号化処理へと進む前に符号化モードについて決定することを可能にする。
【００３０】
図２は、符号化装置に対応する復号化器を示している。この復号化器は、バッファメモリ２２と、量子化回路２４へ結合された可変長符号語復号化器２３と、逆コサイン変換計算回路２５とを含む。素子２２〜２５はこの順に直列に結合される。それは再構成された画像メモリ２６も含む。画像再構成回路２７は、素子２２〜２５により復号された信号を第１の入力端子に入力し、第２の入力端子に動き補償装置２８を介してメモリ２６へ読込まれる信号を入力している。制御装置２９は、画像再構成回路２７を画像内（イントラ）符号化モードまたは画像間（インター）符号化モード、あるいは補償された画像内（イントラ）符号化モードに設定するために、復号化器により入力される符号語に応じて画像メモリ２６の動き補償の制御を行なう。
【００３１】
もちろん、本発明に係る二重基準画像符号化方法を実施するためには、画像信号源と再構成された画像との間で、基準変更のための基準と画像の管理に関してデータ転送速度を調整するために、バッファメモリ１２、２２のサイズの問題に特有である特定の構成を必要とする。
【００３２】
バッファメモリ１２、２２のサイズは、５つの周期と、たとえば、１６Ｋビット／秒のデータ転送速度を有するＱＣＩＦ画像を符号化するために十分でなければならない。このサイズは、もちろん、両方の基準に対して一定でなければならない。実際に、ＣＩＦ画像に対しては、第１の基準であるＱＣＩＦフォーマットで符号化された画像の伝送時間が長くなることがないように、この実施例の場合には、３．２Ｋビット／秒、クォータ画像、に固定せねばならない。符号化装置の入力端子におけるそれぞれの新しい画像が、第１の基準としてのＱＣＩＦフォーマット３０へ、または第２の基準としてのＣＩＦフォーマット３１へ処理できるように、再構成された画像メモリ１７は両方のフォーマットを含むようにして再構成されている。
【００３３】
この目的のために、符号化装置の内部ループは、図１に表されているように、符号化が第１の基準としてのＱＣＩＦフォーマットで行なわれる時に、対応するＣＩＦ画像を得るためのＱＣＩＦ画像オーバー標本化器３２と、符号化が第２の基準としてのＣＩＦフォーマットで行なわれる時に、ＱＣＩＦフォーマットに対して、対応する画像を得るためのＣＩＦ画像サブ標本化器３２とを含んでいる。第１の基準としてのＱＣＩＦ画像フォーマット３０または第２の基準としてのＣＩＦ画像フォーマット３１の選択は、調整装置２０に接続されたしきい値型制御装置２１により制御されている。符号化装置の内部ループにおけるＣＩＦおよびＱＣＩＦの２つの画像フォーマットを継続的に記憶しておく必要性は、基準の変更があったときに符号化器がインター画像モードおよび動き補償された予測モードを使用し続けなくてはならない事実により正しいものであると証明される。
【００３４】
第１および第２の基準を変更するための判断規準は、ＣＩＦ基準またはＱＣＩＦ基準で符号化された画像に関して計算された量子化ステップの平均値を考慮することに基づいている。したがって、平均化過程の低い値に対しては、用いられるのは１．２５ＨｚにおけるＣＩＦ基準であり、他の基準は高い値に対して用いられる。図３に示されているような第１のしきい値Ｓと第２のしきい値Ｓ＋ｄｓにより形成されたしきい値ヒステリシスで得られた平均値の間での比較を行なうしきい値型制御装置２１により判定が行なわれる。基準の変更時に生ずる発振を避けるために、ヒステリシスを持つしきい値が用いられる。その場合に、新しい基準への変更が行なわれると、動作を一層安定させるために第１の画像中に基準変更手順を禁止することができる。
【００３５】
図３において、Ｑ−ｍｉｎは量子化ステップにおける最小値を示し、Ｑ−ｍａｘは量子化ステップにおける最大値を示している。ＣＩＦ基準において、量子化ステップにおける最小値Ｑ−ｍｉｎからしきい値Ｓ＋ｄｓへと変化する量子化ステップに対しては、第２の基準としてのＣＩＦ基準が用いられる。しきい値「Ｓ＋ｄｓ」を超えると、用いられるのは第１の基準としてＱＣＩＦ基準である。さらに、しきい値Ｓと量子化過程Ｑ−ｍａｘの間の範囲の量子化ステップにおいては、符号化装置第１の基準としてはＱＣＩＦ基準のままである。しきい値Ｓ以下では符号化器は第２の基準としてのＣＩＦ基準符号化モードへと戻る。ヒステリシスはしきい値範囲ｄｓにおいて発生する。この範囲においては、符号化装置は現在の基準のままで動作することになる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態に係る符号化器を示すブロック図である。
【図２】本発明の一実施形態に係る復号化器を示すブロック図である。
【図３】符号化すべき画像の基準を図１に表されている符号化器における量子化過程の関数として変更するために本発明の一実施形態により採用される比較法を示すグラフである。
【符号の説明】
【００３７】
３０  第１の基準（ＱＣＩＦ画像フォーマット）
３１  第２の基準（ＣＩＦ画像フォーマット）
３２  ＱＣＩＦ画像オーバー標本化器
３３  ＣＩＦ画像サブ標本化器
【図１】
2006054902.tif 000003
【図２】
2006054902.tif 000004
【図３】
2006054902.tif 000005