(57)【特許請求の範囲】
【請求項１】
一方のチャンネルを基本チャンネルとして動き補償符号化を適用し、他方のチャンネルを拡張チャンネルとして動き補償符号化および視差補償符号化を併用するステレオ動画像用符号化装置において、
前記基本チャンネルの量子化ステップサイズが前記拡張チャンネルの量子化ステップサイズより小さくなるようにする手段を具備し、
前記基本チャンネルの量子化ステップサイズを拡張チャンネルのそれに比べて小さく保つようにし、かつ前記基本チャンネルの量子化ステップサイズが予め定められた値より大きくなる場合に、前記拡張チャンネルの量子化ステップサイズが前記基本チャンネルの量子化ステップサイズより大きくするのを禁止する手段をさらに具備したことを特徴とするステレオ動画像用符号化装置。
【請求項２】
請求項１に記載のステレオ動画像用符号化装置において、
量子化後のデータを一時蓄積するバッファの基本チャンネルの占有量を、前記拡張チャンネルのそれに比べて小さくなるようにしたことを特徴とするステレオ動画像用符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はステレオ動画像用符号化装置に関し、特に、一方のチャンネルに動き補償を施して動きベクトルおよび予測誤差を伝送し、他方のチャンネルに動き補償と視差補償を施し、動きベクトル、視差ベクトルおよび予測誤差を伝送するステレオ動画像用符号化装置に関する。
【０００２】
【従来の技術】
従来のステレオ動画像の符号化装置の一例を、図９のブロック図を参照して説明する。ステレオ動画像符号化装置は左右のチャンネルの動画像を符号化する二つの符号化装置から構成されている。
【０００３】
左チャンネル（または、基本チャンネル）の符号化装置は、原画を記憶する原画フレームメモリ１１と、予測誤差信号を生成する減算器１２と、該減算器１２から出力された予測誤差信号を直交変換、例えばＤＣＴ変換する直交変換部１３と、直交変換されたデータを量子化する量子化部１４と、該量子化されたデータを可変長符号化する可変長符号化部１５を備えている。また、さらに、前記量子化部１４で量子化されたデータを逆量子化する逆量子化部１６と、逆直交変換部１７と、加算器１８と、再生画を一時的に記憶する再生画フレームメモリ１９と、前記原画フレームメモリ１１からの原画と前記再生画とで動き補償を行う動き補償部２０と、予測画フレームメモリ２１とを具備している。
【０００４】
一方、右チャンネル（または、拡張チャンネル）の符号化装置は、予測モード選択部４１および視差補償部４３を除いて、前記左チャンネルの符号化装置の構成と同様の構成３１〜４０および４２を具備している。なお、前記再生画フレームメモリ１９からの再生画は視差補償部４３に入力されるように構成されている。  上記の構成において、左チャンネルは、通常の（動き補償＋ＤＣＴ）に基づく符号化が行われる。一方、右チャンネルでは、（動き補償または視差補償＋ＤＣＴ）に基づく符号化が行われる。すなわち、前記予測モード選択部４１は動き補償部４０と視差補償部４３の両方のうちの予測誤差の小さい方を選択し、予測画フレームメモリ４２に接続する。この動作以外は、左チャンネルと同様の動作が行われる。
【０００５】
さて、前記した従来のステレオ動画像の符号化装置においては、基本チャンネルと拡張チャンネルの符号化効率の差を考慮に入れて符号化ビット数の配分を決定することにより、左右間の画質が均等に保てるように制御していた。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記した従来技術においては、符号化ビット数の配分は一律であったり、過去の符号化結果からこれに後続する符号化単位（複数フレーム）に対する符号化ビット数の配分を決定したりするため、ピクチャのシーンの特徴の変動に応じて制御誤差が生じ、左右間の画質のバランスが保てなくなるという問題があった。
【０００７】
本発明の目的は、前記した従来技術の問題点を除去し、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することのできるステレオ動画像用符号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、一方のチャンネルを基本チャンネルとして動き補償符号化を適用し、他方のチャンネルを拡張チャンネルとして動き補償符号化および視差補償符号化を併用するステレオ動画像用符号化装置において、前記基本チャンネルの量子化ステップサイズが前記拡張チャンネルの量子化ステップサイズより小さくなるようにする手段を具備し、前記基本チャンネルの量子化ステップサイズを拡張チャンネルのそれに比べて小さく保つようにし、かつ前記基本チャンネルの量子化ステップサイズが予め定められた値より大きくなる場合に、前記拡張チャンネルの量子化ステップサイズが前記基本チャンネルの量子化ステップサイズより大きくするのを禁止する手段をさらに具備した点に第１の特徴がある。
【００１０】
前記第１の特徴によれば、基本チャンネルの符号化ビット数を拡張チャンネルの符号化ビット数より、常に多く割り当てることができるようになるので、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態のステレオ動画像用符号化装置の要部の構成を示すブロック図であり、本発明と直接関係のない構成は図示を省略されている。なお、図１中の図９と同符号は同一または同等物を示す。
【００１２】
図において、マクロブロック情報保存テーブル２２は動き補償部２０から得たマクロブロック情報（例えば、符号化モード等）を保存する。送信待ちバッファ２３は可変長符号化器１５で可変長符号化されたデータを一時的に蓄積し、該データを送出する回線とのマッチングをとる。発生ビット数算出部２４は１ピクチャ（１フレーム）毎に、ピクチャ符号化開始時から発生したビット数を算出する。仮想バッファ占有量算出部２５は後で詳述するように、仮想バッファの占有量を算出する。割当てビット配分設定部２６はピクチャ単位で基本チャンネル（左）と拡張チャンネル（右）とに割り当てるビット数を設定する。本実施形態では、拡張チャンネルの再生画像は拡張チャンネルのみからしか参照されないのに対して、基本チャンネルの再生画像は双方のチャンネルから参照されるため、基本チャンネルに割り当てるビット数を拡張チャンネルに割り当てるビット数よりもやや多めに、例えば１０％程度多めに設定する。
【００１３】
次に、マクロブロック情報保存テーブル４４は、動き補償部４０および視差補償部４３から予測モード選択部４１の動作と同期して得たマクロブロック情報（例えば、符号化モード等）を保存する。送信待ちバッファ４５、発生ビット数算出部４６および仮想バッファ占有量算出部４７の動作は前記送信待ちバッファ２３、発生ビット数算出部２４および仮想バッファ占有量算出部２５の動作と同じであるので説明を省略する。多重化器２７は、基本チャンネルと拡張チャンネルの符号化データを多重化して回線２８に送出する。
【００１４】
上記した構成を有する本実施形態のステレオ動画像用符号化装置の動作を、以下に説明する。基本（左）チャンネルの原画像がピクチャ単位で基本チャンネルの減算器１２に入力すると、該減算器１２は原画像と予測画フレームメモリ２１から入力される予測画信号との差を取り、予測誤差信号を生成する。生成された予測誤差信号は直交変換部１３で直交変換され、量子化器１４に入力する。該量子化器１４は図２のフローチャートで説明する処理により、量子化ステップサイズを決定され、前記直交変換されたデータを該量子化ステップサイズで除算することにより、量子化レベルを算出する。該量子化器１４から出力された量子化レベルは可変長符号化器１５で可変長符号化され、送信待ちバッファ２３に一時的に蓄積される。
【００１５】
一方、拡張（右）チャンネルの原画像がピクチャ単位で拡張チャンネルの減算器３２に入力すると、該減算器３２は原画像と予測画フレームメモリ４２から入力される予測画信号との差を取り、予測誤差信号を生成する。なお、該予測画フレームメモリ４２には、動き補償部４０と視差補償部４３の両方のうちの予測誤差の小さい方が前記予測モード選択部４１によって選択されて接続される。また、該選択と同期して、マクロブロック情報保存テーブル４４にマクロブロック情報が格納される。上記のようにして生成された予測誤差信号は、直交変換部３３で直交変換されるが、以降の動作は前記した基本チャンネルの動作と同様であるので、説明を省略する。
【００１６】
次に、前記量子化器１４および３４の量子化ステップサイズを決定する動作を図２のフローチャートを参照して説明する。なお、該量子化ステップサイズを決定する動作は量子化器１４および３４の両方において同じであるので、量子化器１４における動作を説明し、量子化器３４における動作の説明は省略する。
【００１７】
発生ビット数算出部２４は、ステップＳ１にて、前記送信待ちバッファ２３が可変長符号化器１５によって符号化された前記ピクチャのデータを取得し始めたか否かの判断をする。この判断が肯定になると、該発生ビット数算出部２４は、送信待ちバッファ２３のデータ占有量ｄ0 を送信待ちバッファ２３から取得する。次いで、該発生ビット数算出部２４は、ステップＳ３にて、ピクチャ符号化開始時からの発生ビット数ｓを算出する。前記ピクチャ符号化開始時のデータ占有量ｄ0 と、ピクチャ符号化開始時からの発生ビット数ｓは、仮想バッファ占有量算出部２５に送られる。
【００１８】
ステップＳ４では、前記仮想バッファ占有量算出部２５は、下記の(1) 式にて、仮想バッファ占有量ｄを算出する。
ｄ＝ｄ0 ＋ｓ−ｊ・（Ｔ1 ／ＮMB）…(1)
ここに、ＮMBはピクチャ内のマクロブロック数、ｊ（＝０，１，…，ＮMB−１）は当該マクロブロックの位置、Ｔ1 は当該ピクチャのターゲット（目標）ビットレートである。なお、拡張チャンネルの当該ピクチャのターゲットビットレートはＴ2 となっており、本実施形態では、Ｔ1 ≧Ｔ2 とされている。
【００１９】
次に、ステップＳ５に進むと、量子化器１４は当該マクロブロックの符号化モード、アクティビティ、および前記仮想バッファ占有量ｄを取得して、量子化ステップサイズの算出を行う。該量子化ステップサイズの算出方法について、以下に説明する。
【００２０】
まず、マクロブロック毎に、量子化パラメータ（mquant) を、次の(2) 式により算出する。
mquant＝Ｑj ×Ｎactj  …(2)
ここに、Ｑj ＝３２×ｄ／ｒ
ｒ＝２×（ビットレート）／（ピクチャレート）
Ｎactj＝（２×act j ＋avg-act ）／（act j ＋２×avg-act ）
なお、act j は当該マクロブロックのアクティビティ、avg-act は直前ピクチャのact j の平均である。前記ビットレートは１チャンネル分に相当し、左右トータルのビットレートをＴ1 、Ｔ2 の比率に応じて配分した値である。また、前記ピクチャレートは１秒間に符号化されるピクチャ数で、一般的には、ピクチャレート＝３０である。
【００２１】
上記の式(2) にて量子化パラメータ（mquant) が求まると、次に、直交変換の係数位置に応じた重みを該量子化パラメータ（mquant) に掛けて、量子化ステップサイズとする。
【００２２】
再び図２に戻って、ステップＳ６に進むと、前記直交変換の係数を前記量子化ステップサイズで除算して量子化レベルを算出する。ステップＳ７では、量子化処理が終了したか否かの判断を行い、該判断が否定の時には、ステップＳ３に戻って、前記した処理を続行する。
【００２３】
上記した量子化処理が、基本チャンネルおよび拡張チャンネルで実行されると、前記割当てビット配分設定部２６におけるピクチャのターゲットビットレートの割当ては、（基本チャンネルのピクチャのターゲットビットレートＴ1 ）≧（拡張チャンネルのピクチャのターゲットビットレートＴ2 ）となっているから、前記の各式から明らかなように、ピクチャ毎に、常に基本チャンネルの量子化ステップサイズが拡張チャンネルの量子化ステップサイズより所定量だけ小さくなる。したがって、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００２４】
次に、本発明の第２実施形態を図３を参照して説明する。図３の図１と同符号は、同一または同等物を示す。この実施形態の特徴は、基本チャンネルおよび拡張チャンネル共通の仮想バッファ占有量ｄを算出し、該仮想バッファ占有量ｄの割り当てを、基本チャンネルに対する割り当てより拡張チャンネルに対する割り当てを大きくした点に特徴がある。
【００２５】
図３において、５１は１ピクチャ（１フレーム）毎に、ピクチャ符号化開始時から発生したビット数を算出する発生ビット数算出部、５２は仮想バッファ占有量算出部、５３は基本チャンネルおよび拡張チャンネルの２ピクチャに対する割当てビット数Ｔを設定する割当てビット数設定部である。また、５４は前記仮想バッファ占有量ｄに１／２を掛け算する１／２掛算器、５５は該仮想バッファ占有量ｄにＷR （ただし、ＷR ≧１／２）を掛け算するＷR 掛算器である。なお、本実施形態では１／２掛算器５４を用いたが、１／２掛算器に限定されるものではなく、１／ｎ（ｎは正の実数）掛算器であっても良い。
【００２６】
次に、本実施形態の動作を説明する。前記第１実施形態と同様に、基本チャンネルの入力画像（ピクチャ）は直交変換部１３でその予測誤差信号が直交変換され、量子化器１４で量子化され、可変長符号化器１５で可変長符号化される。同様に、拡張チャンネルの入力画像は直交変換部３３でその予測誤差信号が直交変換され、量子化器３４で量子化され、可変長符号化器３５で可変長符号化される。そして、該可変長符号化されたデータは、基本チャンネルおよび拡張チャンネル共通の送信待ちバッファ２３に一時的に記憶され、所定のビットレートで回線２８に送出される。
【００２７】
また、発生ビット数算出部５１は、送信待ちバッファ２３のデータ占有量ｄ0 を送信待ちバッファ２３から取得すると共に、当該ピクチャの符号化開始時からの発生ビット数ｓを算出し、該データ占有量ｄ0 と発生ビット数ｓを仮想バッファ占有量算出部５２に供給する。仮想バッファ占有量算出部５２は該データ占有量ｄ0 と発生ビット数ｓ、および割当てビット数設定部５３から供給された割当てビット数Ｔとを入力され、前記(1) 式により仮想バッファ占有量ｄを算出する。なお、この第２実施形態では、(1) 式のＴ1 に代えて、Ｔを用いる。
【００２８】
次いで、前記仮想バッファ占有量ｄは１／２掛算器５４とＷR 掛算器５５に入力し、その演算結果であるｄ1 とｄ2 はそれぞれ基本チャンネルの量子化器１４と拡張チャンネルの量子化器３４に送られる。該基本チャンネルの量子化器１４および拡張チャンネルの量子化器３４は、それぞれ、前記(2) 式により量子化パラメータ（mquant) を求め、第１実施形態で説明したのと同様の方法により、ピクチャの直交変換データに対して量子化レベルを算出する。
【００２９】
図４は、前記量子化器１４および３４の量子化ステップサイズを決定する動作を示すフローチャートである。なお、図２と同ステップは、同一または同等のステップを示す。
【００３０】
ステップＳ１では、当該ピクチャの直交変換データが送信待ちバッファ２３にて取得されたか否かの判断がなされ、この判断が肯定になると、ステップＳ２に進んで、発生ビット数算出部５１は該送信待ちバッファ２３のデータ占有量ｄ0 を取得する。次に、ステップＳ１１では、発生ビット数算出部５１は基本および拡張チャンネルの当該ピクチャの符号化開始時からの発生ビット数ｓを算出する。次に、ステップＳ４では、仮想バッファ占有量算出部５２は、前記(1) 式により、仮想バッファ占有量ｄを算出する。ステップＳ１２では、基本チャンネルか否かの判断がなされ、この判断が肯定の時には、ステップＳ１３に進んで、１／２掛算器５４により基本チャンネルに割当てる仮想バッファ占有量ｄ1 が求められる。一方、前記判断が否定の時には、ステップＳ１４に進んで、ＷR 掛算器５５により拡張チャンネルに割当てる仮想バッファ占有量ｄ2 が求められる。
【００３１】
次に、ステップＳ５では、基本チャンネルの量子化器１４は、前記仮想バッファ占有量ｄ1 、前記マクロブロック情報保存テーブル２２からの符号化モードおよびアクティビティから、第１実施形態と同様に量子化パラメータならびに量子化ステップサイズを決定する。ステップＳ６では、直交変換の係数を前記量子化ステップサイズで除算して、量子化レベルを算出する。一方、ステップＳ５´では、拡張チャンネルの量子化器３４は、前記仮想バッファ占有量ｄ2 、前記マクロブロック情報保存テーブル４４からの符号化モードおよびアクティビティから、第１実施形態と同様に量子化パラメータならびに量子化ステップサイズを決定する。そして、ステップＳ６´では、ステップＳ６と同様に直交変換の係数を前記量子化ステップサイズで除算して、量子化レベルを算出する。
【００３２】
ステップＳ７では、量子化処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ１１に戻って、前記した動作が繰り返される。一方、該判断が肯定になると、量子化の動作は終了する。
【００３３】
以上のように、該第２実施形態によれば、基本チャンネルの直交変換係数の量子化を拡張チャンネルのそれに比べて細かく行うことができるので、第１実施形態と同様に、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、常に高く保つことができるようになり、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００３４】
次に、本発明の第３実施形態を、図５および図６を参照して説明する。図５は本実施形態の概略の構成を示すものであり、５６は占有量配分設定部を示し、他の符号は図３の同符号と同一または同等物を示す。また、図６は本実施形態の量子化ステップサイズを決定する動作を示すフローチャートであり、図４と同ステップは、同一または同等のステップを示す。
【００３５】
この実施形態は、前記占有量配分設定部５６において、図６のステップＳ１５〜Ｓ１７の処理をさせるようにした点に特徴がある。本実施形態では、仮想バッファ占有量閾値ｄthを設定する。該仮想バッファ占有量閾値ｄthは拡張チャンネルの画質の許容限界に対応する値であり、ステップＳ１５の判断が肯定になると、ステップＳ１６に進み、否定になるとステップＳ１７に進むようにする。
【００３６】
すなわち、ステップＳ１５では、仮想バッファ占有量ｄが前記閾値ｄthより大きくなったか否かの判断をする。そして、この判断が肯定になった時には、拡張チャンネルの画質が許容できる限界にきているので、拡張チャンネルの画質を基本チャンネルの画質と差を付けないように、あるいは該差が僅差となるように、拡張チャンネルの仮想バッファ占有量ｄ2 ＝１／２ｄとする。一方、ステップＳ１５の判断が否定の時には、拡張チャンネルの画質は許容できるので、基本チャンネルの画質とある程度の差を付けるべく、拡張チャンネルの仮想バッファ占有量ｄ2 ＝ＷR ×ｄ（ただし、ＷR ≧１／２）とする。
【００３７】
なお、前記の第１〜３実施形態では、量子化器１４、３４の外部で、それぞれに割当てる仮想バッファ占有量ｄ（ｄ1,ｄ2 ）を演算して求めるようにしたが、本発明はこれに限定されず、前記量子化器１４、３４の内部で演算して求めるようにしても良い。
【００３８】
次に、本発明の第４実施形態を、図７および図８を参照して説明する。図７において、６１、６３はそれぞれ基本チャンネルおよび拡張チャンネルの入力原画像に適用される空間領域フィルタ、具体的にはローパスフィルタである。また、６２、６４はフィルタ処理後の画像が格納される入力画フレームメモリである。なお、他の符号は、図１および図２の同一符号と同一または同等物を示す。
【００３９】
この実施形態の特徴は、前記拡張チャンネルのローパスフィルタ６３のフィルタ特性（遮断周波数）を基本チャンネルのローパスフィルタ６１のそれより強くし、拡張チャンネルの入力原画像からより多くの高域周波数成分を除去するようにした点にある。
【００４０】
図８は、本実施形態の要部の動作を示すフローチャートである。このフローチャートは、基本チャンネルの動作を示すが、拡張チャンネルの動作も同様である。ステップＳ２１では、基本チャンネルの入力原画像が取得され始めたか否かの判断がなされる。この判断が肯定になると、ステップＳ２２に進み、該入力原画像はローパスフィルタ６１に入力され、フィルタ処理を受ける。該フィルタ処理により、入力原画像から高域周波数成分が除去される。ステップＳ２３に進むと、該フィルタ処理後の画像が入力画フレームメモリ６２に格納される。拡張チャンネルにおいても前記と同様の動作が行われ、フィルタ処理後の画像が入力画フレームメモリ６４に格納される。
【００４１】
その後、割当てビット数設定部５３から供給された割当てビット数Ｔを用いて、第２実施形態で説明したのと同様に仮想バッファ占有量ｄを算出し、ｄを左右チャンネルに均等に配分した上で、基本および拡張チャンネルの量子化処理が行われる。
【００４２】
この実施形態によれば、基本チャンネルの符号化器に入力する原画像は、拡張チャンネルの符号化器に入力する原画像に比べて、高域周波数成分を多く含むので、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、常に高く保つことができるようになり、ピクチャのシーンの特徴に変動が生じても、左右間の画質のバランスを常に均等に保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００４３】
なお、基本チャンネルのローパスフィルタ６１を除去して、入力画フレームメモリ６２に格納される画像の高域周波数成分が拡張チャンネルの入力画フレームメモリ６４に格納される画像に比べて多くなるようにしても良い。また、前記空間領域フィルタ６１、６３に代えて、時間領域フィルタを用いるようにしても良い。
【００４４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、常に、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、高く保つことができるようになるので、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の要部の構成を示すブロック図である。
【図２】  本実施形態の量子化処理の動作を示すフローチャートである。
【図３】  本発明の第２実施形態の要部の構成を示すブロック図である。
【図４】  本実施形態の量子化処理の動作を示すフローチャートである。
【図５】  本発明の第３実施形態の要部の構成を示すブロック図である。
【図６】  本実施形態の量子化処理の動作を示すフローチャートである。
【図７】  本発明の第４実施形態の要部の構成を示すブロック図である。
【図８】  本実施形態の要部の動作を示すフローチャートである。
【図９】  従来のステレオ動画像用符号化装置の概略の構成を示すブロック図である。
【符号の説明】
１１…原画フレームメモリ、１２、３２…減算器、１３、３３…直交変換部、１４、３４…量子化器、１５、３５…可変長符号化器、２０、４０…動き補償部、２１、４２…予測画フレームメモリ、２２、４４…マクロブロック情報保存テーブル、２３、４５…送信待ちバッファ、２４、４６、５１…発生ビット数算出部、２５、４７、５２…仮想バッファ占有量算出部、２６…割当てビット配分設定部、２７…多重化器、２８…回線、４１…予測モード選択部、４３…視差補償部、５３…割当てビット数設定部、５４…１／２掛算器、５５…ＷR 掛算器、５６…占有量配分設定部、６１、６３…ＬＰＦ、６２、６４…入力画フレームメモリ。
【図１】
0003646849.tif 000002
【図２】
0003646849.tif 000003
【図３】
0003646849.tif 000004
【図４】
0003646849.tif 000005
【図５】
0003646849.tif 000006
【図６】
0003646849.tif 000007
【図７】
0003646849.tif 000008
【図８】
0003646849.tif 000009
【図９】
0003646849.tif 000010