(57)【要約】【課題】動画像を基本レイヤと拡張レイヤに符号化する映像階層符号化方法において、原画像データが入力されてから符号化データが出力されるまでの遅延を短縮する映像符号化方法およびその装置を提供する。【解決手段】拡張レイヤのヘッダ情報は生成するのに時間を要するため遅延が発生する。本方法および装置では、ヘッダ情報を予測することにより、遅延の発生を抑制することにより、複数の通信帯域と複数の能力をもつ端末が混在し、端末ごとの画像品質の調整を要するネットワーク上で、リアルタイム性を必要する双方向コミュニケーションのアプリケーションが映像伝送する場合などにおいて特に有効である。【選択図】  図１
2004343511.tif 000002
【特許請求の範囲】
【請求項１】
映像を、一の基本レイヤストリームと、少なくとも一つの拡張レイヤストリームとに階層的に符号化する映像符号化方法であって、
ヘッダ情報を予測して前記拡張レイヤストリームを生成する、ことを特徴とする、映像符号化方法。
【請求項２】
ヘッダ情報とは、拡張レイヤストリームの符号化に用いる直交変換係数の同じビット位のみを集めたビット平面のうち最上位の非ゼロのビット平面のビット位をあらわすＭｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ（以下、ＭＳＢ）から成ることを特徴とする、請求項１に記載の映像符号化方法。
【請求項３】
過去の入力画像に対するＭＳＢを記録しておき、現在のＭＳＢを予測することを特徴とする、請求項２に記載の映像符号化方法。
【請求項４】
基本レイヤストリームに含まれる量子化パラメータを用いてＭＳＢを予測することを特徴とする、請求項２に記載の映像符号化方法。
【請求項５】
入力画像を複数の領域に分割し、各領域の優先度を用いてＭＳＢを予測することを特徴とする、請求項２に記載の映像符号化方法。
【請求項６】
複数の方法を用いて予測されたＭＳＢの各予測値を、重み係数を用いて調整する、ことを特徴とする請求項２から５に記載の映像符号化方法。
【請求項７】
重み係数を、現在の入力画像と過去の入力画像との、画素値の変化に応じて算出する、ことを特徴とする、請求項６に記載の映像符号化方法。
【請求項８】
重み係数を、現在の入力画像と過去の入力画像との、各領域の優先度の変化に応じて算出する、ことを特徴とする、請求項６に記載の映像符号化方法。
【請求項９】
重み係数を、基本レイヤストリームに含まれる動きベクトルに応じて算出する、ことを特徴とする、請求項６に記載の映像符号化方法。
【請求項１０】
予測されたＭＳＢと実際のＭＳＢが異なる場合、領域の優先度を変更する、ことを特徴とする、請求項２から９に記載の映像符号化方法。
【請求項１１】
生成された基本レイヤストリームと拡張レイヤストリームを順次出力する、ことを特徴とする、請求項１から１０に記載の映像符号化方法。
【請求項１２】
入力画像を一の基本レイヤストリームと、少なくとも一つの拡張レイヤストリームとに階層的に符号化して順次出力する映像符号化装置であって、
基本レイヤストリームを復号して復号画像を生成する基本レイヤ復号部と、
前記入力画像と前記復号画像との差分である残余画像を生成する残余画像生成部と、
前記残余画像をＤＣＴ変換してＤＣＴ係数を生成するＤＣＴ部と、
前記入力画像と前記基本レイヤストリームとを用いてＭＳＢ予測値を生成するＭＳＢ予測部と、
前記ＭＳＢ予測値に基づいて前記ＤＣＴ係数にビット平面ＶＬＣ処理を行い拡張レイヤストリームを生成するビット平面ＶＬＣ部と、
を備える映像符号化装置。
【請求項１３】
請求項１から請求項１１に記載の映像符号化方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、階層構造をもつ映像ストリームを生成する映像符号化処理において、予測を用いてヘッダ情報を生成し符号化処理を高速に行い、映像ストリームの生成を低遅延化する映像符号化方法および映像符号化装置に関する発明である。
【０００２】
【従来の技術】
インターネットに代表されるネットワーク上での映像ストリーム伝送が盛んになっている。映像ストリーム伝送では、映像符号化データを全てダウンロードし終えてから再生するのではなく、受信した映像符号化データを順次再生する。映像ストリーム伝送技術は、帯域変動の激しい移動体通信端末での映像の再生や、テレビやパソコンおよび移動体通信端末といった異なった能力を持つ端末への映像の配信、課金に比例した画像品質を持つ映像の提供などの様々な分野への応用されることが期待される。使用用途が広がるにつれ、複数の帯域や端末に見合った画像品質の映像を提供できる符号化方法が望まれる。それと同時に、映像送信端末の原画像の入力から受信端末における復号画像の再生までを、リアルタイムに行うことへの需要が増加すると予想される。リアルタイム映像伝送として例えば、移動体通信端末を用いたテレビ電話や、生放送の映像をテレビやパソコンおよびＰＤＡなど複数端末へ同時に配信することが挙げられる。今後、映像を用いたサービス品質の向上のため、画像品質の微細な制御と映像の入力から再生までの遅延を抑制することが求められる。
【０００３】
しかし、従来用いられてきたＨ．２６１方式やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式による圧縮符号化では、一度符号化すると復号化に用いられる符号量は一意に決定され、再生する映像の画像品質を変えることはできない。
【０００４】
そこで、幾つかの階層からなるデータ構造を持ち、必要に応じて伝送する符号の伝送量を変更することのできる階層符号化方法が幾つか考案規格化された。その中でも、非特許文献１に規定されるＭＰＥＧ−４  ＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）はとりわけストリームの伝送量を微細に調整することが可能な階層符号化方法として規格化されている。
【０００５】
ＭＰＥＧ−４  ＦＧＳで符号化された映像ストリームは、基本レイヤストリームと拡張レイヤストリームによって構成される。基本レイヤストリームは単体で復号化が可能な低帯域で低画質の映像ストリームであり、拡張レイヤストリームは基本レイヤストリームの画像品質を向上させるための映像ストリームである。ＭＰＥＧ−４  ＦＧＳは、階層的に符号化されたレイヤ構造と、拡張レイヤストリームに用いられるビット平面ＶＬＣと呼ばれる符号化処理などにより、伝送する符号量を１フレーム（１画面、１画像）ごとに制御することが可能で、伝送帯域や求められる画像品質に非常に柔軟に対応できる。
【０００６】
ここでビット平面とは、２進数で表された幾つかの数値の同じビット位のみを並べたビット列のことである。ＭＰＥＧ−４  ＦＧＳにおいてビット平面は、８×８の画素値のブロック毎にＤＣＴ（Ｄｉｓｃｌｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ）変換して得た１フレーム分の係数の、同じビット位のみを並べたビット列のことである。ビット平面ＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ、可変長符号）とは、ビット平面ごとに可変長符号化処理を行う符号化方法である。
【０００７】
以下に、ＭＰＥＧ−４  ＦＧＳの拡張レイヤストリームの生成に用いられるビット平面ＶＬＣの概念を簡単に説明する。
【０００８】
０から３１までの整数から任意に選んだ１０進数、５、１４、３、１５の数字をＤＣＴ係数とみなして、これらを伝送する場合を考える。４つの数字をそれぞれ符号として伝送する場合、伝送途中に１つが欠損すると画像品質に大きな劣化を生じる。これを避けるため、次に示す方法によって伝送する。
【０００９】
１０進数、５、１４、３、１５を５ビットの２進数に直すと、００１０１、０１１１０、０００１１、０１１１１である。それら数字を上位ビットからビット平面ごとに並べると、００００、０１０１、１１０１、０１１１、１０１１となる。伝送帯域が制限されているならば、上位のビット平面から優先して送信すれば画像品質の劣化は少ない。そうすると４つのビット平面しか伝送できない場合でも、００００、０１０１、１１０１、１１０１から、１０進数の４、１４、２、１４を得ることができる。しかし、元の４つの１０進数を表すのに０のみからなる５ビット位のビット平面を伝送する必要はない。よって１を含む最上位のビット平面のビット位を表す４の数字と４ビット位以下のビット平面を伝送する。そうすると４つのビット平面しか伝送できない場合でも１０進数の５、１４、３、１５を得ることが出来る。
【００１０】
上記のような概念により、ＭＰＥＧ−４  ＦＧＳは伝送する符号量を微細に制御することができる。１を含む最上位のビット平面のビット位をＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）と呼ぶ。
【００１１】
以下に、非特許文献２にある従来のＭＰＥＧ−４  ＦＧＳの映像符号化方法を説明する。
【００１２】
図１０に、従来のＭＰＥＧ−４  ＦＧＳの映像符号化装置１０００の構成を表すブロック図を示す。図１０において映像符号化装置１０００は、映像入力部１００１と、基本レイヤエンコーダ１００２と拡張レイヤエンコーダ１００６からなる。基本レイヤエンコーダ１００２は、基本レイヤ符号化部１００３と基本レイヤ出力部１００４と基本レイヤ復号化部１００５からなる。拡張レイヤエンコーダ１００６は、残余画像生成部１００７とＤＣＴ部１００８とビットシフト部１００９とＭＳＢ実測部１０１０とビット平面ＶＬＣ部１０１１と拡張レイヤ出力部１０１２からなる。
【００１３】
以下に、図１０に示す映像符号化装置１０００の動作を説明する。
【００１４】
映像入力部１００１は、映像信号を１フレームごとに入力し、入力画像を基本レイヤ符号化部１００３と残余画像生成部１００７に渡す。
【００１５】
基本レイヤ符号化部１００３は、映像入力部１００１から受け取った入力画像に対してＭＰＥＧ符号化を行って基本レイヤストリームを生成し、基本レイヤ出力部１００４と基本レイヤ復号化部１００５に出力する。基本レイヤ出力部１００５は、基本レイヤ符号化部１００３から出力された基本レイヤストリームを映像符号化装置１０００の外部に出力する。基本レイヤ復号化部１００５は基本レイヤ符号化部１００３から出力された基本レイヤストリームを復号し、復号画像を残余画像生成部１００７に出力する。
【００１６】
残余画像生成部１００７は、映像入力部１００１から受け取った入力画像と、基本レイヤ復号化部１００５から出力された復号画像の差分を取り残余画像を生成し、ＤＣＴ部１００８に出力する。
【００１７】
ＤＣＴ部１００８は、残余画像生成部１００７から出力された残余画像に対して、８×８画素のブロックごとにＤＣＴ変換を行いＤＣＴ係数を生成し、ビットシフト部１００９に出力する。
【００１８】
ビットシフト部１００９は、ＤＣＴ部１００８より出力されたＤＣＴ係数に対してビットシフトさせ、ビットシフトさせたＤＣＴ係数をＭＳＢ実測部１０１０とビット平面ＶＬＣ部１０１１に出力し、マクロブロックごとのビットシフトした値をビット平面ＶＬＣ部に出力する。
【００１９】
ＭＳＢ実測部１０１０は、ビットシフト部１００９から出力されたビットシフトされた１フレーム分全てのＤＣＴ係数からＭＳＢを検出し、ビット平面ＶＬＣ部１０１１に出力する。
【００２０】
ビット平面ＶＬＣ部１０１１は、ビットシフト部１００９から出力されたビットシフトされたＤＣＴ係数に対して、ＭＳＢ実測部１０１０から出力されたＭＳＢとビットシフト部１００９から出力されたマクロブロックごとのビットシフトの値を用いて、ビット平面ＶＬＣ処理を行いヘッダ情報を付加し拡張レイヤストリームを生成し、拡張レイヤ出力部１０１２に出力する。
【００２１】
ここで、マクロブロックとは１６×１６画素の領域を指す処理単位である。基本レイヤストリーム符号化処理に用いられる動きベクトルや量子化パラメータなどは、マクロブロック毎に決定する。
【００２２】
拡張レイヤ出力部１０１２は、ビット平面ＶＬＣ部１０１１から出力された拡張レイヤストリームを映像符号化装置１０００の外部に出力する。
【００２３】
このような符号化方法を備えることにより、ＭＰＥＧ−４  ＦＧＳは映像ストリームの伝送量を微細に調整することが可能である。
【００２４】
【非特許文献１】
ＩＳＯ／ＩＥＣ１４４９６−２  Ａｍｅｎｄｍｅｎｔ  ２
【非特許文献２】
Ｗ．  Ｌｉ，  “Ｏｖｅｒｖｉｅｗ  ｏｆ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ  ｉｎ  ＭＰＥＧ−４  Ｖｉｄｅｏ  Ｓｔａｎｄａｒｄ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，  ｖｏｌ．１１，  ｐｐ．３０１−３１７，  Ｍａｒ．２００１．
【００２５】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ−４  ＦＧＳは処理が複雑化するため、映像ストリームを生成するまでの時間が大きくなる。ＭＰＥＧ−４  ＦＧＳのストリームは、デコーダが映像を再生するための情報として、拡張レイヤストリームにおける１フレームの符号の先頭にＦＧＳ  ＶＯＰヘッダと呼ばれるヘッダ情報を格納する。
【００２６】
以下に、図９を用いて、１フレーム分の拡張レイヤストリームの構造を説明する。ＭＰＥＧ−４  ＦＧＳの符号化方法では、図９における拡張レイヤストリームのＦＧＳ  ＶＯＰヘッダを最初に出力し、続いてビット平面ＶＬＣ処理した符号を出力する。ＦＧＳ  ＶＯＰヘッダにはＭＳＢを記述し、各ビット平面の先頭にはＭＳＢとの相対的なビットの差であるｆｇｓ  ｖｏｐ  ｂｐ  ｉｄを記述しなければならない。よって、ＭＳＢを決定しない限り拡張レイヤストリームを生成できず、拡張レイヤストリームを出力することはできない。従来の手法では、フレーム内の全てのＤＣＴ係数を生成した後でＭＳＢの検出処理を開始していたため、ＦＧＳ  ＶＯＰヘッダを生成するまでの遅延が発生していた。
【００２７】
映像伝送における遅延は、特に、リアルタイムの映像を伴うコミュニケーションを使用する通話者間で、時間のずれが生じ会話が噛み合わないなどの不都合を生じさせる。
【００２８】
本発明は、ＭＰＥＧ−４  ＦＧＳにおける拡張レイヤのＭＳＢの予測して、ＦＧＳ  ＶＯＰヘッダを早期に生成することにより、拡張レイヤの符号化処理に要する時間を低減するものであり、特に映像符号化処理の低遅延化を目的とする。
【００２９】
【課題を解決するための手段】
この問題を解決するために本発明は、ヘッダ情報を予測して前記拡張レイヤストリームを生成する特徴を備えたものである。
【００３０】
これにより、ヘッダ情報を高速に生成し、映像階層符号化処理を低遅延化することが可能で、リアルタイム映像伝送などの用途に際してもユーザに不快な遅延を抑制する効果が得られる。
【００３１】
さらに上記の方法において、ヘッダ情報の予測とは、拡張レイヤストリームの符号化に用いる直交変換係数の同じビット位のみを集めたビット平面のうち最上位の非ゼロのビット平面のビット位をあらわすＭＳＢを予測する特徴を備えたものである。
【００３２】
これにより、拡張レイヤストリームのヘッダ情報の生成において遅延を有するＭＳＢの検出処理時間を削減することが可能で、映像符号化処理の低遅延化の効果が得られる。
【００３３】
さらに上記の方法において、過去の入力画像に対するＭＳＢを記録しておき、現在のＭＳＢを予測する特徴を備えたものである。
【００３４】
これにより、過去のＭＳＢから現在のＭＳＢを予測することが可能で、ＭＳＢの予測精度が向上する効果が得られる。
【００３５】
さらに上記の方法において、基本レイヤストリームに含まれる量子化パラメータを用いてＭＳＢを予測する特徴を備えたものである。
【００３６】
これにより、量子化パラメータからＭＳＢの取り得る範囲を推測することが可能で、ＭＳＢの予測精度が向上する効果が得られる。
【００３７】
さらに上記の方法において、入力画像を複数の領域に分割し、各領域の優先度を用いてＭＳＢを予測する特徴を備えたものである。
【００３８】
これにより、再生画像において優先的に高画質化する優先領域を検出し、ＭＳＢの取り得る範囲を推測することが可能で、ＭＳＢの予測精度が向上する効果が得られる。
【００３９】
さらに上記の方法において、複数の方法を用いて予測されたＭＳＢの各予測値を、重み係数を用いて調整する特徴を備えたものである。
【００４０】
これにより、画面内の変化が激しい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り画質が劣化することを防ぐ効果が得られ、変化が激しくない場合にＭＳＢの予測値を小さく設定することが可能で、ＭＳＢの予測値が実測値を上回ることによる冗長な符号の発生と、それに伴う情報の劣化を防ぐ効果が得られる。
【００４１】
さらに上記の方法において、重み係数を、現在の入力画像と過去の入力画像との、画素値の変化に応じて算出する特徴を備えたものである。
【００４２】
これにより、画面内の変化を検出し、変化が激しい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り画質が劣化することを防ぐ効果が得られる。
【００４３】
さらに上記の方法において、重み係数を、現在の入力画像と過去の入力画像との、各領域の優先度の変化に応じて算出する特徴を備えたものである。
【００４４】
これにより、優先領域の変化を検出し、変化が激しい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り優先領域の画質が劣化することを防ぐ効果が得られる。
【００４５】
さらに上記の方法において、重み係数を、基本レイヤストリームに含まれる動きベクトルに応じて算出する特徴を備えたものである。
【００４６】
これにより、動きベクトルの変化を検出し、変化が激しい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り画質が劣化することを防ぐ効果が得られる。
【００４７】
さらに上記の方法のおいて、予測されたＭＳＢが実際のＭＳＢと異なる場合、領域の優先度を変更する特徴を備えたものである。
【００４８】
これにより、ＭＳＢの予測が外れた場合においても冗長な符号の発生と、それに伴う情報の劣化を防ぐ効果が得られる。
【００４９】
さらに上記の方法において、生成された基本レイヤストリームと拡張レイヤストリームを順次出力する特徴を備えたものである。
【００５０】
これにより、高速に生成されたヘッダ情報に続いてそれ以外のストリームを高速に出力することが可能で、映像階層ストリームの出力を低遅延化する効果が得られる。
【００５１】
さらに本発明の映像符号化装置は、入力画像を一の基本レイヤストリームと、少なくとも一つの拡張レイヤストリームとに階層的に符号化して順次出力する映像符号化装置であって、基本レイヤストリームを復号して復号画像を生成する基本レイヤ復号部と、前記入力画像と前記復号画像との差分である残余画像を生成する残余画像生成部と、前記残余画像をＤＣＴ変換してＤＣＴ係数を生成するＤＣＴ部と、前記入力画像と前記基本レイヤストリームとを用いてＭＳＢ予測値を生成するＭＳＢ予測部と、前記ＭＳＢ予測値に基づいて前記ＤＣＴ係数にビット平面ＶＬＣ処理を行い拡張レイヤストリームを生成するビット平面ＶＬＣ部と、を有する。
【００５２】
これにより、映像符号化処理を低遅延化することが可能で、リアルタイム映像伝送などの用途に際してもユーザに不快な遅延を抑制する効果が得られる。
【００５３】
さらに本発明の映像符号化プログラムは、請求項１ないし請求項１０記載の映像符号化方法をコンピュータに実行させるためのプログラムである。
【００５４】
これにより、映像階層符号化処理を低遅延化することが可能で、リアルタイム映像伝送などの用途に際してもユーザに不快な遅延を抑制する効果が得られる。
【００５５】
【発明の実施の形態】
本発明の骨子は、拡張レイヤストリームのＦＧＳ  ＶＯＰヘッダに含まれるＭＳＢを予測することにより、符号化処理を低遅延化することである。
【００５６】
（実施の形態１）
図１に、本発明の実施の形態１に関わる映像符号化方法を適用した映像符号化装置１００の構成を表すブロック図を示す。図１において映像符号化装置１００は、１フレームごとに入力画像を入力する映像入力部１０１と、基本レイヤストリームを生成する基本レイヤエンコーダ１０２と、拡張レイヤストリームを生成する拡張レイヤエンコーダ１０６と、拡張レイヤの生成を低遅延化させるためにＭＳＢを予測するＭＳＢ予測部１１４からなる。
【００５７】
図１において基本レイヤエンコーダ１０２は、入力画像を基本レイヤストリームに符号化する基本レイヤ符号化部１０３、基本レイヤストリームを復号化する基本レイヤ復号化部１０５、基本レイヤストリームを出力する基本レイヤ出力部１０４を有する。基本レイヤ符号化部１０３は、映像入力部１０１より１フレームの入力画像を受け取り、映像符号化方法を用いて基本レイヤストリームを生成し、基本レイヤ出力部１０４と基本レイヤ復号化部１０５にマクロブロック毎に出力する。基本レイヤの符号化方法としては、ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅを用いることが出来る。
【００５８】
図１において基本レイヤ出力部１０４は、基本レイヤ符号化部１０３から出力された基本レイヤストリームを映像符号化装置１００の外部にマクロブロックごとに出力する。
【００５９】
基本レイヤ復号化部１０５は、基本レイヤ符号化部１０３から出力された基本レイヤストリームを復号化し、基本レイヤ復号画像を生成する。生成された基本レイヤ復号画像を、残余画像生成部１０８にマクロブロックごとに出力する。
【００６０】
本発明は、ＭＳＢの予測を用いてＦＧＳ  ＶＯＰヘッダを早期に決定することが可能である。それにより、ＦＧＳ  ＶＯＰヘッダに続く拡張レイヤストリームを順次符号化処理し順次出力すること可能で、映像階層ストリームの出力を低遅延化することができる。本発明の低遅延化の能力を最大限に発揮するため、本実施の形態では、基本レイヤと拡張レイヤのストリームの出力をマクロブロック単位で行い、それに伴う処理もマクロブロック単位で行う。
【００６１】
拡張レイヤエンコーダ１０６は、残余画像を生成する残余画像生成部１０８、残余画像に対してＤＣＴ処理を行うＤＣＴ部１０９、シフトマップを生成するシフトマップ生成部１０７、シフトマップに従ってＤＣＴ係数にビットシフトを行うビットシフト部１１０、ビットシフトされたＤＣＴ係数からＭＳＢ履歴値を検出するＭＳＢ履歴部１１１、ビットシフトされたＤＣＴ係数にビット平面ＶＬＣ処理を行うビット平面ＶＬＣ部１１２、生成された拡張レイヤストリームを出力する拡張レイヤ出力部１１３を備える。
【００６２】
ここでシフトマップとは、映像の一部領域を優先して高画質化するためのものであり、これを用いると、狭い通信帯域においてもユーザが注目する映像の領域を優先して伝送することができる。シフトマップは、１フレームの入力画像をマクロブロックごとの領域に分割し、領域ごとにシフト値を与えたものである。本実施の形態では、シフトマップのシフト値として０から４の値を各領域に設定する。なお、本実施の形態ではシフトマップの有無に関わらず適用可能である。
【００６３】
ここでＭＳＢ履歴値とは、ＭＳＢ予測部がＭＳＢの予測の際に用いる現在の入力画像のＭＳＢ実測値のことであり、ＭＳＢ履歴値は次の入力画像の符号化処理に用いる。
【００６４】
シフトマップ生成部１０７は、映像入力部１０１から受け取った入力画像内から重要と思われる領域を検出し、領域の優先度に比例してシフト値を与えたシフトマップを生成し、ビットシフト部１１０とＭＳＢ予測部１１４に出力する。
【００６５】
残余画像生成部１０８は、映像入力部１０１より受け取った入力画像と基本レイヤ復号化部１０５から出力された復号化画像との差分である残余画像を生成し、ＤＣＴ部１０９にマクロブロックごとに出力する。
【００６６】
ＤＣＴ部１０９は、残余画像生成部１０８から出力された残余画像に対して８×８画素のブロック単位でＤＣＴ変換を行いＤＣＴ係数を生成し、ビットシフト部１１０にマクロブロックごとに出力する。
【００６７】
ビットシフト部１１０は、ＤＣＴ部１０９から出力された残余画像のＤＣＴ係数をシフトマップ生成部１０７から出力されたシフトマップに基づいてマクロブロックごとにビットシフトを行い、ＤＣＴ係数をＭＳＢ履歴部１１１とビット平面ＶＬＣ部１１２にマクロブロックごとに出力し、マクロブロックごとのビットシフトした値をビット平面ＶＬＣ部１１２に出力する。
【００６８】
ＭＳＢ履歴部１１１は、ビットシフト部１１０から出力されたビットシフト後のＤＣＴ係数の中からＭＳＢ履歴値を検出し、ＭＳＢ予測部１１４にマクロブロックごとに出力する。
【００６９】
ビット平面ＶＬＣ部１１２は、ＭＳＢ予測部１１４から出力されたＭＳＢ予測値とビットシフト部１１０から出力されたマクロブロックごとのビットシフトした値を用いてヘッダ情報を生成する。さらにビット平面ＶＬＣ部１１２は、ビットシフト部１１０から出力されたＤＣＴ係数をＭＳＢ予測値のビット平面から順にビット平面ＶＬＣ処理し、ヘッダ情報と合わせて拡張レイヤストリームを生成し、拡張レイヤ出力部１１３にマクロブロックごとに出力する。
【００７０】
拡張レイヤ出力部１１３は、ビット平面ＶＬＣ部１１２から出力された拡張レイヤストリームを映像符号化装置１００の外部にマクロブロックごとに出力する。
【００７１】
ＭＳＢ予測部１１４は、映像入力部１０１から受け取った入力画像、基本レイヤ符号化部１０３から出力された基本レイヤストリーム、シフトマップ生成部１０７から出力されたシフトマップ、ＭＳＢ履歴部１１１から出力されたＭＳＢ履歴値、をもとにＭＳＢの予測値であるＭＳＢ予測値を生成する。ＭＳＢ予測部１１４は生成したＭＳＢ予測値を、ビット平面ＶＬＣ部１１２に出力する。なお図示していないが、ＭＳＢ予測部１１４は、ＭＳＢ予測部１１４への各入力値を記憶しておくバッファ部を持つ。
【００７２】
以上のように構成された映像符号化装置１００の動作を、図２と図３と図４に示すフローチャートを用いて説明する。図２と図３と図４に示すフローチャートは、映像符号化装置のＲＯＭやフラッシュメモリなどの記憶装置に制御プログラムとして記憶されており、ＣＰＵなどによって実行する。
【００７３】
以下に、図２に示す映像符号化装置１００の動作を表すフローチャートを用いて、各ステップの処理を説明する。
【００７４】
図２に示すとおり映像符号化装置１００は次の手順で処理される。
【００７５】
Ｓ２０１は、最初に映像の入力を行う処理である。
【００７６】
Ｓ２０２は、基本レイヤの符号化を行う、Ｓ２０１に続く処理である。
【００７７】
Ｓ２０３は、シフトマップの生成を行う、Ｓ２０１に続く処理である。
【００７８】
Ｓ２０４は、基本レイヤの復号化を行う、Ｓ２０２に続く処理である。
【００７９】
Ｓ２０５は、ＭＳＢの予測を行う、Ｓ２０３に続く処理である。
【００８０】
Ｓ２０６は、拡張レイヤの符号化を行う、Ｓ２０４とＳ２０５に続く処理である。
【００８１】
Ｓ２０７は、映像符号化を終了するかを判定する、Ｓ２０６に続く処理である。
【００８２】
以下に、各ステップの詳細な説明を行う。
【００８３】
図２において映像入力処理ステップＳ２０１では映像入力部１０１が、映像信号を入力する処理を行う。具体的には、映像入力部１０１が入力した映像信号から同期信号を検出して、入力画像を基本レイヤ符号化部１０３、残余画像生成部１０８、シフトマップ生成部１０７、ＭＳＢ予測部１１４に１フレームごとに出力する。
【００８４】
基本レイヤ符号化処理ステップＳ２０２では基本レイヤ符号化部１０３が、映像信号を基本レイヤストリームへと符号化する処理を行う。基本レイヤ符号化部１０３は映像入力部１０１から入力画像を受け取り、動き補償、ＤＣＴ、量子化、可変長符号化などを介してマクロブロックごとにＭＰＥＧ符号化を行って基本レイヤストリームを生成する。基本レイヤ符号化部１０３は基本レイヤストリームを、基本レイヤ出力部１０４、基本レイヤ復号化部１０５、ＭＳＢ予測部１１４に出力する。基本レイヤ出力部１０４は、生成された基本レイヤストリームを順次、映像符号化装置１００の外部にマクロブロックごとに出力する。ただしＭＳＢの予測には１フレーム全ての量子化パラメータと動きベクトルが必要なので、基本レイヤの量子化パラメータと動きベクトルの生成はマクロブロックごとではなく、入力画像が入力された時点で１フレーム全てのマクロブロックに対して行い、ＭＳＢ予測部１１４に出力する。
【００８５】
基本レイヤ復号化処理ステップＳ２０４では基本レイヤ復号化部１０５が、基本レイヤ符号化部１０３から出力された基本レイヤストリームに対してマクロブロックごとに復号化を行い復号化画像を得る。生成した復号画像を残余画像生成部１０８にマクロブロックごとに出力する。
【００８６】
シフトマップ生成処理ステップＳ２０３ではシフトマップ生成部１０７が、映像入力部１０１から受け取った入力画像をもとにシフトマップの生成を行い、ビットシフト部１１０とＭＳＢ予測部１１４に１フレームごとに出力する。本実施の形態において、シフトマップ生成処理は、マクロブロックごとに入力画像を領域に区切り、その領域の優先度に対応する０〜４のシフト値を設定するものとする。優先度の値として入力画像内においてユーザがもっとも注目する領域に４の値を割り振り、優先度が下がるにつれ低い値を設定するものとする。図５に、１フレームをマクロブロックごとの領域にわけ、それぞれに優先度を設定したシフトマップを例示する。優先とする領域として、人物の顔、動物体、その他特定のオブジェクト、ある固定座標などが上げられる。シフトマップの生成方法として本実施の形態が示す以外に様々な手段が考えられる。なお、優先度を設定しない場合、本実施の形態では、全ての領域に対して０のシフト値を割り当てたシフトマップを用いる。
【００８７】
図２においてＭＳＢ予測処理ステップＳ２０５ではＭＳＢ予測部１１４が、映像入力部１０１から受け取った現入力画像、基本レイヤ符号化部１０３から出力された基本レイヤストリーム、シフトマップ生成部１０７から出力されたシフトマップを用いる。さらにＭＳＢ予測部１１４は、ＭＳＢ予測部１１４が格納している記憶部から出力された前入力画像、前フレームのシフトマップ、前フレームと前々フレームのＭＳＢ履歴値、前フレームの重み係数を受け取り、現フレームのＭＳＢを予測し、ＭＳＢ予測値をビット平面ＶＬＣ部１１２と拡張レイヤ出力部１１３に出力する。
【００８８】
【数１】
2004343511.tif 000003
【００８９】
以下に、ＭＳＢ予測処理ステップＳ２０５の動作を説明する。（数式１）にＭＳＢ予測処理ステップＳ２０５におけるＭＳＢ予測方法を示す。（数式１）において、ＭＳＢｐｒｅはＭＳＢ予測値を表し、Ｑ’は予測上限値を表し、ＭＳＢ’は履歴予測値を表し、αは重み係数を表す。ＭＳＢ予測処理ステップＳ２０５ではＭＳＢ予測部１１４が、予測上限値Ｑ’と履歴予測値ＭＳＢ’と重み係数αとを含む（数式１）を用いて、ＭＳＢ予測値であるＭＳＢｐｒｅを計算する。
【００９０】
ここで図３を用いて、（数式１）の各変数及び係数について説明する。
【００９１】
【数２】
2004343511.tif 000004
【００９２】
予測上限値Ｑ’は、予測上限値計算処理ステップＳ３０１で（数式２）を用いて計算する。（数式２）において、Ｑ＿ＭＢｋは量子化パラメータを表し、Ｓ＿ＭＢｋはシフト値を表す。予測上限値Ｑ’は、基本レイヤの量子化パラメータとシフトマップのシフト値から計算され、ＭＳＢｐｒｅの取り得る範囲の上限値を表す。
【００９３】
【数３】
2004343511.tif 000005
【００９４】
履歴予測値ＭＳＢ’は、履歴予測値計算処理ステップＳ３０６で（数式３）を用いて計算する。（数式３）において、ＭＳＢ＾ｔ−１は前入力画像のＭＳＢ履歴値を表し、α＾ｔ−１は前入力画像の重み係数を表し、ＭＳＢ＾ｔ−２は前々入力画像のＭＳＢ履歴値を表す。履歴予測値ＭＳＢ’は、過去の入力画像を符号化する際に検出したＭＳＢ履歴値から予測するＭＳＢの予測値を表す。
【００９５】
【数４】
2004343511.tif 000006
【００９６】
重み係数αは、重み係数計算処理ステップＳ３０５で（数式４）を用いて計算する。（数式４）において、Ｐｄｉｆｆは画素差分値を表し、Ｓｄｉｆｆは優先度差分値を表し、Ｖｓｕｍは動きベクトル合計値を表し、α１とα２とα３は重み係数を表す。重み係数αは、量子化予測係数Ｑ’と履歴予測値ＭＳＢ’のどちらに比重を置いてＭＳＢｐｒｅを計算するか、すなわち、ＭＳＢｐｒｅを大きな値にするか小さな値にするかを表す。重み係数αが大きな値をとるほど量子化予測係数Ｑ’に比重をおき、ＭＳＢｐｒｅを大きな値とする。
【００９７】
以下に、ＭＳＢ予測値とＭＳＢ実測値の関係を詳しく説明する。
【００９８】
重み係数αの値が大きければ、ＭＳＢ予測値はＭＳＢ実測値が取り得る値の範囲の上限の予測上限値Ｑ’に近づき、すなわちＭＳＢ予測値がＭＳＢ実測値を上回る可能性が高くなる。ＭＳＢ予測値がＭＳＢ実測値を上回った場合、画像に対する情報をもたない零ビット平面をビット平面ＶＬＣ処理することになり、冗長な符号量が増えることになる。
【００９９】
重み係数αの値が小さければ、ＭＳＢ予測値はＭＳＢ’に近づき、ＭＳＢ実測値を下回る可能性もある。ＭＳＢ予測値がＭＳＢ実測値を下回った場合、画像品質に対して大きい影響力をもつ上位の非零ビット平面を零ビット平面としてビット平面ＶＬＣ処理を行うことになる。
【０１００】
このように、ＭＳＢの予測には高い予測精度が要求される。
【０１０１】
しかしながら、ＭＰＥＧ−４  ＦＧＳの拡張レイヤに対する符号化はフレーム間の相関を用いないフレーム内符号化であり、あるフレームで拡張レイヤストリームの一部損失による画像品質の劣化が起こっても、次のフレームの画像品質には影響しない。よって本発明は１フレームの画像品質が劣化するとしても映像ストリーム全体が低遅延化されているため、画像品質向上のために映像ストリーム全体に大きな遅延が発生する符号化方法より、リアルタイム性を有する映像伝送の分野において十分に優れている。
【０１０２】
以下に、図３のフローチャートと（数式２）ないし（数式５）を用いて、ＭＳＢ予測処理ステップＳ２０５における（数式１）の各ｌ変数および係数を求める処理について詳細に説明する。
【０１０３】
図３に示すとおり、ＭＳＢ予測処理ステップＳ２０５は次の手順で処理される。
【０１０４】
Ｓ３０１は、予測上限値Ｑ’を計算する処理である。
【０１０５】
Ｓ３０２は、現入力画像と前入力画像との画素の差分値の和を計算する処理である。
【０１０６】
Ｓ３０３は、現シフトマップと前シフトマップの優先度の差分値の和を計算する処理である。
【０１０７】
Ｓ３０４は、基本レイヤの動きベクトルの大きさの和を計算する処理である。
【０１０８】
Ｓ３０５は、重み係数αを計算する、Ｓ３０２とＳ３０３とＳ３０４に続く処理である。
【０１０９】
Ｓ３０６は、履歴予測値ＭＳＢ’を計算する、Ｓ３０５に続く処理である。
【０１１０】
Ｓ３０７は、ＭＳＢ予測値を計算する、Ｓ３０１とＳ３０６に続く処理である。
【０１１１】
ＭＳＢ予測処理ステップＳ２０５は、他の数式を用いても実現できる。
【０１１２】
以下に、各ステップの詳細な説明を行う。
【０１１３】
予測上限値計算処理ステップＳ３０１ではＭＳＢ予測部１１４が、基本レイヤ符号化部１０３から出力された基本レイヤストリーム、シフトマップ生成部１０７から出力されたシフトマップを受け取り、予測上限値Ｑ’の値を計算する。（数式２）に予測上限値Ｑ’の計算式を示す。（数式２）において、Ｑ＿ＭＢｋはフレーム内ｋ番目のマクロブロックであるＭＢｋの量子化パラメータを表し、Ｓ＿ＭＢｋはシフトマップ内で定義するＭＢｋのシフト値を表す。（数式２）を用いて計算した予測上限値Ｑ’は、ＭＳＢの取り得る値の範囲を限定するものであり、ＭＳＢ予測値計算処理ステップＳ３０７に用いる。具体的に予測上限値Ｑ’の値は、マクロブロックごとの基本レイヤストリーム生成に用いられた量子化パラメータとシフト値の和、の最大値である。Ｈ．  Ｊｉａｎｇ，  “Ｅｘｐｅｒｉｍｅｎｔ  ｏｎ  ｐｏｓｔ−ｃｌｉｐ  ＦＧＳ  ｅｎｈａｎｃｅｍｅｎｔ”，ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１，  ＭＰＥＧ００／Ｍ５８２６，  Ｍａｒ．２０００．とＷ．  Ｌｉ，  “Ｖｅｒｉｆｉｃａｔｉｏｎ  ｏｆｐｏｓｔ−ｃｌｉｐｐｉｎｇ  ａｄｄｉｔｉｏｎ  ｒｅｓｕｌｔｓ”，  ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１，  ＭＰＥＧ００／Ｍ５９６７，  Ｍａｒ．２０００．によれば（数式５）に示す近似式において、残余画像のＤＣＴ係数は、入力画像のＤＣＴ係数と量子化および逆量子化した入力画像のＤＣＴ係数の差で、近似できる。
【０１１４】
【数５】
2004343511.tif 000007
【０１１５】
（数式５）において、ｘは入力信号である８×８画素の画素値を表す６４×１のベクトルを表し、ＡはＤＣＴ変換を表現する６４×６４の行列を表し、Ａ＾−１は逆ＤＣＴ変換を表現する６４×６４の行列を表し、ｑは基本レイヤの量子化パラメータを表現するスカラー値の表す。Ａｘはｘに対するＤＣＴ係数である。Ｌ１／ｑ×Ａｘ」はＤＣＴ係数に対しての量子化処理を表し、Ａｘ内の各要素をｑで除して剰余を切り捨てる処理である。Ｌ１／ｑ×Ａｘ」×ｑは逆量子化処理を表し、量子化されたＤＣＴ係数にｑをかける処理である。
【０１１６】
（数式５）の左辺は、入力画像と復号画像の差分のＤＣＴ係数を表す。（数式５）の右辺は、入力画像のＤＣＴ係数とそれを逆量子化して得られたＤＣＴ係数の差分を表す。また、（数式５）の右辺は、ＤＣＴ係数Ａｘをｑで除した剰余に等しい。
【０１１７】
よって、残余画像のＤＣＴ係数の近似値の絶対値は、基本レイヤの量子化パラメータより大きい数値を取らない。（数式５）によれば、残余画像のＤＣＴ係数をビットシフトした値は、量子化パラメータとビットシフトの値の和を上回ることはない。すなわち、（数式５）によれば、ＭＳＢは予測上限値Ｑ’以下の数値を取る。
【０１１８】
【数６】
2004343511.tif 000008
【０１１９】
画素差分値計算処理ステップＳ３０２ではＭＳＢ予測部１１４が、映像入力部１０１から受け取った現入力画像、ＭＳＢ予測部１１４に内蔵されている記憶部から受け取った前入力画像を受け取り、画素差分値Ｐｄｉｆｆの値を計算する。（数式６）に画素差分値Ｐｄｉｆｆの計算式を示す。（数式６）において、Ｐ＿ｉ＾ｔは現入力画像のｉ番目の画素値を表し、Ｐ＿ｉ＾ｔ−１は前入力画像のｉ番目の画素値を表す。（数式６）を用いて計算した画素差分値Ｐｄｉｆｆは、前入力画像と現入力画像の画素値の差分を表し、重み係数計算処理ステップＳ３０５に用いる。具体的に画素差分値Ｐｄｉｆｆは、現入力画像と前入力画像の画素値の差分絶対和を求めて計算する。現入力画像と前入力画像の間に全く変化がなければ画素差分値Ｐｄｉｆｆは０であり、シーンチェンジなど大きな変化があれば画素差分値Ｐｄｉｆｆは大きな値となる。
【０１２０】
【数７】
2004343511.tif 000009
【０１２１】
優先度差分値計算処理ステップＳ３０３ではＭＳＢ予測部１１４が、シフトマップ生成部１０７から出力された現フレームのシフトマップ、ＭＳＢ予測部１１４に含まれる記憶部から出力された前フレームのシフトマップを受け取り、優先度差分値Ｓｄｉｆｆの値を計算する。（数式７）に優先度差分値Ｓｄｉｆｆの計算式を示す。（数式７）において、Ｓ＿ＭＢｋ＾ｔは現入力画像に対するＭＢｋのシフト値を表し、Ｓ＿ＭＢｋ＾ｔ−１は前入力画像に対するＭＢｋのシフト値を表す。（数式７）を用いて計算した優先度差分値Ｓｄｉｆｆは、重要領域の形状の変化の度合いを表し、重み係数計算処理ステップＳ３０５に用いる。具体的に優先度差分値Ｓｄｉｆｆは、現シフトマップと前シフトマップの差分絶対和を求計算する。前入力画像と現入力画像の重要領域の形状に変化がなければ優先度差分値Ｓｄｉｆｆは０であり、重要領域が表すオブジェクトが大きく移動するなどすれば優先度差分値Ｓｄｉｆｆはより大きい値をとる。
【０１２２】
【数８】
2004343511.tif 000010
【０１２３】
動きベクトル合計値計算処理ステップＳ３０４ではＭＳＢ予測部１１４が、基本レイヤ符号化部１０３から出力された基本レイヤストリームを受け取り、動きベクトル合計値Ｖｓｕｍの値を計算する。（数式８）に動きベクトル合計値Ｖｓｕｍの計算式を示す。（数式８）において、Ｖｊは基本レイヤストリームに含まれるｊ番目の動きベクトルを表し、｜Ｖｊ｜は動きベクトルの大きさを表す。（数式８）を用いて計算した動きベクトル合計値Ｖｓｕｍは、基本レイヤで用いる参照画像の動きの度合いを表し、α計算処理ステップＳ３０５に用いる。具体的に動きベクトル合計値Ｖｓｕｍは、基本レイヤストリームに含まれる現フレームの動きベクトルの大きさの和を求めて計算する。
【０１２４】
重み係数計算処理ステップＳ３０５ではＭＳＢ予測部１１４が、画素差分値計算処理ステップＳ３０２と優先度差分値計算処理ステップＳ３０３と動きベクトル合計値計算処理ステップＳ３０４において計算する画素差分値Ｐｄｉｆｆと優先度差分値Ｓｄｉｆｆと動きベクトル合計値Ｖｓｕｍと、適当な定数係数α１とα２とα３を用いて、重み係数αを計算する。（数式４）に重み係数αの計算式を示す。（数式４）を用いて計算した重み係数αは、現入力画像と前入力画像の変化の度合いを表しており、履歴予測値計算処理ステップＳ３０６およびＭＳＢ予測値計算処理ステップＳ３０７に用いる。具体的に重み係数αは、画素差分値Ｐｄｉｆｆと優先度差分値Ｓｄｉｆｆと動きベクトル合計値Ｖｓｕｍのα１とα２とα３による重み付の和であり、重み係数αが０から１の範囲に納まるように定数係数α１とα２とα３を予め決定する。重み係数αは、前入力画像と現入力画像に変化が全くなければ０で、変化が大きければより大きい値をとる。
【０１２５】
履歴予測値計算処理ステップＳ３０６ではＭＳＢ予測部１１４が、ＭＳＢ予測部１１４に内蔵されている記憶部から出力された前フレームと前々フレームに対するＭＳＢ履歴値、重み係数計算処理ステップＳ３０５で計算する現フレームに対する重み係数αを得て、履歴予測値ＭＳＢ’の値を計算する。（数式３）に履歴予測値ＭＳＢ’の計算式を示す。（数式３）において、ＭＳＢ＾ｔ−１は前入力画像に対する拡張レイヤの予測ではないＭＳＢ履歴値を表し、ＭＳＢ＾ｔ−２は前々入力画像に対する拡張レイヤの予測ではないＭＳＢ履歴値を表し、重み係数α＾ｔ−１は前記重み係数α計算ステップにおいて計算された前入力画像に対する重み係数である。（数式３）を用いて計算した履歴予測値ＭＳＢ’は、前ＭＳＢと前々ＭＳＢから現フレームのＭＳＢを予測したものであり、ＭＳＢ予測値計算処理ステップＳ３０７に用いる。具体的に履歴予測値ＭＳＢ’は、右辺第１項の前ＭＳＢに、前ＭＳＢと前々ＭＳＢとの差分に１と重み係数αの差分を乗じた右辺第２項を足して計算する。もし、前入力画像と前々入力画像間に変化が大きく重み係数α＾ｔ−１が１に近ければ、（数式３）の右辺第２項は０となり前ＭＳＢが履歴予測値ＭＳＢ’となる。もし、前入力画像と前々入力画像のＭＳＢ履歴値が同じであれば、（数式３）の右辺第２項は０となり前ＭＳＢが履歴予測値ＭＳＢ’となる。そのどちらでもなければ、前入力画像と前々入力画像のＭＳＢ履歴値の推移をもとにＭＳＢの予測を行う。
【０１２６】
ＭＳＢ予測値計算処理ステップではＭＳＢ予測部１１４が、予測上限値計算処理ステップＳ３０１において計算する予測上限値Ｑ’、履歴予測値計算処理ステップＳ３０６において計算する履歴予測値ＭＳＢ’、重み係数計算処理ステップＳ３０５において計算する重み係数αを得て、ＭＳＢｐｒｅを計算する。（数式１）にＭＳＢｐｒｅの計算式を示す。（数式１）を用いて計算したＭＳＢｐｒｅは、ＭＳＢ予測値を表し、ビット平面ＶＬＣ処理部に渡す。具体的にＭＳＢｐｒｅは、重み係数αと予測上限値Ｑ’の積と、１から重み係数αを減じた値に履歴予測値ＭＳＢ’を乗じた値、との和で計算する。もし、重み係数αの値が大きければＭＳＢｐｒｅの値は予測上限値Ｑ’に近づき、反対の場合、ＭＳＢｐｒｅの値は履歴予測値ＭＳＢ’に近づく。ただし、（数式１）によって計算したＭＳＢｐｒｅの値が予測上限値Ｑ’を超える場合、ＭＳＢｐｒｅを予測上限値Ｑ’の値に修正する。
【０１２７】
本発明は、上記本実施の形態のＭＳＢ予測処理ステップＳ２０５に一例を示した、ＭＳＢの予測を用いてＦＧＳ  ＶＯＰヘッダを早期に決定することが可能なため、映像階層符号化処理の低遅延化を実現できる。
【０１２８】
以下に、図４のフローチャートを用いて、拡張レイヤ符号化処理ステップＳ２０６の動作を説明する。
【０１２９】
図４に示すとおり、拡張レイヤ符号化処理ステップＳ２０６は次の手順で処理される。
【０１３０】
Ｓ４０１は、入力画像と基本レイヤの復号画像の差分である残余画像を生成する処理である。
【０１３１】
Ｓ４０２は、残余画像にＤＣＴ変換を施しＤＣＴ係数を生成する、Ｓ４０１に続く処理である。
【０１３２】
Ｓ４０３は、ＤＣＴ係数に対してシフトマップに基づきビットシフトを行う、Ｓ４０２に続く処理である。
【０１３３】
Ｓ４０４は、ビットシフトされたＤＣＴ係数からＭＳＢを履歴する、Ｓ４０３に続く処理である。
【０１３４】
Ｓ４０５は、ＭＳＢ予測値のビット平面に対しビット平面ＶＬＣを施し出力する、Ｓ４０４に続く処理である。
【０１３５】
Ｓ４０６は、ＭＳＢ予測値以外のビット平面に対してビット平面ＶＬＣを施し出力する、Ｓ４０５に続く処理である。
【０１３６】
以下に、各ステップの詳細な説明を行う。
【０１３７】
図４において、拡張レイヤ符号化処理ステップＳ２０６では拡張レイヤエンコーダ１０６が、基本レイヤ復号化部１０５から出力された復号画像、シフトマップ生成部１０７から出力されたシフトマップ、ＭＳＢ予測部１１４から出力されたＭＳＢ予測値を用いて、図９に例示する構造をもつ拡張レイヤストリームを生成する。
【０１３８】
残余画像生成処理ステップＳ４０１では残余画像生成部１０８が、映像入力部１０１から出力された入力画像と基本レイヤ復号部から出力された復号画像の差分を取り、残余画像を生成しＤＣＴ部１０９にマクロブロックごとに出力する。
【０１３９】
ＤＣＴ処理ステップＳ４０２ではＤＣＴ処理部が、残余画像処理部から出力された残余画像に対して、８×８画素のブロックごとの画素に対してＤＣＴ変換を行ってＤＣＴ係数を生成し、ビットシフト部１１０にブロックごとに出力する。図６は１フレーム分のＤＣＴ係数の最下位ビットを、右揃えにビット平面ＶＬＣ処理順に、並べたものである。
【０１４０】
ビットシフト処理ステップＳ４０３では、ＤＣＴ部１０９から出力されたＤＣＴ係数をシフトマップの対応するマクロブロックに設定された値に従って、マクロブロックごとにＤＣＴ係数を上位ビットにシフトさせ、ＤＣＴ係数をＭＳＢ履歴部１１１とビット平面ＶＬＣ部１１２にマクロブロックごとに出力し、マクロブロックごとのビットシフトした値をビット平面ＶＬＣ部１１２に出力する。図７に、図６で表すＤＣＴ係数をあるシフトマップに従ってビットシフトした後の様子を示す。ＤＣＴ係数を表すビット列のうち、上位ビットになればなるほど、画質に対するより大きい影響を持つ。拡張レイヤエンコーダ１０６は、より上位の非零ビット平面を優先して可変長符号化処理を行い出力するので、ビットシフト処理により重要領域を上位ビット平面に配置させ、重要領域の高画質化を行うことが出来る。
【０１４１】
ＭＳＢ履歴処理ステップＳ４０４ではＭＳＢ履歴部１１１が、ビットシフト部１１０から出力されたビットシフトされたＤＣＴ係数を受け取り、ＭＳＢ履歴値を検出しＭＳＢ予測部１１４に出力する。ＭＳＢ履歴処理ステップＳ４０４によって検出されたＭＳＢ履歴値は次の入力画像の符号化処理に用いる。図８に、ＭＳＢの概念図を例示する。
【０１４２】
ＭＳＢ予測値ビット平面ＶＬＣ処理ステップＳ４０５ではビット平面ＶＬＣ部１１２が、ＭＳＢ予測部から出力されたＭＳＢ予測値とビットシフト部１１０から出力されたマクロブロックごとのビットシフトの値から、ＦＧＳ  ＶＯＰヘッダやビット平面やマクロブロックのヘッダ情報を生成する。さらにビット平面ＶＬＣ部１１２は、ビットシフト部１１０から出力された１マクロブロック分のＤＣＴ係数の、ＭＳＢ予測部１１４から出力されたフレーム全体のＭＳＢ予測値のビット平面に対してビット平面ＶＬＣを行い、ヘッダ情報と合わせて拡張レイヤストリームを生成し、拡張レイヤ出力部にマクロブロックごとに出力する。拡張レイヤ出力部１１３は、ビット平面ＶＬＣ部１１２から出力された拡張レイヤストリームをマクロブロックごとに映像符号化装置１００の外部に出力する。
【０１４３】
ビット平面ＶＬＣ処理ステップＳ４０６ではビット平面ＶＬＣ部１１２が、ＭＳＢ予測部１１４から出力されたＭＳＢ予測値とビットシフト部１１０から出力されたマクロブロックごとのビットシフトの値から、ビット平面やマクロブロックのヘッダ情報を生成し出力する。さらにビット平面ＶＬＣ部１１２が、ビットシフト部１１０から出力されたＤＣＴ係数の、ＭＳＢ予測値以下でビット平面ＶＬＣ処理をしていない最上位のビット平面に対してビット平面ＶＬＣを行い、ヘッダ情報と合わせて拡張レイヤストリームを生成し、拡張レイヤ出力部１１３にマクロブロックごとに出力する。拡張レイヤ出力部１１３は、ビット平面ＶＬＣ部１１２から出力された拡張レイヤストリームをマクロブロックごとに映像符号化装置１００の外部に出力する。幾つのビット平面に対してビット平面ＶＬＣ処理を行うかは、通信帯域の制限による符号量の抑制や、復号化側から要求される画像品質の度合いなどに依存する。
【０１４４】
なお、通信帯域が制限されており映像符号化装置１００が符号化し伝送するビット平面の数を制限するなどの場合、冗長な非零ビット平面の符号は画像品質を劣化させる可能性がある。ＭＳＢ予測値がＭＳＢ実測値を下回る場合、ＤＣＴ係数を上位にシフトさせる形態をとることにより、冗長な零ビット平面の生成を防ぐことができる。この場合、ＭＳＢ予測値ビット平面ＶＬＣ処理ステップＳ４０５において、シフトマップ生成部１０７から出力されたシフトマップを修正する。
【０１４５】
図２において映像終了判定ステップＳ２０７では、映像入力部１０１への映像の入力がないかどうかを判定し、なければ映像符号化処理を終了する。そうでなければ、映像入力処理ステップ１０１に戻り、前記一連のステップを入力する映像の１フレームごとに繰り返す。
【０１４６】
以上のように本実施の形態では、ＭＳＢ予測処理ステップＳ２０５で動作を表されるＭＳＢ予測部１１４を備えることによって、ＦＧＳ  ＶＯＰヘッダを早期に決定し、映像階層符号化処理の低遅延化を実現することができ、その実用的効果は大きい。
【０１４７】
予測上限値計算処理ステップＳ３０１を備えたことにより、ＭＳＢ予測値の予測範囲の上限値を特定し、ＭＳＢの予測精度を向上させることができ、その実用的効果は大きい。
【０１４８】
画素差分値計算処理ステップＳ３０２と優先度差分値計算処理ステップＳ３０３と動きベクトル合計値計算処理ステップＳ３０４を備えることによって、現在と過去の入力画像の変化をそれぞれの方法によって検出し、変化が激しい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り画質が劣化することを防ぐ効果が得られる。
【０１４９】
履歴予測値計算処理ステップＳ３０６を備えたことにより、過去の入力画像に対するＭＳＢ履歴値から現在の入力画像に対するＭＳＢ予測値を予測し、ＭＳＢの予測精度を向上させることができ、その実用的効果は大きい。
【０１５０】
重み変数計算処理ステップＳ３０５を備えたことにより、ＭＳＢの取り得る上限の値と過去の入力画像から予測したＭＳＢの値との両方を考慮に入れた予測を行い、ＭＳＢの予測精度を向上させることができ、その実用的効果は大きい。
【０１５１】
映像符号化装置１００の処理ステップで、マクロブロックごとに符号化を行い、高速に生成されたＦＧＳ  ＶＯＰヘッダに続いて拡張レイヤストリームを順次出力する出力方法を備えたことによって、映像符号化処理を低遅延化することができ、その実用的効果は大きい。
【０１５２】
ＭＳＢ予測値ビット平面ＶＬＣ処理ステップＳ４０５で、ＭＳＢ予測値がＭＳＢ実測値を下回る場合にＤＣＴ係数を上位にシフトさせることにより、冗長な零ビット平面の生成を防ぐことができ、その実用的効果は大きい。
【０１５３】
【発明の効果】
以上のように本発明によれば、映像を、一の基本レイヤストリームと、少なくとも一つの拡張レイヤストリームとに階層的に符号化する映像符号化方法であって、ヘッダ情報を予測して前記拡張レイヤストリームを生成する特徴を備えることにより、ヘッダ情報を高速に生成し、求められる画像品質に応じる映像階層符号化処理を低遅延化することが可能で、リアルタイム映像伝送などの用途に際してもユーザに不快な遅延を抑制する効果が得られる。
【０１５４】
さらに上記の方法において、ヘッダ情報の予測とは、拡張レイヤストリームの符号化に用いる直交変換係数の同じビット位のみを集めたビット平面のうち最上位の非ゼロのビット平面のビット位をあらわすＭＳＢを予測する特徴を備えることより、拡張レイヤストリームのヘッダ情報の生成において遅延を有するＭＳＢの決定処理にかかる時間を削減することが可能で、映像符号化処理の低遅延化の効果が得られる。
【０１５５】
さらに上記の方法において、過去の入力画像に対するＭＳＢを記録しておき、現在のＭＳＢを予測する特徴を備えることにより、過去のＭＳＢから現在のＭＳＢを予測することが可能で、ＭＳＢの予測精度が向上する効果が得られる。
【０１５６】
さらに上記の方法において、基本レイヤストリームに含まれる量子化パラメータを用いてＭＳＢを予測する特徴を備えることにより、量子化パラメータからＭＳＢの取り得る範囲の上限値を推測することが可能で、ＭＳＢの予測精度が向上する効果が得られる。
【０１５７】
さらに上記の方法において、入力画像を複数の領域に分割し、各領域の優先度を用いてＭＳＢを予測する特徴を備えることにより、再生画像において優先して高画質化させる領域を特定し、優先によって起こるＭＳＢの取り得る範囲の上限値の変化を検出することが可能で、ＭＳＢの予測精度が向上する効果が得られる。
【０１５８】
さらに上記の方法において、複数の方法を用いて予測されたＭＳＢの各予測値を、重み係数を用いて調整する特徴を備えることにより、画面内の変化が激しい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り画質が劣化することを防ぐ効果が得られ、変化が激しくない場合にＭＳＢの予測値を小さく設定することが可能で、ＭＳＢの予測値が実測値を上回ることによる冗長な符号の発生と、それに伴う情報の劣化を防ぐ効果が得られる。
【０１５９】
さらに上記の方法において、重み係数を、現在の入力画像と過去の入力画像との、画素値の変化に応じて算出する特徴を備えることにより、画面内の変化を検出し、変化が大きい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り画質が劣化することを防ぐ効果が得られる。
【０１６０】
さらに上記の方法において、重み係数を、現在の入力画像と過去の入力画像との、各領域の優先度の変化に応じて算出する特徴を備えることより、優先領域の変化を検出し、変化が大きい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り優先領域の画質が劣化することを防ぐ効果が得られる。
【０１６１】
さらに上記の方法において、重み係数を、基本レイヤストリームに含まれる動きベクトルに応じて算出する特徴を備えることにより、動きベクトルの変化を検出し、変化が大きい場合にＭＳＢの予測値を大きく設定することが可能で、ＭＳＢの予測値が実測値を下回り画質が劣化することを防ぐ効果が得られる。
【０１６２】
さらに上記の方法のおいて、予測されたＭＳＢと実際のＭＳＢが異なる場合、領域の優先度を変更する特徴を備えたことにより、ＭＳＢの予測が外れた場合においても冗長な符号の発生と、それに伴う情報の劣化を防ぐことができる。
【０１６３】
さらに上記の方法において、生成された基本レイヤと拡張レイヤストリームを順次出力する特徴を備えることにより、高速に生成されたヘッダ情報に続いてそれ以外の符号を高速に出力することが可能で、映像ストリームの出力を低遅延化する効果が得られる。
【０１６４】
さらに本発明の映像符号化装置は、入力画像を一の基本レイヤストリームと、少なくとも一つの拡張レイヤストリームとに階層的に符号化して順次出力する映像符号化装置であって、基本レイヤストリームを復号して復号画像を生成する基本レイヤ復号部と、前記入力画像と前記復号画像との差分である残余画像を生成する残余画像生成部と、前記残余画像をＤＣＴ変換してＤＣＴ係数を生成するＤＣＴ部と、前記入力画像と前記基本レイヤストリームとを用いてＭＳＢ予測値を生成するＭＳＢ予測部と、前記ＭＳＢ予測値に基づいて前記ＤＣＴ係数にビット平面ＶＬＣ処理を行い拡張レイヤストリームを生成するビット平面ＶＬＣ部と、を有することにより、映像符号化処理を低遅延化することが可能で、リアルタイム映像伝送などの用途に際してもユーザに不快な遅延を抑制する効果が得られる。
【０１６５】
さらに本発明の映像符号化プログラムは、請求項１ないし請求項１０記載の映像符号化方法をコンピュータに実行させるためのプログラムであり、映像階層符号化処理を低遅延化することが可能で、リアルタイム映像伝送などの用途に際してもユーザに不快な遅延を抑制する効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に例示する映像符号化方法を適用した映像符号化装置の構成を表すブロック図
【図２】本発明の実施の形態１に例示する映像符号化装置の動作を表すフローチャート
【図３】本発明の実施の形態１に例示する映像符号化装置のＭＳＢ予測部の動作を表すフローチャート
【図４】本発明の実施の形態１に例示する映像符号化装置の拡張レイヤ符号化処理の動作を表すフローチャート
【図５】本発明の実施の形態１に例示するシフトマップ図
【図６】１フレーム分のＤＣＴ係数を示す図
【図７】ビットシフト後のＤＣＴ係数を示す図
【図８】ビットシフト後のＤＣＴ係数のビット平面図
【図９】ＭＰＥＧ−４  ＦＧＳにおける拡張レイヤストリームの構造図
【図１０】従来のＭＰＥＧ−４  ＦＧＳの映像符号化方法を適用した映像符号化装置の構成を表すブロック図
【符号の説明】
１００  映像符号化装置
１０１  映像入力部
１０２  基本レイヤエンコーダ
１０３  基本レイヤ符号化部
１０４  基本レイヤ出力部
１０５  基本レイヤ復号化部
１０６  拡張レイヤエンコーダ
１０７  シフトマップ生成部
１０８  残余画像生成部
１０９  ＤＣＴ部
１１０  ビットシフト部
１１１  ＭＳＢ履歴部
１１２  ビット平面ＶＬＣ部
１１３  拡張レイヤ出力部
１１４  ＭＳＢ予測部
【図１】
2004343511.tif 000011
【図２】
2004343511.tif 000012
【図３】
2004343511.tif 000013
【図４】
2004343511.tif 000014
【図５】
2004343511.tif 000015
【図６】
2004343511.tif 000016
【図７】
2004343511.tif 000017
【図８】
2004343511.tif 000018
【図９】
2004343511.tif 000019
【図１０】
2004343511.tif 000020