(57)【要約】  【課題】動きベクトルや符号化モード情報、量子化パラメータを再利用しつつ、エッジ部や平坦部など、画質劣化が目立つ部分での画質劣化を抑制して再符号化すること。  【解決手段】復号部のエントロピー復号部101で得られる量子化パラメータQP、DCT係数領域でエッジ検出部117により検出されたエッジ強度がレート制御部113に入力される。レート制御部113は、DCT係数の再量子化パラメータが入力ストリームの量子化パラメータの１倍超２倍未満である領域を禁止領域とし、再量子化パラメータが１倍超２倍未満になることを禁止し、禁止領域に属するマクロブロックについては、エッジ強度の高いマクロブロックに、１倍の再量子化パラメータを優先的に割り当てる。平坦部についても同様に処理してもよい。また、動きベクトル情報MV、画面内／画面間符号化モード情報は再利用される。  【選択図】図１
2005252555.tif 000002
【特許請求の範囲】
【請求項１】
符号化ビデオ情報のビットレートを変換するビデオ情報再符号化装置において、
動きベクトル情報、画面内／画面間符号化モード情報を再利用する第１の手段と、
DCT係数の再量子化パラメータが入力ストリームの量子化パラメータの１倍超２倍未満である領域を禁止領域として、再量子化パラメータが入力ストリームの量子化パラメータの１倍超２倍未満になることを禁止する第２の手段と、
禁止領域に属するマクロブロックについては、エッジ強度の高いマクロブロックに、入力ストリームの量子化パラメータの１倍の再量子化パラメータを優先的に割り当てる第３の手段を備えたことを特徴とするビデオ情報再符号化装置。
【請求項２】
前記第３の手段は、エッジ強度の高いマクロブロックに代えてフラットネスが高いマクロブロックに、あるいはエッジ強度の高いマクロブロックとフラットネスが高いマクロブロックの両者に、入力ストリームの量子化パラメータの１倍の再量子化パラメータを優先的に割り当てることを特徴とする請求項１に記載のビデオ情報再符号化装置。
【請求項３】
再量子化パラメータの初期値を、入力フレームの量子化パラメータに(変換前のビットレート)/(変換後のビットレート)で算出される量子化スケーリング係数を乗ずることによって求める手段を備えたことを特徴とする請求項１または２に記載のビデオ情報再符号化装置。
【請求項４】
上下、左右、斜め方向に隣り合う８個のブロックを用いたソーベルオペレータ(Sobel Operator)の計算値によりエッジ部を検出する手段を備えたことを特徴とする請求項１または３に記載のビデオ情報再符号化装置。
【請求項５】
マクロブロック内のDCT係数の全成分の総和を用いてフラットネスを検出する手段を備えたことを特徴とする請求項２に記載のビデオ情報再符号化装置。
【請求項６】
量子化スケーリング係数rが与えられた時に、再量子化パラメータを１倍するマクロブロックの数と２倍するマクロブロックの数の比率p:1-p(0≦p≦1）を下記(1)式で算出する手段を備えたことを特徴とする請求項１ないし５のいずれかに記載のビデオ情報再符号化装置。
p = 2 − r (1＜r＜2)                                               (1)
【請求項７】
エッジ強度の高いマクロブロックとフラットネスが高いマクロブロックの両者に、入力ストリームの量子化パラメータの１倍の再量子化パラメータを優先的に割り当てる場合、下記(2)式に示すエッジ強度とフラットネスの重み付け関数の値に従って優先度を付ける手段を備えたことを特徴とする請求項２に記載のビデオ情報再符号化装置。
優先度＝α×(エッジ強度)＋(1-α)×フラットネス   (0≦α≦1)        (2)
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ情報再符号化装置に関し、特に、符号化ビデオ情報のビットレートを変換するに際し、エッジ部や平坦部など、画質劣化が目立つ部分での画質劣化を抑制することができるビデオ情報再符号化装置に関する。
【背景技術】
【０００２】
現在、ビデオ情報などを伝送するネットワークにはブロードバンドやモバイルのような様々な帯域のネットワームが存在する。また、ビデオ情報を再生する手段もパソコン、モバイル、ＰＤＡといった様々な端末が存在する。このような様々なネットワーク環境および再生環境の中で、映像コンテンツを共用化してその効率的な利用を図るためには、ビデオ情報をネットワーク環境や再生環境に合った符号化パラメータに変換することが必要である。ビデオ情報のビットレート変換は、この符号化パラメータ変換の一種である。
【０００３】
符号化ビデオ情報をビットレート変換する最も原始的な手法は、単純再符号化と称されるものである。単純再符号化では、符号化ビデオ情報をデコードし、デコードされたビデオ情報を異なるビットレートでエンコードする。単純再符号化でビデオ情報をビットレート変換すると、量子化誤差が増大されて画質劣化が生じる。
【０００４】
特許文献１および非特許文献１には再符号化に伴う画質劣化を抑制する再符号化装置が提案されている。図５は、この再符号化装置を示すブロック図である。図５において、エントロピー復号部101、逆量子化部102、逆DCT部103、加算器104、およびフレームメモリ105は、符号化ビデオ情報（入力ストリーム）をデコードする復号部を構成する。
【０００５】
また、減算器106、DCT部107、量子化部108、逆量子化部109、逆DCT部110、加算器111、フレームメモリ112、レート制御部113、およびエントロピー符号化部114は、再符号化部を構成する。
【０００６】
入力端(INPUT)１00から入力される符号化ビデオ情報は、まず、復号部に入力され、画素レベルまで復号される。復号部のエントロピー復号部101からは量子化パラメータ(QP)も出力される。
【０００７】
再符号化部は、復号部からのフレームデータをブロック単位で再度DCT係数に変換し、さらに量子化および可変長符号化してビットレート変換された符号化ビデオ情報を生成し、出力端（OUTPUT）115より出力する。
【０００８】
レート制御部113は、ビットレート変換後の量子化パラメータがエントロピー符号化部114から出力されるビットレート変換前の量子化パラメータ(QP)の１倍〜２倍の間に入る場合、その量子化パラメータを１倍もしくは２倍に強制的にシフトさせる。量子化部114は、シフトされた量子化パラメータ(QP′)でDCT部107からのDCT係数を量子化することにより画質劣化を防ぐ。
【特許文献１】特開２００１−２０４０２８号公報
【非特許文献１】「MPEG再符号化のためのゾーン処理付き再量子化法」信学論Vol.J83-D-II No.9 pp.1879-1887 2000/9
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１および非特許文献１で提案された再符号化装置によれば、ビットレート変換に伴う画質劣化を抑制することができる。しかしながら、画像の画質は、画面内のエッジ部や平坦部では少しでもノイズの混入やレベル変化があると劣化が目立つという特徴を持っており、上記提案された再符号化装置では、このような視覚的に画質劣化が目立つ部分について考慮されておらず、それに対する対策が講じられていないため、画質劣化に対する対策が不十分である。
【００１０】
本発明の目的は、符号化ビデオ情報のビットレートを変換するに際し、動きベクトルや符号化モード情報、量子化パラメータを再利用しつつ、エッジ部や平坦部など、画質劣化が目立つ部分での画質劣化を抑制することができるビデオ情報再符号化装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、符号化ビデオ情報のビットレートを変換するビデオ情報再符号化装置において、動きベクトル情報、画面内／画面間符号化モード情報を再利用する第１の手段と、DCT係数の再量子化パラメータが入力ストリームの量子化パラメータの１倍超２倍未満である領域を禁止領域として、再量子化パラメータが入力ストリームの量子化パラメータの１倍超２倍未満になることを禁止する第２の手段と、禁止領域に属するマクロブロックについては、エッジ強度の高いマクロブロックに、入力ストリームの量子化パラメータの１倍の再量子化パラメータを優先的に割り当てる第３の手段を備えた点に第１の特徴がある。
【００１２】
また、本発明は、前記第３の手段が、エッジ強度の高いマクロブロックに代えてフラットネスが高いマクロブロックに、あるいはエッジ強度の高いマクロブロックとフラットネスが高いマクロブロックの両者に、入力ストリームの量子化パラメータの１倍の再量子化パラメータを優先的に割り当てる点に第２の特徴がある。
【００１３】
また、本発明は、再量子化パラメータの初期値を、入力フレームの量子化パラメータに(変換前のビットレート)/(変換後のビットレート)で算出される量子化スケーリング係数を乗ずることによって求める手段を備えた点に第３の特徴がある。
【００１４】
また、本発明は、上下、左右、斜め方向に隣り合う８個のブロックを用いたソーベルオペレータ(Sobel Operator)の計算値によりエッジ部を検出する手段を備えた点に第４の特徴がある。
【００１５】
また、本発明は、マクロブロック内のDCT係数の全成分の総和を用いてフラットネスを検出する手段を備えた点に第５の特徴がある。
【００１６】
また、本発明は、量子化スケーリング係数rが与えられた時に、再量子化パラメータを１倍するブロックの数と２倍するブロックの数の比率p:1-p(0≦p≦1）を下記(1)式で算出する手段を備えた点に第６の特徴がある。
p = 2 − r (1＜r＜2)                                               (1)
【００１７】
さらに、本発明は、エッジ強度の高いマクロブロックとフラットネスが高いマクロブロックの両者に、入力ストリームの量子化パラメータの１倍の再量子化パラメータを優先的に割り当てる場合、下記(2)式に示すエッジ強度とフラットネスの重み付け関数の値に従って優先度を付ける手段を備えた点に第７の特徴がある。
優先度＝α×(エッジ強度)＋(1-α)×フラットネス   (0≦α≦1)        (2)
【発明の効果】
【００１８】
本発明によれば、符号化ビデオ情報のビットレートを変換するに際し、動きベクトルや符号化モード情報、量子化パラメータを再利用しつつ、エッジ部や平坦部など、画質劣化が目立つ部分の画質劣化を抑制することができる。
【００１９】
これにより様々なネットワーク環境、再生環境への映像配信を、画質劣化を少なくしてまた、目標レートに精度よく合わせて行うことが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明を説明する。図１は、本発明に係るビデオ情報再符号化装置の実施形態を示すブロック図であり、図５と同一あるいは同等部分には同じ符号を付してある。
【００２１】
図１において、エントロピー復号部101、逆量子化部102、逆DCT部103、加算器104、フレームメモリ105、動き補償部116、およびエッジ検出部117は、符号化ビデオ情報（入力ストリーム）をデコードする復号部を構成する。
【００２２】
また、減算器106、DCT部107、量子化部108、逆量子化部109、逆DCT部110、加算器111、フレームメモリ112、動き補償部118、レート制御部113、およびエントロピー符号化部114は、ビットレート変換された符号化ビデオ情報を出力する再符号化部を構成する。
【００２３】
まず、復号部の動作を説明する。入力端(INPUT)１00から入力された符号化ビデオ情報は、復号部に入力される。復号部のエントロピー復号部101は、入力された符号化ビデオ情報を可変長復号する。エントロピー復号部101は、ビデオ情報の他に、量子化パラメータ(QP)、バッファ推移情報(BT)、動きベクトル情報(MV)および符号化モード情報（図示せず）を出力する。
【００２４】
エントロピー復号部101で可変長復号されたビデオ情報が逆量子化部102、逆DCT部103、および加算器104に通されることにより画素レベルまで復号されたビデオ情報が出力される。このビデオ情報は符号化部に入力されるとともに、フレームメモリ105に入力される。
【００２５】
フレームメモリ105から読み出されたフレームデータは、動き補償部115で動きベクトル情報(MV)を用いて動き補償された後、加算器104に入力される。エッジ検出部117は、逆量子化部102で逆量子化されたＤＣＴ係数領域のデータを用いて画面内のエッジ部を検出する。
【００２６】
次に、再符号化部の動作を説明する。復号部から出力されるフレームデータは、再符号化部に入力されて異なるビットレートで再符号化される。ここでの再符号化に際しては、復号部で得られた動きベクトル情報(MV)と符号化モード情報がそのまま再利用される。
【００２７】
再符号化部の減算器106は、フレーム間符号化フレームの場合は入力されたフレームデータと予測フレームデータとの差分を、フレーム内符号化フレームの場合は入力されたフレームデータをそのまま送出する。
【００２８】
DCT部107は、減算器106からの入力をブロック単位でDCT係数に変換する。これにより生成されたDCT係数は量子化部108に入力される。量子化部108は、レート制御部113の制御に従いビット削減のための再量子化を行う。レート制御部113によるレート制御の詳細は後述する。量子化部108で再量子化されたDCT係数は、エントロピー符号化部114で可変長符号化され、ビットレート変換された符号化ビデオ情報として出力端（OUTPUT）115より送出される。
【００２９】
また、量子化部108の出力は逆量子化部109および逆DCT部110を通して加算器111に入力される。加算器111は予測画面を生成し、生成された予測画面はフレームメモリ112に入力される。フレームメモリ112から読み出された予測画面であるフレームデータは加算器111に入力されるとともに動き補償部118で動き補償された後、減算器107に入力される。
【００３０】
ここでは画像サイズやフレームレートを変更することは想定していないので、動き補償部118での動き補償にはエントロピー復号部101から出力される動きベクトル情報(MV)をそのまま再利用することができる。
【００３１】
図２は、レート制御部113によるレート制御の例を示すフローチャートである。まず、復号部で符号化ビデオ情報を復号した際に、エントロピー復号部101から出力される量子化パラメータ(QP)、バッファ推移情報(BT)、動きベクトル情報(MV)、および逆量子化部102から出力されるDCT係数を保持する（Ｓ１）。
【００３２】
次に、量子化パラメータ(QP)を用いてフレーム単位の量子化スケーリング係数ｒの初期値ｒ0を算出する。以後、量子化パラメータ(QP)とバッファ推移情報(BT)を用いて量子化スケーリング係数ｒの更新をフレーム単位で行う（Ｓ２）。量子化スケーリング係数ｒの決定については、先願（特願2003-206482号）に詳細に説明されているが、その概略を説明すると以下のとおりである。
【００３３】
まず、量子化スケーリング係数ｒの初期値ｒ0を下記(3)式により算出する。
ｒ０＝(変換前のビットレート)/(変換後のビットレート)                 (3)
例えば、入力される符号化ビデオ情報のビットレートが8Mbpsであり、出力される符号化ビデオ情報のビットレートが5Mbpsであるとすると、量子化スケーリング係数ｒの初期値ｒ0は1.6になる。
【００３４】
量子化スケーリング係数ｒは、下記(4)式に従ってフレーム単位で更新される。ここで、ｐ２は、量子化スケーリング係数ｒの変動量のパラメータであり、{(bhr′(tn)-blr(tn))/blr(tn)}の平均値と標準偏差値による評価により決定される。一例として、ｐ２＝0.1とすることができる。下記(4)式は、VBV(Video Buffering Verifier)バッファにおいて、出力符号化ビデオ情報のバッファ占有量blr(tn)が理想バッファ占有量bhr′(tn)となるように量子化スケーリング係数ｒを更新することを意味する。ここで、tnはｎ枚目の画像のデコード時刻である。
ｒｎ＋１＝ｒｎ×[1+{(bhr′(tn)-blr(tn))/blr(tn)}×ｐ２]    (ｎ≧０)      (4)
【００３５】
次に、DCT係数を用いて画面のエッジ部を検出する（Ｓ３）。エッジ部は、DCT係数の特徴を利用して検出することができる。例えば、エッジを含むブロックのDCT係数は第１、第２の行と列に係数が集中する特徴を持つので、第１、第２の行と列のDCT係数の和を算出することによりエッジを検出できる。また、予測誤差量が大きい領域にエッジを含む傾向があるので、DCT係数の総和を算出することによってもエッジを検出できる。さらに、ソーベルオペレータ（Sobel Operator）を用いてエッジを検出することもできる。
【００３６】
Sobel Operatorを用いる場合、自分のブロックを含む周囲９つのブロック内のDCT係数の、例えばDC成分を抽出し、抽出された９個の成分を要素としたSobel Operatorを用いてgradient magnitudeを算出すればよい。
【００３７】
このようにして算出された値のマクロブロック内での平均値やマクロブロックに含まれる特定の１つのブロックについて値を該マクロブロックのエッジ強度とする。以上のように画素領域ではなく、DCT係数領域でエッジを検出することにより処理負担を軽減できる。エッジを検出したらエッジ強度が大きいものから順にラベルを付ける。
【００３８】
次に、量子化スケーリング係数ｒが２＞ｒ＞１であるか否かを判断する（Ｓ４）。Ｓ４で量子化スケーリング係数ｒが２＞ｒ＞１でないと判断すれば、再量子化パラメータQP′を下記(5)式で算出し、この再量子化パラメータQP′を用いて再量子化を行う（Ｓ５）。すなわち、Ｓ２で算出したフレーム単位の量子化スケーリング係数ｒをそのまま使用する。
ＱＰ′＝ＱＰ×ｒ                                                 (5)
【００３９】
また、Ｓ４で量子化スケーリング係数ｒが２＞ｒ＞１であると判断すれば、当該フレームのマクロブロックについて再量子化パラメータをｒ＝１にするマクロブロックの数とｒ＝２にするマクロブロックの数の比率p:1-pを下記(6)式により算出する（Ｓ６）。
ｐ＝２−ｒ  （１＜ｒ＜２）                                         (6)
【００４０】
例えば、量子化スケーリング係数ｒが1.6である場合、比率p:1-pは、4:6になり、再量子化パラメータをｒ＝１にするマクロブロック４に対しｒ＝２にするマクロブロック６という比率になる。ここで算出される比率ｐは、出力ビットレート目標バッファ推移および量子化スケーリング係数ｒに従ってフレーム単位で動的に変わる。
【００４１】
続いて、Ｓ２で検出されたエッジ強度の大きいマクロブロックから順に比率がｐになるまで量子化スケーリング係数１を与え、その比率に達した以後のマクロブロックに対しては量子化スケーリング係数２を与える。このようにしてマクロブロックごとに与えられた量子化スケーリング係数をｒ′とすれば、レート制御部113は、再量子化パラメータQP′を下記(7)式で算出し、量子化部108は、この再量子化パラメータQP′を用いてフレームについての再量子化を行う（Ｓ７）。量子化スケーリング係数ｒ′＝１での再量子化は、入力された符号化ビデオ情報と同一の量子化パラメータで再量子化することを意味する。
ＱＰ′＝ＱＰ×ｒ′                                               (7)
【００４２】
Ｓ５、Ｓ７でフレームの再量子化を行った後、入力映像が終了したか否かを判断する（Ｓ８）。ここで入力映像が終了したと判断すれば処理を終了し、まだ入力映像のフレームが残っていると判断すれば次のフレームに更新（Ｓ９）してＳ１からのステップを繰り返す。
【００４３】
以上により、エッジを含むマクロブロックに対して、再量子化時、入力された符号化ビデオ情報の量子化パラメータと同一の再量子化パラメータが優先的に与えられるので、エッジ部でのデータ損失が低減される。また、ビットレート変換の前後で動きベクトルを共有化しているので、動き検出処理が軽減され、全体の符号化にかかる処理負担が軽減される。
【００４４】
以上では画面のエッジ部でのデータ損失の低減について説明したが、画面の平坦部についても僅かな平坦度（フラットネス）の違いにより画質劣化が目立つので、平坦部に対して、あるいはエッジ部と平坦部の両者に対して、入力された符号化ビデオ情報の量子化パラメータと同一の再量子化パラメータを優先的に与えてもよい。画面のフラットネスは、エッジ強度と同様にDCT係数を用い、例えばマクロブロック内のDCT係数の全成分の総和を算出することにより検出できる。
【００４５】
また、下記(8)式に示すように、エッジ強度とフラットネスの重み付け関数の値に従って優先度を付け、ここでαを可変にしておけば、エッジ部を優先させるか、平坦部を優先させるか任意に設定可能になる。
優先度＝α×(エッジ強度)＋(1-α)×フラットネス   (0≦α≦1)        (8)
【００４６】
また、上記先願（特願2003-206482号）に記載されている、出力符号化ビデオ情報（出力ストリーム）のバッファ推移を入力符号化ビデオ情報（入力ストリーム）のバッファ推移に追随させる方式を組み合わせることにより、レートの追随性とVBVバッファ占有量の制限を満たし、目標ビットレートを達成させることができる。
【００４７】
以上、実施形態について説明したが、本発明は、上記実施形態に限られず、種々の変形が可能であり、本発明の要旨を逸脱しない範囲の変形があっても本発明に含まれる。
【００４８】
例えば、上記実施形態における再符号化機能をプログラムとして構成することができる。この場合、図３に示すように、MPEGビデオの再符号化プログラムをコンピュータ読み取り可能な記憶媒体300に格納しておき、このMPEGビデオの再符号化プログラムをコンピュータ200に読み込ませ、実行するようにすることができる。ここで、記憶媒体300に格納されたMPEGビデオの再符号化プログラムは、図１に示したMPEGビデオ再符号化機能を実現するためのプログラムである。
【００４９】
図３に示すコンピュータ200は、上記MPEGビデオの再符号化プログラムを実行するCPU201と、キーボード、マウス等の入力装置202と、各種データを記憶するROM(Read Only Memory)203と、演算パラメータ等を記憶するRAM(Random Access Memory)204と、記憶媒体300からMPEGビデオの再符号化プログラムを読み取る読取装置205と、ディスプレイ、プリンタ等の出力装置206と、装置各部を接続するバスBUSとから構成されている。
【００５０】
CPU201は、読取装置205を経由して記憶媒体300に記憶されているMPEGビデオの再符号化プログラムを読み込んだ後、この再符号化プログラムを実行することにより上述したMPEGビデオの再符号化処理を行う。記録媒体300には、光ディスク、フレキシブルディスク、ハードディスク等の可搬型の記憶媒体が含まれることはもとより、ネットワークのようにデータを一時的に記憶保持するような伝送媒体も含まれる。
【００５１】
本発明と単純再符号化の効果の違いを実証するために行った実験結果を図４に示す。図４（ａ）は、入力符号化ビデオ情報の条件を示し、そのビットレートを8Mbpsとした。また、図４（ｂ）は、出力符号化ビデオ情報の条件を示し、そのビットレートを6mbpsと4Mbpsの２種類とした。図４（ｃ）は、実験結果を平均PSNRで示す。エッジ部と平坦部に優先的にビット割り当てを行ったことにより平均PSNRが向上し、エッジ部や平坦部など画質劣化が目立つ部分の画質劣化が抑えられていることが分かる。
【００５２】
本発明は、BB・モバイル向け１ソース・マルチユースのコンテンツオーサリングシステム、BB・モバイルシームレストランスコーダ、MPEGビデオ変換システム、ブロードバンド多地点映像配信システムなどに広く適用可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明に係るビデオ情報再符号化装置の実施形態を示すブロック図である。
【図２】レート制御部によるレート制御の例を示すフローチャートである。
【図３】本発明をビデオ情報再符号化プログラムとして構成した場合のシステム構成のブロック図である。
【図４】本発明と単純再符号化の効果の違い実証するために行った実験結果を示す図である。
【図５】従来の再符号化装置を示すブロック図である。
【符号の説明】
【００５４】
100・・・入力端、101・・・エントロピー復号部、102・・・逆量子化部、103・・・逆DCT部、104・・・加算器、105,112・・・フレームメモリ、  また、106・・・減算器、107・・・DCT部、108・・・量子化部、109・・・逆量子化部、110・・・逆DCT部、111・・・加算器、113・・・レート制御部、114・・・エントロピー符号化部、115・・・出力端、116・・・動き補償部、117・・・エッジ検出部、118・・・動き補償部、200・・・コンピュータ、201・・・CPU、202・・・入力装置、203・・・ROM、204・・・RAM、205・・・読取装置、206・・・出力装置206、300・・・記憶媒体
【図１】
2005252555.tif 000003
【図２】
2005252555.tif 000004
【図３】
2005252555.tif 000005
【図４】
2005252555.tif 000006
【図５】
2005252555.tif 000007