(57)【要約】【課題】  動きの激しい画像が入力された場合にも画質を向上させる。【解決手段】  量子化パラメータ制御部１１は量子化パラメータを設定するとともに閾値情報Ｔｈ１，Ｔｈ２を生成する。発生符号量計測部１２は量子化データを量子化パラメータにより符号化処理するとともに１ピクチャ当りの発生符号量を計測する。発生符号量監視部１３は発生符号量と、ＶＢＶバッファ１６から入力されたバッファ状態情報とから発生する符号量を監視しつつ、現在の発生情報量を含んだ符号化データを出力する。解像度判定部１４は発生情報量とＴｈ１，Ｔｈ２と現在の解像度処理状態から次の解像度処理工程を決定して、通常解像度であれば通常符号量の符号化データをＶＢＶバッファに出力し、低解像度であれば変換符号量を含んだ符号化データを解像度変換部１５に出力する。解像度変換部は変換符号量により符号化データの１ピクチャの縮小処理を行う。【選択図】        図１
2005286594.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号を圧縮してＶＢＶバッファに蓄積する映像符号化装置において、
入力されたアナログ映像信号をディジタル信号に変換し、そのデータをフレームメモリに保持するＡ／Ｄフレームメモリ部と、
前記ディジタル信号を受け符号化に最適な量子化パラメータを設定するとともに、ＶＢＶバッファ制御を行うための２つの閾値情報Ｔｈ１，Ｔｈ２を生成する量子化パラメータ制御部と、
前記量子化パラメータ制御部から出力された量子化データを量子化パラメータにより符号化処理するとともに１ピクチャ当りの発生符号量を計測する発生符号量計測部と、
発生符号量計測部から入力された発生符号量と、前記ＶＢＶバッファから入力されたバッファ状態情報とから発生する符号量を監視しつつ、現在の発生情報量を含んだ符号化データを出力する発生符号量監視部と、
発生符号量監視部から入力された発生情報量と前記閾値情報Ｔｈ１，Ｔｈ２および現在の解像度処理状態から次の解像度処理工程を決定して、通常解像度であれば通常符号量の符号化データをＶＢＶバッファに出力し、低解像度であれば変換符号量を含んだ符号化データを出力する解像度判定部と、
解像度判定部からの変換符号量により符号化データの１ピクチャの縮小処理を行って縮小符号量の符号化データをＶＢＶバッファに出力する解像度変換部とを備え、
前記ＶＢＶバッファは、入力された通常符号量の符号化データと縮小符号量の符号化データを溜め込み、必要に応じて伝送路へ出力するとともに、前記バッファ状態情報を発生符号量監視部に出力することを特徴とする映像符号化装置。
【請求項２】
前記閾値情報Ｔｈ１は、前記ＶＢＶバッファに溜め込める量を２ピクチャとした時の符号量である最適符号量をフレームレートで除算した値に最小量子化パラメータを乗算した値、閾値情報Ｔｈ２は前記最適符号量をフレームレートで除算した値に最大量子化パラメータを乗算した値とし、
前記解像度判定部が認識している現在の解像度処理状態と前記発生情報量とを乗算した値が閾値情報Ｔｈ１を超えるときは低解像度方式へ移行し、閾値情報Ｔｈ２未満であるときは通常解像度方式へ移行することを特徴とする請求項１に記載した映像符号化装置。
【請求項３】
前記Ａ／Ｄフレームメモリ部のフレームメモリに格納されている前フレームデータと現フレームデータとの差分値を検出し、その差分値が“０”の場合には前記量子化パラメータ制御部にディジタル信号を入力させず、前記ＶＢＶバッファに対して、この時の符号化データを格納しないよう通知し、差分値が“０”以外であることを検出した場合はディジタル信号を前記量子化パラメータ制御部に入力する差分値検出回路を付加したことを特徴とする請求項１または請求項２に記載した映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は圧縮技術を用いた映像符号化装置に関する。
【背景技術】
【０００２】
この種の映像符号化装置は、従来、ディジタル映像圧縮装置等の画像符号化装置において、フレームメモリに蓄積された画像が符号化される前に暫定量子化パラメータを用いて符号化し、そのビット量を計算して得られるビット量を用いることにより、精度よく最適な量子化パラメータを予測するようにしている（例えば、特許文献１参照）。これにより、シーンチェンジ時など発生ビット量の急変が予想される場面においても、最適な量子化パラメータを精度良く予測して、画質の低下やオーバーフロー・アンダーフローの影響を少くする。
【０００３】
【特許文献１】特開２００１−２３１０３９（第１頁ー第５頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、予測値から求めた量子化パラメータ値が最悪値でない場合にバッファの破綻が発生することがあるという第１の問題点がある。その理由は、最適な量子化パラメータを決定するにあたり、事前にある１画面内の特定の部分に限って符号化し、発生するであろうその１画面分の情報量を予測しているが、この特定の領域の選択は、根拠なく選ばれるため、例えばその領域が静止領域であった場合には、１画面分の発生情報量は少ないと判断され、量子化パラメータも細かい設定となる。このあいまいな予測のもとでは、最終的なバッファの破綻は避けられないからである。
【０００５】
また、最適な量子化パラメータを決定するために事前に符号化処理しているので、符号化の遅延が増大し、結果的に出力画像の遅れにつながる致命的な要因となり、バッファの破綻を制御できてもリアルタイム性が損なわれるという第２の問題点がある。
【０００６】
更に、同一画面内の上下で上側は滑らかに動くが、下側は滑らかな動きでないため視覚的評価が劣化してしまうという第３の問題点がある。その理由は、図６に示すフレーム番号とＶＢＶバッファ容量の関係図から分かるように、アンダーフローの発生により、そのときの出力画像表示タイミングが遅れるが、このようなアンダーフローを発生させないために、一画面内のある場所からスキップ・マクロブロックとして符号化し始めてもよいとしているためである
ところで、中継設備や監視システム等のようなリアルタイム性が要求されるアプリケーションに符号化技術を適応する場合、送信元から受信側までのトータル遅延を最小限に抑える必要がある。このような遅延時間が発生する主な要因には、図３に示すような符号化アルゴリズムに起因する符号化遅延、ネットワーク上の伝送遅延、さらにはビットストリームバッファでのバッファ遅延が存在する。
【０００７】
上述のような監視等の用途に使用される低遅延システムでは、システム全体で映像入力されてから受信部のディスプレイに表示されるまでの時間は、一般的に150msec以内に抑える必要があると言われている。
【０００８】
これに対して、符号化アルゴリズムに起因する符号化遅延は、符号化時と復号化時において画像を１枚分バッファリングする必要があることから、一般的には66msec程度の遅延が発生する。また、ネットワーク上の伝送遅延については、INS64の場合では約16msec程度とされており、パケット網等ではさらに増加することが知られている。これらから、システム全体としての遅延を150msecに抑えるためには、バッファリング遅延は約66msec（2画面分）程度に抑える必要がある。
【０００９】
さらに、低遅延システムではその性質上、復号化部でのバッファリングを行うことができず、受信したデータは瞬時に復号され表示される。よって、ＶＢＶバッファが破綻するような動きの大きいデータが符号化された場合には、表示すべきタイミングに対し全てのデータが受信側に到達するタイミングが遅れるため、ＶＢＶバッファの破綻が直接ディスプレイ表示への遅延につながる。
【００１０】
バッファ遅延に関しては、そのバッファ容量を小さくすることにより低減の可能性があると考えられるが、ビットストリームバッファの容量を極端に小さくすると、入力画像にてシーンチェンジ等の急激な変化が発生した場合、バッファが破綻し更なる遅延を発生させてしまう可能性がある。
【００１１】
そこで、本発明の目的は、突発的な情報量の増大を抑えるため、ビットストリーム・バッファで発生するバッファ遅延に着目し、動きの激しい画像が入力された場合には、解像度を小さくする解像度変換を用いて符号化遅延を抑圧することを目的としており、従来のスキップ・マクロブロック方式の問題点でもある同一画面内の上下で画像が乱れるような画質の改善も含め、画質向上を図った映像符号化装置を提供することにある。
【課題を解決するための手段】
【００１２】
最も重要な第１の課題であるバッファの破綻については、従来技術のとおり最適な量子化パラメータの選択は必要不可欠な対処法と考える。但し、これだけでは有限であるバッファの破綻を制御することは困難である。そこで、本発明では、バッファに溜め込める最大の情報量を２ピクチャ分として、２つの閾値を決定しその閾値の判定情報により動きの激しい映像が入力された場合は、解像度変換を用いてその映像自体を小さくし、発生する情報量を小さくすることにより、バッファの破綻を抑える。映像受信側では、アップサンプリングを行いもとの大きさの映像に戻す。これにより従来技術のあいまいな予測のもとに決定される量子化パラメータのみでのバッファ制御でないため、バッファの破綻は回避できる。
【００１３】
第２の課題である出力映像でのリアルタイム性の確保については、符号化遅延は、符号化時と復号化時において画像を１枚分バッファリングする必要があることから、一般的には66msec程度の遅延が発生する。本発明では、バッファに溜め込める最大の情報量を２ピクチャ分と規定し、２つの閾値を利用して解像度変換の有無を決定し、発生符号量の制御を行う。よって、符号化に関わる遅延は、最大66msecとなり、そのリアルタイム性を確保する。
【００１４】
第３の課題である同一画面内の上下で上側は滑らかに動くが、下側は滑らかな動きでない映像が発生してしまう問題については、バッファが破綻しそうになると同一画面内の途中からスキップ・マクロブロックとして符号化し始めることが原因であるため、本発明ではすべて１画面単位での処理を行うことにより、同一画面内での不整合は発生しないようにしている。
【００１５】
本発明では、発生情報量が大きすぎて、そのまま伝送したのでは出力映像の遅延を招くような場合、図４に示すように送信側にて動きのあった部分に対し、ダウンサンプリングを行い、縮小処理（ここでは、１／４とする）する。これによって、発生情報量が１／４にできるため、バッファ容量に支障なく受信側へデータを送信でき、受信側にてアップサンプリングして元の大きさの映像を復元する。
【００１６】
一方、発生情報量が少ない、つまり動きの少ない映像であった場合には、上記のような解像度変換は行う必要がないため、通常の符号化処理が行われる。この２つの処理どちらを行うのかを判定するために本発明では、２つの閾値を用いてバッファの制御を行い、判定材料としている。各閾値は以下の条件により決定される。
【００１７】
ここで、最適符号量とは、バッファに溜め込める量を２ピクチャとした時の符号量とする。実際には、バッファに入力される発生情報量と閾値情報Ｔｈ１，Ｔｈ２およびそのときの解像度処理状態（通常解像度か、縮小解像度か）から、次の解像度処理工程を決定することになる。
【００１８】
また、この閾値情報Ｔｈ１，Ｔｈ２を持たせた理由は、もう１つあり低解像度と通常解像度の切り替えが頻繁に発生した時の視覚的画質劣化（エッジ部分でのブロックノイズが増大する）を抑えるために頻繁な解像度の切り替えを防止するためでもある。
【００１９】
さらに、本発明では、アンダーフローを発生させない構成でバッファ制御しているため、従来技術であるスキップ・ピクチャ方式のようにスキップされる映像がないので、画像間の動きの滑らかさが改善される。
【００２０】
また、本発明では１ピクチャ単位での処理を行っていることからスキップ・マクロブロック方式のようにある１画像内の途中からスキップ・マクロブロックが発生することがないため、１ピクチャ内での画像の滑らかさも改善される。
【発明の効果】
【００２１】
第１の効果はバッファの破綻による受信画像遅延を抑えることである。
【００２２】
その理由は、従来技術のように量子化パラメータ値を最適化するために余計な符号化処理を実施することは、符号化遅延を増大させる要因となり、結果的に受信画像の遅延につながる。本発明では、量子化パラメータの設定以外での対応として、解像度変換を利用してバッファの破綻を防止、および符号化処理の効率化を実現している。さらに、解像度変換を用いることによる弊害についても考慮した。特に、低解像度方式と通常解像度方式の切り替えが頻繁に発生した場合の視覚的画質劣化を軽減するため、低解像度方式から通常解像度方式へ以降する場合とその逆の場合で、異なる２つの閾値を用いてその解像度方式の切り替えを制御している。
【００２３】
第２の効果は出力画像の視覚的劣化の軽減である。
【００２４】
その理由は、従来技術で抑圧する符号化遅延は、入力フレームとそのＶＢＶバッファ容量との関係を用いるとそれぞれ図７および図８のようになる。図７に示すスキップ・ピクチャー方式では、アンダーフローが発生することにより出力画像への表示タイミングが大幅に遅れ、さらにその間のスキップ・ピクチャーが発生することにより、滑らかな出力画像は得られない。また、図８に示すスキップ・マクロブロック方式においては、アンダーフローを完全に抑える方式ではあるが、１ピクチャ内の途中からマクロブロック単位でのスキップを行うため、出力画面上下での視覚的劣化が発生する。
【００２５】
これらに対し、本発明ではフレームとＶＢＶバッファとの関係を示すと図５のようになり、アンダーフローの発生も抑え、１ピクチャ単位での処理を行うことから出力画像の視覚的劣化も発生しないことになる。
【発明を実施するための最良の形態】
【００２６】
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明は、従来技術の有する視覚的評価の低下や、発生しうるバッファの破綻問題を踏まえ、図１に示す構成にて解像度変換を利用した方式であることを特徴としている。さらに、符号化遅延を抑圧する方式であるスキップ・ピクチャー方式、およびスキップ・マクロブロック方式での問題点にも着目し、これらの問題を回避するための手段を有することを特徴としている。
【実施例１】
【００２７】
図１は本発明の映像符号化装置の一実施例を示す。この映像符号化装置は、Ａ／Ｄフレームメモリ部１０，量子化パラメータ制御部１１，発生符号量計測部１２，発生符号量監視部１３，解像度判定部１４，解像度変換部１５およびＶＢＶバッファ１６で構成される。
【００２８】
Ａ／Ｄフレームメモリ部１０は入力映像信号をディジタル信号ａに変換する。量子化パラメータ制御部１１は、ディジタル信号ａから符号化に最適な量子化パラメータを設定するとともに、ＶＢＶバッファ制御を行うための２つの閾値情報Ｔｈ１および閾値情報Ｔｈ２を生成する。量子化パラメータ制御部１１は、ディジタル信号ａに量子化パラメータを設定した量子化データｂを発生符合量計測部１２に出力し、閾値情報Ｔｈ１および閾値情報Ｔｈ２は解像度変換部１５に出力する。
【００２９】
なお、最適な量子化パラメータの設定は、量子化マトリックス，量子化スケールタイプ，量子化ステップ（または量子化スケールコード）などについて行う。量子化パラメータは、Ａ／Ｄフレームメモリ１０におけるＡ／Ｄ変換器出力後のフレームメモリへのデータ蓄積量に応じ、フレームメモリ内のデータが多い時には量子化ステップを大きくする。このことは、ＶＢＶバッファ１６のバッファ量の減少を促し、フレームメモリ内のデータが少ないときには量子化ステップを小さくすることになり、ＶＢＶバッファ１６のバッファ量の増加を促すことに繋がる。
【００３０】
発生符号量計測部１２は、量子化データｂについて量子化パラメータにより符号化処理するとともに、１ピクチャ当りの発生符号量を計測し、発生符号量を含んだ符号化データｃを発生符号量監視部１３に出力する。
【００３１】
発生符号量監視部１３は、発生符号量計測部１２から入力された発生符号量と、ＶＢＶバッファ１６から入力されたバッファ状態情報ｊとから、発生する符号量を監視しつつ、現在の発生情報量を含んだ符号化データｅを解像度判定部１４に出力する。
【００３２】
解像度判定部１４は、発生符号量監視部１３から入力された発生情報量と、量子化パラメータ制御部１１から入力している閾値情報Ｔｈ１および閾値情報Ｔｈ２と、認識している現在の解像度処理状態から、次の解像度処理工程を決定する。その結果、通常解像度であれば通常符号量の符号化データｆをＶＢＶバッファ１６に出力する。一方、低解像度であれば、変換符号量を含んだ符号化データｇを解像度変換部１５に出力する。
【００３３】
解像度変換部１５は、変換符号量により符号化データの１ピクチャの縮小処理を行って、縮小符号量の符号化データｈをＶＢＶバッファ１６に出力する。ＶＢＶバッファ１６は、入力された通常符号量の符号化データｆと縮小符号量の符号化データｈを溜め込み、必要に応じて伝送路へ出力する。また、バッファ状態情報ｊを発生符号量監視部１３に出力する。
【００３４】
受信側では、通常解像度で送られてきたデータはそのまま復号化し、低解像度で送られてきたデータについては、アップサンプリングを行い、通常解像度に戻して出力画像を再生する。
【００３５】
次に、２つの閾値情報Ｔｈ１および閾値情報Ｔｈ２を用いることによる、低解像度方式と通常解像度方式の切り替え判定を行うアルゴリズムについて説明する。
【００３６】
先ず、閾値情報Ｔｈ１および閾値情報Ｔｈ２は以下の条件により決定される。
【００３７】
Ｔｈ１＝Ｐ１×（最適符号量／フレームレート）
Ｔｈ２＝Ｐ２×（最適符号量／フレームレート）
ここで、Ｐ１は最小量子化パラメータ、Ｐ２は最大量子化パラメータを示す。最適符号量とは、最適符号量＝Ｂ（ビットレート）／Ｆ（フレームレート）で与えられ、ＶＢＶバッファ１６に溜め込める量を２ピクチャとした時の符号量とする。
【００３８】
低解像度方式と通常解像度方式の切り替えが頻繁に発生すると視覚的に画質劣化が強調されるため、低解像度方式から通常解像度方式へ移行する場合と、その逆の場合で、上記のような異なる２つの閾値を用いる。通常解像度方式状態である場合、もしも式（１）を満たすならば低解像度方式へ移行する。一方、低解像度方式状態のとき、もしも式（２）を満たすならば、通常解像度方式へ移行する。
【００３９】
Ｐi-1  ×Ｂｉ-1＞Ｔｈ１        式（１）
Ｐi-1  ×Ｂｉ-1＜Ｔｈ２        式（２）
ここで、Ｐi-1とは解像度判定部１４が認識している現在の解像度処理状態を示し、Ｂｉ-1とは符号化データｅに含まれている発生情報量を示す。
【００４０】
なお、最小量子化パラメータＰ１や最大量子化パラメータＰ２は、レートやストリーム特性に依存しているため、これらを有効に活用するためには随時に設定する必要がある。
【実施例２】
【００４１】
図２は本発明の映像符号化装置の実施例２を示す。この映像符号化装置は、図１に示した実施例１に差分値検出回路１７が付加されている。
【００４２】
差分値検出回路１７は、Ａ／Ｄフレームメモリ部１０のフレームメモリに格納されている前フレームデータと現フレームデータとの差分値を検出し、その差分値が“０”の場合、つまり前フレームと同様な映像であった場合には、量子化パラメータ制御部１１にディジタル信号ａを入力させず、前フレームと同様のデータを受信部へ出力する。また、ＶＢＶバッファ１６に対して、この時の符号化データｆまたは符号化データｇを格納しないよう通知する。なお、受信部とは、図中右端の伝送路から先にあって、符合化データを復号化する回路をいう。
【００４３】
一方、差分値検出回路１７が差分値は“０”以外であることを検出した場合は、ディジタル信号ａを量子化パラメータ制御部１１に入力させる。この後の処理は実施例１と異なるところがない。
【００４４】
この実施例では、差分値検出回路１７の付加により、連続した同一の符号化処理を実行しないことになるので、さらなる発生情報量の削減が可能となる。
【図面の簡単な説明】
【００４５】
【図１】本発明の映像符号化装置の実施例１を示すブロック図
【図２】本発明の映像符号化装置の実施例２を示すブロック図
【図３】一般的な符号化システムによる遅延要素を示す図
【図４】本発明における解像度変換の概念図
【図５】本発明による入力フレームとそのＶＢＶバッファ容量の関係図
【図６】ＶＢＶバッファが破綻した場合の遅延イメージ図
【図７】スキップ・ピクチャー方式におけるフレーム番号とＶＢＶバッファ容量の関係図
【図８】スキップ・マクロブロック方式におけるフレーム番号とＶＢＶバッファ容量の関係図
【符号の説明】
【００４６】
１０      Ａ／Ｄフレームメモリ部
１１      量子化パラメータ制御部
１２      発生符号量制御部
１３      発生符号量監視部
１４      解像度判定部
１５      解像度変換部
１６      ＶＢＶバッファ
１７      差分値検出部
ａ        ディジタル信号
ｂ        量子化データ
ｃ        符号化データ
ｄ        閾値情報
ｅ〜ｈ    符号化データ
ｊ        バッファ状態情報
【図１】
2005286594.tif 000003
【図２】
2005286594.tif 000004
【図３】
2005286594.tif 000005
【図４】
2005286594.tif 000006
【図５】
2005286594.tif 000007
【図６】
2005286594.tif 000008
【図７】
2005286594.tif 000009
【図８】
2005286594.tif 000010