(57)【要約】  【課題】各セグメントに対する符号量配分を最適化して主観画質の低下を防止し、また、符号化効率を高めることを可能にすること。  【解決手段】先頭ピクチャでは、目標符号量R(t)を算出し(S1)、目標符号量R(t)を均等に配分して各セグメントに割り当てる符号量を決定する(S3)。そして該符号量で符号化処理を行う(S6)。その後、各セグメントごとのR−D特性を求めて記憶する(S7)。次のピクチャでは、目標符号量R(t)を算出し(S1)、直前のピクチャのR−D特性を利用して当該ピクチャの各セグメントに割り当てる符号量を算出し(S4,S5)、該符号量で符号化処理を行う(S6)。以後、同様に直前のピクチャのR−D特性を利用して符号量配分を行う。  【選択図】図２
2006352636.tif 000002
【特許請求の範囲】
【請求項１】
１枚の画面を複数のセグメントに分割し、セグメント単位の符号化を並列的に実行する動画像符号化装置において、
各セグメントに割り当てられ、各セグメントの画像を並列的に符号化する符号化手段と、
前記符号化手段での符号化の後処理として各セグメントの画像のＲ−Ｄ特性を求めて記憶する記憶手段と、
前記記憶手段に記憶された過去のピクチャにおけるＲ−Ｄ特性におけるＲ−Ｄ勾配と発生符号量の関係から、当該ピクチャにおける各セグメントに割り当てる符号量を決定する符号量決定手段を備えたことを特徴とする動画像符号化装置。
【請求項２】
前記記憶手段は、Ｒ−Ｄ特性として、Ｒ−Ｄ勾配と該Ｒ−Ｄ勾配を達成するのに要した符号量の対応を複数組記憶することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記記憶手段は、Ｒ−Ｄ特性に代えて量子化パラメータ−発生符号量特性を求めて記憶し、前記符号量決定手段は、前記記憶手段に記憶された過去のピクチャにおける量子化パラメータ−発生符号量特性を利用して、当該ピクチャにおける各セグメントに割り当てる符号量を決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記記憶手段は、量子化パラメータ−発生符号量特性として、量子化パラメータと該量子化パラメータを適用した際に発生した符号量の対応を複数組記憶することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記符号量決定手段は、当該ピクチャにおける各セグメントに割り当てる符号量として、各セグメントに割り当てる符号化ビット数または量子化パラメータのうち少なくとも一方を決定することを特徴とする請求項１ないし４のいずれかに記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置に関し、特に、画面分割による並列符号化処理を高性能に実現することができる動画像符号化装置に関する。
【背景技術】
【０００２】
高精細の動画像を符号化するとき、通常のLSIや圧縮符号化装置では、最大でもハイビジョンサイズの画像を処理対象としているので、1枚の画面を複数に分割してセグメント単位で処理するのが一般的である。
【０００３】
例えば、図６に示すような4096×2160画素のデジタルシネマと称される画像を符号化する場合、1枚の画面を4つに分割して得られる2048×1080画素のセグメント(J＝0〜3)を処理単位とし、セグメントそれぞれにエンコーダを与えて符号化を行う。
【０００４】
特許文献１には、過去のピクチャの符号化における発生符号量と量子化ステップをもとに当該ピクチャのセグメントごとの発生符号量を推定する映像信号符号化方式が記載されている。ここでは、画面1枚分の画像をピクチャと称しており、本発明においてもピクチャは画面1枚分の画像を意味するものとする。
【特許文献１】特開平７−１１５６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
セグメントそれぞれにエンコーダを与え、各セグメントに対する符号量配分を互いに連携させないで符号化した場合、セグメントごとの画質に差異が生じる。この結果、セグメントの境界部が不自然となり、主観画質の低下を招くという課題がある。
【０００６】
また、特許文献１に記載された映像信号符号化方式では、過去のピクチャの符号化における発生符号量と量子化ステップを利用して当該ピクチャのセグメントごとの発生符号量の推定の指標としているので、ピクチャ全体として高い符号化効率が得られるとは限らない。
【０００７】
本発明は、上記課題を解決し、各セグメントに対する符号量配分を最適化して主観画質の低下を防止でき、また、高い符号化効率を達成することができる動画像符号化装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、1枚の画面を複数のセグメントに分割し、セグメント単位の符号化を並列的に実行する動画像符号化装置において、各セグメントに割り当てられ、各セグメントの画像を並列的に符号化する符号化手段と、前記符号化手段での符号化の後処理として各セグメントの画像のR−D特性を求めて記憶する記憶手段と、前記記憶手段に記憶された過去のピクチャにおけるR−D特性におけるR−D勾配と発生符号量の関係から、当該ピクチャにおける各セグメントに割り当てる符号量を決定する符号量決定手段を備えた点に第１の特徴がある。
【０００９】
また、本発明は、前記記憶手段が、R−D特性として、R−D勾配と該R−D勾配を達成するのに要した符号量の対応を複数組記憶する点に第２の特徴がある。
【００１０】
また、本発明は、前記記憶手段が、R−D特性に代えて量子化パラメータ−発生符号量特性を求めて記憶し、前記符号量決定手段は、前記記憶手段に記憶された過去のピクチャにおける量子化パラメータ−発生符号量特性を利用して、当該ピクチャにおける各セグメントに割り当てる符号量を決定する点に第３の特徴がある。
【００１１】
また、本発明は、前記記憶手段が、量子化パラメータ−発生符号量特性として、量子化パラメータと該量子化パラメータを適用した際に発生した符号量の対応を複数組記憶する点に第４の特徴がある。
【００１２】
さらに、本発明は、前記符号量決定手段が、当該ピクチャにおける各セグメントに割り当てる符号量として、各セグメントに割り当てる符号化ビット数または量子化パラメータのうち少なくとも一方を決定する点に第５の特徴がある。
【発明の効果】
【００１３】
本発明によれば、符号化の後処理で求めたR−D特性を利用して、符号化済みの過去のピクチャの結果をもとに各セグメントに割り当てるべき符号量を決定できるのに加え、セグメント内の空間的な符号量配分を最適にできるので、全体としての主観画質の低下を抑制でき、また、ピクチャ全体からみた量子化誤差を最小に近づけて符号化効率を高めることができる。
【００１４】
また、符号化の後処理で求めた量子化パラメータ−発生符号量特性を利用することにより、量子化パラメータと発生符号量の関係を利用するだけで各セグメントに割り当てる符号量を決定できるので、R−D勾配を求める必要がなく、処理の簡単化が可能になる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像符号化装置を示す機能ブロック図であり、各機能はソフトウエアで実現することもできる。図１は、1枚の画面を4つに分割して得られる各セグメントの画像をセグメント単位で並列処理する場合の実施形態である。
【００１６】
各セグメントj(j＝0〜3)の画像Vin-jはそれぞれ、エンコーダENC-jに入力される。エンコーダENC-jは、各セグメントjの画像Vin-jをそれぞれ符号化する。符号化された各セグメントjの画像はマルチプレクサMUXで合成された後、バッファBUFFを介してネットワークに送出される。
【００１７】
レート制御部CONTは、後述するように、各セグメントjに対する符号量配分を決定し、エンコーダENC-jは、レート制御部CONTで決定された符号量配分に従った符号量で符号化を行う。
【００１８】
図２は、レート制御部CONTおよびエンコーダENC-jでの符号量配分決定および符号化処理の流れを示すフローチャートである。処理が開始されると、まず、レート制御部CONTは、時間tのピクチャの目標符号量R(t)を算出する(S1)。目標符号量R(t)は、画面全体に割り当てる符号量であり、その算出にはMPEGなどの符号化方式での手法をそのまま利用できる。
【００１９】
次に、時間tのピクチャが先頭ピクチャであるかどうかを判定する(S2)。処理開始当初は、ピクチャは先頭ピクチャであると判定されるので、該ピクチャの目標符号量R(t)を4つに均等に配分して各セグメントjに割り当てる符号量を決定する(S3)。
【００２０】
エンコーダENC-jはそれぞれ、S3で決定された符号量で符号化処理を実行する(S6)。次に、各セグメントjごとのR(発生符号量)−D（歪み量)特性を求めて記憶する(S7)。
【００２１】
図３は、各セグメントjごとのR−D特性の一例を示す特性図であり、このようなR−D特性は、図４に示す符号化処理の構成で求めることができる。図４において、各セグメントjの画像Vin-jは、符号化処理(S6)で、まず、動き補償予測(MC)されて予測誤差が生成される。該予測誤差は、変換符号化(DCT)、量子化(Q)および可変長符号化(VLC)される。このとき得られるDCT係数を各セグメントjごとにメモリ(MEM)に格納する。
【００２２】
その後、メモリ(MEM)に格納されたDCT係数を、発生符号量Rのサンプルが複数得られるように量子化パラメータを制御して量子化(Q)し、各量子化設定における復号画像上の歪み量Dを実測する。このときの量子化パラメータは、実際の符号化に用いたものとは異なる任意の量子化パラメータでよい。
【００２３】
例えば、j＝0のセグメントに対し図３に「×」で示す実測値が得られる。R−D関数がD＝alog２R＋bで表わされるものとすると、少なくとも2つの実測値を用いてセグメントj＝0の画像Vin-0についてのR−D関数を求めることができる。他のセグメントj＝1〜3の画像Vin-0〜Vin-3についてのR−D関数も同様にして求める。
【００２４】
S7では、各セグメントjについてR−D特性を求めて記憶する。R−D特性は、R−D特性そのものを記憶してもよいし、R−D特性を表すパラメータ(上記関数のa、b)を記憶するようにしてもよい。R−D特性を表すパラメータからR−D特性を再現できる。
【００２５】
また、本実施形態では、R−D勾配と発生符号量の関係を利用して符号量配分を決定するので、R−D特性として、複数のR−D勾配と該R−D勾配を達成するのに要した符号量を対応させて記憶するようにしてもよい。
【００２６】
後続のピクチャ(t←t＋1)に対してはS1から処理を始める。すなわち、まず、該ピクチャの目標符号量R(t)を算出する(S1)。S2では、ピクチャが先頭ピクチャではないと判定されるので、続いて、セグメントjごとの特定のR−D勾配を達成する符号量r(j)を算出する(S4)。符号量r(j)の算出は、直前のピクチャについての符号化処理後の後処理(S7)で得られるR−D特性を利用して行う。
【００２７】
ピクチャをある限られた符号量で符号化する場合、前ピクチャについてのR−D特性のR−D勾配が同一となるように各セグメントへの符号量配分を行えば、符号化済みのピクチャの結果をもとに各セグメントに割り当てるべき符号量を決定できるのに加え、セグメント内の空間的な符号量配分を最適にでき、また、ピクチャ全体からみた量子化誤差を最小に近づけて符号化効率を高めることができる。
【００２８】
理想的には、式(1)の拘束条件を満たし、かつ図３に示す点線の傾き(R−D勾配)が同一となるような符号量r(j)を求めればよい。だだし、この処理は傾きの探索により行われるため、選択したr(j)において式(1)は厳密には成立しないといえる。このため以下の処理を導入する。
【００２９】
【数１】
2006352636.tif 000003
【００３０】
S1で算出された当該ピクチャの目標符号量R(t)を符号量r(j)の比率で分配する(S5)。エンコーダENC-jはそれぞれ、S5で決定された符号量で符号化処理を実行する(S6)。次に、前回と同じようにして当該ピクチャについて各セグメントjごとのR−D特性を求めて記憶する(S7)。ここで記憶されたR−D特性は、後続のピクチャの符号化で利用する。以後、同様に処理を繰り返す。なお、シーンチェンジなどがあった場合は、シーンチェンジ後の最初のピクチャを新たな先頭ピクチャとして取り扱えばよい。
【００３１】
上記実施形態の動画像符号化装置は、セグメントごとの符号化処理の後処理で、セグメントごとのR−D特性を算出し、該R−D特性を基に次のピクチャのセグメントごとの符号量を推定することを基本としている。これにより符号化済みの過去のピクチャの結果をもとに各セグメントに割り当てるべき符号量を決定できるのに加え、セグメント内の空間的な符号量配分を最適にできるので主観画質の低下を防止でき、また、高い符号化効率を達成できる。
【００３２】
以上、実施形態を説明したが、本発明は種々の変形が可能である。例えば、セグメントごとの符号化の後処理で、図５に一例を示すような、量子化パラメータΔ(＝Δ(j))と発生符号量R(＝r(j))の関係を示す特性をセグメントごとに算出して記憶させておき、式(1)の拘束条件を満たし、かつ図５に点線で示すように、Δ(j)が同一であるという条件を満たすような符号量r(j)を求めることによっても、各セグメントに割り当てる符号量を決定できる。
【００３３】
また、本実施形態では、量子化パラメータと発生符号量の関係を利用して符号量配分を決定するので、量子化パラメータ−発生符号量特性として、複数の量子化パラメータと該量子化パラメータを適用した際に発生した符号量を対応させて記憶するようにしてもよい。
【００３４】
Δ−R特性を利用する場合には、量子化パラメータと発生符号量の関係だけを定義すればよく、R−D勾配を新たに定義する必要がないので、処理が簡単になる。  また、上記実施形態では、直前のピクチャについての符号化の後処理で得られるR−D特性を利用するものとした。これは、動画像では直前の画像との相関が最も高いのが普通であるので、好ましいものであるが、当該ピクチャで利用するR−D特性は、直前のピクチャで得られたものに限らず、それ以前のものとすることもできる。
【００３５】
本発明は、HDTVを上回る高精細の動画像を扱うシステム、例えばMPEG-2,H.264などの動画像符号化に基づき、高品質の素材伝送や番組配信サービスを行う場合に適用できる。
【図面の簡単な説明】
【００３６】
【図１】本発明に係る動画像符号化装置を示す機能ブロック図である。
【図２】レート制御部およびエンコーダでの符号量配分決定および符号化処理の流れを示すフローチャートである。
【図３】セグメントごとのR−D特性の一例を示す特性図である。
【図４】R−D特性を求めるための構成を示すブロック図である。
【図５】セグメントごとの量子化パラメータと発生符号量の関係の一例を示す特性図である。
【図６】高精細画像の一例を示す図である。
【符号の説明】
【００３７】
ENC-0〜ENC-3・・・エンコーダ、MUX・・・マルチプレクサ、BUFF・・・バッファ、CONT・・・レート制御部、MC・・・動き補償予測、DCT・・・変換符号化、Q・・・量子化、VLC・・・可変長符号化、MEM・・・メモリ
【図１】
2006352636.tif 000004
【図２】
2006352636.tif 000005
【図３】
2006352636.tif 000006
【図４】
2006352636.tif 000007
【図５】
2006352636.tif 000008
【図６】
2006352636.tif 000009