(57)【要約】【課題】記録媒体に動画像を圧縮符号化して記録する場合に、記録１回あたりの記録時間と総記録回数が予め知ることができない場合でも、総記録時間を保証する。【解決手段】記録時間計測手段１０７は記録開始からの経過時間を計測し、最大割当符号量計算手段１０８はこの経過時間に応じた最大割当符号量を計算する。割当符号量計算手段１１０は入力動画像の符号化難易度に基づいて可変の割当符号量を計算する。割当符号量制限手段１１２は割当符号量を最大割当符号量以下になるように制限する。量子化パラメータ決定手段１１３は発生符号量が割当符号量に等しくなるように量子化パラメータを決定する。【選択図】図１
2007135045.tif 000002
【特許請求の範囲】
【請求項１】
動画像を圧縮符号化し、符号化ストリームを出力する圧縮符号化手段と、
前記符号化ストリームの符号化難易度に基づき割当符号量を計算する割当符号量計算手段と、
最大割当符号量を前記動画像の圧縮符号化開始からの経過時間に応じて増加させる最大割当符号量計算手段と、
前記割当符号量を前記最大割当符号量で制限した実効割当符号量を算出する割当符号量制限手段と、
前記実効割当符号量に基づき前記圧縮符号化時の量子化パラメータを決定する量子化パラメータ決定手段とを備えた圧縮符号化装置。
【請求項２】
前記最大割当符号量計算手段は、目標平均符号量と前記符号化ストリームの符号量とから算出した累積誤差が、許容累積誤差を超えないように前記最大割当符号量を制限する請求項１記載の圧縮符号化装置。
【請求項３】
動画像を圧縮符号化し、符号化ストリームを出力する圧縮符号化ステップと、
前記符号化ストリームの符号化難易度に基づき割当符号量を計算する割当符号量計算ステップと、
最大割当符号量を前記動画像の圧縮符号化開始からの経過時間に応じて増加させる最大割当符号量計算ステップと、
前記割当符号量を前記最大割当符号量で制限した実効割当符号量を算出する割当符号量制限ステップと、
前記実効割当符号量に基づき前記圧縮符号化時の量子化パラメータを決定する量子化パラメータ決定ステップとからなる圧縮符号化方法。
【請求項４】
前記最大割当符号量計算ステップは、目標平均符号量と前記符号化ストリームの符号量とから算出した累積誤差が、許容累積誤差を超えないように前記最大割当符号量を制限する請求項３記載の圧縮符号化方法。
【請求項５】
動画像を圧縮符号化し、符号化ストリームを出力する圧縮符号化ステップと、
前記符号化ストリームの符号化難易度に基づき割当符号量を計算する割当符号量計算ステップと、
最大割当符号量を前記動画像の圧縮符号化開始からの経過時間に応じて増加させる最大割当符号量計算ステップと、
前記割当符号量を前記最大割当符号量で制限した実効割当符号量を算出する割当符号量制限ステップと、
前記実効割当符号量に基づき前記圧縮符号化時の量子化パラメータを決定する量子化パラメータ決定ステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号の圧縮符号化を行い、可変ビットレートの符号化ストリームに変換して記録または伝送する圧縮符号化装置、圧縮符号化方法、および記録媒体に関するものである。
【背景技術】
【０００２】
近年、動画像信号を圧縮符号化する方法として、国際標準規格であるＭＰＥＧ２方式が広く用いられている。ＭＰＥＧ２方式では、入力動画像信号のフレーム毎にマクロブロックと呼ばれる１６×１６画素のブロックに分割し、マクロブロック単位で動き補償によるフレーム間予測、ＤＣＴ、量子化、可変長符号化を用いることで高効率圧縮を実現している。
【０００３】
フレーム間予測は、動画像の時間的相関が強いことを利用して前後のフレームから符号化対象フレームを予測する技術である。動き補償はこれに加え、前後のフレームから、符号化対象マクロブロックと相関の強い画像ブロックを探し出し、対象マクロブロックとの差分を符号化することで、画像の時間的冗長性を排除し、高い圧縮率を実現している。
【０００４】
ＤＣＴは画像情報を周波数成分に変換する処理であり、各周波数成分すなわちＤＣＴ係数を量子化することで大幅な情報の圧縮をしている。量子化とはＤＣＴ係数を量子化パラメータと呼ばれる値で除算することであり、振幅レベルの小さな周波数成分がゼロになる。一般に画像信号は低周波数成分が大部分を占め、高周波成分は少ない。従って量子化によって振幅レベルの小さな高周波成分を省略することで、画像の空間情報を大幅に削減している。人間の視覚には、高周波成分には鈍感であるという特性があり、量子化によって高周波成分を除去したとしても画質劣化は目立ちにくい。
【０００５】
その後、量子化されたDCT係数に可変長符号化を施すことで、全体として高圧縮と高画質を実現している。
【０００６】
さて、ＤＶＤ等の記録メディアに動画像を圧縮符号化して記録するとき、量子化パラメータを逐次変更することで発生符合量を調節している。量子化パラメータを大きくすれば、発生符号量を減らすことができるが画質は悪くなる。逆に量子化パラメータを小さくすれば、高画質に符号化できるがその分発生符号量が増える。DVD等の固定容量のメディアに記録する場合には、発生符号量の増大は記録時間の減少につながる。このように一般的に画質と記録時間にはトレードオフの関係がある。
【０００７】
一般的に、一定期間毎の割当符号量を設定し、発生符号量と割当符号量の誤差が小さくなるように量子化パラメータを適応的に制御することを符号量制御という。
【０００８】
符号量制御の一つに固定ビットレート制御がある。これは常に固定の符号量が発生するように量子化パラメータの制御を行うものである。固定ビットレート制御の場合、入力画像の複雑さに関わらず常に一定の符号量しか割り当てずに符号化を行うため、入力画像が複雑な場合には発生符号量を抑えるためにQパラメータを大きく設定する必要があり、画質劣化につながる。また逆に、入力画像が簡単な場合には、必要以上の符号量を割り当てることになり、符合化の効率の観点からあまり良くない。
【０００９】
これに対して別の符号量制御として、可変ビットレート制御がある。可変ビットレート制御を用いれば、割当符号量を画像の符号化難易度に応じて変化させることができるので、固定ビットレート制御での問題を解決できる。すなわち符号化難易度が大きい画像の場合、目標平均符号量よりも割当符号量を大きくすることで、量子化パラメータをそれほど大きくすることなく符号化でき、逆に難易度が小さい画像の場合に目標平均符号量よりも割当符号量を小さくして符号化効率を向上させることが可能となる。このように可変ビットレート制御を用いれば、画像の符号化難易度に応じて適切な割当符号量を設定可能となり、高画質、高符号化効率が実現できる。
【００１０】
可変ビットレート制御を実現する装置の例として特開２０００−１７４６３５号公報記載のものが挙げられる。この装置では、あらかじめ与えられた目標平均符号量と発生符号量との累積誤差が、予め設定された許容累積誤差を超えないようにしつつ、符号化難易度に基づいて割当符号量を更新制御している。累積誤差が許容累積誤差に対して十分少ない場合には、符号化難易度が大きい画像に対して、十分な割当符号量を設定することができ、高画質を実現できる。一方、許容累積誤差に対する余裕量が少ない場合には、符号化難易度から計算される割当符号量を目標平均符号量に近づくように補正し、許容累積誤差を超過しないようにしている。許容累積誤差に対する余裕量がゼロとなった場合においても、最低でも目標平均符号量分は割り当てることができる。従って可変ビットレート制御によって高画質を実現しつつも、設定された許容誤差符号量を超えることもないので、記録時間の保証が可能となる。
【特許文献１】特開２０００−１７４６３５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記の特開２０００−１７４６３５号公報で示されるような従来の符号量制御方法は、以下のような課題がある。
【００１２】
テレビ放送の番組録画のように、あらかじめ記録時間が設定される場合、記録時間と目標平均符号量から総符号量が正確に計算可能であり、記録メディアの容量と記録時間に見合った許容累積誤差をあらかじめ設定することが可能であるが、ビデオカメラでの撮影のように、いつ撮影が停止されるか分からない場合、前もって記録時間を知ることができないため、適切な許容累積誤差をあらかじめ設定することは困難である。
【００１３】
可変ビットレートにおける割当符号量の振れ幅は、許容累積誤差に対する余裕量が大きいほど大きくすることができ、可変ビットレートの効果は大きくなる。しかし、符号化難易度が高い画像が続くと、目標平均符号量に対する誤差が蓄積され、符号量の余裕が無くなってしまう。このような状態のときに記録停止されると、目標平均符号量より多く記録容量を消費したことになる。さらに記録メディアの総記録容量いっぱいまでこのような記録が繰り返された場合、実際の総記録時間が、あらかじめ想定した記録時間よりも極端に短くなってしまうという課題があった。
【００１４】
逆に総記録時間を保証するために、１回の記録に対して、少量の累積誤差しか許容しないようにすると、割当符号量の振れ幅を小さくする必要がある。仮に大きく振ってしまうとすぐに余裕量を食いつぶしてしまい、目標平均符号量分しか符号を割り当てられず、固定ビットレート制御に近づいてしまうので、符号化難易度が高い画像の場合に必要な割当符号量を与えられなくなるという課題があった。
【００１５】
以上のように、符号化難易度が高い動画像を比較的短い時間で記録するという動作を、記録メディアの容量いっぱいまで繰り返した場合、従来の方法では画質と総記録時間の両方を保障することができないという課題があった。
【課題を解決するための手段】
【００１６】
本発明の圧縮符号化装置は、上記の課題を解決するために、動画像を圧縮符号化し、符号化ストリームを出力する圧縮符号化手段と、前記符号化ストリームの符号化難易度に基づき割当符号量を計算する割当符号量計算手段と、最大割当符号量を前記動画像の圧縮符号化開始からの経過時間に応じて増加させる最大割当符号量計算手段と、前記割当符号量を前記最大割当符号量で制限した実効割当符号量を算出する割当符号量制限手段と、前記実効割当符号量に基づき前記圧縮符号化時の量子化パラメータを決定する量子化パラメータ決定手段とを備える。
【発明の効果】
【００１７】
以上のように本発明の符号量制御方法は、最大割当符号量を記録時間に応じて増加させるので、いつ記録が停止されたとしても、また何回記録を繰り返しても、目標平均符号量に対する累積誤差を所定値以下に規定することができるので、記録時間を保証することができる。
【発明を実施するための最良の形態】
【００１８】
本発明の圧縮符号化装置は、動画像を圧縮符号化し、符号化ストリームを出力する圧縮符号化手段と、前記符号化ストリームの符号化難易度に基づき割当符号量を計算する割当符号量計算手段と、最大割当符号量を前記動画像の圧縮符号化開始からの経過時間に応じて増加させる最大割当符号量計算手段と、前記割当符号量を前記最大割当符号量で制限した実効割当符号量を算出する割当符号量制限手段と、前記実効割当符号量に基づき前記圧縮符号化時の量子化パラメータを決定する量子化パラメータ決定手段とを備える。これにより、最大割当符号量を記録時間に応じて増加させるので、いつ記録が停止されたとしても、また何回記録を繰り返しても、目標平均符号量に対する累積誤差を所定値以下に規定することができるので、記録時間を保証することができる。
【００１９】
上記の構成にかかる本発明の圧縮符号化装置において、前記最大割当符号量計算手段は、目標平均符号量と前記符号化ストリームの符号量とから算出した累積誤差が、許容累積誤差を超えないように前記最大割当符号量を制限するとしても良い。これにより、長時間記録された場合においても、累積誤差に応じた適切な最大割当符号量を設定することができるので、高画質を実現しつつ、記録時間を保証することができる。
【００２０】
以下、本発明にかかわる圧縮符号化方法の実施の形態を図面に基づいて詳細に説明する。
【００２１】
図１は、本発明の一実施の形態における圧縮符号化装置の構成を示すブロック図である。図１において、１０１は動画像入力端子、１０２は量子化処理を有した圧縮符号化手段、１０３は符号化ストリーム出力端子、１０４は発生符号量計測手段、１０５は目標平均符号量入力端子、１０６は累積誤差計算手段、１０７は記録時間計測手段、１０８は最大割当符号量計算手段、１０９は符号化難易度計算手段、１１０は割当符号量計算手段、１１１は許容累積誤差入力端子、１１２は割当符号量制限手段、１１３は量子化パラメータ決定手段である。
【００２２】
このように構成された圧縮符号化装置について、以下に動作を説明する。
【００２３】
まず、動画像入力端子１０１から入力された動画像信号は圧縮符号化手段１０２において符号化され、符号化ストリームが符号化ストリーム出力端子１０３へと出力される。
【００２４】
圧縮符号化手段１０２は、圧縮のために量子化処理を行っており、量子化のための量子化パラメータQは量子化パラメータ決定手段１１３から与えられる。
【００２５】
発生符号量計測手段１０４は符号化ストリームの発生符号量Bを所定期間ごとに計測する。
【００２６】
累積誤差計算手段１０６は、目標平均符号量入力端子１０５から入力される目標平均符号量Baと、発生符号量計測手段１０４から得られる発生符号量Bとの誤差dを算出し、それを累積加算して累積誤差Dを計算する。この結果を累積誤差情報として最大割当符号量計算手段１０８へ出力する。
【００２７】
一方、記録時間計測手段１０７は記録開始からの経過時間Tを測定する。経過時間Tは、例えば記録開始から符号化が完了したフレーム数とフレームレートをもとに計算すればよい。この経過時間情報を最大割当符号量計算手段１０８へ出力する。
【００２８】
最大割当符号量計算手段１０８は、経過時間計測手段１０７より与えられる経過時間情報に基づいて、最大割当符号量Bt_maxを算出する。最大割当符号量Bt_maxは、割当符号量Btの上限を規定するものである。本発明では、割当符号量Btを最大割当符号量Bt_maxによって制限することにより、発生符号量Bが大きくなり過ぎないようにして記録時間保証を実現している。
【００２９】
以下、最大割当符号量計算手段１０８における最大割当符号量Bt_maxの計算方法について、図２のフローチャートを用いて説明する。
【００３０】
記録開始からの経過時間Tが、記録時間計測手段１０７から入力される（ステップ２０１）。最大割当符号量計算手段１０８は、記録開始からの経過時間Ｔがあらかじめ設定された所定時間に達した際（ステップ２０２）に、まず仮の最大割当符号量Bt_max’を、経過時間Tをパラメータとし、経過時間に応じて増加する所定の関数を用いて計算する（ステップ２０３）。例えば、
Bt_max’ = a × T ＋ b（a、bはあらかじめ設定された正の実定数）
として計算することができる。また、Bt_max’について、ある上限値Ｐで制限してそれより大きくならないようにすることもできる。
【００３１】
さらに、最大割当符号量計算手段１０８は、累積誤差計算手段１０６より入力された累積誤差Dを用いて（ステップ２０４）、許容累積誤差入力端子１１１より与えられる許容累積誤差Dmaxを超過しないように、Bt_max’を補正して最大割当符号量Bt_maxを算出する。すなわち許容累積誤差Dmaxに対する累積誤差Dの余裕量が少ない場合（ステップ２０５）、Bt_max’を減じるように補正する（ステップ２０６）。余裕量がゼロに近づくほど、最大割当符号量Bt_maxは目標平均符合量Baに近づくように補正し、余裕量がゼロになった場合は、Bt_max’を目標平均符号量Baとする。割当符号量Btは最大割当符号量Bt_maxで制限されるため、累積誤差Dが許容累積誤差Dmaxを超過することはない。このようにして算出した最大割当符号量Bt_maxを、割当符号量制限手段１１２に出力する（ステップ２０７）。
【００３２】
符号化難易度計算手段１０９は、発生符合量計測手段１０４から入力される発生符号量Bと、量子化パラメータ決定手段１１３から入力される量子化パラメータQに基づいて、現在の入力動画像の符号化難易度Xを算出する。まず、直前に符号化が完了した一定区間における発生符号量と、そのときの量子化処理で用いた量子化パラメータから、現在の入力動画像の符号化の難しさを求める。符号化の難しさは、例えば発生符号量と量子化パラメータの積として計算される。また符号化難易度計算手段１０９は、過去の符号化の難しさを記憶しており、過去の符号化の難しさの平均等によって、入力動画像の平均的な符号化の難しさを計算する。平均的な符号化の難しさと現在の符号化の難しさの比率から、現在の符号化難易度を計算する。そして、これを符号化難易度情報として、割当符号量計算手段１１０へ出力する。
【００３３】
割当符号量計算手段１１０は、符号化難易度計算手段１０９から入力される符号化難易度Xに基づき、動画像を符号化するときに、所定期間ごとの目標符号量である割当符号量Btを計算する。割当符号量計算手段１１０は、符号化難易度情報に応じて、目標平均符号量Baより大きく設定したり、小さく設定したりするものである。符号化難易度Xは先に述べたように、過去の符号化の難しさと現在の符号化の難しさの比率としたので、目標符号量にこの比率を乗じて割当符号量を決定すればよい。このように割当符号量Btを計算することにより、過去に符号化した動画像よりも符号化が難しい動画像が入力された場合、画質が劣化しないように目標平均符号量Baよりも大きな割当符号量が設定される。逆に易しい動画像の場合には、目標平均符号量Baよりも小さい符号量が設定され、符号量が節約できることになる。
【００３４】
なお、上に説明したような符号化の難しさや符号化難易度の計算方法、割当符号量を変化させるための計算要素は、他の情報を用いてもよいし、他の計算方法で算出しても構わない。
【００３５】
割当符号量制限手段１１２は、割当符号量計算手段１１０から入力される割当符号量Btを、最大割当符号量計算手段１０８から入力される最大割当符号量Bt_maxによって制限する。すなわち割当符号量Btが最大割当符号量Bt_maxより大きい場合には、最大割当符号量Bt_maxを割当符号量とし、割当符号量Btが最大割当符号量Bt_max以下の場合には、割当符号量Btを割当符号量として、量子化パラメータ決定手段１１３へ出力する。
【００３６】
量子化パラメータ決定手段１１３は、これから符号化する動画像の符号化後の符号量Bが、割当符号量Btに等しくなるように量子化パラメータQを変化させる。
【００３７】
次に、上述したような発生符号量B、割当符号量Bt、最大割当符号量Bt_max、累積誤差D等の各要素の関係について、図面を用いて詳細に説明する。
【００３８】
図３は、記録開始時点から符号化難易度が高い動画像が入力される場合における、割当符号量と累積誤差との経過時間毎の変化を示す。図３（ａ）には、従来の方法を用いた場合の割当符号量を破線で、本発明における割当符号量を実線で示している。入力動画像の符号化難易度が非常に高いために、目標平均符号量を大きく上回る割当符号量が必要とされる。本発明では、最大割当符号量Bt_maxを、記録開始当初は値を抑え、時間毎に増加するように設定することにより、実際に量子化パラメータ決定手段１１３に設定される割当符号量は実線で示されるものとなる。
【００３９】
このときの累積誤差Dの様子を図３（ｂ）に示す。従来の割当符号量で符号化した場合の累積誤差は破線で、また本発明の最大割当符号量Bt_maxによって制限された割当符号量で符号化した場合の累積誤差は実線で示される。これによると従来の割当符号量の制限がない方法では、明らかに大量の符号量を消費している。このように大量の符合量を消費し、そこで記録が停止され、なおかつそれが繰り返された場合、記録メディアの容量と目標平均符合量から計算される記録時間に対して、実際の記録時間は極端に短いものとなる。それに対して、本発明の最大割当符号量によって割当符号量を制限した場合は、記録開始当初は、最大割当符号量によって割当符号量が低く抑えられているため、累積誤差はあまり大きく増えることはない。従って、短時間で記録が停止されたとしても、そのときの累積誤差量をある規定値以下に押さえ込むことができるので、この動作が繰り返されたとしても記録時間を保証できる。
【００４０】
また、記録開始時の最大割当符号量を目標平均符号量より大きく設定しておくことで、目標平均符号量よりも割当符号量を大きくすることができ、固定ビットレート制御よりも高画質に符号化することが可能となる。
【００４１】
次に、図４は、本発明における記録開始から十分に時間が経過し、かつ許容累積誤差Dmaxに対して、累積誤差Dが十分小さいときの通常状態での可変ビットレート制御の応答を表している。
【００４２】
まず、図４(a)では、目標平均符号量Baは時間経過に関係なく、常に一定値が設定される。破線で示されているのが最大割当符号量Bt_maxであり、記録開始から十分に時間が経過しているので、十分に大きな値となり既に一定の値で固定されている。このようなとき、割当符号量Btは画像の符号化難易度Xに応じて大きく割り振ることが出来る。このときの割り割当符号量Btを実線で示す。割当符号量Btが目標平均符号量Baより上回っている期間は、符号化難易度が高い動画像が入力されている期間であり、逆に割当符号量Btが目標平均符号量Baより下回っている期間は、符号化難易度が低い動画像が入力されている期間である。図４(a)のような割当符号量Btが量子化パラメータ決定手段１１３に設定される場合、実際の発生符号量Bは割当符号量Btに一致するように量子化パラメータ決定手段１１３がQパラメータを制御するので、累積誤差Dは図４(b)のような挙動を示す。割当符号量Btが目標平均符号量Baより上回っている期間は、累積誤差Dが増加し、逆に割当符号量Btが目標平均符号量Baより下回っている期間は、累積誤差Dは減少する。
【００４３】
次に、図４で説明したような状態のときに、符号化難易度が非常に高い動画像が入力され続けたときの各要素の応答を図５に示す。図５（ａ）において、最大割当符号量Bt_maxによる制限なしの場合の割当符号量を破線で示している。これは入力動画像の符号化難易度が非常に高いために本来必要とされる割当符号量である。しかし実際には累積誤差Dが許容累積誤差Dmaxに近づくにつれて、最大割当符号量Bt_maxをだんだん減少させるように補正する。割当符号量Btは割当符号量制限手段１１２によってBt_maxでクリップされるため、実際に量子化パラメータ決定手段１１３に設定される割当符号量はBt_maxとなる。このため累積誤差Dは図５（ｂ）のような挙動を示す。累積誤差Dが許容累積誤差Dmaxに達したときには、最大割当符号量Bt_maxは目標平均符号量Baと等しくなるように補正されるため、累積誤差Dは許容累積誤差Dmaxを超過することはない。
【００４４】
またこの後、符号化難易度が低い動画像が入力され、累積誤差Dが減少して余裕ができた場合には、最大割当符号量を増加させて割当符号量を大きくすることができる。
【００４５】
このように、本発明では、長時間記録された場合は、最大割当符号量が十分大きくなっており、割当符号量を符号化難易度に応じて十分に割り振ることができ、高画質を実現できる。
【産業上の利用可能性】
【００４６】
以上述べたように本発明は、最大割当符号量を記録開始時点からの経過時間に応じて増加させるので、いつ記録停止されたとしても、また何回記録を繰り返したとしても、設定された総記録容量に対して累積誤差量が規定値以下に抑えることが可能なので、記録時間を保証でき、動画像を圧縮符号化する圧縮符号化装置、あるいは動画像の圧縮符号化方法として有用である。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施の形態における圧縮符号化装置のブロック図
【図２】本発明の一実施の形態における最大割当符号量を算出するフローチャート
【図３】本発明の一実施の形態における記録開始時から複雑な動画像が入力された際の割当符号量と累積誤差を示す概念図
【図４】本発明の一実施の形態における一定時間経過後の割当符号量と累積誤差を示す概念図
【図５】本発明の一実施の形態における一定時間経過後に複雑な動画像が入力された際の割当符号量と累積誤差を示す概念図
【符号の説明】
【００４８】
１０１  動画像入力端子
１０２  圧縮符号化手段
１０３  符号化ストリーム出力端子
１０４  発生符号量計測手段
１０５  目標平均符号量入力端子
１０６  累積誤差計算手段
１０７  記録時間計測手段
１０８  最大割当符号量計算手段
１０９  符号化難易度計算手段
１１０  割当符号量計算手段
１１１  許容累積誤差入力端子
１１２  割当符号量制限手段
１１３  量子化パラメータ決定手段
【図１】
2007135045.tif 000003
【図２】
2007135045.tif 000004
【図３】
2007135045.tif 000005
【図４】
2007135045.tif 000006
【図５】
2007135045.tif 000007