(57)【特許請求の範囲】
【請求項１】
入力画像信号の単位時間毎の符号化難易度ｄを求める工程と、
上記入力画像信号の単位時間毎の符号化難易度ｄと割当ビット量の基準値 b_real とを用いて実際の割当符号量ｂ_xを算出する工程と、
上記実際の割当符号量ｂ_xに従って上記単位時間毎に上記入力画像信号を符号化して符号化データを生成する工程とを有し、
上記実際の割当符号量ｂ_xを算出する工程では、単位時間当りの割当ビット量 b_av の一定時間 T_vbr の総和 B_av
B_av = b_av × T_vbr
の一部を予め仮想バッファ V_vbr  として蓄え、実際の単位時間当りの割当ビット量の基準値 b_real は、
b_real = (B_av-V_vbr) / T_vbr
とし、上記実際の割当符号量ｂ_xを、上記符号化難易度ｄ、及び符号化難易度の基準値d_Avg を用いて
b_x = b_real × d / d_Avg
により算出し、V_vbr > 0 である時に限り、b_real  以上の割当ビット量を上記割当符号量ｂ_xとして与えることを許可し、それ以外の場合には上記 b_real を上限として割当符号量ｂ_xを与える
画像信号符号化方法。
【請求項２】
上記一定時間 T_vbr  の符号化を終えた際に、一定時間の実際の発生ビット量の総和 B_gen  と一定時間の使用可能ビット量の総和 B_av の差（B_av - B_gen）が正である場合には、その差を次の一定時間の使用可能ビット量の総和 B_av に加えるような差分の繰越を行う請求項１記載の画像信号符号化方法。
【請求項３】
入力画像信号の単位時間毎の符号化難易度ｄを求める手段と、
求める手段と、
上記入力画像信号の単位時間毎の符号化難易度ｄと割当ビット量の基準値 b_real とを用いて実際の割当符号量ｂ_xを算出する手段と、
上記実際の割当符号量ｂ_xに従って上記単位時間毎に上記入力画像信号を符号化して符号化データを生成する手段とを有し、
上記実際の割当符号量ｂ_xを算出する手段は、単位時間当りの割当ビット量 b_av の一定時間 T_vbr の総和 B_av
B_av = b_av × T_vbr
の一部を予め仮想バッファ V_vbr  として蓄え、実際の単位時間当りの割当ビット量の基準値 b_real は、
b_real = (B_av-V_vbr) / T_vbr
とし、上記実際の割当符号量ｂ_xを、上記符号化難易度ｄ、及び符号化難易度の基準値d_Avg を用いて
b_x = b_real × d / d_Avg
により算出し、V_vbr > 0 である時に限り、b_real  以上の割当ビット量を上記割当符号量ｂ_xとして与えることを許可し、それ以外の場合には上記 b_real を上限として割当符号量ｂ_xを与える
画像信号符号化装置。
【請求項４】
上記一定時間 T_vbrの符号化を終えた際に、一定時間の実際の発生ビット量の総和 B_gen と一定時間の使用可能ビット量の総和 B_av の差( B_av - B_gen )  が正である場合には、その差を次の一定時間の使用可能ビット量の総和 B_av に加えるような差分の繰越を行う請求項３記載の画像信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、送信側にてディジタル信号を効率的に符号化する高能率符号化における画像信号符号化方法及び装置に関し、特に、動画像信号の符号化において、１パスによる可変ビットレートで符号化を制御する画像信号符号化方法及び装置に関する。
【０００２】
【従来の技術】
ディジタルビデオ信号はデータ量が極めて多いため、これを小型で記憶容量の少ない記録媒体に長時間記録したい場合、ビデオ信号を高い圧縮率で効率よく符号化する高能率符号化手段が不可欠となる。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方法が提案されており、その一つにＭＰＥＧ方式がある。このＭＰＥＧ（Moving Picture Image Coding Experts Group） とは、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて議論され、標準案として提案されたものであり、動き補償予測符号化と離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）符号化とを組み合わせたハイブリッド方式である。このＭＰＥＧ方式では、まずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落とし、その後、離散コサイン変換を用いて空間軸方向の冗長度を落とし、このようにしてビデオ信号を能率よく符号化する。
【０００３】
一般に、ビデオ信号は定常的でなく、各ピクチャの情報量は時間経過に伴って編かする。そのため可変ビットレート符号化を用いると同じ符号量で一定ビットレート符号化に比べて高画質が得られることが知られている。
【０００４】
例えば、いわゆるＤＶＤ−video に記録されるビデオ信号は、２パス方式の可変ビットレート符号化が、一般に用いられている。この２パス方式は、符号量を求めるための符号化処理と、求められた符号量に基づいてビットレートを可変制御しながら行う符号化処理との２度の符号化を行うものであり、使用可能な符号化ビット総量を有効に使うことが出来る利点があるが、処理時間が動画像シーケンスの時間長の約２倍必要という欠点があるため、リアルタイム処理には不向きである。
【０００５】
この処理時間を短くすることを目的とした１パス方式の可変ビットレート符号化方式が、例えば特願平７−３１１４１８号及び特願平９−１１３１４１号等の明細書及び図面等に開示されている。
【０００６】
ここで、図１１に、従来の１パス方式の可変ビットレート符号化方法を適用した動画像の符号化装置の構成例を示し、また図１２に１パス方式の可変ビットレート符号処理のフローチャートを示す。
【０００７】
図１１のブロック図に示す動画像符号化装置において、入力端子２００に供給された入力動画像信号は、符号化難易度計算器２０１及び遅延器２０３に送られる。符号化難易度計算器２０１からの出力は、単位時間毎の割当ビット量を計算する割当ビット量計算器２０２に送られ、割当ビット量計算器２０２からの出力は動画像符号化器２０４に送られる。動画像符号化器２０３は、遅延器２０３からの出力信号を、割当ビット量計算器２０２からの割当ビット量に応じて符号化し、端子２０５より符号化ビットストリームとして出力する。
【０００８】
以下、図１１に示す動画像符号化装置の動作を、図１２のフローチャートに従って説明する。
【０００９】
図１２のステップＳ４０１では、端子２００に供給された動画像信号を図１０の符号化難易度計算器２０１に入力し、単位時間毎の入力画像の符号化難易度ｄを計算する。上記単位時間は、例えば０．５秒程度とされる。この符号化難易度の計算は、例えば量子化ステップを固定して入力動画像をエンコードして、所定時間毎の発生符号量を計算することにより行われる。
【００１０】
次のステップＳ４０２では、割当ビット量計算器２０２により、符号化難易度計算器２０１から得られた符号化難易度ｄに対する割当ビット量ｂを計算により求める。この場合、予め、基準となる動画像シーケンスを所定の平均ビットレートで可変ビットレート符号化する時の単位時間毎の符号化難易度ｄと割当ビット量ｂを関係付けておく。ここで、基準となる動画像シーケンスに対する単位時間毎の割当ビット量の総和は、目的の記録媒体の記憶容量以下にされている。この符号化難易度ｄと割当ビット量ｂの関係の例を図１３に示す。
【００１１】
この図１３において、横軸は符号化難易度ｄを示し、縦軸は、基準となる動画像シーケンス内で符号化難易度ｄの出現確立ｈ(ｄ)を示している。そして、任意の符号化難易度に対する割当ビット量を関数ｂ(ｄ)に基づいて計算する。この関係は、多くの動画像シーケンス（例えば映画）を所定の平均ビットレートで符号化する実験を行い、その画質を評価し、試行錯誤を通じて経験的に求められるものであり、世の中のほとんどのシーケンスに適応可能な一般的な関係になっている。その求め方については、例えば特願平７−３１１４１８号等の明細書及び図面に開示されている。割当ビット量計算器２０２では、この図１３の関係に基づいて、端子２００からの入力画像の単位時間の符号化難易度ｄに対して、割当ビット量ｂを求める。
【００１２】
この１パス方式の動画像符号化装置における遅延器２０３は、単位時間長の入力画像に対しての符号化難易度計算器２０１と割当ビット量計算器２０２での処理が単位時間内に終了するので、その画像信号の動画像符号化器２０４への入力を単位時間だけ遅延するために設けられている。
【００１３】
次のステップ４０３では、動画像符号化器２０４が、単位時間毎の入力動画像を、これに対応して割当ビット量計算器２０２から与えられる割当ビット量になるように符号化する。すなわち、動画像符号化器２０４は、割当符号量に基づいた量子化ステップサイズにより、単位時間毎の入力動画像をエンコードする。
【００１４】
このような１パス方式においては、画像信号の入力に応じて、ほぼリアルタイムで信号の符号化難易度に応じた最適な割当ビット量での可変ビットレート符号化が行える。
【００１５】
ところで、図１３の関係は、ほとんどの動画像シーケンスに適用できるが、いくつかの特殊なシーケンスには対応できず、動画像符号化器２０４で発生した総ビット量が、使用可能な総ビット量を越えてしまう場合があり、すなわち目的の記録媒体に動画像シーケンスを収録できない場合がある。
【００１６】
所定の時間長の動画像シーケンスをリアルタイムに可変ビットレート符号化して、一定の記憶容量の記録媒体に記録するためには、従来の２パス方式は使用できない。また従来の１パス方式では、ほとんどの動画像シーケンスをリアルタイムに可変ビットレートで符号化し、所定の時間長のシーケンスを一定の記憶容量の記録媒体に収録できるが、一部の特殊なシーケンスでは、符号化ビットの総量が使用可能な総ビット量を越えてしまうことがあり、所定の時間長のシーケンスを記録媒体に収録できない場合があるので問題がある。
【００１７】
そこで、記録媒体に記録可能な時間長の信号を符号化した時の発生ビット量の総和が、記録媒体への信号記録に使用できるビット量以下になるように、実際の割当ビット量を制御することにより、所定の時間長の信号を一定の記憶容量の記録媒体に収録できることを保証することが提案されている。
【００１８】
具体的には、単位時間毎の入力信号を一定の割当ビット量 b_av で符号化する場合の現在までの割当ビット量の総和 B_av と、現在までの実際の発生符号化ビット量の総和 B_gen とを比較して、値（ B_av - B_gen ）が正の時に、b_av 以上の割当ビット量を与えることを許可することにより、上記のことを保証する。
【００１９】
上記単位時間毎の一定の割当ビット量b_av は次式で与えられる。すなわち、
b_av = T_単位時間 × B_V/T_SEQ
ここで、
B_V   : 信号記録媒体の中で動画像の記録に使用できるビット量
T_SEQ : 信号記録媒体に記録できる動画像シーケンスの時間長
T_単位時間 : 単位時間長
である。
【００２０】
上記割当符号量の参考値を実際の割当符号量へ変更する時の情報に基づいて、入力信号にプレフィルタ処理を施し、その処理信号を符号化することにより、信号の符号化による劣化を目立たなくすることができる。具体的には、上記実際の割当符号量を割当符号量の参考値よりも小さく抑える場合に、入力画像にローパスフィルタ処理をすることにより、画像の符号化劣化を目立たなくすることができる。
【００２１】
信号の符号化と記録媒体への符号化信号の記録を何度かに分けて行なう時は、上記値（ B_av - B_gen ）、又はこれに相当する値を記録媒体に記録しておき、次に、その記録媒体の空き領域に信号を記録する時、信号記録に先だって、上記値（ B_av - B_gen ）、又はこれに相当する値をその記録媒体から読み出して、この値に基いて単位時間毎の入力信号の割り当てビット量を計算するので、記録媒体の記憶容量を有効に使うことができる。
【００２２】
また、上記入力信号が動画像信号の場合に、上記符号化難易度を入力画像の所定時間毎の画像特性情報に基づいて求めて、この画像特性情報により人間の視覚特性が反映された割当符号量で符号化を行う。
【００２３】
図１４に、上述したような所定の時間長の信号を一定の記憶容量の記録媒体に収録できることを保証する１パス可変ビットレート符号化方法を適用した動画像の符号化装置の構成例を示す。
【００２４】
図１４において、端子１０１から入力された動画像信号Ｓ１は、動きベクトル計算器１０２へ入力される。動きベクトル計算器１０２は入力動画像の動きベクトル情報（動きベクトルとその予測残差）を出力する。また、動画像信号Ｓ１と上記動きベクトル情報は、符号化難易度計算器１０３へ入力される。符号化難易度計算器１０３では、入力画像Ｓ１の単位時間毎の符号化難易度ｄを計算する。上記符号化難易度ｄは、単位時間毎の割当ビット量計算器１０４へ入力される。割当ビット量計算器１０４は、単位時間毎の入力画像を符号化するときの割当ビット量の参考値ｂを計算する。上記割当ビット量の参考値ｂはコントローラ１０５へ入力される。コントローラ１０５は、上記割当ビット量の参考値ｂを実際の割当ビット量ｂ_ｘ に変更して出力する。また、コントローラ１０５は、プレフィルタ１０７の処理情報Ｓ４も出力する。遅延器１０６は、単位時間長の入力画像Ｓ１に対して、符号化難易度計算器１０３、割当ビット量計算器１０４及びコントローラ１０５での処理が終了するまで、その入力画像信号Ｓ１のプレフィルタ１０７への入力を単位時間だけ遅延する。遅延器１０６で遅延された入力画像信号Ｓ２は、プレフィルタ１０７で処理情報Ｓ４に応じた処理がなされ、処理画像信号Ｓ３が出力される。プレフィルタ１０７は、処理情報Ｓ４に応じてフィルタ特性が変化するフィルタであり、主として割当ビット数を多く必要とするような複雑な画像に対してローパスフィルタをかけることで符号化の際の劣化を防止するためのものである。動画像信号符号化器１０８は、単位時間の上記処理画像信号Ｓ３を割当ビット量ｂ_xになるように符号化する。動画像符号化器１０８は、符号化ビットストリームＳ５と単位時間毎の発生ビット量b_gen を出力する。符号化ビットストリームＳ５は、端子１０９から出力される。
【００２５】
このような１パス方式においては、画像信号の入力に応じて、ほぼリアルタイムで信号の符号化難易度に応じた最適な割当ビット量での可変ビットレート符号化が行え、記録媒体に記録可能な時間長の信号を符号化した時の発生ビット量の総和が、記録媒体への信号記録に使用できるビット量以下になるように、実際の割当ビット量を制御することができる。
【００２６】
【発明が解決しようとする課題】
ところで、上述したような方法により、符号化難易度に応じた割当ビット量を決定した場合、符号化難易度の高い画像信号が序盤に集中して入力された場合には、（ B_av - B_gen ）が正とならないため、後半の画像信号の符号化難易度が低くとも、序盤の符号化難易度の高い画像信号に対して単位時間毎に必要な割当ビット量を充分に割り当てることができず、画質の改善が行えない、という問題があった。
【００２７】
また、（ B_av - B_gen ）が正となり、符号化難易度の高い画像に対して、通常よりも高いビット量を割り当てられる状態にある時に、連続して符号化難易度の高い画像が入力されて、通常よりも高い割当ビット量になっている途中で（ B_av - B_gen ）が負になった場合には、急激に割当ビット量が下がってしまう、という問題があった。
【００２８】
また、符号化難易度の低い画像が連続して入力された場合には、（ B_av - B_gen ）が正となっていて、通常よりも高い割当ビット量を割り当てられるにも関わらず、通常よりも低い割当ビット量を割り当て続け、固定の符号化レートで符号化した場合よりも劣化の多い画像となってしまう、という問題があった。
【００２９】
また、実際に割当てられる最大の割当ビット量と最小の割当ビット量を特に定めていなかったため、符号化した際に、極端に割当ビット量の高い部分や、極端に割当ビット量の少ない部分が発生する可能性があり、入力画像全体のバランスを考慮したビット量の割当をすることができない、という問題があった。
【００３０】
また、入力画像の視覚特性によっては、同じ割り当てビット量でも画質の劣化が目立つ場合があるのだが、そのような場合に対する対策が不充分であった。
【００３１】
本発明は、上述の実情に鑑みて提案されたものであって、符号化難易度の高い画像信号が序盤に集中して入力された場合や、通常よりも高いビット量を割り当てられる状態にある時に連続して符号化難易度の高い画像が入力された場合や、符号化難易度の低い画像が連続して入力された場合等にも、適切なビット割当が可能で、符号化難易度への追従能力が高く、有効な符号化を実現できるような画像信号符号化方法及び装置を提供することを目的とする。
【００３２】
【課題を解決するための手段】
本発明は、上述した課題を解決するために、入力画像信号の単位時間毎の符号化難易度ｄと割当ビット量の基準値 b_real とを用いて実際の割当符号量ｂ_xを算出し、実際の割当符号量ｂ_xに従って単位時間毎に入力画像信号を符号化して符号化データを生成するようにし、実際の割当符号量ｂ_xを算出す際には、単位時間当りの割当ビット量 b_av の一定時間 T_vbr の総和 B_av
B_av = b_av × T_vbr
の一部を予め仮想バッファ V_vbr  として蓄え、実際の単位時間当りの割当ビット量の基準値 b_real は、
b_real = (B_av-V_vbr) / T_vbr
とし、実際の割当符号量ｂ_xを、上記符号化難易度ｄ、及び符号化難易度の基準値d_Avg を用いて
b_x = b_real × d / d_Avg
により算出し、V_vbr > 0 である時に限り、b_real  以上の割当ビット量を上記割当符号量ｂ_xとして与えることを許可し、それ以外の場合には上記 b_real を上限として割当符号量ｂ_xを与えるようにしている。
【００３３】
ここで、上記参考値に基づいて実際の割当符号量を求める際、例えば割当符号量の参考値を実際の割当符号量へ変更する際に、単位時間当りの割当ビット量の一定時間の総和の一部を予め仮想バッファとして蓄え、実際の単位時間当りの割当ビット量の基準値は仮想バッファを除いた割当ビット量の総和を予め定めた一定時間で割ったものとする。これにより、一定時間の符号化の序盤において、符号化難易度の高い画像が連続して入力された場合でも、割当ビット量の基準値よりも高いビット量を割当てられるようにする。
【００３４】
具体的には、割当符号量の参考値を実際の割当符号量へ変更する際に、単位時間当りの割当ビット量 b_av の一定時間 T_vbr の総和 B_av
B_av = b_av × T_vbr
の一部を予め仮想バッファ V_vbr  として蓄え、実際の単位時間当りの割当ビット量の基準値 b_real は
b_real = (B_av-V_vbr) / T_vbr
とし、V_vbr > 0 である時に限り、b_real  以上の割当ビット量を与えることを許可し、それ以外の場合には b_real 以下の割当ビット量を与える。
【００３５】
これにより、可変ビットレート制御を行った際に、一定時間 T_vbr  における発生ビット量の総和が B_av 以下になることを保証する。
【００３６】
また、入力画像の符号化難易度と割当符号化量とを関係付ける際に、時間的に先行する単位時間の符号化難易度と割当符号化量、実際の発生ビット量の関係及び、時間的に先行する単位時間の符号化難易度と現在の単位時間の符号化難易度の関係を考慮して参考値を求める。これにより、符号化難易度の高い画像信号が連続して入力された場合や、符号化難易度の低い画像信号が連続して入力された場合に、時間的に先行する単位時間の符号化難易度や割当ビット量に応じた割当ビット量の決定が行え、同程度の符号化難易度の画像が連続して入力された場合に、途中で急激に割当ビット量が下がるのを避けられる。また、入力画像信号の符号化難易度が低い場合でも、より多くのビット量を割り当てられる状態にあるときには、多くのビット量を割り当てることができる。
【００３７】
また、基準値以上、または基準値以下の割当ビット量を与える際に、予め単位時間当りの割当ビット量の基準値に応じた上限と下限を与えることで、局所的に極端に高い割当ビット量や極端に低い割当ビット量を割り当てることなく、入力画像全体でバランスの取れたビット量の割り当てができる。
【００３８】
さらに、符号化難易度が低く、基準値以下の割当ビット量を割り当てる場合に、入力画像信号の視覚特性を考慮し、符号化劣化が目立つ部分の割合に応じて、割当ビット量の下限を設け、画質劣化が目立つような符号化を行うことを防ぐ。
【００３９】
【発明の実施の形態】
以下、本発明に係る信号符号化方法及び装置の好ましい実施の形態について、図面を参照しながら説明する。ここで、以下の実施の形態においては、特に、動画像信号を符号化する場合の動画像信号符号化の例について説明する。
【００４０】
図１は本発明に係る信号符号化方法及び装置の実施の形態となる動画像符号化装置の構成例を示すブロック図である。
【００４１】
この図１において、端子３１から入力された動画像信号Ｓ１は、動きベクトル計算器３２、符号化難易度計算器３３、視覚特性測定器３５、及び遅延器３６に送られる。
【００４２】
視覚特性測定器３５では、入力された動画像信号Ｓ１の視覚特性を測定し、視覚特性情報 R_visual を割当ビット量計算器およびコントローラ３４へ送る。動きベクトル計算器３２は、入力動画像の動きベクトル情報（動きクトルとその予測残差）を出力する。この動きベクトル情報は、上記動画像信号Ｓ１と共に、符号化難易度計算器３３に送られる。
【００４３】
符号化難易度計算器３３では、動きベクトル計算器３２からの動きベクトル情報と、後述する動画像符号化器３８から供給された発生ビット量情報 b_gen、Ｑスケール q_scale、及び輝度値の偏差 activity とから、入力動画像信号Ｓ１の単位時間毎の符号化難易度ｄを計算する。この符号化難易度ｄは、割当ビット量計算器・コントローラ３４へ入力される。上記単位時間には、例えばＭＰＥＧの１ＧＯＰ（Group of Picture) 等が用いられるが、これに限定されないことは勿論である。
【００４４】
割当ビット量計算器・コントローラ３４は、入力された符号化難易度d 、端子３０から入力された単位時間毎の平均割当ビット量 b_av 、及び視覚特性測定器３５から供給された視覚特性 R_visual より、単位時間毎の入力画像を符号化するときの割当ビット量 b_x  を計算する。上記割当ビット量 b_x  は動画像符号化器３６へ出力される。割当ビット量計算器・コントローラ３４は、プレフィルタ３７の処理情報Ｓ４も出力する。
【００４５】
遅延器３６は、単位時間長の入力動画像信号Ｓ１に対して、符号化難易度計算器３３、割当ビット量計算器・コントローラ３４での処理が終了するまで、その入力動画像信号Ｓ１のプレフィルタ３７への入力を単位時間だけ遅延する。遅延器３６で遅延された動画像信号Ｓ２は、プレフィルタ３７で上記処理情報Ｓ４に応じた処理がなされ、処理画像信号Ｓ３が出力される。プレフィルタ３７からの処理画像信号Ｓ３は、動画像符号化器３８に送られる。
【００４６】
動画像信号符号化器３８は、単位時間の上記処理画像信号Ｓ３を、上記割当ビット量ｂ_xになるように符号化する。動画像符号化器３８は、符号化ビットストリームＳ５と単位時間毎の発生ビット量b_gen 輝度値の分散 activity 、割当Ｑスケール q_scale  を出力する。符号化ビットストリームＳ５は、端子３９から出力される。
【００４７】
このような構成において、符号化難易度計算器３３、及び割当ビット量計算器・コントローラ３４では、符号化難易度との関係から得られる割当符号量に基づいて参考値（例えば割当符号量の参考値）を求め、この参考値に基づいて実際の割当符号量を求める際に、単位時間当りの割当ビット量の一定時間の総和の一部を予め仮想バッファとして蓄え、実際の単位時間当りの割当ビット量の基準値は仮想バッファを除いた割当ビット量の総和を予め定めた一定時間で割ったものとするようにしている。
【００４８】
すなわち、単位時間毎の符号化難易度ｄに対して割当符号量の参考値を求め、この参考値を実際の割当符号化量ｂ_xに変換する際に、単位時間当りの割当ビット量 b_av の一定時間 T_vbr の総和 B_av（B_av = b_av × T_vbr）の一部を予め仮想バッファ V_vbr  として蓄え、実際の単位時間当りの割当ビット量の基準値 b_real は、b_real = (B_av-V_vbr) / T_vbr とし、V_vbr > 0 である時に限り、b_real  以上の割当ビット量を与えることを許可し、それ以外の場合には b_real 以下の割当ビット量を与えるようにしている。上記一定時間 Ｔ_vbr としては、例えば１分程度とすることが挙げられるが、これに限定されるものではない。
【００４９】
上記参考値は、時間的に先行する単位時間の符号化難易度と割当符号化量、実際の発生ビット量の関係及び、時間的に先行する単位時間の符号化難易度と現在の単位時間の符号化難易度の関係を考慮して求めている。
【００５０】
また、上記 b_real 以上の割当ビット量を与える際には、予め単位時間当りの割当ビット量 b_av に応じた上限を与えるようにし、上記 b_real 以下の割当ビット量を与える際に、予め単位時間当りの割当ビット量 b_av に応じた下限を与えるようにしている。
【００５１】
また、入力画像の視覚特性を考慮し、符号化による劣化の目立つ絵柄が多く含まれる場合には、その割合に応じた下限を上記割当ビット量に与える。
【００５２】
また、上記一定時間 T_vbr  の符号化を終えた際に、一定時間の実際の発生ビット量の総和 B_gen  と一定時間の使用可能ビット量の総和 B_av の差（B_av - B_gen）が正である場合には、その差を次の一定時間の使用可能ビット量の総和に加えるような差分の繰越を行うようにし、この差分の繰越により、一定時間の使用可能ビット量の総和が、初期の総和 B_av の R_total  倍に達した場合、その比率に応じて実際の単位時間当りの割当ビット量の基準値 b_real を引き上げるようにしている。
【００５３】
以下、図２〜図８のフローチャートを参照しながら、図１の符号化難易度計算器３３、及び割当ビット量計算器・コントローラ３４が行う割当ビット量決定のアルゴリズムの具体例を説明する。
【００５４】
図２のステップＳ５０で割当ビット量決定処理を開始し、ステップＳ５１で符号化難易度計算器３３は動画像を入力し、ステップＳ５２で符号化難易度の基準値 d_Avg を初期値 d_Default で初期化する。
【００５５】
ステップＳ５３で、図１の端子３０から入力された単位時間毎の平均割当ビット量 b_av から可変ビットレート制御時の基準ビットレート b_real を、
b_real = b_av × R_vbr  [Mbps]
として求める。ここに、可変ビットレート制御時の基準ビットレートの比率  R_vbr は 0 < R_vbr < 1 とし、例えば、 R_vbr＝0.9等の値を用いる。また、単位時間としては、例えばＭＰＥＧの１ＧＯＰ（Group of Picture）などを用いる。
【００５６】
ステップＳ５４では、一定時間 T_vbr の可変ビットレート制御開始時の、可変ビットレート制御のための仮想バッファ V_vbr を、以下の式に従って確保する。時間的に先行する符号化処理において、V_vbr に余りがある場合には、そのまま次の一定時間T_vbr にその残量を繰り越す。すなわち、
V_vbr = V_vbr + (1 - R_vbr)×T_vbr×b_av [Mbit]
とする。この仮想バッファ V_vbrを用いて、比較的符号化難易度の高い画像には b_real よりも多くの情報量を割り当て、比較的符号化難易度の低い画像には b_realよりも少ない情報量を割り当てる。
【００５７】
ここで、仮想バッファの概念を図９を参照しながら説明する。この図９において、単位時間当りの割当ビット量 b_av の一定時間 T_vbr の総和 B_av（＝b_av×T_vbr） の一部を予め仮想バッファ V_vbr  として蓄える。この仮想バッファの単位時間当たりのビット量を v_vbr  とすると、V_vbr ＝ v_vbr×T_vbr となる。また、実際の単位時間当りの割当ビット量の基準値 b_real は、b_real ＝（B_av-V_vbr）/ T_vbr となる。なお、上記一定時間 T_vbr としては、例えば T_vbr = 1 [min]  などを用いる。
【００５８】
ステップＳ５５では、現在符号化しようとしている単位時間の符号化難易度 d及び、視覚特性 R_visual  が単位時間毎の割当ビット量計算器・コントローラ３４に入力される。
【００５９】
ここで、単位時間の符号化難易度 d を推定するためのパラメータとして、当該単位時間に先行して符号化した単位時間の動き予測残差 ME_error  、動きベクトル MV、輝度値の偏差の度合いを示す指標  activity、発生情報量 b_gen、Ｑスケール q_scale 等を用いる。
【００６０】
符号化難易度計算器３３では、例えば、以下の式を用いて符号化難易度 d を推定する。すなわち、
d = ME_error × W_ME + MV × W_MV + activity × W_AC
+ b_gen × W_GEN + q_scale × W_Q
ここで、
W_ME:動き予測残差の重み付け
W_MV:動きベクトルへの重み付け
W_AC:輝度値の偏差への重み付け
W_GEN:発生ビット量への重み付け
W_Q:Ｑスケールへの重み付け
である。
【００６１】
ステップＳ５６では、入力された符号化難易度d の補正を行う。これは、上記符号化難易度ｄを上限値 d_Maxと下限値d_Min とで制限する処理であり、詳細を図３のフローチャートに示す。
【００６２】
図３のステップＳ７０で符号化難易度の補正を開始し、ステップＳ７１で、推定した符号化難易度ｄが、符号化難易度の上限値 d_Maxを上回る場合には、ステップＳ７３でd_Max を当該単位時間の符号化難易度とする。ステップＳ７２で、推定した符号化難易度ｄが、符号化難易度の下限値d_Min を下回る場合には、ステップＳ７４で d_Minを当該単位時間の符号化難易度とする。すなわち、
if(d > d_Max ) d = d_Max;
if(d < d_Min ) d = d_Min;
である。上記ステップＳ７２、Ｓ７３、Ｓ７４の処理後、ステップＳ７５で符号化難易度の補正を終了する。
【００６３】
再び図２に戻って、ステップＳ５７では、割当ビット量の基準値 b_real と符号化難易度ｄ、及び符号化難易度の基準値d_Avg を用いて単位時間の割当ビット量 b_x を算出する。すなわち、
b_x = b_real ×  d / d_Avg [Mbps]
である。
【００６４】
ステップＳ５８では、入力された画像の視覚特性によって知覚される符号化劣化が異なることから、視覚特性値 R_visual に応じて割当ビット量の下限 b_Minを調整あるいは補正する。詳細は図４のフローチャートに示す。
【００６５】
図４のステップＳ８０で視覚特性補正を開始し、ステップＳ８１において、入力画像の視覚特性値 R_visual が一定値 Th_visualよりも大きい場合には、ステップＳ８２において以下の式で割当ビット量の下限b_Min を補正する。この補正は、
if ( R_visual > Th_visual )
b_Min = b_Min × (1-Th_visual+R_visual);
と表せる。ステップＳ８３で、補正した割当ビット量の下限b_Min が割当ビット量の上限b_Max を上回っていた場合には、ステップＳ８４で割当ビット量の下限b_Min を割当ビット量の上限b_Max に等しくする。これは、
if ( b_Min > b_Max ) b_Min = b_Max;
と表せる。ここで、視覚特性値とは、例えば入力画像中に占める肌色や中間階調の色彩などの割合とし、0 < Th_visual < 1， 0 < R_visual < 1  とする。一定値 Th_visualには、例えば、0.5 などを用いる。上記ステップＳ８１、Ｓ８４の処理後は、ステップＳ８５で視覚特性補正を終了する。
【００６６】
再び図２に戻って、ステップＳ５９では、予め定めた割当ビット量の上限b_Max と下限b_Min に従って、ステップＳ５７で算出した単位時間の割当ビット量の補正を行う。この割当ビット量の補正処理の詳細を図５のフローチャートに示す。
【００６７】
図５のステップＳ９０で割当ビット量の補正を開始し、ステップＳ９１で割当ビット量b_x が割当ビットレートの上限b_Max を上回る場合には、ステップＳ９３で割当ビット量をb_Max とする。ステップＳ９２で割当ビット量b_x が割当ビット量の下限b_Min を下回る場合には、ステップＳ９４で割当ビット量をb_Min とする。すなわち、
if(b_x > b_Max )   b_x = b_Max;
if(b_x < b_Min )   b_x = b_Min;
これらの割当ビット量の上限b_Max 、下限b_Min としては、例えば、
b_Max = 2.0 b_real,   b_Min = 0.5 b_real;
などを用いる。上記ステップＳ９２、Ｓ９３、Ｓ９４の処理後は、ステップＳ９５で割当ビット量補正を終了する。
【００６８】
次に、図２のステップＳ６０では、予め定めた符号化難易度の絶対評価により、割当ビット量の補正を行う。この絶対ビット量の補正処理の詳細を、図６のフローチャートに示す。
【００６９】
図６のステップＳ１００で絶対ビット量の補正を開始し、ステップＳ１０１では、推定した符号化難易度ｄが符号化難易度の絶対値上限 d_High を上回り、なおかつ割当ビット量b_x が割当ビット量の絶対値下限b_Low を下回る場合には、ステップＳ１０３で割り当てビット量をb_Low とする。ステップＳ１０２では、推定した符号化難易度ｄが符号化難易度の絶対値下限d_Low を下回り、なおかつ割当ビット量b_x が割当ビット量の絶対値上限 b_High を上回る場合には、ステップＳ１０４で割り当てビット量を b_High とする。すなわち、
if( d > d_High && b_x < b_Low )
b_x = b_Low;
if( d < d_Low && b_x > b_High )
b_x = b_High;
ここで、上記割当ビット量の絶対値下限b_Low 、絶対値上限 b_High としては、例えば、
b_Low = 1.2 b_real,   b_High = 0.8 b_real;
などを用いる。上記ステップＳ１０２、Ｓ１０３、Ｓ１０４の処理後は、ステップＳ１０５で割当ビット量補正を終了する。
【００７０】
次に、図２のステップＳ６１では、符号化難易度の基準値d_Avg を、反応速度 Reactor に従って、現在の単位時間の符号化難易度d を用いて更新する。すなわち、
d_Avg = (d_Avg × (1-Reactor) + d × Reactor)
である。ここに、反応速度 Reactor は、0 < Reactor < 1 とし、例えば、0.5 などを用いる。
【００７１】
ステップＳ６２では、シーンチェンジがあった場合の処理を行う。このシーンチェンジのときの処理の詳細を図７のフローチャートに示す。
【００７２】
図７のステップＳ１１０で上記シーンチェンジ処理を開始し、ステップＳ１１１において、シーンチェンジを検出した場合には、ステップＳ１１２で符号化難易度の基準値d_Avg を初期値d_Default で初期化する。また、ステップＳ１１３において、仮想バッファV_vbr に必要な情報量が残っている場合には、ステップＳ１１４において、割当ビットレートをシーンチェンジ直後の割当ビット量比率 R_SC に従って補正する。このような処理は、
0004710108.tif 000002
と表せる。ここで、上記割当ビット量比率 R_SC は、１≦ R_SC とし、例えば、 R_SC ＝1.5 などを用いる。上記ステップＳ１１１、Ｓ１１３、Ｓ１１４の処理後は、ステップＳ１１５でシーンチェンジ処理を終了する。
【００７３】
次に、図２のステップＳ６３では、仮想バッファV_vbr に関連する処理を行う。この仮想バッファ処理の詳細を図８のフローチャートに示す。
【００７４】
図８のステップＳ１２０で仮想バッファ処理を開始し、ステップＳ１２１において、仮想バッファの残量V_vbr が０より小であり、かつ、割当ビット量b_x が割当ビット量の基準値 b_real 以上である場合には、ステップＳ１２５に進み、割当ビットレートb_x を割当ビット量の基準値 b_real にする。これは、if( V_vbr < 0 && b_x > b_real )b_x = b_real;と表せる。ステップＳ１２２において、仮想バッファV_vbr が予め定めた仮想バッファの上限値V_Max を上回っている場合には、ステップＳ１２３において、以下の式で割当ビット量b_x の補正を行う。これは、
if（v_vbr＞V_Max）｛
b_x = V_vbr/V_Max × b_x ；
｝
と表せる。上記仮想バッファの上限値V_Max としては、例えば、V_Max = 2.0 V_vbr;とする。
【００７５】
ステップＳ１２４において、割当ビット量b_x と割当ビット量の基準値b_realの差分を仮想バッファの残量V_vbr から引き、仮想バッファの残量V_vbr を更新する。上記ステップＳ１２５、Ｓ１２４の処理後は、ステップＳ１２６で仮想バッファ処理を終了する。
【００７６】
次に、図２のステップＳ６４において、処理している単位時間（ＧＯＰ）が一定時間T_vbr の最後の単位時間である場合には、ステップＳ６３に進む。そうで無ければ、ステップＳ５５に戻り、次の単位時間の処理に入る。ステップＳ６５において、この単位時間が処理シーケンスの最後である場合にはステップＳ６６に進み、処理を終了する。そうでなければ、ステップＳ５５に戻り、仮想バッファV_vbr に補充って、次の一定時間T_vbr の処理を開始する。
【００７７】
次に、本発明の実施の形態が適用される装置の一具体例としての信号記録再生装置について、図１０を参照しながら詳述する。この図１０の例では、信号記録媒体としてハードディスクを用いる例を挙げている。
【００７８】
図１０において、アンテナ等で受信されたテレビジョン放送信号は、入力端子１０１を介して地上波チューナ等のチューナ１に送られる。このチューナ１の映像出力と音声出力は入力切換器２に供給される。同様に、外部からのコンポジット映像信号及び音声信号も、それぞれ入力端子１０２及び１０３を介して入力切換器２に供給される。入力切換器２は、システムコントローラ１６からの指示に従い、所望の信号を選択して、コンポジット映像信号はＹ／Ｃ分離回路３に、音声信号は音声Ａ／Ｄ変換器１０にそれぞれ出力する。
【００７９】
システムコントローラ１６は、後述する全てのブロックの制御を司どっている。また、システムコントローラ１６は、ホストバスを介し、ＲＯＭ（Read Only Memory）１７、ＲＡＭ（Randam Access Memory）１８を必要に応じアクセスし全体の制御を行う。
【００８０】
Ｙ／Ｃ分離回路３は、コンポジット映像信からＹ（輝度）信号とＣ（クロマ）信号とを分離し、入力切換スイッチ４に供給する。入力切換スイッチ４は、システムコントローラ１６からの制御信号による指示に従い、外部Ｓ映像入力端子１０４からの入力信号、又はＹ／Ｃ分離回路３からの出力の一方を選択し、ＮＴＳＣデコーダ回路５に供給する。
【００８１】
ＮＴＳＣデコーダ５に入力された映像信号は、Ａ／Ｄ変換、クロマエンコード等の処理が施され、デジタルコンポーネントビデオ信号（以下、画像データという）に変換され、前処理（プリ映像信号処理）回路７に供給される。また、ＮＴＳＣデコーダ５は、入力映像信号の水平同期信号を基準に生成したクロックと、同期分離して得た水平同期信号、垂直同期信号、フィールド判別信号を同期制御回路６に供給する。
【００８２】
同期制御回路６では、これらの信号を基準とし、後述する各ブロックに必要なタイミングに変換したクロック、同期信号を生成し、各ブロックに供給する。
【００８３】
前処理（プリ映像信号処理）回路７では、入力された画像データにプレフィルタやノイズ低減処理等の各種映像信号処理を施し、ビデオエンコーダ、例えばＭＰＥＧ（Moving Picture Experts Group）エンコーダ８と後処理（ポスト映像信号処理）回路２０に供給する。
【００８４】
ＭＰＥＧエンコーダ８は、前処理回路７からの画像データに対してブロックＤＣＴ（離散コサイン変換）等の符号化処理を施し、画像のエレメンタリストリーム（Elementary Stream：ＥＳ） を生成し、多重・分離回路（マルチプレクサ・デマルチプレクサ）９に供給する。なお、本実施の形態ではＭＰＥＧの圧縮方式を採用しているが、他の圧縮方式でも、非圧縮でも構わない。
【００８５】
一方、入力切換器２で選択された音声信号は、Ａ／Ｄ変換器１０にて、デジタル音声信号に変換された後、オーディオエンコーダ、例えばＭＰＥＧオーディオエンコーダ１１に供給される。ＭＰＥＧオーディオエンコーダにてＭＰＥＧフォーマットに従い圧縮した後、ＥＳを生成し、映像信号同様に、多重・分離回路９に供給する。このオーディオのエンコードについて、本実施の形態ではＭＰＥＧ方式の圧縮としているが、他の圧縮方式を採用してもよく、また、非圧縮でもよいことは勿論である。
【００８６】
多重・分離回路９では、記録時は映像ＥＳ（エレメンタリストリーム）と音声ＥＳ及び各種制御信号の多重化処理を施し、再生時にはトランスポートストリーム（Transport Stream：ＴＳ）の分離処理を施す。多重・分離回路９は、入力されたＭＰＥＧ映像ＥＳ（エレメンタリストリーム）と、ＭＰＥＧ音声ＥＳと、各種制御信号とを合わせ、多重化処理を施し、例えばＭＰＥＧシステムのＴＳ（トランスポートストリーム）を生成し、バッファ制御回路１４に供給する。
【００８７】
バッファ制御回路１４は、連続的に入力されるＴＳを、後段のハードディスクドライブ（Hard Disc Drive：ＨＤＤ） １５に断続的に送る為の制御を行う。例えば、ＨＤＤ（ハードディスクドライブ）１５がシーク動作を行っている時は、ＴＳの書き込みができないので、バッファにＴＳを一時的に蓄え、書き込みが可能な時は、入力のレートより高いレートで書き込みを行うことにより、連続的に入力されるＴＳ信号を途切れることなく記録を行う。
【００８８】
ＨＤＤ１５は、システムコントローラ１６に制御され、所定のアドレスにＴＳの記録を行う。
【００８９】
なお、本実施の形態では、バッファ制御回路１４とＨＤＤ１５のプロトコルとしてＩＤＥ（Intelligent Drive Electronics） を用いているが、これに限るものではない。また、本実施の形態では、記録媒体としてＨＤＤを例に説明したが、光ディスク、光磁気ディスク、固体メモリ等でも可能である。
【００９０】
次に、再生動作について説明する。
ＨＤＤ１５は、システムコントローラ１６により制御され、所定のアドレスをシークして、ＴＳ（トランスポートストリーム）信号の読み出しを行い、バッファ制御回路１４に供給する。バッファ制御回路１４では、断続的に入力される信号を、連続的になるようバッファ制御を行い、ＴＳを多重・分離回路９に供給する。多重・分離回路９は、ＴＳからＰＥＳ（Packetized Elementary Stream）を抽出し、ＡＶ（Audio Video） デコーダ、例えばＭＰＥＧ  ＡＶデコーダ１９に供給する。
【００９１】
ＭＰＥＧ  ＡＶデコーダ１９では、入力されたＰＥＳを、映像ＥＳと音声ＥＳに分離し、それぞれ映像ＭＰＥＧデコーダ、音声デコーダに供給し、復号化処理を施す。処理の結果、ベースバンドの画像データと音声データを得、それぞれ後処理（ポスト映像信号処理）回路２０と切換スイッチ２３に供給する。
【００９２】
後処理回路では、ＭＰＥＧ  ＡＶデコーダ１９からの画像データと、前処理（プリ映像信号処理）回路７からの画像データとの切換え、合成や、フィルタ処理を施し、ＯＳＤ（On Screen Display） 回路２１に画像データを供給する。
【００９３】
ＯＳＤ回路２１は、画面表示用のグラフィックッス等の生成を行い、画像データに重ねたり、部分的に表示する等の処理を施し、ＮＴＳＣエンコーダ２２に供給する。
【００９４】
ＮＴＳＣエンコダー２２では、入力された画像データ（コンポーネントデジタル信号）をＹＣ（輝度、クロマ）信号に変換した後、Ｄ／Ａ変換を行い、アナログのコンポジット映像信号とＳ映像信号を得る。これらのコンポジット映像信号は出力端子１０６を介して、Ｓ映像信号は出力端子１０７を介してそれぞれ外部に取り出される。
【００９５】
一方、切換スイッチ２３では、ＭＰＥＧ  ＡＶデコーダ１９から供給される音声データと、音声Ａ／Ｄ変換器１０から入力される音声データの選択を行い、音声Ｄ／Ａ変換器２４にてアナログ音声信号に変換される。音声Ｄ／Ａ変換器２４からのアナログ音声信号は、出力端子１０８を介して外部に取り出される。
【００９６】
次に、デジタルＩＮ／ＯＵＴ端子１０５を介して供給、出力されるデジタル信号について説明する。例えば、外部のＩＲＤ（Integrated Receiver Decoder） から、ＩＥＥＥ１３９４のようなデジタルインターフェースを介して入力された信号を記録する場合、デジタル信号はデジタルインターフェイス回路１２に入力される。
【００９７】
デジタルインターフェース回路１２では、本方式に適合するよう、フォーマット変換等の処理を施し、ＴＳを生成し多重・分離回路９に供給する。多重・分離回路９では、更に制御信号等の解析や生成を行い、本方式に適応するＴＳ変換し、後段に供給する。これ以後の処理は、前述した画像データ、音声データの処理と同様である。また、これと同時に多重・分離回路９にて、分離処理を行い、ＭＰＥＧ  ＡＶデコーダ１９にＰＥＳを供給することにより、アナログの映像、音声信号を得ることができる。
【００９８】
次に、再生時のデジタルインターフェース回路１２の動作を説明する。再生時についても、多重・分離回路９までの処理は、前述した処理と同様なので、説明を省略する。
【００９９】
多重・分離回路９に入力されたＴＳは、必要に応じ、制御信号の解析、生成を行い、デジタルインターフェイス回路１２に供給する。デジタルインターフェイス回路１２では、記録時とは逆の変換を行い、外部のＩＲＤに適合するデジタル信号に変換し、デジタルＩＮ／ＯＵＴ端子１０５を介し出力する。また、これと同時に多重・分離回路９にて、分離処理を行い、ＭＰＥＧ  ＡＶデコーダ１９にＰＥＳを供給することにより、アナログの映像、音声信号を得ることができる。本実施の形態では、ＩＲＤとの接続について述べたが、ＴＶ等のＡＶ機器や、パーソナルコンピュータと接続することも可能である。
【０１００】
なお、上述した図１０の構成においては、信号記録媒体としてハードディスクを例に挙げたが、光ディスクや、フレキシブルディスクや磁気テープなどの磁気記録媒体、ＩＣカードや各種メモリなどの半導体記録媒体などの信号記録媒体に対して、本発明装置にて符号化した信号を記録することも可能である。また、光ディスクとしては、ピットによる記録がなされるディスクや、光磁気ディスクの他に、相変化型光ディスクや有機色素型光ディスク、紫外線レーザ光により記録がなされる光ディスク、多層記録膜を有する光ディスク等の各種のディスクを用いることができる。
【０１０１】
【発明の効果】
本発明によれば、符号化難易度との関係から得られる割当符号量に基づいて参考値（例えば割当符号量の参考値）を求め、この参考値に基づいて実際の割当符号量を求める際に、単位時間当りの割当ビット量の一定時間の総和の一部を予め仮想バッファとして蓄え、実際の単位時間当りの割当ビット量の基準値は仮想バッファを除いた割当ビット量の総和を予め定めた一定時間で割ったものとすることにより、一定時間の符号化の序盤において、符号化難易度の高い画像が連続して入力された場合でも、割当ビット量の基準値よりも高いビット量を割り当てることが可能となる。
【０１０２】
また、入力画像の符号化難易度と割当符号化量とを関係付ける際に、時間的に先行する単位時間の符号化難易度と割当符号化量、実際の発生ビット量の関係及び、時間的に先行する単位時間の符号化難易度と現在の単位時間の符号化難易度の関係を考慮して参考値を求めることにより、符号化難易度の高い画像信号が連続して入力された場合や、符号化難易度の低い画像信号が連続して入力された場合に、時間的に先行する単位時間の符号化難易度や割当ビット量に応じた割当ビット量の決定が行え、同程度の符号化難易度の画像が連続して入力された場合に、途中で急激に割当ビット量が下がるのを避けられる。また、入力画像信号の符号化難易度が低い場合でも、より多くのビット量を割り当てらる状態にあるときには、多くのビット量を割り当てることができる。
【０１０３】
さらに、入力画像の視覚特性を考慮した割当ビット量の決定により、従来よりも符号化劣化の目立ち難い可変ビットレート制御を可能としている。
【０１０４】
以上により、入力画像信号の符号化難易度に応じて、適応的に可変ビット量による符号化制御を行いながらも、所定の時間長の入力信号を一定の記憶容量の記録媒体に収録できることを保証することができ、記録媒体の記憶容量を有効に使うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる画像信号符号化方法を適用した動画像符号化装置の構成例を示すブロック図である。
【図２】図１の単位時間毎の割当ビット量計算器およびコントローラ２４のアルゴリズムを示すフローチャートである。
【図３】図２のステップＳ５６の符号化難易度の補正処理の詳細を説明するためのフローチャートである。
【図４】図２のステップＳ５８の視覚特性による割当ビット量補正処理の詳細を説明するためのフローチャートである。
【図５】図２のステップＳ５９の割当ビット量補正処理の詳細を説明するためのフローチャートである。
【図６】図２のステップＳ６０の絶対符号化難易度に対する割当ビット量補正処理の詳細を説明するためのフローチャートである。
【図７】図２のステップＳ６２のシーンチェンジ処理処理の詳細を説明するためのフローチャートである。
【図８】図２のステップＳ６３の仮想バッファ処理処理の詳細を説明するためのフローチャートである。
【図９】仮想バッファの概念を説明するための図である。
【図１０】本発明の実施の形態が適用される装置の一具体例としての信号記録再生装置の構成例を示すブロック図である。
【図１１】従来の基本的１パス方式の可変ビットレート符号化方法を適用した動画像符号化装置の構成例を示すブロック図である。
【図１２】従来の１パス方式の可変ビットレート符号化処理を説明するためのフローチャートである。
【図１３】基準となる動画像シーケンス内で単位時間長の画像の符号化難易度ｄの出現確立ｈ(ｄ)と符号化難易度ｄに対して、所定の平均ビットレートの時の割当符号量ｂを示す関数ｂ(ｄ)を示す図である。
【図１４】従来の発展型１パス方式の可変ビットレート符号化方法を適用した動画像符号化装置の構成例を示すブロック図である。
【符号の説明】
３２  動きベクトル計算器、  ３３  符号化難易度計算器、  ３４  割当ビット量計算器・コントローラ、  ３５  視覚特性測定器、  ３６  遅延器、  ３７プレフィルタ、  ３８  動画像符号化器
【図１】
0004710108.tif 000003
【図２】
0004710108.tif 000004
【図３】
0004710108.tif 000005
【図４】
0004710108.tif 000006
【図５】
0004710108.tif 000007
【図６】
0004710108.tif 000008
【図７】
0004710108.tif 000009
【図８】
0004710108.tif 000010
【図９】
0004710108.tif 000011
【図１０】
0004710108.tif 000012
【図１１】
0004710108.tif 000013
【図１２】
0004710108.tif 000014
【図１３】
0004710108.tif 000015
【図１４】
0004710108.tif 000016