(57)【特許請求の範囲】
【請求項１】
入力画像から符号化の難しさを定量的に表す画像特徴情報を抽出する特徴抽出手段と、予め上記入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、上記特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出手段と、上記目標符号量算出手段によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化手段とを備え、全ての発生確率区間における各発生確率区間が示す確率と、上記目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにすることを特徴とする動画像符号化装置。
【請求項２】
目標符号量算出手段は、目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、上記特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
特徴抽出手段が入力画像から符号化の難しさを定量的に表す画像特徴情報を抽出する特徴抽出ステップと、目標符号量算出手段が予め上記入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、上記特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出ステップと、符号化手段が上記目標符号量算出手段によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化ステップとを備え、全ての発生確率区間における各発生確率区間が示す確率と、上記目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにすることを特徴とする動画像符号化方法。
【請求項４】
目標符号量算出ステップは、目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、上記特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定することを特徴とする請求項３記載の動画像符号化方法。
【請求項５】
入力画像から符号化の難しさを定量的に表す画像特徴情報を抽出する特徴抽出処理手順と、予め上記入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、上記特徴抽出処理手順により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出処理手順と、上記目標符号量算出処理手順によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化処理手順とを備え、全ての発生確率区間における各発生確率区間が示す確率と、上記目標符号量算出処理手順により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにすることを特徴とする動画像符号化プログラムが記録された記録媒体。
【請求項６】
目標符号量算出処理手順は、目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、上記特徴抽出処理手順により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定することを特徴とする請求項５記載の動画像符号化プログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像の高能率符号化に関し、特に符号化に際してビットレートを制御しながらリアルタイム処理で符号化を行う動画像符号化装置、動画像符号化方法及び動画像符号化プログラムが記録された記録媒体に関するものである。
【０００２】
【従来の技術】
図７は例えば特開平６−１４１２９８号公報に示された従来の動画像符号化装置を示す構成図であり、図において、１は仮符号化部、２は目標転送レート設定部、３は画像符号化処理部、１１は画像信号を出力するビデオテープレコーダ（以下、ＶＴＲと称する）、１２はＶＴＲ１１が出力する画像信号から画像間予測器１７が出力するフレーム間予測信号を減算して、予測残差信号を出力する予測減算器、１３は予測減算器１２が出力する予測残差信号を離散コサイン変換するＤＣＴ、１４は符号化制御部２２により指定された量子化ステップ幅で、ＤＣＴ１３による変換後の予測残差信号を量子化する量子化器である。
【０００３】
１５は量子化器１４により量子化された予測残差信号を逆量子化及び逆離散コサイン変換して、再生予測残差信号を出力する局部復号器、１６は画像間予測器１７が出力するフレーム間予測信号と局部復号器１５が出力する再生予測残差信号を加算して、再生画像信号を出力する加算器、１７は加算器１６が出力する再生画像信号を１フレーム以上遅延して動き補償を実施することによりフレーム間予測信号を生成する画像間予測器である。
【０００４】
１８は量子化器１４により量子化された予測残差信号を可変長符号化して、符号化データを出力する可変長符号化器、１９はセレクタ、２０は符号化データを一時的に格納するバッファ、２１はセレクタ、２２はバッファ２０の充足度に応じて量子化ステップ幅を制御する符号化制御部である。
【０００５】
２３は単位時間毎に発生する符号量をカウントし、そのカウント値を仮転送レートとして出力する仮符号量カウンタ、２４は実符号化において再度使用される単位時間毎の仮転送レートを記憶する仮転送レートメモリ、２５は仮転送レートから目標転送レートへの変換特性を決定し、その変換特性情報を出力する符号量制御器、２６は符号量制御器２５が出力する変換特性情報に応じて、仮転送レートメモリ２４が出力する単位時間毎の仮転送レートから目標転送レートを設定する目標転送レート設定器である。
【０００６】
次に動作について説明する。
画像符号化処理部３は、ＩＴＵ−Ｔ等の標準方式となっている画像符号化方式の画像符号化装置と同一の構成となっている。
画像符号化処理部３において入力された画像信号は、予測減算器１２に入力される。予測減算器１２では、画像間予測器１７から出力されるフレーム間予測信号が前記画像信号から減算され、この減算結果は予測残差信号としてＤＣＴ１３に出力される。
【０００７】
その予測残差信号は、ＤＣＴ１３で離散コサイン変換が行われ、量子化器１４に導かれる。量子化器１４では、符号化制御部２２から出力される量子化ステップ幅に応じて量子化が行われる。その量子化された予測残差信号は、可変長符号化器１８で可変長符号化されてバッファ２０に出力される。バッファ２０に入力された符号化データは、可変長符号化されているため符号発生量が常に変動するが、バッファ２０で変動が吸収され、一定の転送レートで符号化データが出力される。
【０００８】
一方、局部復号器１５では、量子化された予測残差信号の逆量子化及び逆ＤＣＴが行われる。符号は復号されて再生予測残差信号となり、加算器１６に出力される。加算器１６では、画像間予測器１７から出力されるフレーム間予測信号と局部復号器１５から出力される再生予測残差信号とが加算され、再生画像信号となって画像間予測器１７に供給される。画像間予測器１７では、その再生画像信号が１フレーム以上遅延されて動き補償が行われ、フレーム間予測信号が生成されて予測減算器１２と加算器１６に供給される。
【０００９】
従来、動画像符号化方式は、符号化データの出力ビットレートの制御方法により、固定ビットレート（ＣＢＲ）符号化方式と可変ビットレート（ＶＢＲ）方式とに大きく分類できる。主に前者は、通信用途における伝送路容量の制約に適応するために用いられている。一方、後者は主に符号化データのファイル媒体への蓄積に用いられており、所定時間長の総符号量が一定という制約条件のもとで、被符号化画像の性質に応じてビットレートを変動させるというものである。
【００１０】
固定ビットレート方式の場合、画像符号化処理部３における符号化制御部２２では、フィードバックされたバッファ充填量に応じて量子化ステップ幅が設定され、量子化器１４に出力される。量子化ステップ幅は、バッファ２０に符号が多く溜まっている場合に粗く、バッファ２０が空に近い場合に細かくされ、一定レートでデータが引き抜かれるバッファ２０のオーバーフローやアンダーフローが発生しないように制御される必要がある。したがって、被符号化画像の性質に応じて量子化ステップ幅を変動させられる許容範囲が狭く、時間上局所的に画質劣化が生じ易い。
【００１１】
一方、可変ビットレート方式は、所定時間長の総符号量が一定という制約条件のもとで、被符号化画像の性質に応じてビットレートを変動させることで平均的画質を向上できるというものである。従来の可変ビットレート符号化装置は、何らかの仮符号化を実行して、その結果を実符号化の可変ビットレート符号化制御に反映させるという処理手順を実行するものであった。
【００１２】
以下、可変ビットレート符号化装置の一例について図７を基に説明する。符号化処理は同一の被符号化画像信号に対して２回行われる。一度目は単位時間毎の目標転送レートを設定するための仮符号化において行われ、二度目は実際の符号化（実符号化）において行われる。まず、仮符号化部１は、前記の単位時間毎の目標転送レートを設定するためのものである。ＶＴＲ１１から出力される画像信号は、予測減算器１２に入力される。従来例では同一画像信号が２度画像符号化処理部３に供給されるので、符号化前の画像信号の全てが、ＶＴＲ１１等の大容量の画像記録媒体に記録されている必要がある。
【００１３】
基本的な符号化処理は上述した画像符号化処理部３の動作の通りであるが、可変長符号化器１８から出力される符号化データは、セレクタ１９に入力される。ここで、セレクタ２１はＡ側に切り替えられ、バッファ充足度として所定の固定値が符号化制御部２２に出力される。その固定値は、その固定値によって符号化された画像が必要十分な画質となる様なものとされる。一度目の仮符号化処理では、可変長符号化器１８の出力はセレクタ１９を介して仮符号量カウンタ２３に入力される。仮符号量カウンタ２３では単位時間毎に発生する符号量がカウントされ、仮転送レートとして出力される。
【００１４】
次に目標転送レート設定部２は、動画像信号の符号量の総和が所定値になるように単位時間毎に前記仮符号量から目標転送レートを設定するものである。仮符号量カウンタ２３から出力される仮転送レートは、符号量制御器２５及び仮転送レートメモリ２４に入力される。仮転送レートメモリ２４では、実符号化において再度使用される単位時間毎の仮転送レートが全て記憶される。
符号量制御器２５は、仮転送レートから目標転送レートへの変換特性を決めるためのものである。仮符号化が終了した時点で、符号量制御器２５から出力される変換特性情報が目標転送レート設定器２６に入力される。
【００１５】
次に実際の符号化処理では、単位時間毎の目標転送レートに合うように発生符号量を制御しながら符号化を行うものである。ＶＴＲ１１から仮符号化時と同じ画像が再度出力され、仮符号化と同様な符号化が行われる。実符号化時には、可変長符号化器１８の出力はセレクタ１９を介してバッファ２０に印加される。バッファ２０によって、符号は短周期の変動が吸収されて符号化データが出力される。
バッファ２０から符号を読み出す時のレートは、単位時間毎に目標転送レート設定器２６から供給される値によって制御される。従って、バッファ２０から出力される符号量は単位時間毎に変化する。目標転送レート設定器２６では、仮転送レートメモリ２４から単位時間毎に入力される仮転送レートが、符号量制御器２５から入力される変換特性に応じて変換され、目標転送レートが設定される。
【００１６】
一方、バッファ２０の充足度の情報は、セレクタ２１を介して符号化制御部２２に入力される。符号化制御部２２では、バッファ充足度により量子化ステップ幅が制御される。この制御では、長い周期での変動が単位時間毎の可変転送レート化により吸収されているので、局部的な変動を吸収するだけになり、オーバーフローする可能性も低くなる。
なお、上記従来例と異なり、仮符号化手段と実符号化手段との両方を直列に接続する構成の動画像符号化装置はリアルタイム処理が可能である。
【００１７】
【発明が解決しようとする課題】
従来の動画像符号化装置は以上のように構成されているので、被符号化画像全体の符号化上の特徴を解析してから本符号化を開始する。そのため、符号化処理が非リアルタイム処理となり、少なくとも通常の符号化の倍以上の時間を要することになる。即ち、このような符号化システムは、処理がリアルタイム処理とならないため、大量かつ長大なコンテンツの高速な符号化に適さないという課題があった。
【００１８】
また、仮符号化手段と実符号化手段との両方を直列に接続する構成の動画像符号化装置においては、リアルタイムでの仮符号化処理と実符号化処理のために少なくとも倍以上の性能が必要となることから、装置規模あるいは消費電力の著しい増加を招き、実現性が乏しいという課題があった。
【００１９】
この発明は上記のような課題を解決するためになされたもので、著しい装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムが記録された記録媒体を得ることを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る動画像符号化装置は、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出手段と、その目標符号量算出手段によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化手段とを設け、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。
【００２２】
この発明に係る動画像符号化装置は、目標符号量算出手段が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するようにしたものである。
【００２３】
この発明に係る動画像符号化方法は、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示すると、その目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化するようにしたものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。
【００２５】
この発明に係る動画像符号化方法は、目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するようにしたものである。
【００２６】
この発明に係る動画像符号化プログラムが記録された記録媒体は、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出処理手順により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出処理手順と、その目標符号量算出処理手順によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化処理手順とを記録するようにしたものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出処理手順により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。
【００２８】
この発明に係る動画像符号化プログラムが記録された記録媒体は、目標符号量算出処理手順が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するようにしたものである。
【００２９】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図であり、図において、３１は入力画像から画像特徴情報を抽出する画像特徴情報抽出部（特徴抽出手段）、３２は画像特徴情報抽出部３１により抽出された画像特徴情報を発生確率に変換して発生確率区間を出力する特徴情報−発生確率変換テーブル、３３は特徴情報−発生確率変換テーブル３２が出力する発生確率区間から目標符号量を算出する目標符号量算出部である。なお、特徴情報−発生確率変換テーブル３２及び目標符号量算出部３３から目標符号量算出手段が構成されている。
【００３０】
３４は目標符号量算出部３３により算出された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する画像符号化部（符号化手段）であり、画像符号化部３４は図７の画像符号化処理部３と同様に、例えばＩＴＵ−Ｔ等の標準方式となっている画像符号化方式の画像符号化装置と同一の構成となっている。また、例えばベクトル量子化方式の画像符号化装置と同一の構成となっている。
３５は目標符号量算出部３３により算出された目標符号量に応じて量子化ステップ幅を制御する符号化制御部、３６は符号化制御部３５により指定された量子化ステップ幅で量子化演算を実施する量子化器、３７は量子化による符号量制御手段を採用している画像符号化方式によって動画像の符号化演算を行う画像符号化処理部である。
【００３１】
図２はこの発明の実施の形態１による動画像符号化方法を示すフローチャートである。
なお、この実施の形態１では、ハードウエアである画像特徴情報抽出部３１、特徴情報−発生確率変換テーブル３２、目標符号量算出部３３及び画像符号化部３４から動画像符号化装置を構成するものについて示しているが、これらをハードウエアではなくソフトウエアで構成し、そのソフトウエアである動画像符号化プログラムをコンピュータが読み取り可能な記録媒体に記録するようにしてもよい。
【００３２】
次に動作について説明する。
入力画像は既にデジタル化されているものとする。デジタル入力画像は画像特徴情報抽出部３１に入力され、そのデジタル入力画像から画像の特徴、即ち、符号化の難しさを定量的に表す画像特徴情報が演算される（ステップＳＴ１）。画像特徴情報は、例えば、被符号化画像１フレーム分の前フレームとのフレーム間差分総和などでもよい。また、分散値総和や水平あるいは垂直周波数高域成分などでもよい。
【００３３】
図３は画像のフレーム間差分と固定量子化ステップで符号化した場合の符号量との一般的な関係を示す説明図である。図３に示すように、画像特徴情報であるフレーム間差分の大きい場合は発生符号量も大きく、フレーム間差分の小さい場合は発生符号量も小さい。したがって、画像特徴情報であるフレーム間差分は、画像の符号化の難しさを定量的に示すものであるといえる。
【００３４】
次に特徴情報−発生確率変換テーブル３２において、画像特徴情報抽出部３１で算出された画像特徴情報がその発生確率に変換されて、発生確率区間が出力される（ステップＳＴ２）。画像特徴情報とその発生確率との関係は、多くの画像シーケンスにおいて測定しておき、特徴情報−発生確率変換テーブル３２を作成しておく。
【００３５】
図４は画像特徴情報の一例であるフレーム間差分とその発生確率の関係を示す説明図である。図４に示すように、画像特徴情報（０から最大値Ｓ100）とその発生確率との関係を関数ρ(S)とすると下記のようになる。
【数１】
0004152570.tif 000002
なお、上記の式（１）の関係は画像特徴情報としてフレーム間差分を使用した場合にのみ成立するものではなく、如何なる画像特徴情報を利用しても成立するものである。
また、図４に示す例では次のようになる。
【数２】
0004152570.tif 000003
【００３６】
図５は図４に示す画像特徴情報の発生確率分布時における特徴情報−発生確率変換テーブル３２の構成例を示す説明図である。図５において、画像特徴情報はＲＯＭのアドレス信号となり、ＲＯＭのデータ出力として発生確率区間が出力される。なお、図５の例において、発生確率区間は０〜３となっているが、区間の区切り数は制約を受けるものでなく任意に構成できる。
【００３７】
目標符号量算出部３３において、特徴情報−発生確率変換テーブル３２からの発生確率区間を、所定時間における総符号量の既定値に合致し、かつ、画像の符号化の難しさに従った目標符号量に変換して出力する（ステップＳＴ３）。全ての発生確率区間における各発生確率区間が示す確率とその変換される目標符号量相当のビットレートとの積の総和は、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。また、発生確率区間が示す元の画像の符号化の難しさから目標符号量を設定する。
【００３８】
図４に示す画像特徴情報の発生確率分布時において、図５の特徴情報−発生確率変換テーブル３２の構成例により発生確率区間が出力される場合の例を以下に説明する。
各発生確率区間の目標符号量を下記のようにする。
【数３】
0004152570.tif 000004
この場合、下記の関係が成り立つように目標符号量への変換を設定する。
総符号量／所定時間＝（０．２５×目標符号量１Ｍｂｐｓ）＋（０．２５×目標符号量２Ｍｂｐｓ）＋（０．２５×目標符号量３Ｍｂｐｓ）＋（０．２５×目標符号量４Ｍｂｐｓ）
【００３９】
符号化制御部３５において、目標符号量を目標にして、画像符号化処理部３７で実際に符号化される符号量をカウントし、発生符号量を目標に収束させるように量子化ステップ幅を調整する（ステップＳＴ４）。
画像符号化処理部３７は、符号化制御部３５により調整された量子化ステップ幅で、入力画像を可変ビットレート符号化する（ステップＳＴ５）。
なお、画像符号化部３４は、目標符号量が目標符号量算出部３３からフィードフォワード指示されることを除いて、量子化による符号量制御手段を採用している画像符号化方式の画像符号化装置と同一の構成で同一の処理である。
【００４０】
以上のように、この実施の形態１によれば、画像の符号化の難しさを示す特徴情報を得て、符号化の難しい画像には多くの符号量を、符号化の容易な画像には少ない符号量をその発生確率分布に従って割り当てるようにしているので、所定時間長における総符号量が既定値に収まり、かつ、符号化画像の平均的画像品質を向上する可変ビットレート制御をすることができる。また、画像の符号化の難しさを示す画像特徴情報からフィードフォワード制御するので、画像の符号化処理はリアルタイムで一回のみにすることができる。
【００４１】
実施の形態２．
図６はこの発明の実施の形態２による動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。３８は特徴情報−発生確率変換テーブル３２が出力する発生確率区間から目標符号量を算出するとともに、特徴情報補正変換部３９に対して誤差信号を出力する目標符号量算出部、３９は誤差信号にしたがって画像特徴情報を補正する特徴情報補正変換部である。なお、目標符号量算出部３８及び特徴情報補正変換部３９は目標符号量算出手段を構成している。
【００４２】
次に動作について説明する。
上記実施の形態１では、入力画像の画像特徴情報を算出して、その画像特徴情報から発生確率に変換し、その発生確率から目標符号量を算出するものについて示したが、入力画像の画像特徴情報の発生確率が偏っているような場合、画像特徴情報の発生確率の誤差を補正するようにしてもよい。
【００４３】
即ち、入力画像の画像特徴情報の発生確率が、特徴情報−発生確率変換テーブル３２の確率分布から偏っているような場合、目標符号量算出部３８の出力する目標符号量の確率分布も偏らせる。目標符号量算出部３８は、ある期間の目標符号量をカウントし、その期間の平均ビットレートと総符号量の既定値から得られる平均ビットレートとを比較し、目標符号量の平均ビットレートの偏差を誤差信号として出力する。
【００４４】
特徴情報補正変換部３９は、画像特徴情報抽出部３１から出力される画像特徴情報に対して、目標符号量算出部３８から出力される誤差信号を受けて、画像特徴情報を補正演算し、補正特徴情報を出力する。補正演算は、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超えることを示す誤差信号の場合、画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算する。逆に、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回ることを示す誤差信号の場合、画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算する。また、目標符号量の平均ビットレートと総符号量の既定値から得られる平均ビットレートとの一致を示す誤差信号の場合、補正演算は現在の補正演算を維持する。
【００４５】
特徴情報−発生確率変換テーブル３２において、補正特徴情報からその発生確率へ変換されて、発生確率区間が出力される。補正特徴情報は特徴情報−発生確率変換テーブル３２の発生確率分布に近づけられているので、適切な発生確率区間の出力を得ることができる。適切な発生確率区間の出力から、上記実施の形態１と同様に目標符号量算出部３８において、所定時間における総符号量の既定値に合致し、かつ、画像の符号化の難しさに従った目標符号量に変換して出力することができる。
符号化制御部３５において、目標符号量を目標にして、画像符号化処理部３７で実際に符号化される符号量をカウントし、発生符号量を目標に収束させるように量子化ステップ幅を調整する。
【００４６】
以上のように、この実施の形態２によれば、入力画像の画像特徴情報の発生確率が偏っているような場合にも、画像特徴情報の発生確率の誤差を補正するようにしているので、特徴情報−発生確率変換テーブル３２の持つ確率分布に対して入力画像の画像特徴情報の発生確率が偏っているような場合にも所定時間長における総符号量が既定値に収まり、かつ、符号化画像の平均的画像品質を向上する可変ビットレート制御をすることができる。また、画像の符号化の難しさを示す画像特徴情報からフィードフォワード制御するので、画像の符号化処理はリアルタイムで一回のみにすることができる。
【００４７】
【発明の効果】
以上のように、この発明によれば、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出手段と、その目標符号量算出手段によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化手段とを設け、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するように構成したので、著しい装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる効果がある。
【００４９】
この発明によれば、目標符号量算出手段が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するように構成したので、平均的画像画質を向上させることができる効果がある。
【００５０】
この発明によれば、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示すると、その目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化するものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するように構成したので、著しい処理演算量の増大に伴う装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる効果がある。
【００５２】
この発明によれば、目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するように構成したので、平均的画像画質を向上させることができる効果がある。
【００５３】
この発明によれば、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出処理手順により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出処理手順と、その目標符号量算出処理手順によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化処理手順とを記録するようにしたものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出処理手順により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するように構成したので、著しい処理演算量の増大に伴う装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる効果がある。
【００５５】
この発明によれば、目標符号量算出処理手順が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するように構成したので、平均的画像画質を向上させることができる効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】  この発明の実施の形態１による動画像符号化方法を示すフローチャートである。
【図３】  画像のフレーム間差分と固定量子化ステップで符号化した場合の符号量との一般的な関係を示す説明図である。
【図４】  画像特徴情報の一例であるフレーム間差分とその発生確率の関係を示す説明図である。
【図５】  特徴情報−発生確率変換テーブルの構成例を示す説明図である。
【図６】  この発明の実施の形態２による動画像符号化装置を示す構成図である。
【図７】  従来の動画像符号化装置を示す構成図である。
【符号の説明】
３１  画像特徴情報抽出部（特徴抽出手段）、３２  特徴情報−発生確率変換テーブル（目標符号量算出手段）、３３  目標符号量算出部（目標符号量算出手段）、３４  画像符号化部（符号化手段）、３５  符号化制御部、３６  量子化器、３７  画像符号化処理部、３８  目標符号量算出部（目標符号量算出手段）、３９  特徴情報補正変換部（目標符号量算出手段）。
【図１】
0004152570.tif 000005
【図２】
0004152570.tif 000006
【図３】
0004152570.tif 000007
【図４】
0004152570.tif 000008
【図５】
0004152570.tif 000009
【図６】
0004152570.tif 000010
【図７】
0004152570.tif 000011