(57)【要約】【課題】複数の参照画像を用いる動き補償予測装置において、参照画像に割り当てられる参照インデックスに係る符号量を抑制する。【解決手段】動き付帯情報処理部１１８が符号化対象画像に係る各参照インデックスの数をカウントし、各参照インデックスに対する既定の符号化ビットの割り当て条件で符号化量Ａを求め、また、各参照インデックスの符号化ビット数と前記各参照インデックスの数とを昇順と降順の関係で対応付けた割り当て条件で符号化量Ｂを求める。Ａ−Ｂ＞αの場合、Ｂを求めた際の割り当て条件となるように各参照インデックスの変更を行い、エントロピー符号化器１０４でその条件で参照インデックスを符号化すると共に、多重器１０５でその変更情報を多重化画像データの上位階層中に組み込む。尚、αは変更情報の符号化量とする。Ａ−Ｂ≦αの場合には、前記変更を行わずに既定の割り当て条件で符号化する。【選択図】図１
2005151167.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像を所定サイズのターゲットブロックに分割し、前記符号化対象画像より前に符号化処理された画像データを逆処理して複数の参照画像を再生し、それらの内から２以上の参照画像を参照して符号化画像を生成するモードでは、前記ターゲットブロック毎に前記参照画像中のブロックから最も近似したものを求めて動きベクトルを検出し、前記ターゲットブロック毎の動きベクトルと前記参照画像とを用いた動き補償予測によって画像間予測データを求めた後、その画像間予測データと前記符号化対象画像との差分である予測誤差を求め、前記各参照画像に対して前記符号化対象画像に時間的に近い方から昇順番号となる各参照インデックスを付与すると共に、前記各参照インデックスに対する符号を前記昇順番号に対応させて符号量が大きくなる条件で割り当てるようにして、前記予測誤差と前記各動きベクトルと前記各参照インデックスとを符号化した階層構造の多重化画像データを出力する動き補償予測符号化装置において、
前記符号化対象画像に係る各参照インデックスの数をカウントするカウント手段と、
前記カウント手段が求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量との乗算値の和を演算する第１演算手段と、
前記カウント手段が求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量とを昇順／降順の逆関係で対応付けた場合の乗算値の和を演算する第２演算手段と、
前記第１演算手段が求めた値から前記第２演算手段が求めた値を差し引いた差分が所定値より大きい場合には、前記各参照インデックスの番号を前記カウント手段が求めた各参照インデックスの数の降順に付与される昇順番号に変更し、前記差分が前記所定値以下である場合には、前記各参照インデックスは既定の付与番号のままとする参照インデックス制御手段と、
前記参照インデックス制御手段が前記各参照インデックスの番号を変更した場合に、その変更情報を前記多重化画像データの上位階層中に符号化する設定情報符号化手段と
を具備したことを特徴とする動き補償予測符号化装置。
【請求項２】
符号化対象画像を所定サイズのターゲットブロックに分割し、前記符号化対象画像より前に符号化処理された画像データを逆処理して複数の参照画像を再生し、それらの内から２以上の参照画像を参照して符号化画像を生成するモードでは、前記ターゲットブロック毎に前記参照画像中のブロックから最も近似したものを求めて動きベクトルを検出し、前記ターゲットブロック毎の動きベクトルと前記参照画像とを用いた動き補償予測によって画像間予測データを求めた後、その画像間予測データと前記符号化対象画像との差分である予測誤差を求め、前記各参照画像に対して前記符号化対象画像に時間的に近い方から昇順番号となる各参照インデックスを付与すると共に、前記各参照インデックスに対する符号を前記昇順番号に対応させて符号量が大きくなる条件で割り当てるようにして、前記予測誤差と前記各動きベクトルと前記各参照インデックスとを符号化した階層構造の多重化画像データを出力する動き補償予測符号化装置としてコンピュータを機能させるためのプログラムであって、
前記符号化対象画像に係る各参照インデックスの数をカウントする第１手順と、
前記第１手順で求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量との乗算値の和を演算する第２手順と、
前記第１手順で求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量とを昇順／降順の逆関係で対応付けた乗算値の和を演算する第３手順と、
前記第２手順で求めた値から前記第３手順で求めた値を差し引いた差分が所定値より大きい場合には、前記各参照インデックスの番号を前記第１手順で求めた各参照インデックスの数の降順に付与される昇順番号に変更し、前記差分が前記所定値以下である場合には、前記各参照インデックスは既定の付与番号のままとする第４手順と、
前記第４手順で前記各参照インデックスの番号を変更した場合に、その変更情報を前記多重化画像データの上位階層中に符号化する第５手順と
をコンピュータに実行させることを特徴とする動き補償予測符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像情報を高能率符号化する動き補償予測符号化に関連した技術であって、特に、動き補償予測のために複数の参照画像を用いる場合に、各参照画像を示す参照インデックスに係る符号量を抑制するための改良に関する。
【背景技術】
【０００２】
動画像の符号化技術の国際標準方式であるＭＰＥＧ（Moving Picture Experts Group）やＨ.２６３等では、フレーム間予測符号化を基本として、動き補償予測とＤＣＴ（Discrete Cosine Transform）を組み合わせたハイブリッド符号化方式が主流をなしており、マルチメディア情報通信の分野等で広範に実施されている。
【０００３】
フレーム間予測符号化では、メモリに記憶させた前フレームの画像信号が現フレームの画像信号に対する予測信号として用いられ、両フレーム間の差分に相当する予測誤差信号が符号化される。
それに対して、動き補償予測では、前フレームと現フレームから画像のブロック毎の動きベクトルを求め、その動きベクトルを用いて前フレームを補正して現フレームに対する予測画像を生成し、その予測画像と現フレームの画像との差分をとって予測誤差を求め、前記の動きベクトルと予測誤差信号を符号化する。
即ち、動き補償予測によれば、画像の動領域の予測精度を向上させて発生する情報量の削減を図れると共に画像品質の向上を実現でき、高能率符号化方式において必須技術である。
【０００４】
そして、動き補償予測においては、例えば、下記特許文献１に示されるように使用する参照画像を複数の中から選択して符号化する方法があるが、その場合には、動き補償されるブロック毎に動きベクトルとその動きベクトルが参照している参照画像を示す参照インデックスを符号化する必要がある。
【０００５】
以下、前記のように複数の参照画像を用いて動き補償予測を行う方式の符号化装置について説明しておく。
その符号化装置は、図３の機能ブロック図に示す構成を備えており、時系列で入力されるフレーム画像を、フレーム内符号化画像（Ｉ0ピクチャ）、Ｉ0ピクチャから前方向予測符号化された画像（Ｐ1ピクチャ）、Ｉ0ピクチャ又はＰ1ピクチャを選択して前方向予測符号化された画像（Ｐ2ピクチャ）、前記の各ピクチャ（Ｉ0,Ｐ1,Ｐ2）のいずれかを選択して前方向予測符号化された画像（Ｐ3ピクチャ）として順次符号化し、符号化過程で得られる付帯情報等とともに多重化したビットストリームとして伝送路へ出力するものである。
尚、前方向予測符号化における各画像タイプの参照関係は図４のようになる。
【０００６】
先ず、入力フレーム画像１００をＩ0ピクチャに符号化するフレーム内符号化モードでは、スイッチ１０１aがｘ側に接続されており、スイッチ１１２ａは非接続状態になっている。
このモードでは、入力フレーム画像１００に対して直交変換器１０２で８×８画素ブロック単位での直交変換処理が施され、その処理で得られた係数を量子化器１０３に与え、量子化器１０３では所定の量子化ステップ数で前記係数データを量子化し、固定長の符号となった係数をエントロピー符号化器１０４と逆量子化器１１０へ出力する。
【０００７】
エントロピー符号化器１０４では２次元の８×８個の係数を１次元に変換してその係数を予め定められている方法によって符号化する。
そして、多重器１０５では、エントロピー符号化した符号列と共に、量子化器１０３から得られる付帯情報をヘッダ情報として多重化し、符号化ビットストリーム１２０として伝送路へ出力する。
尚、Ｉ0ピクチャはフレーム内符号化処理によるものであるため、動き検出器１１７と動き補償予測器１１６は動作せず、動きベクトル等の付帯情報は存在しない。
【０００８】
一方、逆量子化器１１０へ出力された量子化後のデータは、逆量子化器１１０と逆直交変換器１１１によって前記の直交変換器１０２と量子化器１０３の逆処理が施されて元の入力フレーム画像１００が再生され、その再生画像が画像メモリ１１３にセーブされた後、ループフィルタ１１４でブロックノイズを低減化させて画像メモリ１１５にセーブされる。
【０００９】
次に、入力フレーム画像１００を前方向予測符号化画像（Ｐ1ピクチャ,Ｐ2ピクチャ,Ｐ3ピクチャ）に符号化するモードでは、スイッチ１０１aがｙ側に接続され、スイッチ１１２ａは接続状態となる。
この符号化モードでは、入力フレーム画像（現フレーム画像）１００は動き検出器１１７と減算器１０１へ入力されている。
動き検出器１１７は、入力フレーム画像１００を分割して得られる各ターゲットブロック（１６×１６画素又は８×８画素）について、画像メモリ１１５にセーブされている参照画像との相関を探査して動きベクトルを求めると共に、その動きベクトルを求めた参照画像に係る参照インデックスを付与し、動き補償予測器１１６がそれらと前記参照画像信号とから画像間予測信号を生成して減算器１０１へ出力する。
但し、動き検出器１１７と動き補償予測器１１６の詳細な機能は後述することとし、ここでは減算器１０１より後段の処理について先に説明する。
【００１０】
減算器１０１では、入力フレーム画像１００の前記ターゲットブロックの画像信号と動き補償予測器１１６から得られている画像間予測信号との差分が求められ、予測誤差信号としてスイッチ１０１aを介して直交変換器１０２へ出力される。
そして、直交変換器１０２と量子化器１０３による処理は、その直交変換の対象が予測誤差信号であり前方向予測符号化された画像データが得られるだけであって、基本的には前記フレーム内符号化モードと同様である。
ただ、エントロピー符号化器１０４と多重器１０５で前記符号化画像データと付帯情報を符号化・多重化して符号化ビットストリーム１２０を構成する際には、量子化器１０３から得られる付帯情報と共に、動き検出器１１７が求めた動きベクトルと参照インデックス等の付帯情報も符号化されてヘッダ情報として多重化される。
【００１１】
一方、量子化器１０３から逆量子化器１１０側へ入力された量子化後の係数データについては、逆量子化器１１０と逆直交変換器１１１によって前記の直交変換器１０２と量子化器１０３の逆処理が施されるため、減算器１０１の出力である予測誤差信号が復元される。
そして、スイッチ１１２aが接続状態であるため、復元された予測誤差信号には加算器１１２によって動き補償予測器１１６の予測信号が加算されて元のターゲットブロックの画像が再生され、その再生画像が画像メモリ１１３にセーブされることになる。
【００１２】
そして、前記手順は１フレーム中の各ターゲットブロックについて順次実行され、１フレーム分の全ターゲットブロックについて再生画像が得られた段階で、画像メモリ１１３の画像データを読み出し、ループフィルタ１１４でブロックノイズを低減化させて画像メモリ１１５にセーブする。
【００１３】
ところで、画像メモリ１１５は最大で３フレーム分の再生画像をＦＩＦＯ（First-in First-out）方式で記憶するメモリであり、１回のフレーム内符号化モードと３回の前方向予測符号化モードとを交互に設定することにより、Ｉ0ピクチャへの符号化に際しては直前の３フレーム分に係るＰ1ピクチャとＰ2ピクチャとＰ3ピクチャの再生画像が、Ｐ1ピクチャへの符号化に際しては直前の３フレーム分に係るＰ2ピクチャとＰ3ピクチャとＩ0ピクチャの再生画像が、Ｐ2ピクチャの符号化に際しては直前の３フレーム分に係るＰ3ピクチャとＩ0ピクチャとＰ1ピクチャの再生画像が、Ｐ3ピクチャの符号化に際しては直前の３フレーム分に係るＩ0ピクチャとＰ1ピクチャとＰ2ピクチャの再生画像がセーブされることになる。
【００１４】
ここで、上記で簡単に触れた動き検出器１１７と動き補償予測器１１６の機能について詳細に説明する。
動き検出器１１７と動き補償予測器１１６が動作するのは前方向予測符号化モードの場合だけであり、図４に示したように、Ｐ1ピクチャへの符号化時にはＩ0ピクチャの再生画像のみを、Ｐ2ピクチャへの符号化時にはＩ0ピクチャ又はＰ1ピクチャの再生画像を、Ｐ3ピクチャへの符号化時にはＩ0ピクチャ、Ｐ1ピクチャ又はＰ2ピクチャの再生画像のいずれかを、ぞれぞれの参照画像とする。
そして、動き検出器１１７では、前方向予測符号化モードにおける前記符号化画像タイプによって画像メモリ１１５にセーブされている３フレーム分の再生画像（候補参照画像）の内から前記条件で参照画像を選択する。
【００１５】
例えば、Ｐ3ピクチャへの符号化時には、３つの候補参照画像（Ｉ0ピクチャ、Ｐ1ピクチャ又はＰ2ピクチャの再生画像）を入力フレーム画像１００側のターゲットブロックと同一サイズ（１６×１６画素又は８×８画素）の参照ブロックに分割し、入力フレーム画像１００のターゲットブロック毎に、各候補参照画像内の各参照ブロックを１／２画素ずつ一定範囲内で（例えば、１６×１６画素の場合であれば±１５画素分）移動させて前記ターゲットブロックとのブロックマッチングをとり、絶対誤差和（又は二乗誤差和）が最も小さくなる参照ブロックの移動を動きベクトルとして求めると共に、その参照ブロックを含む参照画像に予め対応付けられている参照インデックスを付与する。
即ち、動き検出器１１７は、入力フレーム画像１００の各ターゲットブロックについて前記条件に基づく動きベクトルを求め、その動きベクトルを求めるために用いた参照画像の参照インデックスを与える。
その場合、参照インデックスはＰ3ピクチャに対して時間的に近い順から順に対応付けられており、図４に示すように、Ｐ2，Ｐ1，Ｉ0の各ピクチャに係る参照画像に対して、それぞれ「0」,「1」,「2」の参照インデックスが対応付けられる。
また、次の表１に示すように、各参照インデックスにはそれぞれ“0”,“10”,“110”の符号ビットが割り当てられる。
【表１】
2005151167.tif 000003
【００１６】
尚、前記ではＰ3ピクチャへの符号化時について説明したが、動きベクトルの求め方はＰ1ピクチャやＰ2ピクチャへの符号化時においても同様である。
但し、Ｐ1ピクチャへの符号化時における参照画像はＩ0ピクチャの再生画像だけであるために参照インデックスはその参照画像に対する「0」だけであり、Ｐ2ピクチャへの符号化時における参照画像はＩ0ピクチャとＰ1ピクチャの再生画像となるため、それぞれに「1」,「0」の参照インデックスが対応付けられる。
【００１７】
次に、動き補償予測器１１６は、動き検出器１１７から与えられる動きベクトルと参照インデックスに基づいて、画像メモリ１１５にセーブされている各候補参照画像の前記サイズの画素ブロックを移動させることにより画像間予測信号を得る。
そして、減算器１０１においてその画像間予測信号と入力画像信号との差分（予測誤差）が演算されて直交変換器１０２へ出力されることは、上記のとおりである。
また、前記のように動き検出器１１７が求めた動きベクトルや参照インデックスの付帯情報がエントロピー符号化器１０４と多重器１０５へ転送され、所定の規則に基づいた符号化（参照インデックスは表１の規則による符号化）と多重化が行われて符号化ビットストリーム１２０として出力されることも上記と同様であるが、エントロピー符号化器１０４での参照インデックスに対する符号ビットの割り当てに際しては、前記の表１に示すように、各参照インデックス「0」,「1」,「2」にそれぞれ“0”,“10”,“110”が割り当てられる。
【００１８】
【特許文献１】特開平１１−２３９３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
ところで、従来の動き補償予測符号化装置では、動き検出器１１７において、参照インデックスの値が入力画像に対して時間的に近い参照画像から昇順となるように対応付けられており、エントロピー符号化器１０４においては参照インデックスの値が小さいほどその符号化ビットのビット数が小さくなるように割り当てられている。
これは、動画像では一般に時間的に近い画像ほど相関性が高く、動き補償予測においても、符号化対象画像に対して時間的に最も近い参照画像が選択されることが多いからであり、前記のような割り当て条件に基づく符号化によって参照インデックスの符号化量を低減化できるからである。
【００２０】
しかしながら、例えば、画面全体が周期的にフラッシュしている動画像や、手振れなどによる細かな動きがあるような動画像においては、符号化対象画像の直前の参照画像ではなく、他の参照画像と高い相関性を持つ場合がある。
そして、そのような場合に参照画像に対する参照インデックスの対応付けを一律に適用していると、参照インデックスの符号量が予想外に大きくなるという欠点がある。
【００２１】
そこで、本発明は、参照画像に対する参照インデックスの対応付け関係を適応的に変更して符号化ビットの割り当て条件を変化させることにより、参照インデックスに係る符号量を減少させる動き補償予測符号化装置を提供することを目的として創作された。
【課題を解決するための手段】
【００２２】
本発明は、符号化対象画像を所定サイズのターゲットブロックに分割し、前記符号化対象画像より前に符号化処理された画像データを逆処理して複数の参照画像を再生し、それらの内から２以上の参照画像を参照して符号化画像を生成するモードでは、前記ターゲットブロック毎に前記参照画像中のブロックから最も近似したものを求めて動きベクトルを検出し、前記ターゲットブロック毎の動きベクトルと前記参照画像とを用いた動き補償予測によって画像間予測データを求めた後、その画像間予測データと前記符号化対象画像との差分である予測誤差を求め、前記各参照画像に対して前記符号化対象画像に時間的に近い方から昇順番号となる各参照インデックスを付与すると共に、前記各参照インデックスに対する符号を前記昇順番号に対応させて符号量が大きくなる条件で割り当てるようにして、前記予測誤差と前記各動きベクトルと前記各参照インデックスとを符号化した階層構造の多重化画像データを出力する動き補償予測符号化装置において、前記符号化対象画像に係る各参照インデックスの数をカウントするカウント手段と、前記カウント手段が求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量との乗算値の和を演算する第１演算手段と、前記カウント手段が求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量とを昇順／降順の逆関係で対応付けた場合の乗算値の和を演算する第２演算手段と、前記第１演算手段が求めた値から前記第２演算手段が求めた値を差し引いた差分が所定値より大きい場合には、前記各参照インデックスの番号を前記カウント手段が求めた各参照インデックスの数の降順に付与される昇順番号に変更し、前記差分が前記所定値以下である場合には、前記各参照インデックスは既定の付与番号のままとする参照インデックス制御手段と、前記参照インデックス制御手段が前記各参照インデックスの番号を変更した場合に、その変更情報を前記多重化画像データの上位階層中に符号化する設定情報符号化手段とを具備したことを特徴とする動き補償予測符号化装置に係る。
【００２３】
本発明の動き補償予測符号化装置では、カウント手段によって符号化対象画像に係る各参照インデックスの数を求めておき、第１演算手段が既定条件による各参照画像の参照インデックスと各参照インデックスに割り当てられた符号量との関係に基づいて全ての参照インデックスに係る符号量を試算し、第２演算手段がカウント手段で求められた各参照インデックスの数と各参照インデックスの符号量とを昇順／降順の逆関係で対応付けた場合における全ての参照インデックスに係る符号量を試算する。
そして、参照インデックス制御手段は、第２演算手段が求めた符号量の方が第１演算手段が求めた符号量よりも小さく、その差が所定値より大きい場合には、各参照インデックスの番号をカウント手段が求めた各参照インデックスの数の降順に付与される昇順番号に変更することにより、参照インデックスに係る符号量が第２演算手段の求めた符号量になるようにし、逆の場合には、各参照インデックスの番号を変更することなく、第１演算手段が求めた符号量になるようにする。
即ち、ターゲットブロックに係る動きベクトルの検出に際して、より多く参照された参照画像の参照インデックスにより小さい符号量の符号を割り当てられるようにして、全ての参照インデックスについて合計した符号化量の低減化を図っている。
また、そのような割り当て設定を行ったことは、設定情報符号化手段が多重化画像データの上位階層中に変更情報を符号化しておくことで判別できるようにしている。
尚、前記「所定値」は、設定情報符号化手段が変更情報を符号化した際の符号量以上の値として設定すれば合理的であり、また各種条件でその値が変動するような場合にはその符号量の最大値や平均値を採用してもよい。
【００２４】
前記発明における各手段の処理はコンピュータによって実行させることができ、その場合のプログラムは、前記符号化対象画像に係る各参照インデックスの数をカウントする第１手順と、前記第１手順で求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量との乗算値の和を演算する第２手順と、前記第１手順で求めた各参照インデックスの数と各参照インデックスに割り当てられている前記符号の符号量とを昇順／降順の逆関係で対応付けた乗算値の和を演算する第３手順と、前記第２手順で求めた値から前記第３手順で求めた値を差し引いた差分が所定値より大きい場合には、前記各参照インデックスの番号を前記第１手順で求めた各参照インデックスの数の降順に付与される昇順番号に変更し、前記差分が前記所定値以下である場合には、前記各参照インデックスは既定の付与番号のままとする第４手順と、前記第４手順で前記各参照インデックスの番号を変更した場合に、その変更情報を前記多重化画像データの上位階層中に符号化する第５手順とを実行させるものとなる。
【発明の効果】
【００２５】
本発明は、複数の候補参照画像を用いる動き補償予測符号化装置において、各参照画像を示す参照インデックスに係る符号量を既定条件の場合と参照頻度の高い参照インデックスに小さい符号化ビット数を与える条件の場合とで試算し、適応的に参照インデックスを変更することにより各参照インデックスに対する符号ビットの割り当て条件を変化させて、参照インデックスに係る符号量を低減化させる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の動き補償予測符号化装置の実施形態を図１及び図２に基づいて詳細に説明する。
図１はこの実施形態に係る符号化装置の機能ブロック回路図であり、同図と図３とを比較すれば明らかなように、動き検出器１１７から多重器１０５へ付帯情報を転送する回路中に動き付帯情報処理部１１８が付加されている点が異なるだけである。
そして、前記のように、入力フレーム画像（符号化対象画像）をＰ2ピクチャ又はＰ3ピクチャへ符号化する場合には、動き検出器１１７が各ターゲットブロック（１６×１６画素又は８×８画素）について動きベクトルを求めた際に、いずれの参照画像を選択したかを参照インデックスで示すようにしているが、この符号化装置の特徴は、動き付帯情報処理部１１８とエントロピー符号化器１０４によって、各参照画像の選択状態を確認して参照インデックスを変更し、各参照インデックスに対する符号化ビットの割り当て条件を変化させる点にあり、他のデータ処理動作については背景技術の欄で説明した符号化装置と同様である。
従って、ここでは主に前記特徴的機能に関連した動作ついて説明することとし、他のデータ処理動作の説明は省略する。
【００２７】
図２のフローチャートは、動き付帯情報処理部１１８とエントロピー符号化器１０４が前記機能を実行する動作手順を示す。
但し、このフローチャートは入力フレーム画像をＰ3ピクチャへ符号化する場合に関するものであり、背景技術の欄で説明したように、画像メモリ１１５にはＩ0ピクチャとＰ1ピクチャとＰ2ピクチャの再生画像が３つの候補参照画像としてセーブされている。
【００２８】
先ず、動き検出器１１７は、入力フレーム画像のターゲットブロック毎に、動きベクトルと、その動きベクトルを求めた参照画像に係る前記表１に基づいた参照インデックスを求めるが、動き付帯情報処理部１１８は全てのターゲットブロックに係るそれらのデータを内蔵メモリに一旦セーブする（S11）。
そして、動き付帯情報処理部１１８では各参照インデックス［ｉ］（ｉ＝０，１，２）の個数Ｎ(i)をカウントする（S12）。
【００２９】
そして、入力フレーム画像をＰ3ピクチャへ符号化する場合の各参照インデックス［ｉ］に対する符号化ビット数Ｂ(i)の割り当て条件は前記表１に示す対応関係で与えられており、動き付帯情報処理部１１８は各参照インデックス［ｉ］の個数Ｎ(i)と前記符号化ビット数Ｂ(i)とを用いて、既定の条件で全ての参照インデックスを符号化した場合の符号量Ａ＝Ｎ(0)＊Ｂ(0)＋Ｎ(1)＊Ｂ(1)＋Ｎ(2)＊Ｂ(2)を試算する（S13）。
【００３０】
また、動き付帯情報処理部１１８は各参照インデックス［ｉ］の個数Ｎ(i)の降順を求め、その順がＮ(a)≧Ｎ(b)≧Ｎ(c)［但し、ａ,ｂ,ｃ∈０,１,２］であったとすると、符号量Ｂ＝Ｎ(a)＊Ｂ(0)＋Ｎ(b)＊Ｂ(1)＋Ｎ(c)＊Ｂ(2)を求める（S14,S15）。
即ち、各参照インデックスの符号化ビット数Ｂ(i)と各参照インデックスの数Ｎ(i)とを昇順と降順の関係で対応付けた場合の乗算値の和を演算し、その対応付け関係に基づいた符号量Ｂを試算する。
【００３１】
次に、動き付帯情報処理部１１８では、符号量Ａから符号量Ｂを差し引いた値を求め、その値が所定値αより大きいか否かを判断する（S16）。
ここで、αは後記するエントロピー符号化器１０４での参照インデックスの変更情報を符号化する場合の符号量に相当する。
【００３２】
そして、（Ａ−Ｂ）＞αの比較結果が得られた場合には、参照インデックス［ｉ］の変更を行い、０をａに、１をｂに、２をｃに変更した後、各ターゲットブロックに係る動きベクトルと前記変更後の各参照インデックス［ｉ］（ｉ＝ａ，ｂ，ｃ）、及び参照インデックスの変更通知情報をエントロピー符号化器１０４へ出力する（S16→S17,18）。
即ち、動き付帯情報処理部１１８では、参照インデックス［ｉ］（ｉ＝０，１，２）をそれらの個数Ｎ(i)の降順に対応するように変更してエントロピー符号化器１０４へ出力する。
【００３３】
ところで、エントロピー符号化器１０４では参照インデックス［ｉ］に対する符号ビットの割り当てを前記表１の関係で行うようにしているため、変更後の参照インデックス［ｉ］（ｉ＝ａ，ｂ，ｃ）による割り当てがなされると、３種の参照インデックスのカウント数の降順に符号化ビット“0”,“10”，“110”を割り当てて、全てのターゲットブロックに係る参照インデックスを符号化することになる。
換言すれば、参照頻度の高い参照画像（カウント数が多い参インデックス［ｉ］）に対して少ない符号化ビット数が割り当てられて、それだけ参照インデックス全体の符号量を低減化できることになる。
【００３４】
具体的には、例えば、Ｉ0ピクチャ，Ｐ1ピクチャ，Ｐ2ピクチャに係る参照画像を参照しているターゲットブロックの数がそれぞれ１２０，３０，７０であったとすると、符号量Ａ及び符号量Ｂはそれぞれ次式で与えられ、
Ａ＝７０＊３＋３０＊２＋１２０＊１＝３９０（ビット）
Ｂ＝１２０＊１＋７０＊２＋３０＊３＝３５０（ビット）
参照インデックスを変更した場合の方が符号量を低減化する上で有利である。
但し、参照インデックスの変更通知情報がエントロピー符号化器１０４で符号化された場合に、その符号量αが入力フレーム画像全体の符号量に加算されるため、前記のように（Ａ−Ｂ）＞αの条件下に参照インデックスの変更を行うこととしている。
この場合、αを１０ビットとすれば、参照インデックスの変更処理がなされることになり、Ａ−（Ｂ＋α）＝３０ビット分の符号量を削減できることになる。
【００３５】
そして、エントロピー符号化器１０４では、前記のように変更後の参照インデックスに対して符号化ビットを割り当てて、動きベクトルやその他の付帯情報と共に符号化し、多重器１０５が階層構造のビットストリーム１２０を構成して出力させることになるが、多重器１０５では前記変更通知情報に基づいてその多重化画像データの上位階層（例えば、シーケンス層やピクチャ層やスライス層）に前記割り当て条件の変更情報を符号化して組み込んでおく（S19）。
【００３６】
一方、ステップS16において（Ａ−Ｂ）≦αであった場合には、動き付帯情報処理部１１８はセーブした動きベクトルや参照インデックス［ｉ］をエントロピー符号化器１０４へそのまま出力し、エントロピー符号化器１０４では前記表１の参照インデックス［ｉ］（ｉ＝０，１，２）と符号化ビットの対応関係による既定の割り当て条件で符号化を行う（S16→S20,S21）。
【００３７】
以上のように、入力フレーム画像をＰ3ピクチャへ符号化する場合について説明したが、Ｐ2ピクチャへ符号化する場合においてもＩ0ピクチャ又はＰ1ピクチャの再生画像を候補参照画像とするため、その場合にも動き付帯情報処理部１１８とエントロピー符号化器１０４において上記手順に準じた参照インデックスの変更処理を行うことにより符号量の低減化が図れる。
【００３８】
また、上記の動き補償予測符号化装置においてエントロピー符号化器１０４を算術符号化器とした場合においては、各参照インデックスに対して次の表２に示すようなビン列を割り当てることができる。
【表２】
2005151167.tif 000004
その場合、ビン列の長さは必ずしもビット数とは一致しないが、動き付帯情報処理部１１８は、上記の場合と同様に、符号量Ａ＝Ｎ(0)＊Bin(0)＋Ｎ(1)＊Bin(1)＋Ｎ(2)＊Bin(2)として試算し、各参照インデックス［ｉ］に係る個数Ｎ(i)の降順を求め、その順序がＮ(a)≧Ｎ(b)≧Ｎ(c)［但し、ａ,ｂ,ｃ∈０,１,２］であれば、符号量Ｂ＝Ｎ(a)＊Bin(0)＋Ｎ(b)＊Bin(1)＋Ｎ(c)＊Bin(2)を求め、以下同様の処理を行う。
更に、より正確な符号量を試算する場合には、前記のような演算ではなく、実際に算術符号化を行った結果に基づいて参照インデックスの並び替えを行うか否かを決定するような方法も採用できる。
【００３９】
尚、この実施形態及び背景技術の欄では、図１や図３に示したように動き補償予測符号化装置を機能ブロックで表現しているが、その全体をＤＳＰ（Digital Signal Processor）等のマイクロコンピュータ回路で構成し、図２の手順をプログラムによって実行させることも可能である。
その場合のプログラムは、記録媒体による提供方式だけでなく、インターネット等の通信ネットワークを介してダウンロードさせる方式で提供されてもよい。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る動き補償予測符号化装置の機能ブロック回路図である。
【図２】動き付帯情報処理部と多重器の動作手順を示すフローチャートである。
【図３】従来技術に係る動き補償予測符号化装置の機能ブロック回路図である。
【図４】動き補償予測符号化における各画像タイプの参照関係を示す図である。
【符号の説明】
【００４１】
１００…入力画像（入力フレーム画像）、１０１…減算器、１０１a,１１２a…スイッチ、１０２…直交変換器、１０３…量子化器、１０４…エントロピー符号化器、１０５…多重器、１１０…逆量子化器、１１１…逆直交変換器、１１２…加算器、１１３,１１５…画像メモリ、１１４…ループフィルタ、１１６…動き補償予測器、１１７…動き検出器、１１８…動き付帯情報処理部、１２０…符号出力（符号化ビットストリーム）。
【図１】
2005151167.tif 000005
【図２】
2005151167.tif 000006
【図３】
2005151167.tif 000007
【図４】
2005151167.tif 000008