(57)【特許請求の範囲】
【請求項１】
動画像シーケンスを符号化する際、符号化対象フレームを小ブロックに分割し、符号化対象小ブロックごとに複数の予測方法から１つの予測方法を選択可能な動画像予測符号化方法において、 符号化対象小ブロックごとに複数の予測方法の中から１つの予測方法を選択する際、各予測方法で予測誤差から最小予測誤差を検出した後、符号化対象小ブロックの量子化に適用する量子化ステップの大きさから予測方法の候補を選出するために前記最小予測誤差に対し予測誤差の許容範囲を算出し、その許容範囲内の予測誤差となる予測方法から最小オーバヘッドの予測方法を選択することを特徴とする動画像予測符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化の動き補償予測方法の選択方法に関する。
【０００２】
【従来の技術】
動画像符号化において、時間方向の冗長性を削減するために、符号化済みのフレームを予測信号とする予測符号化方法が知られている。この時間方向予測の予測効率を高めるため、動き補償を行った画像信号を予測信号とし予測を行う動き補償予測方法がよく用いられる。動き補償予測方法は、動きベクトルを復号側に伝送する必要があり、各動き補償予測方法ごとに予測効率や動きベクトル数は異なる。例として、各動き補償予測方法の予測効率と動きベクトル数を表１に示す。この表の動きベクトル数は、小ブロック当たりの数を示している。また、動き補償オフの予測は、（０，０）の動きベクトルでの動き補償に相当する。
【０００３】
【表１】
0003843160.tif 000002
【０００４】
動き補償を行わない場合、予測効率は悪いものの、動きベクトルなどによるオーバヘッドはない。逆に、小ブロックを４つのブロックに分割し、双方向予測を行う場合は、予測効率は高いが、動きベクトルや動き補償予測方法を示す情報によるオーバヘッドが大きくなることがわかる。
【０００５】
一般的な動画像符号化方法では、複数の動き補償予測方法を装置に実装し、符号化効率に基づき動き補償予測方法を適応的に切り替えている。例えば、ＭＰＥＧ１では、ブロックサズ１６×１６の片方向／双方向動き補償予測（図５）を行い、小ブロック単位に片方向動き補償予測または双方向動き補償予測に適応的に切り替えることができる。
【０００６】
符号化効率向上のため、動き補償予測方法の選択には、その動き補償予測効率の高さだけでなく、オーバヘッドを考慮する必要がある。予測効率が高い予測方法でも、オーバヘッドの大きさにより、その効果は相殺される可能性があり、符号化効率の低下を招く場合もある。
【０００７】
そこで、以下の手順により予測方法を選択する。
１．各予測方法の予測誤差を算出する。
２．各予測方法のオーバヘッドのサイズに基づき、それぞれの予測誤差から経験的に得られた値（補正値）を加えまたは減じ、新たな予測誤差とする。
３．各予測方法の予測誤差の中から最小予測誤差を検出し、最小予測誤差の予測方法を用いて符号化対象小ブロックの予測を行う。
【０００８】
上記の選択方法の補正値は、オーバヘッドが小さい方法ほど予測誤差が小さくなるように設定する。例えば、補正値を予測誤差から減じる場合、オーバヘッドが少ない方法ほど大きな値を設定する。補正値を予測誤差に加える場合は、オーバヘッドが大きい方法ほど大きな値を設定する。
【０００９】
例として、動きベクトル数がそれぞれ０，１，２の３種類の予測方法から予測方法を選択し、予測誤差に補正値を加える場合を示す。各方法の予測誤差に加える補正値Ｂi （ｉ＝０，１，２）は、以下の関係式で表すことができる。
【００１０】
Ｂ0 ≦Ｂ1 ≦Ｂ2 ・・・（１）
各予測方法のオーバヘッドを考慮しない場合は、上式の等号が成り立つ。各予測方法で算出された予測誤差Ｅｇi と補正値Ｂi 、予測方法決定に用いる予測誤差Ｅｎi は次式から算出される。
【００１１】
Ｅｎi ＝Ｅｇi ＋Ｂi ・・・・・（２）
上式により補正した予測誤差Ｅｎi から最小予測誤差を検出し、予測方法を決定する。
【００１２】
このような方法によれば、動き補償予測の効率を低下させることなく、オーバヘッドを抑えることができる。
【００１３】
【発明が解決しようとする課題】
ＭＰＥＧ１などの一般的な動画像符号化方法では、動き補償予測の予測誤差信号に対し直交変換を行い、直交変換係数を量子化後、可変長符号化を行う。量子化を行う際の量子化ステップは目標伝送レートなどから決定される。量子化ステップが大きい場合は粗く量子化され、小さい場合は細かく量子化される。
【００１４】
ここで、予測誤差信号と量子化ステップの関係について考える。細かく量子化を行う場合、予測誤差が小さいほど量子化後の直交変換係数が小さくなるため、予測誤差が最小となる予測方法を選択することで発生情報量を抑えることができる。また、量子化が粗くなると、各予測方法間の予測誤差の差は、量子化後の直交変換係数の符号量の増加につながる可能性は少ない。したがって、動き補償によるオーバヘッドが少ない方法を選択することにより、全体の発生情報量が減少する可能性がある。
【００１５】
表２、表３に例を示す。この例では、予測方法ＡおよびＢは、それぞれ異なる予測方法とする。それぞれ予測方法の予測誤差信号を細かく量子化した場合（ここでは、量子化ステップ２）、予測方法Ａの方が量子化後の予測誤差小さくなっている。しかし、粗く量子化した場合（ここでは、量子化ステップ１０）、両者の予測誤差信号は等しくなっている。この例からわかるように最小予測誤差となる予測方法が常によいとは限らず、各予測方法のオーバヘッドと量子化ステップによって最適な予測方法は変化する。
【００１６】
【表２】
0003843160.tif 000003
【００１７】
【表３】
0003843160.tif 000004
【００１８】
従来の方法では、各動き補償方法の予測誤差に加える補正値は、経験的に求められたものであり、常に一定である。このため、量子化ステップに応じた適切な補正値が用いられるとは限らない。その結果、量子化ステップが小さいときに予測誤差の大きい予測方法が選択される場合や、量子化ステップが大きいときに動きベクトルなどによるオーバヘッドが大きくなる場合があり、全体の発生情報量が増加するという問題点があった。
【００１９】
本発明の目的は、予測符号化によるオーバヘッドを低減することにより発生情報量を抑える動画像予測符号化方法を提供することである。
【００２０】
【課題を解決するための手段】
本発明の動画像予測符号化方法は、動画像シーケンスを符号化する際、符号化対象フレームを小ブロックに分割し、符号化対象小ブロックごとに複数の予測方法から１つの予測方法を選択可能な動画像予測符号化方法において、符号化対象小ブロックごとに複数の予測方法の中から１つの予測方法を選択する際、各予測方法で予測誤差から最小予測誤差を検出した後、符号化対象小ブロックの量子化に適用する量子化ステップの大きさから予測方法の候補を選出するために前記最小予測誤差に対し予測誤差の許容範囲を算出し、その許容範囲内の予測誤差となる予測方法から最小オーバヘッドの予測方法を選択する。
【００２４】
したがって、予測誤差信号による発生情報量を増加させることなく、動きベクトルなどによるオーバヘッドを減少させることができる。
【００２５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２６】
図１は本発明の第１の実施形態（請求項１に対応）を示す流れ図である。本実施形態では、動き補償なしの予測誤差が、量子化ステップから求められる閾値より小さい場合、他の動き補償予測方法の予測誤差に関係なく、動き補償予測をオフとする。動き補償オンの場合は、予測方法の選択を行う。
１．動き補償なしの予測誤差Ｅｇ0 を算出する（ステップ１１）。
２．符号化対象小ブロックの量子化ステップＱを算出する（ステップ１２）。
３．量子化ステップＱから閾値Ｔｈを次式により算出する（ステップ１３）。
Ｔｈ＝ｔ（Ｑ）・・・・・（３）
４．予測誤差Ｅｇ0が、次式を満たす場合、動き補償をオフとする（ステップ１４、１５）。
Ｅｇ0 ≦Ｔｈ・・・・・・（４）
５．予測誤差Ｅｇ0 が上式を満たさない場合は、動き補償予測方法の選択を行う（ステップ１４、１６）。
【００２７】
図２は本発明の第２の実施の形態（請求項３に対応）を示す流れ図である。
【００２８】
本実施形態では、実装されたＮ種類の予測方法の中で最小予測誤差に対して、量子化ステップより予測誤差の許容範囲を求め、許容範囲内で最小オーバヘッドの予測方法を採用する。
【００２９】
１．実装されている複数の予測方法で予測誤差Ｅｇi （ｉ＝１，２，・・・，Ｎ）を算出する（ステップ２１）。
２．予測誤差Ｅｇi から最小予測誤差Ｅｇmin を算出する（ステップ２２）。
３．符号化対象小ブロックの量子化ステップＱを算出する（ステップ２３）。
４．量子化ステップＱから許容範囲Ｔを次式により算出する（ステップ２４）。
Ｔ＝ｆ（Ｑ）・・・・（５）
５．各予測方法の予測誤差Ｅｇi で、次式を満たす予測方法を検出する（ステップ２５）。図４（ａ）の例では、Ｎ種類の予測方法から、予測誤差Ｅｇi が許容範囲Ｔ内に存在する５つの予測方法を候補として選択する。
Ｅｇi ≦Ｅｇmin ＋Ｔ・・・（６）
６．検出した予測方法の中でオーバヘッドが最も小さい予測方法を符号化対象小ブロックの予測方法として決定する（ステップ２６）。図４（ｂ）は図４（ａ）で選ばれた５つの候補のうち、オーバヘッドの大きさが最も小さい予測方法が選択されることを示している。
【００３０】
図３は本発明の第３の実施の形態（請求項４に対応）を示す流れ図である。
【００３１】
本実施形態では、実装されたＮ種類の予測方法の予測誤差に対して、量子化ステップと各予測方法のオーバヘッドより各予測方法の補正値を求め、補正後の予測誤差が最小となる予測方法を採用する。
【００３２】
１．実装されている複数の予測方法で予測誤差Ｅｇi （ｉ＝１，２，・・・，Ｎ）を算出する（ステップ３１）。
２．符号化対象小ブロックの量子化ステップＱを算出する（ステップ３２）。
３．量子化ステップＱと予測方法のオーバヘッドサイズＨから次式により補正値Ｂi を算出する（ステップ３３）。
Ｂi ＝ｈ（Ｑ，Ｈ）・・・（７）
４．次式により各予測方法の予測誤差Ｅｇi を補正値Ｂi により補正し、補正した予測誤差Ｅi を算出する（ステップ３４）。
Ｅi ＝Ｅｇi ＋Ｂi ・・・（８）
５．補正した予測誤差Ｅi で予測誤差が最も小さい予測方法を符号化対象小ブロックの予測方法として決定する（ステップ３５）。
【００３３】
本発明の具体例を示す。本例では、小ブロックサイズを１６×１６とし、動き探索における予測誤差の指標は、次式から求まる差分絶対値和を用いた場合を想定する。
【００３４】
【数１】
0003843160.tif 000005
ここで、Ｐc （ｊ，ｋ）は符号化対象小ブロックの画素値、Ｐr （ｊ，ｋ）は参照小ブロックの画素値を示す。画像符号化方法としては、動き補償＋離散コサイン変換とし、予測方法は以下の３種類とする。また、本例では、動き補償予測に伴うオーバヘッドは動きベクトルのみとし、オーバヘッドの大きさは動きベクトル数に比例すると仮定する。
【００３５】
１．動き補償オフでの予測
参照フレームは、符号化対象フレームに対し符号化済みで、時間的に前の１フレームを用いる。動きベクトル数は０
２．片方向動き補償予測
参照フレームは、符号化対象フレームに対し符号化済みで、時間的に前  の１フレームを用いる。動きベクトル数は１
３．双方向動き補償予測
参照フレームは、符号化対象フレームに対し符号化済みで、時間的に前後の２フレームを用いる。動きベクトル数は２
【００３６】
離散コサイン変換の定義は以下の通りである。
【００３７】
【数２】
0003843160.tif 000006
【００３８】
予測誤差の許容範囲を用いた予測方法の決定
まず、３種類の予測方法（動き補償オフでの予測、片方向動き補償予測、双方向動き補償予測）で符号化対象小ブロックと参照小ブロックの差分絶対値和（ＳＡＤo ，ＳＡＤp ，ＳＡＤb ）を算出する。次に、最小差分絶対値和ＳＡＤmin を算出する。
【００３９】
ＳＡＤmin ＝ｍｉｎ（ＳＡＤ0 ，ＳＡＤp ，ＳＡＤb ）・・・・（１１）
次に、符号化対象小ブロックに適用する量子化ステップＱＰから許容範囲Ｔを次式により算出する。
Ｔ＝ＱＰ・１６×１６／８・・・（１２）
【００４０】
続いて、次式を満たす予測方法を検出する。
ＳＡＤi ≦ＳＡＤmin ＋Ｔ（ｉ＝０，ｐ，ｎ）・・・（１３）
検出された予測方法が、２つ以上ある場合は、各方法のオーバヘッドを比較し、最小オーバヘッドの予測方法を選択する。
【００４１】
上記のような方法により、予測誤差信号による発生情報量を増加させることなく、動きベクトルなどによるオーバヘッドを減少させることができる。
【００４２】
予測誤差補正による予測方法の決定
まず、３種類の予測方法（動き補償オフでの予測、片方向動き補償予測、双方向動き補償予測）で、符号化対象小ブロックと参照小ブロックの差分絶対値和（ＳＡＤo ，ＳＡＤp ，ＳＡＤb ）を算出する。次に、符号化対象小ブロックに適用する量子化ステップＱＰと、各予測方法の動きベクトル数Ｍi （ｉ＝０，ｐ，ｎ）から補正値Ｂi （ｉ＝０，ｐ，ｎ）を次式により算出する。
Ｂi ＝（ＱＰ・１６×１６／８）・（２−Ｍi ）・・・（１４）
【００４３】
（１２）式より求められた各予測方法の補正値は以下の通りである。
Ｂo ＝６４・ＱＰ
Ｂp ＝３２・ＱＰ  ・・・（１５）
Ｂb ＝０
【００４４】
次に、各予測方法の差分絶対値和ＳＡＤi （ｉ＝０，ｐ，ｎ）を次式により補正する。
ＳＡＤｎi ＝ＳＡＤi −Ｂi ・・・（１６）
この後、最小差分絶対値和を検出し、予測方法を決定する。
【００４５】
上記のような方法により、予測誤差信号による発生情報量を増加させることなく、動きベクトルなどによるオーバヘッドを減少させることができる。
【００４６】
以上述べた実施形態では、予測誤差の大きさの指標として差分絶対値和を用いているが、差分自乗和など他の指標を用いることも可能である。ただし、予測誤差の指標により、許容範囲や補正値の算出方法を適宜変更する必要がある。
【００４７】
【発明の効果】
以上説明したように本発明によれば、画品質を低下させることなく、動きベクトルなどによるオーバヘッドを低減でき、結果として、符号化効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す流れ図である。
【図２】本発明の第２の実施形態を示す流れ図である。
【図３】本発明の第３の実施形態を示す流れ図である。
【図４】予測誤差が許容範囲内収まる予測方法の検出（（同図（ａ））とオーバヘッドの大きさによる予測方法の決定（同図（ｂ））を示す図である。
【図５】動き補償予測の例を示す図である。
【符号の説明】
１１〜１６，２１〜２６，３１〜３５    ステップ
【図１】
0003843160.tif 000007
【図２】
0003843160.tif 000008
【図３】
0003843160.tif 000009
【図４】
0003843160.tif 000010
【図５】
0003843160.tif 000011