(57)【要約】【課題】  予測誤差がフレーム間予測のエラーの伝搬を考慮して、復号時の再生品質を向上できるようにする。【解決手段】  動き補償予測部１０は、参照フレーム中の複数の参照候補ブロックのうちから、      D＝Σ（│Ref−Prd_ok│×P(OK)＋│Ref−Prd_ng│×P(NG)）とするときに、      Cost＝D＋λ・Rなる式で求まるCostの値が最小となる参照候補ブロックを参照ブロックとして選択する。ブロック予測部１は、参照ブロックを参照して符号化対象フレーム中の符号化対象ブロックを符号化する。【選択図】      図１
2005295404.tif 000002
【特許請求の範囲】
【請求項１】
動画像の符号化対象フレームに対して、複数の符号化済みフレームを参照フレームとして用いる動き補償予測フレーム間符号化を含む符号化処理を行う動画像符号化装置であって、
前記参照フレーム中の複数の参照候補ブロックのうちから、
D＝Σ（│Ref−Prd_ok│×P(OK)＋│Ref−Prd_ng│×P(NG)）
Ref：予測対象画素値
Prd_ok：正常に予測が行われた場合の予測値
Prd_ng：コンシールメントによる予測値
P(OK)：正常にデコードできる確率
P(NG)：正常にデコードできない確率
とするときに、
Cost＝D＋λ・R
R：動ベクトルと参照フレームの符号化に必要となる符号量
なる式で求まるCostの値が最小となる参照候補ブロックを参照ブロックとして選択する手段と、
前記参照ブロックを参照して前記符号化対象フレーム中の符号化対象ブロックを符号化する手段とを具備したことを特徴とする動画像符号化装置。
【請求項２】
動画像の符号化対象フレームに対して、複数の符号化済みフレームを参照フレームとして用いる動き補償予測フレーム間符号化を含む符号化処理をコンピュータに行わせるための動画像符号化プログラムであって、
前記参照フレーム中の複数の参照候補ブロックのうちから、
D＝Σ（│Ref−Prd_ok│×P(OK)＋│Ref−Prd_ng│×P(NG)）
Ref：予測対象画素値
Prd_ok：正常に予測が行われた場合の予測値
Prd_ng：コンシールメントによる予測値
P(OK)：正常にデコードできる確率
P(NG)：正常にデコードできない確率
とするときに、
Cost＝D＋λ・R
R：動ベクトルと参照フレームの符号化に必要となる符号量
なる式で求まるCostの値が最小となる参照候補ブロックを参照ブロックとして選択する処理と、
前記参照ブロックを参照して前記符号化対象フレーム中の符号化対象ブロックを符号化する処理とを前記コンピュータに行わせることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測フレーム間符号化を含む符号化処理を行う動画像符号化装置および動画像符号化プログラムに関する。
【背景技術】
【０００２】
動画像の圧縮符号化技術として、ＭＰＥＧ１(ISO/IEC11172-2)，ＭＰＥＧ２(ISO/IEC13818-2)，ＭＰＥＧ４(ISO/IEC14496-2)などが広く実用化されている。これらの動画像符号化方式では、フレーム内符号化およびフレーム間符号化の組み合わせによる符号化が行われる。さらにはこれらの符号化を発展させた、「Ｈ．２６４／ＭＰＥＧ４  ＡＶＣ」あるいは「ＭＰＥＧ４  part１０」と呼ばれる符号化が標準化されている。なお以下においては、この符号化を「Ｈ．２６４」と称する。
【０００３】
Ｈ．２６４では、フレーム間符号化において最大16フレームを参照フレームとして用いることができる。そしてフレーム間符号化は、参照フレーム内の参照マクロブロックを参照して、符号化フレーム内の符号化対象マクロブロックを符号化することで行われる。
【０００４】
参照候補マクロブロックが複数有る場合、これら複数の参照候補マクロブロックから１つの参照マクロブロックを選択することになる。そして従来は、参照候補マクロブロックのそれぞれに関して以下の式により求まるCostを比較し、このCostが最小となる参照候補マクロブロックを参照マクロブロックに決定している。  
Cost＝D＋λ・R
ここで、Rは動ベクトル（ＭＶ）と参照フレームの符号化に必要となる符号量を表わしている。またDは画質を表わしている。Dとしては、ＳＡＤ（予測誤差の絶対値和）もしくはＳＳＥ（予測誤差の２乗和）が使用される。すなわち、
D＝Σ│Ref−Prd│
とするか、または、
D＝Σ（Ref−Prd）^2
とする。なおここで、Refは予測対象画素値を表わし、Prdは予測値を表わす。
【非特許文献１】H.264におけるレート-歪み最適化モード判定の高速化に関する一検討  谷沢  昭行  他  東芝  2004/2 画像工学研究会
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般的に、予測誤差は時間的に近いフレーム間の方が小さくなり易い。従って、参照マクロブロックの決定を上述のように行っていると、時間的に近い参照フレーム中のマクロブロックが参照マクロブロックとして使用される可能性が高くなる。
【０００６】
しかしながらフレーム間符号化においては、フレーム間予測（Inter予測）を行う毎に誤りが伝搬する確率が大きくなる。すなわち、１回のフレーム間予測当りの正しく復号できる確率をｐと表わすならば、フレーム間予測が１回のみ行われたマクロブロックMbAを正しく復号できる確率P(MbA)は、
P(MbA)＝ｐ
である。これに対して、フレーム間予測が３回繰り返されたマクロブロックMbBを正しく復号できる確率P(MbB)は、
P(MbB)＝ｐ^3
となる。このため、時間的に近い参照候補マクロブロックが複数回のフレーム間予測が繰り返されたものである場合、エラー環境下ではこの参照候補マクロブロックよりも時間的に遠く予測誤差が大きい参照候補マクロブロックの方が参照マクロブロックとして適する場合もある。
【０００７】
本発明はこのような事情を考慮してなされたものであり、その目的とするところは、予測誤差がフレーム間予測のエラーの伝搬を考慮して、復号時の再生品質を向上できる動画像符号化装置および動画像符号化プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
以上の目的を達成するために本発明は、動画像の符号化対象フレームに対して、複数の符号化済みフレームを参照フレームとして用いる動き補償予測フレーム間符号化を含む符号化処理を行うに当り、前記参照フレーム中の複数の参照候補ブロックのうちから、
D＝Σ（│Ref−Prd_ok│×P(OK)＋│Ref−Prd_ng│×P(NG)）
Ref：予測対象画素値
Prd_ok：正常に予測が行われた場合の予測値
Prd_ng：コンシールメントによる予測値
P(OK)：正常にデコードできる確率
P(NG)：正常にデコードできない確率
とするときに、
Cost＝D＋λ・R
R：動ベクトルと参照フレームの符号化に必要となる符号量
なる式で求まるCostの値が最小となる参照候補ブロックを参照ブロックとして選択し、前記参照ブロックを参照して前記符号化対象フレーム中の符号化対象ブロックを符号化するようにした。
【発明の効果】
【０００９】
本発明によれば、Costの算出にエラーにより再生画像との誤差が発生する確率が加味されるので、これを考慮した参照ブロックの決定が行え、予測誤差がフレーム間予測のエラーの伝搬を考慮して、復号時の再生品質を向上できる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の一実施形態について説明する。  
図１は本実施形態に係る動画像符号化装置の構成を示すブロック図である。なお本実施形態において動画像符号化装置は、Ｈ．２６４に準拠するものとする。この図１に示すように本実施形態の動画像符号化装置は、ブロック予測部１、変換部２、量子化部３、エントロピー符号化部４、逆量子化部５、逆変換部６、加算部７、ループフィルタ８、フレームメモリ９、動き補償予測部１０、コンシールメント部１１、再生画素推定部１２および誤り推定部１３を含む。
【００１１】
なおこれらの各部のうち、ブロック予測部１、変換部２、量子化部３、エントロピー符号化部４、逆量子化部５、逆変換部６、加算部７、ループフィルタ８および動き補償予測部１０、コンシールメント部１１、再生画素推定部１２、誤り推定部１３は、ハードウェアで実現することもできるが、コンピュータにプログラムを実行させることにより実現することもできる。このときに動画像符号化装置は、上記のプログラムが予めインストールされて実現されても良いし、CD-ROMなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して上記のプログラムを配布し、このプログラムを適宜インストールして実現されても良い。
【００１２】
フレーム毎の動画像信号（符号化対象フレーム）は、ブロック予測部１および動き補償予測部１０へ入力される。動き補償予測部１０から出力される予測画像信号は、ブロック予測部１に入力される。ブロック予測部１は、入力動画像信号に対する予測画像信号の誤差信号である予測誤差信号を生成する。
【００１３】
変換部２は、予測誤差信号に対して整数変換（Integer Transform）を施すことによってＩＴ係数を得る。量子化部３は、ＩＴ係数を量子化する。量子化されたＩＴ係数データは二分岐され、エントロピー符号化部４および逆量子化部５へ入力される。エントロピー符号化部４は、ＩＴ係数データに対してエントロピー符号化を施す。
【００１４】
逆量子化部５は、ＩＴ係数データに対して量子化部３が行った処理の逆処理を施すことによって、ＩＴ係数を再生する。逆変換部６は、再生されたＩＴ係数に対して変換部２が行った処理の逆処理を施すことによって、予測誤差信号を再生する。加算部７は、再生された予測誤差信号と動き補償予測部１０から出力される予測画像信号とを加算することにより、局部復号化画像信号を生成する。
【００１５】
ループフィルタ８は、局部復号化画像信号からノイズを除去する。フレームメモリ９は、ノイズが除去された局部復号化画像信号を一時保存する。
【００１６】
コンシールメント部１１は，エラーによりブロックの復号処理が正常に行われなかった場合のデコーダ側のコンシールメント処理により局部復号画像信号を算出する。
【００１７】
誤り推定部１３は、デコーダからの誤り情報を受信し、デコーダ側の誤り率を推定する。
【００１８】
再生画素推定部１２は、ループフィルタ９とコンシールメント部１１からの局部復号画像信号を誤り推定部１３からの情報により重み付けし算出した局部復号画像信号をフレームメモリ９に保存する。
【００１９】
フレームメモリ９は、局部復号化画像信号を複数フレー分（例えば５フレーム分）保存する。動き補償予測部１０は、フレームメモリ９に一時保存されている複数のフレーム分の局部復号化画像信号を読み出す。動き補償予測部１０は、この読み出した局部復号化画像信号が示す複数の参照フレームを用いて動き補償予測を行うことにより、予測画像信号を生成する。動き補償予測部１０は、動き補償予測のために用いた動きベクトルを含むいわゆるサイド情報を生成する。このサイド情報は、エントロピー符号化部４に入力され、符号化される。
【００２０】
次に以上のように構成された動画像符号化装置における特徴的な動作について説明する。  
本実施形態の動画像符号化装置においてＨ．２６４に準拠する従来の動画像符号化装置と動作が異なる点は、フレームメモリ９、動き補償予測部１０、コンシールメント部１１、再生画素推定部１２および誤り推定部１３において参照ブロックを決定する処理とであり、符号化対象フレーム内の各マクロブロック（符号化対象ブロック）に関して、それぞれ図２に示す処理を行って参照ブロックを決定する。
【００２１】
ステップＳＴ１において動き補償予測部１０は、参照候補ブロックのうちの１つを選択する。そしてステップＳＴ２において動き補償予測部１０は、上記の選択した参照候補ブロックを参照して符号化対象ブロックを符号化する場合について、
D＝Σ（│Ref−Prd_ok│×P(OK)＋│Ref−Prd_ng│×P(NG)）
Ref：予測対象画素値
Prd_ok：正常に予測が行われた場合の予測値
Prd_ng：コンシールメントによる予測値
P(OK)：正常にデコードできる確率
P(NG)：正常にデコードできない確率
とするときに、
Cost＝D＋λ・R
R：動ベクトルと参照フレームの符号化に必要となる符号量
なる式によりCostを求める。  
なお、P(OK)およびP(NG)の推定には、例えば誤り推定部１３がデコーダ１４からのフィードバック情報を受信し、これを利用することで状況による誤り率の変換に追従させることができる。またエンコーダは、デコーダ１４に組み込まれたコンシールメント処理を予め知っている、もしくはデコーダからコンシールメント処理に関する情報がフィードバックされるものとし、当該マクロブロックがエラーにより損失した際にデコーダが行うコンシールメント処理による予測値をPrd_ngとなる。即ちエラーがより欠落したマクロブロックを直前のフレーム上における同一マクロブロックによりコンシールメント処理を施すデコーダでは、Prd_ngが動ベクトル(0,0)による予測値となる。
【００２２】
ステップＳＴ３において動き補償予測部１０は、上記の求めたCostの値を、変数Cost_minに代入する。またステップＳＴ４において動き補償予測部１０は、現時点で選択している参照候補ブロックを、暫定的に参照ブロックとして決定する。
【００２３】
ステップＳＴ５において動き補償予測部１０は、この処理の中でまだ選択していない参照候補ブロックが有るか否かを確認する。このような未選択の参照候補ブロックがあるならば、動き補償予測部１０はステップＳＴ５からステップＳＴ６へ進む。ステップＳＴ６において動き補償予測部１０は、未選択の参照候補ブロックのうちの１つを選択する。そしてステップＳＴ７において動き補償予測部１０は、上記の選択した参照候補ブロックを参照して符号化対象ブロックを符号化する場合について、ステップＳＴ２と同様にしてCostを求める。
【００２４】
続いてステップＳＴ８において動き補償予測部１０は、上記の新たに求めたCostが変数Cost_min未満であるか否かを確認する。Costが変数Cost_min以上であるならば動き補償予測部１０は、ステップＳＴ８からステップＳＴ５に移行する。かくして、ステップＳＴ５乃至ステップＳＴ８が繰り返されることにより、参照候補ブロックのなかからCostが変数Cost_min未満となるものが検索される。Costが変数Cost_min未満であったならば動き補償予測部１０は、ステップＳＴ８からステップＳＴ３へ移行する。かくしてステップＳＴ３乃至ステップＳＴ８が繰り返されることにより、Costの値が最小となる参照候補ブロックが参照ブロックとして決定されることになる。
【００２５】
すべての参照候補ブロックを選択し終えたならば動き補償予測部１０は、ステップＳＴ５から上記のループを抜け、１つの符号化対象ブロックに対する処理を終了する。
【００２６】
動き補償予測部１０は上記のような処理により各符号化対象ブロックに対してそれぞれ決定した参照ブロックの情報により予測画像信号を生成する。かくしてブロック予測部１では、動き補償予測部１０が上記のような処理により決定した参照ブロックを参照して符号化対象ブロックの符号化が行われることとなる。
【００２７】
以上の手順により算出された情報によりエンコーダは、デコーダが正常にデコードした再生画素を逆量子化部５、逆変換部６およびループフィルタ８により算出すると供に、誤りによりデコーダがコンシールメントした際の再生画素をコンシールメント部１１により算出し、再生画素推定部１２が誤り状況に応じた重みP(OK)、P(NG)を加え、フレームメモリ９に蓄積する。従ってエラーが多発する環境下では、Inter予測を繰り返し行った再生画素において、コンシールメントによる再生画素の比重が大きくなり、実際の再生画素と差分が大きくなるため、以後のフレームにおける予測参照画素として選択されにくくなる。
【００２８】
以上のように本実施形態によれば、予測誤差が発生する確率を加味してCostを算出しているので、デコーダ側における予測誤差を推定して、この予測誤差が小さくなるような符号化を行うことが可能であり、誤りが混入されやすいInter予測による再生画素を参照する確率を低減させる事で、誤り環境下におけるデコーダ側の再生品質を向上させることが出来る。
【００２９】
この実施形態は、次のような種々の変形実施が可能である。  
複数の符号化済みフレームを参照フレームとして用いる動き補償予測フレーム間符号化を含む符号化方式であるならば、Ｈ．２６４以外の符号化方式を採用する場合にも同様な実施が可能である。
【００３０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図。
【図２】図１中の動き補償予測部１０の処理手順を示すフローチャート。
【符号の説明】
【００３２】
１…ブロック予測部、２…変換部、３…量子化部、４…エントロピー符号化部、５…逆量子化部、６…逆変換部、７…加算部、８…ループフィルタ、９…フレームメモリ、１０…動き補償予測部、１１…コンシールメント部、１２…再生画素推定部、１３…誤り推定部、１４…デコーダ。
【図１】
2005295404.tif 000003
【図２】
2005295404.tif 000004