(57)【要約】【課題】リアルタイム実行可能なアルゴリズムと処理量で、最適な重み係数とオフセットを算出することのできる動画像符号化装置を得る。【解決手段】重み係数及びオフセット算出部１１は、重み係数とオフセットとを含み、参照画像と現画像との間に成り立つ方程式を、２乗誤差最小の条件で解いて求めた算出式を用い、重み係数とオフセットを一括して求める。動きベクトル探索部１２は、重み係数に基づいて動くベクトルを求める。動き補償部１３は、画像メモリ１０の参照画像と動きベクトルと重み係数とに基づいて予測画像を出力し、加算器１４は、予測画像に対して重み係数及びオフセット算出部１１のオフセットを加算する。【選択図】図１
2008193599.tif 000002
【特許請求の範囲】
【請求項１】
参照画像から動き補償により予測画像を生成し、当該予測画像と現画像との差分を符号化データとして生成する動画像符号化装置において、
前記参照画像に対し、重み係数による重み付けとオフセットの加算とを行って前記予測画像を生成する予測画像生成手段と、
前記重み係数と前記オフセットとを含み、前記参照画像と前記現画像との間に成り立つ方程式を、２乗誤差最小の条件で解いて求めた算出式を用い、前記重み係数と前記オフセットを一括して求める重み係数及びオフセット算出部とを備えた動画像符号化装置。
【請求項２】
重み係数及びオフセット算出部は、２枚の参照画像の重み係数の和を１として、それぞれの重み係数とオフセットとを求めることを特徴とする請求項１記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高能率符号化してディジタル伝送するシステムにおいて、動画像を所定の水平画素数と所定の垂直ライン数から成るブロックに分割し、このブロック毎に動画像の動きベクトルを検出し、動き補償予測を行うことにより、動画像符号化を行う動画像符号化装置に関するものである。
【背景技術】
【０００２】
動画像を圧縮して伝送する技術として動き補償予測を用いたものがある。動き補償予測を行うためには動きベクトルの検出が必要であるが、例えば国際標準の動画像符号化方式であるＭＰＥＧ−１、ＭＰＥＧ−２、及び、ＭＰＥＧ−４においては、符号化すべき対象画像（以下、現画像と表記）について、メモリに記憶してある参照画像から動き補償により予測画像を生成し、この予測画像と現画像との差分のみを伝送することで圧縮率を上げている。これらの符号化方式では、１枚の参照画像を用いるモード（片方向予測）と、２枚の参照画像を用いるモード（両方向予測）があり、片方向予測では重み係数は１、両方向予測では重み係数は（１／２，１／２）で、相加平均により１枚の予測画像が生成される。
【０００３】
これらに対して、やはり、国際標準の動画像符号化方式であるＨ．２６４／ＭＰＥＧ−４ＡＶＣにおいては、予測画像の生成に使用する重み係数とオフセットは変更可能となっている。但し、規格では復号器が重み係数とオフセットとを、どのようにして使用して画像を再生するかを規定されているのみで、符号化器がこれらを決定する方法については規定されていない。最適な符号化効率を得るために、これらを適切に決定することは非常に重要であるが、難しくもある。
【０００４】
このような重み係数とオフセットの決定方法としては、例えば、特許文献１に示されるような方法があった。これは、現画像の画面内平均値をａｖｅ（ｃｕｒ）、参照画像の画面内平均値をａｖｅ（ｒｅｆ）として、重み係数を、
Ｗ＝  ａｖｅ（ｃｕｒ）／ａｖｅ（ｒｅｆ）    （式１）
として求め、更に現画像画素ｃｕｒと、重み付け参照画像画素ｗｒｅｆの差分絶対値から、
Ｄ＝Σ｜ｃｕｒ−ｗｒｅｆ｜    （式２）
としてオフセットを求めるものである。ここで、Σは画面内の総和を表わす。この方法では、重み係数とオフセットを、逐次求めることになるため、式１と式２を値が収束するまで反復して処理してもよい。
【０００５】
【特許文献１】特表２００６−５０９４６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の重み係数及びオフセットの算出方法では、以下のような問題点があった。
（１）重み係数及びオフセットを、逐次、求めているため、最適値が求まっているとは限らない。
（２）これを改善するため、値が収束するまで反復実行を行うと、反復回数が不定のため、リアルタイム実行には向かない。
【０００７】
この発明は上記のような課題を解決するためになされたもので、リアルタイム実行可能なアルゴリズムと処理量で、最適な重み係数とオフセットを算出することのできる動画像符号化装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る動画像符号化装置は、参照画像に対し、重み係数による重み付けとオフセットの加算とを用いて予測画像を生成する予測画像生成手段と、重み係数とオフセットとを含み、参照画像と現画像との間に成り立つ方程式を、２乗誤差最小の条件で解いて求めた算出式を用い、重み係数とオフセットを一括して求める重み係数及びオフセット算出部とを備えたものである。
【発明の効果】
【０００９】
この発明の動画像符号化装置は、重み係数とオフセットを算出する場合、参照画像と現画像との間に成り立つ方程式を２乗誤差最小の条件で解いて求めた算出式を用い、重み係数とオフセットを一括して求めるようにしたので、リアルタイム実行可能なアルゴリズムと処理量で、最適な重み係数とオフセットを算出することができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置を示す構成図である。
図において、動画像符号化装置は、並べ替え部１、減算器２、変換部３、量子化部４、可変長符号化部５、バッファ６、逆量子化部７、逆変換部８、加算器９、画像メモリ１０、重み係数及びオフセット算出部１１、動きベクトル探索部１２、動き補償部１３、加算器１４を備えている。
【００１１】
並べ替え部１は、入力画像信号１００のフレーム順序を入れ替える機能部である。減算器２は、並べ替え部１の出力から加算器１４の出力を減算する減算器である。変換部３は、減算器２の出力に対して離散コサイン変換といった変換処理を行う機能部、量子化部４は、変換部３の出力を量子化する機能部である。可変長符号化部５は、量子化部４で量子化された信号に符号を割り当てる機能部、バッファ６は可変長符号化部５から出力された符号化データを一時的に格納するバッファメモリであり、符号化データ２００は、このバッファ６から取り出されて出力される。逆量子化部７は、量子化部４で量子化された信号の逆量子化を行う機能部、逆変換部８は、変換部３における変換処理の逆変換を行う機能部である。加算器９は、逆変換部８の出力と加算器１４の出力とを加算する加算器、画像メモリ１０は加算器９の出力である画像データを格納するメモリである。重み係数及びオフセット算出部１１は、並べ替え部１の出力と画像メモリ１０の出力とを入力し、原画像と参照画像から重み係数とオフセットを算出する機能部であり、具体的な算出方法については後述する。
【００１２】
動きベクトル探索部１２は、並べ替え部１から出力された現画像データと、画像メモリ１０から出力される参照画像とを入力し、重み係数及びオフセット算出部１１からの重み係数に基づいて動きベクトル探索を行い、動きベクトルを決定する機能部である。尚、動きベクトル探索部１２における探索方法は、例えばブロックマッチング法を用いることができるが、どのような方法であってもよい。動き補償部１３は、画像メモリ１０の出力を入力し、動きベクトル探索部１２から出力された動きベクトルと、重み係数及びオフセット算出部１１から出力された重み係数とに基づいて、予測画像を生成する機能部である。加算器１４は、動き補償部１３の出力に、重み係数及びオフセット算出部１１から出力されたオフセットを加算し、加算結果を減算器２に出力する加算器である。また、これら動きベクトル探索部１２、動き補償部１３及び加算器１４によって、参照画像に対し、重み係数による重み付けとオフセットの加算とを行って予測画像を生成する予測画像生成手段が構成されている。
【００１３】
次に、実施の形態１の動画像符号化装置の動作について説明する。
まず、入力画像信号１００は、並べ替え部１にて入力画像のフレーム順序入替えを施される。これは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣなどで採用されている両方向予測に対応するためには、時間的に未来に当たる参照画像を、符号化画像より先に符号化しておく必要があるためである。次に、減算器２で、動き補償部１３より出力された動き補償予測信号に、重み係数及びオフセット算出部１１で算出されたオフセットが加算された値との差分がとられ、変換部３にて変換が施された後、量子化部４で量子化される。そして、量子化された信号は、可変長符号化部５で符号が割り当てられ、バッファ６を介して符号化データ２００として出力される。
【００１４】
また、逆量子化部７及び逆変換部８で、量子化部４及び変換部３の逆処理が行われると共に、加算器９で加算器１４からの出力が加算されて復号画像が形成され、この復号画像が画像メモリ１０に格納される。
【００１５】
動きベクトル探索部１２では、重み係数及びオフセット算出部１１で算出された重み係数と、並べ替え部１から出力された現画像データと、画像メモリ１０より出力された参照画像から動きベクトル探索を行い、動きベクトルを決定する。動き補償部１３では、動きベクトル探索部１２で検出された動きベクトルと、参照画像と、重み係数を用いて予測画像を生成する。動き補償部１３で生成された予測画像は、加算器１４において重み係数及びオフセット算出部１１で算出されたオフセットと加算され減算器２に出力される。
【００１６】
次に、重み係数及びオフセット算出部１１における重み係数とオフセットとの算出処理について、両方向予測の場合と、片方向予測の場合に分けて説明する。
（１）両方向予測の場合
２枚の参照画像の画素値を各々、Ｉ０、Ｉ１とし、現画像の画素値をＩｔとする。また、２枚の参照画像に対する重み係数をｗ０、ｗ１とし、オフセットをｄとすれば、フレーム間での動きが微小であるとすれば、以下の近似が成り立つ。但し、＊は乗算を表わす。
ｗ０＊Ｉ０＋ｗ１＊Ｉ１＋ｄ＝Ｉｔ    （式３）
式３を２乗誤差最小の条件で解くことにより、最適な重み係数とオフセットを求めることが出来る。即ち、
Ｅ＝Σ（ｗ０＊Ｉ０＋ｗ１＊Ｉ１＋ｄ−Ｉｔ）2    （式４）
を最小化すればよい。ここで、Ｅは誤差を、Σは画面内加算を表わすものとする。
【００１７】
上記の条件は、式４を、ｗ０、ｗ１、ｄで各々、偏微分したものが０に等しくなるということであり、
【数１】
2008193599.tif 000003
とすれば、
ＣＸ＝Ｄ    （式５）
という連立方程式に帰着する。
【００１８】
式５を解くと、
Ｘ＝Ｃ-1Ｄ    （式６）
となる。ここで、Ｃ-1はＣの逆行列である。よって、ｗ０、ｗ１、ｄは、
ｗ０＝｛（（ΣＩ１2）＊（Σ１）−（ΣＩ１）＊（ΣＩ１））＊（ΣＩｔ＊Ｉ０）＋（（ΣＩ０）＊（ΣＩ１）−（ΣＩ０＊Ｉ１）＊（Σ１））＊（ΣＩｔ＊Ｉ１）
＋（（ΣＩ０＊Ｉ１）＊（ΣＩ１）−（ΣＩ０）＊（ΣＩ１2））＊（ΣＩｔ）｝／ｄｅｔＣ    （式７）
【００１９】
ｗ１＝｛（（ΣＩ０）＊（ΣＩ１）−（ΣＩ０＊Ｉ１）＊（Σ１））＊（ΣＩｔ＊Ｉ０）
＋（（ΣＩ０2）＊（Σ１）−（ΣＩ０）＊（ΣＩ０））＊（ΣＩｔ＊Ｉ１）
＋（（ΣＩ０）＊（ΣＩ０＊Ｉ１）−（ΣＩ０2）＊（ΣＩ１））＊（ΣＩｔ）｝／ｄｅｔＣ    （式８）
【００２０】
ｄ＝｛（（ΣＩ０＊Ｉ１）＊（ΣＩ１）−（ΣＩ１2）＊（ΣＩ０））＊（ΣＩｔ＊Ｉ０）
＋（（ΣＩ０）＊（ΣＩ０＊Ｉ１）−（ΣＩ０2）＊（ΣＩ１））＊（ΣＩｔ＊Ｉ１）
＋（（ΣＩ０2）＊（ΣＩ１2）−（ΣＩ０＊Ｉ１）＊（ΣＩ０＊Ｉ１））＊（ΣＩｔ）｝／ｄｅｔＣ    （式９）
【００２１】
但し、
ｄｅｔＣ＝（ΣＩ０2）＊（ΣＩ１2）＊（Σ１）＋２＊（ΣＩ０＊Ｉ１）＊（ΣＩ１）＊（ΣＩ０）−（ΣＩ０2）＊（ΣＩ１）＊（ΣＩ１）
−（ΣＩ０）＊（ΣＩ１2）＊（ΣＩ０）−（ΣＩ０＊Ｉ１）＊（ΣＩ０＊Ｉ１）＊（Σ１）    （式１０）
である。
【００２２】
図２は、上記、両方向予測における重み係数、及び、オフセット算出の方法を示すフローチャートである。
先ず、演算に使用する各要素の画面内加算を算出する（ステップＳＴ１０１）。これらを用いて、先ず、式１０によりｄｅｔＣを算出する（ステップＳＴ１０２）。更に、式７〜９により、ｗ０、ｗ１、ｄを算出し、最適な重み係数、及び、オフセットの組を求める（ステップＳＴ１０３〜１０５）。
【００２３】
（２）片方向予測の場合
１枚の参照画像の画素値をＩ０とし、現画像の画素値をＩｔとする。また、参照画像に対する重み係数をｗ０とし、オフセットをｄとすれば、フレーム間での動きが微小であるとすれば、以下の近似が成り立つ。但し、＊は乗算を表わす。
ｗ０＊Ｉ０＋ｄ＝Ｉｔ    （式１１）
式１１を２乗誤差最小の条件で解くことにより、最適な重み係数とオフセットを求めることが出来る。即ち、
Ｅ＝Σ（ｗ０＊Ｉ０＋ｄ−Ｉｔ）2    （式１２）
を最小化すればよい。ここで、Σが画面内加算を表わすものとする。
【００２４】
上記の条件は、式１２を、ｗ０、ｄで各々、偏微分したものが０に等しくなるということであり、
【数２】
2008193599.tif 000004
とすれば、
ＣＸ＝Ｄ    （式１３）
という連立方程式に帰着する。
【００２５】
式１３を解くと、
Ｘ＝Ｃ-1Ｄ    （式１４）
となる。ここで、Ｃ-1はＣの逆行列である。よって、ｗ０、ｄは、
ｗ０＝｛（Σ１）＊（ΣＩｔ＊Ｉ０）−（ΣＩ０）＊（ΣＩｔ）｝／ｄｅｔＣ    （式１５）
ｄ＝｛−（ΣＩ０）＊（ΣＩｔ＊Ｉ０）＋（ΣＩ０2）＊（ΣＩｔ）｝／ｄｅｔＣ    （式１６）
但し、
ｄｅｔＣ＝（ΣＩ０＾２）＊（Σ１）−（ΣＩ０）＊（ΣＩ０）    （式１７）
である。
【００２６】
図３は、上記の片方向予測における重み係数、及び、オフセット算出の方法を示すフローチャートである。
先ず、演算に使用する各要素の画面内加算を算出する（ステップＳＴ２０１）。これらを用いて、最初に、式１７によりｄｅｔＣを算出する（ステップＳＴ２０２）。次に、式１５〜１６により、ｗ０、ｄを算出し、最適な重み係数、及び、オフセットの組を求める（ステップＳＴ２０３〜２０４）。
【００２７】
このように、実施の形態１においては、重み係数とオフセットを組み込んだ方程式を求め、これを解いているため、逐次的に求める手法のように、解の精度を高めるために反復演算を行って収束させる必要が無い。そのため、リアルタイム実行に適している。
また、逐次的に求める手法では反復回数を少なく制限して打ち切る（極端な場合、一度しか行わない）と、解の精度が低下するが、実施の形態１の方法では、最終的に得られた演算式を一度実行するだけで、最適な解が得られる。
【００２８】
上記で演算に用いている画素値としては、輝度のみを用いてもよいし、輝度と色差の両方を用いても構わない。
【００２９】
以上のように、実施の形態１の動画像符号化装置によれば、参照画像から動き補償により予測画像を生成し、予測画像と現画像との差分を符号化データとして生成する動画像符号化装置において、参照画像に対し、重み係数による重み付けとオフセットの加算とを行って予測画像を生成する予測画像生成手段と、重み係数とオフセットとを含み、参照画像と現画像との間に成り立つ方程式を、２乗誤差最小の条件で解いて求めた算出式を用い、重み係数とオフセットを一括して求める重み係数及びオフセット算出部とを備えたので、リアルタイム実行可能なアルゴリズムと処理量で、最適な重み係数とオフセットを算出することができる。
【００３０】
実施の形態２．
実施の形態２は、重み係数及びオフセット算出部１１の重み係数及びオフセット算出処理において、実施の形態１における両方向予測の場合に、ｗ０＋ｗ１＝１．０という条件を設けることで、演算を簡略化するようにしたものである。この条件はディゾルブ（クロスフェードとも呼ばれる）等の映像効果では一般的なものである。尚、図面上の構成は、実施の形態１と同様であるため、図１を援用して説明する。即ち、実施の形態２における重み係数及びオフセット算出部１１は、２枚の参照画像の重み係数の和を１として、それぞれの重み係数とオフセットとを求めるよう構成され、その他の各構成については実施の形態１と同様である。
【００３１】
実施の形態２では、両方向予測において、２枚の参照画像の画素値を各々、Ｉ０、Ｉ１とし、現画像の画素値をＩｔとする。また、２枚の参照画像に対する重み係数をｗ０、ｗ１＝（１−ｗ０）とし、オフセットをｄとする。このような状態で、フレーム間での動きが微小であるとすれば、以下の近似が成り立つ。但し、＊は乗算を表わす。
ｗ０＊Ｉ０＋（１−ｗ０）＊Ｉ１＋ｄ＝Ｉｔ    （式１８）
式１８を２乗誤差最小の条件で解くことにより、最適な重み係数とオフセットを求めることが出来る。即ち、
Ｅ＝Σ（ｗ０＊（Ｉ０−Ｉ１）＋ｄ−（Ｉｔ−Ｉ１））2    （式１９）
を最小化すればよい。ここで、Σは画面内加算を表わすものとする。
【００３２】
上記の条件は、式１９を、ｗ０、ｄで各々、偏微分したものが０に等しくなるということであり、
【数３】
2008193599.tif 000005
とすれば、
ＣＸ＝Ｄ    （式２０）
という連立方程式に帰着する。
【００３３】
式２０を解くと、
Ｘ＝Ｃ-1Ｄ    （式２１）
となる。ここで、Ｃ-1はＣの逆行列である。よって、ｗ０、ｄは、
ｗ０＝｛（Σ１）＊（Σ（Ｉｔ−Ｉ１）＊（Ｉ０−Ｉ１））
−（Σ（Ｉ０−Ｉ１））＊（Σ（Ｉｔ−Ｉ１））｝／ｄｅｔＣ    （式２２）
ｄ＝｛−（Σ（Ｉ０−Ｉ１））＊（Σ（Ｉｔ−Ｉ１）＊  （Ｉ０−Ｉ１））
＋（Σ（Ｉ０−Ｉ１）2）＊（Σ（Ｉｔ−Ｉ１））｝／ｄｅｔＣ    （式２３）
但し、
ｄｅｔＣ＝（Σ（Ｉ０−Ｉ１）2）＊（Σ１）−（Σ（Ｉ０−Ｉ１））＊（Σ（Ｉ０−Ｉ１））    （式２４）
である。
また、ｗ１は、
ｗ１＝１−ｗ０    （式２５）
である。
【００３４】
図４は、上記の両方向予測における重み係数、及び、オフセット算出の方法を示すフローチャートである。
先ず、演算に使用する各要素の画面内加算を算出する（ステップＳＴ３０１）。これらを用いて、最初に、式２４によりｄｅｔＣを算出する（ステップＳＴ３０２）。次に、式２２〜２３により、ｗ０、ｄを算出し、最適な重み係数、及び、オフセットの組を求める（ステップＳＴ３０３〜３０４）。最後に、式２５により、ｗ１を決定する（ステップＳＴ３０５）。
【００３５】
以上のように、実施の形態２の動画像符号化装置によれば、重み係数及びオフセット算出部は、２枚の参照画像の重み係数の和を１として、それぞれの重み係数とオフセットとを求めるようにしたので、実施の形態１における両方向予測の場合の算出方法よりも簡略化した方法で重み係数とオフセットを求めることが出来る。そのため、予め２枚の参照画像の重み係数ｗ０とｗ１の関係性が明らかな場合には、実施の形態２を適用することで処理量を削減することができる。
【図面の簡単な説明】
【００３６】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の両方向予測における重み係数とオフセットの算出動作を示すフローチャートである。
【図３】この発明の実施の形態１による動画像符号化装置の片方向予測における重み係数とオフセットの算出動作を示すフローチャートである。
【図４】この発明の実施の形態２による動画像符号化装置の両方向予測における重み係数とオフセットの算出動作を示すフローチャートである。
【符号の説明】
【００３７】
１  並べ替え部、２  減算器、３  変換部、４  量子化部、５  可変長符号化部、１０  画像メモリ、１１  重み係数及びオフセット算出部、１２  動きベクトル探索部、１３  動き補償部、１４  加算器。
【図１】
2008193599.tif 000006
【図２】
2008193599.tif 000007
【図３】
2008193599.tif 000008
【図４】
2008193599.tif 000009