(57)【特許請求の範囲】
【請求項１】
１枚以上の任意の枚数の参照画像から動き補償された近似画像に重み付けするために使用され、近似画像の精度を向上させて処理対象画像との誤差を最小にする重み情報を決定する動き予測情報検出装置において、
部分領域ごとに処理対象画像が参照する参照画像の任意の枚数が与えられ、該枚数に応じた重み付き補償方式での各参照画像についての重み情報を同時に決定するのに必要な導出式を導く導出式決定手段と、
前記導出式決定手段で導かれた導出式に応じて処理対象画像の画素値および参照画像の画素値の組合せによる演算結果から部分領域ごとの重み情報を決定する動き予測情報導出手段を備え、
前記重み付き補償方式および重み情報の要素数は任意に与えられ、
前記導出式決定手段は、枚数に応じた重み付き補償方式の重み情報の決定に必要な複数の導出式を予め導出しておき、前記動き予測情報導出手段は、前記導出式決定手段により予め導出された複数の導出式を適宜選択して部分領域ごとの重み情報を決定するように構成されていることを特徴とする動き予測情報検出装置。
【請求項２】
前記導出式決定手段は、重み情報の精度評価基準として処理対象画像の画素値と重み付き動き補償によって得られた画素値との２乗誤差を用いることを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項３】
前記導出式決定手段は、重み付き補償方式における重み関数を重み情報によって偏微分した項と重み付き動き補償によって得られた近似画像による誤差成分の項とを乗算した和が０となる複数の導出式を導くことを特徴とする請求項２記載の動き予測情報検出装置。
【請求項４】
前記導出式決定手段は、処理対象画像の画素値における和、参照画像の画素値における和と２乗和、処理対象画像と参照画像の内の２つの画像の画素値の積和および処理対象画像の画素数を係数とする連立１次方程式からなる導出式を決定することを特徴とする請求項２に記載の動き予測情報検出装置。
【請求項５】
前記予測情報導出手段は、連立１次方程式の係数として構成される導出式を解くことによって重み情報を決定する導出手段を備えることを特徴とする請求項４に記載の動き予測情報検出装置。
【請求項６】
前記導出式決定手段は重み付き動き補償方式における重み関数から導出式を導き、前記動き予測情報導出手段は、前記導出式決定手段で導かれた導出式の係数を実際の画素値をもとに算出し、該導出式を解くことによって重み情報を決定することを特徴とする請求項１に記載の動き予測情報検出装置。
【請求項７】
前記動き予測情報導出手段は、導出式の解法として導出式の中で重み情報に掛かる係数を要素とする係数行列の逆行列と、それ以外の係数からなる係数ベクトルとを乗算することで重み情報を決定することを特徴とする請求項６に記載の動き予測情報検出装置。
【請求項８】
請求項７の動き予測情報導出手段に代えて、コレスキー分解に基づき係数行列を下三角形行列および上三角形行列に分解し、係数ベクトルに対し下三角形行列の後退代入および上三角形行列の後退代入を段階的に行うことによって係数行列の逆行列算出処理を省略して重み情報を決定することを特徴とする動き予測情報検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き予測情報検出装置に関し、特に、重み付き動き補償において処理対象画像に対する近似画像の誤差を最小にする重み情報を決定する動き予測情報検出装置に関する。
【背景技術】
【０００２】
連続して入力される動画像信号を符号化する符号化方式のひとつとして、フレーム間予測符号化方式がある。フレーム間予測符号化方式では、時間的相関の予測効率が高められた動き補償を行うために動き予測情報が用いられる。
【０００３】
明るさが時間的に変化するフェードシーンや２つのシーンが混ざり合うクロスフェード（ディゾルブ）シーンにおいては、従来の単純な動き補償では効率的な圧縮を行うことができないため、いくつかの対策が提案されている。
【０００４】
例えば、特許文献１，２にはフレーム平均輝度差分による補正を行うことが記載されており、特許文献３，４，５にはそれぞれ、ビット配分、エンコーダそのもの、動き探索の誤差評価関数を適応的に変化させることによってフェードシーンにおける符号化効率の劣化を防ぐというように、フェード区間の符号化処理に工夫を凝らすことが提案されている。また、特許文献６にはフェードと判断したシーンでは動きベクトルを強制的に０にすることによってランダムな動きベクトルの発生を抑制することが提案されている。
【０００５】
映像圧縮方式の国際標準規格MPEG-4 AVC/H.264(ISO/IEC 14496-10)では従来の動き補償方式に加えて重み付き動き補償方式の採用を決定しており、特許文献７では重み付き動き補償方式がフェードシーンの圧縮に効果があることが示されている。ただし、MPEG-4 AVC/H.264(ISO/IEC 14496-10)では重み係数の決定方法は規定していないので、特許文献７では重み係数を0，0.5，1，2だけに制限し、フレーム平均差分の遷移をもとに重み係数が決定されている。
【特許文献１】特開平６−４６４１２号公報
【特許文献２】特開平８−６５６８４号公報
【特許文献３】特開平１０−３３６６４１号公報
【特許文献４】特開２００１−５１０９６４号公報
【特許文献５】特開２００３−８７７９５号公報
【特許文献６】特開２００２−５１３４１号公報
【特許文献７】特開２００３−２８４０７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では付加情報を必要とするため、既存の圧縮方式と互換性がないという課題があり、特許文献２の技術ではマクロブロック（ＭＢ）単位の処理を行うので、計算量が増加するという課題がある。フレーム平均輝度差分を用いる方式では、大域的なフレーム平均輝度差分が局所的な変化に正しく当てはまらず、正しく機能しないことが起こり得る。例えば、フェードの始点または終点付近で画素値が取り得る範囲を逸脱した場合、最小値または最大値で丸めるとフェードによる変化とは異なる効果がフレーム平均輝度差分に現れることになる。
【０００７】
特許文献３，４，５の技術では並進だけを前提とした単純な動き補償を対象としており、これでは自ずと圧縮率の面で限界がある。また、特許文献６では誤った動きベクトルによる無駄な情報を発生させないことだけを目的としており、これでは圧縮効率が改善されるとは限らない。
【０００８】
さらに、特許文献７の技術では本来任意の値を設定可能である重み係数が制限されているので、指数的または対数的に遷移する非線形なフェードなどに対応できない。しかも、最適な重み係数を決定する方法は、フレーム平均輝度の遷移によるフェード検出に依存するので、フレーム平均輝度差分を用いる方式と同じ問題を抱える。
【０００９】
本発明の目的は、上記課題を解決し、任意の重み付き動き予測方式の重み情報を高速かつ高精度に決定できる動き予測情報検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明は、１枚以上の任意の枚数の参照画像から動き補償された近似画像に重み付けするために使用され、近似画像の精度を向上させて処理対象画像との誤差を最小にする重み情報を決定する動き予測情報検出装置において、部分領域ごとに処理対象画像が参照する参照画像の任意の枚数が与えられ、該枚数に応じた重み付き補償方式での各参照画像についての重み情報を同時に決定するのに必要な導出式を導く導出式決定手段と、前記導出式決定手段で導かれた導出式に応じて処理対象画像の画素値および参照画像の画素値の組合せによる演算結果から部分領域ごとの重み情報を決定する動き予測情報導出手段を備え、前記重み付き補償方式および重み情報の要素数は任意に与えられ、前記導出式決定手段は、枚数に応じた重み付き補償方式の重み情報の決定に必要な複数の導出式を予め導出しておき、前記動き予測情報導出手段は、前記導出式決定手段により予め導出された複数の導出式を適宜選択して部分領域ごとの重み情報を決定するように構成されている点に基本的な特徴がある。
【発明の効果】
【００１１】
本発明によれば、重み付き動き補償方式に応じた導出式を導き、この導出式に応じて重み情報を決定するので、参照画像および処理対象画像の画素値から、重み付き動き補償の参照画像数に依存せず、任意の参照画像数に応じて最適な重み情報を決定することができる。また、重み情報の決定に際し、計算処理に工夫を施すことにより計算量を大幅に削減し、処理負担を軽減することができる。
【発明を実施するための最良の形態】
【００１２】
まず、本発明の原理について説明する。動画像の各フレームを圧縮する過程において、処理対象画像をＰｃと定義する。また、処理対象画像Ｐｃを構成する画素を走査順に並べたとき、ｉ番目の画素の画素値をｐ(i;c)で表現する。このとき、処理対象画像Ｐｃからｓフレーム離れた任意の参照画像Ｐｃ＋ｓおよび従来の動き予測情報ｕｓを用いて再構成された近似画像Ｐ′ｃの画素の画素値は、ｐ(i＋uｓ;c＋s)で与えられる。
【００１３】
一方、j＝1,2,・・・,mをパラメータとし、重み情報ｗｊにより変換された画素値をｐ"(i;c)とすると、重み付き動き補償された再構成画像の画素値は、重み関数ｆ( )を用いて式(1)で表される。なお、重み関数は重み付き動き補償方式を規定する。
ｐ"(i;c)＝ｆ(p(i＋uｓ;c＋s), wｊ)                                    (1)
【００１４】
また、複数の参照画像を用いる場合には、さらに処理対象画像Ｐｃからｒフレーム離れた別の参照画像Ｐｃ＋ｒの画素値ｐ(i;c＋r)および動き予測情報ｕｒを用いるとすると、重み付き動き補償された再構成画像の画素値は、重み関数ｇ( )を用いて式(2)で表わされる。
ｐ"(i;c)＝ｇ(p(i＋uｓ;c＋s), ｐ(i＋uｒ;c＋r), wｊ)                    (2)
【００１５】
重み情報を決定することは、上記の手法で得られた画素値ｐ"(i;c)と原画像の画素値ｐ(i;c)を一致させる重み情報ｗ１，ｗ２，・・・，ｗｍを求めることである。
【００１６】
そこで、処理対象画像Ｐｃの画素値ｐ(i;c)と重み付き動き補償された画素値ｐ"(i;c)の類似度を測る尺度として、両画素値の２乗誤差の総和ｅを式(3)で定義し、ｅを最小にするｗｊを最適な重み情報とする。
【００１７】
【数１】
0004763241.tif 000002
【００１８】
重み情報ｗｊが２乗誤差の総和ｅを最小にするためには、ｅを個々の重み情報ｗｊで偏微分した式(4)がそれぞれ０にならなくてはならない。
【００１９】
【数２】
0004763241.tif 000003
【００２０】
ここで、ｐｏｉ＝ｐ(i;c)、ｐ１ｉ＝ｆ(p(i＋uｓ;c＋s), wｊ)、ｐｇｉ＝ｇ(p(i＋uｓ;c＋s), p(i＋uｒ;c＋r),wｊ)と略記すると、式(4)は式(5)あるいは式(6)で表される。
【００２１】
【数３】
0004763241.tif 000004
【００２２】
【数４】
0004763241.tif 000005
【００２３】
一般に、重み関数ｆ( )およびｇ( )は未知の重み情報ｗｊに対して線形であり、ｍ個の未知数ｗｊに対して拘束式もｍ個存在するので、重み情報ｗｊは代数的に導出することができる。
【００２４】
(5)式あるいは(6)式は、重み関数を重み情報によって偏微分した項と重み付き動き補償によって得られた近似画像による誤差成分の項とを乗算した和が０となる、重み予測情報ｗｊの導出式である。
【００２５】
(5)式あるいは(6)式は、例えば、未知の重み情報ｗｊと掛け算する項と掛け算しない項とに分離できる。ここで、重み関数ｆ( )の導関数と重み関数ｆ( )そのものの積、および重み関数ｇ( )の導関数と重み関数ｇ( )そのものの積に個々の画素値を代入した総和を要素として持つ行列を〈Ａ〉とし、重み関数ｆ( )の導関数と処理対象画素の積、あるいは重み関数ｇ( )の導関数と処理対象画素の積に個々の画素値を代入した総和を要素として持つベクトルを〈ｂ〉と定義すると、重み情報〈ｗｊ〉は〈Ａ〉−１〈ｂ〉で求めることができる。なお、〈  〉付き小文字はベクトルを表し、〈  〉付き大文字は行列を表す。
【００２６】
次に、図面を参照して本発明の実施形態について説明する。図１は、上記原理による本発明に係る動き予測情報検出装置における処理手順を示すフロー図である。
【００２７】
本例の処理手順は、重み関数の導関数と重み関数の積和からなる行列〈Ａ〉を算出するステップ（Ｓ１）、重み関数の導関数と画素値の積和からなるベクトル〈ｂ〉を算出するステップ（Ｓ２）、および重み情報〈ｗｊ〉を算出するステップ（Ｓ３）からなる。
【００２８】
Ｓ１では、重み関数ｆ( )の導関数と重み関数ｆ( )そのものの積、あるいは重み関数ｇ( )の導関数と重み関数ｇ( )そのものの積に個々の画素値を代入した総和を要素として持つ行列〈Ａ〉を算出する。
【００２９】
Ｓ２では、重み関数ｆ( )の導関数と処理対象画素の積、あるいは重み関数ｇ( )の導関数と処理対象画素の積に個々の画素値を代入した総和を要素として持つベクトル〈ｂ〉を算出する。なお、Ｓ１およびＳ２で処理対象とする画素は処理対象画像の全画素である必要はなく、その一部であってもよい。また、重み関数およびそのパラメータは任意であり、複数の重み関数およびパラメータに対する行列〈Ａ〉およびベクトル〈ｂ〉を予め計算しておき、適宜選択できるようにすることもできる。
【００３０】
Ｓ３では、Ｓ１およびＳ２で算出された行列〈Ａ〉およびベクトル〈ｂ〉から〈Ａ〉−１〈ｂ〉を算出して重み情報〈ｗｊ〉を求める。
【００３１】
次に、参照画像を用いて重み情報を決定する手順を具体的に説明する。以下では、参照画像が１枚である場合と２枚である場合について説明するが、参照画像の枚数は任意であり、その場合でも同様の手順で実施できる。
【００３２】
まず、参照画像が１枚である場合について説明する。処理対象画像Ｐｃの任意の参照画像Ｐｃ＋ｓにおいて動き補償された画素値を式(7)で略記すると、重み付き動き補償による画素値ｐ"(i;c)は重み関数ｆ( )を用いて式(8)で与えられる。なお、ここでは重み情報として、重み係数ｗ１およびオフセット係数ｗ２を定義した。
ｐ１ｉ＝ｐ(i＋uｓ;c＋s)                                               (7)
ｐ"(i;c)＝ｆ(p１ｉ, wｊ)
＝w１p１ｉ＋w２     (1≦i≦n)                                  (8)
【００３３】
このとき、処理対象画像Ｐｃの画素値ｐ０ｉと重み付き動き補償による画素値との２乗誤差の総和ｅは、式(9)で表される。ｎは処理対象画素数を表すが、処理対象画素は処理対象画像の一部から構成する。
【００３４】
【数５】
0004763241.tif 000006
【００３５】
重み関数ｆ( )の重み情報ｗｊによる偏微分項は、式(10)となり、２乗誤差の総和ｅの未知変数（ｗ１，ｗ２）による偏微分は式(11)となる。ただし、式(11)の係数における［
］はガウス（Gauss）の和の記号であり、例えば［ｐ０］は式(12)で表されるように画素値ｐ０ｉのｎ個の和を示す。
【００３６】
式(11)は、処理対象画像の画素値の和、参照画像の画素値の和と２乗和、両画像の画素値の積和、処理対象画素数を係数とする連立１次方程式であり、これによりにより重み情報ｗｊを求めることができる。
【００３７】
【数６】
0004763241.tif 000007
【００３８】
【数７】
0004763241.tif 000008
【００３９】
【数８】
0004763241.tif 000009
【００４０】
〈ｗ〉＝(w１, w２)ｔとして式(11)をベクトルおよび行列の形で表すと、式(13)になる。
〈Ａ１〉〈ｗ〉−〈ｂ１〉＝〈０〉                                    (13)
【００４１】
ここで、行列〈Ａ１〉は式(14)で与えられ、ベクトル〈ｂ１〉は式(15)で与えられる。
【００４２】
【数９】
0004763241.tif 000010
【００４３】
【数１０】
0004763241.tif 000011
【００４４】
式(14)および式(15)から明らかなように、処理対象画像Ｐｃにおける個々の画素値ｐ０ｉ、参照画像から動き補償で得た個々の画素値ｐ１ｉ、両者の積および処理対象画像の画素数ｎから、行列〈Ａ１〉およびベクトル〈ｂ１〉の各要素を求めることができる。１枚の参照画像を用いる重み情報のベクトル〈ｗ〉＝(w１, w２)ｔは〈Ａ１〉−１〈ｂ１〉を計算することにより得ることができる。
【００４５】
また、〈Ａ１〉は対称行列であるので逆行列〈Ａ１〉−１を計算することなく、コレスキー（Cholesky）分解によって〈Ａ１〉を下三角行列と上三角行列に分解し、〈ｂ１〉対し下三角行列の後退代入および上三角行列の後退代入を段階的に行ことによっても重み情報のベクトル〈ｗ〉を求めることができる。
【００４６】
下三角行列〈Ｌ１〉は〈Ａ１〉＝〈Ｌ１〉〈Ｌ１〉ｔで計算でき、〈Ａ１〉〈ｗ〉−〈ｂ１〉＝〈０〉より式(16)と変形することができるので、まず、後退代入によって〈Ｌ１〉ｔ〈ｗ〉を求め、続けて〈ｗ〉を求める。
〈Ｌ１〉（〈Ｌ１〉ｔ〈ｗ〉）＝〈ｂ１〉                                (16)
【００４７】
また、式(11)または式(13)を代数的に解くと式(17)が得られるので、これによっても重み情報ｗｊを求めることもできる。
【００４８】
【数１１】
0004763241.tif 000012
【００４９】
次に、参照画像が２枚である場合について説明する。処理対象画像Ｐｃの任意の参照画像Ｐｃ＋ｓおよびＰｃ＋ｒにおいて動き補償された画素値ｐ１ｉ，ｐ２ｉをそれぞれ式(18)で略記すると、重み付き動き補償による画素値ｐ"(i;c)は重み関数ｇ( )を用いて式(19)で与えられる。なお、ここでは重み情報として、重み係数ｗ１，ｗ２およびオフセット係数ｗ３を定義した。
ｐ１ｉ＝ｐ(i＋uｓ;c＋s)
ｐ２ｉ＝ｐ(i＋uｒ;c＋r)                                              (18)
ｐ"(i;c)＝ｇ(p１ｉ, p２ｉ, wｊ)
＝w１p１ｉ＋w２p２ｉ＋w３    (1≦i≦n)                           (19)
【００５０】
このとき、処理対象画像Ｐｃの画素値ｐ０ｉと重み付き動き補償による画素値との２乗誤差の総和ｅは、式(20)で表される。ｎは処理対象画素数を表すが、処理対象画素は処理対象画像の全画素あるいはその一部から構成する。
【００５１】
【数１２】
0004763241.tif 000013
【００５２】
重み関数ｇ( )の重み情報ｗｊによる偏微分項は、式(21)となる。よって、２乗誤差の総和ｅの未知変数(w１, w２,w３)による偏微分は式(22)となる。ただし、式(22)の係数における［  ］は、ガウス（Gauss）の和の記号であり、例えば［ｐ０］は式(23)で表されるように画素値ｐ０ｉのｎ個の和を示す。
【００５３】
式(22)は、処理対象画像の画素値の和、参照画像の画素値の和と２乗和、２つの画像の画素値の積和、処理対象画素数を係数とする連立１次方程式であり、これによりにより重み情報ｗｊを求めることができる。
【００５４】
【数１３】
0004763241.tif 000014
【００５５】
【数１４】
0004763241.tif 000015
【００５６】
【数１５】
0004763241.tif 000016
【００５７】
〈ｗ〉＝(w１, w２, w３)ｔとして式(22)をベクトルおよび行列の形で表すと、式(24)になる。
〈Ａ２〉〈ｗ〉−〈ｂ２〉＝〈０〉                                    (24)
ここで、行列〈Ａ２〉は式(25)で与えられ、ベクトル〈ｂ２〉は式(26)で与えられる。
【００５８】
【数１６】
0004763241.tif 000017
【００５９】
【数１７】
0004763241.tif 000018
【００６０】
式(14)および式(15)から明らかなように、処理対象画像Ｐｃにおける個々の画素値ｐ０ｉ、参照画像から動き補償で得た個々の画素値ｐ１ｉ、ｐ２ｉ、これら画素値の積および処理対象画像の画素数ｎから、行列〈Ａ２〉およびベクトル〈ｂ２〉の各要素を求めることができる。２枚の参照画像を用いる重み情報のベクトル〈ｗ〉＝(w１, w２, w３)ｔは〈Ａ２〉−１〈ｂ２〉を計算することにより得ることができる。
【００６１】
また、〈Ａ２〉は対称行列であるので逆行列〈Ａ２〉−１を計算することなく、コレスキー分解によって〈Ａ２〉を下三角行列と上三角行列に分解し、〈ｂ２〉対し下三角行列の後退代入および上三角行列の後退代入を段階的に行ことによっても重み情報のベクトル〈ｗ〉を求めることができる。
【００６２】
下三角行列〈Ｌ２〉は〈Ａ２〉＝〈Ｌ２〉〈Ｌ２〉ｔで計算でき、〈Ａ２〉〈ｗ〉−〈ｂ２〉＝〈０〉より式(27)と変形することができるので、まず、後退代入によって〈Ｌ２〉ｔ〈ｗ〉を求め、続けて〈ｗ〉を求める。
〈Ｌ2〉（〈Ｌ2〉ｔ〈ｗ〉）＝〈ｂ2〉                                (27)
【００６３】
また、式(22)または式(24)を代数的に解くと式(28)が得られるので、これによって重み情報ｗｊを求めることもできる。
【００６４】
【数１８】
0004763241.tif 000019
【００６５】
本発明によれば、参照画像および処理対象画像の画素値から、重み付き動き補償の参照画像数に依存せず、任意の参照画像数に応じて最適な重み情報を決定することができる。これにより決定された重み情報を用いればMPEG-4 AVC/H.264において従来の動き補償より効果的な圧縮効率を実現することができる。また、フェードやディゾルブのシーンでは本発明によって決定された重み情報は従来の動き補償より圧縮効率を改善するので、本発明は、圧縮効率が改善された場所を精査してフェードやディゾルブのシーンを検出する用途にも適用できる。
【図面の簡単な説明】
【００６６】
【図１】本発明に係る動き予測情報検出装置における処理手順を示すフロー図である。
【符号の説明】
【００６７】
Ｓ１・・・行列〈Ａ〉の算出ステップ、Ｓ２・・・ベクトル〈ｂ〉の算出ステップ、Ｓ３・・・重み情報〈ｗｊ〉の算出ステップ
【図１】
0004763241.tif 000020