(57)【要約】  重み係数計算手段（１９０３）は、フェード効果の生成原理に基づいて導かれる重み係数算出式を用い、予測対象画像と選択された参照画像のそれぞれに対応する特徴量を用いて重み係数を算出する。前記特徴量は、画像内特徴量計算手段（１９０１）によって、各々の画像に対して、画像内に閉じた特徴量として算出される。これによって、フェード画像に対して少ない演算量かつ高い精度で重み係数を求めることができる。
2008108372.tif 000002
【特許請求の範囲】
【請求項１】
順次入力される入力画像の特徴量を計算する第１のステップと、
前記第１のステップで計算された特徴量を入力画像と関連付けて記憶する第２のステップと、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する第３のステップとを備え、
前記第３のステップは、フェード画像の生成原理に基づいて前記重み係数を算出するステップを含む
ことを特徴とする重み付き予測情報算出方法。
【請求項２】
請求項１において、
第３のステップは、
フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出するステップを含み、
前記フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐorg（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ0ならびにｔ1における画像Ｐ（ｔ0），Ｐ（ｔ1）に対して、Ｐ（ｔ0）とＰ（ｔ1）との間の動きをＴ（ｔ0，ｔ1）で表したときに下式（数１）で表される
ことを特徴とする重み付き予測情報算出方法。
【数１】
2008108372.tif 000031
【請求項３】
請求項１において、
前記重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、
第３のステップは、
予測対象画像内の直流成分を表す値をＭ（Ｐsrc）、前記参照画像内の直流成分を表す値をＭ（Ｐref）、前記予測対象画像内の交流成分を表す値をＶ（Ｐsrc）、前記参照画像内の交流成分を表す値をＶ（Ｐref）とするとき、下式（数２）を用いて算出される（ｗ，ｏ）を前記重み係数として算出するステップを含む
ことを特徴とする重み付き予測情報算出方法。
【数２】
2008108372.tif 000032
【請求項４】
請求項３において、
前記画像内の交流成分を、画像内の画素と前記直流成分との差分値から算出するステップを含むことを特徴とする重み付き予測情報算出方法。
【請求項５】
請求項３において、
前記画像内の交流成分を、画像内の画素と当該画素に近接する画素との差分値から算出するステップを含むことを特徴とする重み付き予測情報算出方法。
【請求項６】
順次入力される入力画像の特徴量を計算する第１のステップと、
前記第１のステップで計算された特徴量を入力画像と関連付けて記憶する第２のステップと、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する第３のステップとを備え、
前記第３のステップは、フェード画像の生成原理に基づいて前記重み係数を算出するステップを含み、
算出された重み係数を用いて動画像を重み付け予測符号化するステップと、
算出された重み係数を符号化するステップと
を備えたことを特徴とする動画像符号化方法。
【請求項７】
順次入力される入力画像の特徴量を計算する特徴量計算手段（１９０１）と、
前記特徴量計算手段で計算された特徴量を入力画像と関連付けて記憶する特徴量記憶手段（１９０２）と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数計算手段（１９０３）と
を備え、
前記重み係数計算手段は、フェード画像の生成原理に基づいて前記重み係数を算出することを特徴とする重み付き予測情報算出装置。
【請求項８】
請求項７において、
前記重み係数計算手段は、
フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出し、
前記フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐorg（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ0ならびにｔ1における画像Ｐ（ｔ0），Ｐ（ｔ1）に対して、Ｐ（ｔ0）とＰ（ｔ1）との間の動きをＴ（ｔ0，ｔ1）で表したときに下式（数３）で表される
ことを特徴とする重み付き予測情報算出装置。
【数３】
2008108372.tif 000033
【請求項９】
請求項７において、
前記重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、
前記重み係数計算手段は、
予測対象画像内の直流成分を表す値をＭ（Ｐsrc）、前記参照画像内の直流成分を表す値をＭ（Ｐref）、前記予測対象画像内の交流成分を表す値をＶ（Ｐsrc）、前記参照画像内の交流成分を表す値をＶ（Ｐref）とするとき、下式（数４）を用いて算出される（ｗ，ｏ）を前記重み係数として算出することを特徴とする記載の重み付き予測情報算出装置。
【数４】
2008108372.tif 000034
【請求項１０】
請求項９において、
前記重み係数計算手段は、
画像内の交流成分を、画像内の画素と前記直流成分との差分値から算出することを特徴とする重み付き予測情報算出装置。
【請求項１１】
請求項９において、
前記重み係数計算手段は、
画像内の交流成分を、画像内の画素と当該画素に近接する画素との差分値から算出することを特徴とする重み付き予測情報算出装置。
【請求項１２】
順次入力される入力画像の特徴量を計算する特徴量計算手段（１９０１）と、
前記特徴量計算手段で計算された特徴量を入力画像と関連付けて記憶する特徴量記憶手段（１９０２）と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数計算手段（１９０３）と
を備え、
前記重み係数計算手段は、フェード画像の生成原理に基づいて前記重み係数を算出し、
算出された重み係数を用いて動画像を重み付け予測符号化する予測符号化手段（１９１０）と、
算出された重み係数を符号化する符号化手段（１９２０）と
を備えたことを特徴とする動画像符号化装置。
【請求項１３】
コンピュータに、
順次入力される入力画像の特徴量を計算する特徴量計算処理と、
前記特徴量計算処理で計算された特徴量を入力画像と関連付けて記憶手段に記憶させる記憶処理と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数算出処理とを実行させ、
前記重み係数算出処理で、フェード画像の生成原理に基づいて前記重み係数を算出させる
ための重み付き予測情報算出プログラム。
【請求項１４】
請求項１３において、
コンピュータに、
前記重み係数算出処理において、
フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出させ、
前記フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐorg（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ0ならびにｔ1における画像Ｐ（ｔ0），Ｐ（ｔ1）に対して、Ｐ（ｔ0）とＰ（ｔ1）との間の動きをＴ（ｔ0，ｔ1）で表したときに下式（数５）で表される
ことを特徴とする重み付き予測情報算出プログラム。
【数５】
2008108372.tif 000035
【請求項１５】
請求項１３において、
前記重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、
コンピュータに、
前記重み係数算出処理において、
予測対象画像内の直流成分を表す値をＭ（Ｐsrc）、前記参照画像内の直流成分を表す値をＭ（Ｐref）、前記予測対象画像内の交流成分を表す値をＶ（Ｐsrc）、前記参照画像内の交流成分を表す値をＶ（Ｐref）とするとき、下式（数６）を用いて算出される（ｗ，ｏ）を前記重み係数として算出させる
ことを特徴とする重み付き予測情報算出プログラム。
【数６】
2008108372.tif 000036
【請求項１６】
請求項１５において、
コンピュータに、
前記重み係数算出処理において、
画像内の交流成分を、画像内の画素と前記直流成分との差分値から算出させる
ことを特徴とする重み付き予測情報算出プログラム。
【請求項１７】
請求項１５において、
コンピュータに、
前記重み係数算出処理において、
画像内の交流成分を、画像内の画素と当該画素に近接する画素との差分値から算出させる
ことを特徴とする重み付き予測情報算出プログラム。
【請求項１８】
コンピュータに、
順次入力される入力画像の特徴量を計算する特徴量計算処理と、
前記特徴量計算処理で計算された特徴量を入力画像と関連付けて記憶手段に記憶させる記憶処理と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数算出処理とを実行させ、
かつ、前記重み係数算出処理で、フェード画像の生成原理に基づき前記重み係数を算出させ、
算出された重み係数を用いて動画像を重み付け予測符号化する処理と、
算出された重み係数を符号化する処理とを実行させる
動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、重み付き予測における重み付き予測情報算出方法、装置、プログラム、動画像符号化方法、装置、およびプログラムに関する。
【背景技術】
【０００２】
動画像は膨大な情報量をもつため、その記録・伝送のためには効率よく圧縮符号化することが不可欠である。そして、動画像圧縮符号化には様々な要素技術が利用されるが、その要素技術の１つに、フレーム間予測符号化技術がある。【０００３】
フレーム間予測符号化技術とは、既に符号化済みの他の画像（参照画像と呼ぶ）を用いて現在の符号化対象である画像（予測対象画像と呼ぶ）を近似する画像（予測画像と呼ぶ）を生成し、元の画像信号の代わりに予測画像との差分信号（予測誤差画像と呼ぶ）を符号化する技術である。【０００４】
通常、各フレーム間には動きが存在するため、一般に、空間方向の変位情報を併せて用いることにより予測効率を高める動き補償予測符号化技術が用いられる。一般に、動画像は、時間的および空間的に高い相関性を持つので、動き補償予測符号化技術により効率のよい圧縮が可能となる。【０００５】
しかし、照明が時間的に変化するシーンや、映像特殊効果の一種であるフェード効果（フェードイン・フェードアウト）を適用したシーンのように、信号振幅の時間変動が起こる場合には、空間方向の変位を反映するだけでは十分に精度の高い予測画像を生成することができない。このような場合に予測効率を高めるための技術として、重み付き予測符号化技術がある。【０００６】
重み付き予測符号化技術とは、フレーム間予測符号化において、参照画像の画素値に重み付けを行って、予測画像を生成する技術である。一般的に動画像には動きが存在するため、重み付き予測符号化技術は通常、前記動き補償予測符号化技術との組み合わせで利用される。この組み合わせを、重み付き動き補償予測符号化技術と呼ぶ。
動画像符号化方式の国際標準である文献１（Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ：「アドバンストビデオコーディングフォージェネリックオーディオビジュアルサービス（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｇｅｎｅｒｉｃ  Ａｕｄｉｏｖｉｓｕａｌ  Ｓｅｒｖｉｃｅｓ）」，（スイス），アイティーユーティー（ＩＴＵ−Ｔ），２００５年３月，エイチシリーズ：オーディオビジュアルアンドマルチメディアシステムズ（Ｓｅｒｉｅｓ  Ｈ：Ａｕｄｉｏｖｉｓｕａｌ  ａｎｄ  ｍｕｌｔｉｍｅｄｉａ  ｓｙｓｔｅｍｓ  Ｈ．２６４），ｐ．１５７−１５９）は、重み付き動き補償予測符号化技術を採用しており、これによって、フェード効果を適用したシーンにおいて高い圧縮率を実現している。【０００７】
重み付き動き補償予測符号化技術では、参照画像をＰref、参照画像Ｐrefから予測対象画像への動きをＴ、Ｐrefと同解像度で全ての画素値が１である画像をＥとするとき、重みｗ、オフセットｏの組（重み係数と呼ぶ）を用いて、式１の線形演算により予測画像Ｐpredを生成する。【０００８】
【数１】
2008108372.tif 000003
【０００９】
重み付き予測を行うにあたっては、重み係数をどのように求めるかが課題となる。例えば、文献２（特開２００５−２１７７４６号公報（第８頁、数１１））には、式２を用いて重み係数を算出する方法が記載されている。ここで、Ｐsrcは予測対象画像、Ｐrefは参照画像を表し、ｎは画素数を表す。また、画像Ｐの画像内に閉じた特徴量（画像内特徴量）として、画素値の総和をＳ1（Ｐ）、画素値の２乗の総和をＳ2（Ｐ）で表す。さらに、画像Ｐ0と画像Ｐ1との画像間にまたがる特徴量（画像間特徴量）として、両画像間での画素値の積の総和をＣ（Ｐ0，Ｐ1）で表す。【００１０】
【数２】
2008108372.tif 000004
【００１１】
図３は、上記文献２に記載されている従来技術を用いて重み係数を算出する装置（以下、従来の重み係数算出装置と呼ぶ）の一例を示すブロック図である。図３に示す例では、従来の重み係数算出装置は、画像内特徴量計算手段１０１、フレームバッファ１０２、画像間特徴量計算手段１０３、および重み係数計算手段１０４を含む。【００１２】
画像内特徴量計算手段１０１は、入力画像１（Ｐsrcとする）を用いて、式２に用いられる画像内特徴量Ｓ1（Ｐsrc）およびＳ2（Ｐsrc）を算出し、算出した画像内特徴量を入力画像２と関連付けて共にフレームバッファ１０２に格納する。また、算出した特徴量を重み係数計算手段１０３に伝達する。入力画像１は、重み付き予測を行う際の予測対象画像である。入力画像２は、後に入力される予測対象画像に対して入力画像１を重み付き予測に利用する時の参照画像に対応する。入力画像２として、例えば、入力画像１そのものを用いてもよいし、他の画像を用いてもよい。例えば、画像符号化においては、入力画像１に非可逆な変換を加えた画像を用いてもよい。【００１３】
フレームバッファ１０２は、入力画像２と、画像内特徴量計算手段１０１によって得られた画像内特徴量との組を、過去の入力分について１組または複数組蓄積する。フレームバッファ１０２には、参照画像選択信号が入力され、参照画像選択信号にしたがって、既に蓄積されている画像と画像内特徴量との組の中からＮ組が出力される。画像と画像内特徴量との組のうち、画像は画像間特徴量計算手段１０３に、画像内特徴量は重み係数計算手段１０４に、それぞれ伝達される。【００１４】
画像間特徴量計算手段１０３は、Ｐsrcと、参照画像選択信号とにしたがってフレームバッファ１０２より伝達されたＮ枚の参照画像（Ｐref（１），・・・，Ｐref（Ｎ）とする）とを用いて、Ｎ個の画像間特徴量Ｃ（Ｐsrc，Ｐref（１）），・・・，Ｃ（Ｐsrc，Ｐref（Ｎ））を算出し、算出したＮ個の画像間特徴量を、重み係数計算手段１０４に伝達する。【００１５】
重み係数計算手段１０４は、画像内特徴量計算手段１０１とフレームバッファ１０２と画像間特徴量計算手段１０３とから伝達される特徴量Ｓ1（Ｐsrc），Ｓ1（Ｐref（１）），・・・，Ｓ1（Ｐref（Ｎ）），Ｓ2（Ｐsrc），Ｓ2（Ｐref（１）），・・・，Ｓ2（Ｐref（Ｎ）），Ｃ（Ｐsrc，Ｐref（１）），・・・，Ｃ（Ｐsrc，Ｐref（Ｎ））を用いて、式２にもとづき、Ｎ枚の参照画像に対応するＮ組の重み係数（ｗ（１），ｏ（１）），・・・，（ｗ（Ｎ），ｏ（Ｎ））を算出する。算出したＮ組の重み係数は、重み係数計算手段１０４より出力され、重み付き予測に利用される。【００１６】
以上で文献２に述べられた従来技術の説明を終了する。【００１７】
また、文献３（ジル  エム  ボイス（Ｊｉｌｌ  Ｍ．  Ｂｏｙｃｅ）著，「ウェイテッドプレディクションインザエイチ．２６４／エムペグ  エーブイシービデオコーディングスタンダード（ＷＥＩＧＨＴＥＤ  ＰＲＥＤＩＣＴＩＯＮ  ＩＮ  ＴＨＥ  Ｈ．２６４／ＭＰＥＧ  ＡＶＣ  ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＳＴＡＮＤＡＲＤ）」，アイエスシーエーエス０４  プロシーディングスオブザ２００４インターナショナルシンポジウムオンサーキットアンドシステムズ（ＩＳＣＡＳ  ’０４，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００４  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｉｒｃｕｉｔ  ａｎｄ  Ｓｙｓｔｅｍｓ），（米国），アイトリプルイー（ＩＥＥＥ），２００４年５月２３日，第３巻，ｐ．７８９−７９２）および文献４（特開２００６−５４８０２号公報）には、画像間特徴量を用いずに重み係数を算出する方法が記載されている。【００１８】
文献３に記載されている方法では、式３を用いて重み係数を算出する。ここで、Ｍ（Ｐ）は画像Ｐの直流成分を表す指標である。典型的には、Ｍ（Ｐ）は画素平均値を表し、Ｓ1（Ｐ）／ｎに等しい。【００１９】
また、文献５（特開２００４−７３７９号公報（第３１頁、数１７および数１８））に記載されている方法では、式４を用いて重み係数を算出する。ここで、Ｖ（Ｐ）は画像Ｐの交流成分を表す指標である。典型的には、Ｖ（Ｐ）は、画像Ｐの各画素のＭ（Ｐ）に対する差分絶対値平均、または画像Ｐの各画素のＭ（Ｐ）に対する差分２乗平均の平方根を表す。【００２０】
【数３】
2008108372.tif 000005
【００２１】
【数４】
2008108372.tif 000006
【発明の開示】
【発明が解決しようとする課題】
【００２２】
しかしながら、前記従来技術には、次のような問題がある。文献２に記載されている方法の第１の問題は、重み係数の算出に要する演算量が大きいことである。【００２３】
特に、式２において、Ｃ（Ｐsrc，Ｐref）という予測対象画像の画素値と参照画像との画素値との積和の項を含むことが、演算量の増大に大きく寄与する。【００２４】
図３に例示した画像間特徴量計算手段１０３は、１枚の予測対象画像に対してＮ枚の参照画像を用いるよう指示された場合、予測対象画像と参照画像との組Ｎ組に対して、それぞれＣ（Ｐsrc，Ｐref）を別途計算しなければならない。【００２５】
文献２に記載されている方法の第２の問題は、シーンに動きがある場合に、算出される重み係数の精度が著しく低下することである。【００２６】
重み付き予測は、前述のように、動き補償予測と組み合わせて用いられることが多い。重み付き予測と動き補償予測とを組み合わせて用いる場合には、重み係数と動きベクトルとの双方を計算する必要がある。このどちらを先に導出するかは実装に依存するが、重み係数が正しく求められていない場合、動きベクトルを正しく求めることは困難である。【００２７】
動きベクトルが正しく求められていない段階で、重み係数を式２によって求めようとした場合、Ｃ（Ｐsrc，Ｐref）という予測対象画像の画素値と参照画像の画素値との積和の項が、精度の点で大きな問題となる。特に、細かなテクスチャを含む画像では、わずかでも動きベクトルが正しく求められていないことによって、式２によって算出される重み係数が最適値から大きく外れる危険性がある。【００２８】
ここで、シーンに動きがある場合に精度が著しく低下することについて、図４から図１４に示す実例を挙げて説明する。【００２９】
図４から図８は、幅７画素、高さ５画素の、ある動画像を構成する画像のうち、ある連続する時刻における５枚の画像を示している。各画素は、枠内に示した通りの画素値を持ち、時刻が進むごとに図４、図５、図６、図７、図８の順に遷移する。【００３０】
このシーンに対してフェードアウト効果を付与し、図９に示すように画素値２５６を持つ画像へと遷移させる例を考える。【００３１】
図４からフェードアウトを開始し、線形にフェードアウトして図８の時刻に図９の画像に変化する場合、図５の時刻のフェード画像は図１０で表され、図６の時刻のフェード画像は図１１で表され、図７の時刻のフェード画像は図１２で表される。【００３２】
前述した図４、図１０、図１１、図１２、図９の一連の画像からなるフェードアウト過程において、図４の画像を参照画像Ｐref、図１２の画像を予測対象画像Ｐsrcとして、重み付き予測を行う場合を考える。【００３３】
シーンには動きがあるため、重み係数の算出を動きベクトルの導出と独立に行うものとすると、予測画像として生成すべき目標画像は図１３で表される。【００３４】
文献２に記載されている方法を用いて、図４および図１２のすべての画素値から前記特徴量Ｓ1，Ｓ1，Ｃを算出し、有効数字を４桁として式２により重み係数を算出すると、（ｗ，ｏ）＝（−０．９２９９，３５４．１）が得られる。【００３５】
この重み係数を図４の画像に適用して、小数点以下を四捨五入すると、図１４の予測画像が得られる。これは、予測目標画像である図１３と比較すると、テクスチャが反転してしまっているなど、大きく乖離したものとなっている。【００３６】
以上のように、文献２に記載されている方法は、シーンに動きがある場合に、重み係数の算出精度が著しく低下する。【００３７】
このように、文献２に記載されている方法には、演算量と精度との双方の点で問題がある。精度の問題を解決するための技術として、文献４に、動きベクトル導出と重み係数算出との反復により精度を高める方法が記載されている。【００３８】
しかし、文献４に記載されている方法を用いた場合、演算量はさらに増大する上に、わずかな動きベクトルのずれが重み係数の大きな誤差を生むという根本的な問題は解決されないため、精度についてもかえって低下する危険性がある。【００３９】
また、文献３に記載されている方法、および文献５に記載されている方法は、演算量は十分小さいものの、精度の点で問題がある。前記文献２に記載されている方法は動きのあるシーンで精度が低下するのに対して、これらの手法は、静止シーンにおいてすら、正しい重み係数を求めることができない。【００４０】
ここで、静止シーンにおいても正しい重み係数を求められないことについて、図１５から図２０に示す実例を挙げて説明する。【００４１】
図１５は、値０の画素と値２５６の画素とからなる市松模様のテクスチャを持つ、２×２画素の画像を示している。図１６は、値２５６の画素を持つ２×２画素の画像を示している。図１７は、図１５の画像が、静止した状態で図１６の画像にフェードアウトする過程で経由する画像の一例を示している。図１８は、同様のフェードアウトにおいて、経由する画像の一例を示している。【００４２】
このフェードアウト過程において、図１７を参照画像Ｐref、図１８を予測対象画像Ｐsrcとして、重み付き予測を行う場合を考える。前記の例とは異なり、シーンには動きがないので、予測画像として生成すべき目標画像は図１７そのものとなる。【００４３】
文献３に記載されている方法を用いた場合、式３においてＭ（Ｐ）を全画素の平均値とし、有効数字を４桁として重み係数を算出すると、（ｗ，ｏ）＝（１．１６７，０）が得られる。【００４４】
この重み係数を図１７に示す参照画像に適用して、小数点以下を四捨五入すると、図１９に示す予測画像が得られる。これは、予測対象画像である図１８には全く一致しない。【００４５】
一方、文献５に記載されている方法を用いた場合、式４において、Ｍ（Ｐ）を全画素の平均値とし、Ｖ（Ｐ）を全画素のＭ（Ｐ）に対する差分絶対値の平均値とすると、重み係数として（ｗ，ｏ）＝（０．５，３２）が得られる。【００４６】
この重み係数を図１７に示す参照画像に適用すると、図２０に示す予測画像が得られる。これも、予測対象画像である図１８には全く一致しない。【００４７】
このように、文献３に記載されている方法、および文献５に記載されている方法では、静止シーンにおいてすら正しい予測画像を生成できない。【００４８】
これは、そもそもこれらの手法に理論的裏付けがないためである。文献３および文献５には、それぞれ式３および式４によって重み係数を算出することが記載されているのみであり、その方法の論拠となる原理について一切の記載がない。【００４９】
以上に述べたように、前記３つの従来技術には、演算量と精度の点のうち、どちらかまたは双方に問題があった。【００５０】
したがって本発明は、従来手法の持つ上記課題を解決し、十分に小さい演算量で、かつ予測画像生成に対して十分に高い精度を持つ、重み係数算出方法を提供することを目的とする。
【課題を解決するための手段】
【００５１】
このような課題を解決するために本発明は、重み付き予測における重み係数を、予測対象画像と参照画像それぞれに閉じた画像特徴量に基づいて算出する重み係数算出方法であって、フェード画像の生成原理から導かれる予測対象画像と参照画像と画像特徴量との相互関係式に基づいて、重み係数を算出することを特徴とする。これにより、本発明は前述した目的を達成することができる。【００５２】
すなわち、本発明による重み付き予測情報算出方法は、１枚または任意の複数枚の参照画像から１枚の予測対象画像を予測するに際して、参照画像に対して重み係数による重み付けを行うことで予測画像が予測対象画像を近似するように、各々の参照画像に対応する重み係数を算出する重み付き予測情報算出方法であって、順次入力される入力画像の特徴量を計算する第１のステップと、第１のステップで計算された特徴量を入力画像と関連付けて記憶する第２のステップと、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する第３のステップとを備え、第３のステップで、フェード画像の生成原理に基づいて重み係数を算出することを特徴とする。【００５３】
また、本発明による重み付き予測情報算出装置は、１枚または任意の複数枚の参照画像から１枚の予測対象画像を予測するに際して、参照画像に対して重み係数による重み付けを行うことで予測画像が予測対象画像を近似するように、各々の参照画像に対応する重み係数を算出する重み付き予測情報算出装置であって、順次入力される入力画像の特徴量を計算する特徴量計算手段と、特徴量計算手段で計算された特徴量を入力画像と関連付けて記憶する特徴量記憶手段と、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数計算手段とを備え、重み係数計算手段は、フェード画像の生成原理に基づいて重み係数を算出することを特徴とする。
【発明の効果】
【００５４】
本発明によれば、フェード効果の付与されたシーンにおいて、重み係数を少ない演算量かつ高い精度で求めることができる。
ここで、重み係数の演算量が少ないことの理由は、重み係数の算出に際して単一の画像内に閉じた特徴量のみを用いるためである。
また、重み係数の精度が高いことの理由は、重み係数の算出式がフェード画像の生成原理に基づいているためである。
【図面の簡単な説明】
【００５５】
【図１】図１は、本発明の実施例の重み係数算出装置の一構成例を示すブロック図である。
【図２】図２は、図１３に示す画像を予測するため、本発明の実施例の技術によって得られた重み係数を図４に示す画像に適用して生成した画像の例を示す図である。
【図３】図３は、従来の重み係数算出装置の一構成例を示すブロック図である。
【図４】図４は、動きのあるシーンを構成する画像の一例を示す図である。
【図５】図５は、動きのあるシーンを構成する画像の一例を示す図である。
【図６】図６は、動きのあるシーンを構成する画像の一例を示す図である。
【図７】図７は、動きのあるシーンを構成する画像の一例を示す図である。
【図８】図８は、動きのあるシーンを構成する画像の一例を示す図である。
【図９】図９は、図８に示す画像に対してフェード効果を適用した画像の一例を示す図である。
【図１０】図１０は、図５に示す画像に対してフェード効果を適用した画像の一例を示す図である。
【図１１】図１１は、図６に示す画像に対してフェード効果を適用した画像の一例を示す図である。
【図１２】図１２は、図７に示す画像に対してフェード効果を適用した画像の一例を示す図である。
【図１３】図１３は、図４に示す画像を参照画像として、図１２に示す画像を予測する場合に、動き補償なしに重み付き予測を行う場合の目標となる画像を示す図である。
【図１４】図１４は、図１３に示す画像を予測するため、文献２に記載されている技術によって得られた重み係数を図４に示す画像に適用して生成した画像の例を示す図である。
【図１５】図１５は、静止シーンにおけるフェード画像の一例を示す図である。
【図１６】図１６は、静止シーンにおけるフェード画像の一例を示す図である。
【図１７】図１７は、静止シーンにおけるフェード画像の一例を示す図である。
【図１８】図１８は、静止シーンにおけるフェード画像の一例を示す図である。
【図１９】図１９は、図１８に示す画像を予測するため、文献３の技術によって得られた重み係数を図１７に示す画像に適用して生成した画像の例を示す図である。
【図２０】図２０は、図１８に示す画像を予測するため、文献５の技術によって得られた重み係数を図１７に示す画像に適用して生成した画像の例を示す図である。
【図２１】図２１は、動画像符号化装置の構成を示す図である。
【発明を実施するための最良の形態】
【００５６】
本発明の実施例による重み付き予測情報算出方法は、１枚または任意の複数枚の参照画像から１枚の予測対象画像を予測するに際して、参照画像に対して重み係数による重み付けを行うことで予測画像が予測対象画像を近似するように、各々の参照画像に対応する重み係数を算出する重み付き予測情報算出方法であって、順次入力される入力画像の特徴量を計算する第１のステップと、第１のステップで計算された特徴量を入力画像と関連付けて記憶する第２のステップと、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する第３のステップとを備え、第３のステップで、フェード画像の生成原理に基づいて重み係数を算出する。【００５７】
第３のステップで、フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出し、フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐorg（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ0ならびにｔ1における画像Ｐ（ｔ0），Ｐ（ｔ1）に対して、Ｐ（ｔ0）とＰ（ｔ1）との間の動きをＴ（ｔ0，ｔ1）で表したときに後述する式１３で表されてもよい。【００５８】
重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、第３のステップで、予測対象画像内の直流成分を表す値をＭ（Ｐsrc）、参照画像内の直流成分を表す値をＭ（Ｐref）、予測対象画像内の交流成分を表す値をＶ（Ｐsrc）、参照画像内の交流成分を表す値をＶ（Ｐref）とするとき、後述する式７を用いて算出される（ｗ，ｏ）を重み係数としてもよい。【００５９】
本発明の実施例による動画像符号化方法は、重み付き予測情報算出方法により重み係数を算出するステップと、算出された重み係数を用いて動画像を重み付け予測符号化するステップと、算出された重み係数を符号化するステップとを備える。【００６０】
本発明の実施例による重み付き予測情報算出装置は、１枚または任意の複数枚の参照画像から１枚の予測対象画像を予測するに際して、参照画像に対して重み係数による重み付けを行うことで予測画像が予測対象画像を近似するように、各々の参照画像に対応する重み係数を算出する重み付き予測情報算出装置であって、図１に示すように、順次入力される入力画像の特徴量を計算する特徴量計算手段１９０１と、特徴量計算手段１９０１で計算された特徴量を入力画像と関連付けて記憶する特徴量記憶手段（特徴量バッファ１９０２）と、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数計算手段１９０３とを備え、重み係数計算手段は、フェード画像の生成原理に基づいて重み係数を算出する。【００６１】
重み係数計算手段は、フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出し、フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐorg（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ0ならびにｔ1における画像Ｐ（ｔ0），Ｐ（ｔ1）に対して、Ｐ（ｔ0）とＰ（ｔ1）との間の動きをＴ（ｔ0，ｔ1）で表したときに後述する式１３で表されてもよい。【００６２】
重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、重み係数計算手段は、予測対象画像内の直流成分を表す値をＭ（Ｐsrc）、参照画像内の直流成分を表す値をＭ（Ｐref）、予測対象画像内の交流成分を表す値をＶ（Ｐsrc）、参照画像内の交流成分を表す値をＶ（Ｐref）とするとき、後述する式７を用いて算出される（ｗ，ｏ）を重み係数として算出してもよい。【００６３】
本発明の実施例による動画像符号化装置は、図２１に示すように、重み付き予測情報算出装置１９００と、重み付き予測情報算出装置１９００により算出された重み係数を用いて動画像を重み付け予測符号化する予測符号化手段１９１０と、重み付き予測情報算出装置１９００により算出された重み係数を符号化する符号化手段１９２０とを備えている。【００６４】
本発明の実施例による重み付き予測情報算出プログラムは、１枚または任意の複数枚の参照画像から１枚の予測対象画像を予測するに際して、参照画像に対して重み係数による重み付けを行うことで予測画像が予測対象画像を近似するように、各々の参照画像に対応する重み係数を算出する重み付き予測情報算出プログラムであって、コンピュータに、順次入力される入力画像の特徴量を計算する特徴量計算処理と、特徴量計算処理で計算された特徴量を入力画像と関連付けて記憶手段に記憶させる記憶処理と、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数算出処理とを実行させ、重み係数算出処理で、フェード画像の生成原理に基づいて重み係数を算出させる。【００６５】
重み係数算出処理で、コンピュータに、フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出させ、フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐorg（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ0ならびにｔ1における画像Ｐ（ｔ0），Ｐ（ｔ1）に対して、Ｐ（ｔ0）とＰ（ｔ1）との間の動きをＴ（ｔ0，ｔ1）で表したときに後述する式１３で表されてもよい。【００６６】
重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、重み係数算出処理で、予測対象画像内の直流成分を表す値をＭ（Ｐsrc）、参照画像内の直流成分を表す値をＭ（Ｐref）、予測対象画像内の交流成分を表す値をＶ（Ｐsrc）、参照画像内の交流成分を表す値をＶ（Ｐref）とするとき、後述する式７を用いて算出される（ｗ，ｏ）を重み係数としてもよい。【００６７】
本発明の実施例による動画像符号化プログラムは、コンピュータに、重み付き予測情報算出プログラムにより重み係数を算出する処理と、算出された重み係数を用いて動画像を重み付け予測符号化する処理と、算出された重み係数を符号化する処理とを実行させる。【００６８】
以下、本発明の実施例について、図面を参照して詳細に説明する。図１は、本発明の実施例の重み係数算出装置の一構成例を示すブロック図である。【００６９】
図１に示すように、本発明の実施例の重み係数算出装置は、画像内特徴量計算手段１９０１と、特徴量バッファ１９０２と、重み係数計算手段１９０３とを含む。【００７０】
重み係数算出装置は、例えば、プログラムに従って処理を実行するＣＰＵを搭載したコンピュータによって実現され、画像内特徴量計算手段１９０１および重み係数計算手段１９０３は、例えば、当該ＣＰＵによって実現される。また、特徴量バッファ１９０２は、例えば、メモリおよびメモリコントローラによって実現される。【００７１】
そして、重み係数算出装置には、コンピュータに、順次入力される入力画像の特徴量を計算する特徴量計算処理と、特徴量計算処理で計算された特徴量を入力画像と関連付けて記憶手段に記憶させる記憶処理と、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数算出処理とを実行させ、重み係数算出処理で、フェード画像の生成原理に基づいて重み係数を算出させることを特徴とする重み付き予測情報算出プログラムが搭載されていてもよい。【００７２】
画像内特徴量計算手段１９０１は、重み付き予測を行う際の予測対象画像を入力画像（Ｐsrcとする）として、入力画像Ｐsrcの直流成分を表す特徴量Ｍ（Ｐsrc）と、入力画像Ｐsrcの交流成分を表す特徴量Ｖ（Ｐsrc）とを算出し、算出した特徴量Ｍ，Ｖの組を、特徴量バッファ１９０２に格納する。【００７３】
また、画像内特徴量計算手段１９０１は、算出した特徴量Ｍ，Ｖの組を、重み係数計算手段１９０３に伝達する。Ｍ，Ｖは、式５および式６から計算される。ここで、式５および式６において、ｐｉｘｎｕｍ（Ｐ）は画像Ｐの画素数、ｋは任意の正定数を表す。典型的には、ｋ＝１が利用される。【００７４】
【数５】
2008108372.tif 000007
【００７５】
【数６】
2008108372.tif 000008
【００７６】
特徴量バッファ１９０２は、画像内特徴量計算手段１９０１によって得られた特徴量を過去の入力分について複数個蓄積する。特徴量バッファ１９０２には、参照画像選択信号が入力され、参照画像選択信号によって指示されるＮ枚の参照画像（Ｐref（１），・・・，Ｐref（Ｎ）とする）に関連して得られたＮ組の特徴量が、重み係数計算手段１９０３に伝達される。【００７７】
重み係数計算手段１９０３は、画像内特徴量計算手段１９０１と特徴量バッファ１９０２とから伝達される特徴量Ｍ（Ｐsrc），Ｍ（Ｐref（１）），・・・，Ｍ（Ｐref（Ｎ）），Ｖ（Ｐsrc），Ｖ（Ｐref（１）），・・・，Ｖ（Ｐref（Ｎ））を用いて、式７に基づき、Ｎ枚の参照画像に対応するＮ組の重み係数（ｗ（１），ｏ（１）），・・・，（ｗ（Ｎ），ｏ（Ｎ））を算出する。算出したＮ組の重み係数は、重み係数計算手段１９０３、すなわち図１に示す重み係数算出装置から出力される。【００７８】
【数７】
2008108372.tif 000009
【００７９】
上記重み係数算出装置から出力される重み係数（ｗ，ｏ）は、例えば、式８に適用して、フェードシーンにおいて参照画像Ｐrefから予測対象画像Ｐsrcを近似する予測画像Ｐpredを生成するのに利用できる。【００８０】
【数８】
2008108372.tif 000010
【００８１】
式８において、ＥはＰsrcおよびＰrefと同じ解像度で全ての画素値が１である画像を表す。あるいは、背景技術の説明で記載した式１と同様な式９に適用して、動きのあるフェードシーンにおいて参照画像Ｐrefから予測対象画像Ｐsrcを近似する予測画像Ｐpredを生成するのに利用できる。【００８２】
【数９】
2008108372.tif 000011
【００８３】
式９において、ＴはＰsrcとＰrefとの間の動きを表す。【００８４】
図１に示す重み係数算出装置と図３に示す従来の重み係数算出装置とを比較すると、図１に示す本発明の実施例としての重み係数算出装置は、図３に示す従来の重み係数算出装置に対して、画像間特徴量算出部１０３を含まないという点が異なる。これによって、重み係数算出に要する演算量を大幅に削減することができる。【００８５】
また、式７は、フェード画像の生成原理に基づいているので、この式７に基づいて計算された重み係数（ｗ，ｏ）を式８あるいは式９に適用することにより、フェードのシーンにおいて、予測対象画像Ｐsrcを高い精度で近似する予測画像Ｐpredを求めることができる。【００８６】
次に、式７がフェード画像の生成原理に基づくことについて詳細に説明する。【００８７】
フェード効果は、フェード対象動画像と、黒色や白色等の単色静止画像とを、時刻に応じて変化する比率で混合することによって生成される。【００８８】
フェードイン後あるいはフェードアウト前の原動画像の時刻ｔにおける画像をＰorg（ｔ）とおき、フェードアウト後またはフェードイン前の単色静止画像をｃＥ（ｃが画素値を表す）とおく。また。時刻ｔにおける混合比をｒ（ｔ）とおく。【００８９】
このとき、フェード途中の時刻ｔにおける混合画像Ｐ（ｔ）は、式１０により表現される。この式１０は、フェード画像の生成原理を表している。重み係数算出においては、Ｐ（ｔ）が入力画像となり、Ｐorg（ｔ）とｃＥとは未知なので、異なる時刻ｔにおけるＰ（ｔ）間の関係を導くことができればよい。【００９０】
【数１０】
2008108372.tif 000012
【００９１】
一般に、フェード中においても、動画像は何らかの動きを持つ。ここで、原動画像フェード中の異なる時刻ｔ0，ｔ1における画像間の動きを、式１１を満たす変換Ｔ（ｔ0，ｔ1）で表す。なお、この変換Ｔ（ｔ0，ｔ1）は、画像信号の振幅自体には変化をもたらさないとし、式１２を満たすものとする。【００９２】
【数１１】
2008108372.tif 000013
【００９３】
【数１２】
2008108372.tif 000014
【００９４】
このとき式１０において、フェード途中の異なる時刻ｔ0，ｔ1を代入し、得られた式から式１１の関係を用いて未知の画像Ｐorg（ｔ）を消去すると、フェード途中の任意の２枚の画像Ｐ（ｔ0），Ｐ（ｔ1）に対して、式１３で表される相互関係が成り立つことがわかる。【００９５】
【数１３】
2008108372.tif 000015
【００９６】
式１３と式９とを照らし合わせると、予測対象画像をＰ（ｔ0）、参照画像をＰ（ｔ1）とする場合、求めるべき理想の重み係数（ｗ，ｏ）は式１４を満たすものであることがわかる。【００９７】
【数１４】
2008108372.tif 000016
【００９８】
ここで、式６と式１０とを用いると、Ｖ（Ｐ（ｔ））とＶ（Ｐorg（ｔ））とについて式１５の関係が成り立つので、Ｖ（Ｐ（ｔ0））とＶ（Ｐ（ｔ1））とについて式１６の関係が導かれる。【００９９】
【数１５】
2008108372.tif 000017
【０１００】
【数１６】
2008108372.tif 000018
【０１０１】
また、式１３から、Ｍ（Ｐ（ｔ0））とＭ（Ｔ（ｔ0，ｔ1）Ｐ（ｔ1））とについて式１７の関係が導かれる。【０１０２】
【数１７】
2008108372.tif 000019
【０１０３】
式１４、式１６、および式１７の３数式からｒ（ｔ0），ｒ（ｔ1），ｃを消去すると、式１８が得られる。【０１０４】
【数１８】
2008108372.tif 000020
【０１０５】
この式１８には、未知数としてＶ（Ｐorg（ｔ0）），Ｖ（Ｐorg（ｔ1）），Ｍ（Ｔ（ｔ0，ｔ1）Ｐ（ｔ1））が残されている。【０１０６】
しかし、Ｐorg（ｔ0）とＰorg（ｔ1）との間で１画面分をまたぐほどの非常に大きな動きがある場合や、シーンチェンジによって画像の特徴が著しく変化する場合を除き、それぞれの画像の交流成分Ｖ（Ｐorg（ｔ0））とＶ（Ｐorg（ｔ1））とはほぼ同じであるとみなせる。【０１０７】
また、Ｐ（ｔ1）に対して時刻ｔ0，ｔ1間の動きを適用した画像Ｔ（ｔ0，ｔ1）Ｐ（ｔ1）の直流成分Ｍ（Ｔ（ｔ0，ｔ1）Ｐ（ｔ1））についても、同様にＭ（Ｐ（ｔ1））とほぼ同じであるとみなせる。【０１０８】
したがって、これらを同じものとみなし、式１９および式２０が成り立つとすると、式１８は式２１によって書き換えることができる。【０１０９】
【数１９】
2008108372.tif 000021
【０１１０】
【数２０】
2008108372.tif 000022
【０１１１】
【数２１】
2008108372.tif 000023
【０１１２】
以上の説明から、予測対象画像をＰsrc、参照画像をＰrefとするとき、フェード画像の生成原理に基づく重み係数（ｗ，ｏ）は式７で表せることがわかる。【０１１３】
本実施例によれば、フェード画像の生成原理に基づく重み係数算出式を用いるので、理論的裏づけがない従来技術に比べて、フェード画像に対して高精度の予測画像を生成可能な重み係数を算出することができる。【０１１４】
ここで、実際に予測画像の精度が高いことについて、図１５から図１８を参照しながら例を挙げて説明する。【０１１５】
前記文献３および文献５に記載の従来技術の実行例と同様に、図１５の画像が静止した状態で図１６の画像にフェードアウトする場合を考え、その過程で経由する図１７の画像を参照画像Ｐref、同様に経由する図１８の画像を予測対象画像Ｐsrcとする。【０１１６】
図１８の画像Ｐsrcの特徴量Ｍ，Ｖを式５および式６にしたがって計算すると、
Ｍ（Ｐsrc）＝２２４，Ｖ（Ｐsrc）＝３２
となる。同様に、図１７の画像Ｐrefの特徴量Ｍ，Ｖを式５および式６にしたがって計算すると、
Ｍ（Ｐref）＝１９２，Ｖ（Ｐref）＝６４
となる。これらの値を式７に代入すると、重み係数として（ｗ，ｏ）＝（０．５，１２８）が得られる。【０１１７】
この重み係数を図１７の参照画像Ｐrefに対して適用し、式８にしたがって予測画像を生成すると、
１２８×０．５＋１２８＝１９２，２５６×０．５＋１２８＝２５６
から、図１８の予測対象画像Ｐsrcに一致する画像が得られることがわかる。【０１１８】
このように、本実施例では、文献３に記載されている方法および文献５に記載されている方法に比べて、精度の高い予測画像を生成可能な重み係数を算出することができる。【０１１９】
また、本実施例では、画像間の特徴量を利用せず、各画像内に閉じた画像全体の特徴量のみを利用するので、図３および式２で示した文献２記載の従来技術に比べて、動きをもつシーンに対しても、高精度の予測画像を生成可能な重み係数を算出できる。【０１２０】
ここで、実際に予測画像の精度が高いことについて、図４から図１３および図２を参照しながら例を挙げて説明する。【０１２１】
前記文献２に記載の従来技術の実行例と同様に、図４、図１０、図１１、図１２、および図９に示す一連の画像からなるフェードアウト過程において、図４に示す画像を参照画像Ｐref、図１２に示す画像を予測対象画像Ｐsrcとして、重み付き予測を行う場合を考える。【０１２２】
シーンには動きがあるため、重み係数の算出を動きベクトルの導出と独立に行うものとすると、予測画像として生成すべき目標画像は図１３で表される。【０１２３】
図４に示す画像Ｐrefの特徴量Ｍ（Ｐref），Ｖ（Ｐref）、および図１２に示す画像Ｐsrcの特徴量Ｍ（Ｐsrc），Ｖ（Ｐsrc）を、式５および式６においてｋ＝１として計算し、得られた特徴量を有効数字を４桁として式７に適用することにより重み係数を計算すると、（ｗ，ｏ）＝（０．１６６０，２０１．８）が得られる。【０１２４】
この重み係数を図４に示す参照画像Ｐrefに対して適用し、式８にしたがって得られる計算結果の小数点以下を四捨五入して予測画像を生成すると、
０×０．１６６０＋２０１．８≒２０２，
１２８×０．１６６０＋２０１．８≒２２３，
２５６×０．１６６０＋２０１．８≒２４４
から、図２に示す予測画像が得られる。【０１２５】
図２に示す予測画像は、図１３に示す目標画像に対して完全一致はしないものの、文献２に記載されている方法により生成される図１４に示す画像に比べて、遥かに図１３に示す画像に近い。【０１２６】
具体的には、図１４に示す画像の図１３に示す画像に対する平均二乗誤差は８３０８であるのに対して、図２に示すの画像の図１３に示す画像に対する平均二乗誤差は４５．６０と２桁以上小さい。【０１２７】
このように、本実施例では、文献２に記載されている方法に比べて、動きのあるシーンに対しても、精度の高い予測画像を生成可能な重み係数を算出することができる。【０１２８】
また、本実施例では、画像内に閉じた特徴量のみ利用するので、従来の理論的裏付けを持つ重み係数算出技術である文献２に記載されている方法に比べ、より少ない演算量で重み係数を算出できる。【０１２９】
以上、上記実施例においては、特徴量ＭおよびＶとして、式５および式６によって算出される値を用いた。しかし、本発明は式５および式６の定義に限定されるものではない。【０１３０】
上記実施例の動作の説明から、特徴量Ｖが式１５を満たすとき、式７はフェード画像の生成原理に基づく。【０１３１】
つまり、特徴量Ｖの定義として、式１５を満たす他の定義を用いてもよい。例えば、特徴量Ｖの導出に、画素の平均値に対する差分絶対値を用いる代わりに、近接画素どうしの差分絶対値を用いてもよい。【０１３２】
つまり、画像上の座標ｘにおける画素をｐ（ｘ）、任意の座標差分をδ、画像Ｘにおいて座標ｘおよび座標ｘ＋δが共に画像領域内にあるような座標ｘの個数をpixnum（ｘ，δ）とおくとき、特徴量Ｖを式２２によって算出しても良い。【０１３３】
【数２２】
2008108372.tif 000024
【０１３４】
この式２２と式１０を用いると、V(P(t))とV(Porg(t))について、式１５の関係が成り立つ。これによって、特徴量Ｖとして、式６の定義に代えて、式２２の定義を用いた場合にも、本実施例はフェード画像の生成原理に基づくことがわかる。【０１３５】
また例えば、ＭおよびＶを、全ての画素を用いて計算するのではなく、その画像Ｐに含まれる一部の画素から計算してもよいし、縮小や強調などの変換をかけた画像から計算してもよい。【０１３６】
これを式で表すと式２３および式２４または式２５の通りとなる。式２３、式２４および式２５において、pixnum（Ｘ）は画像Ｘの画素数を表し、trans（Ｐ）は画像Ｐに対して部分画像切り出し、間引き、縮小、強調などの任意の変換をかけた画像を表す。【０１３７】
【数２３】
2008108372.tif 000025
【０１３８】
【数２４】
2008108372.tif 000026
【０１３９】
【数２５】
2008108372.tif 000027
【０１４０】
また、ＭおよびＶを、画像Ｐの複数の部分画像から計算してもよい。これを式で表すと式２６および２７または式２８の通りとなる。式２６、式２７および式２８において、αi は任意の正定数を表し、ｓｕｂi （Ｐ）は画像Ｐから一部の画素を抽出した１枚の部分画像のうちのｉ番目を表す。【０１４１】
【数２６】
2008108372.tif 000028
【０１４２】
【数２７】
2008108372.tif 000029
【０１４３】
【数２８】
2008108372.tif 000030
【０１４４】
さらに、既に述べたように、特徴量Ｖは、式２１を満たしていればよい。特徴量Ｖが式１５を満たすとき、特徴量Ｖに対し任意の線形演算、すなわち任意の定数の乗除もしくは特徴量同士の加減算を行った結果もまた式１５を満たす。【０１４５】
したがって、特徴量Ｖとして、式６，２２，２４，２５，２７，２８に対し、任意の線形演算を加えたものを用いてもよい。【０１４６】
以上に述べたように、本実施例によれば、重み付き予測において高精度の予測画像を生成可能な重み係数を算出することができる。これにより、重み付き予測符号化技術を採用した動画像圧縮符号化において、本実施例を適用することにより重み係数を算出し、算出された重み係数を用いて動画像を重み付き予測符号化し、算出された重み係数を共に符号化することで、動画像の圧縮効率を高めることができる。【０１４７】
以上、本発明について実施例を参照して説明したが、本発明は上記実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【０１４８】
本実施例では、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣなどの重み付き予測符号化技術を採用した動画像圧縮符号化において、照明が時間的に変化するシーンや映像特殊効果の一種であるフェード効果を適用したシーンを効率よく圧縮符号化するのに好適である。特に十分に小さい演算量で、かつ予測画像生成に対して十分に高い精度で重み付き予測に必要なパラメータの導出を実現できる効果が大きい。フェード効果は、映画やテレビ番組などを含む広範囲な動画像コンテンツの制作現場で利用されているため、本実施例の装置及び方法は動画像圧縮符号化を利用する広範囲な産業に利用可能である。たとえば、放送、インターネットストリーミング、ＤＶＤ（登録商標）をはじめとする動画像パッケージの作成、家庭用の動画像録画機などに利用可能である。【０１４９】
この出願は、２００７年３月５日に出願された日本出願２００７−５４６０５号と２００８年１月１５日に出願された日本出願２００８−５６３６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2008108372.tif 000037
【図２】
2008108372.tif 000038
【図３】
2008108372.tif 000039
【図４】
2008108372.tif 000040
【図５】
2008108372.tif 000041
【図６】
2008108372.tif 000042
【図７】
2008108372.tif 000043
【図８】
2008108372.tif 000044
【図９】
2008108372.tif 000045
【図１０】
2008108372.tif 000046
【図１１】
2008108372.tif 000047
【図１２】
2008108372.tif 000048
【図１３】
2008108372.tif 000049
【図１４】
2008108372.tif 000050
【図１５】
2008108372.tif 000051
【図１６】
2008108372.tif 000052
【図１７】
2008108372.tif 000053
【図１８】
2008108372.tif 000054
【図１９】
2008108372.tif 000055
【図２０】
2008108372.tif 000056
【図２１】
2008108372.tif 000057
【手続補正書】
【提出日】平成20年9月4日(2008.9.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像が前記フェード中の予測対象画像に近似するように前記重み係数を算出する重み付き予測情報算出方法であって、
前記重み付き予測情報算出方法は、
順次入力される入力画像の特徴量を計算する第１のステップと、
前記第１のステップで計算された特徴量を入力画像と関連付けて記憶する第２のステップと、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する第３のステップとを備え、
前記第３のステップは、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて前記重み係数を算出するステップを含む
ことを特徴とする重み付き予測情報算出方法。
【請求項２】
請求項１において、
第３のステップは、
フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出するステップを含み、
前記フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐｏｒｇ（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ０ならびにｔ１における画像Ｐ（ｔ０），Ｐ（ｔ１）に対して、Ｐ（ｔ０）とＰ（ｔ１）との間の動きをＴ（ｔ０，ｔ１）で表したときに下式（数１）で表される
ことを特徴とする重み付き予測情報算出方法。
【数１】
2008108372.tif 000058
【請求項３】
請求項１において、
前記重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、
第３のステップは、
予測対象画像内の直流成分を表す値をＭ（Ｐｓｒｃ）、前記参照画像内の直流成分を表す値をＭ（Ｐｒｅｆ）、前記予測対象画像内の交流成分を表す値をＶ（Ｐｓｒｃ）、前記参照画像内の交流成分を表す値をＶ（ｐｒｅｆ）とするとき、下式（数２）を用いて算出される（ｗ，ｏ）を前記重み係数として算出するステップを含む
ことを特徴とする重み付き予測情報算出方法。
【数２】
2008108372.tif 000059
【請求項４】
請求項３において、
前記画像内の交流成分を、画像内の画素と前記直流成分との差分値から算出するステップを含むことを特徴とする重み付き予測情報算出方法。
【請求項５】
請求項３において、
前記画像内の交流成分を、画像内の画素と当該画素に近接する画素との差分値から算出するステップを含むことを特徴とする重み付き予測情報算出方法。
【請求項６】
フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像が前記フェード中の予測対象画像に近似するように、各々の参照画像に対応する重み係数を算出するステップを備える動画像符号化方法であって、
前記動画像符号化方法は、
順次入力される入力画像の特徴量を計算する第１のステップと、
前記第１のステップで計算された特徴量を入力画像と関連付けて記憶する第２のステップと、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する第３のステップとを備え、
前記第３のステップは、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて前記重み係数を算出するステップを含み、
算出された重み係数を用いて動画像を重み付け予測符号化するステップと、
算出された重み係数を符号化するステップと
を備えたことを特徴とする動画像符号化方法。
【請求項７】
フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像が前記フェード中の予測対象画像に近似するように前記重み係数を算出する重み付き予測情報算出装置であって、
前記重み付き予測情報算出装置は、
順次入力される入力画像の特徴量を計算する特徴量計算手段（１９０１）と、
前記特徴量計算手段で計算された特徴量を入力画像と関連付けて記憶する特徴量記憶手段（１９０２）と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数計算手段（１９０３）と
を備え、
前記重み係数計算手段は、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて前記重み係数を算出することを特徴とする重み付き予測情報算出装置。
【請求項８】
請求項７において、
前記重み係数計算手段は、
フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出し、
前記フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐｏｒｇ（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ０ならびにｔ１における画像Ｐ（ｔ０），Ｐ（ｔ１）に対して、ｐ（ｔ０）とＰ（ｔ１）との間の動きをＴ（ｔ０，ｔ１）で表したときに下式（数３）で表される
ことを特徴とする重み付き予測情報算出装置。
【数３】
2008108372.tif 000060
【請求項９】
請求項７において、
前記重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、
前記重み係数計算手段は、
予測対象画像内の直流成分を表す値をＭ（Ｐｓｒｃ）、前記参照画像内の直流成分を表す値をＭ（Ｐｒｅｆ）、前記予測対象画像内の交流成分を表す値をＶ（Ｐｓｒｃ）、前記参照画像内の交流成分を表す値をＶ（Ｐｒｅｆ）とするとき、下式（数４）を用いて算出される（ｗ，ｏ）を前記重み係数として算出することを特徴とする記載の重み付き予測情報算出装置。
【数４】
2008108372.tif 000061
【請求項１０】
請求項９において、
前記重み係数計算手段は、
画像内の交流成分を、画像内の画素と前記直流成分との差分値から算出することを特徴とする重み付き予測情報算出装置。
【請求項１１】
請求項９において、
前記重み係数計算手段は、
画像内の交流成分を、画像内の画素と当該画素に近接する画素との差分値から算出することを特徴とする重み付き予測情報算出装置。
【請求項１２】
フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像が前記フェード中の予測対象画像に近似するように、各々の参照画像に対応する重み係数を算出する動画像符号化装置であって、
前記動画像符号化装置は、
順次入力される入力画像の特徴量を計算する特徴量計算手段（１９０１）と、
前記特徴量計算手段で計算された特徴量を入力画像と関連付けて記憶する特徴量記憶手段（１９０２）と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数計算手段（１９０３）と
を備え、
前記重み係数計算手段は、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて前記重み係数を算出し、
算出された重み係数を用いて動画像を重み付け予測符号化する予測符号化手段（１９１０）と、
算出された重み係数を符号化する符号化手段（１９２０）と
を備えたことを特徴とする動画像符号化装置。
【請求項１３】
フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像が前記フェード中の予測対象画像に近似するように前記重み係数を算出する重み付き予測情報算出プログラムであって、
前記重み付き予測情報算出プログラムは、
コンピュータに、
順次入力される入力画像の特徴量を計算する特徴量計算処理と、
前記特徴量計算処理で計算された特徴量を入力画像と関連付けて記憶手段に記憶させる記憶処理と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数算出処理とを実行させ、
前記重み係数算出処理で、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて前記重み係数を算出させる
ための重み付き予測情報算出プログラム。
【請求項１４】
請求項１３において、
コンピュータに、
前記重み係数算出処理において、
フェード中の任意の異なる時刻における２枚の画像に対して、フェード画像の生成原理から導かれる相互関係に基づき、予測対象画像と参照画像とをそれぞれフェード中の任意の時刻における画像とおくことにより重み係数を算出させ、
前記フェード画像の生成原理から導かれる相互関係とは、フェード途中の任意の時刻ｔにおける画像Ｐ（ｔ）が、画像Ｐｏｒｇ（ｔ）と画素値ｃを持つ単色静止画像ｃＥとを比ｒ（ｔ）で混合することにより生成されたものであるとき、フェード途中の任意の時刻ｔ０ならびにｔ１における画像Ｐ（ｔ０），Ｐ（ｔ１）に対して、Ｐ（ｔ０）とＰ（ｔ１）との間の動きをＴ（ｔ０，ｔ１）で表したときに下式（数５）で表される
ことを特徴とする重み付き予測情報算出プログラム。
【数５】
2008108372.tif 000062
【請求項１５】
請求項１３において、
前記重み係数は、参照画像の画素値に対して乗算することによって重み付けを行う項ｗと、参照画像の画素値に対して加算することによって重み付けを行う項ｏとから構成され、
コンピュータに、
前記重み係数算出処理において、
予測対象画像内の直流成分を表す値をＭ（Ｐｓｒｃ）、前記参照画像内の直流成分を表す値をＭ（Ｐｒｅｆ）、前記予測対象画像内の交流成分を表す値をＶ（Ｐｓｒｃ）、前記参照画像内の交流成分を表す値をＶ（ｐｒｅｆ）とするとき、下式（数６）を用いて算出される（ｗ，ｏ）を前記重み係数として算出させる
ことを特徴とする重み付き予測情報算出プログラム。
【数６】
2008108372.tif 000063
【請求項１６】
請求項１５において、
コンピュータに、
前記重み係数算出処理において、
画像内の交流成分を、画像内の画素と前記直流成分との差分値から算出させる
ことを特徴とする重み付き予測情報算出プログラム。
【請求項１７】
請求項１５において、
コンピュータに、
前記重み係数算出処理において、
画像内の交流成分を、画像内の画素と当該画素に近接する画素との差分値から算出させる
ことを特徴とする重み付き予測情報算出プログラム。
【請求項１８】
フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像が前記フェード中の予測対象画像に近似するように、各々の参照画像に対応する重み係数を算出する動画像符号化プログラムであって、
前記動画像符号化プログラムは、
コンピュータに、
順次入力される入力画像の特徴量を計算する特徴量計算処理と、
前記特徴量計算処理で計算された特徴量を入力画像と関連付けて記憶手段に記憶させる記憶処理と、
入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数算出処理とを実行させ、
かつ、前記重み係数算出処理で、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて前記重み係数を算出させ、
算出された重み係数を用いて動画像を重み付け予測符号化する処理と、
算出された重み係数を符号化する処理とを実行させる
動画像符号化プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
算出方法であって、フェード画像の生成原理から導かれる予測対象画像と参照画像と画像特徴量との相互関係式に基づいて、重み係数を算出することを特徴とする。これにより、本発明は前述した目的を達成することができる。
［００５２］
すなわち、本発明による重み付き予測情報算出方法は、フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像がフェード中の予測対象画像に近似するように重み係数を算出する重み付き予測情報算出方法であって、この重み付き予測情報算出方法は、順次入力される入力画像の特徴量を計算する第１のステップと、第１のステップで計算された特徴量を入力画像と関連付けて記憶する第２のステップと、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する第３のステップとを備え、第３のステップで、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて重み係数を算出することを特徴とする。
［００５３］
また、本発明による重み付き予測情報算出装置は、フェード中の１枚または複数枚の参照画像に対して重み係数による重み付けを行うことで作成された予測画像がフェード中の予測対象画像に近似するように重み係数を算出する重み付き予測情報算出装置であって、この重み付き予測情報算出装置は、順次入力される入力画像の特徴量を計算する特徴量計算手段と、特徴量計算手段で計算された特徴量を入力画像と関連付けて記憶する特徴量記憶手段と、入力画像のうちのいずれか１枚の画像である予測対象画像と、入力画像のうちのいずれか１枚または複数枚の画像である参照画像とのそれぞれに関連付けられた特徴量を用いて、各々の参照画像に対応する重み係数を算出する重み係数計算手段とを備え、重み係数計算手段は、フェード中の画像が、或る画像と或る単色静止画像との線形和によって生成される、との条件を用いて重み係数を算出することを特徴とする。
発明の効果
［００５４］
本発明によれば、フェード効果の付与されたシーンにおいて、重み係数を少ない演算量かつ高い精度で求めることができる。
ここで、重み係数の演算量が少ないことの理由は、重み係数の算出に際して単一
【国際調査報告】
2008108372.tif 000064
2008108372.tif 000065
2008108372.tif 000066
2008108372.tif 000067