(57)【要約】【課題】複数の輝度変化が生じている場合にも，輝度変化パラメータを適切に算出することにより，精度の高い輝度変化の推定を可能とする。【解決手段】まず，画像フレームβをＮ個の領域に分割し（Ｓ２），その領域ごとに画像フレームαの対応する領域との間で輝度変化パラメータを算出する（Ｓ３）。次に，画像フレームβのブロックごとにＮ種類の輝度変化パラメータの中から最適な１つを選択する（Ｓ４）。同じ輝度変化パラメータが選択されたブロックの集合を新たな領域として再設定し（Ｓ７），その新たなＮ個の領域ごとに輝度変化パラメータを算出しなおす（Ｓ３）。以上の処理を繰り返し，輝度変化パラメータの値がほぼ変化しなくなったときのＮ種類の輝度変化パラメータを画像フレームβの輝度変化パラメータとする（Ｓ９）。【選択図】図１
2005210258.tif 000002
【特許請求の範囲】
【請求項１】
動画像における画像フレーム間の輝度変化量を表す輝度変化パラメータを推定する方法であって，
画像フレームを１つ以上のブロックからなるＮ個（Ｎ≧２）の領域に分割する第１の過程と，
前記分割された領域ごとに輝度変化パラメータを算出することにより，Ｎ種類の輝度変化パラメータを取得する第２の過程と，
前記画像フレームのブロックごとに，Ｎ種類の輝度変化パラメータの中から最適な１つを選択する第３の過程と，
選択された輝度変化パラメータごとに前記画像フレームのブロックを分類し，同じ輝度変化パラメータが選択されたブロックの集合を新たなＮ個の領域とする第４の過程と，
前記新たな領域ごとに輝度変化パラメータを算出し直すことにより，新たなＮ種類の輝度変化パラメータを取得する第５の過程とを有する
ことを特徴とする動画像の輝度変化パラメータ推定方法。
【請求項２】
請求項１に記載の動画像の輝度変化パラメータ推定方法において，
前記第３の過程から前記第５の過程までを，あらかじめ定められた条件を満たすまで繰り返し，
前記条件が満たされたときのＮ種類の輝度変化パラメータを，最終的に推定された輝度変化パラメータとして決定する
ことを特徴とする動画像の輝度変化パラメータ推定方法。
【請求項３】
請求項１または請求項２に記載された動画像の輝度変化パラメータ推定方法を実現するステップを，コンピュータに実行させるための動画像の輝度変化パラメータ推定プログラム。
【請求項４】
請求項１または請求項２に記載された動画像の輝度変化パラメータ推定方法を実現するステップを，コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な動画像の輝度変化パラメータ推定プログラム記録媒体。
【請求項５】
画像フレーム間の輝度変化パラメータを用いて輝度変化補償による動画像のフレーム間予測を行い，予測誤差信号を符号化する動画像符号化装置であって，
請求項１または請求項２に記載された動画像の輝度変化パラメータ推定方法を用いて，前記輝度変化補償のための輝度変化パラメータを推定する手段を備える
ことを特徴とする動画像符号化装置。
【請求項６】
画像フレーム間の輝度変化パラメータを用いて輝度変化補償による動画像のフレーム間予測を行い，予測誤差信号を符号化する動画像符号化方法であって，
請求項１または請求項２に記載された動画像の輝度変化パラメータ推定方法を用いて，前記輝度変化補償のための輝度変化パラメータを推定する過程を有する
ことを特徴とする動画像符号化方法。
【請求項７】
請求項６に記載された動画像符号化方法を実現するステップを，コンピュータに実行させるための動画像符号化プログラム。
【請求項８】
請求項６に記載された動画像符号化方法を実現するステップを，コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な動画像符号化プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ディジタル動画像を効率よく伝送・蓄積する符号化方式や，動画像編集等の際の画像処理方式において必要となる画像フレーム間の輝度変化量を推定する技術，および，その輝度変化量推定技術を用いて動画像を符号化する技術に関する。
【背景技術】
【０００２】
動画像フレーム間の大局的な輝度変化量を推定する従来の技術として，例えば，特許文献１に記載された技術がある。特許文献１では，
ｘ’＝Ｗ・ｘ＋Ｃ                                            ……  式（１）
という式で輝度変化が表されている。式（１）において，ｘは輝度変化前の画素の輝度であり，ｘ’は輝度変化後の画素の輝度である。また，ＷとＣは定数であり，輝度変化量を表すパラメータである。これを輝度変化パラメータと呼ぶ。
【０００３】
式（１）からわかるように，ある画像フレーム（以下，画像フレームαという）と別の画像フレーム（以下，画像フレームβという）との間の輝度変化量を推定するということは，画像フレームαと画像フレームβとの間の輝度変化パラメータを算出するということと等価である。
【０００４】
また，非特許文献１に記載された技術では，画像フレーム内の場所によって輝度変化が異なる場合に対応するために，画像フレームαと画像フレームβとの間の輝度変化パラメータとして２種類を用意し，ブロックごとにどちらかを選択できるようにしている。
【特許文献１】特許第２９３８４１２号公報
【非特許文献１】「ＭＰＥＧ−４  ＡＶＣ  における適応的重み付け動き補償」，２００３年画像符号化シンポジウム（ＰＣＳＪ２００３），P-5.14, pp.89-90
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１の技術では，上述の通り，画像フレームαと画像フレームβとの間の輝度変化パラメータとして２種類を用意しておき，ブロックごとにどちらかを選択できるようにしている。しかし，２種類の輝度変化パラメータの適切な算出方法がなかったため，２種類のパラメータともＷについては，Ｗ＝１としている。また，Ｃについては，符号化対象画像フレームと２種類の参照画像フレームとの画面全体の平均値を用いているに過ぎない。
【０００６】
したがって，この方法では，必ずしも実際の輝度変化量を表したパラメータが用いられているとは言えず，例えば，この方法を画像符号化に適用しても十分な符号化効率が得られない，という問題があった。
【０００７】
本発明は，上記の問題点の解決を図り，複数の輝度変化が生じている場合にも，輝度変化パラメータを適切に算出することにより，精度の良い輝度変化の推定が可能であり，また，これにより従来よりもさらに効率のよい符号化を行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では，上記の課題を解決するため，まず，画像フレームβを１つ以上のブロックからなるＮ個（Ｎ≧２）の領域に分割し，その領域ごとに，画像フレームαの対応する領域との間で輝度変化パラメータを算出する。次に，画像フレームβのブロックごとに，Ｎ種類の輝度変化パラメータの中から最適な１つを選択する。すべてのブロックに対して適切なパラメータを選択し終えたら，同じ輝度変化パラメータが選択されたブロックの集合を新たな領域とし，その新たなＮ個の領域ごとに輝度変化パラメータを算出しなおす。
【０００９】
以上の処理を繰り返し，輝度変化パラメータの値がほぼ変化しなくなった時点で，最終的に得られたＮ種類の輝度変化パラメータを画像フレームβの輝度変化パラメータとする。
【発明の効果】
【００１０】
本発明では，２つの画像フレーム間の輝度変化量を推定する方法として，画像フレームの局所的な性質に合わせて領域を分類しながら各領域に適した輝度変化パラメータを算出する方法を用いることにより，複数の輝度変化が生じている場合にも精度よい輝度変化推定を行うことが可能となる。
【００１１】
また，このような輝度変化の推定方法を画像符号化装置に用いることにより，従来よりもさらに効率のよい符号化を行うことが可能となる。
【発明を実施するための最良の形態】
【００１２】
図１は，本発明の実施の形態における動画像の輝度変化パラメータ推定処理フローチャートである。また，図２は，本実施の形態における画像フレームの構成を示す図である。また，図３は，本実施の形態における画像フレームβの領域（初期状態）の例を示す図である。また，図４は，本実施の形態における画像フレームβの領域（設定しなおした状態）の例を示す図である。以下，図１〜図４を用いて，本実施の形態における動画像の輝度変化パラメータ推定処理の流れについて説明する。
【００１３】
本実施の形態では，輝度変化パラメータの数Ｎが４である場合を例として説明する。また，図２に示すように，画像フレームのサイズは，横３２０画素×縦２５６画素であり，画像フレームの各ブロックのサイズは，横１６画素×縦１６画素であるものとする。したがって，画像フレームは，横２０ブロック×縦１６ブロックで構成されることになる。もちろんこれらは一例であり，本発明はこれらの実施に限定されるわけではない。
【００１４】
ステップＳ１：変数Ｄに十分大きな値を代入する。
【００１５】
ステップＳ２：画像フレームβを４つに分割し，領域（領域Ａ〜Ｄ）を設定する。ここでは，図３に示すとおりにすべての領域が等しくなるように分割するものとする。１つの領域は，横１０ブロック×縦８ブロックで構成されることとなる。
【００１６】
ステップＳ３：設定された領域ごとに，画像フレームαの対応する部分（領域）との間の輝度変化パラメータを算出する。ここで，各領域の輝度変化パラメータの算出は，例えば，特許文献１に記載されている画面全体の輝度変化パラメータを算出する技術を，画面全体の代わりに各領域に対して適用することで実現することができる。これにより，４種類の輝度変化パラメータ（輝度変化パラメータＡ〜Ｄ）が得られる。
【００１７】
ステップＳ４：画像フレームβのブロックごとに，ステップＳ３で算出された４種類の輝度変化パラメータのうちの１つを選択する。ブロックごとの輝度変化パラメータ選択の手順としては，まず，４種類の輝度変化パラメータごとに，画像フレームαの対応する部分（ブロック）の画素の輝度値ｘから，式（１）を用いて輝度変化後の輝度値ｘ’を求める。次に，式（１）で求めた輝度変化後の輝度値ｘ’と画像フレームβの実際の輝度値との誤差を求め，求めた誤差のブロック内絶対値和を，４種類の輝度変化パラメータごとに算出する。算出された誤差のブロック内絶対値和が最小となる輝度変化パラメータを，そのブロックの輝度変化パラメータとして選択する。
【００１８】
ステップＳ５：ステップＳ４で算出された各ブロックの誤差のブロック内絶対値和の画像フレームβ全体の総和を求め，それをｄとする。ここで，画像フレームβ全体の総和の計算に用いる各ブロックの誤差のブロック内絶対値和としては，選択された輝度変化パラメータを用いて計算された誤差のブロック内絶対値和を用いる。
【００１９】
ステップＳ６：Ｄ−ｄ＞ｅの場合には，ステップＳ７に進む。Ｄ−ｄ≦ｅの場合には，ステップＳ９に進む。ここで，ｅはあらかじめ設定された正の値である。このステップＳ６の判定は，次のステップＳ７で設定しなおされた領域で新たにステップＳ３〜ステップＳ５の処理によって求められたｄと，その前のｄ（ステップＳ８でＤに代入されている）との差が閾値ｅ以下のとき，つまり，領域を設定しなおしてステップＳ３〜ステップＳ５の処理を実行しても各ブロックの誤差のブロック内絶対値和の画像フレームβ全体の総和ｄがあまり変わらなくなったときに，処理を終了させるための判定である。
【００２０】
ステップＳ７：選択された輝度変化パラメータごとに画像フレームβの各ブロックを分類し，新たな領域として設定しなおす。例えば，図４に示すように，選択された輝度変化パラメータが輝度変化パラメータＡであるブロックを領域Ａ’として設定しなおす。同様に，選択された輝度変化パラメータが輝度変化パラメータＢ〜Ｄであるブロックも，それぞれ領域Ｂ’〜Ｄ’として設定しなおす。
【００２１】
ステップＳ８：ｄの値をＤに代入し，ステップＳ３に戻る。
【００２２】
ステップＳ９：ステップＳ７で最終的に設定された４個の領域と，ステップＳ３で最終的に算出された４種類の輝度変化パラメータとを，画像フレームβにおける領域と輝度変化パラメータとして決定し，処理を終了する。
【００２３】
図５は，本発明の実施の形態における動画像符号化装置の構成例を示す図である。図５に示す動画像符号化装置は，上述の輝度変化パラメータ推定処理を用いて動画像のフレーム間予測を行い，予測誤差信号を符号化する。
【００２４】
入力端子１から，符号化対象画像フレームが入力される。一方，フレームメモリ７には，１フレーム前に符号化処理された参照画像フレームが蓄積されている。
【００２５】
輝度変化パラメータ推定部９は，上述の輝度変化パラメータ推定処理を実行する。すなわち，入力端子１から入力された符号化対象画像フレームが画像フレームβ，フレームメモリ７に蓄積された参照画像フレームが画像フレームαに相当する。例えば，輝度変化パラメータ推定部９は，図１に示す輝度変化パラメータ推定処理により，両画像の間の輝度変化パラメータを４種類算出する。符号化対象画像フレームのどのブロックに対して４種類のうちのどの輝度変化パラメータを用いるかという情報は，輝度変化補償部８と符号割当部１０とに送られる。
【００２６】
輝度変化補償部８は，フレームメモリ７に蓄積された参照画像フレームに対して，輝度変化パラメータ推定部９から送られた輝度変化パラメータにより輝度変化を補償する。符号割当部１０は，輝度変化パラメータ推定部９から送られた情報に対して符号を割り当て，それを出力端子１２から送出する。
【００２７】
輝度変化補償部８で補償された参照画像フレームの信号は，符号化対象画像フレームの信号に対する予測信号であり，減算器２によって得られた予測誤差信号が量子化部３で量子化される。量子化された信号は，符号割当部４と逆量子化部５とに送られる。
【００２８】
符号割当部４は，量子化部３から送られた量子化された信号に対して符号を割り当て，それを出力端子１１から送出する。逆量子化部５は，量子化部３から送られた量子化された信号を逆量子化し，量子化後の予測誤差信号とする。量子化後の予測誤差信号は，加算器６で輝度変化補償部８で補償された参照画像フレームの信号と加算され，次の符号化対象フレームに対する予測参照画像としてフレームメモリ７に蓄えられる。
【００２９】
ここで，本実施の形態の動画像符号化では，本発明の要旨をわかりやすく説明するために，輝度変化補償のみを行って符号化する例を説明したが，例えば特許文献１に記載されているように動き補償やその他の符号化方式と組み合わせて，本発明による動画像符号化を実施することができることは言うまでもない。
【００３０】
以上説明した動画像の輝度変化パラメータ推定の処理および動画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態における動画像の輝度変化パラメータ推定処理フローチャートである。
【図２】本実施の形態における画像フレームの構成を示す図である。
【図３】本実施の形態における画像フレームβの領域（初期状態）の例を示す図である。
【図４】本実施の形態における画像フレームβの領域（設定しなおした状態）の例を示す図である。
【図５】本発明の実施の形態における動画像符号化装置の構成例を示す図である。
【符号の説明】
【００３２】
１  入力端子
２  減算器
３  量子化部
４，１０  符号割当部
５  逆量子化部
６  加算器
７  フレームメモリ
８  輝度変化補償部
９  輝度変化パラメータ推定部
１１，１２  出力端子
【図１】
2005210258.tif 000003
【図２】
2005210258.tif 000004
【図３】
2005210258.tif 000005
【図４】
2005210258.tif 000006
【図５】
2005210258.tif 000007