(57)【特許請求の範囲】
【請求項１】
映像のフレーム内予測符号化を制御するフレーム内予測符号化制御方法であって、
フレーム内予測符号化の対象となる符号化対象領域が静止領域であるのか否かを判定する過程と、
上記静止領域と判定した符号化対象領域の平坦度合いを算出する過程と、
上記静止領域と判定した符号化対象領域について、上記算出した平坦度合いと所定の閾値とを比較することで、平坦なほど高いちらつき度合いを示すちらつき度合いレベルの内のどのレベルに属するのかを判断することにより、上記算出した平坦度合いの示すちらつき度合いのレベルを推定する過程と、
符号化対象領域の符号化に利用可能な予測モードを、ちらつき度合いが高いレベルほど利用可能な予測モードが絞られる形で定められた利用可能な予測モードの内の上記推定したちらつき度合いのレベルに対応付けて定められた利用可能な予測モードに制限するか、符号化対象領域の符号化に利用可能な予測ブロックサイズを、ちらつき度合いが高いレベルほど利用可能な予測ブロックサイズが絞られる形で定められた利用可能な予測ブロックサイズの内の上記推定したちらつき度合いのレベルに対応付けて定められた利用可能な予測ブロックサイズに制限するか、その両方について制限する過程とを備えることを、
特徴とするフレーム内予測符号化制御方法。
【請求項２】
映像のフレーム内予測符号化を制御するフレーム内予測符号化制御装置であって、
フレーム内予測符号化の対象となる符号化対象領域が静止領域であるのか否かを判定する手段と、
上記静止領域と判定した符号化対象領域の平坦度合いを算出する手段と、
上記静止領域と判定した符号化対象領域について、上記算出した平坦度合いと所定の閾値とを比較することで、平坦なほど高いちらつき度合いを示すちらつき度合いレベルの内のどのレベルに属するのかを判断することにより、上記算出した平坦度合いの示すちらつき度合いのレベルを推定する手段と、
符号化対象領域の符号化に利用可能な予測モードを、ちらつき度合いが高いレベルほど利用可能な予測モードが絞られる形で定められた利用可能な予測モードの内の上記推定したちらつき度合いのレベルに対応付けて定められた利用可能な予測モードに制限するか、符号化対象領域の符号化に利用可能な予測ブロックサイズを、ちらつき度合いが高いレベルほど利用可能な予測ブロックサイズが絞られる形で定められた利用可能な予測ブロックサイズの内の上記推定したちらつき度合いのレベルに対応付けて定められた利用可能な予測ブロックサイズに制限するか、その両方について制限する手段とを備えることを、
特徴とするフレーム内予測符号化制御装置。
【請求項３】
請求項１に記載のフレーム内予測符号化制御方法の各過程をコンピュータに実行させるためのフレーム内予測符号化制御プログラム。
【請求項４】
請求項１に記載のフレーム内予測符号化制御方法の各過程をコンピュータに実行させるためのフレーム内予測符号化制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム内予測符号化を用いて映像を符号化するときに、復号信号を生成することなく、ちらつきを抑制するように制御するフレーム内予測符号化制御方法およびその装置と、そのフレーム内予測符号化制御方法の実現に用いられるフレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
標準動画像符号化方式であるＨ．２６４（例えば、非特許文献１参照）では、符号化効率を向上させるために、フレーム内符号化を行う際に、近傍画素から予測信号を生成する予測符号化方式を採用している。Ｈ．２６４のフレーム内予測符号化方式では、予測モードや予測ブロックサイズを適応的に切り替え可能である。この予測符号化方式の採用により、従来の映像符号化方式に比べ、フレーム内符号化フレームの符号化効率が格段に向上している。
【０００３】
しかし、フレーム内符号化方式に予測符号化を採用したことで、静止領域がちらつくフリッカ現象という問題が発生した。
【０００４】
従来の映像符号化方式において、フレーム内符号化では、ブロック内の歪量は、近傍ブロックの影響を受けることなく、量子化ステップサイズのみで決まっていた。これに対して、Ｈ．２６４では、予測符号化方式の予測信号を符号化対象領域の近傍画素から生成している。このため、符号化対象ブロックの近傍領域で画素値に変化があると、符号化対象ブロックの予測信号が影響を受け、その結果、量子化誤差が変動する。これにより、静止領域であっても、近傍画素の影響で、符号化対象ブロックの量子化誤差が時間的に変動し、ちらつきとして現れる。
【０００５】
このフリッカ現象を低減する方法として、非特許文献２や非特許文献３などに記載される方法がある。
【０００６】
これらの方法は、ちらつきを軽減する効果があるものの、Ｈ．２６４規格に準拠しておらず、Ｈ．２６４準拠のデコーダでは復号できないという問題がある。そこで、Ｈ．２６４規格に準拠した非特許文献４のような方法が提案されている。
【０００７】
図７に、非特許文献４に記載されるフリッカ現象を低減する方法のフローチャートを図示する。
【０００８】
すなわち、非特許文献４に記載される方法では、以下に説明する「静止領域判定」／「４×４ブロックサイズでの予測モード決定」／「１６×１６ブロックサイズでの予測モード決定」／「予測ブロックサイズの決定」／「符号化処理」という処理を行うことで、フリッカ現象を低減するようにしている。
【０００９】
〔１〕静止領域判定
符号化済みイントラフレームの原信号と符号化対象フレームの原信号とを比較して、静止領域かどうかの判定を行う。静止領域と判定したマクロブロックについては、以下の処理を行い、それ以外のマクロブロックについては、通常の予測モード決定および予測ブロックサイズ決定を行う。
【００１０】
〔２〕４×４ブロックサイズでの予測モード決定
４×４ブロックサイズでの予測モードを決定（選択）する。予測モードの決定には、次式で示される４×４ブロックサイズのコスト関数Ｊ4x4 を用いる。なお、Ｈ．２６４のイントラ符号化では、マクロブロックを４×４ブロックと１６×１６ブロックとに分割して符号化を行っている。
【００１１】
Ｊ4x4 ＝Ｄ4x4 ＋λＲ4x4 ＋αＥ
ここで、Ｄ4x4 は歪量、Ｒ4x4 は予測モード情報による発生符号量、λはラグランジュ係数、αは重み付けのための係数である。また、Ｅは、次式から算出する。
【００１２】
Ｅ＝ＳＡＤ（Ｌ4x4(i,j,t)−Ｌ4x4(i,j,t-T)) 
ここで、Ｌ4x4(i,j,t)は、時刻ｔの位置（ｉ，ｊ）の復号信号であり、この式は、復号済みの時刻ｔ−Ｔの復号信号と、現在の符号化対象フレームの局所復号信号との差分絶対値和を示している。
【００１３】
〔３〕１６×１６ブロックサイズでの予測モード決定
１６×１６ブロックサイズでの予測モードを決定（選択）する。予測モードの決定には、次式で示される１６×１６ブロックサイズのコスト関数Ｊ16x16 を用いる。
【００１４】
Ｊ16x16 ＝Ｄ16x16 ＋βＦ
ここで、Ｄ16x16 は歪量、βは重み付けのための係数である。また、Ｆは、次式から算出する。
【００１５】
Ｆ＝ＳＡＤ（Ｌ16x16(i,j,t)−Ｌ16x16(i,j,t-T)) 
ここで、Ｌ16x16(i,j,t)は、時刻ｔの位置（ｉ，ｊ）の復号信号であり、この式は、復号済みの時刻ｔ−Ｔの復号信号と、現在の符号化対象フレームの局所復号信号との差分絶対値和を示している。
【００１６】
〔４〕予測ブロックサイズの決定
先に決定した各々の予測ブロックサイズでコスト最小となる予測モードから、次式で示されるコスト関数Ｊblock が最小となる予測モードおよび予測ブロックサイズを決定（選択）する。
【００１７】
Ｊblock ＝Ｄblock ＋λＲblock ＋γＧ
ここで、γは重み付けのための係数である。また、Ｇは、次式から算出する。
【００１８】
Ｇ＝ＳＡＤ（Ｌ(i,j,t) −Ｌ(i,j,t-T))
〔５〕符号化処理
最後に、決定した予測モードおよび予測ブロックサイズに基づいて、符号化対象ブロックの符号化処理を行う。
【００１９】
非特許文献４に記載されるフリッカ現象を低減する方法では、このような方法をとることで、符号化済みフレームで同一位置の復号信号と局所復号信号との差が小さくなるように、予測モードおよび予測ブロックサイズを選択できることになり、これにより、フリッカ現象を低減することができる。
【００２０】
すなわち、Ｈ．２６４の参照ソフトウェアでは、
Ｊ4x4   ＝Ｄ4x4 ＋λＲ4x4 
というコスト関数を使って、４×４ブロックサイズでの予測モードを選択し、
Ｊ16x16 ＝Ｄ16x16 
というコスト関数を使って、１６×１６ブロックサイズでの予測モードを選択するのに対して、非特許文献４に記載される方法では、このコスト関数に対して、復号済みの復号信号と現在の符号化対象フレームの局所復号信号との差を表す項Ｅ，Ｆを追加して、これらの項Ｅ，Ｆを追加したコスト関数を最小化するように処理することから、符号化済みフレームで同一位置の復号信号と局所復号信号との差が小さくなるように予測モードおよび予測ブロックサイズを選択できることになり、これにより、フリッカ現象を低減することができるのである。
【００２１】
さらに、非特許文献４に記載されるフリッカ現象を低減する方法では、量子化パラメータを制御することで、よりちらつきを抑制する方法も提案している。この方法では、先の方法で決定した予測モードおよび予測ブロックサイズの局所復号信号について、符号化済み画像との差を測定し、その差が閾値より大きい場合には、量子化パラメータを小さくして、再度、予測モードと予測ブロックサイズの選択を行い、この処理を、局所復号信号と符号化済み画像との差が閾値以下になるまで繰り返し行うようにしている。
【非特許文献１】ITU-T H.264 ITU-T Rec. H.264, "Advanced video coding for generic audiovisual services," 2003.
【非特許文献２】Joint Video Team of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6), "Flicking Reduction in All Intra Frame Coding," JVT-E070, 5th Meeting:Geneva, Switzerland, 9-17 October, 2002.
【非特許文献３】井口和久他,"Ｈ.264符号化におけるイントラモードのフリッカ低減手法", FIT2003, J-040, pp.277-278, 2003.
【非特許文献４】境田慎一他,"適応量子化によるＡＶＣ／Ｈ.264イントラフレームのフリッカ抑制", FIT2004, LJ-009, pp.225-227, 2004.
【発明の開示】
【発明が解決しようとする課題】
【００２２】
先に述べたように、従来技術では、局所復号信号と符号化済み画像との差を小さくするように制御を行っている。
【００２３】
このため、予測モードの選択を行う際に、その予測モードのコスト算出のために復号信号を生成する必要がある。復号信号を生成するには、変換、量子化、逆量子化、逆変換、差分信号と予測信号との加算などの処理が必要となる。このため、従来技術に従っていると、予測モード選択の演算コストが増大するという問題がある。
【００２４】
さらに、従来技術で行っている量子化パラメータを制御する方法では、予測モードおよびブロックサイズ選択の処理を繰り返し行うことになり、演算コストが増加するだけでなく、処理回数が未定なために処理に要する時間が変動するという問題がある。また、量子化パラメータの制御条件が符号化済み画像との差が閾値以下となっているため、発生符号量の制御が困難になるという問題がある。
【００２５】
一般に、フレーム内符号化フレームは、符号化する際に過去の符号化済みフレームを参照しない。このため、予測画像として参照されないフレーム内符号化フレームの復号画像は不要となるため、現在の符号化対象フレームをフレーム内符号化フレームとして符号化する時点で破棄される。
【００２６】
しかしながら、従来技術では、ちらつきの度合いを測定するために、直近に符号化されたイントラフレームの復号画像を保存する必要があり、これから、復号画像を蓄積するためのメモリが必要になるという問題もある。
【００２７】
本発明はかかる事情に鑑みてなされたものであって、フレーム内予測符号化を用いて映像を符号化するときに、復号信号を生成することなく、ちらつきを抑制できるようにすることで、従来技術の持つ問題の解決を図る新たなフレーム内予測符号化制御技術の提供を目的とする。
【課題を解決するための手段】
【００２９】
〔１〕本発明の構成
この目的を達成するために、本発明のフレーム内予測符号化制御装置は、映像のフレーム内予測符号化を制御するために、（１）フレーム内予測符号化の対象となる符号化対象領域が静止領域であるのか否かを判定する判定手段と、（２）判定手段が静止領域と判定した符号化対象領域の平坦度合いを算出する算出手段と、（３）判定手段が静止領域と判定した符号化対象領域について、算出手段の算出した平坦度合いと所定の閾値とを比較することで、平坦なほど高いちらつき度合いを示すちらつき度合いレベルの内のどのレベルに属するのかを判断することにより、算出手段の算出した平坦度合いの示すちらつき度合いのレベルを推定する推定手段と、（４）符号化対象領域の符号化に利用可能な予測モードを、ちらつき度合いが高いレベルほど利用可能な予測モードが絞られる形で定められた利用可能な予測モードの内の推定手段の推定したちらつき度合いのレベルに対応付けて定められた利用可能な予測モードに制限するか、符号化対象領域の符号化に利用可能な予測ブロックサイズを、ちらつき度合いが高いレベルほど利用可能な予測ブロックサイズが絞られる形で定められた利用可能な予測ブロックサイズの内の推定手段の推定したちらつき度合いのレベルに対応付けて定められた利用可能な予測ブロックサイズに制限するか、その両方について制限する制限手段とを備えるように構成する。
【００３２】
この構成を採るときにあって、制限手段は、推定手段の推定したちらつき度合いが高くなるに従って、利用可能な予測ブロックサイズが大きなものに絞られるように予測ブロックサイズを制限するように処理することがある。
【００３３】
また、制限手段は、推定手段の推定したちらつき度合いが高い場合には、符号化済み近傍画素の平均値を予測信号とする予測モードに制限するように処理することがある。
【００３４】
また、制限手段は、推定手段の推定したちらつき度合いが高い場合には、予測ブロックサイズを最大とし、符号化済み近傍画素の平均値を予測信号とする予測モードに制限するように処理し、推定手段の推定したちらつき度合いが中程度の場合には、予測ブロックサイズを最大とし、その予測ブロックサイズで定義される予測モードに制限するように処理し、推定手段の推定したちらつき度合いが低い場合には、利用可能な予測モードおよび予測ブロックサイズに制限を加えないように処理することがある。
【００３５】
そして、推定手段は、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と算出手段の算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と算出手段の算出した符号化対象領域の平坦度合いとを比較して、それらの比較結果に基づいて、ちらつき度合いを推定するように処理することがある。
【００３６】
そして、算出手段は、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出するように処理することがあり、この場合には、推定手段は、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とその最大値とを比較するとともに、予め与えられている閾値とその最小値とを比較して、それらの比較結果に基づいて、ちらつき度合いを推定するように処理することがある。
【００３７】
以上の各処理手段が動作することで実現される本発明のフレーム内予測符号化制御方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００３８】
〔２〕本発明の処理
このように構成される本発明のフレーム内予測符号化制御装置では、例えば、符号対象領域の輝度信号の平均値が１つ前のフレームの同位置の領域の値から変化しないのか否かを調べることで、符号化対象領域が静止領域であるのか否かを判定して、符号化対象領域が静止領域であることを判定する場合には、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和などを算出することで、符号化対象領域の平坦度合いを算出する。
【００３９】
このとき、符号化対象領域に複数の平坦度合いを持つ領域が含まれる可能性があることを考慮して、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出することがある。
【００４０】
平坦な静止領域ではちらつきが目立つことになり、これから、符号化対象領域が静止領域である場合には、符号化対象領域の平坦度合いに基づいて、符号化対象領域のちらつき度合いを推定できることになる。
【００４１】
そこで、本発明のフレーム内予測符号化制御装置では、この算出した平坦度合いに従って、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と算出した符号化対象領域の平坦度合いとを比較して、例えば、算出した符号化対象領域の平坦度合いがその平均値よりも小さく（フレーム内で相対的に見て平坦であることを示す）、かつ、算出した符号化対象領域の平坦度合いがその閾値よりも小さい場合には（絶対的に見て平坦であることを示す）、符号化対象領域のちらつき度合いが高いと推定し、そのいずれか一方が成立する場合には、符号化対象領域のちらつき度合いが中程度と推定し、その両方ともが成立しない場合には、符号化対象領域のちらつき度合いが低いと推定する。
【００４２】
また、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出して、その最小値、最大値を算出するという構成を採る場合には、この算出した最小値、最大値に従って、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とその最大値とを比較するとともに、予め与えられている閾値とその最小値とを比較して、例えば、その最大値がその平均値よりも小さく（フレーム内で相対的に見て平坦であることを示す）、かつ、その最小値がその閾値よりも小さい場合には（絶対的に見て平坦であることを示す）、符号化対象領域のちらつき度合いが高いと推定し、そのいずれか一方が成立する場合には、符号化対象領域のちらつき度合いが中程度と推定し、その両方ともが成立しない場合には、符号化対象領域のちらつき度合いが低いと推定する。
【００４３】
フレーム内予測符号化を行うときに、符号化対象領域が静止領域である場合には、予測信号の変動を抑えれば、ちらつきを抑制できることになる。
【００４４】
そこで、本発明のフレーム内予測符号化制御装置では、このちらつき度合いの推定結果に基づいて、例えば、
（ｉ）予測ブロックサイズを大きくすれば、予測信号を切り替える回数が減ることでち        らつきを抑えることができることに着目して、推定したちらつき度合いが高くな        るに従って、利用可能な予測ブロックサイズが大きなものとなるようにと予測ブ        ロックサイズを制限したり、
（ii）近傍画素の変動による予測信号の影響が小さい予測モードを選択すればちらつき        を抑えることができることに着目して、推定したちらつき度合いが高い場合には        、符号化済み近傍画素の平均値を予測信号とする予測モードを選択したり、
（iii)この２点に着目して、推定したちらつき度合いが高い場合には、予測ブロックサ        イズを最大とし、符号化済み近傍画素の平均値を予測信号とする予測モードを選        択し、推定したちらつき度合いが中程度の場合には、予測ブロックサイズを最大        とし、その予測ブロックサイズで定義される予測モードの中から符号化コストが        最小となる予測モードを選択し、推定したちらつき度合いが低い場合には、従来        技術通りに、利用可能な予測モードおよび予測ブロックサイズに制限を加えるこ        となく、符号化コストが最小となる予測モードおよび予測ブロックサイズを選択        することで、
ちらつきを抑えるようにする。
【発明の効果】
【００４８】
以上説明したように、本発明によれば、原信号の情報から、ちらつきが発生しやすい領域を特定して、ちらつきを抑制するように符号化処理を制御することから、符号化済みイントラフレームの復号信号を必要とせずに、ちらつきを抑制できるようになるので、演算コストを抑え、復号信号を蓄積するためのメモリを不要とする形で、ちらつきを抑制できるようになる。
【００４９】
そして、ちらつきの発生しやすさに応じて、予測モードや予測ブロックサイズを制限することから、予測モードや予測ブロックサイズの選択のための局所復号信号生成の処理が不要となり、処理量を削減できるようになる。
【発明を実施するための最良の形態】
【００５１】
以下、実施の形態に従って本発明を詳細に説明する。
【００５２】
上述したように、非特許文献４に記載されるフリッカ現象を低減する従来方法では、Ｈ．２６４の規格に準拠しているものの、復号信号を生成する必要があることから、演算コストが増大するという問題と、過去の符号化済みイントラフレームの復号信号を蓄積するためのメモリが必要であるという問題がある。
【００５３】
ちらつきの原因は、静止領域での量子化歪の時間的な変動である。これから、静止領域での量子化歪の変動を抑えることで、ちらつきを軽減できることになる。
【００５４】
一方、Ｈ．２６４では、符号化対象信号および量子化パラメータ（量子化ステップサイズに対応付けられるもの）が同一であっても、予測信号が変動することで量子化歪が変化する。だが、一律に予測信号の変動を抑える処理を行うと、符号化効率が低下することになる。
【００５５】
そこで、本発明では、ちらつきが検知されやすい領域を推定し、ちらつきが検知されやすい領域の予測モードや予測ブロックサイズを制御して、予測信号の変動を抑制することで、ちらつきを抑えるようにする。加えて、ちらつきの目立つ領域について細かく量子化することで、量子化誤差も小さくして、ちらつきの軽減を図るようにする。
【００５６】
図１に、これを実現するために本発明の実行するフローチャートを図示する。このフローチャートに示すように、本発明では、
〔１〕符号化済みイントラフレームの原信号と符号化対象フレームの原信号とを比較す        ることにより、静止領域かどうかの判定を行い（ステップ１０）、
〔２〕静止領域と判定した領域について、画素値の分散などを算出することにより、そ        の領域の平坦度合いを算出し（ステップ１１）、
〔３〕その算出した平坦度合いと量子化ステップサイズとを基に、ちらつき度合いを判        定し（ステップ１２）、
〔４〕ちらつき度合いがある程度高い場合には、その程度に応じて、ちらつき度合いが        高い予測ブロックサイズを拡大する形で、予測ブロックサイズを決定し（ステッ        プ１３）、
〔５〕さらに、ちらつき度合いに応じて、予測モードを決定し（ステップ１４）、
〔６〕一方、静止領域かどうかの判定で動領域と判定した領域と、静止領域と判定した        ものの、ちらつき度合いが低いと判定した領域とについては、通常の予測ブロッ        クサイズおよび予測モードの決定処理を行い（ステップ１５）、
〔７〕そして、符号化を行う（ステップ１６）
という手順をとる。
【００５７】
ここで、ちらつき度合いについて説明する。ちらつき度合いは、量子化歪の大きさと歪の見えやすさとによって決まる。量子化歪が大きくても、その歪が検知されにくければ、ちらつき度合いは低い（小さい）。逆に、量子化歪が小さくても、その歪が検知されやすいと、ちらつき度合いが高くなる（大きくなる）。そこで、本発明では、量子化歪の大きさと歪の見えやすさとを基に、ちらつき度合いを推定する。
【００５８】
まず、量子化歪について説明する。ちらつきの原因は、量子化歪によるものであり、量子化歪が小さくなれば、ちらつきは検知されなくなる。従って、量子化ステップサイズが小さい場合は、ちらつき度合いは低くなる。
【００５９】
次に、歪の見えやすさについて説明する。従来から、平坦領域ほど歪が目立ちやすく、テクスチャ領域では目立ちにくいという特性が知られている。そこで、歪の見えやすさとして、符号化対象領域の平坦度合いを利用する。平坦度合いは、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和などから算出できる。
【００６０】
（ｉ）ステップ１１の処理
これから、ステップ１１では、下式に示すＬ２分散やＬ１分散に従って画素値の分散を算出することで、符号化対象領域の平坦度合いを算出する。ここで、ｓ（ｉ，ｊ）は符号化対象領域内の位置（ｉ，ｊ）の画素値を示し、＜ｓ＞はその平均値を示す。
【００６１】
【数１】
0004829951.tif 000002
【００６２】
また、下式に従って画素間差分の絶対値和ａｃｔを算出することで、符号化対象領域の平坦度合いを算出する。
【００６３】
【数２】
0004829951.tif 000003
【００６４】
また、下式に従って画素間差分の自乗和ａｃｔを算出することで、符号化対象領域の平坦度合いを算出する。
【００６５】
【数３】
0004829951.tif 000004
【００６６】
ここで、符号化対象領域が広い場合、複数の平坦度合いを持つ領域が含まれる可能性があるため、符号化対象領域を小ブロックに分割して平坦度合いを算出することもできる。この場合、符号化対象領域の平坦度合いは小ブロックの数だけ求まるため、それらの中の最小値や最大値を符号化対象領域の平坦度合いとする。
【００６７】
（ii）ステップ１２の処理
ステップ１２では、ステップ１１で算出された符号化対象領域の平坦度合いを受けて、
・符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値
・予め与えられている固定された閾値
という２つの値と符号化対象領域の平坦度合いとの比較結果から、符号化対象領域のちらつき度合いを推定する。
【００６８】
なお、符号化対象フレームの平坦度合いの平均値を用いる場合は、事前に符号化対象フレームの平坦度合いを求めておく必要がある。
【００６９】
例えば、上記２つの値よりも符号化対象領域の平坦度合いが小さい場合には、その符号化対象領域はちらつき度合いが高い領域と推定し、どちらか一方の値のみが小さい場合には、その符号化対象領域はちらつき度合いが中程度の領域と推定し、両方の値とも大きい場合には、その符号化対象領域はちらつき度合いが低い領域と推定する。
【００７０】
ステップ１２では、この推定結果と、先に述べた量子化ステップサイズの大きさとから、符号化対象領域の最終的なちらつき度合いを判定する。
【００７１】
例えば、量子化ステップサイズが予め与えられている固定された閾値よりも小さい場合には、符号化対象領域の平坦度合いに関係なく、その符号化対象領域はちらつき度合いが低い領域と推定し、一方、量子化ステップサイズが予め与えられている固定された閾値よりも大きい場合には、符号化対象領域の平坦度合いに従って、符号化対象領域のちらつき度合いを判定する。
【００７２】
(iii）ステップ１３の処理
ステップ１３では、ステップ１２でちらつき度合いが中程度以上と判定された場合について予測ブロックサイズを決定する。
【００７３】
予測ブロックサイズは、予測信号を切り替える単位である。例えば、予測ブロックサイズが４×４画素の場合は、４×４画素毎に予測信号が切り替わる。予測ブロックサイズが小さくなると、予測信号が変化する回数が増加し、ちらつきの増加につながる。そこで、ちらつき度合いに応じて、選択可能な予測ブロックサイズを制限する。
【００７４】
(iｖ）ステップ１４の処理
ステップ１４では、ステップ１２でちらつき度合いが中程度以上と判定された場合について予測モードを決定する。
【００７５】
予測モードは、予測信号の生成方法を切り替えることに相当する。図２および図３に、Ｈ．２６４で選択可能な予測モードを示す。この中で、ＤＣ予測と呼ばれる方法は、近傍画素の平均値をブロック内全ての予測信号とするため、近傍画素の変動による予測信号の影響が小さい。ちらつき度合いが高い領域では、ＤＣ予測のような近傍画素の影響が小さい予測モードを選択する。
【００７６】
（ｖ）予測モードおよび予測ブロックサイズの制限例
図４に、ちらつき度合いに応じて、Ｈ．２６４での予測モードおよび予測ブロックサイズを制限する一例を図示する。
【００７７】
この図４に示すように、例えば、ちらつき度合いが中程度以上では、予測ブロックサイズを１６×１６画素に固定する。これは、符号化対象領域内での予測信号の変化を抑えるためである。さらに、ちらつき度合いが高い場合は、予測モードをＤＣ予測モードに固定する。ちらつき度合いが低い場合は、符号化効率が最も高くなる予測モードと予測ブロックサイズとを選択する。
【００７８】
このように、本発明では、ちらつき度合いに応じて、予測モードおよび予測ブロックサイズを制限する。この方法により、予測信号の時間的な変動を抑えることで、ちらつきを抑制できることになる。
【００７９】
また、ちらつき度合いに応じて、量子化ステップサイズを変更することも可能である。例えば、ちらつき度合いが高いと推定される領域では、より量子化ステップサイズを小さくすることで、量子化誤差を低減し、ちらつきを軽減することが可能である。
【００８０】
なお、小ブロックに分割して符号化対象領域の平坦度合いを求める際、最小値と最大値とを求めておき、符号化対象領域の平坦領域判定に用いることもできる。
【００８１】
この場合、例えば、平坦度合いの小ブロック最大値と、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とを比較する。平坦度合いの小ブロック最大値は、符号化対象領域内で最も歪が目立ちにくい領域の平坦度合いとなる。この領域が平均値を下回っている場合は、平坦領域の候補とみなす。次に、平坦度合いの小ブロック最小値と、予め与えられている固定された閾値との比較を行う。平坦度合いの小ブロック最小値は、符号化対象領域内で最も歪が目立ち易い領域の平坦度合いとなる。この領域が閾値を下回ることが確認できた領域を平坦領域とする。これにより、映像全体の中で、特に歪が目立ちやすい領域のみを平坦領域とすることができる。
【００８２】
このような方法をとることで、本発明によれば、原信号の情報から、ちらつきが発生しやすい領域を特定し、予測モードと予測ブロックサイズを制限することで、ちらつきを抑制できる。また、ちらつき度合いに応じて、量子化ステップサイズを変更して、ちらつきを抑えることもできる。
【実施例】
【００８３】
次に、実施例に従って、本発明について詳細に説明する。
【００８４】
図５に、本発明を具備する映像符号化装置１の一実施例を図示する。
【００８５】
この図に示すように、本発明の映像符号化装置１は、符号化処理部１０と、輝度平均値算出部１１と、静止領域判定部１２と、Ｌ１分散算出部１３と、Ｌ１分散平均値算出部１４と、Ｌ１分散比較部１５と、量子化パラメータ評価部１６と、量子化パラメータ変更部１７と、予測モード制御部１８と、第１の予測部１９と、第２の予測部２０と、第３の予測部２１と、切替部２２とを備える。
【００８６】
この符号化処理部１０は、外部から入力される映像を処理対象として、フレーム内予測符号化処理を実行することで、フレーム内符号化フレームにある符号化対象ブロックを符号化する。
【００８７】
輝度平均値算出部１１は、符号化対象ブロックの輝度信号の平均値を算出する。静止領域判定部１２は、輝度平均値算出部１１の算出した輝度平均値を使って、符号化対象ブロックが静止領域であるのか否かを判定する。
【００８８】
Ｌ１分散算出部１３は、符号化対象ブロックを分割した各小ブロックについて、輝度信号のＬ１分散を算出することで平坦度合いを算出して、その中の最大Ｌ１分散を算出するとともに、その中の最小Ｌ１分散を算出する。
【００８９】
Ｌ１分散平均値算出部１４は、直前に符号化したフレームにおける最小Ｌ１分散の平均値を算出することで、平坦度合いの平均値を算出する。
【００９０】
Ｌ１分散比較部１５は、Ｌ１分散算出部１３の算出した最大Ｌ１分散とＬ１分散平均値算出部１４の算出した平坦度合いの平均値とを比較するとともに、Ｌ１分散算出部１３の算出した最小Ｌ１分散と規定の閾値とを比較して、それらの比較結果に基づいて、符号化対象ブロックが平坦領域であるのか否かを判定する。
【００９１】
量子化パラメータ評価部１６は、符号化処理部１０の用いる量子化パラメータの大きさを評価することで、符号化処理部１０の用いる量子化ステップサイズの大きさを評価する。
【００９２】
量子化パラメータ変更部１７は、予測モード制御部１８からの変更指示に従って、符号化処理部１０の用いる量子化パラメータの大きさを変更することで、符号化処理部１０の用いる量子化ステップサイズの大きさを変更する。
【００９３】
予測モード制御部１８は、静止領域判定部１２の判定結果と、Ｌ１分散比較部１５の判定結果と、量子化パラメータ評価部１６の評価結果とに基づいて、切替部２２に対して、どの予測部１９，２０，２１を用いるのかを指示する切替指示信号を送出し、さらに、量子化パラメータ変更部１７に対して、符号化処理部１０の用いる量子化パラメータの大きさを変更することを指示する。
【００９４】
第１の予測部１９は、ちらつき度合いが高い符号化対象ブロックを処理対象として、予測信号を予測するとともに、予測モード情報（予測方向と予測ブロックサイズ）を決定して、それらの情報を符号化処理部１０に出力する。
【００９５】
第２の予測部２０は、ちらつき度合いが中程度の符号化対象ブロックを処理対象として、予測信号を予測するとともに、予測モード情報（予測方向と予測ブロックサイズ）を決定して、それらの情報を符号化処理部１０に出力する。
【００９６】
第３の予測部２１は、ちらつき度合いが低い符号化対象ブロックを処理対象として、予測信号を予測するとともに、予測モード情報（予測方向と予測ブロックサイズ）を決定して、それらの情報を符号化処理部１０に出力する。
【００９７】
切替部２２は、予測モード制御部１８からの切替指示信号に従って、外部から入力される符号化対象ブロックの映像をいずれかの予測部１９，２０，２１に入力して、その入力に基づいていずれかの予測部１９，２０，２１から出力されることになる予測モード情報（予測方向と予測ブロックサイズ）を符号化処理部１０に与えるように制御する。
【００９８】
このように構成される本発明の映像符号化装置１では、符号化方式として、Ｈ．２６４を前提とし、符号化対象ブロックとなる１６×１６画素のマクロブロックを、４つの小ブロック８×８画素に分割して平坦度合いを算出する。平坦度合いは、輝度信号のＬ１分散で算出し、符号化対象ブロック内の最小Ｌ１分散と最大Ｌ１分散とを求める。平坦度合いの平均値は、直前に符号化したフレームにおける最小Ｌ１分散の平均値とする。
【００９９】
ちらつき度合いの判定は、符号化対象ブロック内の最小Ｌ１分散、最大Ｌ１分散、量子化パラメータを用い、高／中／低の３段階に判定する。ちらつき度合いに応じた予測モードと予測ブロックサイズの制限については、図４に示したものを用いる。さらに、ちらつき度合いが高または中程度の場合、量子化パラメータを１だけ減らす（量子化ステップサイズを小さくする）。また、静止領域の判定は、マクロブロック内画素の輝度信号の平均値を利用し、符号化対象フレームと過去にフレーム内符号化を行ったフレームで、同位置の平均値の差が閾値ＴＨDIFF以下であれば、静止領域と判定する。
【０１００】
図６に、このように構成される本発明の映像符号化装置１の実行するフローチャートを図示する。次に、このフローチャートに従って、本発明の映像符号化装置１の実行する処理について詳細に説明する。
【０１０１】
〔１〕輝度平均値の算出
本発明の映像符号化装置１では、先ず最初に、ステップ２０で、符号化対象のマクロブロックについて、下式に従って輝度信号の平均値“diffn,t ”を算出する。
【０１０２】
【数４】
0004829951.tif 000005
【０１０３】
ここで、ｓy （ｉ，ｊ）は時刻ｔのフレームにおけるマクロブロックｎの輝度信号の画素値を表す。この算出した輝度平均値は蓄積しておき、次のフレーム内符号化フレームとの静止領域の判定に利用する。
【０１０４】
〔２〕静止領域の判定
続いて、ステップ２１で、符号化対象のマクロブロックｎの輝度平均値“diffn,t ”と、過去にフレーム内符号化を行ったフレームＴにおける同位置のマクロブロックの輝度平均値“diffn,T ”とから、その差分絶対値を算出する。そして、その算出した差分絶対値が閾値ＴＨDIFF以下の場合は、静止領域と判定する。動領域と判定した場合には、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
【０１０５】
すなわち、動領域と判定した場合には、ステップ２９に進んで、従来技術の手法に従って、選択可能な予測モードに制限を加えることなく、選択可能な予測モードの中から、符号化コストを最小にする予測モードを選択するとともに、選択可能な予測ブロックサイズに制限を加えることなく、選択可能な予測ブロックサイズの中から、符号化コストを最小にする予測ブロックサイズを選択するのである。
【０１０６】
〔３〕量子化パラメータの評価
符号化対象のマクロブロックｎが静止領域であると判定した場合には、ステップ２２に進んで、符号化対象のマクロブロックｎの量子化パラメータＱＰn と閾値ＴＨQPとを比較することで、量子化パラメータＱＰn の大きさを評価する。量子化パラメータＱＰn が閾値ＴＨQPより小さい場合は、ちらつき度合いが低い領域と判定して、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
【０１０７】
〔４〕Ｌ１分散の算出
量子化パラメータＱＰn が閾値ＴＨQPより大きい場合には、ステップ２３に進んで、符号化対象のマクロブロックｎを４つに分割した８×８サイズの小ブロックのそれぞれについて、下式に従って、輝度信号のＬ１分散“ actn ”を算出する。
【０１０８】
【数５】
0004829951.tif 000006
【０１０９】
ここで、ｓy （ｉ，ｊ）は小ブロックｎの輝度信号の画素値、＜ｓy ＞は小ブロックｎの輝度信号の平均値を示す。
【０１１０】
そして、このようにして求めた４つのＬ１分散に対して下記の演算を施すことで、
ａｃｔmin ＝  ｍｉｎ（ act0 , act1 , act2 , act3  ）
ａｃｔmax ＝  ｍａｘ（ act0 , act1 , act2 , act3  ）
Ｌ１分散の最小値ａｃｔmin と、Ｌ１分散の最大値ａｃｔmax を算出する。
【０１１１】
〔５〕ちらつき度合いの判定
続いて、ステップ２４で、下記の条件（ａ）のみを満たした場合には、符号化対象のマクロブロックのちらつき度合いは中程度と判定し、下記の条件（ａ）と条件（ｂ）とを同時に満たした場合には、符号化対象のマクロブロックのちらつき度合いは高いと判定し、下記の条件（ａ）と条件（ｂ）のいずれも満たさない場合には、符号化対象のマクロブロックのちらつき度合いは低いと判定する。
【０１１２】
条件（ａ）：  ａｃｔmin ＜ＴＨACT 
条件（ｂ）：  ａｃｔmax ＜ａｃｔavg 
ここで、ａｃｔavg は直前に符号化したフレームのａｃｔmin の平均値、ＴＨACT は平坦領域判定のための閾値である。
【０１１３】
ちらつき度合いが低いと判定した場合には、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
【０１１４】
〔６〕量子化パラメータの変更
ちらつき度合いが高いと判定した符号化対象のマクロブロックについては、ステップ２５に進んで、量子化パラメータＱＰn を１だけ減じることで、ちらつき度合いを減らすようにする。そして、ちらつき度合いが中程度と判定した符号化対象のマクロブロックについては、ステップ２６に進んで、量子化パラメータＱＰn を１だけ減じることで、ちらつき度合いを減らすようにする。
【０１１５】
なお、Ｈ．２６４では、量子化ステップサイズの変更は量子化パラメータを変更することで行う。この量子化パラメータを小さくすることで、量子化ステップサイズを小さくできる。
【０１１６】
〔７〕予測モードの決定
ちらつき度合いが高いと判定した符号化対象のマクロブロックについては、ステップ２５で量子化パラメータＱＰn を１だけ減じた後、ステップ２７に進んで、予測ブロックサイズを１６×１６画素に決定して、予測モードをＤＣ予測モードに決定する。
【０１１７】
そして、ちらつき度合いが中程度と判定した符号化対象のマクロブロックについては、ステップ２６で量子化パラメータＱＰn を１だけ減じた後、ステップ２８に進んで、予測ブロックサイズを１６×１６画素に決定して、１６×１６ブロックサイズで選択可能な４種類の予測モード（図２に示す４種類）の中から、符号化コストを最小化する予測モードを決定する。
【０１１８】
〔８〕符号化処理
ステップ２７，２８，２９で、予測モード選択と予測ブロックサイズ選択とを終えると、最後に、ステップ３０で、符号化処理を実行する。
【０１１９】
このようにして、図５のように構成される本発明の映像符号化装置１は、このような処理手順に従って、ちらつき度合いを推定し、ちらつきが目立つ領域に対して、予測モードおよび予測ブロックサイズを制限して映像符号化を行うことにより、符号化済みイントラフレームの復号信号を必要とせずに、ちらつきを抑制できるようになる。
【図面の簡単な説明】
【０１２０】
【図１】本発明の実行するフローチャートである。
【図２】Ｈ．２６４で選択可能な予測モードの説明図である。
【図３】Ｈ．２６４で選択可能な予測モードの説明図である。
【図４】本発明で実行する予測モードおよび予測ブロックサイズの制限処理の一例を示す図である。
【図５】本発明の映像符号化装置の一実施例である。
【図６】本発明の映像符号化装置の実行するフローチャートである。
【図７】従来技術で実行するフローチャートである。
【符号の説明】
【０１２１】
１    映像符号化装置
１０  符号化処理部
１１  輝度平均値算出部
１２  静止領域判定部
１３  Ｌ１分散算出部
１４  Ｌ１分散平均値算出部
１５  Ｌ１分散比較部
１６  量子化パラメータ評価部
１７  量子化パラメータ変更部
１８  予測モード制御部
１９  第１の予測部
２０  第２の予測部
２１  第３の予測部
２２  切替部
【図１】
0004829951.tif 000007
【図２】
0004829951.tif 000008
【図３】
0004829951.tif 000009
【図４】
0004829951.tif 000010
【図５】
0004829951.tif 000011
【図６】
0004829951.tif 000012
【図７】
0004829951.tif 000013