(57)【要約】【課題】  イントラフリッカの抑制の適用領域判定のためだけに行われる処理を削減し、符号化処理にかかる負荷を軽減する。【解決手段】  符号化部１１は、動画像データをマクロブロック単位で符号化する。符号化情報解析部１３は、前記符号化部１１の符号化済ピクチャ及びマクロブロックの符号化情報を解析する。符号化制御部１２は、符号化情報の解析結果に基づいて符号化部１１に対してピクチャ単位またはマクロブロック単位に符号化の指示を出す。前記符号化解析部１３は、符号化対象マクロブロックそれぞれについて静止領域判定及び平坦領域判定を行い、符号化制御部１２は、符号化解析部１３で静止領域と判定され、かつ平坦領域と判定されたマクロブロックに対してイントラフリッカ抑制処理を適用する。このように、イントラフリッカ抑制手法を適用する領域を検出する際、符号化済みピクチャの符号化モードや動き検出の際に算出した結果を用いる。【選択図】      図１
2009159323.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをマクロブロック単位で符号化する符号化部と、
前記符号化部の符号化済ピクチャ及びマクロブロックの符号化情報を解析する符号化情報解析部と、
前記符号化情報の解析結果に基づいて前記符号化部に対してピクチャ単位またはマクロブロック単位に符号化の指示を出す符号化制御部とを具備し、
前記符号化解析部は、符号化対象マクロブロックそれぞれについて静止領域判定及び平坦領域判定を行い、
前記符号化制御部は、前記符号化解析部で静止領域と判定され、かつ平坦領域と判定されたマクロブロックに対してイントラフリッカ抑制処理を適用することを特徴とする動画像符号化装置。
【請求項２】
前記静止領域判定は、前記符号化対象マクロブロックの動きベクトルの大きさ、スキップ符号化選択数、動き検出差分絶対値和の少なくともいずれが判定条件を満たすとき、静止領域と判定することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記平坦領域判定は、前記符号化対象マクロブロックの予測ブロックサイズの選択数、符号化あるいはモード判定における最適イントラ予測モードでイントラマクロブロックが選択された数、符号化あるいはモード判定における最適イントラ予測モードでの残差信号非ゼロ係数の数の少なくともいずれかが判定条件を満たすとき、平坦領域と判定することを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
前記静止領域または平坦領域の判定対象とするブロックとして、直前の符号化済みピクチャにおける同座標位置マクロブロック、当該マクロブロック及びその隣接マクロブロック、前記直前マクロブロックとその隣接マクロブロック及び全ての符号化済みピクチャの同座標位置マクロブロック、前記直前マクロブロックとその隣接マクロブロックと全ての符号化済ピクチャの同座標位置マクロブロック及びその隣接マクロブロックの少なくともいずれかを用いることを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
動画像データをマクロブロック単位で符号化し、
前記符号化部の符号化済ピクチャ及びマクロブロックの符号化情報を解析し、
前記符号化情報の解析結果に基づいて前記符号化に対してピクチャ単位またはマクロブロック単位に符号化制御の指示を出すものとし、
前記符号化解析は、符号化対象マクロブロックそれぞれについて静止領域判定及び平坦領域判定を行い、
前記符号化制御は、前記符号化解析で静止領域と判定され、かつ平坦領域と判定されたマクロブロックに対してイントラフリッカ抑制処理を適用することを特徴とする動画像符号化方法。
【請求項６】
動画像データをマクロブロック単位で符号化するステップと、
前記符号化部の符号化済ピクチャ及びマクロブロックの符号化情報を解析するステップと、
前記符号化情報の解析結果に基づいて前記符号化に対してピクチャ単位またはマクロブロック単位に符号化制御の指示を出すステップとをコンピュータに実行させる動画像符号化プログラムであって、
前記符号化解析のステップでは、符号化対象マクロブロックそれぞれについて静止領域判定及び平坦領域判定を行い、
前記符号化制御のステップでは、前記符号化解析で静止領域と判定され、かつ平坦領域と判定されたマクロブロックに対してイントラフリッカ抑制処理を適用することを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）等のアルゴリズムによって動画像データを圧縮符号化する動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ方式等による動画像符号化装置にあっては、例えばフリッカが生じる可能性のある静止領域を輝度平均値の絶対差分値で検出し、かつ平坦化領域を画素値の分散等を算出して検出し、その領域の量子化パラメータを変更するイントラフリッカ抑制手法が利用されている（例えば特許文献１参照）。
【０００３】
しかしながら、上記のような従来のイントラフリッカ抑制手法では、適用する領域の検出の際に、静止領域判定として原画像におけるフレーム間差分値を算出する処理や、平坦領域判定として原画像のアクティビティ算出処理を行っている。これらは符号化処理そのものには関係ないフリッカ抑制のために追加された処理であり、符号化処理にかかる負荷を軽減するために、これらの処理の削減が要望されている。
【特許文献１】特開２００７−０６７４６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以上述べたように、従来の動画像符号化装置では、イントラフリッカ抑制の適用領域を判定するために、符号化処理そのものとは関係のない、静止領域判定のための原画像におけるフレーム間差分値を算出する処理や、平坦領域判定のための原画像のアクティビティ算出処理を行っており、符号化処理にかかる負荷を軽減するために、これらの処理の削減が要望されている。
【０００５】
本発明は、上記事情を考慮してなされたもので、イントラフリッカの抑制の適用領域判定のためだけに行われる処理を削減し、符号化処理にかかる負荷を軽減することのできる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明に係る動画像符号化装置は、動画像データをマクロブロック単位で符号化する符号化部と、前記符号化部の符号化済ピクチャ及びマクロブロックの符号化情報を解析する符号化情報解析部と、前記符号化情報の解析結果に基づいて前記符号化部に対してピクチャ単位またはマクロブロック単位に符号化の指示を出す符号化制御部とを具備し、前記符号化解析部は、符号化対象マクロブロックそれぞれについて静止領域判定及び平坦領域判定を行い、前記符号化制御部は、前記符号化解析部で静止領域と判定され、かつ平坦領域と判定されたマクロブロックに対してイントラフリッカ抑制処理を適用することを特徴とする。
【０００７】
本発明に係る動画像符号化方法は、動画像データをマクロブロック単位で符号化し、前記符号化部の符号化済ピクチャ及びマクロブロックの符号化情報を解析し、前記符号化情報の解析結果に基づいて前記符号化に対してピクチャ単位またはマクロブロック単位に符号化制御の指示を出すものとし、前記符号化解析は、符号化対象マクロブロックそれぞれについて静止領域判定及び平坦領域判定を行い、前記符号化制御は、前記符号化解析で静止領域と判定され、かつ平坦領域と判定されたマクロブロックに対してイントラフリッカ抑制処理を適用することを特徴とする。
【０００８】
本発明に係る動画像符号化プログラムは、動画像データをマクロブロック単位で符号化するステップと、前記符号化部の符号化済ピクチャ及びマクロブロックの符号化情報を解析するステップと、前記符号化情報の解析結果に基づいて前記符号化に対してピクチャ単位またはマクロブロック単位に符号化制御の指示を出すステップとをコンピュータに実行させる動画像符号化プログラムであって、前記符号化解析のステップでは、符号化対象マクロブロックそれぞれについて静止領域判定及び平坦領域判定を行い、前記符号化制御のステップでは、前記符号化解析で静止領域と判定され、かつ平坦領域と判定されたマクロブロックに対してイントラフリッカ抑制処理を適用することを特徴とする。
【０００９】
すなわち、本発明では静止領域、平坦領域の判定の際に、符号化済みピクチャの符号化モードやモード判定、動き検出などで算出した結果を用いる。このように、イントラフリッカ抑制手法を適用する領域を検出する際、検出目的のためだけに行う演算を行わず、符号化済みピクチャの符号化モードや動き検出の際に算出した結果を用いることで、従来とほぼ同じ処理量でフリッカ抑制を実現する。
【発明の効果】
【００１０】
以上のように構成することにより、イントラフリッカ抑制手法を適用する領域を検出する際、検出目的のためだけに行う演算を行わず、符号化済みピクチャの符号化モードや動き検出の際に算出した結果を用いることで、従来とほぼ同じ処理量でフリッカ抑制を実現することができる。したがって、イントラフリッカの抑制の適用領域判定のためだけに行われる処理を削減し、符号化処理にかかる負荷を軽減することのできる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の一実施形態を詳細に説明する。
【００１２】
図１は本発明に係る動画像符号化装置の構成を示すブロック図であり、この装置は符号化部１１、符号化制御部１２、符号化情報解析部１３で構成される。
【００１３】
符号化部１１は、符号化制御部１２の指示に従って、入力された動画像データを例えば１６×１６画素のマクロブロック単位で符号化し、ストリームの形式で出力する。符号化制御部１２は、符号化情報解析部１３から得られる情報をもとに、符号化部１１に対してピクチャ単位あるいはマクロブロック単位に符号化の指示を出す。指示としては、量子化パラメータ、符号化タイプなどが挙げられる。
【００１４】
符号化情報解析部１３は、符号化済みのピクチャおよびマクロブロックの符号化情報を解析し、その結果を符号化制御部１２へ出力する。符号化情報としては、上記量子化パラメータ、符号化タイプなどの符号化パラメータに加え、符号化された量子化変換係数、予測モードや動きベクトルなどのエントロピー符号化される前の情報、発生符号量などのエントロピー符号化された後の情報、また符号化にあたりモード選択時に用いた各モードの符号化コスト、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）などの符号化判定情報を示す。
【００１５】
上記構成において、動画像では、符号化方法の違い、参照関係の有無により、画面のちらつき（フリッカ）が発生する。特に、図２に示すように、ＰピクチャからＩピクチャに切り替える時点で発生しやすい（イントラフリッカ）。
【００１６】
以下、図３に示すフローチャートを参照して、Ｉピクチャにおけるイントラフリッカ抑制処理判定のマクロブロック単位の処理手順を説明する。
【００１７】
まず、符号化情報解析部１３では、符号化対象マクロブロックの（Ａ）静止領域判定、（Ｂ）平坦領域判定が行なわれる。符号化制御部１２は、符号化情報解析部１３の結果を入力し、その結果をもとにステップＳ１１で静止領域であると判定され、かつステップＳ１２で平坦領域であると判定されたマクロブロックに対して、イントラフリッカ抑制処理を適用する（ステップＳ１３）。イントラフリッカ抑制処理としては、量子化パラメータを小さくする、あるいは所定の値より小さくなるように変更するなどの方法がある。上記ステップＳ１１，Ｓ１２で静止領域でない、平坦領域でないと判定された場合はイントラフリッカ抑制処理を行わないものとする（ステップＳ１４）。
【００１８】
以下、上記（Ａ）静止領域判定、（Ｂ）平坦領域判定、およびそれらの判定対象ブロックについて説明する。
【００１９】
（Ａ）静止領域判定
静止領域の判定には、判定対象マクロブロックの（Ａ１）動きベクトルの大きさ（図４）、（Ａ２）スキップ符号化選択数（図５）、（Ａ３）動き検出部におけるＳＡＤ（図６）を用いる。静止領域判定は、(Ａ１)，（Ａ２），（Ａ３）の内、全てが上記条件を満たす場合としてもよいし、どれか一つを満たす場合としてもよい。また、これらの組み合わせでもよい。
【００２０】
図４は（Ａ１）動きベクトルの大きさによる判定手順を示すもので、同座標位置マクロブロックの動きベクトルの大きさを求め（ステップＳ２１）、この動きベクトルの大きさをしきい値と比較して（ステップＳ２２）、しきい値以下ならば静止領域と判定し（ステップＳ２３）、しきい値以下でなければ非静止領域と判定する（ステップＳ２４）。
【００２１】
図５は（Ａ２）スキップ符号化選択数による判定手順を示すもので、同座標位置マクロブロックのスキップマクロブロック選択数を求め（ステップＳ３１）、この選択数をしきい値と比較し（ステップＳ３２）、しきい値以下でなければ静止領域と判定し（ステップＳ３３）、しきい値以下ならば非静止領域と判定する（ステップＳ３４）。
【００２２】
図６は（Ａ３）動き検出部におけるＳＡＤによる判定手順を示すもので、同座標位置マクロブロックの動き検出におけるＳＡＤ（差分絶対値和）を求め（ステップＳ４１）、このＳＡＤをしきい値と比較し（ステップＳ４２）、しきい値以下ならば静止領域と判定し（ステップＳ４３）、しきい値以下でなければ非静止領域と判定する（ステップＳ４４）。
【００２３】
（Ｂ）平坦領域判定
平坦領域の判定には、判定対象マクロブロックの（Ｂ１）１６×１６予測ブロックサイズの選択数（図７）、（Ｂ２）符号化あるいはモード判定における、最適イントラ予測モードでイントラ１６×１６が選択された数（図８）、（Ｂ３）符号化あるいはモード判定における、最適イントラ予測モードでの残差信号非ゼロ係数の数（図９）を用いる。平坦領域判定は、(Ｂ１)，（Ｂ２），（Ｂ３）の内、全てが上記条件を満たす場合としてもよいし、どれか一つを満たす場合としてもよい。またこれらの組み合わせでもよい。
【００２４】
図７は（Ｂ１）１６×１６予測ブロックサイズの選択数による判定手順を示すもので、同座標位置マクロブロックの１６×１６予測選択数を求め（ステップＳ５１）、この予測選択数をしきい値と比較し（ステップＳ５２）、しきい値以上ならば平坦領域と判定し（ステップＳ５３）、しきい値以上でなければ非平坦領域と判定する（ステップＳ５４）。
【００２５】
図８は（Ｂ２）符号化あるいはモード判定における、最適イントラ予測モードでイントラ１６×１６が選択された数による判定手順を示すもので、同座標位置マクロブロックの符号化あるいはモード選択の最適イントラ予測モードでイントラ１６×１６が選択された数を求め（ステップＳ６１）、この選択数をしきい値と比較し（ステップＳ６２）、しきい値以上ならば平坦領域と判定し（ステップＳ６３）、しきい値以上でなければ非判定領域と判定する（ステップＳ６４）。
【００２６】
図９は（Ｂ３）符号化あるいはモード判定における、最適イントラ予測モードでの残差信号非ゼロ係数の数による判定手順を示すもので、同座標位置マクロブロックの符号化あるいはモード選択の最適イントラ予測モードでの残差信号非ゼロ係数の数を求め（ステップＳ７１）、この数をしきい値と比較し（ステップＳ７２）、しきい値以下ならば平坦領域と判定し（ステップＳ７３）、しきい値以下でなければ非平坦領域と判定する（ステップＳ７４）。
【００２７】
上記（Ａ），（Ｂ）で示す上記判定対象ブロックとしては、（Ｃ１）直前の符号化済みピクチャにおける同座標位置マクロブロック（図１０）、（Ｃ２）（Ｃ１）及びその隣接マクロブロック（図１１）、（Ｃ３）全ての符号化済みピクチャの同座標位置マクロブロック（図１２）、（Ｃ４）（Ｃ３）およびその隣接マクロブロックを用いる（図１３）。（Ｃ３），（Ｃ４）の「全ての符号化済みピクチャ」は「ＧＯＰ内の全ての符号化済みピクチャ」としてもよい。（Ｃ１）〜（Ｃ４）の符号化済みピクチャとして、参照ピクチャのみを対象とし、非参照ピクチャは対象外としてもよい。
【００２８】
図１０は（Ｃ１）直前の符号化済みピクチャにおける同座標位置マクロブロックを判定対象ブロックとして用いた例を示している。図１１は（Ｃ２）（Ｃ１）及びその隣接マクロブロックを判定対象ブロックとして用いた例を示している。図１２は（Ｃ３）全ての符号化済みピクチャの同座標位置マクロブロックを判定対象ブロックとして用いた例を示している。図１３は（Ｃ４）（Ｃ３）およびその隣接マクロブロックを判定対象ブロックとして用いた例を示している。
【００２９】
以上の処理よれば、フリッカが生じる可能性のある領域を検出する際、検出目的のためだけの演算を行わず、符号化済みピクチャの符号化モードや動き検出の際に算出した結果を用いているので、従来とほぼ同じ処理量でフリッカ抑制を実現することができる。特に、リアルタイムエンコード処理に対して有効的な手段となり得る。
【００３０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る動画像符号化装置の一実施形態を示すブロック構成図。
【図２】動画像符号化装置において、フリッカが生じやすい箇所を示す概念図。
【図３】図１の装置において、Ｉピクチャにおけるイントラフリッカ抑制処理判定のマクロブロック単位の処理手順を示すフローチャート。
【図４】上記実施形態の静止領域判定における動きベクトルの大きさによる判定手順を示すフローチャート。
【図５】上記実施形態の静止領域判定におけるスキップ符号化選択数による判定手順を示すフローチャート。
【図６】上記実施形態の静止領域判定における動き検出ＳＡＤによる判定手順を示すフローチャート。
【図７】上記実施形態の平坦領域判定における１６×１６予測ブロックサイズの選択数による判定手順を示すフローチャート。
【図８】上記実施形態の平坦領域判定において、符号化あるいはモード判定における、最適イントラ予測モードでイントラ１６×１６が選択された数による判定手順を示すフローチャート。
【図９】上記実施形態の平坦領域判定において、符号化あるいはモード判定における、最適イントラ予測モードでの残差信号非ゼロ係数の数による判定手順を示すフローチャート。
【図１０】上記実施形態の静止領域、平坦領域の判定において、（Ｃ１）直前の符号化済みピクチャにおける同座標位置マクロブロックを判定対象ブロックとして用いた例を示す概念図。
【図１１】上記実施形態の静止領域、平坦領域の判定において、（Ｃ２）（Ｃ１）及びその隣接マクロブロックを判定対象ブロックとして用いた例を示す概念図。
【図１２】上記実施形態の静止領域、平坦領域の判定において、（Ｃ３）全ての符号化済みピクチャの同座標位置マクロブロックを判定対象ブロックとして用いた例を示す概念図。
【図１３】上記実施形態の静止領域、平坦領域の判定において、（Ｃ４）（Ｃ３）およびその隣接マクロブロックを判定対象ブロックとして用いた例を示す概念図。
【符号の説明】
【００３２】
１１…符号化部、１２…符号化制御部、１３…符号化情報解析部。
【図１】
2009159323.tif 000003
【図２】
2009159323.tif 000004
【図３】
2009159323.tif 000005
【図４】
2009159323.tif 000006
【図５】
2009159323.tif 000007
【図６】
2009159323.tif 000008
【図７】
2009159323.tif 000009
【図８】
2009159323.tif 000010
【図９】
2009159323.tif 000011
【図１０】
2009159323.tif 000012
【図１１】
2009159323.tif 000013
【図１２】
2009159323.tif 000014
【図１３】
2009159323.tif 000015