(57)【特許請求の範囲】
【請求項１】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、
各マクロブロックに対応する静止カウンタを所定の値に初期化するステップと、
静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、前記静止判定対象のマクロブロックの静止カウンタを、直前フレームのマクロブロックが静止と判定されていれば、所定の増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化するステップと、
前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、
判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの全画素合計値同士の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、
前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップと
を含むことを特徴とする映像静止判定方法。
【請求項２】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、
各マクロブロックに対応する静止カウンタを、画面中央よりも画面端の方が大きくなるように所定の値に初期化するステップと、
静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、直前フレームのマクロブロックが静止と判定されていれば、画面中央のブロックに対する前記静止カウンタを所定の増加幅で増加し、画面端のブロックに対する前記静止カウンタを、画面中央の増加幅よりも更に高い増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化するステップと、
前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、
判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの画素の合計値の差分絶対値、もしくは前後のブロックのそれぞれの一部の対象画素の画素値の合計値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、
前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップと
を含むことを特徴とする映像静止判定方法。
【請求項３】
前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止カウンタを０に初期化することを特徴とする請求項１または２に記載の映像静止判定方法。
【請求項４】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、
各マクロブロックに対応する静止カウンタを所定の値に初期化する初期化手段と、
静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、前記静止判定対象のマクロブロックの静止カウンタを、直前フレームのマクロブロックが静止と判定されていれば、所定の増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化するカウンタ制御手段と、
前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの全画素合計値同士の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、
前記画素値変化量算出手段により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段と
を備えることを特徴とする映像静止判定装置。
【請求項５】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、
各マクロブロックに対応する静止カウンタを、画面中央よりも画面端の方が大きくなるように所定の値に初期化する初期化手段と、
静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、直前フレームのマクロブロックが静止と判定されていれば、画面中央のブロックに対する前記静止カウンタを所定の増加幅で増加し、画面端のブロックに対する前記静止カウンタを、画面中央の増加幅よりも更に高い増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化する静止カウンタ制御手段と、
前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの画素の合計値の差分絶対値、もしくは前後のブロックのそれぞれの一部の対象画素の画素値の合計値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、
前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段と
を備えることを特徴とする映像静止判定装置。
【請求項６】
前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止カウンタを０に初期化する修正手段を更に備えることを特徴とする請求項４または５に記載の映像静止判定装置。
【請求項７】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置のコンピュータに、
各マクロブロックに対応する静止カウンタを所定の値に初期化する初期化機能、
静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、前記静止判定対象のマクロブロックの静止カウンタを、直前フレームのマクロブロックが静止と判定されていれば、所定の増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化するカウンタ制御機能、
前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定機能、
前記判定機能による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの全画素合計値同士の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出機能、
前記画素値変化量算出機能により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定機能
を実現させるためのプログラム。
【請求項８】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置のコンピュータに、
各マクロブロックに対応する静止カウンタを、画面中央よりも画面端の方が大きくなるように所定の値に初期化する初期化機能、
静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、直前フレームのマクロブロックが静止と判定されていれば、画面中央のブロックに対する前記静止カウンタを所定の増加幅で増加し、画面端のブロックに対する前記静止カウンタを、画面中央の増加幅よりも更に高い増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化する静止カウンタ制御機能、
前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定機能、
前記判定機能による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの画素の合計値の差分絶対値、もしくは前後のブロックのそれぞれの一部の対象画素の画素値の合計値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出機能、
前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定機能
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化の画面間符号化の高速化のために用いられる映像静止判定方法、映像静止判定装置、及びプログラムに関する。
【背景技術】
【０００２】
膨大な情報を持つ映像データを効率よく圧縮する最新映像符号化としてＨ．２６４／ＡＶＣが知られている。Ｈ．２６４／ＡＶＣでは、画面間の予測符号化に膨大な演算量が必要となるため、映像フレームの静止情報を利用した画面間符号化、つまり、１）まず、画面内の各マクロブロックが“静止”と“非静止”のどちらであるかを判別（静止判定）し、２）静止のマクロブロックに関しては、１フレーム前の同座標に位置するマクロブロックを用いて予測する、という手法が広く利用されている。
【０００３】
この手法によって、符号化効率の低下を抑制しながら、Ｐ／Ｂピクチャ符号化に伴う演算量を削減でき、有効となる。静止情報を利用した画面間符号化の代表例として特許文献１を挙げる。例えば、特許文献１では、符号化対象マクロブロックと、１フレーム前の同位置のマクロブロックとの画素間差分の絶対値和（ＳＡＤ：Sum of Absolute Difference）を計算し、十分小さい場合には静止とみなし、参照マクロブロックをコピーすることで画面間符号化処理の演算量の削減を行っている。
【０００４】
ＳＡＤによる静止判定は、演算負荷が許容される環境下では問題ないが、テレビ会議等のようなリアルタイム符号化を演算性能の低いＰＣ（Personal Computer）で実行する場合、特に、映像の解像度・フレームレートが高い場合には、演算負荷は問題となる。従って、静止判定手法に対しても、より低演算量なアルゴリズムが求められている。
【０００５】
上記問題を解決する簡易静止領域判定技術に関して、容易に類推できる手法としては１）ＳＡＤの計算対象画素を、マクロブロック全体でなく一部に限定する方法（例えば特許文献２参照）や、２）符号化対象ブロック及び参照ブロックの画素の全て、もしくは一部の画素値を合計し、その値同士の差分の絶対値を用いる手法（例えば特許文献３参照）が考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１９９４０８号公報
【特許文献２】特開平１０−２２９５５８号公報
【特許文献３】特許第３９６８７７４号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献１、２に記載の従来技術では、マクロブロックの各画素毎の変化が全て検出できないため、静止していないにも関わらず、静止であると判定される可能性があり、直前フレームの同位置のブロックで予測した結果、符号化効率が悪化してしまうという問題がある。
【０００８】
本発明は、このような事情を考慮してなされたものであり、その目的は、静止判定精度を維持しつつ、静止判定に伴う演算量を削減することができる映像静止判定方法、映像静止判定装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、各マクロブロックに対応する静止カウンタを所定の値に初期化するステップと、静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、前記静止判定対象のマクロブロックの静止カウンタを、直前フレームのマクロブロックが静止と判定されていれば、所定の増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化するステップと、前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの全画素合計値同士の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップとを含むことを特徴とする映像静止判定方法である。
【００１０】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、各マクロブロックに対応する静止カウンタを、画面中央よりも画面端の方が大きくなるように所定の値に初期化するステップと、静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、直前フレームのマクロブロックが静止と判定されていれば、画面中央のブロックに対する前記静止カウンタを所定の増加幅で増加し、画面端のブロックに対する前記静止カウンタを、画面中央の増加幅よりも更に高い増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化するステップと、前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの画素の合計値の差分絶対値、もしくは前後のブロックのそれぞれの一部の対象画素の画素値の合計値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップとを含むことを特徴とする映像静止判定方法である。
【００１１】
本発明は、上記の発明において、前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止カウンタを０に初期化することを特徴とする。
【００１３】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、各マクロブロックに対応する静止カウンタを所定の値に初期化する初期化手段と、静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、前記静止判定対象のマクロブロックの静止カウンタを、当該マクロブロックが静止と判定されていれば、所定の増加幅で増加し、直前フレームのマクロブロックが非静止と判定されていれば０に初期化するカウンタ制御手段と、前記静止カウンタの値に基づいて、前記直前フレームのマクロブロックが一定時間以上静止しているか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sumof Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの全画素合計値同士の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、前記画素値変化量算出手段により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段とを備えることを特徴とする映像静止判定装置である。
【００１４】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、各マクロブロックに対応する静止カウンタを、画面中央よりも画面端の方が大きくなるように所定の値に初期化する初期化手段と、静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、直前フレームのマクロブロックが静止と判定されていれば、画面中央のブロックに対する前記静止カウンタを所定の増加幅で増加し、画面端のブロックに対する前記静止カウンタを、画面中央の増加幅よりも更に高い増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化する静止カウンタ制御手段と、前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの画素の合計値の差分絶対値、もしくは前後のブロックのそれぞれの一部の対象画素の画素値の合計値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段とを備えることを特徴とする映像静止判定装置である。
【００１５】
本発明は、上記の発明において、前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止カウンタを０に初期化する修正手段を更に備えることを特徴とする。
【００１７】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置のコンピュータに、各マクロブロックに対応する静止カウンタを所定の値に初期化する初期化機能、静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、前記静止判定対象のマクロブロックの静止カウンタを、直前フレームのマクロブロックが静止と判定されていれば、所定の増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化するカウンタ制御機能、前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定機能、前記判定機能による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの全画素合計値同士の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出機能、前記画素値変化量算出機能により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定機能を実現させるためのプログラムである。
【００１８】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置のコンピュータに、各マクロブロックに対応する静止カウンタを、画面中央よりも画面端の方が大きくなるように所定の値に初期化する初期化機能、静止判定対象のマクロブロックの直前フレームの同ブロックの静止判定結果に基づいて、直前フレームのマクロブロックが静止と判定されていれば、画面中央のブロックに対する前記静止カウンタを所定の増加幅で増加し、画面端のブロックに対する前記静止カウンタを、画面中央の増加幅よりも更に高い増加幅で増加し、前記直前フレームのマクロブロックが非静止と判定されていれば０に初期化する静止カウンタ制御機能、前記静止カウンタの値に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定機能、前記判定機能による判定結果に基づいて、当該マクロブロックが一定時間以上静止していない場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）を用いて、当該マクロブロックが一定時間以上静止している場合には、フレーム前後の同一座標ブロックのそれぞれの画素の合計値の差分絶対値、もしくは前後のブロックのそれぞれの一部の対象画素の画素値の合計値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出機能、前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定機能を実現させるためのプログラムである。
【発明の効果】
【００１９】
この発明によれば、静止判定精度を維持しつつ、静止判定に伴う演算量を削減することができる。
【図面の簡単な説明】
【００２０】
【図１】本第１実施形態による静止判定方法の動作を説明するためのフローチャートである。
【図２】本第１実施形態による定常静止判定処理を説明するためのフローチャートである。
【図３】本第１実施形態による定常静止判定結果を用いた静止判定処理を説明するためのフローチャートである。
【図４】ΔＤＣ＝０で非静止の場合の例を示す概念図である。
【図５】画素値を合計する際の対象範囲を示す概念図である。
【図６】本第１実施形態による静止判定処理装置の構成を示すブロック図である。
【図７】本第１実施形態による静止判定部１の構成を示すブロック図である。
【図８】本第１実施形態による静止カウンタ処理部１１の構成を示すブロック図である。
【図９】本第２実施形態において対象となる映像の画面の定義を説明するための概念図である。
【図１０】静止カウンタの初期化処理の動作を説明するためのフローチャートである。
【図１１】本第２実施形態による定常静止判定処理の動作を説明するためのフローチャートである。
【図１２】本第３実施形態による静止判定方法の動作を説明するためのフローチャートである。
【図１３】本第３実施形態による、符号化後静止カウンタ制御処理の動作を説明するためのフローチャートである。
【図１４】本第３実施形態による静止判定処理装置の構成を示すブロック図である。
【図１５】本第３実施形態による静止判定部１ａの構成を示すブロック図である。
【図１６】本第３実施形態による静止カウンタ処理部１１ａの構成を示すブロック図である。
【図１７】本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。
【図１８】静止カウンタを参照する近傍マクロブロックを示す概念図である。
【図１９】Ｎｚを算出する際、各ピクチャパターンに応じて参照するマクロブロックを示す概念図である。
【図２０】ある空間座標のマクロブロックを時系列に並べ、当該マクロブロックに対する画素値変化量の評価を省略した際の様子を示す概念図である。
【図２１】本第４実施形態による、静止判定方法を実現する静止判定処理装置の構成を示すブロック図である。
【図２２】本第４実施形態による静止判定部１ｂの構成を示すブロック図である。
【図２３】本第４実施形態による静止カウンタ処理部１１ｂの構成を示すブロック図である。
【図２４】本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。
【図２５】本第４実施形態による静止判定部１ｃの構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態を、図面を参照して説明する。以下、本発明の実施形態のアルゴリズムをＨ．２６４／ＡＶＣを例にして、図面を参照しながら説明する。
【００２２】
Ａ．第１実施形態
図１は、本第１実施形態による静止判定方法の動作を説明するためのフローチャートである。まず、各マクロブロックに対応する静止カウンタを全て０に初期化する（ステップＳ１）。次いで、符号化対象フレームを１枚ずつ入力し（ステップＳ２）、マクロブロック単位で一つずつラスタスキャン順に符号化対象マクロブロックを入力する（ステップＳ３）。次いで、定常静止判定処理を行い（ステップＳ４）、静止判定処理を行う（ステップＳ５）。
【００２３】
次に、符号化対象マクロブロックに対して、Ｈ．２６４／ＡＶＣに基づくエンコーダとして一般的な、イントラ予測／インター予測、直交変換／逆直交変換、量子化、エントロピー符号化（ＣＡＶＬＣ／ＣＡＢＡＣ）等の符号化処理を行い、最終的に、各フレームをバイナリデータとして出力する（ステップＳ６）。
【００２４】
ステップＳ６の符号化処理において、画面間予測符号化を行う場合には、静止判定の結果を利用する。例えば、静止と判断されたブロックでは、動きベクトル（０，０）、つまり直前フレームの同座標のマクロブロックによって予測を行う。正しく静止判定が行われれば、動きベクトル（０，０）による予測で、予測残差誤差を十分小さく抑えられる。
【００２５】
次に、当該フレームの全てのマクロブロックの処理が完了したか否かの判定を行い（ステップＳ７）、もし完了していなければ（ステップＳ７の偽）、ステップＳ３に戻り、次のマクロブロックの処理を行う。一方、当該フレームの全てのマクロブロックの処理が完了していれば（ステップＳ７の真）、全てのフレームの処理が完了したか否かの判定を行う（ステップＳ８）。そして、完了していなければ（ステップＳ８の偽）、ステップＳ２に戻り、次のフレームの処理を行い、完了していれば（ステップＳ８の真）、全体のアルゴリズムを終了する。
【００２６】
次に、本第１実施形態における静止判定の具体的なアルゴリズム（ステップＳ４の定常静止判定処理、及びステップＳ５の静止判定処理）について詳細に説明する。
【００２７】
図２は、本第１実施形態による定常静止判定処理を説明するためのフローチャートである。定常静止判定処理では、まず、静止判定対象の（ｍ，ｎ）番目のマクロブロック（ｍ、ｎは、空間的にｙ方向にｍ番目、ｘ方向にｎ番目）の直前フレームの同座標マクロブロックが静止していたか否かを判定する（ステップＳ１１）。そして、直前フレームの同座標マクロブロックが静止と判定された場合には（ステップＳ１１のＹＥＳ）、静止判定対象マクロブロックの座標番号に対応する静止カウンタＣＮＴ（ｍ，ｎ）を、次式（１）の「静止」ように、１インクリメントする（ステップＳ１２）。一方、非静止と判定された場合には（ステップＳ１１のＮＯ）、静止カウンタＣＮＴ（ｍ，ｎ）を、次式（１）の「非静止」ように、０にリセットする（ステップＳ１３）。
【００２８】
【数１】
0005756368.tif 000002
【００２９】
そして、（ｍ，ｎ）番目のマクロブロックの定常静止か、非定常静止かの場合分けを、静止カウンタＣＮＴ（ｍ，ｎ）と閾値ＴＨＣＮＴとを用いて、次式（２）のように行う（ステップＳ１４）。
【００３０】
【数２】
0005756368.tif 000003
【００３１】
図３は、本第１実施形態による定常静止判定結果を用いた静止判定処理を説明するためのフローチャートである。静止判定処理では、まず、定常静止判定が真であるか否かを判定する（ステップＳ２１）。定常静止判定処理（図１のステップＳ４）で、非定常静止と判定された場合には、ステップＳ２１において偽と判定される。この場合、静止判定対象マクロブロック（数式（３）を参照）と１フレーム前の同一座標マクロブロック（数式（４）を参照）との画素値変化量をＳＡＤの計算式（５）を用いて評価する（ステップＳ２２）。
【００３２】
【数３】
0005756368.tif 000004
【００３３】
【数４】
0005756368.tif 000005
【００３４】
【数５】
0005756368.tif 000006
【００３５】
本第１実施形態では、ＳＡＤを用いるが、ここで用いる画素値変化量の評価方法は、一画素毎の変化量を評価できるものであれば十分であり、ＳＡＤではなく、画素間差分の二乗和としてもよい。
【００３６】
【数６】
0005756368.tif 000007
【００３７】
そして、外部から与えられた閾値ＴＨＳＡＤを用いて、マクロブロック（数式（３）を参照）の状態を、次式（７）の静止判定条件で判定し、静止ならば真を出力、非静止ならば偽を出力する（ステップＳ２３）。
【００３８】
【数７】
0005756368.tif 000008
【００３９】
この静止判定結果を図１に示すステップＳ６の符号化処理の中で画面間予測符号化に適用する。
【００４０】
一方、定常静止判定処理（図１のステップＳ４）で、定常静止と判定された場合には、ステップＳ２１において真と判定され、静止判定対象マクロブロック（数式（３））と１フレーム前の同一座標マクロブロック（数式（４））との画素値変化量を、次式（８）で定義されるΔＤＣを用いて計算する（ステップＳ２４）。
【００４１】
【数８】
0005756368.tif 000009
【００４２】
ΔＤＣは、マクロブロックの合計値の差分であり、一画素毎の変化量ではなく、ブロック全体のおおよその変化量を、ＳＡＤよりも低演算量で計算することができる。実際、ＳＡＤでは、１６×１６画素サイズのマクロブロックに対して、
【００４３】
【数９】
0005756368.tif 000010
【００４４】
であるが、ΔＤＣでは、直前の同一座標マクロブロック（数式（４））の合計値（数式（１０を参照）を保存しておけば、数式（１１）となる。
【００４５】
【数１０】
0005756368.tif 000011
【００４６】
【数１１】
0005756368.tif 000012
【００４７】
以上求めたΔＤＣを用いて、次式（１２）が真である場合に、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ２５）。ここで、ＴＨΔＤＣは、ΔＤＣに対する閾値である。
【００４８】
【数１２】
0005756368.tif 000013
【００４９】
ここで注意する点としては、画素値変化量ΔＤＣが十分小さいとき、静止判定対象マクロブロックは、１フレーム前の同一座標マクロブロックを基準として、静止している可能性が高いが、ＳＡＤで画素値変化量を計算する場合と異なり、必ずしも確実に静止しているとは限らない。以下に、その具体例を示す。
【００５０】
例えば、図４（ａ）は、静止判定対象ブロック（数式（４））、図４（ｂ）は、静止判定対象ブロックの１フレーム前のマクロブロックの輝度値を表したものである。白が輝度値２５５、グレーが輝度値０と仮定する。この場合、ΔＤＣは、０となり、画素値変化がないと考えられるが、実際には、異なるテクスチャとなっている。
【００５１】
この状況でΔＤＣ＝０の結果によって静止判定を行った場合、マクロブロックが静止していると判断され、画面間予測符号化にて当該マクロブロックを直前のマクロブロックで予測することになる。しかし、予測残差誤差エネルギーは大きくなり、符号化効率を著しく低下させてしまう。
【００５２】
従来技術では、ΔＤＣ等のＳＡＤよりも低演算な計算を直接用いていたが、本発明によれば、ΔＤＣによる簡易的な輝度値変化量の評価は、ＳＡＤによる厳密な画素値変化量の評価によって、十分な時間、定常静止していると考えられるマクロブロックに限って適用するため、上記の様な例外ケースを除外することが可能となる。
【００５３】
また、本第１実施形態でのΔＤＣの計算方法は、図５（ａ）のように、マクロブロック全体の画素を加算する範囲としているが、図５（ｂ）や、図５（ｃ）のように、マクロブロック内で、ΔＤＣで計算する画素範囲を制限することによって、画素値変化量の評価に伴う演算量を削減することが可能となる。また、ΔＤＣに限らず、ＳＡＤに関しても、差分絶対値和の対象画素範囲を、図５（ｂ）や、（ｃ）に制限しても、通常のＳＡＤよりは演算量の少ない評価が行える。
【００５４】
図６は、本第１実施形態による静止判定処理装置の構成を示すブロック図である。図６に示すように、静止判定処理装置は、静止判定部１、及び符号化処理部２からなる。静止判定部１は、入力として各フレームのマクロブロックを受け取り、静止判定結果を符号化処理部２に供給する。符号化処理部２は、静止判定結果に従って、符号化対象のマクロブロックを符号化し、バイナリデータとして出力する。
【００５５】
図７は、本第１実施形態による静止判定部１の構成を示すブロック図である。まず、静止判定部１は、静止カウンタ処理部１１、定常静止判定部１２、画素値変化評価法切替部１３、通常画素値変化評価部１４、通常静止判定部１５、簡易画素値変化評価部１６、及び簡易静止判定部１７を備えている。静止カウンタ処理部１１は、マクロブロックの空間的な座標位置情報を受け取る。
【００５６】
図８は、本第１実施形態による静止カウンタ処理部１１の構成を示すブロック図である。図８に示すように、静止カウンタ処理部１１は、静止カウンタ制御部１１１、静止カウンタ記憶部１１２、及び静止カウンタ演算部１１３を備えている。静止カウンタ制御部１１１は、空間座標、及び直前フレームでの静止判定結果を受け取り、静止カウンタ演算部１１３に送出する。静止カウンタ演算部１１３は、直前の静止判定結果によって、非静止ならば静止カウンタ記憶部１１２に格納されている静止カウンタを０に初期化し、その値を書き込むとともに、静止カウンタ制御部１１１に、現在フレームの静止カウンタを送出する。最終的に、静止カウンタ制御部１１１が、図７に示す定常静止判定部１２に静止カウンタを送出する。
【００５７】
定常静止判定部１２では、マクロブロックが定常静止であるか否かの判定を静止カウンタに従って行い、結果（真、または偽）を画素値変化評価法切替部１３に送出する。画素値変化評価法切替部１３は、受け取った定常静止判定結果に従い、静止判定方法の選択を行う。仮に、定常静止判定結果が偽であったならば、マクロブロックは、非定常静止とみなされ、通常画素値変化評価部１４においてＳＡＤの計算を行い、計算されたＳＡＤ値を通常静止判定部１５に送出する。通常静止判定部１５は、受け取ったＳＡＤ値と、所定の閾値とに従って、マクロブロックが静止しているか否かを判定し、その静止判定結果を図６に示す符号化処理部２に送出する。符号化処理部２は、静止判定結果に従って、画面間符号化の簡略化を行うことになる。
【００５８】
また、定常静止判定結果が真であったならば、定常静止とみなされ、画素値変化評価法切替部１３は、簡易画素値変化評価部１６を選択する。簡易画素値変化評価部１６は、マクロブロックと直前のマクロブロックとの画素値変化のΔＤＣを計算し、簡易静止判定部１７にΔＤＣを送出する。簡易静止判定部１７は、受け取ったΔＤＣに基づいて、静止判定を行い、真ならば真を、偽ならば偽の結果を図６に示す符号化処理部２に送出する。
【００５９】
Ｂ．第２実施形態
本第２実施形態では、第１実施形態のアルゴリズムにおける静止カウンタの初期化処理（図１のステップＳ１）、及び、定常静止判定（図２のステップＳ１４）について、マクロブロックの位置情報を考慮した方法を提供する。まず、図９に示すように、画面上端からマクロブロックＮＨ１個分、下端からマクロブロックＮＨ２個分、画面左端からマクロブロックＮＷ１個分、画面右端からＮＷ２個分で囲まれる矩形領域を“画面中央”、それ以外を“画面端”と呼ぶことにする。テレビ会議映像などの動きの少ない映像において、画面端は、画面中央に比べて、動きのない背景領域である可能性が高い。そのような映像を考慮し、静止カウンタの初期化、定常静止の判定を行う。
【００６０】
なお、第２実施形態のアルゴリズムを実現する静止判定処理装置は、第１実施形態の図６、図７、図８と同様の構成であるので説明を省略する。但し、マクロブロックの画面中央／画面端情報を受け渡すところのみが異なる。
【００６１】
図１０は、本第２実施形態による静止カウンタ初期化処理の動作を説明するためのフローチャートである。まず、静止カウンタの初期化処理では、当該マクロブロックが、画面端に位置するか、画面中央に位置するかを判定する（ステップＳ３１）。そして、ステップＳ３２、ステップＳ３３で、次式（１３）に示すように、初期化する。但し、Ｎ＞０である。
【００６２】
【数１３】
0005756368.tif 000014
【００６３】
図１１は、本第２実施形態による定常静止判定処理の動作を説明するためのフローチャートである。定常静止判定処理では、まず、静止判定対象の（ｍ，ｎ）番目のマクロブロック（ｍ、ｎ）は、空間的にｙ方向にｍ番目、ｘ方向にｎ番目）の直前フレームの同座標マクロブロックが静止していたか否かを判定する（ステップＳ４１）。そして、直前フレームの同座標マクロブロックが静止と判定された場合には（ステップＳ４１のＹＥＳ）、マクロブロックが画面中央に位置するか否かを判定する（ステップＳ４２）。
【００６４】
そして、マクロブロックが画面中央に位置すると判定された場合には（ステップＳ４２のＹＥＳ）、次式（１４）の「画面中央」で示すように、静止カウンタを１インクリメントし（ステップＳ４３）、マクロブロックが画面中央に位置しないと判定された場合には（ステップＳ４２のＮＯ）、次式（１４）の「画面端」で示すように、静止カウンタをＭインクリメントする（ステップＳ４４）。
【００６５】
【数１４】
0005756368.tif 000015
【００６６】
また、直前フレームの同座標マクロブロックが非静止と判定された場合には（ステップＳ４１のＮＯ）、静止判定対象マクロブロックの座標番号に対応する静止カウンタＣＮＴ（ｍ，ｎ）を、０に初期化する（ステップＳ４５）。
【００６７】
このように、画面の中央／端のどちらにマクロブロックが位置しているかによって、静止カウンタの増加幅を変える。但し、Ｍ＞１である。次に、ステップＳ４３、またはステップＳ４４、またはステップＳ４５の処理終了後、（ｍ，ｎ）番目のマクロブロックの定常静止か、非定常静止かの場合分けを、静止カウンタＣＮＴ（ｍ，ｎ）と閾値ＴＨＣＮＴとを用いて、数式（２）のように行う（ステップＳ４６）。
【００６８】
テレビ会議映像などの背景領域が多い映像に関しては、この領域に応じた初期化値、増加幅の閾値の使い方によって、画像端領域でより早いタイミングで静止カウンタが閾値よりも高くなる。つまり簡易な画素値変化評価法を選択できるので演算量が第１実施形態よりも、より削減でき、有効となる。
【００６９】
Ｃ．第３実施形態
本第３実施形態では、符号化後の静止カウンタの制御を考慮した方法を提供する。通常、静止判定の結果に従って、静止と判定されれば、直前フレームの同位置のマクロブロックで当該マクロブロックを予測するのが一般的である。しかし、もし静止判定の結果に誤りが生じた場合（静止と判定されたが、本当は画素値が変化しており、静止していない場合）、直前フレームのマクロブロックで予測した結果、予測残差信号の絶対値和は、非常に大きな値をとることになり、符号化効率の低下を引き起こす原因となる。
【００７０】
更に、静止カウンタが十分大きい場合、簡易的な手段で計算された画素値変化量が動きを検出できず、数フレーム誤判定が続いてしまう場合も考えられる。この問題点を鑑みると、直ちに静止カウンタの値を現在フレームに更新し、ＳＡＤによる正確な静止判定に戻すのが望ましい。
【００７１】
図１２は、本第３実施形態による、符号化後の静止カウンタの制御を導入した、静止判定方法の動作を説明するためのフローチャートである。第１実施形態、第２実施形態と異なる部分は、ステップＳ５７の静止カウンタ制御の処理が追加されているところである。ステップＳ５１〜Ｓ５６は、図１のステップＳ１〜ステップＳ６に対応する。ステップ５７では、静止判定で静止と判断された場合のマクロブロックに関して、符号化後の静止カウンタの制御を行う。
【００７２】
図１３は、本第３実施形態による、符号化後静止カウンタ制御処理の動作を説明するためのフローチャートである。符号化後静止カウンタ制御処理では、まず、画面間符号化後の予測残差誤差（ΔＥとする）を参照し、次式（１５）に示すように、閾値ＴＨΔＥと大小関係を比較し（ステップＳ６１）、予測残差誤差（ΔＥ）が閾値ＴＨΔＥ以下ならば（ステップＳ６１のＹＥＳ）、何もせずに、図１２に示すメインルーチンに戻る。一方、予測残差誤差（ΔＥ）が閾値ＴＨΔＥより大ならば（ステップＳ６１のＮＯ）、静止カウンタの値を０に初期化する（ステップＳ６２）。
【００７３】
【数１５】
0005756368.tif 000016
【００７４】
図１４は、本第３実施形態による、符号化後の静止カウンタ制御を導入した静止判定処理装置の構成を示すブロック図である。図１４に示すように、本第３実施形態による静止判定処理装置は、静止判定部１ａ、及び符号化処理部２ａからなる。静止判定部１ａは、入力として各フレームのマクロブロックを受け取り、画面間予測残差誤差を参照し、静止判定結果を符号化処理部２ａに供給する。符号化処理部２ａは、画面間予測残差誤差を静止判定部１ａに供給し、静止判定結果に従って、符号化対象のマクロブロックを符号化し、バイナリデータとして出力する。
【００７５】
図１５は、本第３実施形態による静止判定部１ａの構成を示すブロック図である。なお、図７に対応する部分には同一の符号を付けて説明を省略する。図１５において、静止カウンタ処理部１１ａは、マクロブロックの空間的な座標位置情報を受け取るとともに、符号化処理部２ａから符号化結果としての画面間予測残差誤差の情報を入力情報として受け取り、画面間予測残差誤差を参照し、静止カウンタの値を初期化する。
【００７６】
図１６は、本第３実施形態による静止カウンタ処理部１１ａの構成を示すブロック図である。なお、図８に対応する部分には同一の符号を付けて説明を省略する。静止カウンタ処理部１１ａは、静止カウンタ制御部１１１ａ、静止カウンタ記憶部１１２、及び静止カウンタ演算部１１３を備えている。静止カウンタ制御部１１１ａは、空間座標、及び直前フレームでの静止判定結果に加えて、符号化処理部２ａから符号化結果としての画面間予測残差誤差を受け取り、静止カウンタ演算部１１３に送出する。
【００７７】
Ｄ．第４実施形態
本第４実施形態では、上述した第１実施形態、または第２実施形態の静止判定条件に加えて、近傍マクロブロックの静止カウンタ・符号化情報（インター／イントラ情報、動きベクトル情報）を用いる方法を提供する。
【００７８】
本発明によれば、画素値変化量ΔＤＣによる簡易的な輝度値変化量の評価は、ＳＡＤによる厳密な画素値変化量の評価によって十分な時間定常静止していると考えられるマクロブロックに限って適用するため、第１実施形態で述べたような誤判定は起こりにくいと考えられる。しかし、突発的な動きの可能性は十分考えられ、実際動領域と静止領域との境界部分では、オブジェクトの急な侵入によって、静止でなくなる可能性もある。
【００７９】
この際、画素値変化量の簡易計算が動きを検出できず、静止判定を誤ってしまうことが考えられる。より頑健な静止判定方法を構成するため、本第４実施形態では、簡易的に計算したブロック間の画素値変化量ΔＤＣに加え、静止判定対象マクロブロックの近傍マクロブロックの静止カウンタ、イントラ／インターモード情報、動きベクトルの情報を利用する。
【００８０】
図１７は、本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。静止判定処理では、まず、定常静止判定が真であるか否かを判定する（ステップＳ７１）。そして、非定常静止と判定された場合には（ステップＳ７１の偽）、静止判定対象マクロブロック（数式（３）を参照）と１フレーム前の同一座標マクロブロック（数式（４）を参照）との画素値変化量をＳＡＤの計算式（５）を用いて評価する（ステップＳ７２）。そして、外部から与えられた閾値ＴＨＳＡＤを用いて、マクロブロック（数式（３）を参照）の状態を、数式（７）の静止判定条件で判定し、静止ならば真を出力、非静止ならば偽を出力する（ステップＳ７３）。
【００８１】
一方、定常静止と判定された場合には（ステップＳ７１の真）、静止判定対象マクロブロック（数式（４））と１フレーム前の同一座標マクロブロック（数式（４））との画素値変化量を、数式（８）で定義されるΔＤＣを用いて計算する（ステップＳ７４）。次に、ΔＤＣ、ブロック数Ｎｃ、ブロック数Ｎｚを用いて、図示する３つの条件の真偽に応じて、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ７５）。
【００８２】
ステップＳ７５の処理に用いられる、近傍マクロブロックの定常静止しているブロック数Ｎｃ、現フレーム及び直前フレームの近傍マクロブロックで１６×１６サイズの動きベクトル（０，０）で符号化されたブロック数Ｎｚは、以下のようにして算出される。
【００８３】
まず、上記Ｎｃの算出について図１８（ａ）、（ｂ）を参照して説明する。Ｘは、静止判定対象ブロックを示す。Ｎｃの算出には、静止判定対象マクロブロックの隣接８近傍マクロブロックの座標に対応する静止カウンタ（図１８（ｂ））を参照し、次式（１６）となるブロック個数をＮｃとして算出する。Ｎｃが大きいとき、静止判定対象マクロブロックの近傍が十分静止していると判断できるので、静止判定対象マクロブロックに関しても静止している可能性は高くなる。
【００８４】
【数１６】
0005756368.tif 000017
【００８５】
次に、Ｎｚの算出について図１９（ａ）〜（ｃ）を参照して説明する。
図１９（ａ）〜（ｃ）は、Ｎｚを算出する際、各ピクチャパターンに応じて参照するマクロブロックを示す概念図である。図１９（ａ）〜（ｃ）のいずれにおいても、Ｘは静止判定対象ブロックを示す。まず、静止判定対象ブロックを含むフレームがＰ／Ｂピクチャで、直前のフレームもＰ／Ｂピクチャの場合、図１９（ａ）に示すように、現フレーム・直前フレームの９つの近傍マクロブロックＡ１〜Ａ４、Ｂ１〜Ｂ５を参照し、その中で、インターモードで符号化され、画面間予測画素単位が１６×１６で、かつ、動きベクトルが（０，０）であるものの数をＮｚとする。
【００８６】
次に、静止判定対象ブロックを含むフレームがＩピクチャで、直前のフレームがＰ／Ｂピクチャの場合、図１９（ｂ）に示すように、直前フレームの９つの近傍マクロブロックＢ１〜Ｂ９を参照し、その中で、画面間予測画素単位が１６×１６で、かつ、動きベクトルが（０，０）であるものの数をＮｚとする。
【００８７】
最後に、静止判定対象ブロックを含むフレームがＰ／Ｂピクチャで、直前のフレームがＩピクチャの場合、図１９（ｃ）に示すように、参照できる動きベクトルを持つマクロブロックは、４近傍（Ａ１〜Ａ４）のみであるため、マクロブロックＡ１〜Ａ４の中で、画面間予測のブロックサイズが１６×１６で、かつ動きベクトルが（０，０）であるものの数をＮｚとする。
【００８８】
１６×１６画素単位の（０，０）動きベクトルの情報は、実際の画面間予測によって直前のマクロブロックが最適と判断されたことを意味するので、Ｎｚが大きいとき、Ｎｃと同様に静止判定対象ブロックが静止している可能性は高くなる。
【００８９】
以上、求めたΔＤＣとＮｃ、及びＮｚを用いて、ステップＳ６５にて、次式（１７）で表わされる３つの条件が全て真である場合に、静止判定結果を真として出力する。
【００９０】
【数１７】
0005756368.tif 000018
【００９１】
ここで、ＴＨΔＤＣ、及びＴＨＮｃは、ΔＤＣ、及びＮｃに対する閾値で、ＴＨＮｚは、Ｎｚの閾値である。但し、近傍マクロブロックの動きベクトルに関する情報Ｎｚは、当該フレームと直前フレームとで参照できるブロック数が異なるので、次式（１８）のように、ピクチャタイプの３つの組み合わせによって、それぞれ閾値を用意しておく。また、１つ以上の条件が偽である場合には、静止判定結果を偽として出力する。
【００９２】
【数１８】
0005756368.tif 000019
【００９３】
以上のように、本第４実施形態によるアルゴリズムによれば、静止領域と動領域との境界部分で発生する、静止領域への突発的なオブジェクトの侵入の際の、静止判定に対する誤判定のリスクを、近傍マクロブロックの静止カウンタや、近傍マクロブロックのインター・イントラモード情報、動きベクトル情報に対する条件を用いて低下させ、低演算で頑健な静止判定を行うことが可能となる。
【００９４】
また、本第４実施形態でのΔＤＣの計算方法は、図５（ａ）のように、マクロブロック全体の画素を加算する範囲としているが、図５（ｂ）や、図５（ｃ）のように、マクロブロック内で、ΔＤＣで計算する画素範囲を制限することによって、画素値変化量の評価に伴う演算量を削減することが可能となる。また、ΔＤＣに限らず、ＳＡＤに関しても、差分絶対値和の対象画素範囲を、図５（ｂ）や、図５（ｃ）に制限しても、通常のＳＡＤよりは演算量の少ない評価が行える。
【００９５】
また、本第４実施形態の構成ではないが、静止カウンタが特に大きく、映像画面の中で背景と考えられるマクロブロックによっては、ΔＤＣの計算を省略してもよい。図２０は、ある空間座標のマクロブロックを時系列に並べ、当該マクロブロックに対する画素値変化量の評価を省略した際の様子を示す概念図である。濃いグレーのマクロブロック（第Ｎ−２、Ｎ−１、Ｎ）は、ＳＡＤの評価方法で静止と判断されたことを示しており、第ＮフレームのマクロブロックがＳＡＤによる画素値変化量評価によって静止と判断され、静止時間が十分大きくなり、第Ｎ＋１フレームから定常静止の状態に移行した状況を示している。
【００９６】
さらに、定常静止と判断された第Ｎ＋１フレーム以降では、薄い灰色はΔＤＣの評価方法で静止と判断されたことを示しており、白色はΔＤＣの評価を省略し、かつ静止と判断されたことを示している。ΔＤＣの評価を省略した第Ｎ＋２、第Ｎ＋４、第Ｎ＋６フレームでは、図１７のステップＳ７５の条件で、ΔＤＣの条件を取り除いた、次式（１９）で表わされる静止判定条件によって判定を行う。
【００９７】
【数１９】
0005756368.tif 000020
【００９８】
また、第Ｎ＋３フレームのマクロブロックは、ΔＤＣによって画素値変化量を評価されることになるが、第Ｎ＋２フレームのマクロブロックは、ΔＤＣの評価が省略されている。このため、仮に基準を第Ｎ＋２フレームのマクロブロックにすると、両マクロブロックの合計値を計算しなければならない。よって、この場合には、第Ｎ＋１フレームのマクロブロックで計算した部分合計値を、第Ｎ＋２フレームのマクロブロックが保持し、第Ｎ＋３フレームのマクロブロックの部分合計値のみを計算し、第Ｎ＋２フレームのマクロブロックが保持している第Ｎ＋１フレームのマクロブロックの合計値との差分の絶対値で評価する。以上のように、近傍マクロブロックの情報を用いることによって、画素値変化量評価の簡易化（低演算量化）は空間のみならず、時間方向にも計算対象範囲を制限することができる。
【００９９】
図２１は、本第４実施形態による、静止判定方法を実現する静止判定処理装置の構成を示すブロック図である。図２１に示すように、本第４実施形態による静止判定処理装置は、静止判定部１ｂ、及び符号化処理部２ｂからなる。静止判定部１ｂは、入力として各フレームのマクロブロック、イントラ／インターモード情報、動きベクトル情報を受け取り、静止判定結果を符号化処理部２ｂに供給する。符号化処理部２ｂは、イントラ／インターモード情報、動きベクトルの情報を静止判定部１ｂに供給し、静止判定結果に従って、符号化対象のマクロブロックを符号化し、バイナリデータとして出力する。
【０１００】
図２２は、本第４実施形態による静止判定部１ｂの構成を示すブロック図である。なお、図７、図１５に対応する部分には同一の符号を付けて説明を省略する。図２２において、静止カウンタ処理部１１ｂは、マクロブロックの空間的な座標位置情報を入力情報とし受け取るとともに、通常静止判定部１５からの静止判定結果、簡易静止判定部１７ｂからの静止判定結果、近傍マクロブロックの空間的な座標位置情報を受け取る。また、簡易静止判定部１７ｂは、符号化情報としてイントラ／インターモード情報、動きベクトルの情報、静止カウンタ処理部１１ｂからの近傍マクロブロックの静止カウンタを受け取る。
【０１０１】
図２３は、本第４実施形態による静止カウンタ処理部１１ｂの構成を示すブロック図である。なお、図８、図１６に対応する部分には同一の符号を付けて説明を省略する。図２３において、静止カウンタ処理部１１ｂでは、静止カウンタ制御部１１１ｂが空間座標情報、及び直前フレームでの静止判定結果、近傍マクロブロックの空間的な座標位置情報を受け取り、静止カウンタ演算部１１３に送出する。静止カウンタ演算部１１３は、直前の静止判定結果に応じて、非静止ならば、静止カウンタ記憶部１１２ｂの静止カウンタを０に初期化し、その値を書き込むとともに、静止カウンタ制御部１１１ｂに静止カウンタを送出する。最終的に、静止カウンタ制御部１１１ｂが、図２２に示す定常静止判定部１２に静止カウンタを送出する。
【０１０２】
定常静止判定部１２では、マクロブロックが定常静止か否かの判定を静止カウンタに従って行い、結果（真、または偽）を画素値変化評価法切替部１３に送出する。画素値変化評価法切替部１３は、受け取った定常静止判定結果に従い、静止判定方法の選択を行う。仮に、定常静止判定結果が偽であったならば、マクロブロックは、非定常静止とみなされ、通常画素値変化評価部１４においてＳＡＤの計算を行い、計算されたＳＡＤ値を通常静止判定部１５に送出する。通常静止判定部１５は、受け取ったＳＡＤ値と、所定の閾値とに従って、マクロブロックが静止しているか否かを判定し、その結果を図２１に示す符号化処理部２ｂに送出する。符号化処理部２ｂは、静止判定結果に従って、画面間符号化の簡略化を行うことになる。
【０１０３】
また、定常静止判定結果が真であったならば、定常静止とみなされ、画素値変化評価法切替部１３は、簡易画素値変化評価部１６を選択し、マクロブロックと直前のマクロブロックとの画素値変化のΔＤＣを計算し、簡易静止判定部１７ｂにΔＤＣを送出する。簡易静止判定部１７ｂは、受け取ったΔＤＣと符号化処理部２ｂから受け取った時間・空間近傍マクロブロックの動きベクトル情報、及び静止カウンタ処理部１１ｂから受け取った近傍マクロブロックの静止カウンタに基づいて、静止判定を行い、真ならば真を、偽ならば偽の結果を符号化処理部２ｂに送出する。
【０１０４】
また、上記の例は、定常静止の度合を１つの閾値によって２レベルに分類したことに相当するが、複数の閾値を設けることによって、定常静止レベルを複数レベルに分類するようにしてもよい。これにより、定常静止レベルに従って、静止判定の簡易化を段階的に行うことが可能となる。例えば、静止カウンタＣＮＴ（ｍ，ｎ）、閾値ＴＨＣＮＴ（１）、ＴＨＣＮＴ（２）（０＜ＴＨＣＮＴ（１）＜ＴＨＣＮＴ（２））を用いて、次式（２０）と定義する。
【０１０５】
【数２０】
0005756368.tif 000021
【０１０６】
図２４は、本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。図２４では、定常静止レベル数を２→３に変更したことに従って、分岐処理を１つ追加している。静止判定処理では、まず、どの定常静止レベルに属するか否かを判定する（ステップＳ８１）。そして、第１定常静止レベルと判定された場合には（ステップＳ８１の第１定常静止レベル）、ＳＡＤを計算し（ステップＳ８２）、外部から与えられた閾値ＴＨＳＡＤを用いて、マクロブロック（数式（３）を参照）の状態を、静止判定条件で判定し、静止ならば真を出力、非静止ならば偽を出力する（ステップＳ８３）。
【０１０７】
一方、第２定常静止レベルと判定された場合には（ステップＳ８１の第２定常静止レベル）、静止判定対象マクロブロック（数式（４））と１フレーム前の同一座標マクロブロック（数式（４））との画素値変化量を、数式（８）で定義されるΔＤＣ１を用いて計算する（ステップＳ８４）。次に、図５（ｂ）に示すように、合計する対象画素範囲を制限して、ΔＤＣ１、ブロック数Ｎｃ、ブロック数Ｎｚを用いて、図示する３つの条件の真偽に応じて、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ８５）。
【０１０８】
また、第３定常静止レベルと判定された場合には（ステップＳ８１の第３定常静止レベル）、ΔＤＣ２を、次式（２１）と定義することによって、ΔＤＣ２、ブロック数Ｎｃ、ブロック数Ｎｚを用いて、図示する３つの条件の真偽に応じて、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ８７）。このように、第１定常静止レベルのΔＤＣ１よりも低演算で、より簡易に画素値変化量を評価する。
【０１０９】
【数２１】
0005756368.tif 000022
【０１１０】
図２５は、本第４実施形態による静止判定部１ｃの構成を示すブロック図である。なお、図２２に対応する部分には同一の符号を付けて説明を省略する。図２５において、本第４実施形態による静止判定装置１ｃは、図２２に示す静止判定装置１ｂの構成に対して、３段階の切り替えを行うための画素値変化評価法切替部１３ｃとし、ΔＤＣ１で評価を行う第１簡易静止判定部１６ｃ及び第１簡易静止判定部１７ｃ、ΔＤＣ２で評価を行う第２簡易静止判定部１６ｄ及び第１簡易静止判定部１７ｄを追加した構成となる。このように、定常静止レベルの段数を更に増加させた場合、画素値変化評価法切替部１３ｃにモジュールを追加することで、装置を拡張することも可能である。
【０１１１】
上述した第１〜第４実施形態によれば、映像原信号の各マクロブロックの座標に対応する静止カウンタの値の大きさによって、当該マクロブロックが、どの程度の時間定常的に静止しているのかを把握することができる。マクロブロックが定常的に静止している時間が長ければ長いほど、直後のフレームの同一座標マクロブロックで画素値変化が生じる可能性は低くなると考えられる。従って、一定時間以上静止していると判断されるマクロブロックに関しては、マクロブロック間の画素値変化量の評価を、より演算量の低い計算式を用いて実行することで、演算コストを抑えながら静止判定精度の低下を抑制することができる。
【０１１２】
なお、本発明の適用範囲はＨ．２６４／ＡＶＣのみならずＭＰＥＧ２、ＭＰＥＧ４などの標準映像符号化にも適用することが可能である。
【０１１３】
また、上述した映像静止判定装置による各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１１５】
１、１ａ  静止判定部
２、２ａ  符号化処理部
１１、１１ａ、１１ｂ  静止カウンタ処理部
１２  定常静止判定部
１３、１３ｃ  画素値変化評価法切替部
１４  通常画素値変化評価部
１５  通常静止判定部
１６、１６ｃ、１６ｄ  簡易画素値変化評価部
１７、１７ｂ、１７ｃ、１７ｄ  簡易静止判定部
１１１、１１１ａ、１１１ｂ  静止カウンタ制御部
１１２  静止カウンタ記憶部
１１３  静止カウンタ演算部
【図１】
0005756368.tif 000023
【図２】
0005756368.tif 000024
【図３】
0005756368.tif 000025
【図４】
0005756368.tif 000026
【図５】
0005756368.tif 000027
【図６】
0005756368.tif 000028
【図７】
0005756368.tif 000029
【図８】
0005756368.tif 000030
【図９】
0005756368.tif 000031
【図１０】
0005756368.tif 000032
【図１１】
0005756368.tif 000033
【図１２】
0005756368.tif 000034
【図１３】
0005756368.tif 000035
【図１４】
0005756368.tif 000036
【図１５】
0005756368.tif 000037
【図１６】
0005756368.tif 000038
【図１７】
0005756368.tif 000039
【図１８】
0005756368.tif 000040
【図１９】
0005756368.tif 000041
【図２０】
0005756368.tif 000042
【図２１】
0005756368.tif 000043
【図２２】
0005756368.tif 000044
【図２３】
0005756368.tif 000045
【図２４】
0005756368.tif 000046
【図２５】
0005756368.tif 000047