(57)【特許請求の範囲】
【請求項１】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、
各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化するステップと、
当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定するステップと、
当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を求めるステップと、
前記静止時間と所定の閾値とを比較するステップと、
前記比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、
前記判定結果に基づいて、当該マクロブロックが一定時間以上静止している場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、
前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップと
を含むことを特徴とする映像静止判定方法。
【請求項２】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、
各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化するステップと、
当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定するステップと、
当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を求めるステップと、
当該マクロブロックが画面端に位置するならば、大きさの異なる２つの閾値のうち、小さい方の第１の閾値と前記静止時間とを比較し、当該マクロブロックが画面中央に位置するならば、前記大きさの異なる２つの閾値のうち、大きい方の第２の閾値と前記静止時間とを比較するステップと、
前記比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、
前記判定結果に基づいて、当該マクロブロックが一定時間以上静止している場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、
前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップと
を含むことを特徴とする映像静止判定方法。
【請求項３】
前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止開始時刻情報を現在フレームの時刻情報に修正するステップを更に含むことを特徴とする請求項１または２に記載の映像静止判定方法。
【請求項４】
前記算出された画素値変化量と前記マクロブロックの閾値との比較結果に加えて、近傍マクロブロックの静止時間と、近傍マクロブロックのインター／イントラモード情報と、近傍マクロブロックの動きベクトルとを用いることを特徴とする請求項１または２に記載の映像静止判定方法。
【請求項５】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、
各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化する初期化手段と、
当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定する設定手段と、
当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を算出する静止時間算出手段と、
前記静止時間と所定の閾値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、当該マクロブロックが一定時間以上静止している場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、
前記画素値変化量算出手段により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段と
を備えることを特徴とする映像静止判定装置。
【請求項６】
映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、
各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化する初期化手段と、
当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定する設定手段と、
当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を算出する静止時間算出手段と、
当該マクロブロックが画面端に位置するならば、大きさの異なる２つの閾値のうち、小さい方の第１の閾値と前記静止時間とを比較し、当該マクロブロックが画面中央に位置するならば、前記大きさの異なる２つの閾値のうち、大きい方の第２の閾値と前記静止時間とを比較する比較手段と、
前記比較手段による比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、当該マクロブロックが一定時間以上静止している場合には、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、
前記画素値変化量算出手段により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段と
を備えることを特徴とする映像静止判定装置。
【請求項７】
前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止開始時刻情報を現在フレームの時刻情報に修正する修正手段を更に備えることを特徴とする請求項５または６に記載の映像静止判定装置。
【請求項８】
前記静止判定手段は、前記画素値変化量算出手段により算出された画素値変化量と前記マクロブロックの閾値との比較結果に加えて、近傍マクロブロックの静止時間と、近傍マクロブロックのインター／イントラモード情報と、近傍マクロブロックの動きベクトルとを用いることを特徴とする請求項５または６に記載の映像静止判定装置。
【請求項９】
コンピュータに、請求項１に記載の映像静止判定方法を実行させるための映像静止判定プログラム。
【請求項１０】
コンピュータに、請求項２に記載の映像静止判定方法を実行させるための映像静止判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化の画面間符号化の高速化のために用いられる映像静止判定方法、映像静止判定装置、及びプログラムに関する。
【背景技術】
【０００２】
膨大な情報を持つ映像データを効率よく圧縮する最新映像符号化としてＨ．２６４／ＡＶＣが知られている。Ｈ．２６４／ＡＶＣでは、画面間の予測符号化に膨大な演算量が必要となるため、映像フレームの静止情報を利用した画面間符号化、つまり、１）まず、画面内の各マクロブロックが“静止”と“非静止”のどちらであるかを判別（静止判定）し、２）静止のマクロブロックに関しては、１フレーム前の同座標に位置するマクロブロックを用いて予測する、という手法が広く利用されている。
【０００３】
この手法によって、符号化効率の低下を抑制しながら、Ｐ／Ｂピクチャ符号化に伴う演算量を削減でき、有効となる。静止情報を利用した画面間符号化の代表例として特許文献１を挙げる。例えば、特許文献１では、符号化対象マクロブロックと、１フレーム前の同位置のマクロブロックとの画素間差分の絶対値和（ＳＡＤ：Sum of Absolute Difference）を計算し、十分小さい場合には静止とみなし、参照マクロブロックをコピーすることで画面間符号化処理の演算量の削減を行っている。
【０００４】
ＳＡＤによる静止判定は、演算負荷が許容される環境下では問題ないが、テレビ会議等のようなリアルタイム符号化を演算性能の低いＰＣ（Personal Computer）で実行する場合、特に、映像の解像度・フレームレートが高い場合には、演算負荷は問題となる。従って、静止判定手法に対しても、より低演算量なアルゴリズムが求められている。
【０００５】
上記問題を解決する簡易静止領域判定技術に関して、容易に類推できる手法としては１）ＳＡＤの計算対象画素を、マクロブロック全体でなく一部に限定する方法（例えば特許文献２参照）や、２）符号化対象ブロック及び参照ブロックの画素の全て、もしくは一部の画素値を合計し、その値同士の差分の絶対値を用いる手法（例えば特許文献３参照）が考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１９９４０８号公報
【特許文献２】特開平１０−２２９５５８号公報
【特許文献３】特許第３９６８７７４号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献１、２に記載の従来技術では、マクロブロックの各画素毎の変化が全て検出できないため、静止していないにも関わらず、静止であると判定される可能性があり、直前フレームの同位置のブロックで予測した結果、符号化効率が悪化してしまうという問題がある。
【０００８】
本発明は、このような事情を考慮してなされたものであり、その目的は、静止判定精度を維持しつつ、静止判定に伴う演算量を削減することができる映像静止判定方法、映像静止判定装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化するステップと、当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定するステップと、当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を求めるステップと、前記静止時間と所定の閾値とを比較するステップと、前記比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、前記判定結果に基づいて、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップとを含むことを特徴とする映像静止判定方法である。
【００１０】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定方法であって、各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化するステップと、当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定するステップと、当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を求めるステップと、当該マクロブロックが画面端に位置するならば、大きさの異なる２つの閾値のうち、小さい方の第１の閾値と前記静止時間とを比較し、当該マクロブロックが画面中央に位置するならば、前記大きさの異なる２つの閾値のうち、大きい方の第２の閾値と前記静止時間とを比較するステップと、前記比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定するステップと、前記判定結果に基づいて、前記計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出するステップと、前記算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行うステップとを含むことを特徴とする映像静止判定方法である。
【００１１】
本発明は、上記の発明において、前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止開始時刻情報を現在フレームの時刻情報に修正するステップを更に含むことを特徴とする。
【００１２】
本発明は、上記の発明において、前記算出された画素値変化量と前記マクロブロックの閾値との比較結果に加えて、近傍マクロブロックの静止時間と、近傍マクロブロックのインター／イントラモード情報と、近傍マクロブロックの動きベクトルとを用いることを特徴とする。
【００１３】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化する初期化手段と、当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定する設定手段と、当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を算出する静止時間算出手段と、前記静止時間と所定の閾値とを比較する比較手段と、前記比較手段による比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、前記画素値変化量算出手段により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段とを備えることを特徴とする映像静止判定装置である。
【００１４】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置であって、各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化する初期化手段と、当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定する設定手段と、当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を算出する静止時間算出手段と、当該マクロブロックが画面端に位置するならば、大きさの異なる２つの閾値のうち、小さい方の第１の閾値と前記静止時間とを比較し、当該マクロブロックが画面中央に位置するならば、前記大きさの異なる２つの閾値のうち、大きい方の第２の閾値と前記静止時間とを比較する比較手段と、前記比較手段による比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出手段と、前記画素値変化量算出手段により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定手段とを備えることを特徴とする映像静止判定装置である。
【００１５】
本発明は、上記の発明において、前記静止判定結果を用いて、画面間予測符号化をした場合に、予測残差誤差が所定の第３の閾値よりも大きい場合、当該マクロブロックの静止開始時刻情報を現在フレームの時刻情報に修正する修正手段を更に備えることを特徴とする。
【００１６】
本発明は、上記の発明において、前記静止判定手段は、前記画素値変化量算出手段により算出された画素値変化量と前記マクロブロックの閾値との比較結果に加えて、近傍マクロブロックの静止時間と、近傍マクロブロックのインター／イントラモード情報と、近傍マクロブロックの動きベクトルとを用いることを特徴とする。
【００１７】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置のコンピュータに、各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化する初期化機能、当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定する設定機能、当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を算出する静止時間算出機能、前記静止時間と所定の閾値とを比較する比較機能、前記比較機能による比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定機能、前記判定機能による判定結果に基づいて、計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出機能、前記画素値変化量算出機能により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定機能を実現させるためのプログラムである。
【００１８】
また、上述した課題を解決するために、本発明は、映像符号化の前処理において、映像フレームのあるマクロブロックが直前フレームの同一座標に位置するマクロブロックに対して、静止しているか否かを判定する映像静止判定装置のコンピュータに、各マクロブロックの空間座標に１つずつ与えられた静止開始時刻情報を初期フレームの時刻情報によって初期化する初期化機能、当該マクロブロックの直前フレームの同ブロックの静止判定結果が非静止ならば、当該マクロブロックの静止開始時刻情報を現在フレーム時刻情報に設定する設定機能、当該マクロブロックの座標に対応する静止開始時刻情報と現在フレームの時刻情報との差分絶対値から静止時間を算出する静止時間算出機能、当該マクロブロックが画面端に位置するならば、大きさの異なる２つの閾値のうち、小さい方の第１の閾値と前記静止時間とを比較し、当該マクロブロックが画面中央に位置するならば、前記大きさの異なる２つの閾値のうち、大きい方の第２の閾値と前記静止時間とを比較する比較機能、前記比較機能による比較結果に基づいて、当該マクロブロックが一定時間以上静止しているか否かを判定する判定機能、前記判定機能による判定結果に基づいて、前記計算対象画素を限定したＳＡＤ（Sum of Absolute Difference）、前後の２ブロックのそれぞれの画素値の合計の差分絶対値、もしくは前後の２ブロックのそれぞれの一部の対象画素の画素値を合計した値同士の差分絶対値のいずれかを用いて画素値変化量を算出する画素値変化量算出機能、前記画素値変化量算出機能により算出された画素値変化量と当該マクロブロックの閾値とに基づいて静止判定を行う静止判定機能を実現させるためのプログラムである。
【発明の効果】
【００１９】
この発明によれば、静止判定精度を維持しつつ、静止判定に伴う演算量を削減することができる。
【図面の簡単な説明】
【００２０】
【図１】本第１実施形態による静止判定方法の動作を説明するためのフローチャートである。
【図２】本第１実施形態による定常静止判定処理を説明するためのフローチャートである。
【図３】本第１実施形態による定常静止判定結果を用いた静止判定処理を説明するためのフローチャートである。
【図４】ΔＤＣ＝０で非静止の場合の例を示す概念図である。
【図５】画素値を合計する際の対象範囲を示す概念図である。
【図６】本第１実施形態による静止判定処理装置の構成を示すブロック図である。
【図７】本第１実施形態による静止判定部１の構成を示すブロック図である。
【図８】本第１実施形態による静止時刻処理部１１の構成を示すブロック図である。
【図９】本第２実施形態による定常静止判定処理の動作を説明するためのフローチャートである。
【図１０】本第３実施形態による静止判定方法の動作を説明するためのフローチャートである。
【図１１】本第３実施形態による、符号化後静止開始時刻情報制御処理の動作を説明するためのフローチャートである。
【図１２】本第３実施形態による静止判定処理装置の構成を示すブロック図である。
【図１３】本第３実施形態による静止判定部１ａの構成を示すブロック図である。
【図１４】本第３実施形態による静止時刻処理部１１ａの構成を示すブロック図である。
【図１５】本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。
【図１６】静止開始時刻情報を参照する近傍マクロブロックを示す概念図である。
【図１７】Ｎｚを算出する際、各ピクチャパターンに応じて参照するマクロブロックを示す概念図である。
【図１８】ある空間座標のマクロブロックを時系列に並べ、当該マクロブロックに対する画素値変化量の評価を省略した際の様子を示す概念図である。
【図１９】本第４実施形態による、静止判定方法を実現する静止判定処理装置の構成を示すブロック図である。
【図２０】本第４実施形態による静止判定部１ｂの構成を示すブロック図である。
【図２１】本第４実施形態による静止時刻処理部１１ｂの構成を示すブロック図である。
【図２２】本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。
【図２３】本第４実施形態による静止判定部１ｃの構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態を、図面を参照して説明する。なお、以下の説明において、時刻情報としては、第１〜第４実施形態の全てにおいてシステム時刻を用いるものとする。以下、本発明の実施形態のアルゴリズムをＨ．２６４／ＡＶＣを例にして、図面を参照しながら説明する。
【００２２】
Ａ．第１実施形態
図１は、本第１実施形態による静止判定方法の動作を説明するためのフローチャートである。まず、各マクロブロックに対応する静止開始時刻情報を全て初期フレームのシステム時刻：Ｐに初期化する（ステップＳ１）。次いで、符号化対象フレームを１枚ずつ入力し（ステップＳ２）、マクロブロック単位で一つずつラスタスキャン順に符号化対象マクロブロックを入力する（ステップＳ３）。次いで、定常静止判定処理を行い（ステップＳ４）、静止判定処理を行う（ステップＳ５）。
【００２３】
次に、符号化対象マクロブロックに対して、Ｈ．２６４／ＡＶＣに基づくエンコーダとして一般的な、イントラ予測／インター予測、直交変換／逆直交変換、量子化、エントロピー符号化（ＣＡＶＬＣ／ＣＡＢＡＣ）等の符号化処理を行い、最終的に、各フレームをバイナリデータとして出力する（ステップＳ６）。
【００２４】
ステップＳ６の符号化処理において、画面間予測符号化を行う場合には、静止判定の結果を利用する。例えば、静止と判断されたブロックでは、動きベクトル（０，０）、つまり直前フレームの同座標のマクロブロックによって予測を行う。正しく静止判定が行われれば、動きベクトル（０，０）による予測で、予測残差誤差を十分小さく抑えられる。
【００２５】
次に、当該フレームの全てのマクロブロックの処理が完了したか否かの判定を行い（ステップＳ７）、もし完了していなければ（ステップＳ７の偽）、ステップＳ３に戻り、次のマクロブロックの処理を行う。一方、当該フレームの全てのマクロブロックの処理が完了していれば（ステップＳ７の真）、全てのフレームの処理が完了したか否かの判定を行う（ステップＳ８）。そして、完了していなければ（ステップＳ８の偽）、ステップＳ２に戻り、次のフレームの処理を行い、完了していれば（ステップＳ８の真）、全体のアルゴリズムを終了する。
【００２６】
次に、本第１実施形態における静止判定の具体的なアルゴリズム（ステップＳ４の定常静止判定処理、及びステップＳ５の静止判定処理）について詳細に説明する。
【００２７】
図２は、本第１実施形態による定常静止判定処理を説明するためのフローチャートである。定常静止判定処理では、まず、静止判定対象の（ｍ，ｎ）番目のマクロブロック（ｍ、ｎは、空間的にｙ方向にｍ番目、ｘ方向にｎ番目）の直前フレームの同座標マクロブロックが静止していたか否かを判定する（ステップＳ１１）。そして、直前フレームの同座標マクロブロックが非静止と判定された場合には（ステップＳ１１のＮＯ）、静止判定対象マクロブロックの座標番号に対応する静止開始時刻情報ＣＮＴ（ｍ，ｎ）を、次式（１）のように更新する（ステップＳ１２）。
【００２８】
【数１】
0005662896.tif 000002
【００２９】
但し、Ｐは、当該フレームのシステム時刻とする。一方、静止と判定された場合には（ステップＳ１１のＹＥＳ）、静止開始時刻情報に変更は施さず、（ｍ，ｎ）番目のマクロブロックの定常静止か、非定常静止かの場合分けを、静止時間（｜ＣＮＴ（ｍ，ｎ）−Ｐ｜）と閾値ＴＨＣＮＴとを用いて、次式（２）のように行う（ステップＳ１３）。
【００３０】
【数２】
0005662896.tif 000003
【００３１】
図３は、本第１実施形態による定常静止判定結果を用いた静止判定処理を説明するためのフローチャートである。静止判定処理では、まず、定常静止判定が真であるか否かを判定する（ステップＳ２１）。定常静止判定処理（図１のステップＳ４）で、非定常静止と判定された場合には、ステップＳ２１において偽と判定される。この場合、静止判定対象マクロブロック（数式（３）を参照）と１フレーム前の同一座標マクロブロック（数式（４）を参照）との画素値変化量をＳＡＤの計算式（５）を用いて評価する（ステップＳ２２）。
【００３２】
【数３】
0005662896.tif 000004
【００３３】
【数４】
0005662896.tif 000005
【００３４】
【数５】
0005662896.tif 000006
【００３５】
本第１実施形態では、ＳＡＤを用いるが、ここで用いる画素値変化量の評価方法は、一画素毎の変化量を評価できるものであれば十分であり、ＳＡＤではなく、画素間差分の二乗和としてもよい。
【００３６】
【数６】
0005662896.tif 000007
【００３７】
そして、外部から与えられた閾値ＴＨＳＡＤを用いて、マクロブロック（数式（３）を参照）の状態を、次式（７）の静止判定条件で判定し、静止ならば真を出力、非静止ならば偽を出力する（ステップＳ２３）。
【００３８】
【数７】
0005662896.tif 000008
【００３９】
この静止判定結果を図１に示すステップＳ６の符号化処理の中で画面間予測符号化に適用する。
【００４０】
一方、定常静止判定処理（図１のステップＳ４）で、定常静止と判定された場合には、ステップＳ２１において真と判定され、静止判定対象マクロブロック（数式（３））と１フレーム前の同一座標マクロブロック（数式（４））との画素値変化量を、次式（８）で定義されるΔＤＣを用いて計算する（ステップＳ２４）。
【００４１】
【数８】
0005662896.tif 000009
【００４２】
ΔＤＣは、マクロブロックの合計値の差分であり、一画素毎の変化量ではなく、ブロック全体のおおよその変化量を、ＳＡＤよりも低演算量で計算することができる。実際、ＳＡＤでは、１６×１６画素サイズのマクロブロックに対して、
【００４３】
【数９】
0005662896.tif 000010
【００４４】
であるが、ΔＤＣでは、直前の同一座標マクロブロック（数式（４））の合計値（数式（１０を参照）を保存しておけば、数式（１１）となる。
【００４５】
【数１０】
0005662896.tif 000011
【００４６】
【数１１】
0005662896.tif 000012
【００４７】
以上求めたΔＤＣを用いて、次式（１２）が真である場合に、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ２５）。ここで、ＴＨΔＤＣは、ΔＤＣに対する閾値である。
【００４８】
【数１２】
0005662896.tif 000013
【００４９】
ここで注意する点としては、画素値変化量ΔＤＣが十分小さいとき、静止判定対象マクロブロックは、１フレーム前の同一座標マクロブロックを基準として、静止している可能性が高いが、ＳＡＤで画素値変化量を計算する場合と異なり、必ずしも確実に静止しているとは限らない。以下に、その具体例を示す。
【００５０】
例えば、図４（ａ）は、静止判定対象ブロック（数式（４））、図４（ｂ）は、静止判定対象ブロックの１フレーム前のマクロブロックの輝度値を表したものである。白が輝度値２５５、グレーが輝度値０と仮定する。この場合、ΔＤＣは、０となり、画素値変化がないと考えられるが、実際には、異なるテクスチャとなっている。
【００５１】
この状況でΔＤＣ＝０の結果によって静止判定を行った場合、マクロブロックが静止していると判断され、画面間予測符号化にて当該マクロブロックを直前のマクロブロックで予測することになる。しかし、予測残差誤差エネルギーは大きくなり、符号化効率を著しく低下させてしまう。
【００５２】
従来技術では、ΔＤＣ等のＳＡＤよりも低演算な計算を直接用いていたが、本発明によれば、ΔＤＣによる簡易的な輝度値変化量の評価は、ＳＡＤによる厳密な画素値変化量の評価によって、十分な時間、定常静止していると考えられるマクロブロックに限って適用するため、上記の様な例外ケースを除外することが可能となる。
【００５３】
また、本第１実施形態でのΔＤＣの計算方法は、図５（ａ）のように、マクロブロック全体の画素を加算する範囲としているが、図５（ｂ）や、図５（ｃ）のように、マクロブロック内で、ΔＤＣで計算する画素範囲を制限することによって、画素値変化量の評価に伴う演算量を削減することが可能となる。また、ΔＤＣに限らず、ＳＡＤに関しても、差分絶対値和の対象画素範囲を、図５（ｂ）や、（ｃ）に制限しても、通常のＳＡＤよりは演算量の少ない評価が行える。
【００５４】
図６は、本第１実施形態による静止判定処理装置の構成を示すブロック図である。図６に示すように、静止判定処理装置は、静止判定部１、及び符号化処理部２からなる。静止判定部１は、入力として各フレームのマクロブロックを受け取り、静止判定結果を符号化処理部２に供給する。符号化処理部２は、静止判定結果に従って、符号化対象のマクロブロックを符号化し、バイナリデータとして出力する。
【００５５】
図７は、本第１実施形態による静止判定部１の構成を示すブロック図である。まず、静止判定部１は、静止時刻処理部１１、定常静止判定部１２、画素値変化評価法切替部１３、通常画素値変化評価部１４、通常静止判定部１５、簡易画素値変化評価部１６、及び簡易静止判定部１７を備えている。静止時刻処理部１１は、マクロブロックの空間的な座標位置情報とシステム時刻とを受け取る。
【００５６】
図８は、本第１実施形態による静止時刻処理部１１の構成を示すブロック図である。図８に示すように、静止時刻処理部１１は、静止時刻制御部１１１、静止開始時刻情報記憶部１１２、及び静止時刻演算部１１３を備えている。静止時刻制御部１１１は、空間座標、システム時刻、及び直前フレームでの静止判定結果を受け取り、静止時刻演算部１１３に送出する。静止時刻演算部１１３は、直前の静止判定結果によって、非静止ならば静止開始時刻情報記憶部１１２に格納されている静止開始時刻情報を現在フレームのシステム時刻に更新し、その値を書き込むとともに、静止時刻制御部１１１に、現在フレームのシステム時刻と静止開始時刻情報との差分絶対値を静止時刻として送出する。最終的に、静止時刻制御部１１１が、図７に示す定常静止判定部１２に静止時間を送出する。
【００５７】
定常静止判定部１２では、マクロブロックが定常静止であるか否かの判定を静止時間に従って行い、結果（真、または偽）を画素値変化評価法切替部１３に送出する。画素値変化評価法切替部１３は、受け取った定常静止判定結果に従い、静止判定方法の選択を行う。仮に、定常静止判定結果が偽であったならば、マクロブロックは、非定常静止とみなされ、通常画素値変化評価部１４においてＳＡＤの計算を行い、計算されたＳＡＤ値を通常静止判定部１５に送出する。通常静止判定部１５は、受け取ったＳＡＤ値と、所定の閾値とに従って、マクロブロックが静止しているか否かを判定し、その静止判定結果を図６に示す符号化処理部２に送出する。符号化処理部２は、静止判定結果に従って、画面間符号化の簡略化を行うことになる。
【００５８】
また、定常静止判定結果が真であったならば、定常静止とみなされ、画素値変化評価法切替部１３は、簡易画素値変化評価部１６を選択する。簡易画素値変化評価部１６は、マクロブロックと直前のマクロブロックとの画素値変化のΔＤＣを計算し、簡易静止判定部１７にΔＤＣを送出する。簡易静止判定部１７は、受け取ったΔＤＣに基づいて、静止判定を行い、真ならば真を、偽ならば偽の結果を図６に示す符号化処理部２に送出する。
【００５９】
Ｂ．第２実施形態
本第２実施形態では、第１実施形態のアルゴリズムにおける定常静止判定（図２のフローチャート）において、マクロブロックの位置情報を考慮した方法を提供する。テレビ会議映像などの動きの少ない映像において、映像画面端は、中央に比べて、動きのない背景領域である可能性が高い。本第２実施形態では、そのような映像を考慮し、定常静止の判定を行う。なお、第２実施形態のアルゴリズムを実現する静止判定処理装置は、第１実施形態の図６、図７、図８と同様の構成であるので説明を省略する。
【００６０】
図９は、本第２実施形態による定常静止判定処理の動作を説明するためのフローチャートである。定常静止判定処理において、まず、静止判定対象の（ｍ，ｎ）番目のマクロブロック（ｍ、ｎ）は、空間的にｙ方向にｍ番目、ｘ方向にｎ番目）の直前フレームの同座標マクロブロックが静止していたか否かを判定する（ステップＳ３１）。そして、直前フレームの同座標マクロブロックが非静止と判定された場合には（ステップＳ３１のＮＯ）、静止判定対象マクロブロックの座標番号に対応する静止開始時刻情報ＣＮＴ（ｍ，ｎ）を、数式（１）のように更新する（ステップＳ３２）。
【００６１】
次に、直前フレームの同座標マクロブロックが静止と判定された場合には（ステップＳ３１のＹＥＳ）、またはステップＳ３２の処理終了後、マクロブロックが画面中央に位置するか否かを判定する（ステップＳ３３）。そして、画面中央に位置しているならば（ステップＳ３３のＹＥＳ）、次式（１３）のように、定常静止の判定を行い（ステップＳ３４）、画面端に位置しているならば（ステップＳ３３のＮＯ）、数式（１４）のように、定常静止の判定を行う（ステップＳ３５）。
【００６２】
【数１３】
0005662896.tif 000014
【００６３】
【数１４】
0005662896.tif 000015
【００６４】
但し、Ｐは現在フレームのシステム時刻で、第１閾値＞第２閾値である。テレビ会議映像などの背景領域が多い映像に関しては、この領域に応じた閾値の使い分けによって、画像端領域で、より早いタイミングで静止時間が閾値よりも高くなる。つまり、簡易な画素値変化評価法を選択できるので、演算量が第１実施形態よりも、より削減でき、有効となる。
【００６５】
Ｃ．第３実施形態
本第３実施形態では、符号化後の静止開始時刻情報の制御を考慮した方法を提供する。通常、静止判定の結果に従って、静止と判定されれば、直前フレームの同位置のマクロブロックで当該マクロブロックを予測するのが一般的である。しかし、もし静止判定の結果に誤りが生じた場合（静止と判定されたが、本当は画素値が変化しており、静止していない場合）、直前フレームのマクロブロックで予測した結果、予測残差信号の絶対値和は、非常に大きな値をとることになり、符号化効率の低下を引き起こす原因となる。
【００６６】
更に、静止時間が十分長い場合、画素値変化量を計算する簡易的な手段で動きが検出できず、数フレーム誤判定が続いてしまう場合も考えられる。この問題点を鑑みると、直ちに静止開始時刻情報の値を現在フレームに更新し、ＳＡＤによる正確な静止判定に戻すのが望ましい。
【００６７】
図１０は、本第３実施形態による、符号化後の静止開始時刻情報の制御を導入した、静止判定方法の動作を説明するためのフローチャートである。第１実施形態、第２実施形態と異なる部分は、ステップＳ４７の静止開始時刻情報制御の処理が追加されているところである。ステップＳ４１〜Ｓ４６は、図１のステップＳ１〜ステップＳ６に対応する。ステップ４７では、静止判定で静止と判断された場合のマクロブロックに関して、符号化後の静止開始時刻情報の制御を行う。
【００６８】
図１１は、本第３実施形態による、符号化後静止開始時刻情報制御処理の動作を説明するためのフローチャートである。符号化後静止開始時刻情報制御処理では、まず、画面間符号化後の予測残差誤差（ΔＥとする）を参照し、閾値ＴＨΔＥと大小関係を比較する（ステップＳ５１）。そして、予測残差誤差（ΔＥ）が閾値ＴＨΔＥ以下ならば（ステップＳ５１のＹＥＳ）、何もせずに、図１０に示すメインルーチンに戻る。一方、予測残差誤差（ΔＥ）が閾値ＴＨΔＥより大ならば（ステップＳ５１のＮＯ）、数式（１５）のように、静止開始時刻情報の値を現在フレームのシステム時刻に更新する（ステップＳ５２）。
【００６９】
【数１５】
0005662896.tif 000016
【００７０】
但し、Ｐは現在フレームのシステム時刻である。
【００７１】
図１２は、本第３実施形態による、符号化後の静止開始時刻情報制御を導入した静止判定処理装置の構成を示すブロック図である。図１２に示すように、本第３実施形態による静止判定処理装置は、静止判定部１ａ、及び符号化処理部２ａからなる。静止判定部１ａは、入力として各フレームのマクロブロックを受け取り、画面間予測残差誤差を参照し、静止判定結果を符号化処理部２ａに供給する。符号化処理部２ａは、画面間予測残差誤差を静止判定部１ａに供給し、静止判定結果に従って、符号化対象のマクロブロックを符号化し、バイナリデータとして出力する。
【００７２】
図１３は、本第３実施形態による静止判定部１ａの構成を示すブロック図である。なお、図７に対応する部分には同一の符号を付けて説明を省略する。図１３において、静止時刻処理部１１ａは、マクロブロックの空間的な座標位置情報とシステム時刻とを受け取るとともに、符号化処理部２ａから符号化結果としての画面間予測残差誤差の情報を入力情報として受け取り、画面間予測残差誤差を参照し、静止開始時刻情報の値を現在フレームのシステム時刻に更新する。
【００７３】
図１４は、本第３実施形態による静止時刻処理部１１ａの構成を示すブロック図である。なお、図８に対応する部分には同一の符号を付けて説明を省略する。静止時刻処理部１１ａは、静止時刻制御部１１１ａ、静止開始時刻情報記憶部１１２、及び静止時刻演算部１１３を備えている。静止時刻制御部１１１ａは、空間座標、システム時刻、及び直前フレームでの静止判定結果に加えて、符号化処理部２ａから符号化結果としての画面間予測残差誤差を受け取り、静止時刻演算部１１３に送出する。
【００７４】
Ｄ．第４実施形態
本第４実施形態では、上述した第１実施形態、または第２実施形態の静止判定条件に加えて、近傍マクロブロックの静止時間・符号化情報（インター／イントラ情報、動きベクトル情報）を用いる方法を提供する。
【００７５】
本発明によれば、画素値変化量ΔＤＣによる簡易的な輝度値変化量の評価は、ＳＡＤによる厳密な画素値変化量の評価によって十分な時間定常静止していると考えられるマクロブロックに限って適用するため、第１実施形態で述べたような誤判定は起こりにくいと考えられる。しかし、突発的な動きの可能性は十分考えられ、実際動領域と静止領域との境界部分では、オブジェクトの急な侵入によって、静止でなくなる可能性もある。
【００７６】
この際、画素値変化量の簡易計算が動きを検出できず、静止判定を誤ってしまうことが考えられる。より頑健な静止判定方法を構成するため、本第４実施形態では、簡易的に計算したブロック間の画素値変化量ΔＤＣに加え、静止判定対象マクロブロックの近傍マクロブロックの静止時間、イントラ／インターモード情報、動きベクトルの情報を利用する。
【００７７】
図１５は、本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。静止判定処理では、まず、定常静止判定が真であるか否かを判定する（ステップＳ６１）。そして、非定常静止と判定された場合には（ステップＳ６１の偽）、静止判定対象マクロブロック（数式（３）を参照）と１フレーム前の同一座標マクロブロック（数式（４）を参照）との画素値変化量をＳＡＤの計算式（５）を用いて評価する（ステップＳ６２）。そして、外部から与えられた閾値ＴＨＳＡＤを用いて、マクロブロック（数式（３）を参照）の状態を、数式（７）の静止判定条件で判定し、静止ならば真を出力、非静止ならば偽を出力する（ステップＳ６３）。
【００７８】
一方、定常静止と判定された場合には（ステップＳ６１の真）、静止判定対象マクロブロック（数式（４））と１フレーム前の同一座標マクロブロック（数式（４））との画素値変化量を、数式（８）で定義されるΔＤＣを用いて計算する（ステップＳ６４）。次に、ΔＤＣ、ブロック数Ｎｃ、ブロック数Ｎｚを用いて、後述する３つの条件の真偽に応じて、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ６５）。
【００７９】
ステップＳ６５の処理に用いられる、近傍マクロブロックの定常静止しているブロック数Ｎｃ、現フレーム及び直前フレームの近傍マクロブロックで１６×１６サイズの動きベクトル（０，０）で符号化されたブロック数Ｎｚは、以下のようにして算出される。
【００８０】
まず、上記Ｎｃの算出について図１６（ａ）、（ｂ）を参照して説明する。Ｘは、静止判定対象ブロックを示す。Ｎｃの算出には、静止判定対象マクロブロックの隣接８近傍マクロブロックの座標に対応する静止開始時刻情報（図１６（ｂ））からそれぞれの静止時間を算出し、次式（１６）となるブロック個数をＮｃとして算出する。Ｎｃが大きいとき、静止判定対象マクロブロックの近傍が十分静止していると判断できるので、静止判定対象マクロブロックに関しても静止している可能性は高くなる。
【００８１】
【数１６】
0005662896.tif 000017
【００８２】
次に、Ｎｚの算出について図１７（ａ）〜（ｃ）を参照して説明する。
図１７（ａ）〜（ｃ）は、Ｎｚを算出する際、各ピクチャパターンに応じて参照するマクロブロックを示す概念図である。図１７（ａ）〜（ｃ）のいずれにおいても、Ｘは静止判定対象ブロックを示す。まず、静止判定対象ブロックを含むフレームがＰ／Ｂピクチャで、直前のフレームもＰ／Ｂピクチャの場合、図１７（ａ）に示すように、現フレーム・直前フレームの９つの近傍マクロブロックＡ１〜Ａ４、Ｂ１〜Ｂ５を参照し、その中で、インターモードで符号化され、画面間予測画素単位が１６×１６で、かつ、動きベクトルが（０，０）であるものの数をＮｚとする。
【００８３】
次に、静止判定対象ブロックを含むフレームがＩピクチャで、直前のフレームがＰ／Ｂピクチャの場合、図１７（ｂ）に示すように、直前フレームの９つの近傍マクロブロックＢ１〜Ｂ９を参照し、その中で、画面間予測画素単位が１６×１６で、かつ、動きベクトルが（０，０）であるものの数をＮｚとする。
【００８４】
最後に、静止判定対象ブロックを含むフレームがＰ／Ｂピクチャで、直前のフレームがＩピクチャの場合、図１７（ｃ）に示すように、参照できる動きベクトルを持つマクロブロックは、４近傍（Ａ１〜Ａ４）のみであるため、マクロブロックＡ１〜Ａ４の中で、画面間予測のブロックサイズが１６×１６で、かつ動きベクトルが（０，０）であるものの数をＮｚとする。
【００８５】
１６×１６画素単位の（０，０）動きベクトルの情報は、実際の画面間予測によって直前のマクロブロックが最適と判断されたことを意味するので、Ｎｚが大きいとき、Ｎｃと同様に静止判定対象ブロックが静止している可能性は高くなる。
【００８６】
以上、求めたΔＤＣとＮｃ、及びＮｚを用いて、ステップＳ６５にて、次式（１７）で表わされる３つの条件が全て真である場合に、静止判定結果を真として出力する。
【００８７】
【数１７】
0005662896.tif 000018
【００８８】
ここで、ＴＨΔＤＣ、及びＴＨＮｃは、ΔＤＣ、及びＮｃに対する閾値で、ＴＨＮｚは、Ｎｚの閾値である。但し、近傍マクロブロックの動きベクトルに関する情報Ｎｚは、当該フレームと直前フレームとで参照できるブロック数が異なるので、次式（１８）のように、ピクチャタイプの３つの組み合わせによって、それぞれ閾値を用意しておく。また、１つ以上の条件が偽である場合には、静止判定結果を偽として出力する。
【００８９】
【数１８】
0005662896.tif 000019
【００９０】
以上のように、本第４実施形態によるアルゴリズムによれば、静止領域と動領域との境界部分で発生する、静止領域への突発的なオブジェクトの侵入の際の、静止判定に対する誤判定のリスクを、近傍マクロブロックの静止時間や、近傍マクロブロックのインター・イントラモード情報、動きベクトル情報に対する条件を用いて低下させ、低演算で頑健な静止判定を行うことが可能となる。
【００９１】
また、本第４実施形態でのΔＤＣの計算方法は、図５（ａ）のように、マクロブロック全体の画素を加算する範囲としているが、図５（ｂ）や、図５（ｃ）のように、マクロブロック内で、ΔＤＣで計算する画素範囲を制限することによって、画素値変化量の評価に伴う演算量を削減することが可能となる。また、ΔＤＣに限らず、ＳＡＤに関しても、差分絶対値和の対象画素範囲を、図５（ｂ）や、図５（ｃ）に制限しても、通常のＳＡＤよりは演算量の少ない評価が行える。
【００９２】
また、本第４実施形態の構成ではないが、静止時間が特に長く、映像画面の中で背景と考えられるマクロブロックによっては、ΔＤＣの計算を省略してもよい。図１８は、ある空間座標のマクロブロックを時系列に並べ、当該マクロブロックに対する画素値変化量の評価を省略した際の様子を示す概念図である。濃いグレーのマクロブロック（第Ｎ−２、Ｎ−１、Ｎ）は、ＳＡＤの評価方法で静止と判断されたことを示しており、第ＮフレームのマクロブロックがＳＡＤによる画素値変化量評価によって静止と判断され、静止時間が十分大きくなり、第Ｎ＋１フレームから定常静止の状態に移行した状況を示している。
【００９３】
さらに、定常静止と判断された第Ｎ＋１フレーム以降では、薄い灰色はΔＤＣの評価方法で静止と判断されたことを示しており、白色はΔＤＣの評価を省略し、かつ静止と判断されたことを示している。ΔＤＣの評価を省略した第Ｎ＋２、第Ｎ＋４、第Ｎ＋６フレームでは、図１５のステップＳ６５の条件で、ΔＤＣの条件を取り除いた、次式（１９）で表わされる静止判定条件によって判定を行う。
【００９４】
【数１９】
0005662896.tif 000020
【００９５】
また、第Ｎ＋３フレームのマクロブロックは、ΔＤＣによって画素値変化量を評価されることになるが、第Ｎ＋２フレームのマクロブロックは、ΔＤＣの評価が省略されている。このため、仮に基準を第Ｎ＋２フレームのマクロブロックにすると、両マクロブロックの合計値を計算しなければならない。よって、この場合には、第Ｎ＋１フレームのマクロブロックで計算した部分合計値を、第Ｎ＋２フレームのマクロブロックが保持し、第Ｎ＋３フレームのマクロブロックの部分合計値のみを計算し、第Ｎ＋２フレームのマクロブロックが保持している第Ｎ＋１フレームのマクロブロックの合計値との差分の絶対値で評価する。以上のように、近傍マクロブロックの情報を用いることによって、画素値変化量評価の簡易化（低演算量化）は空間のみならず、時間方向にも計算対象範囲を制限することができる。
【００９６】
図１９は、本第４実施形態による、静止判定方法を実現する静止判定処理装置の構成を示すブロック図である。図１９に示すように、本第４実施形態による静止判定処理装置は、静止判定部１ｂ、及び符号化処理部２ｂからなる。静止判定部１ｂは、入力として各フレームのマクロブロックイントラ／インターモード情報、動きベクトル情報を受け取り、静止判定結果を符号化処理部２ｂに供給する。符号化処理部２ｂは、イントラ／インターモード情報、動きベクトルの情報を静止判定部１ｂに供給し、静止判定結果に従って、符号化対象のマクロブロックを符号化し、バイナリデータとして出力する。
【００９７】
図２０は、本第４実施形態による静止判定部１ｂの構成を示すブロック図である。なお、図７、図１３に対応する部分には同一の符号を付けて説明を省略する。図２０において、静止時刻処理部１１ｂは、マクロブロックの空間的な座標位置情報とシステム時刻とを入力情報とし受け取るとともに、通常静止判定部１５からの静止判定結果、簡易静止判定部１７ｂからの静止判定結果、近傍マクロブロックの空間的な座標位置情報を受け取る。また、簡易静止判定部１７ｂは、符号化情報としてイントラ／インターモード情報、動きベクトルの情報、静止時刻処理部１１ｂからの近傍マクロブロックの静止時間を受け取る。
【００９８】
図２１は、本第４実施形態による静止時刻処理部１１ｂの構成を示すブロック図である。なお、図８、図１４に対応する部分には同一の符号を付けて説明を省略する。図２１において、静止時刻処理部１１ｂでは、静止時刻制御部１１１ｂが空間座標、システム時刻、及び直前フレームでの静止判定結果を受け取り、静止時刻演算部１１３に送出する。静止時刻演算部１１３は、直前の静止判定結果に応じて、非静止ならば、静止開始時刻情報記憶部１１２に静止開始時刻情報を現在フレームのシステム時刻に更新し、その値を書き込むとともに、静止時刻制御部１１１ｂに、現在フレームのシステム時刻と静止開始時刻情報との差分絶対値を静止時間として送出する。最終的に、静止時刻制御部１１１ｂが、図２０に示す定常静止判定部１２に静止時間を送出する。
【００９９】
定常静止判定部１２では、マクロブロックが定常静止か否かの判定を静止時間に従って行い、結果（真、または偽）を画素値変化評価法切替部１３に送出する。画素値変化評価法切替部１３は、受け取った定常静止判定結果に従い、静止判定方法の選択を行う。仮に、定常静止判定結果が偽であったならば、マクロブロックは、非定常静止とみなされ、通常画素値変化評価部１４においてＳＡＤの計算を行い、計算されたＳＡＤ値を通常静止判定部１５に送出する。通常静止判定部１５は、受け取ったＳＡＤ値と、所定の閾値とに従って、マクロブロックが静止しているか否かを判定し、その結果を図１９に示す符号化処理部２ｂに送出する。符号化処理部２ｂは、静止判定結果に従って、画面間符号化の簡略化を行うことになる。
【０１００】
また、定常静止判定結果が真であったならば、定常静止とみなされ、画素値変化評価法切替部１３は、簡易画素値変化評価部１６を選択し、マクロブロックと直前のマクロブロックとの画素値変化のΔＤＣを計算し、簡易静止判定部１７ｂにΔＤＣを送出する。簡易静止判定部１７ｂは、受け取ったΔＤＣと符号化処理部２ｂから受け取った時間・空間近傍マクロブロックの動きベクトル情報、及び静止時刻処理部１１ｂから受け取った近傍マクロブロックの静止時間に基づいて、静止判定を行い、真ならば真を、偽ならば偽の結果を符号化処理部２ｂに送出する。
【０１０１】
また、上記の例は、定常静止の度合を１つの閾値によって２レベルに分類したことに相当するが、複数の閾値を設けることによって、定常静止レベルを複数レベルに分類するようにしてもよい。これにより、定常静止レベルに従って、静止判定の簡易化を段階的に行うことが可能となる。例えば、静止開始時刻情報ＣＮＴ（ｍ，ｎ）と当該フレームのシステム時刻Ｐ、閾値ＴＨＣＮＴ（１）、ＴＨＣＮＴ（２）（０＜ＴＨＣＮＴ（１）＜ＴＨＣＮＴ（２））を用いて、次式（２０）と定義する。
【０１０２】
【数２０】
0005662896.tif 000021
【０１０３】
図２２は、本第４実施形態による静止判定処理の動作を説明するためのフローチャートである。図２２では、定常静止レベル数を２→３に変更したことに従って、分岐処理を１つ追加している。静止判定処理では、まず、どの定常静止レベルに属するか否かを判定する（ステップＳ７１）。そして、第１定常静止レベルと判定された場合には（ステップＳ７１の第１定常静止レベル）、ＳＡＤを計算し（ステップＳ７２）、外部から与えられた閾値ＴＨＳＡＤを用いて、マクロブロック（数式（３）を参照）の状態を、静止判定条件で判定し、静止ならば真を出力、非静止ならば偽を出力する（ステップＳ７３）。
【０１０４】
一方、第２定常静止レベルと判定された場合には（ステップＳ７１の第２定常静止レベル）、静止判定対象マクロブロック（数式（４））と１フレーム前の同一座標マクロブロック（数式（４））との画素値変化量を、数式（８）で定義されるΔＤＣ１を用いて計算する（ステップＳ７４）。次に、図５（ｂ）に示すように、合計する対象画素範囲を制限して、ΔＤＣ１、ブロック数Ｎｃ、ブロック数Ｎｚを用いて、図示する３つの条件の真偽に応じて、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ７５）。
【０１０５】
また、第３定常静止レベルと判定された場合には（ステップＳ７１の第３定常静止レベル）、ΔＤＣ２を、次式（２１）と定義することによって、ΔＤＣ２、ブロック数Ｎｃ、ブロック数Ｎｚを用いて、図示する３つの条件の真偽に応じて、静止判定結果を真（静止）として出力し、偽であれば静止判定結果を偽（非静止）と出力する（ステップＳ７７）。このように、第１定常静止レベルのΔＤＣ１よりも低演算で、より簡易に画素値変化量を評価する。
【０１０６】
【数２１】
0005662896.tif 000022
【０１０７】
図２３は、本第４実施形態による静止判定部１ｃの構成を示すブロック図である。なお、図２０に対応する部分には同一の符号を付けて説明を省略する。図２３において、本第４実施形態による静止判定装置１ｃは、図２０に示す静止判定装置１ｂの構成に対して、３段階の切り替えを行うための画素値変化評価法切替部１３ｃとし、ΔＤＣ１で評価を行う第１簡易静止判定部１６ｃ及び第１簡易静止判定部１７ｃ、ΔＤＣ２で評価を行う第２簡易静止判定部１６ｄ及び第１簡易静止判定部１７ｄを追加した構成となる。このように、定常静止レベルの段数を更に増加させた場合、画素値変化評価法切替部１３ｃにモジュールを追加することで、装置を拡張することも可能である。
【０１０８】
上述した第１〜第４実施形態によれば、映像原信号の各マクロブロックの座標に対応する静止開始時刻情報に対して、静止判定結果を反映させ静止時間を算出することで、当該マクロブロックが、どの程度の時間定常的に静止しているのかを把握することができる。マクロブロックが定常的に静止している時間が長ければ長いほど、直後のフレームの同一座標マクロブロックで画素値変化が生じる可能性は低くなると考えられる。従って、一定時間以上静止していると判断されるマクロブロックに関しては、マクロブロック間の画素値変化量の評価を、より演算量の低い計算式を用いて実行することで、演算コストを抑えながら静止判定精度の低下を抑制することができる。
【０１０９】
なお、本発明の適用範囲はＨ．２６４／ＡＶＣのみならずＭＰＥＧ２、ＭＰＥＧ４などの標準映像符号化にも適用することが可能である。
【０１１０】
また、上述した映像静止判定装置による各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１１２】
１、１ａ  静止判定部
２、２ａ  符号化処理部
１１、１１ａ、１１ｂ  静止時刻処理部
１２  定常静止判定部
１３、１３ｃ  画素値変化評価法切替部
１４  通常画素値変化評価部
１５  通常静止判定部
１６、１６ｃ、１６ｄ  簡易画素値変化評価部
１７、１７ｂ、１７ｃ、１７ｄ  簡易静止判定部
１１１、１１１ａ、１１１ｂ  静止時刻制御部
１１２  静止開始時刻情報記憶部
１１３  静止時刻演算部
【図１】
0005662896.tif 000023
【図２】
0005662896.tif 000024
【図３】
0005662896.tif 000025
【図４】
0005662896.tif 000026
【図５】
0005662896.tif 000027
【図６】
0005662896.tif 000028
【図７】
0005662896.tif 000029
【図８】
0005662896.tif 000030
【図９】
0005662896.tif 000031
【図１０】
0005662896.tif 000032
【図１１】
0005662896.tif 000033
【図１２】
0005662896.tif 000034
【図１３】
0005662896.tif 000035
【図１４】
0005662896.tif 000036
【図１５】
0005662896.tif 000037
【図１６】
0005662896.tif 000038
【図１７】
0005662896.tif 000039
【図１８】
0005662896.tif 000040
【図１９】
0005662896.tif 000041
【図２０】
0005662896.tif 000042
【図２１】
0005662896.tif 000043
【図２２】
0005662896.tif 000044
【図２３】
0005662896.tif 000045