(57)【要約】  本発明は、ＴＶ又はＤＶＤ信号のためのもののような、ビデオ信号処理に関する。ビデオ信号における局所的な可視の空間−時間細部の検出及び分割のための方法及びシステムが記載される。更に、ビデオ信号エンコーダが記載される。記載される方法は、画像を画素のブロックに分割するステップと、各ブロック内の空間−時間特徴を算出するステップと、各空間−時間特徴について統計パラメータを算出するステップと、前記統計パラメータが所定のレベルを超えるブロックを検出するステップとを有する。好ましくは、画像垂直方向フローが、局所的な空間−時間特徴として利用される。加えて、画像垂直方向加速度が空間−時間特徴として利用されても良い。好適な実施例においては、ＭＰＥＧ又はＨ．２６ｘエンコードにより生じる、むらのような可視のアーティファクトが、大量の空間−時間細部を呈する局所的な画像部分により大きな量のビットを割り当てることにより、低減されることができる。
2007512750.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を表すビデオ信号の局所的な空間−時間細部を検出する方法であって、前記方法は各画像について、
（Ａ）前記画像を１以上の画素のブロックに分割するステップと、
（Ｂ）それぞれの前記１以上のブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴を算出するステップと、
（Ｃ）前記１以上のブロックのそれぞれについて、前記ブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出するステップと、
（Ｄ）前記少なくとも１つの統計パラメータが所定のレベルを超えるブロックを検出するステップと、
を有する方法。
【請求項２】
前記少なくとも１つの空間−時間特徴は、画像垂直方向フローの大きさ及び画像垂直方向フローの方向から成る群から選択される、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの空間−時間特徴は、画像垂直方向加速度の大きさ及び画像垂直方向加速度の方向から成る群から選択される、請求項１に記載の方法。
【請求項４】
前記ステップ（Ｄ）の前記少なくとも１つの統計パラメータは、分散、平均及び確率関数の少なくとも１つのパラメータから成る群から選択される、請求項１に記載の方法。
【請求項５】
前記１以上の画素のブロックは、オーバラップしない１以上の正方形のブロックであり、前記１以上の正方形のブロックのサイズは、２ｘ２画素、４ｘ４画素、６ｘ６画素、８ｘ８画素、１２ｘ１２画素及び１６ｘ１６画素から成る群から選択される、請求項１に記載の方法。
【請求項６】
前記画像におけるノイズを減少させるために、前記ステップ（Ａ）を適用する前に前記画像を前処理するステップを更に有する、請求項１に記載の方法。
【請求項７】
前記前処理するステップは、ローパスフィルタを用いて前記画像を畳み込むステップを有する、請求項６に記載の方法。
【請求項８】
前記ステップ（Ｃ）と前記ステップ（Ｄ）との間に中間ステップを更に有し、前記中間ステップは、各ブロックについて算出された統計パラメータの少なくとも１つを含むブロック間統計パラメータを算出するステップを有する、請求項１に記載の方法。
【請求項９】
前記少なくとも１つのブロック間統計パラメータは、２次元マルコフ非因果的近傍構造を利用して算出される、請求項８に記載の方法。
【請求項１０】
前記ステップ（Ｃ）において算出された前記少なくとも１つの統計パラメータのそれぞれについて、時間的な変化のパターンを決定するステップを更に有する、請求項１に記載の方法。
【請求項１１】
前記ステップ（Ｄ）において検出された１以上のブロックを有する画像の少なくとも一部をインデクシングするステップを更に有する、請求項１に記載の方法。
【請求項１２】
前記ステップ（Ｃ）において算出された前記少なくとも１つの空間−時間特徴の水平方向及び垂直方向のヒストグラムを算出するステップを更に有する、請求項１に記載の方法。
【請求項１３】
前記ステップ（Ｄ）において検出された前記１以上のブロックへのデータレートの割り当てを増大させるステップを更に有する、請求項１に記載の方法。
【請求項１４】
デインタレースシステムにおいて画像を挿入するステップを更に有する、請求項１に記載の方法。
【請求項１５】
複数の画像を表すビデオ信号の局所的な空間−時間細部を検出するシステムであって、前記システムは、
前記画像を１以上の画素のブロックに分割する手段と、
それぞれの前記１以上のブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴を算出する空間−時間特徴算出手段と、
前記１以上のブロックのそれぞれについて、前記１以上のブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出する統計パラメータ算出手段と、
前記少なくとも１つの統計パラメータが所定のレベルを超える１以上のブロックを検出する検出手段と、
を有するシステム。
【請求項１６】
請求項１５に記載のシステムを有する装置。
【請求項１７】
請求項１に記載の方法により動作するようにプログラムされた信号処理システム。
【請求項１８】
テレビジョン機器のためのデインタレースシステムであって、請求項１に記載の方法により動作するデインタレースシステム。
【請求項１９】
複数の画像を表すビデオ信号をエンコードするためのビデオ信号エンコーダであって、前記ビデオ信号エンコーダは、
前記画像を１以上の画素のブロックに分割する手段と、
それぞれの前記１以上のブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴を算出する空間−時間特徴算出手段と、
前記１以上のブロックのそれぞれについて、前記１以上のブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出する統計パラメータ算出手段と、
量子化スケールに従って前記１以上のブロックにデータを割り当てる手段と、
前記少なくとも１つの統計パラメータに従って前記１以上のブロックについて前記量子化スケールを調節する手段と、
を有するビデオ信号エンコーダ。
【請求項２０】
複数の画像を表すビデオ信号であって、請求項１に記載の方法を用いた使用のために適切な空間−時間細部を呈する画像セグメントに関する情報を有するビデオ信号。
【請求項２１】
請求項２０に記載のビデオ信号データを有するビデオ記憶媒体。
【請求項２２】
コンピュータ読み取り可能なプログラムコードを実施化するコンピュータ利用可能な媒体であって、前記コンピュータ読み取り可能なプログラムコードは、
コンピュータに、複数の画像を表すビデオ信号を読み取らせる手段と、
前記コンピュータに、前記読み取られた画像を１以上の画素のブロックに分割させる手段と、
前記コンピュータに、各ブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴を算出させる手段と、
前記コンピュータに、前記ブロックのそれぞれについて、前記１以上のブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出させる手段と、
前記コンピュータに、前記少なくとも１つの統計パラメータが所定のレベルを超えるブロックを検出させる手段と、
を有するコンピュータ利用可能な媒体。
【請求項２３】
複数の画像を表すビデオ信号であって、前記ビデオ信号はＭＰＥＧ又はＨ．２６ｘのようなビデオ圧縮規格によって圧縮され、該ビデオ信号は各画像のブロックに対するデータの規定された個々の割り当てを有し、空間−時間細部を呈する画像の１以上の選択されたブロックに割り当てられたデータレートは、前記１以上の選択されたブロックにへのデータの前記規定された割り当てに比べて増大させられるビデオ信号。
【請求項２４】
請求項１に記載の方法を有する、ビデオ信号を処理する方法。
【請求項２５】
請求項１に記載の方法によりビデオ信号を処理する手段を有する集積回路。
【請求項２６】
機械によって読み取り可能なプログラム記憶装置であって、請求項１に記載の方法を実行するための命令のプログラムをエンコードするプログラム記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＴＶ又はＤＶＤ信号のためのもののような、ビデオ信号処理の分野に関する。より詳細には、本発明は、ビデオ信号における局所的な画像空間−時間細部（visual space-time detail）の検出及び分割の方法に関する。加えて本発明は、ビデオ信号における局所的な画像空間−時間細部の検出及び分割のためのシステムに関する。
【背景技術】
【０００２】
画像（フレーム）のストリームを持つビデオ信号のデータ圧縮は、ＴＶ又はＤＶＤのためのもののような、ディジタルビデオデータの伝送において、大量のチャネル又は記憶容量が保存されるようになってから、一般に普及してきた。ＭＰＥＧ及びＨ．２６ｘのような規定された規格は、ブロックベースの動き補償手法を利用した高度なデータ圧縮を提供する。通常、１６ｘ１６画素のマクロブロックが、動き情報の表現のために利用される。多くの通常のビデオ信号については、これらの圧縮手法は、人間の目に知覚可能な可視のアーティファクトを被ることなく、高いデータ圧縮率を提供する。
【０００３】
しかしながら、標準的な圧縮方式は透明でないことが知られている。即ち、特定のビデオ信号に対しては、可視のアーティファクトを生じる。斯かる可視のアーティファクトは、ビデオ信号が局所的な空間−時間細部を含む動画を含む場合に生じる。局所的な空間−時間細部は、不特定な態様で時間的に局所的な特性を変化させる空間的なテクスチャによって表現される。例は炎、波立つ水、立ち上る煙、風に舞う葉等の動画である。こららの場合には、前記圧縮方式によって提供される１６ｘ１６画素のマクロブロックにより表現される動画情報は、可視の情報の損失を回避するには粗すぎる。このことは、ビットレート低減の点でＭＰＥＧ又はＨ．２６ｘの恩恵と組み合わせ、最適な高画質ビデオ再生を達成すること関する問題点である。
【０００４】
圧縮を意図されたビデオ信号における可視のアーティファクトを回避するため、圧縮処理を適用する前に、圧縮による可視のアーティファクトを生じ得る局所的な空間−時間細部を検出することが必要である。ビデオ信号においてこれらの部分の位置を特定すれば、これら部分に特殊な処理を適用し、圧縮処理によりもたらされるアーティファクトを回避することが可能となる。空間−時間細部を含むビデオ信号の画像ブロックを検出し表示する方法は知られている。
【０００５】
欧州特許ＥＰ０５７１１２１Ｂ１は、既知の所謂Horn-Schunk法の洗練化である画像処理方法を記載している。本方法は、B. K. Horn及びB. G. Schunkによる「Determining Optical Flow」（「Artificial Intelligence」、Vol. 17、1981年、185-204頁）に記載されている。Horn-Schunk法は、オプティカルフロー（optical flow）と呼ばれる画素毎の画像の速度情報の抽出を含む。各単一の画像についてオプティカルフローベクトルが決定され、該ベクトルに基づいて条件数が計算される。欧州特許ＥＰ０５７１１２１Ｂ１においては、局所的な条件数が、各画像についてオプティカルフローベクトルに基づいて計算され、その目的は頑強なオプティカルフローを得ることである。
【０００６】
欧州特許出願公開ＥＰ１２３３３７３Ａ１は、種々の可視の属性において類似性を示す画像の一部の分割のための方法を記載している。画像の小さな領域を組み合わせて、所定の閾値内で類似の特性を示す、より大きな領域に結合するための種々の基準が記載されている。動きの検出に関連して、オプティカルフローの算出を示すアファイン（affine）動きモデルが利用される。
【０００７】
米国特許ＵＳ６４５６７３１Ｂ１は、オプティカルフローの推定のための方法、及び画像合成方法を記載している。記載されたオプティカルフローの推定は、B. D. Lucas及びT. Kanadeによる「An iterative image registration technique with an application to stereo vision」（「Proceedings of the 7th International Joint Conference on Artificial Intelligence」、1981年、Vancouver、674-679頁）に記載された、知られたLucas-Kanade法に基づく。Lucas-Kanade法は、画素の局所的な近隣内でオプティカルフローが一定であることを仮定することによりオプティカルフローを推定する。画像合成方法は、知られた所謂Tomasi-Kanade時間特徴追跡法を利用して、推定されたオプティカルフローの値及び特に追跡された画像点、コーナ点のような視覚的な突出部の速度を利用することにより、シーケンスの連続する画像を記録する処理に基づく。かくして、米国特許ＵＳ６４５６７３１Ｂ１に記載された方法は、画像分割を実行しない。しかしながら、欧州特許ＥＰ０５７１１２１Ｂ１に記載された方法と同様に、オプティカルフローを計算するステップを実行し、続いて画像記録のステップを実行する。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、ビデオ信号における局所的な空間−時間細部を検出する方法を提供することにある。本方法は、実装するのに簡単であり、低コストの機器内での利用に適合したものである必要がある。画像の空間−時間細部とは、局所的なレベルで強い時間的な変化を示す大きな空間的な明るさの変化を含む画像の領域として理解される。ここでこれら空間的部分の速度は、時間的に弱く相関させられる。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、複数の画像を表すビデオ信号の局所的な空間−時間細部を検出する方法であって、前記方法は各画像について、
（Ａ）前記画像を１以上の画素のブロックに分割するステップと、
（Ｂ）それぞれの前記１以上のブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴（space-time feature）を算出するステップと、
（Ｃ）前記１以上のブロックのそれぞれについて、前記ブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出するステップと、
（Ｄ）前記少なくとも１つの統計パラメータが所定のレベルを超えるブロックを検出するステップと、
を有する方法を提供する。
【００１０】
好ましくは、前記少なくとも１つの空間−時間特徴は、画像垂直方向（visual normal）フローの大きさ及び／又は画像垂直方向フローの方向を有する。画像垂直方向フローは、画像の明るさの空間的な勾配に平行なオプティカルフローの成分を表す。前記少なくとも１つの空間−時間特徴は更に、画像垂直方向加速度の大きさ及び／又は画像垂直方向加速度の方向を有しても良い。画像垂直方向加速度は、垂直（画像の明るさの勾配）方向に沿った画像垂直方向フローの時間的な変化を記述する。
【００１１】
好ましくは、前記方法は更に、前記ステップ（Ｃ）において算出された前記少なくとも１つの空間−時間特徴の水平及び垂直方向のヒストグラムを算出するステップを有する。
【００１２】
前記ステップ（Ｄ）の前記少なくとも１つの統計パラメータは、分散、平均、及び確率関数の少なくとも１つのパラメータのうちの１以上を有しても良い。画素のブロックは、好ましくはオーバラップしない正方形のブロックであり、サイズは２ｘ２画素、４ｘ４画素、６ｘ６画素、８ｘ８画素、１２ｘ１２画素又は１６ｘ１６画素であっても良い。
【００１３】
前記方法は更に、前記画像におけるノイズを減少させるために、前記ステップ（Ａ）を適用する前に前記画像を前処理するステップを有しても良い。該前処理は好ましくは、ローパスフィルタを用いて前記画像を畳み込むステップを有する。
【００１４】
前記方法は、前記ステップ（Ｃ）と前記ステップ（Ｄ）との間に中間ステップを更に有しても良く、前記中間ステップは、各ブロックについて算出された統計パラメータの少なくとも１つを含むブロック間統計パラメータを算出するステップを有しても良い。前記少なくとも１つのブロック間統計パラメータは、２次元マルコフ非因果的近傍構造を利用して算出されても良い。
【００１５】
前記方法は、前記ステップ（Ｃ）において算出された前記少なくとも１つの統計パラメータのそれぞれについて、時間的な変化のパターンを決定するステップを更に有しても良い。前記方法は、前記ステップ（Ｄ）において検出された１以上のブロックを有する画像の少なくとも一部をインデクシングするステップを更に有しても良い。更に前記方法は、前記ステップ（Ｄ）において検出された前記１以上のブロックへのデータレートの割り当てを増大させるステップを有しても良い。他の実施例においては、前記方法は、デインタレースシステムにおいて画像を挿入するステップを更に有しても良い。
【００１６】
本発明の第２の態様は、複数の画像を表すビデオ信号の局所的な空間−時間細部を検出するシステムであって、前記システムは、
前記画像を１以上の画素のブロックに分割する手段と、
それぞれの前記１以上のブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴を算出する空間−時間特徴算出手段と、
前記１以上のブロックのそれぞれについて、前記１以上のブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出する統計パラメータ算出手段と、
前記少なくとも１つの統計パラメータが所定のレベルを超える１以上のブロックを検出する検出手段と、
を有するシステムを提供する。
【００１７】
本発明の第３の態様は、前記第２の態様のシステムによるシステムを有する装置を提供する。
【００１８】
本発明の第４の態様は、前記第１の態様の方法により動作するようにプログラムされた信号処理システムを提供する。
【００１９】
本発明の第５の態様は、テレビジョン機器のためのデインタレースシステムであって、前記第１の態様の方法により動作するデインタレースシステムを提供する。
【００２０】
第６の態様は、複数の画像を表すビデオ信号をエンコードするためのビデオ信号エンコーダであって、前記ビデオ信号エンコーダは、
前記画像を１以上の画素のブロックに分割する手段と、
それぞれの前記１以上のブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴を算出する空間−時間特徴算出手段と、
前記１以上のブロックのそれぞれについて、前記１以上のブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出する統計パラメータ算出手段と、
量子化スケールに従って前記１以上のブロックにデータを割り当てる手段と、
前記少なくとも１つの統計パラメータに従って前記１以上のブロックについて前記量子化スケールを調節する手段と、
を有するビデオ信号エンコーダを提供する。
【００２１】
第７の態様は、複数の画像を表すビデオ信号であって、前記第１の態様の方法を用いた使用のために適切な空間−時間細部を呈する画像セグメントに関する情報を有するビデオ信号を提供する。
【００２２】
第８の態様は、前記第７の態様によるビデオ信号データを有するビデオ記憶媒体を提供する。
【００２３】
第９の態様は、コンピュータ読み取り可能なプログラムコードを実施化するコンピュータ利用可能な媒体であって、前記コンピュータ読み取り可能なプログラムコードは、
コンピュータに、複数の画像を表すビデオ信号を読み取らせる手段と、
前記コンピュータに、前記読み取られた画像を１以上の画素のブロックに分割させる手段と、
前記コンピュータに、各ブロック内の少なくとも１つの画素について少なくとも１つの空間−時間特徴を算出させる手段と、
前記コンピュータに、前記ブロックのそれぞれについて、前記１以上のブロック内で算出された前記少なくとも１つの空間−時間特徴のそれぞれについての少なくとも１つの統計パラメータを算出させる手段と、
前記コンピュータに、前記少なくとも１つの統計パラメータが所定のレベルを超えるブロックを検出させる手段と、
を有するコンピュータ利用可能な媒体を提供する。
【００２４】
第１０の態様は、複数の画像を表すビデオ信号であって、前記ビデオ信号はＭＰＥＧ又はＨ．２６ｘのようなビデオ圧縮規格によって圧縮され、該ビデオ信号は各画像のブロックに対するデータの規定された個々の割り当てを有し、空間−時間細部を呈する画像の１以上の選択されたブロックに割り当てられたデータレートは、前記１以上の選択されたブロックにへのデータの前記規定された割り当てに比べて増大させられるビデオ信号を提供する。
【００２５】
第１１の態様は、前記第１の態様の方法を有する、ビデオ信号を処理する方法を提供する。
【００２６】
第１２の態様は、前記第１の態様の方法によりビデオ信号を処理する手段を有する集積回路を提供する。
【００２７】
第１３の態様は、機械によって読み取り可能なプログラム記憶装置であって、前記第１の態様の方法を実行するための命令のプログラムをエンコードするプログラム記憶装置を提供する。
【発明を実施するための最良の形態】
【００２８】
以下、本発明は添付図面を参照しながら詳細に説明される。
【００２９】
本発明は、種々の変更及び代替の形態が可能であるが、図において例として特定の実施例が示され、ここで詳細に説明される。しかしながら、本発明は開示された形態に限定されることを意図されたものではない。むしろ本発明は、添付される請求項により定義される本発明の範囲内である全ての変更、同等物及び代替をカバーするものである。
【００３０】
本発明の実施例によれば、画像を処理するために実行されるべき主な操作は、以下のステップである。
Ａ）画像をブロックに分割する。
Ｂ）局所的な特徴を推定する。
Ｃ）ブロック毎に特徴統計を算出する。
【００３１】
画像の処理のステップＡ）は、画像をブロックに分割するものである。好ましくは、該ブロックは、ＭＰＥＧ及びＨ．２６ｘのような標準的な圧縮によって利用されるマクロブロックと一致するものである。それ故、画像は好ましくは、オーバラップしない８ｘ８画素又は１６ｘ１６画素のブロックに分割される。画像ブロックは、８ｘ８画素の大きさでこれらブロックが（ＭＰＥＧの）画像グリッドと整合する場合には、典型的なＩ−フレームＤＣＴ／ＩＤＣＴ計算と一致し、空間的細部情報を記述する。１６ｘ１６画素の大きさで、これらブロックが（ＭＰＥＧの）画像グリッドと整合する場合には、ＭＰＥＧ／Ｈ．２６ｘビデオ規格においてブロックベースの動き推定における動き補償（ＭＣ）を実行するためのＰ−フレーム（Ｂ−フレーム）マクロブロックと一致する。このことは、空間−時間細部情報を記述することを可能とする。
【００３２】
ステップＢ）は、少なくとも１つの局所的特徴の推定を有し、該局所的特徴は画像の空間、時間及び／又は空間−時間細部に関するものである。好ましくは、２つの特徴が、異なる関連するメトリック（metric）と共に利用される。該局所的特徴の推定は、空間的及び時間的な画像の明るさの勾配の組み合わせに基づく。好適な特徴は、画像垂直方向フロー、即ち画像垂直方向の速度及び画像垂直方向加速度である。前記局所的特徴は、画像垂直方向の速度及び画像垂直方向加速度のいずれか又は両方に基づくものであっても良い。画像垂直方向の速度の場合については、２つの連続するフレーム（又は画像）が利用され、一方画像垂直方向加速度の場合については、３つの連続するフレーム（又は画像）が必要である。画像垂直方向の速度及び画像垂直方向加速度のより完全な説明は、以下に与えられる。
【００３３】
ステップＣ）は、ブロック毎の特徴統計の算出を有する。このことは、特徴の平均及び分散の計算を含む。また、異なる確率密度関数が、該ブロック毎の統計に合致する。該ブロック毎の統計は、空間−時間細部の量に対して各ブロックのカテゴリ化を可能とする閾値又は基準を設定するための情報を提供する。かくして、該ブロック毎の統計は、高い量の空間−時間細部を持つブロックの検出を可能とする。なぜなら、斯かるブロックは所定の閾値を超えるブロック毎の統計パラメータを呈するからである。
【００３４】
画像垂直方向フローは、画像の明るさの空間的な勾配に平行なオプティカルフローの成分を表す。オプティカルフローは、２つの連続するフレーム又はビデオフィールドを処理することによって局所的に抽出されることができる最も詳細な速度情報であるが、抽出のために計算的にコストが掛かる。一方で、垂直方向フローは計算が容易であり、局所的な空間的及び時間的な情報が非常に豊富である。例えばオプティカルフローの算出は典型的に７ｘ７ｘ２個の空間−時間の近隣を必要とするが、垂直方向フローは２ｘ２ｘ２個の近隣のみを必要とする。加えて、オプティカルフローの算出は最適化を必要とするが、垂直方向フローの算出は最適化を必要としない。
【００３５】
垂直方向フローの大きさは、局所的な画像の明るさの勾配に平行な動きの量を決定し、垂直方向フローの方向は、局所的な明るさの向きを記述する。画像垂直方向フローは、
【数１】
2007512750.tif 000003
により算出される。ここでＩは明るさ、ｘ及びｙは空間変数、ｔは時間変数である。垂直方向フローの方向は、画像の明るさの勾配の空間的な変化、及びそれ故空間的なテクスチャ情報を暗黙的に符号化している。垂直方向加速度は、２次の効果として、垂直方向フローがどのように局所的に変化するかを記述する。
【００３６】
画像垂直方向フローは、局所的な画像の速度又はオプティカルフローの垂直方向（即ち空間的な画像の勾配に平行な）成分として定義される。画像の速度は、各画像画素において、垂直方向及び接線方向の成分に分解されることができる。
【００３７】
図１は、画像の目標画素を通過する、良く定義された画像境界又は曲線を、説明のために示す。図１における線図は、均一な速度
【数２】
2007512750.tif 000004
で移動する曲線の２つの点における垂直方向及び接線方向フローを示す。点Ａから点Ｂに移動するにつれて、垂直方向及び接線方向の画像の速度（それぞれ垂直方向フロー及び接線方向フロー）は空間的な方向を変化させる。このことは実際に、曲線の曲率によって点から点へと生じる。垂直方向フローと接線方向フローとは、常に９０°離れている。
【００３８】
垂直方向フローの重要な特性は、前記画像において局所的に計算されることができる、唯一の画像の速度の成分であることである。接線方向の成分は計算されることができない。このことを説明するため、時間ｔにおける画像の点Ｐ（ｘ，ｙ）が、時間ｔ’＝ｔ＋Δｔにおいて点Ｐ’（ｘ’，ｙ’）に移動する場合に、画像の明るさＩ（・，・；・）が一定であることが仮定される。ここで
【数３】
2007512750.tif 000005
である。画像の速度は一定であると考えられ、Δｔは「小さい」。それ故、
【数４】
2007512750.tif 000006
即ち、
【数５】
2007512750.tif 000007
である。ここで
【数６】
2007512750.tif 000008
は略等しいことを表し、
【数７】
2007512750.tif 000009
である。
【数８】
2007512750.tif 000010
及び
【数９】
2007512750.tif 000011
であるから、式（２）は、
【数１０】
2007512750.tif 000012
に変形される。このことは、
【数１１】
2007512750.tif 000013
を意味し、ここで、
【数１２】
2007512750.tif 000014
及び、
【数１３】
2007512750.tif 000015
である。
【００３９】
画像の速度とは別に、垂直方向フローも、局所的な画像の明るさの勾配の向きの尺度であり、該尺度は、例えば曲率やテクスチャの向き等のような空間的な形状の変動性の量を暗に含む。
【００４０】
好ましくは、２つの異なる方法が、離散的な画像Ｉ［ｉ］［ｊ］［ｋ］における垂直方向フローを計算するために利用される。一方の方法は、２ｘ２ｘ２明るさ立方体（brightness cube）法であり、B. K. P. Hornによる「Robot Vision」（The MIT Press、Cambridge、Massachusetts、1986年）に記載されている。他方の方法は、特徴ベースの方法である。
【００４１】
２ｘ２ｘ２明るさ立方体法においては、空間的な及び時間的な導関数が、以下の式（７）乃至（９）によって近似される。
【数１４】
2007512750.tif 000016
【数１５】
2007512750.tif 000017
【数１６】
2007512750.tif 000018
【００４２】
これら個別の導関数は、２ｘ２ｘ２の明るさの立方体のセル内で計算される。
【００４３】
前記特徴ベースの方法は、以下のステップに基づく。
（ａ）高い空間的な勾配を持つ画像の点を見つける。このことは以下によって実装される。（ｉ）画像Ｉ（・，・；・）に対してガウス関数への二項式近似を適用することにより、画像Ｉ（・，・；・）を平滑化する。（ii）個別化された空間的な画像の勾配
【数１７】
2007512750.tif 000019
及び
【数１８】
2007512750.tif 000020
を計算する。（iii）所定のＴＧｒよりも
【数１９】
2007512750.tif 000021
が大きい画像の点のサブセットを見つける。また
【数２０】
2007512750.tif 000022
を利用し、２つではなく３つの連続するフレームを含む。
（ｂ）各特徴位置、例えば「高い」空間的な勾配を持つ点において、式（５）及び（６）の個別的なバージョンを利用することにより、垂直方向フローが対話的に計算される。最初に、垂直方向フローの初期計算を用いて、垂直方向フロー値を精錬するように該初期計算によって局所的な画像が歪められる。残りの時間導関数から残りの垂直方向フローが計算され、前記初期の垂直方向フローの推定値が更新される。残りの垂直方向フローがε（例えば０．０００１）よりも小さくなるまで、このことが繰り返される。
【００４４】
垂直方向加速度は、垂直（画像の明るさの勾配）方向に沿った垂直方向フローの時間的な変化を記述する。その重要性は、前記加速度は垂直方向フローが少なくとも３つの連続するフレーム間でどれだけ変化するかを示し、かくしてフレームの対の間で空間−時間細部がどれだけ変化するかを決定することを可能とするという事実による。
【００４５】
垂直方向加速度を定義する１方法は、以下のように式（３）の時間導関数をとることによる。
【数２１】
2007512750.tif 000023
ここで、
【数２２】
2007512750.tif 000024
及び
【数２３】
2007512750.tif 000025
である。
【００４６】
式（１２）における２番目の時間導関数のため、式（１２）を実行する場合には最小でも３つの連続するフレームを利用することが必要である。式（１２）における導関数の個別化されたバージョンを計算するため３ｘ３ｘ３画素幅の立方体をとると、以下のようになる。
【数２４】
2007512750.tif 000026
【００４７】
他の個別化された導関数が、３ｘ３ｘ３立方体において式（７）乃至（９）に得られる。
【００４８】
特徴統計を計算する目的は、所定の特徴が最も変化する空間−時間領域を検出すること、即ち高い空間−時間細部の分割及び検出である。このことは、２つ（３つ）の連続する画像が与えられた場合に、以下のアルゴリズムによって実装されても良い。
１．オーバラップしない（正方形又は長方形の）ブロックに画像を分割する。
２．各ブロック内で局所的な特徴のセットを計算する。
３．各ブロックについて、２で計算された特徴のセットの平均を決定する。
４．３において計算された分散から、各ブロック内の各特徴の分散、平均の変化を計算する。
５．所定の閾値Ｔｓｔａｔに対して、４において計算された分散がＴｓｔａｔよりも大きなブロックのセットを選択する。
【００４９】
本アルゴリズムの実装において、ここでは正方形（８ｘ８又は１６ｘ１６）ブロックを採用する。本実装は、前記画像を正方形のブロックへモザイク状にし、残りのブロックはモザイク状にされないまま残される。当該残りのモザイク状にされていない画像領域を減少させるため、長方形のモザイク化が利用されても良いが、このことはあまり魅力的ではない。なぜなら、可視のアーティファクトの事前検出のため、これらのブロックをＭＰＥＧの８ｘ８（ＤＣＴ）又は１６ｘ１６（ＭＣ）ブロックに整合させることが望ましいからである。各ブロック内の特徴値の計算は、
【数２５】
2007512750.tif 000027
が所定の閾値Ｔよりも大きい各画素において、又は
【数２６】
2007512750.tif 000028
が所定の閾値ＴＧｒよりも大きい特徴点において実行される。通常はＴ＜ＴＧｒである。ステップ４及び５において例示された統計情報は、単なる例である。より詳細な統計情報が計算されても良い。また、特定の確率分布密度（ｐｄｆ）及びこれらの統計情報が計算されても良い。
【００５０】
上述の又は関連する実装による計算をより頑強なものとするため、前処理及び後処理操作のセットが適用されても良い。前処理の例は、ローパスフィルタを用いた入力画像の畳み込みである。後処理は、例えば特徴の分散のような統計情報に対する近隣のブロックの比較を含んでも良い。
【００５１】
図２ａは、画像のシーケンスからとられた画像の例を示す。該画像においては、２人の人物が噴水の中の水飛沫を見ている。該人物の１人は、部分的に水飛沫の後である。それ故斯かる画像は、無秩序な明るさのパターンを生成するように予期される現象の例、即ち水飛沫を呈する局所的な部分を含む。それ故該画像は、高い量の局所的な空間−時間細部の可能性を持つ動画シーケンスから取得される。前記画像はブロック毎に本発明により処理され、各ブロックについて、空間−時間細部の量を表す尺度として垂直方向フローの大きさの分散が算出された。
【００５２】
図２ｂにおいて、図２ａの画像のブロックが、垂直方向フローの大きさの分散を表し、従って局所的な空間−時間細部の量を表すグレースケールで示されている。白いブロックは、高いレベルの垂直方向フローの分散を持つ領域を示し、濃いグレーのブロックは低いレベルの垂直方向フローの分散を持つ領域を示す。図２ｂから分かるように、白いブロックは水飛沫のある前記画像の部分において生じており、従ってこれらの局所的な画像領域は、前記処理方法により大きな量の局所的な空間−時間細部を呈する領域であることが分かる。向かって左側の人物及び向かって右側の噴水のような安定した画像領域は濃いグレーで示され、これらの領域は低い垂直方向フローの分散を呈すると検出されたことを示す。
【００５３】
図３は、空間−時間細部情報を処理するシステムのフロー構成図を示す。図３に示されたシステムは、該フロー図に示された異なる経路Ａ、Ｂ及びＣを利用することにより、異なる用途に利用されることができる。図３の要素は、以下のとおりである。
ＶＩ：ビデオ入力
Ｐｒｅ−Ｐ：前処理
ＳＴＤＥ：空間−時間細部推定及び検出
Ｐｏｓｔ−Ｐ：後処理
ＶＱＩ：画質改善
Ｄｉｓｐ：表示
Ｓｔ：記憶媒体
【００５４】
図３のビデオ入力は、画像のシーケンスを表すビデオ信号を表す。前記ビデオ入力は、有線若しくは無線によってのように直接に供給されても良いし、又は図３に示されるように、前記ビデオ信号は処理される前に記憶媒体に保存されても良い。前記記憶媒体はハードディスク、書き込み可能なＣＤ、ＤＶＤ、コンピュータのメモリ等であっても良い。入力は、ＭＰＥＧ若しくはＨ．２６ｘのような圧縮されたビデオフォーマットであっても良いし、圧縮されていないビデオ信号即ち前記ビデオ信号の完全な解像度表現であっても良い。アナログビデオ信号が入力である場合には、ＶＩステップはアナログ−ディジタル変換を含んでも良い。
【００５５】
図３の前処理は任意である。好適な場合には、空間−時間検出処理を適用する前に、前記ビデオ信号におけるノイズ又はその他の可視のアーティファクトを低減させるために、種々の信号処理が適用されても良い。このことは、空間−時間検出処理の効果を向上させる。
【００５６】
空間−時間細部推定及び検出（ＳＴＤＥ）は、上述の方法によって実行される。好ましくは、本方法は、画像垂直方向フローの算出を含み、更に画像垂直方向加速度の算出を含んでも良い。必要な算出手段は、専用のビデオ信号プロセッサであっても良い。代替として、本発明による方法を用いて必要とされる計算の量のため、ＴＶセット又はＤＶＤプレイヤのような装置において既存の信号処理能力を利用して信号処理が実装されても良い。
【００５７】
後処理は、図３のシステムのＳＴＤＥ部のブロックのそれぞれについて統計的な結果に対して実行されるブロック毎の統計方法を含んでも良い。前記後処理は更に、図３のＳＴＤＥ部のブロックのそれぞれについて統計的な結果の時間における統合を含んでも良い。加えて、前記後処理は、時間におけるブロック毎の統計の時間的な変化のパターンの決定を有しても良い。このことは、どの部分が安定した統計を持つかを決定するために必要である。
【００５８】
図３の経路Ａを利用して、前記ビデオ信号が空間−時間細部の検出の後に保存される。好ましくは、前記ビデオ信号はインデクス情報と共に保存され、後に処理されるべき更なる処理を可能とする。
【００５９】
代替として、画質改善手段が、保存即ち経路Ｂが利用される前に適用されても良い。画質改善手段は、大量の空間−時間細部を含む画像の局所的な領域に関する提供された情報を利用するように、前記信号に対して適用されても良い。圧縮されていないビデオ信号の場合にはこのことは、より高いレベルの細部に対処するために、空間−時間細部を持つブロックに対して、標準的な符号化方式によって割り当てられるよりも大きなデータレートを割り当てることによって（例えばＩ−フレーム及びＰ−フレーム符号化における量子化スケールを低減させることにより）為されても良い。前記信号は次いでエンコードされたバージョンで保存されても良いが、可視のアーティファクトを除去又は回避するために処理される。前記ビデオ信号は、エンコードを伴わないが空間−時間細部を持つブロック又は領域を示すインデクス情報を備えられて保存されても良い。これにより後の検索条件としての空間−時間インデクス情報のエンコード又は利用のような更なる処理を可能とする。
【００６０】
図３のシステムの最後の処理部は、ＴＶ画面やコンピュータ画面等におけるような可視の出力即ち表示である。代替として、前記ビデオ信号は、表示又は保存される前に、更なる装置又はプロセッサに供給されても良い。
【００６１】
本発明による原理の適用（ｉ）は、空間−時間細部を呈すると検出されたブロックに対してより多くのビットを割り当てることにより、アーティファクトのむら又は時間的なちらつきのような、ビデオ信号における可視のアーティファクトを除去又は少なくとも低減することである。幾つかの状況においては単に、一度エンコードされたディジタル（ＭＰＥＧ、Ｈ．２６ｘ）処理されたビデオに対して、むら、共鳴、モスキート「ノイズ」のような、起こり得る可視のアーティファクトを含むであろう画像／ビデオ領域の示唆を得ることが好ましいことであり得る。
【００６２】
他の適用（ii）は、空間的なシャープネス（sharpness）改善から利益を得られるＴＶシステムについてデインタレース（de-interlacing）におけるフィールド挿入のための低コストな動き検出インジケータを実装することである。このことは、低コストのデインタレース器における用途のために特に適しており、本発明による原理は部分的な動き補償情報を提供する。
【００６３】
更に他の適用（iii）は、長いビデオデータベースにおいて空間−時間細部を呈すると検出された画像領域を検出、分割、インデクシング及び取得することである。このようにして、例えば滝、海の波、風に動く髪／葉／草等を含むビデオフィルムの、シーケンスの迅速なインデクシングを可能とする検索機能を提供することが可能となり得る。どの用途が目的となるかに依存して、異なる処理ブロックが利用される。
【００６４】
また更に他の適用（iv）は、選択的な鮮明化（sharpening）を実行することである。即ち、より鮮明な画像が望ましい画像の選択された画像を強調し、選択されていない領域におけるディジタルアーティファクトの可視性を増大させる可能性を減少させるために、空間的なシャープネス（ピーキング（peaking）及びクリッピング）を適応的に変更することである。
【００６５】
例えば、適用（ｉ）は、表示用途のための画質改善及び記録用途のための画質改善の両方において利用されることができる。表示用途のためには図５における経路Ｃが利用される。表示用途は、高画質ＴＶセットのようなものであっても良い。８ｘ８又は１６ｘ１６画像ブロック毎のカスタマイズされたビットレート制御のような、局所的／領域的な画像特性に応じた適切なビットの割り当てにより、可視のアーティファクトが除去又は少なくとも低減させられ得るという事実のため、空間−時間細部の検出及び分割は重要である。このことは、可視のアーティファクトに関して重要である。なぜなら、単に検出するだけでは、該アーティファクトの可視性又は表示されたときの動画の画質への該アーティファクトの影響を低減させるには遅すぎることに、しばしばなり得るからである。
【００６６】
記録用途のためには、図５の経路Ａ又は経路Ｂが利用され得る。経路Ａを利用することにより、前記ビデオ信号は、画質改善を実行するより前に保存される。しかしながら、経路Ａを利用することは、空間−時間細部の検出及び分割、並びに大量の空間−時間細部を含む８ｘ８又は１６ｘ１６画素ブロックのような領域のインデクシングの保存を含み得る。このようにして、長いビデオデータベース（保存された内容）は処理され、後の段における更なる処理を可能とする。このことは、高度に詳細化されており、内容の記述のために効果的な表現が知られていない内容情報のために有用である。ビデオ信号は圧縮されて保存されても良いし、又は圧縮されずに保存されても良い。圧縮されていないデータを保存することにより、局所的な空間−時間細部に関する保存されたインデクスを利用して後の圧縮が実行されることができる。
【００６７】
経路Ｂを利用することにより、検出された局所的な空間−時間細部に基づく画質の向上に対して適切に処理された後に、ビデオ信号が保存される。上述したように、画質改善は、空間−時間細部を呈するブロックにより多くのデータを割り当てることにより実行されることができる。それ故、経路Ｂはまた、大きなビデオデータベースを処理するために利用され得る。経路Ｂを利用して、ビデオ信号は圧縮されて保存されることができる。なぜなら、適切な信号処理が既に実行されており、空間−時間細部に関する高い画質が、圧縮の利用によっても得られることが保証されているからである。
【００６８】
大量の種々の装置又はシステム、装置又はシステムの一部の中でも、本発明による原理は、ＴＶセットのようなＴＶシステム及びＤＶＤプレイヤ又はＤＶＤレコーダのようなＤＶＤ＋ＲＷ機器において適用されても良い。提案された方法は、新たなタイプのディジタルアーティファクトが生じ及び／又はより可視となり、従って一般に高いビデオ信号の品質を必要とする、ディジタル（ＬＣＤ、ＬＣｏＳ）ＴＶセットにおいて適用されても良い。
【００６９】
画質改善に関する本発明の原理は、動画を表示するように適応されたディスプレイを特徴とする無線ハンドヘルド型小型装置において利用されても良い。例えば、目に近いディスプレイを持つモバイル電話における動画の高い画質は、適度なデータレート要件と組み合わせられることができる。非常に貧弱な空間解像度を持つ装置については、本発明による画質改善は、むらや関連する可視のアーティファクトなく、ビデオ信号のために必要とされるデータレートを低減させるために利用されても良い。
【００７０】
加えて、本発明による原理は、ＭＰＥＧ符号化及び復号化機器において適用されても良い。前記方法が、斯かるエンコーダ又はデコーダにおいて適用されても良い。代替として、既存のエンコーダに先立ち、別個のビデオプロセッサ装置が利用されても良い。本発明による原理は、消費者向けの機器において適用されても良いし、プロフェッショナル用の機器において適用されても良い。
【００７１】
本発明によるビデオ信号エンコーダの実施例においては、空間−時間細部情報に依存するエンコーダ側における量子化スケールが利用される。該量子化スケールは、空間−時間細部情報によって変調される。当該スケールが大きい（小さい）ほど、量子化器は多くの（少ない）ステップを持ち、それ故多くの（少ない）空間的な細部が強調される（ぼかされる）。好ましくは、本発明によるビデオ信号エンコーダは、ＭＰＥＧ又はＨ．２６ｘフォーマットにより信号フォーマットを再生することが可能である。
【００７２】
好適な実施例においては、マクロブロック毎に固定された量子化スケールｑ＿ｓｃが利用される。変調がｑ＿ｓｃに適用され、ここで該変調は空間−時間細部についての情報を利用する。各マクロブロックについて、垂直方向フロー（画素毎）並びにその平均及び分散
【数２７】
2007512750.tif 000029
（マクロブロック毎）が算出される。実験により、垂直方向フローの分散は、ガンマ（アーラン（Erlang））関数が良くフィットするヒストグラムを持つことが知られている。この知識を用い、
Ｍ（ｘ）＝ｘ×ｅｘｐ（−（ｘ−１））
（シフトされたガンマ（アーラン）関数）を
【数２８】
2007512750.tif 000030
のヒストグラムにフィットさせることが可能である。これを用いて、マクロブロック毎の量子化スケールは、
【数２９】
2007512750.tif 000031
となる。ここでＦ（）は丸め演算及びテーブルルックアップを表す。δ及びλは、フレーム（ビデオシーケンス）毎に割り当てるために好適なビットの全体の量によって調節される実数（δについては正、λについては正及び負）である。
【００７３】
図４は、高い量の空間−時間細部を持つ画像部分を呈するシーケンスについてプロットされたヒストグラムの例を示す。処理されたシーケンスは、前景が走る少女であり、背景の部分が岩に打つ波を伴う海であるシーケンスである。図４のヒストグラムは、幾つかのブロックを、垂直方向フローの分散の関数として示す。白いバーは平坦なエリア、即ち例えば空のような小さな量の空間−時間細部を持つエリアを示す。黒いバーは、例えば岩に打つ波のような高い量の空間−時間細部を持つエリアを示す。該ヒストグラムから分かるように、空間−時間細部と垂直方向フローの分散との間にはかなりの相関がある。なぜなら、小さな量の空間−時間細部を持つエリアを表すバーは、低い垂直方向の分散値を持つものに集まり、高い量の空間−時間細部を持つエリアを表すバーは、高い垂直方向の分散値を持つものに集まっているからである。
【００７４】
以上において、また添付する請求項に関して、「組み込む（incorporate）」、「含む（contain）」、「含む（include）」、「有する（comprise）」、「である（is）」及び「持つ（have）」といった表現は、排他的でないものとして解釈されることを意図したものであり、即ち明示的に記載されていない、他の部分又は構成要素が潜在的に存在し得ることは理解されるであろう。
【図面の簡単な説明】
【００７５】
【図１】均一な速度で移動する曲線の２点における垂直方向及び接線方向フローの図を示す。
【図２（ａ）】２人の人物及び水飛沫を含む噴水の画像の例を示す。
【図２（ｂ）】図２（ａ）の画像について、ブロック毎の垂直方向フロー変化を表すグレースケールのプロットを示し、白いブロックは高いレベルの垂直方向フロー変化を持つものとして算出されたブロックを示す。
【図３】本発明によるシステムのフロー図を示す。
【図４】垂直方向フロー変化ヒストグラムの例を示す。
【図１】
2007512750.tif 000032
【図２ａ】
2007512750.tif 000033
【図２ｂ】
2007512750.tif 000034
【図３】
2007512750.tif 000035
【図４】
2007512750.tif 000036
【国際調査報告】
2007512750.tif 000037
2007512750.tif 000038
2007512750.tif 000039
2007512750.tif 000040