(57)【特許請求の範囲】
【請求項１】
ビデオピクチャの現在の点と、前記現在の点を中心とするｋ個の点のセットを形成する前記現在の点を囲む前記ビデオピクチャの複数の点とにおいて、前記現在の点におけるエッジ方向を表す距離を計算するステップであって、ｋは１より大きい自然数であり、前記ｋ個の点のセットの各点の前記エッジ方向を表す前記距離が、前記各点における輝度成分の水平勾配と垂直勾配との比に対応する、該計算するステップと、
前記ｋ個の点のセットの前記複数の点に関して計算された前記距離の中の、予め定められた基準に準拠する距離のセットに対して、前記現在の点に関して計算された前記距離を条件付きでメディアンフィルタリングするステップであって、前記予め定められた基準に準拠する前記距離が複数の点の距離であり、前記ｋ個の点のセットの前記複数の点におけるビデオ成分の局所勾配モジュールが閾値より大きく、前記閾値が、前記現在の点における前記ビデオ成分の前記局所勾配モジュールによって決められる、該条件付きでメディアンフィルタリングするステップと、
を含み、前記ｋ個の点のセットの点Ｉにおける前記局所勾配モジュールは
【数１】
0005616014.tif 000013
に等しく、ここでＩj（ｘ，ｙ）は前記ビデオピクチャ内の空間座標（ｘ，ｙ）における前記点Ｉの前記ビデオ成分ｊの値に対応し、ｑはビデオ成分の数に対応する、方法。
【請求項２】
前記ビデオピクチャの１つの点における前記エッジ方向を表す前記距離は、前記１つの点における前記ビデオピクチャのビデオ成分の局所勾配から計算される、請求項１に記載の方法。
【請求項３】
前記現在の点では、前記閾値は、前記ビデオピクチャの前記現在の点における前記ビデオ成分の前記局所勾配モジュールのパーセンテージに等しい、請求項１に記載の方法。
【請求項４】
このパーセンテージは５０％に等しい、請求項３に記載の方法。
【請求項５】
ビデオピクチャの現在の点と、前記現在の点を中心とするｋ個の点のセットを形成する前記現在の点を囲む前記ビデオピクチャの複数の点とにおいて、前記現在の点におけるエッジ方向を表す距離を計算する計算回路であって、ｋは１より大きい自然数であり、前記ｋ個の点のセットの各点の前記エッジ方向を表す前記距離が、前記各点における輝度成分の水平勾配と垂直勾配との比に対応する、前記計算回路と、
前記ｋ個の点のセットの前記複数の点に関して計算された前記距離の中の、予め定められた基準に準拠する距離のセットに対して、前記現在の点に関して計算された前記距離をフィルタリングするための条件付きメディアンフィルタであって、前記予め定められた基準に準拠する前記距離が複数点の距離であり、前記ｋ個の点のセットの前記複数の点におけるビデオ成分の局所勾配モジュールが閾値より大きく、前記閾値が、前記現在の点における前記ビデオ成分の前記局所勾配モジュールによって決められる、前記条件付きメディアンフィルタと、
を備え、前記ｋ個の点のセットの点Ｉにおける前記局所勾配モジュールは
【数２】
0005616014.tif 000014
に等しく、ここでＩj（ｘ，ｙ）は前記ビデオピクチャ内の空間座標（ｘ，ｙ）における前記点Ｉの前記ビデオ成分ｊの前記値に対応し、ｑはビデオ成分の数に対応する、装置。
【請求項６】
ビデオピクチャのデインタレースプロセスにおいて、前記ビデオピクチャの現在の点において計算された前記エッジ方向を表す前記距離を、前記デインタレースされたピクチャの画素の値を計算するのに使用する、請求項１から４のいずれか１項に記載の方法。
【請求項７】
入力ビデオピクチャを出力ビデオピクチャにフォーマット変換するプロセスにおいて、前記ビデオピクチャの現在の点において計算された前記エッジ方向を表す前記距離を、前記出力ビデオピクチャの画素の値を計算するのに使用する、請求項１から４のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオピクチャの現在の点（current point）におけるエッジの方向（edge orientation）を表す距離を生成する方法および装置に関する。生成された距離は、特にビデオピクチャのデインタレース（deinterlacing）またはフォーマット変換に使用される。本発明を、ビデオコーダまたはデコーダにおいて実装することができる。
【背景技術】
【０００２】
現在、標準のＨＤＴＶ（高解像度テレビ：High Definition TV）に関連する２つのフォーマットがある。これら２つのフォーマットは、７２０ｐフォーマットおよび１０８０ｉフォーマットである。７２０ｐフォーマットは、７２０行（lines）および１２８０列（columns）を備えるプログレッシブピクチャを生成し、１０８０ｉフォーマットは、１０８０行および１９２０列を備えるインタレースピクチャを生成する。これらのフォーマットはそれぞれ、特有の利点を有する。７２０ｐフォーマットは、より良い時間分解能（temporal resolution）を提供し、ぼやけ効果を生じることなく高速で移動するオブジェクトを再生し、一方、１０８０ｉフォーマットは、より良い空間分解能（spatial resolution）を提供する。番組放送者は、これらのフォーマットのどちらか一方を使用することを選択しているが、両方一緒に使用することは選択しない。したがって、実際には、表示する前に放送番組のフォーマットを処理して、該番組を表示するのに使用されるディスプレイ装置によってサポートされるフォーマットに変換する必要がある。
【０００３】
本技術分野では、初めに入力ピクチャにおけるエッジの局所方向（local orientation）の検出を実行し、次いで、検出された方向に基づいて補間（interpolation）を実行することによって、ビデオピクチャのフォーマットを変更するか、ビデオピクチャをデインタレースすることが知られている。ビデオピクチャにおけるエッジの方向の検出に関する公知の方法の結果は、ノイズが多いものとなるか、または大量の計算（例えば、多数の可能性あるエッジの方向をテストすること）を必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、この方法を改善することである。
【課題を解決するための手段】
【０００５】
本発明は、ビデオピクチャの現在の点でのエッジの方向を表す距離を生成する方法に関する。本方法は、現在の点と、該現在の点を中心とするｋ個の点のセットを形成する、該現在の点を囲むピクチャの複数の点とにおいて、この点におけるエッジの方向を表す距離を計算するステップを含む。ここで、ｋは１より大きい自然数である。本方法は、上記ｋ個の点のセットのうちの複数の点に関して計算された距離の中から、予め定められた基準に準拠する距離のセットに対して、現在の点に関して計算された距離の条件付きのメディアンフィルタリング（conditional median filtering）をするステップをさらに含むことを特徴とする。
【０００６】
特定の実施形態によると、ビデオピクチャの或る点におけるエッジの方向を表す距離は、該点におけるビデオピクチャのビデオ成分の局所勾配（local gradient）から計算される。
【０００７】
本発明によると、予め定められた基準に準拠する距離は、点のセットのうちの複数の点に関連付けられた距離であり、該複数の点におけるビデオ成分の局所勾配は閾値より大きい。この閾値は、固定でも可変でもよい。有利なことには、閾値は可変であり、現在の点では、この閾値は、現在の点のビデオ成分の局所勾配モジュールに依存する。特定の実施形態によると、この閾値は、現在の点のビデオ成分の局所勾配モジュールのパーセンテージに等しい。このパーセンテージは、例えば、５０％に等しい。
【０００８】
本発明はまた、ビデオピクチャの現在の点におけるエッジの方向を表す距離を生成する装置であって、
−  ｋは１より大きい自然数とし、上記現在の点と、上記現在の点を中心とするｋ個の点のセットを形成する上記現在の点を囲む上記ピクチャの複数の点とにおいて、上記点におけるエッジの方向を表す距離を計算する計算回路と、
−  前記ｋ個の点のセットのうちの複数の点に関して計算された距離の中の、予め定められた基準に準拠する距離のセットに対して、上記現在の点に関して計算された距離をフィルタリングする条件付きメディアンフィルタを備える装置に関する。
【０００９】
本発明によると、予め定められた基準に準拠する距離は、複数の点におけるビデオ成分の局所勾配が閾値より大きい、上記複数の点の距離である。
【００１０】
本発明はまた、ビデオピクチャの現在の点において計算されたエッジの方向を表す距離が、デインタレースされたピクチャの画素の値を計算するのに使用される、ビデオピクチャをデインタレースする方法におけるエッジの方向に関連して距離を生成する方法の使用に関する。
【００１１】
本発明はまた、ビデオピクチャの現在の点において計算されたエッジの方向を表す距離が、出力ピクチャの画素の値を計算するのに使用される、入力ビデオピクチャの出力ビデオピクチャにフォーマット変換する方法におけるエッジの方向に関連して距離を生成する方法の使用に関する。
【００１２】
本発明は、非制限的な例として提供される以下の説明を読み、添付の図面を参照すると、より良く理解されるであろう。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明にかかる方法の第１の実施形態におけるステップを示す。本方法の目的は、ビデオピクチャの現在の点におけるエッジの方向を表す距離を生成することである。本方法は、現在の点と、現在の点を中心とするｋ個の点のセットを形成し現在の点を囲む上記ピクチャの複数の点とにおいて、現在の点におけるエッジの方向を表す距離を計算するステップ１１０を含み、ｋは１より大きい自然数である。このセットは、例えば、現在の点を中心とするｐ×ｑの点の長方形のウィンドウであり、ｐおよびｑは１より大きい自然数である。デインタレースの場合は、距離が計算されるピクチャの現在の点の位置は、デインタレースされたピクチャの画素の位置に対応する。フォーマット変換の場合は、距離が計算されるピクチャの現在の点の位置は、変換されたピクチャの画素の位置に対応する。
【００１４】
以下に、デインタレースの場合の、入力ピクチャの或る点におけるエッジの方向を表す距離ｄの計算の一例を提供する。この距離ｄは、図２に示される入力ピクチャの点Ｐにおいて計算される。図２は、入力ピクチャの２本の連続した行ｙｎとｙｎ＋１に広がる入力ピクチャの８つの画素を示す。これらの画素は、入力ピクチャのｘｍ−１、ｘｍ、ｘｍ＋１、およびｘｍ＋２と番号をつけられた画素の列に属する。入力ピクチャの画素は、図では黒い丸で表されている。この例において、デインタレースとは、行ｙnと行ｙn＋１との間の中間の距離に置かれる画素ｙ’＝ｙｎ＋１／２の行を生成することである。この追加の行の画素は、黒い正方形で表されている。距離は、行ｙ'および列ｘｍに属する点Ｐにおいて計算される。点Ｐは、座標（ｘｍ−１，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、および（ｘｍ−１，ｙｎ＋１）によって区切られたゾーンの内側に置かれる。画素Ｐは、入力ピクチャの座標（ｘｍ，ｙ’）で特定される。以下に、座標（ｘｍ，ｙ’）の画素Ｐに関する距離ｄの計算を提供する。このために、輝度成分の、ｌｘ（ｘ１，ｙ’）として示される水平勾配、およびｌｙ（ｘ１，ｙ’）として示される垂直勾配が、この点Ｐにおいて計算される。
【００１５】
【数１】
0005616014.tif 000002
【００１６】
【数２】
0005616014.tif 000003
【００１７】
式中、ｌ（ｘ，ｙ）は、座標（ｘ，ｙ）における画素の輝度成分を示す。
【００１８】
点Ｐへの距離ｄは、
【００１９】
【数３】
0005616014.tif 000004
【００２０】
に等しいと考えられる。
【００２１】
画素Ｐに関して計算された距離ｄを、図２に示す。線分Ｓは、座標（ｘ’＋ｄ，ｙｎ）の点と、座標（ｘ’−ｄ，ｙｎ＋１）の点とを結ぶ。
【００２２】
再度図１を参照すると、本発明の方法は、次に、ステップ１１０で計算された距離ｄの条件付きメディアンフィルタリングのステップ１２０を含む。条件付きメディアンフィルタリングは、フィルタリングに関して考慮される値が予め定められた基準に準拠しているメディアンフィルタリングを意味すると理解される。メディアンフィルタリングは、例えば、ｐ×ｑの距離値のウィンドウに対して実行され、ｐおよびｑは、１より大きい自然数である。整数ｐおよびｑは、フィルタリングが効果的になるように、３より大きいことが好ましい。例えば、ｐ＝５およびｑ＝５である。したがって、この場合フィルタリングは、２５個の値に対して行われる。フィルタリングは、フィルタリングされるべき距離ｄを中心とする。本発明によると、予め定められた基準に準拠している値のみが、このフィルタリングに使用される。フィルタリングに関して考慮されるウィンドウの値は、関連する点が、閾値Ｓ１より大きいそれらのビデオ成分‖▽ｌ‖に対して局所的な勾配モジュールを有する値であり、
【００２３】
【数４】
0005616014.tif 000005
【００２４】
である。ｌｊ（ｘ，ｙ）は、ピクチャ内の空間座標（ｘ，ｙ）における画素の色成分ｊの値を示し、ｑは、ビデオ成分の数を示す。色空間［Ｙ,Ｃｂ,Ｃｒ］で表される画素値の場合、ｑは３であり、ｌ１は成分Ｙの値を示し、ｌ２は成分Ｃｂの値を示し、ｌ３は成分Ｃｒの値を示す。
【００２５】
閾値Ｓは、例えば、考慮される点のビデオ成分の局所勾配モジュールのパーセンテージである。この閾値は、例えば５０％に等しい。この閾値を、実験的に定義することができる。
【００２６】
このフィルタリングは、以下の２つの表によって示される。第１の表は、現在の点を中心とする（中心において）５×５の点から成るウィンドウの点についてのビデオ成分‖▽ｌ‖の局所勾配モジュールを示し、第２の表は、これらの点に関して計算された距離を示す。
【００２７】
【表１】
0005616014.tif 000006
【００２８】
【表２】
0005616014.tif 000007
【００２９】
閾値Ｓが現在の点の局所勾配モジュールの５０％に固定されている場合、第１の表内でこの基準に準拠している勾配値は、グレーで表示される。同様に、この基準に準拠している点に関連する距離値は、第２の表においてグレーで表示される。本発明の条件付きメディアンフィルタリングとは、昇順または降順に保持された距離値を分類して、この順序付けされたリストの中央値（メディアンとも呼ばれる）を、フィルタの出力値として選択することである。
【００３０】
この条件付きフィルタリングは、エッジの欠如を示す距離値をメディアンフィルタから除去することを可能にし、その値は入力ピクチャの等質領域（homogenous area）に特有であり、その距離値に対するフィルタリングの集中は、エッジがメディアンフィルタのノイズ軽減の効果を保つことを示す。
【００３１】
一変形形態として、閾値Ｓを固定にし、または閾値Ｓは現在の点の局所勾配に依存しない。
【００３２】
図３Ａから３Ｃを、条件付きメディアンフィルタリング（本発明の方法のステップ１２０）の結果を示す例として提供する。図３Ａは、都市の中心部の超高層ビルを示す入力ピクチャである。このピクチャは、多数のエッジを含む。図３Ｂは、このピクチャ内のエッジの方向を表す距離を示す。図３Ｃは、本発明による条件付きメディアンフィルタの適用後のこのピクチャ内のエッジの方向を表す距離を示す。図３Ｂおよび３Ｃでは、中間レベルのグレー（８ビットでグレーレベルをコード化する場合は１２８）は、ヌルの距離ｄ（＝特権的なエッジの方向がない）を示し、１２８より高いグレーレベルは、正の距離ｄ（＝ピクチャの左から右へ上部方向に向けられた斜めのエッジの存在）を示し、１２８より低いグレーレベルは、負の距離ｄ（＝ピクチャの左から右へ下部方向への斜めのエッジの存在）を示す。
【００３３】
これらの図から分かるように、本発明の条件付きメディアンフィルタリングは、多くの擬似距離（spurious distance）を廃棄することを可能にする。本発明による条件付きメディアンフィルタリングは、２つの等質領域を分離するオブジェクトのファインエッジに対する結果を、著しく改善することを可能にする。
【００３４】
これらのフィルタリングされた距離は、フォーマット変換またはデインタレースのための画素の補間に使用される。以下において、本方法を使用して、（フォーマット変換またはデインタレースの後の）出力ピクチャ内の座標（ｘｏｕｔ，ｙｏｕｔ）、および開始ピクチャ内の座標（ｘ’，ｙ’）において、画素Ｐｏｕｔを補間する。したがって、出力ピクチャの画素Ｐｏｕｔは、開始ピクチャ内の画素Ｐに対応する。νは、開始ピクチャの行の数と出力ピクチャの行の数との比であり、ｒは開始ピクチャの列の数と出力ピクチャの列の数との比である。
【００３５】
図４は、画素Ｐｏｕｔが、列ｘｍ上であって、画素Ｐのような開始ピクチャの画素の行ｙｎと行ｙｎ＋１との間に置かれている場合を図示する。Ｐｏｕｔは、例えば、デインタレースされたピクチャの画素である。行ｙoutに最も近い入力ピクチャの画素の行ｙｎおよび行ｙｎ＋１が判定される。
ｙ'＝ν．ｙｏｕｔ
ｙｎ＝Ｅ（ｙ'）
式中、Ｅ（ｘ）は、変数ｘの整数部分を示す。
【００３６】
画素Ｐｏｕｔの行ｙ’と、開始ピクチャの行ｙｎとの間の距離を表す垂直位相φ＝｜ｙ’−ｙｎ｜が定義される。φは０と１との間に含まれる。デインタレースの場合には、φ＝１／２である。
【００３７】
したがって、ｘｙｎ＝ｘ’＋２・φ・ｄ、ｘｙｎ＋１＝ｘ'＋２・（１−φ）・ｄであり、ｄは、座標（ｘ’，ｙ’）で画素Ｐに関して計算される。
【００３８】
出力ピクチャ内の座標（ｘｏｕｔ，ｙｏｕｔ）における画素Ｐoutの値は、双一次補間（bilinear interpolation）に対応する以下の計算式を使用して計算される。
【００３９】
【数５】
0005616014.tif 000008
【００４０】
式中、ｌｉｎ（ｘ，ｙ）は、開始ピクチャ内の座標（ｘ，ｙ）における画素の値を示し、ｌｏｕｔ（ｘ，ｙ）は、出力ピクチャ内の座標（ｘ，ｙ）における画素の値を示す。  
以下において、ｓｇｎ（ｘ）は、ｘの符号関数である。
【００４１】
【数６】
0005616014.tif 000009
【００４２】
パラメータαおよびβは、次のように定義される。
α＝｜Ｅ（ｘｙｎ）−ｘｙｎ｜
β＝｜Ｅ（ｘｙｎ＋１）−ｘｙｎ＋１｜
この計算は、画素の各ビデオ成分に対して行われる。輝度ビデオ成分に関して計算された距離ｄは、出力ピクチャからの画素の全てのビデオ成分についての計算に使用される。
【００４３】
出力ピクチャの画素のビデオ成分についての計算には、他の計算式も考慮される可能性がある。上記の例では、補間は双一次である。一次補間、あるいは最近傍の選択による補間、あるいは一次補間または双一次補間の組合せの使用が予想され得る。これらの補間は、専門家によく知られている。より多くの数の行または列の使用も予想され得る。最終的に、距離モジュールｄに応じて補間計算式を変更することを提供することができる。
【００４４】
図５は、本発明の方法を実装することができる装置５００を示す。Ｙｉｎ、Ｃｂｉｎ、およびＣｒｉｎは、装置の入力において適用されたピクチャのビデオ成分を示す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］で表示される。もちろん、他の色空間を使用することもできる。装置５００は、
−  入力ピクチャのエッジの方向を表す距離の計算回路５１０を備える。この回路は、本発明の方法のステップ１１０を実施し、距離チャートを配信（deliver）する。
−  ブロック５１０によって配信された距離チャートから本発明の方法のステップ１２０を実施する条件付きメディアンフィルタ５２０も備える。このフィルタは、フィルタリングされた距離チャートを配信する。  
フォーマット変換またはデインタレースのコンテキスト内で、これらのフィルタリングされた距離は、次いで、補間ブロックによって処理される。
【００４５】
図６は、本発明の第２の実施形態を示す。この第２の実施形態は、ステップ６０１、６１０および６２０を含む。ステップ６１０および６２０は、図１によって図示された第１の実施形態のステップ１１０および１２０と同じである。この第２の実施形態は、参照番号６０１の、入力ピクチャステップの追加のフィルタリングを含む。このフィルタリングの目的は、入力ピクチャのエッジの方向の距離の計算を改善することである。使用されるフィルタは、ガウシアンカーネル（Gaussien kernel）に基づく。このフィルタは、入力ピクチャの信号輝度の成分Ｙに、または入力ピクチャの信号の全てのビデオ成分に適用される。以下において、ｌｊｆはフィルタリング後の成分ｌｊを示す。フィルタリングされた成分は、
【００４６】
【数７】
0005616014.tif 000010
【００４７】
であり、
【００４８】
【数８】
0005616014.tif 000011
【００４９】
であり、σ２は、ガウシアンカーネルの分散（variance）である。
【００５０】
使用されるフィルタは、例えば、以下の５×５係数フィルタである。
【００５１】
【数９】
0005616014.tif 000012
【００５２】
図７は、本発明の方法のこの第２の実施形態を実装することができる装置７００を示す。Ｙｉｎ、Ｃｂｉｎ、およびＣｒｉｎは、装置の入力において適用されるピクチャのビデオ成分を示す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］において表される。装置７００は、
−  第１のフィルタリングステップ６０１を実装する第１のフィルタ７０１を備える。このフィルタリングは、入力ピクチャの信号のビデオ成分の１つまたは全てに適用される。
−  入力ピクチャのエッジの方向を表す距離の計算回路７１０も備える。この回路は、本発明の方法の第２の実施形態のステップ６１０を実装し、距離チャートを配信する。
−  ブロック７２０によって配信された距離チャートから本発明の方法のステップ６２０を実装する条件付きメディアンフィルタ７２０も備える。このフィルタは、フィルタリングされた距離チャートを配信する。  
フォーマット変換またはデインタレースのコンテキスト内で、これらのフィルタリングされた距離は、次いで、補間ブロックによって処理される。
【００５３】
前に定義された本発明の方法では、ステップ１１０または６１０で計算された距離は、第２のセットの画素を判定するものとして使用される。一変形形態として、計算された距離が予め定められた最大値を超える場合は、この距離の上限はこの最大値とされる。この最大値は、例えばＳＤ（標準解像度：Standard Definition）ピクチャ用の４画素に等しい。実際、この最大値を超える場合、距離ｄの値は、低くはなり得ず、したがって、補間にエラーを導入する。他の変形形態によると、計算された距離がこの最大値を超える場合は、距離はヌルの値に調整される。この第２の変形形態は、エラーのリスクのさらにいっそうの軽減を可能にするが、一部のエッジの補間では、それほど正確ではない。
【００５４】
もちろん、本発明は、前述の諸実施形態に限定されない。出力ピクチャを生成するために使用されるエッジの方向の距離に対する条件付きメディアンフィルタリングを提案するフォーマット変換またはデインタレースに関する全ての方法または装置が、本発明の分野に含まれる。
【図面の簡単な説明】
【００５５】
【図１】本発明による方法の第１の実施形態におけるステップを示す図である。
【図２】デインタレースの場合の、エッジの方向を表す距離が計算される入力ピクチャの点Ｐの位置を示す図である。
【図３Ａ】元のピクチャを示す図である。
【図３Ｂ】本発明による条件付きメディアンフィルタリングを用いて、元のピクチャに関して計算されたエッジの方向の距離を示す図である。
【図３Ｃ】条件付きメディアンフィルタリングを用いずに、元のピクチャに関して計算されたエッジの方向の距離を示す図である。
【図４】デインタレースの場合の画素Ｐｏｕｔの補間を示す図である。
【図５】図１の方法を実装することができる装置を示す図である。
【図６】本発明による方法の第２の実施形態におけるステップを示す図である。
【図７】図６の方法を実装することができる装置を示す図である。
【図１】
0005616014.tif 000015
【図２】
0005616014.tif 000016
【図４】
0005616014.tif 000017
【図５】
0005616014.tif 000018
【図６】
0005616014.tif 000019
【図７】
0005616014.tif 000020
【図３Ａ】
0005616014.tif 000021
【図３Ｂ】
0005616014.tif 000022
【図３Ｃ】
0005616014.tif 000023