(57)【要約】メモリベース・ビデオプロセッサにおいて用いる順次走査変換器装置および方法を提供する。順次走査変換器は、時間順次走査変換器および空間順次走査変換器の出力を混合する。２つの別々のエラー値、すなわち、時間順次走査変換器用に対するエラー値と、空間順次走査変換器に対するエラー値とを使用する。順次走査変換器は、これらの２つのエラー値から、非線形マッピングを利用して、空間及び時間順次走査変換の出力を混合するための混合係数を算出する。
2008543158.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を受信し記憶するためのメモリと、
このメモリからの画像情報を順次走査変換するための時間順次走査変換器と、
画像情報を順次走査変換し、方向補間の信頼性を算出する空間順次走査変換器と、
算出した混合係数に応じて、前記時間順次走査変換器および前記空間順次走査変換器の出力を混合する混合器と
を備えた順次走査変換装置。
【請求項２】
請求項１に記載の順次走査変換器装置において、前記算出した混合係数は、非線形演算によって得られるようにした順次走査変換器装置。
【請求項３】
請求項１に記載の順次走査変換器装置において、前記時間順次走査変換器は、時間補間の信頼性を算出するようになっている順次走査変換器装置。
【請求項４】
請求項１に記載の順次走査変換器において、前記空間補間器は、前記方向補間の信頼性を算出するようになっている順次走査変換装置。
【請求項５】
請求項５に記載の順次走査変換器において、前記方向補間の前記信頼性は、前記エッジに沿う輝度の勾配と、前記エッジに垂直な輝度の勾配とを計算することによって、計算する順次走査変換器。
【請求項６】
請求項１に記載の順次走査変換器において、前記算出した混合係数は、画像情報の高周波に対する、前記空間順次走査変換器および前記時間順次走査変換器の出力の予測される寄与度に依存するようにした順次走査変換器。
【請求項７】
請求項１に記載の順次走査変換器において、前記画像情報はビデオ信号である順次走査変換器。
【請求項８】
請求項１に記載の順次走査変換器において、前記計算した混合係数は、２つの誤差関数に基づくようにした順次走査変換器。
【請求項９】
請求項８に記載の順次走査変換器において、前記２つの誤差関数は、時間誤差関数および空間誤差関数とした順次走査変換器。
【請求項１０】
請求項９に記載の順次走査変換器において、前記空間誤差関数は方向誤差関数とした順次走査変換器。
【請求項１１】
請求項１に記載の順次走査変換器において、前記空間順次走査変換器および前記時間順次走査変換器は、前記画像情報を並列に処理するようにした順次走査変換器。
【請求項１２】
時間順次走査変換器内でビデオ信号を順次走査変換するステップと、
空間順次走査変換器内で前記ビデオ信号を順次走査変換するステップであって、双方の前記ステップを並列に行う当該順次走査変換ステップと、
第１のエラー係数および第２のエラー係数を算出するステップと、
前記第１のエラー係数および前記第２のエラー係数を少なくとも１つの混合係数に非線形的にマッピングするステップと、
前記少なくとも１つの混合係数を使用して前記時間順次走査変換器の出力および前記空間順次走査変換器の出力を混合するステップと
を含むビデオ信号順次走査変換方法。
【請求項１３】
請求項１２に記載のビデオ信号順次走査変換方法において、この方法を、メモリベース・ビデオプロセッサにおいて用いるようにするビデオ信号順次走査変換方法。
【請求項１４】
請求項１２に記載のビデオ信号順次走査変換方法において、前記第１のエラー係数を時間的エラー係数とし、前記第２のエラー係数を空間エラー係数とするビデオ信号順次走査変換方法。
【請求項１５】
ビデオ信号を処理するための時間順次走査変換器と、
前記時間順次走査変換器と並列に前記ビデオ信号を処理するための空間順次走査変換器と、
前記時間順次走査変換器および前記空間順次走査変換器の出力を受け、非線形の混合係数に応じてこれら受けた出力を混合する混合器と
を備えるメモリベース・ビデオプロセッサ。
【請求項１６】
請求項１５に記載のメモリベース・ビデオプロセッサにおいて、このメモリベース・ビデオプロセッサが更に、前記ビデオ信号を記憶するメモリを備えるメモリベース・ビデオプロセッサ。
【請求項１７】
請求項１５に記載のメモリベース・ビデオプロセッサにおいて、前記非線形混合係数が、前記時間順次走査変換器および前記空間順次走査変換器のうちの少なくとも１つによって提供された時間エラー係数と方向エラー係数とに基づくようにしたメモリベース・ビデオプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エラー評価基準を有する空間および時間順次走査変換装置（デインターレーサ）および方法に関する。
【背景技術】
【０００２】
多くの順次走査変換方法が文献に発表されていたり、さまざまな製品で商業的に用いられている。これらの方法は、単純な空間順次走査変換器から動き補償を行う順次走査変換器まで多岐に渡る。
【０００３】
しかしながら、空間順次走査変換器のカテゴリーが重要なのは、飛び越し走査プロセスに使用される動きベクトルが信頼できない場合に、この空間順次走査変換器がしばしば一種の代替として使用されるからであり、さらに、低コストシステムで使用される順次走査変換器のカテゴリーだからである。順次走査変換器（空間的なものを含む）の概要は、非特許文献１および、非特許文献２に記載されている。これらの非特許文献に含まれない他の空間順次走査変換器は、非特許文献３に記載されている。
【非特許文献１】G. de Haan and E.B. Bellers, 'De-interlacing - An overview', The proceedings of the IEEE, vol. 86, no. 9, pp. 1839-1857, September 1998
【非特許文献２】E. B. Bellers and G. de Haan, 'De-interlacing - A key technology for Scan Rate Conversion', Advances in Image Communications, Vol. 9, ISBN 0-444-50594-6, Elsevier Science B.V., 2000
【非特許文献３】G. de Haan and R. Lodder,'De-interlacing of video data using motion vectors and edge information', Digest of the ICCE'02, pp. 70-71, June 2002
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の非特許文献においては、エッジの情報を、順次走査変換の品質を改善するために利用している。この種の順次走査変換器はＥＤＤＩ（Edge Dependent De-Interlacing）型の順次走査変換器と称されている。ＥＤＤＩは他の多くの空間順次走査変換器の品質水準を上回るが、このＥＤＤＩの品質水準は近い将来のビデオおよびデジタルビデオに求められる要求に対しては、不十分である。さらに、その複雑性およびメモリの要求は空間順次走査変換器の場合に比較的大きくなる。さらにまた、新型の方向性の順次走査変換器に対する幾つかの一般的な着想が前述した文献で提案されているが、現時点では方向（directional）補間の信頼性を算出する手段は存在しない。
【０００５】
更に、前記の文献で述べられるように、空間順次走査変換器と時間順次走査変換器との間で「一種の」混合を行う試みがなされてきた。この種の混合の例は、垂直方向で隣接するサンプルを前の順次走査変換した画像から如何に良好に生成することができるかを算出する、適応型再帰順次走査変換器である（非特許文献１および非特許文献２を参照）。この適合性は、時間的補間の信頼性を測る測定基準を提供し、時間補間と空間補間との混合に使用される。これらの２つの文献に見つけられるもう１つの例は、ボック（Bock）氏によって提唱されたものである。ボック氏は、動き検出器の出力に基づいて、空間順次走査変換と時間順次走査変換器とを混合することを提案した。すなわち、動きが検出された場合、空間順次走査変換器に重きを置き、それ以外の場合は、時間順次走査変換器に重きを置く。
【課題を解決するための手段】
【０００６】
これらのアルゴリズムでは、エラー/信頼性測定基準（例えば、前の順次走査変換された画像から現在のフィールドが如何に良好に再生できるか、あるいは、現在の画素が移動物体（オブジェクト）の一部であることがどれほど確からしいかなど）と、空間順次走査変換器および時間順次走査変換器を互いに混合するために使用する混合係数との間に直線関係があるようにする。さらに、アルゴリズムは、単一の評価基準に強く依存するようにする。本発明の例では、方向順次走査変換器に使用できる順次走査変換器および順次走査変換方法を提供するが、本発明は、方向情報の信頼性測定基準を追求する他の応用用途にも使用することができる。更に、本発明の例では、方向補間の信頼性を計算するが、この例は方向補間および垂直補間の混合やそれらの間の選択に使用することができる。
【０００７】
さらに、本発明の例では、２つの異なるエラー値、すなわち、空間順次走査変換器に対するエラー値と時間順次走査変換器に対するエラー値とを使用し、これらの値から、非線形マッピングを用いて、空間順次走査変換器と時間順次走査変換器との混合あるいは選択において使用する混合係数を算出する。
【０００８】
順次走査変換は、インターレース方式のビデオをプログレッシブ方式のビデオに変換する必要がある多くの用途で使用されている。そのような用途には、テレビジョン受像機、ＤＶＤレコーダまたはプレーヤ、スキャンレートコンバータ、ＬＣＤプロジェクタ、ＰＣテレビジョン・カード、スタジオ設備および他の類似する機器やそこから派生するものを含む。
【０００９】
さらにまた、本発明は方向補間の信頼性を算出する方法を提供するものであり、その一例では、方向補間および垂直補間の双方の信頼性を使用して、方向補間の結果と垂直補間の結果との間に混合係数を決定する。さらにまた、検出した主要なエッジに沿う情報およびこのエッジに垂直な情報の双方を使用できる。更に、代表的な方法では、２つの誤差関数に基づいて混合係数を算出するステップをも含めることができる。いくつかの例では、混合係数の候補に非線形にマップしたエラー値を含み、最終的な混合係数は、ビデオ信号へのその２つの混合値の寄与度に基づいて計算され、また、その最終的な混合係数は、空間および時間順次走査変換器のビデオ信号中の高い垂直周波数への予測される寄与度に依存する。
【００１０】
上術した本発明の概要は、本発明のあらゆる実施例又は観点を表わすものではないことを理解されたい。
【発明を実施するための最良の形態】
【００１１】
本発明の方法および装置は、添付図面を用いた以下の詳細な説明を参照することによって、より完全に理解することができる。
【００１２】
メモリベース・ビデオプロセッサ（ＭＢＶＰ）は、メモリベース・スケーラ（ＭＢＳ）の後継装置と考えられている。名前が示唆するように、ＭＢＶＰはメモリを介してインターフェイス接続することができるが、直接的にストリーミングすることも可能である。例示的なＭＢＶＰ装置１２を組み込んだ例示的なビデオ・パイプ１０を図１に示す。ＭＢＶＰ装置１２は、メモリーバス１４と接続し、ＣＰＩＰＥ（コンポジションパイプ）１６へ入力を提供する。ＣＰＩＰＥ１６は、その入力を処理して、出力１８，２０を生じる。
【００１３】
例示的なＭＢＶＰ装置１２は、種々の構成要素を含み、順次走査変換器はその１つである。例示的な順次走査変換器２２のブロック線図を図２に示す。ＭＢＶＰ順次走査変換器２２は、空間順次走査変換器２４、時間順次走査変換器２６、フィルム／スチル写真検知機２８およびいくつかの混合器２９、３０を備える。
【００１４】
第１の混合器２９は、基本的に時間順次走査変換器２６の出力と空間順次走査変換器（ＥＤＤＩ＋）２４の出力とを画素に基づいて混合する。このようにするために、エラー評価基準が使われる。これらの評価基準は、空間順次走査変換器２４および時間順次走査変換器２６の信頼性の尺度を形成する。さらにまた、フィルム／スチル写真検知機２８は、第２の混合器３０を使用して出力３２を変更することができ、フィルム又はスチル写真のいずれが検出された場合でも、出力３２を変更しうる。
【００１５】
例示の順次走査変換器２２は、主たるさまざまな機能および特性を有することができる。この種の例示の順次走査変換器２２は、ビデオ、２：２および３：２プルダウン・フィルム、不規則フィルム、スチル写真、および、フィルムフェーズ（情報源がフィルムである場合）の検出を可能にするために、測定値を解釈しうるようにする。局部的な静止画像部分を処理し、ハイブリッド画像（ビデオを重ね合わせたフィルム）に対処するためにフィルム／スチル写真のローカル検出が組み込まれている。例示的な順次走査変換器には、３または４フィールドのスチル写真検出と、３フィールドのグローバル測定とを含めることができる。
【００１６】
時間順次走査変換器２６は、例えば、多数決による順次走査変換を提供し、２または３フィールドを必要とするが、本発明の各種実施形態においては、そのようにすることに限定されない。空間順次走査変換器２４は、高度なエッジ依存順次走査変換器（ＥＤＤＩ＋）を提供する。さらに 、混合器２９、３０は、空間順次走査変換出力と時間順次走査変換出力との間の高度な混合手段を提供するとともに、フィルム／スチル写真検出器の結果によって、順次走査変換器の出力を変更する手段を提供する。
【００１７】
上述したのとは相違し、例示的なＭＢＶＰアーキテクチャでは、空間順次走査変換器と時間順次走査変換器とが、同時に動作する。時間順次走査変換器と空間順次走査変換器とを適切に混合させるために信頼性の評価基準が用いられる。
【００１８】
まず空間順次走査変換器２４に関しては、空間順次走査変換器は現在のフィールドのみからの情報を使用するものと規定する。例えばカメラにおいてはサンプリングの前に適切なプレフィルタリングが行われないために、そのシーンに高い垂直周波数が存在すると、そのフィールドデータはエイリアシングを含む。
【００１９】
垂直補間フィルタを適用することによって、空間高周波成分が再生しないようにしうる。新たな周波数成分は、非線形処理によってのみ発生させることができる。この種の処理のひとつは、方向補間、すなわち、画像内のエッジに沿った補間によって実現される。
【００２０】
ＭＢＶＰ２２の方向性の順次走査変換器２４は、ＥＤＤＩ＋と称することができる。例示のＥＤＤＩ＋に対するアルゴリズムは、さまざまな段階を備えている。最初に、主要なエッジ（存在するならば）を検出する。第２に、そのエッジに沿った補間を実行する。次に、方向情報の信頼性に基づいた量の保護がなされる。
【００２１】
ＥＤＤＩ＋のさまざまな段階を良好に理解するために、以下に詳細に下位段階を説明する。
【００２２】
主要なエッジの検出
エッジの検出およびその主要なエッジ方向の決定は、決して些細な処理ではない。画像内の要素のエッジは、しばしば良好に規定されず、すなわち、画像は多くのノイズを含むおそれがあり、エッジの傾斜がむしろ平坦となる（すなわち水平線に近くなる）おそれがあり、エッジの中心は必ずしも画素の格子に一致しないおそれがあり、エッジは極めて不明確となるおそれがあり、非常に小さい空間近傍しか分からない、等というおそれもある。いずれにせよ、エッジは、いかなる空間方向においても近接する隣接サンプル間の、１つの輝度レベルから他の輝度レベルへの輝度空間における大きな遷移として規定される。このことは、エッジサンプルに対しては正しいが、その他では（例えばノイズのために）必ずしも正しくないことに注意されたい。
【００２３】
現在の補間すべきサンプル４０に対するエッジ特性は、そのすぐ近傍に得られる画素データに基づいてする必要がある。簡単な手法を図３に示す。図示するように、現在の画素４０を中心とする周りの画素４２を相互に比較する。
【数１】
2008543158.tif 000003
【００２４】
2008543158.tif 000004
【００２５】
複数の方向を評価することができる。これらの複数の方向は、図３に示す３つの方向に限定されない。１つの実施態様では、有理数ｐを有する中間の画素位置を評価することを考慮することもできる。この特定のケースにおいては、エラー測定基準の算出前に水平方向の補間を実行することができる。「主要な」エッジは、次式の方向ｐによって、最も小さいエラーが発生するエッジとして規定することができる。
【数２】
2008543158.tif 000005
【００２６】
上記の例示的な方法は、残念なことに、非常に「エラーを起こしやすい」。エッジの決定はほんの数個（実際には２個）の画素に基づくものであり、そのエラー評価基準は、これらの画素間の最小差異に基づくものである。このように、この決定方法は、ノイズに非常に影響されやすい。さらに、多くの場合、主要な最小値がなく、そして、この方法の結果として、正しい方向が複数あったり、（あるいは、正しい方向が全くなかったり）すること等が生じるおそれがある。
【００２７】
エッジに依存する例示的な順次走査変換器（ＥＤＤＩ＋）は、最初に「矛盾のない」エッジの検出を改善しようとする。そのために、エッジ方向をいくらか大規模に決定し、この決定を、ここでは、マクロ・レベルでの決定と称する。一度エッジ方向が決定されると、この情報はマイクロ（画素が最も接近している場合の）レベルに適用される。図４は、マクロ・レベルでのエッジ方向検出を示す。
【００２８】
図４において図示したように、幾分離れた画素からのサンプルを用いて、垂直方向ですぐ隣のサンプルを「再生させる」。
【数３】
2008543158.tif 000006
【００２９】
マイクロ・レベルに関する副画素（サブピクセル）の補間を防止するために、式（３）に示すように、マクロ・レベルに関して距離を２倍にすることができる。これ以外の技術もまた有効であることを理解すべきである。
【００３０】
ここでは、エラー評価基準は、単に２つのサンプルに基づかずに、６つのサンプルに基づかせ、それによってロバスト性を改善している。しかしながら、実験により、より良好なロバスト性が望ましいことを確かめた。従って、図５に示すように、水平方向で隣接するサンプルを考慮に入れることによって、水平方向の整合性をさらに高めた。
【数４】
2008543158.tif 000007
【００３１】
ｊによって規定される水平サポートの量を更に増加することができるが、この例示的なＥＤＤＩ＋では、その値は図示するように１に設定した。
【００３２】
エラーを最小にする方向は、エッジの方向（すなわち主要なエッジ方向）と強い相関関係があるものと仮定する。前記の式（２）においては、この主要な方向は、全体の最小値で決定した。しかしながら、エラー・マップには複数の極小値が表れる場合があり、このような場合には、どれを選択するかが重要となる。図６は、例示的なエラー・マップを示す。従って、極小値の探索は、エラー・マップにおける現在の画素近辺の傾斜の特徴を観察することから始める。明確な傾斜が識別される場合、探索は下り坂の傾斜に沿って行う。明らかな傾斜が分からない場合、全体的な探索を開始する。
【００３３】
図６においては、次式（５）の場合に、明確な傾斜が検出されたものである。
【数５】
2008543158.tif 000008
ここで、αはプログラム可能な利得係数である。
【００３４】
図６の例において、式（５）がほぼ満足されており、この場合には、探索は右側方向に向かって行われる。極小値の位置は、主要なエッジ方向を規定する。
【００３５】
この場合主要なエッジ方向が識別されたが、主要な方向を決定するために行った仮定が、あらゆる状況において有効であるとは限らないことに注意されたい。この点について、以下に詳細に説明する。
【００３６】
方向補間
図７を参照するに、あるフィールドの一部の画素を示している。大きなサンプル５２，５４は、オブジェクト５８のエッジ５６を形成する垂直隣接サンプルとして識別されている。この場合、補間は次式（６）で規定される。
【数６】
2008543158.tif 000009
2008543158.tif 000010
【００３７】
パラメータｐは、整数の精度を有する。これはまた、限定された数の方向だけが、方向補間のために使用できることをも意味する。典型的なのは９方向であって、これらは以下の補間角度に等しい（垂直方向で隣接する画素間の距離と水平方向で隣接する画素間の距離とが等しいものとする）。本発明の実施例においては、純粋な水平方向は０度である。
【表１】
2008543158.tif 000011
【００３８】
主たる課題は補間でなく、エッジ方向、より正確に言うと、変数ｐの決定と、検出したエッジ方向の信頼性の算出にある。ｐの値が不正確であると目障りなアーティファクトが生じるおそれがあり、これらの目障りなアーティファクトを回避するための防護策が必要となる。
【００３９】
防護
主要なエッジ方向の探索は、合理的な仮定に基づくにもかかわらず、分類されたあるいは検出された主要なエッジ方向が、本当の主要なエッジ方向であるとは限らない。局所的情報はしばしば不明瞭であり、エッジ方向を決定することは難しくなる。これらの決定に伴う不正確さに対処するために、空間順次走査変換器は、方向補間されたサンプルを生成するのみならず、方向補間したサンプルと垂直補間したサンプルとを混合する。
【数７】
2008543158.tif 000012
ここで、
【数８】
2008543158.tif 000013
である。
【００４０】
垂直補間したサンプルは、安全な方の代替手段であり、激しいアーティファクトを生じない。しかし、垂直補間したサンプルは、垂直解像度を低下させて、ラインフリッカを生じるおそれがある。
【００４１】
この混合係数αの計算は、分類された主要エッジ方向における信頼性またはスラスト量に基づいている。この信頼性に寄与する種々の測定基準がある。すなわち、
１）第１の測定基準は、エラー・スペースにおける正しい探索の信頼性に基づいている。
２）第２の測定基準は、エッジのサンプルにおいて反映されるエッジ特性に基づいている。
【００４２】
分類された主要なエッジ方向に対する信頼性を高めるために、特定の「問題」ケースに対し付加的なサニティーチェック（整合性チェック）を行う。これらの問題ケースのうち１つは、エラー・マップに複数の極小値がある状況である。図８は、複数の極小値を有するエラー・マップのグラフを示す。
【００４３】
新規の探索を、最初に選択した極小値の位置の左右から開始する。この位置の両側において、次の極小値（すくなくとも２つの位置だけ離れている）および極大値を検出し、その値を更なる解析のために記憶する。そのため、図８の例では、最初の極小値が−１の位置に見つかったと仮定する。左側の極小値の探索は、位置−４〜−１におけるエラーに対して行う。左側の極大値の探索は、位置−４〜０のサンプルに対して行う。同様に、右側では極小値の探索ために位置３〜４のサンプルのみを使用し、極大値の探索ために位置２〜４のサンプルを使用する。
【００４４】
最初の極小値の位置のいずれかの側に強いエッジが見つかる場合、その近傍に複数のエッジが存在する可能性が高い。その結果、最初に識別された主要なエッジ位置の信頼性が低下する。この信頼性は、利得係数κに反映される。
【００４５】
実験においては、極小値と極大値との間の差異が少なくとも４倍である場合、利得係数を０に設定することによって、良い結果が得られた。この差異が少なくとも３倍である場合は、その利得を２に設定する。その差異が少なくとも２倍の場合は、その利得を３に設定し、他の全ての場合は、その利得を４に設定する。（κ＝１は使用していないことに注意されたい。）
【００４６】
この利得係数κは、「方向エラー」と「垂直エラー」とを比較するのに使用する（式（１７）を参照）。これらの「エラー」を、下記のように規定する。
【００４７】
主要なエッジ方向の探索のために使用するエラー評価基準は、意図したように、「マクロ・レベル」のサンプルに基づいている。しかしながら、マイクロ・レベルに関するエラー測定基準は、補間プロセスにおいて、方向情報の信頼性を示すものとして使用される。このエラー測定基準は、次式（９）により算出できる。
【数９】
2008543158.tif 000014
この式は、式（１）に用いた評価基準と同一である。しかしながら、この場合、この式（９）はエッジ方向を決定するために用いておらず、エッジ方向を決定した後の補間プロセスの評価基準として使用している。
【００４８】
ここで、図９を参照するに、さまざまな実験でこのエラー評価基準が更に改善できることが分かった。エッジの精細度をより詳細に観察すると、このエラー評価基準を改善する指針が得られた。エッジ５６の主な特徴は、エッジ６０に沿って、輝度レベルがかなり一定に保たれている、すなわち式（９）によるエラーが小さいが、これと同時に、エッジ６２に垂直な遷移が最大の勾配を示す、すなわちエラーが極めて大きいということである。これらの双方の条件が満たされる場合、エッジ５６が正しく分類された可能性が極めて高い。
【００４９】
垂直方向のサンプルは、検出したエッジ方向から算出できる。しかしながら、「垂直サンプル」は画素の格子に一致する可能性は低く、この場合補間が必要となる。ＥＤＤＩ＋においては、垂直サンプルは、最も近い画素に丸めこみを行うことにより決定される。ｐがエッジ方向を規定する場合、ｑは垂直方向を規定し、関連するエラーは等しくなる。
【数１０】
2008543158.tif 000015
この式（１０）の特性は以下の通りである。
【数１１】
2008543158.tif 000016
【００５０】
これらの双方の式の条件が満たされる必要があるので、方向情報の誤差関数、すなわち、信頼性は、次式（１２）によって規定される。
【数１２】
2008543158.tif 000017
ここで、Ｍはξi（これは、２Ｎ-１に等しく、Ｎはビデオサンプルを示すビットの個数である）の可能な最大数であり、βは利得係数である。ＥＤＤＩ＋においては、βを一般に１／４に設定し、Ｍを一般に１０ビットの入力ビデオに対して１０２３に等しく設定する。βおよびＭの値として他の値もまた使用できる。
【００５１】
方向情報の「信頼性」を示すエラー測定基準の代わりに、なぜ上記の式がエッジ方向を決定する評価基準として最初に使用されなかったのか、疑問に思われるかもしれない。実験によれば、丸めこみの結果としてエラーがｑにおいて発生し、さらには、エッジ方向の決定がエッジにまたがる成分にあまりにも強く偏るおそれがあるという事実のために、エッジ方向の決定に対して上記の式は信頼性が高くないことが明らかになった。方向補間はエッジに沿って行うことに留意されたい。この場合、この方向における差異は小さいことが重要である。
【００５２】
この時点で、方向エラーが決定されたが、方向補間と垂直補間との間でフェーディングを行うために使用する混合係数をいかに決定するかに関する充分なデータは提供されない。
【００５３】
混合係数を計算する解決策を提供するために、方向エラーが垂直エラーと関連していることを理解すべきである。垂直方向の補間がむしろ安全であることを思い出して頂きたい。垂直方向におけるエラーが方向エラーとほぼ同じ振幅の場合、垂直補間の方へ重きを置く方がより安全であろう。方向エラーが垂直エラーよりかなり小さい場合、その方向エラーへ重きを置くことが推奨される。
【００５４】
垂直エラーは、方向エラーと同様の方法で算出される。「エッジに沿う」成分は、次式（１３）に等しくなる。
【数１３】
2008543158.tif 000018
【００５５】
垂直成分を計算することは、重要なことである。その理由は、純粋な水平情報が欠乏している為である。しかしながら、次式（１４）を計算することにより良好な評価を行うことができる。
【数１４】
2008543158.tif 000019
ここで、
【数１５】
2008543158.tif 000020
である。
【００５６】
従って、垂直エラーは、以下によって規定される。
【００５７】
最後に、混合係数を算出するための多くの手段がある。代表的な混合係数は２つのエラー間の相対的差異により決定され、垂直エラーには付加的な利得制御が行われる。
【００５８】
１６ξｄｉｒ＞８κξｖｅｒｔならば、α（式（７）参照）は１に設定される。１６ξｄｉｒ＞７κξｖｅｒｔならば、αは７／８に設定される。１６ξｄｉｒ＞８κξｖｅｒｔならば、αは６／８に設定され、以下αが０になるまで同様である。
【００５９】
空間順次走査変換をしたサンプルの次に、空間−時間混合器２９に、方向補間の信頼性が与えられる。使用する空間信頼性は次式（２１）として規定される。
【数１６】
2008543158.tif 000021
【００６０】
時間順次走査変換器２６は、時間順次走査変換を実行する。時間順次走査変換器は、その名が示す通り、時間情報、すなわち複数の画像からの情報を使用する。例示的なＭＢＶＰにおいては、時間順次走査変換器で、２または３個順次フィールドが使用される。例示的な時間順次走査変換器は、「多数決（ＭＳ）」のカテゴリーに含まれる。ＭＳ順次走査変換器は、通常、いくつかの順次走査変換器の出力の平均値に基づく。平均値の入力を形成する順次走査変換器の選択は、ある規則を遵守しなければならない。これらの規則は、１） 共通の優れた特性を有する多数の順次走査変換器が常に存在する必要があること、および、２）不所望な共通の欠点を有する多数の順次走査変換器は存在しないことである。
【００６１】
例示的なＭＢＶＰ装置においては、さまざまな順次走査変換器が算出を行っており、ＭＳ順次走査変換の設定を決定するために、ユーザが選定を行うことができる。本発明の一実施例においては、８つの順次走査変換器が算出を行う。この種の順次走査変換器は、垂直時間フィルタおよびその修正時間フィルタを含むが、これに限定されるものではない。
【００６２】
時間順次走査変換器２６は、空間順次走査変換器２４と同様に、空間−時間混合器２９において使用されるエラー測定基準を算出する。例示的な時間順次走査変換器においては、４つ以上の評価基準が算出され、そのうちの４つはＭＳ順次走査変換器に対応して選定されるが、ユーザは混合器２９に提供される算出されたエラー測定基準の任意の組み合わせを選択することができる。
【００６３】
混合
空間−時間混合器２９は、時間順次走査変換器２６および空間順次走査変換器２４からエラー測定基準を受け取る。以下、空間および時間順次走査変換器の計算結果の混合について説明する。
【００６４】
エラーが小さい場合に雑音感度をあまりにも大きくするのを防止するために、空間または時間順次走査変換器の一方に重きを置くことが必要である。しかし、一方に重きを置くのを固定することは、通常、望ましくない。従って、順次走査変換器の間で空間または時間順次走査変換器に重きを置いたものとの混合を行う手段を設けた他の評価基準を規定する。
【００６５】
さらにまた、大きなエラーの問題は、空間順次走査変換器に重きをおいて混合することによって解決することができる。その理由は、一般に知られるように、空間順次走査変換器がもたらすアーティファクトは、時間順次走査変換器がもたらすアーティファクトよりも深刻なものではない為である。
【００６６】
図１０は、エラーを空間順次走査変換器２４に重きを置いた混合係数へ変換する例を示す。図１１は、エラーを時間順次走査変換器２６に重きを置いた混合係数に変換する例を示す。図１０および１１のグラフは、単に混合係数ｍを算出するための式で表現することができない。しかしながら、ルックアップテーブル（ＬＵＴ）を生成することはできる。一実施例においては、表２に示すようにエラーを非線形的にＬＵＴの１６個の入力にマッピングすることによってＬＵＴの大きさを制限した。エラー値０〜３は指標０にマッピングされ、エラー値４〜７は指標１にマッピングされ、以下同様である。
【００６７】
【表２】
2008543158.tif 000022
【００６８】
2008543158.tif 000023
【数１７】
2008543158.tif 000024
【００６９】
βｓおよびβｔは、それぞれ時間および空間利得係数であり、αは、方向補間と垂直補間との間の混合において使用される混合係数であり（式（１９）参照）、Ｐｄｉｒはペナルティ係数である。利得係数は、空間または時間順次走査変換器に対する、一般的な優先性を設定するために用いる。空間および時間順次走査変換器におけるエラーが等しい場合でも、生ぜしめられるアーティファクトの不決感は異なることに注意されたい。
【００７０】
空間エラーに付加された項は、空間順次走査変換器において使用する混合係数に、線形的に依存している。αを１に設定した場合には、空間順次走査変換器は垂直補間のみを使用し、従って、方向エラーは、空間順次走査変換器の生成した出力との関係を有さない。従って、空間エラーはこれのために「ペナルティ」を受ける。その理由は、空間的に補間したサンプルを反映した空間エラーに関して信頼性が低い為である。
【００７１】
ペナルティ項および利得係数は、局所的な特性に依存しない点に留意されたい。ユーザは、これらの値を自分の好みに設定することができる。
【００７２】
非線形変換を用いることで、エラー値から混合係数への変換を実現することができる。時間順次走査変換器を優先させた典型的な（個々の）ＬＵＴの例を図１２に示す。２つのＬＵＴ、すなわち、空間順次走査変換器２４を優先させたものと、時間順次走査変換器２６を優先させたものが存在する。従って、本発明の代表的な実施例では、空間および時間エラーが２つの混合係数を生成する。
【００７３】
また、ある代表的な実施例では２つのＬＵＴ、すなわち、空間順次走査変換器２４を優先するＬＵＴと時間順次走査変換器２６を優先するＬＵＴとを規定することができる。従って、与えられた空間的および時間的エラーが、２つの混合係数、ｍｓｐａｔ（空間優先）およびｍｔｅｍｐ（時間優先）を生成する。
【００７４】
上述したように、これら２つの混合係数の結果を切換える、あるいは、より好ましくは、混合する機構がある。
【数１８】
2008543158.tif 000025
2008543158.tif 000026
【００７５】
2008543158.tif 000027
【数１９】
2008543158.tif 000028
【００７６】
式（２３）の第１項は、エッジの場合に（非常に細い線が存在しない限り）、相対的に大きな数を生成し、その一方で、第２項は小さい数（エッジが正しく識別された場合にそのエッジに沿って補間）を生成する必要がある。
【００７７】
同様に、フィールドの挿入により新たな垂直高周波成分を現在の画素に加えそうもない場合には、時間順次走査変換器もこのようにする可能性は低く、空間順次走査変換器に強く依存させることができる。このことは、以下の式（２４）で表わされる。
【数２０】
2008543158.tif 000029
【００７８】
2008543158.tif 000030
【００７９】
2008543158.tif 000031
【００８０】
2008543158.tif 000032
【数２１】
2008543158.tif 000033
2008543158.tif 000034
【００８１】
2008543158.tif 000035
【数２２】
2008543158.tif 000036
【００８２】
本発明の特定の実施例だけを添付図面において例示し、説明したが、本発明はこれらの実施例に限定されず、特許請求の範囲に規定した本発明の範囲から逸脱することなく、種々の変更を加えうることは勿論である。
【図面の簡単な説明】
【００８３】
【図１】図１は、代表的なビデオ・パイプを示すブロック線図である。
【図２】図２は、代表的な順次走査変換器のアーキテクチャを示すブロック線図である。
【図３】図３は、エッジ方向の検出を示す説明図である。
【図４】図４は、マクロ・レベルに関するエッジ検出を示す説明図である。
【図５】図５は、本発明の実施例による水平サポートを増大させたエッジ方向検出を示す説明図である。
【図６】図６は、０を現在のサンプルの位置とした、代表的なξiのエラー・マップを示すグラフである。
【図７】図７は、本発明の実施例による、画素のフィールド、エッジを有するオブジェクトおよび方向補間を示す説明図である。
【図８】図８は、複数の極小値を有するエラー・マップを示すグラフ線図である。
【図９】図９は、オブジェクトのエッジに沿う小さな勾配およびオブジェクトのエッジと交差する大きな勾配を有する画素のフィールドを示す説明図である。
【図１０】図１０は、空間順次走査変換器に重きを置いた場合のエラーから混合係数への変換を示す説明図である。
【図１１】図１１は、時間順次走査変換器に重きを置いた場合のエラーから混合係数への変換を示す説明図である。
【図１２】図１２は、時間順次走査変換器を優先した場合の２次元ルックアップテーブルのグラフを示す代表的な線図である。
【図１３】エッジ情報の抽出を示す説明図である。
【図１】
2008543158.tif 000037
【図２】
2008543158.tif 000038
【図３】
2008543158.tif 000039
【図４】
2008543158.tif 000040
【図５】
2008543158.tif 000041
【図６】
2008543158.tif 000042
【図７】
2008543158.tif 000043
【図８】
2008543158.tif 000044
【図９】
2008543158.tif 000045
【図１０】
2008543158.tif 000046
【図１１】
2008543158.tif 000047
【図１２】
2008543158.tif 000048
【図１３】
2008543158.tif 000049
【国際調査報告】
2008543158.tif 000050
2008543158.tif 000051