(57)【要約】  画像フィルタリングのためのエッジ適応システム及び方法。該方法は、各出力ピクセルを入力画像座標（１１０）の上にマッピングしてから、雑音を低減し、ある特定の動作に対応するスケールを調整するためにこのポイントの周辺の入力ピクセルをプレフィルタリングし、再サンプリングする。次に、入力画像のエッジが、入力ピクセルの局所（１２５）信号分散及び平均（１２７）信号分散に基づいて検出される。配向、異方性及び分散強度を含むエッジ検出パラメータ（１２９）に従って、該方法は出力ピクセルの補間のためのフットプリント及び周波数応答を決定する。さらに特定のインプリメンテーションでは、該方法はスキューと呼ばれる有限数の方向に入力ピクセル空間を分割し、最も近いスキュー方向でエッジ配向を推定する。これはさらに出力ピクセルの補間でのピクセル包含を助長する。
2008511202.tif 000002
【特許請求の範囲】
【請求項１】
入力座標空間を有する入力デジタル画像データを拡大、強化し、適応エッジ補間を出力ピクセルに適用することによって、所定の解像度及び形状の出力座標空間を有する出力デジタル画像を生じる方法であって、
（ａ）前記入力デジタル画像データを取得し、
（ｂ）前記出力ピクセルの座標を、（ａ）で取得した前記入力座標空間の上にマッピングし、
（ｃ）（ｂ）の該マッピングされたポイントの周辺でＭｘＮ個の入力ピクセルのブロックを選択し、該ブロックの形状及びサイズが要求されるエッジ解像度に基づいて決定され、
（ｄ）雑音を低減し、アスペクト比を調整するため、及び低角度エッジ検出に適応するために、ダウンサンプルしてスケールを変更するために、前記ブロックの該入力ピクセルに水平低域通過フィルタ及び垂直低域通過フィルタを適用し、
（ｅ）信号動作を決定するために前記ブロックの（ｄ）のダウンサンプルされたピクセルごとに局所的な信号分散を計算し、
（ｆ）前記ブロックの平均信号動作を決定するために、該ブロック内で（ｅ）で決定された局所信号分散に基づいて平均信号分散を計算し、
（ｇ）（ｆ）で求められる平均信号分散に基づいてエッジの配向、異方性、及び強度を決定し、
（ｈ）（ｇ）で決定されたエッジの配向、異方性、及び強度に基づいて、再サンプリングフィルタの周波数応答と、（ｂ）で決定された該マッピング位置での該入力画像におけるフットプリントを決定し、
（ｉ）（ｈ）の該周波数応答に従って（ｈ）で求められるフットプリント内で再サンプリングを介して該出力ピクセルの値を決定する、
方法。
【請求項２】
（ｆ）の前記平均信号分散が、
Ｉ．ＭｘＮ個のブロックの各入力ピクセルにおける水平勾配と垂直勾配を計算し、
ＩＩ．「Ｉ」の局所勾配に基づいて前記ブロック内の入力ピクセルごとに局所勾配二乗テンソル（ｇｒａｄｉｅｎｔ  ｓｑｕａｒｅｄ  ｔｅｎｓｏｒ）を計算し、
ＩＩＩ．「ＩＩ」の局所勾配テンソルに基づいて該ブロックのための平均勾配二乗テンソルを計算する、
ことを介して決定される、
請求項１に記載の方法。
【請求項３】
該エッジ配向が、
（Ａ）各入力ピクセル行で最も近いピクセルから同じ交差距離を有するｘ−ｙ平面でスロープのセットを事前に定義し、
（Ｂ）前記スロープを異なるスキューラインで特徴付け、スキューラインがｄｘ／ｄｙの事前に設定されるスロープを有するとして定義され、
（Ｃ）入力ピクセル行とのエッジ配向線の交差の計算の必要性を排除することによって、該出力ピクセルの該補間の該計算を容易にするために、最も近いスキューラインで該実際のエッジ配向を近似する、
ことを介して推定される、
請求項１に記載の方法。
【請求項４】
（ｈ）で、楕円形のフットプリントが、エッジ配向に沿った長軸および短軸の一方との該エッジ配向に基づいて決定され、
当該方法が楕円形の周波数応答に基づいて単一パス、二次元再サンプリングフィルタを使用する、
請求項１に記載の方法。
【請求項５】
楕円形のフットプリントが、フィルタリングでのピクセル包含の計算を容易にするためにスキューラインに沿った長軸および短軸の一方で決定され、
当該方法が楕円形周波数応答に基づいて、単一パス二次元再サンプリングフィルタを使用する、
請求項３に記載の方法。
【請求項６】
平行四辺形のフットプリントが該エッジ配向に沿って決定され、
当該方法が平行四辺形周波数応答に基づいて２パス水平再サンプリング及び垂直再サンプリングを使用する、
請求項１に記載の方法。
【請求項７】
平行四辺形フットプリントがフィルタリングのためのピクセル包含の該計算を容易にするために、該平行四辺形を半分に分ける該スキューラインを用いて該スキュー方向に沿って決定され、
当該方法が平行四辺形周波数応答に基づいて２パス水平再サンプリング及び垂直再サンプリングを使用する、
請求項３に記載の方法。
【請求項８】
インタレース化ビデオ入力をプログレッシブスキャンビデオ出力に変換するために適用され、
当該方法が垂直スケールを増加し、プログレッシブスキャンビデオフレームを生成するためにフィールド内の欠落したラインを補間する、
請求項１に記載の方法。
【請求項９】
インタレース化ビデオ入力を、
（Ｉ）前記インタレース化ビデオフィールドのピクセルの運動強度を検出し、
（ＩＩ）検出された運動強度が所定の下限値より低いときに２つの隣接するインタレース化フィールドからピクセルをマージすることによってプログレッシブスキャンフレームを生成し、
（ＩＩＩ）前記検出された運動強度が所定の上限より高いときに、請求項８の方法を使用して、単一のインタレース化フィールドを再スケーリングし、補間することにより前記プログレッシブスキャンフレームを生成し、
（ＩＶ）前記運動強度が下限と上限の間にあるときに、該運動強度に従って（ＩＩ）と（ＩＩＩ）の間で補間する、
ことを介してプログレッシブスキャンビデオ出力に変換するために適用される請求項１に記載の方法。
【請求項１０】
当該方法が、二個の隣接するピクセルの値を接続する線に沿って所定量だけ、各ピクセルの該値をシフトし、高周波損失を軽減するために元のピクセル値の代わりに新しい値をサンプリングすることによって決定される、シフトされた線形補間に基づいて取り囲む入力ピクセルから該出力ピクセルの中間水平再サンプリングを使用する請求項１に記載の方法。
【請求項１１】
（ｂ）の座標マッピングが線形スケーリングである請求項１に記載の方法。
【請求項１２】
（ｂ）の座標マッピングがワーピングである請求項１に記載の方法。
【請求項１３】
エッジ異方性及び強度が事前に設定された限度より高い場合にエッジディテールを強化するために、及び、エッジ異方性及び強度が事前に設定された限度より低い場合に該エッジディテールを円滑化するために、（ｉ）の前記フィルタの周波数応答が、（ｇ）で求められるエッジの強度及び異方性に適応される、請求項１に記載の方法。
【請求項１４】
入力座標空間を有する入力デジタル画像データを拡大、強化し、出力ピクセルに適応エッジ補間を適用することによって、所定の解像度及び形状の出力座標空間を有する出力デジタル画像データを生成するシステムであって、
（ａ）入力デジタル画像データを取得するインタフェースと、
（ｂ）前記入力座標空間の上に前記出力ピクセル座標をマッピングする座標ジェネレータと、
（ｃ）前記マッピングのポイントの周辺にＭｘＮ個の入力ピクセルのブロックを選択するために、前記インタフェースと前記座標ジェネレータに結合される第１のフットプリントジェネレータであって、該ブロックの形状及びサイズが必要とされるエッジ解像度に基づいて決定される、第１のフットプリントジェネレータと、
（ｄ）雑音を低減するため、及びアスペクト比を調整するため及び低角度エッジ検出に適応するために、スケールを変更してダウンサンプルするために、前記ブロックの入力ピクセルに水平低域通過フィルタと垂直低域通過フィルタを適用するために、前記第１のフットプリントジェネレータに結合されるプリプロセッサと、
（ｅ）信号動作を決定するために、前記ブロックの入力ピクセルごとに局所信号分散を計算するために前記プリプロセッサに結合される分散計算機と、
（ｆ）該ブロック内の平均信号動作を決定するために、前記ブロックの局所信号分散に基づいて平均信号分散を計算するために、前記分散計算機と結合される積分器と、
（ｇ）前記積分器によって求められる該平均信号分散に基づいて、エッジの配向、異方性及び強度を決定するために、前記積分器に結合されるエッジ推定器と、
（ｈ）再サンプリングフィルタの周波数応答、及び前記エッジ推定器によって決定されるエッジの配向、異方性、及び強度に基づいて、前記マッピングの位置での該入力画像のフットプリントを決定するために、前記インタフェース、前記座標ジェネレータ、前記エッジ推定器に結合される第２のフットプリントジェネレータと、
（ｉ）該フットプリント内の再サンプリングを介して、及び前記第２のフットプリントジェネレータによって求められる該周波数応答に従って、前記出力ピクセルの値を決定するために前記第２のフットプリントジェネレータと、前記エッジ推定器とに結合されるフィルタと、
を備えるシステム。
【請求項１５】
前記分散計算機及び前記積分器が、前記平均信号分散を、
Ｉ．前記ＭｘＮ個のブロックの各入力ピクセル内で水平勾配と垂直勾配を計算し、
ＩＩ．「Ｉ」の局所的な勾配に基づいて、前記ブロックの入力ピクセルごとに局所的な勾配二乗テンソルを計算し、
ＩＩＩ．「ＩＩ」の前記局所的な勾配テンソルに基づいて前記ブロックのための平均勾配二乗テンソルを計算する、
ことを介して計算するように適応される請求項１４に記載のシステム。
【請求項１６】
前記エッジ推定器が、エッジ配向推定を、
（Ａ）各入力ピクセル行の最も近いピクセルから同じ交差距離を有するｘ−ｙ平面のスロープのセットを事前に定義し、
（Ｂ）異なるスキューラインでこれらのスロープを特徴付け、スキューラインがｄｘ／ｄｙの事前に設定されたスロープを有するとして定義され、
（Ｃ）入力ピクセル行との該エッジ配向線の該交差の計算の必要性を排除することにより、該出力ピクセルの補間の計算を容易にするために、最も近いスキューラインで実際のエッジ配向を近似する、
ことを介して実行するように適応される請求項１４に記載のシステム。
【請求項１７】
前記第２のフットプリントジェネレータが、該エッジ配向に沿って長軸と短軸の内の１つとのエッジ配向に基づいて楕円形のフットプリントを決定するように適応され、
前記フィルタが楕円形の周波数応答機能に基づいて単一パスの二次元再サンプリングを使用するように適応される、
請求項１４に記載のシステム。
【請求項１８】
前記第２のフットプリントジェネレータが、該フィルタリングでのピクセル包含の計算を容易にするために、前記スキューラインに沿って長軸と短軸の一方で楕円形のフットプリントを求めるように適応され、
前記フィルタが楕円形の周波数応答機能に基づいて単一パス二次元再サンプリングを使用する、
請求項１６に記載のシステム。
【請求項１９】
前記第２のフットプリントジェネレータが、前記エッジ配向に沿って平行四辺形のフットプリントを決定するために適応され、
前記フィルタが平行四辺形の周波数応答に基づいて２パス水平再サンプリングと垂直再サンプリングを使用するように適応される、
請求項１４に記載のシステム。
【請求項２０】
前記第２のフットプリントジェネレータが、フィルタリングのためのピクセル包含の計算を容易にするために前記平行四辺形を半分に分ける前記スキューラインとスキュー方向に沿って平行四辺形のフットプリントを決定するように適応され、
前記フィルタが平行四辺形周波数応答に基づいて２パス水平再サンプリングと垂直再サンプリングを使用するために適応される、
請求項１６に記載のシステム。
【請求項２１】
インタレース化ビデオ入力をプログレッシブスキャンビデオ出力に変換するように適応され、
当該システムが垂直スケールを増加し、プログレッシブスキャンビデオフレームを生じさせるためにフィールド内で欠落したラインを補間する、
請求項１４に記載のシステム。
【請求項２２】
インタレース化ビデオ入力を、
（Ｉ）前記インタレース化ビデオのフィールドのピクセルの運動強度を検出し、
（ＩＩ）前記検出された運動強度が所定の下限より低いときに、２つの隣接するインタレース化フィールドからピクセルをマージすることによって前記プログレッシブスキャンフレームを生成し、
（ＩＩＩ）前記検出された運動強度が所定の上限より高いときに、請求項８に記載の方法を使用して、単一のインタレース化フィールドを再スケーリングし、補間することによって前記プログレッシブスキャンフレームを生成し、
（ＩＶ）前記運動強度が前記下限と前記上限の間にあるときに、該運動強度に従って（ＩＩ）と（ＩＩＩ）の間を補間する、
ことを介してプログレッシブスキャンビデオ出力に変換する請求項１４に記載のシステム。
【請求項２３】
当該システムが、２つの隣接するピクセルの値を接続する線に沿って所定量だけ各ピクセルの該値をシフトし、高周波損失を軽減するために元のピクセル値の代わりに新しい値をサンプリングすることによって決定される、シフトされた線形補間に基づいて取り囲む入力ピクセルから出力ピクセルの即時水平再サンプリングを実行するように適応される請求項１４に記載のシステム。
【請求項２４】
前記座標ジェネレータが線形スケーリングとして座標マッピングを実行するように適応される請求項１４に記載のシステム。
【請求項２５】
前記座標ジェネレータがワーピングとして座標マッピングを実行するように適応される請求項１４に記載のシステム。
【請求項２６】
前記フィルタがエッジの強度と異方性に適応し、該エッジの異方性と強度が所定の限度より高い場合に該エッジディテールを強化し、該エッジの異方性と強度が事前に設定された限度より低い場合に該エッジディテールを円滑化する請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データ処理におけるフィルタリング方法、特にデジタル画像データの拡大及び強化のためのエッジ適応フィルタリングに関する。
【背景技術】
【０００２】
デジタル画像は、基本的には、それぞれのエントリがデジタル化された画像のピクセルを表現するデジタルデータの二次元のアレイである。各ピクセルデータは、例えば、赤、緑及び青等の色のようないくつかの成分を有することがある。重大な画像処理動作は、画像を任意の率で拡大し、それによって拡大画像を生じさせることである。インタレース解除は、ビデオフィールドが１：２の倍率で垂直方向に拡大されるこのような動作の例である。元の画像から拡大画像を作成する際に、高品質の出力画像を達成するために元のデジタルデータアレイのピクセル間を補間することが必要であることは周知である。画像拡大のためのいくつかの従来の技術の方法は、デジタル化画像の横の寸法と縦の寸法を別々に補間する。これらの方法は拡大された画像に顕著なアーチファクトを発生させる。結果として生じる２つの最悪のタイプのアーチファクトはジグザグ（「ジャギー」とも呼ばれる）とぶれ影響である。大部分のジャギー影響とぶれ影響はエッジに沿って発生し、拡大されたエッジの知覚される品質に大きく影響を及ぼす。
【０００３】
エッジ適応補間、つまりデジタル画像のエッジに沿った補間が、画像のエッジを横切る補間より優れた品質の結果を出すことは当該技術で公知である。
【０００４】
Ｈｓｕらに対する特許文献１は、分類モジュールと適応補間モジュールでビデオ画像の解像度を高めるためのシステムを開示している。分類モジュールは元の画像ピクセルごとに主要配向パラメータを生成し、適応補間モジュールは主要配向パラメータを読み取り、それぞれのターゲット画像ピクセルの生成に応答して事前決定要因（ｐｒｅｄｅｔｅｒｍｉｎａｎｔ）パラメータ係数セットの内の１つを選択する。
【０００５】
Ｇｒｅｇｇａｉｎらに対する特許文献２は、入力ソースデータの二本の線の間に配置されている、サンプリングされていないターゲットピクセルを生成する方法を開示している。第一に、多くの方向で生成されるサンプリングされていないピクセルを取り囲む領域内のデジタルソースデータのピクセルの値の差異が、補間方向を検出するために計算され、調べられる。次に、入力画像の線分上のピクセル間の中間ピクセルが、決定された補間方向に基づいて生成される。それから次に、中間ピクセル間の補間がサンプリングされていないターゲットピクセルを生成するために実行される。
【０００６】
Ｃａｍｐｂｅｌｌに対する特許文献３は、垂直方向と最良の選択の対角線方向の加重組み合わせによる補間方向検出からなる画像解像度強化のための適応対角線補間方法を開示している。次に補間回路は、補間方向信号によって表現される方向に沿っている近傍ピクセルを補間することによりターゲットピクセルを生成する。
【０００７】
Ｐｅｒｅｉｒａらに対する特許文献４は、４つの回路を備える改善された品質のビデオ機器用のエッジ配向フィールド内／フィールド間補間フィルタを開示している。第１の回路は画像エッジを検出する。第２の回路は、画像エッジの方向に沿った別々の画像要素の平均に対応する第１の信号を発生させるために第１の回路からの出力を使用する。第３の回路は、テクスチャ画像領域を検出するために、及び画像エッジの存在の程度に応じて第２の信号を発生させるために、第１の回路からの出力を使用する。第４の回路は、第２の信号に応じた割合で、第１の信号を第３の信号と組み合せることにより出力信号を発生させる。
【特許文献１】米国特許第５，９９１，６６４号明細書
【特許文献２】米国特許第５，９９１，４６３号明細書
【特許文献３】米国特許第６，１３３，９５７号明細書
【特許文献４】米国特許第５，９２９，９１８号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、これらのシステム及び他の従来の技術のシステムは高度の適応性を提供しない。通常、従来の技術におけるエッジ検出モジュールはエッジの方向を生成するが、さらに優れた画像品質のために適応フィルタを制御できる、エッジの確実性を記述するパラメータを提供しない。これらのシステムは特定のエッジスケールに適応していない。それらは通常、生成される画像の品質を制限する双一次の補間または双三次の補間を利用する。したがって、さらに柔軟なエッジ配向及びスケール適応画像拡大と強化をサポートするための改善された補間システム及び方法に対するニーズがある。
【課題を解決するための手段】
【０００９】
本発明は、一態様において、入力座標空間を有する入力デジタル画像データを拡大し、強化し、出力ピクセルに適応エッジ補間を適用することによりある一定の解像度及び形状の出力座標空間を有する出力デジタル画像データを生成するための方法を提供する。該方法は、
（ａ）入力デジタル画像データを取得し、
（ｂ）（ａ）で取得された入力座標空間の上に出力ピクセル座標をマッピングし、
（ｃ）（ｂ）のマッピングされた点の周辺でＭｘＮ個の入力ピクセルのブロックを選択し、該ブロックの形状とサイズが必要とされるエッジ解像度に基づいて決定され、
（ｄ）雑音を低減するために該ブロックの入力ピクセルに水平低域通過フィルタと垂直低域通過フィルタを適用し、アスペクト比を調整するため、及び低角度エッジ検出に適応するためにスケールを変更するためにダウンサンプルし、
（ｅ）信号動作を決定するために該ブロック内の（ｄ）でダウンサンプルされたピクセルごとに局所的な信号分散を計算し、
（ｆ）ブロック内の平均信号動作を決定するために、該ブロック内で（ｅ）で決定された局所信号分散に基づいて平均信号分散を計算し、
（ｇ）（ｆ）で求められる平均信号分散に基づいてエッジの配向、異方性、及び強度を決定し、
（ｈ）再サンプリングフィルタの周波数応答及び（ｇ）で決定されたエッジの配向、異方性、及び強度に基づいて、（ｂ）で決定されたマッピング位置での入力画像の中のそのフットプリントを決定し、
（ｉ）（ｈ）の周波数に従って（ｈ）で求められたフットプリント内での再サンプリングを介して出力ピクセルの値を求める、
ことを含む。
【００１０】
本発明は別の態様において、入力座標空間を有する入力デジタル画像データを拡大、強化し、出力ピクセルに適応エッジ補間を適用することによってある一定の解像度と形状の出力座標空間を有する出力デジタル画像データを生成するシステムを提供する。該システムは、
（ａ）入力デジタル画像データを取得するインタフェースと、
（ｂ）入力座標空間の上に出力ピクセル座標をマッピングする座標ジェネレータと、
（ｃ）マッピングされた点の周辺にＭｘＮ個の入力ピクセルのブロックを選択するために、該インタフェースと該座標ジェネレータに結合される第１のフットプリントジェネレータであって、ブロックの形状とサイズが必要とされるエッジ解像度に基づいて決定される第１のフットプリントジェネレータと、
（ｄ）雑音を低減するために該ブロックの入力ピクセルに水平低域フィルタと垂直低域フィルタを適用し、アスペクト比を調整するため、及び低角度エッジ検出に適応するためにスケールを変更するためにダウンサンプルするために、該第１のフットプリントジェネレータに結合されるプリプロセッサと、
（ｅ）信号動作を決定するために該ブロック内の入力ピクセルごとに局所的な信号分散を計算するために該プリプロセッサに結合される分散計算機と、
（ｆ）ブロック内の平均信号動作を決定するために、該ブロック内の局所信号分散に基づいて平均信号分散を計算するために、該分散計算機に結合される積分器と、
（ｇ）該積分器によって求められた平均信号分散に基づいて、エッジの配向、異方性、及び強度を決定するために該積分器に結合されるエッジ推定器と、
（ｈ）再サンプリングフィルタの周波数応答、及び該エッジ推定器によって決定されるエッジの配向、異方性及び強度に基づいて、マッピングされた位置での入力画像のそのフットプリントを決定するために、該インタフェース、該座標ジェネレータ、及び該エッジ推定器に結合される第２のフットプリントジェネレータと、
（ｉ）フットプリントにおける再サンプリングを介して、及び該第２のフットプリントジェネレータによって求められる周波数応答に従って出力ピクセルの値を決定するために、該第２のフットプリントジェネレータと該エッジ推定器とに結合されるフィルタと、
を備える。
【００１１】
本発明の一例では、ＡＦフットプリントは、フィルタ係数が一次元円形対称プロフィールから生成される楕円形状を有する。
【００１２】
本発明の別の例では、ＡＦフットプリントは２Ｄフィルタの分離可能なインプリメンテーションによる平行四辺形形状を有する。つまり、エッジ配向に沿った第１の中間ピクセルはフットプリントの同じ行に属するピクセルから計算され、次に中間ピクセルは最終的に補間された出力ピクセルの値を形成するために積分される。
【００１３】
両方の例では、フィルタの係数はエッジパラメータによって定められるため、結果として生じる画像の柔らかさまたは鮮明さはこれらのパラメータによって制御される。
【発明を実施するための最良の形態】
【００１４】
本発明の実施形態の異なる態様及び優位点の追加の詳細は、添付図面とともに以下の説明において明らかにされるであろう。
【００１５】
本発明に従って構築された図１は、画像の拡大と強化を達成するためにエッジ適応フィルタリングを使用する画像処理システム１００の説明例を表現する。画像処理システム１００は、出力画像空間から入力画像空間の上にピクセル座標を変換する座標ジェネレータ１１０と、エッジ検出計算で入力ピクセルを含むためのエッジ検出（ＥＤ）フットプリントジェネレータ１２１と、入力画像のプレフィルタリングとダウンサンプリングのためのプリプロセッサ１２３と、入力ピクセルの信号分散を計算するための局所信号分散計算機１２５と、処理された出力ピクセルの近傍で信号動作の表現を生成するための平均信号分散計算機１２７と、エッジパラメータを計算するためのエッジパラメータ推定器１２９と、最終フィルタリングで入力ピクセルを含めるための適応フィルタ（ＡＦ）フットプリントジェネレータ１３１と、出力ピクセルを計算するためのフィルタ１３３とを備える。
【００１６】
本発明の例では、フィルタリングは最初に局所的なエッジと、配向、異方性、及び勾配強度等の関連付けられたパラメータを検出し、次にこれらのパラメータに基づいてフットプリント上で入力ピクセルを適応フィルタリングすることによって実行される。したがって、フィルタの周波数応答は信号で制御される。結果として、本発明の方法は、元のエッジの鮮鋭度を維持する一方でギザギザのアーチファクトのないより円滑、且つより自然な出力画像を生じさせる。
【００１７】
画像処理システム１００は、座標ジェネレータ１１０で入力デジタル画像データを受信することにより開始する。例えば、このデータは、プログレッシブビデオ信号の入力フレーム、あるいはインタレース化ビデオ信号内のフィールドであろう。
【００１８】
次に、座標ジェネレータ１１０は、出力ピクセルの座標を入力画像座標空間の上にマッピングする。この変換は単純なスケーリングから複雑なワーピングに及ぶことがある。入力座標上へのマッピング出力座標、つまりいわゆる逆変換は、出力ピクセル空間を覆い、出力画像に「穴」を残さない、ことを含む、当業者に公知の多くの優位点を有する。
【００１９】
入力画像座標空間内の出力ピクセルのマッピングされた位置は、一般的には入力ピクセル間のいずれかである。インタレース解除用途に適応された本発明の一例では、マッピングされた座標は方程式、ｘ’＝Ｏx＋ｘＳx及びｙ’＝Ｏy＋ｙＳyを介して計算され、この場合、ｘ’，ｙ’は入力画像座標空間内の出力ピクセルのマッピングされた座標であり、Ｏx、Ｏyは最も左の入力列及び一番上の入力行を基準にしたオフセットであり、Ｓx，Ｓyは各出力列と行に対応する入力列と行である。ズーミング用途の場合、入力列及び行の数は１未満である。入力画像は、図２に示されているような一様なグリッド上に離間される、カラーサンプルのアレイからなると考えられている。各出力ピクセルは入力画像座標空間の中のサンプルポイント２１０の上にマッピングされる。
【００２０】
一般的には、出力ピクセルマッピング位置ポイント２１０は２つの入力ピクセル行２２０と２３０の間、及び２つの入力ピクセル列２４０と２５０の間である。それがある行または列に正確に位置すると、それは無限小に下位また右にあると考えられる。したがって、マッピングされた垂直座標の整数部はサンプルポイントの上の入力行２２０の指数である。マッピングされた水平座標の整数部はその左側の列２４０の指数である。これらの座標２６０と２７０の小数部分は、１ピクセル平方領域内のサンプルポイントの位置を決定する。出力の位置、つまりマッピングされた点は再サンプリング動作のための位相情報を見つけるために使用される。それは、入力ピクセルのいずれのセットがその特定の出力ピクセルのためのエッジ推定のために分析されるべきかどうかも決定する。
【００２１】
いったん入力画像空間内のマッピングされた座標が知られると、ＥＤフットプリントジェネレータ１２１がマッピングされた座標の周辺のＭｘＮ個の入力ピクセルのブロックを決定する。このピクセルのブロックは、次にエッジ検出に使用される。一般的には、入力ピクセルのブロックのサイズと形状は、さらに高い画質と計算上の制限の間のトレードオフである。一方、水平方向または垂直方向でのズーミングのような動作の性質は、ブロックの形状を決定する上での重要な要因である。別の決定要因は用途のタイプである。例えば、インタレース解除のようなビデオ用途では、通常、多くのピクセル行が処理動作のためにバッファの中に読み取られる。これらの行は順次読み出されるので、ブロックのための自然の選択肢は単に複数の行であろう。インタレース解除用途で使用される本発明の一例では、システムは４行のビデオ画像を使用する。
【００２２】
次に、プリプロセッサ１２３は次のエッジ検出のために解像度が調整され、雑音が削除された画像データの中間ブロックを生成するためにＭｘＮ個の入力ピクセルのブロック内のデータをプレフィルタリングし、ダウンサンプルする。一例として、インタレース化ビデオ信号の各フレームは（例えば２という因数で）垂直に低減された解像度の２つのフィールドから成るため、低域通過プレフィルタがその帯域幅を水平方向で制限するために輝度信号を処理する。
【００２３】
本発明のエッジ検出の形式主義を説明する前に、エッジ「方向」からエッジ「配向」を区別することが必要である。方向は２π（３６０°）の全角度範囲で定義されるが、配向はπ（１８０°）の半角度範囲で定義される。つまり、反対方向（１８０°という角度差）の２つのベクトルが同じ配向を有する。
【００２４】
エッジ検出は、最も一般的には微分、円滑化、及びラベリングという３つの主要な動作を含む。微分は、画像の微分係数を評価することからなる。円滑化は画像の雑音を低減し、数値微分を規則化することからなる。ラベリングはエッジを局所化することと、偽のエッジを抑制することによりエッジの信号対雑音比を増加することを含む。
【００２５】
局所信号分散計算機１２５は、プリプロセッサ１２３から画像データの空間ブロックを受け取る。エッジを検出するために、局所信号分散計算機１２５は、画像データの中間ブロック内のピクセルごとに分散を計算する。平均信号分散計算機１２７は、次に局所信号分散に基づいてマッピングされた座標ポイントごとに平均分散を計算する。最後に、エッジパラメータ推定器１２９は、平均分散に基づいてエッジの配向、強度及び異方性を決定する。局所信号分散計算機１２５、平均信号分散計算機１２７、及びエッジパラメータ推定器１２９の特定の仕組みを詳細に説明する。
【００２６】
エッジ検出は、本発明の一例では、従来の公知の勾配二乗テンソル（ｇｒａｄｉｅｎｔ  ｓｑｕａｒｅｄ  ｔｅｎｓｏｒ）（ＧＳＴ）計算法を介して実現される。最初に、局所信号分散計算機１２５は、画像データの中間ブロック内部の前処理されたピクセルについて水平勾配と垂直勾配（そのピクセルから隣接するピクセルまでの強度の変動）を計算する。次に、局所信号分散計算機１２５は計算された勾配に基づいて、ブロック内のピクセルごとに局所ＧＳＴ値を計算する。次に、平均信号分散計算機１２７は、平均されたＧＳＴ（ＡＧＳＴ）を入力画像空間座標内のマッピングされた点に帰するためにこれらのＧＳＴを平均する。エッジパラメータ推定器１２９は、次に、出力ピクセルマッピング座標の位置の局所エッジを求めるためにこの情報を使用する。
【００２７】
局所配向のベクトル表現はテンソル
2008511202.tif 000003
として導入され、この場合ｖ＝（ｘ，ｙ）Tは主要な配向に沿ったベクトルであり、
2008511202.tif 000004
はベクトルｖのノルムである。テンソル表現の主要な優位点とは、それが連続して配向を記述するという点である。それにより、人はある特定の領域で局所平均することによるほど単純に推定値の確実性を更新するためにさらに大きな領域を使用できるようになる。
【００２８】
この例では、赤、緑及び青（ＲＧＢ）の成分のあるカラーイメージの場合、局所信号分散計算機１２５は３つの色成分のそれぞれについて勾配と対応するテンソルを計算し、次にこれらのテンソルを平均して、以下のようにＧＳＴを取得する。
【数１】
2008511202.tif 000005
【００２９】
代わりに、局所信号分散計算機１２５はＲＧＢ成分を、ビデオシステムで使用される色空間である従来公知のＹＵＶ成分（輝度と２つのクロミナンス信号）に変換する。代わりに、局所信号分散計算機１２５はこれらの成分を直接的に取得し、輝度成分だけで勾配を計算する。
【数２】
2008511202.tif 000006
【００３０】
後者の手法はＹＵＶ成分によって表現されるビデオ信号処理にさらに適している。
【００３１】
本発明の一例では、局所信号分散計算機１２５は、
2008511202.tif 000007
としてＧＳＴを計算し、この場合
2008511202.tif 000008
と
2008511202.tif 000009
は水平微分係数と垂直微分係数であり、Ｉ（ｘ，ｙ）は画像の強度を表現する。
【００３２】
不当に検出された画像エッジの確率を低減するために、平均信号分散計算機１２７は、一般的に不均一な重み係数ｗiでピクセルのブロック内の局所ＧＳＴを累算する。
【数３】
2008511202.tif 000010
【００３３】
このテンソルは形式上二次であるため、テンソル要素は反対のベクトルを取り消すことなくブロック上で平均されてよい。
【００３４】
エッジパラメータ推定器１２９は、適応フィルタ１３０の制御パラメータとしての機能を果たすエッジパラメータを計算する。画像処理システム１００の一例では、配向、異方性及び勾配強度を含むエッジパラメータが計算される。
【００３５】
本発明のさらに特定の例において、配向は主要な構成要素分析を使用してＡＧＳＴに基づいて推定される。ＡＧＳＴの主要な固有ベクトルは、勾配が最大である配向に対応する。勾配が最小である頂上部−谷間配向はこの軸に垂直であるため、それは最短の固有ベクトルで示される。対応する大きい方のλ1固有ベクトルと小さい方のλ2固有ベクトル、及び最短固有ベクトルの角度であるエッジ配向角度αが以下の方程式から計算される。
【数４】
2008511202.tif 000011
この場合、
【数５】
2008511202.tif 000012
である。
【００３６】
異方性は、エッジ配向推定の確実性、つまり信頼水準を定義する。本発明の一例では、異方性は
2008511202.tif 000013
として定義される２つの固有値の和に対する差異の率から計算される。この定義を用いると、異方性は０と１の間の値を取り、それぞれ完全に等方性（すべての配向が等しい）から完全に異方性の範囲を示す。異方性の値に基づき、対応する閾値は本発明のこの例では通常の経路と配向適応経路の間のフィルタリングを切り替える。
【００３７】
適応フィルタ１３０は、大きな勾配強度のエッジとは異なる小さい勾配強度のエッジを処理する。勾配強度事前設定閾値と比較すると、フィルタ１３０は、勾配強度が事前設定された閾値未満である場合にエッジを拒絶する。
【００３８】
エッジ検出器１２０によって生成されるエッジパラメータは適応フィルタ１３０の周波数応答を制御する。最初に、ＡＦフットプリントジェネレータ１３１が座標ジェネレータ１１０によって計算されるマッピングされた座標の周辺のＰｘＱ個の入力ピクセルのブロックを決定する。一般的に、これらの入力ピクセルはＥＤフットプリントジェネレータ１２１によって生成されるものと同じではない可能性がある。フィルタ１３３は、エッジパラメータによって制御される重みのあるＡＦフットプリントにこれらのピクセルを蓄積する。言い換えると、フィルタ１３３の周波数応答は局所的なエッジによって制御されるため、それは特定の入力画像近傍に局所的に適応される。
【００３９】
適応フィルタ１３０の一例では、楕円形のフィルタが信号拡大及び強化のために使用される。楕円フィルタは２つの主要なカットオフ周波数、つまり図３Ａに示されているように、一方はエッジに沿って、他方はエッジに垂直な方向の楕円周波数応答を有する。楕円の軸の長さは異方性パラメータによって定められるため、最終的な画像の鮮鋭度は検出されるエッジの確実性によって制御される。このフィルタはデカルト分離可能とすることができないが、それは長軸と短軸の間の可変遮断周波数で円形の対称的な一次元フィルタとして実現できる。この例では、単一パス再サンプリングは変数を分離することなく使用される。この例の優位点は精度及びさらによい出力画質である。すべてのピクセルデータを含むことは、メモリ要件のためにハードウェアの観点からは実現することはさらに困難である。
【００４０】
適応フィルタ１３０の別の例では、平行四辺形フィルタフットプリントが信号の拡大と強化に使用される。フィルタ１３３は、この例では２段階で補間を実行する。つまり水平再サンプリング、次にエッジ配向に沿った補間で、平行四辺形のフットプリントになる。再度、最終的な画像の鮮鋭度は検出されたエッジの確実性によって制御される。フィルタ１３３のこの例は、それが図３Ｂに示されるように、平行四辺形基部を用いる二次元周波数応答を有する。低域通過フィルタサンプリングは、それは楕円形の単一通過フィルタリングの質を生じさせる可能性があるが、ハードウェアの観点から実現がより容易であるという優位点を有する。
【００４１】
楕円形フィルタリングと平行四辺形フィルタリングの両方の最適化のために設計されたさらに本発明の特定の例では、入力ピクセル空間はスロープｄｘ／ｄｙによって定められる有限数のスキュー方向に分割される。エッジ配向は、いったん決定されると、最も近いスキュー配向で推定される。この最適化は、それによりフットプリントへのピクセルの包含がはるかに容易になるため、計算上のインプリメンテーションで優位点を有する。例えば、平行四辺形フィルタを用いると、各入力ピクセル行とスキューラインの公差は、最も近い入力ピクセルから一定の距離を有する。これにより計算上の負荷は著しく低減される。
【００４２】
平行四辺形フィルタのこの特定のケースでは、出力ピクセル位置ごとに、図４に示されるような前処理された中間画像からの４個のピクセルが以下の量を計算するために使用され、
【数６】
2008511202.tif 000014
この場合、ｐi,jはプリプロセッサ１２３によって生成される中間画像の輝度成分である。それは、水平に及び垂直にサブサンプリングされてよい。次に、周辺領域からの局所的な値、ｇff、ｇ△、ｇrrが以下の方程式を介して領域Ｗで平均される。
【数７】
2008511202.tif 000015
【００４３】
これらの平均された勾配値は、全体的な勾配
2008511202.tif 000016
、異方性
2008511202.tif 000017
、及び２つの量Ｖx＝ＧΔ−Ｇと
2008511202.tif 000018
の計算で使用される。要するに、それらがスキュー値（整数）と低域通過フィルタ制御値（オンまたはオフ）を明確にする。
【００４４】
エッジが検出されるために、ＧとＡは、調整可能である閾値ＧminとＡminより大きくなくてはならない。それ以外の場合スキューはゼロに設定され、低域通過動作はオフに設定される。
【００４５】
エッジ配向に対応する（１行あたりピクセル単位の）スキューの値は以下のように明確にされ、
【数８】
2008511202.tif 000019
ここではＲaはプリプロセッサ１２３の出力での中間画像の水平解像度と垂直解像度の比（アスペクト比）である。
【００４６】
スキュー値が複数の所定の値の内の１つに量子化される（四捨五入される）場合、後の処理は簡略化される。該計算を実行し、結果を量子化するよりむしろ、各量子化閾値を列挙し、それを生じさせるＶx／Ｖy比を求める方が容易である。したがって、量子化されたスキューを求めることは、形式ａkＶx＋ｂkＶyのいくつかの一次関数の符号を評価する相対的に簡略な事柄である。各関数は特定の量子化閾値に対応する定数ａk、ｂkによって明確にされる。
【００４７】
次に、閾値ＧminとＡminが満たされると仮定すると、スキュー値と低域通過フィルタ制御信号が決定される。低域通過フィルタは、（Ｖx、Ｖy）の結果スキュー＝０が生じるときを除き、つねにオンである。このゾーンでは、エッジは垂直に近く、処理は適用されない。この段階での出力は、スキュー＝０、低域通過＝オンである。
【００４８】
最終的なエッジパラメータ推定の形式主義では、あるピクセルから次のピクセルへのスキューの急激な変化を回避するために、カレントピクセルの初期エッジ推定値が、左と右の二個のピクセルのための初期エッジ推定値とともに調べられる。これは「調整ステップ」と呼ばれる。ゼロというスキュー値が生じると、低域通過制御はオンまたはオフであってよい。どちらの場合でも、この決定は調整ステップによって影響を受けない。それ以外の場合、水平方向に隣接するピクセルのための過去の段階で求められたスキュー値の平均の絶対値である最大スキューが計算される。
【００４９】
カレントピクセルのスキューの規模が最大スキュー値より大きい場合、それは調整ステップによって影響を受けない。それが最大スキューを超える場合、それはこの値まで短縮される。それはその元の符号を保持している。カレントピクセルのスキューが調整ステップの前に非ゼロであり、最大スキューがゼロである場合、調整されたスキューはゼロとなり、低域通過制御はオフになる。これは、低域通過制御が調整ステップによって修正される唯一のケースである。
【００５０】
図５は、本発明のこの例でスキュー＝０の状況を示している。この場合、各行のサンプルポイントは出力サンプルポイントと同じ水平座標を有する。２タップ（線形）補間が水平方向で使用され、４タップ（三次）補間が垂直方向で使用されると仮定すると、列５１０と５２０の中の８個の陰影が付いたピクセルがスキューライン５３０に沿って４行のサンプルを、そして最終的には単一の出力サンプル５４０を生成するために使用される。
【００５１】
図６は、スキュー＝−２の、図５に示されるのと同じ出力サンプルを示す。この場合、本発明の平行四辺形フィルタリング例のインプリメンテーションは傑出している。行サンプルポイントはこの簡略な幾何学的な構造から引き出される。再び、陰影が付けられたピクセルは、スキューライン６３０の周辺の出力ピクセル６２０を計算するために使用される。各行のサンプルの位置は、基礎列６１０からのオフセットであり、四行のそれぞれにとって異なる整数部△xi、及びスキューが整数であるために制約されるため、四行すべてにとって同じである少数部分△xによって記述される。一般的には、
【数９】
2008511202.tif 000020
であり、この場合ｆは０または１である。低域通過モードがイネーブルにされると、ｆ＝１が使用される。これは左への追加の半ピクセル変位を生じさせる。定数τは後述される小さい調整である。
【００５２】
この例のフィルタ１３３は、水平の再サンプリング段階と垂直の再サンプリング段階からなる。
【００５３】
水平の再サンプリング段階は、１つの特定のインプリメンテーションでは、従来公知のＢｌｕ−Ｔｈeｖｅｎａｚ−Ｕｎｓｅｒ（ＢＴＵ）「シフト線形」補間法に基づいている。この技法は無限インパルス応答（ＩＩＲ）プレフィルタを使用することによって線形補間の高周波損失を軽減する。プレフィルタは、サンプルポイントをシフトすることにより補償される、低周波で移相を有する。
【００５４】
図７Ａは、どのようにしてＢＴＵ技法が作用するのかを示している。サンプルの新しいセットｃnが、新しいサンプル７２０のように、入力ｙnから構築され、次に線形補間がこれらの新しいサンプルの間で実行される。新しいサンプルはｙn＝τｃn-1＋（１−τ）ｃnとなるように構築され、この場合τは固定された設計パラメータであり、７３０は補間された波形である。
【００５５】
次のステップは、ｃnを線形補間することにより出力サンプルを生じさせることであるが、任意の位置でτ分、左に調整される。サンプルポイントがｙnの内の１つと一致すると、元のｙnは該方程式に従って再構築される。中間値は、高位フィルタ方法とほぼ一致するオーバシュート等を示すことができる。この方法は、計算を大幅に低減する一方で高品質を生じさせる。プレフィルタは再帰によって明確にされる。
【数１０】
2008511202.tif 000021
【００５６】
入力画像サンプルは、それらが到達するとプレフィルタリングされ、ｃnとして記憶される。したがって、水平フィルタによって作用される値は、ｙnではなく、実際にはｃnである。水平サンプルポイントは、線形補間の前にτ分左にシフトされる。
【００５７】
補間は二個の隣接するｃnサンプルの簡略な線形補間である通常モードと、低域通過フィルタ効果を生じさせる低域通過モードとで動作する。
【００５８】
通常モードは、以下の公式によって行われ、
【数１１】
2008511202.tif 000022
この場合、ｉは行指数０．．．３であり、ｒiは行サンプルであり、ｋは列指数であり、他の記号は以前どおりである（現在ｃは行添字を有する）。
【００５９】
低域通過モードは、各行で三個の隣接するｃ値を使用する。これらの三個のピクセルを選択するために、左への１／２のピクセルのシフトが△xiと△’xの計算に組み込まれる。次に、公式、
【数１２】
2008511202.tif 000023
が使用される。
【００６０】
フィルタ１３３の垂直再サンプリング段階は単に以下として達成され、
【数１３】
2008511202.tif 000024
この場合、ｐは出力ピクセルであり、ａi（△y）は再サンプリングフィルタである。特定のインプリメンテーションでは、△yが量子化され、事前に計算された値は次にテーブルルックアップまたは同等物によって選択される。フィルタは以下のように図７−Ｂに従って、Ｎ＝４の場合のキー補間器に基づいてよい。
【数１４】
2008511202.tif 000025
【００６１】
図８Ａは、本発明の例による画像処理システム１００によって実行されるプロセスステップを表す。ステップ８０１で、画像処理システム１００は入力画像の対応するデジタルデータを受信する。それはフレームまたはフィールドであってよい。ステップ８１０では、出力ピクセルの座標が入力画像座標の上にマッピングされる。次に、ステップ８２０で、ステップ８１０のマッピングされた座標の周辺の入力ＭｘＮ個ピクセルのブロックが選ばれる。ステップ８３０では、このピクセルデータが、雑音を低減するために、その一方で検出されるエッジの望ましいスケールに従って入力画像の解像度を変更するために前処理される。ステップ８４０では、プレフィルタリングされ、ブロック内でダウンサンプルされたピクセルごとに、局所分散が計算される。ステップ８４２ではこれらの局所信号分散が平均信号分散を計算するために使用される。ステップ８５０では、エッジパラメータが平均信号分散に基づいて決定され、これらのパラメータに従って、ステップ８６０で、ＰｘＱ個の入力画像ピクセルのブロックがステップ８１０のマッピングされた座標周辺の元の入力画像から選択される。このブロック内のピクセル数及びフィルタのフットプリントの形状はフィルタリングの選ばれたトポロジに依存し、本開示に前述されたように、所望される出力品質と計算力のトレードオフである。ステップ８７０では、出力ピクセルがＰｘＱ個のピクセルの記述されているブロックに入力ピクセルを補間することによって生成される。補間の重みはエッジパラメータに依存する。ステップ８８０では、出力ピクセルが出力フレームバッファの中に保存される。
【００６２】
図８Ｂは、エッジ検出器１２０の特定のインプリメンテーションの図８−Ａと同じ流れ論理図を示す。この図では、信号分散は勾配二乗テンソルとして計算され、フィルタリングは前述された例の中でのように２つのパスとして実現される。
【００６３】
本発明の詳細を説明したので、ここで画像処理システム１００のいくらかの特定の用途を開示する。本発明の用途の１つはインタレース解除である。２つの基本的なインタレース解除方法がある。第１の方法では、奇数フィールドと偶数フィールドの線がともに加算でき、「フィールドウィービング（ｆｉｅｌｄ  ｗｅａｖｉｎｇ）」として知られている。第２の方法では、他のフィールドを参照することなく、各フィールドの欠落したラインが補間により生成され、「ボビング（ｂｏｂｂｉｎｇ）」として知られている。しかしながら、多くの場合、インタレースビデオスキャンからプログレッシブビデオスキャンへの同時変換のために、画像を同時に垂直に拡大することが必要である。例えば、入力がＮＴＳＣ４８０ｉインタレース化ビデオであり、２つのフィールドのそれぞれが７２０ｘ２４０解像度である場合、出力が７２０ｐプログレッシブビデオとして表示され、フレームが１２８０ｘ７２０解像度である。したがって、画像は１フィールドあたり２４０ラインから１フレームあたり７２０ラインに垂直でスケーリングされなければならない。インタレース化フィールドはもともと垂直方向アンダーサンプルされるため、通常のスケーリングは水平軸の近くのエッジで、スケーリング動作で拡大されるジャギーを生じさせる。
【００６４】
図９は、同時スケーリングによるボビング動作のために適応された画像処理システムの例の流れ論理を表す。本発明のこの例では、画像処理システム１００は水平方向と垂直方向でのビデオフィールドの同時拡大によるボビングインタレース解除のために使用される。前述されたように、「ボビング」は他のフィールドを参照せずに各フィールドの欠落したラインが補間によって生成される場合である。つまり、垂直方向のスケールは従来のインタレース解除においてのようにちょうど２でなくてよいが、１以上の任意の値であってよい。画像処理システム１００は、エッジ配向フィルタリングを提供する一方で、任意の特定のスケールに適応する。
【００６５】
ステップ９０１では、輝度成分とクロミナンス成分を含むインタレース解除されたフィールドデジタルデータが取得される。ステップ９１０では、出力ピクセル座標が入力画像座標空間上にマッピングされる。ステップ９３０では、水平低域通過フィルタが、雑音を低減し、インタレース解除動作のためにスケールをリセットするために、入力されたピクセルの輝度値に適用される。ステップ９４０では、局所ピクセル輝度の差異が計算される。ステップ９４２では、局所輝度差異に基づいて、入力ピクセルごとに局所ＧＳＴが計算される。ステップ９４４では、マッピングされた出力ピクセル位置を取り囲むピクセルブロック内の局所的なＧＳＴ値に基づいて平均ＧＳＴが求められる。ステップ９５０では、初期の配向と低域通過フィルタ制御が平均されたＧＳＴから出力ピクセル位置について求められる。ステップ９５２では、最終配向及び低域通過フィルタ制御が現在の出力ピクセル及び水平に隣接するピクセルのために初期推定値から決定される。ステップ９６０では、ピクセルブロック内の水平サンプリングポイントが計算される。これは、水平位置と小部分の垂直位置によって及びスキューによって決定される。ステップ９７０では、水平サンプリングポイントを取り囲む入力ピクセルに基づいて、中間サンプルが計算される。結果は行サンプルである。ステップ９８０では、行サンプルが４タップ多相補間フィルタを使用して結合される（垂直に再サンプリングされる）。相は現在のサンプルポイントの垂直座標の小部分を使用して選択される。最後にステップ９９０では、すべての出力ピクセル成分を計算した後に、出力プログレッシブスキャンフレームが生成される。
【００６６】
インタレース解除用途の１つの特定の例では、フィールドウィービングとボビングの両方が、検出される運動強度に応じて使用される。第一に、運動は隣接するフィールドのピクセル間で検出される。検出された運動強度が所定の下限より低い場合、フィールドウィービングは欠落したピクセルを生成するために使用され、隣接するフィールドからのピクセルがプログレッシブスキャンフレームを生成するために使用される。検出された運動強度が所定の上限より高い場合、フィールドボビングが使用され、欠落したピクセルが現在のフィールドを再スケーリングし、補間することによって生じる。運動強度が２つの限度間にある場合、欠落したピクセルは運動強度に従ってボビングとウィービングの２つの方法の間で補間により決定される。
当業者に明らかになるように、前述された構造の多様な変型及び適応は、本発明から逸脱することなく考えられ、その範囲は添付クレームに明確にされる。
【図面の簡単な説明】
【００６７】
【図１】本発明に従って構築される画像処理システムを表す。
【図２】サンプリングモデルの例を表す。
【図３Ａ】楕円形のフットプリントのための適応フィルタの周波数応答の図を表現する。
【図３Ｂ】歪んだ矩形フットプリント用の適応フィルタの周波数応答の図を表現する。
【図４】勾配計算の例を表現する。
【図５】スキュー＝０の場合の行サンプリング図の例を表現する。
【図６】スキュー＝−２の場合の行サンプリング図の例を表現する。
【図７Ａ】シフト線形補間アルゴリズムの例を表現する。
【図７Ｂ】三次補間アルゴリズムの例を表現する。
【図８Ａ】本発明に従って構築される画像処理システムの流れ論理を表現する。
【図８Ｂ】本発明に従って構築されるエッジ検出のための勾配二乗テンソルを使用するシステムの例の流れ論理を表現する。
【図９】本発明に従って構築されるインタレース解除システムの流れ論理を表現する。
【図１】
2008511202.tif 000026
【図２】
2008511202.tif 000027
【図３Ａ】
2008511202.tif 000028
【図３Ｂ】
2008511202.tif 000029
【図４】
2008511202.tif 000030
【図５】
2008511202.tif 000031
【図６】
2008511202.tif 000032
【図７Ａ】
2008511202.tif 000033
【図７Ｂ】
2008511202.tif 000034
【図８Ａ】
2008511202.tif 000035
【図８Ｂ】
2008511202.tif 000036
【図９】
2008511202.tif 000037
【手続補正書】
【提出日】平成18年5月17日(2006.5.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力座標空間を有する入力デジタル画像データを拡大、強化し、適応エッジ補間を出力ピクセルに適用することによって、所定の解像度及び形状の出力座標空間を有する出力デジタル画像を生じる方法であって、
（ａ）前記入力デジタル画像データを取得し、
（ｂ）前記出力ピクセルの座標を、（ａ）で取得した前記入力座標空間の上にマッピングし、
（ｃ）（ｂ）の該マッピングされたポイントの周辺でＭｘＮ個の入力ピクセルのブロックを選択し、該ブロックの形状及びサイズが要求されるエッジ解像度に基づいて決定され、
（ｄ）雑音を低減し、アスペクト比を調整するため、及び低角度エッジ検出に適応するために、ダウンサンプルしてスケールを変更するために、前記ブロックの該入力ピクセルに低域通過フィルタを適用し、
（ｅ）信号動作を決定するために前記ブロックの（ｄ）のダウンサンプルされたピクセルごとに局所的な信号分散を計算し、
（ｆ）前記ブロックの平均信号動作を決定するために、該ブロック内で（ｅ）で決定された局所信号分散に基づいて平均信号分散を計算し、
（ｇ）（ｆ）で求められる平均信号分散に基づいてエッジの配向、異方性、及び強度を決定し、
（ｈ）（ｇ）で決定されたエッジの配向、異方性、及び強度に基づいて、再サンプリングフィルタの周波数応答と、（ｂ）で決定された該マッピング位置での該入力画像におけるフットプリントを決定し、
（ｉ）（ｈ）の該周波数応答に従って（ｈ）で求められるフットプリント内で再サンプリングを介して該出力ピクセルの値を決定する、
方法。
【請求項２】
（ｆ）の前記平均信号分散が、
Ｉ．ＭｘＮ個のブロックの各入力ピクセルにおける水平勾配と垂直勾配を計算し、
ＩＩ．「Ｉ」の局所勾配に基づいて前記ブロック内の入力ピクセルごとに局所勾配二乗テンソル（ｇｒａｄｉｅｎｔ  ｓｑｕａｒｅｄ  ｔｅｎｓｏｒ）を計算し、
ＩＩＩ．「ＩＩ」の局所勾配テンソルに基づいて該ブロックのための平均勾配二乗テンソルを計算する、
ことを介して決定される、
請求項１に記載の方法。
【請求項３】
該エッジ配向が、
（Ａ）各入力ピクセル行で最も近いピクセルから同じ交差距離を有するｘ−ｙ平面でスロープのセットを事前に定義し、
（Ｂ）前記スロープを異なるスキューラインで特徴付け、スキューラインがｄｘ／ｄｙの事前に設定されるスロープを有するとして定義され、
（Ｃ）入力ピクセル行とのエッジ配向線の交差の計算の必要性を排除することによって、該出力ピクセルの該補間の該計算を容易にするために、最も近いスキューラインで該実際のエッジ配向を近似する、
ことを介して推定される、
請求項１に記載の方法。
【請求項４】
（ｈ）で、楕円形のフットプリントが、エッジ配向に沿った長軸および短軸の一方との該エッジ配向に基づいて決定され、
当該方法が楕円形の周波数応答に基づいて単一パス、二次元再サンプリングフィルタを使用する、
請求項１に記載の方法。
【請求項５】
楕円形のフットプリントが、フィルタリングでのピクセル包含の計算を容易にするためにスキューラインに沿った長軸および短軸の一方で決定され、
当該方法が楕円形周波数応答に基づいて、単一パス二次元再サンプリングフィルタを使用する、
請求項３に記載の方法。
【請求項６】
平行四辺形のフットプリントが該エッジ配向に沿って決定され、
当該方法が平行四辺形周波数応答に基づいて２パス水平再サンプリング及び垂直再サンプリングを使用する、
請求項１に記載の方法。
【請求項７】
平行四辺形フットプリントがフィルタリングのためのピクセル包含の該計算を容易にするために、該平行四辺形を半分に分ける該スキューラインを用いて該スキュー方向に沿って決定され、
当該方法が平行四辺形周波数応答に基づいて２パス水平再サンプリング及び垂直再サンプリングを使用する、
請求項３に記載の方法。
【請求項８】
インタレース化ビデオ入力をプログレッシブスキャンビデオ出力に変換するために適用され、
当該方法が垂直スケールを増加し、プログレッシブスキャンビデオフレームを生成するためにフィールド内の欠落したラインを補間する、
請求項１に記載の方法。
【請求項９】
インタレース化ビデオ入力を、
（Ｉ）前記インタレース化ビデオフィールドのピクセルの運動強度を検出し、
（ＩＩ）検出された運動強度が所定の下限値より低いときに２つの隣接するインタレース化フィールドからピクセルをマージすることによってプログレッシブスキャンフレームを生成し、
（ＩＩＩ）前記検出された運動強度が所定の上限より高いときに、請求項８の方法を使用して、単一のインタレース化フィールドを再スケーリングし、補間することにより前記プログレッシブスキャンフレームを生成し、
（ＩＶ）前記運動強度が下限と上限の間にあるときに、該運動強度に従って（ＩＩ）と（ＩＩＩ）の間で補間する、
ことを介してプログレッシブスキャンビデオ出力に変換するために適用される請求項１に記載の方法。
【請求項１０】
当該方法が、二個の隣接するピクセルの値を接続する線に沿って所定量だけ、各ピクセルの該値をシフトし、高周波損失を軽減するために元のピクセル値の代わりに新しい値をサンプリングすることによって決定される、シフトされた線形補間に基づいて取り囲む入力ピクセルから該出力ピクセルの中間水平再サンプリングを使用する請求項１に記載の方法。
【請求項１１】
（ｂ）の座標マッピングが線形スケーリングである請求項１に記載の方法。
【請求項１２】
（ｂ）の座標マッピングがワーピングである請求項１に記載の方法。
【請求項１３】
エッジ異方性及び強度が事前に設定された限度より高い場合にエッジディテールを強化するために、及び、エッジ異方性及び強度が事前に設定された限度より低い場合に該エッジディテールを円滑化するために、（ｉ）の前記フィルタの周波数応答が、（ｇ）で求められるエッジの強度及び異方性に適応される、請求項１に記載の方法。
【請求項１４】
入力座標空間を有する入力デジタル画像データを拡大、強化し、出力ピクセルに適応エッジ補間を適用することによって、所定の解像度及び形状の出力座標空間を有する出力デジタル画像データを生成するシステムであって、
（ａ）入力デジタル画像データを取得するインタフェースと、
（ｂ）前記入力座標空間の上に前記出力ピクセル座標をマッピングする座標ジェネレータと、
（ｃ）前記マッピングのポイントの周辺にＭｘＮ個の入力ピクセルのブロックを選択するために、前記インタフェースと前記座標ジェネレータに結合される第１のフットプリントジェネレータであって、該ブロックの形状及びサイズが必要とされるエッジ解像度に基づいて決定される、第１のフットプリントジェネレータと、
（ｄ）雑音を低減するため、及びアスペクト比を調整するため及び低角度エッジ検出に適応するために、スケールを変更してダウンサンプルするために、前記ブロックの入力ピクセルに低域通過フィルタを適用するために、前記第１のフットプリントジェネレータに結合されるプリプロセッサと、
（ｅ）信号動作を決定するために、前記ブロックの入力ピクセルごとに局所信号分散を計算するために前記プリプロセッサに結合される分散計算機と、
（ｆ）該ブロック内の平均信号動作を決定するために、前記ブロックの局所信号分散に基づいて平均信号分散を計算するために、前記分散計算機と結合される積分器と、
（ｇ）前記積分器によって求められる該平均信号分散に基づいて、エッジの配向、異方性及び強度を決定するために、前記積分器に結合されるエッジ推定器と、
（ｈ）再サンプリングフィルタの周波数応答、及び前記エッジ推定器によって決定されるエッジの配向、異方性、及び強度に基づいて、前記マッピングの位置での該入力画像のフットプリントを決定するために、前記インタフェース、前記座標ジェネレータ、前記エッジ推定器に結合される第２のフットプリントジェネレータと、
（ｉ）該フットプリント内の再サンプリングを介して、及び前記第２のフットプリントジェネレータによって求められる該周波数応答に従って、前記出力ピクセルの値を決定するために前記第２のフットプリントジェネレータと、前記エッジ推定器とに結合されるフィルタと、
を備えるシステム。
【請求項１５】
前記分散計算機及び前記積分器が、前記平均信号分散を、
Ｉ．前記ＭｘＮ個のブロックの各入力ピクセル内で水平勾配と垂直勾配を計算し、
ＩＩ．「Ｉ」の局所的な勾配に基づいて、前記ブロックの入力ピクセルごとに局所的な勾配二乗テンソルを計算し、
ＩＩＩ．「ＩＩ」の前記局所的な勾配テンソルに基づいて前記ブロックのための平均勾配二乗テンソルを計算する、
ことを介して計算するように適応される請求項１４に記載のシステム。
【請求項１６】
前記エッジ推定器が、エッジ配向推定を、
（Ａ）各入力ピクセル行の最も近いピクセルから同じ交差距離を有するｘ−ｙ平面のスロープのセットを事前に定義し、
（Ｂ）異なるスキューラインでこれらのスロープを特徴付け、スキューラインがｄｘ／ｄｙの事前に設定されたスロープを有するとして定義され、
（Ｃ）入力ピクセル行との該エッジ配向線の該交差の計算の必要性を排除することにより、該出力ピクセルの補間の計算を容易にするために、最も近いスキューラインで実際のエッジ配向を近似する、
ことを介して実行するように適応される請求項１４に記載のシステム。
【請求項１７】
前記第２のフットプリントジェネレータが、該エッジ配向に沿って長軸と短軸の内の１つとのエッジ配向に基づいて楕円形のフットプリントを決定するように適応され、
前記フィルタが楕円形の周波数応答機能に基づいて単一パスの二次元再サンプリングを使用するように適応される、
請求項１４に記載のシステム。
【請求項１８】
前記第２のフットプリントジェネレータが、該フィルタリングでのピクセル包含の計算を容易にするために、前記スキューラインに沿って長軸と短軸の一方で楕円形のフットプリントを求めるように適応され、
前記フィルタが楕円形の周波数応答機能に基づいて単一パス二次元再サンプリングを使用する、
請求項１６に記載のシステム。
【請求項１９】
前記第２のフットプリントジェネレータが、前記エッジ配向に沿って平行四辺形のフットプリントを決定するために適応され、
前記フィルタが平行四辺形の周波数応答に基づいて２パス水平再サンプリングと垂直再サンプリングを使用するように適応される、
請求項１４に記載のシステム。
【請求項２０】
前記第２のフットプリントジェネレータが、フィルタリングのためのピクセル包含の計算を容易にするために前記平行四辺形を半分に分ける前記スキューラインとスキュー方向に沿って平行四辺形のフットプリントを決定するように適応され、
前記フィルタが平行四辺形周波数応答に基づいて２パス水平再サンプリングと垂直再サンプリングを使用するために適応される、
請求項１６に記載のシステム。
【請求項２１】
インタレース化ビデオ入力をプログレッシブスキャンビデオ出力に変換するように適応され、
当該システムが垂直スケールを増加し、プログレッシブスキャンビデオフレームを生じさせるためにフィールド内で欠落したラインを補間する、
請求項１４に記載のシステム。
【請求項２２】
インタレース化ビデオ入力を、
（Ｉ）前記インタレース化ビデオのフィールドのピクセルの運動強度を検出し、
（ＩＩ）前記検出された運動強度が所定の下限より低いときに、２つの隣接するインタレース化フィールドからピクセルをマージすることによって前記プログレッシブスキャンフレームを生成し、
（ＩＩＩ）前記検出された運動強度が所定の上限より高いときに、請求項８に記載の方法を使用して、単一のインタレース化フィールドを再スケーリングし、補間することによって前記プログレッシブスキャンフレームを生成し、
（ＩＶ）前記運動強度が前記下限と前記上限の間にあるときに、該運動強度に従って（ＩＩ）と（ＩＩＩ）の間を補間する、
ことを介してプログレッシブスキャンビデオ出力に変換する請求項１４に記載のシステム。
【請求項２３】
当該システムが、２つの隣接するピクセルの値を接続する線に沿って所定量だけ各ピクセルの該値をシフトし、高周波損失を軽減するために元のピクセル値の代わりに新しい値をサンプリングすることによって決定される、シフトされた線形補間に基づいて取り囲む入力ピクセルから出力ピクセルの即時水平再サンプリングを実行するように適応される請求項１４に記載のシステム。
【請求項２４】
前記座標ジェネレータが線形スケーリングとして座標マッピングを実行するように適応される請求項１４に記載のシステム。
【請求項２５】
前記座標ジェネレータがワーピングとして座標マッピングを実行するように適応される請求項１４に記載のシステム。
【請求項２６】
前記フィルタがエッジの強度と異方性に適応し、該エッジの異方性と強度が所定の限度より高い場合に該エッジディテールを強化し、該エッジの異方性と強度が事前に設定された限度より低い場合に該エッジディテールを円滑化する請求項１４に記載のシステム。
【国際調査報告】
2008511202.tif 000038