(57)【要約】【課題】  画質劣化要因の発生を除去しつつ、入力映像を所望の大きさの解像度を有する出力映像に変換する解像度変換方法および装置を提供する。【解決手段】  本発明に係る解像度変換方法は、入力映像にエッジ方向性補間を行なって中間結果映像を算出する段階と、中間結果映像に対してサンプリング率を変換して所定解像度の出力映像を算出する段階とを含む。また、上記エッジ方向性補間を行う段階は、入力映像の画素の絶対値差を用いてエッジ方向性を推定する段階と、推定されたエッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定する段階と、 エッジ方向および前記補間係数を使ってエッジ方向性補間値を算出する段階と、エッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出する段階とを含む。【選択図】      図１
2006054899.tif 000002
【特許請求の範囲】
【請求項１】
入力映像にエッジ方向性補間を行なって中間結果映像を算出する段階と、
前記中間結果映像に対してサンプリング率を変換して所定解像度の出力映像を算出する段階と、
を含むことを特徴とする解像度変換方法。
【請求項２】
前記エッジ方向性補間を行う段階は、
前記入力映像の画素の絶対値差を用いてエッジ方向性を推定する段階と、
推定された前記エッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定する段階と、
前記エッジ方向および前記補間係数を使ってエッジ方向性補間値を算出する段階と、
前記エッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出する段階と、
を含むことを特徴とする請求項１に記載の解像度変換方法。
【請求項３】
前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定されることを特徴とする請求項２に記載の解像度変換方法。
【請求項４】
前記所定の線形補間法は、バイキュービック補間法であることを特徴とする請求項２に記載の解像度変換方法。
【請求項５】
補間領域が空間周波数の高い領域であるか否かを判断して、空間周波数の高い領域の場合には前記所定の線形補間法による補間値を使って最終補間値を算出する段階をさらに含むことを特徴とする請求項２に記載の解像度変換方法。
【請求項６】
前記空間周波数が高い領域であるか否かは、前記補間領域内の平均遷移局部分散を用いて判断することを特徴とする請求項５に記載の解像度変換方法。
【請求項７】
前記出力映像を算出する段階は、
前記入力映像の解像度と前記所定解像度によって算出されたアップサンプリングとダウンサンプリングとの比と、設定されたサイドローブ個数を乗算してフィルタタブ数を算出する段階と、
ウィンドウ関数をシンク関数で乗算して前記フィルタタブ数だけ１次フィルタ係数を算出する段階と、
前記１次フィルタ係数でガウス関数とウィンドウ関数の乗算した値を用いて最終フィルタ係数を算出する段階と、
前記中間結果映像のサンプリング率を変換させ前記最終フィルタ係数により水平方向および垂直方向にフィルタリングをそれぞれ行なって前記所定の解像度の出力映像を算出する段階と、
を含むことを特徴とする請求項１に記載の解像度変換方法。
【請求項８】
前記フィルタタブ数は以下の式により算出されることを特徴とする請求項７に記載の解像度変換方法。
【数１】
2006054899.tif 000037
式中、Ｌはフィルタ長さ、nLobesはサイドローブの個数、ＵとＤは最適化したアップサンプリングとダウンサンプリングの比、SmoothingAmountはフィルタのカットオフ周波数を可変させる定数である。
【請求項９】
前記１次フィルタ係数は以下の式により算出されることを特徴とする請求項７に記載の解像度変換方法: 
【数２】
2006054899.tif 000038
式中、sin(x)/xは理想的な低周波帯域通過関数、Kaiser(i、β)はカイザーウィンドウ関数、Ｌはフィルタ長さ、Lobesはサイドローブ、ｉはアーギュメントスケーリング定数である。
【請求項１０】
算出された前記出力映像に対して鮮明度を向上させる段階を含むことを特徴とする請求項１に記載の解像度変換方法。
【請求項１１】
前記鮮明度を向上させる段階は、
重なった所定の大きさのブロックで２つの代表カラーを選定する段階と、
前記選定された代表カラー間のコントラストを増加させる段階と、
エッジ領域に存在する画素値を、前記コントラストを増加した２つの代表カラーのうち近接した代表カラーに遷移させる段階と、
ブロック不連続性の除去のためにハニングウィンドウを用いて前記重なったブロックの結果値を加算して最終結果画素値を算出する段階と
を含むことを特徴とする請求項１に記載の解像度変換方法。
【請求項１２】
前記代表カラーのコントラストの増加は、入力画素と前記２つの代表カラー間の距離および内積を通じて適応的に増加することを特徴とする請求項１１に記載の解像度変換方法。
【請求項１３】
前記２つの代表カラーはＫミーンズアルゴリズムにより選定されることを特徴とする請求項１１に記載の解像度変換方法。
【請求項１４】
入力映像にエッジ方向性補間を行なって中間結果映像を算出するエッジ方向性補間部と、
前記中間結果映像に対してサンプリング率を変換し所定解像度の出力映像を算出する線形フィルタリング部と、
を備えることを特徴とする解像度変換装置。
【請求項１５】
前記エッジ方向性補間部は、前記入力映像の画素絶対差を用いてエッジ方向性を推定し、推定された前記エッジ方向性に対応する位置の画素値に基づき補間係数を決定し、前記エッジ方向および前記補間係数を使って算出したエッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出することを特徴とする請求項１４に記載の解像度変換装置。
【請求項１６】
前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定されることを特徴とする請求項１５に記載の解像度変換装置。
【請求項１７】
前記所定の線形補間法はバイキュービック補間法であることを特徴とする請求項１５に記載の解像度変換装置。
【請求項１８】
前記エッジ方向性補間部は、補間領域が空間周波数の高い領域の場合は前記所定の線形補間法による補間値を使って最終補間値を算出することを特徴とする請求項１５に記載の解像度変換装置。
【請求項１９】
前記空間周波数が高い領域であるか否かは、前記補間領域内の平均遷移局部分散を用いて判断することを特徴とする請求項１８に記載の解像度変換装置。
【請求項２０】
前記算出された出力映像に対して鮮明度を向上させる鮮明度向上部を更に備えることを特徴とする請求項１４に記載の解像度変換装置。
【請求項２１】
前記鮮明度向上部は、重なった所定の大きさのブロック内で２つの代表カラーを選定してコントラストを増加させ、エッジ領域に存在する画素値を、前記コントラストを増加した２つの代表カラーのうち近接した代表カラーに遷移させ、ブロック不連続性の除去のためハニングウィンドウを用いて前記重なったブロックの結果値を加算し、最終結果映像を算出することを特徴とする請求項２０に記載の解像度変換装置。
【請求項２２】
前記代表カラーのコントラストは、入力画素と前記２つの代表カラーとの距離および内積を通じて適応的に増加することを特徴とする請求項２１に記載の解像度変換装置。
【請求項２３】
前記２つの代表カラーはＫミーンズアルゴリズムにより選定されることを特徴とする請求項２１に記載の解像度変換装置。
【請求項２４】
補間領域が高周波領域であるか否かを判断する段階と、
前記補間領域が高周波領域でない場合は、エッジ方向性補間法および所定の線形補間法を使って補間する段階と、
を含むことを特徴とする解像度変換方法。
【請求項２５】
前記補間領域が高周波領域の場合は、前記所定の線形補間法だけを使って補間する段階を含むことを特徴とする請求項２４に記載の解像度変換方法。
【請求項２６】
前記所定の線形補間法は、バイキュービック補間法であることを特徴とする請求項２５に記載の変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は解像度変換方法および装置に関し、より詳細には画質劣化要因の発生を防ぎながら入力映像を所望の大きさの解像度を有する出力映像に変換する解像度変換方法および解像度変換装置に関する。
【背景技術】
【０００２】
ＬＣＤ(Liquid Crystal Display)などのデジタルディスプレイ装置はＣＲＴ(Cathode Ray Tube)のようなアナログディスプレイ装置とは異なり、画面解像度が製品によって固定されている。そのため、多様な解像度を有する入力映像をディスプレイ装置の画面解像度に合わせて変換することが必須である。特に、ＨＤＴＶ (High Definition Television)の出現によって、既存のＳＤ(Standard Definition)級の解像度の映像をＨＤ(High Definition)級のＴＶシステムに表示するための解像度変換に対する必要性が高まっている。
【０００３】
ところが、このような解像度変換に使われる従来の方法は、人間の視覚による画質認識において大切である、映像のエッジ付近で多くの画質劣化(artifact)を発生させてしまう。代表的な画質劣化現象としては、解像度変換後の映像でエッジ付近にノコギリ歯状のパターンを生み出すジャギング(jagging)、解像度変換による鮮明度低下を発生させるブラーリング(blurring)、それからフィルタ特性の低下によるエッジ近傍のリンギング(ringing)、およびエイリアシング(aliasing)現象などが挙げられる。
【０００４】
一方、解像度変換に関連した従来の技術は、線形フィルタリング技術を用いた方法と、非線形フィルタリング技術を用いた方法とに大別される。すなわち、特許文献１〜３などが開示する方法は、バイリニア(bilinear)およびキュービック(cubic)補間のような線形フィルタリング技法を用いて解像度変換を行なう。ところが、この方法は解像度拡大プロセスにおいて、入力映像の高周波成分の不十分な再現によって鮮明度が劣化して、出力映像の画質が低下するという問題点を抱えている。このような問題点を補うために、特許文献３には低い解像度信号に対してピーキング(peaking)を適用してポテンシャルエッジ画素を識別し、ピーキングされた映像信号に対してアップコンバージョンを行なった後、エッジ画素検出、エッジリンキング(edge linking)、それから輝度トランジション向上(Luminance Transient Improvement)を順次行なって高鮮明映像信号を出力する方法を開示している。しかし、この方法はスケーリングプロセスにおいて既存の線形フィルタを用い、フィルタリング前後に前処理および後処理技法でピーキングおよび輝度トランジション向上機能を適用してディテールおよび鮮明度を向上させるため、膨大な演算量と複雑なハードウェア構造を必要として、その性能の向上には限界がある。
【０００５】
これに対して、特許文献４および５などが開示する非線形フィルタリング技術を用いた方法は、方向性補間技法(directional interpolation)とコンテンツベース補間(content-based interpolation)方法に分けられる。方向性補間技法の場合、映像のエッジ情報を用いてエッジ方向に平行な方向にだけ補間を行なってエッジ成分のブラーリングを防止する方法である。一方、コンテンツベース方法は予め学習プロセス(learning process)を通じて最適化したスケーリングフィルタ係数を求めた後、入力映像の局部的な特性によって学習されたフィルタ係数を選択して解像度変換を行なう方法である。しかし、このような方法は映像のエッジ部分では割合に良好な結果を示すが、細密なテクスチャが多い複雑な領域(finde textured region)の場合に画質が劣化する短所を有する。
【特許文献１】米国特許第５，８８９，８９５明細書
【特許文献２】米国特許第５，６７１，２９８明細書
【特許文献３】米国特許出願公開第２００２/０１４０８５４明細書
【特許文献４】米国特許第５，８５２，４７０明細書
【特許文献５】米国特許第５，４４６，８０４明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は前記した従来技術の問題点を解決するために創案されたもので、その目的は画質劣化要因の発生を除去しつつ、入力映像を所望の大きさの解像度を有する出力映像に変換する解像度変換方法および解像度変換装置を提供することである。
【課題を解決するための手段】
【０００７】
前記の目的を達成するための本発明に係る解像度変換方法は、入力映像にエッジ方向性補間を行なって中間結果映像を算出する段階と、前記中間結果映像に対してサンプリング率を変換して所定解像度の出力映像を算出する段階と、算出された前記出力映像に対して鮮明度を向上させる段階とを含む。
【０００８】
前記エッジ方向性補間段階は、前記入力映像の画素絶対差を用いてエッジ方向性を推定する段階と、推定された前記エッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定する段階と、前記エッジ方向および前記補間係数を使ってエッジ方向性補間値を算出する段階と、前記エッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出する段階とを含む。
【０００９】
この際、前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定され、前記所定の線形補間法としてはバイキュービック補間法を使用することができる。
【００１０】
望ましくは、補間領域が空間周波数の高い領域であるか否かを判断して、空間周波数が高い領域である場合は前記所定の線形補間法による補間値を使って最終補間値を算出する段階をさらに含み、前記空間周波数が高い領域なのか否かは、前記補間領域内の平均遷移局部分散を用いて判断することがエラーの低減を可能とする。
【００１１】
また、前記出力映像を算出する段階は、前記入力映像の解像度と前記所定解像度により算出されたアップサンプリングとダウンサンプリングの比と、設定されたサイドローブ個数を乗算してフィルタタブ数を算出する段階と、ウィンドウ関数をシンク(sinc)関数に乗算して前記フィルタタブ数ほどの１次フィルタ係数を算出する段階と、前記１次フィルタ係数においてガウス関数とウィンドウ関数の乗算した値を用いて最終フィルタ係数を算出する段階と、前記中間結果映像のサンプリング率を変換させ前記最終フィルタ係数によって水平および垂直方向にフィルタリングをそれぞれ行なって、前記所定の解像度の出力映像を算出する段階とを含む。
この場合、前記フィルタタブ数は以下の式によって算出されることができる。
【００１２】
【数３】
2006054899.tif 000003
式中、Ｌはフィルタ長さ、nLobesはサイドローブの個数、ＵとＤは最適化したアップサンプリングとダウンサンプリングの比、SmoothingAmountはフィルタのカットオフ周波数を可変させる定数を示す。
前記１次フィルタ係数は以下の式によって算出されることが可能である。
【００１３】
【数４】
2006054899.tif 000004
式中、sin(x)/xは理想的な低周波帯域通過関数、Kaiser(i、β)はカイザーウィンドウ関数、Ｌはフィルタ長さ、Lobesはサイドローブ、ｉはアーギュメントスケーリング定数である。
【００１４】
前記鮮明度を向上させる段階は、重なった所定大きさのブロック内で２つの代表カラーを選定する段階と、選定された前記代表カラー間のコントラストを増加させる段階と、エッジ領域に存在する画素値を前記コントラストが増加された２つの代表カラーのうち近接した代表カラーに遷移させる段階と、ブロック不連続性除去のためにハニングウィンドウを用いて前記重なったブロックの結果値を加算して最終結果画素値を算出する段階とを含む。
【００１５】
この際、前記代表カラーのコントラストは、入力画素と前記２つの代表カラー間の距離および内積を通じて適応的に増加することができ、前記２つの代表カラーはＫミーンズ（K-means）アルゴリズムにより選定することができる。
【００１６】
一方、本発明に係る解像度変換装置は、入力映像にエッジ方向性補間を行なって中間結果映像を算出するエッジ方向性補間部と、前記中間結果映像に対してサンプリング率を変換して所定解像度の出力映像を算出する線形フィルタリング部と、算出された前記出力映像に対して鮮明度を向上させる鮮明度向上部とを備える。
【００１７】
前記エッジ方向性補間部は、前記入力映像の画素絶対差を用いてエッジ方向性を推定し、推定された前記エッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定し、前記エッジ方向および前記補間係数を使って算出したエッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出することが望ましい。
【００１８】
この際、前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定され、前記所定の線形補間法としてはバイキュービック補間法を使用することができる。
前記エッジ方向性補間部は、補間領域が空間周波数の高い領域の場合は前記所定の線形補間法による補間値を使って最終補間値を算出し、前記空間周波数が高い領域なのか否かは、前記補間領域内の平均遷移局部分散を用いて判断することが可能である。
【００１９】
前記鮮明度向上部は、重なった所定大きさのブロック内で２つの代表カラーを選定してコントラストを増加させ、エッジ領域に存在する画素値を前記コントラストが増加した２つの代表カラーのうち近接した代表カラーに遷移させ、ブロック不連続性除去のためにハニングウィンドウを用いて前記重なったブロックの結果値を加算して最終結果映像を算出する。
【００２０】
この際、前記代表カラーのコントラストの増加は、入力画素と前記２つの代表カラー間距離および内積を通じて適応的に増加し、前記２つの代表カラーはＫミーンズアルゴリズムにより選定されることが望ましい。
【００２１】
補間領域が高周波領域であるか否かを判断する段階において、前記補間領域が高周波領域でない場合は、エッジ方向性補間法および所定の線形補間法を使って補間する段階を含むのが望ましい。
【００２２】
前記補間領域が高周波領域の場合は、前記所定の線形補間法だけを使って補間する段階を含む。
前記所定の線形補間法はバイキュービック(bi-cubic)補間法であることが望ましい。
【発明の効果】
【００２３】
以上のように、本発明によれば従来の解像度変換方法を使用する場合に発生する恐れのある画質劣化の要因であるジャギング(jagging)、リンギング(ringing)などの鮮明度低下の問題を解決することができる。また、線形フィルタリング部で使われるＦＩＲフィルタ設計技術の場合、適用分野やユーザの好みによって空間領域上でフィルタ設計パラメータを変更して容易にフィルタを設計できる長所を有する。そして、エッジ方向性補間フィルタはエッジ方向性推定が簡単で、かつ、一般的な非線形フィルタが有するエイリアシング(aliasing)特性低下の問題を入力映像の分類を通じて簡単な４タブキュービック(bicubic)補間結果と適応的にブレンディング(blending)してアンチエイリアシング(anti-aliasing)特性を向上させながらもエッジでジャギング現象を最小化することができる。特に、鮮明度向上部は解像度変換映像に残されているリンギングを効率よく除去して簡単なアンシャープマスク(unsharp mask)の適用を通じても効果的に解像度変換映像の鮮明度を向上させられるのみならず、独立して既存に使用されるディテール向上(detail enhancer)方法を置き換えられる。
【発明を実施するための最良の形態】
【００２４】
以下、添付した図面に示すように本発明の１実施形態を詳述する。
図１は本発明の１実施形態による解像度変換装置のブロック図である。
図１を参照して説明すると、解像度変換装置は、エッジ方向性補間部１００と、線形フィルタリング部２００と、鮮明度向上部３００とを備える。
エッジ方向性補間部１００は、入力映像に対してエッジ方向性補間法を適用して水平方向および垂直方向に解像度をそれぞれ２倍に拡大し、解像度変換プロセスから発生するジャギングが除去された中間結果映像を生成する。線形フィルタリング部２００は目標解像度と一致する出力映像を生成するため、エッジ方向性補間部１００から出力される中間結果映像に対して線形ＦＩＲフィルタリングを行なってサンプリング率を可変し、このプロセスを通じてリンギング、エイリアシング等の発生が最小化した目標解像度と同一の解像度を有する出力映像を生成する。そして、鮮明度向上部３００は、エッジ方向性補間部１００および線形フィルタリング部２００における解像度変換プロセスから発生する鮮明度の低下を補って最終出力映像を生成する。
前記の構成の解像度変換装置に対して、以下ではエッジ方向性補間部１００、線形フィルタリング部２００、および鮮明度向上部３００のそれぞれについてさらに詳述する。
【００２５】
図２は、図１の解像度変換装置においてエッジ方向性補間部１００の補間によって生成される補間された画素を説明するための図である。
図２を参照して説明すると、エッジ方向性補間部１００によるエッジ方向性補間は１次補間および２次補間の２段階で行なわれ、１次補間では奇数ラインおよび奇数カラム位置でエッジ方向性補間を通じて補間画素(Interpolated Pixel)を生成し、２次補間では再びエッジ方向性補間を通じて残りの補間画素を生成する。１次補間と２次補間は単に参照される原画素(Original Pixel)の位置が変更されるだけであり、同様な方式のエッジ方向性補間により補間画素が生成される。
【００２６】
図３は、図１の解像度変換装置においてエッジ方向性補間部１００の動作方法の説明するためのフローチャートである。
図３を参照して説明すると、エッジ方向性補間部１００は、まず補間係数およびエッジ方向性を決定し(Ｓ４００)、決定された補間係数およびエッジ方向性によってエッジ方向性補間を行なってエッジ方向性補間値を算出する(Ｓ４０５)。エッジ方向性補間部１００で行なわれるエッジ方向性補間は、図４Ａに示す２つの対角線(diagonal)方向と、図４Ｂに示す４方向の非対角線(non-diagonal)方向で構成される総６方向に対してエッジ方向性を推定する。
エッジ方向性補間部１００は、後記するプロセスによって決定されたエッジ方向性および補間係数により、以下の対角線方向補間(YEDI-Diag)および非対角線方向補間(YEDI-NonDiag)のいずれか１つによってエッジ方向性補間値を算出する。
【００２７】
【数５】
2006054899.tif 000005
【００２８】
【数６】
2006054899.tif 000006
【００２９】
エッジ方向性補間部１００は（数５）の対角線方向補間と、（数６）の非対角線方向補間のうちいずれか１つを使用するため、（数５）および（数６）において各方向性補間係数(α1)の和はそれぞれ１とする。
エッジ方向性補間に使われる補間係数の決定は入力映像の各画素のＲＧＢ信号に対して（数７）のように輝度信号を求めた後、求められた輝度信号を基にして補間係数を決定し、決定した補間係数は同一空間位置のＲ、Ｇ、Ｂ各画素に対して同一値を適用する。
【００３０】
【数７】
2006054899.tif 000007
【００３１】
まず、対角線方向の補間係数は、対角線方向に位置する入力映像の原画素間の絶対差値(Absolute Difference)を用いて決定する。対角線方向補間係数(α0、α1、α2、α3)の決定に使われる入力画素間の絶対差値は、図５Ａおよび図５Ｂに示した通りであり、示された矢印は２つの画素間の絶対差値を示す。補間係数の決定は−４５°および４５°方向に存在する画素間の絶対差値の和は以下の数式のように決定され、最終エッジ方向性の推定は算出されたＤｉｒ0とＤｉｒ1とを比較して最小値を有する方向にエッジ方向性が推定される。
【００３２】
【数８】
2006054899.tif 000008
【００３３】
【数９】
2006054899.tif 000009
【００３４】
Ｄｉｒ0と Ｄｉｒ1の大小比較を通じた４つの対角線方向補間係数(α0、α1、α2、α3)の決定は以下の（数１０）ないし（数１１）を使って決定する。すなわち、２つの対角線方向の絶対差値の和が０なら、エッジが存在しない平坦な画素として見なし、以下の（数１０）のようにすべての補間係数の値を０．２５として決定する。
【００３５】
【数１０】
2006054899.tif 000010
【００３６】
２つの対角線方向の絶対差値の和が０でなく、−４５°方向の絶対差値が小さい場合は４５°方向の絶対差値との大小比較を通じて、以下の（数１１）のように補間係数を決定する。
【００３７】
【数１１】
2006054899.tif 000011
【００３８】
４５°方向の絶対差値が小さい場合は−４５°方向と同様な方法で、以下の（数１２）のように補間係数を決定する。
【００３９】
【数１２】
2006054899.tif 000012
【００４０】
非対角線方向補間係数の決定は、参照画素の位置が違うだけで対角線方向の補間係数決定と同一の方法を適用し、非対角線方向のエッジ方向性決定に使われる画素群は、図５Ｃないし図５Ｆの通りである。まず、４つの方向絶対差値の平均値が０の場合は平坦な領域と見なして、以下の（数１３）のように８つの画素の補間係数をすべて０．１２５に決定する。
【００４１】
【数１３】
2006054899.tif 000013
【００４２】
一方、非対角線４方向(Ｄｉｒ2〜 Ｄｉｒ5)のうち最小値を有する方向に存在する２つの画素に対してだけ補間係数を０．５に設定し、残りはすべて０に設定して補間係数を決定するようになるが、以下の（数１４）はＤｉｒ2方向が最小値の場合の補間係数決定の例を示す。
【００４３】
【数１４】
2006054899.tif 000014
【００４４】
現在の補間画素位置、すなわち補間される画素における最終エッジ方向性補間値の決定は、各エッジ方向の補間係数決定に使用された絶対差値の最大、最小および平均値を用いて以下の数式のように決定され、これにより（数５）および（数６）のいずれか１つを使ってエッジ方向性補間値を算出する。
【００４５】
【数１５】
2006054899.tif 000015
【００４６】
【数１６】
2006054899.tif 000016
【００４７】
次の段階において空間周波数が高い領域であるか否かを判断して(Ｓ４１０)、空間的周波数が高い領域でなければ（Ｓ４１６で「Ｎｏ」）、エッジ方向性補間値とバイキュービック補間値とをブレンディングして最終補間値を算出する(Ｓ４１５)。すなわち、エッジ方向性補間法を使用する場合、一般的にエッジ方向性が支配的(dominant)な場合にエッジでジャギングが除去された優れた補間結果が得られるが、テクスチャ(texture)領域のように支配的な方向性がない(Non-dominant)場合には逆に補間結果に悪影響を及ぼす。従って、このような領域に対してはバイキュービック(biCubic)のような線形補間技法を使用することが画質の面では良好な結果を示す。従って、空間周波数が高い領域でない場合、最終方向性補間値とバイキュービック補間値をブレンディング(blending)して前記した画質劣化を防止する(Ｓ４１０、Ｓ４１５)。これを以下に数式で示す。
【００４８】
【数１７】
2006054899.tif 000017
式中、fBlendはブレンディングの程度を決定する値であって、０≦fBlend≦１の値を有する。fBlendの決定はエッジ方向決定プロセスで求めたＤｉｒ0〜 Ｄｉｒ5の絶対値の差を用いて、最終エッジ方向性が対角線方向の場合は以下の（数１８）のように、非対角線方向の場合は（数１９）のようにfblend定数を決定する。
【００４９】
【数１８】
2006054899.tif 000018
【００５０】
【数１９】
2006054899.tif 000019
【００５１】
すなわち、最終エッジ方向性を決定する最小絶対差値の和が、異なる方向性を示す絶対差値の和より相対的に大きい場合は、著しいエッジ方向性を示す領域であるため、fBlendの値を増加させてエッジ方向性補間値を最終補間結果値に対する反映の程度を高めてエッジでジャギングの除去を行う。
【００５２】
ところが、このようなブレンディング方法はほとんどの映像で優れた結果を示すが、単位面積当りに強いエッジ成分の数が多数存在する。すなわち空間周波数が最も高い領域では、ほとんどの最小絶対値差を基にするエッジ方向性補間法は、エッジ方向性推定においてエラーが生ずる可能性が高い。線形技法のブレンディングだけではエッジ方向性補間法による画質の劣化を防ぐには限界が存在する。
このような劣化を防ぐため、推定されるエッジ方向性の個数を増大させる方法があるが、エッジ間隔が密接し過ぎることから周りの画素との最小絶対差値を用いたエッジ方向性推定の正確度が低下するため、その効果は演算量の増加に比べて少ない。従って、エッジ方向性補間部１００は空間周波数が高い領域を検出して高周波領域に分類された画素の場合は強制的に４タブバイキュービック補間の結果を適用(fblend=０)する(Ｓ４１０、Ｓ４２０)。
【００５３】
そして、一般的に高い空間周波数を検出するために分散(variance)を用いるが、分散情報それ自体が人間視覚特性と一致しないだけでなく、正確な空間周波数に対する情報を与えない短所を有する。従って、エッジ方向性補間法による画質劣化が発生する領域である空間周波数が高い領域の検出に使用されるにはその正確性が劣化してしまう。図６は、同一の分散値５６２５を有し、かつ異なる空間周波数を有する４つのブロックを示す。図６に示すように、分散値が同一であっても異なる空間周波数を有する場合もある。このような問題点を改善するため、エッジ方向性補間部１００はブロック内画素それぞれを考慮せず、次の（数２０）のように各画素の周りの隣接画素の平均値との差分を用いて分散を求めて、空間周波数が高い領域であるか否かを判断する。このような平均遷移を考慮した平均局部分散(Mean-deviated Local Variance)を考慮する場合にブロック内画素値変化分布を正確に表現できる長所を有する。
【００５４】
【数２０】
2006054899.tif 000020
【００５５】
（数２０）を用いて、図６のように人間の視覚が感じる空間周波数が異なる４つのブロックに対して平均遷移局部分散を求めると、(ａ)３９５．５、(ｂ)１１８６．５、(ｃ)２７６８．５、(ｄ)１２６５６．５をそれぞれ示して空間周波数が高いほどその値が増加することが分かる。従って、エッジ方向性補間部１００は平均遷移局部分散を適用してその値がスレショルド値以上の場合は空間周波数が高い領域として見なして、強制的にバイキュービック補間法を適用させて、空間周波数が極めて高い領域におけるエッジ方向性補間による画質劣化を防止する。
【００５６】
エッジ方向性補間部１００で１次補間が完了すると、再び２次補間を行なう(Ｓ４２５)。２次補間の場合は前記したエッジ方向性補間法をそのまま適用し、相違点は図７に示すように、参照する画素を時計回りに４５°回転させる。
線形フィルタリング部２００は、エッジ方向性補間部１００によるエッジ方向性補間を行ない、次いで、サンプリング率変換プロセスを行って、エッジでジャギングが最小化された中間結果映像に対して目標解像度を有する出力映像を得る。
【００５７】
図８は、一般的なサンプリング率変換プロセスを説明するための図である。第１段階にアップサンプリングを通じてＬ倍だけサンプル数が増加した中間変換映像を得た後、第２段階として目標解像度を有する出力映像獲得のためのダウンサンプリングプロセスで入力映像サンプリング率のＬ/Ｍ倍された出力サンプルを得る。解像度変換のためのサンプリング率変換、すなわちリサンプリング(resampling)システムの性能は低域通過フィルタにより一般的に決定され、サンプリング率変換器の性能向上のためのＦＩＲフィルタ設計の設計方法としては多様な技法が存在するが、線形フィルタリング部２００はフィルタ特性決定に容易なウィンドウ技術(windowing technique)を用い、これについて数式で表わせば以下の通りである。
【００５８】
【数２１】
2006054899.tif 000021
式中、ｈ(ｎ)は最終設計されたフィルタのインパルス応答(impulse response)、ｈd(ｎ)は理想的なフィルタのインパルス応答、それからｓｗ(ｎ)はウィンドウ関数をそれぞれ示す。
【００５９】
ウィンドウフィルタは、理想的なインパルス応答が時間領域で±∞まで存在するため、実際には実現できない。そのため、有限長のウィンドウ関数(window function)を掛けて、切断された有限長のインパルス応答を求める。時間領域における積は周波数領域におけるコンボルーション(convolution)になるため、設計しようとするフィルタの伝達関数は理想的な低域通過フィルタの周波数応答とウィンドウ関数のフーリエ変換された値のコンボルーションになる。以上のような方法で得られる最終設計フィルタの遷移帯域（transition bandwidth）の幅はウィンドウ関数のフーリエ変換スペクトルのメインローブ(main-lobe)の幅によって決定され、通過帯域(pass band)と停止帯域(stop band)のリップル(ripple)はウィンドウ関数のサブローブ、すなわちサイドローブの大きさ(magnitude)により決定される。ウィンドウ方法に使われるウィンドウ関数として多様なウィンドウ関数が存在するが、線形フィルタリング部２００ではサイドローブの大きさの調節に容易な以下の数式のようなカイザーウィンドウを使用する。
【００６０】
【数２２】
2006054899.tif 000022
【００６１】
式中、Ｍはフィルタ次数（Filter Order）であって、パラメータｄ＝Ｍ／２を決定づける。βはウィンドウスペース、Ｉ0は０次変形ベッセル関数（modified zero-order bessel function）をそれぞれ示す。 解像度変換のための理想的なフィルタは通過帯域で平坦な応答と高い停止帯域減衰特性を有し、フィルタのインパルス応答が可能な小さい数のサイドローブを有しながら、サイドローブの振幅が低くて映像におけるリンギング発生を抑えることが理想的であると言える。このような理想的なフィルタを設計することは難しく、解像度変換時に発生する画質劣化（artifact）としてブラーリング(blurring)、エイリアシング、リンギング等が存在し、このような画質の劣化成分発生を抑えることがフィルタの性能を決定すると言える。
【００６２】
一般に、同時にこのようなすべての劣化成分を除去できるＦＩＲフィルタの設計することは困難であり、各画質劣化（artifact）の発生はトレードオフの関係となる。例えば、ブラーリング発生を抑え映像におけるディテール情報を十分に表すためにフィルタのカットオフ周波数を高くする場合は、映像の高周波成分のエイリアシング発生の程度が悪化して、アンチエイリアシング(anti-aliasing)特性が劣化する。逆に、アンチエイリアシング特性を向上させるためにフィルタのカットオフ周波数を低くする場合は、アンチエイリアシング特性が向上するが映像のブラーリング程度が悪化するようになる。従って、線形フィルタリング部２００はこのような画質劣化要因(ringing、blurring、aliaisng)の発生程度を調節して、適用分野およびユーザの好みに合わせた出力画質を生成させるための適応型フィルタ設計方法を用いる。
【００６３】
ウィンドウベースのＦＩＲフィルタ設計において最も大事なことは、遷移帯域幅と停止帯域減衰レベルを制御することであり、遷移帯域幅はフィルタの長さを調節することで制御し、停止帯域減衰はカイザー（Kaiser）ウィンドウのβパラメータ調節することで制御する。一般に、ＬＰＦフィルタ設計でフィルタのカットオフ周波数が固定された空間領域におけるフィルタカーネルがサイドローブの個数を多く有するほどフィルタの長さは増加し、サイドローブの個数が固定の場合のフィルタの長さはカットオフ周波数に比例する。すなわち、カットオフ周波数が増加するほど設計されたフィルタカーネルのメインローブ(main-lobe)幅が減少し、カットオフ周波数が減少するほどフィルタカーネルのメインローブ幅が増加するので、線形フィルタリング部２００では以下の（数２３）のようにサンプリング率変換のための低域通過フィルタのカットオフ周波数を調節するｍａｘ[Ｄ、Ｕ]×SmoothingAmountと、フィルタカーネルにおけるサイドローブ個数を示すnLobesを通じてフィルタの長さを調節して遷移帯域幅を制御する。
【００６４】
【数２３】
2006054899.tif 000023
式中、ＤとＵはdecimation factor(Ｍ)およびinterpolation factor(Ｌ)の最大公約数ＫでＭとＬをそれぞれ割った値を示し(すなわち、Ｄ=Ｍ/ｋ、Ｕ=Ｌ/Ｋ)、ｍａｘ(Ｄ、Ｕ)はフィルタのカットオフ周波数を決定する。
【００６５】
空間領域におけるフィルタ係数は以下の（数２４）で決定するようになり、iはフィルタ長さ(０〜Ｌ-１)内で理想的な帯域通過フィルタであるシンク(sinc)関数がnLobesのサイドローブ個数を有するためのargument scaling定数として設計されたフィルタカーネルのサイドローブ個数を調節してリンギングなどの画質劣化の発生を制御する。
【００６６】
【数２４】
2006054899.tif 000024
式中、sin(x)/xは理想的な低周波帯域通過関数、Kaiser(i、β)はカイザーウィンドウ関数である。
【００６７】
このようなフィルタ設計方法によるフィルタリングは、一般のポリフェーズフィルタリングを通じて実現することができ、２Ｄイメージおよびビデオに適用するためには横と縦方向に分離的に適用して最終的な結果映像が得られ、図９は２Ｄイメージおよびビデオに適用するためのサンプリング率変換回路の一例に対するブロック図である。このような演算およびハードウェアの複雑さを考慮したフィルタリングに、ポリフェーズフィルタリング技法を適用することができる。
【００６８】
前記したエッジ方向性補間部１００および線形フィルタリング部２００により、解像度変換の主な画質劣化要素であるジャギング、リンギング、エイリアシングの発生を除去することができるが、一般に解像度変換後に発生する入力信号の高周波帯域スペクトルの低減による鮮明度低下が避けられない。一般の視聴者の画質認識に最も大事な鮮明度低下の問題を解決するため、ＬＴＩ(Luminance Transition Improvement)およびディテール向上(detail enhancement)等を使って鮮明度向上を図っているが、解像度変換プロセスから発生するエイリアシングおよびリンギングなどの成分も共に向上して画質劣化が逆に強調されてしまう場合が多発し、それゆえ鮮明度向上の程度を最大にすることができない。このような問題点を解決するためには、解像度変換技術を通じて解像度が増加された映像に存在するリンギング成分の除去が必要であり、そのために鮮明度向上部３００はこのような残存のリンギング成分の追加除去を通じて鮮明度向上の程度を最大化することができる鮮明度向上技術を使用している。
【００６９】
図１０は、図１の鮮明度向上部３００の動作方法の説明に用いられるフローチャートである。図１０を参照して説明すると、鮮明度向上部３００において、鮮明度向上方法は重なったブロック(overlapped block)に基づいて実行され、ブロック毎に２つの代表カラーを求めた後、求めた代表カラー間のコントラストを増加させる (Ｓ５００、Ｓ５０５)。鮮明度向上部３００における代表カラーの選定はＫミーンズアルゴリズムを基に、まずK-meansアルゴリズム適用のための初期代表カラーを入力ＲＧＢ信号に対して（数３）を用いて輝度値を求めた後、ブロック内の最大および最小輝度値を有する画素のＲＧＢ値を初期代表カラーとして選定する。初期代表値を基にしてブロック画素情報を用いてK-meansアルゴリズムを適用して初期代表カラー値が更新されるが、一般にK-meansアルゴリズムを用いた初期代表カラー値更新プロセスでは反復演算を通じて最終代表カラーを求めるが、ハードウェア実現のために反復演算の回数を１回に制限する。
【００７０】
図１１は代表カラーの更新のための反復演算制限によるブロック内の実際エッジ(True Edge)成分と推定エッジ(Estimated Edge)成分間の誤差の例を示す。初期代表カラーが輝度値の最大および最小値に決定されるため、推定された２つの代表カラーはブロック内エッジ成分をなす２つのカラー成分を示す。図１１に示すように、実際エッジ成分と推定されたエッジ成分とはＫミーンズアルゴリズムの１回反復演算制限によって誤差が発生するようになり、それを補うために２つの代表カラー間コントラストを増加させ、反復演算制限条件の問題を解決する。代表カラー間のコントラストを増加させた後、ブロック内のすべての入力画素に対して最も隣接した２つの代表カラーで入力画素値を変えてリンギング成分を除去する (Ｓ５１０)。リンギング成分が除去されたブロックデータに対して鮮明度向上のために簡単なアンシャープマスキング(unsharp masking)に基づいた高周波成分向上ブロックを通じた後(Ｓ５１５)、最終結果として映像が得られる。
【００７１】
図１２は２つの代表カラーのコントラストの増加の例を２次元平面上に示した図である。図１２において、２つの地点はＫミーンズアルゴリズムにより推定された２つの代表カラーを示し、代表カラーを包んだ大きい楕円はブロックデータのカラー分布を示す。実際エッジ成分の代表カラーへの近似化のために２つの代表カラーの対比増加方向は矢印で示されており、円は過渡なコントラスト増加を防止するために設定された領域を示す。代表カラーの対比向上プロセスは１つの代表カラーに対してブロックの入力画素と別の代表カラー間の距離および内積(dotproduct)を用いて代表カラー値が更新される。
【００７２】
図１３は代表カラー間のコントラスト増加方法を説明するための図面である、図１３において、Rep＿Color０、Rep＿Color１は２つの代表カラーを示し、PixeliおよびPixelKは任意のブロック内カラーを示す。初期代表カラーの更新のための入力カラーの選択をPixeliに対して説明すれば以下の（数２５）および（数２６）となる。
【００７３】
【数２５】
2006054899.tif 000025
【００７４】
【数２６】
2006054899.tif 000026
【００７５】
（数２５）は入力カラーPixeliと代表カラーRep＿Color０とのディスタンスを、（数２６）は２つの代表カラーと入力カラーがなす２つのベクトルＡ・Ｂ間の内積をそれぞれ示す。入力カラーが過渡なコントラスト増加防止のための領域内にあるか、その内積が負の数の場合は代表カラー更新のための候補カラーとして選定して代表カラーの更新に使用される。
【００７６】
【数２７】
2006054899.tif 000027
【００７７】
過渡なコントラストの増加を防止するためのLimit＿Dist値は以下の式のように定義した。
【００７８】
【数２８】
2006054899.tif 000028
【００７９】
このような演算をブロック内すべての画素に対して２つの代表カラーに適用して候補画素を決定した後、Ｋミーンズアルゴリズムを適用して更新された代表カラーを得る。コントラストが向上した最終代表カラーの計算後、ブロック内画素を隣接した代表カラーで隣接度(proximity)を測定して適応的に遷移させリンギング現象を除去する。入力カラーが２つの代表カラーの中間に位置する場合はカラー遷移なしで入力値をそのまま出力し、入力カラーが隣接代表カラーに近いほど、あるいはブロック内エッジ成分が強いほどカラー遷移の程度は増加するようになる。代表カラーを用いたカラーの遷移のためにはエッジ強度の測定と２つの代表カラーと現在入力カラーとの隣接度測定が必要であり、まずエッジ強度を決定する方法は次の数式の通りである。
【００８０】
【数２９】
2006054899.tif 000029
【００８１】
【数３０】
2006054899.tif 000030
【００８２】
（数２９）は代表カラー間の距離(distance)を示し、（数３０）は入力画素とＫミーンズアルゴリズムの適用時決定された現在入力画素が属する代表カラー間距離を示し、現在入力ブロックに対する最終エッジ成分の強度はpseudo-codeと（数３１）を用いて求める。
【００８３】
2006054899.tif 000031
【００８４】
【数３１】
2006054899.tif 000032
【００８５】
２つの代表カラーのうち現在入力カラーが隣接したカラーを求めるためには各代表カラーと現在入力カラーとのディスタンス(distance)を次のように求める。ここで、Ｄｉｓｔ０はＫミーンズアルゴリズムの適用時決定された現在入力画素の代表カラーとのディスタンスを、Ｄｉｓｔ１はその他代表カラーとのディスタンスをそれぞれ示す。
【００８６】
【数３２】
2006054899.tif 000033
【００８７】
【数３３】
2006054899.tif 000034
【００８８】
２つの代表カラーと現在入力カラーとのディスタンスを用いた最終隣接度は以下の（数３４）の通りである。
【００８９】
【数３４】
2006054899.tif 000035
式中、隣接度を示すproximityは０〜１の値を有するようにクリッピングされ、現在入力画素の代表カラーに隣接するほどその値は減少する。最終カラー遷移はブロック内エッジの強度が大きいほど、あるいは隣接カラーとのディスタンスが小さいほどカラー遷移程度は増加し、以下の（数３５）に基づいて求められる。
【００９０】
【数３５】
2006054899.tif 000036
【００９１】
図１４は鮮明度向上部３００で処理された最終結果の映像を説明するための図である。図１４を参照して説明すると、解像度変換された入力映像はリンギング成分が残っている場合があり、後処理技法でディテール向上(detail enhancement)を適用する場合にリンギング成分も共に増加し、画質が劣化する。鮮明度向上部３００はブロック内で２つの代表カラーを求めた後、これら代表カラーに対してブロック内の画素値を移動させるのでリンギング成分が除去されると同時にＬＴＩまたはＣＴＩと類似した機能を実行する。このように代表カラーを中心にリンギング成分が除去されたブロックに対して、鮮明度の向上のための簡単なアンシャープマスキング技法を適用することにより、鮮明度が向上し、かつリンギング成分等の強調が最小化した最終出力映像が得られる。
【００９２】
一方、以上のような鮮明度向上方法はブロックに基づいた演算なので、独立して処理された各ブロックをそのまま出力させる場合にＪＰＥＧおよびＭＰＥＧのようなブロックに基づいた圧縮方法で発生するブロック間境界で不連続性(discontinuity)が発生する可能性がある。このような問題点の改善のため、鮮明度向上部３００は、重なったブロック構造に基づいて動作し、ハニング（Hanning）ウィンドウを用いて処理されたブロック境界で発生する不連続性を除去する。すなわち、まず入力映像を全ブロックサイズの半分サイズほど重ね、ブロックを構成した後(例えば、入力ブロックのサイズが８×８の場合に隣接ブロックとは４画素ほど重ねる)、独立して処理された各ブロックをハニングウィンドウを用いて隣接ブロック間境界でスムーストランジション(smooth transition)を可能にして不連続性を除去する。
【００９３】
図１５は隣接した２つのブロック間境界においてハニングウィンドウを用いたスムーストランジションの概念図である。図１５を参照して説明すると、まず独立的に処理された各ブロックデータに対して２次元ハニングウィンドウをかけた後、(図１４は１次元形態で説明)ウィンドウ係数が掛けられたブロックデータを互いに加算し最終結果ブロックデータを求める。各ブロックにかけられるウィンドウ関数は重畳されたブロック部分を中心にして一方はブロック境界方向にし、もう一方はブロック境界方向からフェードイン(fade-in)するように分布するようになり、重なったブロック境界部分で２つのウィンドウ関数係数の和は常に１を保って、歪まずスムーストランジションが可能になる。
【００９４】
以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。
【産業上の利用可能性】
【００９５】
本発明は、画質劣化の要因発生を防止しつつ入力映像を所望のサイズの解像度を有する出力映像に変換する解像度変換方法および装置に適用される。
【図面の簡単な説明】
【００９６】
【図１】本発明の１実施形態に係る解像度変換装置のブロック図である。
【図２】図１のエッジ方向性補間部で補間により生成される補間画素を説明するための図である。
【図３】図１においてエッジ方向性補間部の動作方法の説明に提供されるフローチャートである。
【図４Ａ】エッジ方向性補間で方向性推定を説明するための図である。
【図４Ｂ】エッジ方向性補間で方向性推定を説明するための図である。
【図５Ａ】補間係数の決定方法を説明するための図である。
【図５Ｂ】補間係数の決定方法を説明するための図である。
【図５Ｃ】補間係数の決定方法を説明するための図である。
【図５Ｄ】補間係数の決定方法を説明するための図である。
【図５Ｅ】補間係数の決定方法を説明するための図である。
【図５Ｆ】補間係数の決定方法を説明するための図である。
【図６】（ａ）ないし（ｄ）は、ブロック分散の例を説明するための図である。
【図７】２次補間で補間係数の決定方法を説明するための図である。
【図８】一般のサンプリング率変換を説明するための図である。
【図９】図１の線形フィルタリング部でサンプリング率変換回路の一例に対するブロック図である。
【図１０】図１において鮮明度向上部の動作方法の説明に提供されるフローチャートである。
【図１１】実際エッジ成分と推定エッジ成分の誤差を説明するための図である。
【図１２】代表カラー間のコントラスト増加の例である。
【図１３】代表カラー間のコントラスト増加方法を説明するための図である。
【図１４】図１の鮮明度向上部で処理された最終結果の映像を説明するための図である。
【図１５】ブロック不連続性の除去を説明するための図である。
【符号の説明】
【００９７】
１００ : エッジ方向性補間部
２００ : 線形フィルタリング部
３００ : 鮮明度向上部
【図１】
2006054899.tif 000039
【図２】
2006054899.tif 000040
【図３】
2006054899.tif 000041
【図４Ａ】
2006054899.tif 000042
【図４Ｂ】
2006054899.tif 000043
【図５Ａ】
2006054899.tif 000044
【図５Ｂ】
2006054899.tif 000045
【図５Ｃ】
2006054899.tif 000046
【図５Ｄ】
2006054899.tif 000047
【図５Ｅ】
2006054899.tif 000048
【図５Ｆ】
2006054899.tif 000049
【図７】
2006054899.tif 000050
【図８】
2006054899.tif 000051
【図９】
2006054899.tif 000052
【図１０】
2006054899.tif 000053
【図１１】
2006054899.tif 000054
【図１２】
2006054899.tif 000055
【図１３】
2006054899.tif 000056
【図１４】
2006054899.tif 000057
【図１５】
2006054899.tif 000058
【図６】
2006054899.tif 000059