(57)【要約】ビデオ画像中の解像度を向上するシステム及び方法は、比較的低い解像度のビデオ信号（２）を取得し（１０２）、ピーキング関数を適用し（１０４）、潜在的なエッジを識別するためにピーキングされた信号を解析する（１０６）。低解像度信号（２）は、より高い解像度の形式へアップコンバートされる（１０８）。画像中の実際のエッジが検出され（１１０）、より高い解像度の形式で連結され（１１２）、画像を鮮鋭化するためにエッジに対して輝度遷移改善関数が適用される（１１４）。低い解像度での画像の解析は計算時間を減少させ、それでもなお高い画質の出力画像を生成する。
2004527171.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号中の解像度の向上をスケーリングする方法であって、
第１の解像度のビデオ信号を取得する段階と、
ピーキングされた信号を生成するために前記第１の解像度のビデオ信号にピーキング関数を適用する段階と、
前記第１の解像度のビデオ信号中のエッジである可能性のある画素を識別するために前記ピーキングされた信号を解析する段階と、
前記ピーキングされた信号をより高い解像度のビデオ信号へアップコンバートする段階と、
前記第１の解像度のビデオ信号のエッジである可能性のある画素に対応する画素において前記より高い解像度のビデオ信号にエッジ検出関数を適用し、それによってより高い解像度のビデオ信号のエッジ画素を識別する段階と、
前記より高い解像度のビデオ信号のエッジ画素にエッジ連結関数を適用する段階と、
前記より高い解像度のビデオ信号のエッジ画素に輝度遷移改善関数を適用する段階と、
前記より高い解像度のビデオ信号を出力する段階とを含む方法。
【請求項２】
前記ピーキング関数は更に、
前記第１の解像度のビデオ信号のコンボリューションをとる段階と、
前記取得された第１の解像度のビデオ信号に前記コンボリューションの結果を加える段階とを含む、請求項１記載の方法。
【請求項３】
前記ピーキング関数を解析する段階は更に、
前記ピーキングされた信号の１次導関数を計算する段階と、
前記第１の解像度のビデオ信号の画素における前記１次導関数が第１の閾値よりも大きい場合はピーキングされた信号の画素を潜在的なエッジとして指定する段階とを含む、請求項１記載の方法。
【請求項４】
前記エッジ検出関数は更に、
前記アップコンバートされた信号の２次導関数を計算する段階と、
ゼロ交差があったことを前記２次導関数が示す場合は、前記ピーキングされた信号の３次導関数を計算する段階と、
前記３次導関数が第２の閾値よりも大きい場合は前記画素をエッジとして識別する段階とを含む、請求項１記載の方法。
【請求項５】
前記エッジ連結関数は更に、
孤立したエッジ画素を識別する段階と、
前記識別されたエッジ画素を除去する段階とを含む、請求項１記載の方法。
【請求項６】
前記輝度遷移改善関数は、
より高い解像度のビデオ信号のエッジ画素を多数のサブ領域へ分割する段階と、
エッジが位置する前記画素の内側の位置を決定するために各サブ領域を解析する段階と、
フィルタを選択するために前記エッジ位置を用いる段階と、
前記選択されたフィルタを前記より高い解像度のエッジ画素に適用する段階とを含む、請求項１記載の方法。
【請求項７】
前記エッジ位置は、
【数１】
2004527171.tif 000004
と定義され、但し、ｃは数学的な丸め関数であり、Ｎは各画素が分割されて得られるサブピクセルの数を表わし、ｘは評価されている画素を表わし、Ｌ”はより高い解像度のビデオ信号の２次導関数を表わす、請求項６記載の方法。
【請求項８】
前記エッジ位置はルックアップテーブルに格納されたフィルタへマップされる係数として使用される、請求項６記載の方法。
【請求項９】
前記より高い解像度のビデオ信号のエッジ画素の近傍の追加的な画素を選択する段階と、
各追加的な選択された画素に対して前記ルックアップテーブルからフィルタを選択する段階と、
前記選択されたフィルタを前記より高い解像度のビデオ信号のエッジ画素及び前記追加的な選択された画素に適用する段階とを更に含む、請求項８記載の方法。
【請求項１０】
ビデオ信号中の解像度の向上をスケーリングする方法であって、
第１の解像度のビデオ信号の行列を取得する段階と、
ピーキングされた信号行列を作成するために前記第１の解像度のビデオ信号行列にピーキング関数を適用する段階と、
前記第１の解像度のビデオ信号行列中の潜在的なエッジ画素を識別するために前記ピーキングされた信号行列を解析する段階と、
前記ピーキングされた第１の解像度のビデオ信号行列をより高い解像度のビデオ信号行列へアップコンバートする段階と、
前記第１の解像度のビデオ信号行列中で識別された前記潜在的なエッジ画素に対応する画素において前記より高い解像度のビデオ信号行列にエッジ検出関数を適用し、それによってより高い解像度のビデオ信号行列のエッジ画素を識別する段階と、
より高い解像度のビデオ信号行列のエッジ画素として識別された画素において前記より高い解像度のビデオ信号行列にエッジ連結関数を適用する段階と、
より高い解像度のビデオ信号行列のエッジ画素として識別された画素において前記より高い解像度のビデオ信号行列に輝度遷移改善関数を適用する段階と、
前記より高い解像度のビデオ信号行列を出力する段階とを含む方法。
【請求項１１】
前記エッジ検出関数は更に、
前記より高い解像度のビデオ信号行列の２次導関数を計算する段階と、
前記より高い解像度のビデオ信号行列の３次導関数を計算する段階と、
前記より高い解像度のビデオ信号行列中の２つの隣接する画素の２次導関数の積がゼロ以下であり、前記２つの隣接する画素のうちの１つ又はそれ以上の前記第３の導関数が第２の閾値よりも大きい場合、前記２つの隣接する画素のうちの前記１つ又はそれ以上をエッジとして識別する段階と、
前記行列中の少なくとも第３の画素を処理し、前記少なくとも第３の画素の２次導関数と前記行列中の前記少なくとも第３の画素に隣接する画素の２次導関数の積がゼロであり前記少なくとも第３の画素の前記３次導関数が第２の閾値よりも大きければ、前記少なくとも第３の画素をエッジとして識別する段階とを含む、請求項１０記載の方法。
【請求項１２】
前記輝度遷移改善関数は、
より高い解像度のビデオ信号のエッジ画素を多数のサブ領域へ分割する段階と、
エッジが位置する前記画素の内側の位置を決定するために各サブ領域を解析する段階と、
フィルタを選択するために前記エッジ位置を用いる段階と、
前記選択されたフィルタを前記より高い解像度のエッジ画素に適用する段階とを含む、請求項１０記載の方法。
【請求項１３】
前記エッジ位置は、
【数２】
2004527171.tif 000005
と定義され、但し、ｃは数学的な丸め関数であり、Ｎは各画素が分割されて得られるサブピクセルの数を表わし、ｘは評価されている画素を表わし、Ｌ”はより高い解像度のビデオ信号の２次導関数を表わす、請求項１２記載の方法。
【請求項１４】
ビデオ信号中の解像度を向上する方法であって、
第１の解像度のビデオ信号を取得する段階と、
ピーキングされた信号を生成するために前記第１の解像度のビデオ信号の知覚されるコントラストを高める段階と、
前記第１の解像度のビデオ信号中のエッジである可能性のある画素を識別するために前記ピーキングされた信号を解析する段階と、
前記ピーキングされた信号をより高い解像度のビデオ信号へアップコンバートする段階と、
前記より高い解像度のビデオ信号中の実際のエッジ画素を識別するために前記より高い解像度のビデオ信号にエッジ検出関数を適用する段階と、
前記より高い解像度のビデオ信号の実際のエッジ画素であると識別された画素において前記より高い解像度のビデオ信号にエッジ連結関数を適用する段階と、
前記より高い解像度のビデオ信号に輝度遷移改善関数を適用する段階と、
前記より高い解像度のビデオ信号を出力する段階とを含む方法。
【請求項１５】
ビデオ信号の解像度を高める方法であって、
第１の解像度のビデオ信号を取得する段階と、
前記第１の解像度のビデオ信号のコンボリューションをとり前記コンボリューションの結果を前記取得された第１の解像度のビデオ信号に加えることによって計算されるピーキング関数を、ピーキングされた信号を生成するために前記第１の解像度のビデオ信号に適用する段階と、
前記第１の解像度のビデオ信号中の潜在的なエッジ画素を識別するために前記ピーキングされた信号を解析する段階と、
前記ピーキングされた信号をより高い解像度のビデオ信号へアップコンバートする段階と、
前記第１の解像度のビデオ信号の潜在的なエッジ画素に対応する画素において前記より高い解像度のビデオ信号にエッジ検出関数を適用し、それによってより高い解像度のビデオ信号のエッジ画素を識別し、前記エッジ検出関数は前記ピーキングされた信号の２次導関数を計算することによって取得され、前記より高い解像度のビデオ信号中の２つの隣接する画素の２次導関数の積がゼロ以下であれば前記ピーキングされた信号の３次導関数を計算し、前記３次導関数が第２の閾値よりも大きければ前記画素をエッジとして識別する段階と、
より高い解像度のビデオ信号のエッジ画素として識別された画素において前記より高い解像度のビデオ信号に対してエッジ連結関数を適用する段階と、
より高い解像度のビデオ信号のエッジ画素として識別された画素において前記より高い解像度のビデオ信号に対して輝度遷移改善関数を適用する段階と、
前記より高い解像度のビデオ信号を出力する段階とを含む方法。
【請求項１６】
ビデオ信号中の解像度の向上をスケーリングする装置であって、
ビデオ信号を第１の解像度で受け入れる受信器と、
ピーキングされた信号を作成するために前記受け入れられたビデオ信号の知覚されるコントラストを高めるピーキングシステムと、
前記ピーキングされた信号中のエッジである可能性のある画素を識別するテクスチャ付き信号エッジ検出器と、
前記ピーキングされたビデオ信号をより高い解像度のビデオ信号へ変換するアップコンバータと、
より高い解像度のビデオ信号のエッジ画素を識別するために前記ピーキングされた信号のエッジである可能性のある画素に対応する前記より高い解像度のビデオ信号中の画素を解析する、アップコンバートされたエッジを検出する検出器と、
前記識別されたより高い解像度のビデオ信号のエッジ画素を連結するエッジ連結器と、
緩やかな輝度遷移を急な輝度遷移で置き換えることにより前記連結されたより高い解像度のビデオ信号のエッジ画素を鮮鋭化する輝度遷移改善装置と、
前記より高い解像度のビデオ信号を出力するために前記受信器に接続されるディスプレイとを含む装置。
【請求項１７】
ビデオ信号中の解像度の向上をスケーリングする装置であって、
ビデオ信号を第１の解像度で受け入れる受信器と、
ピーキングされた信号を作成するために前記受け入れられたビデオ信号の知覚されるコントラストを高めるピーキングシステムと、
前記ピーキングされた信号のエッジである可能性のある画素を識別するために前記ピーキングされた信号の１次導関数を解析するテクスチャ付き信号エッジ検出器と、
前記ピーキングされた信号をより高い解像度のビデオ信号へ変換するアップコンバータと、
ゼロ交差を識別するために前記ピーキングされた信号の第２の導関数を計算し、より高い解像度のビデオ信号のエッジ画素を識別するために前記ピーキングされた信号のゼロ交差画素における３次導関数を計算するアップコンバートされたエッジを検出する検出器と、
前記識別されたより高い解像度のビデオ信号のエッジ画素を連結するエッジ連結器と、
より高い解像度のビデオ信号のエッジ画素を多数のサブ領域へ分割し、エッジが位置される前記画素の内側の位置を決定するために各サブ領域を解析し、フィルタを選択するために前記エッジ位置を用い、前記選択されたフィルタを前記より高い解像度のエッジ画素に適用することにより、前記連結されたより高い解像度のビデオ信号のエッジ画素を鮮鋭化する輝度遷移改善装置と、
前記より高い解像度のビデオ信号を出力するために前記受信器に接続されるディスプレイとを含む装置。
【請求項１８】
テレビジョン信号を第１の解像度で受信し同調するチューナと、
向上された解像度のテレビジョン信号を与えるためにディスプレイに接続されたテレビジョン信号処理回路とを含む、テレビジョン受像機であって、
前記向上された解像度のテレビジョン信号の生成は、
ピーキングされた信号を作成するために前記第１の解像度のテレビジョン信号にピーキング関数を適用し、
前記第１の解像度のテレビジョン信号中のエッジである可能性のある画素を識別するために前記ピーキングされた信号を解析し、
前記ピーキングされた信号をより高い解像度のテレビジョン信号へアップコンバートし、
前記第１の解像度のテレビジョン信号のエッジである可能性のある画素に対応する画素において前記より高い解像度のテレビジョン信号にエッジ検出関数を適用し、それによってより高い解像度のテレビジョン信号のエッジ画素を識別し、
前記より高い解像度のテレビジョン信号のエッジ画素にエッジ連結関数を適用し、
前記より高い解像度のテレビジョン信号のエッジ画素に輝度遷移改善関数を適用し、
前記より高い解像度のテレビジョン信号を出力することを含む、テレビジョン受像機。
【請求項１９】
テレビジョン信号を第１の解像度で受信し同調するチューナと、
向上された解像度のテレビジョン信号を与えるためにディスプレイに接続されたテレビジョン信号処理回路とを含む、テレビジョン受像機であって、
前記向上された解像度のテレビジョン信号の生成は、
前記テレビジョン信号の知覚されるコントラストを高めるために前記第１の解像度のテレビジョン信号にピーキング関数を適用し、
エッジである可能性のある画素を識別するために前記テレビジョン信号の前記ピーキングされた信号を解析し、
前記第１の解像度のテレビジョン信号をより高い解像度のテレビジョン信号へアップコンバートし、
ゼロ交差を識別するために前記より高い解像度のテレビジョン信号にエッジ検出関数を適用し、より高い解像度のテレビジョン信号のエッジ画素を識別するために前記ゼロ交差画素を解析し、
前記識別されたより高い解像度のテレビジョン信号のエッジ画素にエッジ連結関数を適用し、
より高い解像度のビデオ信号のエッジ画素を多数のサブ領域へ分割し、エッジが位置される前記画素の内側の位置を決定するために各サブ領域を解析し、フィルタを選択するために前記エッジ位置を用い、前記選択されたフィルタを前記より高い解像度のエッジ画素に適用することにより、前記識別されたより高い解像度のテレビジョン信号のエッジ画素に輝度遷移改善関数を適用し、
前記より高い解像度のテレビジョン信号を出力することを含む、テレビジョン受像機。
【発明の詳細な説明】
【０００１】
本願は、ここにその内容が全体として組み入れられる、本願の譲受人に譲渡された２０００年８月１６日出願のＨｅ外による「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｉｍｐｒｏｖｉｎｇ  ｔｈｅ  Ｓｈａｒｐｎｅｓｓ  ｏｆ  ａ  Ｖｉｄｅｏ  Ｉｍａｇｅ」なる名称の米国特許出願第０９／６３９，１４７号に対して相互参照がなされる。
【０００２】
本発明は、出力装置上でのビデオ信号の表示に関する。更に特定的には、本発明はより低い解像度の形式から変換された出力信号の質を高めるシステム及び装置に関連する。
【０００３】
テレビジョン画像は、陰極線管内の電子銃が蛍光体へ一連の水平ラインを発すると生成される。蛍光体からの輝きは画像を生成するためにモニタへ反射される。米国では、テレビジョン放送規格は、現在は全米テレビジョン規格委員会（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｔａｎｄａｒｄｓ  Ｃｏｍｍｉｔｔｅｅ：ＮＴＳＣ）によって策定されている。これらの規格によれば、一回に４８０本のラインが画面上に表示され、画面上の画像は毎秒６０回表示される。これらのラインが一緒に表示されている間、全てのラインが同時に電子銃によって書き直されているわけではないことに注意することが重要である。ＮＴＳＣ規格は、画面上に表示されるラインの本数を設定すること以外に、「インタレース（飛び越し）」された表示方式を与える。これは、４８０本のラインが各２４０本の２つのグループで描かれ、このとき奇数ラインが一つのパスの間に描かれ、偶数ラインが他のパスの間に描かれることを意味する。すなわち、各ライングループは、毎秒３０回表示される。上述の方式は、一般的には「４８０ｉ」方式と称される。
【０００４】
ＮＴＳＣ規格は、アナログ信号を考慮に入れている。しかしながら、ディジタルテレビジョン（ＤＴＶ）信号を家庭に伝えるためのかなりの努力がなされており、近い将来、ＤＴＶ放送がアナログテレビジョン放送に取って代わるのはほぼ確実である。多くのＤＴＶ形式がある。これらのうちの幾つかは上述のようにインタレース（飛び越し）方式を用いるものであり、その他は「プログレッシブ（順次）」形式を用いるものである。順次方式では、各パス中に全ての解像ラインが描き直される。従って、４８０ｐ方式は４８０ｉ方式と同じ数の水平ラインを有するが、４８０ｐ画像は、画像中のラインが２倍速く描き直されるためはるかに滑らかに見えることとなる。ＤＴＶ規格は、国際機関である高性能テレビジョン方式委員会（Ａｄｖａｎｃｅｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ：ＡＴＳＣ）によって策定されている。ＡＴＳＣは、１８の異なるＤＴＶ方式を指定しており、これにより異なる数のライン、並びに、順次方式及び飛び越し方式の両方の使用が与えられている。現在、最も一般的な方式は、４８０ｐ、７２０ｐ、及び１０８０ｉである。
【０００５】
これらの開発により、異なる方式で表わされるテレビジョン放送信号を受信し表示しうるテレビジョンシステムに対する必要性が生じた。このような課題を達成するための１つの方法は、互換性のない形式の信号を受信しこれをテレビジョン受像機が使用しうる形式へ変換することができる装置をテレビジョン受像機に入れることである。方式間の変換は、しばしばデータを失わせる結果となり、これにより表示される画像の質が低下する。例えば、アップコンバージョン、即ち、低解像度形式からより高い解像度の形式への変換は、一般的には最初に与えられた放送信号を補間することを必要とする。例えば、近い将来に、多くの消費者が高精細度（Ｈｉｇｈ  Ｄｅｆｉｎｉｆｉｏｎ：ＨＤ）放送信号を表示することが可能なテレビジョンを持つこととなる。しかしながら、テレビジョン信号は現在、より低い解像度の標準精細度（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ：ＳＤ）形式で放送されている。テレビ局が放送をＨＤ形式へ変換するにはまだかなりの時間がかかる。従って、ＳＤ信号を受信しこれらをＨＤ形式へ変換できる装置をＨＤテレビジョン受像機に入れることが必要である。
【０００６】
アップコンバージョン処理は、一般的には、アップサンプリングされた画像に含まれる高周波数画像を除去するために補間フィルタを用いることを必要とする。更に特定的には、アップコンバージョン処理中、幾つかの画素値はゼロに設定される。これらのゼロ値画素がそのまま表示されると、これらはテレビジョン画面上の黒い点として現れる。その代わりに、サンプリングされていない画像に対して補間フィルタが適用され、変換された画像を視覚的に更に魅力的に再現させるためにゼロ値画素を非ゼロ値へリセットする。実際上は、アップコンバートされた画像に適用されるフィルタは理想的なものとはならない。即ち、高周波数画像が全て除去されるわけではなく、従って、アップコンバートされた画像中に幾らかの非常に弱い高周波数エネルギーが残る。人間の視覚では、アップコンバートされた画像中の高周波数データは通常はぼけとして知覚される。このぼけを除去するための１つの方法は、画像のエッジを鮮鋭化し、そのテクスチャのある領域のコントラストを強調することである。このエッジ鮮鋭化及びコントラスト強調は、画像中に新たな高周波数成分を生じさせ、既存の中間レベルの周波数をバーストさせる。一般的には、低解像度ビデオ生成（例えばＳＤビデオ記録）中に失われた全ての細部を再び生成することは可能でないが、これらの処理は元の画像の質の少なくとも幾らかを回復させるのに役立つ。しかしながら、質を高めるために、他の形式から変換された画像を処理するための、特に処理及び計算時間を最小限とする改善された方法及びシステムがなお必要とされている。
【０００７】
本発明の実施例によれば、ビデオ信号の解像度を高める方法は、標準精細度テレビジョン信号といった比較的低い解像度のビデオ信号を取得することを含む。ピーキング関数は低解像度信号に適用され、ピーキングされた信号はエッジである可能性のある画素を識別するために分析される。ピーキングされた信号は「アップコンバート」され、その解像度は所望の出力、即ち高精細度テレビジョン信号、の解像度まで高められる。次に、より高い解像度のビデオ信号に対して、特に以前のエッジである可能性があるとして識別されたものに対応する画素のところに、エッジ検出関数が適用される。検出されたエッジに対してエッジ連結が適用され、検出されたエッジに対して輝度遷移改善関数が適用され、処理された高解像度信号は高解像度ディスプレイに出力される。
【０００８】
本発明によれば、ピーキング関数の適用により、元の画像の知覚されたコントラストを高めることにより画質が高められる。即ち、人間の目には、画像のコントラストが特にそのテクスチャのある領域において高められて見える。ピーキング関数は、一般的にはアップコンバージョンの前に適用される。次に、エッジ検出器関数は、アップコンバートされた画素のうちのどれがエッジであるかを正確に決定するためにアップコンバージョンの後に適用される。本発明により提供される関数は、画像の特性の推定値を生成し、これにより画質を維持しつつ計算時間が減少される。画像中の検出されたエッジは連結され、画像は水平方向及び垂直方向に鮮鋭化される。本発明によれば、処理操作の複雑さをスケーリングし、実行される解像度の向上の水準を制御するために、種々のパラメータが変更されうる。
【０００９】
本発明の他の実施例及びその特徴は、添付の図面を参照して考えられる以下の詳細な説明から明らかとなろう。
【００１０】
本発明について幾つかの実施例に関連して示すが、本発明はこれらの実施例に限られるものではないことが理解されるべきである。逆に、特許請求の範囲に定義されるような本発明の趣旨及び範囲に含まれうる全ての代替案、変更、及び同等のものを網羅することが意図される。
【００１１】
ここで、本発明の実施例を説明するために与えられ制限するためではない図面を参照するに、図１中、本発明によるビデオ信号の解像度を向上させるための一つの方法を表わすフローチャートが示されている。この実施例では、ブロック１０２に示すようにビデオ信号は第１の解像度で取得される。テレビジョン及びビデオ信号は、一般的に、行と列に配置された画素の配列として形成される。配列は通常は方形ではなく、即ち、一般的に行の数は列の数と等しくない。１つの実施例では、取得された信号は、標準精細度テレビジョン（ＳＤＴＶ）信号であり、規格に従って、４８０ｉでフォーマットされる。本発明について、ＳＤＴＶ信号及び高精細度テレビジョン（ＨＤＴＶ）信号に関して説明するが、他の形式が利用可能であり、本発明は他の形式に対しても適用されうることが理解されるべきである。
【００１２】
ブロック１０４に示すように、ピーキング関数は取得された画像に適用される。概して、ピーキング関数を適用すると、画像のテクスチャのある領域中の知覚されるコントラストが高められることにより画質が高められる。ここで図２を参照するに、１つの実施例では、ピーキング関数は、ブロック２０２に示すように分離可能でない２次元の有限インパルス応答（ＦＩＲ）フィルタを用いて画像のコンボリューションをとり、ブロック２０４に示すようにコンボリューションから得られた値を元の画素値に加えることによって与えられる。１つの実施例では、９つの係数を有するＦＩＲフィルタが適用される。１つの実施例では、０  −１  ０；−１  ４  −１；０  −１  ０に等しい係数を有するＦＩＲフィルタを使用してうまく実施された。
【００１３】
再び図１を参照するに、ピーキング関数が取得された信号に適用された後、ブロック１０６に示すようにピーキングされた信号（以下、取得された信号にピーキング関数を適用することによって生ずる信号を「ピーキングされた」信号と称するものとする）は、どの画素がエッジである可能性があるかを決めるために分析される。図３を参照するに、１つの実施例では、この分析は、ブロック３０２に示すようにピーキングされた信号の１次導関数を得ること、及び、ブロック３０４においてこれを閾値と比較することを含む。この閾値は、一般的には続く計算の所望の複雑さに基づいて設定される。例えば、低い閾値は潜在的なエッジの数を増加させる一方で、高い閾値は計算を単純にして潜在的なエッジの数を減少させる。従って、本発明によれば、処理操作の複雑さは、計算時間の節約と画像強調のレベルの均衡を図るために、要求に応じてスケーリングされうる。所与の画素において１次導関数が閾値を超える場合、画素はエッジである可能性があり、ブロック３０８に示すように更なる処理を受ける。
【００１４】
上述したように、ビデオ信号は一般的には行と列に配置される。従って、ピーキング関数（及び本発明により信号に適用される他の関数）は、水平方向及び垂直方向に両方に適用される。信号の１次導関数は、画素値の差を計算することによって得ることができる。１つの実施例では、１次導関数は２つの隣接する画素の値の差を計算することによって得られる。
【００１５】
図１を参照するに、ブロック１０８に示すようにピーキングされた信号の解像度を高めるためにピーキングされた信号に対してアップコンバージョン操作が適用される。例えばアップコンバージョンは、４８０ｉでフォーマットされたＳＤＴＶ信号を１０８０ｉでＨＤＴＶで正しく表示されるよう変換しうる。１つの実施例では、アップコンバージョンは線形補間によって、即ち２つの隣接する画素を平均することによって行われる。他の実施例では、アップコンバージョンはガウシアン補間を用いて、即ち元々与えられた信号に対してコンボリューションを行いその結果にガウシアンフィルタを適用することによって行われる。尚、本発明について線形補間及びガウシアン補間を用いて説明するが、アップコンバージョンは他の方法で行われうる。
【００１６】
再び図１を参照するに、ブロック１１０に示すように、アップコンバートされた信号に対してエッジ検出関数が適用される。このような関数を適用することにより、以前に潜在的なエッジであると識別された画素のうちどれが、元々取得された画像中の真のエッジであるかが決定される。ここで図４を参照するに、本発明の１つの実施例では、エッジ検出は、ブロック４０２に示すようにピーク信号の２次導関数を計算することを含む。２次導関数は３つの隣接する画素の重み付けされた差を計算することによって取得されうる。ブロック４０６において、２つの隣接する画素に対する２次導関数の積がゼロ以下であれば、隣接する画素が反対の符号を有すること、又は、これらのうちの少なくとも１つがゼロであること（即ちゼロ交差があったこと）を意味するため、これらの画素のうちの少なくともどれかはエッジである可能性がある。この場合、ブロック４０８において、ピーキングされアップコンバートされた信号の３次導関数が計算され、ブロック４１０において第２の閾値と比較される。再び、この閾値の大きさは、処理操作の複雑さをスケーリングするために要求に応じて選択されうる。
【００１７】
信号の３次導関数は、そのゼロ交差率を表わす。これは、エッジの傾きが変化する率を示し、従ってエッジがどれだけ急であるかを示す。画素の３次導関数の値が小さすぎれば、画素は単にソフトエッジ又は半ソフトエッジである可能性が高く、解像度の向上を完了するために更なる処理は必要ではない。従って、ブロック４１２において３次導関数が第２の閾値を超えた場合にのみ画素はエッジとして分類される。１つの実施例では、第２の閾値は、以前に決定されたピーキングされた信号の１次導関数と定数の積に等しい。１つの実施例では、０．４５の大きさの定数を用いてうまく実施された。この実施例では、この定数の大きさは観察によって選択され、出力画像の質を維持しつつ、更なる解像度の向上から十分な量のソフトエッジを除去することを示した。
【００１８】
再び図１を参照するに、次にブロック１１２に示すようにエッジ連結関数が適用される。概して、エッジ連結は、不連続なエッジ点を連結し孤立したエッジ点を除去するために行われる。１つの実施例では、エッジ連結関数は、エッジ検出が完了した後にエッジであると指定された全ての画素に適用される。
【００１９】
図１を参照するに、次にブロック１１４において、アップコンバートされた信号のエッジに対して輝度遷移改善（「ＬＴＩ」）関数が適用される。ＬＴＩ関数は、一般的には緩やかな輝度遷移を急な遷移で置き換えるものであり、それによりエッジを鮮鋭化する。ＬＴＩは「サブピクセル」レベルで行われる。即ち、各画素は多数の部分（即ちサブピクセル）へ分割され、各サブピクセルの特性は、エッジが位置する画素内の正確な点を決定するために解析される。
【００２０】
１つの実施例では、画素の内側のエッジの位置を見つけるためにより高い解像度のビデオ信号に適用される関数は、
【００２１】
【数３】
2004527171.tif 000003
と定義され、但し、ｃは数学的な丸め関数（引数を最も近い整数へ丸める）であり、Ｎは各画素が分割されて得られるサブピクセルの数を表わし、ｘは評価されている画素を表わし、Ｌ”はより高い解像度のビデオ信号の２次導関数（Ｌは導関数を表わす）を表わす。この位置（エッジの中心とも称される）は、鮮鋭化処理を完了するためにアップコンバートされた画像に適用される所定のＬＴＩ多相ルックアップテーブル（「ＬＵＴ」）中でフィルタを選択するために使用される。更に特定的には、エッジの位置はＬＵＴにマップされる係数として使用され、対応するフィルタがＬＵＴから選択され検索される。フィルタはエッジ画素のコンボリューションをとり、結果は鮮鋭化を達成するためにエッジに加えられる。
【００２２】
識別されたエッジ点に隣接する画素もまた、画像の質の目に見える改善を与えるために強調されねばならない。従って、フィルタが適用される前に更なる画素が含まれることが望ましい。１つの実施例では、エッジ画素を含む４つの画素が含まれる。本実施例では、４つのフィルタはマッピング係数に関連付けられる。全ての４つのフィルタはＬＵＴから検索され、４つのコンボリューション結果が得られる。他の実施例では、６つの画素が解析され、６つのフィルタがマッピング係数に関連付けられる。従って、６つのフィルタは、６つのコンボリューション結果を得るためにＬＵＴから検索される。
【００２３】
エッジ連結の場合のように、本発明の１つの実施例では、ＬＴＩ関数はエッジ検出及び連結処理中にエッジであると指定された全ての画素に適用される。１つの実施例では、エッジ検出を受けるアップコンバートされた画像中の全ての画素は順次に処理される。かかる実施例では、画素位置を確認するために水平カウンタ及び垂直カウンタが使用されうる。カウンタは、最後の列の最後の行に位置する画素が処理されるまで各画素を順次に処理するためにインクリメントされうる。ブロック１１６において、画像全体は高精細度出力上で表示されうる。
【００２４】
１つの実施例では、元々与えられたビデオ信号は順次形式でありうるが、他の実施例では飛び越し形式でありうる。幾つかの状況では、ビデオ信号に更なる処理を与える前に、ビデオ信号を１つの形式から他の形式へ変換することが所望であることがある。例えば、１つの実施例では、本発明は順次形式の信号のみを処理するよう配置されうる。そのような場合、飛び越し形式で与えられるビデオ信号は、一般的にはステップ１０２において取得される前に順次形式に変換される。同様に、ビデオ信号を、処理後に他の形式へ変換することが望まれる場合がある。従って、以下の段階において順次形式で処理された信号は、ブロック１１６において飛び越し形式の信号を表示することのみができる装置上で表示されうる。これらの状況下では、処理された信号は、ディスプレイへ送信される前に順次形式から飛び越し形式へ変換されうる。ここでは、本発明について順次形式で処理された信号を用いて説明を行うが、飛び越し形式の信号を処理するために適応されうることが理解されるべきである。また、かかる場合に、ブロック１０２における取得の前に入力ビデオ信号は順次形式から飛び越し形式へ変換されえ、ブロック１１６において出力される前に飛び越し形式から順次形式へ戻るよう変換されうることが理解されるべきである。更に、本発明は信号を順次形式で取得し、これらを飛び越し形式で表示するよう、又はその逆を行うよう適応されうることが理解されよう。本発明の範囲内の全ての代替のものを含むことを意味する。
【００２５】
飛び越し形式で信号を出力する本発明の実施例では、定義により飛び越し形式では１つおきのライン（即ち行の１つおきの場所）には画素はないため、計算時間を節約するため、水平パス中は行の１つおきの画素の処理は飛ばされうる。尚、ＬＴＩ中、エッジ点に最も近い一方向上の４つ又は６つの画素（６つの画素ではなく４つの画素を処理することにより計算時間が節約される）は自然な鮮鋭化されたエッジを形成するために変更される。周囲の画素なしにエッジ点のみを変更すること、或いは、１つおきの画素においてＬＴＩの適用を飛ばすことは、アーティファクトを生じさせる。従って、水平パスとは異なり、垂直パス中の処理は列中の各画素を処理することを必要とし、なぜならばさもなければエッジ点を囲む画素は必要に応じて変更されないためである。
【００２６】
いったんＬＴＩ関数の適用が完了すると、ビデオ信号はアップコンバージョンの間に適用された解像度で表示される。本発明によって向上されるビデオ信号は、取得された画像よりも比較的高い解像度の信号であり、これらは高い画質で表示されうる。
【００２７】
図５に示すように、本発明によるビデオ信号の解像度を向上する回路１０は、テレビジョン放送スタジオ又は他のビデオ生成場所からの信号２を受け入れる受信器４を含みうる。信号２は回路６へ送信され、回路６においてアップコンバージョンされ、その解像度は本発明により向上される。向上回路６によって発生する出力信号は、テレビジョン画面へ供給される。図６を参照するに、信号２は、一般的には入力１２で受信され、チューナ１４へ送信される。回路１０は、一般的にはテレビジョンチューナの出力とテレビジョン画面８のどこかに配置される。
【００２８】
従って、本発明によれば、処理リソースを最小化しつつ画像の解像度を高める方法及びシステムが記載されている。本発明について、その望ましい実施例と共に説明したが、当業者によれば多くの代替案、変更、及び変形が明らかとなろう。従って、本発明は、特許請求の範囲の趣旨及び広い範囲に含まれる全てのかかる代替案、変更、及び変形を含むものであることが意図される。
【図面の簡単な説明】
【００２９】
【図１】本発明によるビデオ画像解像度向上の一例を示すブロック図である。
【図２】本発明により取得された信号に対してピーキング関数を適用する際に行われうる典型的な段階を示すブロック図である。
【図３】本発明によりどのようにして潜在的なエッジが識別されうるかを示すフローチャートである。
【図４】本発明によりどのようにしてエッジ検出が実行されうるかの例を示すフローチャートである。
【図５】本発明の一つの面による画像中で画素をセグメント化するために使用されうる回路の例を示す図である。
【図６】本発明により画像を表示するためにどのようにして図５の回路がテレビジョンシステムに組み込まれうるかを示す図である。
【図１】
2004527171.tif 000006
【図２】
2004527171.tif 000007
【図３】
2004527171.tif 000008
【図４】
2004527171.tif 000009
【図５】
2004527171.tif 000010
【国際公開パンフレット】
2004527171.tif 000011
2004527171.tif 000012
2004527171.tif 000013
2004527171.tif 000014
2004527171.tif 000015
2004527171.tif 000016
2004527171.tif 000017
2004527171.tif 000018
2004527171.tif 000019
2004527171.tif 000020
2004527171.tif 000021
2004527171.tif 000022
2004527171.tif 000023
2004527171.tif 000024
2004527171.tif 000025
2004527171.tif 000026
2004527171.tif 000027
2004527171.tif 000028
2004527171.tif 000029
2004527171.tif 000030
2004527171.tif 000031
2004527171.tif 000032
【国際調査報告】
2004527171.tif 000033
2004527171.tif 000034
2004527171.tif 000035