(57)【要約】【課題】ペナルティ関数によって空間−時間的な一致性にバイアスがかけられている誤差関数を利用することによって強調アルゴリズムの候補ベクトルを評価する、映像情報を強調するための技術を、映像信号プロセッサで使用するために提供すること。【解決手段】映像情報を強調する映像信号プロセッサは、ペナルティ関数によって空間−時間的な一致性にバイアスがかけられている誤差関数を利用することによって、強調アルゴリズムの候補ベクトルを評価する。このペナルティ関数は、候補ベクトルがそれに対して最適なブロックからの対象ブロックの（空間と時間の両方の）距離に応じて増加する。従って、強調は、空間と時間の両方について漸進的になり、かつ、強調された映像情報からは、空間−時間的に変化する認知可能なアーチファクトが本質的になくなる。【選択図】図２
2004519145.tif 000002
【特許請求の範囲】
【請求項１】
受信器で使用するための、空間−時間的な一致性を有する映像情報を強調するための映像強調機構であって、
− 強調された画素領域を各候補ベクトルに対して生成するために、強調アルゴリズムの少なくとも一つの候補強調ベクトルを利用することによって、映像情報の選択された画素領域の位置以外の特性を強調し、各当該強調された画素領域が、強調アルゴリズムの各候補強調ベクトルを利用することによって、当該選択された画素領域を強調したものに等しくなる、少なくとも一つの強調ユニットと、
− 当該選択された画素領域を含む画像内に空間的に隣接した画素領域と、当該選択された画素領域を含む当該画像に連続する一つ以上の画像内の同等の画素領域とに対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各当該強調された画素領域に対して誤差を計算し、空間−時間的な一致性にとって最良の強調を有する強調された画素領域を選択する、選択ユニットと、
を有する映像強調機構。
【請求項２】
当該少なくとも一つの候補強調ベクトルが、空間−時間的な一致性にとって最良の強調を、当該選択された画素領域の空間的かつ時間的な近隣範囲内の強調画素領域内に生じさせるために決定される強調ベクトルから選択される、請求項１に記載の映像強調機構。
【請求項３】
当該空間−時間的な一致性へのバイアスが、更に、
各候補強調ベクトルの係数に基づいて変化する第一ペナルティと、
各候補強調ベクトルに合わせて変化する第二ペナルティと、
を有する、請求項１に記載の映像強調機構。
【請求項４】
当該誤差が、当該映像情報内の各画素領域と、各画素領域のための各候補強調ベクトルとに対して画素領域ごとに計算される、請求項３に記載の映像強調機構２０１。
【請求項５】
− 映像情報を受け取る入力接続部と、
− 当該映像情報から導出された強調された画像が表示される表示装置と、
− 空間−時間的一致性を有する当該映像情報を強調するための映像強調機構であって、
− 各候補の強調ベクトルに対して強調された画素領域を生成するために、強調アルゴリズムの少なくとも一つの候補の強調ベクトルを利用することによって、映像情報の選択された画素領域の位置以外の特性を強調し、各当該強調された画素領域が、強調アルゴリズムの各候補の強調ベクトルを利用することによって、当該選択された画素領域を強調したものに等しくなる、強調ユニットと、
− 当該選択された画素領域を含む画像内の空間的に隣接した画素領域と、当該選択された画素領域を含む当該画像に連続する一つ以上の画像内の対応する画素領域に対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各当該強調された画素領域に対して誤差を計算し、空間−時間的な一致性にとって最良の強調を有する強調された画素領域を選択する、選択ユニットと、
を有する映像強調機構と、
を有する高解像度テレビ受信器。
【請求項６】
当該強調アルゴリズムの少なくとも一つの候補強調ベクトルが、当該選択された画素領域の空間的かつ時間的な近隣範囲内の強調画素領域内に、空間−時間的な一致性にとって最良の強調を生じさせるために決定される強調ベクトルから選択される、請求項５に記載の受信器。
【請求項７】
空間−時間的な一致性への当該バイアスが、更に、各候補強調ベクトルの係数に基づいて変化する当該第一ペナルティと、各候補強調ベクトルに合うように変化する当該第二ペナルティと、を有する、請求項５に記載の受信器。
【請求項８】
当該誤差が、当該映像情報内の各画素領域と、各画素領域のための各候補強調ベクトルとに対して画素領域ごとに計算される、請求項６に記載の受信器。
【請求項９】
受信器で使用するための、空間−時間的な一致性を有する映像情報を強調するための方法であって、
− 強調された画素領域を各候補の強調ベクトルに対して生成するために、強調アルゴリズムの少なくとも一つの候補強調ベクトルを利用することによって、映像情報の選択された画素領域の位置以外の特性を強調し、各強調された画素領域が、強調アルゴリズムの各候補強調ベクトルを利用することによって、前記選択された画素領域を強調したものに等しくなり、
− 前記選択された画素領域を含む画像内の空間的に隣接した画素領域と、前記選択された画素領域を含む前記画像に連続する一つ以上の画像内の同等の画素領域とに対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各強調された画素領域に対して誤差を計算し、
かつ、
− 空間−時間的な一致性にとって最良の強調を有する強調された画素領域を選択する、
方法。
【請求項１０】
強調された画素領域を各候補の強調ベクトルに対して生成するために、強調アルゴリズムの少なくとも一つの候補強調ベクトルを利用することによって、映像情報の選択された画素領域の位置以外の特性を強調する前記ステップが、更に、前記選択された画素領域の空間的かつ時間的な近隣範囲内の強調画素領域内に、空間−時間的な一致性にとって最良の強調を生じさせるために決定される強調ベクトルから、強調アルゴリズムの少なくとも一つの候補強調ベクトルを選択する、
請求項９に記載の方法。
【請求項１１】
前記選択された画素領域を含む画像内の空間的に隣接した画素領域と、前記選択された画素領域を含む前記画像に連続する一つ以上の画像内の同等の画素領域とに対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各強調された画素領域に対して誤差を計算する前記ステップが、更に、各候補強調ベクトルの係数に基づいて変化する前記第一ペナルティと、各候補強調ベクトルに合うように変化する前記第二ペナルティとを、前記バイアスとして前記誤差に加える、請求項９に記載の方法。
【請求項１２】
選択された画素領域を含む画像内の空間的に隣接した画素領域と、前記選択された画素領域を含む前記画像に連続する一つ以上の画像内の同等の画素領域とに対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各前記強調された画素領域に対して誤差を計算する前記ステップが、更に、前記映像情報内の各画素領域と、各画素領域のための各候補強調ベクトルとに対して、画素領域ごとに前記誤差を計算する、
請求項１１に記載の方法。
【請求項１３】
空間−時間的な一致性を有する映像情報を強調するための、コンピュータが使用可能な媒体内のコンピュータプログラム製品であって、
− 各候補の強調ベクトルに対して強調された画素領域を生成するために、強調アルゴリズムの少なくとも一つの候補強調ベクトルを利用することによって、映像情報の選択された画素領域の位置以外の特性を強調し、各強調された画素領域が、強調アルゴリズムの各候補強調ベクトルを利用することによって、前記選択された画素領域を強調したものに等しくなる命令と、
− 前記選択された画素領域を含む画像内の空間的に隣接した画素領域と、前記選択された画素領域を含む前記画像に連続する一つ以上の画像内の同等の画素領域とに対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各強調された画素領域に対して誤差を計算するための命令と、
− 空間−時間的な一致性にとって最良の強調を有する強調された画素領域を選択するための命令と、
を有する、コンピュータプログラム製品。
【請求項１４】
各候補の強調ベクトルに対して強調された画素領域を生成するために、強調アルゴリズムの少なくとも一つの候補強調ベクトルを利用することによって、映像情報の選択された画素領域の位置以外の特性を強調する前記命令が、更に、前記選択された画素領域の空間的かつ時間的な近隣範囲内の強調画素領域に、空間−時間的な一致性にとって最良の強調を生じさせるために決定される強調ベクトルから、強調ベクトルの前記少なくとも一つの候補強調ベクトルを選択するための命令、を有する、
請求項１３に記載のコンピュータプログラム製品。
【請求項１５】
前記選択された画素領域を含む画像内の空間的に隣接した画素領域と、前記選択された画素領域を含む前記画像に連続する一つ以上の画像内の同等の画素領域とに対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各強調された画素領域に対して誤差を計算するための前記命令が、更に、各候補強調ベクトルの係数に基づいて変化する前記第一ペナルティと、各候補強調ベクトルに合うように変化する前記第二ペナルティとを、前記バイアスとして前記誤差に加えるための命令を有する、請求項１４に記載のコンピュータプログラム製品。
【請求項１６】
前記選択された画素領域を含む画像内の空間的に隣接した画素領域と、前記選択された画素領域を含む前記画像に連続する一つ以上の画像内の同等の画素領域とに対する、各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、各強調された画素領域に対して誤差を計算するための前記命令が、更に、前記映像情報内の各画素領域と、各画素領域のための各候補強調ベクトルとに対して、画素領域ごとに前記誤差を計算するための命令を有する、
請求項１５に記載のコンピュータプログラム製品。
【請求項１７】
− 一つ以上の画像を含むデータストリームと、
− 当該画像の少なくとも一つの中の少なくとも一つの強調された画素領域であって、
各強調された画素領域が、候補の強調された画素領域を各候補の強調ベクトルに対して生成するために、強調アルゴリズムの少なくとも一つの候補強調ベクトルを利用することによって、当該受け取った映像情報の選択された画素領域の位置以外の特性を強調することによって、受け取った映像情報から導出され、各候補の強調された画素領域が、強調アルゴリズムの各候補強調ベクトルを利用することによって、当該選択された画素領域を強調したものに等しくなる、画素領域と、
を有する映像情報信号であって、
− 各画像内の各強調された画素領域が、
当該選択された画素領域を含む画像内の空間的に隣接した画素領域と、当該選択された画素領域を含む当該画像に連続する一つ以上の画像内の同等の画素領域とに対する、当該各強調された画素領域の空間−時間的な一致性へのバイアスを利用することによって、
誤差に対する当該候補の強調された画素領域内における空間−時間的な一致性にとって最良の強調を有する、
映像情報信号。
【請求項１８】
当該少なくとも一つの候補強調ベクトルが、当該選択された画素領域の空間的かつ時間的な近隣範囲内の強調画素領域内で生じる計算誤差値が最少になるように決定される強調ベクトルから選択される、請求項１７に記載の映像情報信号。
【請求項１９】
当該空間−時間的な一致性へのバイアスが、各候補強調ベクトルの係数に基づいて変化する当該第一ペナルティと、各候補強調ベクトルに合わせて変化する当該第二ペナルティとを有する、請求項１７に記載の映像情報信号。
【請求項２０】
任意の画像内の各当該強調された画素領域が、当該受け取った映像情報内の各画素領域と、各画素領域のための各候補強調ベクトルとに対して画素領域ごとに計算された当該誤差を利用することによって選択される、請求項１９に記載の映像情報信号。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、一般的に、映像強調システムと、より具体的には、映像強調の間の空間−時間的な一致性を維持することを目的とする。
【０００２】
【従来の技術】
多くの最新の高性能テレビ、特に、大画面製品とワイド画面製品は、通常の解像度とリフレッシュレートよりも高い空間−時間解像度を利用している。例えば、テレビ用表示装置には、標準的な５０ヘルツまたは６０ヘルツではなく、１００ヘルツ（Ｈｚ）の画面リフレッシュレートを使用することが出来る。しかしながら、受信するプログラム信号内のフィールドレート（テレビ用のインターレースされる画面の画像すなわち「フィールド」の数）は、典型的に５０フィールド／秒しかないため、表示のためのフィールド数を、二倍にしなければならない。
【０００３】
フィールドメモリ（テレビの完全なフィールドをデジタル化したものを格納することが出来るメモリ）を使用しているデジタルテレビの場合、フィールドレートを二倍にするための技術の１つは、単純に、フィールドメモリへの書き込みを第一レートで行い、かつ、フィールドメモリから読み出しを第一レートの二倍の第二レートで行うことである。しかしながら、フィールドを単純に繰り返すことによるこのようなフィールドレートの上位変換の結果、図５に図示されているように、各動きフェーズ（すなわちフレーム）が複数回表示されるため、動いている物体が、繰り返される動きフェーズにおけるそれらの予想される空間−時間的な位置から僅かに変位しているように見えてしまう。
【０００４】
ｎ−２， ｎ−１， ｎという３つのフィールドのシーケンスで画面を直線に横切る物体の空間−時間的な位置５０１ａ， ５０１ｂ， ５０１ｃが、図５に示されている。フィールドの繰り返しによってフィールドレートを上位変換することによって、物体の空間−時間位置が、予想される空間−時間位置５０２ａ，５０２ｂ， ５０２ｃではなく５０３ａ， ５０３ｂ， ５０３ｃになってしまう、中間フィールド（明示されていない）が生じる。
【０００５】
この変位は、映像カメラなどによって使用されている通常のフィールドレート（５０〜６０ Ｈｚ）で取り込まれた映像情報の場合、人間の目ではほとんど認識することが出来ないが、映画カメラは、電気マシンに関する歴史上の理由から、２４フレーム／秒の取り込みレートで動作している。近代の映画カメラはそのレートが改良されているが、かつては標準だった取り込みレートで記録された多くのフィルムが存在する。このようなフィルムの場合、通常、フィルムを約２５フレーム／秒で回し、かつ次に、隣接する同一フィールドの対が映像情報の中に作成されるように各フレームを二回走査することによって、テレビ表示装置に合わせた変換が行われる。
【０００６】
テレビ用にフォーマットされている映画を、単純なフィールド繰り返しを利用することによってより高いフィールドレートに上位変換すると、既に複製されているフィールドが再度複製されるために、４つの同一フィールドのシーケンスが映像情報の中に作成されてしまい、結果的に大量の動きジターと画像のぼやけが発生してしまう。これらの問題に対処するため、動きが補償されている補間を行うための、３次元の帰納的検索ブロックマッチングのような動き補償技術が開発されている。例えば、「動き評価と補償−消費者向け表示装置のフィールドレート変換に関する統合的アプローチ（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｃｏｍｐｅｎｓａｔｉｏｎ − Ａｎ Ｉｎｔｅｇｒａｔｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｃｏｎｓｕｍｅｒ ＤｉｓｐｌａｙＦｉｅｌｄ Ｒａｔｅ Ｃｏｎｖｅｒｓｉｏｎ）」（Ｇ． ｄｅ Ｈａａｎ、ＩＳＢＮ ９０−７４４４５−０１−２）、および、「３次元の帰納的検索ブロックマッチングによる真の動き評価（Ｔｒｕｅ−Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ Ｒｅｃｕｒｓｉｖｅ Ｓｅａｒｃｈ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ）」（Ｇ． ｄｅ Ｈａａｎ外、映像技術のための回路とシステムに関するアメリカ電気・電子通信学会報告書、３（５）：１９９３年１０月号、３６８〜３７９頁）を参照されたい。
【０００７】
高解像度テレビ（ＨＤＴＶ）は、フィールドレート上位変換とは異なる要件（これに追加する要件、または、これに代わる要件の何れかとして）、すなわち、画像解像度の強調を課すことが多い。図６Ａと図６Ｂに図示されているように、画像解像度を強調するためには、１つの解像度とこれに対応する画素サイズ６０１ａおよび／または画素密度６０２ａから、より小さい画素サイズ６０１ｂおよび／またはより大きな画素密度６０２ｂを有する高い解像度への上位変換が必要である。必要な追加の画素を元の映像情報から生成するために、公知の補間技術が使用される。
【０００８】
従来技術において公知の通り、画像中のエッジの形状または大きさは、この画像の「鮮明度」に対する全体的な印象に著しく寄与する。従って、画像解像度強調時に使用するための、周波数ピーキングと輝度の一時的な改良（ＬＴＩ）のような様々なエッジ強調技術が、開発されている。周波数ピーキングとは、画像内の選択された空間周波数を線形に高めること、すなわち「ピーキング」することであり、多くの場合、関連する空間周波数を強調するためのバンドパスフィルタまたはハイパスフィルタを使用し、かつ例えば、大きくかつ険しいエッジのピーキングに関連する「不自然さ」を防ぐための適応制御を行う。周波数ピーキングとは異なり、輝度を一時的に向上させることにより、エッジの大きさは維持されるが、エッジの険しさが増加してしまい、両側のエッジ近くのサンプルがこのエッジの方に「引き寄せ」られてしまう。
【０００９】
既存のエッジ強調アルゴリズムは、元の画像の空間情報に基づいて画像の鮮明さを強調し、多くの場合、所定の画素位置の小さい近隣空間によって決定される制御パラメータを利用する。これらの技術は、一般的に、静止画像には十分だが、ノイズ、動き、または照明条件のような（但し、これらに限定されない）時間が経つと変化する映像情報内の条件、または空間−時間的に変化する条件でさえ、厄介なアーチファクトを処理済みの映像情報内に発生させてしまう場合がある。従来のパラメータ調整によって、このようなアーチファクトを防ぐことが出来るが、同時にこの強調を制約してしまう。
【００１０】
従って、従来技術の場合、強調された画像データを含むフィールド内の空間的に取り囲む（強調された）画像データと、その後のフィールド内の相当または対応する画像データとの両方に対する、空間−時間的な一致性、または強調された画像データの一致性を有する映像情報を強調する必要がある。
【００１１】
従来技術に関する上述の欠点に対処するため、本発明の第一目的は、ペナルティ関数によって空間−時間的な一致性にバイアスがかけられている誤差関数を利用することによって強調アルゴリズムの候補ベクトルを評価する、映像情報を強調するための技術を、映像信号プロセッサで使用するために提供することである。このペナルティ関数は、候補ベクトルがそれに対して最適なブロックからの対象ブロックの（空間と時間の両方の）距離に応じて増加する。従って、強調は、空間と時間の両方について漸進的になり、強調された映像情報から、認知可能なアーチファクトが本質的になくなる。
【００１２】
前述の説明は、当業者が、以下の発明の詳細な説明をより良く理解することが出来るように、本発明の特徴と技術的な利点とをかなり広く概説している。本発明の請求項の対象を形成する本発明の更なる特徴と効果とを、以下に説明する。当業者は、開示されている考え方と特定の実施例を、本発明と同じ目的を実行するための他の構造体を修正または設計するための基礎として容易に使用することが出来ることを、認識するであろう。当業者は、このような同等の構造体が、本発明のその最も広い形態における精神と範囲から逸脱しないことも認識するであろう。
【００１３】
本発明を以下に詳述する前に、この特許出願明細書の全体に渡って使用されている特定の語または語句の定義を記載することが、好都合であろう。「含む」と「有する」という語とこれらの派生語は、限定することなく含むことを意味する。「または」という語は包括的であり、および／または、を意味する。「関連する」と「それに関連する」という語句とその派生語は、含む、含まれる、相互接続する、包含する、包含される、接続する、結合する、伝達可能である、協同する、交互配置する、並置する、近くにある、結合される、有する、属性を有する、などを意味する。「制御装置」という語は、このような装置が、ハードウエア、ファームウエア、ソフトウエア、または、これらの少なくとも２つのある組合せによって実行されるか否かに関わらず、少なくとも一つの動作を制御するいかなる装置、いかなるシステム、またはこれらのいかなる部品を意味する。注目すべき点は、任意の特定の制御装置に関連する機能が、局所的であるかまたは遠隔的であるかに関わらず、集中化または分配化が可能なことである。特定の語と語句の定義が、この特許出願明細書の全体に設けられており、かつ当業者は、このような定義が、このように定義されている語と語句の、ほとんどではなくとも多くの従来と将来の使用例に適用されることを理解するであろう。
【００１４】
次に、本発明をより完全に理解し、かつその利点を得るために、添付の図面と共に引用すべき図面の簡単な説明を参照する。図中、類似の数字は類似の対象を示している。
【００１５】
以下に解説されている図１〜図４と、この特許出願明細書中の本発明の原理を説明するために用いられている様々な実施例とは、説明のみを目的としており、かついかなる場合においても、本発明の範囲を制限するものと解釈すべきではない。当業者は、本発明の原理が、任意の適切に構成された装置で実行可能であることを理解するであろう。
【００１６】
【発明を実施するための形態】
図１は、空間−時間的な一致性を有する映像強調が、本発明の一実施例によって実行されるシステムを表す。システム１００は、受信器１０１を含んでおり、これは、この例示的な実施例の場合、高解像度デジタルテレビ（ＨＤＴＶ）の大画面またはワイド画面のテレビ受信器である。しかしながら、これに代えて、受信器１０１を、映像信号を受信または送受信するために使用される、中間の送受信装置または他の任意の装置（例えば、高品位テレビが受信するための映像情報を再転送する送受信装置）にすることも出来る。受信器１０１は、いかなる実施例の場合にも、以下に更に詳述されている映像強調機構を含む。
【００１７】
受信器１０１は、映像信号を受け取るための入力１０２を含み、かつオプションで、強調された映像信号を他の装置に転送するための出力１０３を含むことが出来る。この例示的な実施例の場合、受信器１０１は、強調された映像情報によってレンダリングされた画像、または他の方法で生成された画像が表示される、高解像度テレビ表示装置１０４を含む。
【００１８】
当業者は、図１が、例示的な実施例の高解像度テレビ受信器内部の構成要素を全て明確に表している訳ではないことを理解するであろう。本願明細書の場合、本発明に特有であり、および／または、本発明を理解するために必要な、高解像度テレビ受信器とその中の構成要素の一般に公知の構造と動作しか示されていないし、説明もされていない。
【００１９】
図２は、本発明の一実施例による空間−時間的な一致性を有する映像強調のシステムを、非常に詳細に示している。受信器１０１は、単一の集積回路装置または複数の集積回路装置の組合せによって実行可能な映像信号プロセッサ２０１を含む。映像信号プロセッサ２０１は、映像強調処理を実行する強調ベクトル評価装置２０２と強調プロセッサ２０３とを含む。例示的な実施例の映像信号プロセッサ２０１は、強調された映像出力が、そこから表示装置１０４または格納媒体（図示せず）に転送される装置である。
【００２０】
強調プロセッサ２０３は、表示装置用の映像を強調するために必要な、受け取った映像信号に対する処理を行う。画像強調または映像強調とは、「失われた」（画像／映像）情報の修復、アーチファクトの除去、および、選択された画像／映像特性の強調、の３つの分類に分けることが可能な広範な分野である。本発明は、映像強調のいかなる特定の分類にも限定されていないが、簡潔のために、（第三分類に入る）解像度強調が、本発明を説明するために利用されるであろう。それでもなお、当業者は、本発明は解像度強調以外の映像強調へ適合化または拡張化することが容易に可能であり、かつ、列挙した３つの分類の何れかに入ることを理解するであろう。
【００２１】
強調プロセッサ２０３は、例示的な実施例の強調ベクトル評価装置２０２と共に、受け取った映像情報に対する空間解像度強調を行う。本発明による強調ベクトル評価技術は、上記で明らかにした参照文献に説明されている、帰納的検索ブロックマッチングによる動き評価処理に類似している。
【００２２】
映像強調を行うため、強調ベクトル評価装置２０２は、画素のブロック処理に関する画素情報を一時的に格納するための一つ以上のキャッシュ２０５ａ〜２０５ｎと、一つ以上のブロック強調ユニット２０６ａ〜２０６ｎと、強調ベクトルメモリ２０７と、以下に更に詳述されている、最良の強調をブロックごとに識別しかつ選択する最良の強調を選択するユニット２０８と、を含む。
【００２３】
図３は、本発明の一実施例による空間−時間的な一致性を有する映像強調のための映像情報の論理的構成を示す。図示されている構成は、図２に表されている映像信号プロセッサ２０１によって、ブロック強調のために使用される。強調される映像情報には、規定のレートでシーケンスに表示される複数の連続的な画像（これは、フィールドまたはフレームのどちらでも良い）が含まれている。ここで使用されている「連続的な」とは、このシーケンス内の他の画像に対して連続的に連なっている対象画像を示しており、この対象画像が、映像情報内の他の画像の前にあるのか、または後ろにあるのかという点は無関係である。図３に、画像のシーケンスの一部、ｎ−２，ｎ−１， ｎ， ｎ＋１， ｎ＋２が示されている。各画像は、この画像の左下端からの座標を有する、二次元の画素配列（ｘ， ｙ）を有する。ここで、配列関数
2004519145.tif 000003
は、最初の（低い）空間解像度における映像情報内の位置
2004519145.tif 000004
の画素値とフィールド番号ｎを表している。各画像は、画素数が幅と高さに対して規定されており、かつ中心
2004519145.tif 000005
を有する、画素ブロックの配列
2004519145.tif 000006
に論理的に分割される。ブロック領域または画素領域は、図示されている矩形または他の任意の形状にすることが出来る。
【００２４】
映像信号処理器２０１内のブロック強調ユニット２０６ａ〜２０６ｎは、受け取った映像情報をブロックごとに強調する。本発明を説明するために、上述したように、空間解像度強調が使用されるであろう。具体的には、本発明を説明するために、入力される映像の空間解像度を、フィールドの両方の空間寸法の２倍だけ増加させるであろう。
【００２５】
最初は、低い解像度の映像情報
2004519145.tif 000007
に基づく高い空間解像度の映像情報
2004519145.tif 000008
の初期評価値を、単純な空間上位変換によって作成することが出来る。すなわち、高い解像度の画像を得るために、ブロック強調ユニット２０６ａ〜２０６ｎ内のサンプル−レート変換補間フィルタが使用される。
【００２６】
高い解像度の映像情報
2004519145.tif 000009
から低い解像度の映像情報
2004519145.tif 000010
への下位変換を規定する下位変換動作Ｔ（ ）（これは、
2004519145.tif 000011
として与えられる）は、所定のブロック
2004519145.tif 000012
の最良の強調を選択するための誤差基準に使用される。この誤差基準、すなわち、強調された映像情報
2004519145.tif 000013
の性能基準は、最初の低解像度映像情報
2004519145.tif 000014
と、高解像度映像情報
2004519145.tif 000015
を下位変換することによって得られる低解像度映像情報
2004519145.tif 000016
との相違に基づいており、かつ、以下の式によって与えられる。
2004519145.tif 000017
式中、
2004519145.tif 000018
は、以下の式によって映像情報
2004519145.tif 000019
を作成するために利用される係数から成る強調ベクトル
2004519145.tif 000020
の候補である。
2004519145.tif 000021
上記の式中のＷｉ（）は、画像データの品質が、アルゴリズム集合内のアルゴリズムによって強調されることを示す（空間解像度は、サンプルレート変換によって既に強調されている）。例えば、
2004519145.tif 000022
は、周波数のピーキング後の画像データである一方、
2004519145.tif 000023
は、輝度が一時的に向上した後の結果である場合がある。
【００２７】
上記の誤差関数中のペナルティＰｉは、強調ベクトルＶのノルムを単調に減少させる関数であり、小さい係数には大きなペナルティを課し、かつ、大きな係数には小さいペナルティを課す。ペナルティＰ２は、選択された強調ベクトル候補
2004519145.tif 000024
に依存しているため、強調ベクトルＶのバイアスを空間−時間的に一致したソリューションにかけるために使用される。従って、ペナルティＰ２の値は、この用途に対して最適化されているペナルティ値の規定の一覧から選択される。
【００２８】
各強調ベクトル候補
2004519145.tif 000025
は、処理中のブロック
2004519145.tif 000026
周辺の空間−時間的な近隣範囲内のブロックに対して生じる誤差関数値が最小になるように規定されている強調ベクトルから選択することが好ましい。例えば、上記の参照文献の一つは、帰納的検索ブロックマッチングによる動き評価のための「Ｙ−予測」評価装置を提案している。この場合、空間予測ベクトル候補
2004519145.tif 000027
と
2004519145.tif 000028
は、対象ブロック
2004519145.tif 000029
の１ブロック寸法分上にあり、かつ、対象ブロック
2004519145.tif 000030
と同じフィールドの一方の側とその範囲内とにあるブロックに対して選択されたベクトルである一方、時間予測候補
2004519145.tif 000031
は、２ブロック分真下にあり、かつ、対象ブロック
2004519145.tif 000032
を含むフィールドｎの前のフィールドｎ−１の中にあるブロックに対して選択されるベクトルである。対象ブロック
2004519145.tif 000033
の近隣範囲内の他のブロックにとって最良の結果を生じる強調に類似の強調は、対象ブロック
2004519145.tif 000034
にとって最良の結果を生じる可能性が非常に高いため、対象ブロック
2004519145.tif 000035
の空間−時間的な近隣範囲内に最良の結果を生じた強調ベクトルから候補の強調ベクトルを選択することによって、最良の強調（対象ブロック
2004519145.tif 000036
の場合、発生する誤差が最少の強調ベクトル、または、強調された結果に対する他の適切な基準）を決定する処理が速くなる。
【００２９】
これに代えて、強調アルゴリズムの全ての可能な候補ベクトルを、ブロックごとに検査することも可能である。更に、例えば、映像情報の最初の少数フィールドに対して全ての可能な候補ベクトルを検査し、次に、残りのフィールドに対して候補ベクトルのより小さい部分集合を使用した場合、または映像情報の処理時に、選択された候補ベクトルを他の方法で改善した場合、使用されている候補ベクトルの集合が、映像情報の処理の間に変化してしまう場合がある。１つの候補が、任意の更新ベクトルによって常に更新されていることが好ましい。発生する誤差
2004519145.tif 000037
が最少の候補が、対象ブロック
2004519145.tif 000038
の範囲内のデータに対する強調ベクトルとして選択されている場合、幾つかの候補が互いに競合してしまう場合がある。
【００３０】
本発明によって、特定ブロックの空間解像度の上位変換にとってほぼ最適な結果を得るために使用可能な強調ベクトルが、ブロックごとに選択される。空間−時間的な一致性は、自動的に達成される。ブロッキングアーチファクトを防ぐために、上記の参照文献に開示されている処理に類似した（但し、これに限定されない）ブロック浸食を使用することが出来る。
【００３１】
図４は、本発明の一実施例による空間−時間的な一致性を有する映像強調処理の高水準なフローチャートである。処理４００は、図３に示されている映像情報の論理的構成を利用する、図２に表されている映像信号プロセッサ２０２によって行われ、強調のための映像情報を受け取る（ステップ４０１）と開始する。上述のように、この処理は様々なタイプの強調に対して実行可能だが、この処理を説明するために、空間解像度強調が用いられるであろう。
【００３２】
最初に、受け取った映像情報の現在のフィールド範囲内のブロックが選択される（ステップ４０２）と、単純な強調（この場合は、サンプルレート変換）が行われる。このブロックには、周波数ピーキングと輝度の一時的な改善のような、共同または個別に使用される一つ以上の強調アルゴリズムから成る複数の選択された候補強調ベクトルの各々を利用した強調も行われる。
【００３３】
次に、誤差関数の値（この誤差関数には、空間−時間的な一致性へのバイアスが含まれている）が、各候補強調ベクトルに対して計算され（ステップ４０４）、かつ、最も低い誤差関数値を有する候補ベクトルに対応する強調が選択され（ステップ４０５）、強調されたフィールドの一部として表示される。
【００３４】
次に、現在のフィールド範囲内の全てのブロックが処理されたか否かに関する決定が行われる（ステップ４０６）。その後、更にブロックが残っている場合、現在のフィールド範囲内の次のブロックが選択かつ処理され（ステップ４０７）、かつ、現在のフィールドが完全に処理されている場合、次のフィールドの処理が開始する（ステップ４０８）。この処理は、一度開始すると、受信器がオフになる、または映像情報の受信が中断されるような外部の影響によって中断されるまで続く。
【００３５】
本発明によって、（繰り返されるフィールド内の位置以外の）映像情報に対する強調を、空間−時間的な一致性を有する結果を本質的に生む方法によって処理することが可能になる。強調アルゴリズムの最良の強調ベクトルを選択するために使用される誤差関数のバイアスは、候補ベクトルが空間と時間の一方または両方によって強調されるブロックと異なると増加するペナルティを加えることによって、空間−時間的な一致性にかかる。この結果、この選択された強調は、空間と時間について漸進的で、かつ空間−時間的な様々なアーチファクトが本質的にない変化を生じる。
【００３６】
重要な点は、完全に機能するハードウエアによるシステムおよび／またはネットワークに関連付けて本発明を説明してきたが、当業者は、本発明の機構が、様々な形式の命令を含むマシンが使用可能な媒体の形態で実施可能であり、かつ、本発明が、この実施を実際に行うために利用される信号を伝える媒体の特定のタイプとは関わりなく同等に適用可能であることを認識するであろうことに注目することである。マシンが使用可能な媒体の例には、読出し専用メモリ（ＲＯＭ）または消去可能で電気的プログラミングが可能な読出し専用メモリ（ＥＥＰＲＯＭ）のような不揮発性のハードコードされたタイプの媒体、フロッピー（登録商標）ディスク、ハードディスク装置、かつコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）のような記録可能なタイプの媒体、かつ、デジタル通信リンクとアナログ通信リンクのような転送タイプの媒体が含まれる。
【００３７】
本発明を詳細に説明してきたが、本発明の最も広い形態の趣旨と範囲とから逸脱することなく、本発明を様々に変更、置き換え、および修正することが出来ることを、当業者は理解するであろう。
【図面の簡単な説明】
【図１】本発明の一実施例による空間−時間的な一致性を有する映像強調が実施されるシステムを表す。
【図２】本発明の一実施例による空間−時間的な一致性を有する映像強調を行うためのシステムをより詳細に示す。
【図３】本発明の一実施例による空間−時間的な一致性を有する映像強調を行うための映像情報の論理構成を示す。
【図４】本発明の一実施例による空間−時間的な一致性を有する映像強調の処理に関する高水準なフローチャートである。
【図５】フィールド繰り返しによるフィールドレート変換の結果生じた、動く物体の予想された位置からの変位を示す。
【図６Ａ】空間解像度強調に関する相対図である。
【図６Ｂ】空間解像度強調に関する相対図である。
【符号の説明】
１００…システム
１０１…受信器
１０２…入力
１０３…出力
１０４…表示装置
２０１…映像強調機構
２０２…強調ベクトル評価装置
２０３…強調プロセッサ
２０５ａ…キャッシュ
２０５ｎ…キャッシュ
２０６ａ…ブロック強調ユニット
２０６ｎ…ブロック強調ユニット
２０７…強調ベクトルメモリ
２０８…選択ユニット
４００…処理
４０１…強調のための映像情報を受け取るステップ
４０２…受け取った映像情報の現在のフィールド範囲内のブロックが選択されるステップ
４０４…誤差関数の値が、各候補強調ベクトルに対して計算されるステップ
４０５…最も低い誤差関数値を有する候補ベクトルに対応する強調が選択されるステップ
４０６…現在のフィールド範囲内の全てのブロックが処理されたか否かに関する決定が行われるステップ
４０７…現在のフィールド範囲内の次のブロックが選択かつ処理されるステップ
４０８…次のフィールドの処理が開始するステップ
５０１ａ…空間−時間的な位置
５０１ｂ…空間−時間的な位置
５０１ｃ…空間−時間的な位置
５０２ａ…予想される空間−時間位置
５０２ｂ…予想される空間−時間位置
５０２ｃ…予想される空間−時間位置
６０１ａ…画素サイズ
６０１ｂ…小さい画素サイズ
６０２ａ…画素密度
６０２ｂ…大きな画素密度
【図１】
2004519145.tif 000039
【図２】
2004519145.tif 000040
【図３】
2004519145.tif 000041
【図４】
2004519145.tif 000042
【図５】
2004519145.tif 000043
【図６Ａ】
2004519145.tif 000044
【図６Ｂ】
2004519145.tif 000045
【国際公開パンフレット】
2004519145.tif 000046
2004519145.tif 000047
2004519145.tif 000048
2004519145.tif 000049
2004519145.tif 000050
2004519145.tif 000051
2004519145.tif 000052
2004519145.tif 000053
2004519145.tif 000054
2004519145.tif 000055
2004519145.tif 000056
2004519145.tif 000057
2004519145.tif 000058
2004519145.tif 000059
2004519145.tif 000060
2004519145.tif 000061
2004519145.tif 000062
2004519145.tif 000063
2004519145.tif 000064
2004519145.tif 000065
2004519145.tif 000066
【国際公開パンフレット（コレクトバージョン）】
2004519145.tif 000067
2004519145.tif 000068
【国際調査報告】
2004519145.tif 000069
2004519145.tif 000070