(57)【特許請求の範囲】
【請求項１】
ディスプレイデバイス上に表示されるべき連続画像を処理する映像処理ユニットであって、特定の画像が複数のサブフィールドと呼ばれる複数の期間に表示され、各サブフィールドは、このサブフィールドにおいて生成された各々の強度レベルに対応する各々の重みを有しており、
特定のピクセルに対して、現在のサブフィールドに対応する時間内のポイントでの所望の強度レベルを、連続画像からの動き見積もりに基づいて、計算する第１の強度計算手段と、
上記特定のピクセルに対して、現在の動きベクトルを、動き見積もりから得る動きベクトル取得手段と、
多数のより前に処理されたサブフィールドがある場合はそれらに渡って、上記動きベクトル取得手段によって得られた上記動きベクトルに沿って、人の目によって総和される累積された強度レベルを計算する第２の強度計算手段と、
現在のサブフィールド、及び一若しくはそれ以上の連続したサブフィールドがある場合にはそれらのサブフィールドにおいて生成されるべきターゲット強度を、上記第２の強度計算手段により計算された上記累積された強度レベルと上記第１の強度計算手段により計算された上記所望の強度レベルとに基づいて、計算する第３の強度計算手段と、
上記特定のピクセルが上記現在のサブフィールドにおいて点灯されるべきかどうかを、上記ターゲット強度レベルと上記現在のサブフィールドの重みとに基づいて、判断する判断手段とを含み、
上記第３の強度計算手段は、上記所望の強度レベルから上記累積された強度レベルを減算されたものに等しいような上記ターゲット強度レベルを計算するように構成され、上記判断手段は、上記ターゲット強度レベルが上記現在のサブフィールドの上記重みと等しいかより大きい場合に、上記特定のピクセルが上記現在のサブフィールドにおいて点灯されるべきことを判断するように構成された、映像処理ユニット。
【請求項２】
画像毎に上記サブフィールドを、上記サブフィールドの重みの大きい順に、処理するように配列された請求項１記載の映像処理ユニット。
【請求項３】
上記判断手段は、上記所望の強度レベルとピクセル集合に対して上記累積された強度レベルとの間の絶対差の合計の最小値に基づいて、上記特定のピクセルが上記現在のサブフィールドにおいて点灯されるべきことを判断するように配列された、請求項１記載の映像処理ユニット。
【請求項４】
上記判断手段は、上記所望の強度レベルとピクセル集合に対して上記累積された強度レベルとの間の絶対差の平方の合計の最小値に基づいて、上記特定のピクセルが上記現在のサブフィールドにおいて点灯されるべきことを判断するように配列された、請求項１記載の映像処理ユニット。
【請求項５】
画像の連続を表現する信号を受信する受信手段と、請求項１乃至４のいずれかによる映像処理ユニットと、上記画像の連続を表示する表示デバイスとを含む、画像の連続を表示するディスプレイ装置。
【請求項６】
ディスプレイデバイス上に表示されるべき連続画像を処理する方法であって、特定の画像が複数のサブフィールドと呼ばれる複数の期間に表示され、各サブフィールドは、このサブフィールドにおいて生成された各々の強度レベルに対応する各々の重みを有しており、
特定のピクセルに対して、現在のサブフィールドに対応する時間内のポイントでの所望の強度レベルを、上記連続画像からの動き見積もりに基づいて、計算し、
上記動き見積もりから、上記特定のピクセルに対する現在の動きベクトルを求め、
多数のより前に処理されたサブフィールドがある場合はそれらに渡って、上記動きベクトルに沿って、人の目によって総和される累積された強度レベルを計算し、
現在のサブフィールド、及び一若しくはそれ以上の連続したサブフィールドがある場合にはそれらのサブフィールドにおいて生成されるべきターゲット強度を、上記累積された強度レベルと上記所望の強度レベルとの差に基づいて、計算し、
上記特定のピクセルが上記現在のサブフィールドにおいて点灯されるべきかどうかを、上記ターゲット強度と上記現在のサブフィールドの上記重みに基づいて、判断し、
上記ターゲット強度レベルは、上記所望の強度レベルから上記累積された強度レベルが減算されたのに等しくなるように計算され、上記現在のサブフィールドにおいて、上記ターゲット強度レベルが上記現在のサブフィールドの上記重みと等しいかより大きい場合に、上記特定のピクセルを点灯することが判断される方法。
【請求項７】
上記サブフィールドは、画像ごとに、上記サブフィールドの重みの大きい順に、処理される、請求項６記載の方法。
【請求項８】
ピクセルの集合に対して上記累積された強度レベルと上記所望の強度レベルとの間の絶対差の和の最小に基づいて、上記現在のサブフィールドにおいて、上記特定のピクセルを点灯することが判断される、請求項６記載の方法。
【発明の詳細な説明】
【０００１】
本発明は、ディスプレイデバイス上に表示されるべき連続画像を処理する映像処理ユニットに係り、上記処理ユニットにおいて、特定の画像がサブフィールドと呼ばれる複数の期間で表示され、サブフィールドのそれぞれは、かかるサブフィールドで生成された各々の強度レベルに対応した各々の重みを有する。
【０００２】
本発明は、更に、かかる映像ユニットを含むディスプレイ装置に関する。
【０００３】
本発明は、更に、ディスプレイデバイス上で表示されるべき連続画像を処理する方法に係り、上記方法においては、特定の画像がサブフィールドと呼ばれる複数の期間で表示され、サブフィールドのそれぞれは、かかるサブフィールドで生成された各々の強度レベルに対応した各々の重みを有する。
【０００４】
米国特許第5,841,413号は、複数のサブフィールドで駆動されるプラズマディスプレイパネルを開示する。プラズマディスプレイパネルは、オンとオフとに切換えられるできる複数のセルからなる。セルは、パネル上に表示されるべき画像のピクセル（画像素子）と対応する。プラズマディスプレイパネルの作動時、三つの位相が識別されることができる。第１の位相は、パネルの全てのセルの記憶が消される消去位相である。第２の位相は、オンにされるべきパネルのセルが、電極に適切な電圧を設定することによって、調整されるアドレス位相である。第３の位相は、アドレスされたセルが持続位相の持続時間に光を放出（発光）するように引き起こすセルに持続パルスを印加する持続位相である。プラズマディスプレイパネルは、かかる持続位相中に光を放出する。三つの位相は共に、サブフィールド期間若しくは単にサブフィールドと呼ばれる。単一の画像、若しくはフレームは、パネル上に、多くの連続したサブフィールド期間、表示される。セルは、一若しくはそれ以上のサブフィールド期間、オンにされる。オンにされるサブフィールド期間にセルによって放出された光は、そのセルに対して対応した強度を認識する観測者の眼の中で総和される。特定のサブフィールド期間において、持続位相が、特定時間、維持されることで、活性化されたセルの特定の照明レベルを生じる。一般的には、異なるサブフィールドは、持続位相の異なる持続時間を有する。サブフィールドは、フレーム期間全体の間、パネルによって放出された光への寄与を表現するため、重み係数を付与される。一例は、重み係数1,2,4,8,16,32をそれぞれ有する６つのサブフィールドを備えたプラズマディスプレイパネルである。セルがオンとされる適切なサブフィールドを選択することによって、64個の異なる強度レベルがこのパネル上に画像を表示するときに実現されることができる。プラズマディスプレイパネルが、6ビットのバイナリコードワードを使用して駆動されることにより、コードワードがバイナリ形式でピクセルの強度レベルを特定することになる。
【０００５】
上述のように、異なるサブフィールドにおける所定のピクセルに対しての光放出は、観測者の眼の中で総和されて、そのピクセルに対して一定の強度レベルを生むことになる。移動する対象が表示される場合、画像にアーティファクトが生じる。かかる状況では、観測者は、移動する対象を追跡し、眼がサブフィールド間を移動するようになる。光放出の総和は、一定の強度の一ピクセルとしてもはや認識されることことなく、異なる場所から生じた光として認識される。特許出願JP8211848は、画像間の動きを補償するための動きを見積もるアプリケーションを開示する。所定のサブフィールド時、ピクセルは、特定にサブフィールドに対する遅れと動きベクトルとを基に補正された位置に、原位置から移動される。ピクセルは、一般的には、サブピクセル位置に移動される、即ち、補正された位置は、その他のピクセルの場所と一致しない。問題は、セルが特定のサブフィールドにおいてオンにされるか否かの判断がピクセルレベルでなされるべきであることである。特定のピクセルに対して、セルがオン若しくはオフにされ、補正された位置が完全にはこの特定のピクセルと一致していないという事実を考慮するため、瞬間にセルをオンにすることができない。
【０００６】
本発明の目的は、動きアーティファクトの改善された削減を備えた前提部に述べられた映像処理ユニットを提供することにある。この目的は、次の構成、即ち、特定のピクセルに対して、現在のサブフィールドに対応する時間内のポイントでの所望の強度レベルを、連続画像からの動き見積もりに基づいて、計算する第１の強度計算手段と、上記特定のピクセルに対して、現在の動きベクトルを、動き見積もりから得る手段と、多数のより前に処理されたサブフィールドがある場合はそれらに渡って、上記動きベクトルに沿って、人の目によって総和される累積された強度レベルを計算する第２の強度計算手段と、現在のサブフィールド、及び一若しくはそれ以上の連続したサブフィールドがある場合にはそれらのサブフィールドにおいて生成されるべきターゲット強度を、上記累積された強度レベルと上記所望の強度レベルとに基づいて、計算する第３の強度計算手段と、上記特定のピクセルが上記現在のサブフィールドにおいて点灯されるべきかどうかを、上記ターゲット強度レベルと上記現在のサブフィールドの重みとに基づいて、判断する判断手段とを含む映像処理ユニットに於ける本発明によって達成される。
【０００７】
特定ピクセルに対してより前に処理されたサブフィールドにおいて既に実現された強度レベルを決定することによって、本発明の映像処理ユニットは、上記特定ピクセルが現在のサブフィールドにおいて点灯されなければならないかどうかについての信頼性のあるロバストな判断をする。前のサブフィールドにおけるどんな丸め誤差であっても、特定のサブフィールドが実際に点灯されたサブフィールドにおいて定着し、振り返ることによって、考慮することができる。とりわけ、本発明は、すべてのサブフィールドが、要求された強度レベルができるだけ近づくように、現在のワード（その時間の完全なサブフィールドのセットによって与えられる）に適合する機会を提供するという洞察に基づく。
【０００８】
本発明の映像処理ユニットの実施態様が請求項２に記載される。サブフィールドの重みの大きい順で処理することによって、所望の強度レベルが、より新しいサブフィールドにおいて補正できないあるサブフィールドにおけるオーバーシュートの危険を犯すことなく容易に到達されることができる。
【０００９】
本発明の更なる目的は、低減された動きアーティファクトを備えた前提部に記載されたような方法を提供することにある。かかる目的は、特定のピクセルに対して、現在のサブフィールドに対応する時間内のポイントでの所望の強度レベルを、上記連続画像からの動き見積もりに基づいて、計算するステップと、上記動き見積もりから、上記特定のピクセルに対する現在の動きベクトルを求めるステップと、多数のより前に処理されたサブフィールドがある場合はそれらに渡って、上記動きベクトルに沿って、人の目によって総和される累積された強度レベルを計算するステップと、現在のサブフィールド、及び一若しくはそれ以上の連続したサブフィールドがある場合にはそれらのサブフィールドにおいて生成されるべきターゲット強度を、上記累積された強度レベルと上記所望の強度レベルとに基づいて、計算するステップと、上記特定のピクセルが上記現在のサブフィールドにおいて点灯されるべきかどうかを、上記ターゲット強度と上記現在のサブフィールドの上記重みに基づいて、判断する判断ステップとを含む方法に於ける本発明によって達成される。
【００１０】
種々の効果的な実施態様が従属形式の請求項に記載される。
【００１１】
本発明及びその付随的な効果は、例示的な実施例と添付された概略的な図面とによって更に解明されるだろう。
【００１２】
［概要］
‘オン／オフ’タイプのディスプレイデバイスは、‘パルス幅変調’をグレースケールを実現するのに使用する。プラズマパネルはこのカテゴリーに属する。ピクセルによって生成される照明は、しばしばバイナリ長さ分布を備えた連続光放出の総和である。ピクチャー時間中、ｒ個の光放出期間の‘ワード’は、ｒ−ビットデジタルワードに類似する解像度を備えたグレースケールを提供するため、制御されることができる。ディスプレイのかかるタイプのより詳細については、例えば文献［２］のような種々の場所で見つけることができる。
【００１３】
図１は、異なる長さのパルス光（サブフィールド）が、スクリーンでグレースケールの強度を構築するために点灯される。交流プラズマパネルにおいて、サブフィールドは、光パルスの変動数を含み、共に一定の強度を実現する。人の視覚システムは同一のワードに属する個々の光パルスを完全に総和すると想定される、即ちフリッカーが見られない。光パルスの重みは2iであり、iはいわゆるサブフィールドの数である。これは、今日製造されている全てのスクリーンに対して成り立つわけではない。特に、最も高い重みを備えたサブフィールドは、しばしばより小さな重みを備えた多数のサブフィールドに分離される。これによって、サブフィールドの全体数を増加するコスト、若しくはグレーレベルの数を減少するコストで、動きによるアーティファクトが減少される。この種のディスプレイに対する最適な駆動が、この書面内の説明を用いることによって、導出されることができる。ピクチャー期間での完全な総和は、ピクセル内で見られる強度
【００１４】
【外１】
0004854159.tif 000002
が、位置
【００１５】
【外２】
0004854159.tif 000003
で、以下のようになることを意味する。
【００１６】
【数１】
0004854159.tif 000004
ここで、サブフィールド
【００１７】
【外３】
0004854159.tif 000005
は、ピクセルが、サブフィールド期間中、オンかオフかのいずれかでなければならないので、全てのピクセル位置に対してバイナリ値を有する、即ち0又は1のみから選択できる。
【００１８】
グレーレベルを生成するこの手順は、観測者が同一のワードに属する光の個々の‘ビット’を総和する限り、良好な結果を生む。観測者がスクリーンの一の位置からその他の位置へと注意を移動させた場合には、成り立たない。
【００１９】
しかしながら、かかる状況は、風景において動きがある場合に極めて通常的なものである。人間の観測者は、通常的に眼により移動対象を追跡し、従って異なるピクセルの個々のビットを総和するだろう。他言すると、個々のピクセルからのビットが、望ましくない明るさを‘コード化する’新たなワードの中に混合される。この欠点はむしろ邪魔であり、動きが発生した場合にプラズマディスプレイパネルを最適に駆動するための秘訣が課題であり、それに対して本発明は解決手段を提示する。
【００２０】
［個々のサブフィールドの時間に於ける最適な輝度の計算］
動きの見積もりと補償は、消費者アプリケーション［4,1］に対する走査変換及び集積回路のコーディングにおいて幾年前に実現されている。これは、消費者プライスレベルでのロバストなアップコンバージョン、及び真の動きの見積もりの実効性を証明した。使用された動きの見積もり器は、種々の以前の論文［3,7］にあるいわゆる３Ｄ反復探索ブロック整合器である。この見積もり器は、四分の一のピクセル精度と、我々のアプリケーションにとって極めて重要である真の動きベクトル場への近似とを達成する。
【００２１】
［動き見積もり器］
反復探索ブロック整合器は、全ての考えられる候補のベクトルを計算するよりもむしろ、３次元の近隣からの空間的及び／又は時間的な‘予測ベクトル’、及び単一の更新された予測ベクトルを採用する。これは、暗黙的に空間的及び／又は時間的な均一性を想定する。更新処理は、空間予測ベクトルのいずれかに加えられる更新ベクトルを伴う。高さＹ、幅Ｘ、及び中心
【００２２】
【外４】
0004854159.tif 000006
のブロックと仮定すると、候補となるセット
【００２３】
【外５】
0004854159.tif 000007
が定義され、ブロック整合器は、そこから、時間ｔでその結果のベクトルを選択する。
【００２４】
【数２】
0004854159.tif 000008
ここで、Ｔは、ピクチャー期間、
【００２５】
【外６】
0004854159.tif 000009
は、時間ｔ及び位置
【００２６】
【外７】
0004854159.tif 000010
において見出される動きベクトル（ピクチャー期間での変位）であり、更新ベクトル
【００２７】
【外８】
0004854159.tif 000011
は、ブロック単位で交互にゼロベクトルであるか、若しくは有限であり一定の整数の更新セットから得られるものであり、我々の場合、
【００２８】
【数３】
0004854159.tif 000012
サブピクセル精度を実現するため、式２の更新セットは、分数の更新値を用いて拡張される。最大四分の一のピクセル解像度は、次の分数の更新ベクトルを更新セットに加算することによって達成される。
【００２９】
【数４】
0004854159.tif 000013
見積もり器は、その出力ベクトル
【００３０】
【外９】
0004854159.tif 000014
を平均絶対差（ＭＡＤ）判定結果を使用して、候補値から選択する。評価されねばならない候補ベクトルが少数である故に、本方法は非常に効果的である、即ち、ＭＡＤｓがニ三回評価される必要があるだけである。更に、固有の平滑度の制約に起因して、対象の真の動きに厳密に対応する非常に整合性のあるベクトル場を生む。
【００３１】
［動きが補償される補間］
動きの補償は、非常に単純明快であることができる、即ち見積もられた動きベクトルによってずらされた位置から輝度を取り出すだけである。単純であるが、かかる単純な方法は、欠陥のあるベクトルである場合、むしろ強いアーティファクトを示すことになる。画像シーケンスにおける幾つかの時間的な影響を、変換の観点から適切に表すことできないので、かかるベクトルの欠陥を、常に防ぐことができるとは限らない。それ故に、ロバストな動き補償アルゴリズムが好ましくは適用されるべきである。ロバストとは、ここでは、アルゴリズムが、欠陥のある動きベクトルである場合の過剰な劣化を防止する保護機構を含むという意味である。結果として、単にずれを起こさせるか、若しくはより良い結果になるが、隣接のピクチャーから動きが補償された輝度値を平均化する。即ち、
【００３２】
【数５】
0004854159.tif 000015
これは、通常的な手順であり、我々のロバストなアルゴリズム［6,8,5］は、動き補償されたピクセルと、動きのない補償されたピクセルとに対して非線形フィルター処理を実行する。
【００３３】
【数６】
0004854159.tif 000016
ここで、Ｉａｖは次のように定義される。
【００３４】
【数７】
0004854159.tif 000017
Ｍｅｄはメディアン関数であり、以下の通りである。
【００３５】
【数８】
0004854159.tif 000018
［動き補償とプラズマディスプレイ］
前の段落から、時間内のどんな時であってもディスプレイの如何なる強度であるべきかを知ることは可能なように思える。明らかに、ピクセルの強度に対する正確な値は、動きがある場合、時間の経過と共に変化し、たとえピクチャー期間内であっても変化する。複雑な問題は、プラズマディスプレイパネルを用いると、我々は、時間内の所定のポイントで、即ちサブフィールドの時間で、ある固定された光量、若しくは全く存在しない光（光量がゼロ）の間で選択できるだけである。その時に我々が見るものは、現在のピクセルの移動軌跡上のピクセルの位置でのサブフィールドに対する選択と、より前の選択とに依存している。
【００３６】
図２は、個々のサブフィールドの時間的な段階で妥当な動きが補償された輝度値を計算し、サブフィールドに対応する重みを有するビットをそのワードから使用することが可能であることを示す。上記値は、使用可能なピクチャーに存在するピクセルの間に補間されることができる。これを扱う単純な方法は、サブフィールド毎の時間的な段階での輝度を計算する（例えば、式５若しくは式６）ことであり、重みの点で現在のサブフィールドに対応するビットをその値から使用することである。輝度が移動軌跡で完全に同一のままである理想的な条件において、これは、正確な結果を生むだろう。しかし、輝度がほんの僅かに変化する場合、例えば、2r-1から2r-1-1（8ビットディスプレイにおいて128から127）、最も重要なサブフィールド、及び他のサブフィールドの双方がアクティブであり、移動軌跡に沿って、255の値に対応する観測された強度を生じることがありうる。輝度に於けるこれらの小さな変化は、複数のフレームを時間的な補間（式５若しくは式６）において使用するとき、２つのフレーム間で移動する対象の輝度における変化によって引き起こされることができる。更に、たとえ一の入力フレームのみが使用されるときでも、動きベクトルは、サブピクセル位置に一般的に向いているだろう。結果としての輝度は、ベクトルが整数のピクセル位置で始まるので、それ故に補間によって得ることができ、移動軌跡に沿って変化することができる。それ故、異なるワードからのビットの混合が依然として存在し、結果として意図しない輝度が生じる。これは、補償されない混合（‘オリジナル’アーティファクト）において見られるよりは大きく影響することはないが、完全に満足できるというわけではない。
【００３７】
図３は、単一の入力フレームを用いた場合でさえ、異なる輝度が、ベクトルを整数のピクセルから開始することに起因して、動きベクトルに沿って使用されるだろうことを示す。
【００３８】
図４は、２つのピクチャー間の4ピクセルに等しい対象の変位（１次元）を用いて、位置
【００３９】
【外１０】
0004854159.tif 000019
でピクセルから得られた6ビットからの輝度値が、整数でないピクセル位置にずらされ、サブフィールドの点灯は、図示のように最も近いピクセルに丸められなければならないことを示す。
【００４０】
より明快な解法は、現在のピクチャーに於ける所定のピクセルに対する輝度が、サブフィールドの重みに対応して、連続のピクチャー間の動きを示す動きベクトルの分数によって個別的にシフトされるスライスに分割された場合に、生じる。分数は、現在のピクチャーとサブフィールドの重力中心との間の時間的な距離に対応する。このコンセプトの欠点は、（分数の）ベクトルはサブピクセル位置に向く場合、即ちそのサブフィールドに対してどのピクセルを点灯するかが不明である場合がある一方で、サブフィールドは、変更できない固定された重みを有するので、ピクセルに渡って重みを分解することは不可能であること（かかる丸め誤差に関する問題の概略の対して図４を参照されたい。）、異なるピクセルから始まるベクトルは同一の位置に向く場合があり（複数割り当て）、サブフィールドにおいてベクトルが向かない領域が存在する場合がある（穴）こと、である。
【００４１】
第１の問題は、丸め誤差をもたらす、即ち僅かな位置ずれに起因して、より暗い領域及びより明るい領域が（ほとんど）平らな領域に発生する一方で、かかる最小のアーティファクトの結果を丸めることを制御するアルゴリズムは、依然として不明であり、若しくは丸め誤差を‘修復’するためのその場限りの判断に頼る。第２の問題も、穴に輝度値を割り当てる‘修復’アルゴリズムを必要とし、重複割り当ての場合は、優先順位を付与する。これは、その場限りの判断によって解決される。次の小段落において、プラズマディスプレイにおいて動きのアーティファクトを防止する最適なアルゴリズムの一般形式が示される。次の小段落は、本方法の幾つかの実施例を提示する。
【００４２】
［最適アルゴリズム］
提案された秘訣を導く基本的な観測は、毎サブフィールドが、要求される輝度にできるだけ近づくように、現在のワード（その時のサブフィールドの完全なセットによって与えられる）を適合させるための新たな機会を提供することである。現在のサブフィールドに対する判定は、次の４つの構成を含む秘訣によって得られる。第１で、動き補償補間によって、時間内のどのポイントであっても、例えば現在のサブフィールドの時間に、輝度が如何にあるべきか（計算値）を、例えば式５、若しくは式６を用いて、知ることが可能となる。第２で、現在の動きベクトルによって、時間内で振り返ることが可能となり、どの輝度が、移動軌跡に沿って多数の先行するサブフィールドに渡って追跡する人の観測者によって累積されたか（累積値）を、計算することが可能となる。第３に、次のように、計算値と等値の輝度値を、累積された輝度値との組合せによって導出するターゲット輝度値を計算することができる。
【００４３】
【数９】
0004854159.tif 000020
関数Ｆは、単純な平均値算出であることができるが、より複雑な方法も累積値とターゲット値を組合せるために定義できる。第４に、ターゲット輝度値が、幾つかの決定判定基準を用いて、現在のサブフィールドにおけるピクセルの点灯を決定する。移動軌跡に沿った意図されない輝度の作成は、ターゲット値（式９）と決定判定基準との双方の適切な選択によって防止される。
【００４４】
提案アルゴリズムは、次の小段落に於いて議論される。最初に、アルゴリズムの一般的な形式が議論され、累積値、計算値、ターゲット値、及び決定判定基準の使用方法を説明する。その後、アルゴリズムの現在の実施例が呈示される。
【００４５】
［累積輝度］
多数の先行するサブフィールドに渡って累積された値を計算するため、ｒ個のサブフィールドの完全なセットは、重みＷｉと対応時間ｔｉ（0≦ｔｉ＜Ｔ、ここでＴはピクチャー期間）とのセットによって特徴付けられ、ここで、ｉは0からr-1まで変化する。“先行する（先行）”とは、既に計算され、実際の表示時が現在のサブフィールドよりも早いことを意味する。ここで、光パルスを、例えば最後の完全なピクチャー時間に渡って、累積すると、動きがある場合の時間ｔ（現在のサブフィールドに対応する時間）での累積輝度は、次のようになる。
【００４６】
【数１０】
0004854159.tif 000021
ここで、
【００４７】
【外１１】
0004854159.tif 000022
は、フレームｎにおける位置
【００４８】
【外１２】
0004854159.tif 000023
でのサブフィールドｊの状態（0若しくは1）である。整数ｍは、特定のサブフィールドが位置するフレームを指示する（現在のフレームに対してｍ＝0、前のフレームに対してｍ＝1、等）。それ故に、最後のピクチャー時間に渡って累計するときは、次のようになる。
【００４９】
【数１１】
0004854159.tif 000024
式１０における累積された輝度の計算に対して、ピクセルグリッド上の補間が一般的には必要になるだろう。これは、
【００５０】
【外１３】
0004854159.tif 000025
が、不連続値
【００５１】
【外１４】
0004854159.tif 000026
に対してのみ存在する一方で、
【００５２】
【外１５】
0004854159.tif 000027
は整数でない値を有することができることに原因がある。
【００５３】
ワードの境界の選択、即ち（時間内の）どのサブフィールドが上記完全なセットへとグループ化されるかは、提案方法によって固定されるものでない。ｒ個以上の（若しくはｒ個以下）のサブフィールドを累算において使用することも可能である。結果の値は、もはや‘ワード’と称されることができないが、適切な補間を用いれば、‘現在の実施例’の段落に説明されるように、アルゴリズムにとって関心深いものだろう。
【００５４】
図５は、これまで（ｔ＝ｔ1、ｒ＝6、式１０）累積された輝度の計算を示す。移動軌跡上の先行のサブフィールドの合計が計算される。動きベクトルがピクセルの中心を通過しない場合、サブフィールドの寄与は、空間的に隣接ピクセルから補間される（一の空間的次元は、透明度に対して省略される）。そこで、我々の現在のピクセルの輝度に寄与する光放出は、ベクトルの終点まわりのピクセルを用いた補間から生じる。これらのピクセルは、そのサブフィールドに対して同一の判断を必ずしも有さない。異なる判断の場合、最終結果は、異なる重みを備えたサブフィールドのようなものであり、一次のオーダーの近似において、双線形形式の補間を用いて得られた値と等値である。
【００５５】
図６は、４つの隣接ピクセルからの‘仮想’サブフィールド値
【００５６】
【外１６】
0004854159.tif 000028
の双線形補間を示すことによって手順を示す。
【００５７】
【数１２】
0004854159.tif 000029
を用いると、
【００５８】
【外１７】
0004854159.tif 000030
の値は、次のように計算される。
【００５９】
【数１３】
0004854159.tif 000031
動きからそれぞれ生じる水平方向及び鉛直方向の正のサブピクセル分数であるｆｘ及びｆｙを用いる。かかる場合、ＳＦｉの値は、0と1間の値が可能で、即ち必ずしもバイナリである必要がないことを注意されたい。更に、計算が一のビットスライスのみで実行される、即ち、完全な乗数（a…dに対して）は必要とされない。
【００６０】
［点灯に関する決定をする累積値の使用］
先行サブフィールドに渡る移動軌跡に沿ったあるピクセルで作成された輝度（累積値）を近似した後、現在のサブフィールドにおいてピクセルを点灯するか否かの判断がなされなければならない。かかる判断は、現在のサブフィールドの重み、及び次のサブフィールドにおいて作成されるべき輝度の見積もり、ターゲット輝度に基づいている。ターゲット輝度は、２つの値、即ち累積輝度、及び計算輝度を用いて計算される。第１の値を使用して、移動軌跡に沿った意図されない輝度の生成を防止すべきである。第２は、画像コンテンツが正確な時間の正確な位置で、入力データを補償する動きによって（例えば式６）表示されることを保証する。これらの２つの特性は全く無関係であり、即ち意図しない輝度を防止することなく動き補償値を使用することは可能であり、入力データを補償する動きを用いることなく累積値を用いることも可能（毎サブフィールドに対する‘フレーム反復’）であることを注意されたい。これは、輪郭アーティファクト（偽輪郭）の無いピクチャーがぼかされる（従来の液晶ディスプレイと酷似）結果をもたらすだけだろう。そこで、２つの実行されるべきタスクが残存する。ターゲット値を決定する計算値及び累積値を組合せること、及びターゲット値を用いてピクセルの点灯に関する決定をすることである。これらの２つのタスクは、独立性を有していない。即ち、点灯判定基準は、ターゲット値の定義、特に幾つのサブフィールドが伴われるかを考慮すべきである。ターゲット値のコンセプトは、アルゴリズムを分離部分に分割する、即ち決定判定基準と時間的なサブフィールドの組合せとに分割するのに主に有用である。現在の実施例は、ＩＡとＩＴを同一のフレームに拘束するが（‘現在の実施例’を参照）、将来的な具現は、ターゲット値を導入することによって好都合的に示される幾つかの反復的なアルゴリズムを導入して良い。ＩＴを計算するため、式９を、ＩＴに対して解かなければならない、例えば単純な平均化（0≦α＜1）は、次の通りである。
【００６１】
【数１４】
0004854159.tif 000032
ここで、clip(a,0,max)は、0とmaxとの間でカットされた値aを戻す。かかる場合、ＩＡとＩＴとの双方は、ワード全体（ｒ個のサブフィールド）を参照すべきで、それらのレンジは、ＩＣ（定義によるワード）のレンジに対応する。かかる場合、ＩＡ及びＩＴは、ワードを構成するサブフィールドのセットを選択する‘ランニングウインドウ’を使用する。もちろん、ＩＡとＩＴに対するどのウインドウの選択であっても用いられることができ（もっとも、全てが満足できる結果を生じるわけではないが）、提案方法は、累積値、計算値、及びターゲット値の存在を特定するだけである。現在のサブフィールドにおいてピクセルに対する決定は、サブフィールドの時間でのターゲット値、及びサブフィールド重みに基づく。例のように、切り換えられるべきサブフィールドの重みに対応するビットをワードから単に採用する。
【００６２】
【数１５】
0004854159.tif 000033
これは、依然として異なるワードからビットを混合する可能性を残す。更に、反復性をアルゴリズムに組み込むことは、ＩＡも異なるワードからのビットに基づくことを意味するので、反復のループを非常に不安定にさせ（特に、影の移動、及びカバーリング／アンカバーリングのような、単純な変換によって示されることができない動きの場合）、非常に困難であることが証明されている。しかし、人の視覚システムは、フレームの境界に渡って光放出を常に総和するので、反復性のアプローチは、効果的でありうる。
【００６３】
［改善された実施例‘フィル−アップ’］
累積において‘ランニングウインドウ’を使用することは、不安定性を生じさせることが判明している。これは、フレームに対してＩＡとＩＴとを共に拘束することによって防止され（ＩＴはk個のサブフィールド、ＩＡは1個のサブフィールドを使用し、k+1=r）、‘フィル−アップ’決定判定基準を用いることによって防止される。累算（式１０）は、ここで次のようになる。
【００６４】
【数１６】
0004854159.tif 000034
ここで、iは現在のサブフィールドの数、mは常にゼロである。ターゲット値は、フレームの最後でＩＣをＩＡと等しくするため、残りのサブフィールドにおいて必要とされる輝度を表現する。
【００６５】
【数１７】
0004854159.tif 000035
かかる場合、サブフィールドは、所望の輝度を正確に‘フィル−アップ’（満タンに）するため、重みの順番（高い方から低い方に）に処理される必要がある。処理の順番は、必ずしも実際の表示の順番と同一である必要はない。最後に、決定判定基準は、‘フィル−アップ’手順を完全なものとする。即ち、
【００６６】
【数１８】
0004854159.tif 000036
言語で表現するに、結果の輝度が所望値を超えない場合、かかるピクセルに対してサブフィールドを点灯するだけである。これは、フレームの開始時にゼロの輝度で開始することによって、次のサブフィールドへの切り換えごとに、作成された輝度におけるオーバーシュートを補償する方法はない（反復アルゴリズムにおいては、可能だろう）という観測に基づく。図７は、‘フィル−アップ’補償中に同一の入力フレームからのサブフィールドを使用するフィル−アップ方法を図示する。
【００６７】
更なる改善は、‘費用関数’を最小化しながら、ピクセルの集合に対して選択を組合せることによって残存するアーティファクトの可視性を最小化する手段を含む。本発明のアルゴリズムは最適であるが、完璧な補償は、不連続なピクセル構造に起因して、常に可能であるとは限らない。次の小段落は、ピクセルの集合に対する‘費用関数’の計算について言及する。
【００６８】
［ピクセル集合に対する組合せ判定］
この段落において冒頭で言及されたように、丸め誤差は避けられない。しかしながら、ピクセル集合を考慮すれば、その集合に於ける丸め誤差の全体としての影響を最小化することは可能である。結果として、我々は次のように費用関数
【００６９】
【外１８】
0004854159.tif 000037
を定義する。
【００７０】
【数１９】
0004854159.tif 000038
ここで、
【００７１】
【外１９】
0004854159.tif 000039
は動き補償された輝度値（計算された‘あるべき’強度）、
【００７２】
【外２０】
0004854159.tif 000040
は、位置
【００７３】
【外２１】
0004854159.tif 000041
におけるピクセルに対するサブフィールドの点灯の所定の選択のため実現された（累積された）強度である。累乗pは、ブロックのＤＣ−エラーの最小化を目指す場合、一般的には1である。しかしながら、平均平方誤差（p=2）を最小化することが知覚的にはより良好である場合もある。ここで、実験が正確な費用関数を決定するのに用いられる。累乗に加えて、ブロックの大きさも、Ｉ及びＪの選択によって決定されるが、実験的な最適化に支配されることができる。結果として、最小誤差は、ＳＦｎを全てのピクセルに対してブロックで表す秘訣から生まれる。これは、最適化がブロックの周波数で発生し、ピクセル速度で発生するわけではないことを暗示する（重なるブロックは無い）。
【００７４】
図８は、本発明による画像ディスプレイ装置の最も重要な素子を示す。画像ディスプレイ素子８００は、表示されるべき画像を表現する信号を受信する受信手段８０２を有する。この信号は、アンテナやケーブルを経由して受信されたブロードキャストシグナルであってよいが、ＶＣＲ（ビデオカセットレコーダー）のような記憶デバイスからの信号であっても良い。画像ディスプレイ装置８００は、処理された画像を表示するディスプレイデバイス８０６と画像を処理する映像処理ユニット８０４とを更に有する。ディスプレイデバイス８０６は、サブフィールドで駆動される種のものである。映像処理ユニットは、画像の個々のピクセルの動きを見積もる動き見積もり器８０８を有する。第１の強度計算ユニット８１０は、２つの原画像間の時間ポイントで画像を計算するため見積もられた動きを使用する。選択された時間ポイントは、特定のサブフィールドに係り、このサブフィールドの時間間隔の中心で選択されて良い。第１の強度計算ユニット８１０は、ピクセルのそれぞれに対して如何なる強度レベルであるべきかを計算する。第２の強度計算ユニット８１２は、既に処理されたサブフィールドにおいて生成された如何なる量の光が人の観測者によって累積されるかを計算する。かかる結果、第２の強度計算は、動き見積もり器から特定ピクセルに対する動きベクトルを得、どのサブフィールドの間に、動きベクトルに沿ってピクセルが点灯されたかを決定する。その後、第３の強度計算ユニット８１４が現在のサブフィールド及び残りのサブフィールドにおいて生成されるべきターゲット強度レベルを計算する。この計算は、所望の強度レベルと既に累積された強度レベルとに基づいてなされる。続いて、決定ユニット８１６が現在のサブフィールドにおいて直近のピクセルが点灯されなければならないか否かを決定する。かかる決定は、重みが現在のサブフィールドにおいて実現されることができる強度レベルを特定するので、ターゲット強度レベルと現在のサブフィールドの重みとに基づいてなされる。全てのサブフィールドが処理され共に集合されたとき、送信ユニット８１８が画像の実際の表示のため、表示デバイス８０６に上記情報を送信する。
【００７５】
上述された実施例は、本発明を限定するのではなく例証しているだけであり、当業者であれば、請求の範囲の観点から逸脱することなく多くの代替的な実施例を設計することができるだろうことを理解されるべきである。請求項におけるカッコ内に配置された参照記号によって、請求項が限定されているような解釈をされるべきでない。“含む”という言語は、請求項に記載された以外の素子若しくはステップの存在を排除するものでない。単数表現は、複数の要素の存在を排除するものでもない。本発明は、幾つかの特定できる素子を含むハードウェアによって、及び適切にプログラムされたコンピュータによって実現されることができる。複数の手段を掲げるユニットの請求項において、かかる手段のいくつかは、一及び同一のハードウェア資源によって具現されることができる。
【００７６】
［参考文献］
［１］著者W.Bruls, A.van der Werf, R.Kleihorst, T.Friedrich, E.Salomons, 及びF.Jorritsmaによる’A single-chip MPEG-2 encorder for consumer storage application’, Digest of the ICCE, 1997, Chicago, pp262-263
［２］著者R.van Dijkによる’Motion Compensation in PDPs part 1:Uniform velocities’ Nat.Lab. Technical Note 391/97, Dec.1997
［３］著者G.de Hann, 及びH.Huijgenによる’Motion estimation for TV picture enhancement’ in Signal Processing of HDTV III (H.Yasuda及びL.Chiariglione他), Elseviers Science Publishers B.V., 1992, pp165-174
［４］著者G.de Hann, J.Kettenis, 及びB.Delooreによる’IC for motion compensated 100Hz TV, with a smooth motion movie-mode,’ IEEE Transactions on Consumer Electronics, vol.42, May 1996, pp165-174
［５］著者G.de Hann, P.W.A.C.Biezen, 及びO.A.Ojoによる’An Evolutionary Architecture for Motion-Compensated 100Hz Television,’ IEEE Transactions on Circuit and Systems for Video Technology, Vol.5, No.3, June 1995, pp207-217
［６］発明者G.de Hann, P.Biezen, A.Ojo及びH.Huijgenによる米国特許第5,495,300号’Motion‐compensated picture signal interpolation’
［７］著者G.de Hann, P.Biezen, H.Huijgen及びO.Ojoによる’True motion estimation with 3-D recursive search block-matching,’ IEEE Transactions on Circuit and Systems for Video Technology, Vol.3, No.5, June 1993, pp368-388
［８］著者G.de Hann, P.W.A.C.Biezen, H.Huijgen 及びO.A.Ojoによる’Graceful Degradation in Motion-Compensated Field-Rate Conversion’ in Proceedings of the International Workshop on HDTV, Ottawa, Canada, 1993, pp249-256
【図面の簡単な説明】
【図１】  スクリーンで強度のグレースケールを確立するため異なる長さの光パルス（サブフィールド）が個別に点灯されることができることを示す図である。
【図２】  個々のサブフィールドの時間的な段階で妥当な動き補償された輝度値を計算し、サブフィールドに対応する重みを備えたビットをワードから使用することができることを示す図である。
【図３】  単一の入力フレームを用いる場合でさえ、異なる輝度が、ベクトルを整数のピクセルから開始することに起因して、動きベクトルに沿って用いられるだろうことを示す図である。
【図４】  ２つのピクセル間で4ピクセルに等しい対象の（一次元）変位を用いて、位置
【外２２】
0004854159.tif 000042
のピクセルから6ビットから取られた輝度値が、整数でないピクセル位置にシフトされサブフィールドの点灯が図示のように最も近いピクセルに丸められなければならないことを示す図である。
【図５】  これまでに累積された輝度の計算を示す図である。
【図６】  ４つの隣接ピクセルから‘仮想’サブフィールド値
【外２３】
0004854159.tif 000043
の双線形補間を示すことによって手順を示す図である。
【図７】  ‘フィル−アップ’補償中に同一入力フレームからのサブフィールドを用いるフィル−アップ方法を示す図である。
【図８】  本発明によるディスプレイ装置の最も重要な要素を示す図である。
【図１】
0004854159.tif 000044
【図２】
0004854159.tif 000045
【図３】
0004854159.tif 000046
【図４】
0004854159.tif 000047
【図５】
0004854159.tif 000048
【図６】
0004854159.tif 000049
【図７】
0004854159.tif 000050
【図８】
0004854159.tif 000051