(57)【要約】      （修正有）【課題】動きに起因する知覚可能なぶれを補償する。【解決手段】現在および以前のフレーム内の複数のピクセル・ブロックのそれぞれについてフレーム間の動きベクトルを予測する。続いて、複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルが予測され、対応するクラスタのクラスタ動きベクトルが現在のフレーム内の各ピクセルに割り付けられる。初期推測フレームが、現在のフレームに基づいて生成され、その推測フレーム内のピクセルに、それらのそれぞれの割り付け済みクラスタ動きベクトルの関数としてぶれ付けが行われ、それぞれのぶれ付けを行ったピクセルと現在のフレーム内のそれぞれのピクセルが比較されて、誤差ピクセルが生成される。各誤差ピクセルのぶれ付けおよび重み付けが行われ、その後、各誤差ピクセルが、そのそれぞれの初期推測フレーム内のピクセルと結合されて、推測フレームを更新して、ぶれを補償する。【選択図】図７
2006350334.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを、フレーム間のピクセルの動きの方向ならびに動きの範囲の予測を使用して補償する方法であって、
初期推測フレームを、前記現在のフレームに基づいて生成するステップと、
前記推測フレーム内のピクセルに、それらのそれぞれの予測されたぶれの方向およびぶれの範囲の関数としてぶれ付けを行うステップと、
それぞれのぶれ付けを行ったピクセルと、前記現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成するステップと、
各誤差ピクセルのぶれ付けおよび重み付けを行うステップと、
各誤差ピクセルと、そのそれぞれの前記初期推測フレーム内のピクセルを結合し、それによって前記推測フレームを更新し、ぶれを補償するステップと、
を包含する方法。
【請求項２】
前記重み付けステップは、それぞれのピクセルの動きの関数である、請求項１に記載の方法。
【請求項３】
前記重み付けステップとは、ピクセルの動きの方向における、前記推測イメージ内のそれぞれのピクセルのエッジの大きさの予測である、請求項２に記載の方法。
【請求項４】
前記エッジの大きさは、ハイ・パス・フィルタを使用して予測される、請求項３に記載の方法。
【請求項５】
前記ピクセルのぶれ付けステップと、比較ステップと、誤差ピクセルのぶれ付けならびに重み付けステップと、および結合ステップとは、反復的に実行される、請求項２に記載の方法。
【請求項６】
前記ピクセルのぶれ付けステップと、比較ステップと、誤差ピクセルのぶれ付けならびに重み付けステップと、および結合ステップとは、誤差の合計がスレッショルド・レベル未満となる間反復的に実行される、請求項５に記載の方法。
【請求項７】
前記ピクセルのぶれ付けステップと、比較ステップと、誤差ピクセルのぶれ付けならびに重み付けステップと、および結合ステップとは、あらかじめ決定済みの回数にわたって反復的に実行される、請求項５に記載の方法。
【請求項８】
前記ピクセルのぶれ付けステップと、比較ステップと、誤差ピクセルのぶれ付けならびに重み付けステップと、および結合ステップとは、誤差の合計が連続する反復の間においてスレッショルド量を超えて変化しなくなるまで反復的に実行される、請求項５に記載の方法。
【請求項９】
請求項１に記載の方法を実行するべくコンピュータによって実行可能なインストラクションのプログラムを具体化したコンピュータ可読メディア。
【請求項１０】
ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償する方法であって、
前記フレーム内の複数のピクセル・ブロックのそれぞれについて、前記フレーム間における動きベクトルを予測するステップと
複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルを、各クラスタ内の動きベクトルおよび直近クラスタ内の動きベクトルのうちの１つに基づいて予測するステップと
前記現在のフレーム内の各ピクセルに、それに対応するクラスタのクラスタ動きベクトルを割り付けるステップと
初期推測フレームを、前記現在のフレームに基づいて生成するステップと
前記推測フレーム内のピクセルに、それらのそれぞれの割り付け済みクラスタ動きベクトルの関数としてぶれ付けを行うステップと
それぞれのぶれ付けを行ったピクセルと、前記現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成するステップと
各誤差ピクセルのぶれ付けおよび重み付けを行うステップと、
各誤差ピクセルと、そのそれぞれの前記初期推測フレーム内のピクセルを結合し、それによって前記推測フレームを更新し、ぶれを補償するステップと
を包含する方法。
【請求項１１】
ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを、フレーム間のピクセルの動きの方向ならびに動きの範囲の予測を使用して補償するためのシステムであって、
前記現在のフレームを基礎とする推測フレーム内のピクセルのぶれ付けを、それらのそれぞれの予測されたぶれの方向およびぶれの範囲の関数として行うモーション・ブラー・フィルタ・アレイと、
各ぶれ付けを行ったピクセルと、前記現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成する比較器と、前記モーション・ブラー・フィルタ・アレイは、各誤差ピクセルに更にぶれ付けおよび重み付けを行うものであり、
各誤差ピクセルと、そのそれぞれの前記初期推測フレーム内のピクセルを結合し、それによって前記推測フレームを更新し、ぶれを補償する加算器と
を包含するシステム。
【請求項１２】
前記重み付けは、それぞれのピクセルの動きの関数である、請求項１１に記載のシステム。
【請求項１３】
前記重み付けは、ピクセルの動きの方向における、前記推測イメージ内のそれぞれのピクセルのエッジの大きさの予測である、請求項１２に記載のシステム。
【請求項１４】
前記エッジの大きさは、ハイ・パス・フィルタを使用して予測される、請求項１３に記載のシステム。
【請求項１５】
前記初期推測フレームは、前記現在のフレームである、請求項１１に記載のシステム。
【請求項１６】
前記モーション・ブラー・フィルタ・アレイは、前記推測イメージ内のピクセルの動きの方向におけるそれぞれのピクセルのエッジの大きさの予測を基礎とする重み付けを提供する、請求項１５に記載のシステム。
【請求項１７】
前記モーション・ブラー・フィルタ・アレイ、前記比較器、および前記加算器は、前記ぶれ付け、比較、ぶれ付けならびに重み付け、および結合を反復的に実行する、請求項１２に記載のシステム。
【請求項１８】
前記モーション・ブラー・フィルタ・アレイ、前記比較器、および前記加算器は、前記ぶれ付け、比較、ぶれ付けならびに重み付け、および結合を、誤差の合計がスレッショルド・レベル未満となるまで反復的に実行する、請求項１７に記載のシステム。
【請求項１９】
前記モーション・ブラー・フィルタ・アレイ、前記比較器、および前記加算器は、前記ぶれ付け、比較、ぶれ付けならびに重み付け、および結合を、あらかじめ決定済みの回数にわたって反復的に実行する、請求項１７に記載のシステム。
【請求項２０】
前記モーション・ブラー・フィルタ・アレイ、前記比較器、および前記加算器は、前記ぶれ付け、比較、ぶれ付けならびに重み付け、および結合を、誤差の合計が連続する反復の間においてスレッショルド量を超えて変化しなくなるまで反復的に実行する、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件出願は、２００５年６月１３日に出願された米国特許仮出願第６０／６８９，８０８号の米国特許法１１９（ｅ）の下に恩典を主張し、当該出願の内容は参照によりこれに援用される。
【０００２】
以下は概してイメージ処理に関し、より詳細に述べれば、ディジタル・ビデオ内の動きを予測するための方法およびシステム、およびホールド‐タイプのディスプレイによって表示されるディジタル・ビデオ内の知覚可能なモーション・ブラー（ｍｏｔｉｏｎ  ｂｌｕｒ）を補償するための方法およびシステムに関する。
【背景技術】
【０００３】
液晶ディスプレイ（ＬＣＤ）等のホールド‐タイプのディスプレイ・デバイス上に表示されるディジタル・ビデオ内の動いているオブジェクトが、観察者に、ぶれて見えることはよく知られている。この知覚可能なぶれ（ｐｅｒｃｅｉｖｅｄ ｂｌｕｒ）は、部分的には液晶セルの比較的遅いＬＣ応答に起因すると理解されている。たとえば陰極線管（ＣＲＴ）デバイス等のインパルス‐タイプのデバイスと比較したとき、ＬＣＤデバイスは、はるかに遅い輝度遷移応答時間を有する。また知覚可能なぶれは、ＬＣＤデバイスによって広く採用されているサンプル‐アンド‐ホールド・ドライブ・テクニックに内在する持続的光放出にも部分的に起因して引き起こされ、それが人間の網膜上に残像（ａｆｔｅｒ−ｉｍａｇｅｓ）を作る。これらの残像は、ビデオ・シーケンスが観察されているときに視覚的にぶれを知覚させる。
【０００４】
各デバイス・ピクセルに印加されるドライブ電圧を、グレイ・レベル遷移に比例する量を用いて調整するようにＬＣＤデバイスを修正することによってＬＣＤデバイスの比較的遅い応答時間を補償することが提案されている。これは、一般に『オーバードライブ』テクニックとして知られており、『ア・ニュー・ロー・イメージ‐ラグ・ドライブ・メソッド・フォア・ラージ‐サイズＬＣＴＶｓ（Ａ  ｎｅｗ  Ｌｏｗ  Ｉｍａｇｅ‐Ｌａｇ  Ｄｒｉｖｅ  Ｍｅｔｈｏｄ  Ｆｏｒ  Ｌａｒｇｅ‐Ｓｉｚｅ  ＬＣＴＶｓ）』（ＳＩＤ’０２ダイジェスト、ｐｐ．１２８４‐１２８７、２００２年）と題された出版物の中でＨ．オクラマ（Ｈ．Ｏｋｕｒａｍａ）、Ｍ．アキヤマ（Ｍ．Ａｋｉｙａｍａ）、Ｋ．タコトウ（Ｋ．Ｔａｋｏｔｏｈ）、およびＹ．ウエマツ（Ｙ．Ｕｅｍａｔｓｕ）によって述べられている。
【０００５】
また、『コンシダレーション・オン・パーシーブド・ＭＴＦ・オブ・ホールド・タイプ・ディスプレイ・フォア・ムービング・イメージズ（Ｃｏｎｓｉｄｅｒａｔｉｏｎ  ｏｎ  Ｐｅｒｃｅｉｖｅｄ  ＭＴＦ  ｏｆ  Ｈｏｌｄ  Ｔｙｐｅ  Ｄｉｓｐｌａｙ  Ｆｏｒ  Ｍｏｖｉｎｇ  Ｉｍａｇｅｓ）』（ＩＤＷ’９８ダイジェスト、ｐｐ．８２３‐８２６、１９９８年）と題された出版物の中でＴ．クリタ（Ｔ．Ｋｕｒｉｔａ）によって記述されているとおり、ブラック・フレーム挿入を使用してＬＣＤデバイスを修正することによってサンプル‐アンド‐ホールド・ドライブ・テクニックに内在する持続的光放出を補償する提案もなされている。パーク（Ｐａｒｋ）ほかに対する米国特許出願第２００３／０１２２７７２号もまた、ブラック・フレーム挿入に関係しており、実データ対挿入されるブラック・データの比をコントロールするために、ＬＣＤデバイスに対する信号を調整することによってＬＣＤデバイスを動作させる方法を開示している。この比は、ビデオ・ストリーム内の動きの速度に従ってコントロールされる。特に、ブラック・データ対ビデオ・データの増加された比がモーション・ブラーを防止すると説明されている。
【０００６】
持続的光放出の補償に使用される別のテクニックは、『ハイ・クォリティＴＦＴ‐ＬＣＤシステム・フォア・ムービング・ピクチャ（Ｈｉｇｈ  Ｑｕａｌｉｔｙ  ＴＦＴ‐ＬＣＤ  Ｓｙｓｔｅｍ  Ｆｏｒ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ）』（ＳＩＤ’０２ダイジェスト、ｐｐ．１２８４‐１２８７、２００２年）と題された出版物の中でＴ．フルハシ（Ｔ．Ｆｕｒｕｈａｓｈｉ）、Ｋ．カワベ（Ｋ．Ｋａｗａｂｅ）、Ｊ．ヒリカタ（Ｊ．Ｈｉｒｉｋａｔａ）、Ｙ．タナカ（Ｙ．Ｔａｎａｋａ）、およびＴ．サトウ（Ｔ．Ｓａｔｏ）によって記述されているとおり、バックライトのブリンキングに関係する。
【０００７】
ホールド‐タイプのディスプレイ自体の修正を回避するために、ホールド‐タイプのデバイス上に表示する前にディジタル・ビデオ・シーケンスのフレームに対してビデオ前処理を適用し、モーション・ブラーを補償することが知られている。たとえば、『アイ‐トレース・インテグレーション・エフェクト・オン・ザ・パーセプション・オブ・ムービング・ピクチャーズ・アンド・ア・ニュー・ポッシビリティ・フォア・レデューシング・ブラー（Ｅｙｅ‐Ｔｒａｃｅ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｅｆｆｅｃｔ  ｏｎ  ｔｈｅ  Ｐｅｒｃｅｐｔｉｏｎ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ａｎｄ  ａ  Ｎｅｗ  Ｐｏｓｓｉｂｉｌｉｔｙ  Ｆｏｒ  Ｒｅｄｕｃｉｎｇ  Ｂｌｕｒ）』（ＳＩＤ’０２ダイジェスト、ｐｐ．９３０‐９３３、２００２年）と題された出版物の中でＫ．セキヤ（Ｋ．Ｓｅｋｉｙａ）およびＨ．ナカムラ（Ｈ．Ｎａｋａｍｕｒａ）によって記述されているとおり、矩形波内のモーション・ブラーを低減するために、ステップ関数に対するＬＣＤのロー・パス・フィルタリング効果が分析され、波形変調の導入に使用されている。
【０００８】
モーション・ブラーの補償に関する別のビデオ前処理テクニックは、Ｍ．クロンペンハウワー（Ｍ．Ｋｌｏｍｐｅｎｈｏｕｗｅｒ）およびＬ．Ｊ．ベルトホーベン（Ｌ．Ｊ．Ｖｅｌｔｈｏｖｅｎ）によって『モーション・ブラー・レダクション・フォア・リキッド・クリスタル・ディスプレイズ：モーション・コンペンセイテッド・インバース・フィルタリング（Ｍｏｔｉｏｎ  Ｂｌｕｒ  Ｒｅｄｕｃｔｉｏｎ  ｆｏｒ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙｓ：  Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｉｎｖｅｒｓｅ  Ｆｉｌｔｅｒｉｎｇ）』（ビジュアル・コミュニケーションズ・アンド・イメージ・プロセッシング（Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）、ｐｐ．６９０‐６９８、２００４年）と題された出版物の中で詳説されている。このテクニックによれば、動きの局所的な方向に指向された１次元ハイ・パス・フィルタを用いて各ピクセルの処理を行うことによってぶれが低減される。しかしながら、ほかの周知の逆フィルタリング方法と同様に、ノイズが問題となり得る。
【０００９】
デ・ハーン（Ｄｅ  Ｈａａｎ）ほかに対する米国特許出願公開第２００３／０００６９９１号は、ビデオ信号の逆積分フィルタリングを採用する、軌跡に沿った動き積分に起因するモーション・ブラーを抑圧するための方法を開示している。ビデオ信号の高い空間周波数特性が、イメージのフラット領域内のフィルタリングを回避できるように決定される。この方法には、ほかの逆フィルタリング方法に典型的なノイズ変調を低減することが意図されている。
【００１０】
このほかの前処理テクニックについても考慮された。たとえばニシムラ（Ｎｉｓｈｉｍｕｒａ）に対する米国特許出願公開第２００２／０１５４０８８号は、決定済みの動きベクトルに基づいて、入力イメージを構成するイメージ信号とブランキング信号の間を切り替えるＬＣＤディスプレイ上にイメージを表示するための方法を開示している。この方法は、ＣＲＴデバイスと比較した場合のＬＣＤディスプレイの物理的特徴を補償する従来の試みによって惹起されていたフリッカリング、トレイリング、およびイメージ残留現象を低減することを意図している。この方法は、イメージの動きの速度をファクタとして非イメージ信号が表示されるレートを変更する。より具体的に述べれば、イメージの動きが高速なとき、１フレームの間に非イメージ信号が表示されるレートが増加され、非イメージ信号のレベルが、ブラック色ではなくホワイト色のレベルに近づくようにコントロールが行われる。イメージが遅いときにはその逆になる。これにより、表示のルミナンスおよびコントラストが大きく増加される。
【００１１】
【特許文献１】米国特許出願公開第2002/0154088号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、ディジタル・ビデオにおける動きの予測および知覚可能なモーション・ブラーの補償のための新しい方法およびシステムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
１つの側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間におけるピクセルの動きを予測する方法が提供され、当該方法は、
前記現在および以前のフレームの複数のピクセル・ブロックのそれぞれについて、フレーム間の動きベクトルを予測するステップと、
複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルを、各クラスタ内の動きベクトルおよび／または直近クラスタ内の動きベクトルに基づいて予測するステップと、
現在のフレーム内の各ピクセルに、それに対応するクラスタのクラスタ動きベクトルを割り付けるステップと、
を包含する。
【００１４】
動きベクトルの予測は、現在および以前のフレームを複数のピクセル・ブロックに分割することを含むことができ、それにおいて前記動きベクトルの予測は、ピクセル・ブロックのそれぞれについて、動きベクトル候補のリストから、現在のフレーム内のピクセル・ブロックと以前のフレーム内の対応するピクセル・ブロックの間にもっとも小さい差をもたらす動きベクトルを選択することを包含する。
【００１５】
クラスタ動きベクトルの予測の提供は、実質的に同一方向を伴い少なくともスレッショルド平均範囲（ａｖｅｒａｇｅ ｅｘｔｅｎｔ）を伴う動きベクトルの第１の割合を有するクラスタのそれぞれにクラスタ動きベクトルを割り当てること、および、割り当て済みクラスタ動きベクトルの第２のスレッショルド割合未満が実質的に同一方向を有する場合には、割り当てられていないクラスタのうちの直近のものに対して割り当て済みクラスタの動きベクトルを反復的に割り当てることを包含することができる。
【００１６】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを、フレーム間のピクセルの動きの方向ならびに動きの範囲（ｅｘｔｅｎｔ）の予測を使用して補償する方法であって、当該方法は、
初期推測フレームを、現在のフレームに基づいて生成するステップと、
推測フレーム内のピクセルに、それらのそれぞれの予測されたぶれの方向およびぶれの範囲の関数としてぶれ付けを行うステップと、
それぞれのぶれ付けを行ったピクセルと現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成するステップと、
各誤差ピクセルのぶれ付けおよび重み付けを行うステップと、、
各誤差ピクセルと、そのそれぞれの初期推測フレーム内のピクセルを結合し、それによって推測フレームを更新し、ぶれを補償するステップと、を包含する。
【００１７】
重み付けは、それぞれのピクセルの動き（範囲および方向）の関数とすることができる。
【００１８】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償する方法であって、
フレーム内の複数のピクセル・ブロックのそれぞれについて、フレーム間における動きベクトルを予測するステップと、
複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルを、各クラスタ内の動きベクトルおよび直近クラスタ内の動きベクトルのうちの１つに基づいて予測するステップと、
現在のフレーム内の各ピクセルに、それに対応するクラスタのクラスタ動きベクトルを割り付けるステップと、
初期推測フレームを、現在のフレームに基づいて生成するステップと、
推測フレーム内のピクセルに、それらのそれぞれの割り付け済みクラスタ動きベクトルの関数としてぶれ付けを行うステップと、
それぞれのぶれ付けを行ったピクセルと、現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成するステップと、
各誤差ピクセルのぶれ付けおよび重み付けを行うステップと、
各誤差ピクセルと、そのそれぞれの初期推測フレーム内のピクセルを結合し、それによって推測フレームを更新し、ぶれを補償するステップとを包含する。
【００１９】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間におけるピクセルの動きを予測するためのシステムが提供され、当該システムは、
現在および以前のフレームの複数のピクセル・ブロックのそれぞれについて、フレーム間の動きベクトルを決定するブロック・ベクトル計算器と、
複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルを、各クラスタ内の動きベクトルおよび直近クラスタ内の動きベクトルうちの１つに基づいて決定するクラスタ・ベクトル計算器と、
現在のフレーム内の各ピクセルに、それに対応するクラスタのクラスタ動きベクトルを割り付けるピクセル・ベクトル割り付け器と、を包含する。
【００２０】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを、フレーム間のピクセルの動きの方向ならびに動きの範囲の予測を使用して補償するためのシステムが提供され、当該システムは、
現在のフレームを基礎とする推測フレーム内のピクセルのぶれ付けを、それらのそれぞれの予測されたぶれの方向およびぶれの範囲の関数として行うモーション・ブラー・フィルタ・アレイと、
各ぶれ付けを行ったピクセルと、現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成する比較器と、前記モーション・ブラー・フィルタ・アレイは、各誤差ピクセルに更にぶれ付けおよび重み付けを行うものであり、
各誤差ピクセルと、そのそれぞれの初期推測フレーム内のピクセルを結合し、それによって推測フレームを更新し、ぶれを補償する加算器と、を包含する。
【００２１】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償するシステムが提供され、当該システムは、
フレーム内の複数のピクセル・ブロックのそれぞれについて、フレーム間における動きベクトルを予測するブロック・ベクトル計算器と、
複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルを、各クラスタ内の動きベクトルおよび直近クラスタ内の動きベクトルうちの１つに基づいて予測するクラスタ・ベクトル計算器と、
現在のフレーム内の各ピクセルに、それに対応するクラスタのクラスタ動きベクトルを割り付けるピクセル・ベクトル割り付け器と、
現在のフレームを基礎とする推測フレーム内のピクセルのぶれ付けを、それらのそれぞれの予測されたぶれの方向およびぶれの範囲の関数として行うモーション・ブラー・フィルタ・アレイと、
各ぶれ付けを行ったピクセルと、現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成する比較器、前記モーション・ブラー・フィルタ・アレイは、各誤差ピクセルに更にぶれ付けおよび重み付けを行うものであり、
各誤差ピクセルと、そのそれぞれの初期推測フレーム内のピクセルを結合し、それによって推測フレームを更新し、ぶれを補償する加算器と、を包含する。
【００２２】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間におけるピクセルの動きを予測するためのコンピュータ・プログラムを含むコンピュータ可読メディアが提供され、当該コンピュータ・プログラムは、
現在および以前のフレームの複数のピクセル・ブロックのそれぞれについて、フレーム間の動きベクトルを予測するコンピュータ・プログラム・コードと、
複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルを、各クラスタ内の動きベクトルおよび直近クラスタ内の動きベクトルうちの１つに基づいて予測するコンピュータ・プログラム・コードと、
フレーム内の各ピクセルに、それに対応するクラスタのクラスタ動きベクトルを割り付けるコンピュータ・プログラム・コードと、を包含する。
【００２３】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを、フレーム間のピクセルの動きの方向ならびに動きの範囲の予測を使用して補償するためのコンピュータ・プログラムを含むコンピュータ可読メディアが提供され、当該コンピュータ・プログラムは、
現在のフレームに基づいて推測フレームを生成するためのコンピュータ・プログラム・コードと、
推測フレーム内のピクセルのぶれ付けを、それらのそれぞれの予測されたぶれの方向およびぶれの範囲の関数として行うためのコンピュータ・プログラム・コードと、
各ぶれ付けを行ったピクセルと、現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成するためのコンピュータ・プログラム・コードと、
各誤差ピクセルのぶれ付けおよび重み付けを行うためのコンピュータ・プログラム・コードと、
各誤差ピクセルと、そのそれぞれの初期推測フレーム内のピクセルを結合し、それによって推測フレームを更新し、ぶれを補償するためのコンピュータ・プログラム・コードと、を包含する。
【００２４】
別の側面によれば、ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償するためのコンピュータ・プログラムを含むコンピュータ可読メディアが提供され、当該コンピュータ・プログラムは、
モーション・ブラーのあるフレーム内の複数のピクセル・ブロックのそれぞれについて、フレーム間における動きベクトルを予測するためのコンピュータ・プログラム・コードと、
複数の動きベクトルのクラスタのそれぞれについて、クラスタ動きベクトルを、各クラスタ内の動きベクトルおよび直近クラスタ内の動きベクトルうちの１つに基づいて予測するためのコンピュータ・プログラム・コードと、
現在のフレーム内の各ピクセルに、それに対応するクラスタのクラスタ動きベクトルを割り付けるためのコンピュータ・プログラム・コードと、
現在のフレームに基づいて初期推測フレームを生成するコンピュータ・プログラム・コードと、
推測フレーム内のピクセルのぶれ付けを、それらのそれぞれの割り付けられたクラスタ動きベクトルの関数として行うためのコンピュータ・プログラム・コードと、
各ぶれ付けを行ったピクセルと、現在のフレーム内のそれぞれのピクセルを比較して、それぞれのピクセルについて誤差ピクセルを生成するためのコンピュータ・プログラム・コードと、
各誤差ピクセルのぶれ付けおよび重み付けを行うためのコンピュータ・プログラム・コードと、
各誤差ピクセルと、そのそれぞれの初期推測フレーム内のピクセルを結合し、それによって推測フレームを更新し、ぶれを補償するためのコンピュータ・プログラム・コードとを包含する。
【００２５】
ここで述べている方法およびシステムは、たとえばＬＣＤデバイス等のホールド‐タイプのディスプレイ上に表示されるディジタル・ビデオの鮮明度を増加させる利点を提供し、周知の逆フィルタリング方法に共通して見られるような過剰なノイズを受けることはなく、またホールド‐タイプのディスプレイ自体の修正も必要としない。さらに、ピクセルのグループ化および動きベクトルのクラスタ化によって、知覚可能なモーション・ブラーの予備補償（ｐｒｅ−ｃｏｍｐｅｎｓａｔｉｏｎ）の間に使用するためのフレーム内の顕著な全体的および局所的なオブジェクトの動きを迅速に回復することが可能になる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態を図面に基づいて説明する。
【００２７】
［実施形態１］
理解を容易にするため、最初に、ＬＣＤデバイス等のサンプル‐アンド‐ホールド・ディスプレイ・フォーマットを使用するホールド‐タイプのディスプレイによって発生するディジタル・ビデオ・イメージ内の知覚可能なぶれについて考察する。図１を参照すると、ＬＣＤデバイスからもたらされるディジタル・ビデオ・イメージ内の知覚可能なぶれ、および人間の視覚システムの動き知覚メカニズムが示されている。以下においては、ＬＣＤデバイスのフレーム・レートが充分に高く、１フレーム区間内における人間の視覚システム内への完全な時間積分が可能であると仮定する。この条件が６０Ｈｚもしくはそれより高いフレーム・レートによって満たされることがＤ．Ｃ．バー（Ｄ．Ｃ．Ｂｕｒｒ）によって『テンポラル・サメイション・オブ・ムービング・イメージズ・バイ・ザ・ヒューマン・ビジュアル・システム（Ｔｅｍｐｏｒａｌ  Ｓｕｍｍａｔｉｏｎ  ｏｆ  Ｍｏｖｉｎｇ  Ｉｍａｇｅｓ  ｂｙ  ｔｈｅ  Ｈｕｍａｎ  Ｖｉｓｕａｌ  Ｓｙｓｔｅｍ）』（プロシーディングス・オブ・ザ・ロイヤル・ソサエティ・オブ・ロンドン（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｒｏｙａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ｌｏｎｄｏｎ）Ｂ、２２１（１１８４）、ｐｐ．３２１‐３３９、１９８１年）と題された出版物の中に示されている。また以下においては、人間の目がＬＣＤデバイス全体にわたる領域の動きを完全に追従可能であることを仮定する。人間の目が毎秒８０度の速度において信頼性をもってターゲットの追従が可能なことは、Ｓ．ダリ（Ｓ．Ｄａｌｙ）によって、『エンジニアリング・オブザーベーションズ・フロム・スペシオベロシティ・アンド・スペシオテンポラル・ビジュアル・モデルズ（Ｅｎｇｉｎｅｅｒｉｎｇ  Ｏｂｓｅｒｖａｔｉｏｎｓ  Ｆｒｏｍ  Ｓｐａｔｉｏｖｅｌｏｃｉｔｙ  ａｎｄ  Ｓａｐｔｉｏｔｅｍｐｏｒａｌ  Ｖｉｓｕａｌ  Ｍｏｄｅｌｓ）』（ＳＰＩＥコンファレンス・オン・ヒューマン・ビジョン・アンド・エレクトロニック・イメージング（ＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｈｕｍａｎ  Ｖｉｓｉｏｎ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ）ＩＩＩ、ＳＰＩＥ、第３２９９巻、ｐｐ．１８０‐１９１、１９９８年）と題された出版物の中で報告されている。これは、たとえば、６０Ｈｚの拡張グラフィックス・アレイ（ＸＧＡ）ＬＣＤデバイス上の４８ピクセル毎フレーム（ｐｐｆ）のレートの動きをディスプレイの幅の２倍の距離から観察することに等しい。
【００２８】
入力ビデオ・シーケンスがＬＣＤデバイスに入力されると、その入力ビデオからの各ディジタル・ビデオ・イメージ、またはフレームが表示され、１フレーム区間にわたってＬＣＤデバイス上に維持される。Ｍ．Ｊ．ホーケン（Ｍ．Ｊ．Ｈａｗｋｅｎ）およびＫ．Ｒ．ジェイゲンファートナー（Ｋ．Ｒ．Ｇｅｇｅｎｆｕｒｔｎｅｒ）によって『パーシュート・アイ・ムーブメンツ・トゥ・セカンド・オーダー・モーション・ターゲッツ（Ｐｕｒｓｕｉｔ  Ｅｙｅ  Ｍｏｖｅｍｅｎｔｓ  ｔｏ  Ｓｅｃｏｎｄ  Ｏｒｄｅｒ  Ｍｏｔｉｏｎ  Ｔａｒｇｅｔｓ）』（ジャーナル・オブ・ザ・オプティカル・ソサエティ・オブ・アメリカ（Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ）Ａ、１８（９）、ｐｐ．２２９２‐２２９６、２００１年）と題された出版物の中で述べられているとおり、動いているシーンを見ている間の人間の目は、滑らかな目の追跡運動を伴ってそのシーンを実際に追跡し、その結果、安定したイメージが人間の網膜上に生成される。その場合に人間の視覚システムは、フリッカのないイメージを知覚するために、視覚的に時間的ロー・パス・フィルタの役を担う。
【００２９】
図２ａ〜２ｄは、ディジタル・ビデオ・イメージ内の知覚可能なぶれをもたらす人間の目の追従反応を示したフレームおよびタイミング図である。図２ａは、代表的な２次元のフレームである。図２ｂは、図２ａのフレーム内の１つの走査線の水平ポジションを時間の関数として示している。図２ｃは、人間の目が動きを追従した後の走査線の動き補償後のポジションを示している。これからわかるとおり、同一の光のパターンが、周期的に網膜上にイメージされ、結果としてある意味で安定状態の光景をもたらす。図２ｄは、１フレーム区間にわたって積分された結果として人間の視覚システムによって知覚されるときの動いているフレームを示している。知覚されるときのイメージがぶれていることがわかる。
【００３０】
したがって、ＬＣＤデバイスと人間の視覚システムの追従反応が、結果として空間的なロー・パス・フィルタ効果をもたらすことが理解できる。この効果は、図式的に図３のように例示され、また数学的には次の式１および２に示したデグラデーション関数としてモデリングすることができる。
【００３１】
【数１】
2006350334.tif 000003
【００３２】
これにおいて、
ｖは、ピクセル毎秒を単位とするフレームの動きであり、
Ｔは、秒を単位とするディスプレイ・デバイスのリフレッシュ・レートである。
【００３３】
式（１）は、動きの方向に指向される１次元のぶれ関数であり、式（２）は、対応する周波数ドメインの関数である。式（１）および（２）を、それぞれ図４ａおよび４ｂのグラフに示した。
【００３４】
前述した知覚可能なぶれ問題を扱うため、モーション・ブラーの予備補償テクニックが開発され、以下、図５〜１３を参照してそれを説明する。ここで図５を参照すると、フレーム間の動きの予測が与えられるときの空間的ロー・パス・フィルタ効果についてのモーション・ブラーの予備補償を示したシステムの図式が示されている。２００４年４月１９日に出願された『モーション・ブラー・コレクション（Ｍｏｔｉｏｎ  Ｂｌｕｒ  Ｃｏｒｒｅｃｔｉｏｎ）』と題された同時係属の米国特許出願第１０／８２７，３９４号の中に述べられているとおり、ディジタル・カメラを用いて取り込まれたディジタル・イメージ内のモーション・ブラーを、イメージの動きの方向および動きの範囲の予測を使用して予備補償するための方法が提案されており、当該特許出願の内容は参照によりこれに援用される。静止イメージ内のぶれを補償するべく設計される方法によって採用されるコンセプトのいくつかは、ディジタル・ビデオ・シーケンス内のフレーム間のピクセルの動きに起因する、知覚可能なぶれの予備補償にとっても有効となり得ることがわかった。
【００３５】
図６は、空間的ロー・パス・フィルタ効果に関するモーション・ブラーの予備補償を示した別の概略図である。図６においては、ディジタル・ビデオ・シーケンスの各フレームが動き処理フィルタを通過し、それがフレームの動きの予測ならびにフレームの動き補償を実行する。この動き処理フィルタの出力は、ＬＣＤデバイスに供給される。２フレーム・メモリ・バッファ（図示せず）が備えられており、ディジタル・ビデオ・シーケンスのリアルタイム処理を可能にする。
【００３６】
図７は、フレーム間のピクセルの動きを基礎とするディジタル・ビデオ・シーケンス内の知覚可能なぶれを補償するために実行されるステップを示したフローチャートである。２つの連続的または継続的なディジタル・ビデオ・フレーム（現在のフレームＦnおよび以前のフレームＦn‐1）を受け取ると（ステップ１００）、これらのフレーム間の動きベクトルが、現在のフレーム内の各ピクセル・ブロックについて予測される（ステップ２００）。予測済み動きベクトルのクラスタが獲得され、それらのクラスタについてのクラスタ動きベクトルが予測されて、現在のフレーム内の個別のピクセルに割り付けられる（ステップ３００）。割り付け済みのクラスタ動きベクトルを使用し、現在のフレームのピクセルがフィルタリングされて知覚可能なぶれの予備補償が行われる（ステップ４００）。
【００３７】
ピクセルのブロックについての動きベクトルの予測は、現在のフレーム内における顕著な全体的および局所的なオブジェクトの動きを迅速に回復可能にするために、その後に続く予測済み動きベクトルのクラスタリングとともに実行される。これは、パフォーマンスを犠牲にして個別のピクセルの動きを正確に回復する周知の光学フロー方法と対照的である。
【００３８】
図８は、動きベクトルが予測される方法をさらに例示している。まずフレームＦnおよびＦn‐1に対して、前処理および特徴検出（ステップ２１０）が行われる。前処理では、まず、フレームＦnおよびＦn‐1のそれぞれからのＹチャンネルのルミナンス・イメージＩnおよびＩn‐1の抽出が行われる。続いてイメージＩnおよびＩn‐1の、スムージングのための３×３ボックス・フィルタを用いたたたみ込みが行われ、次の式（３）および（４）によって表される前処理済みイメージ・フレームＧnおよびＧn‐1がもたらされる。
【００３９】
【数２】
2006350334.tif 000004
【００４０】
これにおいて、
Ｈは、フィルタの入力応答である。
【００４１】
特徴検出は、Ｃ．Ｇ．ハリス（Ｃ．Ｇ．Ｈａｒｒｉｓ）およびＭ．スティーブンズ（Ｍ．Ｓｔｅｐｈｅｎｓ）によって『ア・コンバインド・コーナ・アンド・エッジ・ディテクタ（Ａ  Ｃｏｍｂｉｎｅｄ  Ｃｏｒｎｅｒ  Ａｎｄ  Ｅｄｇｅ  Ｄｅｔｅｃｔｏｒ）』（フォース・オルベイ・ビジョン・コンファレンス（４th  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ）、ｐｐ．１４７‐１５１、１９９８年）と題された出版物の中で述べられているハリス・コーナ・ディテクタを使用するフレーム内のコーナの検出を包含する。より詳細には、各前処理済みイメージ・フレームＧnおよびＧn‐1（個別に、Ｇlとして表される）について、次の式（５）を使用して測定値Ｒlが計算される。
【００４２】
【数３】
2006350334.tif 000005
【００４３】
これにおいて、
ｘおよびｙは、イメージＧl内のピクセルの座標であり、
Ｄl,xおよびＤl,yは、座標（ｘ，ｙ）におけるイメージＧlの水平および垂直方向の導関数であり、
∈は、オーバーフローを防止するための微小値である。
【００４４】
小さい近隣内において複製されるコーナが、７×７最大フィルタを使用する緩和によって除去される。続いてＲlの値の降順によるソーティングが行われ、最初のｋ個に対応するピクセルが、次の式（６）におけるようにコーナ・ピクセルｃ（ｘ，ｙ）であると見なされる。
【００４５】
ｋ＝ｍｉｎ｛検出済みコーナの合計，５１２｝      （６）
図９は、コーナの検出のために逐次的に処理されるものとして示されたディジタル・ビデオ・シーケンス内の２つのフレームのセットを例示している。２つの行のそれぞれは、それぞれの入力フレーム（ａ、ｅ）、ルミナンス・イメージ（ｂ、ｆ）、ボックス・フィルタ後（スムージング後またはぶれ付け後）のルミナンス・イメージ（ｃ、ｇ）、および検出されたコーナを伴うイメージ（ｄ、ｈ）であり、小さいスポットとしてそれが示されている。
【００４６】
図８に戻るが、前処理および特徴検出（ステップ２１０）が完了すると、２つの連続するフレームＦnおよびＦn‐1（高さｈおよび幅ｗを有する）が８×８個のピクセルのブロックに分割され（ステップ２１２）、ブロック動きベクトル・フィールドのイメージＶnが予測される（ステップ２１４）。イメージＶnは（ｈ／８）×（ｗ／８）のサイズを有し、個別の動きベクトル・ポジションＶn（ｉ，ｊ）を伴う。
【００４７】
その後、ブロック動きベクトル・フィールドのイメージＶn内のポジションＶn（ｉ，ｊ）における各動きベクトルが、候補動きベクトルＬ(m)のリストＬから動きベクトルを選択することによってラスタ・スキャン順序で定義される（ステップ２１６）。より詳細に述べれば、ディジタル・ビデオ・シーケンス内における現在のフレームＦn内のピクセル・ブロックと以前のフレームＦn‐1内の対応するピクセル・ブロックの間において最小の差を提供する動きベクトルが、候補動きベクトルのリストＬから選択されるが、それについてはさらに説明を後述する。このアプローチの原理は、「真の動き予測」として知られており、ラルフ・ブラスペニング（Ｒａｌｐｈ  Ｂｒａｓｐｅｎｎｉｎｇ）およびジェラルド・デ・ハーン（Ｇｅｒａｒｄ  ｄｅ  Ｈａａｎ）によって『トゥルー‐モーション・エスティメーション・ユージング・フィーチャ・コレスポンデンセズ（Ｔｒｕｅ‐Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ  Ｕｓｉｎｇ  Ｆｅａｔｕｒｅ  Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ）』（ＳＰＩＥプロシーディングス・オブ・ビジュアル・コミュニケーションズ・アンド・イメージ・プロセッシング（ＳＰＩＥ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）、ｐｐ．３９６‐４０７、２００４年）と題された出版物の中に記述されている。
【００４８】
候補動きベクトルのリストＬは、それぞれのブロックについて予測され、イメージＶn内のポジションＶn（ｉ，ｊ）により次の式（７）に従って表される。
【００４９】
【数４】
2006350334.tif 000006
【００５０】
これにおいて、
Ｖn‐1は、以前の２フレームからの動きベクトル・フィールドであり、
ηは、ゼロ平均の、分散σ2を伴うガウスのランダム変数である。
【００５１】
「真の動き予測」は、連続するフレームＦnとＦn‐1の間におけるオブジェクトの動きは、ピクセル・ブロックより大きいという仮定を部分的に基礎とする。したがって、現在のフレームＦn内においてすでに予測済みの近隣ブロックの動きベクトルが、予測のための「空間候補」として使用される。「空間候補」Ｖn（ｉ‐１，ｊ）、Ｖn（ｉ，ｊ‐１）は、動きベクトルが特定のスキャン順序の候補リストから選択されていることに基づいて利用可能である。すなわち、Ｖn（ｉ‐１，ｊ）、Ｖn（ｉ，ｊ‐１）は、それぞれ、Ｖn（ｉ，ｊ）の選択に先行してそれぞれの候補リストからの選択によってすでに予測されていなければならない。
【００５２】
「空間候補」と類似の態様において、「時間候補」Ｖn‐1（ｉ＋２，ｊ＋２）が、以前の動きベクトルの選択に基づいて、この場合には、連続するフレームの以前のペアから確立された動きベクトル・フィールドＶn‐1について提供される。ディジタル・ビデオ・シーケンスの場合には、その後に続く連続フレームの間の動きベクトルが相関を有することが非常にありがちであり、したがって多くの場合に「時間候補」が、動きに関する正確な選択への高速の収斂を可能にする。
【００５３】
「ランダム候補」Ｖn（ｉ‐１，ｊ）＋η、Ｖn（ｉ，ｊ‐１）＋ηは、オブジェクトが慣性を有するという仮定に基づいて可変オブジェクトの動きを正確に追跡するために提供される。
【００５４】
「コーナ候補リスト」Ｃn（ｉ，ｊ）は、前処理および特徴検出（ステップ１１０）の間に検出されたコーナに基づいて獲得される。現在のフレームＦnのブロック内の各コーナｃについて、以前のフレームの２５×２５のウインドウ内のすべてのコーナｃ’に関する相関が作られる。正規化された交差相関ＮＣＣが、現在のフレームＦn内のコーナｃ（ｕ，ｖ）と以前のフレームＦn‐1内のコーナｃ’（ｕ’，ｖ’）の間における相関スコアの計算に使用される。正規化された交差相関ＮＣＣは、次式のとおりに表される。
【００５５】
【数５】
2006350334.tif 000007
【００５６】
これにおいて、
Ｉ（ｕ，ｖ）およびＩ’（ｕ’，ｖ’）は、２つの処理済みフレーム・イメージ内のピクセルである。
【００５７】
ＮＣＣ値＞０．９０を伴うコーナのペアの間における動きベクトルが「コーナ候補リスト」Ｃn（ｉ，ｊ）に追加される。
【００５８】
「ゼロ・ベクトル」は、高速の収斂を可能にするために提供され、ディジタル・ビデオ・シーケンス内の内容に応じてフレーム間のピクセル・ブロックのゼロの動きが頻繁に発生し得ることから正確にゼロ・ベクトルである。
【００５９】
候補リストＬ内の各候補動きベクトルＬ(m)は、ブロック差の計算について次式のとおりに対応するペナルティｐ(m)が割り当てられる。
【００６０】
【数６】
2006350334.tif 000008
【００６１】
これらのペナルティは、よりもっともらしい「真の動き」ベクトル候補の優先度を増加するために割り当てられる。このペナルティ・メカニズムは、滑らかなベクトル・フィールドを提供するために、「空間候補」の優先を確保する。これに対して「ランダム候補」は、それらが、ピクセル・ブロック間における最良適合をもたらすことがまだ明らかになっていない新しいベクトルであることから、「真の動き」ベクトルとなる尤度がもっとも低い。
【００６２】
続いて、現在のイメージ・フレームＧn内の動きシフト後のピクセル・ブロックと、以前のイメージ・フレームＧn‐1内のブロックの間における各候補ベクトルＬ(m)＝（ｕ，ｖ）について、次の式（９）に従ってペナルティ付きの差の絶対値の合計（ＳＡＤ）Ｓ(m)が計算される。
【００６３】
【数７】
2006350334.tif 000009
【００６４】
これにおいて、
ｂは、ピクセル・ブロックの高さおよび幅である。
【００６５】
リストＬ内のすべての候補動きベクトルＬ(m)の中でもっとも低いＳ(m)をもたらした候補ベクトルＬmin(m)が、そのピクセル・ブロックのための動きベクトルＶn（ｉ，ｊ）として選択され、次の式（１０）によって示されるとおり、動きベクトル・フィールド・イメージＶnの更新に使用される（ステップ２１８）。
【００６６】
Ｖn（ｉ，ｊ）＝Ｌmin(m)      （１０）
図１０は、図９の２つのフレーム間におけるピクセル・ブロックの動きベクトルを示したベクトル・フィールド・イメージの例示である。
【００６７】
図１１は、図７のステップ３００、すなわち個別のピクセルについてフレーム間の動きベクトルを獲得するために、動きベクトル・フィールド・イメージＶn内の動きベクトルＶn（ｉ，ｊ）のクラスタリングを行うためのステップをさらに詳しく示したフローチャートである。最初に、動きベクトル・フィールド・イメージＶnが、６×６の動きベクトルＶn（ｉ，ｊ）のクラスタに分割され（ステップ３１０）、それらのクラスタ内の動きベクトルＶn（ｉ，ｊ）が４つの離散的な値の１つに量子化される（ステップ３１２）。クラスタ内の量子化された方向動きベクトルの７５％超が同一の方向ｄnを有している場合（ステップ３１４）、そのクラスタにその動き方向ｄnを伴うクラスタ動きベクトルが割り当てられる（ステップ３１６）。それ以外は、そのクラスタにクラスタ動きベクトルが割り当てられない（ステップ３１８）。
【００６８】
クラスタに動き方向ｄnを伴うクラスタ動きベクトルが割り当てられる場合に、そのクラスタに属するブロック動きベクトルの平均の範囲が２ピクセル未満であれば（ステップ３２０）、そのクラスタに割り当てられたクラスタ動きベクトルがクリアされる（ステップ３１８）。
【００６９】
クラスタに属するブロック動きベクトルの平均の範囲が２ピクセルもしくはそれを超える場合には、すべての割り当て済みクラスタ動きベクトルの少なくとも７５％が同一の方向Ｄnを有しているか否かのチェックが行われる（ステップ３２２）。有していれば、そのフレーム内のすべてのピクセルに、方向Ｄnを伴う動きベクトル、および方向Ｄnを有するすべての割り当て済みクラスタ動きベクトルの平均の範囲が割り付けられる（ステップ３２６）。これは、そのフレーム内のすべてのピクセルに適用する全体的なフレーム動きベクトルを設定することによってなされる。
【００７０】
すべての割り当て済みクラスタ動きベクトルのうち同一の方向Ｄnを有するものが７５％に満たない場合には、クラスタ動きベクトルが割り当てられていないクラスタに、（直近に接続している）近隣クラスタに割り当てられたものに同じクラスタ動きベクトルが割り当てられる（ステップ３２４）。近隣クラスタは、４接続性の原理に適合するクラスタである。このクラスタ動きベクトルの割り当ては、隣接するピクセル・ブロックが同一オブジェクトの部分となることがありがちであり、したがってフレーム間に同一の動きを有すると仮定できるという仮定を基礎とする。このプロセスは、クラスタ動きベクトルが割り当てられてないすべてのクラスタが、クラスタ動きベクトルが割り当てられた割り当て済みクラスタ動きベクトルを伴うクラスタに隣接するまで連続的に反復され（ステップ３２８）、その時点において、割り当て済みクラスタ動きベクトルが、現在のフレーム内の対応するピクセルに割り付けられる（ステップ３３０）。
【００７１】
図１２は、フレーム内における顕著な局所的なオブジェクトの動きを迅速に予測するために、直近の近隣クラスタに対して割り当てられるクラスタ動きベクトルを基礎とする、クラスタに対するクラスタ動きベクトルの反復割り当てを示している。
【００７２】
図１３は、図７のステップ４００、すなわちＬＣＤデバイスによる表示用の出力フレームＯnを生成するために、割り付け済み動きベクトルを使用してフレームＦn内の知覚可能なぶれを予備補償するためのステップをさらに詳しく示したフローチャートである。以下に説明する予備補償は、前述した『モーション・ブラー・コレクション（Ｍｏｔｉｏｎ  Ｂｌｕｒ  Ｃｏｒｒｅｃｔｉｏｎ）』と題された同時係属の米国特許出願第１０／８２７，３９４号内に開示されたテクニックの修正である。
【００７３】
ステップ３００の間に現在のフレームＦn内のそれぞれのピクセルに対して割り付けられたクラスタ動きベクトルから、Ｋ個の動きベクトルの配列が獲得される。動きベクトルが存在しない場合には、予備補償が必要なく、出力フレームＯnがフレームＦnと等しくなる。
【００７４】
しかしながら、フレーム間に動きがある場合には、フィルタ・バンクが構成され（ステップ４１０）配列内の各動きベクトルについて、それぞれの動きベクトルに対応するサイズｓkおよび方向θkを伴う線形ぶれフィルタｆkが作成され、フィルタ・バンクに追加される。たとえばＫ＝２のときには、２つのぶれフィルタの最初のフィルタｆ1が、方向θ1＝０°および範囲ｓ1＝５ピクセルを伴う動きベクトルに基づいて次のとおりとなる。
【００７５】
【数８】
2006350334.tif 000010
【００７６】
また２つのぶれフィルタの２番目のフィルタｆ2は、方向θ2＝９０°および範囲ｓ2＝３ピクセルを伴う動きベクトルに基づいて次のとおりとなる。
【００７７】
【数９】
2006350334.tif 000011
【００７８】
最初の推測フレームは、出力フレームＯnのための最初の推測イメージとしてフレームＦnを設定することによって確立される（ステップ４１２）。推測ピクセルは、推測イメージから選択され（ステップ４１４）、その推測ピクセルに対応するぶれフィルタがフィルタ・バンクから取り出される（ステップ４１６）。そのぶれフィルタが少なくとも１ピクセルとする範囲を有していない場合には（ステップ４１８）ステップ４１４に戻り、次のピクセルが選択される。それに該当しなければ、ぶれフィルタの動きの方向における推測ピクセルのエッジの大きさ（ｅｄｇｅ ｍａｇｎｉｔｕｄｅ）がゾーベル（Ｓｏｂｅｌ）エッジ・フィルタを使用して予測され（ステップ４２０）、重み付けファクタとしてＷn（ｘ，ｙ）にストアされる。ゾーベル（Ｓｏｂｅｌ）エッジ・フィルタ演算および重み付けは、次の式（１１）、（１２）、および（１３）に示されるとおりに行われる。
【００７９】
【数１０】
2006350334.tif 000012
【００８０】
次に、フィルタｆkを用いたＯn（ｘ，ｙ）のたたみ込みによってぶれフィルタを使用して推測ピクセルにぶれが付けられ（ステップ４２２）、ぶれ付きピクセルＢn（ｘ，ｙ）が獲得される。フレームＦn内のピクセルとぶれ付き推測ピクセルの間の誤差が、Ｂn（ｘ，ｙ）をＦn（ｘ，ｙ）から差し引くことによって決定され（ステップ４２４）、誤差Ｅn（ｘ，ｙ）が獲得される。続いてこの誤差Ｅn（ｘ，ｙ）に、ぶれフィルタｆkを用いてぶれが付けられ、ステップ４２０において獲得されたエッジの大きさを重み付け係数として使用して重み付けされる（ステップ４２６）。その後、次の式（１４）に従い、重み付けおよびぶれ付けが行われた誤差を用いて推測ピクセルが更新される（ステップ４２８）。
【００８１】
Ｏn（ｘ，ｙ）＝Ｏn（ｘ，ｙ）＋β×Ｅn（ｘ，ｙ）×Ｗn（ｘ，ｙ）      （１４）
それにおいて、
βは、一定のステップ・サイズである。
【００８２】
推測イメージ内に選択する別のピクセルがまだある場合には（ステップ４３０）、この方法がステップ４１４戻り、次のピクセルを前処理のために選択する。なければ、出力フレームＯnの合計の調整が計算されて、次の式（１５）に従って、推測イメージと、すべてのピクセルにわたって計算された推測イメージの間における全体的な差ΔＥが決定される。
【００８３】
【数１１】
2006350334.tif 000013
【００８４】
ΔＥがあらかじめ定義済みの誤差スレッショルドより小さい場合には、フレームＦnに関する予備補償が完了し、各ピクセル・ロケーションにおいて動きの方向に対して調整された方向性鮮明化フィルタを使用して出力フレームＯnの鮮明化が行われ、表示のためにＬＣＤデバイスに提供される（ステップ４３６）。それに該当しない場合には、更新済み推測イメージ内のピクセルを選択（ステップ４３４）することによって反復が行われ（ステップ４３２）、ステップ４１６に戻る。
【００８５】
図１４ａ〜１４ｄは、実験的なディジタル・ビデオ・シーケンスであり、それぞれが独特の動き特性を有する。テストは、マイクロソフト・ウインドウズ２０００プロフェッショナル（ＭｉｃｒｏｓｏｆｔTM  Ｗｉｎｄｏｗｓ（登録商標）  ２０００  ＰｒｏｆｅｓｓｉｏｎａｌTM）オペレーティング・システムが走る、２５６ＭｂのＲＡＭ、メモリ・バス速度２６６Ｍｈｚを伴ったプロセッサ速度２．２６Ｇｈｚのインテル・ペンティアム（登録商標）４（ＩｎｔｅｌTM  ＰｅｎｔｉｕｍTM４）上において、マイクロソフト・ビジュアル・スタジオ（ＭｉｃｒｏｓｏｆｔTM  Ｖｉｓｕａｌ  ＳｔｕｄｉｏTM）Ｃ＋＋６．０を使用して構成およびコンパイルされた、前述した方法を具体化するソフトウエアを用いてこれらの実験的なシーケンスに対して行われた。
【００８６】
図１４ａのシーケンスについては、シーケンスを構成する２つのイメージの取り込みに、３２０×２４０ピクセルの解像度のカメラを使用し、左から右に向かってパニングさせた。２つのフレームの比較から、３番目のイメージ・フレームにオーバーレイされた矢印によって示されているとおり、方向θ＝０°および範囲１３ピクセルを伴う全体的なフレームの動き予測がもたらされた。
【００８７】
図１４ｂのシーケンスについては、シーケンスを構成する２つのイメージの取り込みに６４０×４８０ピクセルの解像度のカメラが使用された。この例におけるイメージ・シーケンスは、異なる方向に移動する２匹の犬を示している。２つのフレームの比較から、３番目のイメージ・フレーム内の複数の統合されたクラスタにより輪郭が描かれた単一の移動するオブジェクトとして１匹の犬にオーバーレイされた矢印によって示されているとおり、当該１匹の犬について方向θ＝９０°および範囲１０ピクセルを伴うオブジェクトの動き予測がもたらされた。２番目の犬の動きは、動きの範囲が範囲スレッショルドより低いことから考慮されていない。
【００８８】
図１４ｃのシーケンスについては、シーケンスを構成する２つのイメージの取り込みに１７６×１４４ピクセルの解像度のカメラが使用された。この例におけるイメージ・シーケンスには、静止している背景および動いている人が示されている。２つのフレームの比較から、３番目のイメージ・フレーム内の複数のクラスタにより輪郭が描かれた移動するオブジェクトにオーバーレイされた矢印によって示されているとおり、方向θ＝０°および範囲３ピクセルを伴うオブジェクトの動き予測がもたらされた。
【００８９】
図１４ｄのシーケンスについては、シーケンスを構成する２つのイメージの取り込みに３２０×２４０ピクセルの解像度のカメラが使用された。この例においては、イメージ・シーケンスが、フォアグラウンド内を移動する複数のフットボール・プレーヤを示している。２つのフレームの比較から、複数のオブジェクトの動き予測がもたらされた。２つのオブジェクトが、方向θ＝０°および範囲７ピクセルを伴って予測され、１つのオブジェクトが方向θ＝１８０°および範囲４ピクセルを伴って予測され、１つのオブジェクトが方向θ＝２７０°および範囲１１ピクセルを伴って予測された。これらのオブジェクトは、それぞれ３番目のイメージ・フレーム内のオブジェクトにオーバーレイされた矢印によって示され、それぞれのオブジェクトは、複数のクラスタによって輪郭が描かれている。
【００９０】
図１５ａは、図１４ｃのテスト・シーケンスに基づいて、シミュレーションにより知覚可能なモーション・ブラーを付けたフレームおよび動きの予備補償済みフレームを示している。シミュレーションによる知覚可能なモーション・ブラーは、図２ａ〜２ｄのフレームおよびタイミング図に従って予測された動きの方向における積分によって作られた。左上のイメージはオリジナルのフレーム、右上のイメージは予備補償後のイメージ、左下のイメージはシミュレーションによる知覚可能なモーション・ブラーを伴うイメージ、右下のイメージは知覚可能な動きの予備補償後のイメージである。これから明らかになるとおり、右下のイメージは、左下のイメージより鮮明である。
【００９１】
図１５ｂは、図１４ｄのテスト・シーケンスを基礎とした、シミュレーションによる知覚可能なモーション・ブラーを付けたフレームおよび動きの予備補償済みフレームを示している。シミュレーションによる知覚可能なモーション・ブラーは、同様に、図２ａ〜２ｄのフレームおよびタイミング図に従って予測された動きの方向における積分によって作られた。左上のイメージはオリジナルのフレーム、右上のイメージは予備補償後のイメージ、左下のイメージはシミュレーションによる知覚可能なモーション・ブラーを伴うイメージ、右下のイメージは知覚可能な動きの予備補償後のイメージである。これから明らかになるとおり、右下のイメージは、左下のイメージより鮮明である。
【００９２】
前述した動きの予備補償方法のパフォーマンスが、部分的にはオリジナルのフレーム内における動きの複雑性に依存することが明らかになった。またコーナ検出が、動きの予備補償方法におけるもっとも演算負荷の高い操作であることも明らかになった。次の表１は、知覚可能なモーション・ブラー予備補償の間における平均のフレーム処理時間を要約したものである。これらの時間は、標準Ｃライブラリによって提供されるビルトイン・タイマ関数を使用して獲得された。
【００９３】
【表１】
2006350334.tif 000014
【００９４】
フレーム・サイズ  標準処理時間（ｍｓ）  最適処理時間（ｍｓ）
６４０×４８０        ４３８                ２１９
２４０×３５２        １０９                  ４７
１７６×１４４          ３１                  １５
表１の標準処理時間は、前述したとおりの方法の実行の間に収集され、最適処理時間は、コーナ検出がフレームの部分サンプル・バージョンに対して適用される修正後の方法の実行の間に収集された。
【００９５】
図１６は、スチル・カメラによって実験の間に取り込まれ、動きを伴わずにＬＣＤデバイス上に表示された３つのテスト・イメージを示している。カメラは、キャノン・イオス２０Ｄ（Ｃａｎｏｎ  ＥＯＳ２０Ｄ）であり、ＩＳＯ８００、絞りＦ１．４〜Ｆ１．６を伴う。２ｍｓの露出時間が使用され、カメラの解像度は２３３６×３５０４であった。ＬＣＤデバイスは、輝度レベル１００％、コントラスト・レベル７５％のデル（Ｄｅｌｌ）Ｅ１９３ＦＰモニタである。知覚される出力の可視表現を提供するために、網膜の正常な積分時間を超える高いフレーム・レートにおいて、イメージの時間平均がカメラ上に取り込まれた。各イメージ内においては、カメラのシャッタのタイム・スタンプを使用してフレームの整列が行われた。
【００９６】
図１７は、このカメラによって取り込まれ、動きを伴ってＬＣＤデバイス上に表示された、前述した動きの予備補償あり、および予備補償なしの図１６の３つのテスト・イメージの最初（『グレイ・バー』）を示している。図１７の上段の予備補償なしイメージの場合には、８ピクセル毎フレーム（ｐｐｆ）のフレームの動きについてグレイ・バーのぶれ付きのエッジ幅（ＢＥＷ）が予測され、立ち上がりが１１．９３ピクセルであり、立ち下がりが１３．６９ピクセルであることがわかった。図１７の下段の予備補償ありイメージの場合には、立ち上がりＢＥＷが７．０３ピクセルであり、立ち下がりＢＥＷが１０．０６ピクセルであることが測定され、予備補償ありイメージの方がより鮮明であるとしてカメラによって知覚された。
【００９７】
図１８は、このカメラによって取り込まれ、動きを伴わずにＬＣＤデバイス（左上）およびＣＲＴデバイス（右上）に表示された図１６の３つのテスト・イメージの２番目（『顔』）を示している。またＬＣＤから動いているカメラを用いて取り込まれた、動きの予備補償なし（中段左）、およびオーバードライブ動き予備補償あり（中段右）の『顔』のテスト・イメージも示されている。下段には、動き予備補償後（下段左）、およびエッジ動きイメージ（下段右）として動いているカメラを用いてＬＣＤから取り込まれた『顔』のテスト・イメージが示されている。動きのレートは８ｐｐｆであった。これらから、鮮明化およびエッジ動き前処理を施したイメージには、顔の目ならびに唇の部分等に見られるとおり、より鮮明に特徴が現れていることが理解できる。
【００９８】
図１９は、このカメラによって取り込まれ、動きを伴わずにＬＣＤデバイス（上段左）およびＣＲＴデバイス（上段右）上に表示された図１６の３つのテスト・イメージの３番目（『ドリンク・ボックス』）を示している。また、ＬＣＤから動いているカメラを用いて取り込まれた、動きの予備補償なし（中段左）、およびオーバードライブ動き予備補償あり（中段右）の『ドリンク・ボックス』のテスト・イメージも示されている。下段には、動き予備補償後（下段左）、およびエッジ動きイメージ（下段右）として動いているカメラを用いてＬＣＤから取り込まれた『ドリンク・ボックス』のテスト・イメージが示されている。動きのレートは８ｐｐｆであった。これらから、鮮明化およびエッジ動き前処理を施したイメージが、より鮮明なテキスト文字をもたらすことが理解できる。
【００９９】
図面を参照して特定の実施態様を説明してきたが、代替も可能であることを認識するであろう。たとえば、ステップ２１０の前処理ならびに特徴検出の間においては３のフィルタ・サイズが用いられていたが、特定の具体化に適した効果を達成するために希望に応じてこのほかのフィルタ・サイズを使用することもできる。また、特徴マッチングのためのコーナの決定における使用についてハリス・コーナ・ディテクタを説明したが、ほかの検出アルゴリズム、たとえばＳ．スミス（Ｓ．Ｓｍｉｔｈ）およびＪ．ブラディ（Ｊ．Ｂｒａｄｙ）によって『スーザン‐‐ア・ニュー・アプローチ・トゥ・ロー・レベル・イメージ・プロセッシング（Ｓｕｓａｎ‐‐ａ  ｎｅｗ  ａｐｐｒｏａｃｈ  ｔｏ  ｌｏｗ  ｌｅｖｅｌ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ）』（インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）２３、ｐｐ．４５‐７８、１９９７年５月）と題された出版物の中に記述されているスーザン（ＳＵＳＡＮ）アルゴリズム等を採用することもできる。
【０１００】
ステップ２１２の間の使用について８×８のピクセル・ブロック・サイズが説明されているが、これより大きい、あるいはこれより小さいブロック・サイズを選択してもよく、処理時間対パフォーマンスのトレード‐オフに対する相応じた効果を有する。
【０１０１】
ステップ２１６の特徴マッチングの間において正規化された交差相関を計算するために２５×２５ピクセルの近隣が使用されているが、ほかの近隣サイズも選択できることを理解することになろう。さらに、０．９０を超えるすべての正規化された交差相関計算が候補動きベクトル・リストの候補として選択されているが、このスレッショルドは、特定の具体化に適応させるべく希望に応じて増加または減少させてもよい。
【０１０２】
また、クラスタ動きベクトルのためのデータの提供に６×６のブロック動きベクトルのクラスタが使用されたが、特定の具体化の必要に応じて、これより多い、あるいはこれより少ないブロック動きベクトルのクラスタが使用できることも理解できよう。さらにまた、同一方向ｄnを伴う動きベクトルまたは同一方向Ｄnを伴うクラスタ動きベクトルのパーセンテージ・スレッショルドとして少なくとも７５％とすることが選択されているが、特定の具体化に適応させるための必要に応じて、これより大きく、あるいはこれより小さくできることも理解できるであろう。
【０１０３】
スレッショルド量を超えて変化しない誤差の合計が、反復的予備補償の完了を決定するために採用される基準として述べられているが、これも理解されるとおり、ピクセルのぶれ付け、比較、誤差ピクセルのぶれ付けならびに重み付け、および結合は、特定の具体化に適応させるための必要に応じて、あらかじめ決定済みの回数にわたって反復的に実行してもよい。
【０１０４】
この方法およびシステムは、パーソナル・コンピュータまたはそのほかのコンピューティング・システム環境等のコンピューティング・ユニットによって実行されるコンピュータ実行可能インストラクションを含むソフトウエア・アプリケーション内において具体化することができる。このソフトウエア・アプリケーションを、スタンド‐アロン・ディジタル・イメージ／ビデオ編集ツールとして実行してもよく、あるいはほかの利用可能なディジタル・イメージ／ビデオ編集アプリケーションに組み込んで、それらのディジタル・イメージ／ビデオ編集アプリケーションに強化機能を提供することもできる。ソフトウエア・アプリケーションは、ルーチン、プログラム、オブジェクト・コンポーネント、データ構造等を含むプログラム・モジュールを包含させて、コンピュータ可読メディア上にストアされるコンピュータ可読プログラム・コードとして具体化することができる。コンピュータ可読メディアは、データのストアが可能であり、かつ、その後のコンピュータ・システムによる読み取りの可能な任意のデータ・ストレージ・デバイスである。コンピュータ可読メディアの例としては、たとえば読み出し専用メモリ、ランダム・アクセス・メモリ、ＣＤ‐ＲＯＭ、磁気テープ、光データ・ストレージ・デバイス等が挙げられる。またコンピュータ可読プログラム・コードは、コンピュータ可読プログラム・コードが分散態様でストアされ、実行されるように、結合されたコンピュータ・システムを含むネットワークにわたって分散させることも可能である。
【０１０５】
以上、実施態様について説明してきたが、当業者が認識するとおり、付随する特許請求の範囲によって定義される本発明の精神ならびに範囲から逸脱することなく、変形および修正を行うことができる。
【図面の簡単な説明】
【０１０６】
【図１】ホールド‐タイプのディスプレイ・デバイスおよび人間の視覚システムの動き知覚メカニズムからもたらされるディジタル・ビデオ・イメージ・フレーム内の知覚可能なぶれを示した概略図。
【図２】ディジタル・ビデオのフレームの知覚可能なぶれを招く人間の視覚システムの追従反応を示したフレームおよびタイミング図。
【図３】ホールド‐タイプのディスプレイ・デバイスおよび人間の視覚システムの追従反応の組み合わせ効果から結果的にもたらされる空間的ロー・パス・フィルタ効果を例示した概略図。
【図４】ホールド‐タイプのディスプレイ・デバイスおよび人間の視覚システムの追従反応の組み合わせによって生じる空間的ロー・パス・フィルタ効果のグラフであり、空間ドメインにおいて示されたもの。
【図５】フレーム間の動きの予測が与えられるときの空間的ロー・パス・フィルタ効果についてのモーション・ブラー予備補償を示した概略図。
【図６】空間的ロー・パス・フィルタ効果についてのモーション・ブラー予備補償を示した概略図。
【図７】フレーム間のピクセルの動きに基づくディジタル・ビデオ・シーケンス内の知覚可能なぶれの予備補償の方法を示したフローチャート。
【図８】動きベクトル予測の間に実行されるステップを示したフローチャート。
【図９】コーナを検出するために逐次的に処理されるときのディジタル・ビデオ・シーケンス内の例示的な２つのフレームのセット。
【図１０】図９の２つのフレームの間におけるピクセルのブロックの動きベクトルを例示したベクトル・フィールド。
【図１１】フレーム間のピクセルについて動きベクトルを獲得するために２つのフレーム間のピクセルのブロックの動きベクトルをクラスタ化するためのステップを示したフローチャート。
【図１２】直近の近隣クラスタに割り当てられるクラスタ動きベクトルを基礎とするクラスタに対するクラスタ動きベクトルの反復的割り当て。
【図１３】フレーム内の各ピクセルに対応する予測済み動きベクトルを使用するフレーム内の知覚可能なモーション・ブラーを予備補償するためのステップを示したフローチャート。
【図１４】独特な動き特性を有する実験的なディジタル・ビデオ・シーケンス。
【図１５】図１４ｃのテスト・シーケンスに基づいてシミュレーションによる知覚可能なモーション・ブラーを付けたフレーム及び動き予備補償が行われたフレーム。
【図１６】スチル・カメラによって取り込まれ、動きを伴わずにＬＣＤデバイス上に表示された３つのテスト・イメージ。
【図１７】スチル・カメラによって取り込まれ、動きを伴ってＬＣＤデバイス上に表示された動き予備処理なし、および予備処理ありの図１６の３つのテスト・イメージの最初のテスト・イメージ。
【図１８】動きを伴わずにＬＣＤデバイス上およびＣＲＴデバイス上に表示されるとき、および動きを伴って取り込まれるときの、スチル・カメラによって取り込まれた動き予備補償あり、および予備処理なしの図１６の３つのテスト・イメージの２番目のテスト・イメージ。
【図１９】動きを伴わずにＬＣＤデバイス上およびＣＲＴデバイス上に表示されるとき、および動きを伴って取り込まれるときの、スチル・カメラによって取り込まれた動き予備補償あり、および予備処理なしの図１６の３つのテスト・イメージの３番目のテスト・イメージ。
【図１】
2006350334.tif 000015
【図３】
2006350334.tif 000016
【図４】
2006350334.tif 000017
【図５】
2006350334.tif 000018
【図７】
2006350334.tif 000019
【図８】
2006350334.tif 000020
【図１１】
2006350334.tif 000021
【図１３】
2006350334.tif 000022
【図２】
2006350334.tif 000023
【図６】
2006350334.tif 000024
【図９】
2006350334.tif 000025
【図１０】
2006350334.tif 000026
【図１２】
2006350334.tif 000027
【図１４】
2006350334.tif 000028
【図１５】
2006350334.tif 000029
【図１６】
2006350334.tif 000030
【図１７】
2006350334.tif 000031
【図１８】
2006350334.tif 000032
【図１９】
2006350334.tif 000033