(57)【要約】【課題】  表示デバイスにより画像を表示する方法を提供する。【解決手段】  この方法は、画像用の画像データを受け取ることを含む。この画像データに対応する第１のサブフレームおよび第２のサブフレームが生成される。これらの第１のサブフレームおよび第２のサブフレームは、画像データと擬似画像との間の誤差の最小化に基づいて生成される。この方法は、第１の位置に上記第１のサブフレームを表示することと、第１の位置から空間的にオフセットされた第２の位置に上記第２のサブフレームを表示することとを交互に行うことを含む。【選択図】図１
2005057742.tif 000002
【特許請求の範囲】
【請求項１】
表示デバイス（２６）により画像（１４）を表示する方法であって、
前記画像用の画像データ（１６）を受け取ること、
前記画像データに対応する第１のサブフレーム（３０）および第２のサブフレーム（３０）を生成することであって、該第１のサブフレームおよび第２のサブフレームは、前記画像データと擬似画像（４１２、５１２、６１０、または７０６）との間の誤差の最小化に基づいて生成される、第１のサブフレームおよび第２のサブフレームを生成すること、
第１の位置に前記第１のサブフレームを表示することと、該第１の位置から空間的にオフセットされた第２の位置に前記第２のサブフレームを表示することとを交互に行うこと  とを含む方法。
【請求項２】
前記画像データに対応する第３のサブフレーム（３０）および第４のサブフレーム（３０）を生成することであって、該第３のサブフレームおよび第４のサブフレームは、前記画像データと前記擬似画像との間の前記誤差の最小化に基づいて生成される第３のサブフレームおよび第４のサブフレームを生成すること
をさらに含み、
前記第１のサブフレームを表示することと、前記第２のサブフレームを表示することとを交互に行うことは、
前記第１の位置に前記第１のサブフレームを表示することと、
前記第２の位置に前記第２のサブフレームを表示することと、
前記第１の位置および前記第２の位置から空間的にオフセットされた第３の位置に前記第３のサブフレームを表示することと、
前記第１の位置、前記第２の位置、および前記第３の位置から空間的にオフセットされた第４の位置に前記第４のサブフレームを表示することとを交互に行うことと
をさらに含む、
請求項１に記載の表示デバイスにより画像を表示する方法。
【請求項３】
前記擬似画像は、前記第１のサブフレーム、前記第２のサブフレーム、前記第３のサブフレーム、および前記第４のサブフレームと、補間フィルタ（４０６、５０６、５２２、６０６、または７０２）との畳み込み演算に基づくものである
請求項２に記載の表示デバイスにより画像を表示する方法。
【請求項４】
前記補間フィルタは、４つのフィルタ係数を有する２×２補間フィルタであり、
該フィルタ係数のそれぞれは、１の値を有する
請求項３に記載の表示デバイスにより画像を表示する方法。
【請求項５】
前記擬似画像は、前記第１のサブフレームおよび前記第２のサブフレームをアップサンプリングして、それによって、アップサンプリングサブフレームデータ（５０４、５１６、または６０４）を生成することに基づくものである
請求項１に記載の表示デバイスにより画像を表示する方法。
【請求項６】
前記アップサンプリングサブフレームデータは、
第１のアップサンプリングサブフレームと、
第２のアップサンプリングサブフレーム（５０４および５１６）と
を含み、
前記擬似画像は、前記第１のアップサンプリングサブフレームのピクセルをシフトして、第１のシフトサブフレーム（５２０）を生成することに基づくものであり、
前記擬似画像は、該第１のシフトサブフレームと前記第２のアップサンプリングサブフレームと補間フィルタ（５０６または５２２）との畳み込み演算に基づくものであり、
前記擬似画像は、前記畳み込み演算の結果の総和に基づくものである
請求項５に記載の表示デバイスにより画像を表示する方法。
【請求項７】
前記画像データと前記擬似画像との間の前記誤差は、空間領域において最小化される大域誤差を表す
請求項１に記載の表示デバイスにより画像を表示する方法。
【請求項８】
前記画像データと前記擬似画像との間の前記誤差は、周波数領域において最小化される大域誤差を表す
請求項１に記載の表示デバイスにより画像を表示する方法。
【請求項９】
前記画像データと前記擬似画像との間の前記誤差は、複数の繰り返しを介して空間領域において適応的に最小化される局所誤差を表す
請求項１に記載の表示デバイスにより画像を表示する方法。
【請求項１０】
画像（１４）を表示するシステム（１０）であって、
前記画像用の画像データ（１６）を受け取るようになっているバッファ（２２）と、
前記画像データに対応する第１のサブフレームおよび第２のサブフレーム（３０）を、前記画像データと擬似画像（４１２、５１２、６１０、または７０６）との間の差の最小化に基づいて規定するように構成された画像処理ユニット（２４）と、
第１の位置に前記第１のサブフレームを表示することと、該第１の位置から空間的にオフセットされた第２の位置に前記第２のサブフレームを表示することとを交互に行うようになっている表示デバイス（２６）と
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、表示システムに関し、詳細には、空間的にオフセットされたサブフレームの生成および表示に関する。
【０００２】
［関連出願の相互参照］
本出願は、２００２年８月７日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」という発明の名称の米国特許出願第１０／２１３，５５５号、２００２年９月１１日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」という発明の名称の米国特許出願第１０／２４２，１９５号、および２００２年９月１１日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」という発明の名称の米国特許出願第１０／２４２，５４５号に関連する。
上記米国特許出願のそれぞれは、本発明の譲受人に譲渡されている。
【背景技術】
【０００３】
ディスプレイ、プロジェクタ、他の画像形成システムなど、画像を表示するための従来のシステムおよびデバイスは、横方向の行および縦方向の列に整列された個々の画素またはピクセルの配列をアドレス指定することにより表示画像を生成する。
表示画像の解像度は、表示画像を形成する横方向の行および縦方向の列の個々のピクセルの個数として定義される。
表示画像の解像度は、表示デバイス自体の解像度、および、表示デバイスによって処理され、表示画像を生成するために使用される画像データの解像度によって影響を受ける。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、表示画像の解像度を向上させるには、表示デバイスの解像度、および、表示画像を生成するために使用される画像データの解像度を向上させなければならない。
しかしながら、表示デバイスの解像度を向上させると、表示デバイスのコストおよび複雑さが増加する。
これに加えて、解像度をより高くした画像データが利用可能でないことがあり、かつ／または、その生成が困難なことがある。
【課題を解決するための手段】
【０００５】
本発明の一形態は、表示デバイスにより画像を表示する方法を提供する。
この方法は、画像用の画像データを受け取ることを含む。
この画像データに対応する第１のサブフレームおよび第２のサブフレームが生成される。
これらの第１のサブフレームおよび第２のサブフレームは、画像データと擬似画像との間の誤差の最小化に基づいて生成される。
この方法は、第１の位置に上記第１のサブフレームを表示することと、第１の位置から空間的にオフセットされた第２の位置に上記第２のサブフレームを表示することとを交互に行うことを含む。
【発明を実施するための最良の形態】
【０００６】
好ましい実施の形態の以下の詳細な説明では、添付図面を参照する。
添付図面は、この詳細な説明の一部をなす。
添付図面には、本発明を実施することができる特定の実施の形態を例示として示す。
他の実施の形態を利用することもでき、本発明の範囲から逸脱することなく、構造的または論理的な変更を行うこともできることが理解されるべきである。
したがって、以下の詳細な説明は、限定する意味に取られるべきではなく、本発明の範囲は、添付した特許請求の範囲によって画定される。
【０００７】
［Ｉ．サブフレームの空間シフトおよび時間シフト］
いくつかのデジタルライトプロジェクタなど、表示システムの中には、いくつかの高解像度の画像を表示するのに十分な解像度を有さないものがある。
このようなシステムは、空間シフトおよび時間シフトを行った低解像度の画像を表示することにより、より高解像度の画像の外観を人間の眼に与えるように構成することができる。
【０００８】
低解像度の画像は、サブフレームと呼ばれる。
サブフレーム生成の問題は、本発明の実施の形態によって取り組まれるものであるが、表示されるサブフレームが、そのサブフレームを導出した高解像度の画像が直接表示されたならば見えるであろう程度に外観上近くなるように、サブフレームの適切な値を決定することにある。
【０００９】
向上した解像度の外観を、サブフレームの時間シフトおよび空間シフトを通じて提供する表示システムの一実施形態は、引用した上記米国特許出願に記載されており、図１〜図４Ｅを参照して以下に概要を説明する。
【００１０】
図１は、本発明の一実施の形態による画像表示システム１０を示すブロック図である。
この画像表示システム１０は、画像１２の処理を促進して、表示画像１４を作成する。
画像１２は、あらゆる描画用文字、図形文字、および／もしくはテキスト文字、シンボル、イラスト、ならびに／または他の情報表現を包含するように定義される。
画像１２は、例えば、画像データ１６によって表わされる。
画像データ１６は、画像１２の個々の画素またはピクセルを含む。
画像表示システム１０が処理するものとして、１つの画像を例示して説明するが、画像表示システム１０は、複数の画像または一連の画像を処理して表示することができることが理解されよう。
【００１１】
一実施の形態では、画像表示システム１０は、フレームレート変換ユニット２０および画像フレームバッファ２２、画像処理ユニット２４、ならびに表示デバイス２６を含む。
後述するように、フレームレート変換ユニット２０および画像フレームバッファ２２は、画像１２用の画像データ１６を受け取ってバッファリングし、画像１２用の画像フレーム２８を作成する。
画像処理ユニット２４は、画像フレーム２８を処理して、画像フレーム２８用の１つまたは複数の画像サブフレーム３０を規定し、表示デバイス２６は、画像サブフレーム３０を時間的かつ空間的に表示して、表示画像１４を生成する。
【００１２】
フレームレート変換ユニット２０および／または画像処理ユニット２４を含めて、画像表示システム１０は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせを含む。
一実施の形態では、フレームレート変換ユニット２０および／または画像処理ユニット２４を含めて、画像表示システム１０の１つまたは複数のコンポーネントは、コンピュータ、コンピュータサーバ、または一続きの論理演算を実行できる他のマイクロプロセッサベースのシステムに含まれる。
さらに、処理をシステム全体にわたって分散させて、個々の部分を個別のシステムコンポーネントで実施させることもできる。
【００１３】
画像データ１６は、デジタル画像データ１６１を含むこともできるし、アナログ画像データ１６２を含むこともできる。
アナログ画像データ１６２を処理するために、画像表示システム１０は、アナログ／デジタル（Ａ／Ｄ）変換器３２を含む。
したがって、Ａ／Ｄ変換器３２は、アナログ画像データ１６２を後続の処理のためにデジタル形式に変換する。
このように、画像表示システム１０は、画像１２用のデジタル画像データ１６１および／またはアナログ画像データ１６２を受け取って処理することができる。
【００１４】
フレームレート変換ユニット２０は、画像１２用の画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリングまたは記憶する。
より具体的には、フレームレート変換ユニット２０は、画像１２の個々のラインまたはフィールドを表す画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリングし、画像１２用の画像フレーム２８を作成する。
画像フレームバッファ２２は、画像フレーム２８用の画像データのすべてを受け取って記憶することにより、画像データ１６をバッファリングし、フレームレート変換ユニット２０は、その後、画像フレームバッファ２２から画像フレーム２８用の画像データのすべてを検索または抽出することにより、画像フレーム２８を作成する。
したがって、画像フレーム２８は、画像１２の全体を表す画像データ１６の複数の個々のラインまたはフィールドを包含するように定義される。
このように、画像フレーム２８は、画像１２を表す複数の列および複数の行の個々のピクセルを含む。
【００１５】
フレームレート変換ユニット２０および画像フレームバッファ２２は、プログレッシブ画像データおよび／またはインターレース画像データとして画像データ１６を受け取って処理することができる。
プログレッシブ画像データの場合、フレームレート変換ユニット２０および画像フレームバッファ２２は、画像１２用の画像データ１６の連続したフィールドを受け取って記憶する。
したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の連続したフィールドを検索することにより、画像フレーム２８を作成する。
インターレース画像データの場合、フレームレート変換ユニット２０および画像フレームバッファ２２は、画像１２用の画像データ１６の奇数フィールドおよび偶数フィールドを受け取って記憶する。
例えば、画像データ１６の奇数フィールドのすべてが受け取られて記憶され、画像データ１６の偶数フィールドのすべてが受け取られて記憶される。
したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の奇数フィールドおよび偶数フィールドを検索することにより、画像データ１６のインターレースを解除して、画像フレーム２８を作成する。
【００１６】
画像フレームバッファ２２は、それぞれの画像１２の１つまたは複数の画像フレーム２８用の画像データ１６を記憶するためのメモリを含む。
したがって、画像フレームバッファ２２は、１つまたは複数の画像フレーム２８のデータベースを構成する。
画像フレームバッファ２２の例には、不揮発性メモリ（例えば、ハードディスクドライブまたは他の永続的記憶デバイス）が含まれ、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ））が含まれてもよい。
【００１７】
フレームレート変換ユニット２０において画像データ１６を受け取り、画像フレームバッファ２２により画像データ１６をバッファリングすることにより、画像データ１６の入力タイミングを、表示デバイス２６のタイミング要件から切り離すことができる。
より具体的には、画像フレーム２８用の画像データ１６は、画像フレームバッファ２２により受け取られて記憶されるので、画像データ１６をあらゆるレートの入力として受け取ることができる。
したがって、画像フレーム２８のフレームレートを表示デバイス２６のタイミング要件に変換することができる。
このように、画像フレーム２８用の画像データ１６を、表示デバイス２６のフレームレートで画像フレームバッファ２２から抽出することができる。
【００１８】
一実施の形態では、画像処理ユニット２４は、解像度調整ユニット３４およびサブフレーム生成ユニット３６を含む。
後述するように、解像度調整ユニット３４は、画像フレーム２８用の画像データ１６を受け取って、表示デバイス２６の表示用に画像データ１６の解像度を調整し、サブフレーム生成ユニット３６は、画像フレーム２８用の複数の画像サブフレーム３０を生成する。
より具体的には、画像処理ユニット２４は、画像フレーム２８用の画像データ１６をオリジナルの解像度で受け取り、画像データ１６を処理して、画像データ１６の解像度を増加し、減少し、かつ／または、変更せずに維持する。
したがって、画像処理ユニット２４により、画像表示システム１０は、さまざまな解像度の画像データ１６を受け取って表示することができる。
【００１９】
サブフレーム生成ユニット３６は、画像フレーム２８用の画像データ１６を受け取って処理し、画像フレーム２８用の複数の画像サブフレーム３０を規定する。
解像度調整ユニット３４が、画像データ１６の解像度を調整した場合に、サブフレーム生成ユニット３６は、調整された解像度の画像データ１６を受け取る。
画像データ１６の調整された解像度は、画像フレーム２８用の画像データ１６のオリジナルの解像度に対して、増加される場合もあるし、減少される場合もあるし、同じ場合もある。
サブフレーム生成ユニット３６は、表示デバイス２６の解像度と一致した解像度を有する画像サブフレーム３０を生成する。
画像サブフレーム３０は、それぞれ、画像フレーム２８と等しい領域を有する。
サブフレーム３０は、それぞれ、画像１２の画像データ１６のサブセットを表す複数の列および複数の行の個々のピクセルを含み、表示デバイス２６の解像度と一致した解像度を有する。
【００２０】
各画像サブフレーム３０は、画像フレーム２８用のピクセルの行列または配列を含む。
画像サブフレーム３０は、各画像サブフレーム３０が、異なるピクセルおよび／または異なる部分のピクセルを含むように、空間的に相互にオフセットされる。
したがって、画像サブフレーム３０は、後述するように、ある垂直距離および／または水平距離だけ、相互にオフセットされる。
【００２１】
表示デバイス２６は、画像処理ユニット２４から画像サブフレーム３０を受け取り、画像サブフレーム３０を順次表示して、表示画像１４を作成する。
より具体的には、画像サブフレーム３０は、空間的に相互にオフセットされているので、表示デバイス２６は、後述するように、画像サブフレーム３０の空間オフセットに従って異なる位置に画像サブフレーム３０を表示する。
したがって、表示デバイス２６は、画像フレーム２８用の画像サブフレーム３０の表示を交互に行って、表示画像１４を作成する。
したがって、表示デバイス２６は、画像フレーム２８用の１つのサブフレーム３０全体を一時に表示する。
【００２２】
一実施の形態では、表示デバイス２６は、画像フレーム２８ごとに、１サイクルの画像サブフレーム３０の表示を実行する。
表示デバイス２６は、空間的かつ時間的に相互にオフセットされるように、画像サブフレーム３０を表示する。
一実施の形態では、表示デバイス２６は、画像サブフレーム３０を光学的に操作して、表示画像１４を作成する。
したがって、表示デバイス２６の個々のピクセルは、複数の位置にアドレス指定される。
【００２３】
一実施の形態では、表示デバイス２６は、画像シフト装置３８を含む。
この画像シフト装置３８は、表示デバイス２６が表示するように、画像サブフレーム３０の位置を空間的に変更またはオフセットする。
より具体的には、画像シフト装置３８は、後述するように、画像サブフレーム３０の表示位置を変更して、表示画像１４を生成する。
【００２４】
一実施の形態では、表示デバイス２６は、入射光の変調を行う光変調器を含む。
この光変調器は、例えば、マイクロミラーデバイスの配列を形成するように整列された複数のマイクロミラーデバイスを含む。
したがって、各マイクロミラーデバイスは、表示デバイス２６の１つのセルまたはピクセルを構成する。
表示デバイス２６は、ディスプレイ、プロジェクタ、または他の画像形成システムの一部をなすこともできる。
【００２５】
一実施の形態では、画像表示システム１０は、タイミングジェネレータ４０を含む。
このタイミングジェネレータ４０は、例えば、フレームレート変換ユニット２０、解像度調整ユニット３４およびサブフレーム生成ユニット３６を含む画像処理ユニット２４、ならびに画像シフト装置３８を含む表示デバイス２６と通信する。
したがって、タイミングジェネレータ４０は、画像フレーム２８を作成するための画像データ１６のバッファリングおよび変換と、画像データ１６の解像度を調整して画像サブフレーム３０を生成するための画像フレーム２８の処理と、表示画像１４を生成するための画像サブフレーム３０の配置および表示とを同期させる。
したがって、タイミングジェネレータ４０は、画像１２のサブフレーム全体が、表示デバイス２６により表示画像１４として時間的かつ空間的に表示されるように、画像表示システム１０のタイミングを制御する。
【００２６】
一実施の形態では、図２Ａおよび図２Ｂに示すように、画像処理ユニット２４は、画像フレーム２８用の２つの画像サブフレーム３０を規定する。
より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１および第２のサブフレーム３０２を規定する。
したがって、第１のサブフレーム３０１および第２のサブフレーム３０２は、それぞれ、画像データ１６の複数の列および複数の行の個々のピクセル１８を含む。
このように、第１のサブフレーム３０１および第２のサブフレーム３０２は、それぞれ、画像データ１６のサブセットの画像データ配列またはピクセル行列を構成する。
【００２７】
一実施の形態では、図２Ｂに示すように、第２のサブフレーム３０２は、垂直距離５０および水平距離５２だけ、第１のサブフレーム３０１からオフセットされる。
したがって、第２のサブフレーム３０２は、所定の距離だけ、第１のサブフレーム３０１から空間的にオフセットされる。
例示の一実施の形態では、垂直距離５０および水平距離５２は、それぞれ、１ピクセルの約２分の１である。
【００２８】
図２Ｃに示すように、表示デバイス２６は、第１のサブフレーム３０１を第１の位置に表示することと、第１の位置から空間的にオフセットされた第２の位置に第２のサブフレーム３０２を表示することとを交互に行う。
より具体的には、表示デバイス２６は、垂直距離５０および水平距離５２だけ、第１のサブフレーム３０１の表示に対して、第２のサブフレーム３０２の表示をシフトさせる。
したがって、第１のサブフレーム３０１のピクセルは、第２のサブフレーム３０２のピクセルと一部重なる。
一実施の形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、および、第２の位置に第２のサブフレーム３０２を表示することの１サイクルを実行する。
このように、第２のサブフレーム３０２は、第１のサブフレーム３０１に空間的かつ時間的に関連して表示される。
このような時間的かつ空間的にシフトされた２つのサブフレームの表示を、本明細書では、２位置処理（two-position processing）と呼ぶ。
【００２９】
別の実施の形態では、図３Ａ〜図３Ｄに示すように、画像処理ユニット２４は、画像フレーム２８用の４つの画像サブフレーム３０を規定する。
より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、および第４のサブフレーム３０４を規定する。
したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、および第４のサブフレーム３０４は、それぞれ、画像データ１６の複数の列および複数の行の個々のピクセル１８を含む。
【００３０】
一実施の形態では、図３Ｂ〜図３Ｄに示すように、第２のサブフレーム３０２は、垂直距離５０および水平距離５２だけ、第１のサブフレーム３０１からオフセットされ、第３のサブフレーム３０３は、水平距離５４だけ、第１のサブフレーム３０１からオフセットされ、第４のサブフレーム３０４は、垂直距離５６だけ、第１のサブフレーム３０１からオフセットされる。
したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、および第４のサブフレーム３０４は、それぞれ、所定の距離だけ、空間的に相互にオフセットされ、かつ、所定の距離だけ、第１のサブフレーム３０１から空間的にオフセットされている。
例示の一実施の形態では、垂直距離５０、水平距離５２、水平距離５４、および垂直距離５６は、それぞれ、１ピクセルの約２分の１である。
【００３１】
図３Ｅに概略的に示すように、表示デバイス２６は、第１の位置Ｐ１に第１のサブフレーム３０１を表示すること、第１の位置から空間的にオフセットされた第２の位置Ｐ２に第２のサブフレーム３０２を表示すること、第１の位置から空間的にオフセットされた第３の位置Ｐ３に第３のサブフレーム３０３を表示すること、第１の位置から空間的にオフセットされた第４の位置Ｐ４に第４のサブフレーム３０４を表示することとを交互に繰り返す。
より具体的には、表示デバイス２６は、第２のサブフレーム３０２、第３のサブフレーム３０３、および第４のサブフレーム３０４の表示を、それぞれの所定の距離だけ、第１のサブフレーム３０１に対してシフトさせる。
したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、および第４のサブフレーム３０４のピクセルは、相互に一部重なり合う。
【００３２】
一実施の形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、第２の位置に第２のサブフレーム３０２を表示すること、第３の位置に第３のサブフレーム３０３を表示すること、および、第４の位置に第４のサブフレーム３０４を表示することの１サイクルを実行する。
したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、および第４のサブフレーム３０４は、相互にかつ第１のサブフレーム３０１に空間的かつ時間的に関連して表示される。
このような時間的かつ空間的にシフトされた４つのサブフレームの表示を、本明細書では、４位置処理（four-position processing）と呼ぶ。
【００３３】
図４Ａ〜図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示すること、第２のサブフレーム３０２からのピクセル１８２を第２の位置に表示すること、第３のサブフレーム３０３からのピクセル１８３を第３の位置に表示すること、および第４のサブフレーム３０４からのピクセル１８４を第４の位置に表示することの１サイクルを完了する一実施の形態を示している。
より具体的には、図４Ａは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示したものを示している。
図４Ｂは、第２のサブフレーム３０２からのピクセル１８２を第２の位置（第１の位置を破線で示す）に表示したものを示している。
図４Ｃは、第３のサブフレーム３０３からのピクセル１８３を第３の位置（第１の位置および第２の位置を破線で示す）に表示したものを示している。
図４Ｄは、第４のサブフレーム３０４からのピクセル１８４を第４の位置（第１の位置、第２の位置、および第３の位置を破線で示す）に表示したものを示している。
図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置（第２の位置、第３の位置、および第４の位置を破線で示す）に表示したものを示している。
【００３４】
サブフレーム生成ユニット３６（図１）は、画像フレーム２８の画像データに基づいてサブフレーム３０を生成する。
サブフレーム生成ユニット３６が実行する機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにより実施できることが、当業者には理解されよう。
その実施は、マイクロプロセッサ、プログラマブルロジックデバイス、または状態機械を介して行うことができる。
本発明のコンポーネントは、１つまたは２つ以上のコンピュータ可読媒体上にソフトウェアで存在することができる。
本明細書で使用されるコンピュータ可読媒体という用語は、フロッピィディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリなどの揮発性または不揮発性のあらゆる種類のメモリを包含するように定義される。
【００３５】
本発明の一形態では、サブフレーム３０は、画像フレーム２８よりも低い解像度を有する。
したがって、サブフレーム３０を本明細書では低解像度画像３０とも呼び、画像フレーム２８を本明細書では高解像度画像２８とも呼ぶ。
低解像度および高解像度という用語は、本明細書では比較形式で使用されるものであって、どの特定の最小ピクセル数に限定されるものでもなく、どの特定の最大ピクセル数に限定されるものでもないことが、当業者には理解されよう。
一実施の形態では、サブフレーム生成ユニット３６は、５つのアルゴリズムのうちの１つに基づいてサブフレーム３０を生成するように構成される。
これらの５つのアルゴリズムを、本明細書では次の（１）最近傍（nearest neighbor）、（２）双一次（bilinear）、（３）空間領域、（４）周波数領域、および（５）適応型マルチパス（adaptive multi-pass）と呼ぶ。
【００３６】
本発明の一形態による最近傍アルゴリズムおよび双一次アルゴリズムは、高解像度画像２８からのピクセルを組み合わせることによりサブフレーム３０を生成するものである。
本発明の一形態による空間領域アルゴリズムおよび周波数領域アルゴリズムは、擬似高解像度画像と所望の高解像度画像２８との間の差を表す大域誤差メトリック（global error metric）の最小化に基づいてサブフレーム３０を生成するものである。
本発明の一形態による適応型マルチパスアルゴリズムは、局所誤差メトリック（local error metric）の最小化に基づいてサブフレーム３０を生成する。
一実施の形態では、サブフレーム生成ユニット３６は、サブフレームの値と高解像度画像の値との関係を記憶するためのメモリを含む。
この関係は、高解像度画像の値と、サブフレームの値の関数である擬似高解像度画像との間の誤差メトリックの最小化に基づいている。
これら５つのアルゴリズムのそれぞれの実施の形態を図５〜図１８を参照して以下に説明する。
【００３７】
［ＩＩ．最近傍］
図５は、本発明の一実施の形態による最近傍アルゴリズムを使用した、オリジナルの高解像度画像２８からの低解像度サブフレーム３０Ａおよび３０Ｂ（サブフレーム３０と総称する）の生成を示す図である。
この図示した実施の形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。
最近傍アルゴリズムの一実施の形態では、高解像度画像２８の第１行の１つおきのピクセルを取り出し、高解像度画像２８の第２行を飛ばして、高解像度画像２８の第３行の１つおきのピクセルを取り出し、このプロセスを高解像度画像２８の全体にわたって繰り返すことにより、第１のサブフレーム３０Ａが生成される。
したがって、図５に示すように、サブフレーム３０Ａの第１行は、ピクセルＨ１およびＨ３を含み、サブフレーム３０Ａの第２行は、ピクセルＨ９およびＨ１１を含む。
本発明の一形態では、第２のサブフレーム３０Ｂは、第１のサブフレーム３０Ａと同じ方法で生成されるが、プロセスは、第１のピクセルＨ１から１行下で、かつ、１列越えてシフトされたピクセルＨ６から開始する。
したがって、図５に示すように、サブフレーム３０Ｂの第１行は、ピクセルＨ６およびＨ８を含み、サブフレーム３０Ｂの第２行は、ピクセルＨ１４およびＨ１６を含む。
【００３８】
一実施の形態では、３つのフィルタ係数「０」および第４のフィルタ係数「１」を有し、高解像度画像からのピクセル値の加重和を生成する２×２フィルタによって、最近傍アルゴリズムは実施される。
上述したような２位置処理を使用してサブフレーム３０Ａおよび３０Ｂを表示すると、より高い解像度の画像の外観が得られる。
最近傍アルゴリズムは、４位置処理にも適用可能であり、図５に示すピクセル数を有する画像に限定されるものではない。
【００３９】
［ＩＩＩ．双一次］
図６は、本発明の一実施の形態による双一次アルゴリズムを使用した、オリジナルの高解像度画像２８からの低解像度サブフレーム３０Ｃおよび３０Ｄ（サブフレーム３０と総称する）の生成を示す図である。
この図示した実施の形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。
サブフレーム３０Ｃは、２列２行のピクセルで合計４つのピクセルＬ１〜Ｌ４を含む。
そして、サブフレーム３０Ｄは、２列２行のピクセルで合計４つのピクセルＬ５〜Ｌ８を含む。
【００４０】
一実施の形態では、サブフレーム３０Ｃおよび３０ＤのピクセルＬ１〜Ｌ８の値は、画像２８のピクセル値Ｈ１〜Ｈ１６から以下の方程式Ｉ〜ＶＩＩＩに基づいて生成される。
【００４１】
<方程式Ｉ>
Ｌ１＝（４Ｈ１＋２Ｈ２＋２Ｈ５）／８
<方程式ＩＩ>
Ｌ２＝（４Ｈ３＋２Ｈ４＋２Ｈ７）／８
<方程式ＩＩＩ>
Ｌ３＝（４Ｈ９＋２Ｈ１０＋２Ｈ１３）／８
<方程式ＩＶ>
Ｌ４＝（４Ｈ１１＋２Ｈ１２＋２Ｈ１５）／８
<方程式Ｖ>
Ｌ５＝（４Ｈ６＋２Ｈ２＋２Ｈ５）／８
<方程式ＶＩ>
Ｌ６＝（４Ｈ８＋２Ｈ４＋２Ｈ７）／８
<方程式ＶＩＩ>
Ｌ７＝（４Ｈ１４＋２Ｈ１０＋２Ｈ１３）／８
<方程式ＶＩＩＩ>
Ｌ８＝（４Ｈ１６＋２Ｈ１２＋２Ｈ１５）／８
【００４２】
上記方程式Ｉ〜ＶＩＩＩから分かるように、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、４を乗算することから、それぞれピクセルＨ１、Ｈ３、Ｈ９、およびＨ１１の値によって最も影響を受ける。
ただし、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、ピクセルＨ１、Ｈ３、Ｈ９、およびＨ１１の対角方向の近傍ピクセルの値によっても影響を受ける。
同様に、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、４を乗算することから、それぞれピクセルＨ６、Ｈ８、Ｈ１４、およびＨ１６の値によって最も影響を受ける。
ただし、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、ピクセルＨ６、Ｈ８、Ｈ１４、およびＨ１６の対角方向の近傍ピクセルの値によっても影響を受ける。
【００４３】
一実施の形態では、１つのフィルタ係数「０」および非ゼロの値を有する３つのフィルタ係数（例えば、４、２、および２）を有し、高解像度画像のピクセル値の加重和を生成する２×２フィルタによって、双一次アルゴリズムは実施される。
別の実施の形態では、このフィルタ係数として他の値が使用される。
上述したような２位置処理を使用してサブフレーム３０Ｃおよび３０Ｄを表示すると、より高い解像度の画像の外観が得られる。
双一次アルゴリズムは、４位置処理にも適用可能であり、図６に示すピクセル数を有する画像に限定されるものではない。
【００４４】
最近傍アルゴリズムおよび双一次アルゴリズムの一形態では、上述したように、サブフレーム３０は、オリジナルの高解像度画像のピクセル値の線形結合に基づいて生成される。
別の実施の形態では、サブフレーム３０は、オリジナルの高解像度画像のピクセル値の非線形結合に基づいて生成される。
例えば、オリジナルの高解像度画像がガンマ補正を受けている場合に、一実施の形態では、ガンマ曲線の効果を打ち消すのに適した非線形結合が使用される。
【００４５】
［ＩＶ．擬似高解像度画像を生成するシステム］
図７〜図１０は、擬似高解像度画像を生成するシステムを示している。
以下にさらに詳述するように、これらのシステムに基づいて、サブフレームを生成する空間領域アルゴリズム、周波数領域アルゴリズム、および適応型マルチパスアルゴリズムが構築される。
【００４６】
図７は、本発明の一実施の形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｅから擬似高解像度画像４１２を生成するシステム４００を示すブロック図である。
このシステム４００は、アップサンプリングステージ４０２、シフトステージ４０４、畳み込み演算ステージ４０６、および総和ステージ４１０を含む。
サブフレーム３０Ｅは、サンプリング行列Ｍに基づいてアップサンプリングステージ４０２によりアップサンプリングされ、それによって、アップサンプリング画像が生成される。
このアップサンプリング画像は、空間シフト行列Ｓに基づいてシフトステージ４０４によりシフトされ、それによって、シフトアップサンプリング画像が生成される。
このシフトアップサンプリング画像は、畳み込み演算ステージ４０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像（blocked image）４０８が生成される。
この図示した実施の形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。
補間フィルタは、高解像度グリッドの上に低解像度サブフレームを重ね合わせることをシミュレーションする。
低解像度サブフレームのピクセルデータは、そのサブフレームを高解像度グリッド上に表すことができるように拡大される。
補間フィルタは、アップサンプリングによって生成された、欠けているピクセルデータを満たす。
ブロック画像４０８は、総和ブロック４１０によって加重されて総和が求められ、８×８ピクセルの擬似高解像度画像４１２が生成される。
【００４７】
図８は、本発明の一実施の形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｆおよび３０Ｇの分離可能なアップサンプリング（separable upsampling）に基づいて２位置処理用の擬似高解像度画像５１２を生成するシステム５００を示すブロック図である。
このシステム５００は、アップサンプリングステージ５０２および５１４、シフトステージ５１８、畳み込み演算ステージ５０６および５２２、総和ステージ５０８、ならびに乗算ステージ５１０を含む。
サブフレーム３０Ｆは、アップサンプリングステージ５０２によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５０４が生成される。
アップサンプリング画像５０４の黒のピクセルは、サブフレーム３０Ｆからの１６個のピクセルを表し、アップサンプリング画像５０４の白のピクセルは、０の値を表す。
サブフレーム３０Ｇは、アップサンプリングステージ５１４によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５１６が生成される。
アップサンプリング画像５１６の黒のピクセルは、サブフレーム３０Ｇからの１６個のピクセルを表し、アップサンプリング画像５１６の白のピクセルは、０の値を表す。
一実施の形態では、アップサンプリングステージ５０２および５１４は、対角サンプリング行列を使用して、サブフレーム３０Ｆおよび３０Ｇをそれぞれアップサンプリングする。
【００４８】
アップサンプリング画像５１６は、空間シフト行列Ｓに基づいてシフトステージ５１８によりシフトされ、それによって、シフトアップサンプリング画像５２０が生成される。
この図示した実施の形態では、シフトステージ５１８は、１ピクセルの対角方向のシフトを実行する。
画像５０４および５２０は、それぞれ畳み込み演算ステージ５０６および５２２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。
この図示した実施の形態では、畳み込み演算ステージ５０６および５２２の補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。
畳み込み演算ステージ５０６および５２２で生成されたブロック画像は、総和ブロック５０８によって総和が求められ、乗算ステージ５１０において０．５倍にされて、８×８ピクセルの擬似高解像度画像５１２が生成される。
画像データが乗算ステージ５１０において０．５倍にされるのは、一実施の形態では、サブフレーム３０Ｆおよび３０Ｇのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの半分しか表示されないことによる。
別の実施の形態では、乗算ステージ５１０において０．５倍にするのではなく、ステージ５０６および５２２における補間フィルタのフィルタ係数が、０．５倍に縮小される。
【００４９】
一実施の形態では、図８に示して上述したように、低解像度サブフレームデータは、２つの個別のサブフレーム３０Ｆおよび３０Ｇによって表され、これらのサブフレームは、対角サンプリング行列（すなわち、分離可能なアップサンプリング）に基づいて別々にアップサンプリングされる。
別の実施の形態では、図９を参照して後述するように、低解像度サブフレームデータは、単一のサブフレームによって表され、この単一のサブフレームは、非対角サンプリング行列（すなわち、分離不能なアップサンプリング（non-separable upsampling））に基づいてアップサンプリングされる。
【００５０】
図９は、本発明の一実施の形態による、８×４ピクセルの低解像度サブフレーム３０Ｈの分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像６１０を生成するシステム６００を示すブロック図である。
このシステム６００は、５点形アップサンプリング（quincunx upsampling）ステージ６０２、畳み込み演算ステージ６０６、および乗算ステージ６０８を含む。
サブフレーム３０Ｈは、５点形サンプリング行列Ｑに基づいて５点形アップサンプリングステージ６０２によりアップサンプリングされ、それによって、アップサンプリング画像６０４が生成される。
アップサンプリング画像６０４の黒のピクセルは、サブフレーム３０Ｈからの３２個のピクセルを表し、アップサンプリング画像６０４の白のピクセルは、０の値を表す。
サブフレーム３０Ｈは、２位置処理用の２つの４×４ピクセルサブフレームのピクセルデータを含む。
アップサンプリング画像６０４の第１行、第３行、第５行、および第７行の黒のピクセルは、第１の４×４ピクセルサブフレーム用のピクセルを表し、アップサンプリング画像６０４の第２行、第４行、第６行、および第８行の黒のピクセルは、第２の４×４ピクセルサブフレーム用のピクセルを表す。
【００５１】
アップサンプリング画像６０４は、畳み込み演算ステージ６０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。
この図示した実施の形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。
畳み込み演算ステージ６０６によって生成されたブロック画像は、乗算ステージ６０８において０．５倍にされて、８×８ピクセルの擬似高解像度画像６１０が生成される。
【００５２】
図１０は、本発明の一実施の形態による、サブフレーム３０Ｉに基づいて４位置処理用の擬似高解像度画像７０６を生成するシステム７００を示すブロック図である。
図１０に示す実施の形態では、サブフレーム３０Ｉは、８×８配列のピクセルである。
サブフレーム３０Ｉは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。
ピクセルＡ１〜Ａ１６は、第１の４×４ピクセルサブフレームのピクセルを表す。
ピクセルＢ１〜Ｂ１６は、第２の４×４ピクセルサブフレームのピクセルを表す。
ピクセルＣ１〜Ｃ１６は、第３の４×４ピクセルサブフレームのピクセルを表す。
ピクセルＤ１〜Ｄ１６は、第４の４×４ピクセルサブフレームのピクセルを表す。
【００５３】
サブフレーム３０Ｉは、畳み込み演算ステージ７０２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。
この図示した実施の形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。
畳み込み演算ステージ７０２によって生成されたブロック画像は、乗算ステージ７０４において０．２５倍にされて、８×８ピクセルの擬似高解像度画像７０６が生成される。
画像データが乗算ステージ７０４において０．２５倍にされるのは、一実施の形態では、サブフレーム３０Ｉによって表される４つのサブフレームのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの４分の１しか表示されないことによる。
別の実施の形態では、乗算ステージ７０４において０．２５倍にするのではなく、補間フィルタのフィルタ係数が、それに応じて縮小される。
【００５４】
［Ｖ．誤差最小化に基づくサブフレームの生成］
上述したように、システム４００、５００、６００、および７００は、低解像度サブフレームに基づいて、擬似高解像度画像４１２、５１２、６１０、および７０６をそれぞれ生成する。
サブフレームが最適なものであれば、これらの擬似高解像度画像は、オリジナルの高解像度画像２８に可能な限り類似することになる。
平均２乗誤差、加重平均２乗誤差、およびそれ以外のものを含めて、さまざまな誤差メトリックを使用して、擬似高解像度画像がオリジナルの高解像度画像にどれだけ類似しているかを判断することができる。
【００５５】
図１１は、本発明の一実施の形態による擬似高解像度画像４１２／５１２／６１０／７０６と所望の高解像度画像２８との比較を示すブロック図である。
減算ステージ８０２において、高解像度画像２８から擬似高解像度画像４１２、５１２、６１０、または７０６がピクセルごとに減算される。
一実施の形態では、その結果生成される誤差画像データが、人間視覚系（ＨＶＳ（human visual system））加重フィルタ（Ｗ）８０４によってフィルタリングされる。
本発明の一形態では、ＨＶＳ加重フィルタ８０４は、人間視覚系の特性に基づく誤差画像データをフィルタリングする。
一実施の形態では、ＨＶＳ加重フィルタ８０４は、高周波誤差の削減または除去を行う。
次いで、フィルタリングされたデータの平均２乗誤差が、ステージ８０６において求められ、擬似高解像度画像４１２、５１２、６１０、または７０６が、所望の高解像度画像２８にどれだけ類似しているかの尺度が提供される。
【００５６】
一実施の形態では、システム４００、５００、６００、および７００は、擬似高解像度画像４１２、５１２、６１０、または７０６とオリジナルの高解像度画像２８との間の差を計測する誤差コスト方程式（error cost equation）により数学的に表される。
最適なサブフレームが、擬似高解像度画像と所望の高解像度画像との最小誤差を提供するそのサブフレームデータの誤差コスト方程式を解くことにより特定される。
一実施の形態では、空間領域アルゴリズムおよび周波数領域アルゴリズムにおいて大域的な最適解が得られ、適応型マルチパスアルゴリズムを使用して局所的な最適解が得られる。
空間領域アルゴリズム、周波数領域アルゴリズム、および適応型マルチパスアルゴリズムについては、図１２〜図１８を参照して以下にさらに詳述する。
【００５７】
［ＶＩ．空間領域］
一実施の形態による最適なサブフレームを生成する空間領域解を、図９に示すシステム６００との関連で説明する。
図９に示すシステム６００は、以下の方程式ＩＸによる誤差コスト関数によって数学的に表すことができる。
【００５８】
<方程式ＩＸ>
【００５９】
【数１】
2005057742.tif 000003
【００６０】
上記方程式において、
ｌ＊Ｑ＝サブフレーム３０Ｈの最適な低解像度データである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｎおよびｋ＝画像６０４および６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌＱ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【００６１】
方程式ＩＸの「ｌＱ（ｋ）ｆ（ｎ−ｋ）」の総和は、システム６００のステージ６０６において実行される、アップサンプリング画像６０４と補間フィルタｆとの畳み込み演算を表す。
フィルタ演算は、基本的には、アップサンプリング画像６０４の各ピクセル上を、２×２補間フィルタの右下のピクセルをスライドさせることにより行われる。
２×２補間フィルタウィンドウ内のアップサンプリング画像６０４の４つピクセルは、対応するフィルタ係数（すなわち、図示した実施の形態では「１」）と乗算される。
４つの乗算結果は、その総和が求められ、補間フィルタの右下の位置に対応するアップサンプリング画像６０４のピクセルの値が、４つの乗算結果の総和と取り替えられる。
畳み込み演算値ｌＱ（ｋ）ｆ（ｎ−ｋ）から高解像度画像２８の高解像度データｈ（ｎ）が減算され、誤差値が提供される。
高解像度ピクセルの位置の全体にわたる２乗誤差の総和は、最小化されるべき誤差の尺度を提供する。
【００６２】
以下の方程式Ｘに示すように、低解像度ピクセルのそれぞれについて方程式ＩＸの導関数を求め、その導関数を０に等しく設定することにより、最適な空間領域解を得ることができる。
【００６３】
<方程式Ｘ>
【００６４】
【数２】
2005057742.tif 000004
【００６５】
上記方程式において、Θ＝５点形格子点（quincunx lattice point）の集合である。
【００６６】
したがって、方程式Ｘから分かるように、この導関数は、５点形格子点の集合においてのみ求められる。
この５点形格子点は、図９のアップサンプリング画像６０４の黒のピクセルに対応する。
方程式ＩＸで与えられるＪについての方程式を方程式Ｘに代入し、方程式Ｘで指定される導関数を求めると、以下の方程式ＸＩとなる。
【００６７】
<方程式ＸＩ>
【００６８】
【数３】
2005057742.tif 000005
【００６９】
方程式ＸＩのシンボルＣｆｆは、以下の方程式ＸＩＩによって定義される、補間フィルタｆの自己相関係数を表す。
【００７０】
<方程式ＸＩＩ>
【００７１】
【数４】
2005057742.tif 000006
【００７２】
方程式ＸＩは、以下の方程式ＸＩＩＩに示すように、ベクトル形式に変換することができる。
【００７３】
<方程式ＸＩＩＩ>
Ｃｆｆｌ＊Ｑ＝ｈｆ，  ｔ∈Θ
【００７４】
上記方程式において、
Ｃｆｆ＝補間フィルタｆの自己相関係数の行列である。
ｌ＊Ｑ＝サブフレーム３０Ｈの未知の画像データおよび「ドントケア」データ（すなわち、アップサンプリング画像６０４の白のピクセルに対応する画像データ）を表すベクトルである。
ｈｆ＝擬似高解像度画像６１０を、補間フィルタｆを使用してフィルタリングしたものを表すベクトルである。
【００７５】
「ドントケア」データ（すなわち、５点形格子点の集合Θに存在しないデータ）に対応する行および列を消去すると、以下の方程式ＸＩＶとなる。
【００７６】
<方程式ＸＩＶ>
【００７７】
【数５】
2005057742.tif 000007
【００７８】
上記方程式において、
【００７９】
【数６】
2005057742.tif 000008
【００８０】
＝サブフレーム３０Ｈの未知画像データのみを表すベクトルである。
【００８１】
上記方程式ＸＩＶは、線形方程式の疎なシステムを表す疎な非テプリッツシステム（non-Toeplitz system）である。
自己相関係数の行列は判明しており、擬似高解像度画像６１０のフィルタリングされたものを表すベクトルは判明しているので、方程式ＸＩＶを解いて、サブフレーム３０Ｈの最適画像データを求めることができる。
一実施の形態では、サブフレーム生成ユニット３６は、方程式ＸＩＶを解いて、サブフレーム３０を生成するように構成される。
【００８２】
［ＶＩＩ．周波数領域］
一実施の形態による最適なサブフレーム３０を生成する周波数領域解を、図８に示すシステム５００との関連で説明する。
周波数領域解を説明する前に、周波数領域解に適用可能な高速フーリエ変換（ＦＦＴ）のいくつかの性質を、図１２および図１３を参照して説明する。
【００８３】
図１２は、本発明の一実施の形態による４×４ピクセルのサブフレーム３０Ｊのアップサンプリングの周波数領域における効果を示す図である。
図１２に示すように、サブフレーム３０Ｊは、アップサンプリングステージ９０２によって２倍にアップサンプリングされて、８×８ピクセルのアップサンプリング画像９０４が生成される。
アップサンプリング画像９０４の黒のピクセルは、サブフレーム３０Ｊからの１６個のピクセルを表し、アップサンプリング画像９０４の白のピクセルは、０の値を表す。
サブフレーム３０ＪのＦＦＴを求めると、結果は、画像（Ｌ）９０６になる。
アップサンプリング画像９０４のＦＦＴを求めると、結果は、画像（ＬＵ）９０８になる。
画像（ＬＵ）９０８は、４つの４×４ピクセル部分を含む。
これらの４つの４×４ピクセル部分は、画像部分（Ｌ１）９１０Ａ、画像部分（Ｌ２）９１０Ｂ、画像部分（Ｌ３）９１０Ｃ、および画像部分（Ｌ４）９１０Ｄである。
図１２に示すように、画像部分９１０Ａ〜９１０Ｄは、それぞれ、画像９０６と同じである（すなわち、Ｌ１＝Ｌ２＝Ｌ３＝Ｌ４＝Ｌ）。
【００８４】
図１３は、本発明の一実施の形態による８×８ピクセルのアップサンプリングサブフレーム９０４のシフトの周波数領域における効果を示す図である。
図１３に示すように、アップサンプリングサブフレーム９０４は、シフトステージ１００２によってシフトされて、シフト画像１００４が生成される。
アップサンプリングサブフレーム９０４のＦＦＴを求めると、結果は、画像（ＬＵ）１００６になる。
シフト画像１００４のＦＦＴを求めると、結果は、画像（ＬＵＳ）１００８になる。
画像（ＬＵＳ）１００８は、４つの４×４ピクセル部分を含む。
これらの４つの４×４ピクセル部分は、画像部分（ＬＳ１）１０１０Ａ、画像部分（ＬＳ２）１０１０Ｂ、画像部分（ＬＳ３）１０１０Ｃ、および画像部分（ＬＳ４）１０１０Ｄである。
図１３に示すように、画像１００８は、複素指数Ｗと乗算された画像１００６と同じである（すなわち、ＬＵＳ＝Ｗ・ＬＵ）。
ここで、「・」は、点別乗算（pointwise multiplication）を示す。
複素指数Ｗの値は、以下の方程式ＸＶによって与えられる。
【００８５】
<方程式ＸＶ>
【００８６】
【数７】
2005057742.tif 000009
【００８７】
上記方程式において、
ｋ１＝ＦＦＴ領域における行の座標である。
ｋ２＝ＦＦＴ領域における列の座標である。
Ｍ＝画像の列数である。
Ｎ＝画像の行数である。
【００８８】
図８に示すシステム５００は、以下の方程式ＸＶＩによる誤差コスト関数によって数学的に表すことができる。
【００８９】
<方程式ＸＶＩ>
【００９０】
【数８】
2005057742.tif 000010
【００９１】
上記方程式において、
（Ｌ＊Ａ，Ｌ＊Ｂ）＝それぞれ、図８に示すサブフレーム３０Ｆおよび３０Ｇの最適なＦＦＴを表すベクトルである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｉ＝平均されるＦＦＴブロックを特定するインデックスである（例えば、図１２の画像９０８の場合、ｉ＝１がブロック９１０Ａに対応し、ｉ＝２がブロック９１０Ｂに対応し、ｉ＝３がブロック９１０Ｃに対応し、ｉ＝４がブロック９１０Ｄに対応する４つのブロックが平均される）。
Ｆ＝補間フィルタｆのＦＦＴを表す行列である。
ＬＡ＝図８に示すサブフレーム３０ＦのＦＦＴを表すベクトルである。
ＬＢ＝図８に示すサブフレーム３０ＧのＦＦＴを表すベクトルである。
Ｗ＝方程式ＸＶによって与えられる複素係数のＦＦＴを表す行列である。
Ｈ＝所望の高解像度画像２８のＦＦＴを表すベクトルである。
【００９２】
方程式ＸＶＩの上付き文字「Ｈ」は、エルミートを表す（すなわち、ＸＨは、Ｘのエルミートである）。
方程式ＸＶＩの文字の上にある「ハット」は、以下の方程式ＸＶＩＩで定義されるように、それらの文字が対角行列を表すことを示している。
【００９３】
<方程式ＸＶＩＩ>
【００９４】
【数９】
2005057742.tif 000011
【００９５】
ＬＡの複素共役について方程式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の方程式ＸＶＩＩＩとなる。
【００９６】
<方程式ＸＶＩＩＩ>
【００９７】
【数１０】
2005057742.tif 000012
【００９８】
ＬＢの複素共役について方程式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の方程式ＸＩＸとなる。
【００９９】
<方程式ＸＩＸ>
【０１００】
【数１１】
2005057742.tif 000013
【０１０１】
方程式ＸＶＩＩＩおよびＸＩＸの文字の上にある水平バーは、それらの文字が、複素共役を表すことを示している（すなわち、
【０１０２】
【数１２】
2005057742.tif 000014
【０１０３】
は、Ａの複素共役を表す。
【０１０４】
方程式ＸＶＩＩＩおよびＸＩＸをＬＡおよびＬＢについて解くと、結果は、以下の方程式ＸＸおよびＸＸＩとなる。
【０１０５】
<方程式ＸＸ>
【０１０６】
【数１３】
2005057742.tif 000015
【０１０７】
<方程式ＸＸＩ>
【０１０８】
【数１４】
2005057742.tif 000016
【０１０９】
方程式ＸＸおよびＸＸＩは、擬似逆フィルタリング（pseudo-inverse filtering）を使用して周波数領域で実施することができる。
一実施の形態では、サブフレーム生成ユニット３６が、方程式ＸＸおよびＸＸＩに基づいてサブフレーム３０を生成するように構成される。
【０１１０】
［ＶＩＩＩ．適応型マルチパス］
一実施の形態による、サブフレーム３０を生成する適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束および低いメモリ必要量を提供する。
一実施の形態による適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。
図９に示すシステム６００は、以下の方程式ＸＸＩＩによる誤差コスト関数によって数学的に表すことができる。
【０１１１】
<方程式ＸＸＩＩ>
【０１１２】
【数１５】
2005057742.tif 000017
【０１１３】
上記方程式において、
ｎ＝現時点の繰り返しを特定するインデックスである。
Ｊ（ｎ）（ｎ）＝繰り返しｎにおける誤差コスト関数である。
ｅ（ｎ）（ｎ）＝誤差コスト関数Ｊ（ｎ）（ｎ）の平方根である。
ｎおよびｋ＝画像６０４および６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌＱ（ｎ）（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【０１１４】
方程式ＸＸＩＩから分かるように、上記方程式ＩＸに示すように、高解像度画像全体にわたって総和を求めることにより空間領域の大域誤差を最小化するのではなく、ｎの関数である空間領域の局所誤差が最小化されている。
【０１１５】
一実施の形態では、平均最小２乗（ＬＭＳ）アルゴリズムを使用して、更新が求められる。
この更新は、以下の方程式ＸＸＩＩＩによって表される。
【０１１６】
<方程式ＸＸＩＩＩ>
【０１１７】
【数１６】
2005057742.tif 000018
【０１１８】
上記方程式において、
Θ＝５点形格子点（すなわち、図９のアップサンプリング画像６０４の黒のピクセル）の集合である。
α＝シャープニング係数（sharpening factor）である。
【０１１９】
方程式ＸＸＩＩの導関数を求めると、方程式ＸＸＩＩＩにおけるこの導関数の値が提供される。
この方程式ＸＸＩＩの導関数は、以下の方程式ＸＸＩＶによって与えられる。
【０１２０】
<方程式ＸＸＩＶ>
【０１２１】
【数１７】
2005057742.tif 000019
【０１２２】
一実施の形態では、以下の方程式ＸＸＶによって表されるように、「影響領域（region of influence）」にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して、更新が行われる。
【０１２３】
<方程式ＸＸＶ>
【０１２４】
【数１８】
2005057742.tif 000020
【０１２５】
上記方程式において、Ω＝影響領域である。
【０１２６】
図１４は、本発明の一実施の形態によるアップサンプリング画像１１００のピクセルの影響領域（Ω）１１０６および１１０８を示す図である。
画像１１００のピクセル１１０２は、第１のサブフレームのピクセルに対応し、画像１１００のピクセル１１０４は、第２のサブフレームのピクセルに対応する。
領域１１０６は、ピクセル１１０２の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０２を有する。
同様に、領域１１０８は、ピクセル１１０４の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０４を有する。
【０１２７】
図１５は、本発明の一実施の形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像１２０８の生成を示す図である。
オリジナルの高解像度画像２８に基づいて、初期の１組の低解像度サブフレーム３０Ｋ−１および３０Ｌ−１が生成される。
この図示した実施の形態では、この初期の１組のサブフレーム３０Ｋ−１および３０Ｌ−１は、図５を参照して上述した最近傍アルゴリズムの一実施の形態を使用して生成される。
サブフレーム３０Ｋ−１および３０Ｌ−１は、アップサンプリングされて、アップサンプリング画像１２０２が生成される。
このアップサンプリング画像１２０２は、補間フィルタ１２０４と畳み込み演算を受け、それによって、ブロック画像が生成される。
次いで、このブロック画像は、０．５倍にされて、擬似高解像度画像１２０８が生成される。
この図示した実施の形態では、補間フィルタ１２０４は、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。
補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の各ピクセル上に配置されて、そのピクセル位置のブロック値（blocked value）が求められる。
図１５に示すように、補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の第３行第４列のピクセルの上に配置され、このピクセルは、「０」の値を有する。
そのピクセル位置のブロック値は、フィルタ係数をフィルタ１２０４のウィンドウ内のピクセル値と乗算して、その結果を加算することにより求められる。
フレーム外の値は、「０」とみなされる。
図示した実施の形態の場合、画像１２０２の第３行第４列のピクセルのブロック値は、以下の方程式ＸＸＶＩによって与えられる。
【０１２８】
<方程式ＸＸＶＩ>
（１×０）＋（１×５）＋（１×５）＋（１×０）＝１０
【０１２９】
次いで、方程式ＸＸＶＩの値は、０．５倍にされて、その結果（すなわち５）が、初期擬似高解像度画像１２０８の第３行第４列のピクセル１２１０のピクセル値とされる。
【０１３０】
初期擬似高解像度画像１２０８が生成された後、補正データが生成される。
図１６は、本発明の一実施の形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
図１６に示すように、オリジナルの高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。
この誤差画像１３０２の２×２ブロックのピクセルを平均することにより、補正サブフレーム１３１２および１３１４が生成される。
例えば、誤差画像１３０２の第１列第１行のピクセル１３０８は、影響領域１３０４を有する。
この影響領域１３０４内のピクセル値が平均されて、第１の補正値（すなわち０．７５）が生成される。
この第１の補正値は、補正サブフレーム１３１２の第１列第１行のピクセルとして使用される。
同様に、誤差画像１３０２の第２列第２行のピクセル１３１０は、影響領域１３０６を有する。
この影響領域１３０６内のピクセル値が平均されて、第２の補正値（すなわち０．７５）が生成される。
この第２の補正値は、補正サブフレーム１３１４の第１列第１行のピクセルとして使用される。
【０１３１】
補正サブフレーム１３１２の第１行第２列の補正値（すなわち１．３８）は、基本的には、図示した影響領域のボックス１３０４を右へ２列スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。
補正サブフレーム１３１２の第２行第１列の補正値（すなわち０．５０）は、基本的には、図示した影響領域のボックス１３０４を下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。
補正サブフレーム１３１２の第２行第２列の補正値（すなわち０．７５）は、基本的には、図示した影響領域のボックス１３０４を右へ２列、下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。
【０１３２】
補正サブフレーム１３１４の第１行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。
フレーム外の値は、「０」とみなされる。
補正サブフレーム１３１４の第２行第１列の補正値（すなわち０．３８）は、基本的には、図示した影響領域のボックス１３０６を下へ２行スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。
補正サブフレーム１３１４の第２行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列、下へ２行スライドさせて、ボックス１３０６内の４つのピクセルを平均することにより生成される。
【０１３３】
補正サブフレーム１３１２および１３１４を使用して、更新サブフレームが生成される。
図１７は、本発明の一実施の形態による適応型マルチパスアルゴリズムに基づく更新サブフレーム３０Ｋ−２および３０Ｌ−２の生成を示す図である。
図１７に示すように、更新サブフレーム３０Ｋ−２は、補正サブフレーム１３１２をシャープニング係数αと乗算して、初期サブフレーム３０Ｋ−１を加算することにより生成される。
更新サブフレーム３０Ｌ−２は、補正サブフレーム１３１４をシャープニング係数αと乗算して、初期サブフレーム３０Ｌ−１を加算することにより生成される。
この図示した実施の形態では、シャープニング係数αは、０．８に等しい。
【０１３４】
一実施の形態では、更新サブフレーム３０Ｋ−２および３０Ｌ−２は、適応型マルチパスアルゴリズムの次の繰り返しに使用されて、さらなる更新フレームが生成される。
任意の所望の繰り返し回数を実行することができる。
いくつかの繰り返しの後、適応型マルチパスアルゴリズムを使用して生成されたサブフレームの値は、最適な値に収束する。
一実施の形態では、サブフレーム生成ユニット３６が、適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１３５】
図１５〜図１７を参照して上述した適応型マルチパスアルゴリズムの実施の形態は、２位置処理用のものである。
４位置処理の場合、方程式ＸＸＩＶは、以下の方程式ＸＸＶＩＩとなる。
【０１３６】
<方程式ＸＸＶＩＩ>
【０１３７】
【数１９】
2005057742.tif 000021
【０１３８】
上記方程式において、ｌ（ｎ）＝４つのサブフレーム３０の低解像度データである。
【０１３９】
そして、方程式ＸＸＩＩＩは、以下の方程式ＸＸＶＩＩＩとなる。
【０１４０】
<方程式ＸＸＶＩＩＩ>
【０１４１】
【数２０】
2005057742.tif 000022
【０１４２】
４位置処理の場合、４つのサブフレームが存在する。
したがって、低解像度データの量は、高解像度データの量と同じである。
それぞれの高解像度グリッド点は、１つの誤差を与え、上記方程式ＸＸＶに表すような平均勾配の更新を行う必要はない。
反対に、所与の位置の誤差が、更新を直接与える。
【０１４３】
上述したように、一実施の形態では、適応型マルチパスアルゴリズムは、平均最小２乗（ＬＭＳ）技法を使用して、補正データを生成する。
別の実施の形態では、適応型マルチパスアルゴリズムは、凸射影（ＰＯＣＳ（projection on a convex set））技法を使用して、補正データを生成する。
一実施の形態によるＰＯＣＳ技法に基づく適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。
図９に示すシステム６００は、以下の方程式ＸＸＩＸによる誤差コスト関数により数学的に表すことができる。
【０１４４】
<方程式ＸＸＩＸ>
【０１４５】
【数２１】
2005057742.tif 000023
【０１４６】
上記方程式において、
ｅ（ｎ）＝誤差コスト関数である。
ｎおよびｋ＝高解像度ピクセルの位置を特定するインデックスである。
ｌＱ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【０１４７】
ＰＯＣＳ技法の制約集合（constrained set）は、以下の方程式ＸＸＸにより定義される。
【０１４８】
<方程式ＸＸＸ>
【０１４９】
【数２２】
2005057742.tif 000024
【０１５０】
上記方程式において、
Ｃ（ｎ）＝パラメータηによって境界が定められるアップサンプリング画像６０４からのすべてのサブフレームデータを含む制約集合である。
η＝誤差の大きさの境界制約である。
【０１５１】
現時点の繰り返しのサブフレームピクセル値は、以下の方程式ＸＸＸＩに基づいて求められる。
【０１５２】
<方程式ＸＸＸＩ>
【０１５３】
【数２３】
2005057742.tif 000025
【０１５４】
上記方程式において、
ｎ＝現時点の繰り返しを特定するインデックスである。
λ＝緩和パラメータである。
‖ｆ‖＝補間フィルタの係数のノルムである。
【０１５５】
方程式ＸＸＸＩのシンボルｎ＊は、誤差が最大である影響領域Ωの位置を表し、以下の方程式ＸＸＸＩＩによって定義される。
【０１５６】
<方程式ＸＸＸＩＩ>
ｎ＊＝ａｒｇｍａｘ｛ｎ∈Ω：｜ｅ（ｎ）｜｝
【０１５７】
図１８は、本発明の一実施の形態によるＰＯＣＳ技法を使用した適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
一実施の形態では、初期擬似高解像度画像１２０８が、図１５を参照して上述したのと同じ方法で生成され、オリジナルの高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。
次いで、上記方程式ＸＸＸＩが使用されて、誤差画像１３０２のデータから更新サブフレーム３０Ｋ−３および３０Ｌ−３が生成される。
図示した実施の形態の場合、方程式ＸＸＸＩの緩和パラメータλは０．５に等しく、誤差の大きさの境界制約ηは１に等しいと仮定される。
【０１５８】
ＰＯＣＳ技法によると、図１６を参照して上述したように、影響領域内のピクセル値を平均して補正値を求めるのではなく、影響領域内の最大誤差ｅ（ｎ＊）が特定される。
次いで、更新ピクセル値が、方程式ＸＸＸＩの適切な式を使用して生成される。
この適切な式は、影響領域内の最大誤差ｅ（ｎ＊）が、（この例ではη＝１であるので）１よりも大きいか、１よりも小さいか、または１に等しいかに依存する。
【０１５９】
例えば、誤差画像１３０２の第１列第１行のピクセルは、影響領域１３０４を有する。
この影響領域１３０４内における最大誤差は、１である（すなわち、ｅ（ｎ＊）＝１）。
方程式ＸＸＸＩを参照すると、ｅ（ｎ＊）＝１の場合には、更新ピクセル値は、このピクセルの前の値に等しい。
図１５を参照すると、サブフレーム３０Ｋ−１の第１列第１行のピクセルの前の値は、２である。
したがって、このピクセルは、更新サブフレーム３０Ｋ−３において２の値を維持する。
誤差画像１３０２の第２列第２行のピクセルは、影響領域１３０６を有する。
この影響領域１３０６内における最大誤差は、１．５である（すなわち、ｅ（ｎ＊）＝１．５）。
方程式ＸＸＸＩを参照すると、ｅ（ｎ＊）>１の場合には、更新ピクセル値は、このピクセルの前の値の２分の１に、量（ｅ（ｎ＊）−１）の２分の１を加算したものに等しく、１．２５と等しい。
図１５を参照すると、サブフレーム３０Ｌ−１の第１列第１行のピクセルの前の値は、２である。
したがって、このピクセルの更新値は、更新サブフレーム３０Ｌ−３において１．２５となる。
【０１６０】
影響領域のボックス１３０２および１３０４は、基本的には、図１６を参照して上述したのと同じ方法で誤差画像１３０２内を移動して回り、方程式ＸＸＸＬに基づいて、更新サブフレーム３０Ｋ−３および３０Ｌ−３の残りの更新値を生成する。
【０１６１】
本明細書では、好ましい実施の形態を説明する目的で、特定の実施の形態を図示して説明してきたが、図示して説明したこれらの特定の実施の形態の代わりに、多種多様の代替的かつ／または均等な実施態様を、本発明の範囲から逸脱することなく使用できることが当業者には理解されよう。
機械技術、電気機械技術、電気技術、およびコンピュータ技術の技術者には、本発明を多種多様な実施の形態で実施できることが容易に理解されよう。
この出願は、本明細書で解説した好ましい実施の形態のあらゆる適応または変形をカバーすることを目的としている。
したがって、この発明は、特許請求の範囲およびその均等なものによってのみ限定されることが意図されていることは明白である。
【図面の簡単な説明】
【０１６２】
【図１】本発明の一実施の形態による画像表示システムを示すブロック図である。
【図２Ａ】本発明の一実施の形態による２つのサブフレームを表示したものを示す概略図である。
【図２Ｂ】本発明の一実施の形態による２つのサブフレームを表示したものを示す概略図である。
【図２Ｃ】本発明の一実施の形態による２つのサブフレームを表示したものを示す概略図である。
【図３Ａ】本発明の一実施の形態による４つのサブフレームを表示したものを示す概略図である。
【図３Ｂ】本発明の一実施の形態による４つのサブフレームを表示したものを示す概略図である。
【図３Ｃ】本発明の一実施の形態による４つのサブフレームを表示したものを示す概略図である。
【図３Ｄ】本発明の一実施の形態による４つのサブフレームを表示したものを示す概略図である。
【図３Ｅ】本発明の一実施の形態による４つのサブフレームを表示したものを示す概略図である。
【図４Ａ】本発明の一実施の形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｂ】本発明の一実施の形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｃ】本発明の一実施の形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｄ】本発明の一実施の形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｅ】本発明の一実施の形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図５】本発明の一実施の形態による最近傍アルゴリズムを使用した、オリジナルの高解像度画像からの低解像度サブフレームの生成を示す図である。
【図６】本発明の一実施の形態による双一次アルゴリズムを使用した、オリジナルの高解像度画像からの低解像度サブフレームの生成を示す図である。
【図７】本発明の一実施の形態による、擬似高解像度画像を生成するシステムを示すブロック図である。
【図８】本発明の一実施の形態による、分離可能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図９】本発明の一実施の形態による、分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１０】本発明の一実施の形態による、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１１】本発明の一実施の形態による擬似高解像度画像と所望の高解像度画像との比較を示すブロック図である。
【図１２】本発明の一実施の形態によるサブフレームのアップサンプリングの周波数領域における効果を示す図である。
【図１３】本発明の一実施の形態によるアップサンプリングサブフレームのシフトの周波数領域における効果を示す図である。
【図１４】本発明の一実施の形態によるアップサンプリング画像のピクセルの影響領域を示す図である。
【図１５】本発明の一実施の形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像の生成を示す図である。
【図１６】本発明の一実施の形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１７】本発明の一実施の形態による適応型マルチパスアルゴリズムに基づく更新サブフレームの生成を示図である。
【図１８】本発明の別の実施の形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【符号の説明】
【０１６３】
１２・・・画像、
１６１・・・デジタル画像データ、
１６２・・・アナログ画像データ、
３２・・・Ａ／Ｄ変換器、
２０・・・フレームレート変換、
２２・・・フレームバッファ、
２８・・・画像フレーム、
２４・・・画像処理、
３４・・・解像度調整、
３６・・・サブフレーム生成、
２６・・・表示デバイス、
３８・・・画像シフト装置、
３０・・・画像サブフレーム、
１４・・・表示画像、
４０・・・タイミングジェネレータ、
【図１】
2005057742.tif 000026
【図２Ａ】
2005057742.tif 000027
【図２Ｂ】
2005057742.tif 000028
【図２Ｃ】
2005057742.tif 000029
【図３Ａ】
2005057742.tif 000030
【図３Ｂ】
2005057742.tif 000031
【図３Ｃ】
2005057742.tif 000032
【図３Ｄ】
2005057742.tif 000033
【図３Ｅ】
2005057742.tif 000034
【図４Ａ】
2005057742.tif 000035
【図４Ｂ】
2005057742.tif 000036
【図４Ｃ】
2005057742.tif 000037
【図４Ｄ】
2005057742.tif 000038
【図４Ｅ】
2005057742.tif 000039
【図５】
2005057742.tif 000040
【図６】
2005057742.tif 000041
【図７】
2005057742.tif 000042
【図８】
2005057742.tif 000043
【図９】
2005057742.tif 000044
【図１０】
2005057742.tif 000045
【図１１】
2005057742.tif 000046
【図１２】
2005057742.tif 000047
【図１３】
2005057742.tif 000048
【図１４】
2005057742.tif 000049
【図１５】
2005057742.tif 000050
【図１６】
2005057742.tif 000051
【図１７】
2005057742.tif 000052
【図１８】
2005057742.tif 000053