(57)【要約】  画像の画像データ（１６）を受け取るステップと、第１のサブフレーム及び第２のサブフレーム（３０）を生成するステップであって、当該第１のサブフレーム及び当該第２のサブフレームは複数のサブフレームピクセル値及び複数の誤差値を含み、複数のサブフレームピクセル値のうちの少なくとも第１のサブフレームピクセル値は、画像データと、複数のサブフレームピクセル値のうちの少なくとも第２のサブフレームピクセル値と、複数の誤差値のうちの少なくとも１つの誤差値とを使用して計算されるものである、生成するステップと、第１のサブフレームを第１の位置に表示することと、第２のサブフレームを第１の位置から空間的にずれた第２の位置に表示することを交互に行うステップとを含んでなる、表示デバイス（２６）を使用して画像（１２）を表示する方法が提供される。
2007532950.tif 000002
【特許請求の範囲】
【請求項１】
ある画像についての画像データを受け取るステップと、
第１のサブフレーム及び第２のサブフレームを生成するステップであって、該第１のサブフレーム及び該第２のサブフレームは複数のサブフレームピクセル値及び複数の誤差値を含み、前記複数のサブフレームピクセル値のうちの少なくとも第１のサブフレームピクセル値は、前記画像データと、前記複数のサブフレームピクセル値のうちの少なくとも第２のサブフレームピクセル値と、前記複数の誤差値のうちの少なくとも１つの誤差値とを使用して計算されるものである、ステップと、
前記第１のサブフレームを第１の位置に表示することと、前記第２のサブフレームを該第１の位置から空間的にずれた第２の位置に表示することとを交互に行うステップと
を含んでなる、表示デバイスを使用して画像を表示する方法。
【請求項２】
前記画像は複数の画像ピクセルを含み、前記複数のサブフレームピクセル値のそれぞれは前記複数の画像ピクセルのうちの１つに対してセンタリングされるサブフレームピクセルに対応するものである、請求項１に記載の表示デバイスを使用して画像を表示する方法。
【請求項３】
第１のシミュレーションカーネル及び第２のシミュレーションカーネルを使用して前記第１のサブフレーム及び前記第２のサブフレームを生成するステップをさらに含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
【請求項４】
前記第１のサブフレーム及び前記第２のサブフレームを生成するステップであって、前記複数のサブフレームピクセル値のうちの前記第１のサブフレームピクセル値は、関連する初期値が非ゼロであることに応答して前記第１のシミュレーションカーネルを使用して計算され、該複数のサブフレームピクセル値のうちの該第１のサブフレームピクセル値は、関連する前記初期値がゼロであることに応答して前記第２のシミュレーションカーネルを使用して計算されるものである、ステップをさらに含む、請求項３に記載の表示デバイスを使用して画像を表示する方法。
【請求項５】
誤差カーネルを使用して前記第１のサブフレーム及び前記第２のサブフレームを生成するステップをさらに含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
【請求項６】
前記複数のサブフレームピクセル値のうちの前記第１のサブフレームピクセル値に関連する影響領域は、前記第１のサブフレーム及び前記第２のサブフレームの生成に使用される反復回数に対応する複数のピクセル値を含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
【請求項７】
第３のサブフレーム及び第４のサブフレームを生成するステップであって、前記第１のサブフレームと前記第２のサブフレームと該第３のサブフレームと該第４のサブフレームとは、前記複数のサブフレームピクセル値を含むものである、ステップと、
前記第１のサブフレームを前記第１の位置に表示することと、前記第２のサブフレームを該第１の位置から空間的にずれた前記第２の位置に表示することと、前記第３のサブフレームを該第１の位置及び該第２の位置から空間的にずれた第３の位置に表示することと、前記第４のサブフレームを該第１の位置、該第２の位置、及び該第３の位置から空間的にずれた第４の位置に表示することとを交互に行うステップと、
をさらに含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
【請求項８】
前記複数のサブフレームピクセル値のうちの前記第１のサブフレームピクセル値には前記第１のサブフレームが関連付けられ、前記複数のサブフレームピクセル値のうちの前記第２のサブフレームピクセル値には前記第３のサブフレームが関連付けられる、請求項７に記載の表示デバイスを使用して画像を表示する方法。
【請求項９】
前記複数のサブフレームピクセル値のうちの前記第１のサブフレームピクセル値は、前記画像データと、前記複数のサブフレームピクセル値のうちの前記第２のサブフレームピクセル値と、前記第４のサブフレームに関連付けられる前記複数のサブフレームピクセル値のうちの第３のサブフレームピクセル値とを使用して計算される、請求項８に記載の表示デバイスを使用して画像を表示する方法。
【請求項１０】
画像の画像データを受け取るようになっているバッファと、
複数行のサブフレームピクセル値を含む第１のサブフレーム及び第２のサブフレームを生成するように構成される画像処理ユニットであって、前記複数行の各行中の前記サブフレームピクセル値のそれぞれは、前記画像データ、前記複数行のうちの前の行からの少なくとも１つのサブフレームピクセル値、及び少なくとも１つの誤差値を使用して計算される、画像処理ユニットと、
前記第１のサブフレームを第１の位置に表示し、前記第２のサブフレームを該第１の位置から空間的にずれた第２の位置に交互に表示するようになっている表示デバイスと
を含んでなる、画像を表示するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間的にずれたサブフレームの生成及び表示に関する。
【０００２】
［関連出願への相互参照］
本願は、２００２年８月７日出願の「IMAGE DISPLAY SYSTEM AND METHOD」という名称の米国特許出願第１０／２１３，５５５号と、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」という名称の米国特許出願第１０／２４２，１９５号と、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」という名称の米国特許出願第１０／２４２，５４５号と、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／６３１，６８１号と、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／６３２，０４２号と、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／６７２，８４５号と、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／６７２，５４４号と、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON A DIAMOND GRID」という名称の米国特許出願第１０／６９７，６０５号と、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON DIFFERENT TYPES OF GRIDS」という名称の米国特許出願第１０／６９６，８８８号と、２００３年１０月３０日出願の「IMAGE DISPLAY SYSTEM AND METHOD」という名称の米国特許出願第１０／６９７，８３０号と、２００３年１２月３１日出願の「DISPLAYING SPATIALLY OFFSET SUB-FRAMES WITH A DISPLAY DEVICE HAVING A SET OF DEFECTIVE DISPLAY PIXELS」という名称の米国特許出願第１０／７５０，５９１号と、２００４年１月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／７６８，６２１号と、２００４年１月３０日出願の「DISPLAYING SUB-FRAMES AT SPATIALLY OFFSET POSITIONS ON A CIRCLE」という名称の米国特許出願第１０／７６８，２１５号とに関連する。上記米国特許出願のそれぞれは本発明の譲受人に譲渡されており、引用することにより本明細書の一部をなすものとする。
【背景技術】
【０００３】
［背景］
ディスプレイ、プロジェクタ、又は他の画像形成システムなどの画像を表示するための従来のシステム又はデバイスは、横方向の行及び縦方向の列に整列された個々の画素又はピクセルの配列をアドレス指定することにより表示画像を生成する。表示画像の解像度は、表示画像を形成する横方向の行及び縦方向の列の個々のピクセルの個数として定義される。表示画像の解像度は、表示デバイス自体の解像度と、表示デバイスによって処理され、表示画像を生成するために使用される画像データの解像度とによって影響を受ける。
【０００４】
通常、表示画像の解像度を向上させるには、表示デバイスの解像度と、表示画像を生成するために使用される画像データの解像度とを向上させなければならない。しかしながら、表示デバイスの解像度を向上させると、表示デバイスのコスト及び複雑さが増加する。これに加えて、解像度をより高くした画像データが利用可能でないことがあり、及び／又は、その生成が困難なことがある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
自然画像やビジネスグラフィックスなどの高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができることが望まれる。
【課題を解決するための手段】
【０００６】
［概要］
本発明の一形態は、表示デバイスを使用して画像を表示する方法であって、画像の画像データを受け取るステップと、第１のサブフレーム及び第２のサブフレームを生成するステップであって、当該第１のサブフレーム及び当該第２のサブフレームは複数のサブフレームピクセル値及び複数の誤差値を含み、複数のサブフレームピクセル値のうちの少なくとも第１のサブフレームピクセル値は、画像データと、複数のサブフレームピクセル値のうちの少なくとも第２のサブフレームピクセル値と、複数の誤差値のうちの少なくとも１つの誤差値とを使用して計算されるものである、生成するステップと、第１のサブフレームを第１の位置に表示すること、及び、第２のサブフレームを第１の位置から空間的にずれた第２の位置に表示することを交互に行うステップとを含んでなる、表示デバイスを使用して画像を表示する方法を提供する。
【発明を実施するための最良の形態】
【０００７】
［詳細な説明］
好ましい実施形態の以下の詳細な説明では、添付図面を参照する。添付図面は、この詳細な説明の一部を成す。添付図面には、本発明を実施することができる特定の実施形態を例示として示す。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく、構造的な又は論理的な変更を行うこともできることが理解されるべきである。したがって、以下の詳細な説明は、限定の意味に取られるべきではなく、本発明の範囲は、添付の特許請求の範囲によって確定される。
【０００８】
Ｉ．サブフレームの空間シフト及び時間シフト
いくつかのデジタルライトプロジェクタなどの表示システムの中には、いくつかの高解像度の画像を表示するのに十分な解像度を有さないものがある。このようなシステムは、空間シフト及び時間シフトされた低解像度の画像を表示することにより、より高解像度の画像の外観を人間の眼に与えるように構成することができる。低解像度の画像は、サブフレームと呼ばれる。サブフレーム生成上の問題は、本発明の実施形態によって取り組まれるものであるが、表示されるサブフレームが、そのサブフレームを導出した高解像度の画像が直接表示されたならば見ることができる程度に外観上近くなるように、サブフレームの適切な値を決定することである。
【０００９】
サブフレームの時間シフト及び空間シフトを通じて向上した解像度の外観を提供する表示システムの一実施形態は、引用した上記の米国特許出願に記載されており、図１〜図４Ｅを参照して以下に概要を説明する。
【００１０】
図１は、本発明の一実施形態による画像表示システム１０を示すブロック図である。この画像表示システム１０は、画像１２の処理を促進して、表示画像１４を作成する。画像１２は、あらゆる描画用文字、図形文字、及び／若しくは、テキスト文字、シンボル、イラスト、並びに／又は、他の情報表現を包含するように定義される。画像１２は、たとえば、画像データ１６によって表わされる。画像データ１６は、画像１２の個々の画素又はピクセルを含む。画像表示システム１０が処理するものとして、１つの画像を例示して説明するが、画像表示システム１０は、複数の画像又は一連の画像を処理して表示することができることが理解されよう。
【００１１】
一実施形態では、画像表示システム１０は、フレームレート変換ユニット２０及び画像フレームバッファ２２と、画像処理ユニット２４と、表示デバイス２６とを含む。後述するように、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６を受け取ってバッファリングし、画像１２用の画像フレーム２８を作成する。画像処理ユニット２４は、画像フレーム２８を処理して、画像フレーム２８用の１以上の画像サブフレーム３０を規定し、表示デバイス２６は、画像サブフレーム３０を時間的に空間的に表示して、表示画像１４を生成する。
【００１２】
フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含めて、画像表示システム１０は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを含む。一実施形態では、フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含めて、画像表示システム１０の１以上のコンポーネントは、コンピュータ、コンピュータサーバ、又は一続きの論理演算を実行できる他のマイクロプロセッサベースのシステムに含まれる。さらに、処理をシステム全体にわたって分散させて、個々の部分を個別のシステムコンポーネントにおいて実現することもできる。
【００１３】
画像データ１６は、デジタル画像データ１６１を含むこともでき、又はアナログ画像データ１６２を含むこともできる。アナログ画像データ１６２を処理するために、画像表示システム１０は、アナログ／デジタル（Ａ／Ｄ）変換器３２を含む。したがって、Ａ／Ｄ変換器３２は、アナログ画像データ１６２を後続の処理のためにデジタル形に変換する。このように、画像表示システム１０は、画像１２用のデジタル画像データ１６１及び／又はアナログ画像データ１６２を受け取って処理することができる。
【００１４】
フレームレート変換ユニット２０は、画像１２用の画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリング又は記憶する。より具体的には、フレームレート変換ユニット２０は、画像１２の個々のライン又はフィールドを表す画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリングし、画像１２用の画像フレーム２８を作成する。画像フレームバッファ２２は、画像フレーム２８用の画像データのすべてを受け取って記憶することにより、画像データ１６をバッファリングし、フレームレート変換ユニット２０は、その後、画像フレームバッファ２２から画像フレーム２８用の画像データのすべてを検索又は抽出することにより、画像フレーム２８を作成する。したがって、画像フレーム２８は、画像１２の全体を表す画像データ１６の複数の個々のライン又はフィールドを包含するように規定される。このように、画像フレーム２８は、画像１２を表す複数の列及び複数の行の個々のピクセルを含む。
【００１５】
フレームレート変換ユニット２０及び画像フレームバッファ２２は、プログレッシブ画像データ及び／又はインターレース画像データとして画像データ１６を受け取って処理することができる。プログレッシブ画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の連続したフィールドを受け取って記憶する。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の連続したフィールドを検索することにより、画像フレーム２８を作成する。インターレース画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを受け取って記憶する。たとえば、画像データ１６の奇数フィールドのすべてが受け取られて記憶され、画像データ１６の偶数フィールドのすべてが受け取られて記憶される。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを検索することにより、画像データ１６のインターレースを解除して、画像フレーム２８を作成する。
【００１６】
画像フレームバッファ２２は、それぞれの画像１２の１以上の画像フレーム２８用の画像データ１６を記憶するためのメモリを含む。したがって、画像フレームバッファ２２は、１以上の画像フレーム２８のデータベースを構成する。画像フレームバッファ２２の例は、（たとえば、ハードディスクドライブ又は他の永続的記憶デバイスなどの）不揮発性メモリを含み、（たとえば、ランダムアクセスメモリ（ＲＡＭ）などの）揮発性メモリを含んでもよい。
【００１７】
フレームレート変換ユニット２０において画像データ１６を受け取り、画像フレームバッファ２２により画像データ１６をバッファリングすることにより、画像データ１６の入力タイミングを、表示デバイス２６のタイミング要件から切り離すことができる。より具体的には、画像フレーム２８用の画像データ１６は、画像フレームバッファ２２により受け取られて記憶されるので、画像データ１６をあらゆるレートの入力として受け取ることができる。したがって、画像フレーム２８のフレームレートを表示デバイス２６のタイミング要件に変換することができる。このように、画像フレーム２８用の画像データ１６を、表示デバイス２６のフレームレートで画像フレームバッファ２２から抽出することができる。
【００１８】
一実施形態では、画像処理ユニット２４は、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む。後述するように、解像度調整ユニット３４は、画像フレーム２８用の画像データ１６を受け取って、表示デバイス２６の表示用に画像データ１６の解像度を調整し、サブフレーム生成ユニット３６は、画像フレーム２８用の複数の画像サブフレーム３０を生成する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の画像データ１６を元の解像度で受け取り、画像データ１６を処理して、画像データ１６の解像度を増加させる、減少させる、及び／又は、変更せずに維持する。したがって、画像処理ユニット２４により、画像表示システム１０は、さまざまな解像度の画像データ１６を受け取って表示することができる。
【００１９】
サブフレーム生成ユニット３６は、画像フレーム２８用の画像データ１６を受け取って処理し、画像フレーム２８用の複数の画像サブフレーム３０を規定する。解像度調整ユニット３４が、画像データ１６の解像度を調整した場合に、サブフレーム生成ユニット３６は、調整された解像度の画像データ１６を受け取る。画像データ１６の調整された解像度は、画像フレーム２８用の画像データ１６の元の解像度に対して、増加される場合もあるし、減少される場合もあるし、同じ場合もある。サブフレーム生成ユニット３６は、表示デバイス２６の解像度と一致した解像度を有する画像サブフレーム３０を生成する。それぞれの画像サブフレーム３０は、画像フレーム２８と等しい領域を有する。それぞれのサブフレーム３０は、画像１２の画像データ１６のサブセットを表す複数の列及び複数の行の個々のピクセルを含み、表示デバイス２６の解像度と一致した解像度を有する。
【００２０】
各画像サブフレーム３０は、画像フレーム２８用のピクセルの行列又は配列を含む。画像サブフレーム３０は、各画像サブフレーム３０が、異なるピクセル及び／又は異なる部分のピクセルを含むように、空間的に相互にオフセットされる。したがって、画像サブフレーム３０は、後述するように、ある垂直距離及び／又は水平距離だけ、相互にオフセットされる。
【００２１】
表示デバイス２６は、画像処理ユニット２４から画像サブフレーム３０を受け取り、画像サブフレーム３０を順次表示して、表示画像１４を作成する。より具体的には、画像サブフレーム３０は、空間的に相互にオフセットされているので、表示デバイス２６は、後述するように、画像サブフレーム３０の空間オフセットに従って異なる位置に画像サブフレーム３０を表示する。したがって、表示デバイス２６は、画像フレーム２８用の画像サブフレーム３０の表示を交互に行って、表示画像１４を作成する。したがって、表示デバイス２６は、画像フレーム２８用の１つのサブフレーム３０全体を一度に表示する。
【００２２】
一実施形態では、表示デバイス２６は、画像フレーム２８ごとに、１サイクルの画像サブフレーム３０の表示を実行する。表示デバイス２６は、空間的に時間的に相互にオフセットされるように、画像サブフレーム３０を表示する。一実施形態では、表示デバイス２６は、画像サブフレーム３０を光学的に操作して、表示画像１４を作成する。したがって、表示デバイス２６の個々のピクセルは、複数の位置にアドレス指定される。
【００２３】
一実施形態では、表示デバイス２６は、画像シフト装置３８を含む。この画像シフト装置３８は、表示デバイス２６が表示するように、画像サブフレーム３０の位置を空間的に変更又はオフセットする。より具体的には、画像シフト装置３８は、後述するように、画像サブフレーム３０の表示位置を変更して、表示画像１４を生成する。
【００２４】
一実施形態では、表示デバイス２６は、入射光の変調を行う光変調器を含む。この光変調器は、たとえば、マイクロミラーデバイスの配列を形成するように整列された複数のマイクロミラーデバイスを含む。したがって、各マイクロミラーデバイスは、表示デバイス２６の１つのセル又はピクセルを構成する。表示デバイス２６は、ディスプレイ、プロジェクタ、又は他の画像形成システムの一部をなすことがある。
【００２５】
一実施形態では、画像表示システム１０は、タイミングジェネレータ４０を含む。このタイミングジェネレータ４０は、たとえば、フレームレート変換ユニット２０と、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む画像処理ユニット２４と、画像シフト装置３８を含む表示デバイス２６とに通信する。したがって、タイミングジェネレータ４０は、画像フレーム２８を作成するための画像データ１６のバッファリング及び変換と、画像データ１６の解像度を調整して画像サブフレーム３０を生成するための画像フレーム２８の処理と、表示画像１４を生成するための画像サブフレーム３０の配置及び表示とを同期させる。したがって、タイミングジェネレータ４０は、画像１２のサブフレーム全体が、表示デバイス２６により表示画像１４として時間的に空間的に表示されるように、画像表示システム１０のタイミングを制御する。
【００２６】
一実施形態では、図２Ａ及び図２Ｂに示すように、画像処理ユニット２４は、画像フレーム２８用の２つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１及び第２のサブフレーム３０２を規定する。したがって、第１のサブフレーム３０１及び第２のサブフレーム３０２は、それぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。このように、第１のサブフレーム３０１及び第２のサブフレーム３０２のそれぞれは、画像データ１６のサブセットの画像データ配列又はピクセル行列を構成する。
【００２７】
一実施形態では、図２Ｂに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からオフセットされる。したがって、第２のサブフレーム３０２は、所定の距離だけ、第１のサブフレーム３０１から空間的にオフセットされる。例示の一実施形態では、垂直距離５０及び水平距離５２は、それぞれ、１ピクセルの約２分の１である。
【００２８】
図２Ｃに示すように、表示デバイス２６は、第１の位置に第１のサブフレーム３０１を表示することと、第１の位置から空間的にオフセットされた第２の位置に第２のサブフレーム３０２を表示することとを交互に行う。より具体的には、表示デバイス２６は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１の表示に対して、第２のサブフレーム３０２の表示をシフトさせる。したがって、第１のサブフレーム３０１のピクセルは、第２のサブフレーム３０２のピクセルと一部重なる。一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、及び、第２の位置に第２のサブフレーム３０２を表示することの１サイクルを実行する。このように、第２のサブフレーム３０２は、第１のサブフレーム３０１に空間的に時間的に関連して表示される。このような時間的に空間的にシフトされた２つのサブフレームの表示を、本明細書では、２位置処理（two-position processing）と呼ぶ。
【００２９】
別の実施形態では、図３Ａ〜図３Ｄに示すように、画像処理ユニット２４は、画像フレーム２８用の４つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１と、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４とを規定する。したがって、第１のサブフレーム３０１と第２のサブフレーム３０２と第３のサブフレーム３０３と第４のサブフレーム３０４とは、画像データ１６の複数の列及び複数の行の個々のピクセル１８をそれぞれ含む。
【００３０】
一実施形態では、図３Ｂ〜図３Ｄに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からオフセットされ、第３のサブフレーム３０３は、水平距離５４だけ、第１のサブフレーム３０１からオフセットされ、第４のサブフレーム３０４は、垂直距離５６だけ、第１のサブフレーム３０１からオフセットされる。したがって、第２のサブフレーム３０２と第３のサブフレーム３０３と第４のサブフレーム３０４とは、所定の距離だけ空間的に相互にそれぞれオフセットされ、所定の距離だけ第１のサブフレーム３０１から空間的にオフセットされている。例示の一実施形態では、垂直距離５０と水平距離５２と水平距離５４と垂直距離５６とは、それぞれ、１ピクセルの約２分の１である。
【００３１】
図３Ｅに概略的に示すように、表示デバイス２６は、第１の位置Ｐ1に第１のサブフレーム３０１を表示すること、第１の位置から空間的にオフセットされた第２の位置Ｐ2に第２のサブフレーム３０２を表示すること、第１の位置から空間的にオフセットされた第３の位置Ｐ3に第３のサブフレーム３０３を表示すること、及び、第１の位置から空間的にオフセットされた第４の位置Ｐ4に第４のサブフレーム３０４を表示することを交互に行う。より具体的には、表示デバイス２６は、第２のサブフレーム３０２と第３のサブフレーム３０３と第４のサブフレーム３０４との表示を、それぞれの所定の距離だけ、第１のサブフレーム３０１に対してシフトさせる。したがって、第１のサブフレーム３０１と第２のサブフレーム３０２と第３のサブフレーム３０３と第４のサブフレーム３０４とのピクセルは、相互に一部重なり合う。
【００３２】
一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、第２の位置に第２のサブフレーム３０２を表示すること、第３の位置に第３のサブフレーム３０３を表示すること、及び、第４の位置に第４のサブフレーム３０４を表示することの１サイクルを実行する。したがって、第２のサブフレーム３０２と第３のサブフレーム３０３と第４のサブフレーム３０４とは、相互に第１のサブフレーム３０１に空間的に時間的に関連して表示される。このような時間的に空間的にシフトされた４つのサブフレームの表示を、本明細書では、４位置処理（four-position processing）と呼ぶ。
【００３３】
図４Ａ〜図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示すること、第２のサブフレーム３０２からのピクセル１８２を第２の位置に表示すること、第３のサブフレーム３０３からのピクセル１８３を第３の位置に表示すること、及び第４のサブフレーム３０４からのピクセル１８４を第４の位置に表示することの１サイクルを完了する一実施形態を示している。より具体的には、図４Ａは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示したものを示している。図４Ｂは、第２のサブフレーム３０２からのピクセル１８２を第２の位置（第１の位置を破線で示す）に表示したものを示している。図４Ｃは、第３のサブフレーム３０３からのピクセル１８３を第３の位置（第１の位置及び第２の位置を破線で示す）に表示したものを示している。図４Ｄは、第４のサブフレーム３０４からのピクセル１８４を第４の位置（第１の位置と第２の位置と第３の位置とを破線で示す）に表示したものを示している。図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置（第２の位置と第３の位置と第４の位置とを破線で示す）に表示したものを示している。
【００３４】
サブフレーム生成ユニット３６（図１）は、画像フレーム２８の画像データに基づいてサブフレーム３０を生成する。サブフレーム生成ユニット３６が実行する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにより実現できることが、当業者には理解されよう。そのインプリメンテーションは、マイクロプロセッサ、プログラマブルロジックデバイス、又は状態機械を介して行うことができる。本発明のコンポーネントは、１以上のコンピュータ読み取り可能な媒体上にソフトウェアにより存在することができる。本明細書において使用されるコンピュータ読み取り可能な媒体という用語は、フロッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ等の揮発性又は不揮発性のあらゆる種類のメモリを包含するように定義される。
【００３５】
本発明の一形態では、サブフレーム３０は、画像フレーム２８よりも低い解像度を有する。このため、サブフレーム３０を本明細書では低解像度画像３０とも呼び、画像フレーム２８を本明細書では高解像度画像２８とも呼ぶ。低解像度及び高解像度という用語が本明細書では比較として用いられ、いずれの特定の最小ピクセル数又は最大ピクセル数に限定されないことが当業者には理解されよう。一実施形態では、サブフレーム生成ユニット３６は、１０個のアルゴリズムのうちの１つ以上のものに基づいてサブフレーム３０を生成するように構成される。これらの１０個のアルゴリズムを本明細書では以下のように呼ぶ。すなわち、（１）最近傍、（２）双一次（bilinear）、（３）空間領域、（４）周波数領域、（５）適応型マルチパス、（６）中心適応型マルチパス、（７）簡易中心適応型マルチパス、（８）履歴使用の（with history）適応型マルチパス、（９）履歴使用の簡易中心適応型マルチパス、及び、（１０）履歴使用の中心適応型マルチパスである。
【００３６】
本発明の一形態による最近傍アルゴリズム及び双一次アルゴリズムは、高解像度画像２８からのピクセルを組み合わせることによりサブフレーム３０を生成するものである。本発明の一形態による空間領域アルゴリズム及び周波数領域アルゴリズムは、擬似（simulated：シミュレート）高解像度画像と所望の高解像度画像２８との間の差を表す大域誤差メトリック（global error metric）の最小化に基づいてサブフレーム３０を生成するものである。本発明のさまざまな形態による適応型マルチパスアルゴリズムと、中心適応型マルチパスアルゴリズムと、簡易中心適応型マルチパスアルゴリズムと、履歴使用の適応型マルチパスアルゴリズムと、履歴使用の簡易中心適応型マルチパスアルゴリズムと、履歴使用の中心適応型マルチパスアルゴリズムとは、局所誤差メトリック（local error metric）の最小化に基づいてサブフレーム３０を生成するものである。一実施形態では、サブフレーム生成ユニット３６は、サブフレームの値と高解像度画像の値との関係を記憶するためのメモリを含む。この関係は、高解像度画像の値と、サブフレームの値の関数である擬似高解像度画像との間の誤差メトリックの最小化に基づいている。これらの１０個のアルゴリズムのそれぞれの実施形態を図５〜図３２を参照して以下に説明する。
【００３７】
ＩＩ．最近傍
図５は、本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ａ及び３０Ｂ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。最近傍アルゴリズムの一実施形態では、高解像度画像２８の第１行の１つおきのピクセルを取り出し、高解像度画像２８の第２行を飛ばして、高解像度画像２８の第３行の１つおきのピクセルを取り出し、このプロセスを高解像度画像２８の全体にわたって繰り返すことにより、第１のサブフレーム３０Ａが生成される。したがって、図５に示すように、サブフレーム３０Ａの第１行は、ピクセルＨ１及びＨ３を含み、サブフレーム３０Ａの第２行は、ピクセルＨ９及びＨ１１を含む。本発明の一形態では、第２のサブフレーム３０Ｂは、第１のサブフレーム３０Ａと同じ方法で生成されるが、プロセスはピクセルＨ６から開始し、このピクセルＨ６は第１のピクセルＨ１から１行分下で１列分越えてシフトされている。したがって、図５に示すように、サブフレーム３０Ｂの第１行は、ピクセルＨ６及びＨ８を含み、サブフレーム３０Ｂの第２行は、ピクセルＨ１４及びＨ１６を含む。
【００３８】
一実施形態では、３つのフィルタ係数「０」及び第４のフィルタ係数「１」を有し、高解像度画像からのピクセル値の加重和を生成する２×２フィルタによって、最近傍アルゴリズムは実現される。上述したような２位置処理を使用してサブフレーム３０Ａ及び３０Ｂを表示すると、より高い解像度の画像の外観が得られる。最近傍アルゴリズムは、４位置処理にも適用可能であり、図５に示すピクセル数を有する画像に限定されるものではない。
【００３９】
ＩＩＩ．双一次
図６は、本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ｃ及び３０Ｄ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。サブフレーム３０Ｃは、２列２行のピクセルで合計４つのピクセルＬ１〜Ｌ４を含む。そして、サブフレーム３０Ｄは、２列２行のピクセルで合計４つのピクセルＬ５〜Ｌ８を含む。
【００４０】
一実施形態では、サブフレーム３０Ｃ及び３０ＤのピクセルＬ１〜Ｌ８の値は、画像２８のピクセル値Ｈ１〜Ｈ１６から以下の方程式Ｉ〜ＶＩＩＩに基づいて生成される。
【００４１】
<方程式Ｉ>
Ｌ１＝（４Ｈ１＋２Ｈ２＋２Ｈ５）／８
<方程式ＩＩ>
Ｌ２＝（４Ｈ３＋２Ｈ４＋２Ｈ７）／８
<方程式ＩＩＩ>
Ｌ３＝（４Ｈ９＋２Ｈ１０＋２Ｈ１３）／８
<方程式ＩＶ>
Ｌ４＝（４Ｈ１１＋２Ｈ１２＋２Ｈ１５）／８
<方程式Ｖ>
Ｌ５＝（４Ｈ６＋２Ｈ２＋２Ｈ５）／８
<方程式ＶＩ>
Ｌ６＝（４Ｈ８＋２Ｈ４＋２Ｈ７）／８
<方程式ＶＩＩ>
Ｌ７＝（４Ｈ１４＋２Ｈ１０＋２Ｈ１３）／８
<方程式ＶＩＩＩ>
Ｌ８＝（４Ｈ１６＋２Ｈ１２＋２Ｈ１５）／８
【００４２】
上記方程式Ｉ〜ＶＩＩＩから分かるように、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、４を乗算することから、それぞれのピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の値によって最も影響を受ける。ただし、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、ピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の対角方向の近傍ピクセルの値によっても影響を受ける。同様に、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、４を乗算することから、それぞれのピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の値によって最も影響を受ける。ただし、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、ピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の対角方向の近傍ピクセルの値によっても影響を受ける。
【００４３】
一実施形態では、１つのフィルタ係数「０」及び非ゼロの値を有する３つのフィルタ係数（たとえば、４と２と２）を有し、高解像度画像のピクセル値の加重和を生成する２×２フィルタによって、双一次アルゴリズムは実現される。別の実施形態では、このフィルタ係数として他の値が使用される。上述したような２位置処理を使用してサブフレーム３０Ｃ及び３０Ｄを表示すると、より高い解像度の画像の外観が得られる。双一次アルゴリズムは、４位置処理にも適用可能であり、図６に示すピクセル数を有する画像に限定されるものではない。
【００４４】
最近傍アルゴリズム及び双一次アルゴリズムの一形態では、上述したように、サブフレーム３０は、元の高解像度画像のピクセル値の線形結合に基づいて生成される。別の実施形態では、サブフレーム３０は、元の高解像度画像のピクセル値の非線形結合に基づいて生成される。たとえば、元の高解像度画像がガンマ補正を受けている場合に、一実施形態では、ガンマ曲線の効果を打ち消すのに適した非線形結合が使用される。
【００４５】
ＩＶ．擬似高解像度画像を生成するシステム
図７〜図１０、図２０及び図２２は、擬似高解像度画像を生成するシステムを示している。以下にさらに詳述するように、これらのシステムに基づいて、サブフレームを生成する空間領域アルゴリズムと、周波数領域アルゴリズムと、適応型マルチパスアルゴリズムと、中心適応型マルチパスアルゴリズムと、簡易中心適応型マルチパスアルゴリズムとが構築される。
【００４６】
図７は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｅから擬似高解像度画像４１２を生成するシステム４００を示すブロック図である。このシステム４００は、アップサンプリングステージ４０２と、シフトステージ４０４と、畳み込み演算ステージ４０６と、総和ステージ４１０とを含む。サブフレーム３０Ｅは、サンプリング行列Ｍに基づいてアップサンプリングステージ４０２によりアップサンプリングされ、それによって、アップサンプリング画像が生成される。このアップサンプリング画像は、空間シフト行列Ｓに基づいてシフトステージ４０４によりシフトされ、それによって、シフトアップサンプリング画像が生成される。このシフトアップサンプリング画像は、畳み込み演算ステージ４０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像（blocked image）４０８が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタは、高解像度グリッドの上に低解像度サブフレームを重ね合わせることをシミュレーションする。低解像度サブフレームのピクセルデータは、そのサブフレームを高解像度グリッド上に表すことができるように拡大される。補間フィルタは、アップサンプリングによって生成された、欠けているピクセルデータを満たす。ブロック画像４０８は、総和ブロック４１０によって加重されて総和が求められ、８×８ピクセルの擬似高解像度画像４１２が生成される。
【００４７】
図８は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｆ及び３０Ｇの分離可能なアップサンプリング（separable upsampling）に基づいて２位置処理用の擬似高解像度画像５１２を生成するシステム５００を示すブロック図である。このシステム５００は、アップサンプリングステージ５０２及び５１４と、シフトステージ５１８と、畳み込み演算ステージ５０６及び５２２と、総和ステージ５０８と、乗算ステージ５１０とを含む。サブフレーム３０Ｆは、アップサンプリングステージ５０２によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５０４が生成される。アップサンプリング画像５０４の黒のピクセルは、サブフレーム３０Ｆからの１６個のピクセルを表し、アップサンプリング画像５０４の白のピクセルは、０の値を表す。サブフレーム３０Ｇは、アップサンプリングステージ５１４によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５１６が生成される。アップサンプリング画像５１６の黒のピクセルは、サブフレーム３０Ｇからの１６個のピクセルを表し、アップサンプリング画像５１６の白のピクセルは、０の値を表す。一実施形態では、アップサンプリングステージ５０２及び５１４は、対角サンプリング行列を使用して、サブフレーム３０Ｆ及び３０Ｇをそれぞれアップサンプリングする。
【００４８】
アップサンプリング画像５１６は、空間シフト行列Ｓに基づいてシフトステージ５１８によりシフトされ、それによって、シフトアップサンプリング画像５２０が生成される。この図示した実施形態では、シフトステージ５１８は、１ピクセルの対角方向のシフトを実行する。画像５０４及び５２０は、それぞれ畳み込み演算ステージ５０６及び５２２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、畳み込み演算ステージ５０６及び５２２の補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ５０６及び５２２において生成されたブロック画像は、総和ブロック５０８によって総和が求められ、乗算ステージ５１０において０．５倍にされて、８×８ピクセルの擬似高解像度画像５１２が生成される。画像データが乗算ステージ５１０において０．５倍にされるのは、一実施形態では、サブフレーム３０Ｆ及び３０Ｇのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの半分しか表示されないことによる。別の実施形態では、乗算ステージ５１０において０．５倍にするのではなく、ステージ５０６及び５２２における補間フィルタのフィルタ係数が、０．５倍に縮小される。
【００４９】
一実施形態では、図８に示して上述したように、低解像度サブフレームデータは、２つの個別のサブフレーム３０Ｆ及び３０Ｇによって表され、これらのサブフレームは、対角サンプリング行列（すなわち、分離可能なアップサンプリング）に基づいて別々にアップサンプリングされる。別の実施形態では、図９を参照して後述するように、低解像度サブフレームデータは、単一のサブフレームによって表され、この単一のサブフレームは、非対角サンプリング行列（すなわち、分離不能なアップサンプリング（non-separable upsampling））に基づいてアップサンプリングされる。
【００５０】
図９は、本発明の一実施形態による、８×４ピクセルの低解像度サブフレーム３０Ｈの分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像６１０を生成するシステム６００を示すブロック図である。このシステム６００は、５点形アップサンプリング（quincunx upsampling）ステージ６０２と、畳み込み演算ステージ６０６と、乗算ステージ６０８とを含む。サブフレーム３０Ｈは、５点形サンプリング行列Ｑに基づいて５点形アップサンプリングステージ６０２によりアップサンプリングされ、それによって、アップサンプリング画像６０４が生成される。アップサンプリング画像６０４の黒のピクセルは、サブフレーム３０Ｈからの３２個のピクセルを表し、アップサンプリング画像６０４の白のピクセルは、０の値を表す。サブフレーム３０Ｈは、２位置処理用の２つの４×４ピクセルサブフレームのピクセルデータを含む。アップサンプリング画像６０４の第１行、第３行、第５行、及び第７行の黒のピクセルは、第１の４×４ピクセルサブフレーム用のピクセルを表し、アップサンプリング画像６０４の第２行、第４行、第６行、及び第８行の黒のピクセルは、第２の４×４ピクセルサブフレーム用のピクセルを表す。
【００５１】
アップサンプリング画像６０４は、畳み込み演算ステージ６０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ６０６によって生成されたブロック画像は、乗算ステージ６０８において０．５倍にされて、８×８ピクセルの擬似高解像度画像６１０が生成される。
【００５２】
図１０は、本発明の一実施形態による、サブフレーム３０Ｉに基づいて４位置処理用の擬似高解像度画像７０６を生成するシステム７００を示すブロック図である。図１０に示す実施形態では、サブフレーム３０Ｉは、８×８配列のピクセルである。サブフレーム３０Ｉは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６は、第１の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＢ１〜Ｂ１６は、第２の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＣ１〜Ｃ１６は、第３の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＤ１〜Ｄ１６は、第４の４×４ピクセルサブフレーム用のピクセルを表す。
【００５３】
サブフレーム３０Ｉは、畳み込み演算ステージ７０２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ７０２によって生成されたブロック画像は、乗算ステージ７０４において０．２５倍にされて、８×８ピクセルの擬似高解像度画像７０６が生成される。画像データが乗算ステージ７０４において０．２５倍にされるのは、一実施形態では、サブフレーム３０Ｉによって表される４つのサブフレームのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの４分の１しか表示されないことによる。別の実施形態では、乗算ステージ７０４において０．２５倍にするのではなく、補間フィルタのフィルタ係数が、それに応じて縮小される。
【００５４】
Ｖ．誤差最小化に基づくサブフレームの生成
上述したように、システム４００、５００、６００、及び７００は、低解像度サブフレームに基づいて、擬似高解像度画像４１２、５１２、６１０、及び７０６をそれぞれ生成する。サブフレームが最適なものであれば、これらの擬似高解像度画像は、元の高解像度画像２８に可能な限り類似することになる。平均２乗誤差、加重平均２乗誤差、及びそれ以外のものを含めて、さまざまな誤差メトリックを使用して、擬似高解像度画像が元の高解像度画像にどれだけ類似しているかを判断することができる。
【００５５】
図１１は、本発明の一実施形態による擬似高解像度画像４１２／５１２／６１０／７０６と所望の高解像度画像２８との比較を示すブロック図である。減算ステージ８０２において、高解像度画像２８から擬似高解像度画像４１２、５１２、６１０、又は７０６がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、人間視覚系（ＨＶＳ（human visual system））加重フィルタ（Ｗ）８０４によってフィルタリングされる。本発明の一形態では、ＨＶＳ加重フィルタ８０４は、人間視覚系の特性に基づく誤差画像データをフィルタリングする。一実施形態では、ＨＶＳ加重フィルタ８０４は、高周波誤差の削減又は除去を行う。次いで、フィルタリングされたデータの平均２乗誤差が、ステージ８０６において求められ、擬似高解像度画像４１２、５１２、６１０、又は７０６が、所望の高解像度画像２８にどれだけ類似しているかの尺度が提供される。
【００５６】
一実施形態では、システム４００、５００、６００、及び７００は、擬似高解像度画像４１２、５１２、６１０、又は７０６と元の高解像度画像２８との間の差を計測する誤差コスト方程式（error cost equation）により数学的に表される。最適なサブフレームが、擬似高解像度画像と所望の高解像度画像との最小誤差を提供するそのサブフレームデータの誤差コスト方程式を解くことにより特定される。一実施形態では、空間領域アルゴリズム及び周波数領域アルゴリズムにより大域的な最適解が得られ、適応型マルチパスアルゴリズムを使用して局所的な最適解が得られる。空間領域アルゴリズムと周波数領域アルゴリズムと適応型マルチパスアルゴリズムとについては、図１２〜図１８を参照して以下にさらに詳述する。中心適応型マルチパスアルゴリズムと簡易中心適応型マルチパスアルゴリズムとについては、図１９〜図２３を参照して以下にさらに詳述する。履歴使用の適応型マルチパスアルゴリズムと、履歴使用の簡易中心適応型マルチパスアルゴリズムと、履歴使用の中心適応型マルチパスアルゴリズムとについては、図２４〜図３２を参照して以下にさらに詳述する。
【００５７】
ＶＩ．空間領域
一実施形態による最適なサブフレームを生成する空間領域解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の方程式ＩＸによる誤差コスト関数（error cost function）によって数学的に表すことができる。
【００５８】
<方程式ＩＸ>
【００５９】
【数１】
2007532950.tif 000003
【００６０】
上記方程式において、
ｌ*Qは、サブフレーム３０Ｈの最適な低解像度データである。
Ｊは、最小化されるべき誤差コスト関数である。
ｎ及びｋは、画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌQ（ｋ）は、位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）は、位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）は、位置ｎにおける所望の高解像度画像２８の画像データである。
【００６１】
方程式ＩＸの「ｌQ（ｋ）ｆ（ｎ−ｋ）」の総和は、システム６００のステージ６０６において実行される、アップサンプリング画像６０４と補間フィルタｆとの畳み込み演算を表す。フィルタ演算は、基本的には、アップサンプリング画像６０４の各ピクセル上を、２×２補間フィルタの右下のピクセルをスライドさせることにより実行される。２×２補間フィルタウィンドウ内のアップサンプリング画像６０４の４つピクセルは、対応するフィルタ係数（すなわち、図示した実施形態では「１」）と乗算される。４つの乗算結果は、その総和が求められ、補間フィルタの右下の位置に対応するアップサンプリング画像６０４のピクセルの値が、４つの乗算結果の総和と取り替えられる。畳み込み演算値ｌQ（ｋ）ｆ（ｎ−ｋ）から高解像度画像２８からの高解像度データｈ（ｎ）が減算され、誤差値が提供される。高解像度ピクセルの位置の全体にわたる２乗誤差の総和は、最小化されるべき誤差の尺度を提供する。
【００６２】
以下の方程式Ｘに示すように、低解像度ピクセルのそれぞれについて方程式ＩＸの導関数を求め、その導関数を０に等しく設定することにより、最適な空間領域解を得ることができる。
【００６３】
<方程式Ｘ>
【００６４】
【数２】
2007532950.tif 000004
【００６５】
上記方程式において、Θは、５点形格子点（quincunx lattice point）の集合である。
【００６６】
したがって、方程式Ｘから分かるように、この導関数は、５点形格子点の集合においてのみ求められる。この５点形格子点は、図９のアップサンプリング画像６０４の黒のピクセルに対応する。方程式ＩＸで与えられるＪについての方程式を方程式Ｘに代入し、方程式Ｘで指定される導関数を求めると、以下の方程式ＸＩとなる。
【００６７】
<方程式ＸＩ>
【００６８】
【数３】
2007532950.tif 000005
【００６９】
方程式ＸＩのシンボルＣffは、以下の方程式ＸＩＩによって定義される、補間フィルタｆの自己相関係数を表す。
【００７０】
<方程式ＸＩＩ>
【００７１】
【数４】
2007532950.tif 000006
【００７２】
方程式ＸＩは、以下の方程式ＸＩＩＩに示すように、ベクトル形式に変換することができる。
【００７３】
<方程式ＸＩＩＩ>
【００７４】
【数５】
2007532950.tif 000007
【００７５】
上記方程式において、
Ｃffは、補間フィルタｆの自己相関係数の行列である。
ｌ*Qは、サブフレーム３０Ｈの未知の画像データ及び「ドントケア」データ（すなわち、アップサンプリング画像６０４の白のピクセルに対応する画像データ）を表すベクトルである。
ｈfは、補間フィルタｆを使用して、擬似高解像度画像６１０をフィルタリングしたものを表すベクトルである。
【００７６】
「ドントケア」データ（すなわち、５点形格子点の集合Θに存在しないデータ）に対応する行及び列を消去すると、以下の方程式ＸＩＶとなる。
【００７７】
<方程式ＸＩＶ>
【００７８】
【数６】
2007532950.tif 000008
【００７９】
上記方程式において、
【００８０】
【数７】
2007532950.tif 000009
【００８１】
は、サブフレーム３０Ｈの未知画像データのみを表すベクトルである。
【００８２】
上記方程式ＸＩＶは、線形方程式の疎なシステムを表す疎な非テプリッツシステム（non-Toeplitz system）である。自己相関係数の行列は判明しており、擬似高解像度画像６１０のフィルタリングされたものを表すベクトルは判明しているので、方程式ＸＩＶを解いて、サブフレーム３０Ｈの最適画像データを求めることができる。一実施形態では、サブフレーム生成ユニット３６は、方程式ＸＩＶを解いて、サブフレーム３０を生成するように構成される。
【００８３】
ＶＩＩ．周波数領域
一実施形態による最適なサブフレーム３０を生成する周波数領域解を、図８に示すシステム５００との関連で説明する。周波数領域解を説明する前に、周波数領域解に適用可能な高速フーリエ変換（ＦＦＴ）のいくつかの性質を、図１２及び図１３を参照して説明する。
【００８４】
図１２は、本発明の一実施形態による４×４ピクセルのサブフレーム３０Ｊのアップサンプリングの周波数領域における効果を示す図である。図１２に示すように、サブフレーム３０Ｊは、アップサンプリングステージ９０２によって２倍にアップサンプリングされて、８×８ピクセルのアップサンプリング画像９０４が生成される。アップサンプリング画像９０４の黒のピクセルは、サブフレーム３０Ｊからの１６個のピクセルを表し、アップサンプリング画像９０４の白のピクセルは、０の値を表す。サブフレーム３０ＪのＦＦＴを求めると、結果は画像（Ｌ）９０６になる。アップサンプリング画像９０４のＦＦＴを求めると、結果は画像（ＬU）９０８になる。画像（ＬU）９０８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（Ｌ1）９１０Ａと、画像部分（Ｌ2）９１０Ｂと、画像部分（Ｌ3）９１０Ｃと、画像部分（Ｌ4）９１０Ｄとである。図１２に示すように、画像部分９１０Ａ〜９１０Ｄは、それぞれ、画像９０６と同じである（すなわち、Ｌ1＝Ｌ2＝Ｌ3＝Ｌ4＝Ｌである）。
【００８５】
図１３は、本発明の一実施形態による８×８ピクセルのアップサンプリングサブフレーム９０４のシフトの周波数領域における効果を示す図である。図１３に示すように、アップサンプリングサブフレーム９０４は、シフトステージ１００２によってシフトされて、シフト画像１００４が生成される。アップサンプリングサブフレーム９０４のＦＦＴを求めると、結果は、画像（ＬU）１００６になる。シフト画像１００４のＦＦＴを求めると、結果は、画像（ＬUＳ）１００８になる。画像（ＬUＳ）１００８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（ＬＳ1）１０１０Ａと、画像部分（ＬＳ2）１０１０Ｂと、画像部分（ＬＳ3）１０１０Ｃと、画像部分（ＬＳ4）１０１０Ｄとである。図１３に示すように、画像１００８は、複素指数Ｗと乗算された画像１００６と同じである（すなわち、ＬUＳ＝Ｗ・ＬUである)。ここで、「・」は、点別乗算（pointwise multiplication）を示す。複素指数Ｗの値は、以下の方程式ＸＶによって与えられる。
【００８６】
<方程式ＸＶ>
【００８７】
【数８】
2007532950.tif 000010
【００８８】
上記方程式において、
ｋ1は、ＦＦＴ領域における行の座標である。
ｋ2は、ＦＦＴ領域における列の座標である。
Ｍは、画像の列数である。
Ｎは、画像の行数である。
【００８９】
図８に示すシステム５００は、以下の方程式ＸＶＩによる誤差コスト関数によって数学的に表すことができる。
【００９０】
<方程式ＸＶＩ>
【００９１】
【数９】
2007532950.tif 000011
【００９２】
上記方程式において、
（Ｌ*A，Ｌ*B）は、それぞれ、図８に示すサブフレーム３０Ｆ及び３０Ｇの最適なＦＦＴを表すベクトルである。
Ｊは、最小化されるべき誤差コスト関数である。
ｉは、平均されるＦＦＴブロックを特定するインデックスである（たとえば、図１２の画像９０８の場合、ｉ＝１がブロック９１０Ａに対応し、ｉ＝２がブロック９１０Ｂに対応し、ｉ＝３がブロック９１０Ｃに対応し、ｉ＝４がブロック９１０Ｄに対応する４つのブロックが平均される）。
Ｆは、補間フィルタｆのＦＦＴを表す行列である。
ＬAは、図８に示すサブフレーム３０ＦのＦＦＴを表すベクトルである。
ＬBは、図８に示すサブフレーム３０ＧのＦＦＴを表すベクトルである。
Ｗは、方程式ＸＶによって与えられる複素係数のＦＦＴを表す行列である。
Ｈは、所望の高解像度画像２８のＦＦＴを表すベクトルである。
【００９３】
方程式ＸＶＩの上付き文字「Ｈ」は、エルミートを表す（すなわち、ＸHは、Ｘのエルミートである）。方程式ＸＶＩの文字の上にある「ハット」は、以下の方程式ＸＶＩＩで定義されるように、それらの文字が対角行列を表すことを示している。
【００９４】
<方程式ＸＶＩＩ>
【００９５】
【数１０】
2007532950.tif 000012
【００９６】
ＬAの複素共役について方程式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の方程式ＸＶＩＩＩとなる。
【００９７】
<方程式ＸＶＩＩＩ>
【００９８】
【数１１】
2007532950.tif 000013
【００９９】
ＬBの複素共役について方程式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の方程式ＸＩＸとなる。
【０１００】
<方程式ＸＩＸ>
【０１０１】
【数１２】
2007532950.tif 000014
【０１０２】
方程式ＸＶＩＩＩ及びＸＩＸの文字の上にある水平バーは、それらの文字が、複素共役を表すことを示している（すなわち、
【０１０３】
【数１３】
2007532950.tif 000015
【０１０４】
は、Ａの複素共役を表す）。
【０１０５】
方程式ＸＶＩＩＩ及びＸＩＸをＬA及びＬBについて解くと、結果は、以下の方程式ＸＸ及びＸＸＩとなる。
【０１０６】
<方程式ＸＸ>
【０１０７】
【数１４】
2007532950.tif 000016
【０１０８】
<方程式ＸＸＩ>
【０１０９】
【数１５】
2007532950.tif 000017
【０１１０】
方程式ＸＸ及びＸＸＩは、擬似逆フィルタリング（pseudo-inverse filtering）を使用して周波数領域において実現することができる。一実施形態では、サブフレーム生成ユニット３６が、方程式ＸＸ及びＸＸＩに基づいてサブフレーム３０を生成するように構成される。
【０１１１】
ＶＩＩＩ．適応型マルチパス
一実施形態による、サブフレーム３０を生成する適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。一実施形態による適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の方程式ＸＸＩＩによる誤差コスト関数によって数学的に表すことができる。
【０１１２】
<方程式ＸＸＩＩ>
【０１１３】
【数１６】
2007532950.tif 000018
【０１１４】
上記方程式において、
ｎは、現時点の反復を特定するインデックスである。
Ｊ(n)（ｎ）は、反復ｎにおける誤差コスト関数である。
ｅ(n)（ｎ）は、誤差コスト関数Ｊ(n)（ｎ）の平方根である。
ｎ及びｋは、画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌQ(n)（ｋ）は、位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）は、位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）は、位置ｎにおける所望の高解像度画像２８の画像データである。
【０１１５】
方程式ＸＸＩＩから分かるように、上記方程式ＩＸに示すように、高解像度画像全体にわたって総和を求めることにより空間領域の大域誤差を最小化するのではなく、ｎの関数である空間領域の局所誤差が最小化されている。
【０１１６】
一実施形態では、平均最小２乗（ＬＭＳ）アルゴリズムを使用して、更新が求められる。この更新は、以下の方程式ＸＸＩＩＩによって表される。
【０１１７】
<方程式ＸＸＩＩＩ>
【０１１８】
【数１７】
2007532950.tif 000019
【０１１９】
上記方程式において、
Θは、５点形格子点（すなわち、図９のアップサンプリング画像６０４の黒のピクセル）の集合である。
αは、鮮鋭化係数（sharpening factor）である。
【０１２０】
方程式ＸＸＩＩの導関数を求めると、方程式ＸＸＩＩＩにおけるこの導関数の値が提供される。この方程式ＸＸＩＩの導関数は、以下の方程式ＸＸＩＶによって与えられる。
【０１２１】
<方程式ＸＸＩＶ>
【０１２２】
【数１８】
2007532950.tif 000020
【０１２３】
一実施形態では、以下の方程式ＸＸＶによって表されるように、「影響領域（region of influence）」にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して、更新が実行される。
【０１２４】
<方程式ＸＸＶ>
【０１２５】
【数１９】
2007532950.tif 000021
【０１２６】
上記方程式において、Ωは、影響領域である。
【０１２７】
図１４は、本発明の一実施形態によるアップサンプリング画像１１００のピクセルの影響領域（Ω）１１０６及び１１０８を示す図である。画像１１００のピクセル１１０２は、第１のサブフレームのピクセルに対応し、画像１１００のピクセル１１０４は、第２のサブフレームのピクセルに対応する。領域１１０６は、ピクセル１１０２の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０２を有する。同様に、領域１１０８は、ピクセル１１０４の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０４を有する。
【０１２８】
図１５は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像１２０８の生成を示す図である。元の高解像度画像２８に基づいて、初期の１組の低解像度サブフレーム３０Ｋ−１及び３０Ｌ−１が生成される。この図示した実施形態では、この初期の１組のサブフレーム３０Ｋ−１及び３０Ｌ−１は、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成される。サブフレーム３０Ｋ−１及び３０Ｌ−１は、アップサンプリングされて、アップサンプリング画像１２０２が生成される。このアップサンプリング画像１２０２は、補間フィルタ１２０４との畳み込み演算を受け、それによって、ブロック画像が生成される。次いで、このブロック画像は、０．５倍にされて、擬似高解像度画像１２０８が生成される。この図示した実施形態では、補間フィルタ１２０４は、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の各ピクセル上に配置されて、そのピクセル位置のブロック値（blocked value）が求められる。図１５に示すように、補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の第３行第４列のピクセルの上に配置され、このピクセルは、「０」の値を有する。そのピクセル位置のブロック値は、フィルタ係数をフィルタ１２０４のウィンドウ内のピクセル値と乗算して、その結果を加算することにより求められる。フレーム外の値は、「０」とみなされる。図示した実施形態の場合、画像１２０２の第３行第４列のピクセルのブロック値は、以下の方程式ＸＸＶＩによって与えられる。
【０１２９】
<方程式ＸＸＶＩ>
（１×０）＋（１×５）＋（１×５）＋（１×０）＝１０
【０１３０】
次いで、方程式ＸＸＶＩの値は、０．５倍にされて、その結果（すなわち５）が、初期擬似高解像度画像１２０８の第３行第４列のピクセル１２１０のピクセル値とされる。
【０１３１】
初期擬似高解像度画像１２０８が生成された後、補正データが生成される。図１６は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。図１６に示すように、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。この誤差画像１３０２の２×２ブロックのピクセルを平均することにより、補正サブフレーム１３１２及び１３１４が生成される。たとえば、誤差画像１３０２の第１列第１行のピクセル１３０８は、影響領域１３０４を有する。この影響領域１３０４内のピクセル値が平均されて、第１の補正値（すなわち０．７５）が生成される。この第１の補正値は、補正サブフレーム１３１２の第１列第１行のピクセルとして使用される。同様に、誤差画像１３０２の第２列第２行のピクセル１３１０は、影響領域１３０６を有する。この影響領域１３０６内のピクセル値が平均されて、第２の補正値（すなわち０．７５）が生成される。この第２の補正値は、補正サブフレーム１３１４の第１列第１行のピクセルとして使用される。
【０１３２】
補正サブフレーム１３１２の第１行第２列の補正値（すなわち１．３８）は、基本的には、図示した影響領域のボックス１３０４を右へ２列スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第１列の補正値（すなわち０．５０）は、基本的には、図示した影響領域のボックス１３０４を下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第２列の補正値（すなわち０．７５）は、基本的には、図示した影響領域のボックス１３０４を右へ２列、下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。
【０１３３】
補正サブフレーム１３１４の第１行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。フレーム外の値は、「０」とみなされる。補正サブフレーム１３１４の第２行第１列の補正値（すなわち０．３８）は、基本的には、図示した影響領域のボックス１３０６を下へ２行スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。補正サブフレーム１３１４の第２行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列、下へ２行スライドさせて、ボックス１３０６内の４つのピクセルを平均することにより生成される。
【０１３４】
補正サブフレーム１３１２及び１３１４を使用して、更新サブフレームが生成される。図１７は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレーム３０Ｋ−２及び３０Ｌ−２の生成を示す図である。図１７に示すように、更新サブフレーム３０Ｋ−２は、補正サブフレーム１３１２を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｋ−１を加算することにより生成される。更新サブフレーム３０Ｌ−２は、補正サブフレーム１３１４を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｌ−１を加算することにより生成される。この図示した実施形態では、鮮鋭化係数αは、０．８に等しい。
【０１３５】
一実施形態では、更新サブフレーム３０Ｋ−２及び３０Ｌ−２は、適応型マルチパスアルゴリズムの次の反復に使用されて、さらなる更新サブフレームが生成される。任意の所望の反復回数を実行することができる。いくつかの反復の後、適応型マルチパスアルゴリズムを使用して生成されたサブフレームの値は、最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６が、適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１３６】
図１５〜図１７を参照して上述した適応型マルチパスアルゴリズムの実施形態は、２位置処理用のものである。４位置処理の場合、方程式ＸＸＩＶは、以下の方程式ＸＸＶＩＩとなる。
【０１３７】
<方程式ＸＸＶＩＩ>
【０１３８】
【数２０】
2007532950.tif 000022
【０１３９】
上記方程式において、ｌ(n)は、４つのサブフレーム３０の低解像度データである。
【０１４０】
そして、方程式ＸＸＩＩＩは、以下の方程式ＸＸＶＩＩＩとなる。
【０１４１】
<方程式ＸＸＶＩＩＩ>
【０１４２】
【数２１】
2007532950.tif 000023
【０１４３】
４位置処理の場合、４つのサブフレームが存在する。したがって、低解像度データの量は、高解像度データの量と同じである。それぞれの高解像度グリッド点は、１つの誤差を与え、上記方程式ＸＸＶに表すような平均勾配の更新を行う必要はない。反対に、所与の位置の誤差が、更新を直接与える。
【０１４４】
上述したように、一実施形態では、適応型マルチパスアルゴリズムは、平均最小２乗（ＬＭＳ）技法を使用して、補正データを生成する。別の実施形態では、適応型マルチパスアルゴリズムは、凸射影（ＰＯＣＳ（projection on a convex set））技法を使用して、補正データを生成する。一実施形態によるＰＯＣＳ技法に基づく適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の方程式ＸＸＩＸによる誤差コスト関数により数学的に表すことができる。
【０１４５】
<方程式ＸＸＩＸ>
【０１４６】
【数２２】
2007532950.tif 000024
【０１４７】
上記方程式において、
ｅ（ｎ）は、誤差コスト関数である。
ｎ及びｋは、高解像度ピクセルの位置を特定するインデックスである。
ｌQ（ｋ）は、位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）は、位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）は、位置ｎにおける所望の高解像度画像２８の画像データである。
【０１４８】
ＰＯＣＳ技法の制約集合（constrained set）は、以下の方程式ＸＸＸにより定義される。
【０１４９】
<方程式ＸＸＸ>
【０１５０】
【数２３】
2007532950.tif 000025
【０１５１】
上記方程式において、
Ｃ（ｎ）は、パラメータηによって境界が定められるアップサンプリング画像６０４からのすべてのサブフレームデータを含む制約集合である。
ηは、誤差の大きさの境界制約である。
【０１５２】
現時点の反復のサブフレームピクセル値は、以下の方程式ＸＸＸＩに基づいて求められる。
【０１５３】
<方程式ＸＸＸＩ>
【０１５４】
【数２４】
2007532950.tif 000026
【０１５５】
上記方程式において、
ｎは、現時点の反復を特定するインデックスである。
λは、緩和パラメータである。
‖ｆ‖は、補間フィルタの係数のノルムである。
【０１５６】
方程式ＸＸＸＩのシンボルｎ*は、誤差が最大である影響領域Ωの位置を表し、以下の方程式ＸＸＸＩＩによって定義される。
【０１５７】
<方程式ＸＸＸＩＩ>
【０１５８】
【数２５】
2007532950.tif 000027
【０１５９】
図１８は、本発明の一実施形態によるＰＯＣＳ技法を使用した適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。一実施形態では、初期擬似高解像度画像１２０８が、図１５を参照して上述したものと同じ方法で生成され、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。次いで、上記方程式ＸＸＸＩが使用されて、誤差画像１３０２のデータから更新サブフレーム３０Ｋ−３及び３０Ｌ−３が生成される。図示した実施形態の場合、方程式ＸＸＸＩの緩和パラメータλは０．５に等しく、誤差の大きさの境界制約ηは１に等しいと仮定される。
【０１６０】
ＰＯＣＳ技法によると、図１６を参照して上述したように、影響領域内のピクセル値を平均して補正値を求めるのではなく、影響領域内の最大誤差ｅ（ｎ*）が特定される。次いで、更新ピクセル値が、方程式ＸＸＸＩからの適切な式を使用して生成される。この適切な式は、影響領域内の最大誤差ｅ（ｎ*）が、（この例ではη＝１であるので）１よりも大きいか、１よりも小さいか、又は１に等しいかによって決まる。
【０１６１】
たとえば、誤差画像１３０２の第１列第１行のピクセルは、影響領域１３０４を有する。この影響領域１３０４内における最大誤差は、１である（すなわち、ｅ（ｎ*）＝１）。方程式ＸＸＸＩを参照すると、ｅ（ｎ*）＝１の場合には、更新ピクセル値は、このピクセルの前の値に等しい。図１５を参照すると、サブフレーム３０Ｋ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルは、更新サブフレーム３０Ｋ−３において２の値を維持する。誤差画像１３０２の第２列第２行のピクセルは、影響領域１３０６を有する。この影響領域１３０６内における最大誤差は、１．５である（すなわち、ｅ（ｎ*）＝１．５）。方程式ＸＸＸＩを参照すると、ｅ（ｎ*）＞１の場合には、更新ピクセル値は、このピクセルの前の値の２分の１に、量（ｅ（ｎ*）−１）の２分の１を加算したものに等しく、１．２５と等しい。図１５を参照すると、サブフレーム３０Ｌ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルの更新値は、更新サブフレーム３０Ｌ−３において１．２５となる。
【０１６２】
影響領域のボックス１３０２及び１３０４は、基本的には、図１６を参照して上述したものと同じ方法で誤差画像１３０２内を移動して回り、方程式ＸＸＸＩに基づいて、更新サブフレーム３０Ｋ−３及び３０Ｌ−３の残りの更新値を生成する。
【０１６３】
ＩＸ．中心適応型マルチパス
一実施形態による、サブフレーム３０を生成する中心適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更したものである。中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０それぞれの中の各ピクセルが、元の高解像度画像２８内のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６によって表示される。
【０１６４】
図１９Ａ〜図１９Ｅは、本発明の一実施形態による元の高解像度画像２８に関する４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを表示したものを示す概略図である。図１９Ａに示すように、画像２８は８×８ピクセルを含み、ピクセル１４０４に例示のために陰影が付けてある。
【０１６５】
図１９Ｂは画像２８に関する第１のサブフレーム１４１２Ａを示す。サブフレーム１４１２Ａは、画像２８の第１のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４１２Ａ内のピクセル１４１４は画像２８からのピクセル１４０４に対してセンタリングされる。
【０１６６】
図１９Ｃは画像２８に関する第２のサブフレーム１４２２Ａを示す。サブフレーム１４２２Ａは画像２８内の第２のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４２２Ａ内のピクセルは画像２８からのピクセル１４０４の右側にあるピクセルに対してセンタリングされる。サブフレーム１４２２Ａ内の２つのピクセル１４２４及び１４２６は、画像２８からのピクセル１４０４に重なる。
【０１６７】
図１９Ｄは、画像２８に関する第３のサブフレーム１４３２Ａを示す。サブフレーム１４３２Ａは画像２８内の第３のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４３２Ａ内のピクセルは画像２８からのピクセル１４０４の下にあるピクセルに対してセンタリングされる。サブフレーム１４３２Ａ内のピクセル１４３４及び１４３６は、画像２８からのピクセル１４０４に重なる。
【０１６８】
図１９Ｅは画像２８に関する第４のサブフレーム１４４２Ａを示す。サブフレーム１４４２Ａは画像２８内の第４のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４４２Ａ内のピクセルは、画像２８からのピクセル１４０４の対角線上右下にあるピクセルに対してセンタリングされる。サブフレーム１４４２Ａ内のピクセル１４４４、１４４６、１４４８、及び１４５０は、画像２８からのピクセル１４０４に重なる。
【０１６９】
４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａが表示されると、９つのサブフレームピクセルが結合して、元の高解像度画像２８からの各ピクセルの表示表現を形成する。たとえば、９つのサブフレームピクセル：サブフレーム１４１２Ａからのピクセル１４１４、サブフレーム１４２２Ａからのピクセル１４２４及び１４２６、サブフレーム１４３２Ａからのピクセル１４３４及び１４３６、並びにサブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０が結合して、元の高解像度画像２８からのピクセル１４０４の表示表現を形成する。しかし、これら９つのサブフレームピクセルがピクセル１４０４の表示表現に対して与える光量は異なる。特に、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、図１９Ｃ及び図１９Ｄにピクセル１４０４に重なるピクセル１４２４、１４２６、１４３４、及び１４３６の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与える。同様に、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０は、図１９Ｃ及び図１９Ｄにおけるピクセル１４０４に重なるピクセル１４４４、１４４６、１４４８、及び１４５０の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光をそれぞれ与える。
【０１７０】
サブフレーム生成ユニット３６は、４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを高解像度画像２８から生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成することができる。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは他のアルゴリズムを使用して生成することができる。誤差処理のためにサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２０にサブフレーム３０Ｍとして示すアップサンプリング画像を生成する。
【０１７１】
図２０は、本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用してサブフレーム３０Ｍに基づいて４位置処理用の擬似高解像度画像１５０４を生成するシステム１５００を示すブロック図である。図２０に示す実施形態では、サブフレーム３０Ｍは８×８配列のピクセルである。サブフレーム３０Ｍは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、そして、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。
【０１７２】
サブフレーム３０Ｍは、畳み込み演算ステージ１５０２において補間フィルタとの畳み込み演算を受け、それによって、擬似高解像度画像１５０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、そして、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。
【０１７３】
フィルタ係数は、９つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を表す。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与え、また、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値はそれぞれ、サブフレーム画像３０Ｍ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルに対応する。したがって、擬似画像１５０４のピクセルＡ６SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｍ内の値から方程式ＸＸＸＩＩＩにおいて以下のように計算される。
【０１７４】
＜方程式ＸＸＸＩＩＩ＞
Ａ６SIM＝（（１×Ｄ１）＋（２×Ｃ２）＋（１×Ｄ２）＋（２×Ｂ５）＋（４×Ａ６）＋（２×Ｂ６）＋（１×Ｄ５）＋（２×Ｃ６）＋（１×Ｄ６））／１６
【０１７５】
画像データを１６で割り、９つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。
【０１７６】
擬似高解像度画像１５０４の生成後、補正データが生成される。図２１は、本発明の一実施形態によるシステム１５２０において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１５２２において、高解像度画像２８から擬似高解像度画像１５０４がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、誤差フィルタ１５２６によってフィルタリングされて誤差画像１５３０が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。フィルタ係数は、低解像度サブフレームピクセルと高解像度画像２８の９つのピクセルとの相対差を表す。図１９Ｂに示すように、低解像度サブフレームピクセル１４１４の誤差画像１５３０の誤差値は、高解像度画像２８のピクセル１４０４及びピクセル１４０４に直に隣接する８つの高解像度ピクセルに対して測定される。上記フィルタ係数の場合、ピクセル１４０４の上下左右の高解像度ピクセルは、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の角に隣接する高解像度ピクセルの２倍に加重される。同様に、ピクセル１４０４は、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の上下左右の４つの高解像度ピクセルの２倍に加重される。
【０１７７】
初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）が、誤差画像１５３０から生成される。４つの更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをそれぞれ加算することによって生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０１７８】
一実施形態では、更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂを中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１７９】
上述した中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のベキ乗になるように選択された。２のベキ乗を使用することにより、デジタルシステムでの処理が早められる。中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。
【０１８０】
他の実施形態では、今述べた中心適応型マルチパスアルゴリズムは、２位置処理で２つのサブフレームを生成するように変更してもよい。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６により表示される。２位置処理の場合、画像３０Ｍ（図２０に示す）内のピクセルＢ１〜Ｂ１６及びＣ１〜Ｃ１６はゼロであり、補間フィルタは、第１行の値が「１／８」、「２／８」、「１／８」であり、第２行の値が「２／８」、「４／８」、「２／８」であり、そして、第３行の値が「１／８」、「２／８」、「１／８」である３×３配列を含む。２位置処理の誤差フィルタは、４位置処理の誤差フィルタと同じである。
【０１８１】
他の実施形態では、中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０１８２】
Ｘ．簡易中心適応型マルチパス
一実施形態によるサブフレーム３０を生成するための簡易中心適応型マルチパスアルゴリズムは、過去の誤差を用いてサブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。簡易中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更する。簡易中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０のそれぞれの各ピクセルが、図１９Ａ〜図１９Ｅを参照して上述したように元の高解像度画像２８のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように４位置処理を用いて表示デバイス２６により表示される。
【０１８３】
図１９Ａ〜図１９Ｅを参照すると、サブフレーム生成ユニット３６は、高解像度画像２８から４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成されてもよい。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、他のアルゴリズムを使用して生成されてもよい。誤差処理のために、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２２中にサブフレーム３０Ｍとして示すアップサンプリング画像を生成する。
【０１８４】
図２２は、本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、サブフレーム３０Ｎに基づいて４位置処理用の擬似高解像度画像１６０４を生成するシステム１６００を示すブロック図である。図２２に示す実施形態では、サブフレーム３０Ｎは８×８配列のピクセルである。サブフレーム３０Ｎは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、そして、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。
【０１８５】
サブフレーム３０Ｎは、畳み込み演算ステージ１６０２において補間フィルタとの畳み込み演算を受け、それによって、擬似高解像度画像１６０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「０」、「１／８」、「０」であり、第２行のフィルタ係数は「１／８」、「４／８」、「１／８」であり、そして、最後の行のフィルタ係数は「０」、「１／８」、「０」である。
【０１８６】
フィルタ係数は、５つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を近似する。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６は、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光をそれぞれ与え、そして、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０は、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光をそれぞれ与える。簡易中心適応型マルチパスアルゴリズムを使用する場合、「角ピクセル」と呼ぶピクセル１４４４、１４４６、１４４８、及び１４５０からの寄与分は、角ピクセルに関連するフィルタ係数が０であることで示されるようにピクセル１４１４のピクセル値を計算するに当たって無視される。
【０１８７】
サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値は、サブフレーム画像３０Ｎ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルにそれぞれ対応する。したがって、擬似画像１５０４のピクセルＡ６SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｎ内の値から方程式ＸＸＸＩＶにおいて以下のように計算される。
【０１８８】
＜方程式ＸＸＸＩＶ＞
Ａ６SIM＝（（０×Ｄ１）＋（１×Ｃ２）＋（０×Ｄ２）＋（１×Ｂ５）＋（４×Ａ６）＋（１×Ｂ６）＋（０×Ｄ５）＋（１×Ｃ６）＋（０×Ｄ６））／８
【０１８９】
方程式ＸＸＸＩＶを簡易化すると方程式ＸＸＸＶになる。
【０１９０】
＜方程式ＸＸＸＶ＞
Ａ６SIM＝（Ｃ２＋Ｂ５＋（４×Ａ６）＋Ｂ６＋Ｃ６）／８
【０１９１】
画像データを８で割り、５つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。
【０１９２】
擬似高解像度画像１６０４の生成後、補正データが生成される。図２３は、本発明の一実施形態によるシステム１７００において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１７０２において、高解像度画像２８から擬似高解像度画像１６０４がピクセルごとに減算されて、誤差画像１７０４を生成する。
【０１９３】
初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）は、誤差画像１７０４から生成される。４つの更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれを加算することによって生成される。鮮鋭化係数αは、簡易中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、そして、３回目の反復では「０．５」であってもよい。
【０１９４】
一実施形態では、更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄを簡易中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、簡易中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１９５】
上述した簡易中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のベキ乗になるように選択された。２のベキ乗を使用することにより、デジタルシステムでの処理が早められる。簡易中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。
【０１９６】
他の実施形態では、簡易中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０１９７】
ＸＩ  履歴使用の適応型マルチパス
一実施形態によるサブフレーム３０を生成する履歴使用の適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。履歴使用の適応型マルチパスアルゴリズムは、履歴値を使用してアルゴリズムのワンパスでサブフレームを生成することによって上述した４位置適応型マルチパスアルゴリズムを変更する。４つのサブフレームを、図３Ａ〜図４Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示する。
【０１９８】
適応型マルチパスアルゴリズムを実現するための少なくとも２つの方法を使用することができる。第１に、適応型マルチパスアルゴリズムを、適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、及び簡易中心適応型マルチパスアルゴリズムについて上述したように複数回反復して行うことができる。複数回の反復に伴い、（１）初期サブフレームが生成され、（２）擬似画像が生成され、（３）簡易画像を元の画像と比較することによって補正データが計算され、（４）補正データを使用して更新サブフレームが生成される。次いで、ステップ（２）〜（４）がそれぞれの反復ごとに繰り返される。
【０１９９】
適応型マルチパスアルゴリズムは、各最終サブフレームピクセル値の影響領域を使用してワンパスで各最終サブフレームピクセル値を計算することによって実現することもできる。この方法では、影響領域のサイズは、図２４Ａ〜図２４Ｃに示すように行われる反復回数に対応する。後述するように、影響領域は図２７及び図３１に示すように簡易化することができる。
【０２００】
図２４Ａ〜図２４Ｃは、適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセル１８０２の影響領域を示すブロック図である。図２４Ａは、適応型マルチパスアルゴリズムを１回反復した場合の画像１８００のピクセル１８０２の影響領域１８０４を示す。図２４Ａに示すように、影響領域１８０４は４×４配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０４の中心にある。影響領域１８０４は、適応型マルチパスアルゴリズムの１回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。
【０２０１】
適応型マルチパスアルゴリズムを２回反復する場合、影響領域１８０６は６×６配列に広がり、図２４Ｂに示すようにピクセル１８０２が影響領域１８０６の中心にある。ピクセル１８０２の影響領域１８０６は６×６配列のピクセルを含み、適応型マルチパスアルゴリズムの２回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。
【０２０２】
図２４Ｃに示すように、影響領域１８０８は適応型マルチパスアルゴリズムを３回反復する場合、８×８配列にさらに広がる。ピクセル１８０２の影響領域１８０８は８×８配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０８の中心にあり、適応型マルチパスアルゴリズムの３回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。特に、影響領域１８０８は画像１８００の８行を含む。
【０２０３】
影響領域のサイズは、ｎ回の反復の場合、影響領域が（２ｎ＋２）×（２ｎ＋２）配列を含むことに留意することによって生成することができる。
【０２０４】
適応型マルチパスアルゴリズムを実現するためのワンパス方法では、各最終サブフレームピクセル値は、最終サブフレームピクセル値に対応するピクセル値に対して影響領域をシフトすることによって計算される。図２５は、適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル１９０２の影響領域１９０４を示すブロック図である。図２５中、ピクセル１９０２に対応する最終サブフレームピクセル値は、影響領域１９０４が含むピクセル値を使用して計算される。ピクセル１９０６に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域１９０４を右に１ピクセル分（図示せず）にシフトさせる。同様に、矢印１９１２で示すように影響領域１９０４を下に１ピクセル分（図示せず）シフトさせて、ピクセル１９１０に対応する最終サブフレームピクセル値を計算する。
【０２０５】
一実施形態では、画像１９００の最終サブフレームピクセル値は、値が行ごとに左から右、上から下に計算されて最下行で終わるラスタパターンで計算することができる。他の実施形態では、最終サブフレームピクセル値は他のパターン又は他の順序に従って計算することができる。
【０２０６】
図２６は、最終サブフレームピクセル値がラスタパターンで計算される適応マルチパルスアルゴリズムを３回反復する場合のピクセル２００２の影響領域２００４内の計算済み履歴値を示すブロック図である。影響領域２００４内の陰影付きピクセルは、履歴値、すなわちピクセル２００２の最終サブフレームピクセル値を計算する前に計算される最終サブフレームピクセル値を含む。ラスタパターンを使用する場合、最終サブフレームピクセル値は、ピクセル２００２より上の各行ごとに、またピクセル２００２と同じ行でピクセル２００２の左側にある各ピクセルについて計算される。
【０２０７】
履歴値を使用し、初期値の最後の行を無視することにより、ピクセル２００２の図２６に示す影響領域２００４を簡易化することができる。図２７は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の適応型マルチパスアルゴリズムを３回反復する場合のピクセル２００２の簡易影響領域２００６内の計算済み履歴値を示すブロック図である。簡易影響領域２００６は５行、すなわち、履歴値に１行２００８と、履歴値及び初期値の両方に１行２０１０と、初期値に３行２０１２とを含む。簡易影響領域２００６は、影響領域２００４からの最初の２行の履歴値及び最後の１行の初期値を含まない。
【０２０８】
初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、または、列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。
【０２０９】
まず、影響領域２００６の列２０１６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は、各ピクセル値を他の３つのピクセル値と平均することによって計算される。他の実施形態では他のアルゴリズムを使用してもよい。次に、列２０１６中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「１／４」、「１／４」、及び「０」であり、第２行の値は「１／４」、「１／４」、及び「０」であり、第３行の値は「０」、「０」、及び「０」である。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０１６中の各ピクセルについて生成される。
【０２１０】
列２０１６の誤差値を計算した後、列２０１８中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０１８中の各ピクセルについて生成される。列２０１８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「０」、「０」、及び「０」であり、第２行の値は「０」、「１／４」、及び「１／４」であり、第３行の値は「０」、「１／４」、及び「１／４」である。列２０１８中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。
【０２１１】
列２０１８の適応ピクセル値を計算した後、列２０２０中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０２０中の各ピクセルについて生成される。列２０２０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。
【０２１２】
列２０２０の適応ピクセル値を計算した後、列２０２２中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０２２中の各ピクセルについて生成される。列２０２２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２１３】
ピクセル２００２に対応する最終サブフレームピクセル値は、上記アルゴリズムによって生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２１４】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２１５】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であってもよく、列２０２０の適応ピクセル値を計算する場合には「１．８」であってもよく、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２１６】
上記アルゴリズムについて適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び／又は各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２１７】
図２８は、最終サブフレームピクセル値がラスタパターンで計算される、履歴使用の適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル２００２の簡易影響領域２００６を示すブロック図である。図２８では、ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２００６に含まれるピクセル値を使用して計算される。ピクセル２０２８に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域２００６を右に１ピクセル分（図示せず）シフトさせる。同様に、矢印１９１２で示すように影響領域２００６を下に１ピクセル分（図示せず）シフトさせて、ピクセル２０３０に対応する最終サブフレームピクセル値を計算する。
【０２１８】
図２９は、一実施形態によるサブフレーム生成ユニット３６の部分を示すブロック図である。この実施形態では、サブフレーム生成ユニット３６は、プロセッサ２１００と、メインメモリ２１０２と、コントローラ２１０４と、メモリ２１０６とを含む。コントローラ２１０４は、プロセッサ２１００と、メインメモリ２１０２と、メモリ２１０６とに結合される。メモリ２１０６は、元の画像２８及びサブフレーム画像３０Ｐを含む比較的大きなメモリを含む。メインメモリ２１０２は、サブフレーム生成モジュール２１１０と一時変数２１１２と元の画像２８からの元の画像行２８Ａとサブフレーム画像３０Ｐからのサブフレーム画像行３０Ｐ−１とを含む比較的高速のメモリを含む。
【０２１９】
プロセッサ２１００は、コントローラ２１０４を使用してメインメモリ２１０２及びメモリ２１０６からの命令及びデータにアクセスする。プロセッサ２１００は、コントローラ２１０４を使用して命令を実行し、データをメインメモリ２１０２及びメモリ２１０６に記憶する。
【０２２０】
サブフレーム生成モジュール２１１０は、プロセッサ２１００により実行可能であり、履歴使用の適応型マルチパスアルゴリズムを実現するための命令を含む。プロセッサ２１００により実行されていることに応答して、サブフレーム生成モジュール２１１０は、元の画像行２８Ａ及びサブフレーム画像行３０Ｐ−１の組をメインメモリ２１０２にコピーさせる。サブフレーム生成モジュール２１１０は、履歴使用の適応型マルチパスアルゴリズムに従って元の画像行２８Ａ及びサブフレーム画像行３０Ｐ−１内のピクセル値を使用して、各行ごとに最終サブフレームピクセル値を生成させる。最終サブフレームピクセル値を生成するに当たり、サブフレーム生成モジュール２１１０は、値を一時変数２１１２として一時的に記憶させる。サブフレーム画像行の最終サブフレームピクセル値を生成した後、サブフレーム生成モジュール２１１０はその行をサブフレーム画像３０Ｐとして記憶させ、次の行のピクセル値を元の画像２８から読み出させて元の画像行２８Ａに記憶させる。
【０２２１】
サブフレーム生成モジュール２１１０が履歴使用の適応型マルチパスアルゴリズムの３回の反復を実現する一実施形態では、元の画像行２８Ａは元の画像２８からの４行を含む。他の実施形態では、元の画像行２８Ａは元の画像２８からの他の行数分の行を含む。
【０２２２】
一実施形態では、サブフレーム生成ユニット３６は、サブフレーム画像３０Ｐから４つのサブフレームを生成する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６に表示される。
【０２２３】
他の実施形態では、サブフレーム生成ユニット３６は、図２９に示す構成要素の機能を集積回路に組み込んだ特定用途向け集積回路（ＡＳＩＣ）を含む。このような実施形態では、メインメモリ２１０２をＡＳＩＣに含んでもよく、メモリ２１０６をＡＳＩＣ内に含んでもよく、または、ＡＳＩＣ外にあってもよい。ＡＳＩＣは、ハードウェア構成要素とソフトウェア構成要素又はファームウェア構成要素との任意の組み合わせを含みうる。
【０２２４】
他の実施形態では、履歴使用の適応型マルチパスアルゴリズムを使用して、２位置処理の場合に２つのサブフレームを生成することができる。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６で表示される。２位置処理の場合、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／２」、「１／２」、「０」であり、第２行の値は「１／２」、「１／２」、「０」であり、第３行の値は「０」、「０」、「０」である。
【０２２５】
ＸＩＩ．履歴使用の簡易中心適応型マルチパスアルゴリズム
一実施形態によりサブフレーム３０を生成するための履歴使用の簡易中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低メモリ必要量を提供する。履歴使用の簡易中心適応型マルチパスアルゴリズムは、アルゴリズムのワンパスで４つのサブフレームを生成する際にシミュレーションカーネル内の値を変更し、誤差カーネルを省くことによって履歴使用の適応型マルチパスアルゴリズムを変更する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように４位置処理を使用して表示デバイス２６で表示される。
【０２２６】
図２７を参照すると、初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、又は列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。履歴使用の簡易中心適応型マルチパスアルゴリズムは以下のように実現することができる。
【０２２７】
第１に、列２０１６中のピクセルの初期ピクセル値が計算される。初期ピクセル値は、最近傍アルゴリズム又は他の任意の適したアルゴリズムを使用して計算してもよい。
【０２２８】
列２０１６の初期ピクセル値を計算した後、列２０１８中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「０」、「１／８」、及び「０」であり、第２行の値は「１／８」、「４／８」、及び「１／８」であり、第３行の値は「０」、「１／８」、及び「０」である。列２０１８中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。列２０１８中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２２９】
列２０１８の擬似値を計算した後、列２０２０中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。列２０２０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２３０】
列２０２０の擬似値を計算した後、列２０２２中の擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２２中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。
【０２３１】
ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２３２】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２３３】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の簡易中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であり、列２０２０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２３４】
上記アルゴリズムについて簡易中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の数の反復に適用することができる。
【０２３５】
サブフレーム生成ユニット３６の一実施形態では（図２９に示す）、サブフレーム生成モジュール２１１０が履歴使用の簡易中心適応型マルチパスアルゴリズムを実現する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の簡易中心適応型マルチパスアルゴリズムを実現するＡＳＩＣを含む。
【０２３６】
ＸＩＩＩ．履歴使用の中心適応型カーネル
一実施形態によるサブフレーム３０を生成するための履歴使用の中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームの評価を更新し、高速な収束及び低メモリ必要量を提供する。履歴使用の中心適応型マルチパスアルゴリズムはアルゴリズムのワンパスで２つのサブフレームを生成し、シミュレーションカーネル及び誤差カーネルを変更することによって履歴使用の適応型マルチパスアルゴリズムを変更する。履歴使用の中心適応型マルチパスアルゴリズムも、簡易影響領域に使用される履歴値行に関連する誤差値を生成し、これらの値を履歴値行と共に記憶する。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述した２位置処理を使用して表示デバイス２６に表示される。
【０２３７】
２位置処理の場合、図３０に示すように２つのサブフレームを絡み合わせて単一のサブフレーム画像２２００にすることができる。画像２２００内では、第１の種類の陰影付きで示されるピクセルセット２２０２は第１のサブフレームを含み、第２の種類の陰影付きで示されるピクセルセット２２０４は第２のサブフレームを含む。陰影の付いていない残りのピクセルセット２２０６は、使用されないサブフレームを表すゼロ値を含む。
【０２３８】
図３１は、最終サブフレームピクセル値がラスタパターンにより計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復する場合のピクセル２２１２の簡易影響領域２２１０内のピクセル２２０２とピクセル２２０４と履歴値２２２２（第３の種類の陰影付きで示される）と誤差値２２２４（第４の種類の陰影付きで示される）とを示すブロック図である。簡易影響領域２２１０は５行、すなわち、履歴値及び誤差値に１行２２１４と、履歴値及び初期値に１行２２１６と、初期値に３行２２１８とを含む。簡易影響領域２２１０は、行２２１４より上の２行の履歴値及び誤差値と、行２２１８よりも下の行の初期値とを含まない。
【０２３９】
誤差値２２２４は、式ＸＸＸＶＩを使用してそれぞれ計算される。
【０２４０】
〈方程式ＸＸＸＶＩ〉
誤差＝（（１×誤差左ヒ゜クセル）＋（２×誤差）＋（１×誤差右ヒ゜クセル））／４
誤差値２２２４は、ピクセル値よりも多くのビットを含み得る符号付きの値であるため、式ＸＸＸＶＩを使用して計算される誤差値２２２４は、図３１に示すように行２２１４に記憶される前にマッピング又はルックアップテーブルを用いて調整される。以下の疑似コードを使用して、一実施形態により誤差値２２２４をマッピングすることができる。
ｔｅｍｐ＝ｅｒｒｏｒ＿ｌｅｆｔ＋２*ｅｒｒｏｒ＋ｅｒｒｏｒ＿ｒｉｇｈｔ；／／１×  ２×  １×
ｔｅｍｐ＝ｔｅｍｐ／４；／／４で割る
ｉｆ（ｔｅｍｐ＜−１２７）ｔｅｍｐ＝−１２７；／／値のクリッピング
ｉｆ（ｔｅｍｐ＞１２７）ｔｅｍｐ＝１２７；／／値のクリッピング
ｔｅｍｐ＋＝１２７；／／シフトして非ゼロに
【０２４１】
初期履歴値２２２２は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。初期誤差値２２２４はゼロにセットしてもよい。行２２１６及び行２２１８中の初期値は最初にゼロにセットしてもよく、又は列２２２６からの計算済み初期値に等しくセットしてもよい。ピクセル２２１２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２２１０からの履歴値、誤差値、及び初期値を使用して計算することができる。
【０２４２】
第１に、影響領域２２１０の列２２２６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は最近傍アルゴリズムを使用して計算される。他のアルゴリズムを他の実施形態で使用してもよい。次に、列２２２６中のピクセルの擬似ピクセル値が、初期ピクセル値の、２つのシミュレーションカーネルのうちの一方との畳み込み演算によって計算される。第１のシミュレーションカーネルは、ピクセル２２１２が非ゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「１／８」、「０」、及び「１／８」であり、第２行の値は「０」、「４／８」、及び「０」であり、第３行の値は「１／８」、「０」、及び「１／８」である。第２のシミュレーションカーネルは、ピクセル２２１２がゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「０」、「２／８」、及び「０」であり、第２行の値は「２／８」、「０」、及び「２／８」であり、第３行の値は「０」、「２／８」、及び「０」である。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２２６中の各ピクセルについて生成される。
【０２４３】
列２２２６の誤差値を計算した後、列２２２８中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値は、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２２８中の各ピクセルごとに生成される。列２２２８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、及び「１／１６」であり、第２行の値は「２／１６」、「４／１６」、及び「２／１６」であり、第３行の値は「１／１６」、「２／１６」、及び「１／１６」である。列２２２８中のピクセルの適応ピクセル値は、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２４４】
列２２２８の適応ピクセル値を計算した後、列２２３０中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２３０中の各ピクセルについて生成される。列２２３０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２２３０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２４５】
列２２３０の適応ピクセル値を計算した後、列２２３２中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２３２中の各ピクセルについて生成される。列２２３２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２４６】
ピクセル２２１１に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値と、履歴値２２２２と、誤差値２２２４と、鮮鋭化係数αとを使用して計算される。
【０２４７】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２４８】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２２２８の適応ピクセル値を計算する場合には「３」であり、列２２３０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２２１２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２４９】
上記アルゴリズムについて中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の数の反復に適用することができる。
【０２５０】
図３２は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復した場合の画像２３００に対するピクセル２２１２の簡易影響領域２２１０を示すブロック図である。図３２では、ピクセル２２１２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２２１０が含むピクセル値を使用して計算される。ピクセル２３０２に対応する最終サブフレームピクセル値を計算するために、矢印２３０４で示すように影響領域２２１０を右に１ピクセル分（図示せず）シフトする。同様に、矢印２３０８で示すように影響領域２２１０を下に１ピクセル分（図示せず）シフトして、ピクセル２３０６に対応する最終サブフレームピクセル値を計算する。
【０２５１】
他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムを使用して、４位置処理で４つのサブフレームを生成することができる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示される。４位置処理の場合、シミュレーションカーネル及び誤差カーネルは３×３配列をそれぞれ含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」「１／１６」である。さらに、履歴値行とは別個の誤差行が上述したアルゴリズムにおいて使用される。
【０２５２】
他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムの誤差カーネルを省いてもよい。このような実施形態では、誤差値行は図３１に示すように記憶されず、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」、「１／１６」である。このような変更を用いて、履歴使用の中心適応型マルチパスアルゴリズムを、履歴使用の簡易中心適応型マルチパスアルゴリズムについて上述した様式と同様に実現することができる。
【０２５３】
サブフレーム生成ユニット３６の一実施形態（図２９に示す）では、サブフレーム生成モジュール２１１０が履歴使用の中心適応型マルチパスアルゴリズムを実現する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の中心適応型マルチパスアルゴリズムを実現するＡＳＩＣを含む。
【０２５４】
本明細書において述べた実施形態は従来の解決策に勝る利点を提供することができる。たとえば、自然画像及びビジネスグラフィックス等の高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができる。
【０２５５】
本明細書では、好ましい実施形態を説明する目的で、特定の実施形態を図示して説明してきたが、図示して説明したこれらの特定の実施形態の代わりに、多種多様の代替的及び／又は均等な実施態様を、本発明の範囲から逸脱することなく使用できることが当業者には理解されよう。機械技術、電気機械技術、電気技術、及びコンピュータ技術の当業者には、非常に多種多様な実施形態において本発明を実施できることが容易に理解されよう。本願は、本明細書において解説した好ましい実施形態のあらゆる適応又は変形を網羅することを意図している。したがって、本発明は、特許請求の範囲及びその均等物によってのみ限定されることが意図されていることは明白である。
【図面の簡単な説明】
【０２５６】
【図１】本発明の一実施形態による画像表示システムを示すブロック図である。
【図２Ａ】本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２Ｂ】本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２Ｃ】本発明の一実施形態による２つのサブフレームを表示したものを示す概略図である。
【図３Ａ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｂ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｃ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｄ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｅ】本発明の一実施形態による４つのサブフレームを表示したものを示す概略図である。
【図４Ａ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｂ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｃ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｄ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｅ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図５】本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図６】本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図７】本発明の一実施形態による、擬似高解像度画像を生成するシステムを示すブロック図である。
【図８】本発明の一実施形態による、分離可能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図９】本発明の一実施形態による、分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１０】本発明の一実施形態による、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１１】本発明の一実施形態による擬似高解像度画像と所望の高解像度画像との比較を示すブロック図である。
【図１２】本発明の一実施形態によるサブフレームのアップサンプリングの周波数領域における効果を示す図である。
【図１３】本発明の一実施形態によるアップサンプリングサブフレームのシフトの周波数領域における効果を示す図である。
【図１４】本発明の一実施形態によるアップサンプリング画像のピクセルの影響領域を示す図である。
【図１５】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像の生成を示す図である。
【図１６】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１７】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレームの生成を示す図である。
【図１８】本発明の別の実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１９Ａ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームを表示したものを示す概略図である。
【図１９Ｂ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｃ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｄ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｅ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２０】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用して、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図２１】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図２２】本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図２３】本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図２４Ａ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２４Ｂ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２４Ｃ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２５】本発明の一実施形態による画像に対するピクセルの影響領域を示すブロック図である。
【図２６】本発明の一実施形態によるピクセルの影響領域の計算済み履歴値を示すブロック図である。
【図２７】本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値を示すブロック図である。
【図２８】本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。
【図２９】本発明の一実施形態によるサブフレーム生成ユニットの部分を示すブロック図である。
【図３０】２位置処理の場合の絡み合わせたサブフレームを示すブロック図である。
【図３１】本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値及び誤差値を示すブロック図である。
【図３２】本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。
【図１】
2007532950.tif 000028
【図２】
2007532950.tif 000029
【図３】
2007532950.tif 000030
【図４】
2007532950.tif 000031
【図５】
2007532950.tif 000032
【図６】
2007532950.tif 000033
【図７】
2007532950.tif 000034
【図８】
2007532950.tif 000035
【図９】
2007532950.tif 000036
【図１０】
2007532950.tif 000037
【図１１】
2007532950.tif 000038
【図１２】
2007532950.tif 000039
【図１３】
2007532950.tif 000040
【図１４】
2007532950.tif 000041
【図１５】
2007532950.tif 000042
【図１６】
2007532950.tif 000043
【図１７】
2007532950.tif 000044
【図１８】
2007532950.tif 000045
【図１９】
2007532950.tif 000046
【図２０】
2007532950.tif 000047
【図２１】
2007532950.tif 000048
【図２２】
2007532950.tif 000049
【図２３】
2007532950.tif 000050
【図２４】
2007532950.tif 000051
【図２５】
2007532950.tif 000052
【図２６】
2007532950.tif 000053
【図２７】
2007532950.tif 000054
【図２８】
2007532950.tif 000055
【図２９】
2007532950.tif 000056
【図３０】
2007532950.tif 000057
【図３１】
2007532950.tif 000058
【図３２】
2007532950.tif 000059
【国際調査報告】
2007532950.tif 000060
2007532950.tif 000061
2007532950.tif 000062