(57)【要約】第１のタイプの格子(1362又は1372)上にある画像の画像データ(16)を受信することを含む、表示装置(26)に画像(14)を表示する方法。この方法は、画像データに対応する第１のサブフレーム(30)及び第２のサブフレーム(30)を、第１のタイプの格子とは異なる第２のタイプの格子(1362又は1372)上に生成することを含む。この方法は、第１のサブフレームを第１の位置に表示することと、第２のサブフレームを第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に実施することを含む。
2007510186.tif 000002
【特許請求の範囲】
【請求項１】
表示装置(26)に画像を表示する方法であって、
第１のタイプの格子(1362又は1372)上の画像の画像データを受信するステップと、
前記画像データに対応する第１のサブフレーム(30)及び第２のサブフレーム(30)をそれぞれ、前記第１のタイプの格子とは異なる第２の格子(1362又は1372)上に生成するステップと、
前記第１のサブフレームを第１の位置に表示することと、前記第２のサブフレームを前記第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に実施するステップと
からなる方法。
【請求項２】
前記第１のタイプの格子は矩形格子(1362)であり、前記第２のタイプの格子は菱形格子(1372)である、請求項１に記載の方法。
【請求項３】
前記画像データは、矩形格子上に配置された矩形画素(1360)を含み、前記第１のサブフレーム及び前記第２のサブフレームはそれぞれ、菱形格子上に配置された菱形画素(1370)を含む、請求項２に記載の方法。
【請求項４】
前記第１のタイプの格子は菱形格子(1372)であり、前記第２のタイプの格子は矩形格子(1362)である、請求項１に記載の方法。
【請求項５】
前記画像データは、菱形格子上に配置された菱形画素(1370)を含み、前記第１のサブフレーム及び前記第２のサブフレームはそれぞれ、矩形格子上に配置された矩形画素(1360)を含む、請求項４に記載の方法。
【請求項６】
前記第１のサブフレーム及び前記第２のサブフレームは、前記画像データと擬似画像(1508又は1608)との間の誤差の最小化に基づいて、第２のタイプの格子上に生成される、請求項１に記載の方法。
【請求項７】
前記擬似画像は、補間フィルタ(1204)を使用した第１のサブフレームと第２のサブフレームの畳み込みに基づくものである、請求項６に記載の方法。
【請求項８】
前記補間フィルタは５つのフィルタ係数を有する、請求項７に記載の方法。
【請求項９】
前記５つのフィルタ係数は、値１／８をそれぞれ有する４つの係数と、値１／２を有する１つの係数からなる、請求項８に記載の方法。
【請求項１０】
画像(14)を表示するシステム(10)であって、
第１のタイプの格子(1362又は1372)上の画像の画像データ(16)を受信するように構成されたバッファ(22)と、
前記画像データに対応する第１のサブフレーム及び第２のサブフレーム(30)を前記第１のタイプの格子とは異なる第２のタイプの格子(1362又は1372)上にそれぞれ規定するように構成された画像処理ユニット(24)と、
前記第１のサブフレームを第１の位置に表示することと、前記第２のサブフレームを前記第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に実施するように構成された表示装置(26)と
からなるシステム(10)。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２００２年８月７日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」という名称の米国特許出願第１０／２１３，５５５号、２００２年９月１１日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」という名称の米国特許出願第１０／２４２，１９５号、２００２年９月１１日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」という名称の米国特許出願第１０／２４２，５４５号、２００３年７月３１日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／６３１，６８１号、２００３年７月３１日に出願された「GENERATING AND DISPLAYING SPATIALLY OFSET SUB-FRAMES」という名称の米国特許出願第１０／６３２，０４２号、２００３年９月２６日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／６７２，８４５号、２００３年９月２６日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」という名称の米国特許出願第１０／６７２，５４４号、本願と同日に出願された「GENERATING AND DISPLYAING SPATIALLY OFFSET SUB-FRAMES ON A DIAMOND GRID」という名称の米国特許出願第１０／６９７，６０５号、代理人整理番号２００３１４２４７−１、及び本願と同日に出願された「IMAGE DISPLYA SYSTEM AND METHOD」という名称の米国特許出願第１０／６９７，８３０号、代理人整理番号１００１５７０１−１に関連する。上記米国特許出願のそれぞれは本発明の譲受人に譲渡され、参照により本明細書に援用される。
【０００２】
技術分野
本発明は概して表示に関し、特に、空間オフセットサブフレームを種々のタイプの格子上に生成及び表示することに関する。
【背景技術】
【０００３】
発明の背景
ディスプレイ、プロジェクタ、又はその他の画像表示システムのような、画像を表示するための従来のシステム又は装置は、水平方向の行と垂直方向の列、菱形格子、又は、他のパターンを成すように配置された画素、すなわちピクセルのアレイをアドレス指定することによって、表示画像を生成している。ピクセルパターンが水平方向の行及び垂直方向の列をなす場合の表示画像の解像度は、その表示画像を形成する画素の水平方向の行の数及び垂直方向の列の数に応じて決まる。表示画像の解像度は、表示装置自体の解像度による影響を受けるだけでなく、表示装置によって生成される表示画像の生成に使用される画像データの解像度による影響も受ける。
【０００４】
一般に、表示画像の解像度を上げるためには、表示装置の解像度を上げるだけでなく、表示画像の生成に使用される画像データの解像度も上げなければならない。しかしながら、表示装置の解像度を上げると、表示装置のコストや複雑さは増すことになる。また、高解像度の画像データは入手出来ない場合や、その生成が難しい場合がある。
【発明の開示】
【課題を解決するための手段】
【０００５】
発明の概要
本発明の一形態によれば、表示装置に画像を表示する方法が得られる。本方法は、第１のタイプの格子上の画像の画像データを受信することを含む。本方法は、前記画像データに対応する第１のサブフレーム及び第２のサブフレームを生成することを含み、第１のサブフレームと第２のサブフレームはそれぞれ、第１のタイプの格子とは異なる第２のタイプの格子上に生成される。本方法は、第１のサブフレームを第１の位置に表示することと、第２のサブフレームを第１の位置からオフセットされた空間位置に表示することを交互に実施することを含む。
【発明を実施するための最良の形態】
【０００６】
好ましい実施形態の説明
好ましい実施形態に関する下記の説明では添付の図面を参照する。図面は本明細書の一部を形成し、本発明を実施することが可能な特定の幾つかの実施形態を例として示すものである。本発明の範囲から外れることなく、他の実施形態を使用したり、構造的変更や論理的変更を施すことも可能である。従って、下記の説明を制限の意味で解釈してはならない。本発明の範囲は添付の特許請求の範囲によって規定される。
【０００７】
サブフレームの空間的及び時間的シフト
一部のデジタル光プロジェクタのように、表示システムによっては、一部の高解像度画像を表示するだけの十分な分解能を持たないものがある。そのようなシステムは、空間的及び時間的にシフトさせた低解像度画像を表示することによって、高解像度画像のような見た目を人間の目に与える。そのような低解像度画像はサブフレームと呼ばれる。サブフレーム生成の１つの問題は、表示されるサブフレームが、サブフレームの生成元の高解像画像を直接表示した時の見え方に近くなるような、サブフレームの適当な値を決めることにあり、本発明はこの問題を解決するものである。
【０００８】
サブフレームの時間的及び空間的シフトによって見た目の解像度を向上させるディスプレイシステムの一実施形態は、上に記載した米国特許出願に記載されており、図１〜図４Ｅを参照して以下で簡単に説明される。
【０００９】
図１は、本発明の一実施形態による画像表示システム１０を示すブロック図である。画像表示システム１０によれば、表示画像１４を生成するための画像１２の処理が容易になる。画像１２は、写真、グラフィック、テキスト文字、記号、又はイラストなど、情報の任意の表現を含むものとして定義される。例えば、画像１２は画像データ１６によって表現される。画像データ１６は、画像１２の個々の写真要素、又は、画素を含む。ここでは、一枚の画像を画像表示システム１０によって処理するものとして図示説明するが、画像表示システム１０は複数又は一連の画像を処理し、表示することも可能である。
【００１０】
一実施形態において、画像表示システム１０は、フレームレート変換ユニット２０、イメージフレームバッファ２２、画像処理ユニット２４、及び、表示装置２６を含む。以下で説明するように、フレームレート変換ユニット２０及びイメージフレームバッファ２２は、画像１２の画像データ１６を受信し、バッファリングし、画像１２の画像フレーム２８を生成する。画像処理ユニット２４は、画像フレーム２８を処理し、画像フレーム２８の１以上の画像サブフレーム３０を形成する。そして、表示装置２６は、その画像サブフレーム３０を時間的及び空間的に表示し、表示画像１４を生成する。
【００１１】
フレームレート変換ユニット２０及び画像処理ユニット２４を含む画像表示システム１０は、ハードウェアであってもソフトウェアであってもファームウェアであってもよく、それらの組み合わせであってもよい。一実施形態において、画像表示システム１０の１以上の構成要素は、コンピュータ、コンピュータサーバ、又は、一連の論理演算を実施することが可能なマイクロプロセッサを利用したシステムに含まれる場合がある。また、処理はシステム全体に分散させることができ、システムの個々の部分は、独立したシステム構成要素として実施される場合がある。
【００１２】
画像データ１６は、デジタル画像データ１６１を含む場合もあれば、アナログ画像データ１６２を含む場合もある。アナログ画像データ１６２を処理するために、画像表示システム１０は、アナログデジタル（Ａ／Ｄ）変換器３２を有する。従って、Ａ／Ｄコンバータ３２は、その後の処理に備えて、アナログ画像データ１６２をデジタル形式に変換する。従って、画像表示システム１０は、画像１２のデジタル画像データ１６１を受信して処理することも、画像１２のアナログ画像データ１６２を受信して処理することもできる。
【００１３】
フレームレート変換ユニット２０は、画像１２の画像データ１６を受信し、その画像データ１６をイメージフレームバッファ２２にバッファリング又は記憶する。具体的には、フレームレート変換ユニット２０は、画像１２の個々のライン又はフィールドを表わす画像データ１６を受信し、画像データ１６をイメージフレームバッファ２２にバッファリングし、画像１２の画像フレーム２８を形成する。イメージフレームバッファ２２は、画像フレーム２８の全ての画像データを受信して記憶することにより画像データ１６をバッファリングし、次いで、フレームレート変換ユニット２０は、イメージフレームバッファ２２からその画像フレーム２８の全ての画像データを読み出す又は取り出すことにより画像フレーム２８を形成する。従って、画像フレーム２８は、画像１２の全体に相当する画像データ１６の複数の個々のライン又はフィールドを含むものとして定義される。一実施形態において、画像フレーム２８は、画像１２を表わす個々の画素の複数の列及び複数の行を矩形格子上に有する。他の実施形態において、画像フレーム２８は、画像１２を表わす複数の画素を菱形格子上に有する。
【００１４】
フレームレート変換ユニット２０及びイメージフレームバッファ２２は、画像データ１６をプログレッシブ画像データとして受信及び処理することも、インターレース画像データとしても受信及び処理することもできる。プログレッシブ画像データの場合、フレームレート変換ユニット２０及びイメージフレームバッファ２２は、画像１２の画像データ１６のシーケンシャルフィールドを受信して、記憶する。従って、フレームレート変換ユニット２０は、画像１２の画像データ１６のシーケンシャルフィールドを読み出すことにより、画像フレーム２８を形成する。インターレース画像データの場合、フレームレート変換ユニット２０及びイメージフレームバッファ２２は、画像１２の画像データの奇数フィールドと偶数フィールドを受信し、記憶する。例えば、画像データ１６の全ての奇数フィールドを受信して記憶し、画像データ１６の全ての偶数フィールドを受信して記憶する。従って、フレームレート変換ユニット２０は、画像１２の画像データ１６の奇数フィールドと偶数フィールドを読み出すことにより、画像データ１６のインターレースを解除し、画像フレーム２８を形成する。
【００１５】
イメージフレームバッファ２２は、各画像１２の１以上の画像フレーム２８の画像データ１６を記憶するためのメモリを有する。従って、イメージフレームバッファ２２は、１以上の画像フレーム２８のデータベースを構成する。イメージフレームバッファ２２の例には、不揮発性メモリ（例えばハードディスクドライブその他の永久的記憶装置）や、揮発性メモリ（例えばランダムアクセスメモリ（ＲＡＭ））などがある。
【００１６】
フレームレート変換ユニット２０において画像データ１６を受信し、画像データ１６をイメージフレームバッファ２２にバッファリングすることにより、画像データ１６の入力タイミングを表示装置２６のタイミング要件から分離することができる。具体的には、画像フレーム２８の画像データ１６はイメージフレームバッファ２２によって受信され、記憶されるので、画像データ１６を任意の速度の入力として受信することができる。従って、画像フレーム２８のフレームレートを表示装置２６のタイミング要件に変換することができる。従って、画像フレーム２８の画像データ１６を表示装置２６のフレームレートでイメージフレームバッファ２２から取り出すことができる。
【００１７】
一実施形態において、画像処理ユニット２４は、解像度調節ユニット３４、及び、サブフレーム生成ユニット３６を含む。以下で説明するように、解像度調節ユニット３４は、画像フレーム２８の画像データ１６を受信し、表示装置２６に表示するために、画像データ１６の解像度を調節する。そして、サブフレーム生成ユニット３６は、画像フレーム２８に対して複数の画像サブフレーム３０を生成する。具体的には、画像処理ユニット２４は、画像フレーム２８の画像データ１６を本来の解像度で受信し、その画像データ１６を処理することにより、画像データ１６の解像度を上げたり、下げたり、変更しなかったりする。従って、画像表示システム１０は、画像処理ユニット２４を使用することで、種々の解像度の画像データ１６を受信して表示することができる。
【００１８】
サブフレーム生成ユニット３６は、画像フレーム２８の画像データを受信して処理することにより、その画像フレーム２８に対して複数の画像サブフレーム３０を定義する。画像データ１６の解像度が解像度調節ユニット３４によって調節されている場合、サブフレーム生成ユニット３６は、その調節後の解像度の画像データ１６を受信する。画像データ１６の調節後の解像度は、画像フレーム２８の画像データ１６の元の解像度よりも高い場合も、低い場合も、同じである場合もある。サブフレーム生成ユニット３６は、表示装置２６の解像度に適した解像度の画像サブフレーム３０を生成する。画像サブフレーム３０はそれぞれ、画像フレーム２８と同じ面積を有する。一実施形態において、サブフレーム３０はそれぞれ、画像１２の画像データ１６のサブセットに相当する個々の画素の複数の列及び複数の行を矩形格子上に有する。他の実施形態において、サブフレーム３０はそれぞれ、複数の画素を菱形格子上に有する。
【００１９】
画像サブフレーム３０は、表示されるときに互いに空間的にオフセットされる。一実施形態では、以下で説明するように、画像サブフレーム３０は、或る垂直距離及び或る水平距離だけ互いにオフセットされる。
【００２０】
表示装置２６は、画像処理ユニット２４から画像サブフレーム３０を受信し、画像サブフレーム３０を次々と表示することにより、表示画像１４を形成する。具体的には、画像サブフレーム３０は互いに空間的にオフセットされ、以下で説明するように、表示装置２６は、画像サブフレーム３０を画像サブフレーム３０の空間オフセットに従って様々な位置に表示する。従って、表示装置２６は、画像フレーム２８の画像サブフレーム３０を交互に表示することにより、表示画像１４を形成する。従って、表示装置２６は、画像フレーム２８のサブフレーム３０全体を一度に表示する。
【００２１】
一実施形態において、表示装置２６は、各画像フレーム２８に対し、画像サブフレーム３０の１サイクルの表示を実施する。表示装置２６は、画像サブフレーム３０を互いに空間的及び時間的にオフセットして表示する。一実施形態において、表示装置２６は、画像サブフレーム３０を光学的に操作し、表示画像１４を形成する。従って、表示装置２６の個々の画素は複数の場所にアドレス指定される。
【００２２】
一実施形態において、表示装置２６は画像シフタ３８を含む。画像シフタ３８は、画像サブフレーム３０を表示装置２６に表示するときに、画像フレーム３０の空間的位置を変更又はオフセットする。具体的には、画像シフタ３８は、以下で説明するように、画像サブフレーム３０の表示位置を変化させ、表示画像１４を形成する。
【００２３】
一実施形態において、表示装置２６は、入射光を変調するための光変調器を含む。この光変調器は、例えば、マイクロミラーデバイスアレイを形成するように構成された複数のマイクロミラーデバイスを含む。そして、各マイクロミラーデバイスは、表示装置２６の１個のセル又は画素を構成する。表示装置２６は、ディスプレイ、プロジェクタ、又は他の画像処理システムの一部を形成する場合がある。
【００２４】
一実施形態において、画像表示システム１０は、タイミング発生器４０を含む。タイミング発生器４０は、例えば、フレームレート変換ユニット２０、解像度調節ユニット３４及びサブフレーム生成ユニット３６を含む画像処理ユニット２４、並びに、画像シフタ３８を含む表示装置２６と通信する。そして、タイミング発生器４０は、画像フレーム２８を形成するための画像データ１６のバッファリング・変換、画像サブフレーム２０を形成するための画像データ１６の解像度の調節、及び、表示画像１４を生成するための画像サブフレーム３０の位置決め・表示を同期させる。従って、タイミング発生器４０は、画像１２のサブフレーム１２全体が表示画像１４として表示装置２６に時間的及び空間的に表示されるように、画像表示システム１０のタイミングを制御する。
【００２５】
一実施形態では、図２Ａ及び図２Ｂに示すように、画像処理ユニット２４は画像フレーム２８に対し、２枚の画像サブフレームを規定する。具体的には、画像処理ユニット２４は画像フレーム２８に対し、第１のサブフレーム３０１及び第２のサブフレーム３０２を規定する。従って、第１のサブフレームと第２のサブフレームはそれぞれ、画像データ１６の複数の画素の列及び複数の画素の行を含む。従って、第１のサブフレーム３０１及び第２のサブフレーム３０２はそれぞれ、画像データ１６のサブセットからなる画像データアレイ又は画素マトリクスを構成する。
【００２６】
図２Ｂに示すように、一実施形態において、第２のサブフレーム３０２は、第１のサブフレームから或る垂直距離５０及び或る水平距離５２だけオフセットされる。従って、第２のサブフレーム３０２は、第１のサブフレーム３０１から所定距離だけ空間的にオフセットされる。一実施形態において、垂直距離５０及び水平距離５２はそれぞれ、１画素の約１／２である。
【００２７】
図２Ｃに示すように、表示装置は、第１の位置における第１のサブフレーム３０１の表示と、第１の位置から空間的にオフセットされた第２の位置における第２のサブフレームの表示とを交互に実施する。具体的には、表示装置２６は、第２のサブフレーム３０２の表示を第１のサブフレーム３０１の表示に対して垂直距離５０及び水平距離５２だけシフトさせる。従って、第１のサブフレーム３０１の幾つかの画素は、第２のサブフレーム３０２の画素にオーバラップする。一実施形態において、表示装置２６は、画像フレーム２８に対し、第１の位置における第１のサブフレーム３０１の表示、及び、第２の位置における第２のサブフレーム３０２の表示からなる１サイクルを実施する。従って、第２のサブフレーム３０２は第１のサブフレーム３０１に対して空間的及び時間的に表示される。時間的及び空間的にシフトされた２枚のサブフレームをこのように表示することは、本明細書では、２位置処理と呼ばれる。
【００２８】
他の実施形態では、図３Ａ〜図３Ｄに示すように、画像処理ユニット２４は、画像フレーム２８に対し、４枚の画像サブフレームを規定する。具体的には、画像処理ユニット２４は、第１のサブフレーム３０１、第２の画像サブフレーム３０２、第３の画像サブフレーム３０３、及び、第４の画像サブフレーム３０４を規定する。従って、第１のサブフレーム３０１、第２の画像サブフレーム３０２、第３の画像サブフレーム３０３、及び、第４の画像サブフレーム３０４はそれぞれ、画像データ１６の個々の画素１８の複数の列及び複数の行を含む。
【００２９】
一実施形態では、図３Ｂ〜図３Ｄに示すように、第２のサブフレーム３０２は、第１のサブフレーム３０１から垂直距離５０及び水平距離５２だけオフセットされ、第３のサブフレーム３０３は、第１のサブフレーム３０１から水平距離５４だけオフセットされ、第４のサブフレーム３０４は、第１のサブフレーム３０１から垂直距離５６だけオフセットされる。従って、第２のサブフレーム３０２、第３のサブフレーム３０３、及び、第４のサブフレーム３０４はそれぞれ、互いに空間的にオフセットされ、且つ、第１のサブフレーム３０１から所定距離だけ空間的にオフセットされる。一実施形態において、垂直距離５０、水平距離５２、水平距離５４、及び、垂直距離５６はそれぞれ、１画素の約１／２である。
【００３０】
図３Ｅに概略を示すように、表示装置２６は、第１の位置Ｐ１における第１のサブフレーム３０１の表示、第１の位置から空間的にオフセットされた第２の位置Ｐ２における第２のサブフレーム３０２の表示、第１の位置から空間的にオフセットされた第３の位置Ｐ３における第３のサブフレーム３０３の表示、及び、第１の位置から空間的にオフセットされた第４の位置における第４のサブフレーム３０４の表示を代わる代わる実施する。具体的には、表示装置２６は、第２のサブフレーム３０２の表示、第３のサブフレーム３０３、及び、第４のサブフレームの表示を第１のサブフレーム３０１に対してそれぞれ所定距離だけシフトさせる。従って、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び、第４のサブフレーム３０４の幾つかの画素は互いにオーバラップする。
【００３１】
一実施形態において、表示装置２６は、画像フレーム２８に対し、第１の位置における第１のサブフレーム３０１の表示、第２の位置における第２のサブフレーム３０２の表示、第３の位置における第３のサブフレーム３０３の表示、及び、第４の位置における第４のサブフレーム３０４の表示からなる１サイクルを実施する。従って、第２のサブフレーム３０２、第３のサブフレーム３０３、及び、第４のサブフレーム３０４は互いに空間的及び時間的にオフセットされて表示され、且つ、第１のサブフレーム３０１に対して空間的及び時間的にオフセットされて表示される。時間的及び空間的にシフトされた４枚のサブフレームをこのように表示することは、本明細書では、４位置処理と呼ばれる。
【００３２】
図４Ａ〜図４Ｅは、第１のサブフレーム３０１の画素１８１を第１の位置に表示し、第２のサブフレーム３０２の画素１８２を第２の位置に表示し、第３のサブフレーム３０３の画素１８３を第３の位置に表示し、第４のサブフレーム３０４の画素１８４を第４の位置に表示することからなる１サイクル全体の一実施形態を示している。具体的には、図４Ａは、サブフレーム３０１の画素１８１を第１の位置に表示するところを示し、図４Ｂは、第２のサブフレーム３０２の画素１８２を第２の位置（第１の位置は破線で描かれている）に表示することを示し、図４Ｃは、第３のサブフレーム３０３の画素１８３を第３の位置（第１の位置及び第２の位置は破線で描かれている）に表示することを示し、図４Ｄは、サブフレーム３０４の画素１８４を第４の位置（第１の位置、第２の位置、及び、第３の位置は破線で描かれている）に表示することを示し、図４Ｅは、第１のサブフレーム３０１の画素１８１を第１の位置（第２の位置、第３の位置、及び、第４の位置は破線で描かれている）に表示することを示している。
【００３３】
サブフレーム生成ユニット３６（図１）は、画像フレーム２８中の画像データに基づいてサブフレーム３０を生成する。サブフレーム生成ユニット３６によって実施される機能が、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにより実施できることは、当業者には明らかであろう。実施形態は、マイクロプロセッサ、プログラマブルロジックデバイス、又は状態マシンなどによるものであってもよい。本発明の構成要素は、ソフトウェアとして１以上のコンピュータ読取可能媒体に記憶してもよい。本明細書で使用されるコンピュータ読取可能媒体という用語は、フロッピーディスク、ハードディスク、ＣＤＲＯＭ、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、及び、ランダムアクセスメモリのような、任意のタイプの不揮発性又は揮発性のメモリを含むものとして定義される。
【００３４】
本発明の一形態において、サブフレーム３０は、画像フレーム２８よりも低い解像度を有する。従って、本明細書では、サブフレーム３０は低解像度画像３０とも呼ばれ、画像フレーム２８は高解像度画像２８とも呼ばれる。本明細書で使用される低解像度や高解像度という言葉が比較に使用されるものであり、何らかの特定の最小画素数や最大画素数に制限するものではないことは、当業者には明らかであろう。一実施形態において、サブフレーム生成ユニット３６は、５つのアルゴリズムのうちの１つを利用してサブフレーム３０を生成するように構成される。本明細書では、これら５つのアルゴリズムを次のように呼ぶ：（１）最近傍、（２）双一次、（３）空間領域、（４）周波数領域、及び（５）適応マルチパス。
【００３５】
本発明の一形態による最近傍アルゴリズム及び双一次アルゴリズムは、高解像度画像２８の幾つかの画素を結合することにより、サブフレーム３０を生成する。本発明の一形態による空間領域アルゴリズム及び周波数領域アルゴリズムは、擬似高解像度画像と所望の高解像度画像の差を表わす広域誤差メトリックの最小化に基づいて、サブフレーム３０を生成する。本発明の一形態による適応マルチパスアルゴリズムは、局部誤差メトリックの最小化に基づいて、サブフレーム３０を生成する。一実施形態において、サブフレーム生成ユニット３６は、サブフレーム値と高解像度画像値の間の関係を記憶するためのメモリを有し、その関係は、高解像度画像値と、サブフレーム値の関数である擬似高解像度画像との間の誤差メトリックの最小化に基づいて決定される。以下では、これら５つのアルゴリズムのそれぞれの実施形態について、図５〜図１８を参照して説明する。
【００３６】
II．最近傍
図５は、本発明の一実施形態による最近傍アルゴリズムを使用したときの、元の高解像度画像２８からの低解像度サブフレーム３０Ａ及び３０Ｂの生成を示す図である。図示の実施形態において、高解像度画像２８は、４行４列の画素を有し、全部で１６個の画素Ｈ１〜Ｈ１６を有する。最近傍アルゴリズムの一実施形態では、高解像度画像２８の１行目の画素を１つ置きに取り、高解像度画像２８の２行目を飛ばし、高解像度画像２８の３行目の画素を１つ置きに取り、そして、この処理を高解像度画像２８全体を通して繰り返し行う。従って、図５に示すように、サブフレーム３０Ａの第１の行は画素Ｈ１及びＨ３を有し、サブフレーム３０Ａの第２の行は画素Ｈ９及びＨ１１を有する。本発明の一形態において、第２のサブフレーム３０Ｂは第１のサブフレーム３０Ａと同様の方法で生成される。ただし、処理は第１の画素Ｈ１から１行下且つ１列上にずらした画素Ｈ６から開始される。従って、図５に示すように、サブフレーム３０Ｂの第１の行は画素Ｈ６及びＨ８を有し、サブフレーム３０Ｂの第２の行は画素Ｈ１４及びＨ１６を有する。
【００３７】
一実施形態において、最近傍アルゴリズムは、３つのフィルタ係数「０」及び、４つめのフィルタ係数「１」を有する２×２フィルタを使用して、高解像度画像中の画素値の加重和の生成を実施する。上記のような２位置処理を使用してサブフレーム３０Ａ及び３０Ｂを表示すると、高解像度画像の見栄えが得られる。最近傍アルゴリズムは４位置処理にも使用することができ、図５に示した画素数の画像に制限されることはない。
【００３８】
III．双一次
図６は、本発明の一実施形態による双一次アルゴリズムを使用したときの、元の高解像度画像２８からの低解像度サブフレーム３０Ｃ及び３０Ｄの生成を示している。図示の実施形態において、高解像度画像２８は、４列４行の画素を有し、合計で１６個の画素Ｈ１〜Ｈ１６を有する。サブフレーム３０Ｃは２列２行の画素を有し、合計で４個の画素Ｌ１〜Ｌ４を有する。また、サブフレーム３０Ｄは２列２行の画素を有し、合計で４個の画素Ｌ５〜Ｌ８を有する。
【００３９】
一実施形態において、サブフレーム３０Ｃ及び３０Ｄにおける画素Ｌ１〜Ｌ８の値は、次の式Ｉ〜式ＶＩＩＩに基づいて、画像２８の画素値Ｈ１〜Ｈ１６から生成される。
【００４０】
式Ｉ
Ｌ１＝（４Ｈ１＋２Ｈ２＋２Ｈ５）／８
式ＩＩ
Ｌ２＝（４Ｈ３＋２Ｈ４＋２Ｈ７）／８
式ＩＩＩ
Ｌ３＝（４Ｈ９＋２Ｈ１０＋２Ｈ１３）／８
式ＩＶ
Ｌ４＝（４Ｈ１１＋２Ｈ１２＋２Ｈ１５）／８
式Ｖ
Ｌ５＝（４Ｈ６＋２Ｈ２＋２Ｈ５）／８
式ＶＩ
Ｌ６＝（４Ｈ８＋２Ｈ４＋２Ｈ７）／８
式ＶＩＩ
Ｌ７＝（４Ｈ１４＋２Ｈ１０＋２Ｈ１３）／８
式ＶＩＩＩ
Ｌ８＝（４Ｈ１６＋２Ｈ１２＋２Ｈ１５）／８
上記の式Ｉ〜ＶＩＩＩから分かるように、サブフレーム３０Ｃ内の画素Ｌ１〜Ｌ４の画素の値は、４での乗算により、画素Ｈ１、Ｈ３、Ｈ９及びＨ１１の値によってそれぞれ最も大きな影響を受ける。ただし、サブフレーム３０Ｃ内の画素Ｌ１〜Ｌ４の値は、斜め方向の隣接画素Ｈ１、Ｈ３、Ｈ９及びＨ１１の値による影響も受ける。同様に、サブフレーム３０Ｄ内の画素Ｌ５〜Ｌ８の値は、４での乗算により、画素Ｈ６、Ｈ８、Ｈ１４及びＨ１６の値によって最も大きな影響を受ける。ただし、サブフレーム３０Ｄ内の画素Ｌ５〜Ｌ８の値は、斜め方向の隣接画素Ｈ６、Ｈ８、Ｈ１４及び１６の値による影響も受ける。
【００４１】
一実施形態において、双一次アルゴリズムは、１つのフィルタ係数「０」と、非ゼロの値を持つ３つのフィルタ係数（例えば、４、２、及び２）を有する２×２フィルタを使用して、高解像度画像の画素値の加重和の生成を実施する。他の実施形態では、フィルタ係数として他の値が使用される場合もある。上記のような２位置処理を使用してサブフレーム３０Ｃ及び３０Ｄを表示すると、高解像度画像の見栄えが得られる。双一次アルゴリズムは４位置処理にも使用することができ、図６に示す画素数の画像に限定されることはない。
【００４２】
最近傍アルゴリズム及び双一次アルゴリズムの一形態において、サブフレーム３０は、上記のように、元の高解像度画像から得た画素値の線形結合に基づいて生成される。他の実施形態において、サブフレーム３０は、元の高解像度画像から得た画素値の非線形結合に基づいて生成される場合もある。例えば、元の高解像度画像がガンマ補正されている場合、一実施形態では、適当な非線形結合を使用して、ガンマ曲線の影響を元に戻す場合がある。
【００４３】
ＩＶ．擬似高解像度画像を生成するシステム
図７〜図１０は、擬似高解像度画像を生成するシステムを示す。詳細を後で説明するように、サブフレームを生成するための空間領域アルゴリズム、周波数領域アルゴリズム、及び、適応マルチパスアルゴリズムは、これらのシステムに基づいて開発された。
【００４４】
図７は、本発明の一実施形態による、２つの４×４画素低解像度サブフレーム３０Ｅから擬似高解像度画像４１２を生成するシステム４００を示すブロック図である。システム４００は、アップサンプリングステージ４０２、シフトステージ４０４、畳み込みステージ４０６、及び、合算ステージを有する。アップサンプリングステージ４０２では、サブフレーム３０ＥをサンプリングマトリクスＭに基づいてアップサンプリングし、それによってアップサンプリング画像が生成される。シフトステージ４０４では、アップサンプリング画像を空間シフトマトリクスＳに基づいてシフトし、それによってシフトされたアップサンプリング画像が生成される。畳み込みステージ４０６では、シフトされたアップサンプリング画像を補間フィルタを使用して畳み込み、それによってブロック画像４０８が生成される。図示の実施形態において、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであり、畳み込みの中心は、２×２マトリクスの左上位置である。補間フィルタは、高解像度格子上への低解像度サブフレームの重ね合わせをシミュレートする。サブフレームを高解像度格子上で表現できるように、低解像度サブフレームの画素データは伸長される。補間フィルタは、アップサンプリングによって発生する欠損画素データを埋める。ブロック画像４０８は、合算ブロック４１０によって重み付けされ、加算され、８×８擬似高解像度画像４１２が生成される。
【００４５】
図８は、本発明の位置実施形態による、２つの４×４画素低解像度サブフレーム３０Ｆ及び３０Ｇを個別にアップサンプリングすることにより、擬似高解像度画像５１２を生成するシステム５００を示すブロック図である。システム５００は、アップサンプリングステージ５０２及び５１２、シフトステージ５１８、畳み込みステージ５０６及び５２２、合算ステージ５０８、及び、乗算ステージ５１０を含む。アップサンプリングステージ５０２では、サブフレーム３０Ｆを係数２でアップサンプリングし、それによって、８×８画素アップサンプリング画像５０４が生成される。アップサンプリング画像５０４内の暗い画素は、サブフレーム３０Ｆの１６個の画素を表わし、アップサンプリング画像５０４内の明るい画素は、ゼロ値を表わす。アップサンプリングステージ５１４では、サブフレーム３０Ｇを係数２でアップサンプリングし、それによって、８×８画素アップサンプリング画像５１６が生成される。アップサンプリング画像５１６内の暗い画素は、サブフレーム３０Ｇの１６個の画素を表わし、アップサンプリング画像５１６内の明るい画素はゼロ値を表わす。一実施形態において、アップサンプリングステージ５０２及び５１４は、対角サンプリングマトリクスを使用して、サブフレーム３０Ｆ及び３０Ｇをそれぞれアップサンプリングする。
【００４６】
シフトステージ５１８では、アップサンプリング画像５１６を空間シフトマトリクスＳに基づいてシフトし、それによって、シフトされたアップサンプリング画像５２０が生成される。図示の実施形態において、シフトステージ５１８は、１画素斜めシフトを実施する。畳み込みステージ５０６及び５２２では、画像５０４及び５２０をそれぞれ補間フィルタによって畳み込み、それによってブロック画像が生成される。図示の実施形態において、畳み込みステージ５０６及び５２２における補間フィルタは、フィルタ係数「１」を有する２×２フィルタであり、畳み込みの中心は、２×２マトリクスの左上位置である。畳み込みステージ５０６及び５２２において生成されるブロック画像は、合算ステージ５０８によって合算され、乗算ステージ５１０において係数０．５を乗算され、８×８画素擬似高解像度画像５１２が生成される。乗算ステージ５１０において画像データに係数０．５を乗算する理由は、一実施形態において、サブフレーム３０Ｆ及び３０Ｇのそれぞれが、色に割り当てられた時間あたりの時間スロットの半分の時間しか表示されないからである。他の実施形態では、乗算ステージ５１０において係数０．５を乗算するのではなく、ステージ５０６及び５２２において補間フィルタのフィルタ係数を係数０．５だけ減らす場合がある。
【００４７】
一実施形態では、図８に示し、上で述べたように、低解像度サブフレームデータは、２つの独立したサブフレーム３０Ｆ及び３０Ｇによって表現され、それらが、対角サンプリングマトリクスを利用して個別にアップサンプリングされる（すなわち、個別アップサンプリング）。他の実施形態では、図９を参照して以下で説明するように、低解像度サブフレームデータは単一のサブフレームによって表現され、サブフレームは非対角サンプリングマトリクスを使用してアップサンプリングされる場合がある（すなわち、非個別アップサンプリング）。
【００４８】
図９は、本発明の一実施形態による、８×４画素低解像度サブフレーム３０Ｈの非個別サンプリングに基づく、２位置処理のための擬似高解像度画像６１０を生成するシステム６００を示すブロック図である。システム６００は、５点アップサンプリングステージ６０２、畳み込みステージ６０６、及び、乗算ステージ６０８を含む。サブフレーム３０Ｈは、５点アップサンプリングステージ６０２により、５点サンプリングマトリクスＱに基づいてアップサンプリングされ、それによって、アップサンプリング画像６０４が生成される。アップサンプリング画像６０４内の暗い画素はサブフレーム３０Ｈの３２個の画素を表わし、アップサンプリング画像６０４内の明るい画素はゼロ値を表わす。サブフレーム３０Ｈは、２位置処理のための２つの４×４画素サブフレームの画素データを含む。アップサンプリング画像６０４の第１行、第３行、第４行、及び、第７行にある暗い画素は、第１の４×４画素サブフレームの画素を表わし、アップサンプリング画像６０４の第２行、第４行、第６行、及び、第８行にある暗い画素は、第２の４×４画素サブフレームの画素を表わす。
【００４９】
畳み込みステージ６０６においてアップサンプリング画像６０４は補間フィルタを使用して畳み込まれ、それによってブロック画像が生成される。図示の実施形態において、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであり、畳み込みの中心は２×２マトリクスの左上位置である。乗算ステージ６０８において、畳み込みステージ６０６によって生成されるブロック画像に係数０．５が乗算され、８×８画素の擬似高解像度画像６１０が生成される。
【００５０】
図１０は、本発明の一実施形態による、サブフレーム３０Ｉに基づいて、４位置処理のための擬似高解像度画像７０６を生成するシステム７００を示すブロック図である。図１０に示す実施形態において、サブフレーム３０Ｉは８×８の画素アレイである。サブフレーム３０Ｉは、４位置処理のための４つの４×４画素サブフレームの画素データを含む。画素Ａ１〜Ａ１６は、第１の４×４画素サブフレームの画素を表わし、画素Ｂ１〜Ｂ１６は、第２の４×４画素サブフレームの画素を表わし、画素Ｃ１〜Ｃ１６は第３の４×４画素サブフレームの画素を表わし、画素Ｄ１〜Ｄ１６は第４の４×４画素サブフレームの画素を表わす。
【００５１】
畳み込みステージ７０２においてサブフレーム３０Ｉは補間フィルタを使用して畳み込まれ、ブロック画像が生成される。図示の実施形態において、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであり、畳み込みの中心は２×２マトリクスの左上である。乗算ステージ７０４において、畳み込みステージ７０２で生成されたブロック画像に係数０．２５が乗算され、８×８画素の擬似高解像度画像７０６が生成される。乗算ステージ７０４において係数０．２５を乗算する理由は、一実施形態において色に割り当てられた時間あたりの時間スロットの１／４だけの間、サブフレーム３０Ｉによって表わされる４つのサブフレームのそれぞれが表示されるからである。他の実施形態では、乗算ステージ７０４において係数０．２５を乗算するのではなく、補間フィルタのフィルタ係数を減らす場合がある。
【００５２】
Ｖ．誤差最小化に基づくサブフレームの生成
上記のように、システム４００、５００、６００及び７００は、低解像度サブフレームに基づいて、擬似高解像度画像４１２、５１２、６１０及び７０６をそれぞれ生成する。サブフレームが最適なものであれば、擬似高解像度画像は、元の高解像度画像２８に限りなく近いものになる。擬似高解像度画像が元の高解像度画像にどの程度近いものであるかを判定するのに使用される誤差メトリックには、平均二乗誤差や加重平均二乗誤差などを含む種々の方法がある。
【００５３】
図１１は、本発明の一実施形態による擬似高解像度画像４１２／５１２／６１０／７０６と所望の高解像度画像２８の比較を示すブロック図である。減算ステージ８０２において、高解像度画像２８から擬似高解像度画像４１２、５１２、６１０又は７０６が画素ごとに減算される。一実施形態において、得られた誤差画像データは、人の視覚系（ＨＶＳ）重み付けフィルタ（Ｗ）８０４によってフィルタリングされる。ＨＶＳ重み付けフィルタ８０４は、人の視覚系の特性に基づいて誤差画像データをフィルタリングする。一実施形態において、ＨＶＳ重み付けフィルタ８０４は、低周波数誤差を低減又は抑制する。次にステージ８０６において、フィルタリングされたデータの平均二乗誤差を判定し、擬似高解像度画像４１２、５１２、６１０又は７０６が所望の高解像度画像２８にどの程度近いかを示す尺度を得る。
【００５４】
一実施形態において、システム４００、５００、６００及び７００は、数学的には、擬似高解像度画像４１２、５１２、６１０又は７０６と、元の高解像度画像２８との間の差の指標となる誤差コスト式として表わされる。最適なサブフレームは、誤差コスト式を解き、擬似高解像度画像と所望の高解像度画像の間の誤差が最小となるサブフレームデータを得ることによって分かる。一実施形態では、広域的に最適な解は、空間領域アルゴリズム及び周波数領域アルゴリズムによって得られ、局部的に最適な解は、適応マルチパスアルゴリズムを使用することによって得られる。空間領域、周波数領域、及び、適応マルチパスアルゴリズムの詳細については、後で図１２〜図１８を参照して説明する。
【００５５】
ＶＩ．空間領域
本発明による、最適なサブフレームを生成するための空間領域の解について、図９に示すシステム６００を例として説明する。図９に示すシステム６００は、数学的には、下記の式ＩＸによって誤差コスト関数として表わされる。
【００５６】
【数１】
2007510186.tif 000003
【００５７】
ただし、
ｌ＊Ｑ＝サブフレーム３０Ｈの低解像度データ、
Ｊ＝最小化すべき誤差コスト関数、
ｎ，ｋ＝画像６０４及び６１０の高解像度画素位置を識別するインデックス、
ｌＱ（ｋ）＝アップサンプリング画像６０４の位置ｋにおける画像データ、
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数、
ｈ（ｎ）＝所望の高解像度画像２８の位置ｎにおける画像データ
である。
【００５８】
式ＩＸにおける「ｌ＊Ｑ（ｋ）ｆ（ｎ−ｋ）」は、アップサンプリング画像６０４と、システム６００のステージ６０６で実施される補間フィルタｆの畳み込みを表わしている。フィルタ処理は実質的に、アップサンプリング画像６０４の各画素の上に、２×２補間フィルタの右下の画素をスライドさせることにより実施される。２×２補間フィルタウィンドウ内にあるアップサンプリング画像６０４の４つの画素に、対応するフィルタ係数（すなわち、図示の実施形態では「１」）を乗算する。４つの乗算結果の合計を計算し、補間フィルタの低解像度位置に対応するアップサンプリング画像６０４の画素の値を４つの乗算結果の合計で置き換える。高解像度画像２８から得られた高解像度データｈ（ｎ）を畳み込み値ｌ＊Ｑ（ｋ）ｆ（ｎ−ｋ）から減算し、誤差値を生成する。全ての高解像度画素位置にわたる平方誤差の合計により、最小化すべき誤差の尺度が得られる。
【００５９】
式ＩＸを低解像度画素のそれぞれについて微分し、次式のようにそれをゼロに設定することにより、最適な空間領域の解が得られる。
【００６０】
式Ｘ
【００６１】
【数２】
2007510186.tif 000004
【００６２】
ここで、Θ＝５つの格子点のセットである。
【００６３】
従って、式Ｘから分かるように、微分は、５つの格子点のセットにおいて罫線するだけである。この格子点のセットは、図９におけるアップサンプリング画像内の暗い画素に対応する。式ＩＸに記載したＪの式を式Ｘに代入し、式Ｘに従って微分を計算すると、次のような式ＸＩが得られる。
【００６４】
式ＸＩ
【００６５】
【数３】
2007510186.tif 000005
【００６６】
式ＸＩにおける記号Ｃｆｆは、下記の式ＸＩＩによって定義される
補間フィルタｆの自動補正係数を表している。
【００６７】
式ＸＩＩ
【００６８】
【数４】
2007510186.tif 000006
【００６９】
式ＸＩは、次の式ＸＩＩＩのようなベクトル形態にまとめることができる。
【００７０】
式ＸＩＩＩ
【００７１】
【数５】
2007510186.tif 000007
【００７２】
ただし、
Ｃｆｆ＝補間フィルタｆの自動補正係数のマトリクス、
Ｉ＊Ｑ＝サブフレーム３０Ｈ及び「無視してよい」データの未知の画像データ並びに「無視してよい」データ（すなわち、アップサンプリング画像６０４における明るい画素に対応する画像データ）、
ｈｆ＝補間フィルタｆを使用して擬似高解像度画像６１０をフィルタリングしたものを表わすベクトル
である。
【００７３】
「無視してよい」データ（すなわち、５つの格子点Θに含まれないデータ）を削除すると、次のような式ＸＩＶが得られる。
【００７４】
式ＸＩＶ
【００７５】
【数６】
2007510186.tif 000008
【００７６】
ただし、
【００７７】
【数７】
2007510186.tif 000009
【００７８】
＝サブフレーム３０Ｈの未知の画像データだけを表わすベクトルである。
【００７９】
上記の式ＸＩＶは、線形式の疎系を表わす非テプリッツ疎系である。自動補正係数のマトリクスは分かっていて、擬似高解像度画像６１０をフィルタリングしたものを表わすベクトルが分かっているので、式ＸＩＶを解くことにより、サブフレーム３０Ｈの最適画像データを判定することができる。一実施形態において、サブフレーム生成ユニット３６は、式ＸＩＶを解くことにより、サブフレーム３０を生成するように構成される。
【００８０】
ＶＩＩ．周波数領域
一実施形態による周波数領域の解について、図８に示すシステム５００を例として説明する。周波数領域の解を説明する前に、周波数領域の解に使用可能な高速フーリエ変換（ＦＦＴ）の幾つかの特性について、図１２及び図１３を参照して説明する。
【００８１】
図１２は、本発明の一実施形態による４×４画素サブフレーム３０Ｊのアップサンプリングの、周波数領域における影響を示す図である。図１２に示すように、サブフレーム３０Ｊは、アップサンプリングステージ９０２によって係数２でアップサンプリングされ、８×８画素のアップサンプリング画像データ９０４が生成される。アップサンプリング画像９０４内の暗い画素は、サブフレーム３０Ｊの１６個の画素を表わし、アップサンプリング画像９０４内の明るい画素はゼロ値を表わす。サブフレーム３０ＪのＦＦＴを行うと、画像（Ｌ）９０６が得られる。アップサンプリング画像９０４のＦＦＴを行うと、画像（ＬＵ）９０８が得られる。画像（ＬＵ）９０８は、４つの４×４画素部分を含み、各画素部分は、画像部分（Ｌ１）９１０Ａ、画像部分（Ｌ２）９１０Ｂ、画像部分（Ｌ３）９１０Ｃ、及び、画像部分（Ｌ４）９１０Ｄを含む。図１２に示すように、画像部分９１０Ａ〜９１０Ｄはそれぞれ、画像９０６と同じものである（すなわち、Ｌ１＝Ｌ２＝Ｌ３＝Ｌ４＝Ｌ）。
【００８２】
図１３は、本発明の一実施形態による８×８画素のアップサンプリング画像９０４のシフトの周波数領域における影響を示す図である。図１３に示すように、アップサンプリングされたサブフレーム９０４は、シフトステージ１００２によってシフトされ、シフト画像１００４が生成される。アップサンプリングされたサブフレーム９０４のＦＦＴを行うことにより、画像（ＬＵ）１００６が得られる。シフト画像１００４のＦＦＴを行うことにより、画像（ＬＵＳ）１００８が得られる。画像（ＬＵＳ）１００８は、４つの４×４画素部分を含み、これらの画素部分は、画像部分（ＬＳ１）１０１０Ａ、画像部分（ＬＳ２）１０１０Ｂ、画像部分（ＬＳ３）１０１０Ｃ、及び、画像部分（ＬＳ４）１０１０Ｄを含む。図１３に示すように、画像１００８は、画像１００６に複素指数Ｗを乗算したものと同じである（すなわち、ＬＵＳ＝Ｗ・ＬＵ）。ただし、「・」は各点ごとの乗算を意味する。複素指数の値Ｗは次の式ＸＶによって与えられる。
【００８３】
式ＸＶ
【００８４】
【数８】
2007510186.tif 000010
【００８５】
ただし、
ｋ１＝ＦＦＴ領域における行座標、
ｋ２＝ＦＦＴ領域における列座標、
Ｍ＝画像中の列数、
Ｎ＝画像中の行数
である。
【００８６】
図８に示すシステム５００は、数学的には、次の式ＸＶＩによって誤差コスト関数として表現することができる。
【００８７】
式ＸＶＩ
【００８８】
【数９】
2007510186.tif 000011
【００８９】
ただし、
（Ｌ＊Ａ，Ｌ＊Ｂ）＝図８に示すサブフレーム３０Ｆ及び３０Ｇそれぞれの最適なＦＦＴを表わすベクトル、
Ｊ＝最小化すべき誤差コスト関数、
ｉ＝平均化されたＦＦＴブロックを識別するインデックス（たとえば、図１２内の画像９０８の場合、４個のブロックが平均化され、ｉ＝１がブロック９１０Ａに対応し、ｉ＝２がブロック９１０Ｂに対応し、ｉ＝３がブロック９１０Ｃに対応し、ｉ＝４がブロック９１０Ｄに対応する）、
Ｆ＝補間フィルタｆのＦＦＴを表わす行列、
ＬＡ＝図８に示すサブフレーム３０ＦのＦＦＴを表わすベクトル、
ＬＢ＝図８に示すサブフレーム３０ＧのＦＦＴを表わすベクトル、
Ｗ＝式ＸＶによって与えられる複素係数のＦＦＴを表わす行列、
Ｈ＝所望の高解像度画像２８のＦＦＴを表わすベクトル
である。
【００９０】
式ＸＶＩにおける上付き文字「Ｈ」はエルミートを表わす（すなわち、ＸＨはＸのエルミート）。式ＸＶＩ中の文字上の「ハット」は、それらの文字が次の式ＸＶＩＩに定義されるような対角行列を表していることを示す。
【００９１】
式ＸＶＩＩ
【００９２】
【数１０】
2007510186.tif 000012
【００９３】
式ＸＶＩを複素共役ＬＡについて微分し、それをゼロに等しくなるように設定すると、次の式ＸＶＩＩＩが得られる。
【００９４】
式ＸＶＩＩＩ
【００９５】
【数１１】
2007510186.tif 000013
【００９６】
式ＸＶＩを複素共役ＬＢについて微分し、それをゼロに等しくなるように設定すると、次の式ＸＩＸが得られる。
【００９７】
式ＸＩＸ
【００９８】
【数１２】
2007510186.tif 000014
【００９９】
式ＸＶＩＩＩ及び式ＸＩＸにおいて、文字の上にある横棒は、それらの文字が複素共役であることを示す（すなわち、
【０１００】
【数１３】
2007510186.tif 000015
【０１０１】
はＡの複素共役を表わす。）
式ＸＶＩＩＩ及び式ＸＩＸを解いてＬＡ及びＬＢを求めると、次の式ＸＸ及び式ＸＸＩが得られる。
【０１０２】
式ＸＸ
【０１０３】
【数１４】
2007510186.tif 000016
【０１０４】
式ＸＸＩ
【０１０５】
【数１５】
2007510186.tif 000017
【０１０６】
式ＸＸ及び式ＸＸＩは、擬似逆フィルタを使用して、周波数領域で実施される場合がある。一実施形態において、サブフレーム生成ユニット３６は、式ＸＸ及びＸＸＩに基づいてサブフレーム３０を生成するように構成される。
【０１０７】
ＶＩＩＩ．適応マルチパス
一実施形態による、サブフレーム３０を生成するための適応マルチパスアルゴリズムによれば、過去の誤差を使用してサブフレームデータの推定値を更新することにより、高速収束及び低メモリ要件が可能になる。本発明の一実施形態による適応マルチパス解決手段について、図９に示すシステム６００を例として説明する。図９に示すシステム６００は、数学的には、次の式ＸＸＩＩによって誤差コスト関数として表現することができる。
【０１０８】
式ＸＸＩＩ
【０１０９】
【数１６】
2007510186.tif 000018
【０１１０】
ただし、
ｎ＝現在の反復を識別するインデックス、
Ｊ（ｎ）（ｎ）＝反復ｎにおける誤差コスト関数、
ｅ（ｎ）（ｎ）＝誤差コスト関数Ｊ（ｎ）（ｎ）の平方根、
ｎ，ｋ＝画像６０４及び６１０の高解像度画素位置を識別するインデックス、
ｌＱ（ｎ）（ｋ）＝アップサンプリング画像６０４の位置ｋにおける画像データ
ｆ（ｎ−ｋ）＝補間フィルタの位置ｎ−ｋのおけるフィルタ係数、
ｈ（ｎ）＝所望の高解像度画像２８の位置ｎにおける画像データ
である。
【０１１１】
式ＸＸＩＩから分かるように、広域空間領域誤差を最小化するのではなく、上記の式ＩＸに示すように高解像度画像全体にわたって和をとることによって、ｎの関数である局所空間領域誤差を最小化している。
【０１１２】
一実施形態では、最小平均二乗（ＬＭＳ）アルゴリズムを使用して、更新を求める。更新は次の式ＸＩＩＩで表される。
【０１１３】
式ＸＸＩＩＩ
【０１１４】
【数１７】
2007510186.tif 000019
【０１１５】
ただし、
Θ＝５点格子点のセット（すなわち、図９におけるアップサンプリング画像６０４内の暗い画素）、
α＝鮮鋭化係数である。
【０１１６】
式ＸＸＩＩを微分することにより、式ＸＸＩＩＩにおける導関数の値が得られる。この値は次の式で与えられる。
【０１１７】
式ＸＸＩＶ
【０１１８】
【数１８】
2007510186.tif 000020
【０１１９】
一実施形態において、この更新は、次の式に示すような「影響領域」にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して実施される。
【０１２０】
式ＸＸＶ
【０１２１】
【数１９】
2007510186.tif 000021
【０１２２】
ただし、Ω＝影響領域である。
【０１２３】
図１４は、本発明の一実施形態による、アップサンプリング画像１１００内の画素についての影響領域（Ω）１１０６及び１１０８を示す図である。画像１０００の画素１１０２は第１のサブフレームの画素に対応し、画像１１００の画素１１０４は第２のサブフレームの画素に対応する。領域１１０６は、２×２の画素アレイを含み、その２×２アレイの左上隅に画素１１０２を有する領域であり、画素１１０２の影響領域である。同様に、領域１１０８は、２×２の画素アレイを含み、その２×２アレイの左上隅に画素１１０４を有する領域であり、画素１１０４の影響領域である。
【０１２４】
図１５は、本発明の一実施形態による適応マルチパスアルゴリズムによる最初の擬似高解像度画像１２０８の生成を示す図である。低解像度サブフレーム３０Ｋ−１及び３０Ｌ−１の最初のセットは、元の高解像度画像２８に基づいて生成される。図示の実施形態において、サブフレーム３０Ｋ−１及び３０Ｌ−１の最初のセットは、図５を参照して上で説明した最近傍アルゴリズムの一実施形態を使用して生成される。サブフレーム３０Ｋ−１及び３０Ｌ−１をアップサンプリングし、アップサンプリング画像１２０２が生成される。補間フィルタ１２０４を使用して、アップサンプリング画像１２０２を畳み込み、それによって、ブロック画像が形成される。次に、そのブロック画像に係数０．５を乗算し、擬似高解像度画像１２０８が生成される。図示の実施形態において、補間フィルタ１２０４はフィルタ係数「１」を有する２×２フィルタであり、畳み込みの中心は２×２マトリクスの左上位置である。補間フィルタ１２０４の右下の画素１２０６は、画像１２０２の各画素の上に配置され、その画素位置のブロック値を決める。図１５に示すように、補間フィルタ１２０４の右下の画素１２０６は、ゼロの値を有する画像１２０２の第３の行及び第４の行の上に配置される。フィルタ係数に、フィルタ１２０４のウィンドウ内の画素値を乗算することにより、その画素位置のブロック値が決まる。そして、その結果の和をとる。フレーム外の値は、「０」であるとみなされる。図示の実施形態の場合、画像１２０２の第３の行及び第４の列のブロック値は、次の式ＸＸＶＩによって与えられる。
【０１２５】
式ＸＸＶＩ
（１×０）＋（１×５）＋（１×５）＋（１×０）＝１０
次に、式ＸＸＶＩの値に係数０．５を乗算すると、その結果（すなわち、５）が、最初の擬似高解像度画像１２０８の第３行第４列における画素１２１０の画素値になる。
【０１２６】
最初の擬似高解像度画像１２０８を生成した後、補正データを生成する。図１６は、本発明の一実施形態による適応マルチパスアルゴリズムに基づく補正データの生成を示す図である。図１６に示すように、元の高解像度画像２８から最初の擬似高解像度画像１２０８を減算し、誤差画像１３０２を生成する。誤差画像中の２×２ブロックの画素を平均化することにより、補正サブフレーム１３１２及び１３１４が生成される。例えば、誤差画像１３０２の第１列第１行にある画素１３０８は、影響領域１３０４を有する。影響領域１３０４内の画素値の平均をとり、第１の補正値（すなわち、０．７５）を生成する。この第１の補正値は、補正サブフレーム１３１２の第１列第１行にある画素に対して使用される。同様に、誤差画像１３０２の第２列第２行にある画素１３１０は、影響領域１３０６を有する。影響領域１３０６内の画素値の平均をとり、第２の補正値（すなわち、０．７５）を生成する。この第２の補正値は、補正サブフレームの第１列第１行にある画素に対して使用される。
【０１２７】
補正サブフレーム１３１２の第１行第２列における補正値（すなわち１．３８）は実質的に、図示の影響領域ボックス１３０４を右へ２列スライドさせ、ボックス１３０４内の４つの画素の平均をとることによって生成される。補正サブフレーム１３１２の第２行第１列における補正値（すなわち、０．５０）は実質的に、図示の影響領域ボックス１３０４を下へ２行スライドさせ、ボックス１３０４内の４つの画素の平均をとることによって生成される。補正サブフレーム１３１２の第２行第２列における補正値（すなわち、０．７５）は実質的に、図示の影響領域ボックス１３０４を右へ２列、下へ２行スライドさせ、ボックス内の４つの画素の平均をとることによって生成される。
【０１２８】
補正サブフレーム１３１４の第１行第２列の補正値（すなわち、０．００）は実質的に、図示の影響領域ボックス１３０６を右へ２列スライドさせ、ボックス１３０６内の画素の平均をとることによって生成される。フレーム外の値は「０」とみなされる。補正サブフレーム１３１４の第２行第１列の補正値（すなわち、０．３８）は実質的に、図示の影響領域ボックス１３０６を下へ２行スライドさせ、ボックス１３０６内の画素の平均をとることによって生成される。補正サブフレーム１３１４の第２行第２列の補正値（すなわち、０．００）は実質的に、図示の影響領域ボックス１３０６を右へ２列、下へ２行スライドさせ、ボックス１３０６内の４つの画素の平均をとることによって生成される。
【０１２９】
補正サブフレーム１３１２及び１３１４は、更新サブフレームの生成に使用される。図１７は、本発明の一実施形態による適応マルチパスアルゴリズムに基づく、更新サブフレーム３０Ｋ−２及び３０Ｌ−２の生成を示している。図１７に示すように、更新サブフレーム３０Ｋ−２は、補正サブフレーム１３１２に鮮鋭化係数αを掛け、最初のサブフレーム３０Ｋ−１を加算することによって生成される。更新サブフレーム３０Ｌ−２は、補正サブフレーム１３１４に鮮鋭化係数αを掛け、最初のサブフレーム３０Ｌ−１を加算することによって生成される。図示の実施形態では、鮮鋭化係数αは０．８である。
【０１３０】
一実施形態において、更新サブフレーム３０Ｋ−２及び３０Ｌ−２は、適応マルチパスアルゴリズムの次の反復において、更に別の更新サブフレームの生成に使用される。多数の反復の後、適応マルチパスアルゴリズムによって生成されるサブフレームの値は、最適値に集束する。一実施形態において、サブフレーム生成ユニット３６は、適応マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１３１】
図１５〜図１７を参照して上で説明した適応マルチパスアルゴリズムの実施形態は、２位置処理の場合である。４位置処理の場合、式ＸＸＩＶは次の式ＸＸＶＩＩになる。
【０１３２】
式ＸＸＶＩＩ
【０１３３】
【数２０】
2007510186.tif 000022
【０１３４】
ただし、ｌ（ｎ）＝４つのサブフレーム３０の低解像度データであり、
式ＸＸＩＩＩは次の式ＸＸＶＩＩＩになる。
【０１３５】
式ＸＸＶＩＩＩ
【０１３６】
【数２１】
2007510186.tif 000023
【０１３７】
４位置処理の場合、４つのサブフレームがあるので、低解像度データの量は、高解像度データの量と同じになる。各高解像度格子点が１つの誤差をもたらし、上式ＸＸＶに示したような勾配更新の平均化は必要ない。所与の位置における誤差が、そのまま更新になる。
【０１３８】
上記のように、一実施形態において、適応マルチパスアルゴリズムは、最小平均二乗（ＬＭＳ）法を使用して補正データを生成する。他の実施形態において、適応マルチパスアルゴリズムは、凸射影（ＰＯＣＳ）法を使用して補正データを生成する。一実施形態によるＰＯＣＳ法に基づく適応マルチパス解決手段について、図９に示すシステム６００を例として説明する。図９に示すシステム６００は、数学的には、次の式ＸＸＩＸにより誤差コスト関数として表わすことができる。
【０１３９】
【数２２】
2007510186.tif 000024
【０１４０】
ただし、
ｅ（ｎ）＝誤差費用関数、
ｎ，ｋ＝高解像度画素位置を識別するインデックス、
ｌＱ（ｋ）＝アップサンプリング画像６０４の位置ｋにおける画像データ
ｆ（ｎ−ｋ）＝補間フィルタの位置ｎ−ｋにおけるフィルタ係数、
ｈ（ｎ）＝所望の高解像度画像２８の位置ｎにおける画像データ
である。
【０１４１】
ＰＯＣＳ法の制約セットは、次の式ＸＸＸによって規定される。
【０１４２】
式ＸＸＸ
【０１４３】
【数２３】
2007510186.tif 000025
【０１４４】
ただし、
Ｃ（ｎ）＝パラメータηにより境界が定められるアップサンプリング画像６０４の全てのサブフレームデータを含む制約セット、
η＝誤差量境界制約、
である。
【０１４５】
現在の反復におけるサブフレーム画素値は次の式ＸＸＸＩによって決まる。
【０１４６】
式ＸＸＸＩ
【０１４７】
【数２４】
2007510186.tif 000026
【０１４８】
ただし、
ｎ＝現在の反復を識別するインデックス、
λ＝緩和パラメータ、
‖ｆ‖＝補間フィルタの係数のノルム
である。
【０１４９】
式ＸＸＸＩ中の記号ｎ＊は、誤差が最大である影響領域Ω中の位置を表わし、次の式ＸＸＸＩＩで表される。
【０１５０】
式ＸＸＸＩＩ
【０１５１】
【数２５】
2007510186.tif 000027
【０１５２】
図１８は、本発明の一実施形態によるＰＯＣＳ法を使用する適応マルチパスアルゴリズムに基づく、補正データの生成を示している。一実施形態において、最初の擬似高解像度画像１２０８は、図１５を参照して上で説明したものと同様のやり方で生成され、元の高解像度画像２８から最初の擬似高解像度画像１２０８を減算することにより、誤差画像１３０２が生成される。次に、上式ＸＸＸＩを使用して、誤差画像１３０２のデータから更新サブフレーム３０Ｋ−３及び３０Ｌ−３を生成する。図示の実施形態では、式ＸＸＸＩにおける緩和パラメータλが０．５であり、誤差量境界制約ηが１であるものと仮定している。
【０１５３】
ＰＯＣＳ技法を用いる場合、図１６を参照して上で説明したように影響領域内の画素値の平均をとって補正値を求めるのではなく、影響領域内の最大誤差ｅ（ｎ＊）を識別する。次に、式ＸＸＸＩから適当な式を使用して、更新画素値を生成する。適当な式は、影響領域内の最大誤差ｅ（ｎ＊）が１よりも大きいか、１未満であるか、それとも１に等しいかによって決まる（この例ではη＝１であるため）。
【０１５４】
例えば、誤差画像１３０２の第１列第１行にある画素は影響領域１３０４を有する。この影響領域１３０４内の最大誤差は１である（すなわち、ｅ（ｎ＊）＝１）。式ＸＸＸＩを参照すると、ｅ（ｎ＊）＝１の場合、更新画素値はこの画素の以前の値に等しい。図１５を参照すると、サブフレーム３０Ｋ−１の第１列第１行にある画素の以前の値は２であった。従って、この画素は、更新サブフレーム３０Ｋ−３においても値２を維持する。誤差画像１３０２の第２列第２行にある画素は影響領域１３０６を有する。この影響領域１３０６内の最大誤差は１．５である（すなわち、ｅ（ｎ＊）＝１．５）。式ＸＸＸＩを参照すると、ｅ（ｎ＊）＞１の場合、更新画素値はこの画素の以前の値の半分に、量（ｅ（ｎ＊）−１）の半分を加えたものに等しく、これは１．２５に等しい。図１５を参照すると、サブフレーム３０Ｌ−１の第１列第１行にある画素の以前の値は２であった。従って、更新サブフレーム３０Ｌ−３におけるこの画素の更新値は１．２５になる。
【０１５５】
影響領域ボックス１３０２及び１３０４は実質的に、図１６を参照して上で説明したものと同様に誤差画像１３０２のあちこちに移動し、更新サブフレーム３０Ｋ−３及び３０Ｌ−３における残りの更新値を式ＸＸＸＩに基づいて生成する。
【０１５６】
ＩＸ．フォーマット変換
一実施形態では、アナログ画像データ１６２（図１）は、Ａ／Ｄコンバータ３２（図１）によって矩形格子上にサンプリングされる。上で説明した実施形態の場合、所望の高解像度画像２８及び生成されるサブフレーム３０は、矩形格子上に配置された矩形画素からなる。図１９Ａは、本発明の一実施形態により矩形格子１３６２上に配置された矩形（たとえば、正方形）画素１３６０を示す図である。図１９Ａには、４個の隣り合う矩形画素１３６０が描かれている。矩形格子１３６２は、画素１３６０の中心１３６４によって画定される。矩形格子１３６２は４個の格子点１３６４及び４個の画素１３６０を有するものとして描かれているが、矩形格子１３６２が、所望の任意数の格子点１３６４及び画素１３６０を有する場合があることは、当業者には明らかであろう。
【０１５７】
図１９Ａには更に、一対の直交する軸１３６６及び１３６８も描かれている。Ｘ軸１３６８は水平方向を表わし、Ｙ軸１３６６は垂直方向を表わす。矩形格子１３６２上の画素１３６０の行は、Ｘ軸１３６８によって表される水平方向に対して平行に、画素１３６０の中心を通して線を引くことによって画定される。矩形格子１３６２上の画素１３６０の列は、Ｙ軸１３６６によって表される垂直方向に対して平行に、画素１３６０の中心を通して線を引くことによって画定される。図１９Ａに示す矩形格子１３６２は、２行２列の画素１３６０を有する。
【０１５８】
表示するときに、矩形格子１３６２上の画素１３６０の各行は、Ｘ軸１３６８によって表される水平方向に対して平行となり、矩形格子１３６２上の画素１３６０の各列は、Ｙ軸１３６６によって表わされる垂直方向に対して平行となる。また、同じ行内にある隣接する任意の２つの画素１３６０は、隣接する２つの列に属し、同じ列内にある隣接する任意の２つの画素１３６０は隣接する２つの行に属する。
【０１５９】
本発明の他の実施形態において、アナログ画像データ１６２はＡ／Ｄコンバータ３２によって菱形格子上にサンプリングされる。一実施形態では、所望の高解像度画像２８及び生成されるサブフレーム３０は、菱形格子上に配置された菱形画素から構成される。図１９Ｂは、本発明の一実施形態により菱形格子１３７２上に配置された菱形画素１３７０を示す図である。図１９Ｂには、４つの隣接する菱形画素１３７０が描かれている。菱形格子１３７２は、画素１３７０の中心１３７４によって画定される。菱形格子１３７２はクインカンクス格子とも呼ばれる。菱形格子１３７２は４個の格子点１３７４及び４個の画素を有するものとして描かれているが、菱形格子１３７２は、所望の任意数の格子点１３７４及び画素１３７０を有する場合があることは、当業者には明らかであろう。
【０１６０】
菱形格子１３７２上の画素１３７０の行は、Ｘ軸１３６８によって表される水平方向に対して平行に、画素１３７０の中心を通して線を引くことによって画定される。菱形格子１３７２上の画素１３７０の列は、Ｙ軸１３６６によって表される垂直方向に対して平行に、画素１３７０の中心を通して線を引くことによって画定される。図１９Ｂに示す菱形格子１３７２は３行３列の画素１３７０を有している。
【０１６１】
表示するときに、菱形格子１３７２上の画素１３７０の各行は、Ｘ軸１３６８によって表わされる水平方向に対して平行となり、菱形格子１３７２上の画素１３７０の各列は、Ｙ軸１３６６によって表わされる垂直方向に対して平行となる。ただし、矩形格子１３６２の場合とは異なり、菱形格子１３７２上の画素１３７０を表示した場合、同じ行内にある隣接する任意の２つの画素１３７０が、隣接する２つの列に属することはなく、同じ列内の隣接する任意の２つの画素１３７０が、隣接する２つの行に属することもない。隣接する行にある画素１３７０は、矩形格子１３６２上の画素１３６０のように互いに並ぶのではなく、Ｘ軸１３６８によって表される水平方向に互いにオフセットされる。
【０１６２】
本発明の一形態において、サブフレーム生成ユニット３６（図１）は、矩形画素の矩形格子を有するサブフレーム３０を生成するように構成され、表示装置２６（図１）は、生成されたそれらの矩形サブフレーム３０を表示するように構成された低解像度矩形ディスプレイである。本発明の他の形態において、サブフレーム生成ユニット３６は、菱形画素の菱形格子を有するサブフレーム３０を生成するように構成され、表示装置２６は、生成されたそれらの菱形サブフレーム３０を表示するように構成された低解像度クインカンクスディスプレイである。菱形格子には、矩形格子よりも優れた次のような幾つかの利点がある。（１）サブフレーム画素が行及び列状に並ぶため、解像度仕様を計算することが可能であること。（２）菱形格子上でサンプリングされた信号は、垂直周波数及び水平周波数方向に沿って並べられるのではなく、まず、人間の視覚感度が劣る斜め周波数に沿って並べられること。
【０１６３】
一実施形態において、サブフレーム生成ユニット３６は、サンプリングフォーマットから表示フォーマットへの変換機能（たとえば、矩形格子から菱形格子への変換、又は菱形格子から矩形格子への変換）を実施するように構成される。本発明の一形態において、サブフレーム生成ユニット３６は、矩形格子上にサンプリングされた矩形画素を有する高解像度画像２８に基づいて、菱形画素を有するサブフレーム３０を菱形格子上に生成するように構成され、生成されたサブフレームは菱形２位置処理を用いて表示される。サブフレーム生成ユニット３６によって実施される、矩形サンプリングフォーマットから菱形表示フォーマットへの変換方法の一実施形態について、図２０〜図２２を参照して以下で説明する。
【０１６４】
本発明の他の形態において、サブフレーム生成ユニット３６は、矩形格子上にサンプリングされた矩形画素を有する高解像度画像２８に基づいて、菱形画素を有する画像を菱形格子上に生成するように構成され、生成された画像は、２位置処理及び４位置処理を用いることなく表示される。サブフレーム生成ユニット３６によって実施される、２位置処理及び４位置処理を用いることなく矩形サンプリングフォーマットから菱形表示フォーマットへ変換するための方法の一実施形態について、図２３を参照して以下で説明する。
【０１６５】
本発明のさらに別の形態において、サブフレーム生成ユニット３６は、菱形格子上にサンプリングされた菱形画素を有する高解像度画像２８に基づいて、矩形画素を有するサブフレーム３０を矩形格子上に生成するように構成される。サブフレーム生成ユニット３６によって実施される、菱形サンプリングフォーマットから矩形表示フォーマットへの変換方法の一実施形態について、図２４及び図２５を参照して以下で説明する。
【０１６６】
図２０は、本発明の一実施形態による、サブフレーム間が斜め方向にオフセットされた、矩形画素を有する２つのサブフレーム３０Ｍ及び３０Ｎの、矩形格子上での表示を示す図である。サブフレーム３０Ｍは、２行２列に編成された４個の低解像度矩形画素１４０２Ａ〜１４０２Ｄ（図２０に細かい斑点で陰影を付けて示す）を含み、サブフレーム３０Ｎは、２行２列に編成された４個の低解像度矩形画素１４０４Ａ〜１４０４Ｄ（図２０に粗い斑点で陰影を付けて示す）を含む。サブフレーム３０Ｍ及び３０Ｎの画素はそれぞれ、低解像度矩形格子上に配置される。
【０１６７】
サブフレーム３０Ｎは、サブフレーム３０Ｍに対して斜め方向（たとえば、右下）に１画素の数分の１の量（たとえば、二分の一画素分）だけシフトされている。サブフレーム３０Ｍと３０Ｎを２位置処理を用いて比較的高速に連続して表示すると、表示画像は人間の視覚系にとっては実質的に、いずれか一方のサブフレーム３０Ｍ又は３０Ｎに見えるのではなく、比較的高い解像度で、２つのサブフレーム３０Ｍ及び３０Ｎが重なったものに見える。表示画像は、高解像度の画素１４０６を有しているように見える。高解像度画素１４０６も矩形であり、高解像度矩形格子上に配置される。各高解像度画素１４０６は面積Ａを有する。各低解像度サブフレームの画素１４０２Ａ〜１４０２Ｄ及び１４０４Ａ〜１４０４Ｄは、高解像度画素１４０６の面積の４倍の面積（すなわち、４×Ａ）を有する。
【０１６８】
サブフレーム３０Ｍ及び３０Ｎの最適画素値は、適応マルチパスアルゴリズムを使用して生成することができる。適応マルチパスアルゴリズムについては、図９に示すシステム６００を参照して上で説明した。２位置処理の場合に、所望の高解像度画像２８が矩形格子上に配置され、サブフレーム３０が矩形格子上に配置される場合、一実施形態による適応マルチパスアルゴリズムは、上述のように影響領域にわたる平均化を使用する。なぜなら、サブフレーム（たとえば、図１５に示すサブフレーム３０Ｋ−１及び３０Ｌ−１）よりも誤差画像（たとえば、図１６に示す誤差画像１３０２）の方が、画素の数が多いからである。あらゆる高解像度格子点において誤差が最小化され、その結果、誤差画像は所望の高解像度画像２８と同数の画素を有する。２位置処理の場合の２つのサブフレーム３０はそれぞれ、高解像度画像２８の画素数の１／４の数の画素を有する。従って、２つのサブフレーム３０を結合すると、高解像度画像２８の画素数の半分の数の画素を有するものになる。従って、各サブフレームの画素は、いくつかの誤差値の平均をとることによって更新され、これは画質を制限する恐れがある。
【０１６９】
一実施形態において、２位置処理の場合の適応マルチパスアルゴリズムにおける、影響領域にわたって平均化するステップは、矩形格子上に配置された所望の高解像度画像２８に基づいて、サブフレーム３０を菱形格子上に生成することによって不要となる。その詳細については、図２１及び図２２を参照して以下で説明する。
【０１７０】
図２１は、本発明の一実施形態による、菱形画素を有する２つのサブフレーム３０Ｐ及び３０Ｑの菱形格子上での表示、及び、サブフレーム間の水平方向のオフセットを示す図である。サブフレーム３０Ｐは、４個の低解像度菱形画素１４５２Ａ〜１４５２Ｄ（図２１に細かい斑点で陰影を付けて示す）を含み、サブフレーム３０Ｑは、４個の低解像度菱形画素１４５４Ａ〜１４５４Ｄ（図２１に粗い斑点で陰影を付けて示す）を含む。サブフレーム３０Ｐ及び３０Ｑの画素はそれぞれ、低解像度菱形格子上に配置される。
【０１７１】
サブフレーム３０Ｑは、サブフレーム３０Ｐに対して水平方向右に１画素の数分の一の画素量（たとえば、二分の一画素分）だけシフトされる。サブフレーム３０Ｐ及び３０Ｑが、２位置処理を用いて比較的高速に連続して表示されると、表示画像は人間の視覚系にとって、いずれか一方のサブフレーム３０Ｐ又は０Ｑとして見えるのではなく、比較的高い解像度を有する、２つのサブフレーム３０Ｐ及び３０Ｑが本質的に重なったものに見える。表示画像は、高解像度画素１４５６を有しているように見える。高解像度画素１４５６も菱形であり、高解像度菱形格子上に配置される。菱形格子上に菱形画素を有する、時間的及び空間的にシフトされた２つのサブフレーム３０の表示を、本明細書では菱形２位置処理と呼ぶ。
【０１７２】
一実施形態において、サブフレーム３０Ｐ及び３０Ｑの最適画素値は、上で説明した適応マルチパスアルゴリズムに基づいて生成される。ただし、影響領域にわたる平均化は行わない。本発明の一形態において、この最適画素値の生成は、菱形格子上に菱形画素を有する２つのサブフレーム（たとえば、サブフレーム３０Ｐ及び３０Ｑ）を重ね合わせたものによって形成される高解像度画像の画素が、図２０に示す２つのサブフレーム３０Ｍ及び３０Ｎを重ね合わせたものによって形成される高解像度画像に仮定される画素よりも大きいものと仮定して行われる。この仮定により、誤差画像の画素数は、サブフレームの画素数と同じになる。従って、平均化を行わずにサブフレームの画素を更新することができ、優れた画質が得られる。
【０１７３】
図２０に示すように、サブフレーム３０Ｍ及び３０Ｎの２位置処理によって生成される高解像度画素１４０６はそれぞれ、面積Ａを有するものと仮定した。これに対し、図２１に示すサブフレーム３０Ｐ及び３０Ｑの場合、サブフレームは、高解像度画素１４５８Ａ及び１４５８Ｂを生成し、それらの高解像度画素は、２つの菱形格子を重ね合わせることによって形成される「仮想的な」矩形格子上に配置されるものと仮定される。矩形格子を「仮想的」と呼ぶ理由は、矩形格子が実際に表示に使用されるのではなく、最適なサブフレーム画素値を計算するために存在するものと仮定されるからである。各画素１４５６が面積Ａを有するものと仮定した場合、各高解像度画素１４５８Ａ及び１４５８Ｂは、画素１４５６の２倍の面積（すなわち、２×Ａ）を有することになる。また、各高解像度画素１４５８Ａ及び１４５８Ｂは、サブフレーム画素１４５２Ａ〜１４５２Ｄ及び１４５４Ａ〜１４５４Ｄの面積の半分の面積を有することになる。これに対し、各高解像度画素１４０６（図２０）は、サブフレーム画素１４０２Ａ〜１４０２Ｄ及び１４０４Ａ〜１４０４Ｄの面積の１／４の面積を有する。
【０１７４】
図２１に示すように、サブフレーム３０Ｐ及び３０Ｑ内の幾つかの低解像度画素は、各高解像度画素１４５８Ａ及び１４５８Ｂの形成に貢献する。例えば、画素１４５８Ａは、サブフレーム３０Ｐ内の４個の画素１４５２Ａ〜１４５２Ｄのそれぞれの１／８、及び、サブフレーム３０Ｑ内の画素１４５４Ｂの半分から形成される。同様に、画素１４５８Ｂは、サブフレーム３０Ｑ内の４個の画素１４５４Ａ〜１４５４Ｄのそれぞれの１／８、及び、サブフレーム３０Ｐ内の画素１４５２Ｃの半分から形成される。こうした貢献度を知ることは、菱形２位置処理に基づいて擬似高解像度画像を生成するシステムを開発する際に有用である。本発明の一形態では、サブフレーム３０Ｐ及び３０Ｑの最適画素値は、矩形格子上に配置された所望の高解像度画像２８（図１１）と擬似高解像度画像との間の誤差メトリックの最小化に基づいて生成される。
【０１７５】
図２２は、本発明の一実施形態による、菱形格子上に配置されたサブフレームに基づいて、擬似高解像度画像１５０８を矩形格子上に生成するシステム１５００を示すブロック図である。図２２に示す実施形態において、サブフレーム３０Ｒは８×８画素アレイである。サブフレーム３０Ｒは、菱形格子上に菱形画素を有する２つの３２画素サブフレームの画素データを有する。画素１５０２Ａは、菱形格子上の第１の３２画素サブフレームの画素を表わし、画素１５０２Ｂは、菱形格子上の第２の３２画素サブフレームの画素を表わす。画素１５０２Ａ及び１５０２Ｂは、図２１に描かれているような菱形格子上の２つのサブフレームの菱形画素に相当するものであるが、矩形格子上のサブフレーム３０Ｒ内に描かれている。この矩形格子は、擬似高解像度画像１５０８の計算に使用されるものであり、表示目的では使用されないので、仮想的な矩形格子とみなすことができる。同様に、擬似高解像度画像１５０８は、矩形格子上に配置された矩形画素１５１０を有しているが、この矩形格子も、仮想的な矩形格子とみなされる。なぜなら、この矩形格子は、図２１を参照して上で説明した２つの菱形格子を重ね合わせることによって形成されるからである。
【０１７６】
サブフレーム３０Ｒは畳み込みステージ１５０６において補間フィルタを使用して畳み込まれ、その結果、８×８画素の擬似高解像度画像１５０８が生成される。図示の実施形態において、補間フィルタは４つのフィルタ係数「１／８」及び１つのフィルタ係数「１／２」を有する。畳み込みの中心は、フィルタの中央位置（すなわち、フィルタ係数「１／２」を有する位置）である。図２１を参照して上で説明したように、サブフレーム３０Ｐ及び３０Ｑ内の幾つかの低解像度画素は、各高解像度画素１４５８Ａ及び１４５８Ｂの形成に貢献する。補間フィルタのレイアウト及びフィルタ係数の値は、図２１に図示し上で説明したそれらの貢献度に基づいて選択される。
【０１７７】
一実施形態において、システム１５００は、数学的には、擬似高解像度画像１５０８と元の高解像度画像２８との間の差を測定する誤差コスト式によって表現される。一実施形態において、擬似高解像度画像１５０８と元の高解像度画像２８は両方とも矩形格子上に配置される。誤差コスト式を解き、擬似高解像度画像１５０８と所望の高解像度画像２８との間の誤差が最小になるサブフレームデータ３０Ｒを求めることにより、最適なサブフレームが識別される。一実施形態では、上述した空間領域アルゴリズムに基づいて、空間領域における広域最適解を得る。他の実施形態では、上述した周波数領域アルゴリズムに基づいて、周波数領域における広域最適解を得る。さらに他の実施形態では、上述した適応マルチパスアルゴリズムに基づいて、局所最適解を得る。
【０１７８】
誤差コスト式を解くことによって得られる最適サブフレームデータは、図２２のサブフレーム３０Ｒに示すように、矩形格子上に配置される。ただし、サブフレーム３０Ｒ内の画素データは実際には、菱形画素を有する菱形格子上の２つのサブフレームの生成に使用され、菱形格子上の２つのサブフレームは、表示装置２６によって菱形２位置処理を用いて表示される。各矩形画素１５０２Ａは、第１のサブフレーム内の菱形画素に対応し、各矩形画素１５０２Ｂは、第２のサブフレーム内の菱形画素に対応する。矩形画素１５０２Ａの各行は、第１のサブフレーム内の菱形画素の行に対応し、矩形画素１５０２Ｂの各行は、第２のサブフレーム内の菱形画素の行に対応する。２つのサブフレームのいずれかの実際の表示の見た目は、６つの矩形画素１５０２Ｂを取り巻く隠線で描かれた菱形１５０４に示すように、サブフレームの矩形画素１５０２Ａ又は１５０２Ｂを取り巻く菱形を描くことによって示すことができる。矩形格子上に配置された矩形画素１５０２Ａ及び１５０２Ｂは、最適画素値の計算に使用される。次に、それらの画素値は、表示装置２６により実際に表示される菱形格子上の菱形画素に割り当てられる。
【０１７９】
図２２に示すように、サブフレーム画素１５０２Ａ及び１５０２Ｂは、擬似高解像度画像１５０８（これに対応して所望の高解像度画像２８）内の画素１５１０と同程度の数存在する。従って、矩形サンプリングフォーマットから菱形表示フォーマットへの変換を行い、適応マルチパスアルゴリズムに基づいて最適なサブフレーム画素値を生成することにより、誤差の平均をとる必要はなくなる。その結果、矩形格子上に配置されたサブフレームの２位置処理を用いて矩形サンプリング信号を矩形ディスプレイ上に表示したときの画質が大きく改善される。
【０１８０】
図２１及び図２２を参照して上で説明したように、一実施形態において、サブフレーム生成ユニット３６は、矩形格子上に配置された高解像度画像に基づいて、菱形２位置処理のための菱形格子上に配置された最適サブフレームを生成するように構成される。本発明の他の実施形態において、サブフレーム生成ユニット３６は、矩形格子上に配置された高解像度画像から、最適画像を菱形格子上に生成するように構成される。一実施形態では、菱形格子上に生成される最適画像は、２位置処理又は４位置処理を用いることなく従来のやり方で表示装置２６によって表示される。本発明の一形態では、最適画像の画素値は、矩形格子上に配置された所望の高解像度画像２８（図１１）と擬似高解像度画像との間の誤差測度の最小化に基づいて生成される。
【０１８１】
図２３は、本発明の一実施形態による、菱形格子上の画像に基づいて擬似高解像度画像１５２８を矩形格子上に生成するシステム１５１８を示すブロック図である。図２３に示す実施形態において、画像１５２０は８×８の画素アレイである。３２個の画素１５２２（図２３に斑点で陰影を付けて示す）は、菱形格子上の画像の画素を表わし、残りの３２個の画素（網掛けなしで示す）は値０を有する。画素１５２２は、菱形格子上の画像の菱形画素に相当するものであるが、矩形格子上の画像１５２０内に描かれている。この矩形格子は、擬似高解像度画像１５２８の計算に使用され、表示には使用されないので、仮想的な矩形格子とみなされる。
【０１８２】
画像１５２０は、畳み込みステージ１５２６において補間フィルタを使用して畳み込まれ、その結果、８×８画素の擬似高解像度画像１５２８が生成される。図示の実施形態では、補間フィルタは４つのフィルタ係数「１／２」及び１つのフィルタ係数「１」を有する。畳み込みの中心は、フィルタの中央位置（すなわち、フィルタ係数「１」を有する位置）である。
【０１８３】
一実施形態において、システム１５１８は、数学的には、擬似高解像度画像１５２８と元の高解像度画像２８との間の差を測定する誤差コスト式によって表される。一実施形態において、擬似高解像度画像１５２８及び元の高解像度画像２８は両方とも矩形格子上に配置される。画像１５２０の最適画素値は、誤差コスト式を解き、擬似高解像度画像１５２８と所望の高解像度画像２８との間の誤差が最小となる画像１５２０内の画素値を求めることによって識別される。一実施形態では、上述した空間領域アルゴリズムに基づいて、空間領域における広域最適解を得る。他の実施形態では、上述した周波数領域アルゴリズムに基づいて、周波数領域における広域最適解を得る。さらに他の実施形態では、上述した適応マルチパスアルゴリズムに基づいて、局所最適解を得る。
【０１８４】
誤差コスト式を解くことによって得られる最適画素データは、図２３の画像１５２０に示すように矩形格子上に配置される。しかし、画像１５２０内の画素データは、実際には菱形画素を有する菱形格子上に画像の生成に使用され、その画像が表示装置２６によって表示される。各矩形画素１５２２は、表示される画像内の菱形画素に対応する。画素１５２２の各行は、表示される画像内の菱形画素の行に対応する。画素１５２２から形成される画像の実際の表示の見た目は、６つの矩形画素１５２２を取り巻く隠線で描かれた菱形１５２４で示すように、矩形画素１５２２のそれぞれを取り巻く菱形を描くことによって示すことができる。矩形格子上の矩形画素１５２２は、最適画素値の計算に使用される。次に、それらの画素値は、表示装置２６によって実際に表示される菱形格子上の菱形画素に割り当てられる。
【０１８５】
一実施形態では、２位置処理の場合の適応マルチパスアルゴリズムにおける影響領域にわたる平均化ステップは、菱形格子上の所望の高解像度画像２８に基づいてサブフレーム３０を矩形格子上に生成することよって不要となる。これについては、図２４及び図２５を参照して以下でさらに詳しく説明する。
【０１８６】
図２４は、本発明の一実施形態による、矩形格子上に矩形画素を有する２つのサブフレーム３０Ｓ及び３０Ｔの表示、及び、サブフレーム間の斜め方向のオフセットを示す図である。サブフレーム３０Ｓは、４個の低解像度矩形画素１５５２Ａ〜１５５２Ｄ（図２４に細かい斑点で陰影を付けて示す）を含み、サブフレーム３０Ｔは、４個の低解像度矩形画素１５５４Ａ〜１５５４Ｄ（図２４に粗い斑点で陰影を付けて示す）を含む。サブフレーム３０Ｓ及び３０Ｔの画素はそれぞれ、低解像度矩形格子上に配置される。
【０１８７】
サブフレーム３０Ｔは、サブフレーム３０Ｓに対して斜め方向（たとえば、右下）に１画素の数分の一の量（たとえば、二分の一画素分）だけシフトされる。サブフレーム３０Ｓ及び３０Ｔが、２位置処理を用いて比較的高速に連続して表示されると、表示画像は人間の視覚系には、いずれか一方のサブフレーム３０Ｓ又は３０Ｔとして見えるのではなく、比較的高い解像度を有する、２つのサブフレーム３０Ｓ及び３０Ｔが実質的に重なったものに見える。表示画像は、高解像度画素１５５６を有しているように見える。高解像度画素１５５６も矩形であり、高解像度矩形格子上に配置される。
【０１８８】
一実施形態では、サブフレーム３０Ｓ及び３０Ｔの最適画素値は、上述した適応マルチパスアルゴリズムに基づいて生成されるが、影響領域にわたる平均化は使用されない。本発明の一形態において、最適画素値の生成は、矩形格子上に矩形画素を有する２つのサブフレーム（たとえば、サブフレーム３０Ｓ及び３０Ｔ）を重ね合わせたものによって形成される高解像度画像が、図２０に示す２つのサブフレーム３０Ｍ及び３０Ｎを重ね合わせたものによって形成される高解像度画像に仮定される画素よりも多くの画素を有するものと仮定して行われる。この仮定により、誤差画像の画素は、サブフレーム画素と同数存在することになる。従って、平均化を行うことなくサブフレームを更新することができ、比較的低い計算コストで優れた画質が得られる。
【０１８９】
図２０に示すように、サブフレーム３０Ｍ及び３０Ｎの２位置処理により生成される高解像度画素１４０６は、それぞれ面積Ａを有するものと仮定された。これに対し、図２４に示すサブフレーム３０Ｓ及び３０Ｔの場合、これらサブフレームは、２つの矩形格子を重ね合わせることから形成される「仮想的な」菱形格子上にある高解像度画素１５５８Ａ及び１５５８Ｂを生成するものと仮定される。この菱形格子が「仮想的」と言われる理由は、この菱形格子が実際の表示に使用されるのではなく、最適なサブフレーム画素値の計算に使用されることを前提としているからである。各画素１５５６が面積Ａを有するものと仮定すると、各高解像度画素１５５８Ａ及び１５５８Ｂは、画素１５５６の２倍の面積（すなわち、２×Ａ）を有することになる。また、各高解像度画素１５５８Ａ及び１５５８Ｂは、サブフレームの画素１５５２Ａ〜１５５２Ｄ及び１５５４Ａ〜１５５４Ｄの面積の半分の面積を有することになる。これに対し、各高解像度画素１４０６（図２０）は、サブフレーム画素１４０２Ａ〜１４０２Ｄ及び１４０４Ａ〜１４０４Ｄの面積の１／４の面積を有する。
【０１９０】
図２４に示すように、サブフレーム３０Ｓ及び３０Ｔ内の幾つかの低解像度画素は、各高解像度画素１５５８Ａ及び１５５８Ｂの形成に貢献する。たとえば、画素１５５８Ａは、サブフレーム３０Ｓ内の４個の画素１５５２Ａ〜１５５２Ｄのそれぞれの１／８及びサブフレーム３０Ｔ内の画素１５５４Ａの半分から形成される。同様に、画素１５５８Ｂは、サブフレーム３０Ｔ内の４個の画素１５５４Ａ〜１５５４Ｄのそれぞれの１／８及びサブフレーム３０Ｓ内の画素１５５２Ｄの半分から形成される。これらの画素の貢献度を知ることは、矩形２位置処理に基づいて擬似高解像度画像を生成するシステムを開発する際に有用である。本発明の一形態では、サブフレーム３０Ｓ及び３０Ｔの最適画素値は、菱形格子上に配置された所望の高解像度画像２８（図１１）と擬似高解像度画像との間の誤差メトリックの最小化に基づいて生成される。
【０１９１】
図２５は、本発明の一実施形態による矩形格子上のサブフレームに基づいて擬似高解像度画像１６０８を菱形格子上に生成するシステム１６００を示すブロック図である。図２５に示す実施形態では、サブフレーム３０Ｕは８×８画素アレイである。サブフレーム３０Ｕは、矩形格子上に矩形画素を有する２つの１６画素サブフレームの画素データを含む。画素１６０２Ａは、矩形格子上の第１の１６画素サブフレームの画素を表わし、画素１６０２Ｂは、矩形格子上の第２の１６画素サブフレームの画素を表わす。網掛けなしで示されるサブフレーム３０Ｕ内の残りの画素は、値０を有する画素を表す。
【０１９２】
サブフレーム３０Ｕは、畳み込みステージ１６０６において補間フィルタを使用して畳み込まれ、その結果、菱形格子上に３２個の菱形画素１６１０を有する擬似高解像度画像１６０８が生成される。図示の実施形態では、補間フィルタは４つのフィルタ係数「１／８」及び１つのフィルタ係数「１／２」を有する。畳み込みの中心は、フィルタの中央位置（すなわち、フィルタ係数「１／２」を有する位置）である。図２４を参照して上述したように、サブフレーム３０Ｓ及び３０Ｔ内の幾つかの低解像度画素は、各高解像度画素１５５８Ａ及び１５５８Ｂの形成に貢献する。補間フィルタのレイアウト及びフィルタ係数の値は、図２４に図示し上で説明したそれらの画素の貢献度に基づいて選択される。
【０１９３】
一実施形態において、システム１６００は、数学的には、擬似高解像度画像１６０８と元の高解像度画像２８との間の差を測定する誤差コスト式によって表される。一実施形態において、擬似高解像度画像１６０８と元の高解像度画像２８は両方とも菱形格子上に配置される。最適なサブフレームは、誤差コスト式を解き、擬似高解像度画像１６０８と所望の高解像度画像２８との間の誤差が最小となるサブフレームデータ３０Ｕを求めることによって識別される。一実施形態では、上述した空間領域アルゴリズムに基づいて、空間領域における広域最適解を得る。他の実施形態では、上述した周波数領域アルゴリズムに基づいて、周波数領域における広域最適解を得る。さらに他の実施形態では、上述した適応マルチパスアルゴリズムに基づいて、局所最適解を得る。
【０１９４】
誤差コスト式を解くことによって得られる最適サブフレームデータを使用して、矩形画素を有する矩形格子上に２つの１６画素サブフレームが生成され、それらのサブフレームが、表示装置２６によって２位置処理を用いて表示される。サブフレーム画素１６０２Ａ及び１６０２Ｂは、擬似高解像度画像１５０８（それに対応して所望の高解像度画像２８）の画素１６１０と同数だけ存在する。従って、菱形サンプリングフォーマットから矩形表示フォーマットへの変換を行い、適応マルチパスアルゴリズムに基づいて最適なサブフレーム画素値を生成することにより、誤差の平均化は不要となり、同等の画質を得ながらも、同等の矩形サンプリング画像と同じ解像度を生成するために必要なデータレートは半分になる。データレートが半分になるため、必要なメモリは少なくなり、行わなければならない計算回数も、矩形ディスプレイ上に表示される同等の矩形サンプリング画像の場合より少なくなる。
【０１９５】
好ましい実施形態を説明するために、特定の幾つかの実施形態について図示説明してきたが、本発明の範囲から外れることなく、図示説明したそれらの特定の実施形態に代えて、非常に様々な代替実施形態及び等価実施形態が可能であることは、当業者には明らかであろう。機械、電気機械、電気、及び、コンピュータの分野の当業者は、本発明が非常に様々な実施形態で実施できることを直ぐに理解するであろう。本願は、本明細書に記載した好ましい実施形態に対する代替実施形態や変更実施形態を全て範囲に含めることを意図している。従って、当然ながら、本発明は、特許請求の範囲の記載及びその均等によってのみ規定されることが意図される。
【図面の簡単な説明】
【０１９６】
【図１】本発明の一実施形態による画像表示システムを示すブロック図である。
【図２Ａ】本発明の一実施形態による２つのサブフレームの表示を示す概略図である。
【図２Ｂ】本発明の一実施形態による２つのサブフレームの表示を示す概略図である。
【図２Ｃ】本発明の一実施形態による２つのサブフレームの表示を示す概略図である。
【図３Ａ】本発明の一実施形態による４つのサブフレームの表示を示す概略図である。
【図３Ｂ】本発明の一実施形態による４つのサブフレームの表示を示す概略図である。
【図３Ｃ】本発明の一実施形態による４つのサブフレームの表示を示す概略図である。
【図３Ｄ】本発明の一実施形態による４つのサブフレームの表示を示す概略図である。
【図３Ｅ】本発明の一実施形態による４つのサブフレームの表示を示す概略図である。
【図４Ａ】本発明の一実施形態による画像表示システムによる画素の表示を示す概略図である。
【図４Ｂ】本発明の一実施形態による画像表示システムによる画素の表示を示す概略図である。
【図４Ｃ】本発明の一実施形態による画像表示システムによる画素の表示を示す概略図である。
【図４Ｄ】本発明の一実施形態による画像表示システムによる画素の表示を示す概略図である。
【図４Ｅ】本発明の一実施形態による画像表示システムによる画素の表示を示す概略図である。
【図５】本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図６】本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図７】本発明の一実施形態による擬似高解像度画像を生成するシステムを示すブロック図である。
【図８】本発明の一実施形態による個別アップサンプリングに基づく、２位置処理のための擬似高解像度画像を生成するシステムを示すブロック図である。
【図９】本発明の一実施形態による非個別アップサンプリングに基づく、２位置処理のための擬似高解像度画像を生成するシステムを示すブロック図である。
【図１０】本発明の一実施形態による４位置処理のための擬似高解像度画像を生成するシステムを示すブロック図である。
【図１１】本発明の一実施形態による、擬似高解像度画像と所望の高解像度画像の比較を示すブロック図である。
【図１２】本発明の一実施形態によるサブフレームのアップサンプリングの周波数領域における影響を示す図である。
【図１３】本発明の一実施形態によるアップリングサンプリングされたサブフレームのシフトの周波数領域における影響を示す図である。
【図１４】本発明の一実施形態によるアップサンプリング画像内の画素の影響領域を示す図である。
【図１５】本発明の一実施形態による適応マルチパスアルゴリズムに基づく最初の擬似高解像度画像の生成を示す図である。
【図１６】本発明の一実施形態による適応マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１７】本発明の一実施形態による適応マルチパスアルゴリズムに基づく更新されたサブフレームの生成を示す図である。
【図１８】本発明の他の実施形態による適応マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１９Ａ】本発明の一実施形態による矩形格子上の矩形画素を示す図である。
【図１９Ｂ】本発明の一実施形態による菱形格子上の菱形画素を示す図である。
【図２０】本発明の一実施形態による、矩形格子上の矩形画素を有する２つのサブフレームの表示、及び、サブフレーム間の斜めオフセットを示す図である。
【図２１】本発明の一実施形態による、菱形格子上の菱形画素を有する２つのサブフレームの表示、及び、サブフレーム間の水平オフセットを示す図である。
【図２２】本発明の一実施形態による、菱形格子上のサブフレームに基づいて擬似高解像度画像を矩形格子上に生成するシステムを示すブロック図である。
【図２３】本発明の一実施形態による、菱形格子上の画像に基づいて、擬似高解像度画像を矩形格子上に生成するシステムを示すブロック図である。
【図２４】本発明の一実施形態による、矩形格子上の矩形画素を有する２つのサブフレームの表示、及び、サブフレーム間の斜めオフセットを示す図である。
【図２５】本発明の一実施形態による、矩形格子上のサブフレームに基づいて、擬似高解像度画像を菱形格子上に生成するためのシステムを示すブロック図である。
【図１】
2007510186.tif 000028
【図２Ａ】
2007510186.tif 000029
【図２Ｂ】
2007510186.tif 000030
【図２Ｃ】
2007510186.tif 000031
【図３Ａ】
2007510186.tif 000032
【図３Ｂ】
2007510186.tif 000033
【図３Ｃ】
2007510186.tif 000034
【図３Ｄ】
2007510186.tif 000035
【図３Ｅ】
2007510186.tif 000036
【図４Ａ】
2007510186.tif 000037
【図４Ｂ】
2007510186.tif 000038
【図４Ｃ】
2007510186.tif 000039
【図４Ｄ】
2007510186.tif 000040
【図４Ｅ】
2007510186.tif 000041
【図５】
2007510186.tif 000042
【図６】
2007510186.tif 000043
【図７】
2007510186.tif 000044
【図８】
2007510186.tif 000045
【図９】
2007510186.tif 000046
【図１０】
2007510186.tif 000047
【図１１】
2007510186.tif 000048
【図１２】
2007510186.tif 000049
【図１３】
2007510186.tif 000050
【図１４】
2007510186.tif 000051
【図１５】
2007510186.tif 000052
【図１６】
2007510186.tif 000053
【図１７】
2007510186.tif 000054
【図１８】
2007510186.tif 000055
【図１９Ａ】
2007510186.tif 000056
【図１９Ｂ】
2007510186.tif 000057
【図２０】
2007510186.tif 000058
【図２１】
2007510186.tif 000059
【図２２】
2007510186.tif 000060
【図２３】
2007510186.tif 000061
【図２４】
2007510186.tif 000062
【図２５】
2007510186.tif 000063
【国際調査報告】
2007510186.tif 000064
2007510186.tif 000065
2007510186.tif 000066