(57)【要約】【課題】ディスプレイ装置の信号処理部に使用される画像拡大方法においてぼけた拡大画像になる問題点を解決し、鮮鋭感のある拡大画像を得ることを目的とする。【解決手段】入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の４成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。【選択図】  図１
2004260682.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップと、前記高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法。
【請求項２】
前記推測した高周波成分が含まれた画像パターンはステップ信号またはインパルス信号を空間周波数領域に変換したパターンであることを特徴とする請求項１記載の画像拡大方法。
【請求項３】
入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンから高周波成分を推測し、前記画像パターンに前記高周波成分を付加するステップと、前記高周波成分を付加された画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法。
【請求項４】
前記高周波成分はステップ信号またはインパルス信号を空間周波数領域に変換した周波数成分の一部または全領域であることを特徴とする請求項３記載の画像拡大方法。
【請求項５】
入力画像を補間して拡大する画像拡大方法であって、前記入力画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンを生成するステップと、前記推測した高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法。
【請求項６】
前記推測した高周波成分が含まれた画像パターンはステップ信号またはインパルス信号を空間周波数領域に変換したパターンであることを特徴とする請求項５記載の画像拡大方法。
【請求項７】
入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記入力画像を前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップから拡大画像を得る画像拡大方法。
【請求項８】
前記推測した高周波成分が含まれた画像パターンはステップ信号またはインパルス信号を帯域制限したものであることを特徴とする請求項７記載の画像拡大方法。
【請求項９】
前記空間周波数領域に変換する方法と前記空間領域に変換する方法は直交変換であることを特徴とする請求項１、請求項３、請求項５、請求項７いずれか記載の画像拡大方法。
【請求項１０】
前記空間周波数領域に変換する方法と前記空間領域に変換する方法ははフーリエ変換、離散コサイン変換、ウェーブレット変換のいずれかまたはそれらの組み合わせであることを特徴とする請求項１、請求項３、請求項５、請求項７いずれか記載の画像拡大方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データを補間して拡大画像を生成する画像拡大方法に関するものである。
【０００２】
【従来の技術】
画像拡大は大画面プラズマテレビ、大画面液晶テレビ、プロジェクタなど大画面高精細ディスプレイに比較的低解像度のソース（たとえばＮＴＳＣ、ＰＡＬ方式映像信号）を表示する際に必須の技術となっている。近年、向上したディスプレイの表示能力を十分生かすため鮮鋭感の高い画像拡大方式が求められている。
【０００３】
先ず一般的なディスプレイの信号処理について説明する。図２１は液晶プロジェクタの信号処理部の概略ブロック図である。液晶などのドットマトリクスディスプレイでは表示デバイスに解像度を合わせる解像度変換が必要である。この際、低解像度ソース画像を高解像度表示デバイスに表示する際に画像拡大が必要となる。液晶プロジェクタでは図２１の２１０１のように種々の解像度の映像信号を２１０２入力回路でＡＤ変換や同期分離などを行い２１０３解像度変換回路で２１０５液晶パネルの解像度に変換する。ここに画像拡大が必要となる。一般的にはバイリニア法、キュービックコンボリューション法などの線形フィルタによる画像拡大方法が用いられている。解像度変換された画像は２１０４液晶駆動回路で多相変換など液晶パネル表示に適した信号フォーマットに変換され２１０５液晶パネル上に画像が表示される。この画像を２１０６ランプユニットで照射して２１０７投射レンズで投影され２１０８スクリーンに画像が表示される。
【０００４】
以下に従来の画像拡大方法について説明する。
【０００５】
従来、画像拡大方法は特許第３３０２７３１号に記載されたものが知られている。その画像拡大方法を図２２に示す。図２２は従来の画像拡大方法のＤＣＴを用いたゲルヒベルグ−パポリス反復法の説明図を示すものである。今、２２０１に示すＮ×Ｎ画素の元画像がありそれをｍ倍に拡大したｍＮ×ｍＮ画素の画像を作ることを想定しステップごとに処理を説明する。
【０００６】
２２０２のように画像の空間的な広がりを限定させるために、Ｎ×Ｎ画素の元画像の周りに画素値をｌとした画像を付け、ｎＮ×ｎＮ画素の画像に拡張する。今後この部分を拡張領域と呼ぶ。
【０００７】
この画像を２次元ＤＣＴにより変換し、２２０３に示すＤＣＴ領域の画像を得る。
【０００８】
拡大率に応じた高周波帯まで周波数領域を拡張した２２０４を得る。このとき高周波成分は０であり、拡張されたサイズはｎｍＮ×ｎｍＮ画素分になる。
【０００９】
周波数拡張されたＤＣＴ成分を２次元逆ＤＣＴ（ＩＤＣＴ）によって逆変換する。２２０５に示すこのとき得られた画像はｎｍＮ×ｎｍＮ画素の画像であり、その中心部のｍＮ×ｍＮ画素分ａが拡大画像である。
【００１０】
その中心部のｍＮ×ｍＮ画素分ａの外側（拡張領域）は、既にその画素値がｌであることがわかっているので、正しい値に修正し２２０６に示す画像を得る。この操作が空間的領域制限である。
【００１１】
拡張領域を修正した画像をＤＣＴによって変換し２２０７に示すＤＣＴ領域の画像を得る。このときの周波数成分はｂである。
【００１２】
低周波側は既知情報として周波数成分ａであることがわかっているので、低周波成分を成分ａに置き換え２２０８に示すＤＣＴ領域の画像を得る。
【００１３】
ＩＤＣＴにより逆変換をし２２０９に示す画像を得る。
【００１４】
ステップ２２０５〜２２０８の処理を繰り返す。
【００１５】
【特許文献１】
特許第３３０２７３１号公報、４頁
【非特許文献１】
新堀英二、高木幹雄著「ＤＣＴを用いたＧｅｒｃｈｂｅｒｇ（ゲラヒベルグ）−Ｐａｐｐｏｕｌｉｓ（パポリス）の反復法を適用した高画質画像拡大」１９９３年９月、電子情報通信学会論文誌Ｄ−ＩＩ  Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ  Ｎｏ．９  １９３３頁
【００１６】
【発明が解決しようとする課題】
しかしながら上記の従来の方法では、画像の空間的な広がりが限定されていることと、通過帯域内の正しい情報が既知であることの拘束条件のみから高周波成分を再現しようとしており、拘束条件が不十分なため高周波成分を十分に再現することができず鮮鋭感のある拡大画像が得られないという問題点を有していた。
【００１７】
本発明は上記従来の問題点を解決するもので鮮鋭感のある拡大画像を得る拡大方式を提供することを目的とする。
【００１８】
【課題を解決するための手段】
この目的を達成するために本発明の画像拡大方法は、入力画像を周波数領域に変換して画像パターンを抽出し、そこから高周波成分が含まれた画像パターンを推測してその画像パターンに置き換えることにより鮮鋭感のある拡大画像が得られる。
【００１９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップと、前記高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法としたものである。
【００２０】
本発明の請求項３に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンから高周波成分を推測し、前記画像パターンに前記高周波成分を付加するステップと、前記高周波成分を付加された画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法としたものである。
【００２１】
本発明の請求項５に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンを生成するステップと、前記推測した高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法としたものである。
【００２２】
本発明の請求項７に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記入力画像を前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップから拡大画像を得る画像拡大方法したものである。
【００２３】
いずれの発明も、鮮鋭感のある拡大画像が得られるという作用を有する。
【００２４】
以下、本発明の実施の形態について図１から図６を用いて説明する。
【００２５】
（実施の形態１）
図１は本発明の画像拡大方法のフローチャートであり、図２は元画像の離散ウェーブレット変換の周波数帯域分割の図で空間周波数成分を表し、水平垂直軸はそれぞれ水平、垂直周波数軸であり、図３は２倍拡大の場合の離散ウェーブレット変換の周波数帯域分割の図で空間周波数成分を表し、水平垂直軸はそれぞれ水平、垂直周波数軸であり、図４は各処理ステップでの波形図である。図２１の液晶プロジェクタの２１０３解像度変換回路に本発明を適用した場合でありたとえばＣＰＵによって実現される。一部または全部を専用ハードウェアで実現することも出来る。
【００２６】
先ず図２と図３を用いて空間周波数領域で考えた拡大について説明する。画像を離散ウェーブレット変換すると低周波成分と高周波成分に２分される。画像の場合２次元であるので図２のように水平、垂直のそれぞれの低周波成分と高周波成分の分離で４成分が得られる。水平−低域、垂直−低域成分の２０１、水平−高域、垂直−低域成分の２０２、水平−低域、垂直−高域成分の２０３、水平−高域、垂直−高域成分の２０４の４成分である。図２ではそれぞれ順にＬＬ、ＨＬ、ＬＨ、ＨＨと表記している。以後２０２ＨＬなどと表記する。また分離した４成分を用いて離散逆ウェーブレット変換を行うと元の画像が再現される。２倍拡大の場合、図３に示すように図２の２倍の帯域の４成分、３０１の水平−低域、垂直−低域成分（ＬＬ）、３０２の水平−高域、垂直−低域成分（ＨＬ）、３０３の水平−低域、垂直−高域成分（ＬＨ）、３０４の水平−高域、垂直−高域成分（ＨＨ）を用意し逆ウェーブレット変換を行うと２倍拡大画像が得られる。ここで元画像は図２で４成分全部が図３の３０１ＬＬと同等であるが、３０２ＨＬ、３０３ＬＨ、３０４ＨＨは存在しない。３０２ＨＬ、３０３ＬＨ、３０４ＨＨに０を入れて離散逆ウェーブレットを行えば一応、水平、垂直それぞれ２倍の拡大画像が得られるが必要な高周波成分がないので鮮鋭感のないぼけた拡大画像となる。そこで何らかの方法で高周波成分３０２ＨＬ、３０３ＬＨ、３０４ＨＨを予測しなければならない。本実施例では３０２ＨＬは２０２ＨＬから、３０３ＨＬは２０３ＨＬから、３０４ＨＬは２０４ＨＬからそれぞれ予測する。さらに説明を容易にするため本発明の実施例では２０２ＨＬと３０２ＨＬのあるラインの数ドットを抜き出し１次元のパターンとして説明するが同様の処理を全画像領域にわたって行っている。より精密な拡大にはパターンの処理を２次元で行い、３０２ＨＬ、３０３ＬＨ、３０４ＨＨを図２の４成分すべて用いて予測することも可能である。また離散ウェーブレット変換の多重解像度解析の観点から２０１ＬＬをさらに離散ウェーブレット変換した結果をも用いて、さらにより精密な予測を行うことも可能である。
【００２７】
以後、図２の入力画像の領域で用いる高周波成分という用語は２０２ＨＬ、２０３ＬＨ、２０４ＨＨに属する周波数成分を意味し、図３の拡大画像の領域で用いる高周波成分という用語は３０２ＨＬ、３０３ＬＨ、３０４ＨＨに属する周波数成分を意味するものとする。これは離散ウェーブレット変換で帯域を２分した場合それぞれの解像度で周波数が高い領域を高周波成分と呼ぶためである。
【００２８】
次に図１、図２、図３を用いて本発明の処理手順を説明する。
【００２９】
（ステップ１０１）入力画像全体を離散ウェーブレット変換し図２に示すような低周波成分２０１ＬＬと高周波成分２０２ＨＬ、２０３ＬＨ、２０４ＨＨに分離する。
【００３０】
（ステップ１０２）図２の２０２ＨＬ、２０３ＬＨ、２０４ＨＨで示す高周波成分それぞれで領域分割、規格化などを行い、パターンを検出する。
【００３１】
（ステップ１０３）パターンデータベースから一致するパターンを検索し、一致した場合はステップ１０４へ一致しなかった場合はステップ１０５へ行く。
【００３２】
（ステップ１０４）高周波成分を含んだパターンと置換する。この際２０２ＨＬに属するパターンは３０２ＨＬに、２０３ＬＨに属するパターンは３０３ＬＨに、２０４ＨＨに属するパターンは３０４ＨＨの成分のパターンに置換されると同時に水平垂直の画素数をそれぞれ２倍にする。一致しなかった場合はパターンを置換せず画素数を２倍にする。したがって一致しなかった場合は対応する座標の拡大画像の高周波成分は０となる。この場合精細感のある拡大画像は得られないが誤った高周波成分を生成して画質を劣化させるよりはよい。ステップ１０２からステップ１０４の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【００３３】
（ステップ１０５）離散逆ウェーブレット変換を画像全体に対して行い、拡大画像を得る。
【００３４】
さらにステップ１０２、１０３、１０４の処理について具体的なパターン例を用いて説明する。図４は入力画像と図２の高周波成分２０２ＨＬのあるラインを水平方向に見たときの数ドットを示したものである。４０１は入力画像、４０２は４０１の高周波成分である。図５は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。５０１は入力画像４０１をフィルタでそのまま拡大した場合、５０２は本実施例の方法で拡大した場合の画像である。図６は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図７は図６に対応して図３の高周波成分３０２ＨＬの出力パターンデータベースである。図６、図７のパターンはともに高周波成分パターンである。高周波成分６０１は高周波成分７０１に、高周波成分６０２は高周波成分７０２に、高周波成分６０３は高周波成分７０３に、高周波成分６０４は高周波成分７０４に置換するように対応している。これらのパターンデータベースは視覚的な知見と膨大な量の画像を統計解析して最も画質的に良い結果が得られるパターンを選んでいる。
【００３５】
入力画像４０１の高周波成分が４０２のように検出されたとき、図６に示すデータベースの４パターンの中から最も近いパターンを検索する。ここでは６０１のパターンを最も近いパターンとして採用する。次に６０１のパターンに対応する６０１パターンにはない高周波成分を含んだパターン７０１に置換する。入力画像４０１の高周波成分４０２のままでは図３の高周波成分３０２ＨＬでは０となり、拡大画像５０１と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分４０２を図３の高周波成分３０２ＨＬで０以外の有効な値を持つ高周波成分７０１に置換することにより、鮮鋭感のある拡大画像５０２が得られる。
【００３６】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の４成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。
【００３７】
なお、以上の説明では比較する対象として高周波成分４０２のように離散ウェーブレット変換した結果のみを用いているが入力画像４０１も同時に比較対象にすることもできる。
【００３８】
（実施の形態２）
図１は本発明の画像拡大方法のフローチャートであり、図８は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図９は図８に対応して図３の高周波成分３０２ＨＬの出力パターンデータベースである。
【００３９】
空間周波数領域で考えた拡大の概念と本発明の処理手順は実施の形態１と同様であるので省略する。
【００４０】
さらにステップ１０２、１０３、１０４の処理について具体的なパターン例を用いて説明する。図４は図２の高周波成分２０２ＨＬのあるラインを水平方向に見たときの数ドットを示したものである。図８は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図９は図８に対応して図３の高周波成分３０２ＨＬの出力パターンデータベースである。図８、図９のパターンはともに高周波成分パターンである。高周波成分８０１は高周波成分９０１に、高周波成分８０２は高周波成分９０２に、高周波成分８０３は高周波成分９０３に置換するように対応している。このパターンはステップ信号を帯域制限した信号を離散ウェーブレット変換した高周波成分で８０１から８０３まで順番に帯域制限の帯域幅が狭くなる。これらパターンには視覚的に鮮鋭感に重要なステップ信号を帯域制限の幅ごとに検出しようとする意図があり、これらパターンの検出により入力信号のステップ信号が精密に検出できる。入力画像４０１の高周波成分が４０２のように検出されたとき、図８に示すデータベースの３パターンの中から最も近いパターンを検索する。ここでは８０２のパターンを最も近いパターンとして採用する。次に８０２のパターンに対応する高周波成分を含んだパターン９０２に置換する。入力画像４０１の高周波成分４０２のままでは図３の高周波成分３０２ＨＬでは０となり、拡大画像５０１と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分４０２を図３の高周波成分３０２ＨＬで０以外の有効な値を持つ高周波成分９０２に置換することにより、鮮鋭感のある拡大画像５０２が得られる。
【００４１】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の４成分を得、その画像パターンからステップ信号を離散ウェーブレット変換した比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより視覚的に重要なステップ信号に高周波成分を付加して鮮鋭感のある拡大画像が得られる。
【００４２】
なお、以上の説明では比較する対象として高周波成分４０２のように離散ウェーブレット変換した結果のみを用いているが入力画像４０１も同時に比較対象にすることもできる。
【００４３】
（実施の形態３）
図１０は本発明の画像拡大方法のフローチャートである。図１１は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図１２は図１１に対応して入力画像４０１の高周波成分４０２に付加する高周波成分データベースである。
【００４４】
空間周波数領域で考えた拡大の概念は実施の形態１と同様であるので省略する。
【００４５】
次に図１０、図２、図３を用いて本発明の処理手順を説明する。
【００４６】
（ステップ１００１）入力画像全体を離散ウェーブレット変換し図２に示すような低周波成分２０１ＬＬと高周波成分２０２ＨＬ、２０３ＬＨ、２０４ＨＨに分離する。
【００４７】
（ステップ１００２）図２の２０２ＨＬ、２０３ＬＨ、２０４ＨＨで示す高周波成分それぞれで領域分割、規格化などを行い、パターンを検出する。
【００４８】
（ステップ１００３）パターンデータベースから一致するパターンを検索し、一致した場合はステップ１００４へ一致しなかった場合はステップ１００５へ行く。
【００４９】
（ステップ１００４）入力画像の高周波成分は２０２ＨＬ、２０３ＬＨ、２０４ＨＨに属するが、さらに高周波成分を付加することによりそれぞれ３０２ＨＬ、３０３ＬＨ、３０４ＨＨの高周波成分が生成される。同時に水平垂直の画素数をそれぞれ２倍にする。一致しなかった場合は高周波成分を付加しないので対応する座標の３０２ＨＬ、３０３ＬＨ、３０４ＨＨの高周波成分は０となる。ステップ１００２からステップ１００４の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【００５０】
（ステップ１００５）離散逆ウェーブレット変換を画像全体に対して行い、拡大画像を得る。
【００５１】
さらにステップ１００２、１００３、１００４の処理について具体的なパターン例を用いて説明する。図４は入力画像と図２の高周波成分２０２ＨＬのあるラインを水平方向に見たときの数ドットを示したものである。４０１は入力画像、４０２は４０１の高周波成分である。図５は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。５０１は入力画像４０１をフィルタでそのまま拡大した場合、５０２は本実施例の方法で拡大した場合の画像である。図１１は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図１２は図１１に対応して図３の高周波成分３０２ＨＬの付加する高周波成分データベースである。図１１、図１２のパターンはともに高周波成分パターンである。高周波成分１１０１は高周波成分１２０１に、高周波成分１１０２は高周波成分１２０２に、高周波成分１１０３は高周波成分１２０３に、高周波成分１１０４は高周波成分１２０４に対応している。
【００５２】
入力画像４０１の高周波成分が４０２のように検出されたとき、図１１に示すデータベースの４パターンの中から最も近いパターンを検索する。ここでは１１０１のパターンを最も近いパターンとして採用する。次に１１０１のパターンに対応する１１０１パターンにはない高周波成分を含んだパターン１２０１を入力画像４０１の高周波成分４０２に加算する。入力画像４０１の高周波成分が４０２そのままの信号では図３の高周波成分３０２ＨＬでは０となり、拡大画像５０１と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像４０１の高周波成分４０２を図３の高周波成分３０２ＨＬで０以外の有効な値を持つ高周波成分１２０１を付加することにより、鮮鋭感のある拡大画像５０２が得られる。実施の形態１、実施の形態２と異なる点は高周波成分のパターンを置換するのではなくパターン化された高周波成分を入力画像の高周波成分に付加しているところである。これによって入力画像の成分がより保存されパターンの選択を誤ったときでも画質劣化を最小限に抑えることが出来る。
【００５３】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の４成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。
【００５４】
なお、以上の説明では比較する対象として高周波成分４０２のように離散ウェーブレット変換した結果のみを用いているが入力画像４０１も同時に比較対象にすることもできる。
【００５５】
（実施の形態４）
図１０は本発明の画像拡大方法のフローチャートである。図１３は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図１４は図１３に対応して入力画像４０１の高周波成分４０２に付加する高周波成分データベースである。
【００５６】
空間周波数領域で考えた拡大の概念と本発明の処理手順は実施の形態１と同様であるので省略する。
【００５７】
さらにステップ１００２、１００３、１００４の処理について具体的なパターン例を用いて説明する。図４は入力画像と図２の高周波成分２０２ＨＬのあるラインを水平方向に見たときの数ドットを示したものである。４０１は入力画像、４０２は４０１の高周波成分である。図５は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。５０１は入力画像４０１をフィルタでそのまま拡大した場合、５０２は本実施例の方法で拡大した場合の画像である。図１３は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図１４は図１３に対応して図３の高周波成分３０２ＨＬに属する、付加する高周波成分データベースである。図１３、図１４のパターンはともに高周波成分パターンである。高周波成分１３０１は高周波成分１４０１に、高周波成分１３０２は高周波成分１４０２に、高周波成分１３０３は高周波成分１４０３に対応している。図１３のパターンはステップ信号を帯域制限した信号を離散ウェーブレット変換した高周波成分で１３０１から１３０３まで順番に帯域制限の帯域幅が狭くなる。これらパターンには視覚的に鮮鋭感に重要なステップ信号を帯域制限の幅ごとに検出しようとする意図があり、これらパターンの検出により入力信号のステップ信号が精密に検出できる。入力画像４０１の高周波成分が４０２のように検出されたとき、図１３に示すデータベースの３パターンの中から最も近いパターンを検索する。ここでは１３０２のパターンを最も近いパターンとして採用する。次に１３０２のパターンに対応する１３０２パターンにはない高周波成分を含んだパターン１４０２を入力画像４０１の高周波成分４０２に加算する。入力画像４０１の高周波成分４０２のままでは図３の高周波成分３０２ＨＬでは０となり、拡大画像５０１と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分４０２を図３の高周波成分３０２ＨＬで０以外の有効な値を持つ高周波成分９０２に置換することにより、鮮鋭感のある拡大画像５０２が得られる。
【００５８】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の４成分を得、その画像パターンからステップ信号を離散ウェーブレット変換した比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより視覚的に重要なステップ信号に高周波成分を付加して鮮鋭感のある拡大画像が得られる。
【００５９】
なお、以上の説明では比較する対象として高周波成分４０２のように離散ウェーブレット変換した結果のみを用いているが入力画像４０１も同時に比較対象にすることもできる。
【００６０】
（実施の形態５）
図１５は本発明の画像拡大方法のフローチャートであり、図１６は入力画像の比較パターンデータベースである。図１７は図１６に対応して図３の高周波成分３０２ＨＬの出力パターンデータベースである。
【００６１】
空間周波数領域で考えた拡大の概念は実施の形態１と同様であるので省略する。
【００６２】
次に図１５、図２、図３を用いて本発明の処理手順を説明する。
【００６３】
（ステップ１５０１）入力画像を水平、垂直、斜め成分抽出、領域分割、規格化などを行い、パターンを検出する。
【００６４】
（ステップ１５０２）パターンデータベースから一致するパターンを検索し、一致した場合はステップ１５０３へ一致しなかった場合はステップ１５０４へ行く。
【００６５】
（ステップ１５０３）高周波成分を含んだ高周波成分パターンを生成する。３０２ＨＬ、３０３ＬＨ、３０４ＨＨの成分のパターンをそれぞれ生成すると同時に水平垂直の画素数をそれぞれ２倍にする。
【００６６】
（ステップ１５０４）一致しなかった場合の処理。高周波成分として０を生成する。この場合精細感のある拡大画像は得られないが誤った高周波成分を生成して画質を劣化させるよりはよい。ステップ１５０１からステップ１５０４の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【００６７】
（ステップ１５０５）離散逆ウェーブレット変換を画像全体に対して行い、拡大画像を得る。
【００６８】
さらにステップ１５０２、１５０３、１５０４の処理について具体的なパターン例を用いて説明する。図４は入力画像と図２の高周波成分２０２ＨＬのあるラインを水平方向に見たときの数ドットを示したものである。ただし本実施例では入力画像の離散ウェーブレット変換を行わないので入力画像４０１のみが必要である。図５は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。５０１は入力画像４０１をフィルタでそのまま拡大した場合、５０２は本実施例の方法で拡大した場合の画像である。図１６は入力画像の比較パターンデータベースである。図１７は図１６に対応して図３の高周波成分３０２ＨＬの出力パターンデータベースである。比較パターン１６０１は高周波成分１７０１に、比較パターン１６０２は高周波成分１７０２に、比較パターン１６０３は高周波成分１７０３に、比較パターン１６０４は高周波成分１７０４に置換するように対応している。
【００６９】
入力画像４０１は、図１６に示すデータベースの４パターンの中から最も近いパターンを検索する。ここでは１６０１のパターンを最も近いパターンとして採用する。次に１６０１のパターンに対応する１６０１パターンにはない高周波成分を含んだパターン１７０１に置換する。入力画像４０１を線形フィルタで拡大しただけでは図３の高周波成分３０２ＨＬでは０となり、拡大画像５０１と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし図３の高周波成分３０２ＨＬで０以外の有効な値を持つ高周波成分１７０１を発生することにより、鮮鋭感のある拡大画像５０２が得られる。
【００７０】
以上のように本実施の形態によれば入力画像から比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンを発生し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。
【００７１】
（実施の形態６）
図１８は本発明の画像拡大方法のフローチャートである。図１９は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図２０は図１９に対応した出力パターンデータベースでこれらパターンが選択されるとこのまま拡大画像となる。
【００７２】
空間周波数領域で考えた拡大の概念は実施の形態１と同様であるので省略する。
【００７３】
次に図１８、図２、図３を用いて本発明の処理手順を説明する。
【００７４】
（ステップ１８０１）入力画像全体を離散ウェーブレット変換し図２に示すような低周波成分２０１ＬＬと高周波成分２０２ＨＬ、２０３ＬＨ、２０４ＨＨに分離する。
【００７５】
（ステップ１８０２）図２の２０２ＨＬ、２０３ＬＨ、２０４ＨＨで示す高周波成分それぞれで領域分割、規格化などを行い、パターンを検出する。
【００７６】
（ステップ１８０３）パターンデータベースから一致するパターンを検索し、一致した場合はステップ１８０４へ一致しなかった場合はステップ１８０５へ行く。
【００７７】
（ステップ１８０４）高周波成分を含んだパターンを拡大画像として出力する。これら高周波成分を含んだパターンは水平垂直の画素数をそれぞれ２倍になっている。
【００７８】
（ステップ１８０５）一致しなかった場合は入力画像を低域通過フィルタ（ＬＰＦ）で拡大し画素数を水平垂直の画素数をそれぞれ２倍にする。したがって一致しなかった場合は対応する座標の拡大画像の高周波成分は生成されず、精細感のある拡大画像は得られないが誤った高周波成分を生成して画質を劣化させるよりはよい。ステップ１８０２からステップ１８０５の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【００７９】
さらにステップ１８０２、１８０３、１８０４の処理について具体的なパターン例を用いて説明する。図４は入力画像と図２の高周波成分２０２ＨＬのあるラインを水平方向に見たときの数ドットを示したものである。４０１は入力画像、４０２は４０１の高周波成分である。図５は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。５０１は入力画像４０１をフィルタでそのまま拡大した場合、５０２は本実施例の方法で拡大した場合の画像である。図１９は入力画像の高周波成分２０２ＨＬの比較パターンデータベースである。図２０は図１９に対応したそのまま拡大画像となる出力パターンデータベースである。図１９のパターンは高周波成分パターン、図２０のパターンは空間領域の画像パターンである。高周波成分１９０１は画像パターン２００１に、高周波成分１９０２は画像パターン２００２に、高周波成分１９０３は画像パターン２００３に、高周波成分１９０４は画像パターン２００４に対応している。これらのパターンデータベースは視覚的な知見と膨大な量の画像を統計解析して最も画質的に良い結果が得られるパターンを選んでいる。
【００８０】
入力画像４０１の高周波成分が４０２のように検出されたとき、図１９に示すデータベースの４パターンの中から最も近いパターンを検索する。ここでは１９０１のパターンを最も近いパターンとして採用する。次に１９０１のパターンに対応する１９０１パターンにはない高周波成分を含んだパターン２００１を出力する。入力画像４０１の高周波成分４０２のままでは図３の高周波成分３０２ＨＬでは０となり、拡大画像５０１と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分４０２を図３の高周波成分３０２ＨＬで０以外の有効な値を持つ画像パターン２００１を出力することにより、鮮鋭感のある拡大画像５０２が得られる。
【００８１】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の４成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンを拡大画像として出力することにより鮮鋭感のある拡大画像が得られる。
【００８２】
なお、以上の説明では比較する対象として高周波成分４０２のように離散ウェーブレット変換した結果のみを用いているが入力画像４０１も同時に比較対象にすることもできる。
【００８３】
【発明の効果】
以上のように本発明は、有効な高周波成分を付加することができるので鮮鋭感のある画像拡大ができるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１、２における画像拡大方法のフローチャート
【図２】本発明の入力画像の周波数帯域分割図
【図３】本発明の２倍拡大の周波数帯域分割図
【図４】本発明の入力画像とその高周波成分を示した図
【図５】本発明の２通りの拡大画像を示した図
【図６】本発明の実施の形態１における高周波成分推測の説明図
【図７】本発明の実施の形態１における高周波成分推測の説明図
【図８】本発明の実施の形態２における高周波成分推測の説明図
【図９】本発明の実施の形態２における高周波成分推測の説明図
【図１０】本発明の実施の形態３、４における画像拡大方法のフローチャート
【図１１】本発明の実施の形態３における高周波成分推測の説明図
【図１２】本発明の実施の形態３における高周波成分推測の説明図
【図１３】本発明の実施の形態４における高周波成分推測の説明図
【図１４】本発明の実施の形態４における高周波成分推測の説明図
【図１５】本発明の実施の形態５における画像拡大方法のフローチャート
【図１６】本発明の実施の形態５における高周波成分推測の説明図
【図１７】本発明の実施の形態５における高周波成分推測の説明図
【図１８】本発明の実施の形態６における画像拡大方法のフローチャート
【図１９】本発明の実施の形態６における高周波成分推測の説明図
【図２０】本発明の実施の形態６における高周波成分推測の説明図
【図２１】液晶プロジェクタの構成図
【図２２】従来の画像拡大方法の説明図
【符号の説明】
１０１  離散ウェーブレット変換処理
１０２  パターン検出処理
１０３  パターンデータベースと比較処理
１０４  パターン置換処理
１０５  離散逆ウェーブレット変換処理
【図１】
2004260682.tif 000003
【図２】
2004260682.tif 000004
【図３】
2004260682.tif 000005
【図４】
2004260682.tif 000006
【図５】
2004260682.tif 000007
【図６】
2004260682.tif 000008
【図７】
2004260682.tif 000009
【図８】
2004260682.tif 000010
【図９】
2004260682.tif 000011
【図１０】
2004260682.tif 000012
【図１１】
2004260682.tif 000013
【図１２】
2004260682.tif 000014
【図１３】
2004260682.tif 000015
【図１４】
2004260682.tif 000016
【図１５】
2004260682.tif 000017
【図１６】
2004260682.tif 000018
【図１７】
2004260682.tif 000019
【図１８】
2004260682.tif 000020
【図１９】
2004260682.tif 000021
【図２０】
2004260682.tif 000022
【図２１】
2004260682.tif 000023
【図２２】
2004260682.tif 000024