(57)【特許請求の範囲】
【請求項１】
入力画像に対して縮小率が局所的に異なる出力画像を生成する画像処理装置であって、
前記入力画像に対する前記出力画像の注目画素の近傍の局所縮小率を出力する局所縮小率出力手段と、
前記出力画像の注目画素に対応する前記入力画像の対応点と前記入力画像の対応点の近傍に位置する複数の画素との間の複数の距離を、前記局所縮小率を用いて補正することにより、複数の補正距離を出力する補正距離出力手段と、
前記複数の補正距離それぞれに対応する複数のフィルタ係数を出力するフィルタ係数出力手段と、
前記入力画像の対応点の近傍に位置する複数の画素のデータに対して、前記複数のフィルタ係数の和で正規化したフィルタ処理を行うことにより、前記出力画像の注目画素のデータを出力するフィルタ処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理手段は、
前記複数のフィルタ係数をそれぞれ前記複数のフィルタ係数の和で除算した複数の正規化フィルタ係数を出力する正規化手段と、
前記複数の正規化フィルタ係数と前記入力画像の対応点の近傍に位置する複数の画素のデータとの積和演算により、前記出力画像の注目画素のデータを出力するフィルタ演算手段とを有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補正距離出力手段は、前記複数の距離に対して前記局所縮小率を乗算することにより、前記複数の補正距離を出力することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記フィルタ係数出力手段は、補間関数を用いて、前記複数のフィルタ係数を出力することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記局所縮小率出力手段は、ヘッドマウントディスプレイ又は電子ビューファインダの表示光学系の歪を補正するための前記局所縮小率を出力することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記局所縮小率出力手段は、スクリーンに対するプロジェクタの位置に応じて発生する、前記プロジェクタが前記スクリーンに投影する画像の歪を補正するための前記局所縮小率を出力することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像に対して縮小率が局所的に異なる出力画像を生成する画像処理方法であって、
局所縮小率出力手段により、前記入力画像に対する前記出力画像の注目画素の近傍の局所縮小率を出力する局所縮小率出力ステップと、
補正距離出力手段により、前記出力画像の注目画素に対応する前記入力画像の対応点と前記入力画像の対応点の近傍に位置する複数の画素との間の複数の距離を、前記局所縮小率を用いて補正することにより、複数の補正距離を出力する補正距離出力ステップと、
フィルタ係数出力手段により、前記複数の補正距離それぞれに対応する複数のフィルタ係数を出力するフィルタ係数出力ステップと、
フィルタ処理手段により、前記入力画像の対応点の近傍に位置する複数の画素のデータに対して、前記複数のフィルタ係数の和で正規化したフィルタ処理を行うことにより、前記出力画像の注目画素のデータを出力するフィルタ処理ステップとを有することを特徴とする画像処理方法。
【請求項８】
コンピュータを請求項１〜６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
入力画像を拡大又は縮小して出力画像を作成する場合、出力画像の各画素の階調値は、出力画像の各画素位置が入力画像のどの画素位置に対応しているのかという情報を基に求める必要がある。出力画像の各画素の、入力画像における対応位置は、必ずしも入力画像の画素位置自体には一致するとは限らないため、画像の拡大又は縮小の際には入力画像の画素位置間の階調値を補間により求める必要がある。階調値の補間計算方法としては、バイリニア補間法やバイキュービック補間法等が知られている。
【０００３】
入力画像を縮小する場合、モアレと呼ばれる画像劣化が生じることが知られている。これは、サンプリング定理によって説明される折り返し歪みであり、画像の縮小時に画像の空間周波数が適切に制限されていない場合に生じるものである。縮小によって発生するモアレを防ぐには、入力画像にあらかじめローパスフィルタをかけることで帯域制限を行う必要がある。ただし、過剰なローパスフィルタ処理を行うと、画像のコントラストが低下し、ボケたように見えるため、ローパスフィルタ処理は画像の高周波成分の抑制を過不足なく適切に行う必要がある。ローパスフィルタの周波数特性や、ローパスフィルタ処理自体の有無は、一般的には、モアレと画像のボケと演算の負荷とのバランスを考慮して適宜選択されている。
【０００４】
特許文献１には、画像をディジタル化して表す画像データに対し、画像データに含まれる画素のデータを間引く処理を施す画像間引き手段を有する画像処理装置が開示されている。帯域制限手段は、画像間引き手段によって画素のデータが間引かれた画像データの周波数帯域を制限する。補間手段は、帯域制限手段によって周波数帯域の制限を受けた画像データを補間する。
【０００５】
特許文献２には、入力画像データを幾何学変換して出力画像データを出力する画像変換装置が開示されている。座標逆変換部は、幾何学変換に基づいて出力画像データの座標系における座標値を入力画像データの座標系における座標値に逆変換する。また、座標逆変換部は、入力画像データの座標系の各画素間の領域を複数の区分に分割したときに、逆変換された座標値のうち同一の区分に属する座標値をランダムに変更する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２０８９８３号公報
【特許文献２】特開２００７−３５０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像全体で縮小率が均一である変形を行う場合は、入力画像全体に対して単一のローパスフィルタをかけることで、画像全体で過不足の無い帯域制限を行う事が基本的には可能であるといえる。しかし、局所的に縮小率又は拡大率が異なるような不均一な画像の変形（本明細書では「幾何学的変形」という）を行う場合には、課題が生じる。幾何学的変形を行う場合、画像全体に一様に単一のローパスフィルタをかけてしまうと、場所によってはローパスフィルタの効果が不足でモアレが出たり、又は逆に、場所によってはローパスフィルタの効果が過剰で画像が必要以上にボケるといった課題が生じる。
【０００８】
このような幾何学的変形を行う例としては、ヘッドマウントディスプレイ（ＨＭＤ）やデジタルカメラの電子ビューファインダ（ＥＶＦ）等の画像観察装置における表示歪補正や、プロジェクタのキーストン補正などが挙げられる。
【０００９】
まず、前者について説明する。ＨＭＤやＥＶＦ等の画像観察装置は、一般的に小型ディスプレイなどの画像表示装置の画像を表示光学系と呼ばれる光学系で拡大し、観察者に提示する装置である。表示光学系に歪曲が残存していた場合、観察者は歪んだ映像を観察することになるため、残存する歪曲が大きい場合には、表示歪補正機能によって表示光学系の歪曲を補正する場合がある。表示歪補正とは、観察者に歪の無い映像を提供するために、画像表示装置に表示する画像自体を、表示光学系の歪を相殺させるように逆に歪ませる手法である。表示歪補正機能によって歪ませた画像を、画像表示装置に表示させ、表示光学系で拡大すると、観察者は表示光学系の歪みが相殺された歪のない画像を観察することができるようになる。基本的にこの表示歪補正では、入力画像を不均一に縮小変形させる必要があるため、適切な帯域制限を行わなければ縮小率が高い画像の場所ではモアレが発生するといった課題が生じる事がある。なお、表示光学系によっては、特定の規則性を見出しづらい複雑な歪曲が発生することもあり、その場合、表示歪補正では歪曲に合わせた複雑な幾何学的変換が必要になる。
【００１０】
次に、後者について説明する。プロジェクタの一種として、小型ディスプレイなどの画像表示装置の画像を、投影光学系を介して正面のスクリーンに投射し、観察者に拡大画像を提示する投射型プロジェクタ（以下、プロジェクタという）が知られている。設置場所等の制約から、プロジェクタをスクリーンに対して正対させられない場合には、スクリーンに投影された画像が幾何学的に歪むことがある。この歪は、一般的にキーストン歪と呼ばれ、プロジェクタの中には、このキーストン歪を補正するキーストン補正機能を有する物がある。補正の一手法として、画像表示装置に表示する画像自体を、キーストン歪を相殺させるように逆に歪ませ、これをスクリーンに投影することで、投影後のスクリーンの映像として歪のない拡大画像を表示させる手法がある。基本的に、この方式のキーストン補正では、画像観察装置の例と同じく、入力画像を不均一に縮小変形させる必要があるため、適切な帯域制限を行わなければ、縮小率が高い画像の場所でモアレが発生するといった課題が生じる事がある。なお、プロジェクタとスクリーンの位置関係が変わった場合には、その都度、キーストン補正で作成すべき幾何学的変形のパターンが変わることになる。
【００１１】
上記の２例を始めとする幾何学的変換を行う場合、縮小率に応じて適切な帯域制限処理を行うことは、様々な縮小率に合わせた膨大な数のローパスフィルタのパターンをあらかじめ用意してかなければならないことを意味し、現実的ではない。特に、表示歪補正の例のように、変形パターンが複雑で、特定の規則性が見られないような幾何学的変形においては、規則性によってフィルタの種類を減らすことも困難である。また、キーストン補正の例のように、幾何学的変形パターン自体が固定でなく、変化させられるような場合には、起こりうる全ての変形パターンに対応するローパスフィルタを準備しておかなければない。このように縮小率が局所的に変化する不均一な画像の幾何学的変形を行う際に、モアレを低減させつつ画像のボケを最小限に抑制するための簡易で効果的な方法は知られていない。
【００１２】
本発明の目的は、簡易な手法で、帯域制限を適切に行い、モアレを低減しつつ画像のボケを抑制することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、入力画像に対して縮小率が局所的に異なる出力画像を生成する画像処理装置であって、前記入力画像に対する前記出力画像の注目画素の近傍の局所縮小率を出力する局所縮小率出力手段と、前記出力画像の注目画素に対応する前記入力画像の対応点と前記入力画像の対応点の近傍に位置する複数の画素との間の複数の距離を、前記局所縮小率を用いて補正することにより、複数の補正距離を出力する補正距離出力手段と、前記複数の補正距離それぞれに対応する複数のフィルタ係数を出力するフィルタ係数出力手段と、前記入力画像の対応点の近傍に位置する複数の画素のデータに対して、前記複数のフィルタ係数の和で正規化したフィルタ処理を行うことにより、前記出力画像の注目画素のデータを出力するフィルタ処理手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、簡易な手法で、帯域制限を適切に行い、モアレを低減しつつ画像のボケを抑制することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態による画像処理装置の構成例を示すブロック図である。
【図２】第１の実施形態による幾何学的変換を示す図である。
【図３】第１の実施形態による注目画素と近傍画素を示す図である。
【図４】第１の実施形態による画像情報を示す図である。
【図５】第１の実施形態によるｃｏｍｂ関数を示す図である。
【図６】第１の実施形態による画像のサンプリング状態を示す図である。
【図７】第１の実施形態による補間関数の周波数特性を示す図である。
【図８】第１の実施形態による画像情報を示す図である。
【図９】第１の実施形態によるｃｏｍｂ関数を示す図である。
【図１０】第１の実施形態による画像縮小を説明する図である。
【図１１】第１の実施形態による補間関数の周波数特性を示す図である。
【図１２】第１の実施形態によるフィルタの周波数特性を示す図である。
【図１３】第２の実施形態による入力画像を示す図である。
【図１４】第２の実施形態による出力画像を示す図である。
【図１５】第２の実施形態によるフィルタの周波数特性の一例を示す図である。
【図１６】第３の実施形態による入力画像を示す図である。
【図１７】第３の実施形態による出力画像の一例を示す図である。
【図１８】第３の実施形態によるフィルタの周波数特性の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態による画像処理装置及び画像処理方法について説明するが、まず本明細書で使用する用語や数値に関して説明する。本明細書では、幾何学的変形を行う前の画像を「入力画像」と称する。また、入力画像に幾何学的変形を施した結果の画像を、「出力画像」と称する。幾何学的変形は、出力画像を構成する特定の「注目画素」位置の階調値を、注目画素が入力画像のどこに位置しているかという対応位置の情報を基に補間演算により計算し、注目画素の出力画像階調値を得るプロセスの繰り返しによって行われるものである。階調値とは、その場所の明るさの情報であり、例えば０〜２５５の値によって表現される場合などがあるが、階調値の表現は必ずしもこれに限るものではない。
【００１７】
本明細書において、画像の縮小率とは、入力画像において１００画素で表現されていた情報が、出力画像において５０画素で表現される場合に、縮小率が０．５であると定義する。二次元的な幾何学的変形においては、縮小率は画像内の場所や方向によって様々であり、例えばある場所の水平方向の縮小率が０．５、垂直方向の縮小率が０．７だが、別の場所では水平方向の縮小率が０．６、垂直方向の縮小率が０．９といった状態である。このように、幾何学的変形では、基本的に縮小率が場所ごとに異なるため、場所ごとの縮小率を「局所縮小率」と称する。なお、幾何学的変形のパターンによっては、局所縮小率がある領域においては等しいという状況もありえる。局所縮小率１．０はその場所において画像情報の大きさが変わらないことを意味し、局所縮小率が１．０よりも大きい場合はその場所において画像情報の大きさが拡大されることを意味する。なお、本発明の実施形態が本質的に効果を発揮するのは、局所縮小率が１．０未満の状況である。よって、局所縮小率が１．０より大きくなる場合には、局所縮小率を１．０として補間計算を行ってもよい。
【００１８】
次に、補間関数について説明する。画像データは、サンプリング位置に対応した離散的な画素位置において、画像の階調値のデータを有している。離散的な画素位置は、一般的には整数値によって表現されるが、非整数の位置に存在する注目画素の階調値を算出する場合には、補間関数を用いて注目画素の階調値を算出する。補間関数の例としては、バイリニア補間関数やバイキュービック補間関数などである。補間関数は、注目画素と近傍画素との距離から、近傍画素との積和演算であるフィルタ演算を行うためのフィルタ係数を計算するための関数である。本明細書での「距離」は、例えば１次元で説明すれば、位置２．３の画素と位置２．０の画素との間の距離は０．３であり、同じく位置３．０の画素と位置４．５の画素との間の距離は１．５である。なお、距離の関数として表される補間関数であれば、どのようなものを利用してもよく、補間関数は上記のバイリニア補間関数やバイキュービック補間関数に限るものではない。
【００１９】
また、本明細書では、画像の高周波数成分を遮断する、もしくは低減させる処理を帯域制限と称する。なお、一般的に画像は、色情報としてＲ（赤）Ｇ（緑）Ｂ（青）等の複数の色データによって構成されることがある。ＲＧＢ等の複数の色データに対して処理が必要な場合は、本発明の実施形態の手法を各色データ毎に適用すればよいことは明らかであるため、本明細書では、色毎のデータの処理については説明しない。
【００２０】
（第１の実施形態）
図１は、本発明の第１の実施形態による画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、変形対応点算出手段１０１、局所縮小率算出手段１０２、補正距離計算手段１０３、フィルタ係数計算手段１０４、入力画像データ保持手段１０６、及びフィルタ処理手段１０７を有する。フィルタ処理手段１０７は、正規化手段１０５及びフィルタ演算手段１１１を有する。画像処理装置１００は、注目画素位置情報１１０を入力し、幾何学的変換のための補間計算を行い、出力画像階調値１０８を出力する。注目画素位置情報１１０は、出力画像の注目画素の位置を示す。変形対応点算出手段１０１は、注目画素位置情報１１０を入力し、注目画素位置情報１１０が入力画像のどの位置に相当しているのかという対応位置情報（変形対応点）を算出する。そして、変形対応点算出手段１０１は、その対応位置情報を局所縮小率算出手段１０２及び入力画像データ保持手段１０６に出力する。なお、変形対応点算出手段１０１は、あらかじめ注目画素位置情報１１０に対する対応位置を全て記憶する手段によって実現してもよいし、又は何らかの関係式によって対応位置が表される場合には、逐次演算して対応位置を計算する手段によって実現してもよい。局所縮小率算出手段１０２は、注目画素位置情報１１０近傍の、入力画像に対する出力画像の局所縮小率を算出し、その局所縮小率を補正距離計算手段１０３に出力する。局所縮小率は、逐次演算して求めても良いし、あらかじめ注目画素位置情報１１０に対する局所縮小率の情報を記憶しておき、これを利用してもよい。補正距離計算手段１０３は、注目画素と近傍点との間の距離と、局所縮小率算出手段１０２により出力された局所縮小率とを基に、補正距離を算出し、その補正距離をフィルタ係数計算手段１０４に出力する。フィルタ係数計算手段１０４は、補正距離を使用して補間関数からフィルタ係数を計算し、そのフィルタ係数をフィルタ処理手段１０７に出力する。入力画像データ保持手段１０６は、入力画像データを保持し、変形対応点算出手段１０１により出力される変形対応点を基に、変形対応点近傍の演算対象画像データ１０９をフィルタ処理手段１０７に出力する。フィルタ演算手段１１１は、入力画像データ保持手段１０６により出力された演算対象画像データ１０９に対し、フィルタ係数計算手段１０４により出力されたフィルタ係数を用いてフィルタ演算を行う。正規化手段１０５は、フィルタ係数の和によって、フィルタ演算手段１１１のフィルタ演算行為を正規化する。フィルタ処理手段１０７は、正規化手段１０５及びフィルタ演算手段１１１を有し、出力画像階調値１０８を演算する。出力画像を構成するある特定の注目画素について、上記一連の演算を行い、ある特定の注目画素の階調値を算出した後、引き続き、残りの注目画素に対しても、同様の処理を繰り返せば、幾何学的変形が施された出力画像を得ることができる。入力画像データ保持手段１０６は入力画像を保持し、画像処理装置１００は、その入力画像に対して縮小率が局所的に異なる出力画像を生成することができる。
【００２１】
次に、具体的数値を基に、本実施形態の効果について説明する。図２は、本実施形態による入力画像と出力画像の関係を示す図である。８１個の黒い丸２０１は、入力画像のデータ位置を示しており、水平方向位置をｉ、垂直方向位置をｊとする。図２では、ｉ及びｊは、それぞれ１〜９の値となっている。１２個の白い丸２０２は、出力画像のデータ位置であり、水平方向位置をｉ’、垂直方向位置をｊ’とする。図２では、ｉ’は１から３の値、ｊ’は１から４の値となっている。なお、ｉ，ｊ，ｉ’，ｊ’は、それぞれ負の値を取るものとして定義してもよい。本実施形態では、ｉ，ｊ，ｉ’，ｊ’は、正の値を取るものとして定義するので、１よりも小さいｉ，ｊ，ｉ’，ｊ’の領域にはデータが存在していないことになる。このようなデータの存在しない領域について演算が必要になる場合があるが、その場合は、例えば階調値を０として扱う等の処理を行えばよい。ｉ，ｊ，ｉ’，ｊ’は、それぞれ、画像の画素位置を表しており、図２では簡略化ために比較的狭い領域についての例を示しているが、画像は実際にはより大きな領域（より大きいｉ，ｊ，ｉ’，ｊ’の値）で構成されることが多い。例えばＳＸＧＡと呼ばれる画像フォーマットであれば、１≦ｉ≦１２８０、１≦ｊ≦１０２４である。なお、入力画像の総画素数と出力画像の総画素数は、必ずしも一致するとは限らない。入力画像の複数のデータ位置２０１の各位置には、画素の階調値のデータが存在している。図２において、出力画像のデータ位置２０２は、入力画像のデータ位置２０１とは一致しておらず、出力画像のデータ位置２０２の間隔は入力画像のデータ位置２０１の間隔よりも広くなっている。これが縮小を伴う幾何学的変換を行う状態である。また、出力画像のデータ位置２０２の間隔が不均一であることは、局所縮小率が場所によって異なることを示している。
【００２２】
出力画像（ｉ’，ｊ’）が入力画像（ｉ，ｊ）のどの位置に対応しているかをｆ（ｉ’，ｊ’）＝（ｉ，ｊ）と表すものとする。左辺は出力画像の水平及び垂直位置を示し、右辺はこれに対応する入力画像の水平及び垂直位置を示す。図２では、以下のような関係になっている。
【００２３】
ｆ（１，１）＝（４．８，３．８）
ｆ（１，２）＝（４．５，４．７）
ｆ（１，３）＝（４．５，６．３）
ｆ（１，４）＝（４．８，７．７）
ｆ（２，１）＝（６．４，２．７）
ｆ（２，２）＝（６．６，４．３）
ｆ（２，３）＝（６．５，６．０）
ｆ（２，４）＝（６．６，７．８）
ｆ（３，１）＝（８．２，２．４）
ｆ（３，２）＝（８．５，４．４）
ｆ（３，３）＝（８．５，６．０）
ｆ（３，４）＝（８．３，７．４）
【００２４】
本実施形態のように、幾何学的変形においては、ｆ（ｉ’，ｊ’）の値は、多くの場合、小数点以下の値を持つ非整数の位置となる。図１の変形対応点算出手段１０１は、ｆ（ｉ’，ｊ’）を算出する機能を有し、注目画素位置情報１１０として（ｉ’，ｊ’）が入力されれば、対応点ｆ（ｉ’，ｊ’）を出力する。例えば、注目画素位置情報１１０が（ｉ’，ｊ’）＝（２，２）であれば、変形対応点算出手段１０１から局所縮小率算出手段１０２に対して、ｆ（２，２）＝（６．６，４．３）という変形対応点が出力されることになる。
【００２５】
入力画像に対する出力画像のある位置における局所縮小率は、縮小率が連続的に変化する場合には必ずしも一義的に決まるとはいえないが、本実施形態では、隣接するｆ（ｉ’，ｊ’）間の距離の逆数で求められる値を縮小率とする。例えば、（ｉ’，ｊ’）＝（２，２）の水平方向縮小率αxは、ｆ（１，２）＝（４．５，４．７）のｉ成分４．５と、ｆ（３，２）＝（８．５，４．４）のｉ成分８．５の差分８．５−４．５＝４．０を３で割り、その逆数をとって０．７５とする。ｆ（２，２）の垂直方向縮小率αyは、ｆ（２，１）＝（６．４，２．７）のｊ成分２．７とｆ（２，３）＝（６．５，６．０）のｊ成分６．０の差分６．０−２．７＝３．３を３で割り、その逆数を取って０．９１とする。ただし、縮小率の求め方は必ずしもこれに限るものではなく、縮小や拡大の状態を表す数値を適宜使用することができる。また、演算の負荷などを考慮し、縮小率をある範囲にわたる平均的な値で代表させ、特定の範囲については同じ縮小率を利用してもよい。隣接する画像データが存在しない場所などでは、近傍画素の縮小率を持って代用してもよい。
【００２６】
図１の局所縮小率算出手段１０２は、変形対応点算出手段１０１からの変形対応点に応じて、上述の局所縮小率を計算し、その局所縮小率を補正距離計算手段１０３に出力する。また、局所縮小率算出手段１０２は、あらかじめ記憶していた局所縮小率を基に、局所縮小率を補正距離計算手段１０３に出力してもよい。本実施形態であれば、注目画素位置情報１１０が（ｉ’，ｊ’）＝（２，２）であれば、局所縮小率算出手段１０２が補正距離計算手段１０３に出力する局所縮小率は、水平方向縮小率αx＝０．７５、垂直方向縮小率αy=０．９１である。以上のように、局所縮小率算出手段１０２は、局所縮小率出力手段であり、入力画像に対する出力画像の注目画素の近傍の局所縮小率を出力する。
【００２７】
ここで、出力画像を得るために、ｆ（ｉ’，ｊ’）の階調値を入力画像の階調値から補間する過程について説明する。本実施形態では、補間関数の一例としてバイキュービック補間関数を例に説明を行う。バイキュービック補間関数は、一般的には注目画素の階調値を、対応する近傍１６点の入力画像データを基に補間する。ただし、本実施形態においては、必ずしも演算対象が近傍１６点であるとは限らないため、近傍画素として、近傍３６点を対象に説明を行う。
【００２８】
図３は、図２の入力画像と出力画像の特定領域のみを抽出したものであり、白丸２０３は出力画像の注目画素であり、図２における（ｉ’，ｊ’）＝（２，２）を表している。以降、本実施形態での数値例は、特段の断りの無い限り、この図３の白丸２０３の階調値を計算する過程を例に説明する。また、出力画像の注目画素２０３に対応する入力画像の対応点の近傍に位置する複数の画素（近傍点）の階調値ｎ（ｋ，ｍ）を図３のように定義する。階調値ｎ（ｋ，ｍ）は、入力画像の画素のデータである。ｋは、注目画素２０３に対して、水平方向のｋ番目のデータ位置の近傍の意味であり、ｍは、注目画素２０３に対して、垂直方向のｍ番目のデータ位置の近傍の意味である。図３においては、ｋ及びｍは、それぞれ、−２から＋３の値としており、これが注目画素２０３の近傍３６点を表しているが、近傍領域はこれに限るものではなく、演算に必要となる領域に合わせて適宜選択されることになる。
【００２９】
図１における入力画像データ保持手段１０６からフィルタ処理手段１０７に出力される演算対象画素データ１０９は、ｎ（ｋ，ｍ）である。なお、入力画像データ保持手段１０６は、入力画像のすべての画素データを保持していても良いし、入力画像データの一部である演算対象画素データ１０９のみを保持していてもよい。出力画像の注目画素２０３と各近傍点（ｋ，ｍ）との間の距離をｄとし、水平方向距離ｄｘ−３，ｄｘ−２，ｄｘ−１，ｄｘ＋１，ｄｘ＋２，ｄｘ＋３及び垂直方向距離ｄｙ−３，ｄｙ−２，ｄｙ−１，ｄｙ＋１，ｄｙ＋２，ｄｙ＋３を図３のように定義する。その場合、図３ではｆ（２，２）＝（６．６，４．３）であるから、距離ｄはそれぞれ以下のようになる。
【００３０】
ｄｘ−３＝２．６
ｄｘ−２＝１．６
ｄｘ−１＝０．６
ｄｘ＋１＝０．４
ｄｘ＋２＝１．４
ｄｘ＋３＝２．４
ｄｙ−３＝２．３
ｄｙ−２＝１．３
ｄｙ−１＝０．３
ｄｙ＋１＝０．７
ｄｙ＋２＝１．７
ｄｙ＋３＝２．７
【００３１】
バイキュービック補間関数では、補間演算に使用する近傍入力画素との距離をｔとしたとき、各入力画素に乗ずるべきフィルタ係数ｈ（ｔ）は、次式（１）のように表される。
【００３２】
【数１】
0006659107.tif 000002
【００３３】
ここで、ｓはフィルタの周波数特性の調整のためのパラメータであり、一般的には−１．０近傍の値が使用される。本実施形態では、ｓ＝−１．０として説明する。式（１）に、各ｄの値を入れれば、フィルタ係数ｈ（ｄ）は、以下のようになる。
【００３４】
ｈ（ｄｘ−３）＝０．０００
ｈ（ｄｘ−２）＝−０．０９６
ｈ（ｄｘ−１）＝０．４９６
ｈ（ｄｘ＋１）＝０．７４４
ｈ（ｄｘ＋２）＝−０．１４４
ｈ（ｄｘ＋３）＝０．０００
ｈ（ｄｙ−３）＝０．０００
ｈ（ｄｙ−２）＝−０．１４７
ｈ（ｄｙ−１）＝０．８４７
ｈ（ｄｙ＋１）＝０．３６３
ｈ（ｄｙ＋２）＝−０．０６３
ｈ（ｄｙ＋３）＝０．０００
【００３５】
ｄｘ−３，ｄｘ＋３，ｄｙ−３，ｄｙ＋３は、いずれも２より大きいため、それらのフィルタ係数ｈ（ｄ）は０．０００となっている。このように、単に、注目画素２０３と近傍画素との間の距離（通常距離）ｄを使用した場合、実質的に演算領域が近傍１６点に限られることになる。
【００３６】
フィルタ係数ｈ（ｄ）と、近傍画素ｎ（ｋ，ｍ）との積和によって、注目画素２０３の階調値Ｉ（ｉ’，ｊ’）を求める処理は、フィルタ係数ｈ（ｄ）が０となる近傍画素ｎ（ｋ，ｍ）の演算を省略すると、次式（２）のように表される。
【００３７】
【数２】
0006659107.tif 000003
【００３８】
式（２）は、バイキュービック補間関数の一般的な演算式である。それと同様の計算を所望の（ｉ’，ｊ’）に対して繰り返せば、幾何学的変形を行う事が出来るが、出力画像が図２の例のように縮小を伴う場合、出力画像には、モアレと呼ばれる画像劣化が生じる。この現象について、次式（３）に示すように、補間関数として空間領域で距離ｘの関数であるｓｉｎｃ関数を用いて説明を行う。
【００３９】
【数３】
0006659107.tif 000004
【００４０】
なお、ｓｉｎｃ関数は、周波数領域でｒｅｃｔ関数となる。本実施形態で取り上げたバイキュービック補間関数は、ｓｉｎｃ関数の３次多項式近似であり、周波数特性は完全なｒｅｃｔ関数ではないが、近似的にｒｅｃｔ関数を模擬した形状となっている。ｓｉｎｃ関数を用いて説明を行うのは、概念の説明の簡略化のためである。
【００４１】
図４は、画像データを構成する原信号、例えばカメラレンズなどによって撮像素子面上に結像している像のスペクトルの例である。図５は、サンプリング周期ｆｓでサンプリングを行うｃｏｍｂ関数を表している。図６は、図５のｃｏｍｂ関数によって図４の原信号をサンプリングした状態を表している。図６ではサンプリング周期ｆｓ（サンプリング間隔をＰとすれば、ｆｓ＝１／Ｐ）に対し原信号がｆｓ／２以下に適切に帯域制限されている。そのため、原信号とｃｏｍｂ関数とのコンボリューションを行っても、折り返された原信号のスペクトルに重複領域が存在していない。図７は、補間関数であるｓｉｎｃ関数の周波数特性を示す図であり、周波数特性はｆｓ／２以上では入出力強度比（フィルタ後の出力信号と入力信号との周波数成分の比率）が０となるｒｅｃｔ関数になっている。そのため、図７のｒｅｃｔ関数を図６のサンプリング状態に乗ずれば、図８のように元の像のスペクトルのみが抽出可能であり、原信号は完全な状態で復元することができる。これは一般にサンプリング定理と呼ばれている。次に、原信号が図６のようにサンプリングされている状態から、そのサンプリングピッチを広げる、すなわち画像を縮小することを考える。サンプリングピッチをＰとすると、サンプリングを表すｃｏｍｂ関数は、空間位置をｘとして、次式（４）のように表される。
【００４２】
【数４】
0006659107.tif 000005
【００４３】
このフーリエ変換は、周波数をνとして、次式（５）のように表される。
【００４４】
【数５】
0006659107.tif 000006
【００４５】
つまり、このフーリエ変換は、周期が１／Ｐ＝ｆｓとなるｃｏｍｂ関数である。画像を縮小率α（ここではα＜１）で縮小するということは、式（４）において、サンプリングピッチをＰ／αとする事であるから、式（５）から、周波数領域でのｃｏｍｂ関数の間隔はα倍に狭まる事が分かる。図９は、サンプリングピッチＰのα倍の間隔でサンプリングを行うｃｏｍｂ関数のスペクトルを表してしている。上述のように、ｃｏｍｂ関数の間隔はα倍に狭まっている。すでに画像情報がサンプリングされている図６の状態から、縮小、つまりより狭い間隔で再度サンプリングする処理を説明する。この処理は、図６のように画像情報がサンプリングされた状態を、一旦図７のｒｅｃｔ関数で復元し、図８の状態にした後、図９のｃｏｍｂ関数とのコンボリューションを行う事であると考えられる。その結果は図１０の状態となり、原信号のスペクトル同士に重なりが生じてしまうことが分かる。これが縮小によって発生するエイリアシングであり、周波数の高い成分が折り返しによって低い周波数成分側に現れ、本来存在しなかったはずの低周波数の画像成分が観察されるようになる。画像にエイリアシングが発生した場合は一般にモアレと表現されることが多く、本明細書でもエイリアシングをモアレと称する。画像の縮小によるモアレの発生を避けるには、上記の縮小過程において、補間関数としてｆｓ／２以上で入出力強度比が０（カットオフ）となる図７のｒｅｃｔ関数ではなく、αｆｓ／２以上で０となる図１１のｒｅｃｔ関数を補間関数として用いればよい。補間を空間領域で考えれば、コンボリューション演算をすべきｓｉｎｃ関数がｓｉｎｃ（ｘ）ではなく、ｓｉｎｃ（αｘ）になるという事である。この事は、補間関数によってフィルタ係数を計算する際に、補間したい注目画素２０３と近傍画素ｎ（ｋ，ｍ）との間の距離ｄをα倍して係数を計算することと等価である。理想的なｓｉｎｃ関数ではなく、バイリニア補間法やバイキュービック補間法といった補間関数においても、距離をα倍した補正距離を用いてフィルタ係数を計算すれば、縮小率に応じて帯域制限を行うことができる。この手法を用いれば、縮小率に合わせて個別にローパスフィルタ処理をしていく事に比べてはるかに簡易に帯域制限効果を得ることができる。なお、補正距離を用いた帯域制限の効果の度合いは、使用する補間関数の周波数特性に依存することになる。
【００４６】
ここで、再びバイキュービック補間関数を例にした説明に戻り、本実施形態において、どのように補正距離が利用されるのかを具体的に説明する。図１の補正距離計算手段１０３は、補正距離ｄ＝ｄ×αを計算する。以下、図３の例を基に説明する。補正距離計算手段１０３は、水平方向縮小率αx＝０．７５と垂直方向縮小率αy＝０．９１を距離ｄに乗じた補正距離Ｄｘ−３、Ｄｘ−２、Ｄｘ−１、Ｄｘ＋１、Ｄｘ＋２、Ｄｘ＋３、Ｄｙ−３、Ｄｙ−２、Ｄｙ−１、Ｄｙ＋１、Ｄｙ＋２、Ｄｙ＋３を計算する。すなわち、補正距離Ｄｘ−３、Ｄｘ−２、Ｄｘ−１、Ｄｘ＋１、Ｄｘ＋２、Ｄｘ＋３、Ｄｙ−３、Ｄｙ−２、Ｄｙ−１、Ｄｙ＋１、Ｄｙ＋２、Ｄｙ＋３は、以下のようになる。
【００４７】
Ｄｘ−３＝ｄｘ−３×αx＝１．９５
Ｄｘ−２＝ｄｘ−２×αx＝１．２０
Ｄｘ−１＝ｄｘ−１×αx＝０．４５
Ｄｘ＋１＝ｄｘ＋１×αx＝０．３０
Ｄｘ＋２＝ｄｘ＋２×αx＝１．０５
Ｄｘ＋３＝ｄｘ＋３×αx＝１．８０
Ｄｙ−３＝ｄｙ−３×αy＝２．０９
Ｄｙ−２＝ｄｙ−２×αy＝１．１８
Ｄｙ−１＝ｄｙ−１×αy＝０．２７
Ｄｙ＋１＝ｄｙ＋１×αy＝０．６４
Ｄｙ＋２＝ｄｙ＋２×αy＝１．５５
Ｄｙ＋３＝ｄｙ＋３×αy＝２．４６
【００４８】
補正距離計算手段１０３は、出力画像の注目画素２０３に対応する入力画像の対応点と入力画像の対応点の近傍に位置する複数の画素との間の複数の距離ｄを、局所縮小率αx及びαyを用いて補正することにより、複数の補正距離Ｄを出力する。具体的には、補正距離計算手段１０３は、補正距離出力手段であり、複数の距離ｄに対して局所縮小率αx及びαyを乗算することにより、複数の補正距離Ｄを出力する。
【００４９】
フィルタ係数計算手段１０４は、以下のように、式（１）のｔに補正距離Ｄを代入したフィルタ係数ｈ（Ｄ）を計算する。
【００５０】
ｈ（Ｄｘ−３）＝−０．００２
ｈ（Ｄｘ−２）＝−０．１２８
ｈ（Ｄｘ−１）＝０．６８６
ｈ（Ｄｘ＋１）＝０．８４７
ｈ（Ｄｘ＋２）＝−０．０４５
ｈ（Ｄｘ＋３）＝−０．０３２
ｈ（Ｄｙ−３）＝０．０００
ｈ（Ｄｙ−２）＝−０．１２２
ｈ（Ｄｙ−１）＝０．８７１
ｈ（Ｄｙ＋１）＝０．４４７
ｈ（Ｄｙ＋２）＝−０．１１２
ｈ（Ｄｙ＋３）＝０．０００
【００５１】
フィルタ係数計算手段１０４は、フィルタ係数出力手段であり、補間関数を用いて、複数の補正距離Ｄを基に複数のフィルタ係数ｈ（Ｄ）を出力する。補正距離Ｄを式（１）の計算に用いたことにより、式（１）のｔ＜２となる近傍領域が、水平方向に関して増えていることが分かる。補正距離Ｄを用いない場合は、バイキュービック補間方式の演算対象となる近傍画素は、式（１）によって実質的に４×４＝１６画素となっていた。これに対し、本実施形態のように補正距離Ｄを用いると、縮小率によっては演算対象となる近傍画素領域が変化し、本実施形態では実質６×４＝２４画素となっている。基本的に、演算に用いられる領域が広い程、好ましい画質が得られやすい。そのため、幾何学的変換によって生じうる最小の縮小率を加味して、補間対象となる領域すなわち演算対象画素データ１０９を設定しておき（すなわちｋ，ｍの値を適切に選んでおき）、実質的に縮小率に応じて演算対象領域を変化させることが好ましいといえる。ただし、必ずしも実質的な演算対象領域を縮小率によって変化させる必要は無く、一般的な補間関数に使用される演算領域のみを演算対象としてもよい。例えば、バイキュービック補間関数であれば、注目画素近傍の４×４領域であり、バイリニア補間関数であれば注目画素近傍の２×２領域である。演算対象領域は、演算の負荷と帯域制限効果とのバランスなどから適宜決めればよい。また、特定の定義によって計算した縮小率に一定値を乗じたり、定数を加え、出力画像の画質を調整してもよい。
【００５２】
次に、フィルタ処理手段１０７について説明する。補間関数によって算出したフィルタ係数ｈ（ｄ）の総和は通常１．０であり、これはフィルタによって輝度の変化が生じないことを意味している。本実施形態のように縮小率に応じてフィルタ係数ｈ（Ｄ）を変える場合は、フィルタ係数ｈ（Ｄ）の和は１．０にならない場合がある。そのため、フィルタ係数ｈ（Ｄ）の和（垂直、水平各方向毎の和）が１．０にならないことによって生じる影響を修正する必要がある。本明細書では、この影響を修正する処理を正規化と称する。本実施形態では、フィルタ係数ｈ（Ｄ）に正規化を施した後にフィルタ演算を行う手法について説明する。本実施形態の例では、水平方向フィルタ係数の総和は１．３２６であり、垂直方向フィルタ係数の総和は１．０８４である。よって、正規化手段１０５は、以下のように、それぞれの方向のフィルタ係数ｈ（Ｄ）の和でフィルタ係数を除した正規化フィルタ係数Ｈ（Ｄ）を演算する。
【００５３】
Ｈ（Ｄx-3）＝ｈ（Ｄx-3）／１．３２６＝−０．００２
Ｈ（Ｄx-2）＝ｈ（Ｄx-2）／１．３２６＝−０．０９７
Ｈ（Ｄx-1）＝ｈ（Ｄx-1）／１．３２６＝０．５１７
Ｈ（Ｄx+1）＝ｈ（Ｄx+1）／１．３２６＝０．６３９
Ｈ（Ｄx+2）＝ｈ（Ｄx+2）／１．３２６＝−０．０３４
Ｈ（Ｄx+3）＝ｈ（Ｄx+3）／１．３２６＝−０．０２４
Ｈ（Ｄy-3）＝ｈ（Ｄy-3）／１．０８４＝０．０００
Ｈ（Ｄy-2）＝ｈ（Ｄy-2）／１．０８４＝−０．１１３
Ｈ（Ｄy-1）＝ｈ（Ｄy-1）／１．０８４＝０．８０４
Ｈ（Ｄy+1）＝ｈ（Ｄy+1）／１．０８４＝０．４１２
Ｈ（Ｄy+2）＝ｈ（Ｄy+2）／１．０８４＝−０．１０３
Ｈ（Ｄy+3）＝ｈ（Ｄy+3）／１．０８４＝０．０００
【００５４】
本実施形態では、フィルタ演算手段１１１は、正規化フィルタ係数Ｈ（Ｄ）と近傍点ｎ（ｋ，ｍ）とのフィルタ演算を行い、出力画像階調値１０８を出力する。なお、正規化自体は、正規化フィルタ係数Ｈ（Ｄ）を算出してからフィルタ処理を行う方法に限るものではない。例えば、正規化されていないフィルタ係数ｈ（Ｄ）と演算対象画素データ１０９との積和演算で階調値を算出した後に、算出された階調値を水平及び垂直各方向のフィルタ係数の和の積で除すといった処理によっても等価な結果を得ることが可能である。どちらの手法を採用するかは適宜選べばよい。なお、本実施形態では、フィルタ係数の演算時に桁を打ち切る処理によって、例えば正規化フィルタ係数のある方向の和が厳密に１にならないということもあり得るが、有効桁数を何桁まで採用するかは、演算の負荷と画質とのバランスによって、適宜決めればよい。
【００５５】
例えば、（ｉ’，ｊ’）＝（２，２）の補間演算においては、縮小によって水平方向の演算対象領域が拡張され、補間により、階調値Ｉ（２，２）は、正規化フィルタ係数Ｈ（Ｄ）を用いて、次式（６）のように表される。
【００５６】
【数６】
0006659107.tif 000007
【００５７】
フィルタ演算手段１１１は、式（６）のように、正規化フィルタ係数Ｈ（Ｄ）と近傍点ｎ（ｋ，ｍ）とのフィルタ演算により、注目画素位置（ｉ’，ｊ’）＝（２，２）の階調値Ｉ（２，２）を算出し、階調値Ｉ（２，２）を出力画像階調値１０８として出力する。
【００５８】
以上のように、フィルタ係数計算手段１０４は、複数のフィルタ係数ｈ（Ｄ）を出力する。フィルタ処理手段１０７は、複数のフィルタ係数ｈ（Ｄ）を用いて、入力画像の対応点（２０３）の近傍に位置する複数の画素のデータに対してフィルタ処理することにより、出力画像の注目画素のデータを出力する。その際、フィルタ処理手段１０７は、複数のフィルタ係数ｈ（Ｄ）の和で正規化したフィルタ処理を行う。具体的には、正規化手段１０５は、複数のフィルタ係数ｈ（Ｄ）をそれぞれ複数のフィルタ係数ｈ（Ｄ）の和で除算した複数の正規化フィルタ係数Ｈ（Ｄ）を出力する。フィルタ演算手段１１１は、複数の正規化フィルタ係数Ｈ（Ｄ）と入力画像の対応点（２０３）の近傍に位置する複数の画素のデータとの積和演算により、出力画像の注目画素のデータを出力する。
【００５９】
図１２は、本実施形態の（ｉ’，ｊ’）＝（２，２）の補間演算で用いられたフィルタの水平方向周波数特性を示す図である。通常距離ｄの実線プロット１２０１は、縮小率によって距離を補正しない通常のバイキュービック補間関数によって求められたフィルタ係数ｈ（ｄ）の水平方向周波数特性である。補正距離Ｄの点線プロット１２０２は、正規化フィルタ係数Ｈ（Ｄ）の水平方向周波数特性である。なお、図１２において、正規化角周波数とは、サンプリング周波数を２πｒａｄとした場合の周波数である。図１２のプロットから、縮小率を考慮しない通常距離ｄ実線のプロット１２０１で表されるフィルタ特性に比べて、補正距離Ｄの点線プロット１２０２で表されるフィルタ特性の方が、よりローパスフィルタ特性になっていることが分かる。さらに、同様の処理を、必要となるｉ’及びｊ’の分だけ計算を繰り返せば（本実施形態であればｉ’＝３，ｊ’＝４まで）、幾何学的変形を行った出力画像を得ることができる。
【００６０】
本実施形態によれば、縮小率が画像内で不均一な画像の幾何学的変形を行う際に、簡易な手法で、局所的な縮小率に合わせて帯域制限を適切に行い、モアレを低減しつつ画像のボケも最小限に抑えることができる。
【００６１】
また、上記の幾何学的変形を行った画像は、ヘッドマウントディスプレイ（ＨＭＤ）、デジタルカメラの電子ビューファインダ（ＥＶＦ）、又はプロジェクタにより表示される。幾何学的変形を行うことにより、ＨＭＤ若しくはＥＶＦの表示光学系による歪、又はプロジェクタの設置場所等による歪を低減することができる。
【００６２】
本実施形態は、本実施形態で説明した機能を実現する電子回路基板等のハードウェアにより実現することができる。また、本実施形態は、本実施形態で説明した機能を実現するソフトウェアのプログラムコードを作成し、このプログラムコードを記録した記憶媒体に格納されたプログラムコードをコンピュータが実行することによっても実現することができる。その場合、電子回路基板等のハードウェア、又はプログラムコード自体が本実施形態を構成する事になる。
【００６３】
（第２の実施形態）
本発明の第２の実施形態は、第１の実施形態をＨＭＤの表示歪補正に適用する事例について説明する。ＨＭＤは、小型ディスプレイ（液晶又は有機ＥＬ等）を搭載し、表示光学系によってその拡大虚像を観察者に提示する装置である。本実施形態では、小型ディスプレイの表示解像度を水平方向１２８０、垂直方向９６０として説明する。また、本実施形態のＨＭＤは、ＨＭＤ全体の小型化のために、表示光学系に偏心光学系を採用しており、回転非対称な歪曲収差が残存しているものとする。
【００６４】
図１３は、入力画像３０１の１例を示す図である。入力画像３０１のピクセル数は、水平方向１２８０、垂直方向９６０である。図１３に示す格子状の入力画像３０１を直接小型ディスプレイに表示すると、表示光学系の歪曲によって、観察者は、歪んだ格子を観察することになる。
【００６５】
図１４は、表示歪補正を行うために作成すべき出力画像３０２の例を示す概念図である。出力画像３０２は、表示光学系の歪曲を相殺するために、入力画像３０１に対して幾何学的変形を施した出力画像である。領域３０３は、小型ディスプレイに表示する１２８０×９６０サイズの画像データ全域を示している。入力画像３０１に対して出力画像３０２は、不均一に縮小された場所を含んでおり、特に出力画像３０２の左右上端の角付近で、垂直方向の格子間隔が顕著に縮んでいる事が分かる。このような幾何学的変形を行う場合に、第１の実施形態の画像処理装置を適用すれば、モアレを低減しつつ画像のボケの少ない歪補正を実現できる。表示歪補正は、例えば、第１の実施形態として説明した機能を実現するソフトウェアのプログラムコードを作成し、このプログラムコードを記録した記憶媒体に格納されたプログラムコードの指示に基づいて幾何学的変換を実行するコンピュータを用いて実現できる。そして、その出力画像を小型ディスプレイに表示することで表示歪補正を行うことができるが、必ずしもこれに限るものではない。
【００６６】
本実施形態では、式（１）のｓ＝−０．５としたバイキュービック補間関数を用いて、第１の実施形態を表示歪補正に適用した際の効果について説明する。図１４に示す格子の交差点３０４、３０５、３０６の各位置における画像垂直方向の局所縮小率は、それぞれ、０．６３５、０．７６３、０．９９６である。
【００６７】
図１５は、交差点３０４，３０５，３０６の各位置の輝度値を第１の実施形態の画像処理装置によって計算した際の、フィルタの画像垂直方向における周波数特性を示す図である。図１５のプロットから、縮小率の値が小さい場所ほど帯域制限の効果が高くなっていることが分かる。このように、第１の実施形態を画像観察装置の表示歪補正に適用すれば、観察者は、局所的な縮小率に合わせて適切に帯域制限が行われた、モアレが少なく、画像のボケも最小限に抑えられた、歪みの少ない画像を観察することができる。
【００６８】
以上、ヘッドマウントディスプレイの例を説明したが、電子ビューファインダの場合も同様である。その場合、局所縮小率算出手段１０２は、ヘッドマウントディスプレイ又は電子ビューファインダの表示光学系の歪を補正するための局所縮小率を出力する。
【００６９】
（第３の実施形態）
本発明の第３の実施形態は、第１の実施形態をプロジェクタのキーストン補正に適用する事例について説明する。プロジェクタは、小型ディスプレイ（液晶や有機ＥＬ等）を搭載し、投射光学系によってその拡大像をスクリーンに投射する装置である。本実施形態では、小型ディスプレイの表示解像度を水平方向１９２０、垂直方向１０８０として説明する。
【００７０】
図１６は、入力画像４０１の１例を示す図である。入力画像４０１のピクセル数は、水平方向１９２０、垂直方向１０８０である。図１６に示す格子状の入力画像４０１を直接小型ディスプレイに表示すると、プロジェクタとスクリーンの位置関係によっては、キーストン歪が発生し、その場合、観察者は歪んだ格子を観察することになる。
【００７１】
図１７は、プロジェクタとスクリーンの位置関係が正対していない状態の場合に、キーストン歪補正を行うために作成すべき出力画像４０２の例を示す概念図である。出力画像４０２は、キーストン歪を相殺するために、入力画像４０１に対して幾何学的変形を施した出力画像である。領域４０３は、小型ディスプレイに表示する１９２０×１０８０サイズの画像データ全域を示している。入力画像４０１に対して出力画像４０２は、局所的に縮小された場所を含んでおり、特に出力画像４０２の右端の付近で、格子間隔が顕著に縮んでいる事が分かる。このような幾何学的変形を行う場合に、第１の実施形態の画像処理装置を適用すれば、モアレを低減しつつ画像のボケの少ないキーストン補正を実現できる。キーストン歪補正は、例えば、第１の実施形態として説明した機能を実現する電子回路基板を作成し、この電子回路基板をプロジェクタの電子回路基板に組み込み、出力画像を小型ディスプレイに表示することでキーストン補正を行うことができる。ただし、必ずしもこれに限るものではない。
【００７２】
本実施形態では、式（１）のｓ＝−０．５としたバイキュービック補間関数を用いて、第１の実施形態をキーストン補正に適用した際の効果について説明する。図１７に示す格子の交差点４０４、４０５、４０６における画像水平方向の局所縮小率は、それぞれ、０．４６０、０．６４３、０．８００である。
【００７３】
図１８は、交差点４０４、４０５、４０６の各位置の輝度値を第１の実施形態の画像処理装置によって計算した際の、フィルタの画像水平方向における周波数特性を示す図である。図１８のプロットから、縮小率の値が小さい場所ほど帯域制限の効果が高くなっていることが分かる。このように、第１の実施形態をプロジェクタのキーストン補正に適用すれば、観察者は、局所的な縮小率に合わせて適切に帯域制限が行われた、モアレが少なく、画像のボケも最小限に抑えられた、歪みの少ない画像を観察することができる。
【００７４】
本実施形態では、局所縮小率算出手段１０２は、スクリーンに対するプロジェクタの位置に応じて発生する、プロジェクタがスクリーンに投影する画像の歪を補正するための局所縮小率を出力する。
【００７５】
第１〜第３の実施形態によれば、画像処理装置は、例えば、ヘッドマウントディスプレイ、電子ビューファインダ、又はプロジェクタ等の装置に産業上利用することが出来る。
【００７６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７７】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７８】
１００  画像処理装置、１０１  変形対応点算出手段、１０２  局所縮小率算出手段、１０３  補正距離算出手段、１０４  フィルタ係数計算手段、１０５  正規化手段、１０６  入力画像データ保持手段、１０７  フィルタ処理手段、１１１  フィルタ演算手段
【図１】
0006659107.tif 000008
【図２】
0006659107.tif 000009
【図３】
0006659107.tif 000010
【図４】
0006659107.tif 000011
【図５】
0006659107.tif 000012
【図６】
0006659107.tif 000013
【図７】
0006659107.tif 000014
【図８】
0006659107.tif 000015
【図９】
0006659107.tif 000016
【図１０】
0006659107.tif 000017
【図１１】
0006659107.tif 000018
【図１２】
0006659107.tif 000019
【図１３】
0006659107.tif 000020
【図１４】
0006659107.tif 000021
【図１５】
0006659107.tif 000022
【図１６】
0006659107.tif 000023
【図１７】
0006659107.tif 000024
【図１８】
0006659107.tif 000025