(57)【要約】【課題】  投写面が複数の不連続な領域に分けられた投写面から構成される場合に、投写型表示装置の光学系に発生する歪を、各々の不連続な領域に分けられた投写面に対応して補正する画像処理装置を提供する。【解決手段】  画像処理装置は、出力画像分割データ記憶手段９、補正値記憶手段２Ｈおよび幾何学変換手段４を備える。出力画像分割データ記憶手段９は、Ｎを自然数とした場合に、出力画像Ｄ７を第１から第Ｎまでの領域に分割するための出力画像分割データＤ９を保持する。補正値記憶手段２Ｈは、入力画像Ｄ０の少なくとも一部を幾何学変換するための座標変換用データＰ２を保持する。幾何学変換手段４は、前記出力画像分割データＤ９と前記座標変換用データＰ２に基づき前記幾何学変換を行う。【選択図】  図１
2014022836.tif 000002
【特許請求の範囲】
【請求項１】
Ｎを自然数とした場合に、第１から第Ｎまでの領域に分けられた投写面を有し、各領域に分けられた投写面の境界では投写面が不連続であり、各々の前記領域に分けられた投写面の範囲内では連続である投写面に対応して、出力画像を第１から第Ｎまでの領域に分割するための出力画像分割データを保持する出力画像分割データ記憶手段と、
入力画像の少なくとも一部を幾何学変換するための座標変換用データを保持する補正値記憶手段と、
前記出力画像分割データと前記座標変換用データに基づき前記領域に分けられた投写面に対応した前記幾何学変換を前記領域に分けられた投写面ごとに行う幾何学変換手段とを備える画像処理装置。
【請求項２】
前記補正値記憶手段は、前記出力画像を構成する画素の中から選んだ代表画素について、前記幾何学変換を行う際に前記入力画像内で参照すべき画素の位置に関する情報を前記座標変換データとして保持し、
前記幾何学変換手段は、前記出力画像の各画素について、前記幾何学変換を行う際に前記入力画像内で参照すべき画素の位置を、前記座標変換データを補間して求める参照画素位置算出手段を有し、
前記参照画素位置算出手段は、Ｊを１からＮまでの自然数とした場合に、前記出力画像の各画素のうち第Ｊの領域に含まれる画素については、前記第Ｊの領域に含まれる代表画素について与えられた前記座標変換データのみを用いて前記補間を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補正値記憶手段は、前記出力画像分割データを圧縮したものを、出力画像分割データ値として保持し、
前記幾何学変換手段は前記出力画像分割データ圧縮値から前記出力画像分割データを復号する出力画像分割データ復号手段をさらに備えることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
Ｎを自然数とした場合に、第１から第Ｎまでの領域に分けられた投写面で構成される投写面と、
請求項１から３のいずれか１項に記載の画像処理装置と、
前記出力画像を前記投写面に投写する光学系とを備える画像表示装置。
【請求項５】
前記入力画像は、前記出力画像より高い解像度の画像であることを特徴とする請求項４記載の画像表示装置。
【請求項６】
Ｎを自然数とした場合に、出力画像を第１から第Ｎまでの領域に分割するための出力画像分割データを保持する出力画像分割データ記憶手段から前記出力画像分割データを読み出す出力画像分割データ読み出しステップと、
入力画像の少なくとも一部を幾何学変換するための座標変換用データを保持する補正値記憶手段から前記座標変換用データを読み出す補正値読み出しステップと、
前記出力画像分割データと前記座標変換用データに基づき前記幾何学変換を行う幾何学変換ステップとを備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投写手段によって画像を投写面に投写する画像表示装置において、投写面に投写する画像を出力する画像処理装置に関するものである。
【背景技術】
【０００２】
液晶プロジェクタ装置やリアプロジェクションテレビ等の投写型表示装置は、光源とスクリーンとの位置関係、あるいは、光学系が持つ収差などに起因する光学系の歪みから画像歪が発生する。この歪みを補正するため、光学系の歪みと逆特性の変換を施した画像を投写する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５２２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来技術は、投写面が連続的な面で構成されることを前提としている。このため、投写面が不連続な面である場合、従来の方法では発生する光学系の歪みを補正することができなかった。
【課題を解決するための手段】
【０００５】
本願発明に係る画像処理装置は、Ｎを自然数とした場合に、第１から第Ｎまでの領域に分けられた投写面を有し、各領域に分けられた投写面の境界では投写面が不連続であり、各々の前記領域に分けられた投写面の範囲内では連続である投写面に対応して、出力画像を第１から第Ｎまでの領域に分割するための出力画像分割データを保持する出力画像分割データ記憶手段と、入力画像の少なくとも一部を幾何学変換するための座標変換用データを保持する補正値記憶手段と、前記出力画像分割データと前記座標変換用データに基づき前記領域に分けられた投写面に対応した前記幾何学変換を前記領域に分けられた投写面ごとに行う幾何学変換手段とを備える。
【発明の効果】
【０００６】
本発明の画像処理装置は、不連続な面の各々に対して発生する異なった光学系の歪みを補正することができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１による画像処理装置の構成を表すブロック図である。
【図２】実施の形態１による画像処理装置を用いた画像表示装置の構成を表す構成図である。
【図３】水平方向の光学系の歪みを表す模式図である。
【図４】水平方向の光学系の歪みと逆の歪みを表す模式図である。
【図５】水平方向の光学系の歪みと逆の歪みを与えるための幾何学変換を表す図である。
【図６】補正値記憶手段２Ｈに保持されるデータを表す図である。
【図７】補間係数Ｃ６Ａ（ｉ）の一例を示す図
【図８】不連続な面で構成される投写面を表す図である。
【図９】不連続な面で構成される投写面を表す図である。
【図１０】参照画素位置算出手段３Ｈを表すブロック図である。
【図１１】補間手段３ＨＢ１の動作を表す図である。
【図１２】補間手段３ＨＢ２の動作を表す図である。
【図１３】補間手段３ＨＣの動作を表す図である。
【図１４】実施の形態２による画像処理装置の構成を表すブロック図である。
【図１５】垂直方向の光学系の歪みを表す模式図である。
【図１６】垂直方向の光学系の逆の歪みを表す模式図である。
【図１７】垂直方向の光学系の逆の歪みを与えるための幾何学変換を表す図である。
【図１８】参照画素位置算出手段３Ｖを表す図である。
【図１９】補間手段３ＶＢ１の動作を表す図である。
【図２０】補間手段３ＶＢ２の動作を表す図である。
【図２１】補間手段３ＶＣの動作を表す図である。
【図２２】実施の形態３による画像処理方法を表すフロー図である。
【図２３】実施の形態３による画像処理方法を実行する画像処理装置を表すブロック図である。
【図２４】参照画素位置算出ステップＳＴ３Ｈを表すフロー図である。
【図２５】実施の形態４による画像処理方法を表すフロー図である。
【図２６】参照画素位置算出ステップＳＴ３Ｖを表すフロー図である。
【図２７】実施の形態５による画像表示装置の構成を表す構成図である。
【発明を実施するための形態】
【０００８】
実施の形態１．
図１は、本発明の実施の形態１による画像処理装置の構成を表すブロック図である。図２は、本発明の実施の形態１による投写型表示装置の構成を表す構成図である。画像処理装置は、補正値記憶手段２Ｈ、出力画像分割データ記憶手段９及び幾何学変換手段４を備える。幾何学変換手段４は、参照画素位置算出手段３Ｈを有している。また、幾何学変換手段４は、画像データ記憶手段１、画像データ読み出し手段５Ｈ、補間係数演算手段６ＨＡ及び補間演算手段７Ｈを有することができる。また、画像処理装置は、制御手段８を有することができる。制御手段８は、画像データ記憶手段１、補正値記憶手段２Ｈ、参照画素位置算出手段３Ｈ、画像データ読み出し手段５Ｈ、補間係数演算手段６ＨＡ、補間手段７Ｈ及び出力画像分割データ記憶手段９を制御して、これを互いに協調して動作させる。制御手段８から各手段への制御信号線は図示を省略する。
【０００９】
図１に示す画像処理装置は、例えば図２に示すリアプロジェクションテレビ等の投写型表示装置に代表される画像表示装置の一部として用いることができる。
【００１０】
図２に示すリアプロジェクションテレビは、図１に示す画像処理装置Ｕ０、画像投写手段Ｕ１及び投写面Ｕ２を備えている。画像投写手段Ｕ１は、光源Ｕ１Ａ及び光学系Ｕ１Ｂを有する。光学系Ｕ１ＢはミラーＵ１Ｂ１及びレンズＵ１Ｂ２を有する。
【００１１】
図２に示すリアプロジェクションテレビでは、入力画像ＤＩＮに対応した映像が以下の手順により投写面Ｕ２に投写される。まず、画像処理装置Ｕ０から入力画像ＤＩＮに対して後述の処理を行った画像ＤＵ０が出力される。次に、光源Ｕ１Ａから画像ＤＵ０に応じた光が出力される。光源Ｕ１Ａから出力された光は、ミラーＵ１Ｂ１及びレンズＵ１Ｂ２を含む光学系Ｕ１Ｂを介して投写面Ｕ２に映し出される。
【００１２】
実施の形態１によるリアプロジェクションテレビ（あるいは投写型表示装置）の投写面Ｕ２は、図８及び図９に示すような不連続な面によって構成されている。ここで図８は投写面Ｕ２の斜視図を表している。また、図９は投写面Ｕ２の三面図を表している。この例では、投写面Ｕ２は第１の投写面Ｕ２Ａおよび第２の投写面Ｕ２Ｂで構成される。第１の投写面Ｕ２Ａおよび第２の投写面Ｕ２Ｂは、領域に分けられた投写面である。これらの領域に分けられた投写面は、不連続な投写面である。
【００１３】
ここで不連続とは、光学系Ｕ１Ｂから投写面Ｕ２までの距離が不連続に変化していることである。投写面Ｕ２は、１つの領域に分けられた投写面と他の領域に分けられた投写面との境界が不連続である。また、投写面Ｕ２は、１つの領域に分けられた投写面の範囲内は連続している。
【００１４】
ただし、以下の説明では簡単のため、仮に投写面Ｕ２が単一平面からなるとして説明を続ける。そして、投写面Ｕ２が単一平面で構成されない故に生じる問題およびその解決方法については別途説明する。さらに、説明では簡単のため、仮に画像処理装置Ｕ０は、出力画像分割データ記憶手段９を含まないこととする。また、光学系Ｕ１Ｂは第１の方向に関して歪みを持っているものとして説明する。ここで、第１の方向は、例えば水平方向として説明する。
【００１５】
この場合、光学系Ｕ１Ｂの歪みは模式的に図３（Ａ）及び図３（Ｂ）のように表される。すなわち、図３（Ａ）に示すような水平の直線及び垂直の直線からなる格子状の画像を光学系Ｕ１Ｂによって投写面Ｕ２に投写すると、投写面Ｕ２には図３（Ｂ）に示すように、格子が台形状に歪んだ画像が表示される。なお、図３（Ｂ）中に示される破線ＰＡは、台形状の画像の上辺が投写面の幅に一致するように調整した場合に、投写面Ｕ２に表示される画像の範囲を表すものである。
【００１６】
このように、図２に示すリアプロジェクションテレビでは、画像投写手段Ｕ１内の光学系Ｕ１Ｂによって、歪んだ画像が投写面Ｕ２に映し出される。したがって、あらかじめ画像処理装置Ｕ０において、図４に示すような、光学系Ｕ１Ｂによる歪みと逆の特性で入力画像ＤＩＮを歪ませた画像ＤＵ０を生成する。光学系Ｕ１Ｂによる歪みと逆の特性で入力画像ＤＩＮを歪ませた画像ＤＵ０の範囲を図４の符号ＰＢで示す。画像ＤＵ０を画像投写手段Ｕ１に入力すれば、投写面Ｕ２には見かけ上歪みのない状態で入力画像ＤＩＮが映し出されることになる。
【００１７】
入力画像ＤＩＮを歪ませることは、入力画像ＤＩＮの少なくとも一部を水平方向に拡大又は縮小することで実現できる。このような拡大或いは縮小は、入力画像ＤＩＮに対して座標変換を行って出力画像ＤＵ０を得ることで達成される。また、この処理は入力画像ＤＩＮに対する幾何学変換とみなすこともできる。この処理とは、入力画像ＤＩＮに対して座標変換を行って出力画像ＤＵ０を得る処理である。
【００１８】
上記のように、画像処理装置Ｕ０は、入力画像ＤＩＮを光学系Ｕ１Ｂによる歪みと逆の特性で歪ませた（歪み補正した）画像ＤＵ０を生成することができる。このため、投写面Ｕ２には見かけ上、歪みのない状態で入力画像ＤＩＮが映し出される。
【００１９】
図１に示した画像処理装置の動作についてさらに詳しく説明する。図１に示した画像処理装置は、入力画像Ｄ０に対して補間及び座標変換を行う。入力画像Ｄ０は、図２に示す入力画像ＤＩＮに相当する。そして、画像処理装置は、出力画像Ｄ７を生成して出力する。出力画像Ｄ７は、図２に示す画像ＤＵ０に相当する。この処理は、幾何学変換手段４において入力画像Ｄ０に幾何学変換を行って出力画像Ｄ７を出力する処理と見ることもできる。
【００２０】
画像データ記憶手段１は、入力画像Ｄ０の各画素の画素値を保存する。入力画像Ｄ０は、互いに異なる第１の方向（例えば水平方向）及び第２の方向（例えば垂直方向）にマトリクス状に配列された画素を持つ。また、画像処理装置で生成される出力画像Ｄ７も、入力画像Ｄ０と同様に、互いに異なる第１の方向（例えば水平方向）及び第２の方向（例えば垂直方向）にマトリクス状に配列された画素を持つ。入力画像の画素の位置及び出力画像の画素の位置は、二次元座標で表わされる。そのような二次元座標系において、座標値の差で表わされる画素の第１の方向の間隔が「１」である。また、座標値の差で表わされる画素の第２の方向の間隔が「１」である。
【００２１】
補正値記憶手段２Ｈには、光学系Ｕ１Ｂによって生じる歪みを補正するために参照する画素の位置に関するデータが保持されている。この参照する画素の位置に関するデータは、出力画像の画素の少なくとも一部について、画像の拡大または縮小のための座標変換前の座標位置を表すデータである。例えば、参照する画素の位置に関するデータは、出力画像の画素の位置に対する相対的位置を表すものである。相対的位置は、具体的には、位置の差分で表される。この差分に応じた拡大または縮小を行うことで、歪みの補正が行われる。このため、この差分は、「歪み補正値」とも呼ばれる。
【００２２】
図５は、参照する画素の位置（座標変換前の画素位置）について説明する図である。最も上側に水平座標が示されている。水平座標の下に、入力画像Ｄ０のある行の画素位置が示されている。ある行とは、入力画像Ｄ０の例として選択した１つの行である。入力画像Ｄ０の画素位置は、座標変換前の画素位置である。入力画像Ｄ０の下に、出力画像Ｄ７の入力画像Ｄ０と同じ行の画素位置が示されている。出力画像Ｄ７の画素位置は、座標変換後の画素位置である。
【００２３】
図５から、水平座標が値Ａｈより左側の出力画像Ｄ７の画素は、出力画像Ｄ７の画素自身より左側の入力画像Ｄ０の画素を参照すればよい。また、水平座標が値Ｂｈより右側の出力画像Ｄ７の画素は、出力画像Ｄ７の画素自身より右側の入力画像Ｄ０の画素を参照すればよい。水平座標が値Ａｈから値Ｂｈまでの間の出力画像Ｄ７の画素は、出力画像Ｄ７の自身と同一位置の入力画像Ｄ０の画素を参照すればよい。
【００２４】
補正値記憶手段２Ｈは、出力画像Ｄ７内の画素の一部について、画像Ｄ０内の参照画素の相対的位置を表すデータを保持している。具体的には、各画素が、画像Ｄ０内において同一座標の画素より何画素右あるいは左の画素を参照するべきかが保持されている。
【００２５】
例えば、３画素右を参照するのが適当な場合は、「プラス３」というデータが保持されている。４画素左を参照するのが適当な場合は、「マイナス４」というデータが書き込まれている。同一座標の画素を参照するのが適当な場合は、「ゼロ」というデータが書き込まれている。要するに、出力画像Ｄ７内の各画素の水平座標の値と画像Ｄ０内において参照すべき画素の水平座標の値との差分が書き込まれている。参照すべき画素の水平座標は、座標変換前の画素位置の値である。差分は、正負の符号付きの値である。
【００２６】
ここで出力画像Ｄ７内の全ての画素について歪み補正値を保持すると保持するデータの数が膨大になる。ここで、歪み補正値とは、歪み補正値を示すデータである。また、データの数とは、データの量のことである。そのため、データの保持は水平方向及び垂直方向ともに所定の画素間隔おきに行う。言い換えると、所定の画素間隔おきの画素を代表画素とする。そして、各代表画素についてのみ歪み補正値の保持を行う。これにより、保持するデータの数を削減することが可能である。
【００２７】
なお、後述するように、代表画素以外の画素についての、参照するべき画素の画素値は補間演算によって求められる。参照すべき画素は、座標変換前の画素である。このため、代表画素についての、歪み補正値は整数（画素間隔の整数倍を表すもの）に限定されず、整数部と小数部とを含む実数であってもよい。例えば３．５画素右を参照したいのであれば「プラス３．５」という値を設定すればよい。
【００２８】
図６は、出力画像Ｄ７において、水平方向及び垂直方向ともに６４画素おきの画素が代表画素とされる場合を例として示した図である。各代表画素の歪み補正値Ｐ２を、各代表画素の位置に示す。代表画素の位置は、Ｍ、Ｎを整数としたとき、水平座標が６４×Ｍで表され、垂直座標が６４×Ｎで表される。各代表画素についての歪み補正値Ｐ２は、Ｐ２（Ｍ，Ｎ）で表されている。
【００２９】
参照画素位置算出手段３Ｈは、出力画像Ｄ７の各画素について、補正値記憶手段２Ｈに保持された代表画素の歪み補正値Ｐ２（Ｍ，Ｎ）をもとに直線補間を行う。参照画素位置算出手段３Ｈは、出力画像Ｄ７のすべての画素の各々について、入力画像Ｄ０内の参照するべき画素の位置（座標変換前の位置）の水平座標Ｕ及び垂直座標Ｖを計算する。参照するべき画素の位置とは、座標変換前の位置である。
【００３０】
すなわち、水平座標がＸ＝６４×Ｊ＋Ａで表され、垂直座標がＹ＝６４×Ｋ＋Ｂ（Ｊ、Ｋはゼロ以上の整数、Ａ、Ｂはゼロ以上６３以下の整数）で表される出力画像Ｄ７の位置の画素について、入力画像Ｄ０内の参照画素位置（座標変換前の画素位置）の水平座標Ｕ及び垂直座標Ｖを下記の式（１）による演算で求める。
【００３１】
【数１】
2014022836.tif 000003
【００３２】
式（１）によって求められた座標（Ｕ，Ｖ）は、入力画像Ｄ０内の絶対的な位置を示すものである。座標（Ｕ，Ｖ）は、参照画素位置データＰ３として出力される。
【００３３】
式（１）から、Ｕは実数であるであるので整数部と小数部に分けられる。Ｕの整数部（以下、ＵＩＮＴとする。）及びＶで表される座標（ＵＩＮＴ，Ｖ）が、データＰ３ＩＮＴとして画像読み出し手段５Ｈに入力される。Ｕの小数部（以下、ＵＤＥＣとする。）が、データＰ３ＤＥＣとして補間係数演算手段６ＨＡに入力される。なお、ＵＩＮＴは、Ｕを超えない最大の整数と定義することができる。また、ＵＤＥＣは、ＵからＵＩＮＴを引いた値と定義することができる。
【００３４】
画像データ読み出し手段５Ｈは、データＰ３ＩＮＴを入力して、各画素及びその近傍に位置する画素から成る複数の画素の座標をデータＰ５として出力する。複数の画素の座標とは、後述の補間演算に用いる画素の座標を４点分である。この４点の座標は、入力画像Ｄ０中の４つの画素の位置を示す座標である。
【００３５】
画像データ読み出し手段５Ｈは、データＰ３ＩＮＴとして（ＵＩＮＴ，Ｖ）という座標を入力した場合、データＰ５として、座標（ＵＩＮＴ−１，Ｖ）、座標（ＵＩＮＴ，Ｖ）、座標（ＵＩＮＴ＋１，Ｖ）、座標（ＵＩＮＴ＋２，Ｖ）で表される４点の座標を示すデータを出力する。このようにして、画像データ読み出し手段５Ｈは、データＰ３ＩＮＴを入力して、データＰ３ＩＮＴで示される位置の画素及びその近傍の画素を読み出す。近傍の画素とは、例えば、その左右の画素から成る複数の画素である。また、画素を読み出すとは、画素を抽出することである。
【００３６】
画像データ記憶手段１は、入力画像Ｄ０を入力して記憶する。また、画像データ記憶手段１は、画像読み出し手段５ＨからデータＰ５を入力する。データＰ５は、座標（ＵＩＮＴ−１，Ｖ）、座標（ＵＩＮＴ，Ｖ）、座標（ＵＩＮＴ＋１，Ｖ）、座標（ＵＩＮＴ＋２，Ｖ）という４点の座標である。
【００３７】
画像データ記憶手段１は、このデータＰ５の示す４点の座標に位置する入力画像Ｄ０内の画素の画素値を読み出し、画素値Ｄ１として出力する。ここで、データＰ５の示す４点の座標に位置する入力画像Ｄ０内の画素の画素値は、画素値Ｄ０（ＵＩＮＴ−１，Ｖ）、画素値Ｄ０（ＵＩＮＴ，Ｖ）、画素値Ｄ０（ＵＩＮＴ＋１，Ｖ）及び画素値Ｄ０（ＵＩＮＴ＋２，Ｖ）で表される。また、画素値Ｄ１は、画素値Ｄ１（−１）、画素値Ｄ１（０）、画素値Ｄ１（１）及び画素値Ｄ１（２）で表される。即ち、ｉ＝−１〜２としたとき、画像データ記憶手段１は、入力画像Ｄ０内の画素の画素値Ｄ０（ＵＩＮＴ＋ｉ，Ｖ）を画素値Ｄ１（ｉ）として読み出して出力する。
【００３８】
入力画像Ｄ０内の画素値Ｄ０（ＵＩＮＴ＋ｉ，Ｖ）と読み出される画素値Ｄ（ｉ）との関係は以下の式（２）で表される。
【００３９】
【数２】
2014022836.tif 000004
【００４０】
なお、上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値（例えばゼロ）を出力するものとする。
【００４１】
補間係数演算手段６ＨＡは、データＰ３ＤＥＣをもとに補間係数Ｃ６Ａを出力する。図７は補間係数Ｃ６Ａの求め方を表す図である。横軸は変数ｘを示し、縦軸は関数ｆ（ｘ）を示している。補間係数演算手段６ＨＡは所定の関数ｆ（ｘ）とデータＰ３ＤＥＣとに基づいて補間係数Ｃ６Ａを求める。データＰ３ＤＥＣの値をＵＤＥＣで表す場合、補間係数Ｃ６Ａとして、以下の式（３）で計算される４つの値Ｃ６Ａ（−１）、Ｃ６Ａ（０）、Ｃ６Ａ（１）、Ｃ６Ａ（２）が出力される。
【００４２】
【数３】
2014022836.tif 000005
なお、関数ｆ（ｘ）は、以下の式（４）の条件が任意のα（０＜α＜１）について満足される関数である。例えば、関数ｆ（ｘ）は、ＳＩＮＣ関数に適当な窓関数を掛けたもので定義される。窓関数とは、例えばハミング窓関数、カイザー窓関数である。
【００４３】
【数４】
2014022836.tif 000006
【００４４】
図７には、ｆ（ｘ）、ｆ（ｘ−ＵＤＥＣ）、Ｃ６Ａ（−１）、Ｃ６Ａ（０）、Ｃ６Ａ（１）、Ｃ６Ａ（２）の例が示されている。
【００４５】
補間演算手段７Ｈは、出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について補間係数Ｃ６Ａを用いたフィルタ処理および画像データＤ１を用いた以下の式（５）の補間演算を行う。なお、式（５）において、Ｄ０（ｇ，ｈ）という記号は入力画像Ｄ０内の座標（ｇ，ｈ）で表される位置の画素の画素値を表す。
【００４６】
【数５】
2014022836.tif 000007
【００４７】
これにより、座標（Ｘ，Ｙ）で表される位置の画素の画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで、出力画像Ｄ７が得られる。
【００４８】
また、実施の形態１による画像処理装置によれば、補間演算によって入力画像Ｄ０内の任意の位置の画素値を参照することができる。このため、水平方向に関して任意の歪みを与えることができる。すなわち、水平方向に関して任意の光学系の歪みを補正することができる。
【００４９】
ただし、上記のように光学系の歪みを補正すると、投写面Ｕ２の形状によっては光学系の歪みが充分に補正できないことがあった。図８及び図９に示すように、投写面Ｕ２が互いに不連続な第１の投写面Ｕ２Ａと第２の投写面Ｕ２Ｂとによって構成されている場合に発生する問題を以下に述べる。
【００５０】
この場合、第１の投写面Ｕ２Ａと光学系Ｕ１Ｂとの位置関係は、第２の投写面Ｕ２Ｂと光学系Ｕ１Ｂとの位置関係と異なる。このため、光学系Ｕ１Ｂによって第１の投写面Ｕ２Ａに表示される画像に生じる歪みの特性は、第２の投写面Ｕ２Ｂに表示される画像に生じる歪みの特性と異なる。
【００５１】
そこで、式（１）にしたがって第１の投写面Ｕ２Ａに表示される画素に対する歪み補正値を計算する場合、歪み補正値を参照する代表画素は、全て第１の投写面Ｕ２Ａに表示される領域内に存在することが好ましい。同様に、第２の投写面Ｕ２Bに表示される画素に対する歪み補正値を計算する場合も、歪み補正値を参照する代表画素は、全て第２の投写面Ｕ２Ｂに表示される領域内に存在することが好ましい。
【００５２】
しかしながら、式（１）によって参照画素位置を求めると、第１の投写面Ｕ２Ａと第２の投写面Ｕ２Ｂとの境界付近では、歪み補正値を参照する代表画素が、第１の投写面Ｕ２Ａに表示される領域と第２の投写面Ｕ２Ｂに表示される領域との両方にまたがって配置される場合がある。この場合、式（１）によって得られる参照画素位置では、理想的な値からの誤差が大きくなることがある。また、参照画素位置に対する誤差が大きくなると、光学系Ｕ１Ｂによって生じる画像の歪みの補正の精度も下がるという問題が生じる。
【００５３】
実施の形態１による画像処理装置は、この問題を解決するために、出力画像分割データ記憶手段９を設けた。参照画素位置算出手段３Ｈは、参照画素位置を計算する際、出力画像分割データ記憶手段９に保持される情報を利用する。参照画素位置算出手段３Ｈは、第１の投写面Ｕ２Ａに表示される画素に対する歪み補正値を計算する場合は、第１の投写面Ｕ２Ａに表示される領域内に存在する代表画素の歪み補正値のみを参照する。また、参照画素位置算出手段３Ｈは、第２の投写面Ｕ２Ｂに表示される画素に対する歪み補正値を計算する場合は、第２の投写面Ｕ２Ｂに表示される領域内に存在する代表画素の歪み補正値のみを参照する。
【００５４】
以下、参照画素位置算出手段３Ｈ及び出力画像分割データ記憶手段９についてさらに説明する。
【００５５】
出力画像分割データ記憶手段９は、出力画像Ｄ７内の代表画素の各々が第１の領域に含まれるか第２の領域に含まれるかを記載した出力画像分割データＤ９を記憶している。出力画像分割データＤ９として、例えば、第１の領域に含まれる代表画素については、第１の値（例えば０）を記憶すればよい。また、第２の領域に含まれる代表画素については第２の値（例えば１）を記憶すればよい。
【００５６】
図１０は、参照画素位置算出手段３Ｈの内部構成を表すブロック図である。参照画素位置算出手段３Ｈは、画素位置判定手段３ＨＡ１，３ＨＡ２及び補間手段３ＨＢ１，３ＨＢ２，３ＨＣを備える。以下に説明する参照画素位置算出手段３Ｈの動作は、先に説明した動作に比べて入力画像Ｄ０内の参照するべき画素の位置の水平座標Ｕの求め方が異なる。垂直座標Ｖの求め方は、先に述べた求め方と同様である。以下、水平座標Ｕの求め方について説明する。
【００５７】
画素位置判定手段３ＨＡ１は、出力画像分割データＤ９を参照して［Ｊ，Ｋ］、［Ｊ，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っているか否かを判断する。画素位置判定手段３ＨＡ１は、その判定結果を判定結果Ｄ３ＨＡ１として出力する。
【００５８】
画素位置判定手段３ＨＡ２は、出力画像分割データＤ９を参照して［Ｊ＋１，Ｋ］、［Ｊ＋１，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っているか否かを判断する。画素位置判定手段３ＨＡ２は、その判定結果を判定結果Ｄ３ＨＡ２として出力する。
【００５９】
ただし、［Ｊ，Ｋ］で表される代表画素とは、水平座標が６４×Ｊとなり、垂直座標が６４×Ｋとなる代表画素を表す。［Ｊ，Ｋ＋１］で表される代表画素とは、水平座標が６４×Ｊとなり、垂直座標が６４×（Ｋ＋１）となる代表画素を表す。［Ｊ＋１，Ｋ］で表される代表画素とは、水平座標が６４×（Ｊ＋１）となり、垂直座標が６４×Ｋとなる代表画素を表す。［Ｊ＋１，Ｋ＋１］で表される代表画素とは、水平座標が６４×（Ｊ＋１）となり、垂直座標が６４×（Ｋ＋１）となる代表画素を表す。
【００６０】
図１１は、補間手段３ＨＢ１の動作を表す図である。図１２は、補間手段３ＨＢ２の動作を表す図である。図１３は、補間手段３ＨＣの動作を表す図である。補間手段３ＨＢ１は、図１１に示すように歪み補正値Ｐ２（Ｊ，Ｋ）、歪み補正値Ｐ２（Ｊ，Ｋ＋１）および判定結果Ｄ３ＨＡ１から式（１）に記載されたＰＫ０に相当するデータを求める。また、補間手段３ＨＢ１は、求めたＰＫ０の値が、信頼性の高い値か低い値かを表すフラグＦ３ＨＢ１を出力する。図１１において、［Ｊ，Ｋ］と示した列に○と書かれている場合は、［Ｊ，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。また、［Ｊ，Ｋ］と示した列に×と書かれている場合は、［Ｊ，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。また、［Ｊ，Ｋ＋１］と示した列に○と書かれている場合は、［Ｊ，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。また、［Ｊ，Ｋ＋１］と示した列に×と書かれている場合は、［Ｊ，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。
【００６１】
［Ｊ，Ｋ］で表される代表画素と［Ｊ，Ｋ＋１］で表される代表画素とが、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＨＢ１は、式（１）と同じ方法でＰＫ０を求める。すなわち、ＰＫ０は以下の式（６）で表される。この場合、ＰＫ０は信頼性の高い値と考え、フラグＦ３ＨＢ１はＰＫ０の値が有効であることを示す。
【００６２】
【数６】
2014022836.tif 000008
【００６３】
［Ｊ，Ｋ］で表される代表画素のみが座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＨＢ１は、ＰＫ０としてＰ２（Ｊ，Ｋ）を出力する。これは式（６）において、Ｐ２（Ｊ，Ｋ＋１）の代わりにＰ２（Ｊ，Ｋ）を用いたことを意味する。この場合、ＰＫ０は信頼性の高い値と考え、フラグＦ３ＨＢ１は、ＰＫ０の値が有効であることを示す。
【００６４】
［Ｊ，Ｋ＋１］で表される代表画素のみが座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＨＢ１は、ＰＫ０としてＰ２（Ｊ，Ｋ＋１）を出力する。これは式（６）において、Ｐ２（Ｊ，Ｋ）の代わりにＰ２（Ｊ，Ｋ＋１）を用いたことを意味する。この場合、ＰＫ０は信頼性の高い値と考え、フラグＦ３ＨＢ１は、ＰＫ０の値が有効であることを示す。
【００６５】
［Ｊ，Ｋ］で表される代表画素と［Ｊ，Ｋ＋１］で表される代表画素とが、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていない場合、補間手段３ＨＢ１は、式（６）と同じ方法でＰＫ０を求める。ただし、この場合、ＰＫ０は信頼性の低い値と考え、フラグＦ３ＨＢ１は、ＰＫ０の値が無効であることを示す。
【００６６】
補間手段３ＨＢ２は、図１２に示すように歪み補正値Ｐ２（Ｊ＋１，Ｋ）、歪み補正値Ｐ２（Ｊ＋１，Ｋ＋１）および判定結果Ｄ３ＨＡ２から、式（１）に記載されたＰＫ１に相当するデータを求める。また、求めたＰＫ１の値が、信頼性の高い値か低い値かを表すフラグＦ３ＨＢ２を出力する。
【００６７】
図１２において、［Ｊ＋１，Ｋ］と示した列に○と書かれている場合は、［Ｊ＋１，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。［Ｊ＋１，Ｋ］と示した列に×と書かれている場合は、［Ｊ＋１，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。
【００６８】
また、［Ｊ＋１，Ｋ＋１］と示した列に○と書かれている場合は、［Ｊ＋１，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。［Ｊ＋１，Ｋ＋１］と示した列に×と書かれている場合は、［Ｊ＋１，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。
【００６９】
［Ｊ＋１，Ｋ］で表される代表画素と［Ｊ＋１，Ｋ＋１］で表される代表画素とが、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＨＢ２は、式（１）と同じ方法でＰＫ１を求める。すなわち、ＰＫ１は以下の式（７）で表される。この場合、ＰＫ１は信頼性の高い値と考え、フラグＦ３ＨＢ２はＰＫ１の値が有効であることを示す。
【００７０】
【数７】
2014022836.tif 000009
【００７１】
［Ｊ＋１，Ｋ］で表される代表画素のみが座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＨＢ２は、ＰＫ１としてＰ２（Ｊ＋１，Ｋ）を出力する。これは式（７）においてＰ２（Ｊ＋１，Ｋ＋１）の代わりにＰ２（Ｊ＋１，Ｋ）を用いたことを意味する。この場合、ＰＫ１は信頼性の高い値と考え、フラグＦ３ＨＢ２はＰＫ１の値が有効であることを示す。
【００７２】
［Ｊ＋１，Ｋ＋１］で表される代表画素のみが座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＨＢ２は、ＰＫ１としてＰ２（Ｊ＋１，Ｋ＋１）を出力する。これは式（７）においてＰ２（Ｊ＋１，Ｋ）の代わりにＰ２（Ｊ＋１，Ｋ＋１）を用いたことを意味する。この場合、ＰＫ１は信頼性の高い値と考え、フラグＦ３ＨＢ２はＰＫ１の値が有効であることを示す。
【００７３】
［Ｊ＋１，Ｋ］で表される代表画素と［Ｊ＋１，Ｋ＋１］で表される代表画素とが座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていない場合、補間手段３ＨＢ１は、式（７）と同じ方法でＰＫ１を求める。ただしこの場合、ＰＫ１は信頼性の低い値と考え、フラグＦ３ＨＢ１はＰＫ１の値が無効であることを示す。
【００７４】
補間手段３ＨＣは、図１３に示すようにフラグＦ３ＨＢ１，Ｆ３ＨＢ２、第１の補間値ＰＫ０および第２の補間値ＰＫ１の値によって水平座標Ｕの求め方を変える。
【００７５】
ＰＫ０が有効であることをフラグＦ３ＨＢ１が示し、かつ、ＰＫ１が有効であることをフラグＦ３ＨＢ２が示す場合、補間手段３ＨＣは、式（１）と同じ方法で水平座標Ｕを求める。すなわち、水平座標Ｕは以下の式（８）で表される。
【００７６】
【数８】
2014022836.tif 000010
【００７７】
ＰＫ０が有効であることをフラグＦ３ＨＢ１が示し、かつ、ＰＫ１が無効であることをフラグＦ３ＨＢ２が示す場合、補間手段３ＨＣは以下の式で水平座標Ｕを求める。これは式（８）においてＰＫ１の代わりにＰＫ０を用いたことを意味する。
Ｕ＝Ｘ＋ＰＫ０
【００７８】
ＰＫ０が無効であることをフラグＦ３ＨＢ１が示し、かつ、ＰＫ１が有効であることをフラグＦ３ＨＢ２が示す場合、補間手段３ＨＣは以下の式で水平座標Ｕを求める。これは式（８）においてＰＫ０の代わりにＰＫ１を用いたことを意味する。
Ｕ＝Ｘ＋ＰＫ１
【００７９】
ＰＫ０が無効であることをフラグＦ３ＨＢ１が示し、かつ、ＰＫ１が無効であることをフラグＦ３ＨＢ２が示す場合、補間手段３ＨＣは式（１）と同じ方法で水平座標Ｕを求める。この場合、水平座標Ｕの値は信頼性の低い値になる。
【００８０】
以上が実施の形態１による画像処理装置の動作である。
【００８１】
上記の動作によれば、水平座標Ｕを計算する際に、第１の領域のデータと第２の領域のデータとを混同して使うことがない。このため、水平座標Ｕを精度よく求めることができる。よって、投写面が不連続な面で構成されていても光学歪みを精度よく補正できる。
【００８２】
なお、代表画素のみを二次元状に並べて画像とみなすと、出力画像分割データＤ９は、第１の領域に相当する箇所が第１の値で塗りつぶされた画像とみなすことができ、第２の領域に相当する箇所の画素値が第２の値で塗りつぶされた画像とみなすことができる。
【００８３】
このように、ある程度まとまった領域ごとに塗りわけられた画像は、圧縮することでデータサイズを小さくできることが知られている。圧縮方法としては、例えばランレングス符号化を用いることができる。よって、出力画像分割データ記憶手段９は、出力画像分割データＤ９を圧縮して保存することでそのサイズを小さくすることができる。また、この場合、出力画像分割データＤ９にかけられた圧縮処理を解除する出力画像分割データ復元手段を幾何学変換手段４の内部に設けてやればよい。
【００８４】
また、上記の例では、入力画像Ｄ１と出力画像Ｄ７とは同じ画素数とした。しかし、両者の画素数は異なっていてもよい。特に入力画像Ｄ１の画素数を出力画像Ｄ７の画素数より多くすることで補間演算手段７Ｈにおける補間演算の精度を高めることが出来る。あるいは、入力画像Ｄ１の解像度を出力画像Ｄ７より高くすることで補間演算手段７Ｈにおける補間演算の精度を高めることが出来る。言い換えると、補間演算あるいは幾何学変換による画像の劣化をある程度防止することが出来る。また、この場合、参照画素位置記憶手段２Ｈに記憶する歪み補正値は、入力画像Ｄ１の画素間隔を１とする座標系上で求めた値とすればよい。
【００８５】
以上に述べたように、実施の形態１による画像処理装置は、出力画像分割データ記憶手段９、補正値記憶手段２Ｈ及び幾何学変換手段４を備えている。このため、実施の形態１による画像処理装置は、投写面が不連続な面で構成される投写型の画像表示装置でも用いることができる。投写面が不連続な面で構成される投写型の画像表示装置では、投写用の光学系と投写面を構成する不連続な面の各々との間で異なった光学系の歪みが発生する。しかし、実施の形態１による画像処理装置は、出力画像分割データ記憶手段９、補正値記憶手段２Ｈ及び幾何学変換手段４を備えたため、不連続な面の各々に対して発生する異なった光学系の歪みを補正することができる。
【００８６】
なお、上述の例で投写面は不連続な２つの面から構成されていた。しかし、本発明が適用できる投写面の構成はこれに限られない。つまり、投写面は第１から第Ｎの不連続な面で構成されていてもよい。この場合、出力画像分割データ記憶手段９は、出力画像を構成する各画素について、該当画素が第１から第Ｎのいずれの面に対応する領域に属するかを示す値を保持すればよい。例えば第Ｊの面に対応する領域に属する画素については第Ｊの値を保持すればよい。ここで、Ｊは１からＮのいずれかの自然数である。
【００８７】
なお、実施の形態１による画像処理装置における処理は、入力画像ＤＩＮに対する幾何学変換とみなすこともできる。そのため、補正値記憶手段２Ｈに保持されているデータは、入力画像の少なくとも一部を幾何学変換するための座標変換用データであるとみなすこともできる。
【００８８】
また、補正値記憶手段２Ｈにおいて、歪み補正値を保持する代表画素の間隔は、６４画素おきに限定されない。ここで、歪み補正値とは、歪み補正値を示すデータである。ただし、代表画素の間隔を２のべき乗の値にしておくと、水平座標Ｕを計算する際に用いる除算がシフト演算で代用できるため、実施の形態１の画像処理装置を回路に実装する際に有利である。
【００８９】
実施の形態２．
図１４は本発明の実施の形態２による画像処理装置の構成を表すブロック図である。実施の形態１で説明した画像処理装置と同様の構成をしている。但し、図１の補正値記憶手段２Ｈ、参照画素位置算出手段３Ｈ、画像データ読み出し手段５Ｈ、補間係数演算手段６ＨＡ及び補間演算手段７Ｈの代わりに、補正値記憶手段２Ｖ、参照画素位置算出手段３Ｖ、画像データ読み出し手段５Ｖ、補間係数演算手段６ＶＡ及び補間演算手段７Ｖが設けられている。また、実施の形態２による幾何学変換手段４は、参照画素位置算出手段３Ｖ、画像データ記憶手段１、画像データ読み出し手段５Ｖ、補間係数演算手段６ＶＡ及び補間演算手段７Ｖを有している。
【００９０】
補正値記憶手段２Ｖ、参照画素位置算出手段３Ｖ、画像データ読み出し手段５Ｖ、補間係数演算手段６ＶＡ及び補間演算手段７Ｖは、それぞれ補正値記憶手段２Ｈ、参照画素位置算出手段３Ｈ、画像データ読み出し手段５Ｈ、補間係数演算手段６ＨＡ及び補間演算手段７Ｈと同様のものである。しかし、後述のように、拡大の方向及び縮小の方向が水平方向ではなく、垂直方向であり、処理の内容が異なる。
【００９１】
図１の構成要素と同一の構成要素には同一の符号を付しその説明を省略する。図１の構成要素と同一の構成要素とは、画像データ記憶手段１、制御手段８及び出力画像分割データ記憶手段９である。
【００９２】
実施の形態２による画像処理装置も、例えば図２に示すリアプロジェクションテレビ等の投写型表示装置に代表される画像表示装置の一部として用いることができる。
【００９３】
実施の形態１による画像処理装置は、水平方向に関して任意の歪みを与えるものであった。しかし、実施の形態２による画像処理装置は、垂直方向に関して任意の歪みを与えることができる。
【００９４】
例えば、図２に示す光学系Ｕ１Ｂが、図１５（Ａ）及び図１５（Ｂ）に示すような垂直方向に関する歪みを持っていたとしても、実施の形態２による画像処理装置は、投写面Ｕ２に歪みのない画像を表示することが可能になる。図１５は、光学系Ｕ１Ｂの歪みを模式的に示した図である。図１５（Ａ）及び図１５（Ｂ）は、光学系Ｕ１Ｂの垂直方向に関する歪みの一例を模式的に表す図である。図１５（Ａ）に示すような水平の直線及び垂直の直線からなる格子状の画像は、光学系Ｕ１Ｂによって、垂直方向に図１５（Ｂ）に示すような台形状の歪みが生じる。なお、図１５（Ｂ）中に示される破線ＰＡは、台形状の画像の左辺が投写面の幅に一致するように調整した場合に、投写面Ｕ２に表示される画像の範囲を表すものである。
【００９５】
図２に示す光学系Ｕ１Ｂが図１５（Ａ）及び図１５（Ｂ）に示すような歪みを持っている場合、画像処理装置Ｕ０は、入力画像ＤＩＮに対して図１６に示すような画像ＤＵ０を生成して、画像投写手段Ｕ１に出力する。図１６に示す画像ＤＵ０は、垂直方向に関して光学系Ｕ１Ｂによる歪みと逆の特性で歪ませた画像である。図１６には、光学系Ｕ１Ｂによる歪みと逆の特性で歪ませた範囲を符号ＰＢで示す。これにより、入力画像ＤＩＮは、見かけ上歪みのない状態で投写面Ｕ２に映し出される。
【００９６】
以下、図１４に示した実施の形態２による画像処理装置の動作について説明する。図１４に示した画像処理装置は、入力画像Ｄ０に対して補間及び座標変換を行って、画像Ｄ７を出力する。ここで、入力画像Ｄ０は、図２に示す入力画像ＤＩＮに相当する。画像Ｄ７は、図２に示す画像ＤＵ０に相当する。この処理は、幾何学変換手段４において入力画像Ｄ０に幾何学変換を行って出力画像Ｄ７を出力する処理と見ることもできる。
【００９７】
画像データ記憶手段１には入力画像Ｄ０の各画素の画素値が保存される。
【００９８】
補正値記憶手段２Ｖには、光学系Ｕ１Ｂによって生じる歪みを補正するために参照するべき画素の位置を表すデータが保持されている。光学系Ｕ１Ｂによって生じる歪みを補正するために参照するべき画素の位置とは、座標変換前の画素位置である。光学系Ｕ１Ｂによって生じる歪みを補正するために参照するべき画素の位置を表すデータとは、歪み補正値データである。
【００９９】
図１７は、参照する画素の位置について説明する図である。参照する画素の位置とは、座標変換前の画素位置である。最も左側に垂直座標が示されている。垂直座標の右に、入力画像Ｄ０のある列の画素位置が示されている。ある列とは、入力画像Ｄ０の例として選択した１つの列である。入力画像Ｄ０の画素位置は、座標変換前の画素位置である。入力画像Ｄ０の右に、出力画像Ｄ７の入力画像Ｄ０と同じ列の画素位置が示されている。出力画像Ｄ７の画素位置は、座標変換後の画素位置である。
【０１００】
図１７から、出力画像Ｄ７において垂直座標が値Ａｖより上側の出力画像Ｄ７の画素は、出力画像Ｄ７の画素自身より上側の入力画像Ｄ０の画素を参照すればよい。また、垂直座標が値Ｂｖより下側の出力画像Ｄ７の画素は、出力画像Ｄ７の画素自身より下側の入力画像Ｄ０の画素を参照すればよい。垂直座標が値Ａｖから値Ｂｖまでの間の出力画像Ｄ７の画素は、出力画像Ｄ７の自身と同一位置の入力画像Ｄ０の画素を参照すればよい。
【０１０１】
補正値記憶手段２Ｖは、出力画像Ｄ７内の画素の一部について、画像Ｄ０内の参照画素の相対的位置を表すデータを保持している。参照画素の相対的位置を表すデータは、歪み補正値データである。具体的には、各画素が、画像Ｄ０内において同一座標の画素より何画素下の画素を参照するべきかが保持されている。また、各画素が、画像Ｄ０内において同一座標の画素より何画素上の画素を参照するべきかが保持されている。
【０１０２】
例えば、３画素下を参照するのが適当な場合は、「プラス３」というデータが補正値記憶手段２Ｖに保持されている。４画素上を参照するのが適当な場合は、「マイナス４」というデータが補正値記憶手段２Ｖに書き込まれている。同一座標の画素を参照するのが適当な場合は、「ゼロ」というデータが補正値記憶手段２Ｖに書き込まれている。要するに、補正値記憶手段２Ｖには、出力画像Ｄ７内の各画素の垂直座標の値と画像Ｄ０内において参照すべき画素の垂直座標の値との差分が書き込まれている。この差分は、正負の符号付きの値である。
【０１０３】
ここで、出力画像Ｄ７内の全ての画素について歪み補正値を保持すると、保持するデータの数が膨大になる。このため、データの保持は、水平方向及び垂直方向ともに所定の画素間隔おきに行う。言い換えると、所定の画素間隔おきの画素を代表画素として設定して、各代表画素についてのみ歪み補正値の保持を行う。これにより、保持するデータの数を削減することが可能である。ここで、データの数とは、データの量のことである。
【０１０４】
なお、後述するように、代表画素以外の画素についての、参照するべき画素の画素値は、補間演算によって求められる。参照するべき画素とは、座標変換前の位置の画素である。このため、代表画素についての、歪み補正値は整数に限定されない。つまり、画素間隔の整数倍を表す値に限定されない。歪み補正値は整数部及び小数部を含む実数であってもよい。例えば、３．５画素下を参照したいのであれば「プラス３．５」という値を設定すればよい。
【０１０５】
出力画像分割データ記憶手段９は、出力画像分割データＤ９を記憶している。出力画像分割データＤ９は、出力画像Ｄ７内の代表画素の各々が、第１の領域に含まれるか第２の領域に含まれるかを示したデータである。例えば、出力画像分割データＤ９は、第１の領域に含まれる代表画素については第１の値を示せば良い。第１の値とは、例えば０（ゼロ）である。また、出力画像分割データＤ９は、第２の領域に含まれる代表画素については第２の値を示せば良い。第２の値とは、例えば１である。
【０１０６】
以下、補正値記憶手段２Ｖにおいて、各代表画素の歪み補正値Ｐ２が保持される処理について説明する。代表画素は、水平方向及び垂直方向ともに６４画素おきの画素とする。代表画素の位置は、Ｍ及びＮを整数としたとき、水平座標が６４×Ｍで表され、垂直座標が６４×Ｎで表される。各代表画素についての歪み補正値Ｐ２は、図６に示されるように、Ｐ２（Ｍ，Ｎ）で表される。
【０１０７】
図１８は、参照画素位置算出手段３Ｖの内部構成を表すブロック図である。参照画素位置算出手段３Ｖは、画素位置判定手段３ＶＡ１，３ＶＡ２及び補間手段３ＶＢ１，３ＶＢ２，３ＶＣを備える。
【０１０８】
また、参照画素位置算出手段３Ｖは、補正値記憶手段２Ｖに保持された、代表画素についての歪み補正値Ｐ２（Ｍ，Ｎ）をもとに、出力画像Ｄ７内の各画素について直線補間を行なう。また、参照画素位置算出手段３Ｖは、出力画像Ｄ７のすべての画素の各々について、入力画像Ｄ０内の参照するべき画素の位置の水平座標Ｕ及び垂直座標Ｖを計算する。参照するべき画素の位置とは、座標変換前の位置である。
【０１０９】
ここで画像の歪みは、垂直方向にのみ発生しているので、入力画像Ｄ０内の参照するべき画素の位置の水平座標Ｕは、常に出力画像Ｄ７内の各画素の水平座標と等しい。すなわち、出力画像Ｄ７内の、水平座標がＸ＝６４×Ｊ＋Ａで表され、垂直座標がＹ＝６４×Ｋ＋Ｂで表される位置の画素について、入力画像Ｄ０内の参照画素位置の水平座標ＵはＸとなる。ここで、Ｊ及びＫはゼロ以上の整数である。また、Ａ及びＢはゼロ以上６３以下の整数である。
【０１１０】
以下、画素位置判定手段３ＶＡ１，３ＶＡ２及び補間手段３ＶＢ１，３ＶＢ２、３ＶＣの動作説明と、垂直座標Ｖの求め方とについて述べる。
【０１１１】
画素位置判定手段３ＶＡ１は、出力画像分割データＤ９を参照して［Ｊ，Ｋ］、［Ｊ＋１，Ｋ］で表される代表画素が、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っているか否かを判断する。画素位置判定手段３ＶＡ１は、その判定結果を判定結果Ｄ３ＶＡ１として出力する。
【０１１２】
画素位置判定手段３ＶＡ２は、出力画像分割データＤ９を参照して［Ｊ，Ｋ＋１］、［Ｊ＋１，Ｋ＋１］で表される代表画素が、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っているか否かを判断する。画素位置判定手段３ＶＡ２は、その判定結果を判定結果Ｄ３ＶＡ２として出力する。
【０１１３】
ただし、［Ｊ，Ｋ］で表される代表画素とは、水平座標が６４×Ｊとなり、垂直座標が６４×Ｋとなる代表画素を表す。［Ｊ，Ｋ＋１］で表される代表画素とは、水平座標が６４×Ｊとなり、垂直座標が６４×（Ｋ＋１）となる代表画素を表す。［Ｊ＋１，Ｋ］で表される代表画素とは、水平座標が６４×（Ｊ＋１）となり、垂直座標が６４×Ｋとなる代表画素を表す。［Ｊ＋１，Ｋ＋１］で表される代表画素とは、水平座標が６４×（Ｊ＋１）となり、垂直座標が６４×（Ｋ＋１）となる代表画素を表す。
【０１１４】
図１９は、補間手段３ＶＢ１の動作を表す図である。図２０は、補間手段３ＶＢ２の動作を表す図である。図２１は、補間手段３ＶＣの動作を表す図である。補間手段３ＶＢ１は、図１９に示すように、歪み補正値Ｐ２（Ｊ，Ｋ）、歪み補正値Ｐ２（Ｊ＋１，Ｋ）および判定結果Ｄ３ＶＡ１から以下に説明する方法に従ってＰＫ０を求める。また、補間手段３ＶＢ１は、求めたＰＫ０の値が信頼性の高い値か低い値かを表すフラグＦ３ＶＢ１を出力する。
【０１１５】
図１９において、［Ｊ，Ｋ］と示した列に○と書かれている場合は、［Ｊ，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。［Ｊ，Ｋ］と示した列に×と書かれている場合は、［Ｊ，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。
【０１１６】
また、［Ｊ＋１，Ｋ］と示した列に○と書かれている場合は、［Ｊ＋１，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。［Ｊ＋１，Ｋ］と示した列に×と書かれている場合は、［Ｊ＋１，Ｋ］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。
【０１１７】
［Ｊ，Ｋ］で表される代表画素及び［Ｊ＋１，Ｋ］で表される代表画素が、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＶＢ１はＰＫ０を以下の式（９）で計算する。この場合、ＰＫ０は信頼性の高い値と考え、フラグＦ３ＶＢ１はＰＫ０の値が有効であることを示す。
【０１１８】
【数９】
2014022836.tif 000011
【０１１９】
［Ｊ，Ｋ］で表される代表画素のみが、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＨＢ１は、ＰＫ０としてＰ２（Ｊ，Ｋ）を出力する。これは式（９）においてＰ２（Ｊ＋１，Ｋ）の代わりにＰ２（Ｊ，Ｋ）を用いたことを意味する。この場合、ＰＫ０は信頼性の高い値と考え、フラグＦ３ＶＢ１はＰＫ０の値が有効であることを示す。
【０１２０】
［Ｊ＋１，Ｋ］で表される代表画素のみが、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＶＢ１は、ＰＫ０としてＰ２（Ｊ＋１，Ｋ）を出力する。これは式（９）においてＰ２（Ｊ，Ｋ）の代わりにＰ２（Ｊ＋１，Ｋ）を用いたことを意味する。この場合、ＰＫ０は信頼性の高い値と考え、フラグＦ３ＶＢ１はＰＫ０の値が有効であることを示す。
【０１２１】
［Ｊ，Ｋ］で表される代表画素及び［Ｊ＋１，Ｋ］で表される代表画素が、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていない場合、補間手段３ＶＢ１は、式（９）と同じ方法でＰＫ０を求める。ただしこの場合、ＰＫ０は信頼性の低い値と考え、フラグＦ３ＶＢ１はＰＫ０の値が無効であることを示す。
【０１２２】
補間手段３ＶＢ２は、図２０に示すように歪み補正値Ｐ２（Ｊ，Ｋ＋１）、歪み補正値Ｐ２（Ｊ＋１，Ｋ＋１）および判定結果Ｄ３ＶＡ２から以下に説明する方法でＰＫ１を求める。また、求めたＰＫ１の値が信頼性の高い値か低い値かを表すフラグＦ３ＶＢ２を出力する。
【０１２３】
図２０において、［Ｊ，Ｋ＋１］と示した列に○と書かれている場合は、［Ｊ，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。［Ｊ，Ｋ＋１］と示した列に×と書かれている場合は、［Ｊ，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。
【０１２４】
また、［Ｊ＋１，Ｋ＋１］と示した列に○と書かれている場合は、［Ｊ＋１，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていることを示す。［Ｊ＋１，Ｋ＋１］と示した列に×と書かれている場合は、［Ｊ＋１，Ｋ＋１］で表される代表画素が座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていないことを示す。
【０１２５】
［Ｊ，Ｋ＋１］で表される代表画素及び［Ｊ＋１，Ｋ＋１］で表される代表画素が、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＶＢ２はＰＫ１を、以下の式（１０）で計算する。この場合、ＰＫ１は信頼性の高い値と考え、フラグＦ３ＶＢ２はＰＫ１の値が有効であることを示す。
【０１２６】
【数１０】
2014022836.tif 000012
【０１２７】
［Ｊ，Ｋ＋１］で表される代表画素のみが、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＶＢ１は、ＰＫ１としてＰ２（Ｊ，Ｋ＋１）を出力する。これは式（１０）においてＰ２（Ｊ＋１，Ｋ＋１）の代わりにＰ２（Ｊ，Ｋ＋１）を用いたことを意味する。この場合、ＰＫ１は信頼性の高い値と考え、フラグＦ３ＶＢ２はＰＫ１の値が有効であることを示す。
【０１２８】
［Ｊ＋１，Ｋ＋１］で表される代表画素のみが、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っている場合、補間手段３ＶＢ２は、ＰＫ１としてＰ２（Ｊ＋１，Ｋ＋１）を出力する。これは式（１０）においてＰ２（Ｊ，Ｋ＋１）の代わりにＰ２（Ｊ＋１，Ｋ＋１）を用いたことを意味する。この場合、ＰＫ１は信頼性の高い値と考え、フラグＦ３ＶＢ２はＰＫ１の値が有効であることを示す。
【０１２９】
［Ｊ，Ｋ＋１］で表される代表画素及び［Ｊ＋１，Ｋ＋１］で表される代表画素が、座標（Ｘ，Ｙ）で表される画素と同じ領域に入っていない場合、補間手段３ＶＢ１は、式（９）と同じ方法でＰＫ１を求める。ただしこの場合、ＰＫ１は信頼性の低い値と考え、フラグＦ３ＶＢ１はＰＫ１の値が無効であることを示す。
【０１３０】
補間手段３ＶＣは、図２１に示すようにフラグＦ３ＶＢ１，Ｆ３ＶＢ２、第１の補間値ＰＫ０および第２の補間値ＰＫ１の値から以下に説明する方法でＶを計算する。
【０１３１】
ＰＫ０が有効であることをフラグＦ３ＶＢ１が示し、かつ、ＰＫ１が有効であることをフラグＦ３ＶＢ２が示す場合、補間手段３ＶＣは垂直座標Ｖを、以下の式（１１）で計算する。
【０１３２】
【数１１】
2014022836.tif 000013
【０１３３】
ＰＫ０が有効であることをフラグＦ３ＶＢ１が示し、かつ、ＰＫ１が無効であることをフラグＦ３ＶＢ２が示す場合、補間手段３ＶＣは以下の式で垂直座標Ｖを求める。これは式（１１）においてＰＫ１の代わりにＰＫ０を用いたことを意味する。
Ｖ＝Ｙ＋ＰＫ０
【０１３４】
ＰＫ０が無効であることをフラグＦ３ＶＢ１が示し、かつ、ＰＫ１が有効であることをフラグＦ３ＶＢ２が示す場合、補間手段３ＶＣは以下の式で垂直座標Ｖを求める。これは式（１１）においてＰＫ０の代わりにＰＫ１を用いたことを意味する。
Ｖ＝Ｙ＋ＰＫ１
【０１３５】
ＰＫ０が無効であることをフラグＦ３ＶＢ１が示し、かつ、ＰＫ１が無効であることをフラグＦ３ＶＢ２が示す場合、補間手段３ＶＣは式（１１）と同じ方法でＶを求める。この場合、Ｖの値は信頼性の低い値になる。
【０１３６】
以上が実施の形態２による画像処理装置の動作である。
【０１３７】
画像データ読み出し手段５Ｖは、データＰ３ＩＮＴを入力して、各画素及びその近傍に位置する画素から成る複数の画素の座標をデータＰ５として出力する。複数の画素の座標とは、後述の補間演算に用いる画素の座標を４点分である。この４点の座標は、入力画像Ｄ０中の４つの画素の位置を示す座標である。
【０１３８】
画像データ読み出し手段５Ｖは、データＰ３ＩＮＴとして（Ｕ，ＶＩＮＴ）という座標を入力した場合、データＰ５として、座標（Ｕ，ＶＩＮＴ−１）、座標（Ｕ，ＶＩＮＴ）、座標（Ｕ，ＶＩＮＴ＋１）および座標（Ｕ，ＶＩＮＴ＋２）で表される４点の座標を示すデータを出力する。このようにして、画像データ読み出し手段５Ｖは、データＰ３ＩＮＴを入力して、データＰ３ＩＮＴで示される位置の画素及びその近傍の画素を読み出す。近傍の画素とは、例えば、その左右の画素から成る複数の画素である。また、画素を読み出すとは、画素を抽出することである。
【０１３９】
画像データ記憶手段１は、入力画像Ｄ０を入力して記憶する。また、画像データ記憶手段１は、画像読み出し手段５ＶからデータＰ５を入力する。データＰ５は、座標（Ｕ，ＶＩＮＴ−１）、座標（Ｕ，ＶＩＮＴ）、座標（Ｕ，ＶＩＮＴ＋１）、座標（Ｕ，ＶＩＮＴ＋２）という４点の座標である。
【０１４０】
画像データ記憶手段１は、このデータＰ５の示す４点の座標に位置する入力画像Ｄ０内の画素の画素値を読み出し、画素値Ｄ１として出力する。ここで、データＰ５の示す４点の座標に位置する入力画像Ｄ０内の画素の画素値は、画素値Ｄ０（Ｕ，ＶＩＮＴ−１）、画素値Ｄ０（Ｕ，ＶＩＮＴ）、画素値Ｄ０（Ｕ，ＶＩＮＴ＋１）及び画素値Ｄ０（Ｕ，ＶＩＮＴ＋２）で表される。また、画素値Ｄ１は、画素値Ｄ１（−１）、画素値Ｄ１（０）、画素値Ｄ１（１）及び画素値Ｄ１（２）で表される。即ち、ｉ＝−１〜２としたとき、画像データ記憶手段１は、入力画像Ｄ０内の画素の画素値Ｄ０（Ｕ，ＶＩＮＴ＋ｉ）を画素値Ｄ１（ｉ）として読み出して出力する。
【０１４１】
入力画像Ｄ０内の画素値Ｄ０（Ｕ，ＶＩＮＴ＋ｉ）と読み出される画素値Ｄ（ｉ）との関係は以下の式（１２）で表される。
【０１４２】
【数１２】
2014022836.tif 000014
なお、上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値を出力する。黒色を表す値とは、例えばゼロである。
【０１４３】
補間係数演算手段６ＶＡの動作は、実施の形態１における補間係数演算手段６ＨＡと同様である。すなわち、補間係数演算手段６ＶＡが出力する補間係数Ｃ６Ａは、式（３）のＵＤＥＣをＶＤＥＣに置き換えた４つの値Ｃ６Ａ（−１）、Ｃ６Ａ（０）、Ｃ６Ａ（１）及びＣ６Ａ（２）で表される。
【０１４４】
補間演算手段７Ｖは、出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について、補間係数Ｃ６Ａを用いたフィルタ処理および画像データＤ１を用いた以下の式（１３）で示される補間演算を行う。
【０１４５】
【数１３】
2014022836.tif 000015
【０１４６】
これにより、座標（Ｘ，Ｙ）で表される位置の画素の画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで出力画像Ｄ７が得られる。
【０１４７】
実施の形態２による画像処理装置は、垂直方向に関して実施の形態１による画像処理装置と同様の処理が行える。このため、実施の形態２による画像処理装置は、実施の形態１による画像処理装置が画像の水平方向に関して持っていた効果と同様の効果を、画像の垂直方向に関して得られる。
【０１４８】
なお、実施の形態２による画像処理装置においても、実施の形態１で説明した変更を加えることができる。ここで示す変更とは、下記の４つの変更である。第１の変更は、補間演算手段７Ｈの入力画像Ｄ１の画素数を出力画像Ｄ７の画素数より多くすることで、補間演算手段７Ｈにおける補間演算の精度を高めることが出来ることである。あるいは、入力画像Ｄ１の解像度を出力画像Ｄ７より高くすることで補間演算手段７Ｈにおける補間演算の精度を高めることが出来ることである。第２の変更は、実施の形態では投写面は不連続な２つの面から構成されていたが、投写面は第１から第Ｎの不連続な面で構成されていてもよいことである。第３の変更は、補正値記憶手段２Ｈにおいて、歪み補正値を保持する代表画素の間隔は、６４画素おきに限定されないことである。
【０１４９】
また、第４の変更として次の変更が考えられる。例えば、実施の形態１で、出力画像分割データ記憶手段９は、出力画像分割データを用いてデータを圧縮して保存している。実施の形態３による画像処理方法は、実施の形態１で示した出力画像分割データのようにデータを圧縮して保存しても良い。この場合、圧縮して保存したデータから元のデータを復元するための復元ステップを、図２２に示す画像処理方法のフローの中に取り入れればよい。また、上記の処理で得られた出力画像Ｄ７を、図２に示した画像表示装置で、画像ＤＵ０として用いることが可能である。
【０１５０】
実施の形態３．
図２２は、本発明の実施の形態３による画像処理方法のフローチャートである。実施の形態３による画像処理方法は、投写型表示装置に代表される画像表示装置の一部として用いることができる。例えば、図２に示すリアプロジェクションテレビの画像処理装置Ｕ０内で、実施の形態３による画像処理方法による画像処理を実行すればよい。
【０１５１】
図２３は、図２２に示す画像処理方法を実行できる画像処理装置の一例である。図２３に示す画像処理装置は、画像処理装置Ｕ０として用いることができる。図２３に示す画像処理装置は、入力インターフェース１０１、プログラム記憶メモリ１０２、ＣＰＵ１０３、データ記憶メモリ１０４、出力インターフェース１０５、画像データ記憶手段１、補正値記憶手段２Ｈ、出力画像分割データ９およびそれらを接続するバス１０６を有する。
【０１５２】
処理対象となる画像は、入力インターフェース１０１を介して図２３に示す画像処理装置に入力される。処理対象となる画像は入力画像Ｄ０である。画像データ記憶手段１の機能、補正値記憶手段２Ｈの機能および出力画像分割データ記憶手段９の機能は、図１に示したものと同等である。ＣＰＵ１０３は、プログラム記憶メモリ１０２に記憶されたプログラムに従って図２２に示される画像処理方法を実行する。データ記憶メモリ１０４は、動作の過程で種々のデータを記憶する。出力インターフェース１０５は、出力画像Ｄ７を出力する。出力画像Ｄ７は、処理の結果生成された画像である。また、動作の過程で必要なデータはバス１０６上で送受信される。以下、図２２に示された画像処理方法の詳細を説明する。
【０１５３】
図２２に示される画像処理方法は、補正値読み出しステップＳＴ２Ｈ、出力画像分割データ読み出しステップＳＴ９及び幾何学変換ステップＳＴ４を有する。また、幾何学変換ステップＳＴ４は、参照画素位置算出ステップＳＴ３Ｈ、画像データ読み出しステップＳＴ５Ｈ、補間係数演算ステップＳＴ６ＨＡ及び補間演算ステップＳＴ７Ｈを有する。
【０１５４】
補正値読み出しステップＳＴ２Ｈは、補正値記憶手段２Ｈに保持されている出力画像Ｄ７内の代表画素の歪み補正値Ｐ２を読み出す。出力画像分割データ読み出しステップＳＴ９は、出力画像分割データ記憶手段９から出力画像分割データＤ９を読み出す。
【０１５５】
参照画素位置算出ステップＳＴ３Ｈは、図２４に示すように、画素位置判定ステップＳＴ３ＨＡ１、補間ステップＳＴ３ＨＢ１、画素位置判定ステップＳＴ３ＨＡ２、補間ステップＳＴ３ＨＢ２および補間ステップＳＴ３ＨＣを有する。
【０１５６】
ここで、画素位置判定ステップＳＴ３ＨＡ１の動作は、画素位置判定手段３ＨＡ１の動作と同じである。補間ステップＳＴ３ＨＢ１の動作は、補間手段３ＨＢ１の動作と同じである。画素位置判定ステップＳＴ３ＨＡ２は、画素位置判定手段ＳＴ３ＨＡ２の動作と同じである。補間ステップＳＴ３ＨＢ２の動作は、補間手段３ＨＢ２の動作と同じである。補間ステップＳＴ３ＨＣの動作は、補間手段３ＨＣの動作と同じである。これにより、出力画像Ｄ７の各画素について、実施の形態１で説明した水平座標Ｕおよび実施の形態２で説明した垂直座標Ｖと同じ値が計算される。なお、Ｕは実数であるのでその整数部分をＵＩＮＴと表し、小数部分をＵＤＥＣと表す。
【０１５７】
画像データ読み出しステップＳＴ５Ｈは、ＵＩＮＴの値およびＶの値を基にして、入力画像Ｄ０を構成する画素のうち座標（ＵＩＮＴ−１，Ｖ）、座標（ＵＩＮＴ，Ｖ）、座標（ＵＩＮＴ＋１，Ｖ）および座標（ＵＩＮＴ＋２，Ｖ）で表される位置にある画素の画素値Ｄ０（ＵＩＮＴ−１，Ｖ）、画素値Ｄ０（ＵＩＮＴ，Ｖ）、画素値Ｄ０（ＵＩＮＴ＋１，Ｖ）および画素値Ｄ０（ＵＩＮＴ＋２，Ｖ）を画像データ記憶手段１から読み出して出力する。
【０１５８】
このようにして、画像データ読み出しステップＳＴ５Ｈは、ＵＩＮＴの値およびＶの値に応じて、座標（Ｖ，ＵＩＮＴ）で示される位置の画素及びその近傍の画素を読み出す。近傍の画素とは、例えば、座標（Ｖ，ＵＩＮＴ）で示される位置の画素の左右の画素から成る複数の画素である。なお、上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値を出力する。黒色を表す値としては、例えば、ゼロである。
【０１５９】
また、補間係数演算ステップＳＴ６ＨＡは、データＵＤＥＣをもとに実施の形態１における補間係数演算手段６ＨＡと同様の方法で補間係数Ｃ６Ａを求める。
【０１６０】
補間演算ステップＳＴ７Ｈは、出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について、補間演算手段７Ｈと同じ演算を行う。補間演算ステップＳＴ７Ｈの行う演算は、補間係数Ｃ６Ａを用いたフィルタ処理および入力画像Ｄ０の画素値を用いて行う。
【０１６１】
これにより、座標（Ｘ，Ｙ）で表される位置の画素に対する画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで出力画像Ｄ７が得られる。
【０１６２】
実施の形態３による画像処理方法は、実施の形態１による画像処理装置と同様の処理が行える。このため、実施の形態３による画像処理方法は、実施の形態１による画像処理装置と同様の効果が得られる。また、実施の形態１による画像処理装置と同様の変更を加えることも可能である。ここで示す変更とは、下記の４つの変更である。第１の変更は、補間演算手段７Ｈの入力画像Ｄ１の画素数を出力画像Ｄ７の画素数より多くすることで、補間演算手段７Ｈにおける補間演算の精度を高めることが出来ることである。あるいは、入力画像Ｄ１の解像度を出力画像Ｄ７より高くすることで補間演算手段７Ｈにおける補間演算の精度を高めることが出来ることである。第２の変更は、実施の形態では投写面は不連続な２つの面から構成されていたが、投写面は第１から第Ｎの不連続な面で構成されていてもよいことである。第３の変更は、補正値記憶手段２Ｈにおいて、歪み補正値を保持する代表画素の間隔は、６４画素おきに限定されないことである。
【０１６３】
また、第４の変更として次の変更が考えられる。例えば、実施の形態１で、出力画像分割データ記憶手段９は、出力画像分割データを用いてデータを圧縮して保存している。実施の形態３による画像処理方法は、実施の形態１で示した出力画像分割データのようにデータを圧縮して保存しても良い。この場合、圧縮して保存したデータから元のデータを復元するための復元ステップを、図２２に示す画像処理方法のフローの中に取り入れればよい。また、上記の処理で得られた出力画像Ｄ７を、図２に示した画像表示装置で、画像ＤＵ０として用いることが可能である。
【０１６４】
実施の形態４．
図２５は、本発明の実施の形態４による画像処理方法のフローチャートである。実施の形態４による画像処理方法は、投写型表示装置に代表される画像表示装置の一部として用いることができる。例えば、図２に示すリアプロジェクションテレビの画像処理装置Ｕ０内で、実施の形態４による画像処理方法による画像処理を実行すればよい。
【０１６５】
なお、実施の形態４による画像処理方法を実施するための画像処理装置は、図２３に示す画像処理装置において、補正値記憶手段２Ｈの変わりに補正値記憶手段２Ｖを備えればよい。図２３の構成要素と同一の構成要素には同一の符号を付しその説明を省略する。図２３の構成要素と同一の構成要素とは、入力インターフェース１０１、プログラム記憶メモリ１０２、ＣＰＵ１０３、データ記憶メモリ１０４、出力インターフェース１０５、画像データ記憶手段１、出力画像分割データ９およびそれらを接続するバス１０６である。
【０１６６】
以下、図２５に示した画像処理方法についてさらに述べる。
【０１６７】
図２５に示される画像処理方法は、補正値読み出しステップＳＴ２Ｖ、出力画像分割データ読み出しステップＳＴ９および幾何学変換ステップＳＴ４を有する。幾何学変換ステップＳＴ４は、参照画素位置算出ステップＳＴ３Ｖ、画像データ読み出しステップＳＴ５Ｖ、補間係数演算ステップＳＴ６ＶＡ及び補間演算ステップＳＴ７Ｖを有する。
【０１６８】
補正値読み出しステップＳＴ２Ｖは、出力画像Ｄ７内の代表画素について、補正値記憶手段２Ｖに保持された歪み補正値Ｐ２を読み出す。出力画像分割データ読み出しステップＳＴ９は、出力画像分割データ記憶手段９から出力画像分割データを読み出す。
【０１６９】
参照画素位置算出ステップＳＴ３Ｖは、図２６に示すように、画素位置判定ステップＳＴ３ＶＡ１、補間ステップＳＴ３ＶＢ１、画素位置判定ステップＳＴ３ＶＡ２、補間ステップＳＴ３ＶＢ２および補間ステップＳＴ３ＶＣを有する。ここで、画素位置判定ステップＳＴ３ＶＡ１の動作は、画素位置判定手段３ＶＡ１の動作と同じである。補間ステップＳＴ３ＶＢ１の動作は補間手段３ＶＢ１の動作と同じである。画素位置判定ステップＳＴ３ＶＡ２は画素位置判定手段ＳＴ３ＶＡ２の動作と同じである。補間ステップＳＴ３ＶＢ２の動作は補間手段３ＶＢ２の動作と同じである。補間ステップＳＴ３ＶＣの動作は補間手段３ＶＣの動作と同じである。これにより、出力画像Ｄ７の各画素について、実施の形態２で説明した水平座標Ｕおよび垂直座標Ｖと同じ値が計算される。なお、Ｖは実数であるのでその整数部分をＶＩＮＴと表し、小数部分をＶＤＥＣと表す。
【０１７０】
画像データ読み出しステップＳＴ５Ｖは、Ｕの値およびＶＩＮＴの値を基にして、入力画像Ｄ０を構成する画素のうち座標（Ｕ，ＶＩＮＴ−１）、座標（Ｕ，ＶＩＮＴ）、座標（Ｕ，ＶＩＮＴ＋１）および座標（Ｕ，ＶＩＮＴ＋２）で表される位置にある画素の画素値Ｄ０（Ｕ，ＶＩＮＴ−１）、画素値Ｄ０（Ｕ，ＶＩＮＴ）、画素値Ｄ０（Ｕ，ＶＩＮＴ＋１）および画素値Ｄ０（Ｕ，ＶＩＮＴ＋２）を画像データ記憶手段１から読み出して出力する。
【０１７１】
このようにして、画像データ読み出しステップＳＴ５Ｖは、Ｕの値およびＶＩＮＴの値に応じて、座標（Ｕ，ＶＩＮＴ）で示される位置の画素及びその近傍の画素を読み出す。近傍の画素とは、例えば、座標（Ｕ，ＶＩＮＴ）で示される位置の上下の画素から成る複数の画素である。なお、上記の座標で表される位置に、入力画像Ｄ０内の画素が存在しない場合、画素値として、黒色を表す値を出力する。黒色を表す値とは、例えばゼロである。
【０１７２】
また、補間係数演算ステップＳＴ６ＶＡは、データＶＤＥＣを基に実施の形態２の補間係数演算手段６ＶＡと同様の方法で補間係数Ｃ６Ａを求める。
【０１７３】
補間演算ステップＳＴ７Ｖは、出力画像Ｄ７内の座標（Ｘ，Ｙ）で表される位置の画素について、補間演算手段７Ｖと同じ演算を行う。補間演算ステップＳＴ７Ｖの行う演算は、補間係数Ｃ６Ａを用いたフィルタ処理および入力画像Ｄ０の画素値を用いて行う。
【０１７４】
これにより、座標（Ｘ，Ｙ）で表される位置の画素に対する画素値Ｄ７（Ｘ，Ｙ）が求められる。すべての画素について上記の処理を行なうことで出力画像Ｄ７が得られる。
【０１７５】
実施の形態４による画像処理方法では、実施の形態２による画像処理装置と同様の処理が行えるので、実施の形態２による画像処理装置と同様の効果が得られる。また、実施の形態１による画像処理装置と同様の変更を加えることも可能である。ここで示す変更とは、下記の４つの変更である。第１の変更は、補間演算手段７Ｈの入力画像Ｄ１の画素数を出力画像Ｄ７の画素数より多くすることで、補間演算手段７Ｈにおける補間演算の精度を高めることが出来ることである。あるいは、入力画像Ｄ１の解像度を出力画像Ｄ７より高くすることで補間演算手段７Ｈにおける補間演算の精度を高めることが出来ることである。第２の変更は、実施の形態では投写面は不連続な２つの面から構成されていたが、投写面は第１から第Ｎの不連続な面で構成されていてもよいことである。第３の変更は、補正値記憶手段２Ｈにおいて、歪み補正値を保持する代表画素の間隔は、６４画素おきに限定されないことである。
【０１７６】
また、第４の変更として次の変更が考えられる。例えば、実施の形態１で、出力画像分割データ記憶手段９は、出力画像分割データを用いてデータを圧縮して保存している。実施の形態３による画像処理方法は、実施の形態１で示した出力画像分割データのようにデータを圧縮して保存しても良い。この場合、圧縮して保存したデータから元のデータを復元するための復元ステップを、図２２に示す画像処理方法のフローの中に取り入れればよい。また、上記の処理で得られた出力画像Ｄ７を、図２に示した画像表示装置で画像ＤＵ０として用いることが可能である。
【０１７７】
実施の形態５．
【０１７８】
図２７は、本発明の実施の形態５による画像表示装置を表す構成図である。図２７に示す画像表示装置は、画像処理装置Ｕ０Ｈ、画像処理装置Ｕ０Ｖ、画像投写手段Ｕ１および投写面Ｕ２を備える。画像投写手段Ｕ１は、光源Ｕ１Ａ及び光学系Ｕ１Ｂを有する。なお、光学系Ｕ１Ｂは、ミラーＵ１Ｂ１及びレンズＵ１Ｂ２を有する。
【０１７９】
図２７に示すリアプロジェクションテレビは、入力画像ＤＩＮに対応した映像を、以下の手順により投写面Ｕ２に投写する。まず、画像処理装置Ｕ０Ｈは、入力画像ＤＩＮに対して実施の形態１もしくは実施の形態３で説明した手順で生成した画像ＤＵ０Ｈを出力する。ここで示す手順とは、図２２で示した、補正値読み出しステップＳＴ２Ｈ、出力画像分割データ読み出しステップＳＴ９、参照画素位置算出ステップＳＴ３Ｈ，画像データ読み出しステップＳＴ５Ｈ、補間係数演算ステップＳＴ６ＨＡおよび補間演算ステップＳＴ７Ｈで示した手順である。
【０１８０】
次に、画像処理装置Ｕ０Ｖは、画像ＤＵ０Ｈに対して実施の形態２もしくは実施の形態４で説明した手順で生成した画像ＤＵ０Ｖを出力する。ここで示す手順とは、図２５で示した、補正値読み出しステップＳＴ２Ｖ、出力画像分割データ読み出しステップＳＴ９、参照画素位置算出ステップＳＴ３Ｖ，画像データ読み出しステップＳＴ５Ｖ、補間係数演算ステップＳＴ６ＶＡおよび補間演算ステップＳＴ７Ｖで示した手順である。
【０１８１】
そして、光源Ｕ１Ａは、画像ＤＵ０Ｖに応じた光を出力する。光源Ｕ１Ａから出力された光は、光学系Ｕ１Ｂを介して投写面Ｕ２に映し出される。光学系Ｕ１Ｂは、ミラーＵ１Ｂ１及びレンズＵ１Ｂ２を有する。
【０１８２】
実施の形態５による画像表示装置は、画像処理装置Ｕ０Ｈにおいて、光学系Ｕ１Ｂが水平方向に関して持つ歪みを補正する。また、実施の形態５による画像表示装置は、画像処理装置Ｕ０Ｖにおいて、光学系Ｕ１Ｂが垂直方向に関して持つ歪みを補正する。これらにより、光学系Ｕ１Ｂが水平方向及び垂直方向ともに光学的な歪みを持っていたとしても、実施の形態５による画像表示装置は、投写面Ｕ２に歪みのない画像を表示することができる。
【０１８３】
画像処理装置Ｕ０Ｈと画像処理装置Ｕ０Ｖとの配置の順序は変更しても良い。即ち、画像処理装置Ｕ０Ｖが、入力画像ＤＩＮに対して、実施の形態２または実施の形態４で説明した手順と同様の手順で、幾何学変換を行っても良い。ここで示す手順とは、図２５で示した、補正値読み出しステップＳＴ２Ｖ、出力画像分割データ読み出しステップＳＴ９、参照画素位置算出ステップＳＴ３Ｖ，画像データ読み出しステップＳＴ５Ｖ、補間係数演算ステップＳＴ６ＶＡおよび補間演算ステップＳＴ７Ｖで示した手順である。
【０１８４】
そして、画像処理装置Ｕ０Ｈが、画像処理装置Ｕ０Ｖから出力された画像に対し、実施の形態１または実施の形態３で説明した手順と同様の手順で、幾何学変換を行っても良い。ここで示す手順とは、図２２で示した、補正値読み出しステップＳＴ２Ｈ、出力画像分割データ読み出しステップＳＴ９、参照画素位置算出ステップＳＴ３Ｈ，画像データ読み出しステップＳＴ５Ｈ、補間係数演算ステップＳＴ６ＨＡおよび補間演算ステップＳＴ７Ｈで示した手順である。
【０１８５】
「第１の方向」及び「第２の方向」という用語を用いる場合、実施の形態５は以下のように一般化して説明することができる。すなわち、実施の形態１の画像処理装置または実施の形態３の画像処理方法を用い、第１の方向に幾何学変換を行えば良い。そして、実施の形態３の画像処理装置または実施の形態４の画像処理方法を用い、第２の方向に幾何学変換を行えばよい。また、幾何学変換を行う順番は第１の方向と第２の方向を逆にしてもよい。このようにすれば、光学系Ｕ１Ｂが第１の方向および第２の方向に関して持つ歪みを補正できる。
【０１８６】
なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
【符号の説明】
【０１８７】
１  画像データ記憶手段、  ２Ｈ，２Ｖ  補正値記憶手段、  ３Ｈ，３Ｖ  参照画素位置算出手段、  ４  幾何学変換手段、  ５Ｈ，５Ｖ  画像データ読み出し手段、  ６ＨＡ，６ＶＡ  補間係数演算手段、  ７Ｈ，７Ｖ  補間演算算出手段、  ８  制御手段、  ９  出力画像分割データ記憶手段、  Ｄ０  入力画像、  Ｄ１  画素値、  Ｄ７  出力画像、  Ｃ６Ａ  補間係数、  Ｐ２  歪み補正値、  Ｐ３  参照画素位置データ、  Ｐ５，Ｐ３ＩＮＴ，Ｐ３ＤＥＣ  データ、  Ｄ９  出力画像分割データ。
【図１】
2014022836.tif 000016
【図２】
2014022836.tif 000017
【図３】
2014022836.tif 000018
【図４】
2014022836.tif 000019
【図５】
2014022836.tif 000020
【図６】
2014022836.tif 000021
【図７】
2014022836.tif 000022
【図８】
2014022836.tif 000023
【図９】
2014022836.tif 000024
【図１０】
2014022836.tif 000025
【図１１】
2014022836.tif 000026
【図１２】
2014022836.tif 000027
【図１３】
2014022836.tif 000028
【図１４】
2014022836.tif 000029
【図１５】
2014022836.tif 000030
【図１６】
2014022836.tif 000031
【図１７】
2014022836.tif 000032
【図１８】
2014022836.tif 000033
【図１９】
2014022836.tif 000034
【図２０】
2014022836.tif 000035
【図２１】
2014022836.tif 000036
【図２２】
2014022836.tif 000037
【図２３】
2014022836.tif 000038
【図２４】
2014022836.tif 000039
【図２５】
2014022836.tif 000040
【図２６】
2014022836.tif 000041
【図２７】
2014022836.tif 000042