(57)【要約】【課題】撮像対象画像よりも高解像度の処理後画像を容易に生成できる技術を提供する。【解決手段】画像処理システムは、投射表示装置によって投射面に投射される基準画像であって、複数の基準パターンを含む基準画像から、前記撮像画像の座標系で表される理想基準画像を算出する理想画像算出部と、理想基準パターンと、撮像装置によって撮像され撮像基準パターンとを比較処理することで、画像劣化関数を算出する劣化関数算出部と、投射面上における基準画像とは異なる撮像対象画像であって、撮像装置によって撮像された撮像対象画像に対して、画像劣化関数を用いて逆演算することで、撮像対象画像よりも高解像度の処理後画像を生成する処理後画像生成部と、を有する。【選択図】図１４
2019153895.tif 000002
【特許請求の範囲】
【請求項１】
画像処理システムであって、
投射表示装置と、
複数の画素が形成された撮像素子を有する撮像装置と、
前記撮像装置によって撮像された撮像画像を画像処理する画像処理装置と、を備え、
前記画像処理装置は、
前記投射表示装置が投射面に投射する投射画像の座標系と、前記投射面に投射表示された表示画像の座標系と、前記撮像装置によって撮像される撮像画像の座標系と、の対応関係を用いて、前記投射表示装置によって前記投射面に投射される基準画像であって、複数の基準パターンを含む基準画像から、前記撮像画像の座標系で表される理想基準画像を算出する理想画像算出部と、
前記理想基準画像中の前記基準パターンである理想基準パターンと、前記撮像装置によって撮像された前記基準画像中の前記基準パターンである撮像基準パターンと、を比較処理することで、画像劣化関数を算出する劣化関数算出部と、
前記投射面上における前記基準画像とは異なる撮像対象画像であって、前記撮像装置によって撮像された撮像対象画像に対して、前記画像劣化関数を用いて逆演算することで、前記撮像対象画像よりも高解像度の処理後画像を生成する処理後画像生成部と、を有する、画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記劣化関数算出部は、
前記複数の画素のうちで各前記基準パターンに対応する画素ごとに画像劣化関数を算出し、
前記複数の画素のうちで、前記基準パターンに対応していない画素に対する画像劣化関数を、算出した複数の前記画像劣化関数を用いて補間処理することで推定する、画像処理システム。
【請求項３】
請求項１または請求項２に記載の画像処理システムであって、
前記投射表示装置は、
前記撮像装置によって前記撮像対象画像を撮像するときに、白色画像を前記投射面に投射する、画像処理システム。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の画像処理システムであって、
前記撮像装置は、前記投射面上の同一対象の前記撮像対象画像を複数回撮像し、
前記画像処理装置は、さらに、
撮像された複数の前記撮像対象画像のそれぞれが有する周波数成分のうちで、同じ周波数成分を抽出する撮像画像抽出部と、を有し、
前記処理後画像生成部は、抽出された前記周波数成分を有する撮像抽出画像に対して、前記画像劣化関数を用いて逆演算することで前記撮像抽出画像よりも高解像度の前記処理後画像を生成する、画像処理システム。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の画像処理システムであって、
前記撮像装置は、投射された前記基準画像を複数回撮像し、
前記画像処理装置は、さらに、
撮像された複数の前記基準画像のそれぞれが有する周波数成分のうちで、同じ周波数成分を抽出する基準画像抽出部を有し、
前記劣化関数算出部は、抽出された前記周波数成分を有する抽出画像を前記撮像装置によって撮像された前記基準画像として、前記比較処理を行って前期基準パターンに対応する画素ごとに画像劣化関数を算出する、画像処理システム。
【請求項６】
請求項１から請求項５までのいずれか一項に記載の画像処理システムであって、
前記投射表示装置は、前記基準パターンが異なる複数種類の前記基準画像を前記投射面に時系列に投射し、
前記撮像装置は、前記複数種類の基準画像を撮像し、
前記理想画像算出部は、投射する前記複数種類の基準画像ごとに前記理想基準画像を算出し、
前記画像処理装置の劣化関数算出部は、前記複数種類の基準画像ごとに、前記画像劣化関数を算出し、算出した複数の前記理想基準画像と、前記理想基準画像に対応する撮像された前記基準画像との関係を最も表す修正画像劣化関数を、算出した複数の前記画像劣化関数を用いて決定する、画像処理システム。
【請求項７】
投射表示装置と、複数の画素が形成された撮像素子を有する撮像装置と、前記撮像装置によって撮像された撮像画像を画像処理する画像処理装置と、を備える画像処理システムの制御方法であって、
（ａ）前記投射表示装置が投射面に投射する投射画像の座標系と、前記投射面に投射表示された表示画像の座標系と、前記撮像装置によって撮像される撮像画像の座標系と、の対応関係を用いて、前記投射表示装置によって前記投射面に投射される基準画像であって、複数の基準パターンを含む基準画像から、前記撮像画像の座標系で表される理想基準画像を算出する工程と、
（ｂ）前記理想基準画像中の前記基準パターンである理想基準パターンと、前記撮像装置によって撮像された前記基準画像中の前記基準パターンである撮像基準パターンと、を比較処理することで、画像劣化関数を算出する工程と、
（ｃ）前記投射面上における前記基準画像とは異なる撮像対象画像であって、前記撮像装置によって撮像された撮像対象画像に対して、前記画像劣化関数を用いて逆演算することで、前記撮像対象画像よりも高解像度の処理後画像を生成する工程と、を備える、画像処理システムの制御方法。
【請求項８】
投射表示装置と、複数の画素が形成された撮像素子を有する撮像装置と、前記撮像装置によって撮像された撮像画像を画像処理する画像処理装置と、を備える画像処理システムを制御するためのコンピュータープログラムであって、
（ａ）前記投射表示装置が投射面に投射する投射画像の座標系と、前記投射面に投射表示された表示画像の座標系と、前記撮像装置によって撮像される撮像画像の座標系と、の対応関係を用いて、前記投射表示装置によって前記投射面に投射される基準画像であって、複数の基準パターンを含む基準画像から、前記撮像画像の座標系で表される理想基準画像を算出する機能と、
（ｂ）前記理想基準画像中の前記基準パターンである理想基準パターンと、前記撮像装置によって撮像された前記基準画像中の前記基準パターンである撮像基準パターンと、を比較処理することで、画像劣化関数を算出する機能と、
（ｃ）前記投射面上における前記基準画像とは異なる撮像対象画像であって、前記撮像装置によって撮像された撮像対象画像に対して、前記画像劣化関数を用いて逆演算することで、前記撮像対象画像よりも高解像度の処理後画像を生成する機能と、をコンピュータに実現させるためのコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の画像処理についての技術に関する。
【背景技術】
【０００２】
従来、撮像された低解像度画像から高解像度の画像を生成する技術が知られている（例えば、特許文献１，２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３０６４９２号公報
【特許文献２】特開２０１２−７８４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、各々が画素単位未満の位置ずれ量を有する複数枚の撮像画像を用いて超解像処理のためのフィルターを算出する、いわゆる「画素シフト」について開示されている。そして、この特許文献１の技術では、撮像画像を撮像する度に撮像素子の中心を画素単位未満の量だけ移動させるアクチュエータ−が必要となる。また特許文献１の技術では、撮像対象が静止画である場合、互いに画素単位未満の位置ずれ量を有する撮像画像を十分な枚数取得できず、フィルターの精度が低下する恐れがある。
【０００５】
特許文献２の技術では、点像分布関数（ボケ関数）を用いて超解像処理が行われている。点像分布関数を用いた超解像処理は、一般に共焦点顕微鏡で用いられている。共焦点顕微鏡は、合焦時の画像のみを取得画像とするために、合焦時のレンズに伴う点像分布関数を予め算出する。しかしながら、共焦点顕微鏡において、合焦時以外の画像を取得した場合は、点像分布関数が算出されていないために超解像処理ができない場合が生じ得る。
【課題を解決するための手段】
【０００６】
本発明の一形態によれば、画像処理システムが提供される。この画像処理システムは投射表示装置と、複数の画素が形成された撮像素子を有する撮像装置と、前記撮像装置によって撮像された撮像画像を画像処理する画像処理装置と、を備え、前記画像処理装置は、前記投射表示装置が投射面に投射する投射画像の座標系と、前記投射面に投射表示された表示画像の座標系と、前記撮像装置によって撮像される撮像画像の座標系と、の対応関係を用いて、前記投射表示装置によって前記投射面に投射される基準画像であって、複数の基準パターンを含む基準画像から、前記撮像画像の座標系で表される理想基準画像を算出する理想画像算出部と、前記理想基準画像中の前記基準パターンである理想基準パターンと、前記撮像装置によって撮像された前記基準画像中の前記基準パターンである撮像基準パターンと、を比較処理することで、画像劣化関数を算出する劣化関数算出部と、前記投射面上における前記基準画像とは異なる撮像対象画像であって、前記撮像装置によって撮像された撮像対象画像に対して、前記画像劣化関数を用いて逆演算することで、前記撮像対象画像よりも高解像度の処理後画像を生成する処理後画像生成部と、を有する。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態としての画像処理システムを説明するための図。
【図２】投射表示装置が有する液晶パネルに設定された基準画像。
【図３】撮像装置によって撮像される理想的な基準画像を示すイメージ図。
【図４】撮像装置によって実際に撮像したときの基準画像を示すイメージ図。
【図５】画像処理システムの内部ブロック図。
【図６】座標変換テーブルの詳細を示す図。
【図７】記憶部に記憶された基準画像を説明するための模式図。
【図８】基準画像の基準パターンを説明するための図。
【図９】画像劣化関数を生成するフローチャート。
【図１０】液晶パネルの複数の分割セルの一部を模式的に示す図。
【図１１】実空間における分割セルにおける画像劣化関数を示す図。
【図１２】実空間における分割セルにおける画像劣化関数を示す図。
【図１３】バイリニア法で補間処理された画像劣化関数を示す図。
【図１４】撮像対象画像から処理後画像を生成するフローチャート。
【図１５】画像劣化関数を用いた画像処理の解析結果を示す図。
【図１６】本発明の第２実施形態としての画像処理システムの内部ブロック図。
【図１７】画像処理システムが実行する画像劣化関数の生成フローチャート。
【図１８】他の実施形態で用いる基準画像を説明するための図。
【図１９】他の実施形態で用いる基準画像を説明するための図。
【図２０】他の実施形態における画像劣化関数を算出するためのフローチャート。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
Ａ−１．画像処理システムの概略構成：
図１は、本発明の第１実施形態としての画像処理システム１０を説明するための図である。図１には、互いに直交するＸ軸、Ｙ軸、Ｚ軸が付されている。Ｘ軸に沿った方向をＸ方向、Ｙ軸に沿った方向をＹ方向、Ｚ軸に沿った方向をＺ方向とも呼ぶ。図１において、＋Ｚ方向が鉛直上方向であり、−Ｚ方向は鉛直下方向である。Ｘ方向とＹ方向は水平方向に平行な方向である。
【０００９】
画像処理システム１０は、投射表示装置２０と、撮像装置３０と、画像処理装置としての画像処理部１４とを備える。投射表示装置２０は、ホワイトボードなどの投射面９０の前方かつ上方側に配置されている。投射表示装置２０は、いわゆる超短焦点型のプロジェクターであり、投射面９０に画像を投射する。また、画像処理システム１０は、投射面９０上に利用者によって記載された文字などのアナログ的な画像を撮像装置３０によって撮像できる。
【００１０】
撮像装置３０は、魚眼レンズを有する画角が広いカメラである。撮像装置３０の光軸ＬＸに沿った方向（光軸方向）は、投射面９０の法線方向（Ｘ方向）と平行ではなく交差する。撮像装置３０は、例えば、投射表示装置２０に内蔵されることで、投射表示装置２０と一体に構成されている。なお、他の実施形態では、投射表示装置２０と撮像装置３０とが別体であってもよい。
【００１１】
画像処理部１４は、投射表示装置２０内の制御部によって実行される機能である。画像処理部１４は、撮像装置３０によって撮像された投射面９０上の画像（撮像対象画像）を画像処理することで、撮像された撮像対象画像よりも高解像の処理後画像を生成する。なお、他の実施形態では、画像処理部１４は投射表示装置２０とは別体であってもよく、例えば、画像処理部１４は、パーソナルコンピューター（ＰＣ）のＣＰＵが有する機能であってもよい。この場合、ＰＣと投射表示装置２０とは有線ケーブルなどを用いて通信可能に設定されている。
【００１２】
上記のごとく、画像処理システム１０は、投射表示装置２０によって投射面９０に画像を投射して表示できると共に、投射表示された画像や、投射面９０上にホワイトボードマーカーなどによって記載された画像（撮像対象画像）を撮像装置３０によって撮像できるシステムである。
【００１３】
Ａ−２．画像劣化について：
本実施形態の画像処理システム１０の詳細構成を説明する前に、投射表示装置２０によって投射表示された画像の劣化について以下に説明する。図２は、投射表示装置２０が有する液晶パネル（イメージャー）に設定された基準画像３８１ｔである。図３は、撮像装置３０によって撮像される理想的な基準画像（理想基準画像）ＩＣＰを示すイメージ図である。図４は、投射面９０上に投射表示された基準画像３８１ｔを撮像装置３０によって実際に撮像したときの基準画像（撮像基準画像）ＡＣＰを示すイメージ図である。理想的な基準画像ＩＣＰとは、撮像装置３０の魚眼レンズによる劣化（ボケ）と、投射表示装置２０による投射による劣化（ボケ）とを排除した画像である。つまり、基準画像ＩＣＰは、投射画像の座標系（投射表示装置２０が有する液晶パネルの座標系）と、表示画像の座標系（投射面９０の座標系）と、撮像画像の座標系（光軸ＬＸ方向がＺ方向であるカメラ座標系）との関係（座標変換式）を用いて、基準画像３８１ｔから算出された画像である。ここで、投射表示装置２０の後述する投射レンズ２２２は、撮像装置３０の魚眼レンズのような劣化を大きく生じさせるものではないため、撮像装置３０に起因した劣化の程度に比べ、投射に起因した劣化の程度は非常に軽微である。
【００１４】
基準画像３８１ｔ（図２）は、一定間隔ごとに配列された複数の基準パターン３８２ｔを有している。基準パターン３８２ｔはそれぞれ、白色（図では、黒丸で図示）であり、同一直径を有する円形図形である。基準画像３８１ｔは、拡大処理などの画像処理が投射表示装置２０によって行われ、投射面９０に表示画像（基準表示画像）ＰＣＰとして投射される。本実施形態では、基準表示画像ＰＣＰは、基準画像３８１ｔから拡大されているものの、複数の基準パターンの形状および位置関係はほぼ同じである。ここで、基準表示画像ＰＣＰの複数の基準パターン３８２ｔのそれぞれが、同一直径を有する円であった場合でも、図３および図４に示すように、撮像装置３０の魚眼レンズに起因して理想基準画像ＩＣＰや撮像基準画像ＡＣＰには歪みが生じる。また、撮像装置３０の光軸方向と投射面９０の法線方向とは平行ではないので、投射面９０全面に対して撮像装置３０が焦点を合わせることができない。これにより、図４に示すように撮像された撮像基準画像ＡＣＰにはボケ（滲み）が生じる。また、撮像された撮像基準画像ＡＣＰにおけるボケの程度は、画素ごと（すなわち、投射面９０の位置ごと）に異なる。なお、図４では、円形の基準パターン３８２ｔにおいて、黒丸は滲みが軽微な領域であり、黒丸の外側の円は滲みの程度が大きい領域を示している。
【００１５】
上記のごとく、撮像装置３０によって撮像された画像には、歪みとボケとが生じる。特に、本実施形態の撮像装置３０によって撮像された画像（撮像画像）は、撮像装置３０の光軸方向が投射面９０の法線方向と平行である場合における撮像画像に比べて、ボケの程度が大きく解像度が低い。よって、本実施形態の画像処理システム１０では、投射面９０上の撮像対象画像を撮像装置３０によって撮像し、撮像された撮像対象画像に対してボケの程度を低減した解像度の高い画像を生成する機能を有する。
【００１６】
Ａ−３．画像処理システムの内部構成：
図５は、画像処理システム１０の内部ブロック図である。図６は、座標変換テーブル３８３の詳細を示す図である。図７は、記憶部３８に記憶された基準画像３８１を説明するための模式図である。図８は、基準画像３８１の基準パターン３８２を説明するための図である。
【００１７】
画像処理システム１０（図５）は、投射部２２と、フレームメモリー２３と、画像入力部２４と、撮像部３２と、操作部１８と、制御部１２と、記憶部３８とを備える。
【００１８】
投射部２２は、後述する投射制御部２６からの指示に応じて、フレームメモリー２３や記憶部３８に記憶された画像を投射面９０に投射する。投射部２２は、光源２２０と、液晶パネル２２１と、投射レンズ２２２とを有する。光源２２０は、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。液晶パネル２２１としては、透過型及び反射型のいずれであってもよいし、色光別に複数の液晶パネル２２１を備えた構成としてもよい。液晶パネル２２１は、投射制御部２６の指示に応じて、光源２２０からの光を変調することによって画像を表す画像光を形成する。詳細には、光源２２０によって射出された白色光が、色光分離光学系によって、赤、緑、青の３つの色光に分離され、分離された３つの色光が液晶パネル２２１に導かれて、画像光へと変調される。液晶パネル２２１は、３つの色光に応じて３つ設けられている。なお、図示しないダイクロイックプリズムが変調された３つの画像光を合成し、投射レンズ２２２によって合成された画像光が投射面９０に投射される。
【００１９】
画像入力部２４は、有線ケーブルなどを介して外部からの画像信号を受け付け、受け付けた画像信号をデータとしての画像に変換する。フレームメモリー２３は、画像入力部２４によって変換された画像を記憶する。投射制御部２６は、例えば、フレームメモリー２３に記憶された画像を、投射部２２によって投射面９０に投射させる。
【００２０】
撮像部３２は、複数の画素を構成する撮像素子３２１と、撮像光学系とを有するカメラである。撮像部３２は、撮像制御部３６の指示に従って撮像方向の画像を撮像し、データとしての撮像画像を生成する。撮像部３２の撮像光学系は、投射面９０全体を撮像するために魚眼レンズを有する。魚眼レンズの画角は、例えば、１５０度以上が好ましく、１８０度以上がより好ましい。
【００２１】
操作部１８は、外部（例えば、利用者）からの入力を受け付ける。操作部１８は、タッチパネルやボタンなどの入力を受け付ける機能を有し、入力内容に応じて制御部１２が画像処理システム１０の動作を制御する。例えば、操作部１８は、電源のＯＮとＯＦＦの切り替えを行う入力を受け付けたり、撮像部３２によって画像を撮像させる指示などを受け付けたりする。
【００２２】
記憶部３８は、フラッシュメモリーやＥＥＰＲＯＭなどの不揮発性のメモリーによって構成されている。記憶部３８には、特定画像３８０と、基準画像３８１と、座標変換テーブル３８３とが記憶されている。
【００２３】
特定画像３８０は、後述する第３変換テーブル３８６の座標変換行列式を算出するために用いられる画像である。特定画像３８０は、例えば、いわゆる空間コード化法などで用いられるバイナリパターンである。なお、特定画像３８０はバイナリパターンに限定されることなく、予め定められた画像（例えば、ドットが格子状に形成された画像）であってもよい。
【００２４】
基準画像３８１（図７）は、複数の基準パターン３８２を有する。複数の基準パターン３８２はそれぞれ、撮像装置３０の液晶パネル２２１を横１６分割、縦１０分割した各格子の中心に配置された円形の画像である。図８に示すように、各基準パターン３８２は、中心が最も光強度が高く、中心から離れるに従い光強度が低くなる正弦曲線の光強度分布ｆｗを有する。なお、投射面９０に投射表示される基準パターン３８２は、例えば白色（図７では黒丸で図示）である。
【００２５】
座標変換テーブル３８３（図６）は、第１変換テーブル３８４と、第２変換テーブル３８５と、第３変換テーブル３８６とを有する。第１変換テーブル３８４は、投射画像（詳細には液晶パネル２２１）の座標系（Ｘｐ，Ｙｐ，Ｚｐ）と、撮像画像の座標系（Ｘｃ，Ｙｃ，Ｚｃ）との対応関係（３次元の空間関係）を示す座標変換行列式が規定されている。なお、撮像装置３０と投射表示装置２０との距離および座標変換行列式は、いわゆるステレオキャリブレーションが行われることで画像処理システム１０の製品製造時に予め定められている。第２変換テーブル３８５は、投射画像の座標系（Ｘｐ，Ｙｐ，Ｚｐ）と、投射面９０に投射表示された表示画像の座標系（Ｘｓ，Ｙｓ，Ｚｓ）との対応関係を示す座標変換行列式が規定されている。第３変換テーブル３８６は、撮像画像の座標系（Ｘｃ，Ｙｃ，Ｚｃ）と表示画像の座標系（Ｘｓ，Ｙｓ，Ｚｓ）との対応関係（３次元の空間関係）を示す座標変換行列式が規定されている。第２変換テーブル３８５および第３変換テーブル３８６の座標変換行列式は、後述する変換式算出部１４１によって算出された後に記憶部３８に記憶される。この詳細は後述する。以上のように、座標変換テーブル３８３には、投射画像の座標系（Ｘｐ，Ｙｐ，Ｚｐ）と、投射面９０に投射表示された表示画像の座標系（Ｘｓ，Ｙｓ，Ｚｓ）と、撮像画像の座標系（Ｘｃ，Ｙｃ，Ｚｃ）との対応関係である座標変換行列式が記憶されている。
【００２６】
制御部１２（図５）は、画像処理システム１０の各種動作を制御する。制御部１２は、ＲＯＭ（図示せず）に記憶された制御プログラムを実行することで、投射制御部２６と、撮像制御部３６と、画像処理部１４として機能する。投射制御部２６は、投射部２２を制御して、フレームメモリー２３や記憶部３８に記憶された画像を投射部２２によって投射面９０に投射表示させる。撮像制御部３６は、撮像部３２を制御して、撮像方向の画像（例えば、投射面９０上の画像）を撮像部３２に撮像させる。撮像された画像は、例えば、記憶部３８に記憶される。
【００２７】
画像処理部１４は、変換式算出部１４１と、理想画像算出部１４２と、劣化関数算出部１４４と、撮像画像抽出部１４５と、処理後画像生成部１４６と、を有する。変換式算出部１４１は、第２変換テーブル３８５および第３変換テーブル３８６の座標変換行列式を算出する。具体的には、投射部２２が特定画像３８０を投射面９０に投射表示し、投射表示された特定画像３８０を撮像部３２によって撮像する。次に、変換式算出部１４１は、空間コード化法を用いて、第３変換テーブル３８６の座標変換行列式を算出する。また変換式算出部１４１は、第１変換テーブル３８４の座標変換行列式と第３変換テーブル３８６の座標変換行列式とを用いて第２変換テーブル３８５の座標変換行列式を算出する。算出した座標変換行列式は、第２変換テーブル３８５および第３変換テーブル３８６に記憶される。なお、投射表示装置２０と撮像装置３０との位置関係は予め定められていることから、特定画像３８０を撮像装置３０で撮像することで、三角測量の原理により撮像装置３０と投射面９０との位置関係（距離）が求まる。
【００２８】
理想画像算出部１４２は、座標変換テーブル３８３を用いて投射する基準画像３８１から撮像画像の座標系で表される理想基準画像を算出する。具体的には、理想画像算出部１４２は、投射画像の座標系で表された基準画像３８１を、座標変換テーブル３８３の座標変換行列式を用いて表示画像の座標系に変換する。そして理想画像算出部１４２は、座標変換テーブル３８３の座標変換行列式を用いて、表示画像の座標系で表された投射画像を撮像画像の座標系に変換する。つまり、理想画像算出部１４２は、撮像装置３０で撮像されるときの歪みのみが考慮され、ボケを含まない理想的な画像を算出する。
【００２９】
劣化関数算出部１４４は、理想基準画像中の基準パターン３８２である理想基準パターンと、撮像装置３０によって撮像された基準画像３８１の基準パターン３８２である撮像基準パターンとを比較処理する。劣化関数算出部１４４は、理想基準パターンと撮像基準パターンとを比較処理することで、撮像部３２が有する複数の画素のうちで各基準パターン３８２に対応する画素ごとに画像劣化関数を算出する。基準パターン３８２に対応する画素とは、基準パターン３８２の中心位置が撮像された画素である。また、劣化関数算出部１４４は、撮像部３２の複数の画素のうちで、基準パターン３８２に対応していない画素に対する画像劣化関数を、算出した複数の画像劣化関数を用いて補間処理することで推定する。画像劣化関数の算出方法および推定方法についての詳細は後述する。
【００３０】
撮像画像抽出部１４５は、複数の撮像対象画像のそれぞれが有する周波数成分のうちで、同じ周波数成分を抽出する。複数の撮像対象画像とは、投射面９０上に記載された同一の画像を、撮像制御部３６の指示によって撮像部３２が複数回撮像した画像である。
【００３１】
処理後画像生成部１４６は、投射面９０上における基準画像３８１とは異なる撮像対象画像であって、撮像装置３０によって撮像された撮像対象画像（劣化画像）に対して、各画素の画像劣化関数を用いて逆演算することで処理後画像を生成する。つまり、処理後画像生成部１４６は、画像劣化関数のフーリエ変換の逆数と、劣化画像のフーリエ変換との積を逆フーリエ変換する。これにより、処理後画像生成部１４６は、劣化画像よりも高解像度の処理後画像を生成する。ここで、画像劣化関数のフーリエ変換の逆数は、空間周波数領域における逆フィルターとも呼ばれる。
【００３２】
Ａ−４．画像劣化関数の生成フローチャート：
図９は、画像劣化関数を生成するフローチャートである。まず、画像処理システム１０の変換式算出部１４１は、第２変換テーブル３８５および第３変換テーブル３８６の座標変換行列式を算出する（ステップＳ１０）。
【００３３】
次に、操作部１８によって受け付けた指示によって、投射制御部２６は基準画像３８１を投射面９０に投射し、撮像制御部３６は撮像部３２を用いて投射面９０に投射表示された基準画像３８１を撮像する（ステップＳ２０）。撮像された基準画像３８１は、記憶部３８に記憶される。また理想画像算出部１４２は、座標変換テーブル３８３を用いて投射する基準画像３８１から撮像画像の座標系で表される理想基準画像を算出する（ステップＳ３０）。
【００３４】
次に、劣化関数算出部１４４は、各理想基準パターンと対応する各撮像基準パターンとを比較処理することで、撮像部３２が有する複数の画素のうちで各基準パターン３８２に対応する画素ごとに画像劣化関数を空間周波数領域で算出する（ステップＳ４０）。ここで、理想基準画像の実空間における画像ｆ（ｘ，ｙ）とし、画像ｆ（ｘ，ｙ）をフーリエ変換して得られる空間周波数領域における画像を画像Ｆ（ｕ，ｖ）とする。また、撮像された基準画像の実空間における画像を画像ｃ（ｘ，ｙ）とし、画像ｃ（ｘ，ｙ）をフーリエ変換して得られる空間周波数領域にける画像を画像Ｃ（ｕ，ｖ）とする。また、実空間における画像劣化関数を画像劣化関数ｇ（ｘ，ｙ）とし、画像劣化関数ｇ（ｘ，ｙ）をフーリエ変換して得られる空間周波数領域における画像劣化関数を画像劣化関数Ｇ（ｕ，ｖ）とする。ここで、「ｕ」および「ｖ」は、実空間における撮像座標系のｘ方向およびｙ方向の空間周波数を表す。この場合、劣化関数算出部１４４は、以下の式（１）の関係式から、画像劣化関数Ｇ（ｕ，ｖ）を以下の式（２）を用いて算出する。
【００３５】
Ｃ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×Ｇ（ｕ，ｖ）・・・式（１）
Ｇ（ｕ，ｖ）＝Ｃ（ｕ，ｖ）／Ｆ（ｕ，ｖ）・・・式（２）
【００３６】
ステップＳ５０の次に、劣化関数算出部１４４は、撮像部３２の複数の画素のうちで、基準パターン３８２に対応していない画素に対する画像劣化関数を、算出した複数の画像劣化関数を用いて補間処理することで推定する（ステップＳ５０）。補間処理は、バイキュービック法やバイリニア法などの公知の手法を用いて行われる。以下に、劣化関数算出部１４４がバイリニア法を用いて画像劣化関数の補間処理を行う方法について説明する。
【００３７】
図１０は、液晶パネル２２１の複数の分割セルＣＥの一部を模式的に示す図である。図１１は、実空間における列番号１６、行番号１０の分割セルＣＥにおける画像劣化関数を示す図である。図１２は、実空間における列番号１５、行番号１０の分割セルＣＥにおける画像劣化関数を示す図である。図１３は、バイリニア法で補間処理された画像劣化関数を示す図である。各分割セルＣＥには、基準パターン３８２が配置される（図７）。
【００３８】
図１０において、分割セルＣＥ中に付されたｇ１６，１０やｇ１５，１０における２つの数字は、分割セルの座標位置を示し、数字の１番目は分割セルＣＥの列番号、２番目は分割セルの行番号である。ｇ１６，１０は、列番号１６、行番号１０の分割セルＣＥの実空間上の画像劣化関数を表し、ｇ１５，１０は、列番号１５、行番号１０の分割セルＣＥの実空間における画像劣化関数を表している。各分割セルＣＥに配置された基準パターン３８２の中心位置を撮像した画素における画像劣化関数は、各分割セルＣＥの画像劣化関数である。ステップＳ４０において、図１１および図１２に示すようにｇ１６，１０およびｇ１５，１０の画像劣化関数が算出された場合、ｇ１６，１０の分割セルＣＥに対応する画素と、ｇ１５，１０の分割セルＣＥに対応する画素との間に位置する画素の画像劣化関数は、図１３の演算式によって推定される。図１３では、１６列目の分割セルＣＥに対応する画素と、１５列目の分割セルＣＥに対応する画素との間に位置する、ｋ：１−ｋ（０＜ｋ＜１）で示される内分点の画素の補間処理後の画像劣化関数を示している。
【００３９】
画像処理システム１０は、図９に示すステップＳ１０からステップＳ５０の処理を実行することで、撮像素子３２１の各画素のそれぞれの画像劣化関数を定める。
【００４０】
図１４は、投射面９０上に描かれた文字などの撮像対象画像から処理後画像を生成するフローチャートである。まず、操作部１８は、撮像部３２によって画像を撮像させる撮像指示を受け付ける（ステップＳ７２）。次に、投射制御部２６は、投射部２２によって白色画像を撮像対象画像が描かれた領域を含む投射面９０上に投射する（ステップＳ７４）。白色画像は、例えば、投射部２２から投射される光出力が最大値の画像である。
【００４１】
次に、撮像制御部３６の指示に応じて、撮像部３２は投射面９０上の同一対象の撮像対象画像を複数回撮像する（ステップＳ７６）。例えば、操作部１８が受け付けた撮像指示回数だけ撮像部３２は撮像対象画像を撮像してもよいし、操作部１８が受け付けた１回の撮像指示によって、撮像部３２は予め定められた複数回の撮像を行ってもよい。この撮像された複数の撮像対象画像は、記憶部３８に記憶される。
【００４２】
次に、撮像画像抽出部１４５は、撮像された同一対象の複数の撮像対象画像のそれぞれが有する周波数成分うちで、同じ周波数成分を抽出する（ステップＳ７７）。
【００４３】
次に、処理後画像生成部１４６は、抽出された周波数成分を有する画像である撮像抽出画像に対して各画素の画像劣化関数を用いて逆演算することで処理後画像を生成する（ステップＳ７８）。生成された処理後画像は、ボケの度合いが低減され、撮像された撮像対象画像よりも高解像度の画像である。この処理後画像は、記憶部３８に記憶される。なお、白色画像の投影は、ステップＳ７６の後に終了される。
【００４４】
図１５は、画像処理システム１０が実行する画像劣化関数を用いた画像処理の解析結果を示す図である。この解析結果は、所定の大きさ（１２０型）の投射領域のうちで下側（−Ｚ方向側）かつ、−Ｙ方向側の領域の解析結果である。また、図１５では、解像度が異なる２つの撮像装置３０ごとに画像処理の解析結果が示されており、解像度１は高解像度の撮像装置３０を用いており、解像度２は低解像度の撮像装置３０を用いている。
【００４５】
画像Ｉ１ａは、直径５０ｍｍを有する１つの基準パターン３８２の理想基準画像である。画像Ｉ１ｂは、直径２０ｍｍを有する１つの基準パターン３８２の理想基準画像である。画像Ｉ２ａは、実際に撮像部３２によって撮像された直径５０ｍｍを有する１つの基準パターン３８２の撮像画像である。画像Ｉ２ｂは、実際に撮像部３２によって撮像された直径２０ｍｍを有する１つの基準パターン３８２の撮像画像である。画像劣化関数Ｇａは、理想基準画像Ｉ１ａと撮像画像Ｉ２ａとを比較処理することで算出した空間周波数領域における画像劣化関数である。画像劣化関数Ｇｂは、理想基準画像Ｉ１ｂと撮像画像Ｉ２ｂとを比較処理することで算出した空間周波数領域における画像劣化関数である。画像劣化関数Ｇａ，Ｇｂは、劣化関数算出部１４４によって撮像部３２の全画素のそれぞれに対して算出または推定されている。文字ＨＲは、投射面９０上に記載された文字であり、一辺が５０ｍｍの四角形内に記載された大きさの文字である。画像Ｉ２ａａ，Ｉ２ａｂは、実際に撮像部３２によって撮像された文字ＨＲの撮像対象画像である。画像Ｉ３ａａは、処理後画像生成部１４６によって、撮像対象画像Ｉ２ａａに対して画像劣化関数Ｇａを用いて逆演算することで生成された処理後画像である。画像Ｉ３ａｂは、処理後画像生成部１４６によって、撮像対象画像Ｉ２ａｂに対して画像劣化関数Ｇｂを用いて逆演算することで生成された処理後画像である。撮像対象画像Ｉ２ａａ，Ｉ２ａｂと処理後画像Ｉ３ａａ，Ｉ３ａｂを比較した場合、処理後画像Ｉ３ａａ，Ｉ３ａｂは撮像対象画像Ｉ２ａａ，Ｉ２ａｂよりもボケの程度が小さく解像度が高い画像であることがわかる。特に、解像度の高い撮像装置３０によって撮像された撮像対象画像Ｉ２ａａから処理後画像Ｉ３ａａが生成された場合、処理後画像Ｉ３ａａの解像度が高い鮮明な画像が生成できる。
【００４６】
上記第１実施形態によれば、劣化関数算出部１４４が理想基準パターンと撮像基準パターンとを比較処理することで画像劣化関数を算出している。これにより、撮像素子３２１の中心を移動させるアクチュエーターなどの機器を設けることなく、容易に画像劣化関数を算出できる。よって、処理後画像生成部１４６は、撮像対象画像よりも高解像度の処理後画像を容易に生成できる。また上記第１実施形態によれば、劣化関数算出部１４４は、算出した複数の画像劣化関数に加え、基準パターン３８２に対応していない画素に対する画像劣化関数を推定しているので、処理後画像生成部１４６はより高解像度の処理後画像を生成できる。
【００４７】
ここで、撮像素子３２１のＳＮ比において、撮像された撮像対象画像の輝度値が高いほど、相対的にノイズ成分の値は低くなる。上記第１実施形態の投射表示装置２０は、撮像対象画像を撮像するときに、白色画像を投射面９０に投射している（図１４のステップＳ７４，ステップＳ７６）。これにより、撮像された撮像対象画像の輝度値をより高くできるので、撮像された撮像対象画像のノイズ成分の値を低減できる。これにより、画像処理システム１０は、より高解像度の処理後画像を生成できる。
【００４８】
また上記第１実施形態によれば、撮像された複数の撮像対象画像のうちで同じ周波数成分を抽出し、抽出された周波数成分を有する撮像抽出画像から処理後画像を生成している（図１４のステップＳ７６〜ステップＳ７８）。複数の撮像対象画像のうちで同じ周波数成分を抽出することで、撮像対象画像に含まれるノイズ成分を低減できる。これにより、画像処理システム１０は、より解像度の高い処理後画像を生成できる。
【００４９】
Ｂ．第２実施形態：
図１６は、本発明の第２実施形態としての画像処理システム１０ａの内部ブロック図である。図１７は、画像処理システム１０ａが実行する画像劣化関数の生成フローチャートである。第１実施形態の画像処理システム１０と異なる点は、画像処理部１４ａが新たに基準画像抽出部１４８を有する点と、劣化関数算出部１４４ａおよび撮像制御部３６ａが実行する処理内容である。その他の構成については第１実施形態と同様の構成であるため、第１実施形態と同様の構成については同一符号を付すと共に説明を省略する。
【００５０】
撮像制御部３６ａは、撮像部３２によって、投射面９０に投射表示された同一の基準画像３８１を複数回撮像させる（図１７のステップＳ２０ａ）。撮像部３２は、例えば、基準画像３８１を２回以上、好ましくは５回以上、より好ましくは１０回以上撮像する。また、外光変動の影響を抑制するために、撮像制御部３６ａは、１１０ｆｐｓ〜１３０ｆｐｓ程度のフレームレートで撮像部３２によって基準画像３８１を複数回撮像させてもよい。
【００５１】
撮像された複数の基準画像３８１は、記憶部３８に記憶される。基準画像抽出部１４８は、撮像された複数の基準画像３８１のそれぞれが有する周波数成分のうちで、同じ周波数成分を抽出する（図１７のステップＳ２５）。劣化関数算出部１４４ａは、抽出した周波数成分を有する抽出画像を撮像部３２によって撮像された基準画像３８１とする。そして劣化関数算出部１４４ａは、基準画像３８１としての抽出画像と理想基準画像との比較処理を行って、基準パターン３８２に対応する画素ごとに画像劣化関数を算出する（ステップＳ４０ａ）。なお、第１実施形態と同様に、劣化関数算出部１４４ａは、基準パターン３８２に対応していない画素に対する画像劣化関数を、算出した複数の画像劣化関数を用いて補間処理することで推定する。
【００５２】
上記第２実施形態によれば、上記第１実施形態が奏する効果に加え以下の効果を奏する。すなわち、画像処理システム１０ａは、理想基準画像とノイズ成分を低減した抽出画像とを比較処理することで、ノイズ成分の影響を低減した画像劣化関数を算出できる。これにより、撮像された撮像対象画像を用いて、投射面９０上の撮像対象画像により近い処理後画像を生成できる。
【００５３】
Ｃ．画像劣化関数の算出方法についての他の実施形態：
図１８は、他の実施形態で用いる基準画像３８１ａを説明するための図である。図１９は、他の実施形態で用いる基準画像３８１ｂを説明するための図である。図１８および図１９では、基準画像３８１ａ，３８１ｂのうちで１つの基準パターン３８２ａ，３８２ｂと、基準パターン３８２ａ，３８２ｂの光強度分布ｆｗａ，ｆｗｂを示している。図２０は、他の実施形態における画像劣化関数を算出するためのフローチャートである。図２０において、第１実施形態（図９）と同様のステップについては同一の符号を付すと共に説明を省略する。
【００５４】
上記第１実施形態と上記第２実施形態のそれぞれにおいて、劣化関数算出部１４４，１４４ａは、撮像部３２が撮像した同一種類の基準画像３８１を用いて画像劣化関数を算出していた。しかしながら、これに限定されるものではなく、劣化関数算出部１４４，１４４ａは、撮像部３３２が撮像した複数種類の基準画像３８１，３８１ａ，３８１ｂを用いて画像劣化関数を算出してもよい。以下に第１実施形態の画像処理システム１０を例に説明する。
【００５５】
記憶部３８（図５）には、基準画像３８１に加え、基準画像３８１とは異なる基準画像３８１ａ，３８１ｂ（図１８，図１９）が記憶されている。ここで説明の便宜上、基準画像３８１を第１基準画像３８１とも呼び、基準画像３８１ａを第２基準画像３８１ａとも呼び、基準画像３８１ｂを第３基準画像３８１ｂとも呼ぶ。
【００５６】
第２基準画像３８１ａおよび第３基準画像３８１ｂは、第１基準画像３８１（図３）と同様に、撮像装置３０の液晶パネル２２１を横１６分割、縦１０分割した各格子の中心に配置された円形の白色画像である。第２基準画像３８１ａの各基準パターン３８２ａ（図１８）は、各位置において光強度が同じ矩形状の光強度分布ｆｗａを有する。第３基準画像３８１ｂの各基準パターン３８２ｂ（図１９）は、中心が最も光強度が高く、中心から離れるに従い光強度が低くなるガウス分布の光強度分布ｆｗｂを有する。上記のごとく、第１基準画像３８１〜第３基準画像３８１ｂでは、基準パターン３８２，３８２ａ，３８２ｂの光強度分布がそれぞれ異なる。
【００５７】
投射制御部２６の指示によって投射部２２は、第１基準画像３８１〜第３基準画像３８１ｂを時系列に投射面９０に投射し、撮像制御部３６の指示によって撮像部３２は、第１基準画像３８１〜第３基準画像３８１ｂのそれぞれを撮像する（ステップＳ２０ｂ）。撮像された第１基準画像３８１〜第３基準画像３８１ｂは記憶部３８に記憶される。
【００５８】
理想画像算出部１４２は、座標変換テーブル３８３を用いて投射する第１基準画像３８１〜第３基準画像３８１ｂのそれぞれについて撮像画像の座標系で表される理想基準画像を算出する（ステップＳ３０ｂ）。説明の便宜上、第１基準画像３８１の理想基準画像を第１理想基準画像とも呼び、第２基準画像３８１ａの理想基準画像を第２理想基準画像とも呼び、第３基準画像３８１ｂの理想基準画像を第３理想基準画像とも呼ぶ。
【００５９】
次に、劣化関数算出部１４４は、第１基準画像３８１〜第３基準画像３８１ｂのそれぞれについて、画像劣化関数を空間周波数領域で算出する（ステップＳ４０ｂ）。具体的には、劣化関数算出部１４４は、第１理想基準画像の理想基準パターンと撮像した第１基準画像３８１の撮像基準パターンとを比較処理することで、各基準パターン３８２に対応する画素ごとに画像劣化関数を空間周波数領域で算出する。また、劣化関数算出部１４４は、第２理想基準画像の理想基準パターンと、撮像した第２基準画像３８１ａの撮像基準パターンとを比較処理することで、各基準パターン３８２ａに対応する画素ごとに画像劣化関数を空間周波数領域で算出する。また、劣化関数算出部１４４は、第３理想基準画像の理想基準パターンと、撮像した第３基準画像３８１ｂの撮像基準パターンとを比較処理することで、各基準パターン３８２ｂに対応する画素ごとに画像劣化関数を空間周波数領域で算出する。ここで、第１理想基準画像に基づいて算出された画像劣化関数を第１画像劣化関数とも呼び、第２理想基準画像に基づいて算出された画像劣化関数を第２画像劣化関数とも呼び、第３理想基準画像に基づいて算出された画像劣化関数を第３画像劣化関数とも呼ぶ。
【００６０】
劣化関数算出部１４４は、算出した第１〜第３理想基準画像と、理想基準画像に対応する撮像された第１〜第３基準画像３８１〜３８１ｂとの関係を最も表す修正画像劣化関数を、第１〜第３画像劣化関数を用いて決定する（ステップＳ４５）。具体的には、例えば、劣化関数算出部１４４は、第１〜第３画像劣化関数のいずれか一つの関数を初期関数として、フーリエ反復法によって修正画像劣化関数を決定する。また、劣化関数算出部１４４は、フーリエ反復法に代えて、第１〜第３画像劣化関数を用いてディープラーニングによって修正画像劣化関数を決定してもよい。
【００６１】
上記他の実施形態によれば、修正画像劣化関数を用いることで、撮像された撮像対象画像を用いて、投射面上の撮像対象画像により近い処理後画像を生成できる。
【００６２】
Ｄ．他の実施形態：
上記各実施形態では、劣化関数算出部１４４，１４４ａは、撮像素子３２１を構成する複数の画素のうちで各基準パターン３８２に対応する画素ごとに画像劣化関数を算出し、基準パターン３８２に対応していない画素については算出した画像劣化関数を補間処理することで推定していた。しかしながら、劣化関数算出部１４４，１４４ａは、補間処理を行わなくてもよい。例えば、劣化関数算出部１４４，１４４ａは、各理想基準パターンを１つの理想基準パターンとし、各撮像基準パターンを１つの撮像基準パターンとして比較処理することで、撮像素子３２１の全画素に共通の画像劣化関数を算出してもよい。上記第１実施形態において、撮像画像抽出部１４５は、撮像対象画像に対して、複数の撮像対象画像から同一周波数成分を抽出していたが、これに限定されるものではない。例えば、撮像画像抽出部１４５は省略してもよい。つまり、画像処理システム１０は、１つの撮像された撮像対象画像から処理後画像を生成してもよい。また、上記第１実施形態において、投射部２２は撮像部３２によって撮像対象画像を撮像するときに、白色画像を投射面に投射していたが、白色画像を投射しなくてもよい。
【００６３】
Ｅ．他の形態：
本発明は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本発明は、以下の形態によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本発明の課題の一部又は全部を解決するために、あるいは、本発明の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【００６４】
（１）本発明の一形態によれば、画像処理システムが提供される。この画像処理システムは、投射表示装置と、複数の画素が形成された撮像素子を有する撮像装置と、前記撮像装置によって撮像された撮像画像を画像処理する画像処理装置と、を備え、前記画像処理装置は、前記投射表示装置が投射面に投射する投射画像の座標系と、前記投射面に投射表示された表示画像の座標系と、前記撮像装置によって撮像される撮像画像の座標系と、の対応関係を用いて、前記投射表示装置によって前記投射面に投射される基準画像であって、複数の基準パターンを含む基準画像から、前記撮像画像の座標系で表される理想基準画像を算出する理想画像算出部と、前記理想基準画像中の前記基準パターンである理想基準パターンと、前記撮像装置によって撮像された前記基準画像中の前記基準パターンである撮像基準パターンと、を比較処理することで、画像劣化関数を算出する劣化関数算出部と、前記投射面上における前記基準画像とは異なる撮像対象画像であって、前記撮像装置によって撮像された撮像対象画像に対して、前記画像劣化関数を用いて逆演算することで、前記撮像対象画像よりも高解像度の処理後画像を生成する処理後画像生成部と、を有する。この形態によれば、劣化関数算出部が理想基準パターンと撮像基準パターンとを比較処理することで画像劣化関数を算出している。これにより、撮像素子の中心を移動させるアクチュエーターなどの機器を設けることなく、容易に画像劣化関数を算出できる。よって、処理後画像生成部は、撮像対象画像よりも高解像度の処理後画像を容易に生成できる。
【００６５】
（２）上記形態であって、前記劣化関数算出部は、前記複数の画素のうちで各前記基準パターンに対応する画素ごとに画像劣化関数を算出し、前記複数の画素のうちで、前記基準パターンに対応していない画素に対する画像劣化関数を、算出した複数の前記画像劣化関数を用いて補間処理することで推定してもよい。この形態によれば、劣化関数算出部は、算出した複数の画像劣化関数に加え、基準パターンに対応していない画素に対する画像劣化関数を推定しているので、処理後画像生成部はより高解像度の処理後画像を生成できる。
【００６６】
（３）上記形態であって、前記投射表示装置は、前記撮像装置によって前記撮像対象画像を撮像するときに、白色画像を前記投射面に投射してもよい。ここで、撮像素子のＳＮ比において、撮像された撮像対象画像の輝度値が高いほど相対的にノイズ成分の値は低くなる。この形態によれば、投射表示装置は、撮像対象画像を撮像するときに、白色画像を投射面に投射することで、撮像された撮像対象画像の輝度値をより高くできる。これにより、撮像された撮像対象画像のノイズ成分を低減できるので、より高解像度の処理後画像を生成できる。
【００６７】
（４）上記形態であって、前記撮像装置は、前記投射面上の同一対象の前記撮像対象画像を複数回撮像し、前記画像処理装置は、さらに、撮像された複数の前記撮像対象画像のそれぞれが有する周波数成分のうちで、同じ周波数成分を抽出する撮像画像抽出部と、を有し、前記処理後画像生成部は、抽出された前記周波数成分を有する撮像抽出画像に対して、前記画像劣化関数を用いて逆演算することで前記撮像抽出画像よりも高解像度の前記処理後画像を生成してもよい。この形態によれば、撮像された複数の撮像対象画像のうちで同じ周波数成分を抽出し、抽出された周波数成分を有する撮像抽出画像から処理後画像を生成している。複数の撮像対象画像のうちで同じ周波数成分を抽出することで、撮像対象画像に含まれるノイズ成分を低減できる。これにより、より解像度の高い処理後画像を生成できる。
【００６８】
（５）上記形態であって、前記撮像装置は、投射された前記基準画像を複数回撮像し、前記画像処理装置は、さらに、撮像された複数の前記基準画像のそれぞれが有する周波数成分のうちで、同じ周波数成分を抽出する基準画像抽出部を有し、前記劣化関数算出部は、抽出された前記周波数成分を有する抽出画像を前記撮像装置によって撮像された前記基準画像として、前記比較処理を行って前期基準パターンに対応する画素ごとに画像劣化関数を算出してもよい。この形態によれば、理想基準画像とノイズ成分を低減した抽出画像とを比較処理することで、ノイズ成分の影響を低減した画像劣化関数を算出できる。これにより、撮像された撮像対象画像を用いて、投射面上の撮像対象画像により近い処理後画像を生成できる。
【００６９】
（６）上記形態であって、前記投射表示装置は、前記基準パターンが異なる複数種類の前記基準画像を前記投射面に時系列に投射し、前記撮像装置は、前記複数種類の基準画像を撮像し、前記理想画像算出部は、投射する前記複数種類の基準画像ごとに前記理想基準画像を算出し、前記画像処理装置の劣化関数算出部は、前記複数種類の基準画像ごとに、前記画像劣化関数を算出し、算出した複数の前記理想基準画像と、前記理想基準画像に対応する撮像された前記基準画像との関係を最も表す修正画像劣化関数を、算出した複数の前記画像劣化関数を用いて決定してもよい。この形態によれば、修正画像劣化関数を用いることで、撮像された撮像対象画像を用いて、投射面上の撮像対象画像により近い処理後画像を生成できる。
【００７０】
本発明は、画像処理システム以外の種々の形態で実現することも可能である。例えば、画像処理システムの制御方法、その制御方法を実現するコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体などの形態で実現することができる。
【符号の説明】
【００７１】
１０，１０ａ…画像処理システム、１２…制御部、１４，１４ａ…画像処理部、１８…操作部、２０…投射表示装置、２２…投射部、２３…フレームメモリー、２４…画像入力部、２６…投射制御部、３０…撮像装置、３２…撮像部、３６，３６ａ…撮像制御部、３８…記憶部、９０…投射面、１４１…変換式算出部、１４２…理想画像算出部、１４４，１４４ａ…劣化関数算出部、１４５…撮像画像抽出部、１４６…処理後画像生成部、１４８…基準画像抽出部、２２０…光源、２２１…液晶パネル、２２２…投射レンズ、３２１…撮像素子、３３２…撮像部、３８０…特定画像、３８１…基準画像（第１基準画像）、３８１ａ…第２基準画像、３８１ｂ…第３基準画像、３８１ｔ…基準画像、３８２，３８２ａ，３８２ｂ，３８２ｔ…基準パターン、３８３…座標変換テーブル、３８４…第１変換テーブル、３８５…第２変換テーブル、３８６…第３変換テーブル、ＡＣＰ…撮像基準画像、ＣＥ…分割セル、ＬＸ…光軸、ｆｗ，ｆｗａ，ｆｅｂ…光強度分布
【図１】
2019153895.tif 000003
【図２】
2019153895.tif 000004
【図３】
2019153895.tif 000005
【図４】
2019153895.tif 000006
【図５】
2019153895.tif 000007
【図６】
2019153895.tif 000008
【図７】
2019153895.tif 000009
【図８】
2019153895.tif 000010
【図９】
2019153895.tif 000011
【図１０】
2019153895.tif 000012
【図１１】
2019153895.tif 000013
【図１２】
2019153895.tif 000014
【図１３】
2019153895.tif 000015
【図１４】
2019153895.tif 000016
【図１５】
2019153895.tif 000017
【図１６】
2019153895.tif 000018
【図１７】
2019153895.tif 000019
【図１８】
2019153895.tif 000020
【図１９】
2019153895.tif 000021
【図２０】
2019153895.tif 000022