(57)【要約】【課題】表示画像全体において見た目に均一な鮮鋭性を有する画像とする。【解決手段】光変調素子を有する複数の画像生成手段（第１画像生成ユニット１１０、第２画像生成ユニット１２０）で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像補正装置３３０であって、前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出する画素ずれ量算出部と、算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得するフィルタ取得部と、前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するフィルタ適用部とを有する。【選択図】図２
2010101996.tif 000002
【特許請求の範囲】
【請求項１】
光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像補正装置であって、
前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出する画素ずれ量算出部と、
前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得するフィルタ取得部と、
前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するフィルタ適用部と、
を有することを特徴とする画像補正装置。
【請求項２】
請求項１に記載の画像補正装置において、
前記平滑化フィルタは、前記投射面に表示された表示画像の全体の領域における鮮鋭性を均一化するような重み係数を有するフィルタであることを特徴とする画像補正装置。
【請求項３】
請求項２に記載の画像補正装置において、
前記重み係数は、前記表示画像の鮮鋭性が高い領域の鮮鋭性を、前記表示画像の鮮鋭性が低い領域の鮮鋭性に合わせる値に設定されることを特徴とする画像補正方法。
【請求項４】
請求項１〜３のいずれかに記載の画像補正装置において、
前記複数の特徴点は、前記光変調素子の横方向および縦方向のすべての画素のうちの離散的な位置の複数の画素に対応してそれぞれ設定されており、前記画素ずれ量は、設定された複数の特徴点の各特徴点ごとに算出することを特徴とする画像補正方法。
【請求項５】
請求項１〜３のいずれかに記載の画像補正装置において、
前記複数の特徴点は、前記光変調素子の横方向および縦方向のすべての画素のうちの離散的な位置の複数の画素に対応してそれぞれ設定され、かつ、前記複数の特徴点のうち幾つかの特徴点を注目特徴点として選択し、前記画素ずれ量は、前記注目特徴点において算出することを特徴とする画像補正装置。
【請求項６】
請求項５に記載の画像補正装置において、
前記注目特徴点において算出された画素ずれ量に応じた平滑化フィルタを取得し、前記注目特徴点以外の特徴点における平滑化フィルタは、前記注目特徴点において取得した平滑化フィルタに基づいて作成することを特徴とする画像補正装置。
【請求項７】
請求項５または６に記載の画像補正装置において、
前記注目特徴点は、光変調素子の４隅の画素に対応する位置に設定されることを特徴とする画像補正装置。
【請求項８】
請求項１〜７のいずれかに記載の画像処理装置において、
前記複数の画像生成手段は、１台のプロジェクタに設けられていることを特徴とする画像補正装置。
【請求項９】
請求項１〜７のいずれかに記載の画像補正装置において、
前記複数の画像生成手段は、前記複数の画像生成手段の各画像生成手段が複数のプロジェクタの各プロジェクタに設けられていることを特徴とする画像補正装置。
【請求項１０】
光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像補正方法であって、
前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出するステップと、
前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得するステップと、
前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するステップと、
を有することを特徴とする画像補正方法。
【請求項１１】
光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示するプロジェクションシステムに用いられ、前記投射面で複数の画像を重ねて表示する際の画像補正を行う画像補正装置を有するプロジェクタであって、
前記画像補正装置は、
前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出する画素ずれ量算出部と、
前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得する平滑化フィルタ取得部と、
前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するフィルタ適用部と、
を有することを特徴とするプロジェクタ。
【請求項１２】
光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示する際に画像補正を行う画像補正装置を有するプロジェクションシステムであって、
前記画像補正装置は、
前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出する画素ずれ量算出部と、
前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得する平滑化フィルタ取得部と、
前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するフィルタ適用部と、
を有することを特徴とするプロジェクションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像の少なくとも一部を重ねて表示する際の画像補正機能を有する画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステムシステムに関する。
【背景技術】
【０００２】
複数の画像の少なくとも一部を重ねて表示するプロジェクションシステムが知られている。例えば、１台のプロジェクタに２つの画像生成手段（画像生成ユニットという）と１つの投射光学系とを搭載して、２つの画像生成ユニット（第１画像生成ユニット、第２画像生成ユニットという）で生成された画像光を合成して、その合成画像光を投射するプロジェクションシステム（第１のプロジェクションシステムという）がある。
【０００３】
第１のプロジェクションシステムに用いるプロジェクタが、例えば、ＲＧＢに対応した光変調素子（液晶パネル）を有する３板式の液晶プロジェクタであるとすれば、第１画像生成ユニットにはＲＧＢに対応した３枚の液晶パネルが設けられ、第２画像生成ユニットにもＲＧＢに対応した３枚の液晶パネルが設けられる。
【０００４】
そして、第１画像生成ユニットのＲＧＢの各光変調素子で変調された各色の画像光はクロスダイクロイックプリズムによって合成され、同様に、第２画像生成ユニットのＲＧＢの各光変調素子で変調された各色の画像光もクロスダイクロイックプリズムによって合成される。これら各クロスダイクロイックプリズムによって合成された各画像光は、合成光学系によって合成されて、投射光学系により投射面としてのスクリーンに投射される。
【０００５】
このような第１のプロジェクションシステムにおいて、第１画像生成ユニットの光変調素子と第２画像生成ユニットの光変調素子のそれぞれ対応する画素の位置を斜め方向に所定量（例えば１／２画素）だけずらすように設定することによって、画像を高解像度化することができ、また、それぞれ対応する画素の位置を一致させるように設定することによって、画像を高輝度化することができる。
【０００６】
一方、複数のプロジェクタ（説明の簡単化のために２台とする）から投射した画像をスクリーン上で重ねるように構成されたプロジェクションシステム（第２のプロジェクションシステムという）も知られている。
【０００７】
このような第２のプロジェクションシステムにおいても第１のプロジェクションシステムと同様、それぞれ対応する画素の位置を斜め方向に所定量（例えば１／２画素）だけずらすように設定することによって、画像を高解像度化することができる。また、それぞれ対応する画素の位置を一致させるように設定して、２台のプロジェクタから画像を投射することによって、画像を高輝度化することができる。
【０００８】
上記第１のプロジェクションシステムおよび第２のプロジェクションシステムのいずれにおいても、それぞれ対応する画素が高精度に位置調整された状態を保持することが重要である。
【０００９】
例えば、第１のプロジェクションシステムを例にとって考えると、第１画像生成ユニットの光変調素子と第２画像生成ユニットの光変調素子のそれぞれ対応する画素の位置を例えば斜め方向に所定量（例えば１／２画素）だけずらすように高精度に調整したはずであ
ったとしても、調整誤差などによって、各プロジェクタにおいて理想的な画素の位置（理想的画素位置という）に対し、画素ずれが生じてしまうことがある。このような理想的画素位置に対する画素ずれは、スクリーン上に表示された画像の品質低下の要因ともなる。
【００１０】
ところで、プロジェクタにより表示される画像だけでなく、カラー画像を高品質なものとするための画像補正技術は従来から様々提案されている（例えば、特許文献１参照）。
特許文献１に開示された技術（従来技術という）は、画像信号を輝度信号と色差信号とに変換し、該輝度信号と色差信号をそれぞれレベル１〜Ｎに多重解像度に変換し、各レベルの高周波成分に対してレベルごとに異なる条件を用いた画像補正処理を行うというものである。
【００１１】
【特許文献１】特開２００３−１３４３５２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記従来技術は、各レベルの高周波成分に対してレベルごとに異なる条件を用いた処理を行うものであるが、その処理は表示画像全体の領域に対して一律に画像補正処理を施している。しかしながら、表示画像内で、例えば、ある領域は鮮鋭性が高く、ある領域は鮮鋭性が低いというように、鮮鋭性の高い領域と低い領域が１つの表示画像内に混在する場合もある。このような場合、鮮鋭性を向上させるための画像補正処理を表示画像全体の領域に一律に施したとしたとしても、補正処理後の表示画像は、見た目に均一な鮮鋭性を有する画像とはならない。
【００１３】
これを上記した第１のプロジェクションシステムにおいて、理想的画素位置に対して画素ずれが生じた場合を例にとって説明する。
【００１４】
図１１は第１画像生成ユニットおよび第２画像生成ユニットのそれぞれ対応する画素の位置を説明する図である。図１１（ａ）は第１画像生成ユニットの光変調素子および第２画像生成ユニットの光変調素子のそれぞれ対応する画素が理想的画素位置に設定されている場合であり、この場合は、それぞれ対応する画素がそれぞれ所定量だけ斜め方向に正しくずれている。なお、図１１において、白丸は第１画像投射ユニットの光変調素子の画素の位置、菱形は第２画像投射ユニットの光変調素子の画素の位置を表すものとする。
【００１５】
また、図１１（ｂ）は第１画像生成ユニットおよび第２画像生成ユニットのそれぞれ対応する画素が理想的画素位置に対して画素ずれが生じた場合であり、理想的画素位置に対して、均一にずれているのではなく、理想的画素位置に対する画素ずれ量が領域によって異なっている。なお、図１１（ｂ）において、破線枠Ａで囲った領域が特にずれ量が大きいことを示している。
【００１６】
このように、第１画像生成ユニットおよび第２画像生成ユニットのそれぞれ対応する画素が理想的画素位置となるように、各光変調素子の位置を調整したはずであっても、調整誤差などによって画素ずれが生じ、かつ、その画素ずれ量が図１１（ｂ）に示すように全体的に均一とならない場合もある。このように、全体的に均一ではない画素ずれが生じた状態で、それぞれの画像生成ユニットから画像をスクリーンに投射すると、スクリーン上に表示された画像は、表示画像全体の領域で鮮鋭性が均一とはならず、鮮鋭性の高い領域と低い領域とが混在した画像となり、見た目に違和感のある画像となる。
【００１７】
図１２は画像のある位置におけるＭＴＦ（Modulation Transfer Function）を示す図である。ＭＴＦは画像の鮮鋭性を表す指標ともいえるもので、鮮鋭性の低下がなければ、破線で示すように、ＭＴＦ＝１であり、鮮鋭性が低下している位置においては、高周波成分
側でＭＴＦの低下がより大きくなる。
【００１８】
すなわち、図１１（ｂ）に示すような画素ずれが存在する状態で画像を投射したときのＭＴＦを求めると、理想的画素位置（例えば、対応する画素が斜め方向に正しく１／２画素ずれた位置）となっている領域であっても、ＭＴＦは少し低下するが（図１２の一点鎖線で示す）、理想的画素位置に対してさらに画素ずれが生じているような領域（図１１（ｂ）の破線枠Ａで囲まれた領域のある位置）においては、高周波成分側でＭＴＦの低下がより大きくなる（図１２の実線で示す）。このように、画像の鮮鋭性はＭＴＦによって表すことができる。
【００１９】
ところで、表示画像は、鮮鋭性が多少低くても表示画像全体の領域が均一な鮮鋭性を有する画像の方が、表示画像全体の領域内で鮮鋭性の高い領域と低い領域とが混在した画像よりも、見た目に違和感のない画像となることが知られている。したがって、図１１（ｂ）に示すように全体的に一様ではない画素ずれが生じた場合は、表示画像全体の領域で鮮鋭性が均一となるような画像処理を行うことが好ましい。
【００２０】
そこで本発明は、表示画像全体において鮮鋭性が均一となるような画像補正処理を行うことによって、表示画像全体において見た目に均一な鮮鋭性を有する画像とすることができる画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の画像補正装置は、光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像補正装置であって、前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出する画素ずれ量算出部と、前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得するフィルタ取得部と、前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するフィルタ適用部とを有することを特徴とする。
【００２２】
本発明の画像補正装置は、画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出し、算出された画素ずれ量に応じた平滑化フィルタ（例えば平均化フィルタ）を取得して、取得した平滑化フィルタを画像データに適用するようにしている。
【００２３】
このように、本発明の画像補正装置は、画素ずれ量に応じた平滑化フィルタを画像データに適用するようにしているので、表示画像全体の領域において一律の画像補正ではなく、画素ずれに応じた画像補正を行うことができる。このような画像補正を行うことにより、画素ずれ量が異なることにより生じる鮮鋭性のむらを抑制することができ、表示画面全体において見た目に均一な鮮鋭性を有する画像を表示させることができる。
【００２４】
なお、「平滑化フィルタを取得する」という処理は、画素ずれ量が算出された時点で、当該算出された画素ずれ量に応じた平滑化フィルタを作成する処理であってもよく、また、算出された画素ずれ量に応じた平滑化フィルタを予め複数用意しておき、用意された複数の平滑化フィルタの中からそのとき算出された画素ずれ量に適応した平滑化フィルタを選択するようにしてもよい。
【００２５】
本発明の画像補正装置において、前記平滑化フィルタは、前記投射面に表示された表示画像の全体の領域における鮮鋭性を均一化するような重み係数を有するフィルタであるこ
とが好ましい。
【００２６】
このような平滑化フィルタを画像データに適用して画像補正を行うことにより、補正された画像は、表示画像全体において見た目に均一な鮮鋭性を有する画像とすることができる。
【００２７】
本発明の画像補正装置において、前記重み係数は、前記表示画像の鮮鋭性が高い領域の鮮鋭性を、前記表示画像の鮮鋭性が低い領域の鮮鋭性に合わせる値に設定されることが好ましい。
【００２８】
これは、表示画像全体の鮮鋭性を鮮鋭性の低い領域に合わせるというものであり、これにより、鮮鋭性の高い領域と鮮鋭性の低い領域とが混在することがなくなり、表示画像全体の鮮鋭性のむらを抑制することができる。このような処理を行うことにより、確かに、表示画像全体の鮮鋭性は、鮮鋭性の低い領域に合わせられることとなるが、鮮鋭性の高い領域と低い領域とが混在した画像よりも、表示画像全体の鮮鋭性が多少低くても、表示画像全体に鮮鋭性のむらの少ない画像の方が見た目に好ましい画像となることが知られている。したがって、本発明の画像補正を行うことにより、表示画像全体の領域において鮮鋭性のむらの少ない見た目に好ましい画像とすることができる。
【００２９】
本発明の画像補正装置において、前記複数の特徴点は、前記光変調素子の横方向および縦方向のすべての画素のうちの離散的な位置の複数の画素に対応してそれぞれ設定されており、前記画素ずれ量は、設定された複数の特徴点の各特徴点ごとに算出することが好ましい。
【００３０】
これは、すべての特徴点ごとに画素ずれ量を算出するものであり、この場合、各特徴点ごとの画素ずれ量に応じた平滑化フィルタを取得する。これにより、表示画像内に鮮鋭性の高い領域と鮮鋭性の低い領域とが混在していたとしても、画素ずれ量に応じた平滑化フィルタを画像データの各特徴点ごとに適用することができ、表示画像全体の領域において鮮鋭性のむらを抑制することができる。
【００３１】
本発明の画像補正装置において、前記複数の特徴点は、前記光変調素子の横方向および縦方向のすべての画素のうちの離散的な位置の複数の画素に対応してそれぞれ設定され、かつ、前記複数の特徴点のうち幾つかの特徴点を注目特徴点として選択し、前記画素ずれ量は、前記注目特徴点において算出することも好ましい。
【００３２】
これにより、全ての特徴点ごとに画素ずれ量を算出する必要がなくなり、画像ずれ量算出のための演算量を削減できる。
【００３３】
本発明の画像補正装置において、前記注目特徴点において算出された画素ずれ量に応じた平滑化フィルタを取得し、前記注目特徴点以外の特徴点における平滑化フィルタは、前記注目特徴点において取得した平滑化フィルタに基づいて作成することが好ましい。
【００３４】
このように、注目特徴点以外の特徴点においては、平滑化フィルタを補間などによって作成することができるので、すべての特徴点ごとに、各特徴点における画素ずれ量に応じて平滑化フィルタを取得する処理（平滑化フィルタを作成する処理または選択する処理）を行う必要がなくなり、画像補正処理全体の処理量を軽減することができる。
【００３５】
本発明の画像補正装置において、前記注目特徴点は、光変調素子の４隅の画素に対応する位置に設定されることが好ましい。
【００３６】
このように、注目特徴点が光変調素子の４隅の画素に対応する位置に設定されることにより、画素ずれ量を４箇所のみで算出すればよいので、画像ずれ量算出のための演算量を大幅に削減できる。
【００３７】
本発明の画像処理装置においては、前記複数の画像生成手段は、１台のプロジェクタに設けられていることが好ましい。
【００３８】
このようなプロジェクタは、複数の画像生成手段（第１画像生成手段および第２画像生成手段の２つの画像生成手段とする）と、第１画像生成手段および第２画像生成手段でそれぞれ生成される画像を合成する合成光学系と、合成光学系によって合成された画像を投射する投射光学系とを有するプロジェクタであって、このようなプロジェクタを用いることによって、投射面で複数の画像を重ねて表示することができる。したがって、本発明の画像補正装置は、このようなプロジェクタに適用することができ、また、このようなプロジェクタを用いたプロジェクションシステムにも適用することができる。
【００３９】
本発明の画像補正装置において、前記複数の画像生成手段は、前記複数の画像生成手段の各画像生成手段が複数のプロジェクタの各プロジェクタに設けられていることも好ましい。
【００４０】
本発明の画像補正装置は、このようなプロジェクタにおいても適用することができ、また、このようなプロジェクタを用いたプロジェクションシステムにも適用することができる。
【００４１】
本発明の画像補正方法は、光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示するプロジェクションシステムにおける画像補正方法であって、前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出するステップと、前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得するステップと、前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するステップとを有することを特徴とする。
【００４２】
このようなステップを実行することによって、画素ずれ量に応じた平滑化フィルタを画像データに適用することができ、前記本発明の画像補正装置と同様の効果を得ることができる。なお、本発明の画像補正方法においても、前記本発明の画像補正装置が有するそれぞれの特徴を有することが好ましい。
【００４３】
本発明のプロジェクタは、光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示するプロジェクションシステムに用いられ、前記投射面で複数の画像を重ねて表示する際の画像補正を行う画像補正装置を有するプロジェクタであって、前記画像補正装置は、前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出する画素ずれ量算出部と、前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得する平滑化フィルタ取得部と、前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するフィルタ適用部とを有することを特徴とする。
【００４４】
プロジェクタにこのような画像補正装置を設けることによって、前記本発明の画像補正装置で述べた効果を得ることができる。なお、本発明のプロジェクタにおいても、前記本
発明の画像補正装置が有するそれぞれの特徴を有することが好ましい。
【００４５】
本発明のプロジェクションシステムは、光変調素子を有する複数の画像生成手段で生成される画像を投射面に投射し、前記投射面で複数の画像を重ねて表示する際に画像補正を行う画像補正装置を有するプロジェクションシステムであって、前記画像補正装置は、前記投射面に投射された複数の特徴点を有する画素ずれ量算出用画像を撮像して得られた撮像画像データに基づいて、前記複数の特徴点のうち少なくとも一部の特徴点における画素ずれ量を算出する画素ずれ量算出部と、前記算出された画素ずれ量に基づいた平滑化フィルタを前記複数の特徴点のうち少なくとも一部の特徴点ごとに取得する平滑化フィルタ取得部と、前記取得された平滑化フィルタを、投射すべき画像に対応する画像データに適用するフィルタ適用部とを有することを特徴とする。
【００４６】
本発明のプロジェクションシステムがこのような画像補正装置を有することによって、前記本発明の画像補正装置で述べた効果と同様の効果を得ることができる。なお、本発明のプロジェクションシステムにおいても前記本発明の画像補正装置の各特徴を有することが好ましい。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施形態について説明する。
【００４８】
[実施形態１]
図１は実施形態１に係るプロジェクションシステムの外観構成を示す図である。実施形態１に係るプロジェクションシステムは、図１に示すように、プロジェクタＰＪが画像生成手段としての２つの画像生成ユニット（図２により説明する）を有し、これら２つの画像生成ユニットで生成された画像を合成光学系によって合成したのち投射光学系によって投射することによって、投射面としてのスクリーンＳＣＲで２つの画像を重ねて表示するものである。
【００４９】
図２は実施形態１に係るプロジェクションシステムに用いられるプロジェクタＰＪの構成を示す図である。プロジェクタＰＪは、図２に示すように、画像投射部１００と、撮像装置２００と、画像処理装置３００とを有している。
【００５０】
画像投射部１００は、２つの画像生成ユニット（第１画像生成ユニット１１０、第２画像生成ユニット１２０という）、光源１３０、偏光合成プリズムなどの合成光学系１４０、投射光学系１５０、投射制御部１６０などを有している。
【００５１】
第１画像生成ユニット１１０には、ＲＧＢに対応した３つの光変調素子（液晶パネル）を有する光変調部（第１光変調部１１１という）とクロスダイクロイックプリズムが設けられている。また、第２画像生成ユニット１２０にもＲＧＢに対応した３つの光変調素子（液晶パネル）を有する光変調部（第２光変調部１２１という）とクロスダイクロイックプリズムが設けられている。なお、第１光変調部１１１および第２光変調部１２１におけるＲＧＢの各光変調素子、クロスダイクロイックプリズムはそれぞれ図示が省略されている。
【００５２】
そして、第１画像生成ユニット１１０においては、第１光変調部１１１の各光変調素子で変調された各色の画像光は、クロスダイクロイックプリズムによって合成される。同様に、第２画像生成ユニット１２０においては、第２光変調部１２１の各光変調素子で変調された各色の画像光は、クロスダイクロイックプリズムによって合成される。これら各クロスダイクロイックプリズムによって合成された各画像光は、合成光学系１４０によって合成されて、投射光学系１５０によりスクリーンＳＣＲ（図１参照）に投射される。
【００５３】
なお、第１光変調部１１１におけるＲＧＢの各光変調素子間の画素のずれは生じないものとし、同様に、第２光変調部におけるＲＧＢの各光変調素子間の画素ずれは生じないものとする。
【００５４】
また、第１画像生成ユニット１１０および第２画像生成ユニット１２０は、図１に示す構成要素の他に色分離光学系、リレー光学系などを有しているが、これらは一般的なプロジェクタにおいて公知の構成要素であるため図示を省略する。
【００５５】
投射制御部１６０は、第１光変調部１１１の各光変調素子を駆動する光変調素子駆動部と、第２光変調部１２１の各光変調素子を駆動する光変調素子駆動部と、光源を制御する光源制御部とを有するが、これらも一般的なプロジェクタにおいて公知の構成要素であるため図示を省略する。
【００５６】
撮像装置２００は、スクリーンＳＣＲにおいて表示される画像（表示画像という）の撮像が可能となるようにプロジェクタに取り付けられているもので、撮像光学系２１０と、撮像素子２２０と、撮像素子２２０からの出力信号の取得など撮像素子２２０を制御するための撮像素子制御部２３０とを有している。なお、撮像素子２２０の解像度は、プロジェクタＰＪの各光変調素子の解像度よりも高い解像度を有するものとする。なお、実施形態１に係るプロジェクションシステムにおいては、撮像装置２００は、プロジェクタＰＪに一体的に設けられている例が示されているが、プロジェクタＰＪとは別の構成要素として設けられるものであってもよい。
【００５７】
画像処理装置３００は、ＣＰＵ３１０と、記憶装置３２０と、画像補正装置３３０とを有している。画像補正装置３３０は、画像の鮮鋭性の均一化処理などを含む各種の画像補正処理を行うものである。なお、画像補正装置３３０は、パーソナルコンピュータなどの情報処理装置に組み込むような構成としてもよい。
【００５８】
図３は画像補正装置３３０の構成を示す図である。なお、図３においては、画像の鮮鋭性の均一化処理を行う際に必要な構成要素のみが示されている。
画像補正装置３３０は、図３に示すように、撮像装置２００から出力される撮像画像データに基づいて画素ずれ量を算出する画素ずれ量算出部３３１と、算出された画素ずれ量に応じた平滑化フィルタを取得する平滑化フィルタ取得部３３２と、取得された平滑化フィルタを投射すべき画像に対応する画像データに適用することによって補正済み画像データを出力するフィルタ適用部３３３とを有している。
【００５９】
画素ずれ量算出部３３１が算出する画素ずれ量は、第１画像生成ユニット１１０の第１光変調部１１１と第２画像生成ユニット１２０の第２光変調部１２１のそれぞれ対応する画素のずれ量であるが、実施形態１に係るプロジェクションシステムにおいては、第１光変調部１１１のＧ（緑色）に対応する光変調素子と、第２光変調部１２１のＧ（緑色）に対応する光変調素子のそれぞれ対応する画素の画素ずれ量を求め、求められた画素ずれ量を、第１光変調部１１１と第２光変調部１２１のそれぞれ対応する画素の画素ずれ量とする。
【００６０】
ところで、第１光変調部１１１と第２光変調部１２１は、それぞれ対応する画素が、斜め方向に所定量（例えば１／２画素）だけずれるように設定された状態を理想的画像位置としている。このような理想的画素位置に対し、調整誤差など何らかの原因で画素ずれが生じたときの画素ずれ量を、ここでは、第１光変調部１１１と第２光変調部１２１のそれぞれ対応する画素の画素ずれ量とする。なお、第１光変調部１１１と第２光変調部１２１のそれぞれ対応する画素の画素ずれ量を、以下では、「第１および第２画像生成ユニット
の画素ずれ量」という。
【００６１】
また、第１光変調部１１１と第２光変調部１２１は、本来は、理想的画素位置に対して画素ずれが生じないように調整されるものであり、仮に、理想的画素位置に対する画素ずれが生じたとしてもその画素ずれ量は、１画素未満であるとする。
【００６２】
また、第１および第２画像生成ユニットの画素ずれ量は、第１画像生成ユニット１１０の光変調素子（例えば、Ｇに対応する光変調素子とする）の座標と第２画像生成ユニット１２０の光変調素子（例えば、Ｇに対応する光変調素子とする）の座標をそれぞれ算出し、算出された座標に基づいて算出する。
【００６３】
例えば、特徴点を有するテスト画像データを投射制御部１６０に与えることによって、第１画像生成ユニット１１０の光変調素子（Ｇに対応する光変調素子）と第２画像生成ユニット１２０の光変調素子（Ｇに対応する光変調素子）でそれぞれ特徴点を有するテスト画像を生成させ、そのテスト画像をスクリーンＳＣＲ上に投射し、それを撮像装置２００で撮像する。そして、撮像装置２００から得られた撮像画像データに基づいて、テスト画像の各特徴点の座標（撮像装置系の座標）を算出し、算出された各特徴点の座標間の距離を算出することによって画素ずれ量を求める。
【００６４】
なお、テスト画像としては、例えば、格子模様の画像を例示することができる。そして、格子模様の各格子点を特徴点として、各特徴点の座標を算出する。このとき、各特徴点の間隔は、光変調素子の解像度にもよるが、横方向および縦方向においてそれぞれ２０画素〜３０画素程度に設定することが好ましい。
【００６５】
図４は撮像画像データに基づいて座標（撮像装置系の座標）を算出する処理を説明するフローチャートである。図４に示すように、まず、テスト画像を撮像して得られた撮像画像データを２値化する（ステップＳ１）。撮像画像データの２値化は、撮像画像データの画素値に閾値（例えば、撮像画像データの画素値の最大値と最小値の中間値とする）を設定し、各画素の画素値が当該閾値ＴＨ１（２値化用閾値ＴＨ１という）以上であるか未満であるかによって２値化を行う。例えば、２値化用閾値ＴＨ１以上の画素値を有する画素には‘１’を与え、２値化用閾値ＴＨ１未満の画素値を有する画素には‘０’を与えるものとする。
【００６６】
次に、２値化された撮像画像データのうち、‘１’が連続する領域において所定値以上の画素値（２値化前の撮像画像データから取得することができる）を有する領域を各領域ごとにラベリングし（ステップＳ２）、ラベリング結果から第１光変調部１１１と第２光変調部１２１のそれぞれの撮像装置系の座標を算出する（ステップＳ３３）。なお、撮像装置系の座標を算出する際は、ラベリングされた領域の中で最大の画素値（２値化前の撮像画像データから取得することができる）を有する画素の位置を当該特徴点の座標とする。なお、ラベリングされた２値化画像の重心を当該特徴点の座標とすることもできる。
【００６７】
図５は実施形態１に係る画像補正装置の処理手順を説明するフローチャートである。図５に示すように、まず、各特徴点における第１および第２画像生成ユニットの画素ずれ量を各特徴点ごとに算出する（ステップＳ１１）。
【００６８】
第１および第２画像生成ユニットの各特徴点ごとの画素ずれ量が算出されると、算出された画素ずれ量に応じた平滑化フィルタを取得して（ステップＳ１２）、取得した平滑化フィルタを画像データに適用する(ステップＳ１３)。
【００６９】
なお、ステップＳ１２における「算出された画素ずれ量に応じた平滑化フィルタを取得
」という処理は、画素ずれ量が算出された時点で、当該算出された画素ずれ量に応じた平滑化フィルタを作成する処理であってもよく、また、算出された画素ずれ量に応じた平滑化フィルタを予め複数用意しておき、用意された複数の平滑化フィルタの中からそのとき算出された画素ずれ量に適応した平滑化フィルタを選択するようにしてもよい。
【００７０】
図６は画素ずれ量に応じた平滑化フィルタの一例を示す図である。なお、平滑化フィルタとしては平均化フィルタを用いた場合を示している。ただし、以降の説明および図面においても平滑化フィルタと表記する。
【００７１】
図６（ａ）は、画素ずれ量が大きいと判定された特徴点に対する平滑化フィルタの例を示すものであり、図６（ｂ）は、画素ずれ量が小さいと判定された特徴点に対する平滑化フィルタの例を示すものである。また、図６（ｃ）は画素ずれ量が小さいと判定された特徴点に対して用いる平滑化フィルタ（図６（ｂ）参照）の周波数特性を示すものであり、この周波数特性は、図１２の実線で示すＭＴＦの低下が大きい場合の周波数特性と同じものである。
【００７２】
なお、画素ずれ量が大きいか小さいかは、算出された画素ずれ量に閾値ＴＨ２（画素ずれ量判定用閾値ＴＨ２という）を設定し、設定された画素ずれ量判定用閾値ＴＨ２との比較によって行う。すなわち、画素ずれ量が画素ずれ量判定用閾値ＴＨ２未満であれば、画素ずれ量は小さいとして、図６（ｂ）に示す平滑化フィルタを用い、画素ずれ量が画素ずれ量判定用閾値ＴＨ２以上であれば、画素ずれ量は大きいとして、図６（ａ）に示すような平滑化フィルタを用いる。図６（ａ）に示す平滑化フィルタは画素値に影響を与えないフィルタである。
【００７３】
このように、実施形態１に係るプロジェクションシステムにおいては、画素ずれが大きい領域（鮮鋭性の低い領域）に対しては、画素値をそのままとし、画素ずれが小さい領域（鮮鋭性の高い領域）に対しては、図６（ｂ）に示すような平滑化フィルタ（周波数特性は図６（ｃ）参照）を画像データに適用する。これにより、スクリーンＳＣＲ上の表示画像は、鮮鋭性の低い領域の鮮鋭性に合わせられた画像となり、表示画像に鮮鋭性の高い領域と鮮鋭性の低い領域とが混在するのを防止することができ、それによって、表示画像の鮮鋭性のむらを抑制することができる。
【００７４】
なお、画素ずれが小さい領域の鮮鋭性を鮮鋭性の低い領域の鮮鋭性に合わせるために、図６（ｂ）に示すような平滑化フィルタを適用しているが、画像の鮮鋭性の低下の度合いを抑制するために、平滑化フィルタの中央の重み係数を大きな値としている（図６（ｂ）参照）。
【００７５】
実施形態１に係るプロジェクションシステムにおいては、表示画像全体の鮮鋭性は、鮮鋭性の低い領域の鮮鋭性に合わせられることとなるが、前述したように、鮮鋭性の高い領域と低い領域とが混在した画像よりも、表示画像全体の鮮鋭性が多少低くても、表示画像全体に鮮鋭性のむらの少ない画像の方が見た目に好ましい画像となることが知られている。したがって、図６（ｂ）に示すような平滑化フィルタを画像データに適用することにより、表示画像全体に鮮鋭性のむらの少ない画像とすることができる。
【００７６】
なお、平滑化フィルタは、画素ずれ量に応じた複数の平滑化フィルタを用意しておき、算出された画素ずれ量に応じて最適な平滑化フィルタを選択するようにしてもよい。
【００７７】
［実施形態２］
前述の実施形態１に係るプロジェクションシステムは、１台のプロジェクタに２つの画像生成ユニットを有するプロジェクションシステム（第１のプロジェクションシステム）
であったが、２台のプロジェクタ（プロジェクタＰＪ１，ＰＪ２とする）を用いたプロジェクションシステム（第２のプロジェクションシステム）においても同様に実施可能である。
【００７８】
図７は実施形態２に係るプロジェクションシステムの構成を示す図である。実施形態２に係るプロジェクションシステムは、図７に示すように、２台のプロジェクタＰＪ１，ＰＪ２から投射されたそれぞれの画像をスクリーンＳＣＲ上で重ねて表示するものである。
【００７９】
図８は実施形態２に係るプロジェクションシステムに用いられるプロジェクタＰＪ１，ＰＪ２および画像補正装置３３０の構成を示す図である。なお、図８において、図２と同じ構成要素には同一符号が付されている。また、図８においては、撮像装置２００はプロジェクタとは別に用意された撮像装置を用いた場合を例示しているが、プロジェクタＰＪ１，ＰＪ２が撮像装置を有している場合には、実施形態１に係るプロジェクションシステムと同様、プロジェクタが有する撮像装置（この場合、プロジェクタＰＪ１，ＰＪ２のいずれかが有する撮像装置）を用いてもよい。
【００８０】
プロジェクタＰＪ１，ＰＪ２は、図８に示すように、それぞれが画像生成ユニット（プロジェクタＰＪ１側に設けられる画像生成ユニットを第１画像生成ユニット１１０とし、プロジェクタＰＪ２側に設けられる画像生成ユニットを第２画像生成ユニット１２０とする）を有している。そして、第１画像生成ユニット１１０は第１光変調部１１１を有し、第２画像生成ユニット１２０は第２光変調部１２１を有している。
【００８１】
これら第１画像生成ユニット１１０と第２画像生成ユニット１２０は、実施形態１に係るプロジェクションシステム同様、第１画像生成ユニット１１０の第１光変調部１１１が有する各光変調素子と、第２画像生成ユニット１２０の第２光変調部１２１が有する各光変調素子は、それぞれ対応する画素が、斜め方向に所定量（例えば１／２画素）だけずれるように設定された状態を理想的画像位置としている。
【００８２】
また、画像補正装置３３０は、この場合、プロジェクタＰＪ１，ＰＪ２とは別の構成として設けられている例が示されている。すなわち、画像補正装置３３０は、パーソナルコンピュータなどの情報処理装置５００に組み込まれ、情報処理装置５００において、画像データに対する画像補正（鮮鋭性の均一化処理など）を行って、画像補正された画像データをプロジェクタＰＪ１，ＰＪ２に与えるような構成としている。
【００８３】
このようなプロジェクションシステムにおいても、実施形態１に係るプロジェクションシステムと同様の鮮鋭性の均一化処理を行うことができるので、その説明は省略する。なお、画像補正装置３３０は、いずれか一方のプロジェクタに組み込んで、当該プロジェクタにおいて画像補正を行い、画像補正された画像データを他方のプロジェクタに配信するような構成とすることも可能である。
【００８４】
［実施形態３］
前述の各実施形態においては、各特徴点ごとに画素ずれ量の算出を行い、各特徴点ごとに算出された画素ずれ量の大きさに基づいて平滑化フィルタを取得するようにしたが、各特徴点のうちの幾つかの特徴点を注目特徴点として選択し、注目特徴点のみにおいて画素ずれ量を算出して、注目特徴点における画素ずれ量に応じたフィルタを取得し、取得されたフィルタを用いて他の特徴点におけるフィルタを作成するということも可能である。実施形態３においては、注目特徴点を４箇所とした場合を例にとって説明する。
【００８５】
図９は実施形態３に係る画像補正装置の処理手順を説明するフローチャートである。図９に示すように、まず、第１画像生成ユニット１１０と第２画像生成ユニット１２０の光
変調素子のそれぞれ対応する４箇所の選択特徴点を画素ずれ算出位置として設定し、４箇所の注目特徴点における画素ずれ量を算出する（ステップＳ２１）。この４箇所の注目特徴点は、それぞれの光変調素子の４隅に対応する位置であるとする。また、画素ずれ量の算出の仕方は、前述の実施形態１に係るプロジェクションシステムと同様に行うことができる。
【００８６】
そして、第１画像生成ユニット１１０と第２画像生成ユニット１２０のそれぞれ４箇所の注目特徴点における画素ずれ量が算出されると、算出された注目特徴点における画素ずれ量に応じた平滑化フィルタを取得する（ステップＳ２２）。続いて、注目特徴点における画素ずれ量に応じて取得された平滑化フィルタに基づいて、他の特徴点の平滑化フィルタを作成する(ステップＳ２３)。ステップＳ２２によって取得された平滑化フィルタおよびステップＳ２３によって作成された平滑化フィルタを画像データに適用する（ステップＳ２４）。
【００８７】
図１０は４箇所の注目特徴点において算出された平滑化フィルタに基づいて他の特徴点における平滑化フィルタの作成処理について説明する図である。図１０において、符号Ｐ１，Ｐ２，Ｐ３，Ｐ４は、４箇所の注目特徴点である。また、これら４箇所の注目特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４において作成された平滑化フィルタを平滑化フィルタＦ１，Ｆ２，Ｆ３，Ｆ４とする。これらの平滑化フィルタＦ１，Ｆ２，Ｆ３，Ｆ４は、注目特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４における画素ずれ量に応じた重み係数（例えば、図６（ａ），（ｂ）参照）を有している。
【００８８】
このような平滑化フィルタＦ１，Ｆ２，Ｆ３，Ｆ４に基づいて他の特徴点の平滑化フィルタを生成する。他の特徴点の平滑化フィルタは、平滑化フィルタＦ１，Ｆ２，Ｆ３，Ｆ４に対する相対位置による比率から算出する。
【００８９】
例えば、図１０における特徴点Ｐの平滑化フィルタ（平滑化フィルタＦとする）を生成する場合は、注目特徴点Ｐ１を原点としたときの特徴点Ｐの座標を（ｘ，ｙ）、光変調素子の横方向の画素数をＷ、縦方向の画素数をＨとしたとき、特徴点Ｐにおける平滑化フィルタＦの重み係数は、
【数１】
2010101996.tif 000003
・・・（１）
によって算出することができる。なお、（１）式において、Ｆ１，Ｆ２，Ｆ３，Ｆ４は、各平滑化フィルタＦ１，Ｆ２，Ｆ３，Ｆ４のフィルタ領域内のある位置［ｉ，ｊ］における重み係数である。この（１）式によって、注目特徴点以外の任意の特徴点における平滑化フィルタの重み係数を算出することができる。
【００９０】
実施形態３において説明した画像補正処理は、各特徴点における画素ずれ量の大きさは基本的には線形に変化していることを考慮してなされたものである。すなわち、第１および第２画像生成ユニットの画素ずれは、主には調整誤差などにより生じるものであって、各特徴点における画素ずれ量の大きさは基本的には線形に変化するものであり、画素ずれ量の変化が線形であれば、各特徴点において用いる平滑化フィルタも線形な重み係数を有するものとすればよいという観点からなされたものである。
【００９１】
実施形態３において説明した画像補正処理を採用することにより、画素ずれ量の算出は、４箇所の注目特徴点のみで済むため、画素ずれ量算出のための演算を軽減することがで
きる。また、すべての特徴点において算出された画素ずれ量と画素ずれ量判定用閾値ＴＨ２とを比較して、その比較結果に基づいてフィルタを取得するといった処理も不要となる。このため、実施形態３に示す画像補正処理を採用することにより、プロジェクションシステムにおける全体の画像補正処理（例えば、図５におけるステップＳ１１〜Ｓ１３）の処理量を軽減することができる。
【００９２】
なお、実施形態３においては、注目特徴点を光変調素子の４隅の４箇所としたが、これに限られるものではなく、より多くの特徴点を注目特徴点として設定し、設定された各注目特徴点において算出された画素ずれ量に基づいて平滑化フィルタを取得し、取得された平滑化フィルタに基づいて、他の特徴点における平滑化フィルタを作成するというようにしてもよい。このようにすることによって、実際の画素ずれの状態に、より適応した平滑化フィルタを生成することができる。
【００９３】
なお、本発明は前述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で下記（１）〜（６）に示す変形実施も可能となるものである。
【００９４】
（１）第１画像生成ユニット１１０の光変調素子と第２画像生成ユニット１２０の光変調素子のそれぞれ対応する画素を、斜め方向に所定量（例えば１／２画素）だけずれるように設定された状態を理想的画像位置としたが、これに限られるものではなく、例えば、画像をより高輝度化とするために、第１画像生成ユニット１１０の光変調素子と第２画像生成ユニット１２０の光変調素子のそれぞれ対応する画素を一致させた状態を理想的画素位置とした場合にも本発明を適用することができる。
【００９５】
（２）画素ずれ量を算出するためのテスト画像として格子模様の画像を例示したが、これに限られるものではなく、例えば、離散的に配置された丸や四角などのマークで構成される画像などであってもよい。
【００９６】
（３）各実施形態では、平滑化フィルタとして平均化フィルタを用いた例について説明したが、メディアンフィルタを用いてもよい。
【００９７】
（４）画素ずれ量は、それぞれ対応する画素間の距離ではなく、モアレを利用した画素ずれ検出などを利用して算出することも可能である。
【００９８】
（５）前述の各実施形態では、画素ずれの小さい領域（鮮鋭性の高い領域）の鮮鋭性を画素ずれ量の大きい領域（鮮鋭性の低い領域）に合わせるようにしたが、逆に、画素ずれ量の小さい領域（鮮鋭性の高い領域）に合わせるような処理を行うことも可能である。
【００９９】
（６）光変調素子は液晶を用いた光変調素子（液晶パネル）に限られるものではなく、デジタルミラーデバイスを用いた光変調素子であってもよい。
【図面の簡単な説明】
【０１００】
【図１】実施形態１に係るプロジェクションシステムの外観構成を示す図。
【図２】実施形態１に係るプロジェクションシステムに用いられるプロジェクタの構成を示す図。
【図３】画像補正装置３３０の構成を示す図。
【図４】撮像画像データに基づいて座標（撮像装置系の座標）を算出する処理を説明するフローチャート。
【図５】実施形態１に係る画像補正装置の処理手順を説明するフローチャート。
【図６】画素ずれ量に応じた平滑化フィルタの一例を示す図。
【図７】実施形態２に係るプロジェクションシステムの構成を示す図。
【図８】実施形態２に係るプロジェクションシステムに用いられるプロジェクタＰＪ１，ＰＪ２および画像補正装置の構成を示す図。
【図９】実施形態３に係る画像補正装置の処理手順を説明するフローチャート。
【図１０】４箇所の注目特徴点において算出された平滑化フィルタに基づいて他の特徴点における平滑化フィルタの作成処理について説明する図。
【図１１】第１画像生成ユニットおよび第２画像生成ユニットのそれぞれ対応する画素の位置を説明する図。
【図１２】画像のある位置におけるＭＴＦを示す図。
【符号の説明】
【０１０１】
１００・・・画像投射部、１１０・・・第１画像生成ユニット、１１１・・・第１光変調部、１２１・・・第２光変調部、１２０・・・第２画像生成ユニット、２００・・・撮像装置、３３０・・・画像補正装置、３３１・・・画素ずれ量算出部、３３２・・・平滑化フィルタ取得部、３３３・・・フィルタ適用部、ＰＪ，ＰＪ１，ＰＪ２・・・プロジェクタ、ＳＣＲ・・・スクリーン
【図１】
2010101996.tif 000004
【図２】
2010101996.tif 000005
【図３】
2010101996.tif 000006
【図４】
2010101996.tif 000007
【図５】
2010101996.tif 000008
【図６】
2010101996.tif 000009
【図７】
2010101996.tif 000010
【図８】
2010101996.tif 000011
【図９】
2010101996.tif 000012
【図１０】
2010101996.tif 000013
【図１１】
2010101996.tif 000014
【図１２】
2010101996.tif 000015