(57)【要約】【課題】外光に邪魔された環境下や、真っ白でない被投射体に投影した場合であっても、投影像の台形歪みを好適に自動補正する。【解決手段】カメラ部１０４は、投影部１０１の照射位置と異なる位置に配設され、投影部１０１の照射範囲を極力包含するように光軸が設定される。投影部１０１から特定のテスト・パターンを照射し、カメラ部１０４で撮影する。補正量検出部１０５は、撮影画像から、被投射体までの距離と方向を求め、射影変換パラメーターを計算して、画像処理部１０２に出力する。以降、すべての入力画像を射影変換パラメーターで射影変換して、台形歪み補正された画像が照射される。【選択図】  図１
2013168922.tif 000002
【特許請求の範囲】
【請求項１】
画像を被投射体に投影する投影部と、
前記投影部の照射位置と異なる位置に設置され、前記被投射体に投影された画像を撮影するカメラ部と、
前記投影部から前記被投射体にテスト・パターンを投影したときに前記カメラ部で撮影したテスト画像から背景を除去して、背景除去後の前記テスト画像中の前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算する補正量検出部と、
前記補正パラメーターに基づいて前記投影部から投影する画像を補正する画像補正部と、
を具備する投影型画像表示装置。
【請求項２】
前記補正量検出部は、背景除去後の前記テスト画像から前記テスト・パターンの複数の特徴点の座標を算出し、前記被写体の投影画像に含まれる歪みを補正するための射影変換パラメーターを前記複数の特徴点の座標から算出し、
前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換する、
請求項１に記載の投影型画像表示装置。
【請求項３】
前記カメラ部は、前記投影部からテスト・パターンを照射しないときに第１のテスト画像を撮影するとともに、前記投影部からテスト・パターンを照射しているときに第２のテスト画像を撮影し、
前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像の差を作って、前記第２のテスト画像から背景の情報を除去して、前記テスト・パターンを含んだ背景除去後の前記テスト画像を得る、
請求項１に記載の投影型画像表示装置。
【請求項４】
前記カメラ部は、前記投影部から第１のテスト・パターンを照射しているときに第１のテスト画像を撮影するとともに、前記投影部から第２のテスト・パターンを照射しているときに第２のテスト画像を撮影し、
前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像の差を作って、前記第１のテスト画像及び前記第２のテスト画像から背景の情報を除去して、前記第１のテスト・パターンと前記第２のテスト・パターンを合成したテスト・パターンを含んだ背景除去後の前記テスト画像を得る、
請求項１に記載の投影型画像表示装置。
【請求項５】
前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像間で輝度調整を行なった後に、背景の情報の除去処理を行なう、
請求項３又は４のいずれかに記載の投影型画像表示装置。
【請求項６】
前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像のうち一方を基準とした平均輝度の比率を他方の画像の画素値に掛けて、前記輝度調整処理を行なう、
請求項５に記載の投影型画像表示装置。
【請求項７】
前記補正量検出部は、前記第１のテスト画像及び前記第２のテスト画像をそれぞれ水平及び垂直方向に分割した領域毎に前記輝度調整処理を行なう、
請求項６に記載の投影型画像表示装置。
【請求項８】
前記補正量検出部は、背景除去後の前記テスト画像のうちテスト・パターンを含む領域について輝度を正規化する、
請求項１に記載の投影型画像表示装置。
【請求項９】
前記補正量検出部は、前記テスト画像のうち画素値の分散値が所定の閾値以上となる領域のみ輝度を正規化する、
請求項８に記載の投影型画像表示装置。
【請求項１０】
複数本の縦線と複数本の横線を含むメッシュ状のテスト・パターンを使用し、
前記補正量検出部は、背景除去後の前記テスト画像に含まれる縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標に基づいて、歪みを補正するための射影変換パラメーターを計算し、
前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換する、
請求項３に記載の投影型画像表示装置。
【請求項１１】
前記テスト・パターンは、前記テスト・パターンの輪郭となる矩形の対角線に相当する２本のスリットをさらに含む、
請求項１０に記載の投影型画像表示装置。
【請求項１２】
前記補正量検出部は、背景除去後の前記テスト画像から検出できた特徴点の座標に基づいて、前記投影部から前記被投射体に投影できる最大画像サイズを推定する、
請求項１０に記載の投影型画像表示装置。
【請求項１３】
複数本の縦線を含む第１のテスト・パターンと複数本の横線を含む第２のテスト・パターンを使用し、
前記補正量検出部は、背景除去後の前記テスト画像に含まれる縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標に基づいて、歪みを補正するための射影変換パラメーターを計算し、
前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換する、
請求項４に記載の投影型画像表示装置。
【請求項１４】
前記補正量検出部は、背景除去後の前記テスト画像から検出できた特徴点の座標に基づいて、前記投影部から前記被投射体に投影できる最大画像サイズを推定する、
請求項１３に記載の投影型画像表示装置。
【請求項１５】
前記補正量検出部は、背景の情報を除去した後のテスト画像に対してさらに自己相関によるノイズ・リダクション処理を行なってから、前記テスト画像中の前記テスト・パターンに関する各特徴点の座標の情報を検出して、前記各特徴点の座標の情報に基づいて補正パラメーターを計算する、
請求項１に記載の投影型画像表示装置。
【請求項１６】
前記補正量検出部は、複数本の縦線又は複数本の横線のテスト・パターンを含む前記テスト画像を縦方向又は横方向に角度サーチしてノイズ・リダクション処理を行なってから、縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標を算出し、前記各交点の座標の情報に基づいて歪みを補正するための射影変換パラメーターを計算する、
請求項１５に記載の投影型画像表示装置。
【請求項１７】
前記補正量検出部は、前記テスト画像に含まれる縦線又は横線の各テスト・パターンを２次曲線として検出する、
請求項１６に記載の投影型画像表示装置。
【請求項１８】
前記補正量検出部は、直前に角度サーチを行なった隣の線分の結果を中心にして角度サーチする、
請求項１６に記載の投影型画像表示装置。
【請求項１９】
被投射体にテスト・パターンを投射するステップと、
被投射体に投影されたテスト・パターンを撮影してテスト画像を取得するステップと、
前記テスト画像から背景を除去するステップと、
背景を除去した後のテスト画像に含まれる前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算するステップと、
前記補正パラメーターに基づいて投影画像を補正するステップと、
を有する画像投影方法。
【請求項２０】
被投射体にテスト・パターンを投射する手順と、
被投射体に投影されたテスト・パターンを撮影してテスト画像を取得する手順と、
前記テスト画像から背景を除去する手順と、
背景を除去した後のテスト画像に含まれる前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算する手順と、
前記補正パラメーターに基づいて投影画像を補正する手順と、
をコンピューターに実行させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、メディアの再生映像やコンピューター画面などをスクリーンに投影表示する投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラムに係り、特に、スクリーンに投影された画像の台形歪みや光学歪みを自動補正する投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
最近、テレビの受信映像やブルーレイなどメディアから再生した映像、パーソナル・コンピューター（ＰＣ）画面などを、投影型画像表示装置を用いて大画面スクリーンに投影して、複数人で観賞したりプレゼンテーションを行なったりする機会が増えてきている。また、手のひらに乗せて使用したり携帯機器経に搭載したりすることを意図した、小型の投影型画像表示装置（ピコ・プロジェクター）も出現している。
【０００３】
画像をスクリーンに投影する際、被投射体（スクリーン壁面など）に対し斜めから投影したために映像が台形に歪んでしまう問題がある。台形歪みの自動補正機能は、スクリーンへテスト・パターンを投影し、スクリーン上に投影されたテスト・パターンの画像を内蔵カメラで撮像し、得られたスクリーンの４隅の位置とテスト・パターンの４隅の位置に基づいてスクリーンの３次元情報を得て、台形歪みを補正するものが一般的である（例えば、特許文献１を参照のこと）。スクリーンに投影された画像が垂直方向に台形に歪んでいる場合には、画像表示装置上の表示画像を、スクリーン上の投影画像の台形歪みと逆方向に故意に歪ませることによって、スクリーン上の投影画像がきれいな四角形となるようにすることができる。
【０００４】
ところが、スクリーンに投影したテスト・パターンを利用して台形歪みを正確に補正するには、テスト・パターンのより鮮明な投影像をカメラで捕捉する必要がある。このため、暗い部屋や真っ白なスクリーン上でなければ正しく台形歪みを補正できない、自然光などの外光に邪魔されて誤動作してしまう、という問題がある。すなわち、投影型画像表示装置を使用できる環境が制約されてしまう。例えば、ピコ・プロジェクターは、小型でどこにでも持ち運ぶことができるが、使用場所が限定されると、魅力が失われてしまう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１３８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本明細書で開示する技術の目的は、スクリーンに投影したテスト・パターンを利用して、投影画像に生じる台形歪みを始めとする各種歪みを好適に自動補正することができる、優れた投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラムを提供することにある。
【０００７】
本明細書で開示する技術のさらなる目的は、外光に邪魔された環境下や、真っ白でない被投射体に投影した場合であっても、投影像の台形歪みを好適に自動補正することができる、優れた投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
画像を被投射体に投影する投影部と、
前記投影部の照射位置と異なる位置に設置され、前記被投射体に投影された画像を撮影するカメラ部と、
前記投影部から前記被投射体にテスト・パターンを投影したときに前記カメラ部で撮影したテスト画像から背景を除去して、背景除去後の前記テスト画像中の前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算する補正量検出部と、
前記補正パラメーターに基づいて前記投影部から投影する画像を補正する画像補正部と、
を具備する投影型画像表示装置である。
【０００９】
本願の請求項２に記載の技術によれば、請求項１に記載の投影型画像表示装置の前記補正量検出部は、背景除去後の前記テスト画像から前記テスト・パターンの複数の特徴点の座標を算出し、前記被写体の投影画像に含まれる歪みを補正するための射影変換パラメーターを前記複数の特徴点の座標から算出し、前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換するように構成されている。
【００１０】
本願の請求項３に記載の技術によれば、請求項１に記載の投影型画像表示装置の前記カメラ部は、前記投影部からテスト・パターンを照射しないときに第１のテスト画像を撮影するとともに、前記投影部からテスト・パターンを照射しているときに第２のテスト画像を撮影し、前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像の差を作って、前記第２のテスト画像から背景の情報を除去して、前記テスト・パターンを含んだ背景除去後の前記テスト画像を得るように構成されている。
【００１１】
本願の請求項４に記載の技術によれば、請求項１に記載の投影型画像表示装置の前記カメラ部は、前記投影部から第１のテスト・パターンを照射しているときに第１のテスト画像を撮影するとともに、前記投影部から第２のテスト・パターンを照射しているときに第２のテスト画像を撮影し、前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像の差を作って、前記第１のテスト画像及び前記第２のテスト画像から背景の情報を除去して、前記第１のテスト・パターンと前記第２のテスト・パターンを合成したテスト・パターンを含んだ背景除去後の前記テスト画像を得るように構成されている。
【００１２】
本願の請求項５に記載の技術によれば、請求項３又は４のいずれかに記載の投影型画像表示装置の前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像間で輝度調整を行なった後に、背景の情報の除去処理を行なうように構成されている。
【００１３】
本願の請求項６に記載の技術によれば、請求項５に記載の投影型画像表示装置の前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像のうち一方を基準とした平均輝度の比率を他方の画像の画素値に掛けて、前記輝度調整処理を行なうように構成されている。
【００１４】
本願の請求項７に記載の技術によれば、請求項６に記載の投影型画像表示装置の前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像のうち一方を基準とした平均輝度の比率を他方の画像の画素値に掛けて、前記輝度調整処理を行なうように構成されている。
【００１５】
本願の請求項８に記載の技術によれば、請求項１に記載の投影型画像表示装置の前記補正量検出部は、背景除去後の前記テスト画像のうちテスト・パターンを含む領域について輝度を正規化するように構成されている。
【００１６】
本願の請求項９に記載の技術によれば、請求項８に記載の投影型画像表示装置の前記補正量検出部は、前記テスト画像のうち画素値の分散値が所定の閾値以上となる領域のみ輝度を正規化するように構成されている。
【００１７】
本願の請求項１０に記載の技術によれば、請求項３に記載の投影型画像表示装置は、複数本の縦線と複数本の横線を含むメッシュ状のテスト・パターンを使用する。そして、前記補正量検出部は、背景除去後の前記テスト画像に含まれる縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標に基づいて、歪みを補正するための射影変換パラメーターを計算し、前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換するように構成されている。
【００１８】
本願の請求項１１に記載の技術によれば、請求項１０に記載の投影型画像表示装置が使用する前記テスト・パターンは、前記テスト・パターンの輪郭となる矩形の対角線に相当する２本のスリットをさらに含んでいる。
【００１９】
本願の請求項１２に記載の技術によれば、請求項１０に記載の投影型画像表示装置の前記補正量検出部は、背景除去後の前記テスト画像から検出できた特徴点の座標に基づいて、前記投影部から前記被投射体に投影できる最大画像サイズを推定するように構成されている。
【００２０】
本願の請求項１３に記載の技術によれば、請求項４に記載の投影型画像表示装置は、複数本の縦線を含む第１のテスト・パターンと複数本の横線を含む第２のテスト・パターンを使用している。そして、前記補正量検出部は、背景除去後の前記テスト画像に含まれる縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標に基づいて、歪みを補正するための射影変換パラメーターを計算し、前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換するように構成されている。
【００２１】
本願の請求項１４に記載の技術によれば、請求項１３に記載の投影型画像表示装置の前記補正量検出部は、背景除去後の前記テスト画像から検出できた特徴点の座標に基づいて、前記投影部から前記被投射体に投影できる最大画像サイズを推定するように構成されている。
【００２２】
本願の請求項１５に記載の技術によれば、請求項１に記載の投影型画像表示装置の前記補正量検出部は、背景の情報を除去した後のテスト画像に対してさらに自己相関によるノイズ・リダクション処理を行なってから、前記テスト画像中の前記テスト・パターンに関する各特徴点の座標の情報を検出して、前記各特徴点の座標の情報に基づいて補正パラメーターを計算するように構成されている。
【００２３】
本願の請求項１６に記載の技術によれば、請求項１５に記載の投影型画像表示装置の前記補正量検出部は、複数本の縦線又は複数本の横線のテスト・パターンを含む前記テスト画像を縦方向又は横方向に角度サーチしてノイズ・リダクション処理を行なってから、縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標を算出し、前記各交点の座標の情報に基づいて歪みを補正するための射影変換パラメーターを計算するように構成されている。
【００２４】
本願の請求項１７に記載の技術によれば、請求項１６に記載の投影型画像表示装置の前記補正量検出部は、前記テスト画像に含まれる縦線又は横線の各テスト・パターンを２次曲線として検出するように構成されている。
【００２５】
本願の請求項１８に記載の技術によれば、請求項１６に記載の投影型画像表示装置の前記補正量検出部は、直前に角度サーチを行なった隣の線分の結果を中心にして角度サーチするように構成されている。
【００２６】
また、本願の請求項１９に記載の技術は、
被投射体にテスト・パターンを投射するステップと、
被投射体に投影されたテスト・パターンを撮影してテスト画像を取得するステップと、
前記テスト画像から背景を除去するステップと、
背景を除去した後のテスト画像に含まれる前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算するステップと、
前記補正パラメーターに基づいて投影画像を補正するステップと、
を有する画像投影方法である。
【００２７】
また、本願の請求項２０に記載の技術は、
被投射体にテスト・パターンを投射する手順と、
被投射体に投影されたテスト・パターンを撮影してテスト画像を取得する手順と、
前記テスト画像から背景を除去する手順と、
背景を除去した後のテスト画像に含まれる前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算する手順と、
前記補正パラメーターに基づいて投影画像を補正する手順と、
をコンピューターに実行させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２８】
本願の請求項２０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項２０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１９に係る画像投影方法と同様の作用効果を得ることができる。
【発明の効果】
【００２９】
本明細書で開示する技術によれば、スクリーンに投影したテスト・パターンを利用して、投影画像に生じる台形歪みを始めとする各種歪みを好適に自動補正することができる、優れた投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラムを提供することができる。
【００３０】
また、本明細書で開示する技術によれば、外光に邪魔された環境下や、真っ白でない被投射体に投影した場合であっても、投影像の台形歪みを好適に自動補正することができる、優れた投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラムを提供することができる。
【００３１】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３２】
【図１】図１は、本明細書で開示する技術の一実施形態に係る投影型画像表示装置１００の構成を模式的に示した図である。
【図２】図２は、投影部１０１の内部構成例を示した図である。
【図３】図３は、画像処理部１０２の内部構成例を示した図である。
【図４】図４は、補正量検出部１０５の内部構成例を示した図である。
【図５Ａ】図５Ａは、投影画像の歪みを補正する射影変換パラメーターを計算するために使用するテスト・パターンの一例を示した図である。
【図５Ｂ】図５Ｂは、投影画像の歪みを補正する射影変換パラメーターを計算するために使用するテスト・パターンの他の例を示した図である。
【図５Ｃ】図５Ｃは、投影画像の歪みを補正する射影変換パラメーターを計算するために使用するテスト・パターンのさらに他の例を示した図である。
【図５Ｄ】図５Ｄは、図５Ｃに示したテスト・パターンを用いて射影変換パラメーターを計算する処理を説明するための図である。
【図５Ｅ】図５Ｅは、投影画像の歪みを補正する射影変換パラメーターを計算するために使用する第１のテスト・パターンの他の例を示した図である。
【図５Ｆ】図５Ｆは、投影画像の歪みを補正する射影変換パラメーターを計算するために使用する第２のテスト・パターンの他の例を示した図である。
【図５Ｇ】図５Ｇは、図５Ｃに示したテスト・パターンの変形例を示した図である。
【図５Ｈ】図５Ｈは、図５Ｅに示した第１のテスト・パターンの変形例を示した図である。
【図５Ｉ】図５Ｉは、図５Ｆに示した第２のテスト・パターンの変形例を示した図である。
【図５Ｊ】図５Ｊは、図５Ｈに示した第１のテスト・パターンを照射して撮影した第１のテスト画像Ａの領域Ａｒｅａ（０，１）で平均輝度Ａ＿Ａｒｅａ（０，１）を求める様子を示した図である。
【図５Ｋ】図５Ｋは、図５Ｈに示した第２のテスト・パターンを照射して撮影した第１のテスト画像Ｂの領域Ａｒｅａ（０，１）で平均輝度Ｂ＿Ａｒｅａ（０，１）を求める様子を示した図である。
【図６】図６は、投影型画像表示装置１００において、被投射体への投影画像の台形歪みを補正するための処理手順を示したフローチャートである。
【図７Ａ】図７Ａは、２本の横縦線からなる第１のテスト・パターンを被投射体に照射したときに撮影した第１のテスト画像Ａを例示した図である。
【図７Ｂ】図７Ｂは、２本の縦横線からなる第２のテスト・パターンを被投射体に照射したときに撮影した第２のテスト画像Ｂを例示した図である。
【図８Ａ】図８Ａは、第１のテスト画像Ａから第２のテスト画像Ｂを引き算して得た背景除去画像Ｃを示した図である。
【図８Ｂ】図８Ｂは、第２のテスト画像Ｂから第１のテスト画像Ａを引き算して得た背景除去画像Ｄを示した図である。
【図９Ａ】図９Ａは、背景除去画像に対して角度サーチとノイズ・リダクションを行なう処理を説明するための図である。
【図９Ｂ】図９Ｂは、背景除去画像に対して角度サーチとノイズ・リダクションを行なう処理を説明するための図である。
【図９Ｃ】図９Ｃは、背景除去画像に対して角度サーチとノイズ・リダクションを行なう処理を説明するための図である。
【図９Ｄ】図９Ｄは、背景除去画像に対して角度サーチとノイズ・リダクションを行なう処理を説明するための図である。
【図１０Ａ】図１０Ａは、背景除去画像Ｃに対して自己相関による強力なノイズ・リダクション処理を行なって得られた背景除去画像Ｃ２を示した図である。
【図１０Ｂ】図１０Ｂは、背景除去画像Ｄに対して自己相関による強力なノイズ・リダクション処理を行なって得られた背景除去画像Ｄ２を示した図である。
【図１１Ａ】図１１Ａは、背景除去画像Ｃ２、Ｄ２に含まれる４本の線分を２次曲線として検出して、交点を求める処理を説明するための図である。
【図１１Ｂ】図１１Ｂは、背景除去画像Ｃ２、Ｄ２に含まれる４本の線分を２次曲線として検出して、交点を求める処理を説明するための図である。
【図１１Ｃ】図１１Ｃは、背景除去画像Ｃ２、Ｄ２に含まれる４本の線分を２次曲線として検出して、交点を求める処理を説明するための図である。
【図１２】図１２は、被写体への投影画像に糸巻き型歪みが生じた様子を例示した図である。
【図１３】図１３は、被写体への投影画像に樽型歪みが生じた様子を例示した図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３４】
図１には、本明細書で開示する技術の一実施形態に係る投影型画像表示装置１００の構成を模式的に示している。図示の投影型画像表示装置１００は、投影部１０１と、画像処理部１０２と、画像入力部１０３と、カメラ部１０４と、補正量検出部１０５を備えている。以下、各部について説明する。
【００３５】
画像入力部１０３は、パーソナル・コンピューターやＴＶ受像機、ブルーレイ・ディスク再生装置（いずれも図示しない）などの投影画像の供給源から画像信号を入力する。
【００３６】
画像処理部１０２は、投影部１０１から投影出力する画像の処理を行なう。画像処理部１０２から出力される画像は、画像入力部１０３から供給される外部画像と、画像処理部１０２内で生成するテスト・パターンである。画像処理部１０２内では、補正量検出部１０５から供給される補正パラメーターに基づいて、投射画像の歪み補正も行なう。補正の対象となる歪みは、投影部１０１と被投射体との３次元的な位置関係に基づく台形歪みの他、投影部１０１やカメラ部１０４の光学系に起因する光学歪みが含まれる。
【００３７】
投影部１０１は、画像処理部１０２から出力される画像を、スクリーン（図示しない）などの被投射体に投影する。投影部１０１から被写体（スクリーン壁面）に対し斜め方向から投影することにより、投影画像には台形歪みが発生する。
【００３８】
カメラ部１０４は、投影部１０１から被投射体に投影されたテスト・パターンを撮影する。補正量検出部１０５は、カメラ１０４で撮影したテスト・パターン像を用いて、投影部１０１からの投影画像に含まれる上記の台形歪みや光学歪みを補正するための補正量を計算して、画像処理部１０２に出力する。出力画像に対して射影変換を行なうことにより台形歪みや光学歪みを補正することができる。本実施形態では、補正量検出部１０５は、補正量として射影変換パラメーターを算出する。
【００３９】
本実施形態では、カメラ部１０４は、投影部１０１の照射位置と異なる位置に配設され、撮像範囲が投影部１０１の照射範囲を極力包含するように光軸が設定されている。投影部１０１から特定のテスト・パターンを照射すると、カメラ部１０４で撮影する。そして、補正量検出部１０５は、撮影画像から、被投射体までの距離と方向を求め、射影変換パラメーターを計算して、画像処理部１０２に出力する。以降、画像処理部１０２では画像入力部１０３から入力されるすべてに画像を射影変換パラメーターで射影変換し、投影部１０１からは台形歪みや光学歪みが補正された画像が照射される。
【００４０】
図２には、投影部１０１の内部構成例を示している。図示の投影部１０１は、液晶パネル２０１と、照明光学部２０２と、液晶パネル駆動部２０４と、投影光学部２０３を備えている。
【００４１】
液晶パネル駆動部２０４は、画像処理部１０２から入力される画像信号に基づいて液晶パネル２０１を駆動して、その表示画面に投影映像を描画する。照明光学部２０２は、液晶パネル２０１を背面から照射する。投影型画像表示装置１００がピコ・プロジェクターの場合、照明光学部２０２の光源には例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）やレーザーが用いられる。投影光学部２０３は、液晶パネル２０１を透過した光を、被投射体（図示しない）に拡大投影する。投影部１０１からは、画像入力部１０３への入力画像、又は、投影型画像表示装置１００内で発生したテスト・パターンが投影される。投影光学部２０３は、１枚又は２枚以上の光学レンズからなる。投影光学部２０３がレンズ歪みを持つことが想定され、このため、投影画像には台形歪みの他に光学歪みも生じる。
【００４２】
図３には、画像処理部１０２の内部構成例を示している。図示の画像処理部１０２は、画像書き込み読み出し制御部３０１と、フレーム・メモリー３０２と、画像補正部３０３と、画質調整部３０４と、テスト・パターン発生部３０５と、出力画像切り替え部３０５を備えている。
【００４３】
フレーム・メモリー３０２には、画像入力部１０３から供給される画像を記憶する。画像書き込み読み出し制御部３０１は、フレーム・メモリー３０２への画像フレームの書き込み及び読み出しを制御する。
【００４４】
画像補正部３０３は、補正量検出部１０５から受け取った射影変換パラメーターに基づいて、フレーム・メモリー３０２から読み出した画像に射影変換して、投影部１０１から被写体に投影した際に台形歪みが解消するよう、補正を行なう。
【００４５】
画質調整部３０４は、歪み補正を行なった後の投影画像が所望の表示状態となるよう、輝度、コントラスト、同期、トラッキング、色の濃さ、色合いなどの画質調整を行なう。
【００４６】
テスト・パターン発生部３０５は、補正量検出部１０５で射影変換パラメーターを計算する際に用いるテスト・パターンを発生する。テスト・パターンは、被投射体であるスクリーンの３次元情報を得易い幾何学形状を持つ。どのようなテスト・パターンを用いるかについては、後述に譲る。
【００４７】
出力画像切り替え部３０６は、投影部１０１に出力する画像の切り替えを行なう。例えば、パーソナル・コンピューターやＴＶ受像機、メディア再生装置（いずれも図示しない）などの画像供給源からの入力画像を被投射体に投影してプレゼンテーションなどを行なうときには、出力画像切り替え部３０６は、画質補正部３０４からの出力画像を投影部１０１に出力する。また、投影画像の台形歪みや光学歪みを補正するための射影変換パラメーターを計算するときには、出力画像切り替え部３０６は、テスト・パターン発生部３０５で発生したテスト・パターンを投影部１０１に出力する。
【００４８】
図４には、補正量検出部１０５の内部構成例を示している。図示の補正量検出部１０５は、撮影画像書き込み読み出し制御部４０１と、撮影画像メモリー４０２と、特徴点計算部４０３と、射影変換パラメーター計算部４０４を備えている。
【００４９】
撮影画像メモリー４０２は、カメラ部１０４の撮影画像を記憶する。本実施形態では、撮影画像メモリー４０２は、カメラ部１０４の撮影画像を少なくとも２フレーム分を記憶するだけのサイズを有している。
【００５０】
撮影画像書き込み読み出し制御部４０１は、撮影画像メモリー４０２への撮影画像の書き込み及び読み出しを制御する。
【００５１】
特徴点計算部４０３は、撮影画像メモリー４０２から読み出した撮影画像を使って、撮影画像に含まれるテスト・パターンの４隅などの特徴点の座標を求める。そして、射影変換パラメーター計算部４０４は、算出された特徴点の座標に基づいて、投影部１０１から被投射体までの距離と方向を求め、被投射体に投影される画像の台形歪みや光学歪みを補正するための射影変換パラメーターを計算する。
【００５２】
被投射体に投影したテスト・パターンを利用して台形歪みや光学歪みの補正量を計算するには、より鮮明なテスト・パターンの情報を抽出する必要がある。このため、暗い部屋や真っ白なスクリーン上でなければ、自然光などの外光に邪魔されて誤動作してしまうおそれがある。例えば投影型画像表示装置１００がピコ・プロジェクターの場合、どこにでも持ち運んで使用できるというメリットを得るには、外光が射す、柄のあるスクリーン上でもテスト・パターンの情報を正確に抽出しなければならない。これに対し、本実施形態では、カメラ部１０４の撮影画像からテスト・パターンの情報を抽出するときには、背景の情報を除去するようになっており、これによって、外光に邪魔された環境下や、真っ白でない被投射体に投影した場合でも、台形歪みや光学歪みの自動補正を実現している。
【００５３】
背景の情報を除去するために、本実施形態では、カメラ部１０４では２回の撮影を行なう。例えば背景を同じにしたままで、テスト・パターンを照射しないで撮影した第１のテスト画像と、テスト・パターンを照射して撮影した第２のテスト画像を撮影画像メモリー４０２に記憶する。あるいは、第１のテスト・パターンを照射したときに撮影した第１のテスト画像と、第１のテスト・パターンとは異なる第２のテスト・パターンを照射したときに撮影した第２のテスト画像を撮影画像メモリー４０２に記憶する。そして、特徴点計算部４０３は、撮影画像メモリー４０２から読み出した第１のテスト画像と第２のテスト画像の差を作って、背景の情報を除去し、第１のテスト・パターンと第２のテスト・パターンを合成したテスト・パターンの情報を鮮明にする。これによって、外光に邪魔された環境下や、真っ白でない（柄のある）被投射体にテスト・パターンを投影した場合であっても、テスト・パターンの４隅などの特徴点の座標を正確に計算して、誤動作なしに台形歪みや光学歪みを補正するための射影変換パラメーターを行なうことができるようになる。
【００５４】
ここで、特徴点計算部４０３がテスト・パターンの４隅などの特徴点の座標を取り出すためには、テスト・パターン発生部３０５が発生するテスト・パターンは、２本の横線と２本の縦線を含んでいることが好ましい。
【００５５】
例えば、図５Ａに示すように、投影部１０１の照射範囲のほぼ周縁に沿った矩形となるテスト・パターンを使用する場合、テスト・パターンを照射しないで第１のテスト画像を撮影するとともに、テスト・パターンを照射して第２のテスト画像を撮影し、第１のテスト画像と第２のテスト画像の差を作って、背景の情報を除去すれば、テスト・パターンの情報を鮮明にすることができる。
【００５６】
また、図５Ｂ左に示すように、投影部１０１の照射範囲の上下の各端縁に沿った２本の横線を含む第１のテスト・パターンと、図５Ｂ右に示すように、投影部１０１の照射範囲の左右の各端縁に沿った２本の縦線を含む第２のテスト・パターンを使用してもよい。この場合、第１のテスト・パターンを照射して第１のテスト画像を撮影するとともに、第２のテスト・パターンを照射して第２のテスト画像を撮影し、第１のテスト画像と第２のテスト画像の差を作って、背景の情報を除去すれば、同様に、投影部１０１の照射範囲のほぼ周縁に沿った矩形となるテスト・パターンを鮮明にすることができる。背景除去後のテスト画像には、第１のテスト・パターンと第２のテスト・パターンを合成した（すなわち、図５Ａに示したテスト・パターンと同様の）、矩形のテスト・パターンが含まれる。そして、射影変換パラメーター計算部４０４は、この矩形のテスト・パターンの４隅の特徴点の座標を求めると、この座標情報に基づいて、投影部１０１から被投射体までの距離と方向を求め、被投射体に投影される画像の台形歪みを補正するための射影変換パラメーターを計算することができる。
【００５７】
テスト・パターンを含んだ液晶パネル２０１の表示映像は、例えば６３０×３６０画素で、周縁部に配設される横線並びに縦線の線幅は例えば６画素である。
【００５８】
投影部１０１の照射範囲の４隅の点の座標だけを特徴点として抽出すれば、台形歪みを補正することができる。また、テスト・パターンから、投影部１０１の照射範囲の４隅の点の座標だけでなく、より多くの特徴点の座標を取り出すことができれば、投影画像全体の台形歪みだけでなく、局所的に発生する歪みなど、より詳細な歪み補正を行なうことができるようになる。したがって、テスト・パターン（若しくは第１のテスト・パターンと第２のテスト・パターンの組合せ）は、２本の横線と２本の縦線だけではなく、３本以上の横線と３本以上の縦線の組合せで構成してもよい。
【００５９】
例えば、図５Ｃに示すように３本以上の横線と３本以上の縦線の組合せで構成されるテスト・パターンを使用する場合、テスト・パターンを照射しないで第１のテスト画像を撮影するとともに、テスト・パターンを照射して第２のテスト画像を撮影し、第１のテスト画像と第２のテスト画像の差を作って、背景の情報を除去すれば、３本以上の横線と３本以上の縦線とが交差する、メッシュ状のテスト・パターンの情報を鮮明にすることができる。
【００６０】
また、図５Ｅに示すように、３本以上の横線からなる第１のテスト・パターンと、図５Ｆに示すように、３本以上の縦線からなる第２のテスト・パターンを使用してもよい。この場合、第１のテスト・パターンを照射して第１のテスト画像を撮影するとともに、第２のテスト・パターンを照射して第２のテスト画像を撮影し、第１のテスト画像と第２のテスト画像の差を作って、背景の情報を除去すれば、同様にテスト・パターンの情報を鮮明にすることができる。背景除去後のテスト画像には、第１のテスト・パターンと第２のテスト・パターンを合成した（すなわち、図５Ｃに示したテスト・パターンと同様の）、メッシュ状のテスト・パターンが含まれる。
【００６１】
ここで、投影部１０１の照射範囲よりも被投射体の面積が小さい（又は、平らな部分の面積が狭い）などの事情により、投影部１０１から投影されるテスト・パターンの一部が欠けてしまう場合がある。図５Ｄには、図５Ｃに示したメッシュ状のテスト・パターン（若しくは、図５Ｅと図５Ｆに示したテスト・パターンの組み合わせ）のうち、欠けている領域を点線で示している。このようにメッシュ状のテスト・パターン全体を射影変換パラメーターの計算に使用できないときには、特徴点計算部４０３は、被投射体に正常に投影されたテスト・パターンから取り出すことができる最大の長方形の４隅の座標を計算し、射影変換パラメーター計算部４０４は、この最大の長方形の４隅の座標を用いて射影変換パラメーターを計算すればよい。
【００６２】
特徴点計算部４０３は、図５Ｄ中、正常に投影されたテスト・パターンから取り出される最大の長方形（図中、斜線で描いた領域）の４隅（図中、Ｘで示す４つの交点）を算出する。そして、射影変換パラメーター計算部４０４は、この４隅の点を用いて台形歪み補正用の射影変換パラメーターの計算に使用するようにすればよい。
【００６３】
図５Ｇには、図５Ｃに示したテスト・パターンの変形例を示している。テスト・パターンを照射しないで第１のテスト画像を撮影するとともに、テスト・パターンを照射して第２のテスト画像を撮影し、第１のテスト画像と第２のテスト画像の差を作って、背景の情報を除去すれば、細かいメッシュ状のテスト・パターンの情報を鮮明にすることができる。また、図５Ｈには図５Ｅに示した第１のテスト・パターンの変形例を示し、図５Ｉには図５Ｆに示した第２のテスト・パターンの変形例を示している。この場合、第１のテスト・パターンを照射して第１のテスト画像を撮影するとともに、第２のテスト・パターンを照射して第２のテスト画像を撮影し、第１のテスト画像と第２のテスト画像の差を作って、背景の情報を除去すれば、同様にテスト・パターンの情報を鮮明にすることができる。背景除去後のテスト画像には、第１のテスト・パターンと第２のテスト・パターンを合成した（すなわち、図５Ｇに示したテスト・パターンと同様の）、メッシュ状のテスト・パターンが含まれる。
【００６４】
図５Ｇ〜図５Ｉに示すように、テスト・パターンをより細かいメッシュ状にすると、投影部１０１の照射範囲よりも被投射体の面積が小さい（又は、平らな部分の面積が狭い）などの事情により、投影部１０１から投影されるテスト・パターンの一部が欠けてしまう場合には、テスト・パターンから取り出すことができる最大の長方形を高精度に推定することができる。特徴点計算部４０３は、推定された最大の長方形の４隅の特徴点を用いて、射影変換パラメーターを計算すればよい。また、背景除去後のテスト画像から特徴点を検出していくことで、テスト・パターンのどこまでがスクリーンに照射されているかも容易に検知することができるので、スクリーンに照射できる最大画像サイズも推定可能となる。画像補正部３０３は、射影変換パラメーターを用いて投影画像の歪み補正を行なうとともに、最大画像サイズに合わせて投影画像のサイズ調整を行なうようにすればよい。
【００６５】
また、図５Ｇ〜図５Ｉに示すテスト・パターンはそれぞれ、テスト・パターンの輪郭となる矩形の対角線に相当する、メッシュ、又は、横線と縦線のテスト・パターンを分断する２本のスリットを含んでいる。スリットの交点はテスト・パターンのほぼ中央に相当する。したがって、スリットの交点を基準にして、スクリーンに照射されているテスト・パターンの最大範囲の位置（上下及び左右に何番目の交点までを検出できたか）を容易に求めることができる。
【００６６】
これまで説明してきたように、本実施形態では、第１のテスト画像と第２のテスト画像の差分をとって背景を除去し、より鮮明なテスト・パターンを得るようにしている。ところが、外光の影響や撮影の露出をユーザーが決めることができないシステム（カメラ部１０４を制御することができない、又は、カメラ部１０４がユーザーに解放されていない場合）においては、第１のテスト画像と第２のテスト画像間で輝度が大きく異なる場合がある。撮影したテスト画像間に輝度差があると、差分をとっても背景のみを高精度に除去することができない。
【００６７】
そこで、特徴点計算部４０３は、第１のテスト画像と第２のテスト画像間で輝度を合わせる調整を行なってから、差分をとり背景除去を行なうようにしている。例えば、どちらか一方のテスト画像を基準として、平均輝度の比率を他方のテスト画像の画素値に掛ける処理を行なう。また、撮影画像全体にわたって均一に輝度差が生じるのではなく、局所的に輝度差が生じることも考慮して、局所的に輝度調整を行なうようにする。
【００６８】
具体的には、各テスト画像をそれぞれ水平及び垂直方向に複数に分割した領域毎に平均輝度を求める。そして、各テスト画像の対応する領域同士で、一方を基準にした平均輝度の比率を算出し、他方の画素値に掛ける。
【００６９】
図５Ｊには、図５Ｈに示した第１のテスト・パターンを照射して撮影した第１のテスト画像Ａを水平及び垂直方向に複数に分割し、０行１列目の領域Ａｒｅａ（０，１）で平均輝度Ａ＿Ａｒｅａ（０，１）を求める様子を示している。同様に、図５Ｋには、図５Ｉに示した第２のテスト・パターンを照射して撮影した第２のテスト画像Ｂの０行１列目の領域Ａｒｅａ（０，１）で平均輝度Ｂ＿Ａｒｅａ（０，１）を求める様子を示している。
【００７０】
そして、第１のテスト画像Ａを基準にした平均輝度の比率Ｓｃａｌｅを下式（１）に従って算出すると、下式（２）に示すように、この平均比率Ｓｃａｌｅを第２のテスト画像Ｂの同領域Ａｒｅａ（０，１）内の各画素の画素値に掛けて、輝度調整後の第２のテスト画像Ｂ´を得る。
【００７１】
【数１】
2013168922.tif 000003
【００７２】
特徴点計算部４０３は、第１のテスト画像と第２のテスト画像の差分をとって背景を除去した後の画像に対して輝度の正規化を行なう。ところが、被投射体が明るい環境にある場合、カメラ部１０４で撮影できるテスト・パターンの輝度が低くなってしまう。これに合わせて背景除去画像の輝度を正規化すると、テスト・パターンに関係のない領域のノイズまで増幅してしまい、検出精度の劣化を招いてしまうという問題がある。そこで、背景除去画像を、テスト・パターンを含むテスト・パターン領域とそれ以外の領域を区別し、前者のテスト・パターンを含む領域のみ正規化を行なうようにして、ノイズの増幅を防ぐようにしている。
【００７３】
各領域がテスト・パターン領域か否かを判別する方法は任意である。例えば、テスト・パターンのエッジ部分では画素値が急激に変化し、画素値の分散が高くなることに着目して、分散値に基づいてテスト・パターン領域かどうかを判別するようにしてもよい。すなわち、特徴点計算部４０３は、領域毎の分散値を取得し、分散値が閾値以上であれば輝度の正規化を行なうが、分散値が閾値よりも小さい領域は正規化を行なわないようにする。
【００７４】
あるいは、テスト・パターンが照射された部分は高輝度であることに着目して、平均輝度に基づいてテスト・パターン領域かどうかを判別するようにしてもよい。すなわち、特徴点計算部４０３は、領域毎の平均輝度を取得し、平均輝度が閾値以上であれば輝度の正規化を行なうが、平均輝度が閾値よりも小さい領域は正規化を行なわないようにする。但し、平均輝度の閾値処理では、投影部１０１からのテスト・パターンの照射とカメラ部１０４のシャッターのタイミングが同期していないと、テスト・パターンの低輝度領域を誤判定する懸念があるという点に注意する必要がある。
【００７５】
また、特徴点計算部４０３では、背景除去後の画像から４隅の各点などの特徴点の座標を求めるために、交差する２本の線分を直線又は２次曲線として検出し（すなわち、線分の方程式を求め）、２本の線分の交点を計算して求める方法をとっている。
【００７６】
上述したようにテスト・パターン計算用の第１のテスト画像並びに第２のテスト画像から背景の情報を除去するようになっている。しかしながら、自然光などの外光の影響により、背景の状況を除去した後の画像も、依然としてテスト・パターンのコントラストが極めて低い画像であることが想定される。そこで、特徴点計算部４０３は、背景の情報を除去した画像に対して強力なノイズ・リダクション処理を行なうようにしている。例えば、背景の情報を除去した画像に対して、線分の自己相関による強力なノイズ・リダクション処理を行なう。すなわち、線分の方程式を求める際に、線分の傾斜角を検出し、その方向の複数の画素情報を平均化することによって、テスト・パターンを構成する線分とそれ以外のノイズ成分を分離することができる。
【００７７】
図６には、投影型画像表示装置１００において、被投射体への投影画像の歪みを補正するための処理手順をフローチャートの形式で示している。図示の処理手順は、以下の処理ステップからなる。
【００７８】
Ｓ６０１：テスト画像の照射
Ｓ６０２：テスト画像の撮影及び保存
Ｓ６０３：テスト・パターン中の複数の特徴点の座標を算出
Ｓ６０４：テスト・パターン中の複数の特徴点の座標から、被投射体の位置と方向を算出
Ｓ６０５：被投射体の位置と方向を基に射影変換パラメーターを算出
Ｓ６０６：射影変換して被投射体上の投影画像の台形歪みを補正
【００７９】
以下、各処理ステップについて詳解する。
【００８０】
まず、テスト・パターン発生部３０５で発生したテスト・パターンを含むテスト画像を、投影部１０１から被投射体に照射する（ステップＳ６０１）。そして、カメラ部１０４は、被投射体に投影されたテスト画像を撮影して、撮影画像メモリー４０２に記憶する（ステップＳ６０２）。
【００８１】
上述したように、本実施形態では、テスト画像から背景の情報を除去するために、ステップＳ６０１、Ｓ６０２では２回の撮影を行なう。以下の説明では、互いに異なる第１のテスト・パターンと第２のテスト・パターンをそれぞれ照射したときに撮影した第１のテスト画像と第２のテスト画像を撮影画像メモリー４０２に記憶するものとして説明する。
【００８２】
図７Ａには、照射範囲の左右の各端縁に沿った２本の横縦線からなる第１のテスト・パターンを投影部１０１から被投射体に照射したときにカメラ部１０４で撮影した第１のテスト画像Ａを例示している。また、図７Ｂには、照射範囲の上下の各端縁に沿った２本の縦横線からなる第２のテスト・パターンを投影部１０１から被投射体に照射したときにカメラ部１０４で撮影した第２のテスト画像Ｂを例示している。
【００８３】
次いで、特徴点計算部４０３が、撮影画像メモリー４０２から読み出した第１のテスト画像Ａ及び第２のテスト画像Ｂを使って、これらの撮影画像に含まれるテスト・パターンの特徴点として、投影された第１のテスト・パターンと第２のテスト・パターンを合成した矩形の４隅の座標を求める（ステップＳ６０３）。
【００８４】
ここで、特徴点計算部４０３は、第１のテスト画像Ａと第２のテスト画像Ｂの差を作って、背景の情報を除去し、テスト・パターンの情報を鮮明にする。また、第１のテスト画像Ａと第２のテスト画像Ｂ間で輝度を合わせる調整を行なってから（前述）、背景の情報の除去を行なうものとする。
【００８５】
図８Ａには、第１のテスト画像Ａから第２のテスト画像Ｂを引き算して得た背景除去画像Ｃを示している。この引き算処理では、画素単位で第１のテスト画像Ａから第２のテスト画像Ｂを引き算し、差が負になった画素では画素値を０にする。この結果、図８Ａに示すように、背景除去画像Ｃには、第１のテスト画像Ａから背景が消え去り、照射範囲の左右の各端縁に沿った２本の縦線からなる第１のテスト・パターンが残されている。
【００８６】
また、図８Ｂには、第２のテスト画像Ｂから第１のテスト画像Ａを引き算して得た背景除去画像Ｄを示している。この引き算処理では、画素単位で第２のテスト画像Ｂから第１のテスト画像Ａを引き算し、差が負になった画素では画素値を０にする。この結果、図８Ｂに示すように、背景除去画像Ｄには、第２のテスト画像Ｂから背景が消え去り、照射範囲の上下の各端縁に沿った２本の横線からなる第２のテスト・パターンが残されている。
【００８７】
但し、図８Ａ並びに図８Ｂは、特徴点計算部４０３が、背景除去画像Ｃ及びＤに含まれる４本の線分の領域毎に輝度の最大値を求め、輝度の正規化処理（前述）を行なった結果とする。
【００８８】
暗い雰囲気で照射されたテスト画像Ａ、Ｂを撮影した場合、鮮明な背景除去画像Ｃ、Ｄを得ることができる。しかしながら、自然光などの外光が少々でも照射された雰囲気でテスト画像Ａ、Ｂを撮影した場合、コントラストが低い背景除去画像Ｃ、Ｄしか得られない。
【００８９】
そこで特徴点計算部４０３は、背景の情報を除去した画像に対して、線分の自己相関による強力なノイズ・リダクション処理を行なう。
【００９０】
幅のある縦線は、少々傾いていても上下方向の相関が強い（同様に、幅のある横線は左右方向の相関が強い）。したがって、ある画素ラインについて、上下に±５ラインほどの画素ラインの範囲で、同じ水平画素位置の画素値の合計を算出することによって自己相関をとると、縦線が通過する付近の画素位置では、画素値が１０倍くらいに増幅する。これに対し、縦線が通過しない画素位置では、ランダム・ノイズしかないので、±５ライン分の画素値の合計をとっても、３倍くらいにしか増幅されない。このような自己相関を利用したノイズ・リダクションの効果は３倍程度である。
【００９１】
自己相関をとる画素ライン数を増やせば、ノイズ・リダクションの効果はさらに向上する。例えば１００画素ラインにわたって同じ水平画素位置の画素値の合計を算出すると、縦線が通過する付近の画素位置では画素値が１００倍くらいに増幅する。しかしながら、１００画素ライン分の自己相関をとるには、線分の角度の誤差を０．５度以内にしなければならない。
【００９２】
そこで、角度サーチという技術を組み合わせることによって、ノイズ・リダクションの効果をさらに積極的に得るようにする。
【００９３】
例えば図５Ｂ右に示したテスト・パターンである左右の各端縁の縦線は、最大で１３度まで傾斜する可能性がある。そこで、まず±１３度の範囲で、１度間隔で最も自己相関の高くなる角度を粗くサーチする。次に、粗い角度サーチで自己相関が最大となった角度付近の２度の範囲で、自己相関による詳細な角度サーチを行なう。このようにして、角度サーチする範囲とサーチする間隔を小さくしていきながら、３回角度サーチを繰り返すと、誤差は０．０７度以内になる。
【００９４】
このようにしてノイズ・リダクション処理を経てテスト・パターンとなる縦線の角度を正確に検出することができたら、実際のその角度の方向に１００画素ライン分の画素値の合計を求めて自己相関をとる。また、合計の最大値が２５５になるように割り算して正規化する。実際には１９１画素ラインで画素値の合計をとっているので、ノイズ・リダクションの効果は１４倍ほどになる。
【００９５】
図９Ａ〜図９Ｄには、図８Ａに示した背景除去画像Ｃに対して角度サーチとノイズ・リダクション処理を行なう様子を図解している。
【００９６】
背景除去画像Ｃは、２本の縦線がそれぞれ画面半分の左右にある。そこで、以下では、図９Ａに示すように画面を左右に２分割し、画面左半分に対する処理について説明する。画面右半分に対する処理も同様となることを理解されたい。
【００９７】
（１）まず、縦サイズｖの中央のラインｖ／２上で、１画素ずつ水平方向に移動しながら、角度をサーチしていく。図９Ｂに示すように、まず、±１３度の角度の範囲（図中、点線で挟まれる範囲）について、１度間隔でサーチし、上下ｎ画素分の画素値を加算する。
【００９８】
（２）そして、±１３度の角度の区間について角度サーチした結果、縦サイズｖの中央のライン２／ｖ上で、自己相関が最大となる角度（ａｎｍａｘ０１）と、画素位置（ｉｍａｘ，ｖ／２）を決定する。
【００９９】
（３）続いて、図９Ｃに示すように、決定した角度（ａｎｍａｘ０１）に対して、（ａｎｍａｘ０１−１），（ａｎｍａｘ０１＋１）の角度の範囲（図中、点線で挟まれる範囲）について、１／４度の間隔で２回目の角度サーチを行なう。
【０１００】
（４）そして、２回目の角度サーチで自己相関が最大となる角度（ａｎｍａｘ０２）で、さらに（ａｎｍａｘ０２）に対して、（ａｎｍａｘ０２−１／４），（ａｎｍａｘ０２＋１／４）の角度の範囲について、１／１６度の間隔で３回目の角度サーチを行なう。このように角度サーチを３回繰り返すことによって、誤差は０．０７度以内となる。上記の処理により、画面左半分の縦線について、角度（ａｎｍａｘ）が決定する。
【０１０１】
（５）続いて、図９Ｄに示すように、垂直方向（ｙ方向）にｙ＝（ｍ／２）〜ｖ−（ｍ／２）の範囲に対して、水平方向（ｘ方向）の位置ｘ＝（ｙ−ｖ／２）×ｔａｎ（ａｎｍａｘ）＋ｉｍａｘを中心として、水平方向の±１５画素の範囲（図中、点線で挟まれた範囲）を、垂直方向にｍ画素分の画素を平均化し、それを位置（ｘ，ｙ）の画素値とする。これで、図９Ｄ中、点線で囲まれた範囲で、ノイズ・リダクション処理が行なわれた画像が完成する。
【０１０２】
上記の（１）〜（５）の処理を画面右半分についても適用することで、背景除去画像Ｃについて、自己相関による強力なノイズ・リダクション処理が実現する。図８Ｂに示した、２本の横線を含む背景除去画像Ｄについても、同様に上記の自己相関による強力なノイズ・リダクション処理を適用することができる。
【０１０３】
図１０Ａには、図８Ａに示した背景除去画像Ｃに対して自己相関による強力なノイズ・リダクション処理を行なって得られた背景除去画像Ｃ２を示している。また、図１０Ｂには、図８Ｂに示した背景除去画像Ｄに対して自己相関による強力なノイズ・リダクション処理を行なって得られた背景除去画像Ｄ２を示している。
【０１０４】
特徴点計算部４０３は、背景除去画像Ｃ２、Ｄ２に含まれる２本の横線と２本の縦線の交点を計算して、投影部１０１の照射範囲の４隅の４隅の各点の座標を求める。
【０１０５】
ここで、投影画像に生じる歪みが台形歪みであれば、縦線と横線の組み合わせからなるテスト・パターンの投影像は線形的となるはずである。しかしながら、投影光学部２０３やカメラ部１０４にレンズ歪みがあるため、被投射体に投影されたこれら４本の線分（言い換えれば、背景除去画像Ｃ２、Ｄ２で観察される線分）は、わずかであるが曲線になっている。
【０１０６】
そこで、特徴点計算部４０３は、背景除去画像Ｃ２、Ｄ２に含まれるこれら４本の線分を２次曲線として検出して、交点を求めるようにする。
【０１０７】
具体的には、特徴点計算部４０３は、背景除去画像Ｃ２、Ｄ２の線を画面の外側から中心に向かってほぼ垂直な方向に輝度値を調べ、この中で最も輝度値の高い領域の中心を以って、線分の位置データとする。図１１Ａには、背景除去画像から線分の位置データを抽出した様子を示している。同図中では、線分の位置データを実線で描いている。
【０１０８】
続いて、特徴点計算部４０３は、この複数の位置データから、４本の各線分を近似する２次曲線ｙ＝ａｘ2＋ｂｘ＋ｃの係数ａ、ｂ、ｃを、例えば最小自乗法を用いて算出する。２次曲線の検出に最小自乗法を用い、且つ、線分の多くの点を総合的に扱うことで、１画素の数分の１の精度を得ることができる。図１１Ｂには、背景除去画像Ｃ２、Ｄ２中の２本の横線並びに縦線から２次曲線を検出した様子を示している。同図中で、２本の横線並びに縦線から検出した２次曲線を点線で描いている。
【０１０９】
そして、特徴点計算部４０３は、４本の２次曲線の交点を求め、これを４隅の座標とする。図１１Ｃには、４本の２次曲線の交点を求める様子を示している。同図中で、求められた４隅の位置をＸで示している。
【０１１０】
投影画像に生じる歪みが台形歪みであれば、縦線と横線の組み合わせからなるテスト・パターンの投影像は線形的となるはずであり（前述）、垂直方向並びに水平方向に０度の向きで角度サーチすれば、テスト・パターンの線分を検出できることになる。ところが、実際には投影光学部２０３やカメラ部１０４にレンズ歪みがあるため、被投射体に投影されたこれらテスト・パターンは非線形な歪みを持つため、垂直方向並びに水平方向を中心とした探索範囲内に最適解が存在しない場合がある。一般には、レンズ歪みにより、投影画像が視野中央では縮小し、端へ行くほど拡大する糸巻き型歪み（図１２を参照のこと）や、視野中央では拡大し、端へ行くほど縮小する樽型歪み（図１３を参照のこと）が発生することが知られている。糸巻き型及び樽型いずれの歪みも、左右並びに上下で対称的な歪み量となる。
【０１１１】
探索範囲を拡大して角度サーチすれば、最適解を見つけ出すことができるが、計算量が増大する。とりわけ、図５Ｇに示したような細かいメッシュ状のテスト・パターンを使用する場合には、計算量が著しく増大する。また、図５Ｇに示したように、隣接する線分間の間隔が小さいテスト・パターンを使用する場合には、探索範囲を拡大して角度サーチすると、隣の線分を誤検出するおそれがある。
【０１１２】
そこで、探索範囲を拡大するのではなく、探索範囲の中心を適応的に変化させて角度サーチを行なうようにすればよい。具体的には、直前に角度サーチを行なった隣の線分の結果を中心として、角度サーチを行なう。何故ならば、レンズ歪みの変化は緩やかであり、隣接する線分間では角度の変化はごくわずかであると推測されるからである。
【０１１３】
再び図６を参照して、投影画像の歪み補正処理について説明する。次いで、射影変換パラメーター計算部４０４は、上述のようにして算出された４隅の座標に基づいて、被投射体までの距離と方向を求め、被投射体に投影される画像の台形歪みを補正するための射影変換パラメーターを計算して、画像補正部に出力する（ステップＳ６０４）。
【０１１４】
その後、画像補正部３０３は、補正量検出部１０５から受け取った射影変換パラメーターに基づいて、フレーム・メモリー３０２から読み出した画像に射影変換して、投影部１０１から被写体に投影した際に台形歪みが解消するよう、補正を行なう（ステップＳ６０５）。
【０１１５】
このように、本実施形態に係る投影型画像表示装置１００によれば、投影部１０１の照射位置と異なる位置に配設されたカメラ部１０４で撮影したテスト・パターンの投影画像に基づいて補正量を自動で検出して、投影部１０１から照射する画像が正しい長方形で被投射体に投影されるように補正することができる。
【０１１６】
また、本実施形態に係る投影型画像表示装置１００によれば、カメラ部１０４で撮影したテスト・パターンの投影画像に対して自己相関による強力なノイズ・リダクション処理を行なうので、自然光などの外光による背景の影響を除去して、正確な４隅の座標を求めることができる。したがって、投影型画像表示装置１００を暗い部屋だけでなく明るい部屋でも使用することができ、また、真っ白なスクリーンだけでなくも様なある壁上に投影しても、投影部１０１から照射する画像が正しい長方形で被投射体に投影されるように補正することができる。
【０１１７】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画像を被投射体に投影する投影部と、
前記投影部の照射位置と異なる位置に設置され、前記被投射体に投影された画像を撮影するカメラ部と、
前記投影部から前記被投射体にテスト・パターンを投影したときに前記カメラ部で撮影したテスト画像から背景を除去して、背景除去後の前記テスト画像中の前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算する補正量検出部と、
前記補正パラメーターに基づいて前記投影部から投影する画像を補正する画像補正部と、
を具備する投影型画像表示装置。
（２）前記補正量検出部は、背景除去後の前記テスト画像から前記テスト・パターンの複数の特徴点の座標を算出し、前記被写体の投影画像に含まれる歪みを補正するための射影変換パラメーターを前記複数の特徴点の座標から算出し、
前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換する、
上記（１）に記載の投影型画像表示装置。
（３）前記カメラ部は、前記投影部からテスト・パターンを照射しないときに第１のテスト画像を撮影するとともに、前記投影部からテスト・パターンを照射しているときに第２のテスト画像を撮影し、
前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像の差を作って、前記第２のテスト画像から背景の情報を除去して、前記テスト・パターンを含んだ背景除去後の前記テスト画像を得る、
上記（１）に記載の投影型画像表示装置。
（４）前記カメラ部は、前記投影部から第１のテスト・パターンを照射しているときに第１のテスト画像を撮影するとともに、前記投影部から第２のテスト・パターンを照射しているときに第２のテスト画像を撮影し、
前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像の差を作って、前記第１のテスト画像及び前記第２のテスト画像から背景の情報を除去して、前記第１のテスト・パターンと前記第２のテスト・パターンを合成したテスト・パターンを含んだ背景除去後の前記テスト画像を得る、
上記（１）に記載の投影型画像表示装置。
（５）前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像間で輝度調整を行なった後に、背景の情報の除去処理を行なう、
上記（３）又は（４）のいずれかに記載の投影型画像表示装置。
（６）前記補正量検出部は、前記第１のテスト画像と前記第２のテスト画像のうち一方を基準とした平均輝度の比率を他方の画像の画素値に掛けて、前記輝度調整処理を行なう、
上記（５）に記載の投影型画像表示装置。
（７）前記補正量検出部は、前記第１のテスト画像及び前記第２のテスト画像をそれぞれ水平及び垂直方向に分割した領域毎に前記輝度調整処理を行なう、
上記（６）に記載の投影型画像表示装置。
（８）前記補正量検出部は、背景除去後の前記テスト画像のうちテスト・パターンを含む領域について輝度を正規化する、
上記（１）に記載の投影型画像表示装置。
（９）前記補正量検出部は、前記テスト画像のうち画素値の分散値が所定の閾値以上となる領域のみ輝度を正規化する、
上記（８）に記載の投影型画像表示装置。
（１０）複数本の縦線と複数本の横線を含むメッシュ状のテスト・パターンを使用し、
前記補正量検出部は、背景除去後の前記テスト画像に含まれる縦線と横線のテスト・パターンの各交点からる複数の特徴点の座標に基づいて、歪みを補正するための射影変換パラメーターを計算し、
前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換する、
上記（５）に記載の投影型画像表示装置。
（１１）前記テスト・パターンは、前記テスト・パターンの輪郭となる矩形の対角線に相当する２本のスリットをさらに含む、
上記（１０）に記載の投影型画像表示装置。
（１２）前記補正量検出部は、背景除去後の前記テスト画像から検出できた特徴点の座標に基づいて、前記投影部から前記被投射体に投影できる最大画像サイズを推定する、
上記（１０）に記載の投影型画像表示装置。
（１３）複数本の縦線を含む第１のテスト・パターンと複数本の横線を含む第２のテスト・パターンを使用し、
前記補正量検出部は、背景除去後の前記テスト画像に含まれる縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標に基づいて、歪みを補正するための射影変換パラメーターを計算し、
前記画像補正部は、前記投影部から投影する画像を前記射影変換パラメーターで射影変換する、
上記（４）に記載の投影型画像表示装置。
（１４）前記第１のテスト・パターン及び前記第２のテスト・パターンは、前記テスト・パターンの輪郭となる矩形の対角線に相当する２本のスリットをそれぞれ含む、
上記（１３）に記載の投影型画像表示装置。
（１５）前記補正量検出部は、背景除去後の前記テスト画像から検出できた特徴点の座標に基づいて、前記投影部から前記被投射体に投影できる最大画像サイズを推定する、
上記（１３）に記載の投影型画像表示装置。
（１６）前記補正量検出部は、背景の情報を除去した後のテスト画像に対してさらに自己相関によるノイズ・リダクション処理を行なってから、前記テスト画像中の前記テスト・パターンに関する各特徴点の座標の情報を検出して、前記各特徴点の座標の情報に基づいて補正パラメーターを計算する、
上記（１）に記載の投影型画像表示装置。
（１７）前記補正量検出部は、複数本の縦線又は複数本の横線のテスト・パターンを含む前記テスト画像を縦方向又は横方向に角度サーチしてノイズ・リダクション処理を行なってから、縦線と横線のテスト・パターンの各交点からなる複数の特徴点の座標を算出し、前記各交点の座標の情報に基づいて歪みを補正するための射影変換パラメーターを計算する、
上記（１６）に記載の投影型画像表示装置。
（１８）前記補正量検出部は、前記テスト画像に含まれる縦線又は横線の各テスト・パターンを２次曲線として検出する、
上記（１７）に記載の投影型画像表示装置。
（１９）前記補正量検出部は、直前に角度サーチを行なった隣の線分の結果を中心にして角度サーチする、
上記（１７）に記載の投影型画像表示装置。
（２０）被投射体にテスト・パターンを投射するステップと、
被投射体に投影されたテスト・パターンを撮影してテスト画像を取得するステップと、
前記テスト画像から背景を除去するステップと、
背景を除去した後のテスト画像に含まれる前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算するステップと、
前記補正パラメーターに基づいて投影画像を補正するステップと、
を有する画像投影方法。
（２１）被投射体にテスト・パターンを投射する手順と、
被投射体に投影されたテスト・パターンを撮影してテスト画像を取得する手順と、
前記テスト画像から背景を除去する手順と、
背景を除去した後のテスト画像に含まれる前記テスト・パターンに関する座標の情報を検出し、前記座標の情報に基づいて前記投影部から投影する画像を補正するための補正パラメーターを計算する手順と、
前記補正パラメーターに基づいて投影画像を補正する手順と、
をコンピューターに実行させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【０１１８】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１１９】
本明細書では、カメラ一体型の投影型画像表示装置に関する実施形態について説明してきたが、カメラが投影型画像表示装置本体と分離可能若しくは本体に外付け接続されるように構成される場合であっても、同様に本明細書で開示する技術を適用することができる。
【０１２０】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【０１２１】
１００…投影型画像表示装置
１０１…投影部
１０２…画像処理部
１０３…画像入力部
１０４…カメラ部
１０５…補正量検出部
２０１…照明光学部、２０２…液晶パネル、２０３…投影光学部
３０１…画像書き込み読み出し制御部、３０２…フレーム・メモリー
３０３…画像補正部、３０４…画質調整部
３０５…テスト・パターン発生部、３０５…出力画像切り替え部
４０１…撮影画像書き込み読み出し制御部、４０２…撮影画像メモリー
４０３…特徴点計算部、４０４…射影変換パラメーター計算部
【図１】
2013168922.tif 000004
【図２】
2013168922.tif 000005
【図３】
2013168922.tif 000006
【図４】
2013168922.tif 000007
【図５Ｄ】
2013168922.tif 000008
【図６】
2013168922.tif 000009
【図５Ａ】
2013168922.tif 000010
【図５Ｂ】
2013168922.tif 000011
【図５Ｃ】
2013168922.tif 000012
【図５Ｅ】
2013168922.tif 000013
【図５Ｆ】
2013168922.tif 000014
【図５Ｇ】
2013168922.tif 000015
【図５Ｈ】
2013168922.tif 000016
【図５Ｉ】
2013168922.tif 000017
【図５Ｊ】
2013168922.tif 000018
【図５Ｋ】
2013168922.tif 000019
【図７Ａ】
2013168922.tif 000020
【図７Ｂ】
2013168922.tif 000021
【図８Ａ】
2013168922.tif 000022
【図８Ｂ】
2013168922.tif 000023
【図９Ａ】
2013168922.tif 000024
【図９Ｂ】
2013168922.tif 000025
【図９Ｃ】
2013168922.tif 000026
【図９Ｄ】
2013168922.tif 000027
【図１０Ａ】
2013168922.tif 000028
【図１０Ｂ】
2013168922.tif 000029
【図１１Ａ】
2013168922.tif 000030
【図１１Ｂ】
2013168922.tif 000031
【図１１Ｃ】
2013168922.tif 000032
【図１２】
2013168922.tif 000033
【図１３】
2013168922.tif 000034