(57)【要約】      （修正有）【課題】テストパターンを用いた、投射表示映像の歪み補正処理に係る消費電力を低減可能とする。【解決手段】カメラ付プロジェクタであって、表示制御部９は表示パネル１０からスクリーン２へテストパターンを投射表示する。差分抽出部１２は、テストパターンが投射表示された投射面をカメラ１１が撮影した撮影画像からテストパターンを抽出する。有効判定部１５は、抽出されたテストパターンの画像成分を基に有効なテストパターンかどうかを判定する。歪み補正制御部１６は、有効なテストパターンであると判定された場合、テストパターン解析部１３にテストパターンの解析を実行させて映像の歪みを検出させる。歪み制御部８は、検出された歪みに基づいて、投射表示される映像の歪みを補正する。【選択図】図１
2017212638.tif 000002
【特許請求の範囲】
【請求項１】
テストパターンを投射表示する表示手段と、
前記テストパターンが投射表示された投射面に対する撮影画像からテストパターンを抽出する抽出手段と、
前記抽出されたテストパターンの画像成分を基に、前記抽出されたテストパターンが有効なテストパターンかどうかを判定する判定手段と、
前記抽出されたテストパターンが有効なテストパターンであると判定された場合、前記有効と判定されたテストパターンに基づいて、前記投射表示される映像の歪みを検出する処理を実行する検出手段と、
前記検出された歪みに基づいて、前記投射表示される映像の歪みを補正する補正手段と、
を有することを特徴とする表示装置。
【請求項２】
前記検出手段は、前記有効と判定されたテストパターンに基づいて前記投射表示の位置を検出し、前記位置から前記投射表示される映像の歪みを検出し、
前記補正手段は、前記検出された映像の歪みに応じた補正パラメータを用いて、前記投射表示される映像の歪みを補正する画像処理を行うことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記テストパターンをコンテンツ映像に重ね合わせた画像を生成するブレンド手段を有し、
前記表示手段は、前記テストパターンがコンテンツ映像に重ね合わされた画像を投射表示し、
前記抽出手段は、前記テストパターンがコンテンツ映像に重ね合わされて前記投射表示された画像を撮影した前記撮影画像から、前記テストパターンを抽出することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記ブレンド手段は、前記コンテンツ映像に前記テストパターンを加算する重ね合わせによる加算画像と、前記コンテンツ映像から前記テストパターンを減算する重ね合わせによる減算画像とを生成し、
前記表示手段は、前記加算画像と前記減算画像を切り換えて連続して投射表示し、
前記抽出手段は、前記投射表示された前記加算画像の撮影画像と前記減算画像の撮影画像との差分をとることで前記テストパターンの抽出を行うことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記撮影画像に設定されたウインドウ内の各画素の積分値を求め、前記積分値が所定の閾値範囲にある場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
【請求項６】
前記所定の閾値範囲は、前記テストパターンを構成する図形の密度に応じて設定されていることを特徴とする請求項５に記載の表示装置。
【請求項７】
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記撮影画像に設定されたウインドウ内の各画素の分散値を求め、前記分散値が所定の閾値範囲にある場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
【請求項８】
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記撮影画像に設定されたウインドウ内で前記テストパターンを構成する図形の分布を求め、前記分布が特定の分布である場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
【請求項９】
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記撮影画像に設定されたウインドウ内で前記テストパターンを構成する図形の色分布を求め、前記色分布が特定の色分布である場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
【請求項１０】
前記表示手段は、テストパターンの投射表示を所定時間間隔おきに行うことを特徴とする請求項１乃至９の何れか１項に記載の表示装置。
【請求項１１】
前記判定手段が有効なテストパターンを判定できなかった場合、前記テストパターンの投射表示を再び行うように前記表示手段を制御する制御手段を有することを特徴とする請求項１乃至９の何れか１項に記載の表示装置。
【請求項１２】
前記制御手段は、テストパターンの投射表示を再び行わせる場合には、異なるテストパターンを前記表示手段に投射表示させることを特徴とする請求項１１に記載の表示装置。
【請求項１３】
前記制御手段は、テストパターンの投射表示を再び行わせる場合には、テストパターンを構成する図形の密度を高くしたテストパターンを前記表示手段に投射表示させることを特徴とする請求項１２に記載の表示装置。
【請求項１４】
前記制御手段は、テストパターンの投射表示を再び行わせる場合には、輝度を高くしたテストパターンを前記表示手段に投射表示させることを特徴とする請求項１２又は１３に記載の表示装置。
【請求項１５】
前記制御手段は、テストパターンの投射表示を再び行わせる場合には、サイズを大きくしたテストパターンを前記表示手段に投射表示させることを特徴とする請求項１２乃至１４の何れか１項に記載の表示装置。
【請求項１６】
前記表示手段は、十字形状のパターンを含むテストパターンを投射表示し、
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記十字形状のパターンの直線の成分を求め、前記直線の成分の交点が検出された場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
【請求項１７】
前記表示手段は、升目形状のパターンを含むテストパターンを投射表示し、
前記判定手段は、前記抽出されたテストパターンの画像成分として、前記升目形状における升目の周期を求め、前記周期が所定の閾値範囲内である場合に、前記抽出されたテストパターンが有効なテストパターンであると判定することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
【請求項１８】
テストパターンを投射表示するステップと、
テストパターンが投射表示された投射面に対する撮影画像からテストパターンを抽出するステップと、
前記抽出されたテストパターンの画像成分を基に、前記抽出されたテストパターンが有効なテストパターンかどうかを判定するステップと、
前記抽出されたテストパターンが有効なテストパターンであると判定された場合、前記有効と判定されたテストパターンに基づいて、前記投射表示される映像の歪みを検出する処理を実行するステップと、
前記検出された歪みに基づいて、前記投射表示される映像の歪みを補正するステップと、
を含むことを特徴とする表示装置の制御方法。
【請求項１９】
コンピュータを、請求項１乃至１７の何れか１項に記載の表示装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射型の表示装置、表示装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラを内蔵又は接続可能な投射型の表示装置（例えば液晶プロジェクタ）が実現されている。また、この液晶プロジェクタにおいては、投射表示したテストパターンをカメラで撮影して、その撮影画像から抽出したテストパターンの投射形状の歪みを検出し、その投射形状の歪みに基づいて投射表示映像の歪みを補正する機能も実現されている。
【０００３】
また、特許文献１には、入力映像に対し、テストパターンを重畳した第１の映像とテストパターンのみの輝度レベルを反転させた第２の映像とをそれぞれ投射して撮影し、それらの撮影画像からテストパターンを抽出する技術が開示されている。具体的には、特許文献１に記載のプロジェクタは、第１の映像を撮影した撮影画像と、第２の映像を撮影した撮影画像の輝度レベルを白黒反転させた映像とを、加算演算することにより、テストパターンを抽出する。そして、特許文献１のプロジェクトは、抽出したテストパターンを解析して歪みを検出して、投射表示映像の歪みを補正する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−９４５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述したカメラを内蔵又は接続可能な表示装置は、例えば、外光が突発的に画面に入射したり、人物が画面前を横切ったりする等の外乱により、撮影が失敗することがある。撮影が失敗した場合、撮影画像からテストパターンを抽出できなくなり、その結果、投射表示映像の歪みの補正が出来なくなる。また、表示装置は、テストパターンの解析処理を終えるまで、撮影が失敗したか否かを判断できない。このように撮影が失敗した場合、テストパターンの解析に要した処理が無駄になり、その無駄な解析処理が行われることにより、無駄に電力が消費されてしまうことになる。
【０００６】
そこで、本発明は、投射表示映像の歪み補正処理に係る消費電力を低減することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、テストパターンが投射表示された投射面に対する撮影画像からテストパターンを抽出し、抽出されたテストパターンが有効なテストパターンかどうかを判定して、有効なテストパターンであると判定された場合、その有効と判定されたテストパターンに基づいて、投射表示される映像の歪みを検出する処理を実行し、検出された歪みに基づいて、投射表示される映像の歪みを補正することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、投射表示映像の歪み補正処理に係る消費電力を低減することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の液晶プロジェクタの概略構成例を示す図である。
【図２】テストパターンの挿入と抽出の方法を説明する図である。
【図３】テストパターンの生成方法を説明する図である。
【図４】テストパターンによる位置検出処理の流れを示すフローチャートである。
【図５】第１の実施形態の有効判定部の概略構成を示す図である。
【図６】検出ウインドウの設定例を示す図である。
【図７】有効判定の際の閾値を説明する図である。
【図８】第１の実施形態の歪み補正の処理の流れを示すフローチャートである。
【図９】第１の動作例を説明するタイミングチャートである。
【図１０】第２の動作例を説明するタイミングチャートである。
【図１１】第２の実施形態の液晶プロジェクタの概略構成例を示す図である。
【図１２】第２の実施形態のテストパターンの例を示す図である。
【図１３】第２の実施形態の有効判定部の概略構成を示す図である。
【図１４】第２の実施形態の歪み補正の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
本実施形態の表示装置は、カメラを内蔵又は接続可能な投射型の表示装置（液晶プロジェクタ）である。また、本実施形態の表示装置は、投射表示したテストパターンをカメラで撮影し、その撮影画像から抽出したテストパターンの投射形状の歪みを検出して、その投射形状の歪みに基づいて投射表示映像の歪みを補正する機能を有している。以下の各実施形態では、カメラを内蔵した投射型の液晶プロジェクタにおいて、テストパターンを撮影して投射表示映像の台形歪みを補正する例を説明する。また、詳細は後述するが、本実施形態の液晶プロジェクタは、撮影された画像のテストパターンが有効か否かを判定し、有効な場合にのみテストパターンの解析以降の処理を実行する。
【００１２】
＜第１の実施形態＞
図１は、第１の実施形態のカメラ内蔵型の液晶プロジェクタ１の概略構成例を示す図である。図１に示す本実施形態の液晶プロジェクタ１において、映像入力部３から表示パネル１０までがスクリーン２へ映像を投射表示させるための構成である。また、図１に示す本実施形態の液晶プロジェクタ１において、カメラ１１から歪み補正制御部１６まで、及び、倍速変換部５、テストパターン生成部６、ブレンド部７、歪み補正部８が、映像撮影と歪み補正に関わる構成となされている。
【００１３】
先ず、映像入力部３から表示パネル１０までの構成について説明する。
映像入力部３には、外部のソース機器から非圧縮の画像データが供給される。画像データは、ＨＤＭＩ（登録商標）やＤＶＩ、ディスプレイポート等のインタフェース規格に従った伝送方式により入力される。画像データは、スクリーン２に投射表示されるコンテンツ映像のデータである。映像入力部３に入力された、コンテンツ映像の画像データは、画像処理部４に送られる。
【００１４】
画像処理部４は、コンテンツ映像の画像データに対し、画像の色や輪郭等の補正を行って画像を高画質化する。画像処理部４による処理後の画像データは、倍速変換部５に送られる。倍速変換部５は、画像データのフレームレートを倍速にする。具体的には、倍速変換部５は、画像処理部４から供給された画像データの各画像フレームをそれぞれ連続して二度出し処理することにより、倍速フレームレートの画像データを生成する。本実施形態の場合、画像処理部４からは６０ｆｐｓ（フレーム／秒）の画像データが出力され、倍速変換部５は、その６０ｆｐｓの画像データの各画像フレームをそれぞれ連続して二度出し処理することにより、１２０ｆｐｓの画像データに変換する。倍速変換部５からの倍速フレームレートの画像データは、ブレンド部７に送られる。
【００１５】
テストパターン生成部６は、投射表示映像の歪みを検出するためのテストパターンの画像データ（以下、テストパターンとのみ表記する。）を生成する。テストパターン生成部６にて生成されたテストパターンは、ブレンド部７に送られる。なお、本実施形態において、テストパターン生成部６によるテストパターンの生成処理には、テストパターンの画像データを実際に生成する処理だけでなく、予め用意されて図示しないメモリ等に記憶されているテストパターンを読み出す処理も含まれる。また、テストパターン生成部６が液晶プロジェクタ１の外部に存在していてもよい。この場合、液晶プロジェクタ１のブレンド部７は、外部のテストパターン生成部６により生成されたテストパターンを取得することになる。
【００１６】
ブレンド部７は、倍速フレームレートの画像データの例えば８フレーム毎に、コンテンツ映像に対してテストパターン生成部６から供給されたテストパターンを重ね合わせる処理を行う。以下の説明では、コンテンツ映像にテストパターンの重ね合わせることを「重畳」と表記し、重ね合わせの処理を「重畳処理」と表記する。詳細は後述するが、ブレンド部７は、倍速フレームレートの各画像フレームのうち、前述した二度出し処理による同じ二つの画像フレームの一方にはテストパターンを加算し、他方にはテストパターンを減算するような重畳処理を行う。以下の説明では、前述した二度出し処理による同じ二つの画像フレームの一方の画像フレームに対して、テストパターンを加算する重畳処理を行った後の画像フレームを「テストパターン加算画像」と表記する。また、他方の画像フレームに対して、テストパターンを減算する重畳処理を行った後の画像フレームを「テストパターン減算画像」と表記する。テストパターン生成部６によるテストパターンの生成処理と、ブレンド部７における画像フレームに対するテストパターンの重畳処理の詳細については後述する。倍速フレームレートの画像データの８フレーム毎にテストパターンの重畳処理が行われた後の画像データは、歪み補正部８に送られる。
【００１７】
歪み補正部８は、例えば投射表示映像の歪みが無くなるように、コンテンツ映像の画像の形状を変形させるような歪み補正処理を行う。本実施形態では、投射表示映像が例えば台形に歪んでいる例を挙げているため、歪み補正部８は、その台形に歪む投射表示映像が例えば長方形になるような台形歪み補正のための画像処理を、コンテンツ映像の画像データに対して施す。具体的には、歪み補正部８は、後述する補正パラメータ作成部１４からの補正パラメータに基づいて、コンテンツ映像の画像データにアフィン変換等の画像処理を施すことによる歪み補正処理を実行する。歪み補正部８による歪み補正処理後の画像データは、表示制御部９に送られる。
【００１８】
表示制御部９は、表示パネル１０の表示駆動制御を行う。具体的には、表示制御部９は、映像表示の際の同期信号に合わせて、画像データを表示パネル１０に出力する。表示パネル１０は、表示制御部９による表示駆動制御の下、画像データに基づく映像をスクリーン２に投射する。表示パネル１０は、液晶パネル、パネルドライブ回路、光源ランプ、プリズム、投射レンズ等を有して構成されている。表示制御部９による同期信号に合わせた表示パネル１０の表示駆動のタイミング制御等の詳細については後述する。
【００１９】
以下、カメラ１１から歪み補正制御部１６までの構成について説明する。
カメラ１１は、歪み補正制御部１６により撮影動作が制御され、スクリーン２の投射面に投射されている表示映像を撮影する。具体的には、カメラ１１は、前述したように同じ二枚の画像フレームから生成されたテストパターン加算画像の投射表示映像とテストパターン減算画像の投射表示映像とを撮影する。カメラ１１の映像撮影実行のタイミング等の詳細については後述する。カメラ１１による撮影画像のデータは、差分抽出部１２に送られる。
【００２０】
差分抽出部１２は、カメラ１１にて撮影された撮影画像の連続する二枚の撮影画像フレームから差分画像を生成する。ここで、差分抽出部１２には、前述したテストパターン加算画像とテストパターン減算画像の投射表示映像を、カメラ１１がそれぞれ撮影した二枚の撮影画像フレームの画像データが供給される。このため、差分抽出部１２から出力される差分画像は、投射表示映像の撮影画像からコンテンツ映像の画像成分が取り除かれた後の画像成分からなる画像であり、それはテストパターンの画像成分に相当する。差分抽出部１２は、このようにして生成した差分画像を、抽出したテストパターンのデータとして出力する。なお、撮影画像の連続した二枚の撮影画像フレームが、前述したテストパターン加算画像とテストパターン減算画像ではない場合、つまりコンテンツ映像のみの二つの画像フレームである場合、その差分画像は、画像全面に渡って画素値が略々０となる。このようにして差分抽出部１２により撮影画像から抽出されたテストパターンのデータは、テストパターン解析部１３と有効判定部１５に送られる。
【００２１】
テストパターン解析部１３は、差分抽出部１２にて抽出された差分画像（テストパターンの画像成分）に対する解析処理を実行して、投射表示映像の位置を検出し、その位置から投射表示映像の歪みを検出する。テストパターン解析部１３における位置検出処理の詳細は後述する。テストパターン解析部１３による解析結果の信号は、補正パラメータ作成部１４に送られる。補正パラメータ作成部１４は、テストパターン解析部１３から解析結果の信号を受け取ると、その解析結果に基づいて、歪み補正部８で歪み補正を行う際の補正パラメータを生成する。本実施形態の場合、補正パラメータ作成部１４は、解析結果に基づいて、台形に歪んだ投射表示映像が長方形の投射表示映像になるように補正するための補正パラメータを生成する。この補正パラメータが、歪み補正部８に送られる。
【００２２】
有効判定部１５は、差分抽出部１２にて検出されたテストパターンが有効なテストパターンであるかどうかを判定する。以下、有効なテストパターンであると判定されるテストパターンを「有効テストパターン」と表記し、有効でないテストパターンと判定されるテストパターンを「無効テストパターン」と表記する。有効判定部１５は、差分抽出部１２により撮影画像から抽出された画像成分（差分画像）が、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるべき画像成分であるか否かを判定する。そして、有効判定部１５は、撮影画像から抽出された画像成分（差分画像）が、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるべき画像成分であると判定できたときにのみ、そのテストパターンは有効テストパターンであると判定する。有効判定部１５における有効判定処理の詳細な説明については後述する。有効判定部１５による有効判定結果の信号は、歪み補正制御部１６に送られる。
【００２３】
歪み補正制御部１６は、カメラ１１の制御や、テストパターン解析部１３の解析処理の実行制御等を行う。特に本実施形態では、歪み補正制御部１６は、有効判定部１５から有効テストパターンであることの判定結果が送られてきたときには、テストパターン解析部１３に対してテストパターン解析処理を実行させるような制御を行う。この場合、テストパターン解析部１３から補正パラメータ作成部１４にテストパターン解析処理結果の信号が送られ、補正パラメータ作成部１４から歪み補正部８に補正パラメータが送られて、歪み補正部８による歪み補正処理が行われることになる。一方、有効判定部１５から無効テストパターンであることの判定結果が送られてきた場合、歪み補正制御部１６は、テストパターン解析部１３によるテストパターン解析処理を実行させないように制御する。また、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能の制御も行っている。歪み補正制御部１６で行われる処理と制御の詳細については後述する。
【００２４】
＜テストパターンの重ね合わせの方法及び検出方法＞
以下、図２（ａ）〜図２（ｄ）を用いて、ブレンド部７におけるテストパターンの重ね合わせの方法について説明する。本実施形態では、前述したように、コンテンツ映像の８フレーム毎にテストパターン加算画像とテストパターン減算画像が生成されて、それらが連続するように交互に投射表示される。ここで、それらテストパターン加算画像とテストパターン減算画像とが高速に交互に切り換えられて投射表示された場合、ユーザからは、画像フレームに加算されたテストパターンと減算されたテストパターンとが相殺されて見えなくなる。このように、本実施形態では、テストパターン加算画像とテストパターン減算画像とを高速に交互に切り換えて投射表示することにより、テストパターンをユーザから不可視にしている。
【００２５】
図２（ａ）は、コンテンツ映像の一例の説明図である。ここでは、コンテンツ映像の画像の一例として、映像全面に渡って輝度が一様な画像を、図１のスクリーン２に投射し、そのスクリーン２上の投射表示映像２２をカメラ１１で撮影する場合を例に挙げて説明する。映像全面に渡って輝度が一様な画像のみをスクリーン２に投射し、その投射表示映像２２をカメラ１１にて撮影した場合、図２（ａ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られることになる。図２（ａ）のグラフにおいて、縦軸は投射表示映像２２をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ａ）に示すように、映像全面の輝度が一様な画像がスクリーン２に投射され、そのスクリーン２上の投射表示映像２２をカメラ１１で撮影した場合には、各画素値の輝度のレベルが一定の値になった撮影画像が得られる。
【００２６】
図２（ｂ）は、テストパターンの一例の説明図である。テストパターンは、投射表示映像２０の中にランダムに配置される複数の点状の図形２１によって形成されている。また、テストパターンの点状の各図形２１は、スクリーン２上に投射されたときに、各画素の輝度が所定の値になる画像となされている。ここで、例えばこのテストパターンのみをスクリーン２に投射し、その投射表示映像２０をカメラ１１にて撮影した場合には、図２（ｂ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られることになる。図２（ｂ）のグラフにおいて、縦軸は投射表示映像２０をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ｂ）に示すように、テストパターンのみをスクリーン２に投射して、その投射表示映像２０をカメラ１１で撮影した場合には、テストパターンの図形２１に対応した画素位置の画素が所定の輝度の値になった撮影画像が得られる。
【００２７】
図２（ｃ）は、コンテンツ映像に対してテストパターンを重畳してスクリーン２に投射した場合の説明図である。図２（ｃ）は、コンテンツ映像の画像の画素値にテストパターンの画素値を加算することで生成されるテストパターン加算画像の例を示している。ここで、コンテンツ映像の画像は図２（ａ）で説明した画像であり、テストパターンは図２（ｂ）で説明した画像であるとする。この例に示すようなテストパターン加算画像をスクリーン２に投射し、その投射表示映像２３をカメラ１１にて撮影した場合には、図２（ｃ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られる。図２（ｃ）のグラフにおいて、縦軸は投射表示映像２３をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ｃ）に示すようなテストパターン加算画像の投射表示映像２３をカメラ１１で撮影した場合には、コンテンツ映像の一定輝度レベルに、テストパターンの図形２４による輝度値が加算された撮影画像が得られる。
【００２８】
図２（ｄ）は、コンテンツ映像に対してテストパターンを重畳してスクリーン２に投射した場合の説明図である。図２（ｄ）は、図２（ａ）で説明したコンテンツ映像の画像の画素値から、図２（ｂ）で説明したテストパターンの画素値を減算することで生成されるコンテンツ減算画像の例を示している。この図２（ｄ）の例のようなテストパターン減算画像をスクリーン２に投射し、その投射表示映像２５をカメラ１１にて撮影した場合には、図２（ｄ）のグラフに示すような画素値と画素位置の関係を有した撮影画像が得られる。図２（ｄ）のグラフにおいて、縦軸は投射表示映像２５をカメラ１１にて撮影した撮影画像のラインＡ−Ａ'における画素値を表し、横軸はラインＡ−Ａ'における各画素の画素位置を表している。この図２（ｄ）に示すようなテストパターン減算画像の投射表示映像２５をカメラ１１で撮影した場合には、コンテンツ映像の一定輝度レベルからテストパターンの図形２６による輝度値が減算された撮影画像が得られる。
【００２９】
本実施形態の液晶プロジェクタは、図２（ｃ）に示したようなテストパターン加算画像と、図２（ｄ）に示したようにテストパターン減算画像とを、高速に切り換えてスクリーン２に投射表示する。そして、液晶プロジェクタは、カメラ１１により、図２（ｃ）の投射表示映像２３と図２（ｄ）の投射表示映像２５とを撮影し、それらの撮影画像からテストパターンを検出する。具体的には、本実施形態の液晶プロジェクタは、図２（ｃ）の投射表示映像２３と図２（ｄ）の投射表示映像２５とを撮影した二枚の撮影画像の差分をとって、差分画像を生成する。この差分画像は、図２（ｃ）の投射表示映像２３と図２（ｄ）の投射表示映像２５からコンテンツ映像が除去された画像成分であり、図２（ｂ）のテストパターンに相当する画像となる。そして、本実施形態の液晶プロジェクタは、その検出されたテストパターンを用いて投射表示映像の歪みを補正する。このように、本実施形態によれば、テストパターン加算画像とテストパターン減算画像とを高速に切り換え投射表示することによってテストパターンをユーザから不可視にした状態で、投射表示映像の歪みを補正する。すなわち、本実施形態の液晶プロジェクタは、ユーザがコンテンツ映像を観ている状態でも歪み補正を行うことが可能になっている。
【００３０】
＜テストパターンの作成方法＞
以下、テストパターン生成部６におけるテストパターン作成方法について説明する。本実施形態のテストパターンは、前述したようにランダムに配置される点状の図形からなるパターンである。ここで、ランダムに配置される点状の図形からなるテストパターンは、コンテンツ映像に重畳されてスクリーン２に投射された際に、ユーザから見え難いパターンである。例えば、コンテンツ映像にテストパターンを重畳した場合、そのテストパターンの投射映像部分はコントラストが低下等することがあり、コンテンツ映像の投射表示映像の画質に多少影響を及ぼす可能性がある。例えば、幾何形状等のテストパターンを用いた場合には、そのテストパターンに起因した画質低下部分がユーザから視認され易くなるが、点状の図形からなるテストパターンの場合は、ユーザからは視認され難い。また、点状の図形からなるパターンは、スクリーン２が複雑な形状のスクリーンである場合にも対応し易い。例えば、点状の図形からなるテストパターンの場合、スクリーン２上の投射表示映像の任意の座標位置の歪み具合を検出し易いため、スクリーン２として例えばカーテンのような複雑な形状のものが用いられた場合にも対応し易い。本実施形態では、このような理由から、ランダムに配置される点状の図形からなるテストパターンを用いている。
【００３１】
図３は、テストパターン生成部６におけるテストパターンの作成方法の説明図である。テストパターン生成部６は、図３に示すように、それぞれ大きさの異なる三つのタイル画像３１，３３，３５を生成する。これら三つのタイル画像３１，３３，３５は、予め用意されていてもよく、また、テストパターンの生成処理の際に作成されてもよい。テストパターン生成部６は、点状の複数の図形がランダムに配置されたパターン３０を、それら三つのタイル画像３１，３３，３５に対してそれぞれ書き込む。なお、図３の例では、タイル画像３１は縦×横の画素数がｌ×ｌのサイズのタイル画像、タイル画像３３はｍ×ｍのサイズのタイル画像、タイル画像３５はｎ×ｎのサイズのタイル画像であるとする。これらｌ，ｍ，ｎは、ｌ＜ｍ＜ｎである。
【００３２】
次に、テストパターン生成部６は、前述した大きさ別に、各タイル画像を繰り返し敷き詰めてそれぞれ画像プレーンを作成する。具体的には、テストパターン生成部６は、タイル画像３１を繰り返し敷き詰めた画像プレーン３２と、タイル画像３３を繰り返し敷き詰めた画像プレーン３４と、タイル画像３５を繰り返し敷き詰めた画像プレーン３６との、三つの画像プレーンを作成する。そして、テストパターン生成部６は、それら三つの画像プレーン３２，３４，３６を加算処理３８により加算して一つに重ね合わせた画像プレーンを、テストパターン３７として生成する。
【００３３】
＜テストパターン解析による位置検出方法＞
以下、テストパターン解析部１３による位置検出の原理について説明する。本実施形態において、図３で説明したテストパターン３７の生成の際に使用された三つのタイル画像３１，３３，３５の位相関係は予め判っている。このため、テストパターン解析部１３は、撮影画像から検出されたテストパターンについて、それら三つのタイル画像３１，３３，３５の位相関係を満足するオフセット値を求め、そのオフセット値を基に座標位置を検出する。
【００３４】
図４は、テストパターン解析部１３による位置検出処理の流れを示すフローチャートである。図４のフローチャートに示した処理は、ハードウェア構成としての図１のテストパターン解析部１３により実現されてもよいし、本実施形態に係るプログラムをＣＰＵ等で実行することにより実現されてもよい。このプログラムは、不図示のＲＯＭ等に予め用意されていてもよく、不図示の記録媒体から読み出されてもよく、インターネット等を介してダウンロードされてＲＡＭ等にロードされてもよい。図４のフローチャートの処理は、有効判定部１５によりテストパターンが有効テストパターンであると判定されて、歪み補正制御部１６からテストパターン解析の実行指示がなされたことでスタートする。以下の説明では、フローチャートの各処理のステップＳ１００〜ステップＳ１０４をＳ１００〜Ｓ１０４と略記する。これ以降の他のフローチャートにおいても同様とする。
【００３５】
図４のフローチャートの処理がスタートすると、Ｓ１００の処理として、テストパターン解析部１３は、差分抽出部１２より供給された撮影画像の差分画像から、部分画像を切り出す。一例として、テストパターン解析部１３は、座標を検出したい位置、例えば差分画像の四隅から、予め決めた大きさの部分画像を切り出す。次に、テストパターン解析部１３は、Ｓ１０１の処理として、ＦＦＴ（高速フーリエ変換）等のアルゴリズムを用いて、部分画像の空間周波数成分を求める。Ｓ１０１の処理後、テストパターン解析部１３は、Ｓ１０２に処理を進める。
【００３６】
Ｓ１０２では、テストパターン解析部１３は、部分画像の空間周波数成分と、前述したタイル画像３１，３３，３５について予め算出済みの空間周波数成分との間の、相互相関を求める。Ｓ１０２の処理後、テストパターン解析部１３は、Ｓ１０３に処理を進める。Ｓ１０３では、テストパターン解析部１３は、Ｓ１０２で求めた相互相関の値から、３つのタイル画像３１，３３，３５の位相関係を計算する。Ｓ１０３の処理後、テストパターン解析部１３は、Ｓ１０４に処理を進める。Ｓ１０４では、テストパターン解析部１３は、Ｓ１０３で求めた位相関係を満足するオフセット値を求めることにより、座標位置を算出する。なお、オフセット値は、例えばいわゆる「中国の剰余定理」を使用することで算出可能である。
【００３７】
＜テストパターンの有効判定の仕組み＞
以下、図５〜図７を参照しながら、有効判定部１５にて行われるテストパターンの有効判定処理について説明する。本実施形態の場合、有効判定部１５は、撮影画像から抽出された画像成分（差分画像）が、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるはずの画像成分であるか否かを判定する。そして、有効判定部１５は、テストパターンを含む投射表示映像の撮影が成功したときに抽出される画像成分であると判定できたときにのみ、その撮影画像のテストパターンは有効テストパターンであると判定する。例えば、有効判定部１５には、テストパターンを含む投射表示映像の撮影が成功したときに抽出されるはずの画像成分として、差分画像内に設定した検出ウインドウ内の画素値の積分値を求める。検出ウインドウの積分値は、その検出ウインドウ内におけるテストパターンの点状の図形の密度に相当する。そして、有効判定部１５は、その検出ウインドウ内の積分値が、予め決めた所定の閾値範囲内であるか否かを判定し、所定の閾値範囲内である場合にのみ、テストパターンが有効テストパターンであると判定する。このときの所定の閾値範囲は、テストパターンを含む投射表示映像の撮影が成功したときの検出ウインドウ内のテストパターンの点状の図形の密度に応じた閾値範囲として、予め決められている。
【００３８】
より具体的に説明すると、カメラ１１によりスクリーン２の投射表示映像を正常に撮影できた場合、差分抽出部１２で求められた差分画像にはテストパターンの画像成分のみが含まれていることになる。またこのときの差分画像の検出ウインドウ内の画素値の積分値は、投射表示映像を正常に撮影できた場合の撮影画像に含まれているテストパターンの点状の図形の密度に応じた値になっているはずである。これに対し、外乱等によりカメラ１１による撮影が失敗した場合、差分画像にはコンテンツ映像等のテストパターン以外の画像成分が含まれることになる。この場合、差分画像の検出ウインドウの積分値は、投射表示映像を正常に撮影できた場合のテストパターンの点状の図形の密度に応じた値とは異なる値になっている可能性が高い。したがって、外乱等により撮影が失敗した場合の差分画像の検出ウインドウにおける積分値は、撮影が成功したときの検出ウインドウ内のテストパターンの点状の図形の密度に応じた所定の閾値範囲からは外れている可能性が高い。このようなことから、有効判定部１５は、差分画像の検出ウインドウ内の画素値の積分値と、所定の閾値範囲とを比較することで、テストパターンが有効テストパターンであるか否かの判定を行っている。
【００３９】
図５は、有効判定部１５の内部構成例を示す図である。
図５の有効判定部１５において、ウインドウ制御部５０は、検出ウインドウを設定して、差分画像の画素が検出ウインドウの画像領域内の画素であるか否か判定する。具体的には、ウインドウ制御部５０は、例えば歪み補正制御部１６からカメラ１１の同期信号や水平・垂直カウンタの値を取得しており、それらを基に、差分画像の画素が検出ウインドウの画像領域内の画素であるかどうかを判定する。そして、ウインドウ制御部５０は、検出ウインドウの画像領域内の画素であると判定した画素値を積分するように積分部５１に指示を送る。
【００４０】
積分部５１は、ウインドウ制御部５０からの積分指示に基づいて、検出ウインドウの画像領域内の各画素を積分（積算）し、その積分値を閾値判定部５２に送る。閾値判定部５２は、積分値と所定の閾値範囲とを比較することにより、テストパターンが有効テストパターンであるか否かを判定する。具体的には、閾値判定部５２は、検出ウインドウの画像領域内の画素値の積分値が、所定の閾値範囲内である場合にはテストパターンは有効テストパターンであると判定し、所定の閾値範囲から外れる場合にはテストパターンは無効テストパターンであると判定する。この閾値判定部５２の判定結果の信号は、図１の歪み補正制御部１６に送られる。
【００４１】
図６は、検出ウインドウの設定例の説明図である。図６に示す画像６０は、差分抽出部１２により撮影画像から生成された差分画像であり、ウインドウ制御部５０は、例えばその中央の位置に検出ウインドウ６１を設定する。なお、検出ウインドウ６１の領域は、差分画像内の任意の位置に設定可能である。
【００４２】
図７は、所定の閾値範囲の設定例の説明図である。図７に示すように、所定の閾値範囲は、積分値に対する上限閾値（ＴＨ＿ＨＩＧＨ）７１と下限閾値（ＴＨ＿ＬＯＷ）７２とからなる。閾値判定部５２は、検出ウインドウの画像領域内の積分値７０（前述した密度）が、上限閾値７１と下限閾値７２の間の範囲内である場合に、テストパターンは有効テストパターンであると判定する。
【００４３】
なお、有効判定部１５は、例えば検出ウインドウ６１内の点状の図形を計数し、その数が所定の閾値範囲内であるか否かにより有効判定を行ってもよい。この場合の所定の閾値範囲は、検出ウインドウ内のテストパターンにおける点状の図形の数に応じた密度の閾値範囲として、予め決められているとする。検出ウインドウ６１内の点状の図形の数を用いた有効判定の詳細については、後述する第２の実施形態において説明する。
【００４４】
＜第１の実施形態における歪み補正の制御の流れ＞
図８は、本実施形態の液晶プロジェクタにおいて、歪み補正を行う場合の一連の制御の流れを示すフローチャートである。図８のフローチャートに示した処理は、ハードウェア構成により実現されてもよいし、本実施形態に係るプログラムをＣＰＵ等で実行することにより実現されてもよい。本実施形態に係るプログラムは、不図示のＲＯＭ等に予め用意されていてもよく、不図示の記録媒体から読み出されてもよく、インターネット等を介してダウンロードされてＲＡＭ等にロードされてもよい。図８のフローチャートの処理は、例えば、前述した画像データの８フレーム毎に行われる。
【００４５】
図８の制御処理がスタートすると、Ｓ１１０の処理として、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能をオンにし、前述した画像データの８フレーム毎にテストパターンの重畳処理を行わせる。これにより、画像データの８フレーム毎に、前述したテストパターン加算画像とテストパターン減算画像がスクリーン２に交互に投射表示されることになる。Ｓ１１０の後、液晶プロジェクタの処理は、カメラ１１により行われるＳ１１１に進む。
【００４６】
Ｓ１１１では、カメラ１１は、歪み補正制御部１６による撮影動作制御の下、前述したテストパターン加算画像とテストパターン減算画像の各投射表示映像を撮影する。そして、カメラ１１は、それらテストパターン加算画像とテストパターン減算画像の撮影画像を差分抽出部１２に送る。Ｓ１１１の後、液晶プロジェクタの処理は、差分抽出部１２にて行われるＳ１１２に進む。
【００４７】
Ｓ１１２では、差分抽出部１２は、カメラ１１から供給されたテストパターン加算画像とテストパターン減算画像の二つの撮影画像の差分画像を生成する。そして、差分抽出部１２は、その差分画像のデータをテストパターン解析部１３と有効判定部１５に送る。Ｓ１１２の後、液晶プロジェクタの処理は、有効判定部１５にて行われるＳ１１３に進む。
【００４８】
Ｓ１１３では、有効判定部１５は、差分画像に対し、前述した検出ウインドウを設定し、次のＳ１１４において、その検出ウインドウ内の画素値の積分値が所定の閾値範囲内か否かにより、テストパターンが有効テストパターンであるかどうかを判定する。そして、有効判定部１５は、その判定結果を歪み補正制御部１６に送る。またこのとき、歪み補正制御部１６は、有効判定部１５による判定結果に応じて、液晶プロジェクタにおける処理を分岐させる。具体的には、歪み補正制御部１６は、Ｓ１１４において有効判定部１５によりテストパターンが有効テストパターンであると判定された場合には、テストパターン解析部１３にて行われるＳ１１５に処理を分岐させる。一方、歪み補正制御部１６は、Ｓ１１４において有効判定部１５によりテストパターンが無効テストパターンであると判定された場合には、Ｓ１１０のブレンド部７によるテストパターンの重畳処理に戻す。したがって、この場合、テストパターン解析部１３によるテストパターン解析処理は実行されないことになる。
【００４９】
Ｓ１１５の処理に進んだ場合、テストパターン解析部１３は、差分抽出部１２から供給された差分画像を用いてテストパターンの解析処理を実行する。このＳ１１５におけるテストパターンの解析処理は、前述した図４のフローチャートに示した位置検出の処理である。Ｓ１１５の後、テストパターン解析部１３は、Ｓ１１６に処理を進める。
【００５０】
Ｓ１１６では、テストパターン解析部１３は、Ｓ１１５で検出した位置座標が有効な座標であるかどうかを判定する。具体的には、テストパターン解析部１３は、Ｓ１１５で検出した位置座標が投射表示映像における位置座標として存在し得ない位置であった場合には、その位置座標は無効な座標であると判定し、それ以外は有効な座標であると判定する。そして、Ｓ１１５において位置座標が有効な座標であると判定した場合、テストパターン解析部１３は、検出した座標位置を補正パラメータ作成部１４に送り、液晶プロジェクタの処理は、補正パラメータ作成部１４にて行われるＳ１１７に進む。一方、Ｓ１１５において位置座標が無効な座標であると判定した場合、テストパターン解析部１３は、その判定結果を歪み補正制御部１６に送る。位置座標が無効な座標であるとの判定結果を受けた歪み補正制御部１６は、Ｓ１１０のブレンド部７によるテストパターンの重畳処理に戻す。
【００５１】
Ｓ１１７の処理に進んだ場合、補正パラメータ作成部１４は、テストパターン解析部１３から受け取った位置座標を用いて前述した補正パラメータを算出する。Ｓ１１７の後、補正パラメータ作成部１４は、Ｓ１１８に処理を進める。Ｓ１１８では、補正パラメータ作成部１４は、Ｓ１１７で算出した補正パラメータを歪み補正部８に設定する。これにより、歪み補正部８では、補正パラメータに基づく歪み補正処理が行われることになる。Ｓ１１８の後、液晶プロジェクタにおける図８のフローチャートの処理は終了する。
【００５２】
以上のように、本実施形態の液晶プロジェクタでは、画像データの８フレーム毎に、コンテンツ映像にテストパターンを重畳して投射表示し、その撮影画像から検出されたテストパターンが有効テストパターンである場合にのみ、テストパターン解析が行われる。
【００５３】
＜歪み補正が行われる場合の第１の動作例＞
以下、図９に示すタイミングチャートを用いて、歪み補正処理が行われる際の動作例について説明する。本実施形態では、前述したように倍速フレームレートの画像データの８フレーム毎に、テストパターンの重畳と撮影、その撮影画像からテストパターンの抽出と有効判定処理、有効判定結果に応じた歪み補正処理を行っている。図９のタイミングチャートでは、補正処理Ｈ１，Ｈ２がそれら一連の補正処理のシーケンスを表している。
【００５４】
また、図９のタイミングチャートにおいて、Ｖｓｙｎｃ８０は、表示制御部９により表示パネル１０の表示駆動制御を行う際の垂直同期信号である。フレーム識別信号８１は、前述した二度出しされる同じ二つの画像フレームを識別するための信号であり、レベルＬが二度出しされる一枚目の画像フレームを示し、レベルＨが二枚目の画像フレームを示している。図９のタイミングチャートでは、Ｖｓｙｎｃ８０のタイミング８７で補正処理Ｈ１のシーケンスが開始され、８フレーム後のタイミング８９で補正処理（補正処理Ｈ２）のシーケンスが再び開始される例を示している。表示画像データ８２は、表示パネル１０に表示される画像のデータであり、８フレーム毎に、テストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇが表示される。シャッター信号８３は、カメラ１１が投射表示映像を撮影する際にシャッターを開けるタイミングを示す信号であり、歪み補正制御部１６からカメラ１１に送られる。シャッター信号８３は、表示パネル１０において８フレーム毎にテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇが表示されるタイミングに合わせて、カメラ１１のシャッターを開くようなタイミングの信号となされている。撮影画像データ８４は、カメラ１１により撮影された画像データである。本実施形態の場合、カメラ１１は８フレーム毎にテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの投射表示映像を撮影するため、撮影画像データ８４は、８フレーム毎のタイミングでカメラ１１から出力される。有効判定結果信号８５は、有効判定部１５の有効判定結果を示す信号である。有効判定部１５は、無効テストパターンと判定された場合には無効信号（Ｉｎｖａｌｉｄ）８８を出力し、有効テストパターンと判定された場合には有効信号（Ｖａｌｉｄ）９０を出力する。位置検出・補正信号８６は、テストパターン解析部１３によるテストパターン解析処理、及び、歪み補正部８による歪み補正処理の実行期間９１を表す信号である。
【００５５】
ここで、図９の撮影画像データ８４の例の場合、補正処理Ｈ１ではテストパターン加算画像Ｐｏｓの撮影が成功し、テストパターン減算画像Ｎｅｇの撮影が外乱等により失敗（ＮＧ）しているとする。この場合、有効判定部１５は、有効判定結果信号８５として無効信号８８を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定部１５から無効信号８８を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させないように制御する。このように、補正処理Ｈ１のシーケンスでは、テストパターン解析部１３によるテストパターン解析処理は実行されず、またこの場合、歪み補正部８による歪み補正処理も実行されないことになる。
【００５６】
補正処理Ｈ１の８フレーム後に再び行われる補正処理Ｈ２のシーケンスでは、テストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの両方とも撮影が成功したとする。この場合、有効判定部１５は、有効判定結果信号８５として、有効テストパターンであることを示す有効信号９０を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定部１５から有効信号９０を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させるように制御する。したがって、補正処理Ｈ２のシーケンスでは、テストパターン解析部１３によるテストパターン解析処理と歪み補正部８による歪み補正処理とが、実行期間９１において実行される。
【００５７】
本実施形態では、上述したようにテストパターンが、有効テストパターンである場合にのみテストパターン解析処理と歪み補正処理が行われ、無効テストパターンである場合にはテストパターンの解析処理と歪み補正処理は行われない。このように、本実施形態によれば、無効テストパターンと判定された場合には、電力消費が大きいテストパターン解析処理等が行われないため、消費電力を減らすことができる。
【００５８】
＜歪み補正が行われる場合の第２の動作例＞
前述した第１の動作例では、補正処理Ｈ１のシーケンスでテストパターンが無効テストパターンであると判定された場合、歪み補正制御部１６は、補正処理Ｈ１のシーケンスの８フレームが終わってから、次の補正処理Ｈ２のシーケンスに移行させている。これに対し、第２の動作例の場合、歪み補正制御部１６は、補正処理Ｈ１のシーケンスでテストパターンが無効テストパターンであると判定された場合、８フレームが終わるのを待たずに、即座に次の補正処理Ｈ２のシーケンスを開始する。
【００５９】
図１０は、補正処理Ｈ１のシーケンスでテストパターンが無効テストパターンであると判定された場合に、即座に次の補正処理Ｈ２のシーケンスを実行する第２の動作例のタイミングチャートである。図１０のタイミングチャートには、Ｖｓｙｎｃ８０、フレーム識別信号８１、表示画像データ８２、シャッター信号８３、撮影画像データ８４、有効判定結果信号８５、位置検出・補正信号８６が示されている。
【００６０】
図１０のタイミングチャートでは、補正処理Ｈ１のシーケンスにおいてテストパターン加算画像Ｐｏｓの撮影が成功し、テストパターン減算画像Ｎｅｇの撮影が外乱等により失敗（ＮＧ）しているとする。この場合、有効判定部１５は、有効判定結果信号８５として無効テストパターンであることを示す無効信号８８を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定結果信号８５として無効信号８８を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させないように制御する。
【００６１】
ここで、第２の動作例の場合、歪み補正制御部１６は、有効判定結果信号８５として無効信号８８を受け取った場合、直ちにリトライ（Ｒｅｔｒｙ）信号をブレンド部７に送り、補正処理Ｈ２のシーケンスの処理を開始する。リトライ信号を受け取ったブレンド部７は、補正処理Ｈ２のシーケンスの開始タイミング９２に合わせて、前述した二度出し処理による同じ二つの画像フレームからテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇを生成する重畳処理を実行する。また、歪み補正制御部１６は、表示パネル１０においてテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇが表示されるタイミングに合わせて、カメラ１１のシャッターを開かせるシャッター信号８３をカメラ１１に送る。これにより、カメラ１１からは補正処理Ｈ２のシーケンスにおける撮影画像データ８４が出力される。
【００６２】
図１０の撮影画像データ８４の場合、補正処理Ｈ２のシーケンスにおいてテストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの両方とも撮影が成功したとする。この場合、有効判定部１５は、有効判定結果信号８５として、有効テストパターンであることを示す有効信号９３を歪み補正制御部１６に出力する。歪み補正制御部１６は、有効判定部１５から有効信号９３を受け取った場合、テストパターン解析部１３によるテストパターン解析処理を実行させるように制御する。したがって、補正処理Ｈ２のシーケンスでは、テストパターン解析部１３によるテストパターン解析処理と歪み補正部８による歪み補正処理とが、実行期間９４において実行される。
【００６３】
そして、図１０の例の場合、補正処理Ｈ２のシーケンスにおける８フレーム後の次の補正処理Ｈ３のシーケンスでは、テストパターン加算画像Ｐｏｓとテストパターン減算画像Ｎｅｇの両方とも撮影が成功したとする。補正処理Ｈ３のシーケンスでは、補正処理Ｈ２のシーケンスと同様に、有効判定部１５の有効判定処理により有効信号が歪み補正制御部１６に出力され、歪み補正制御部１６は、テストパターン解析部１３によるテストパターン解析処理を実行させる。
【００６４】
上述したように第２の動作例の場合、テストパターンが無効と判定された場合には即座に次の補正処理のシーケンスに移行することにより、テストパターン解析処理から歪み補正処理までの各処理が完了するまでの時間を短縮することができる。
【００６５】
以上説明したように第１の実施形態によれば、有効テストパターンが検出された場合にのみ、複雑なテストパターン解析処理を動作させることで、消費電力を低減することができる。また、第２の動作例では、無効テストパターンが検出された場合には、次の補正処理のシーケンスを即座に開始することが可能なので、歪み補正が完了するまでの時間を短縮することができる。
【００６６】
なお、前述した実施形態では、テストパターンとしてランダムに配置される点状の図形のパターンを使用した例を挙げたが、テストパターンはこの例に限定されず、また、歪みの検出アルゴリズムについても前述した例に限定されない。例えば、テストパターンは、升目形状や十字形状等の幾何形状のパターンであってもよい。幾何形状のテストパターンを用いた場合、撮影画像から検出したテストパターンの画像成分として、例えば直線部分をハフ変換等により検出し、その検出した直線の歪み具合から投射表示映像の歪みを検出するような検出アルゴリズムを用いることができる。テストパターンの画像成分としの直線成分は、例えばエッジ検出により検出してもよい。また例えば、テストパターンが十字形状の場合、十字形状は「二つの直線が交点を持つ」という特性を有する。このため、画像成分として直線状に繋がっている点を追尾して二つの直線を検出し、その直線について直線近似により直線の方程式を求め、その方程式から二つの直線の交点を求めて、交点があれば有効なテストパターンであると判定するようなことも可能である。また、テストパターンが升目形状の場合、升目形状は所定の周期性を有する図形であると考えられる。このため、画像成分から升目形状の周期性を検出し、その周期性が閾値範囲内である場合に、有効テストパターンであると判定するようなことが可能である。升目形状の周期性は、例えばＦＦＴ等の周波数変換演算により求めることができる。
【００６７】
また、テストパターンが例えば何らかの規則性を有するパターンである場合、その規則を満たしているか否かでテストパターンの有効判定を行うことができる。例えば、撮影画像から抽出したテストパターンの各画素から求めた分散値が所定の範囲内か否か、テストパターンを構成する点状の図形の分布が特定の関数形状の分布を有しているか否かなどにより、有効判定を行うことができる。その他にも、テストパターンを構成している点状の図形の色を可変にし、撮影画像から検出されたテストパターンの色分布と所定の色分布範囲との比較により有効判定を行うことも可能である。
【００６８】
また、前述の例では、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能のオン／オフ制御を８フレーム毎に行っていたが、例えば、所定時間間隔おき、例えば数秒おきに重畳処理機能をオンに制御するようにしてもよい。すなわち、歪み補正制御部１６は、所定時間間隔（数秒）おきに重畳処理機能をオンに制御して前述した補正処理のシーケンスを１シーケンスだけ行うようにし、それ以外では重畳処理機能をオフに制御する。本実施形態の場合、テストパターンはユーザから不可視となるように表示されるが、コンテンツ映像にテストパターンを重畳した場合には、僅かではあるが画質にテストパターンの影響が及んで画質が低下することがある。したがって、重畳処理機能を所定時間間隔（数秒）おきにオンする場合以外はオフにしておくことにより、テストパターンにより画質が低下する期間を少なくすることができる。
【００６９】
＜第２の実施形態＞
前述の第１の実施形態では、テストパターンは一種類のみを用いる例を挙げたが、テストパターン生成部６において複数種類のテストパターンを用意又は生成し、補正処理のシーケンスが変わる毎に、使用するテストパターンを切り換えてもよい。また、テストパターンの切り換えは、補正処理のシーケンスでテストパターンが無効テストパターンと判定されて、次の補正処理のシーケンスに移行した際に行われてもよい。
【００７０】
以下の第２の実施形態では、補正処理のシーケンスでテストパターンが無効テストパターンと判定されて、次の補正処理のシーケンスに移行した際にテストパターンを切り換える例について説明する。第２の実施形態では、テストパターンが無効テストパターンであると判定されて次の補正処理のシーケンスに移行する毎に、ランダムに配置される点状の図形の密度が徐々に高くなるテストパターンへ切り換える例を挙げる。
【００７１】
図１１は、第２の実施形態の液晶プロジェクタ１の概略的な内部構成例を示す図である。図１１の液晶プロジェクタ１において、図１の構成と同様の構成には同じ参照番号を付してその説明は省略する。前述の図１の構成と比較すると、図１１の液晶プロジェクタは、テストパターン生成部１３０の処理及び有効判定部１３２の処理が異なり、また、歪み補正制御部１６からテストパターン生成部１３０への制御線が設けられている。
【００７２】
＜密度が異なるテストパターン例＞
図１１のテストパターン生成部１３０は、歪み補正制御部１６による制御の下、補正処理のシーケンスが変わる毎に、使用するテストパターンを生成、又は、予め用意された複数のテストパターンの中から一つを選択可能となされている。図１２（ａ）〜図１２（ｃ）は、第２の実施形態において、補正処理のシーケンスが変わる毎に、テストパターン生成部１３０が生成又は選択するテストパターンにおける点状の図形のパターン例を示す図である。
【００７３】
第２の実施形態の場合のテストパターンは、第１の実施形態で説明したようなランダム配置される複数の点状の図形からなるパターンであるとする。第２の実施形態の場合、テストパターン生成部１３０は、概ね前述の第１の実施形態のテストパターン生成部６と同様にして、テストパターンを生成する。すなわち、テストパターン生成部１３０は、点状の複数の図形がランダムに配置されたパターンを三つのタイル画像に書き込み、それら大きさ別に各タイル画像を繰り返し敷き詰めて作成した三つの画像プレーンを加算してテストパターンを生成する。
【００７４】
ここで、テストパターン生成部１３０は、１回目の補正処理のシーケンスでは、図１２（ａ）に示すパターン１２０を三つのタイル画像に書き込んでテストパターンを生成する。そして、有効判定部１３２において、１回目の補正処理のシーケンスで撮影画像から抽出されたテストパターンが無効テストパターンであると判定された場合、歪み補正制御部１６は、２回目の補正処理のシーケンスを開始させる。なお、有効判定部１３２における有効判定処理の詳細は後述する。
【００７５】
２回目の補正処理のシーケンスでは、テストパターン生成部１３０は、図１２（ｂ）に示すパターン１２１を三つのタイル画像に書き込んでテストパターンを生成する。図１２（ｂ）のパターン１２１は、図１２（ａ）のパターン１２０よりも点状の図形の密度が高いパターンとなされている。この図１２（ｂ）のように点状の図形の密度が高いパターン１２１は、図１２（ａ）のパターン１２０よりも、テストパターンの検出率が高くなるパターンであると考えられる。２回目の補正処理のシーケンスで撮影画像から抽出されたテストパターンが無効テストパターンと判定された場合、歪み補正制御部１６は、更に３回目の補正処理のシーケンスを開始させる。
【００７６】
３回目の補正処理のシーケンスでは、テストパターン生成部１３０は、図１２（ｃ）に示すパターン１２２を三つのタイル画像に書き込んでテストパターンを生成する。図１２（ｃ）のパターン１２２は、図１２（ｂ）のパターン１２１よりも点状の図形の密度が高いパターンとなされている。この図１２（ｃ）のように点状の図形の密度が高いパターン１２２は、図１２（ｂ）のパターン１２１よりも、テストパターンの検出率が高くなるパターンであると考えられる。
【００７７】
このように、第２の実施形態の場合、テストパターンが無効テストパターンであると判定されて次の補正処理のシーケンスに移行する毎に、点状の図形の密度が徐々に高くなるテストパターンへの切り換えがなされる。すなわち、第２の実施形態によれば、補正処理のシーケンスが移行する毎に、徐々に検出率が高くなるテストパターンへの切り換えがなされるため、有効テストパターンが検出され易くなる。これにより、第２の実施形態では、歪み補正が確実に行われるようになる。
【００７８】
＜第２の実施形態における有効判定処理＞
図１１の液晶プロジェクタにおいて、有効判定部１３２は、撮影画像から抽出されたテストパターンの有効判定処理を行う際、前述の図６に示した検出ウインドウ６１に含まれる点状の図形を計数する。そして、有効判定部１３２は、その数が、検出ウインドウ内のテストパターンにおける点状の図形の数に応じて予め決められた密度の閾値範囲内に入っているか否かを判定することにより、テストパターンの有効判定を行う。
【００７９】
図１３は、有効判定部１３２の内部構成例を示す図である。
図１３の有効判定部１３２において、前処理部１４０は、差分抽出部１２から供給された差分画像に対して前述の検出ウインドウ６１を設定し、その検出ウインドウ６１内の差分画像から点状の図形を計数するための前処理を行う。具体的には、前処理部１４０は、先ず、検出ウインドウ６１内の差分画像から孤立点を除去する処理を行うことで、ノイズによる点画素を除去する。更に、前処理部１４０は、検出ウインドウ６１内の画像に対して収縮処理を行い、複数画素により形成されていてある程度の面積を有している各点状の図形を、それぞれ１画素の点に収縮させる。前処理部１４０による前処理後の検出ウインドウ６１の差分画像のデータは、計数部１４１に送られる。
【００８０】
計数部１４１は、カウンタからなり、前処理部１４０により各点状の図形が１画素に収縮された各点の数をカウントすることにより計数する。計数部１４１による計数データは、閾値判定部１４２に送られる。閾値判定部１４２は、計数部１４１により計数された点の数が、テストパターン生成部６で生成された元々のテストパターンにおける検出ウインドウ内の点の数に応じて決められている密度の閾値範囲内に入っているか否かを判定する。そして、閾値判定部１４２は、計数部１４１により計数された点の数が閾値範囲内に入っている場合に有効テストパターンであると判定し、一方、閾値範囲外である場合には無効テストパターンであると判定し、その判定結果を歪み補正制御部１６に送る。
【００８１】
なお、有効判定部１３２は、前述した図１の有効判定部１５と同様に、検出ウインドウ６１内の画素値を積分して、その積分値が所定の閾値範囲内であるか否かにより、テストパターンが有効テストパターンか否かを判定してもよい。
【００８２】
＜第２の実施形態における歪み補正の制御の流れ＞
図１４は、第２の実施形態の液晶プロジェクタにおいて、歪み補正を行う場合の一連の制御の流れを示すフローチャートである。図１４のフローチャートに示した処理は、ハードウェア構成により実現されてもよいし、本実施形態に係るプログラムをＣＰＵ等で実行することにより実現されてもよい。本実施形態に係るプログラムは、不図示のＲＯＭ等に予め用意されていてもよく、不図示の記録媒体から読み出されてもよく、インターネット等を介してダウンロードされてＲＡＭ等にロードされてもよい。図１４のフローチャートの処理は、例えば、前述した第１の実施形態の例と同様に、画像データの８フレーム毎に行われる。
【００８３】
図１４の制御処理がスタートすると、Ｓ２００の処理として、歪み補正制御部１６は、ブレンド部７におけるテストパターンの重畳処理機能をオンにし、前述した画像データの８フレーム毎にテストパターンの重畳処理を行わせる。ここで、１回目の補正処理のシーケンスである場合には例えば前述した図１２（ａ）のパターン１２０を用いて生成されたテストパターンの重畳処理が行われる。これにより、画像データの８フレーム毎に、前述したようなテストパターン加算画像とテストパターン減算画像がスクリーン２に投射表示されることになる。Ｓ２００の後、液晶プロジェクタの処理は、カメラ１１により行われるＳ２０１に進む。
【００８４】
Ｓ２０１では、カメラ１１は、歪み補正制御部１６による撮影動作制御の下、前述したテストパターン加算画像とテストパターン減算画像の各投射表示映像を撮影する。そして、カメラ１１は、それらテストパターン加算画像とテストパターン減算画像の撮影画像を差分抽出部１２に送る。Ｓ２０１の後、液晶プロジェクタの処理は、差分抽出部１２にて行われるＳ２０２に進む。
【００８５】
Ｓ２０２では、差分抽出部１２は、カメラ１１から供給されたテストパターン加算画像とテストパターン減算画像の二つの撮影画像の差分画像を生成する。そして、差分抽出部１２は、その差分画像のデータをテストパターン解析部１３と有効判定部１３２に送る。Ｓ２０２の後、液晶プロジェクタの処理は、有効判定部１３２にて行われるＳ２０３に進む。
【００８６】
Ｓ２０３では、有効判定部１３２は、差分画像に対して検出ウインドウを設定し、次のＳ２０４において、前述したように検出ウインドウ内の点を計数して所定の閾値範囲内か否かを判定することにより、テストパターンが有効テストパターンか否かを判定する。そして、有効判定部１３２は、その判定結果を歪み補正制御部１６に送る。このときの歪み補正制御部１６は、有効判定部１３２による判定結果に応じて、液晶プロジェクタにおける処理を分岐させる。具体的には、歪み補正制御部１６は、有効判定部１３２から有効テストパターンであるとの判定結果を受け取った場合には、テストパターン解析部１３にて行われるＳ２０５に処理を分岐させる。一方、歪み補正制御部１６は、有効判定部１５から無効テストパターンであるとの判定結果を受け取った場合には、次の補正処理のシーケンスへ移行させ、テストパターン生成部１３０を制御してＳ２０９でテストパターンの切り換え（変更）を行わせる。
【００８７】
Ｓ２０９において、歪み補正制御部１６が移行させた補正処理のシーケンスが２回目の補正処理のシーケンスである場合、テストパターン生成部１３０は、前述した図１２（ｂ）のパターン１２１を用いてテストパターンを生成する。このＳ２０９の後、歪み補正制御部１６は、Ｓ２００に処理を戻し、２回目の補正処理のシーケンスに移行させる。なお、２回目の補正処理のシーケンスにおいて、Ｓ２０４で無効テストパターンであるとの判定結果が得られてＳ２０９に進んだ場合、テストパターン生成部１３０では、図１２（ｃ）のパターン１２２を用いたテストパターンの生成が行われることになる。
【００８８】
また、Ｓ２０４からＳ２０５の処理に進んだ場合、テストパターン解析部１３は、差分抽出部１２から供給された差分画像を用いて、前述した図８のＳ１１５と同様に、テストパターンの解析処理を実行する。Ｓ２０５の後、テストパターン解析部１３は、Ｓ２０６に処理を進める。
【００８９】
Ｓ２０６では、テストパターン解析部１３は、前述した図８のＳ１１６と同様に、Ｓ２０５で検出した位置座標が有効な座標であるかどうかを判定する。そして、Ｓ２０６において位置座標が有効な座標であると判定した場合、テストパターン解析部１３は、検出した座標位置を補正パラメータ作成部１４に送り、補正パラメータ作成部１４にて行われるＳ２０７の処理に移行させる。一方、Ｓ２０６において位置座標が無効な座標であると判定した場合、テストパターン解析部１３は、その判定結果を歪み補正制御部１６に送る。位置座標が無効な座標であるとの判定結果を受けた歪み補正制御部１６は、次の補正処理のシーケンスへ移行させ、テストパターン生成部１３０を制御してＳ２０９でテストパターンの切り換えを行わせる。
【００９０】
Ｓ２０７の処理に進んだ場合、補正パラメータ作成部１４は、テストパターン解析部１３から受け取った位置座標を用いて前述した補正パラメータを算出する。Ｓ２０７の後、補正パラメータ作成部１４は、Ｓ２０８に処理を進める。Ｓ２０８では、補正パラメータ作成部１４は、Ｓ２０７で算出した補正パラメータを歪み補正部８に設定する。これにより、歪み補正部８では、補正パラメータに基づく歪み補正処理が行われることになる。Ｓ２０８の後、液晶プロジェクタにおける図１４のフローチャートの処理は終了する。
【００９１】
以上のように、第２の実施形態の液晶プロジェクタでは、第１の実施形態の場合と同様に、有効テストパターンである場合にのみ、テストパターン解析が行われるため、無効テストパターンと判定された場合には消費電力を減らすことができる。更に、第２の実施形態の場合、無効テストパターンと判定される毎に、前述の図１２（ａ）〜図１２（ｃ）のように点状の図形の密度が徐々に高くなるパターンを用いたテストパターンへの切り換えが行われる。このように、第２の実施形態では、点状の図形の密度が徐々に高くなるテストパターン、つまり検出率が高くなるテストパターンへの切り換えを行うことで、テストパターンが有効と判定されまでの補正処理のシーケンスの回数を減らすことができる。
【００９２】
なお、第２の実施形態においても、前述の第１の実施形態で説明した歪み補正が行われる場合の第１の動作例だけでなく、第２の動作例を適用することが可能である。また、第２の実施形態においても、前述の第１の実施形態で説明したのと同様に、テストパターンは、升目や十字型等の幾何形状のパターン、何らかの規則性を有するパターン、色が可変されるパターンであってもよい。これらのテストパターンの検出アルゴリズムについても第１の実施形態と同様のものを用いることができる。さらに、第２の実施形態においても、前述した第１の実施形態と同様に、ブレンド部７におけるテストパターンの重畳処理機能のオン／オフ制御は、数秒おきにオン制御されてもよい。
【００９３】
また、前述の図１２（ａ）〜図１２（ｃ）の例では点状の図形の密度が徐々に高くなるパターンを例に挙げたが、点状の図形のサイズやドット径が徐々に大きくなるようなパターンを用いてテストパターンが生成されてもよい。点状の図形のサイズやドット径が徐々に大きくなるパターンを用いれば、検出率が徐々に高くなるテストパターンの生成が可能となる。その他にも、テストパターンの輝度を徐々に高くするようにしてもよい。例えばスクリーン２に外光が差し込んでテストパターンのコントラストが落ちてしまうような場合、輝度が徐々に高くなるパターンを用いれば、テストパターンの検出率を高めることが可能となる。さらに、それら輝度、大きさ、ドット径、数、密度を合わせて変えるようにしたテストパターンが生成されてもよい。これらを合わせて変えたテストパターンを用いれば、検出率が変わるテストパターンの生成が可能となる。なお、テストパターンの切り換えの際には、前述した点状の図形からなるテストパターンから、前述した幾何形状のテストパターンのように異なる種類のテストパターンへの切り換えを行ってもよい。例えば、初回の補正処理のシーケンスは点状の図形からなるテストパターンを用い、次の補正処理のシーケンスでは幾何形状のテストパターンを用いるようにしてもよい。更に、それら幾何形状のテストパターンについても、前述同様にその図形の密度、輝度、サイズ等を変更することも可能である。
【００９４】
＜その他の実施形態＞
上述の実施形態では、液晶プロジェクタを例に挙げたが、例えばカメラ機能と投射型プロジェクタ機能とを備えたスマートフォンやタブレット端末等の携帯機器、投射型プロジェクタ機能を備えた各種のカメラであってもよい。
【００９５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９６】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９７】
１：プロジェクタ、２：スクリーン、３：映像入力部、４：画像処理部、５：倍速変換部、６，１３０：テストパターン生成部、７：ブレンド部、８：歪み補正部、９：表示制御部、１０：表示パネル、１１：カメラ、１２：差分抽出部、１３：テストパターン解析部、１４：補正パラメータ作成部、１５，１３２：有効判定部、１６：歪み補正制御部、５０：ウインドウ制御部、５１：積分部、５２，１４２：閾値判定部、１４０：前処理部、１４１：計数部
【図１】
2017212638.tif 000003
【図２】
2017212638.tif 000004
【図３】
2017212638.tif 000005
【図４】
2017212638.tif 000006
【図５】
2017212638.tif 000007
【図６】
2017212638.tif 000008
【図７】
2017212638.tif 000009
【図８】
2017212638.tif 000010
【図９】
2017212638.tif 000011
【図１０】
2017212638.tif 000012
【図１１】
2017212638.tif 000013
【図１２】
2017212638.tif 000014
【図１３】
2017212638.tif 000015
【図１４】
2017212638.tif 000016