(57)【要約】【課題】照射装置の照射点の検出の精度を高める。【解決手段】本発明の画像投影システムは、画像投影装置は、画像データを投影する際に、画像データに基づいて複数色のフィルタに時間単位で光を透過させる制御を行って所望の色調の画像データに対応した光を生成させる駆動制御部と、投影面付近に光点を発生させる光点装置の光点画像の色を設定する設定部と、複数色のフィルタのうち設定された光点画像の色に最も近い色の光が投影されていない期間を、画像データを撮影するタイミングとして指定した同期信号を情報処理装置へと送信する同期信号出力部と、を備え、情報処理装置は、同期信号において指定されたタイミングに従い、投影された画像データを撮影させる撮影制御部と、を備えることを特徴とする。【選択図】図３
2015043556.tif 000002
【特許請求の範囲】
【請求項１】
画像データを投影面に投影する画像投影装置と、前記画像投影装置と接続された情報処理装置と、を備える画像投影システムであって、
前記画像投影装置は、
前記画像データを投影する際に、前記画像データに基づいて複数色のフィルタに時間単位で光を透過させる制御を行って所望の色調の前記画像データに対応した光を生成させる駆動制御部と、
前記投影面付近に光点を発生させる光点装置の光点画像の色を設定する設定部と、
前記複数色のフィルタのうち設定された前記光点画像の色に最も近い色の光が投影されていない期間を、前記投影面を撮影するタイミングとして指定した同期信号を前記情報処理装置へと送信する同期信号出力部と、
を備え、
前記情報処理装置は、
前記画像投影装置から、前記同期信号を受信する受信部と、
前記同期信号において指定された前記タイミングに従い、前記投影面を撮影させる撮影制御部と、
前記撮像部で撮影された前記画像データから、前記光点装置が前記投影面付近に生成した光点を検出する光点画像像検出部と、
投影用画像データを前記画像投影装置へと送信する映像信号伝送部と、
を備えることを特徴とする画像投影システム。
【請求項２】
画像データを投影面に投影する画像投影装置と、前記画像投影装置と接続された情報処理装置と、を備える画像投影システムであって、
前記画像投影装置は、
前記画像データを投影する際に、前記画像データに基づいて複数色の光を投影し、液晶表示パネルを透過させる光の組み合わせで所望の色調の投影する光を生成させる駆動制御部と、
前記投影面付近の光点画像の光色を設定する設定部と、
光を投影しない期間を、前記投影面を撮影するタイミングとして指定した同期信号を前記情報処理装置へと送信する同期信号出力部と、
を備え、
前記情報処理装置は、
前記画像投影装置から、前記同期信号を受信する受信部と、
前記同期信号において指定された前記タイミングに従い、前記投影面を撮影させる撮影制御部と、
前記撮像部で撮影された前記画像データから、前記投影面付近の前記光点画像を検出する光点画像検出部と、
前記光点画像検出部で検出された前記光点画像の位置に応じて所定の画像が付加された投影用画像データを生成する光点画像生成部と、
前記投影用画像データを前記画像投影装置へと送信する映像信号伝送部と、
を備えることを特徴とする画像投影システム。
【請求項３】
前記光点画像が色の異なる複数の光を含んでいる場合、前記同期信号は、前記複数の光それぞれに最も近い色の前記フィルタに光が投影されていない期間を、前記画像データを撮影するタイミングとして複数指定しており、
前記撮影制御部は、前記同期信号が指定する複数の前記タイミングそれぞれに従い、投影された前記画像データを撮影させる
ことを特徴とする請求項１に記載の画像投影システム。
【請求項４】
前記投影面が、力を受けると発光する応力発光体で構成される場合、
前記光点画像検出部は、前記撮像部で撮影された前記画像データから、前記投影面のうちユーザが押した部分に発生する光点を検出する、
請求項１または請求項２に記載の画像投影システム。
【請求項５】
前記撮影制御部は、複数の前記撮像部を、前記光点画像の複数の光ごとに指定された前記タイミングとそれぞれ対応付け、各タイミングに従って、複数の前記撮像部に個別に撮影させる制御を行う
ことを特徴とする請求項３に記載の画像投影システム。
【請求項６】
前記光点画像生成部は、前記光点像検出部で検出された前記光点画像の座標に、前記光点画像の座標に従って決定される所定の前記画像データの領域の拡大画像を前記投影用画像データとして生成する
ことを特徴とする請求項２に記載の画像投影システム。
【請求項７】
前記光点画像生成部は、前記光点画像検出部で検出された前記光点画像の座標に、前記座標の周囲に換算された座標点以上の大きさの前記光点画像を前記投影用画像データとして生成する
ことを特徴とする請求項２に記載の画像投影システム。
【請求項８】
画像データを投影面に投影する画像投影装置から、前記投影面を撮影するタイミングを指定する同期信号を受信する受信部と、
前記同期信号において指定された前記タイミングに従い、前記投影面を撮影させる撮影制御部と、
前記撮像部で撮影された前記画像データから、前記投影面付近に光点を発生させる光点装置の光点画像を検出する光点画像検出部と、
投影用画像データを前記画像投影装置へと送信する映像信号伝送部と、
を備え、
前記同期信号は、前記画像投影装置が前記画像データに基づいて複数色のフィルタに時間単位で光を透過させる所望の色調の前記画像データに対応した光を生成する場合に、前記光点装置の前記光点画像の色に最も近い色の光が投影されていない期間を、前記画像データを撮影するタイミングとして指定する
ことを特徴とする情報処理装置。
【請求項９】
画像データを投影面に投影する画像投影装置から、前記画像データを撮影するタイミングを指定する同期信号を受信する受信部と、
前記同期信号において指定された前記タイミングに従い、前記投影面を撮影させる撮影制御部と、
前記撮像部で撮影された前記画像データから、前記投影面付近の光点画像を検出する照射画像検出部と、
前記光点画像検出部で検出された前記光点画像の位置に応じて所定の画像が付加された投影用画像データを生成する光点画像生成部と、
前記投影用画像データを前記画像投影装置へと送信する映像信号伝送部と
を備え、
前記同期信号は、前記画像投影装置が前記画像データに基づいて複数色の光を投影し、液晶表示パネルを透過させる光の組み合わせで所望の色調の投影する光を生成させる場合に、光を透過しない期間を、前記画像データを撮影するタイミングとして指定する
ことを特徴とする情報処理装置。
【請求項１０】
コンピュータを、
画像データを投影面に投影する画像投影装置から、前記投影面を撮影するタイミングを指定する同期信号を受信する受信部と、
前記同期信号において指定された前記タイミングに従い、前記投影面を撮影させる撮影制御部と、
前記撮像部で撮影された前記画像データから、前記投影面付近に光点を発生させる光点装置の光点画像を検出する光点画像検出部と、
投影用画像データを前記画像投影装置へと送信する映像信号伝送部と、
して機能させるためのプログラムであって、
前記同期信号は、前記画像投影装置が前記画像データに基づいて複数色のフィルタに時間単位で光を透過させる所望の色調の前記画像データに対応した光を生成する場合に、設定された前記光点装置の照射画像の色に最も近い色の光が投影されていない期間を、前記画像データを撮影するタイミングとして指定する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、画像投影システム、及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタは、スクリーンに文字やグラフなどの画像を拡大投影するので、多人数に対するプレゼンテーションなどに広く用いられている。このプレゼンテーションの際に、プレゼンターが説明を判りやすくするために、スクリーンに投影された画像を、レーザポインタなどを用いて指し示す場合がある。しかしながら、レーザポインタで投影画像を直接的に指し示すのは、手振れによって所望の場所を正確に指せないといった問題があった。そこで、特許文献１のように、使用者がレーザポインタによって照射した地点を、プロジェクタに内蔵されたＣＣＤ（Charge  Coupled  Device）カメラが検知し、この照射地点と同じ地点にポインタ画像を表示する、という技術が既に知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のようにレーザポインタによって照射した地点をカメラが撮影した映像から検出する事を考えた場合、レーザポインタの色と投影映像の色や輝度感が似通っている場合、投影内容に応じてレーザポインタが検知できなくなる可能性があるという問題があった。
【０００４】
本発明は、上記に鑑みてなされたものであって、精度良くレーザポインタなどの照射装置の照射点を検出することのできる情報処理装置、画像投影システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明は画像データを投影面に投影する画像投影装置と、前記画像投影装置と接続された情報処理装置と、を備える画像投影システムであって、前記画像投影装置は、前記画像データを投影する際に、前記画像データに基づいて複数色のフィルタに時間単位で光を透過させる制御を行って所望の色調の前記画像データに対応した光を生成させる駆動制御部と、前記投影面付近に光点を発生させる光点装置の光点画像の色を設定する設定部と、前記複数色のフィルタのうち設定された前記光点画像の色に最も近い色の光が投影されていない期間を、前記投影面を撮影するタイミングとして指定した同期信号を前記情報処理装置へと送信する同期信号出力部と、を備え、前記情報処理装置は、前記画像投影装置から、前記同期信号を受信する受信部と、
前記同期信号において指定された前記タイミングに従い、前記投影面を撮影させる撮影制御部と、前記撮像部で撮影された前記画像データから、前記光点装置が前記投影面付近に生成した光点を検出する光点画像像検出部と、投影用画像データを前記画像投影装置へと送信する映像信号伝送部と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明の情報処理装置は、映像信号の影響を受けることなく精度良くポインタを検出することができるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態の画像投影装置の使用態様を示す全体図である。
【図２】図２は、第１の実施形態の画像投影装置のハードウェアの内部構成を示す図である。
【図３】図３は、第１の実施形態の画像投影装置、及び外部ＰＣの機能構成を示すブロック図である。
【図４】図４は、第１の実施形態の投影パターンの一例を示す図である。
【図５】図５は、第１の実施形態のカラーホイールＣｙ−Ｗ−Ｒ−Ｍ−Ｙ−Ｇ−Ｂの７セグメントを示す図である。
【図６】図６は、第１の実施形態のカラーホイールの７セグメントと、各セグメントが投影面に表示された時のカメラ撮影画像との相関関係を示す図である。
【図７】図７は、カラーホイールの一周期に対する投影光色との関係を示す図である。
【図８】図８は、ある投影画像に対し、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅのレーザポインタを照射した場合の画像データを示す図である。
【図９】図９は、ＴｉｍｉｎｇＡ，Ｂ，Ｃで投影画像に対して投影されたレーザポインタを撮影した場合の、検出されるレーザポインタを示す図である。
【図１０】図１０は、単色のレーザポインタを検出するための、カラーホイールの回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している図である。
【図１１】図１１は、複数色のレーザポインタを検出するための、カラーホイールの回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している図である。
【図１２】図１２は、射影変換係数の算出と、レーザポインタの検出の処理の流れを示すフロー図である。
【図１３】図１３は、第１の実施形態の画像投影装置におけるポインタの投射態様の一例を示す全体図である。
【図１４】図１４は、第１の実施形態の画像投影装置におけるポインタの投射態様の一例を示す全体図である。
【図１５】図１５は、第１の実施形態の投影パターンの一例を示す図である。
【図１６】図１６は、第２の実施形態の画像投影装置のハードウェアの内部構成を示す図である。
【図１７】図１７は、レーザポインタを検出するための、映像信号の投射タイミングと撮影カメラのシャッタータイミングの関係を示している図である。
【図１８】図１８は、応力発光体で構成されたスクリーンの一例を示す断面図である。
【図１９】図１９は、スクリーンのうち、ユーザによって押圧された部位が発光する様子を示す図である。
【図２０】図２０は、第３の実施形態の画像投影装置、及び外部ＰＣの機能構成を示すブロック図である。
【図２１】図２１は、スクリーンの所定部位を押圧すると、その所定部位に所定の画像が表示される様子を示す図である。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
以下、図面を参照して本発明の画像投影装置を具体化した第１の実施形態について説明する。図１は、画像投影装置を含む画像投影システムの示す全体図である。画像投影装置１０は、外部ＰＣ２０と接続されて、外部ＰＣ２０から入力された静止画や動画などの画像データを投影面であるスクリーン３０に対して投影する。また、ユーザは照射装置としてレーザポインタ４０を用いた場合を示している。また、外部ＰＣ２０にはカメラ部２２が接続されている。カメラ部２２は、外付けのハードウェアとして設けてもよいし、外部ＰＣ２０に内臓されていてもよい。
【０００９】
図２は、画像投影装置のハードウェアの内部構成を示す図である。図２に示されるように、画像投影装置１０は、光学系３ａ、及び投射系３ｂを備える。光学系３ａは、カラーホイール５、ライトトンネル６、リレーレンズ７、平面ミラー８、凹面ミラー９を備えている。これらの各部材は、画像投影装置１０の本体部内に設けられている。また、画像投影装置１０には、画像形成部２が設けられている。画像形成部２は、画像を形成する画像形成素子であるＤＭＤ素子により構成されている。
【００１０】
円盤状のカラーホイール５は、光源４からの白色光を単位時間ごとにＲＧＢの各色が繰り返す光に変換してライトトンネル６に向けて出射する。本実施形態では、カラーホイール５が用いられる画像投影装置１０において、レーザポインタを検出する構成について説明する。この例では、レーザポインタは、請求項の「光点装置」に対応していると考えることができる。なお、カラーホイール５の詳細な構成については後述する。ライトトンネル６は、板ガラスを張り合わせて筒状に構成されており、カラーホイール５から出射された光をリレーレンズ７へと導出する。リレーレンズ７は、二枚のレンズを組み合わせて構成されており、ライトトンネル６から出射される光の軸上色収差を補正しつつ集光する。平面ミラー８、及び凹面ミラー９は、リレーレンズ７により出射される光を反射して、画像形成部２へと案内して、集光させる。画像形成部２は、複数のマイクロミラーからなる矩形状のミラー面を有し、映像や画像のデータに基づいて各マイクロミラーが時分割駆動されることにより、所定の画像データを形成するように投射光を加工して反射するＤＭＤ素子を備えている。
【００１１】
また、光源４は、例えば高圧水銀ランプなどが用いられる。光源４は光学系３ａに向けて白色光を照射する。光学系３ａ内においては、光源４から照射された白色光がＲＧＢに分光され、画像形成部２へと導出される。画像形成部２は、変調信号に応じて画像形成を行う。投射系３ｂは、形成された画像を拡大投射する。
【００１２】
また、図２で示される画像形成部２の図中手前側となる鉛直方向上方には、画像形成部２に入射した光のうち、投射光としては使用しない不要な光を受光するＯＦＦ光板が設けられている。画像形成部２に光が入射すると、ＤＭＤ素子の働きにより時分割で映像データに基づいて複数のマイクロミラーが作動し、このマイクロミラーによって使用する光は投射レンズへと反射され、捨てる光はＯＦＦ光板へと反射される。画像形成部２では、投射画像に使用する光は投射系３ｂへと反射され、複数の投射レンズを通って拡大され、拡大された映像光が拡大されて投射される。
【００１３】
図３は、画像投影装置１０、及び外部ＰＣ２０の機能構成を示すブロック図である。画像投影装置１０は、映像信号の入力を制御し、投射系３ｂ、及び光学系３ａの駆動を同期するように制御を行う。図３に示されるように、画像投影装置１０には、同期信号出力部１１、映像処理部１２、映像信号入力部１３、駆動制御部１４が設けられている。また外部ＰＣ２０には、撮影制御部２１、カメラ部２２、映像信号入力部２３、照射点検出部２４（光点画像検出部）、変換処理部２５、変換係数演算部２６、ポインタ生成部２７、映像信号伝送部２８を備えている。
【００１４】
まず、画像投影装置１０の映像信号入力部１３には、ＨＤＭＩ（登録商標）などのデジタル信号や、ＶＧＡやコンポーネント信号等のアナログ信号が入力される。映像信号入力部１３は、入力信号に応じてＲＧＢやＹＰｂＰｒ信号等へと映像を加工する処理を行う。なお、映像信号入力部１３は、入力された映像信号がデジタル信号の場合は、入力信号のビット数に応じて映像処理部１２が規定するビットフォーマットに変換する。また、映像信号入力部１３は、入力された映像信号がアナログ信号入力の場合はアナログ信号をデジタルサンプリングするＤＡＣ処理等を行い、ＲＧＢあるいはＹＰｂＰｒのフォーマット信号を映像処理部へと入力する。
【００１５】
映像処理部１２は、入力信号に応じてデジタル画像処理等を行う。具体的には、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネス、拡大縮小等のスケーラー機能等、あるいは駆動制御部１４の特性に応じて適切な画像処理を行う。デジタル画像処理後の入力信号は駆動制御部１４に渡される。また、映像処理部１２は、任意に指定した、あるいは登録したレイアウトの画像信号を生成する事もできる。
【００１６】
駆動制御部１４は、入力信号に応じて白色光に色をつけるカラーホイール５や光の出射を選択する画像形成部２、ランプの駆動電流をコントロールするランプ電源１７の駆動条件を決定し、カラーホイール５や画像形成部２、ランプ電源１７に駆動の指示を出す。
【００１７】
次に、外部ＰＣ２０における構成を説明する。外部ＰＣ２０にあっては、画像投影装置１０から投影された投影パターンを撮影し、投影パターンの座標と画像データにおける座標とのずれから射影変換係数を決定する処理の流れと、照射されたポインタを検出する処理の流れとが存在する。まずは、投影された投影パターンを撮影する処理の流れについて説明する。
【００１８】
外部ＰＣ２０の撮影制御部２１は、同期信号出力部１１から同期信号を受け取り、カメラ部２２に撮影指示を出す。カメラ部２２が撮影した画像が画像投影装置１０へと入力される場合、映像信号入力部２３にて撮影したカメラ画像に、シェーディング補正、ベイヤー変換、色補正等を行いＲＧＢ信号を生成する。変換係数演算部２６は、図４に示した投影パターンを外部ＰＣ２０で生成し、画像投影装置１０にて投影する。
【００１９】
カメラ部２２は、投影パターンを投影したシーンを撮影する。カメラ部２２の撮影方式としては、グローバルシャッター方式と、ローリングシャッター方式とがある。グローバルシャッター方式では、全画素の同時感光が行われ、それぞれの画素に対して、ローリングシャッター方式よりも複雑な回路を必要とするが、全画素を一気に感光させ、撮像することができるという利点がある。ローリングシャッター方式では、順次走査型の感光が行われ、シンプルな回路で実装でき、走査する形で撮像することができる。しかし、１つの画素ごとに、撮像タイミングが違うので、高速移動する物体を撮影した際には、歪みなどが発生することがある。カメラ部２２のシャッター速度は、撮影制御部２１によって制御されることが望ましい。撮影制御部２１は、例えばカラーホイールの回転速度から、同期信号で指定されたタイミングの時間の長さの撮影に必要なシャッター速度を決定して、制御する。撮影された画像を元に、照射点検出部２４は、現在投影している投影面上での各格子点の座標を取得する。変換係数演算部２６は、投影パターンの映像信号上における座標（ｘ，ｙ）と撮影画像上での座標（ｘ‘，ｙ’）の関係を紐付ける射影変換係数Ｈを算出し、変換処理部２５へパラメータＨをセットする。照射点検出部２４は、投影面に照射された座標を抽出する。検出された照射点座標（ｘ’，ｙ‘）は変換処理部２５によって対応する格子点のパラメータＨを用いて射影変換を行い、照射点の映像信号上の座標（ｘ，ｙ）に変換される。この例では、「照射点」は、請求項の「光点」に対応していると考えることができる。また、この例では、「照射点画像」は、請求項の「光点画像」に対応していると考えることができる。次にポインタ生成部２７（光点画像生成部）は、座標（ｘ，ｙ）に照射点画像データ（投影用画像データ）を生成する。照射点画像データは、例えば座標（ｘ，ｙ）を中心に半径ｚ画素分の円形や、予め登録されたポインタ画像などを任意の生成の仕方で生成してよい。これらの計算を外部ＰＣ２０内で行い、投影用画像信号を生成して、映像信号伝送部２８に送られる。画像投影装置１０の映像処理部１２は、映像信号にポインタ生成部２７で生成された映像信号を重畳し、任意の画像処理を行ったのち駆動制御部１４へ制御信号を出力する。そして、ポインタ画像が重畳された投影像が画像投影装置１０から投影されることとなる。
【００２０】
続いて、照射点検出部２４による投影面に照射されたポインタの座標を検出する処理の流れについて説明する。図５はカラーホイールＣｙ−Ｗ−Ｒ−Ｍ−Ｙ−Ｇ−Ｂの複数色に対応した７つのフィルタを示す図である。また、図６は、カラーホイールのフィルタと、各セグメントが投影面に表示された時のカメラ撮影画像、すなわちＲＧＢデータとの相関関係を示している。例えば、ＲｅｄセグメントであればＲＧＢでもＲｅｄのデータの値が大半を占めている。また、Ｒｅｄセグメントにおいては、ＧｒｅｅｎとＢｌｕｅの透過率が小さくこれらの色の光は制限される。同様に２次色のＣｙａｎセグメントであれば、ＢｌｕｅとＧｒｅｅｎの光が透過され、３次色のＷｈｉｔｅはＲＧＢ全ての光が透過される。
【００２１】
図７は、カラーホイールの一周期に対する投影光色との関係を示す図である。なお、光色とは、光源のランプそのもの光の色と、装置から投射された光から視覚的に認識できる色の双方を含む概念である。図中で実線の矢印で示される該当期間の区間はその発光色において、該当するカラーホイール５のセグメントを通じて画像信号が投影されている領域であることを示している。例えば投影光色Ｒｅｄに注目するとＲｅｄに分類される成分はセグメントＲｅｄ，Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗの区間、及びＷｈｉｔｅの区間である。一方、ＴｉｍｉｎｇＡの破線の矢印で示された区間は映像信号が投影されない区間である。すなわち、このＴｉｍｉｎｇＡのタイミングであるＧｒｅｅｎ，Ｂｌｕｅ，及びＣｙａｎに該当するカラーホイール５のタイミングでは、投影光色がＲｅｄであっても、実際に映像信号の投影がされていないことから、赤色のレーザポインタであっても検出しやすくなる。
【００２２】
したがって、本実施形態では、このタイミングに同期させて投影パターンに照射されたＲとＧとＢのレーザポインタの撮影、および検出が行われる。図８は、ある投影画像に対し、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅのレーザポインタを照射した場合の画像データを示す図である。また、図９は、ＴｉｍｉｎｇＡ，Ｂ，Ｃで投影画像に対して投影されたレーザポインタを撮影した場合の、検出されるレーザポインタを示す図である。図９のＴｉｍｉｎｇＡ  Ｒｅｄ  ｓｈｏｔ  ｉｍａｇｅは、カメラ部２２でＴｉｍｉｎｇＡの区間と同期をとって撮影し、取得した画像データを示したものである。このＴｉｍｉｎｇＡとの同期は、画像投影装置１０の駆動制御部１４がカラーホイール５を駆動するタイミングとあわせて同期信号出力部１１に指示を送信することで実現される。すなわち、カラーホイール５は、固定の周波数（本実施形態では１２０Ｈｚ）で回転するため、撮影制御部２１（受信部）は、カラーホイール５がＴｉｍｉｎｇＡになるタイミングで、同期信号を受信する。
【００２３】
このＴｉｍｉｎｇＡの区間ではＲｅｄ版の映像信号が照射されていないので、赤色のレーザポインタの照射点の検出が容易になる。よって、赤色のポインタの照射光を検知する場合は、ＴｉｍｉｎｇＡと同期してカメラ部２２で撮影すれば検出の精度が向上する。同様にＴｉｍｉｎｇＢにおけるＴｉｍｉｎｇＢ  Ｇｒｅｅｎ  ｓｈｏｔ  ｉｍａｇｅではＧｒｅｅｎ版の映像信号が照射されていないので、緑色のレーザポインタの検出の精度が向上する。そして、ＴｉｍｉｎｇＣにおけるＴｉｍｉｎｇＣ  Ｂｌｕｅ  ｓｈｏｔ  ｉｍａｇｅ  ではＢｌｕｅ版の映像信号が照射されていないため、青色のレーザポインタの照射点の検出が容易となる。このように、タイミングごとによって検出しやすい色があり、また各Ｔｉｍｉｎｇを有効活用することによって複数の照射点を同時に検出する事もできる。
【００２４】
次にカメラ部２２による撮影を、カラーホイール５の駆動と同期させる方法について説明する。カラーホイール５自体に回転検出するための指標となる黒色シールと、カラーホイール５のホルダーに黒色シールを検知するためのセンサーが設けられている。駆動制御部１４は、この黒色シールが検出されるタイミングをセンサーから取得することによって同期信号の生成指示を行う。生成される同期信号は、設定されたレーザーポインタの照射点の色に最も近い色が投影されていない期間と同期するように決定される。よって、撮影を行うカメラ部２２はカラーホイールの同期信号に合わせて撮影のシャッタータイミングを制御する事ができる。
【００２５】
図１０と図１１はカラーホイールの回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している。カラーホイール５は１２０Ｈｚの周期で回転し、カラーカメラは３０Ｈｚの周期で撮影する。本例ではカラーホイール５が４回転するのに対してカメラ部２２が１回撮影することができる。図１０はレーザポインタが赤系の色を持つ場合の撮影を同期させるタイミングを示す例である。なお、レーザポインタの色は、例えばユーザが画像投影装置１０や外部ＰＣ２０の操作用のインタフェースから入力することによって設定され（設定部）、外部ＰＣ２０が把握することができる。ここで、本実施形態の場合、Ｃの区間がＲｅｄのブランク期間、すなわちＴｉｍｉｎｇＡに相当するカラーホイール５のＧｒｅｅｎ、Ｂｌｕｅ、Ｃｙａｎに相当するものとする。この場合、カメラ部２２は１周期目で１つのＣの区間に対して露光して、撮影することで、この時に撮影した画像を観測すると赤色のレーザポインタの照射点を検出することができるようになる。
【００２６】
通常、画像形成部２がＯＮの時は光がスクリーン３０に照射され、Ｏｆｆの時は照射されないが、上述の例ではＯＮの時でも対応するタイミングに同期して撮影を行うことで、ＲＧＢいずれかの色版データからも照射点が検出できるようになる。つまり、映像の内容に依存せずレーザポインタ４０からの照射点を検出する事ができるようになる。
【００２７】
図１１はレーザポインタが複数の色を持つ場合の同期の方法を示す図である。カメラ部２２は１周期目で１つのＡの区間に対して露光して、撮影がされる。Ａの区間は、ここではＴｉｍｉｎｇＡに相当する区間であり、このタイミングで撮影された画像データを観測するとＲｅｄのレーザポインタの照射点が検出できる。２周期目についてもＢの区間に対して露光して撮影される。Ｂの区間はＴｉｍｉｎｇＢに相当する区間であり、このタイミングで撮影された画像データを観測することでＧｒｅｅｎのレーザポインタの照射点が検出できる。３周期目では同様にＢｌｕｅの照射点が検出できる。以降は、同様に制御が行われる。以上の場合、同期信号には１周期目のＴｉｍｉｎｇＡ、２周期目のＴｉｍｉｎｇＢ、３週目のＴｉｍｉｎｇＣの３つのタイミングが含まれている。なお、同じ色で複数のポインタを使用する場合においては画面内に複数の点として検出される事になるので問題なく検出できる。
【００２８】
また、複数の色のレーザポインタを検出する場合、カメラ１個で複数の色を検出する例を記載したが、検出する色ごとにカメラを別個搭載し、それぞれの色ごとに検出制御するようにすることで、カメラ側の撮影タスクが他の色に占有される時間がなくなり、各単色の検出区間を短くする事ができるようになる。この場合、カメラ部それぞれに対して、どのタイミングが対応しているかを予め設定しておくことが望ましい。すなわち、例えばＲＧＢの３色の色に対応して、３台のカメラ部を設けるようにすると、１周期ごとに各色のレーザポインタの照射点を検出することができるようになる。
【００２９】
また、上記以外にも中間色の色を検出したい場合においてはＴｉｍｉｎｇＡ，Ｂ，Ｃの領域をさらに細かく色ごとに分割すればよい。この場合、検出したい中間色に相当するタイミングで撮影を行うことで、カラーホイール５の領域ごとに検出する事もできる。
【００３０】
次に、射影変換係数の算出と、レーザポインタの検出の処理の流れを図１２を参照して説明する。図１２で示した処理は、入力された映像信号の１フレーム単位で行われる処理である。図１２に示されるように、まず駆動制御部１４は、映像信号の入力Ｉ／Ｆから入力された映像信号を投射するための処理を行う（ステップＳ１０１）。次いで、撮影制御部２１は、照射点検出モードであるか否かを判定する（ステップＳ１０２）。照射点検出モードとは、照射装置によってスクリーン３０に照射された照射点を検出するモードである。照射点検出モードは、例えばユーザがレーザポインタを使用する場合などに、操作画面やボタンなどを操作することで起動される。照射点検出モードでないと判定された場合（ステップＳ１０２：Ｎｏ）、Ｓ１０１へと戻り次の映像信号のフレームへと移行する。
【００３１】
一方、照射点検出モードであると判定された場合（ステップＳ１０２：Ｙｅｓ）、撮影制御部２１は、初期設定モードが否かを判定する（ステップＳ１０３）。初期設定モードとは、投影環境が変わった場合に射影変換係数を演算する処理であり、照射点モードを最初に起動した場合には初期設定モードとなっている。また、例えば射影変換係数がセットされているか否かや、射影変換係数がセットされてから一定時間経過しているか否かなどによって判断してもよい。射影変換係数とは、投影前の画像信号と、投影した際の画像パターンとの座標のずれを補正するための係数である。
【００３２】
初期設定モードであると判定された場合（ステップＳ１０３：Ｙｅｓ）、駆動制御部１４は、画像形成部２等を駆動して、射影変換用の画像パターン（図４参照）を照射させる（ステップＳ１０４）。次いで、撮影制御部２１は、同期信号出力部１１を通じて、駆動制御部１４から画像パターンが投影されたことを通知され、照射された画像パターンを撮影する（ステップＳ１０５）。そして、変換係数演算部２６は、映像信号入力部２３を通じて入力されたカメラ部２２が撮影した画像パターンにおける座標と、照射された画像パターンのデータにおける座標とのずれを測定し、この２つのデータ間における座標が一致するように射影変換係数を算出する（ステップＳ１０６）。算出が完了した射影変換係数は保存されて、ステップＳ１０３へと移行する。
【００３３】
一方、射影変換係数が設定され、初期設定モードでないと判定された場合（ステップＳ１０３：Ｎｏ）、撮影制御部２１は、同期信号出力部１１から送信された撮影タイミングにあわせて、照射パターンを撮影する（ステップＳ１０７）。この撮影のタイミングは、上述したように照射されているレーザポインタの色に応じて決定されている。したがって、照射点検出部２４は、撮影された画像データからレーザポインタの照射点を検出することができる（ステップＳ１０８）。検出された照射点の座標は変換処理部２５に入力され、変換処理部２５は、変換係数演算部２６が演算した射影変換係数を用いて、照射点の座標を、画像データ上の座標へと射影変換する（ステップＳ１０９）。射影変換された座標のデータは画像投影装置１０へと送信され、映像処理部１２は、投射する元の映像信号に対して、受信した座標において合成するポインタの画像データを生成し（ステップＳ１１０）、映像信号とポインタの画像データとを合成する（ステップＳ１１１）。すなわち、検出された照射点の位置に応じて所定の画像が付加された投影用画像データが生成される。
【００３４】
この際、合成するポインタとしては、視認性をよくするために例えば、図１３に示されるように、レーザポインタ４０が、元のサイズよりも算出された照射点を中心に拡大されて投影されるようにすることもできる。この場合、ポインタが大きくなるため、映像におけるポインタがより見やすくなる。また、図１４では、ポインタを拡大するのではなく、映像処理部１２は、算出された照射点の座標を基準に、周囲の一部の画像データの領域を拡大表示して投影するようにしてもよい。
【００３５】
また、射影変換係数を演算する際に投影する投影パターンの一例としては、図４で示したもののほか、例えば図１５で示したように、グリッドパターンや、円パターンを用いるようにしてもよい。円パターンの投影パターンを用いる場合、射影変形があっても重心を取ることで、座標がずれていても正確な座標を入手することができるようになる。また、グリッドパターンを用いれば、座標のずれ自体を抑制しつつ、環境光による外乱がないことを想定できれば、より精度の高いパターン抽出が実現可能である。
【００３６】
また、情報処理装置である外部ＰＣ２０は、画像投影装置１０とローカルに接続されているが、ネットワークを通じて接続された情報処理装置によって演算や、撮影の同期を行うようにしてもよい。例えば、ネットワーク上におかれた、高機能な演算処理サーバを用いて、初期の射影変換行列演算を行ったり、重畳するコンテンツ等をダウンロードし、画像処理時に用いたりするようにしてもよい。
【００３７】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態にあっては、カラーホイールを用いた画像投影ではなく、液晶方式の画像投影装置に対応した情報処理装置の場合について説明する。カラーホイールを用いる画像投影装置の場合、映像を投影するにあたっては、光が透過されるカラーホイールのフィルタが時間単位で変わり、カラーホイールが１周期分回転することで、１フレーム分の映像信号に対応した投影が完了する。一方、液晶方式の画像投影装置にあっては、１フレーム分の映像信号が、時間単位で分割されることなく投影される。以上を考慮してカメラ部２２による撮影が行われる点が、第１の実施形態との違いである。
【００３８】
図１６は、第２の実施形態の画像投影装置のハードウェア構成を示す図である。図１６に示されるように、画像投影装置１１０には、ハロゲンランプ等のような白色光を発する白色光源１０４が設けられている。この白色光源１０４から出射された白色光は、内部に配置された３枚のミラー１０８、及び２枚のダイクロイックミラー１０９によってＲＧＢの３原色に分離される。このうち、Ｒ色光は、液晶表示パネル１０２Ｒに導かれ、同様にＧ色光は液晶表示パネル１０２Ｇ、Ｂ色光は液晶表示パネル１０２Ｂへとそれぞれ導入される。ここで、液晶表示パネル１０２Ｒは、Ｒの原色画像を生成する光変調器として機能し、同様に、液晶表示パネル１０２Ｇおよび液晶表示パネル１０２Ｂの各々は、それぞれＧおよびＢの原色画像を生成する光変調器として機能する。液晶表示パネル１０２Ｒ、Ｇ、Ｂは、駆動制御部１４により駆動され、ＯＮ状態であれば光を透過し、ＯＦＦ状態であれば光を遮断する。したがって、生成したい画像データの色に応じて、パネルごとのＯＮ、及びＯＦＦを制御することで所望の色調の画像データに対応した光が投影される。なお、Ｂ色光は、他のＲ色光やＧ色光と比較すると、光路が長いので、その損失を防ぐために、入射レンズ１３２、リレーレンズ１３４および出射レンズ１３５からなるリレーレンズ系１３０を介して導かれる。
【００３９】
液晶表示パネル１０２Ｒ、液晶表示パネル１０２Ｇ、液晶表示パネル１０２Ｂそれぞれによって変調された光、すなわち各原色画像は、ダイクロイックプリズム１１２に対して、３方向から入射する。そして、このダイクロイックプリズム１１２において、Ｒ、及びＢ色光は９０度屈折する一方、Ｇ色光は直進するので、各原色画像が合成されてカラー画像となる。このカラー画像は、レンズ群１０３ｂに入射する。カメラ部２２は、スクリーン部２００に対し、基準線を含めて投影された画像を、使用者がレーザポインタ３００によって指し示した照射点３０２とともに、撮像する。
【００４０】
次に、このような構成の画像投影装置１１０により投影された画像データを同期をとる方法について説明する。図１７は、液晶表示パネルの駆動制御とカメラ露光タイミングについて記載している。図１７に示されるように、各映像フレームの投影可能な期間に対して液晶表示パネルが透過する期間と、全ての光を透過しない期間（ブランク期間）を設けている。したがって、カメラ部２２は、同期信号出力部１１からこのブランク期間を指定され、このブランク区間においてカメラの露光し、撮影を行う。
【００４１】
（第３の実施形態）
次に、第３の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、投影面であるスクリーン３０が、力を受けると発光する応力発光体で構成される。例えば図１８に示すように、スクリーン３０は、応力発光体３１と、応力発光体３１が設けられる領域を有するベース部材３２と、ベース部材３２上に設けられた応力発光体を覆う保護部材３３とからなる３層構造の積層体であってもよい。なお、これに限らず、例えばスクリーン３０は、一対の基板で応力発光体３１を挟持する構造であってもよい。要するに、スクリーン３０は、力を受けると発光する応力発光体で構成される形態であればよい。
【００４２】
以上のように構成されたスクリーン３０の所定部位がユーザによって押圧されると、その所定部位が発光するので（図１９参照）、本実施形態では、その発光点（第１実施形態におけるレーザポイントの照射点と同等のものであると考えることができる）を検出し、上述の各実施形態と同様の処理を実行することができる。
【００４３】
図２０は、本実施形態の画像投影装置１０、及び外部ＰＣ４００の機能構成を示すブロック図である。画像投影装置１０の機能構成は、上述の各実施形態と同様である。外部ＰＣ４００は、上述の照射点検出部２４の代わりに、発光点検出部２４０を有する。発光点検出部２４０は、カメラ部２２で撮影された画像データから、スクリーン３０のうち応力発光体３１が発光している領域を示す発光点（請求項の「光点」に対応）を検出する。すなわち、発光点検出部２４０は、カメラ部２２で撮影された画像データから、スクリーン３０のうちユーザが押した部分に発生する発光点を検出する機能を有している。なお、この例では、発光点検出部２４０は請求項の「光点画像検出部」に対応し、スクリーン３０自体が請求項の「光点装置」に対応していると考えることもできる。
【００４４】
そして、上述の各実施形態と同様に、変換処理部２５は、上述のパラメータＨを用いて、発光点検出部２４０によって検出された画像データ上の発光点の座標（ｘ’，ｙ’）を、映像信号上の座標（ｘ，ｙ）に変換し、ポインタ生成部２７は、映像信号のうち、変換処理部２５による変換で得られた座標（ｘ，ｙ）に、所定の画像を合成（重畳）して、投影用画像信号を生成する。そして、映像信号伝送部２８は、ポインタ生成部２７により生成された投影用画像信号を、画像投影装置１０へ伝送する。これにより、所定の画像が重畳された投影像が画像投影装置１０から投影されることとなる。
【００４５】
つまり、本実施形態では、ユーザが、スクリーン３０の所定部位を押圧すると、その所定部位に所定の画像が表示されることになる。所定の画像としては、様々な画像を使用することができ、例えば図２１に示すように、「チューリップ」の画像を、所定の画像として使用することもできる（上述の各実施形態においても同様）。
【００４６】
なお、以上のスクリーン３０（応力発光体で構成されるスクリーン）の他、例えば自発光物である、ＬＥＤ等を用いた道具（例えばＬＥＤ内蔵型ボールペンなど）などを、請求項の「光点装置」として用いることもできる。この場合も、上記と同様に発光点を検出し、上述の各実施形態と同様の処理を実行することができる。
【００４７】
なお、本実施の形態の情報処理装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施の形態の情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４８】
さらに、本実施の形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４９】
本実施の形態の情報処理装置で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【符号の説明】
【００５０】
２  画像形成部
３ａ  光学系
３ｂ  投射系
４  光源
５  カラーホイール
６  ライトトンネル
７  リレーレンズ
８  平面ミラー
９  凹面ミラー
１０  画像投影装置
１１  同期信号出力部
１２  映像処理部
１３  映像信号入力部
１４  駆動制御部
１７  ランプ電源
２０  外部ＰＣ
２１  撮影制御部
２２  カメラ部
２３  映像信号入力部
２４  照射点検出部
２５  変換処理部
２６  変換係数演算部
２７  ポインタ生成部
２８  映像信号伝送部
３０  スクリーン
４０  レーザポインタ
１０２Ｒ  液晶表示パネル
１０２Ｇ  液晶表示パネル
１０２Ｂ  液晶表示パネル
１０３ｂ  レンズ群
１０４  白色光源
１０８  ミラー
１０９  ダイクロイックミラー
１１０  画像投影装置
１１２  ダイクロイックプリズム
１３０  リレーレンズ系
１３２  入射レンズ
１３４  リレーレンズ
１３５  出射レンズ
２００  スクリーン部
３００  レーザポインタ
３０２  照射点
【先行技術文献】
【特許文献】
【００５１】
【特許文献１】特開平１１−２７１６７５号公報
【図１】
2015043556.tif 000003
【図２】
2015043556.tif 000004
【図３】
2015043556.tif 000005
【図４】
2015043556.tif 000006
【図５】
2015043556.tif 000007
【図６】
2015043556.tif 000008
【図７】
2015043556.tif 000009
【図１０】
2015043556.tif 000010
【図１１】
2015043556.tif 000011
【図１２】
2015043556.tif 000012
【図１３】
2015043556.tif 000013
【図１４】
2015043556.tif 000014
【図１５】
2015043556.tif 000015
【図１６】
2015043556.tif 000016
【図１７】
2015043556.tif 000017
【図１８】
2015043556.tif 000018
【図１９】
2015043556.tif 000019
【図２０】
2015043556.tif 000020
【図２１】
2015043556.tif 000021
【図８】
2015043556.tif 000022
【図９】
2015043556.tif 000023