(57)【要約】【課題】投影面部に投影された映像を可視光と不可視光を用いて指し示した場合の各発光点を検出し、各発光点を可視光のものと不可視光のものとに弁別することを可能にすることを目的とする。【解決手段】可視光及び不可視光を照射する照射手段（１１、１２）と、投影面に映像を投影する投影部（１０ａ）と、前記投影面の映像上に形成された可視光及び不可視光の発光点を所定のタイミングで撮像する撮像部（１０ｂ）と、前記撮像により得られた撮像画像データから前記可視光及び前記不可視光の各発光点に対応するマークを前記可視光のマークか前記不可視光のマークかを弁別して検出する弁別部（２５）と、前記弁別部が検出した前記可視光及び前記不可視光の各マークの、前記撮像画像データの画像内における位置に基づいて、前記投影部の映像に前記可視光及び前記不可視光の固有の合成情報を合成する合成部（２６、２１）と、を画像投影システム（１）に備える。【選択図】図５
2016212291.tif 000002
【特許請求の範囲】
【請求項１】
可視光及び不可視光を照射する照射手段と、
投影面に映像を投影する投影部と、
前記投影面に投影された映像上に前記照射手段の照射により形成された可視光及び不可視光の発光点を所定のタイミングで撮像する撮像部と、
前記撮像部の撮像により得られた撮像画像データから前記可視光及び前記不可視光のそれぞれの発光点に対応するマークを前記可視光のマークか前記不可視光のマークかを弁別して検出する弁別部と、
前記弁別部が検出した前記可視光及び前記不可視光の各マークの、前記撮像画像データの画像内における位置に基づいて、前記投影部が投影する映像に前記可視光及び前記不可視光のそれぞれに固有の合成情報を合成する合成部と、
を備えることを特徴とする画像投影システム。
【請求項２】
前記不可視光の前記照射手段に代わって前記不可視光を前記投影面上に照射し、前記投影面上を触れて指示する指示手段上に前記不可視光の発光点を形成する不可視光照射部を更に備える、
ことを特徴とする請求項１に記載の画像投影システム。
【請求項３】
前記可視光の前記照射手段として、前記不可視光を透過させる透過部を端部の発光部に有する光源を備える、
ことを特徴とする請求項２に記載の画像投影システム。
【請求項４】
前記可視光又は前記不可視光の何れか一方の発光点を形成する照射手段の代わりに、前記投影面に応力により発光する発光部を備える、
ことを特徴とする請求項１に記載の画像投影システム。
【請求項５】
前記弁別部は、色情報に基づいて前記可視光のマークか前記不可視光のマークかを弁別して検出する、
ことを特徴とする請求項１乃至４の内の何れか一つに記載の画像投影システム。
【請求項６】
前記弁別部は、前記撮像画像データ中の輝度パターンに基づいて前記可視光のマークか前記不可視光のマークかを弁別して検出する、
ことを特徴とする請求項１乃至５の内の何れか一つに記載の画像投影システム。
【請求項７】
前記合成部は、投影面上の前記可視光又は前記不可視光の発光点の移動に伴って、発光点の軌跡に線を形成する、
ことを特徴とする請求項１乃至６の内の何れか一つに記載の画像投影システム。
【請求項８】
投影面に映像を投影する投影部と、
前記投影面に投影された映像上に照射手段の照射により形成された可視光及び不可視光の発光点を所定のタイミングで撮像する撮像部と、
前記撮像部の撮像により得られた撮像画像データから前記可視光及び前記不可視光のそれぞれの発光点に対応するマークを前記可視光のマークか前記不可視光のマークかを弁別して検出する弁別部と、
前記弁別部が検出した前記可視光及び前記不可視光の各マークの、前記撮像画像データの画像内における位置に基づいて、前記投影部が投影する映像に前記可視光及び前記不可視光のそれぞれに固有の合成情報を合成する合成部と、
を備えることを特徴とする画像処理装置。
【請求項９】
人が片手で携行なサイズである、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
コンピュータを、
投影面に投影された映像上に照射手段によって形成される可視光及び不可視光の発光点を撮像カメラで撮像するタイミングを制御する撮像制御部と、
前記撮像カメラの撮像により得られた撮像画像データから前記可視光及び前記不可視光のそれぞれの発光点に対応するマークを前記可視光のマークか前記不可視光のマークかを弁別して検出する弁別部と、
前記弁別部が検出した前記可視光及び前記不可視光の各マークの、前記撮像画像データの画像内における位置に基づいて、前記投影面に投影される映像の対応位置に合成する前記可視光及び前記不可視光のそれぞれに固有の合成情報を出力する合成情報出力部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影システム、画像処理装置、及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタは、スクリーンに静止画や動作等の映像を拡大投影することができるため、多人数に対するプレゼンテーションなどに広く用いられている。このプレゼンテーションの際に、プレゼンターは説明の理解を助けるために、スクリーンに投影された映像を色付きのレーザポインタなどを照射して指し示すことが度々行われる。レーザポインタなどにより映像を直接的に指し示すと、映像の使用色によりレーザポインタの照射点（発光点）が視覚的に分かり難くなることがよくある。その改善策として、プレゼンターがレーザポインタによって照射した地点をＣＣＤ（Charge  Coupled  Device）カメラで検出し、その照射地点にポインタ画像等を投影するという技術も検討されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、照射地点にポインタ画像等を投影させる場合、色付きのレーザポインタ等で可視光を照射することの他、赤外光等の不可視光を照射することも検討される。スクリーンに投影された映像を可視光と不可視光を用いて指し示した場合のそれぞれの発光点の検出技術はこれまでになく、それぞれの発光点を共に検出できるようにすることは喫緊の課題となっている。
【０００４】
本発明は、上記に鑑みてなされたものであって、スクリーン等の投影面部に投影された映像を可視光と不可視光を用いて指し示した場合の各発光点を検出し、各発光点を可視光のものと不可視光のものとに弁別することのできる画像投影システム、画像処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明は、画像投影システムにおいて、可視光及び不可視光を照射する照射手段と、投影面に映像を投影する投影部と、前記投影面に投影された映像上に前記照射手段の照射により形成された可視光及び不可視光の発光点を所定のタイミングで撮像する撮像部と、前記撮像部の撮像により得られた撮像画像データから前記可視光及び前記不可視光のそれぞれの発光点に対応するマークを前記可視光のマークか前記不可視光のマークかを弁別して検出する弁別部と、前記弁別部が検出した前記可視光及び前記不可視光の各マークの、前記撮像画像データの画像内における位置に基づいて、前記投影部が投影する映像に前記可視光及び前記不可視光のそれぞれに固有の合成情報を合成する合成部と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、投影面部に投影された映像を可視光と不可視光を用いて指し示した場合の各発光点を検出し、各発光点を可視光のものと不可視光のものとに弁別することができ、各発光点に固有の合成情報を合成することができるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態の画像投影システムの全体構成を説明するための図である。
【図２】図２は、投影部のハードウェアの内部構成の一例を示す図である。
【図３】図３は、カメラ部のハードウェアの内部構成の一例を示す図である。
【図４】図４は、カラーＣＣＤイメージセンサの分光感度特性の一例を示す図である。
【図５】図５は、一体型画像投影装置の機能構成の一例を示すブロック図である。
【図６】図６は、パターン画像の一例を示す図である。
【図７】図７は、カラーホイールの配色例を示す図である。
【図８】図８は、色フィルタとＲＧＢ光との相関関係を示す図である。
【図９】図９は、カラーホイールの一回転において通過する光の投影光色の投影期間を示す図である。
【図１０】図１０は、投影面部の映像上における発光点の見え方を示す図である。
【図１１】図１１は、投影面部の映像上の発光点を、対応するブランク期間に撮像した場合の画像データを示す図である。
【図１２】図１２は、カラーホイールの回転周期とカメラ部のシャッタータイミングの関係の一例（その一）を示す図である。
【図１３】図１３は、カラーホイールの回転周期とカメラ部のシャッタータイミングの関係の一例（その二）を示す図である。
【図１４】図１４は、投影面部の映像上の可視光と赤外光の各発光点の撮像画像の画像イメージを示す図である。
【図１５】図１５は、一体型画像投影装置の駆動制御部の動作フローの一例を示す図である。
【図１６】図１６は、一体型画像投影装置の発光点検出処理に係る各種処理部の動作の一例を示すフロー図である。
【図１７】図１７は、投影面部上の赤外光の発光点に一例としてのポインタ画像を合成したときの状態を示す図である。
【図１８】図１８は、パターン画像のその他の例を示す図である。
【図１９】図１９は、応力発光体を用いた投影面部の構成の一例を示す図である。
【図２０】図２０は、投影面部の発光の様子を示す図である。
【図２１】図２１は、第２の実施形態の画像投影システムの全体構成を説明するための図である。
【図２２】図２２は、赤外光照射装置が照射する赤外光の投影面部上での通過位置を説明する図である。
【図２３】図２３は、一体型画像投影装置の機能構成の一例を示すブロック図である。
【図２４】図２４は、投影面部の映像上の一点をＬＥＤライトで押し当て、別の一点を指で触れて指示したときの投影面部の状態を示す図である。
【図２５】図２５は、図２４の状態をカメラ部で撮像したときの取込画像の画像イメージを示す図である。
【図２６】図２６は、画像にＲＲＣ処理を施した後の指示マークの輝度分布の一例を示す図である。
【図２７】図２７は、第２の実施形態の駆動制御部の動作フローの一例を示す図である。
【図２８】図２８は、投影面部に投影される映像とポインタ画像の合成映像の一例を示す図である。
【図２９】図２９は、第２の実施形態の変形例１の画像処理部の機能ブロックの一例を示す図である。
【図３０】図３０は、部分画像バッファ部が記憶するフレーム画像の遷移図である。
【図３１】図３１は、一体型画像投影装置と、別体として設けられた赤外光照射装置との外観図である。
【図３２】図３２は、投影部とカメラ部と赤外光照射装置の外観図である。
【図３３】図３３は、投影部とカメラ部と赤外光照射装置の配置例を示す図である。
【図３４】図３４は、カメラ部の構成の一例を示す図である。
【図３５】図３５は、コンピュータのハードウェアブロックの一例を示す図である。
【図３６】図３６は、投影部と、カメラ部（コンピュータ）の機能ブロックの一例を示す図である。
【図３７】図３７は、カメラ部の動作フローの一例を示す図である。
【図３８】図３８は、第３の実施形態の変形例としての投影部、カメラ部、及び赤外光照射装置の構成の一例を示す図である。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
以下、添付図面を参照して画像投影システム、画像処理装置、及びプログラムの実施形態を詳細に説明する。
図１は、第１の実施形態の画像投影システムの全体構成を説明するための図である。図１に示す第１の実施形態の画像投影システム１は、一体型画像投影装置（画像処理装置）１０と、第１のレーザポインタ１１と、第２のレーザポインタ１２と、投影面部１３とを含む。
【０００９】
一体型画像投影装置１０は、投影面部１３に静止画や動画などの映像を投影する投影部１０ａと、投影部１０ａが投影した投影面部１３上の映像を撮像するカメラ部（撮像部）１０ｂとを備えている。投影部１０ａが投影する映像の映像データは外部のＰＣ（Personal Computer）等から通信を介して受信する。その他、映像データを記憶するフラッシュメモリ等の記録媒体から再生したものであっても良い。カメラ部１０ｂは、撮像素子として可視光領域と不可視光領域とを撮像することのできるエリアイメージセンサを備えている。エリアイメージセンサは、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等により構成される。本実施形態では、一例として不可視光領域を赤外領域（特に近赤外領域）として説明する。
【００１０】
なお、特に図示されていないが、一体型画像投影装置１０は、例えば操作ボタン及び液晶表示画面、或いはタッチ入力式の液晶表示画面等による表示入力手段を備えるものとする。表示入力手段は、後述するキャリブレーション用のパターン画像（図６参照）の指定や、各種モード（図１５参照）の設定や、各種レーザポインタ１１、１２の波長領域（赤色、緑色、青色、赤外等）の指定などをユーザに行わせるためのものである。
【００１１】
第１のレーザポインタ１１及び第２のレーザポインタ１２は、第１の実施形態の二つの照射装置の組み合わせ例である。第１のレーザポインタ１１は、可視光用の照射装置の一例であり、原色の赤や緑や青、或いはそれらの系統の色の光をレーザ発振する照射装置である。第２のレーザポインタ１２は、不可視光用の照射装置の一例であり、赤外領域の光（赤外光）をレーザ発振する照射装置である。これらは電池駆動し、ユーザＵにより使用される。
【００１２】
投影面部１３は、マットスクリーン、バールスクリーン、シルバースクリーン、ビーズスクリーン等の各種スクリーンである。本実施形態では、各種スクリーンの何れかを投影面部１３として設けた場合の例を示す。なお、投影面部１３の代わりに例えば白地の壁や床などの専用スクリーン以外のものを投影先として利用しても良い。
【００１３】
図２は、投影部１０ａのハードウェアの内部構成を示す図である。図２に示すように、投影部１０ａは、光学系３ａ、及び投射系３ｂを備える。光学系３ａは、カラーホイール５、ライトトンネル６、リレーレンズ７、平面ミラー８、凹面ミラー９を備えている。また、投影部１０ａには、ＤＭＤ（Digital Micromirror Device）２が設けられている。
【００１４】
円盤状のカラーホイール５は、複数色のカラーフィルタを有する。カラーホイール５は、回転により、例えば高圧水銀ランプなどの光源４からの白色光をＲＧＢの各色が繰り返される時分割の光に変換して出射する。カラーホイール５を出射した光はライトトンネル６に向けて出射される。なお、カラーホイール５のカラーフィルタとして、ＲＧＢ各色以外に、ＲＧＢ各色を適宜組合わせてなるものを設定する場合には、カラーホイール５は白色光を各フィルタに対応する色が繰り返される時分割の光に変換する。なお、カラーホイール５の詳細については、カラーフィルタをＲＧＢ各色を適宜組合わせてなるものにより構成したものを例に後述する。
【００１５】
ライトトンネル６は、板ガラスを張り合わせて筒状に構成されており、カラーホイール５から出射された光をリレーレンズ７へと導出する。リレーレンズ７は、二枚のレンズを組み合わせて構成されており、ライトトンネル６から出射される光の軸上色収差を補正しつつ集光する。平面ミラー８、及び凹面ミラー９は、リレーレンズ７により出射される光を反射して、ＤＭＤ２へと案内して、集光させる。
【００１６】
ＤＭＤ２は、画素単位の多数のマイクロミラーを有し、映像データに基づいて各マイクロミラーを個別に時分割駆動して映像に必要な光を投射系３ｂに向けて反射する。具体的に、光学系３ａ内には、ＤＭＤ２に入射した光のうちの映像に使用しない光を受光するＯＦＦ光板が設けられている。ＤＭＤ２は、映像データに基づいて各マイクロミラーを個別に時分割でオン／オフ駆動し、入射光のうちの映像に使用しない光をＯＦＦ光板側へ反射し、映像に使用する光を投射系３ｂの投射レンズ側へ反射する。これにより、微小時間（例えばマイクロ秒オーダ）の時間間隔で、ＲＧＢ各色の色版或いはＲＧＢ各色を組合わせてなる各色の色版を示す光が順次生成され、それぞれの光が時分割で投射系３ｂに入射する。
【００１７】
投射系３ｂは、入射した光を複数の投射レンズを通して拡大投射する。これにより、投影面部１３上に各色版の画像が順に投影され、それらの色版が視覚的に映像として合成される。
【００１８】
図３は、カメラ部１０ｂのハードウェアの内部構成の一例を示す図である。図３に示すように、カメラ部１０ｂは、光学系部３１、カラーＣＣＤイメージセンサ３２、Ａ／Ｄ変換部３３、シャッター３４などを備えている。
【００１９】
光学系部３１は、投影面部１３の光を集め、その集めた光をカラーＣＣＤイメージセンサ３２上に結像させる光学レンズ群である。
【００２０】
カラーＣＣＤイメージセンサ３２は、ＲＧＢ各色の光センサ（フォトダイオード等）をマトリックス状に配列したエリアセンサである。具体的に、カラーＣＣＤイメージセンサ３２は、可視領域及び赤外領域の波長の光を感受する光センサ（フォトダイオード等）をマトリックス状に配列した撮像エリアを備えている。更に、撮像エリア上には、各光センサに対応させてＲＧＢ各色の色フィルタをベイヤー配列などにより設けたカラーフィルタを備えている。なお、本実施形態では、赤外光を通過させるために、赤外光の通過を阻止する赤外フィルタはカラーフィルタに設けないようにする。
【００２１】
カラーＣＣＤイメージセンサ３２において、撮像エリアに結像した投影面部１３の光は、そのカラーフィルタを介してＲＧＢ各色に分光され、分光されたＲＧＢ各色の光と、カラーフィルタを通過する赤外光とが光センサに吸収される。光センサは、吸収した光を電気信号に変換して電荷を蓄電する。そして、所定のタイミングで各光センサの蓄電した電荷を出力し、Ａ／Ｄ変換部３３でデジタル変換する。これにより、カラー画像データ（カラーデジタル画像データ）を生成する。
【００２２】
図４は、カラーＣＣＤイメージセンサの分光感度特性の一例を示す図である。
図４に示すグラフ曲線ｇ１は、青のカラーフィルタに対応する光センサの感度特性を示している。グラフ曲線ｇ２は、緑のカラーフィルタに対応する光センサの感度特性を示している。グラフ曲線ｇ３は、赤のカラーフィルタに対応する光センサの感度特性を示している。各グラフ曲線ｇ１、ｇ２、ｇ３は、可視光領域では、それぞれの対応色の示す波長において高い感度を示し、それ以外の波長では感度が極端に低くなる。また、不可視光領域では、何れも、近赤外の８７０ｎｍ付近の波長で感度が高くなる。
【００２３】
なお、図３においてはカメラ部１０ｂを単板式の構成のものとして示したがこの限りではない。例えば、ＲＧＢ各色のそれぞれのエリアセンサを設けた３板式の構成のものとしても良い。この場合、光学系部３１に例えばダイクロイックプリズムを設けるなどして、入射光をＲＧＢ各色に分光してそれぞれを対応するエリアセンサに入射させるようにする。また、ＲＧＢ各色のエリアセンサの他に更に不可視光用のモノクロのエリアセンサを設けても良い。この場合、ダイクロイックプリズムにおいて、所定の波長を境目にして可視光と赤外光とを分光し、赤外等の光をモノクロのエリアセンサに入射させるようにする。その他にも、適宜、構成を変えても良い。
【００２４】
図３のシャッター３４は、撮像エリアの各光センサに対する露光時間や露光のタイミングを調節するためのメカニカルシャッターである。シャッター３４は、後述する駆動制御部２２（図５参照）の制御により開閉動作し、撮像エリア内への光の通過時間（露光時間）と通過タイミング（露光のタイミング）を制御する。
【００２５】
図５は、一体型画像投影装置１０の機能構成を示すブロック図である。図５に示すように、一体型画像投影装置１０は、映像処理部（合成部含む）２１、駆動制御部２２、映像信号入力部２３、変換係数演算部２４、指示マーク検出部（弁別部）２５、画像処理部２６などを備えている。
【００２６】
映像処理部２１は、投影用の映像信号（第１の映像信号）を入力し、第１の映像信号をフレーム毎に任意のデジタル画像処理を行う。そして、デジタル画像処理後の信号を駆動制御部２２へ出力する。具体的に、映像処理部２１では、デジタル画像処理として、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネス、拡大縮小などや、或いは駆動制御部２２の特性に応じた補正処理などを行う。
【００２７】
また、映像処理部２１は、画像処理部２６から第２の映像信号の入力があると、第１の映像信号に第２の映像信号を重畳する。例えば、第２の映像信号として、所定の部分画像を含むフレーム画像の入力があるとする。その場合、第１の映像信号の入力フレームに対して、第２の映像信号のフレーム画像に含まれる部分画像を、入力フレームの対応位置に合成することにより重畳する。合成は、例えば、入力フレームの対応位置のＲＧＢ情報を部分画像のＲＧＢ情報に置き換えたり、或いは入力フレームの対応位置の画像情報が残るように対応位置のＲＧＢ情報を部分画像を透過的に示すＲＧＢ情報に置き換えたりするなどして実施する。
【００２８】
それから、映像処理部２１は、重畳後の映像信号（第３の映像信号）に対してフレーム毎に任意の上記画像処理を施し、デジタル画像処理後の信号を駆動制御部２２へ出力する。映像処理部２１は、画像処理部２６から入力された所定の部分画像のフレーム画像を、次の部分画像のフレーム画像が入力されるまでの所定期間保持し、第１の映像信号の順次入力される入力フレームに、保持しているフレーム画像の部分画像を合成する。
【００２９】
駆動制御部２２は、映像処理部２１からの入力信号に応じ、カラーホイール５や、ＤＭＤ２の各マイクロミラーや、光源４の駆動電流をコントロールするランプ電源１７や、カメラ部１０ｂなどの駆動条件を決定する。例えばカラーホイール５の回転速度や、ＤＭＤ２の各マイクロミラーのオン／オフのタイミングや、ランプ電源１７の駆動電流の電流値を決定する。
【００３０】
駆動制御部２２は、更に、カメラ部１０ｂのシャッター３４のタイミングなどを決定する。シャッタータイミングについては、第１のレーザポインタ１１と第２のレーザポインタ１２のそれぞれの照射光の発光点を撮像可能なタイミングをカラーホイール５の回転位置情報などから決定する。このシャッタータイミングについては、後に詳しく説明する。
【００３１】
それから、駆動制御部２２は、決定した駆動条件に従い、カラーホイール５、ＤＭＤ２、ランプ電源１７、カメラ部１０ｂなどを駆動制御する。この制御により、第１の映像信号や第３の映像信号等に基づく映像が光学系３ａから出射され、投射系３ｂを介して投影面部１３に拡大投影されることになる。また、投影面部１３に投影された映像はカメラ部１０ｂにより所定のタイミングで撮像されることになる。
【００３２】
更に、本実施形態において、駆動制御部２２は、投影のために出力する出力映像と、その映像をカメラ部１０ｂの撮像により投影面部１３から入力し戻した入力画像との、画像内の各位置の位置ずれを調節するためのキャリブレーション処理の実行を制御する。具体的に、駆動制御部２２は、変換係数演算部２４にキャリブレーションの実行を指示し、変換係数演算部２４が内蔵メモリ等から読み込んだパターン画像（図６参照）を第４の映像信号として映像処理部２１に出力する。
【００３３】
図６は、パターン画像の一例である。図６には白黒の矩形パターンのパターン画像Ｐ１を示している。この配色の他に、例えば赤白や緑白や青白などと配色を変更しても良い。
【００３４】
駆動制御部２２は、映像処理部２１から第４の映像信号としてパターン画像Ｐ１のフレームを入力すると、そのパターン画像Ｐ１の駆動条件を決定し、各部を駆動制御する。これにより、パターン画像Ｐ１を示す光の像が光学系３ａから出射され、投射系３ｂを介して投影面部１３に拡大投影されることとなる。カメラ部１０ｂは、パターン画像Ｐ１の投影面部１３に投影された画像を撮像する。なお、キャリブレーション動作の場合、駆動制御部２２はカメラ部１０ｂの撮像に必要となる期間、パターン画像Ｐ１を投影し続ける制御を行う。また、その投影時間内に露光を終えるようにカメラ部１０ｂのシャッター３４の開閉を制御する。
【００３５】
キャリブレーション処理を行うタイミングは、映像の投影時や、キャリブレーションのモードの手動起動時や、装置の毎回の起動時や、装置の初回起動時のみや、本装置の出荷前など、適宜決めて良い。
【００３６】
映像信号入力部２３は、カメラ部１０ｂが撮像したカラー画像データに、色変換等を行いＲＧＢに変換する。
【００３７】
変換係数演算部２４は、上述のようにキャリブレーション時に内蔵メモリ等からパターン画像Ｐ１を読み込んで第４の映像信号として映像処理部２１に出力する。更に変換係数演算部２４は、第４の映像信号上におけるパターン画像の各格子点の座標（ｘ，ｙ）と、カメラ部１０ｂから入力し戻した画像データ上における各格子点の座標（ｘ‘，ｙ’）とを比較し、各格子点の相互位置関係を紐付ける射影変換係数を算出する。そして、変換係数演算部２４は、その算出した射影変換係数を画像処理部２６のパラメータＨにセットする。パラメータＨは、第２の映像信号（つまり部分画像）の各格子点の位置を第１の映像信号の各格子点の位置に調節するためのパラメータである。
【００３８】
指示マーク検出部（弁別部）２５は、映像信号入力部２３で生成されたＲＧＢの各画像データ中に所定の指示マークとして記録される、可視光及び不可視光のレーザポインタ１１、１２の各発光部を検出する。つまり、色情報等により検出する。そして、それぞれの位置座標{（ｘ１‘，ｙ１‘）、（ｘ２‘，ｙ２‘）}を取得する。
【００３９】
画像処理部２６は、パラメータＨにセットされた射影変換係数により各指示マークのそれぞれの位置座標{（ｘ１‘，ｙ１‘）、（ｘ２‘，ｙ２‘）}を{（ｘ１，ｙ１）、（ｘ２，ｙ２）}に補正する。更に、画像処理部２６は、補正後の各位置{（ｘ１，ｙ１）、（ｘ２，ｙ２）}に互いに異なる固有の指示データ（合成情報）を形成してなる第２の映像信号（部分画像）を生成して映像処理部２１に出力する。本実施形態では、レーザポインタ１１、１２による投影面部１３の可視光の発光部と赤外光の発光部とを強調表示するための照射点を示すポインタ画像を上記指示データとして形成する。例えば各座標{（ｘ１，ｙ１）、（ｘ２，ｙ２）}を中心とする半径ｚ画素分の円形データを上記指示データとして形成する。その他、予め登録したポインタ画像を上記補正後の位置に配置するなどして第２の映像信号を生成するなどしても良い。
【００４０】
続いて、指示マーク検出部２５による可視光と不可視光の発光部を検出する処理の流れについて説明する。
図７は、カラーホイール５を７色の色フィルタで構成した場合の配色の一例を示す図である。一例としてＣｙ−Ｗ−Ｒ−Ｍ−Ｙ−Ｇ−Ｂの７色の色フィルタを備えたものを示している。ＲＧＢ各色以外に、ＲＧＢ各色を適宜組合わせてなる色フィルタを備えている。同図においてカラーホイール５は反時計回りに回転し、光源４からの白色光は、Ｒｅｄセグメント、Ｍａｇｅｎｔａセグメント、Ｙｅｌｌｏｗセグメントの順に色フィルタを通過する。
【００４１】
図８は、７色の色フィルタと、各色フィルタを通過するＲＧＢ光との相関関係を示す図である。図８の実線矢印が色フィルタを通過する通過色を示している。例えば７つの色フィルタの内のＲｅｄセグメントは、Ｒｅｄ光を透過し、Ｇｒｅｅｎ光とＢｌｕｅ光の透過を制限する。また、２次色のＣｙａｎセグメントにおいては、Ｇｒｅｅｎ光とＢｌｕｅ光を透過し、Ｒｅｄ光の透過を制限する。また、３次色のＷｈｉｔｅにおいては、Ｒｅｄ光と、Ｇｒｅｅｎ光と、Ｂｌｕｅ光とを全て透過する。その他の各色の色フィルタについては、説明を省略するが、図示した通りのものとする。
【００４２】
図９は、カラーホイール５の一回転（一周期）において各セグメントを通過して投影される光の色（投影光色）の投影期間を示す図である。図中に実線の矢印で示す期間（該当期間）は、その期間に該当するカラーホイール５のセグメントを通過して投影される投影光色の投影期間を示している。例えば投影光色Ｇｒｅｅｎに注目する。投影光色Ｇｒｅｅｎの光を通過させるセグメントは、図８にも示しているが、Ｙｅｌｌｏｗセグメント、Ｇｒｅｅｎセグメント、Ｃｙａｎセグメント、及びＷｈｉｔｅセグメントである。従って、図９に示すように、Ｙｅｌｌｏｗセグメント及びＧｒｅｅｎセグメントの連続する期間と、そこから一定期間空けてＣｙａｎセグメント及びＷｈｉｔｅセグメントの連続する期間においてＧｒｅｅｎが投影光色として投影される。
【００４３】
一方、図中に破線の矢印で示す期間は、該当する色の光を投影光色に含めないブランク期間を示している。上記のＧｒｅｅｎの光に対応するブランク期間は、ＴｉｍｉｎｇＢの破線の矢印により示している。図８にも示しているが、Ｒｅｄセグメント，Ｍａｇｅｎｔａセグメント、及びＢｌｕｅセグメントは投影光色Ｇｒｅｅｎの光を通過させない。このため、図９に示す、Ｒｅｄセグメント、Ｍａｇｅｎｔａセグメント、及びＢｌｕｅセグメントに対応する期間が投影光色にＧｒｅｅｎの光を含めないＧｒｅｅｎのブランク期間となっている。Ｇｒｅｅｎのブランク期間には、Ｇｒｅｅｎ版を使用しない映像が投影面部１３に形成されることになる。つまり、投影面部１３に第１のレーザポインタ１１を照射して例えばＧｒｅｅｎの発光点を形成した場合、ＴｉｍｉｎｇＢのブランク期間にＧｒｅｅｎの光を検出すれば、検出した光を第１のレーザポインタ１１の発光点として特定することができる。
【００４４】
上記発光点の特定について図１０〜図１４を用いて以下に更に詳しく説明する。
図１０は、投影面部１３に投影されたある映像上に第１のレーザポインタ１１のＲｅｄ、Ｇｒｅｅｎ、及びＢｌｕｅの光を照射したときの投影面部１３上の発光点の人の目での見え方を示す図である。図１０は、発光点の示す位置近辺の映像が一例としてＢｌａｃｋ、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、及びＷｈｉｔｅの場合の各色の発光点の見え方を示している。なお、Ｂｌａｃｋは光を照射せずに周囲との輝度差により表現した黒色である。同図に示すように、映像の色がＢｌａｃｋのときには第１のレーザポインタ１１の各色の発光点を人の目で識別できるが、映像の色がその他の色のときには発光点を識別するのが困難になる。
【００４５】
図１１は、投影面部１３に投影されたある映像上に第１のレーザポインタ１１のＲｅｄ、Ｇｒｅｅｎ、及びＢｌｕｅの光を照射し、その投影面部１３をブランク期間（ＴｉｍｉｎｇＡ、Ｂ、Ｃ）にカメラ部１０ｂにおいて撮像したときの画像データである。図１１の「ＴｉｍｉｎｇＡ  Ｒｅｄ  Ｓｈｏｔ  Ｉｍａｇｅ」に示す第１の色版画像データＧ１は、ＴｉｍｉｎｇＡ（図９参照）のブランク期間に投影面部１３を撮像して得たＲｅｄ画像データである。第１の色版画像データ（Ｒｅｄ画像データ）Ｇ１の下に示すＢｌａｃｋ、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、及びＷｈｉｔｅは、投影面部１３の映像色を示している。
【００４６】
ＴｉｍｉｎｇＡのブランク期間においては上述したように投影面部１３にＲｅｄ版の映像が投影されていない。そのため、撮像した第１の色版画像データ（Ｒｅｄ画像データ）Ｇ１には、同図においてドットとして示す第１のレーザポインタ１１の赤色の発光点を示す指示マークが、そのときの投影映像に依存せずに背景から浮かび上がる。映像色がＲｅｄの位置については、実際にはＲｅｄ版が投影されていないが、他の色版画像データＧ２、Ｇ３との比較のため発光点が浮かび上がるものとして示した。本実施形態では、背景から浮かび上がる指示マークを検出し、第１のレーザポインタ１１の赤色の発光点として特定する。
【００４７】
なお、第１の色版画像データ（Ｒｅｄ画像データ）Ｇ１は、同図においてモノクロで階調表現されているが、赤色により階調表現されるものである。また、発光点と背景の輝度は、発光点が高く、背景が低いものとなる。
【００４８】
次に、図１１の「ＴｉｍｉｎｇＢ  Ｇｒｅｅｎ  Ｓｈｏｔ  Ｉｍａｇｅ」に示す第２の色版画像データＧ２は、ＴｉｍｉｎｇＢ(図９参照）のブランク期間に撮像して得たＧｒｅｅｎ画像データである。Ｇｒｅｅｎ画像データについてもＲｅｄ画像データと同様に説明することができる。つまり、ＴｉｍｉｎｇＢのブランク期間においては投影面部１３にＧｒｅｅｎ版の映像が投影されていない。そのため、撮像した第２の色版画像データ（Ｇｒｅｅｎ画像データ）Ｇ２には、同図においてドットとして示す第１のレーザポインタ１１の緑色の発光点を示す指示マークが、そのときの投影映像に依存せずに背景から浮かび上がる。映像色がＧｒｅｅｎの位置については、実際にはＧｒｅｅｎ版が投影されていないが、他の色版画像データＧ１、Ｇ３との比較のため発光点が浮かび上がるものとして示した。本実施形態では、背景から浮かび上がる指示マークを検出し、第１のレーザポインタ１１の緑色の発光点として特定する。
【００４９】
次に、図１１の「ＴｉｍｉｎｇＣ  Ｂｌｕｅ  Ｓｈｏｔ  Ｉｍａｇｅ」に示す第３の色版画像データＧ３は、ＴｉｍｉｎｇＣ（図９参照）のブランク期間に撮像して得たＢｌｕｅ画像データである。Ｂｌｕｅ画像データについてもＲｅｄ画像データやＧｒｅｅｎ画像データと同様に説明することができる。説明の繰り返しとなるため、説明を一部省略するが、本実施形態では、第３の色版画像データ（Ｂｌｕｅ画像データ）Ｇ３に浮かび上がった指示マークを検出し、第１のレーザポインタ１１の青色の発光点として特定する。
以上のように、本実施形態では、投影面部１３の映像上に第１のレーザポインタ１１の照射により形成される発光点を、その発光色に対応する投影光色のブランク期間に撮像したその色版の画像データの中から検出する。
【００５０】
一方、投影面部１３に第２のレーザポインタ１２を照射して形成した赤外光の発光点については、カメラ部１０ｂの赤色、緑色、及び青色のそれぞれの光センサの全てが各対応色の他に不可視光領域にある赤外光を感受することができる。したがって、赤外光の発光点は、ＲＧＢ各色の任意のブランク期間において撮像したＲＧＢ各色の版の画像データの全てから検出することができる。
【００５１】
次に、カラーホイール５の回転周期とカメラ部１０ｂのシャッタータイミングの関係について説明する。図１２と図１３はカラーホイール５の回転周期とカメラ部１０ｂのシャッタータイミングの関係の一例を示す図である。ここでは、カラーホイール５は１２０Ｈｚの周期で回転し、カメラ部１０ｂは３０Ｈｚの周期で撮像画像データを生成するものとする。
【００５２】
図１２はレーザポインタが投影面部に緑色（又は緑系統の色）の発光点を形成する場合のカメラ部１０ｂのシャッタータイミングを示す例（例１）である。同図に示すＢ期間は、図９に示すＧｒｅｅｎのブランク期間（ＲｅｄセグメントとＭａｇｅｎｔａセグメントの期間に対応するＴｉｍｉｎｇＢ）に対応する。Ｃ期間は、図９に示すＢｌｕｅのブランク期間（ＹｅｌｌｏｗセグメントとＧｒｅｅｎセグメントの期間に対応するＴｉｍｉｎｇＣ）に対応する。Ａ期間は、図９に示すＲｅｄのブランク期間（ＢｌｕｅセグメントとＣｙａｎセグメントの期間に対応するＴｉｍｉｎｇＡ）に対応する。Ｄ期間は、ブランク期間を含まないＷｈｉｔｅセグメントの期間に対応する。
【００５３】
駆動制御部２２は、図１２に示すＢ期間のタイミングでカメラ部１０ｂのシャッター３４を開閉動作させる制御信号をカメラ部１０ｂに出力する。具体的に、駆動制御部２２は、Ｂ期間の開始後にシャッター３４を開く制御信号をカメラ部１０ｂに出力し、Ｂ期間の終了前にシャッター３４を閉じる制御信号をカメラ部１０ｂに送信する。本例では、カラーホイール５が４回転するごとにカメラ部１０ｂが１回の撮像画像データを出力できるため、カメラ部１０ｂの各周期においてカラーホイール５の２回転目のＢ期間にシャッター３４を開閉する制御信号を送信する。
【００５４】
これにより、カメラ部１０ｂは、図１２のカメラ部の周期に示すように、Ｂ期間を露光時間にして、カラーホイール５が４回転するごとに１枚のカラー画像データを出力する。この内のＧｒｅｅｎ画像データの観測により第１のレーザポインタ１１の緑色の発光点を検出することができる。また、第２のレーザポインタ１２の照射により投影面部１３上に赤外光を形成していた場合には、上記Ｇｒｅｅｎ画像データから赤外光による発光点を検出することもできる。
【００５５】
図１３はレーザポインタが投影面部に緑色（又は緑系統の色）の発光点を形成する場合のカメラ部１０ｂのシャッタータイミングを示す例（例２）である。
駆動制御部２２は、カメラ部１０ｂのシャッター３４を開閉動作させる制御信号を図１３に示す各期間のタイミングでカメラ部１０ｂに出力する。具体的に、カメラの動作周期の１周期目では、Ｂ期間内に開閉動作を行うための制御信号をカメラ部１０ｂに出力する。これにより、カメラ部１０ｂは、Ｂ期間を露光時間とし、１周期目において１枚のカラー画像データを出力する。出力されたカラー画像データからは、その内のＧｒｅｅｎ画像データの観測により第１のレーザポインタ１１の緑色の発光点を検出することができる。また、第２のレーザポインタ１２の照射により投影面部１３上に赤外光を形成していた場合には、上記Ｇｒｅｅｎ画像データから赤外光による発光点を検出することもできる。
【００５６】
続く２周期目では、Ｃ期間内に開閉動作を行うための制御信号をカメラ部１０ｂに出力する。これにより、カメラ部１０ｂは、Ｃ期間を露光時間とし、２周期目において更に１枚のカラー画像データを出力する。出力されたカラー画像データからは、その内のＢｌｕｅ画像データの観測により、赤外光による発光点を検出することができる。
【００５７】
続く３周期目では、Ａ期間内に開閉動作を行うための制御信号をカメラ部１０ｂに出力する。これにより、カメラ部１０ｂは、Ａ期間を露光時間とし、３周期目において更に１枚のカラー画像データを出力する。出力されたカラー画像データからは、その内のＲｅｄ画像データの観測により、赤外光による発光点を検出することができる。
【００５８】
４周期目以後も同様に、Ｂ期間、Ｃ期間、及びＡ期間の順にシャッター３４の開閉動作を繰り返すことにより、カメラ部１０ｂがカラー画像データの出力を繰り返す。
【００５９】
このようにして得られたカラー画像データを観測すると、１周期目のＧｒｅｅｎ画像データからは第１のレーザポインタ１１の緑色の発光点を検出することができる。また、投影面部１３に対して第２のレーザポインタ１２により赤外光を照射していた場合には、１周期目から３周期目の画像データから赤外光による発光点を検出することができる。
【００６０】
なお、ここでは、一例として第１のレーザポインタ１１の緑色の発光点を検出するものとして示したが、他の色についても同様にして検出することができる。例えば赤色の発光点の場合には、３周期目のＡ期間を露光時間にして出力されたカラー画像データのＲｅｄ画像データを観測することにより検出することができる。また、青色の発光点の場合には、２周期目のＣ期間を露光時間にして出力されたカラー画像データのＢｌｕｅ画像データを観測することにより検出することができる。赤外光についても同様に各期間を露光時間にして出力されたカラー画像データから検出することができる。
【００６１】
また、カラーホイール５の回転とシャッタータイミングの同期は、例えば、カラーホイール５自体に回転検出するための指標となる黒色シールと、カラーホイール５のホルダーに黒色シールを検知するためのセンサを設けるなどして実現する。この場合、駆動制御部２２には、黒色シールが検出されるタイミングをセンサから取得させて、シャッターを開閉制御する信号を出力させる。
【００６２】
次に、指示マーク検出部２５における、可視光の発光点と不可視光（一例として赤外光）の発光点との検出処理について説明する。
図１４は、投影面部１３の映像上に可視光の発光点と赤外光の発光点が共に形成されているときに撮像により取り込まれた画像の画像イメージを示す図である。ここでは、一例として、可視光の発光点が緑色である場合について示す。
【００６３】
図１４に示す画像Ｇ１１は、カメラの動作周期の１周期目のＢ期間（図１２参照）を露光時間として撮像されたカラー画像データのＧｒｅｅｎ版の画像データを示している。画像Ｇ１２は、２周期目のＣ期間を露光時間として撮像されたカラー画像データのＢｌｕｅ版の画像データを示している。画像Ｇ１０は、３周期目のＡ期間を露光時間として撮像されたカラー画像データのＲｅｄ版の画像データを示している。なお、同図において、明るい部分が輝度の高い部分を表し、暗い部分が輝度の低い部分を表すものとする。
【００６４】
図１４の画像Ｇ１０〜Ｇ１２の各画像には略同位置に略同形状の指示マークＭ１が輝度の高いエリアとして含まれている。指示マーク検出部２５は、この指示マークＭ１を検出する。例えば、指示マーク検出部２５は、画像Ｇ１０〜Ｇ１２として示す各色版の画像データから輝度が所定の閾値を超えるエリアを抽出し、各エリアの位置（重心位置など）を相互に比較する。そして、指示マーク検出部２５は、各エリアの位置の一致度が所定レベルを上回った場合に、抽出したエリアを赤外光の発光点を示す指示マークのエリアとして特定する。
【００６５】
また、図１４の画像Ｇ１１として示すＧｒｅｅｎ版の画像データには、輝度の高いエリアとして指示マークＭ１の他に指示マークＭ２が含まれている。指示マーク検出部２５は、更に、その指示マークＭ２を検出する。例えば、指示マーク検出部２５は、画像Ｇ１１として示すＧｒｅｅｎ版の画像データから輝度が所定の閾値を超えるエリアを抽出する。そして、抽出したものの内の指示マークＭ１以外のエリアを緑色の発光点を示す指示マークＭ２のエリアとして特定する。このように色版の画像を用いる、つまり色情報を用いることにより画像データから赤外と緑色の発光点を特定する。
【００６６】
なお、図１４に示す例では、輝度の高いエリアを指示マークのエリアとして検出し、ＲＧＢの各色版の画像データのそれぞれに含まれる指示マークを、不可視光（本例では赤外光）の発光点を示す指示マークＭ１として弁別した。また、１版（本例ではＧｒｅｅｎ版）に含まれる指示マークを可視光（本例では緑色の光）の発光点を示す指示マークＭ２として弁別した。しかしながら、照射装置の照射により形成される画像データ上の可視光と不可視光の弁別方法はこれに限るものではない。
【００６７】
例えば、輝度の高いエリアの抽出により指示マークを検出した後、各指示マークの形状を比較することにより可視光の発光点と不可視光の発光点とを弁別するようにしても良い。この場合、１版で可視光の発光点か不可視光の発光点かを特定することができるようになる。なお、可視光の発光点の形状と不可視光の発光点の形状は予め登録を行っておくものとする。また、各発光点の形状は、区別できるように互いに異なるものを使用するようにする。例えば、一方の発光点の形状を小さい円形、他方の発光点の形状を大きい円形としたり、或いは、一方の発光点の形状を円形、他方の発光点の形状を星型などとしたりすることにより、互いの形状を異ならせる。
【００６８】
こうして、指示マーク検出部２５は、映像信号入力部２３で生成されたＲＧＢの各画像データ中の指示マークとして記録されている発光部を検出する。そして、それぞれの位置座標{（ｘ１‘，ｙ１‘）、（ｘ２‘，ｙ２‘）}を取得する。位置座標は、例えば指示マークを示すエリアの重心位置の座標などとする。
【００６９】
画像処理部２６は、パラメータＨにセットされた射影変換係数により各指示マークの位置座標{（ｘ１‘，ｙ１‘）、（ｘ２‘，ｙ２‘）}を{（ｘ１，ｙ１）、（ｘ２，ｙ２）}に補正する。更に、画像処理部２６は、補正後の位置{（ｘ１，ｙ１）、（ｘ２，ｙ２）}に異なる指示データ（ポインタ画像等）を形成してなるフレーム画像を生成し、それを第２の映像信号（部分画像）として映像処理部２１に出力する。
【００７０】
以上より、１版で可視光の発光点か不可視光の発光点かを特定することができれば、３版でそれらを特定するよりも短いサイクルで部分画像を映像処理部２１に供給することができる。
【００７１】
次に、一体型画像投影装置１０の動作について説明する。
ここでは、一例として、起動後の映像再生時にキャリブレーション動作を行うものとして一体型画像投影装置１０の全体動作について示す。また、可視光と不可視光の発光点の特定を１版で行う場合（図１２参照）の動作例を示す。
【００７２】
図１５は、一体型画像投影装置１０の駆動制御部２２の動作フロー図である。
図１５に示す処理では、映像信号を１フレーム単位で処理するものとする。先ず駆動制御部２２は、映像処理部２１から出力される映像信号（第１の映像信号）を投射する（ステップＳ１０１）。具体的に、駆動制御部２２は入力Ｉ／Ｆから入力されて映像処理部２１が出力する１フレーム分の第１の映像信号をカラーホイール５の回転やＤＭＤ２のマイクロミラー等の制御により投影面部１３に投影する。なお、動画の場合、第１の映像信号の先頭の数フレーム分は空フレームとするなどして、本体映像は含まないものとする。
【００７３】
次いで、駆動制御部２２は、発光点検出モードであるか否かを判定する（ステップＳ１０２）。発光点検出モードとは、投影面部１３に第１のレーザポインタ１１（又は第２のレーザポインタ１２）等の照射装置を使用して光を照射する場合の、可視光又は不可視光の発光点を検出するためのモードである。発光点検出モードの設定は、例えば、ユーザＵが本体装置の操作画面（不図示）等により照射装置の発光色や当該モードの実行を指定するためのフラグ等を予め設定するなどして行う。駆動制御部２２は、そのフラグ設定等を読み取り、発光点検出モードを起動する。発光点検出モードでないと判定された場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０１へと戻り、第１の映像信号を２フレーム目から順次投射する。
【００７４】
一方、発光点検出モードであると判定された場合（ステップＳ１０２：Ｙｅｓ）、駆動制御部２２は、初期設定モードか否かを判定する（ステップＳ１０３）。初期設定モードとは、パラメータＨが未設定の場合に射影変換係数を演算する処理である。発光点検出モードを最初に起動する場合などに実行するものとして予めフラグなどにより設定する。なお、初期設定モードを実行するか否かの判定をその他の方法により行っても良い。例えば射影変換係数がセットされてから一定時間経過しているか否かをタイマー等（不図示）の計時情報から判定し、一定時間経過している場合に実行されるようにしても良い。また、設置環境が変わったか否かをセンサの出力値などから読み取り、設置環境が変わった場合に初期設定モードが実行されるようにしても良い。
【００７５】
ここで、初期設定モードであると判定された場合（ステップＳ１０３：Ｙｅｓ）、駆動制御部２２は、ＤＭＤ２等を駆動して、射影変換用のパターン画像Ｐ１（図６参照）を投射する（ステップＳ１０４）。具体的に、駆動制御部２２は、この例では映像処理部２１からの２フレーム目の第１の映像信号の転送を停止させてから、変換係数演算部２４にパターン画像Ｐ１の読み込みを指示する。変換係数演算部２４は、内蔵メモリから指定のパターン画像Ｐ１を読み込み、それを第４の映像信号として映像処理部２１に出力する。映像処理部２１は、その第４の映像信号を駆動制御部２２にフレーム出力する。そして、駆動制御部２２は、カラーホイール５の回転やＤＭＤ２のマイクロミラー等の制御によりパターン画像Ｐ１を一定期間（撮像に必要な時間）投影面部１３に投影する。
【００７６】
次いで、駆動制御部２２は、カメラ部１０ｂを駆動制御し、パターン画像Ｐ１の投影面部１３上の画像の撮像を行わせる（ステップＳ１０５）。これにより、カメラ部１０ｂからカラー画像データが出力され、映像信号入力部２３でＲＧＢに変換される。
【００７７】
次いで、変換係数演算部２４が、パターン画像Ｐ１とＲＧＢの画像データとの比較から射影変換係数を算出し、算出した値を画像処理部２６のパラメータＨにセットする（ステップＳ１０６）。なお、この例では、変換係数演算部２４は、パラメータＨに値をセットした後、映像処理部２１に再開信号を出力し、停止されていた第１の映像信号の転送を再開させる。
【００７８】
以上のようにして、キャリブレーション動作を終えると、続く２フレーム目以後の処理では次のような投影動作を行う。
【００７９】
先ず、駆動制御部２２が第１の映像信号の２フレーム目を投影面部１３に投影する（ステップＳ１０１）。
【００８０】
次に、ステップＳ１０２（Ｙｅｓ判定）、ステップＳ１０３（Ｎｏ判定）に続き、駆動制御部２２は、カラーホイール５の回転数Ｋ（Ｋは正の整数）が所定値の倍数か否かを判定する（ステップＳ１０７）。カラーホイール５の回転数Ｋは、例えばカラーホイール５が１回転するごとにカウントアップするカウンタなどにより取得する。なお、カウンタの回転数Ｋについてのデフォルト値は「４」とする。また、カラーホイール５の回転順は、Ｒｅｄ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗ、・・・の順（図９参照）とし、Ｒｅｄの位置はセンサの出力から検出する。
【００８１】
ステップＳ１０７において、初回の回転数Ｋの値はデフォルト値の「４」であるため、Ｙｅｓ判定になる。すると、駆動制御部２２は、カメラ部１０ｂに対して所定のタイミングでシャッターを開閉動作させる制御信号を出力する（ステップＳ１０８）。シャッタータイミングは、ユーザＵにより本体装置の操作画面などにより設定された照射装置の発光色（赤色、緑色、青色、赤外等）に基づき、駆動制御部２２が調節する。
【００８２】
例えば、ユーザＵが本体装置の操作画面等により照射装置の発光色として緑色と赤外を設定したとする。その場合、図１２に示す例では、カラーホイール５の２周期目（映像の２フレーム目）のＴｉｍｉｎｇＢ内にシャッターを開閉動作させる制御信号をカメラ部１０ｂに出力する。これにより、カメラ部１０ｂはＴｉｍｉｎｇＢ内に投影面部１３の光を撮像エリアにて露光する。
【００８３】
ステップＳ１０８の処理後、駆動制御部２２は、回転数Ｋの値を１つインクリメントする（ステップＳ１０９）。つまり、この段階では回転数Ｋの値を「４」から「５」にする。ステップＳ１０９の処理後は、ステップＳ１０１に移行し、駆動制御部２２が第１の映像信号の３フレーム目を投影面部１３に投影する。
【００８４】
３フレーム目のサイクルでは、ステップＳ１０７において回転数Ｋが「５」であり、４の倍数にはならないので、Ｎｏ判定となる。ここでＮｏ判定の場合には、ステップＳ１０９で回転数Ｋの値を１つインクリメントし、ステップＳ１０１に移行する。ステップＳ１０１では、駆動制御部２２が第１の映像信号の４フレーム目を投影面部１３に投影する。
【００８５】
４フレーム目のサイクルとそれに続く５フレーム面のサイクルでも、回転数Ｋの値がそれぞれ「６」、「７」であり、４の倍数にならない。このため、３フレーム目のサイクルと同様にステップＳ１０７においてＮｏ判定になる。
【００８６】
６フレーム目のサイクルでは、回転数Ｋの値が「８」となり、４の倍数となる。このため、ステップＳ１０７において再びＹｅｓ判定になる。すると、駆動制御部２２は、カメラ部１０ｂに対してＴｉｍｉｎｇＢでシャッターを開閉動作させる制御信号を出力する（ステップＳ１０８）。図１２に示す例では、カラーホイール５の６周期目（映像の６フレーム目）のＴｉｍｉｎｇＢに対応する。
【００８７】
その後も同様に、ステップＳ１０１〜ステップＳ１０３、及びステップＳ１０７〜ステップＳ１０９を繰り返し、駆動制御部２２は、４フレーム置きにＴｉｍｉｎｇＢにおける制御信号をカメラ部１０ｂに出力する。
【００８８】
以上に示す処理は、ステップＳ１０１において投影する映像信号が終了した場合などにおいて終了する。
【００８９】
なお、ＴｉｍｉｎｇＢにおける制御信号の出力後は、適宜、映像処理部２１により第１の映像信号に対して第２の映像信号（部分画像）が重畳された第３の映像信号が入力されることになる。そのため、ステップＳ１０１において、駆動制御部２２は、第１の映像信号に部分画像が重畳された第３の映像信号を投影面部１３に投影する。この処理については、次の動作フローにおいて説明する。
【００９０】
図１６は、一体型画像投影装置１０の発光点検出処理に係る各種処理部の動作フロー図である。
先ず、カメラ部１０ｂはＢ期間を露光時間として生成したカラー画像データをカラーホイール５の４周期置きに１回出力する（ステップＳ１１０）。カメラ部１０ｂから出力されたカラー画像データは、映像信号入力部２３でＲＧＢ画像データに変換され、指示マーク検出部２５に入力されることになる。
【００９１】
次に、指示マーク検出部２５が、ＲＧＢ画像データのＧｒｅｅｎ版の画像データを対象に、緑の発光点と赤外光の発光点を検出する（ステップＳ１１１）。この検出において、指示マーク検出部２５は、先ず、輝度の高いエリアを抽出して二か所の指示マークのエリアを特定する。更に、登録されている形状パターンと指示マークの形状パターンとを比較する。例えば、登録されている緑色の発光点の指示マークが小さい円形で、赤外の発光点の指示マークが大きい円形であるとする。その場合、特定された二つの指示マークの半径を比較して、半径が小さい方を緑色の発光点を示す指示マークとし、他方を赤外光の発光点を示す指示マークとして弁別する。そして、指示マーク検出部２５は、弁別した各指示マークの位置として例えばそれぞれの重心座標を示すデータを画像処理部２６に出力する。
【００９２】
次に、画像処理部２６がパラメータＨにより重心座標を第１の映像信号上に対応する位置に補正する（ステップＳ１１２）。そして、画像処理部２６は、各補正位置に所定データ（部分画像）としてポインタ画像等を設定したフレーム画像を生成し、そのフレーム画像を映像処理部２１に第２の映像信号として出力する（ステップＳ１１３）。
【００９３】
すると、映像処理部２１が第１の映像信号の後続の所定数分の入力フレームに対して第２の映像信号の部分画像を合成し、合成後のフレーム画像を第３の映像信号として駆動制御部２２に出力する（ステップＳ１１４）。なお、ここでは、後続する入力フレームの所定数分に部分画像を合成するものとして説明したが、これは、投影側のフレームレートと撮像側のフレームレートとの差により部分画像が生成されないフレームが発生するためである。本例では、それらのフレームを補間するために、後続する４つの入力フレームに対して部分画像を合成している。これにより、駆動制御部２２により第３の映像信号が連続して投影され、投影面部１３において各発光点にポインタ画像等が滑らかに表示されるようになる。投影側のフレームレートと撮像側のフレームレートとの差が生じない場合はこの限りではない。この場合、部分画像が生成されないフレームが発生しないため、補間の必要はない。
【００９４】
図１７は、投影面部１３に投影される映像と部分画像の合成映像を示す一例である。図１７（ａ）は、投影面部１３上の赤外光の発光点にポインタ画像が合成されたときの状態を示す図である。図１７（ａ）の例では、ポインタ画像として矢印を示す画像Ｑ１を合成したものを示している。図１７（ｂ）は、図１７（ａ）に示す状態に更に第１のレーザポインタ１１により緑色の光を照射したときの、緑色の発光点にポインタ画像が合成された状態を示す図である。図１７（ｂ）の例では、ポインタ画像として緑色の発光点にポインタの拡大画像Ｑ２を合成したものを示している。
【００９５】
以上のように、映像を投影した投影面部に可視光及び不可視光のレーザポインタ等を照射した場合、それぞれの発光部を可視光の発光部か不可視光の発光部かを弁別し、それぞれの発光部に別々の部分画像を重ねることができる。このため、可視光と不可視光のレーザポインタをそれぞれ使い分けて使用することができる。なお、本実施形態では、指示データとして矢印の画像やポインタの拡大画像などのポインタ画像を合成する例を示したが、この限りではない。例えば、その位置の映像を拡大した画像を合成するなどしても良い。
【００９６】
また、以上では、可視光と不可視光を同時に投影面部上に照射した場合の例を示したが、これは説明のための例である。通常は、可視光と不可視光を別々に使用する場合が多く、本システムでは、言うまでもなく、別々に使用した場合であっても、使用中の光の種類を特定し、その光に対応した部分画像を発光点の位置に合成することができる。
【００９７】
本実施形態では、パターン画像の一例として白黒の矩形パターンのパターン画像Ｐ１（図６参照）を使用したが、パターン画像のパターンや色などは適宜変形しても良い。
【００９８】
図１８は、パターン画像のその他の例である。図１８（ａ）、図１８（ｂ）に二つのパターン画像の例を示す。図１８（ａ）に示すパターン画像を使用した場合は、環境光による外乱がなければ、より精度の高い正確な座標を入手することができるようになる。また、図１８（ｂ）に示すパターン画像を使用した場合は、射影変形があった場合であっても、そのパターン画像を投影してなる投影画像中の円の重心を座標位置とすることにより、ある程度正確な座標を入手することができるようになる。
【００９９】
（第１の実施形態の変形例）
第１の実施形態の変形例では、可視光と不可視光の発光点の一方を、投影面部に設けた応力発光体により形成する例を示す。
図１９は、応力発光体（応力による発光部）を用いた投影面部の構成図の一例である。図１９に示す投影面部１３０は、ベース部材１３１と、応力発光体１３２と、保護部材１３３との３層構造の積層体よりなる。投影面部１３０は、ベース部材１３１上に、力を受けると発光する応力発光体１３２を設けており、その上を透明の保護部材１３３により覆うことにより、応力発光体１３２の露出面を保護する。投影面部１３０は、保護部材１３３側を投影面として利用する。応力発光体１３２の発光波長は、カメラ部１０ｂの撮像により指示マークとして検出させる光の波長と同種のものを選択する。例えば、赤や、緑や、青や、赤外などの各種の所定の波長領域のものを選択する。
【０１００】
図２０は、投影面部１３０の発光の様子を示した図である。図２０に示すように、ユーザＵが指（指示棒などでも良い）で投影面部１３０の表面を押すと、その力を応力発光体１３２（図１９参照）が受けて発光する。この発光点を、レーザポインタによる発光点の検出と同様に、カメラ部１０ｂ（図１参照）により撮像させ、画像処理等を通じて検出する。
【０１０１】
なお、応力発光体を使用した投影面部の構造はこれに限定されるものではない。投影面部は、力を受けると発光する応力発光体により構成されていれば良いため、その構造を適宜変形しても良い。例えば一対の基板で応力発光体１３２を挟持する構造としてもよい。
【０１０２】
以上のように、第１の実施形態及び変形例では、照射装置として二つのレーザポインタを使用した例や、レーザポインタの一方を応力発光体に変更した例を示した。しかし、投影面部上に可視光と不可視光の発光点を形成できるものであればその他の形態のものであっても良い。
【０１０３】
例えば、照射装置としてＬＥＤライトのようなレーザ発振を行わないＬＥＤ発光装置を使用しても良い。この場合、ＬＥＤはレーザよりも光の直進性が低く光が拡散しやすいので、投影面部に発光部を直接接触させるなどして使用する。これにより、投影面部上に発光部が形成されるため、それをカメラ部で発光点として検出することができる。
【０１０４】
また、一方の発光点をレーザポインタやＬＥＤライトにより形成し、他方の発光点を反射や散乱光により形成しても良い。例えば、投影面部上の全範囲に光を照射する照射装置を組合わせても良い。この場合、投影面部上をユーザが指や指示棒などで指示すると、照射装置の光が指や指示棒などに当たり反射又は散乱する。その反射又は散乱した光をカメラ部で撮像して発光点として検出する。
【０１０５】
また、以上に示す発光点を形成する各種手段を適宜組合わせても良い。
【０１０６】
また、各種手段と、使用する光（可視光又は不可視光）の関係は入れ替えても良い。例えば、投影面部上の全範囲に照射する照射装置の光を不可視光にし、他方のレーザポインタ等の光を可視光にする構成であれば、全範囲の照射装置を可視光にし、レーザポインタ等を不可視光にするなど、使用する光の関係を入れ替えても良い。
【０１０７】
また、本実施形態では、一体型の画像投影装置を示したが、この限りではない。適宜機能を分け、別体の装置に分離しても良い。例えば、映像の投影部と、画像処理により部分画像（ポインタ画像等）を投影部に出力する処理部とを別体にして構成しても良い。
【０１０８】
また、一体型、分離型の画像投影装置のサイズは、使用用途に合わせて適宜変更しても良い。例えば、社内向けの大型のものから個人向けの小型のものまで、使用用途に合わせて適宜変更しても良い。また、スマートフォン等のような片手に収まるサイズのピコプロジェクタに適用しても良い。
【０１０９】
また、第１の実施形態では、画像投影装置においてカラーホイールを使用することにより映像を構成する各色版のフレームを時分割で投影する構成を示したが、各色版のフレームを時分割で投影する構成はこれに限らない。例えば、カラーホイールの代わりに、ＲＧＢ各色のＬＥＤを設け、ＲＧＢ各色のＬＥＤを時分割でＤＭＤに照射することにより、各色版のフレームを時分割投影する構成としても良い。
【０１１０】
（第２の実施形態）
第１の実施形態では、可視光と不可視光の発光点を投影面部上に形成する照射装置として二つのレーザポインタを使用する態様を示した。第２の実施形態では、可視光の発光点を形成する照射装置としてＬＥＤライトを使用し、不可視光の発光点を形成する照射装置として、投影面部の全範囲に不可視光を照射する照射装置を使用した画像投影システムの態様を示す。なお、第２の実施形態の画像投影システムにおいて第１の実施形態の画像投影システムと重複する部分は、図示及び説明を省略し、主に、第１の実施形態の画像投影システムとの異なる部分について説明する。
【０１１１】
図２１は、第２の実施形態の画像投影システムの全体構成を説明するための図である。図２１に示す第２の実施形態の画像投影システム１００は、一体型画像投影装置（画像処理装置）５０と、ＬＥＤライト５１と、投影面部１３とを含む。
【０１１２】
一体型画像投影装置５０は、人が片手で携行可能なサイズの手持ち型の画像投影装置である。一体型画像投影装置５０は、第１の実施形態に示す投影部１０ａとカメラ部１０ｂと同様の機能構成を有した小型の投影部５０ａとカメラ部５０ｂとを備える。また、新たに、投影面部１３の全範囲に対して不可視光（本例では赤外光とする）を照射する赤外光照射装置（不可視光照射部）５０ｃを備える。投影部５０ａとカメラ部５０ｂの具体的な構成は第１の実施形態に示す構成と略同様であるため図示及び説明を適宜省略し、主に、赤外光照射装置５０ｃとＬＥＤライト５１の構成等について説明する。
【０１１３】
図２１に示すように赤外光照射装置５０ｃは一体型画像投影装置５０の下部に設けている。一体型画像投影装置５０は、同図に示すように投影面部１３の水平面に赤外光照射装置５０ｃを接地させるようにして使用する。カメラ部５０ｂはその状態で投影面部１３を撮像できる向きに傾けてあり、投影面部１３を含むように撮像する。なお、本例では、カメラ部５０ｂの角度が固定されているものとして説明するが、カメラ部５０ｂの角度を自由に変えられるように投影部５０ａの上面に可動部を設け、その可動部にカメラ部５０ｂを固定しても良い。可動部は、例えばカメラ部５０ｂを回動させるためのものとして構成することができる。
【０１１４】
赤外光照射装置５０ｃは、照射窓５００から投影面部１３側に赤外光を照射する。例えば、上記赤外光として赤外領域のレーザ光を、投影面部１３上方の一定の高さを通過するように投影面部１３に対して平行に照射し、投影面部１３上方の図２１に示す赤外光照射範囲Ｅをそのレーザ光によりライン走査する。
【０１１５】
ＬＥＤライト５１は、電池駆動の可視光砲弾型ＬＥＤであり、ＬＥＤを先端部５１０の近傍に備えている。ユーザがＬＥＤライト５１の先端部５１０を投影面部１３に押し込むことにより電源スイッチが入り、先端部５１０の近傍のＬＥＤが点灯する。先端部５１０には赤外光を通過させることができる透過部を設けている。ここでは、その素材の一例として透明ガラスや透明プラスチック等の透明体のものを使用することとする。ＬＥＤが点灯すると透過部からＬＥＤの光が放たれ、透過部は発光部として機能する。
【０１１６】
図２２は、投影面部１３上でＬＥＤライト５１を用いる場合の、赤外光照射装置５０ｃが照射する赤外光の通過位置を説明するための図である。図２２（ａ）は、投影面部１３を側方から図示したものであり、投影面部１３にＬＥＤライト５１を矢印Ｙ１方向に押し込むことによりＬＥＤを発光させたときの状態を示している。
【０１１７】
同図に示すように、赤外光照射装置５０ｃが照射する赤外光（同図の破線矢印Ｙ２）の投影面部１３上の通過位置を、ＬＥＤライト５１の先端部５１０の透明体５１０ａの範囲Ｈ以内（ただし、Ｈ＞０）に設定する。つまり、赤外光照射装置５０ｃが照射する赤外光の照射範囲（図２１の赤外光照射範囲Ｅ）において、投影面部１３の垂直方向の照射位置Ｊを範囲Ｈ内（望ましくは、照射位置Ｊ＜＜範囲Ｈ）に制限する。これにより、ユーザがＬＥＤライト５１を投影面部１３に当てて、ＬＥＤの発光によりその位置を指示した場合でも赤外光照射装置５０ｃからの赤外光はＬＥＤライト５１を通過することになる。このため、赤外光照射装置５０ｃが照射する赤外光（同図の破線矢印Ｙ２）がＬＥＤライト５１において反射や散乱し、これによりその位置に所定レベル以上の輝度値の発光点が形成されることを抑えることができる。
【０１１８】
図２２（ｂ）は、図２２（ａ）に示すＬＥＤライト５１に代わり、指示手段の一例として指で投影面部１３を触れたときの状態を示している。同図に示すように、赤外光（同図の破線矢印Ｙ２）は指Ｕ１の位置で反射、吸収、散乱し、赤外光を遮った指Ｕ１の位置に赤外光の発光点が形成される。赤外光の照射位置は、ユーザが投影面部１３を指Ｕ１で触れたときの指Ｕ１の先端に近いことが望ましい。例えば、指Ｕ１の先端から第一関節以内や、指Ｕ１の爪Ｕ２の位置などに収めるようにする。図２２（ｂ）に示す例では、その照射位置を指Ｕ１の爪Ｕ２の位置に設定したものを示している。
【０１１９】
図２３は、一体型画像投影装置５０の機能構成を示すブロック図である。図２３に示すように、一体型画像投影装置５０は、第１の実施形態に示すブロック構成（図５参照）に更に赤外光走査部６０を備える。また、駆動制御部６１及び指示マーク検出部６２を備える。
【０１２０】
赤外光走査部６０は、駆動制御部６１の照射命令により、赤外光照射装置５０ｃを起動し、赤外光を投影面部１３に照射させる。本例では、更に、その照射光を赤外光照射範囲Ｅ内を走査するように制御する。
【０１２１】
ここで、第２の実施形態の指示マーク検出部６２における、可視光の発光点と不可視光（本例の赤外光）の発光点との弁別方法について説明する。
図２４は、投影面部１３の映像上の一点をＬＥＤライト５１で押し当てて指示し、更に別の一点をユーザが指で触れて指示を行った場合の投影面部１３の状態を示す図である。つまり、図２４に示す例は、可視光と不可視光の赤外光とが同時に投影面部１３上で発光する場合のパターンを示している。以下では、ＬＥＤライト５１の発光点を緑色とした場合の、ＬＥＤライト５１の発光点とユーザの指の発光点の検出処理について説明する。
【０１２２】
図２５は、図２４の状態をカメラ部５０ｂで撮像した場合の、カメラ部５０ｂからの取込画像の画像イメージを示す図である。図２５の画像Ｇ２０、Ｇ２１、Ｇ２２は、第１の実施形態の画像Ｇ１０、Ｇ１１、Ｇ１２（図１４参照）と同様にして得られたものである。つまり、各画像Ｇ２０、Ｇ２１、Ｇ２２は、それぞれ、図１３のカラーカメラ周期に示すタイミングで露光して得られたものである。つまり、画像Ｇ２１は、カメラ部５０ｂによりＢ期間に露光されて出力されたＧｒｅｅｎ版の画像データを示している。画像Ｇ２２は、Ｃ期間に露光されて出力されたＢｌｕｅ版の画像データを示している。画像Ｇ２０は、Ａ期間に露光されて出力されたＲｅｄ版の画像データを示している。なお、同図において、明るい部分が輝度の高い部分を表し、暗い部分が輝度の低い部分を表している。
【０１２３】
図２５の画像Ｇ２０〜Ｇ２２の各画像には略同位置に指（又は爪）の特徴を示す三日月形状の指示マークＭ２０が輝度の高いエリアとして含まれている。また、図２５の画像Ｇ２１として示すＧｒｅｅｎ版の画像データには、輝度の高いエリアとして指示マークＭ２０の他にＬＥＤライト５１の円形の指示マークＭ２１が含まれている。指示マーク検出部６２は、これらの指示マークＭ２０、Ｍ２１を輝度差により検出し、更に、それぞれを可視光の指示マークと不可視光の指示マークとに弁別する。各指示マークＭ２０、Ｍ２１の弁別方法は、第１の実施形態にも述べているが、ここでは、１版で各指示マークＭ２０、Ｍ２１の検出と弁別とを行うことのできる画素の輝度パターンによる方法について示す。一例として、画像データの内の注目画素から８方向の輝度差を調べて形状認識するＲＲＣ（Radial Reach Correlation）処理を利用した弁別方法について示す。
【０１２４】
図２６は、Ｇｒｅｅｎ版の画像Ｇ２１を対象にＲＲＣ（Radial Reach Correlation）処理を施した後の指示マークの輝度分布図である。図２６（ａ）はＬＥＤライト５１が形成する発光点の指示マークＭ２１の輝度分布図であり、図２６（ｂ）はユーザの指に形成される発光点の指示マークＭ２０の輝度分布図である。図２６（ａ）と図２６（ｂ）の各図の比較から、円形の指示マークＭ２１と三日月形の指示マークＭ２０の輝度分布において違いが表れることが分かる。
【０１２５】
指示マーク検出部６２は、映像信号入力部２３を介して入力されたＧｒｅｅｎ版の画像データ（図２５の画像Ｇ２１）を対象にＲＲＣ処理を施す。そして、図２６（ａ）、図２６（ｂ）に示す輝度分布からＬＥＤライト５１の指示マークＭ２１とユーザの指の指示マークＭ２０とを弁別する。
【０１２６】
具体的に、指示マーク検出部６２は、先ず、Ｇｒｅｅｎ版の画像データから注目画素（ｍ２１０、ｍ２００）を設定し、注目画素から放射状に８方向の画素の輝度値を調べ、注目画素の近傍から順に、注目画素と各画素の輝度差を求める。そして輝度差が所定の閾値未満の画素（ｍ２１１、ｍ２０１）については次の画素の輝度差を求め、輝度差が所定の閾値を超えた画素（ｍ２１２、ｍ２０２）で、そこまでの放射状の画素グループの配列パターンを指示マークの候補とする。指示マーク検出部６２は、その処理をＧｒｅｅｎ版の画像データの各画素に対して行い、指示マークの複数の候補を生成する。指示マーク検出部６２は、更に、候補となった画素グループの配列パターン（つまり放射状の輝度分布）の標準偏差を求める。
【０１２７】
例えば、ＬＥＤライト５１の場合、指示マークは円形状や楕円形状になる場合が多いので、その輝度分布は図２６（ａ）に示す例のように８方向の長さが略均等になる。一方、指の場合、指示マークは三日月形状になるため、図２６（ｂ）に示す例のように８方向の長さに特有のばらつきがでる。これらの特徴を標準偏差の値として求める。
【０１２８】
その後、指示マーク検出部６２は、標準偏差の値に基づき、ＬＥＤライト５１の指示マークＭ２１とユーザの指の指示マークＭ２０との類似度を求め、ＬＥＤライト５１の指示マークＭ２１とユーザの指の指示マークＭ２０とを弁別する。類似度の算出は、例えば、予めＬＥＤライト５１の指示マークＭ２１とユーザの指の指示マークＭ２０の複数パターンの画像データ（Ｇｒｅｅｎ版）を内部メモリに記憶しておく。指示マーク検出部６２は、それらのデータから算出した標準偏差の値を基準に類似度を求める。これにより、指示マーク検出部６２は、指示マークＭ２０、Ｍ２１として特定した各画素グループの注目画素の位置座標{（ｘ１‘，ｙ１‘）、（ｘ２‘，ｙ２‘）}等を画像処理部２６に出力する。
【０１２９】
画像処理部２６は、第１の実施形態に示す通り、パラメータＨにセットされた射影変換係数により各指示マークの位置座標{（ｘ１‘，ｙ１‘）、（ｘ２‘，ｙ２‘）}を{（ｘ１，ｙ１）、（ｘ２，ｙ２）}に補正する。更に、画像処理部２６は、補正後の位置{（ｘ１，ｙ１）、（ｘ２，ｙ２）}に異なる指示データを形成してなるフレーム画像を生成し、それを第２の映像信号として映像処理部２１に出力する。
【０１３０】
図２７は、第２の実施形態の駆動制御部６１の動作フロー図である。本動作フロー図は、第１の実施形態の駆動制御部２２の動作フロー図（図１５参照）と一部の動作が重複している。従って、ここでは重複箇所の説明を省略し、異なる部分についての説明を行う。
【０１３１】
第２の実施形態の駆動制御部６１の動作フローにおいて、駆動制御部６１は、ステップＳ１０３のＮｏ判定後に、赤外光照射装置５０ｃの起動状態を判定する（ステップＳ２００）。赤外光照射装置５０ｃが停止している場合（ステップＳ２００：Ｎｏ判定）、駆動制御部６１は、赤外光走査部６０に照射命令を出力する（ステップＳ２０１）。これにより、赤外光照射装置５０ｃを起動し、投影面部１３上の赤外光の走査を開始する。
【０１３２】
ステップＳ２０１の処理後は、ステップＳ２００に移行し、その後のサイクルでは、赤外光照射装置５０ｃは起動しているため（ステップＳ２００：Ｙｅｓ判定）、ステップＳ１０７へと処理を進め、カメラ部５０ｂによる投影面部１３上の撮像を開始する。つまり、カメラ部５０ｂによる投影面部１３上の撮像が開始される時には、既に赤外光照射装置５０ｃから投影面部１３に赤外光が走査されている。この赤外光の走査により、ユーザが指で投影面部１３上を指示すときに赤外光を遮ると、指における発光点が指示マーク検出部６２により検出される。そして、映像上の指示マークの位置にポインタ画像等が合成される。
【０１３３】
なお、赤外光照射装置５０ｃの停止は、例えばステップＳ１０１において映像信号が終了した際などに駆動制御部６１が赤外光走査部６０に停止命令を出力するなどにより実施する。
【０１３４】
図２８は、投影面部１３に投影される映像とポインタ画像の合成映像を示す一例である。図２８に示す例では、指の発光点に合成画像として矢印を示す画像Ｑ１を形成したものを示している。また、緑色の発光点に合成画像としてポインタの拡大画像Ｑ２を形成したものを示している。ユーザが投影面部１３上を指Ｕ１やＬＥＤライト５１を移動させると、矢印を示す画像Ｑ１やポインタの拡大画像Ｑ２がその移動に追随して移動する。
【０１３５】
第２の実施形態では、可視光の発光点と不可視光の発光点のそれぞれに指示データとして矢印やポインタ等の画像を合成し、発光点の移動と共に追随する例を示したがこの限りではない。例えば、発光点の位置に合成した指示データをその後のフレームにも残し、発光点の移動による位置の異なる指示データを、その後のフレームに順次追加する構成としても良い。その場合、指示データをドットとすれば、投影面部１３上で発光点を移動させると線が形成されることになる。
【０１３６】
（第２の実施形態の変形例１）
第２の実施形態の変形例１では、ＬＥＤライト５１が形成する発光点により投影面部１３上に線を描き、ユーザの指において形成される発光点により投影面部１３上に描かれた線を消すための消しゴムとして機能させるための画像処理部２６の構成を示す。
【０１３７】
図２９は、第２の実施形態の変形例１の画像処理部の機能ブロック図である。図２９に示すように、画像処理部７０は、一つ前に映像処理部に出力したフレーム画像（部分画像）のコピーを一時的に記憶しておくための部分画像バッファ部７００を備える。
【０１３８】
画像処理部７０は、第２の実施形態の画像処理部２６と同様に（つまり第１の実施形態の画像処理部２６で説明したように）、指示マーク検出部６２により検出された可視光と不可視光の発光点の位置をパラメータＨにセットされた射影変換係数により補正する。更に、補正後の位置に異なる指示データ（上記部分画像）を形成してなるフレーム画像を生成して映像処理部２１に出力する。部分画像バッファ部７００は、その出力したフレーム画像を一時的に記憶する。画像処理部７０は、その後、指示マーク検出部６２から可視光と不可視光の次の位置座標（前と同じ位置座標又は移動後の位置座標）の入力があると、同様に位置を補正する。また更に、部分画像バッファ部７００に一時的に記憶している一つ前のフレーム画像上に部分画像を配置し、部分画像バッファ部７００を更新する。そして、画像処理部７０は、更新したフレーム画像を映像処理部２１に出力する。
【０１３９】
図３０は、部分画像バッファ部７００が記憶するフレーム画像（部分画像）の遷移図である。図３０（ａ）は、投影面部１３上の一点から他の一点にＬＥＤライト５１の発光点を移動させた場合の部分画像の遷移を示している。図３０（ａ）に示すように、画像処理部７０は、投影面部１３上の一点に形成された発光点の対応位置に、先ず、線を形成するためにドット画像Ｄ１を形成し、その部分画像を部分画像バッファ部７００に保存する。更に、投影面部１３上の一点から他の一点にＬＥＤライト５１の発光点が移動させられると、画像処理部７００は、順次、前に形成したドット画像Ｄ１に新たに形成したドット画像Ｄ２、Ｄ３、・・・ＤＮ（Ｎは整数）を追加する。そして、追加の画像により部分画像バッファ部７００の部分画像を更新する。これにより発光点の軌跡に線が形成される。
【０１４０】
図３０（ｂ）は、図３０（ａ）に示す線に対応する投影面部１３上の線をユーザが指でなぞって消す場合の部分画像の遷移を示している。画像処理部７０は、投影面部１３上の指の発光により形成された発光点の対応位置に、先ず、線を消すためのドット画像Ｆ１を形成し、部分画像バッファ部７００に記憶されている線を含む部分画像にドット画像Ｆ１を追加する。ドット画像Ｆ１の画素情報は、ドット画像Ｄ１の画素情報を打ち消す値とする。これにより、線上にドット画像Ｆ１・・・ＦＮ（Ｎは整数）を重ねて移動すると、図３０（ｂ）の矢印の遷移先に示すように、重なった部分のドット画像Ｄ１、Ｄ２、・・・の画素情報が打ち消され、その部分の線が消える。
【０１４１】
（第２の実施形態の変形例２）
第２の実施形態では、一体型の画像投影装置として赤外光照射装置５０ｃを設けているが、赤外光照射装置５０ｃを別体として設けても良い。
図３１は、別体の赤外光照射装置５０ｃ−１と、一体型画像投影装置５０−１の外観図である。別体の赤外光照射装置５０ｃ−１には、電源を投入するための電源スイッチ（不図示）を設ける。赤外光照射装置５０ｃ−１は、その電源スイッチをユーザが入れることにより起動し、赤外光を照射する。この場合、一体型画像投影装置（画像処理装置）５０−１の駆動制御部による赤外光照射装置の制御が不要になる。
【０１４２】
以上に示す第１、第２の実施形態では、投影部とカメラ部を一つの装置に備えた画像投影装置について示した。しかし、これらは一体でなく、一部の機能を別体に設けて分離型として構成しても良い。
【０１４３】
以上のように、第２の実施形態及び変形例では、指や指示棒などの指示手段を用いて投影面部上を直接触れて指し示す場合に、その指示位置にポインタ画像等の合成情報を表示させることができる。第２の実施形態では、投影面部上に視覚的に認識されない赤外光を照射して走査し、その赤外光により指示手段上に発光点を形成する。このため、赤外光が映像の邪魔になることはなく、また、指示位置を発光点が邪魔することもない。  
【０１４４】
（第３の実施形態）
第３の実施形態では、一体型画像投影装置の分離型の態様を示す。ここでは、一例として、投影部８０ａとカメラ部８０ｂと赤外光照射装置８０ｃとがそれぞれ別体として構成されている場合の例を示す。
図３２は、投影部８０ａとカメラ部８０ｂと赤外光照射装置８０ｃの外観図である。
投影部８０ａは、第１の実施形態に示す投影部１０ａ（図２参照）の内部構成を有する。赤外光照射装置８０ｃは、第２の実施形態に示す赤外光照射装置５０ｃ−１（図３１参照）に対応し、電源スイッチを有する。赤外光照射装置５０ｃ−１は、ユーザがその電源スイッチを入れることにより赤外光の照射と走査を開始する。カメラ部８０ｂの構成については後述する。
【０１４５】
図３３は、各部（投影部８０ａ、カメラ部８０ｂ、及び赤外光照射装置８０ｃ）の配置例である。図３３には、投影部８０ａを赤外光照射装置８０ｃ上に置き、投影部８０ａにカメラ部８０ｂを長尺の屈曲自在のケーブルＩを用いて接続した状態のものを示している。この接続例では、カメラ部８０ｂの向きや位置を自由に変えることができるため、カメラ部８０ｂによる撮像を投影面部の正面から行うことができる。なお、投影面部は、第２の実施形態の画像投影システム１００（図２１参照）と同様に、投影部８０ａの投影範囲に設ける。可視光を照射する照射装置は、レーザポインタやＬＥＤライト等を適宜選択して良い。
【０１４６】
図３４は、カメラ部８０ｂの構成図の一例である。本実施形態の分離型のカメラ部８０ｂは、撮像カメラ８００とコンピュータ（画像処理装置）８０１とにより構成する。コンピュータ８０１は、パーソナルコンピュータ等の情報処理装置である。
【０１４７】
図３５は、コンピュータ８０１のハードウェアブロック図である。コンピュータ８０１は、ＣＰＵ（Central  Processing  Unit）８１０、ＲＯＭ（Read  Only  Memory）８１１、ＲＡＭ（Random  Access  Memory）８１２、メモリ部８１３、操作入力部８１４、表示出力部８１５、通信インタフェース８１６などを備える。各部はバス８１８により相互に接続されている。
【０１４８】
ＣＰＵ８１０は、各種のプログラムを実行し、演算処理や各部の制御を行う中央演算処理装置である。ＲＯＭ８１１は、固定のプログラムやデータを記憶する不揮発性メモリである。ＲＡＭ８１２は、ＣＰＵ８１０の作業エリアとして使用する揮発性メモリである。メモリ部８１３は、各種プログラムやデータを記憶するＨＤＤや可搬型のフラッシュメモリ等の外部記憶装置である。操作入力部８１４は、キーボードやマウスなどの接続によりユーザ入力を受け付ける。表示出力部８１５は、表示ディスプレイ（例えば液晶表示ディスプレイなど）の接続により設定情報等を表示する。通信インタフェース８１６は、投影部８０ａと通信を行うインタフェースである。
【０１４９】
以上の構成の下、ＣＰＵ８１０は各種プログラムをメモリ部８１３等からＲＡＭ８１２にロードして実行し、コンピュータ８０１を次の各部として機能させる。
図３６は、投影部８０ａと、カメラ部８０ｂ（コンピュータ８０１）の機能ブロック図の一例である。
【０１５０】
図３６に示すように、投影部８０ａは、映像処理部２１、駆動制御部２２、同期信号出力部８２０、映像信号入力処理部８２３などを備えている。また、カメラ部８０ｂは、撮像制御部８２４、映像信号入力部２３、変換係数演算部２４、指示マーク検出部２５、画像処理部２６、同期映像信号伝送部８２５などを備えている。画像処理部２６と同期映像信号伝送部８２５が合成情報出力部として機能する。なお、第１の実施形態の機能ブロック図（図５参照）と略同様の機能部については、同じ符号を付すなどして簡略して説明し、第１の実施形態と異なる部分について詳しく説明する。
【０１５１】
先ず、投影部８０ａについて説明する。
映像信号入力処理部８２３には、ＨＤＭＩ（登録商標）などのデジタル信号や、ＶＧＡやコンポーネント信号等のアナログ信号が入力される。映像信号入力処理部８２３は、入力信号に応じてＲＧＢやＹＰｂＰｒ信号等へと映像を加工する処理を行う。なお、映像信号入力処理部８２３は、入力された映像信号がデジタル信号の場合は、入力信号のビット数に応じて映像処理部２１が規定するビットフォーマットに変換する。また、映像信号入力処理部８２３は、入力された映像信号がアナログ信号入力の場合はアナログ信号をデジタルサンプリングするＤＡＣ処理等を行い、ＲＧＢあるいはＹＰｂＰｒのフォーマット信号を映像処理部２１へと入力する。
【０１５２】
映像処理部２１は映像信号を駆動制御部２２に出力する。映像処理部２１は、映像信号入力処理部８２３から画像処理部２６で生成された部分画像の入力があると、部分画像を合成した映像を駆動制御部２２に出力する。
駆動制御部２２は、ＤＭＤ２、カラーホイール５、ランプ電源１７などを制御する。また、カラーホイール５の回転に同期させてシャッターの開閉を制御するための信号を同期信号出力部８２０に出力する。
【０１５３】
同期信号出力部８２０は、駆動制御部２２のシャッターの開閉を制御するための信号を外部装置の仕様に合わせて加工し、外部装置に対応するタイミング信号を外部装置に出力する。
【０１５４】
次に、カメラ部８０ｂについて説明する。
撮像制御部８２４は、通信インタフェース８１６（図３５参照）を介して入力された同期信号出力部８２０のタイミング信号から撮像タイミングを検出し、撮像カメラ８００のシャッターの開閉動作を制御する。シャッターの開閉制御のタイミングは、第１の実施形態と同様とする。つまり、照射装置の照射光として赤色の発光色のものを使用する場合はＴｉｍｉｎｇＡ（図９参照）、緑色の場合はＴｉｍｉｎｇＢ（図９参照）、青色の場合はＴｉｍｉｎｇＣ（図９参照）のタイミングとする。なお、照射装置の照射光として赤外光を併用する場合は、ＴｉｍｉｎｇＡ、Ｂ、Ｃの何れでも良い。
【０１５５】
映像信号入力部２３は、撮像カメラ８００から出力されるカラー画像データを入力し、それをＲＧＢに変換する。
【０１５６】
変換係数演算部２４はキャリブレーションの動作時に射影変換係数を算出して画像処理部２６のパラメータにセットする。なお、キャリブレーションを開始する指示は、投影部８０ａの駆動制御部２２から通信インタフェース８１６（図３５参照）を介して受け付ける。また、射影変換係数をパラメータにセットした後、変換係数演算部２４は通信インタフェース８１６（図３５参照）を介して駆動制御部２２または映像処理部２１などに対して終了を示す信号を出力する。
【０１５７】
指示マーク検出部２５は、ＲＧＢ画像から指示マークを検出する。
【０１５８】
画像処理部２６は、指示マークの位置をパラメータＨにより補正し、補正後の位置にポインタ画像等を設定した部分画像を形成する。
【０１５９】
同期映像信号伝送部８２５は、画像処理部２６により生成された部分画像を投影部８０ａとの接続方式に準ずる伝送フォーマットに変換するなどし、通信インタフェース８１６（図３５参照）を介して投影部８０ａの映像信号入力処理部８２３に信号を伝送する。例えば、ＲＧＢ信号をＹＰｂＰｒ信号に変換するなどして伝送する。なお、投影部８０ａがアナログ入力だけを受け付ける場合、同期映像信号伝送部８２５は、部分画像をデジタル信号からアナログ信号に変換して伝送する。
【０１６０】
次に、投影部８０ａとカメラ部８０ｂ（主に、コンピュータ８０１）の動作について説明する。投影部８０ａの駆動制御部２２の動作は、第１の実施形態の駆動制御部２２の動作（図１５参照）と略同様である。異なる点は、ステップＳ１０５において、駆動制御部２２が同期信号出力部８２０を介してカメラ部８０ｂにタイミング信号を出力するという点である。
【０１６１】
図３７は、カメラ部８０ｂのフロー図である。
以下では、照射装置の可視光と不可視光のそれぞれの発光色は、予めキーボード入力するなどして、メモリ部８１３に使用色として記憶させてあるものとして説明する。本例では、それぞれの発光色を緑色と赤外とする。また、キャリブレーション動作については、第１の実施形態の動作フロー図（図１５参照）の変換係数演算部２４の動作として説明したものと略同様であるため、ここでの説明を省略する。
【０１６２】
先ず、撮像制御部８２４は、通信インタフェース８１６（図３５参照）を介して受信したタイミング信号から撮像タイミングを検出し（ステップＳ２００）、その開始と終了のタイミングで撮像カメラ８００に撮像指示信号を出力する（ステップＳ２０１）。
【０１６３】
次いで、映像信号入力部２３が撮像カメラ８００から出力されるカラー画像データを取得し、ＲＧＢに変換する（ステップＳ２０２）。
【０１６４】
次いで、指示マーク検出部２５が、メモリ部８１３に設定されている設定色に基づき、ＲＧＢ画像データの１版（本例ではＧｒｅｅｎ版）の画像データを対象に、各発光点を検出し、それぞれの発光点を可視光と不可視光とに弁別する（ステップＳ２０３）。弁別方法は第１の実施形態や第２の実施形態において説明済みであるためここでの説明は省略する。
【０１６５】
次いで、画像処理部２６がパラメータＨにより座標を第１の映像信号上に対応する位置に補正する（ステップＳ２０４）。そして、画像処理部２６は、各補正位置に所定データ（部分画像）としてポインタ画像等を設定したフレーム画像を生成する（ステップＳ２０５）。
【０１６６】
次いで、映像信号伝送部８２５がフレーム画像を投影部８０ａ間の所定の伝送信号に変換し、通信インタフェース８１６（図３５参照）を介して投影部８０ａの映像信号入力処理部８２３に伝送する（ステップＳ２０６）。
【０１６７】
その後、投影部８０ａでは、映像処理部２１が第１の映像信号の後続の所定数分の入力フレームに対して第２の映像信号の部分画像を合成し、合成後のフレーム画像を第３の映像信号として駆動制御部２２に出力するものとなる。
【０１６８】
なお、情報処理装置であるコンピュータ８０１は、ネットワークを通じて接続された外部の情報処理装置によって一部の処理を行うようにしてもよい。例えば、ネットワーク上におかれた、高機能な演算処理サーバを用いて、初期の射影変換行列演算を行ったり、重畳する合成情報等をダウンロードし、画像処理時に用いたりするようにしても良い。
【０１６９】
（第３の実施形態の変形例）
第３の実施形態では、分離型の各装置間が有線接続されたものについて示しているが、各装置間は無線接続であっても良い。
【０１７０】
図３８は、第３の実施形態の変形例としての投影部９０ａ、カメラ部９０ｂ、及び赤外光照射装置９０ｃの構成図の一例である。ここでは、無線通信部のみを示し、他の構成部は図示を省略している。  
【０１７１】
図３８に示すように、投影部９０ａ、カメラ部９０ｂ、及び赤外光照射装置９０ｃの各機器に無線通信部９００、９０１、９０２を備える。無線通信部は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ等の近距離無線通信部である。各機器は、それぞれの無線通信部を介して交信する。赤外光照射装置９０ｃの無線通信部９０２は、投影部９０ａの無線通信部９００と交信し、投影部９０ａからの赤外光の照射命令や照射停止命令等の信号を受信する。投影部９０ａの無線通信部９００とカメラ部９０ｂの無線通信部９０１とは、映像信号やタイミング信号等を送受信する。
【０１７２】
無線通信を使用することにより、次のような態様をとることができる。例えば、カメラを内蔵したスマートフォン等の情報機器をカメラ部９０ｂとして利用することができる。
この場合、スマートフォン等の情報機器に予め、図３７に示すような、撮像カメラを制御して部分画像の生成等を行うプログラムをダウンロードさせる。そして、その情報機器を投影部９０ａと無線接続し、情報機器を部分画像処理等の計算処理に利用する。
【０１７３】
以上のように、各実施形態及び変形例においては、投影面部に投影された映像を可視光と不可視光を用いて指し示した場合の各発光点を検出し、各発光点を可視光のものと不可視光のものとに弁別することができる。また、更に、各発光点に固有の合成情報を合成することが可能となる。
【０１７４】
本実施形態で実行されるプログラムは、ＲＯＭやメモリ部などに予め組み込まれて提供するものとしているが、これに限定されるものではない。本実施形態で実行されるプログラムを、コンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供してもよい。例えば、インストール可能な形式または実行可能な形式のファイルで、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ブルーレイディスク（登録商標）、半導体メモリ等の記録媒体に記録して提供してもよい。
【０１７５】
また、本実施形態で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１７６】
以上、本発明の各実施形態及び変形例を説明したが、それぞれの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１７７】
１      画像投影システム
１０    一体型画像投影装置
１０ａ  投影部
１０ｂ  カメラ部
１１    第１のレーザポインタ
１２    第２のレーザポインタ
１３    投影面部  
２１    映像処理部
２２    駆動制御部
２３    映像信号入力部
２４    変換係数演算部
２５    指示マーク検出部
２６    画像処理部
【先行技術文献】
【特許文献】
【０１７８】
【特許文献１】特許第３７３３９１５号公報
【図３】
2016212291.tif 000003
【図５】
2016212291.tif 000004
【図６】
2016212291.tif 000005
【図７】
2016212291.tif 000006
【図８】
2016212291.tif 000007
【図９】
2016212291.tif 000008
【図１５】
2016212291.tif 000009
【図１６】
2016212291.tif 000010
【図１８】
2016212291.tif 000011
【図１９】
2016212291.tif 000012
【図２２】
2016212291.tif 000013
【図２３】
2016212291.tif 000014
【図２７】
2016212291.tif 000015
【図２９】
2016212291.tif 000016
【図３４】
2016212291.tif 000017
【図３５】
2016212291.tif 000018
【図３６】
2016212291.tif 000019
【図３７】
2016212291.tif 000020
【図３８】
2016212291.tif 000021
【図１】
2016212291.tif 000022
【図２】
2016212291.tif 000023
【図４】
2016212291.tif 000024
【図１０】
2016212291.tif 000025
【図１１】
2016212291.tif 000026
【図１２】
2016212291.tif 000027
【図１３】
2016212291.tif 000028
【図１４】
2016212291.tif 000029
【図１７】
2016212291.tif 000030
【図２０】
2016212291.tif 000031
【図２１】
2016212291.tif 000032
【図２４】
2016212291.tif 000033
【図２５】
2016212291.tif 000034
【図２６】
2016212291.tif 000035
【図２８】
2016212291.tif 000036
【図３０】
2016212291.tif 000037
【図３１】
2016212291.tif 000038
【図３２】
2016212291.tif 000039
【図３３】
2016212291.tif 000040