(57)【要約】【課題】複数の画像投影装置を用いるシステムにおいても映像信号の影響を受けることなく、精度良く安定的に投影面に照射された光点を検出する。【解決手段】画像投影装置は、光指示装置が照射している照射色とは異なる投影期間を、投影面を撮影するタイミングとして指定した同期信号を情報処理装置へと送信する同期信号出力部１１を備え、情報処理装置は、複数の画像投影装置の投影画像を一つの合成画像となるように各投影画像を投影する投影制御部２８と、同期信号に従い、撮影部に投影面を撮影させる撮影制御部２１と、撮影部で撮影された画像データから光指示装置が投影面に対して照射した照射画像を検出する照射画像検出部２４と、検出された照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成部２５と、を備える。【選択図】図４
2016092779.tif 000002
【特許請求の範囲】
【請求項１】
画像データを投影面に投影する複数の画像投影装置と、前記複数の画像投影装置と接続された情報処理装置と、前記投影面を撮影する撮影部と、を有し、
前記画像投影装置は、
光指示装置が照射している照射色とは異なる投影期間を、前記投影面を撮影するタイミングとして指定した同期信号を前記情報処理装置へと送信する同期信号出力部を備え、
前記情報処理装置は、
前記複数の画像投影装置の投影画像を一つの合成画像となるように各投影画像を投影する投影制御部と、
前記同期信号に従い、前記撮影部に前記投影面を撮影させる撮影制御部と、
前記撮影部で撮影された前記画像データから前記光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成部と、
を備えることを特徴とする画像投影システム。
【請求項２】
前記複数の画像投影装置のうち特定の画像投影装置が、他の画像投影装置に対して同一タイミングで映像信号を送信することを特徴とする請求項１に記載の画像投影システム。
【請求項３】
前記投影制御部は、複数の画像投影装置からの各投影画像がつながった合成画像となるように投影することを特徴とする請求項１または２に記載の画像投影システム。
【請求項４】
前記撮影部は、１つまたは複数台設けられていることを特徴とする請求項１，２または３に記載の画像投影システム。
【請求項５】
前記複数の画像投影装置で投影される投影対象物は、外力に応じて発色する弾性体または塑性体であることを特徴とする請求項１〜４の何れか一つに記載の画像投影システム。
【請求項６】
複数の画像投影装置からの投影画像を一つの合成画像となるように各投影画像を投影する投影制御部と、
前記画像投影装置からの同期信号に従い、前記投影面を撮影部に撮影させる撮影制御部と、
前記撮影部で撮影された画像データから光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成部と、
を備えることを特徴とする情報処理装置。
【請求項７】
複数の画像投影装置からの投影画像を一つの合成画像となるように各投影画像を投影する投影制御工程と、
前記画像投影装置からの同期信号に従い、前記投影面を撮影部に撮影させる撮影制御工程と、
前記撮影部で撮影された画像データから光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出工程と、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成工程と、
を含むことを特徴とする情報処理方法。
【請求項８】
複数の画像投影装置からの投影画像を一つの合成画像となるように各投影画像を投影する投影制御ステップと、
前記画像投影装置からの同期信号に従い、前記投影面を撮影部に撮影させる撮影制御ステップと、
前記撮影部で撮影された画像データから光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出ステップと、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影システム、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタは、スクリーンに文字やグラフなどの画像を拡大投影するので、多人数に対するプレゼンテーションなどに広く用いられている。このプレゼンテーションの際に、プレゼンターが説明を判りやすくするために、スクリーンに投影された画像を、レーザポインタなどを用いて指し示す場合がある。しかしながら、レーザポインタで投影画像を直接的に指し示すのは、手振れによって所望の場所を正確に指せないといった問題があった。そこで、使用者がレーザポインタによって照射した地点を、プロジェクタに内蔵されたＣＣＤ（Charge  Coupled  Device）カメラが検知し、この照射地点と同じ地点にポインタ画像を表示する、という技術が知られている。
【０００３】
例えば、特許文献１には、複数のプロジェクタによって複数のスクリーン上に同一の投影用画像を投影する場合に、投影画像に、レーザポインタなどの光点と共に撮影した画像を用いて光点の座標を演算し画像合成処理をする技術が開示されている。なお、この特許文献１は、複数台のプロジェクタ映像を合成することによって成立するマルチプロジェクションやプロジェクションマッピング時に対応するものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記に示されるような従来の技術にあっては、複数台の画像投影装置（プロジェクタ）の映像を合成した投影面において、映像信号の影響を受けることにより投影面に照射されたレーザポインタ等の光点が検出できなくなる可能性があるという問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、複数の画像投影装置を用いるシステムにおいても、映像信号の影響を受けることなく、精度良く安定的に投影面に照射された光点を検出することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、画像データを投影面に投影する複数の画像投影装置と、前記複数の画像投影装置と接続された情報処理装置と、前記投影面を撮影する撮影部と、を有し、前記画像投影装置は、光指示装置が照射している照射色とは異なる投影期間を、前記投影面を撮影するタイミングとして指定した同期信号を前記情報処理装置へと送信する同期信号出力部を備え、前記情報処理装置は、前記複数の画像投影装置の投影画像を一つの合成画像となるように各投影画像を投影する投影制御部と、前記同期信号に従い、前記撮影部に前記投影面を撮影させる撮影制御部と、前記撮影部で撮影された前記画像データから前記光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明は、複数の画像投影装置を用いるシステムにおいても、映像信号の影響を受けることなく、精度良く安定的に投影面に照射された光点を検出することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施の形態の画像投影装置の使用態様を示す全体図である。
【図２】図２は、第１の実施の形態の画像投影装置のハードウェアの内部構成を示す図である。
【図３】図３は、画像投影装置、及び外部ＰＣのハードウェア構成を示すブロック図である。
【図４】図４は、図３における機能構成を示すブロック図である。
【図５】図５は、第１の実施の形態の投影パターンの一例を示す図である。
【図６】図６は、第１の実施の形態のカラーホイールシアン（Ｃｙ）−白色（Ｗ）−赤色（Ｒ）−マゼンタ（Ｍ）−黄色（Ｙ）−緑色（Ｇ）−青（Ｂ）の７セグメントを示す図である。
【図７】図７は、第１の実施の形態のカラーホイールの７セグメントと、各セグメントが投影面に表示されたときのカメラ撮影画像との相関関係を示す図である。
【図８】図８は、カラーホイールの一周期に対する投影光色との関係を示す図である。
【図９】図９は、ある投影画像に対し、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のレーザポインタを照射した場合の画像データを示す図である。
【図１０】図１０は、タイミングＡ，Ｂ，Ｃで投影画像に対して投影されたレーザポインタを撮影した場合の、検出されるレーザポインタを示す図である。
【図１１】図１１は、単色のレーザポインタを検出するための、カラーホイールの回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している図である。
【図１２】図１２は、複数色のレーザポインタを検出するための、カラーホイールの回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している図である。
【図１３】図１３は、オプションカメラの例を示す説明図である。
【図１４】図１４は、射影変換係数の算出と、レーザポインタの検出の処理の流れを示すフローチャートである。
【図１５】図１５は、第１の実施の形態の画像投影装置におけるポインタの投射態様の一例を示す全体図である。
【図１６】図１６は、第１の実施の形態の投影パターンの一例を示す図である。
【図１７】図１７は、円筒型スクリーンを用いた投影システムの例を示す説明図である。
【図１８】図１８は、車を投影するシステム例を示す説明図である。
【図１９】図１９は、特殊な物体でのインタラクション例を説明図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明にかかる画像投影システム、情報処理装置、情報処理方法、及びプログラムの一実施の形態を詳細に説明する。
【００１０】
（実施の形態）
本実施の形態は、同じ映像信号発生器（映像生成器、パーソナルコンピュータなど）から同じタイミングで映像信号を受け取る複数のプロジェクタがあるシステム例である。本システムでは、同じタイミングで映像信号を受け取ると、カラーホイールの動きも同一となり、どの瞬間でもすべての画像投影装置（プロジェクタ）で投影色が合致している状態となる。さらに、投影面を撮影するカメラを搭載し、カメラが投影像の座標を認識するプロジェクタ装置において、複数台のプロジェクタ装置からの同期投影と、特定色を発色する区間に同期して光点画像をカメラで撮影との２つを実施する。これにより、カメラで撮影された光点の色彩情報（ＲＧＢのいずれかのチャンネルのデータ）が特異的に検出するものである。以下、図面を参照して詳細な具体例をあげて説明する。
【００１１】
以下、図面を参照して本発明の画像投影装置を具体化した第１の実施の形態について説明する。図１は、画像投影装置を含む画像投影システムの示す全体図である。画像投影装置１０ａ，１０ｂ，１０ｃは、外部ＰＣ２０と接続されて、外部ＰＣ２０から入力された静止画や動画などの画像データを投影面であるスクリーン３０に対して投影する。また、ユーザは照射装置としてレーザポインタ４０を用いた場合を示している。また、外部ＰＣ２０にはカメラ部２２が接続されている。なお、カメラ部２２は、外付けのハードウェアとして設けてもよいし、外部ＰＣ２０に内蔵されていてもよい。
【００１２】
図２は、画像投影装置１０ａ，１０ｂ，１０ｃの光学エンジン部の内部構成を示す図である。図２に示されるように、画像投影装置１０ａ，１０ｂ，１０ｃは、光学系３ａ、及び投射系３ｂを備える。光学系３ａは、カラーホイール５、ライトトンネル６、リレーレンズ７、平面ミラー８、凹面ミラー９を備えている。これらの各部材は、画像投影装置１０の本体部内に設けられている。また、画像投影装置１０には、ＤＭＤ（デジタルミラーデバイス）２が設けられている。ＤＭＤ２は、画像を形成する画像形成素子であるＤＭＤ素子により構成されている。
【００１３】
円盤状のカラーホイール５は、光源４から照射される白色光を単位時間ごとにＲＧＢの各色が繰り返す光に変換してライトトンネル６に向けて出射する。本実施の形態では、カラーホイール５が用いられる画像投影装置１０において、レーザポインタ４０を検出する構成について説明する。なお、カラーホイール５の詳細な構成については後述する。ライトトンネル６は、板ガラスを張り合わせて筒状に構成されており、カラーホイール５から出射された光をリレーレンズ７へと導出する。リレーレンズ７は、二枚のレンズを組み合わせて構成されており、ライトトンネル６から出射される光の軸上色収差を補正しつつ集光する。平面ミラー８、及び凹面ミラー９は、リレーレンズ７により出射される光を反射して、ＤＭＤ２へと案内して、集光させる。ＤＭＤ２は、複数のマイクロミラーからなる矩形状のミラー面を有し、映像や画像のデータに基づいて各マイクロミラーが時分割駆動されることにより、所定の画像データを形成するように投射光を加工して反射するＤＭＤ素子を備えている。
【００１４】
また、光源４は、例えば高圧水銀ランプなどが用いられる。光源４は光学系３ａに向けて白色光を照射する。光学系３ａ内においては、光源４から照射された白色光がＲＧＢに分光され、ＤＭＤ２へと導出される。ＤＭＤ２は、変調信号に応じて画像形成を行う。投射系３ｂは、形成された画像を拡大投射する。
【００１５】
また、図２で示されるＤＭＤ２の図中手前側となる鉛直方向上方には、ＤＭＤ２に入射した光のうち、投射光としては使用しない不要な光を受光するＯＦＦ光板が設けられている。ＤＭＤ２に光が入射すると、ＤＭＤ素子の働きにより時分割で映像データに基づいて複数のマイクロミラーが作動し、このマイクロミラーによって使用する光は投射レンズへと反射され、捨てる光はＯＦＦ光板へと反射される。ＤＭＤ２では、投射画像に使用する光は投射系３ｂへと反射され、複数の投射レンズを通って拡大され、拡大された映像光が拡大されて投射される。
【００１６】
図３は、画像投影装置１０、及び外部ＰＣ２０のハードウェア構成を示すブロック図である。画像投影装置１０は、映像信号の入力を制御し、投射系３ｂ、及び光学系３ａの駆動を同期するように制御を行う。画像投影装置１０は、ＣＰＵ（Central  Processing  Unit）５０、ＲＯＭ（Read  Only  Memory）５１、ＲＡＭ（Random  Access  Memory）５２を含むマイクロコンピュータシステムでなる。ＣＰＵ５０には、ＤＭＤ２、ランプ電源１７、カラーホイール５などが接続され、また、ＨＤＭＩ（登録商標）などのデジタル信号や、ＶＧＡ（Video  Graphics  Array：登録商標）やコンポーネント信号等のアナログ信号が入力される。また、外部ＰＣ２０は、ＣＰＵ６０、ＲＯＭ６１、ＲＡＭ６２などを有している。
【００１７】
図４は、図３における機能構成を示すブロック図である。ＣＰＵ５０は、同期信号出力部１１、映像処理部１２、映像信号入力部１３、駆動制御部１４の機能が設けられている。また、ＣＰＵ６０は、撮影制御部２１、映像信号入力部２３、照射画像検出部２４、照射画像生成部２５、投影制御部２８の機能を備えている。また、照射画像生成部２５は、後述するように変換処理部、変換係数演算部、ポインタ生成部の機能を含んでいる。
【００１８】
なお、上述の画像投影装置１０ａ，１０ｂ，１０ｃのＣＰＵ５０、及び外部ＰＣ２０におけるＣＰＵ６０の機能構成の全部、または一部をハードウェアで構成してもよい。
【００１９】
映像信号入力部１３は、入力信号に応じてＲＧＢやＹＰｂＰｒ信号等へと映像を加工する処理を行う。なお、映像信号入力部１３は、入力された映像信号がデジタル信号の場合は、入力信号のビット数に応じて映像処理部１２が規定するビットフォーマットに変換する。また、映像信号入力部１３は、入力された映像信号がアナログ信号入力の場合はアナログ信号をデジタルサンプリングするＤＡＣ処理等を行い、ＲＧＢまたはＹＰｂＰｒのフォーマット信号を映像処理部へと入力する。
【００２０】
映像処理部１２は、入力信号に応じてデジタル画像処理等を行う。具体的には、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネス、拡大縮小等のスケーラー機能等、または駆動制御部１４の特性に応じて適切な画像処理を行う。デジタル画像処理後の入力信号は駆動制御部１４に渡される。また、映像処理部１２は、任意に指定した、または登録したレイアウトの画像信号を生成することもできる。
【００２１】
駆動制御部１４は、入力信号に応じて白色光に色をつけるカラーホイール５や光の出射を選択するＤＭＤ２、光源４の駆動電流をコントロールするランプ電源１７の駆動条件を決定し、カラーホイール５やＤＭＤ２、ランプ電源１７に駆動の指示を出す。
【００２２】
光指示装置としてレーザポインタ４０が照射している照射色とは異なる投影期間を、投影面を撮影するタイミングとして指定した同期信号を外部ＰＣ２０（情報処理装置）へと送信する。すなわち、同期信号出力部１１は、予め設定されるレーザポインタ４０の照射色光が投影されていない期間を、投影面を撮影するタイミングとして指定した同期信号を外部ＰＣ２０へと送信する。駆動制御部１４は、画像投影装置１０ａ，１０ｂ，１０ｃの画像データを投影する際に、所望の色調の画像データに対応した光を生成させる。
【００２３】
投影制御部２８は、複数の画像投影装置１０ａ，１０ｂ，１０ｃから投影される投影画像の出力タイミングを合致させて１つの合成画像をスクリーン（投影面）３０に投影する。
【００２４】
撮影制御部２１は、同期信号出力部１１の同期信号に従い、カメラ部２２により投影面を撮影させる。照射画像検出部２４は、カメラ部２２で撮影された画像データからレーザポインタ４０が投影面に対して照射した照射画像を検出する。
【００２５】
照射画像生成部２５は、検出された照射画像の位置に応じて所定の画像が付加された投影用画像データを生成する。すなわち、照射画像生成部２５は、検出された照射画像の位置座標を元にした領域に画像処理後の照射画像データを生成する。
【００２６】
投影制御部２８は、外部ＰＣ２０から各画像投影装置１０ａ，１０ｂ，１０ｃへの転送タイミングを合致させる機構を有する。つまり、一つの出力のデータを、ＵＳＢ（Universal  Serial  Bus）等により複数の信号に分配するような機構である。これらのデータを、画像投影装置１０a，１０ｂ，１０ｃ間のつながりに違和感がないよう接続するマルチプロジェクション処理によりつなぎ合わせ投影する。すなわち、投影制御部２８は、各画像投影装置１０ａ，１０ｂ，１０ｃの投影画像を一つの合成画像となるように各投影画像を投影する。これにより、マルチプロジェクション、及び立体物、ドーム、円筒型を含むプロジェクションマッピングに対応可能となる。
【００２７】
また、複数の画像投影装置１０ａ，１０ｂ，１０ｃのうち、特定の画像投影装置が、他の画像投影装置に対して同一タイミングで映像信号を送信する。図１に示す例では、画像投影装置１０ａが同期信号出力プロジェクタとして機能する。これにより、一つの同期信号信を出力する画像投影装置のみで、１つまたは複数のカメラ部２２と同期をとることが可能となる。
【００２８】
次に、外部ＰＣ２０における構成を説明する。外部ＰＣ２０にあっては、画像投影装置１０から投影された投影パターンを撮影し、投影パターンの座標と画像データにおける座標とのずれから射影変換係数を決定する処理の流れと、照射されたポインタを検出する処理の流れとが存在する。まずは、投影された投影パターンを撮影する処理の流れについて説明する。
【００２９】
外部ＰＣ２０の撮影制御部２１は、同期信号出力部１１から同期信号を受け取り、カメラ部２２に撮影指示を出す。カメラ部２２が撮影した画像が画像投影装置１０へと入力される場合、映像信号入力部２３にて撮影したカメラ画像に、シェーディング補正、ベイヤー変換、色補正等を行い、ＲＧＢ信号を生成する。照射画像生成部２５の変換係数演算部は、図５に示した投影パターンを外部ＰＣ２０で生成し、画像投影装置１０にて投影する。
【００３０】
カメラ部２２は、投影パターンを投影したシーンを撮影する。カメラ部２２の撮影方式としては、グローバルシャッター方式と、ローリングシャッター方式とがある。グローバルシャッター方式では、全画素の同時感光が行われ、それぞれの画素に対して、ローリングシャッター方式よりも複雑な回路を必要とするが、全画素を一気に感光させ、撮影することができるという利点がある。ローリングシャッター方式では、順次走査型の感光が行われ、シンプルな回路で実装でき、走査する形で撮影することができる。しかし、１つの画素ごとに、撮影タイミングが違うので、高速移動する物体を撮影した際には、歪みなどが発生することがある。カメラ部２２のシャッター速度は、撮影制御部２１によって制御されることが望ましい。
【００３１】
撮影制御部２１は、例えばカラーホイール５の回転速度から、同期信号で指定されたタイミングの時間の長さの撮影に必要なシャッター速度を決定して、制御する。撮影された画像を元に、照射画像検出部２４は、現在投影している投影面上での各格子点の座標を取得する。照射画像生成部２５の変換係数演算部は、投影パターンの映像信号上における座標（ｘ，ｙ）と撮影画像上での座標（ｘ‘，ｙ’）の関係を紐付ける射影変換係数Ｈを算出し、照射画像生成部２５の変換処理部へパラメータＨをセットする。照射画像検出部２４は、投影面に照射された座標を抽出する。検出された照射点座標（ｘ’，ｙ‘）は照射画像生成部２５の変換処理部によって対応する格子点のパラメータＨを用いて射影変換を行い、照射点の映像信号上の座標（ｘ，ｙ）に変換される。
【００３２】
次に照射画像生成部２５のポインタ生成部は、座標（ｘ，ｙ）に照射点画像データ（投影用画像データ）を生成する。照射点画像データは、例えば座標（ｘ，ｙ）を中心に半径ｚ画素分の円形や、予め登録されたポインタ画像などを任意の生成の仕方で生成してよい。これらの計算を外部ＰＣ２０内で行い、投影用画像信号を生成して、投影制御部２８に送られる。画像投影装置１０の映像処理部１２は、映像信号にポインタ生成部で生成された映像信号を重畳し、任意の画像処理を行ったのち駆動制御部１４へ制御信号を出力する。そして、ポインタ画像が重畳された投影像が画像投影装置１０から投影されることとなる。
【００３３】
続いて、照射画像検出部２４による投影面に照射されたポインタの座標を検出する処理の流れについて説明する。図６はカラーホイール５のシアン（Ｃｙ）−白色（Ｗ）−赤色（Ｒ）−マゼンタ（Ｍ）−黄色（Ｙ）−緑色（Ｇ）−青（Ｂ）の複数色に対応した７つのフィルタを示す図である。また、図７は、カラーホイール５のフィルタと、各セグメントが投影面に表示されたときのカメラ撮影画像、すなわちＲＧＢデータとの相関関係を示している。例えば、赤色（Ｒｅｄ）のセグメントであればＲＧＢでも赤色（Ｒｅｄ）のデータの値が大半を占めている。また、赤色（Ｒｅｄ）のセグメントにおいては、緑色（Ｇｒｅｅｎ）と青色（Ｂｌｕｅ）の透過率が小さくこれらの色の光は制限される。同様に２次色のシアン（Ｃｙａｎ）のセグメントであれば、青色（Ｂｌｕｅ）と緑色（Ｇｒｅｅｎ）の光が透過され、３次色の白色（Ｗｈｉｔｅ）はＲＧＢ全ての光が透過される。
【００３４】
図８は、カラーホイール５の一周期に対する投影光色との関係を示す図である。なお、光色とは、光源のランプそのもの光の色と、装置から投射された光から視覚的に認識できる色の双方を含む概念である。図中で実線の矢印で示される該当期間の区間はその発光色において、該当するカラーホイール５のセグメントを通じて画像信号が投影されている領域であることを示している。例えば投影光色赤（Ｒｅｄ）に注目すると赤（Ｒｅｄ）に分類される成分はセグメントが赤（Ｒｅｄ），マゼンタ（Ｍａｇｅｎｔａ），黄（Ｙｅｌｌｏｗ）の区間、及び白（Ｗｈｉｔｅ）の区間である。一方、タイミングＡの破線の矢印で示された区間は映像信号が投影されない区間である。すなわち、このタイミングＡである緑色，青色，及びシアンに該当するカラーホイール５のタイミングでは、投影光色が赤色であっても、実際に映像信号の投影がされていないことから、赤色のレーザポインタ４０であっても検出しやすくなる。
【００３５】
したがって、本実施の形態では、このタイミングに同期させて投影パターンに照射された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のレーザポインタ４０の撮影、および検出が行われる。図９は、ある投影画像に対し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のレーザポインタ４０を照射した場合の画像データを示す図である。また、図１０は、タイミングＡ，Ｂ，Ｃで投影画像に対して投影されたレーザポインタを撮影した場合の、検出されるレーザポインタ４０を示す図である。図１０のタイミングＡ  Ｒｅｄ  ｓｈｏｔ  ｉｍａｇｅは、カメラ部２２でタイミングＡの区間と同期をとって撮影し、取得した画像データを示したものである。このタイミングＡとの同期は、画像投影装置１０の駆動制御部１４がカラーホイール５を駆動するタイミングとあわせて同期信号出力部１１に指示を送信することで実現される。すなわち、カラーホイール５は、固定の周波数（本実施の形態では１２０Ｈｚ）で回転するため、撮影制御部２１（受信部）は、カラーホイール５がタイミングＡになるタイミングで、同期信号を受信する。
【００３６】
このタイミングＡの区間では赤（Ｒｅｄ）版の映像信号が照射されていないので、赤色のレーザポインタ４０の照射点の検出が容易になる。よって、赤色のレーザポインタ４０の照射光を検知する場合は、タイミングＡと同期してカメラ部２２で撮影すれば検出の精度が向上する。同様にタイミングＢでは、緑色（Ｇｒｅｅｎ）版の映像信号が照射されていないので、緑色のレーザポインタ４０の検出の精度が向上する。そして、タイミングＣでは青色（Ｂｌｕｅ）版の映像信号が照射されていないため、青色のレーザポインタ４０の照射点の検出が容易となる。このように、タイミングごとによって検出しやすい色があり、また各タイミングを有効活用することによって複数の照射点を同時に検出することもできる。
【００３７】
次にカメラ部２２による撮影を、カラーホイール５の駆動と同期させる方法について説明する。カラーホイール５自体に回転検出するための指標となる黒色シールと、カラーホイール５のホルダーに黒色シールを検知するためのセンサーが設けられている。駆動制御部１４は、この黒色シールが検出されるタイミングをセンサーから取得することによって同期信号の生成指示を行う。生成される同期信号は、設定されたレーザポインタ４０の照射点の色に最も近い色が投影されていない期間と同期するように決定される。よって、撮影を行うカメラ部２２はカラーホイール５の同期信号に合わせて撮影のシャッタータイミングを制御することができる。
【００３８】
図１１と図１２はカラーホイール５の回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している。カラーホイール５は１２０Ｈｚの周期で回転し、カラーカメラは３０Ｈｚの周期で撮影する。本例ではカラーホイール５が４回転するのに対してカメラ部２２が１回撮影することができる。図１１はレーザポインタ４０が赤系の色を持つ場合の撮影を同期させるタイミングを示す例である。なお、レーザポインタ４０の色は、例えばユーザが画像投影装置１０や外部ＰＣ２０の操作用のインタフェースから入力することによって設定され（設定部）、外部ＰＣ２０が把握することができる。ここで、本実施形態の場合、Ｃの区間が赤色（Ｒｅｄ）のブランク期間、すなわちタイミングＡに相当するカラーホイール５の（緑色）Ｇｒｅｅｎ、（青色）Ｂｌｕｅ、（シアン）Ｃｙａｎに相当するものとする。この場合、カメラ部２２は１周期目で１つのＣの区間に対して露光して、撮影することで、このときに撮影した画像を観測すると赤色のレーザポインタ４０の照射点を検出することができるようになる。
【００３９】
通常、ＤＭＤ２がＯＮのときは光がスクリーン３０に照射され、ＯＦＦのときは照射されないが、上述の例ではＯＮのときでも対応するタイミングに同期して撮影を行うことで、ＲＧＢいずれかの色版データからも照射点が検出できるようになる。つまり、映像の内容に依存せずレーザポインタ４０から照射される照射点を検出することができるようになる。
【００４０】
図１２はレーザポインタ４０が複数の色を持つ場合の同期の方法を示す図である。カメラ部２２は１周期目で１つのＡの区間に対して露光して、撮影がされる。Ａの区間は、ここではタイミングＡに相当する区間であり、このタイミングで撮影された画像データを観測すると赤色（Ｒｅｄ）のレーザポインタ４０の照射点が検出できる。２周期目についてもＢの区間に対して露光して撮影される。Ｂの区間はタイミングＢに相当する区間であり、このタイミングで撮影された画像データを観測することで緑色（Ｇｒｅｅｎ）のレーザポインタ４０の照射点が検出できる。３周期目では同様に青色（Ｂｌｕｅ）の照射点が検出できる。以降は、同様に制御が行われる。以上の場合、同期信号には１周期目のタイミングＡ、２周期目のタイミングＢ、３週目のタイミングＣの３つのタイミングが含まれている。なお、同じ色で複数のレーザポインタ４０を使用する場合においては画面内に複数の点として検出されることになるので問題なく検出できる。
【００４１】
また、複数の色のレーザポインタ４０を検出する場合、カメラ部２２を１個で複数の色を検出する例を記載したが、検出する色ごとにカメラ部２２を別個搭載し、それぞれの色ごとに検出制御するようにしてもよい。これにより、カメラ部２２側の撮影タスクが他の色に占有される時間がなくなり、各単色の検出区間を短くすることができるようになる。この場合、カメラ部２２それぞれに対して、どのタイミングが対応しているかを予め設定しておくことが望ましい。すなわち、例えばＲＧＢの３色の色に対応して、３台のカメラ部２２を設けるようにすると、１周期ごとに各色のレーザポインタ４０の照射点を検出することができるようになる。
【００４２】
また、上記以外にも中間色の色を検出したい場合においてはタイミングＡ，Ｂ，Ｃの領域をさらに細かく色ごとに分割すればよい。この場合、検出したい中間色に相当するタイミングで撮影を行うことで、カラーホイール５の領域ごとに検出することもできる。
【００４３】
図１３は、オプションカメラの例を示す説明図である。図１３（Ａ）はカメラ部分が外付けされたタイプ、（Ｂ）はカメラ部分が内蔵されたタイプ、（Ｃ）はカメラ部分が外部接続されるタイプについて示しており、図１のシステムに利用される。
【００４４】
次に、以上の理論と制御に基づき、射影変換係数の算出と、レーザポインタ４０の検出の処理の流れについて図１４を参照して説明する。本動作は、光点検出モードが照射デバイスによって映像投影面に照射された光点を検出する機能である。初期設定とは、投影環境が変わった場合に射影変換係数を演算するためのフローである。光点モードを最初に起動した場合に動作する。入力Ｉ／Ｆが無信号になった場合等、任意の状態変化をトリガーにして状態を変更してもよい。各種入力Ｉ／Ｆから出力される映像信号を投射にフローが戻っているのはカメラ部２２が撮影対象とするフレームセットが次のフレームセットに置き換わって同様に処理されていくループ処理を示している。
【００４５】
図１４で示した処理は、入力された映像信号の１フレーム単位で行われる処理である。図１４に示されるように、まず駆動制御部１４は、映像信号の入力Ｉ／Ｆから入力された映像信号を投射するための処理を行う（ステップＳ１０１）。次いで、撮影制御部２１は、照射点検出モードであるか否かを判定する（ステップＳ１０２）。照射点検出モードとは、照射装置によってスクリーン３０に照射された照射点を検出するモードである。照射点検出モードは、例えばユーザがレーザポインタ４０を使用する場合などに、操作画面やボタンなどを操作することで起動される。照射点検出モードでないと判定された場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０１へと戻り次の映像信号のフレームへと移行する。
【００４６】
一方、照射点検出モードであると判定された場合（ステップＳ１０２：Ｙｅｓ）、撮影制御部２１は、初期設定モードか」否かを判定する（ステップＳ１０３）。初期設定モードとは、投影環境が変わった場合に射影変換係数を演算する処理であり、照射点モードを最初に起動した場合には初期設定モードとなっている。また、例えば射影変換係数がセットされているか否かや、射影変換係数がセットされてから一定時間経過しているか否かなどによって判断してもよい。射影変換係数とは、投影前の画像信号と、投影した際の画像パターンとの座標のずれを補正するための係数である。
【００４７】
初期設定モードであると判定された場合（ステップＳ１０３：Ｙｅｓ）、駆動制御部１４は、画像形成部２等を駆動して、射影変換用の画像パターン（図５参照）を照射させる（ステップＳ１０４）。次いで、撮影制御部２１は、同期信号出力部１１を通じて、駆動制御部１４から画像パターンが投影されたことを通知され、照射された画像パターンを撮影する（ステップＳ１０５）。そして、照射画像生成部２５内の変換係数演算部は、映像信号入力部２３を通じて入力されたカメラ部２２が撮影した画像パターンにおける座標と、照射された画像パターンのデータにおける座標とのずれを測定する。この２つのデータ間における座標が一致するように射影変換係数を算出する（ステップＳ１０６）。算出が完了した射影変換係数は保存されて、ステップＳ１０３へと移行する。
【００４８】
一方、射影変換係数が設定され、初期設定モードでないと判定された場合（ステップＳ１０３：Ｎｏ）、撮影制御部２１は、同期信号出力部１１から送信された撮影タイミングにあわせて、照射パターンを撮影する（ステップＳ１０７）。この撮影のタイミングは、上述したように照射されているレーザポインタ４０の色に応じて決定されている。したがって、照射画像検出部２４は、撮影された画像データからレーザポインタ４０の照射点を検出することができる（ステップＳ１０８）。検出された照射点の座標は、照射画像生成部２５内の変換処理部に入力される。照射画像生成部２５の変換処理部は、照射画像生成部２５内の変換係数演算部が演算した射影変換係数を用いて、照射点の座標を、画像データ上の座標へと射影変換する（ステップＳ１０９）。射影変換された座標のデータは画像投影装置１０へと送信される。映像処理部１２は、投射する元の映像信号に対して、受信した座標において合成するポインタの画像データを生成し（ステップＳ１１０）、映像信号とポインタの画像データとを合成する（ステップＳ１１１）。すなわち、検出された照射点の位置に応じて所定の画像が付加された投影用画像データが生成される。
【００４９】
この際、合成するポインタとしては、視認性をよくするために例えば、図１５に示されるように、レーザポインタ４０が、元のサイズよりも算出された照射点を中心に拡大されて投影されるようにすることもできる。すなわち、図１５の符号１５に示すように、光点の連続的な検出結果をつなげて、軌跡を描画した画像を投影している。この場合、ポインタが大きくなるため、映像におけるポインタがより見やすくなる。また、ポインタを拡大するのではなく、映像処理部１２は、算出された照射点の座標を基準に、周囲の一部の画像データの領域を拡大表示して投影するようにしてもよい。
【００５０】
また、射影変換係数を演算する際に投影する投影パターンの一例としては、図５で示したもののほか、例えば図１６で示したように、（Ａ）のグリッドパターンや、（Ｂ）の円パターンを用いるようにしてもよい。円パターンの投影パターンを用いる場合、射影変形があっても重心を取ることで、座標がずれていても正確な座標を入手することができるようになる。また、グリッドパターンを用いれば、座標のずれ自体を抑制しつつ、環境光による外乱がないことを想定できれば、より精度の高いパターン抽出が実現可能である。
【００５１】
また、情報処理装置である外部ＰＣ２０は、画像投影装置１０とローカルに接続されているが、ネットワークを通じて接続された情報処理装置によって演算や、撮影の同期を行うようにしてもよい。例えば、ネットワーク上におかれた、高機能な演算処理サーバを用いて、初期の射影変換の行列演算を行ったり、重畳するコンテンツ等をダウンロードし、画像処理時に用いたりするようにしてもよい。
【００５２】
［変形例１］
上述した図１に示す例では、スクリーン３０は平面仮定をしているが、曲面に適用してもよい。図１７は、円筒型スクリーンを用いた投影システムの例を示すものである。この図１７に示すように、円筒型スクリーンの投影像が実現でき、さらに上述した実施の形態の技術と組み合わせる。これによって、操作者とシステムの間の情報（映像）とのやりとりといったインタラクション（interaction）が可能な投影システムとなる。
【００５３】
［変形例２］
上述した図１に示す例では、スクリーン３０は平面仮定をしているが、車や３Ｄプリンタによる出力物のような立体物に適用してもよい。図１８は、車を投影するシステム例を示すものである。この図１８に示すように、投影像が実現でき、さらに上述した実施の形態の技術と組み合わせることで、インタラクションが可能なシステムとなる。また、投影対象が立体物の場合、死角が多くなるため、インタラクションの範囲を広げる場合は、カメラ部２２を複数台に増やし、同期信号付きプロジェクタとつなげ同期撮影を行う。
【００５４】
このように、カメラ部２２は、１つまたは複数台設けられている構成（図１７、図１８参照）とすることで、プロジェクションマッピングによる立体物への投影において、死角が多いことに対して複数台のカメラ部２２ａ，２２ｂ，２２ｃで撮影可能になる。
【００５５】
［変形例３］
上述した図１に示す例では、スクリーン３０は平面仮定をしているが、指の押し込み力等により反応する物質でできた特殊物体に適用してもよい。この特殊な物体でのインストラクション例を図１９に示す。例えば、指で押し込んだ部分がゴムボールのように変形し、かつ、発光する物体であるとする。図１９のように、例えば、緑の物質が黄色く自発光するとしたら、その光点をカメラ部２２で検出できる。
【００５６】
このように、複数の画像投影装置１０ａ，１０，１０ｃで投影される投影対象物は、外力に応じて発色する弾性体または塑性体とする。これによって、プロジェクションマッピングにおいて押し込んだ位置が光る物体の光点検出が実現する。
【００５７】
先に記載した参考文献のような技術を用いることで、投影像が実現でき、さらに上述した実施の形態の技術と組み合わせることで、インタラクションが可能なシステムとなる。また、立体物の場合、死角が多くなるため、インタラクション範囲を広げる場合は、カメラ部２２を複数台に増やし、同期信号付きプロジェクタとつなげ同期撮影を行う必要がある。
【００５８】
［変形例４］
図１６は、図５に示したチェスパターン以外の投影パターン例である。上述した図５の例では、チェスパターンを例に説明をしているが、図１６（Ａ）に示すようにグリッドパターン、また（Ｂ）に示す円パターンなど、他のパターンにて、ロバストにパターン抽出してもよい。例えば、図１６（Ｂ）の円パターンは、射影変形があっても重心を取ることで、ロバストにある程度正確な座標を入手することができる。また図１６（Ａ）に示す、グリッドパターンを用いれば、ロバスト性は下がるが、環境光による外乱がないことを想定できれば、より精度の高いパターン抽出が実現可能である。
【００５９】
このように上述した実施の形態では、画像のブランキング区間に同期した１台または複数のカメラ部２２と複数台の画像投影装置１０ａ，１０ｂ，１０ｃを用いて、投影像上のレーザポインタ４０の光点をカメラ部２２で撮影する。これにより、レーザポインタ４０の光点の色彩情報（ＲＧＢのいずれかのチャンネルのデータ）が特異的に検出することができる。したがって、複数の画像投影装置１０ａ，１０ｂ，１０ｃを用いたマルチプロジェクション等のシステムにおいて、精度良く、かつ、映像信号の影響受けることなく、レーザポインタ４０の光点を検出することができる。
【００６０】
ところで、本実施の形態の情報処理装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００６１】
さらに、本実施の形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００６２】
本実施の形態の情報処理装置で実行されるプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【符号の説明】
【００６３】
２  ＤＭＤ
３ａ  光学系
３ｂ  投射系
４  光源
５  カラーホイール
６  ライトトンネル
７  リレーレンズ
８  平面ミラー
９  凹面ミラー
１０  画像投影装置
１１  同期信号出力部
１２  映像処理部
１３  映像信号入力部
１４  駆動制御部
１７  ランプ電源
２０  外部ＰＣ
２１  撮影制御部
２２  カメラ部
２３  映像信号入力部
２４  照射画像検出部
２５  照射画像生成部
２８  投影制御部
３０  スクリーン
４０  レーザポインタ
５０，６０  ＣＰＵ
５１，６１  ＲＯＭ
５２，６２  ＲＡＭ
【先行技術文献】
【特許文献】
【００６４】
【特許文献１】特開２００９−２２９８３４号公報
【図１】
2016092779.tif 000003
【図２】
2016092779.tif 000004
【図３】
2016092779.tif 000005
【図４】
2016092779.tif 000006
【図５】
2016092779.tif 000007
【図６】
2016092779.tif 000008
【図７】
2016092779.tif 000009
【図８】
2016092779.tif 000010
【図１１】
2016092779.tif 000011
【図１２】
2016092779.tif 000012
【図１３】
2016092779.tif 000013
【図１４】
2016092779.tif 000014
【図１５】
2016092779.tif 000015
【図１６】
2016092779.tif 000016
【図１７】
2016092779.tif 000017
【図１８】
2016092779.tif 000018
【図１９】
2016092779.tif 000019
【図９】
2016092779.tif 000020
【図１０】
2016092779.tif 000021