(57)【要約】【課題】撮像画像における一部の画像領域の視認性を低減できる画像投影システムを提供する。【解決手段】画像投影システム１では、演算装置６は、投影パターン画像と撮像パターン画像との位置関係を基に、撮像装置５が用いるカメラ座標と画像投影装置が用いるプロジェクタ座標とを変換するための変換情報を生成し、撮像装置５は、人物２を含む被写体を撮像し、演算装置６は、人物２における特定の領域のカメラ座標に係る位置を示す第１の位置を検出し、演算装置６は、変換情報を基に、第１の位置の情報を、特定の領域のプロジェクタ座標に係る位置を示す第２の位置の情報に変換し、画像投影装置は、第２の位置の情報を基に、特定の領域の全領域に重複して警告画像４１を投影する。【選択図】図１
2018097148.tif 000002
【特許請求の範囲】
【請求項１】
非可視光を用いて画像を投影する画像投影装置と、撮像装置と、演算装置と、を備える画像投影システムであって、
前記演算装置は、前記画像投影装置により投影された所定のパターン画像と、前記撮像装置により撮像された前記所定のパターン画像と、の位置関係を基に、前記撮像装置が用いるカメラ座標と前記画像投影装置が用いるプロジェクタ座標とを変換するための変換情報を生成し、
前記撮像装置は、人物を含む被写体を撮像し、
前記演算装置は、前記人物における特定の領域の前記カメラ座標に係る位置を示す第１の位置を検出し、
前記演算装置は、前記変換情報を基に、前記第１の位置の情報を、前記特定の領域の前記プロジェクタ座標に係る位置を示す第２の位置の情報に変換し、
前記画像投影装置は、前記第２の位置の情報を基に、前記特定の領域の全領域に重複して警告画像を投影する、画像投影システム。
【請求項２】
請求項１に記載の画像投影システムであって、
前記人物における前記特定の領域は、前記人物の顔領域である、画像投影システム。
【請求項３】
請求項２に記載の画像投影システムであって、
前記演算装置は、前記人物の顔領域のサイズを基に、前記警告画像のサイズを制御する、画像投影システム。
【請求項４】
請求項２または３に記載の画像投影システムであって、
前記撮像装置により撮像された被写体は、複数の人物を含み、
前記画像投影装置は、前記複数の人物のうち特定の人物の顔領域に係る前記第２の位置に対して、前記警告画像を投影する、画像投影システム。
【請求項５】
請求項２または３に記載の画像投影システムであって、
前記撮像装置により撮像された被写体は、複数の人物を含み
前記複数の人物のうち特定の人物以外の人物の顔領域に係る前記第２の位置に対して、前記警告画像を投影する、画像投影システム。
【請求項６】
画像投影装置であって、
非可視光を用いて画像を投影する投影部と、
撮像装置により撮像された画像を取得する取得部と、
前記投影部により投影された所定のパターン画像と、前記撮像装置により撮像された前記所定のパターン画像と、の位置関係を基に、前記撮像装置が用いるカメラ座標と当該画像投影装置が用いるプロジェクタ座標とを変換するための変換情報を生成する処理部と、
を備え、
前記処理部は、前記撮像装置により撮像された被写体に含まれる人物における特定の領域の前記カメラ座標に係る位置を示す第１の位置を検出し、前記変換情報を基に、前記第１の位置の情報を、前記特定の領域の前記プロジェクタ座標に係る位置を示す第２の位置の情報に変換し、
前記投影部は、前記第２の位置の情報を基に、前記特定の領域の全領域に重複して警告画像を投影する、画像投影装置。
【請求項７】
画像投影システムにおける画像投影方法であって、
画像投影装置により投影された第１のパターン画像を投影し、
撮像装置により前記第１のパターン画像を撮像して第２のパターン画像を取得し、
前記第１のパターン画像と前記第２のパターン画像との位置関係を基に、前記撮像装置が用いるカメラ座標と前記画像投影装置が用いるプロジェクタ座標とを変換するための変換情報を生成し、
前記撮像装置により人物を含む被写体を撮像し、
前記人物における特定の領域の前記カメラ座標に係る位置を示す第１の位置を検出し、
前記変換情報を基に、前記第１の位置の情報を、前記特定の領域の前記プロジェクタ座標に係る位置を示す第２の位置の情報に変換し、
前記画像投影装置により、前記第２の位置の情報を基に、前記特定の領域の全領域に重複して警告画像を投影する、画像投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像投影システム、画像投影装置、及び画像投影方法に関する。
【背景技術】
【０００２】
従来、スクリーン上に投影され視聴中のコンテンツを劣化させる盗撮防止装置が知られている。この盗撮防止装置は、光源装置、投影レンズ系、及び制御手段を備える。光源装置は、赤外光により構成され、映像コンテンツを劣化させる妨害光を発生する。レンズ系は、光源装置から出射した妨害光をスクリーンに向けて投射する。制御手段は、光源装置から所定の周期の時間間隔で又は不定期の時間間隔で妨害光を発生させるように駆動制御する。盗撮防止装置は、時間的に断続的に発生する妨害光を、スクリーンに投影される映像コンテンツ上に重ねて投影する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８２２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された盗撮防止装置では、映像コンテンツ全体が妨害光により妨害される。従って、映像コンテンツ内に確認を希望する部分がある場合でも、当該部分に妨害光が重ねられて視認性が低下しているので、当該部分を確認することが困難となる。例えば、人物を含む被写体の全体に妨害光が重ねられることで、人物を全く把握できない状態となることがある。
【０００５】
本開示は、上記事情に鑑みてなされたものであり、撮像画像における一部の画像領域に限定して視認性を低減できる画像投影システムを提供する。
【課題を解決するための手段】
【０００６】
本開示の画像投影システムは、非可視光を用いて画像を投影する画像投影装置と、撮像装置と、演算装置と、を備える。演算装置は、画像投影装置により投影された所定のパターン画像と、撮像装置により撮像された所定のパターン画像と、の位置関係を基に、撮像装置が用いるカメラ座標と画像投影装置が用いるプロジェクタ座標とを変換するための変換情報を生成する。撮像装置は、人物を含む被写体を撮像する。演算装置は、人物の顔領域のカメラ座標に係る位置を示す第１の位置を検出する。演算装置は、変換情報を基に、第１の位置の情報を、顔領域のプロジェクタ座標に係る位置を示す第２の位置の情報に変換する。画像投影装置は、第２の位置の情報を基に、顔領域の全領域に重複して警告画像を投影する。
【０００７】
本開示の画像投影装置は、赤外線を用いて画像を投影する投影部と、撮像装置により撮像された画像を取得する取得部と、投影部により投影された所定のパターン画像と、撮像装置により撮像された所定のパターン画像と、の位置関係を基に、撮像装置が用いるカメラ座標と画像投影装置が用いるプロジェクタ座標とを変換するための変換情報を生成する処理部と、を備える。処理部は、撮像装置により撮像された被写体に含まれる人物の顔領域のカメラ座標に係る位置を示す第１の位置を検出し、変換情報を基に、第１の位置の情報を、顔領域のプロジェクタ座標に係る位置を示す第２の位置の情報に変換する。投影部は、第２の位置の情報を基に、警告画像を投影する。
【０００８】
本開示の画像投影方法は、画像投影システムにおける画像投影方法であって、画像投影装置により投影された第１のパターン画像を投影し、撮像装置により第１のパターン画像を撮像して第２のパターン画像を取得し、第１のパターン画像と第２のパターン画像との位置関係を基に、撮像装置が用いるカメラ座標と画像投影装置が用いるプロジェクタ座標とを変換するための変換情報を生成し、撮像装置により人物を含む被写体を撮像し、人物の顔領域のカメラ座標に係る位置を示す第１の位置を検出し、変換情報を基に、第１の位置の情報を、顔領域のプロジェクタ座標に係る位置を示す第２の位置の情報に変換し、画像投影装置により、第２の位置の情報を基に、顔領域の全領域に重複して警告画像を投影する。
【発明の効果】
【０００９】
本開示によれば、撮像画像の一部の画像領域に限定して視認性を低減できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態における画像投影システムの一例を示す構成図
【図２】画像投影システムの動作概要を示す説明図
【図３】投影パターン画像の一例を示す説明図
【図４】第１の実施形態における演算装置の機能構成例を示すブロック図
【図５】画像投影システムのキャリブレーション処理の一例を示すフローチャート
【図６】人物の顔領域を考慮したコンテンツ画像（警告画像）の投影処理の一例を示すフローチャート
【図７】ユースケース１を説明するための模式図
【図８】ユースケース２を説明するための模式図
【図９】ユースケース３を説明するための模式図
【図１０】第２の実施形態における演算装置の機能構成例を示すブロック図
【図１１】人物の顔領域を考慮したコンテンツ画像（装飾画像）の投影処理の一例を示すフローチャート
【図１２】ユースケース４を説明するための模式図
【図１３】ユースケース５を説明するための模式図
【図１４】ユースケース６を説明するための模式図
【図１５】第３の実施形態における画像投影システムの一例を示す構成図
【図１６】赤外線投影装置のプロセッサの機能構成例を示すブロック図
【図１７】人物が複数存在する場合のコンテンツ画像の第１投影例を示す模式図
【図１８】人物が複数存在する場合のコンテンツ画像の第２投影例を示す模式図
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（第１の実施形態）
［画像投影システムの構成］
図１は、第１の実施形態における画像投影システム１の一例を示す構成図である。画像投影システム１は、投影対象に対して所望の映像コンテンツを構成する画像を投影するプロジェクションマッピングを実施する。画像投影システム１は、投影対象（例えば人物２）に対して動画像を投影できる。人物２は、例えば、ダンサー、運動選手などである。人物２は、変化する人物（動物体）でもよいし、変化しない人物（静止物体）でもよい。
【００１３】
画像投影システム１は、赤外線投影装置３、撮像装置５、及び演算装置６を備える。赤外線投影装置３は、人物２を含む投影対象に向けて赤外線画像を投影する。撮像装置５は、人物２を含む撮像対象に対して投影された赤外線画像及び可視光画像を撮像する。演算装置６は、赤外線投影装置３及び撮像装置５と通信可能に接続され、プロジェクションマッピングに係る各種処理を実行する。
【００１４】
赤外線投影装置３及び撮像装置５は、予め定められた位置にそれぞれ配置され得る。赤外線投影装置３は、所定の空間的な投影範囲ＰＡに対して撮像する。投影範囲ＰＡは固定である。撮像装置５は、所定の空間的な撮像範囲ＣＡに含まれる被写体を撮像する。撮像範囲ＣＡは固定である。投影範囲ＰＡは、撮像範囲ＣＡを含む。
【００１５】
赤外線投影装置３は、出射部１０と、赤外線光源（ＩＲ光源）１１と、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）１２と、制御基板やプロセッサおよびメモリと、を備える。メモリには、赤外線投影装置３における各種の動作命令をプロセッサに実行させるプログラムが格納されている。出射部１０は、投射レンズ等のレンズ系を含む。赤外線光源１１は、赤外領域の光を発する赤外線ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を備える。
【００１６】
ＤＭＤ１２は、赤外線光源１１からの光を投射レンズに向けて選択的に反射することにより、動画又は静止画を含む所望の赤外線画像を形成する。ＤＭＤ１２は、液晶タイプの投影と比較すると、デジタル的にコントロール可能である。そのため、ＤＭＤ１２は、高精度に光を調整できるデジタル信号との親和性が高い。制御基板やプロセッサは、赤外線光源１１やＤＭＤ１２の動作を制御する。
【００１７】
赤外線光源１１としては、所望の輝度を達成可能な場合、ＬＥＤに限らずレーザ等の他の光源を採用できる。
【００１８】
赤外線投影装置３は、非可視光を用いた画像投影装置の一例である。非可視光の画像投影装置は、赤外線に限らず紫外線等の他の光を用いて、非可視光画像を投影してもよい。非可視光は、例えば、人に視認されない不可視光又はそれに準ずる光であって、実空間でのコンテンツ画像の視認に大きな影響を及ぼさない光である。
【００１９】
撮像装置５は、赤外線画像及び可視光画像の撮像に適したデジタルビデオカメラである。撮像装置５は、赤外線の波長領域（ＩＲ波長領域）及び可視光の波長領域に感度を有するイメージセンサを備える。イメージセンサは、例えば、近赤外線の波長領域（ＮＩＲ（Ｎｅａｒ  ＩｎｆｒａＲｅｄ）波長領域）の感度が高くされる。尚、撮像装置５は、動画を撮像してもよいし、静止画を撮像してもよい。
【００２０】
撮像装置５は、可視光カットフィルタ１９を備える。可視光カットフィルタ１９は、撮像装置５の対物レンズの外側（人物２側）に配置される。可視光カットフィルタ１９は、図１に示すように着脱自在であり、赤外線画像を撮像するときに取り付けられ、可視光画像を撮像するときに取り外される。
【００２１】
可視光カットフィルタ１９は、画像投影システム１のユーザにより手作業で着脱されてもよい。可視光カットフィルタは、撮像装置５にフィルタ駆動装置を付設することにより、自動で着脱されてもよい。フィルタ駆動装置は、可視光カットフィルタ１９を撮像装置５の対物レンズに装着する装着位置と、対物レンズから離間する解除位置と、の間で変位させる。
【００２２】
演算装置６は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やサーバ装置である。演算装置６は、例えば、通信デバイス、メモリ、プロセッサを備える。通信デバイスは、他の装置（例えば赤外線投影装置３、撮像装置５）との間で、無線又は有線によりデータを通信する。メモリは、各種データを記憶する。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含む。プロセッサは、後述するキャリブレーション、カメラ座標及びプロジェクタ座標の変換、赤外線を用いたコンテンツ画像の投影、等を実施する。すなわちメモリには、演算装置６における各種の動作命令をプロセッサに実行させるプログラムが格納されている。
【００２３】
図２は、画像投影システム１の動作概要を示す説明図である。後に詳述するように、画像投影システム１では、赤外線投影装置３は、所定の複数のパターン（フレーム）から構成されるパターン画像を、赤外線画像として、投影範囲ＰＡ（所定の投影面）に照射する。撮像装置５は、撮像範囲ＣＡに含まれる投射されたパターン画像を撮像する。この場合、撮像装置５は、可視光カットフィルタを介してパターン画像を撮像する。
【００２４】
演算装置６は、赤外線投影装置３により投影されたパターン画像（投影パターン画像）と撮像装置５により撮像されたパターン画像（撮像パターン画像）とに基づき、キャリブレーションする。キャリブレーションでは、演算装置６は、投影パターン画像と撮像パターン画像との位置関係を基に、撮像装置５が用いるカメラ座標系の座標（カメラ座標）と赤外線投影装置３が用いるプロジェクタ座標系の座標（プロジェクタ座標）とを変換するための変換テーブルを生成する。キャリブレーションにより、画像投影システム１は、赤外線投影装置３により投影された画像（投影画像）及び撮像装置５により撮像された画像（撮像画像）における各画素を対応付けできる。投影画像は、例えば投影されるコンテンツ画像である。キャリブレーションにより得られる各画素間の変換パラメータを含む変換テーブルは、赤外線投影装置３による投影画像の投影位置の補正に用いられる。
【００２５】
キャリブレーション後、撮像装置５は、可視光カットフィルタ１９を介さずに、撮像範囲ＣＡに所在する人物２を含む被写体を撮像する。演算装置６は、人物２に含まれる顔領域２Ａを検出する。検出された顔領域２Ａの位置はカメラ座標で示される。そのため、演算装置６は、検出された顔領域２Ａの位置を、変換テーブルを基に、プロジェクタ座標に変換する。赤外線投影装置３は、プロジェクタ座標で表現された顔領域２Ａの位置を基に、コンテンツ画像（例えば警告画像）を、顔領域２Ａの全体に重複するように投影する。
【００２６】
これにより、画像投影システム１は、赤外線投影装置３と撮像装置５とが異なる位置に配置された場合でも、カメラ座標とプロジェクタ座標とを対応させて、撮像対象の人物２の顔領域に対して、コンテンツ画像を投影できる。従って、画像投影システム１は、撮像対象の人物２の特定の領域である顔に合わせて警告画像を重畳できる。よって、撮像画像の確認者は、撮像画像を確認しても、人物２の顔の特定が困難となる。
【００２７】
［投影パターン画像の具体例］
図３は、投影パターン画像の一例を示す説明図である。投影パターン画像は、所定の画素数（例えば、１０２４×７６８画素）を有するＤＭＤ１２のＸ座標及びＹ座標をグレイコード化した各ビットをマンチェスタ符号化し、白黒の２値画像として表すことにより得られる。ここでは、二次元空間コード化法に従って、投影パターン画像と撮像パターン画像とを用いて、プロジェクタ座標での位置情報とカメラ座標での位置情報とを対応付けることを例示する。
【００２８】
例えば、Ｘ座標、Ｙ座標ともに１０ビットが割り当てられることにより座標情報がコード化される。図３では、Ｘ座標は、左右方向での位置を示す座標であり、Ｙ座標は、上下方向での位置を示す座標である。図２では、Ｘ４ａ及びＸ４ｂは、それぞれＸ座標の最上位ビットである９ビット目を示すパターン画像及びその補完的な画像として輝度反転させたパターン画像である。Ｘ３ａ及びＸ３ｂは、それぞれＸ座標の８ビット目を示すパターン画像及びその補完的な画像として輝度反転させたパターン画像である。Ｘ２ａ及びＸ２ｂは、それぞれＸ座標の７ビット目を示すパターン画像及びその補完的な画像として輝度反転させたパターン画像である。
【００２９】
また、図３では、Ｙ４ａ及びＹ４ｂは、それぞれＹ座標の最上位ビットである９ビット目を示すパターン画像及びその補完的な画像として輝度反転させたパターン画像である。Ｙ３ａ及びＹ３ｂは、それぞれＹ座標の８ビット目を示すパターン画像及びその補完的な画像として輝度反転させたパターン画像である。Ｙ２ａ及びＹ２ｂは、それぞれＹ座標の７ビット目を示すパターン画像及びその補完的な画像として輝度反転させたパターン画像である。
【００３０】
図示は省略するが、Ｘ座標、Ｙ座標ともに１０ビットが割り当てられる場合、Ｘ座標、Ｙ座標ともに、０ビット目を示すパターンまで合計４０枚のパターンが設定される。各画素の濃度情報は、相互に補完的な画像対の差信号に基づいて、ノイズ除去が図られる。
【００３１】
赤外線投影装置３は、このような２０対の相互に補完的な画像対を含む投影パターン画像を、所定の時間内で順次人物２に投影する。撮像装置５が、投影パターン画像を撮像して撮像パターン画像を生成する。演算装置６は、投影パターン画像と撮像パターン画像とを比較する。これにより、演算装置６は、投影画像における各画素と撮像画像における各画素とを対応づけできる。また、演算装置６は、変化する人物２を追跡する処理を実行できる。
【００３２】
尚、ここでは１０２４×７６８画素であり、画像パターンの数が４０枚（４０フレーム）であることを例示したが、画像パターンの数は、解像度や所望する精度によって変化する。また、撮像装置５と赤外線投影装置３との設置条件によっては、Ｙ座標又はＸ座標のいずれか一方を撮像装置５と赤外線投影装置３とで固定的に対応づけられてもよい。また、カメラ座標系とプロジェクタ座標系とのずれが投影範囲ＰＡ及び撮像範囲ＣＡにおける狭い範囲に限定されて設定されてもよい。これにより、画像投影システム１は、Ｘ座標又はＹ座標のいずれか一方の座標コードを削減し、又は大幅に削減できる。
【００３３】
［演算装置の構成］
図４は、演算装置６の機能構成例を示すブロック図である。
【００３４】
演算装置６は、パターン生成部２１、画像出力部２２、画像入力部２３、パターン復号部２４、フレームメモリ部２５、コード復号用メモリ部２６、座標変換部２７、コンテンツ生成部３０、コンテンツメモリ部３１、及び顔検出処理部３２を備える。
【００３５】
パターン生成部２１は、図３に例示した投影パターン画像を記憶する。パターン生成部２１は、投影パターン画像を構成する各パターンの情報を、所定のタイミングで画像出力部２２に向けて順次出力する。
【００３６】
画像出力部２２は、投影パターン画像の各パターンに対応する画像信号を赤外線投影装置３に供給する。画像出力部２２は、投影パターン画像の画像出力のタイミングを画像入力部２３に伝達する。
【００３７】
画像入力部２３は、画像出力部２２とタイミングを同期させて撮像するように、撮像装置５を制御する。画像入力部２３は、撮像装置５により撮像された撮像画像を取得し、入力する。撮像画像の取得は、例えば有線又は無線の通信により行われる。有線通信は、例えば、同軸ケーブル、ＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＤＥＣＴ（Ｄｉｇｉｔａｌ  Ｅｎｈａｎｃｅｄ  Ｃｏｒｄｌｅｓｓ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）を含む。無線通信は、例えば、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）を含む。撮像画像は、例えば、撮像パターン画像、人物２等の被写体を含む画像、を含む。また、撮像画像は、赤外線画像（例えば投影パターン画像）、可視光画像、を含む。画像入力部２３は、入力した撮像パターン画像をパターン復号部２４に送る。画像入力部２３は、人物２を含む被写体を含む撮像画像を、顔検出処理部３２へ送る。
【００３８】
パターン復号部２４は、画像入力部２３からの撮像パターン画像に関し、補完的な画像対の１つ目（ここでは他方という）を取得した場合、フレームメモリ部２５に記憶しておく。パターン復号部２４は、画像入力部２３からの撮像パターン画像に関し、補完的な画像対の２つ目（ここでは一方という）を取得した場合、補完的な画像対の一方と、フレームメモリ部２５に先に記憶された補完的な画像対の他方とのフレーム間の差分を計算する。これにより、画像投影システム１は、環境光等の影響を抑制して、撮像パターン画像の画素値（ここでは、「０」及び「１」の２値）を容易に判別できる。
【００３９】
コード復号用メモリ部２６には、撮像装置５の画素毎（撮像画像の画素毎）に書き込み領域が設けられている。パターン復号部２４は、上記差分を計算した後、グレイコード化した座標データの各ビット値を、コード復号用メモリ部２６における各画素に対応する書き込み領域にビット単位で書き込む。パターン復号部２４は、この処理を画像パターンの数（例えば４０フレーム）分実行し、撮像装置５の撮像画像の各画素（カメラ座標系）に対応する赤外線投影装置３の赤外線画像の各画素（プロジェクタ座標系）のＸ座標及びＹ座標のそれぞれを示す１０ｂｉｔの値を得る。パターン復号部２４は、この１０Ｂｉｔの値をコード復号用メモリ部２６に書き込む。
【００４０】
このようにして、コード復号用メモリ部２６には、最終的に投影画像（例えば投影パターン画像）と撮影画像（撮像パターン画像）との各画素の対応情報が格納される。パターン復号部２４により補完的な画像対が１つ処理される毎に、最新の画素の対応情報が得られる。つまり、コード復号用メモリ部２６は、プロジェクタ座標とカメラ座標との対応情報を画素毎に保持する。この各画素の対応情報は、コード復号用メモリ部２６の変換テーブル２６Ｔに含まれる。
【００４１】
顔検出処理部３２は、画像入力部２３からの撮像画像に含まれる人物２の顔領域２Ａを検出する。顔領域２Ａの検出は、例えばＶｉｏｌａ−Ｊｏｎｅｓ法により実施される。顔検出処理部３２は、検出された人物２の顔領域２Ａの位置情報、つまり顔領域２Ａの座標（カメラ座標）を、座標変換部２７へ送る。
【００４２】
座標変換部２７は、変換テーブル２６Ｔに保持された対応情報に基づき、撮像画像の各画素の位置を、カメラ座標からプロジェクタ座標に変換する。つまり、座標変換部２７は、顔検出処理部３２からの顔領域２Ａのカメラ座標を受け取り、変換テーブル２６Ｔを参照して、顔領域２Ａのカメラ座標をプロジェクタ座標に変換する。
【００４３】
コンテンツメモリ部３１には、人物２に投影されるべき画像（例えばコンテンツ画像）の素材となるデータ（例えば文字データ、テクスチャデータ、動画データ、メッシュデータ、シェーダープログラム、等）が記憶される。このデータは、コンテンツ生成部３０からの要求に応じてコンテンツ生成部３０に読み込まれる。
【００４４】
コンテンツ生成部３０は、キャリブレーション情報つまり変換テーブル２６Ｔの対応情報に基づいて、人物２の顔領域２Ａにマッピングされるべきコンテンツ画像を生成する。この投影用のコンテンツ画像は、画像出力部２２に向けて順次出力される。コンテンツ画像は、例えば、カメラ撮像者に対して警告したりカメラによる撮像を妨害したりするための警告画像を含む。従って、警告画像は妨害画像とも言える。
【００４５】
コンテンツ生成部３０は、座標変換部２７からの顔領域２Ａのプロジェクタ座標の情報を受け取る。コンテンツ生成部３０は、顔領域２Ａのプロジェクタ座標に基づいて、コンテンツ画像が投影される位置の情報（投影位置情報）を生成する。例えば、コンテンツ生成部３０は、顔領域２Ａの中心座標とコンテンツ画像の中心座標とを一致させて、投影位置情報を生成する。
【００４６】
コンテンツ生成部３０は、コンテンツ画像が投影されるサイズ（コンテンツサイズ）の情報を生成する。コンテンツ生成部３０は、コンテンツサイズを、顔領域２Ａと同等又は顔領域２Ａよりも広くする。つまり、顔領域２Ａは、赤外線投影装置３により投影されたコンテンツ画像により覆われる状態となる。コンテンツサイズは、顔領域２Ａと同等又は顔領域２Ａよりも広くすれば、演算装置６の操作部を介してユーザにより入力されてもよい。
【００４７】
コンテンツ生成部３０は、コンテンツ画像が投影される形状（コンテンツ形状）の情報を生成する。コンテンツ生成部３０は、顔領域２Ａに対応するコンテンツ画像の形状を、顔領域２Ａの検出形状と同じにしてもよいし、顔領域２Ａの検出形状からより簡易な形状（例えば円形状、矩形状、その他の多角形状）でもよい。尚、コンテンツ形状は、特別に決定されずに、コンテンツメモリ部３１に予め保持されたコンテンツ画像の形状でもよい。この場合、コンテンツ生成部３０によりコンテンツ形状の情報は生成されない。
【００４８】
画像出力部２２は、コンテンツ画像、投影位置情報、コンテンツサイズの情報、コンテンツ形状の情報をコンテンツ生成部３０から受け取り、コンテンツ画像、投影位置情報、コンテンツサイズの情報、コンテンツ形状の情報に基づく赤外線画像信号を、赤外線投影装置３に供給する。
【００４９】
尚、演算装置６は、例えば汎用のハードウェアを備えたコンピュータからなる。演算装置６は、例えば、所定の制御プログラムに基づき情報処理を実行するプロセッサ、プロセッサのワークエリア等として機能する揮発性メモリ、プロセッサが実行する制御プログラムやデータを格納する不揮発性メモリ、等を含んで構成される。演算装置６は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅｗａｙ）からなる集積回路を備えた構成でもよい。また、後述する第３の実施形態のように、演算装置６の機能の少なくとも一部と同様の機能を、赤外線投影装置３及び撮像装置５の少なくとも１つに付加した構成も可能である。
【００５０】
［画像投影システムの動作］
次に、画像投影システム１の動作例について説明する。
【００５１】
図５は、画像投影システム１のキャリブレーション処理の一例を示すフローチャートである。画像投影システム１は、赤外線投影装置３によるコンテンツ画像の投影前（例えば、赤外線投影装置３におけるズーム設定やフォーカス設定の変更時又は撮像装置５のズーム設定やフォーカス設定の変更時）に、キャリブレーション処理を実行する。
【００５２】
まず、可視光カットフィルタ１９が撮像装置５の対物レンズに装着される（Ｓ１１）。
【００５３】
赤外線投影装置３は、投影パターン画像を投影範囲ＰＡに投射する（Ｓ１２）。撮像装置５は、撮像範囲ＣＡでその投影パターン画像を撮像し、撮像パターン画像を得る（Ｓ１３）。ここでは、撮像装置５には、可視光カットフィルタ１９が取り付けられており（即ち、可視光カットが有効な状態にあり）、撮像装置５は、可視光領域を遮断して赤外領域を透過する。つまり、撮像画像としての撮像パターン画像は、赤外線画像となる。撮像装置５は、撮像パターン画像を演算装置６へ送る。
【００５４】
演算装置６では、画像入力部２３が、演算装置６からの撮像パターン画像を取得し、パターン復号部２４へ送る。パターン復号部２４は、画像入力部２３からの撮像パターン画像に基づき、赤外線投影装置３により投影される赤外線画像（投影画像）と撮像装置５により撮像される撮像画像との各画素を対応づける（Ｓ１４）。パターン復号部２４は、この各画素の対応付けの情報を含む変換テーブル２６Ｔを生成する。変換テーブル２６Ｔは、コード復号用メモリ部２６に保持される。
【００５５】
変換テーブル２６Ｔの生成が終了すると、撮像装置５の可視光カットフィルタ１９が解除される。つまり、撮像装置５の対物レンズから可視光カットフィルタ１９が取り外される（Ｓ１５）。これにより、キャリブレーション処理が終了し、撮像装置５は、可視光による撮像が可能となる。
【００５６】
図５に示したキャリブレーション処理によれば、撮像装置５による撮像範囲ＣＡと赤外線投影装置３による投影範囲ＰＡが異なる場合でも、変換テーブル２６Ｔを用いて、カメラ座標とプロジェクタ座標とで対応付けが可能となる。したがって、画像投影システム１は、厳密に投影範囲ＰＡと撮像範囲ＣＡとを位置合わせする手間を低減できる。また、画像投影システム１は、変換テーブル２６Ｔを用いて自動でカメラ座標とプロジェクタ座標との対応付けが可能であるので、手動による調整誤差を低減でき、キャリブレーションの精度を向上できる。
【００５７】
図６は、人物２の顔領域２Ａを考慮したコンテンツ画像（警告画像）の投影処理の一例を示すフローチャートである。人物２の顔領域２Ａを考慮したコンテンツの投影処理は、図５に示したキャリブレーション処理後に実施される。
【００５８】
まず、撮像装置５により人物２を含む撮像範囲を撮像する（Ｓ２１）。撮像装置５は、撮像された画像（撮像画像）を演算装置６へ送る。
【００５９】
演算装置６では、画像入力部２３が撮像画像を撮像装置５から取得し、顔検出処理部３２へ送る。顔検出処理部３２は、撮像画像に含まれる人物２の顔領域２Ａを検出する（Ｓ２２）。顔検出処理部３２は、検出された顔領域２Ａの位置情報（ここではカメラ座標系での座標情報）を座標変換部２７へ出力する。
【００６０】
座標変換部２７は、変換テーブル２６Ｔを参照し、画素毎に、顔領域２Ａのカメラ座標プロジェクタ座標に変換する（Ｓ２３）。座標変換部２７は、顔領域２Ａのプロジェクタ座標の情報をコンテンツ生成部３０へ送る。
【００６１】
そして、コンテンツ生成部３０は、コンテンツメモリ部３１からコンテンツ画像を取得し、コンテンツ画像を顔領域２Ａに基づいて加工する（Ｓ２４）。例えば、コンテンツ生成部３０は、顔領域２Ａのサイズに応じて、コンテンツ画像のサイズを変更する。コンテンツ生成部３０は、顔領域２Ａの同サイズ又は顔領域２Ａよりも大きなサイズのコンテンツ画像を生成する。顔領域２Ａの範囲がコンテンツ画像の範囲と重複し、顔領域２Ａにより隠れれば、コンテンツ画像の形状は任意である。コンテンツ生成部３０は、顔領域２Ａのプロジェクタ座標に基づいて、コンテンツ画像が顔領域２Ａの全体と重複する投影位置に係るコンテンツ画像の投影位置情報を生成する。コンテンツ生成部３０は、生成された（例えば加工された）コンテンツ画像及びコンテンツ画像の投影位置情報を画像出力部２２へ送る。画像出力部２２は、コンテンツ生成部３０からのコンテンツ画像及びコンテンツ画像の投影位置情報を赤外線投影装置３へ送る。尚、コンテンツのサイズ情報や形状情報が赤外線投影装置３へ送られてもよい。
【００６２】
赤外線投影装置３は、演算装置６からのコンテンツ画像及びコンテンツ画像の投影位置情報を取得する。赤外線投影装置３は、顔領域２Ａのプロジェクタ座標系での座標情報に基づく位置に、決定されたコンテンツサイズ及びコンテンツ形状でコンテンツ画像を投影する（Ｓ２５）。赤外線投影装置３は、例えば、顔領域２Ａの中心座標とコンテンツ画像の中心座標とを一致させて、コンテンツ画像を投影する。
【００６３】
図６に示した人物２の顔領域２Ａを考慮した警告画像の投影処理によれば、画像投影システム１は、顔領域２Ａのカメラ座標位置に対して、プロジェクタ座標位置を用いて警告画像を投影できる。従って、顔領域２Ａは、警告画像により覆われる。そのため、撮像装置５が人物２の顔領域２Ａを含む撮像範囲を撮像しても、警告画像が撮像される。従って、この撮像画像を確認するユーザは、警告画像により顔領域２Ａに実空間では存在する人物２の顔を確認不能となる。一方、顔領域２Ａ以外である撮像画像の領域の一部は、ユーザによって確認可能である。
【００６４】
従って、画像投影システム１は、人物２のプライバシーを保護できる。また、画像投影システム１は、人物２が演劇中、歌唱中である等、著作権等を考慮すべき状態であっても、著作権を適切に保護できる。更に、画像投影システム１は、撮像装置５により、ユーザの希望に応じて顔領域２Ａ以外の領域を視認可能に撮像できる。
【００６５】
尚、撮像装置５は、人物２を含む被写体を常時撮像してもよいし、定期的に撮像してもよいし、ユーザやタイマに指定された時刻に撮像してもよい。撮像間隔が短い程、人物２の動きへの追従性が高くなる。よって、人物２の顔領域２Ａに対する警告画像の投射位置の追従性が高くなる。
【００６６】
［ユースケース］
次に、本実施形態の画像投影システム１のユースケースについて説明する。ユースケースとしては、例えば、下記に示すユースケース１，２が考えられる。
【００６７】
図７は、ユースケース１を説明するための模式図である。図７では、赤外線投影装置３は、人物２（ここでは、舞台４０の出演者）の顔領域２Ａに、コンテンツ画像として警告画像４１を投影する。これにより、撮影禁止の会場において、観客が舞台４０上の出演者等を無断で撮影した場合でも、警告画像４１が撮像画像に映り込み、撮影が阻害される。また、警告画像４１が撮像画像に映り込むことで、顔領域２Ａの視認性が低下する。図７では、警告画像４１が円形で投射されることを例示したが、警告画像４１は、顔領域２Ａを覆えばよく、他の形状でもよい。
【００６８】
尚、赤外線投影装置３は、近赤外領域の比較的強い光によって赤外線画像を投影することにより、可視光を撮影するためのカメラを観客が撮影に用いた場合でも、撮影された可視光画像に対して警告画像４１による悪影響を及ぼすことが可能である。カメラのイメージセンサが可視光よりも波長の長い近赤外領域に対してもある程度感度を有するためである。
【００６９】
図８は、ユースケース２を説明するための模式図である。図８は、図７と比較すると、
警告画像４１としては、所望の文字情報（ここでは、観客に対する警告的なメッセージ「撮影禁止！」）を含む警告画像４１を用いている。これにより、画像投影システム１は、無断撮影を実施した観客に対して効果的に注意喚起できる。図８においても、顔領域２Ａに対してコンテンツ画像が投影され、顔領域２Ａが警告画像４１で覆われている。従って、画像投影システム１は、警告画像４１によりプライバシーや著作権等を適切に保護しつつ、ユーザによる警告画像４１に覆われていない撮像画像の一部の確認も可能とする。
【００７０】
図９は、ユースケース３を説明するための模式図である。図９は、撮影禁止のコンサート会場で画像投影システム１を用いることを想定している。例えば、光強度の大きい赤外光を照射可能な赤外線投影装置３が、顔領域２Ａに重複する警告画像４１としてのジャミングコンテンツを投影する。この場合、観客の肉眼つまり実空間では警告画像４１を視認不能であるので、パフォーマーの演技を通常通り確認できる。一方、スマートフォンが備えるカメラにより撮像すると、撮像画像内にパフォーマーの顔領域２Ａに対して赤外線投影装置３により警告画像４１が重畳されているので、パフォーマーの顔を確認不能となる。
【００７１】
このように、画像投影システム１によれば、シーンに応じて、ジャミングデータを投影可能である。従って、画像投影システム１は、カメラによるパフォーマーによるパフォーマンスの盗撮を抑制できる。また、パフォーマーの顔以外の部分は撮像画像においても確認可能であるので、プライバシーを保護しながら、ユーザが注目する箇所を確認できる。
【００７２】
尚、コンテンツ生成部３０は、撮像画像における顔領域２Ａの各画素値を白黒反転して、警告画像４１を生成してもよい。これにより、顔領域２Ａの画素値が平滑化され、画像の特徴が希薄化される。また、警告画像４１として、広告画像やコピー禁止の文字画像を用いてもよい。また、画像投影システム１は、特定の時間区間（例えばコンサートがテレビ放映される際のＣＭ中）については、警告画像４１を顔領域２Ａに重畳しないように制御してもよく、例えば赤外線投影装置３による警告画像４１の投影を停止させてもよい。
【００７３】
［作用効果等］
このように、本実施形態の画像投影システム１は、赤外線を用いて画像を投影する赤外線投影装置３と、撮像装置５と、演算装置６と、を備える。演算装置６は、赤外線投影装置３により投影された所定のパターン画像と、撮像装置５により撮像された所定のパターン画像と、の位置関係を基に、撮像装置５が用いるカメラ座標と赤外線投影装置３が用いるプロジェクタ座標とを変換するための変換情報を生成する。撮像装置５は、人物２を含む被写体を撮像する。演算装置６は、人物２における特定の領域のカメラ座標に係る位置を示す第１の位置を検出する。演算装置６は、変換情報を基に、第１の位置の情報を、特定の領域のプロジェクタ座標に係る位置を示す第２の位置の情報に変換する。赤外線投影装置３は、第２の位置の情報を基に、特定の領域の全領域に重複して警告画像を投影する。尚、赤外線は、非可視光の一例である。赤外線投影装置３は、画像投影装置の一例である。
【００７４】
これにより、画像投影システム１は、人物２における特定の領域を検出し、人物２の特定の領域を考慮して、非可視光の一例である赤外線を用いて警告画像４１を投影できる。そのため、肉眼では人物の特定の領域を把握しながら、撮像画像では特定の領域を確認不能となり、人物２のプライバシーや人物２が出演する舞台や衣装等の著作権を保護できる。一方、人物２の特定の領域以外を確認することは可能である。従って、画像投影システム１は、撮像画像におけるプライバシーや著作権等を適切に保護しつつ、撮像画像における一部の画像領域に限定して視認性を低減できる。
【００７５】
また、人物２における特定の領域が、人物２の顔領域でもよい。
【００７６】
これにより、画像投影システム１は、処理時間の比較的短い検出処理である顔領域の検出処理を実施でき、リアルタイム性を向上できる。よって、例えば人物２が舞台上で動き回る場合でも、赤外線投影装置３は、顔領域２Ａの動きに対する追従性を向上して、警告画像を投影できる。
【００７７】
また、演算装置６は、人物２の顔領域２Ａのサイズを基に、警告画像のサイズを制御してもよい。
【００７８】
人物２が移動すると、撮像装置５と人物２との距離が変化し、人物２の顔領域２Ａの大きさが変化し、撮像画像内の顔領域２Ａの大きさが変化することがある。この場合でも、画像投影システム１は、警告画像４１のサイズを調整して、顔領域２Ａの全領域を警告画像４１で覆うことが可能である。また、画像投影システム１は、警告画像４１のサイズを調整できるので、予めコンテンツメモリ部３１等に保持される警告画像４１のサイズを小さくでき、警告画像４１を保存するためのデータ量を小さくできる。よって、画像投影システム１は、コンテンツメモリ部３１等の限られたメモリ空間を有効活用できる。
【００７９】
（第２の実施形態）
第１の実施形態では、人物２の顔領域２Ａの位置にコンテンツ画像を投影することを例示した。第２の実施形態では、人物２の顔領域２Ａの位置とは異なる位置に、コンテンツ画像を投影することを例示する。尚、本実施形態では、第１の実施形態と異なる事項を主に説明し、第１の実施形態と同様の事項については、その説明を省略又は簡略化する。
【００８０】
図１０は、演算装置６Ａの機能構成例を示すブロック図である。演算装置６Ａは、第１の実施形態の演算装置６と比較すると、コンテンツ生成部３０の代わりにコンテンツ生成部３０Ａを備える。
【００８１】
コンテンツ生成部３０Ａは、キャリブレーション情報に基づいて、人物２の顔領域２Ａを避けてマッピングされるべきコンテンツ画像を生成する。この投影用のコンテンツ画像は、画像出力部２２に向けて順次出力される。コンテンツ画像は、例えば、人物２が置かれたシーンを装飾するための装飾画像を含む。
【００８２】
コンテンツ生成部３０Ａは、コンテンツ画像が投影されるサイズ（コンテンツサイズ）の情報を生成する。コンテンツサイズは、顔領域２Ａと同等でもよいし、顔領域２Ａよりも大きくてもよいし、顔領域２Ａよりも小さくてもよい。コンテンツ生成部３０Ａは、コンテンツサイズを、顔領域２Ａや人物２が不在である領域に収まるように、各特徴領域の位置情報に応じて自動的に生成してもよい。コンテンツサイズは、演算装置６の操作部を介してユーザにより入力されてもよい。
【００８３】
コンテンツ生成部３０Ａは、座標変換部２７からの顔領域２Ａのプロジェクタ座標の情報を受け取る。コンテンツ生成部３０Ａは、顔領域２Ａのプロジェクタ座標に基づいて、コンテンツ画像の投影位置情報を生成する。例えば、コンテンツ生成部３０Ａは、顔領域２Ａのプロジェクタ座標とコンテンツ画像の座標とが重複部分を有しないように、投影位置情報を生成する。
【００８４】
図１１は、人物２の顔領域２Ａを考慮したコンテンツ画像（装飾画像）の投影処理の一例を示すフローチャートである。人物２の顔領域２Ａを考慮したコンテンツ画像の投影処理は、前述した図５に示したキャリブレーション処理後に実施される。図１１では、図６の処理と同様の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。
【００８５】
コンテンツ生成部３０Ａは、コンテンツメモリ部３１からコンテンツ画像（装飾画像）を取得し、コンテンツ画像を顔領域２Ａに基づいて加工する（Ｓ２４Ａ）。例えば、コンテンツ生成部３０Ａは、コンテンツ画像のサイズを、コンテンツ画像が顔領域２Ａと重複しないように調整する。コンテンツ生成部３０Ａは、コンテンツ形状を加工してもよい。コンテンツ生成部３０Ａは、顔領域２Ａのプロジェクタ座標に基づいて、コンテンツ画像が顔領域２Ａと重複しない投影位置に係るコンテンツ画像の投影位置情報を生成する。コンテンツ生成部３０Ａは、生成された（例えば加工された）コンテンツ画像及びコンテンツ画像の投影位置情報を画像出力部２２へ送る。画像出力部２２は、コンテンツ生成部３０Ａからのコンテンツ画像及びコンテンツ画像の投影位置情報を赤外線投影装置３へ送る。尚、コンテンツのサイズ情報や形状情報が赤外線投影装置３へ送られてもよい。
【００８６】
赤外線投影装置３は、演算装置６からのコンテンツ画像及びコンテンツ画像の投影位置情報を取得する。赤外線投影装置３は、コンテンツ画像の投影位置情報に基づく投影位置に、決定されたコンテンツサイズ及びコンテンツ形状でコンテンツ画像（装飾画像）を投影する（Ｓ２５Ａ）。
【００８７】
図１１に示した人物２の顔領域２Ａを考慮した装飾画像の投影処理によれば、画像投影システム１は、顔領域２Ａのカメラ座標位置を避けて、プロジェクタ座標位置を用いて装飾画像を投影できる。従って、顔領域２Ａは、装飾画像により覆われない。そのため、撮像装置５が人物２の顔領域２Ａを含む撮像範囲ＣＡを撮像しても、顔領域２Ａが装飾画像で覆われることなく、人物２の顔及び装飾画像が撮像される。従って、この撮像画像を確認するユーザは、人物２の顔とともに実空間では存在しない装飾画像を確認可能となる。
【００８８】
従って、画像投影システム１は、人物２に発生する各種イベント（例えば冠婚葬祭、アミューズメントパークでの演出）を彩ることができる。また、画像投影システム１は、装飾された各種イベント中の人物２の顔領域２Ａを覆うことなく、人物２の様子や表情を撮像画像に収めることができる。よって、将来イベントを振り返った際に、撮像画像を確認した確認者が、イベント当時の様子や人物２の状況を回想し易くなる。
【００８９】
次に、本実施形態の画像投影システム１のユースケースについて説明する。ユースケースとしては、例えば、下記に示すユースケース４，５が考えられる。
【００９０】
図１２は、ユースケース４を説明するための模式図である。赤外線投影装置３は、人物２の顔領域２Ａと重複させずに、顔領域２Ａの周辺に赤外線画像として装飾画像５１を投影する。図１２では、人物２（ここでは、結婚式の新郎・新婦）に対し、装飾画像５１として、所望の文字及び図形を含む情報（ここでは、新郎・新婦に対するお祝いのメッセージ及び図形）を含む装飾画像５１が投影された例を示している。これにより、画像投影システム１は、撮像装置５による撮影画像を現像（またはディスプレイ表示）した際に初めて視認可能となる装飾画像５１によって、撮影者（結婚式の参加者等）に対して驚きや喜びを喚起できる。
【００９１】
図１３は、ユースケース５を説明するための模式図である。図１３は、葬儀時に斎場で親族の集合記念写真を撮影するシーンを想定している。例えば、光強度の大きい赤外光を照射可能な赤外線投影装置３が、故人の像や個人又は遺族のコメントの情報を装飾画像５１として照射する。装飾画像５１は、遺族の各顔領域２Ａと重複しない位置に照射される。この場合、実空間では装飾画像５１を視認不能であるが、スマートフォンが備えるカメラにより撮像すると、撮像画像内で装飾画像５１を視認可能となる。
【００９２】
また、コンテンツ生成部３０Ａは、装飾画像５１の投影位置を顔領域２Ａの位置に基づいて算出し、算出された投影位置に装飾画像５１を投影してもよい。装飾画像５１内のコメントの情報は、「今までありがとう」等の感謝のコメントでもよいし、故人に生前に聴取した所望のコメントでもよい。
【００９３】
ユースケース５の画像投影システム１によれば、装飾画像５１を肉眼で視認不能であるので、実際の葬式イベントを滞りなく進行できる。また、将来的に撮像画像を確認して葬式イベントを回想した際には、遺族等の故人に対する思い入れを強くできる。また、画像投影システム１を用いることで、装飾画像５１により葬式イベントを彩ることができる。画像投影システム１は、葬式イベントの付加価値として装飾画像５１を含む撮像画像を斎場が提供することを可能とし、斎場の評価を高くできる。
【００９４】
図１４は、ユースケース６を説明するための模式図である。図１４は、テーマパークでのお化け屋敷において画像投影システム１を用いることを想定している。例えば、光強度の大きい赤外光を照射可能な赤外線投影装置３が、心霊関連の画像（例えばお化けの画像）を装飾画像５１として投射する。この場合、実空間では装飾画像５１を視認不能であるが、スマートフォンが備えるカメラにより撮像すると、撮像画像内で装飾画像５１を視認可能となる。よって、このカメラは装飾画像５１を含む心霊写真を撮像できる。
【００９５】
また、コンテンツ生成部３０Ａは、装飾画像５１の投影位置を顔領域２Ａの位置に基づいて算出し、算出された投影位置に装飾画像５１を投影してもよい。
【００９６】
ユースケース６の画像投影システム１によれば、お化け屋敷を訪れた人物２が、カメラによる撮像画像を確認することで、お化け屋敷内の実空間には存在しなかったお化けを確認することになり、一段と恐怖感を煽ることができる。従って、画像投影システム１は、スリル満点のアミューズメントシステムを提供できる。
【００９７】
尚、画像投影システム１は、コンテンツメモリ部３１に多数のお化けのキャラクタに係る装飾画像５１を保持することで、投影可能なお化けの種類を増大できる。また、コンテンツ生成部３０Ａが、装飾画像５１を加工し、お化けのキャラクタを装飾してもよい。また、画像投影システム１は、装飾画像５１が撮像画像内に含まれることで、テーマパークのゲストに対して物語のヒントを提供してもよい。
【００９８】
このように、本実施形態の画像投影システム１は、赤外光を用いて画像を投影する赤外線投影装置３と、撮像装置５と、演算装置６Ａと、を備える。演算装置６Ａは、赤外線投影装置３により投影された所定のパターン画像と、撮像装置５により撮像された所定のパターン画像と、の位置関係を基に、撮像装置５が用いるカメラ座標と赤外線投影装置３が用いるプロジェクタ座標とを変換するための変換情報を生成する。撮像装置５は、人物２を含む被写体を撮像する。演算装置６Ａは、人物２における特定の領域のカメラ座標に係る位置を示す第１の位置を検出する。演算装置６Ａは、変換情報を基に、第１の位置の情報を、特定の領域のプロジェクタ座標に係る位置を示す第２の位置の情報に変換する。赤外線投影装置３は、第２の位置の情報を基に、特定の領域を避けて装飾画像５１を投影する。
【００９９】
これにより、画像投影システム１は、人物２における特定の領域を検出し、人物２の特定の領域（例えば顔領域２Ａ）を考慮して、非可視光の一例である赤外線を用いて装飾画像５１を投影できる。そのため、肉眼では人物２をそのまま視認可能である一方、撮像画像では特定の領域以外の領域に装飾画像５１を確認できる。よって、画像投影システム１は、撮像画像内の人物２の体験やその体験時の人物の様子、顔の表情等を装飾でき、人物２の思い出を彩ることができる。
【０１００】
（第３の実施形態）
第１，第２の実施形態では、演算装置６，６Ａが別体として設けられることを例示した。第３の実施形態では、演算装置６，６Ａが別体として設けられず、演算装置６，６Ａが有する機能を赤外線投影装置３が有することを例示する。第３の実施形態では、主に、画像投影システムが、第１の実施形態のように、顔領域２Ａに対して警告画像４１を投影することを例示するが、第２の実施形態のように、顔領域２Ａを避けて装飾画像５１を投影してもよい。
【０１０１】
図１５は、画像投影システム１Ｂの一例を示す模式図である。画像投影システム１Ｂは、赤外線投影装置３Ｂ及び撮像装置５を備える。図１５では、図１に示した第１，第２の実施形態における画像投影システム１と同様の構成については、その説明を省略又は簡略化する。
【０１０２】
赤外線投影装置３Ｂは、出射部１０、赤外線光源１１、ＤＭＤ１２、コントローラ１３、及びプロセッサ１４、及び通信デバイス１５を備える。コントローラ１３は、例えばＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）により形成され、赤外線光源１１やＤＭＤ１２の動作を制御する。通信デバイス１５は、有線又は無線により撮像装置５と接続される。通信デバイス１５は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて、撮像装置５と無線通信し、撮像画像を取得する。
【０１０３】
プロセッサ１４は、例えばＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）により構成される。プロセッサ１４は、演算装置６又は演算装置６Ｂとほぼ同様の機能を有する。つまり、プロセッサ１４は、パターン生成部２１Ｂ、画像出力部２２Ｂ、画像入力部２３Ｂ、パターン復号部２４Ｂ、フレームメモリ部２５Ｂ、コード復号用メモリ部２６Ｂ、座標変換部２７Ｂ、コンテンツ生成部３０Ｂ、コンテンツメモリ部３１Ｂ、及び顔検出処理部３２Ｂを備える。
【０１０４】
図１６は、プロセッサ１４の構成例を示すブロック図である。図１６では、図４と比較すると、各構成部の符号の末尾に「Ｂ」を追加したが、これは演算装置６が有する構成とプロセッサ１４が有する構成とを区別するために付したものであり、機能は同様である。尚、プロセッサ１４の画像入力部２３Ｂは、演算装置６の画像入力部２３と異なり、通信デバイス１５との間でデータを送受する。尚、プロセッサ１４の画像出力部２２Ｂは、演算装置６の画像出力部２２と異なり、データの出力先は赤外線光源１１となる。
【０１０５】
このように、本実施形態の赤外線投影装置３は、赤外線を用いて画像を投影する赤外線光源１１と、撮像装置５により撮像された画像を取得する通信デバイス１５と、赤外線光源１１により投影された所定のパターン画像と、撮像装置５により撮像された所定のパターン画像と、の位置関係を基に、撮像装置５が用いるカメラ座標と赤外線投影装置３が用いるプロジェクタ座標とを変換するための変換情報を生成するプロセッサ１４と、を備える。プロセッサ１４は、撮像装置５により撮像された被写体に含まれる人物２における特定の領域のカメラ座標に係る位置を示す第１の位置を検出し、変換情報を基に、第１の位置の情報を、特定の領域のプロジェクタ座標に係る位置を示す第２の位置の情報に変換する。赤外線光源１１は、第２の位置の情報を基に、特定の領域の全領域に重複して警告画像４１を投影する。
【０１０６】
尚、赤外線光源１１は、投影部の一例である。通信デバイス１５は、取得部の一例である。プロセッサ１４は、処理部の一例である。
【０１０７】
これにより、赤外線投影装置３は、人物２における特定の領域を検出し、人物２の特定の領域を考慮して、非可視光の一例である赤外線を用いて警告画像４１を投影できる。そのため、肉眼では人物２の特定の領域を把握しながら、撮像画像では特定の領域を確認不能となり、人物２のプライバシーや人物２が出演する舞台や衣装等の著作権等を保護できる。一方、人物２の特定の領域以外を確認することは可能である。従って、赤外線投影装置３は、撮像画像におけるプライバシーや著作権等を適切に保護しつつ、撮像画像における一部の画像領域に限定して視認性を低減できる。更に、赤外線投影装置３が、第１，第２の実施形態の演算装置６の機能を有することで、演算装置６を別体と設けることが不要となる。従って、演算装置６の設置スペースを削減でき、演算装置６に要するコストを低減できる。
【０１０８】
（他の実施形態）
以上のように、本開示における技術の例示として、第１〜第３の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、各実施形態を組み合わせてもよい。
【０１０９】
第１〜第３の実施形態では、画像投影装置が、赤外線を用いて画像を投影することを例示したが、赤外線以外の非可視光（例えば紫外線）を用いて画像を投影してもよい。
【０１１０】
第１，第３の実施形態では、撮像画像が複数存在する場合に、複数の顔領域２Ａの全てに重複するようにコンテンツ画像を投影することを例示した。第２，第３の実施形態では、撮像画像が複数存在する場合に、複数の顔領域２Ａの全てを避けて、つまり複数の顔領域２Ａの全てと重複しないように、コンテンツ画像を投影することを例示した。この代わりに、赤外線投影装置３は、複数の人物２の顔領域２Ａのうち特定の顔領域２Ａに限定して、この顔領域２Ａに重複するようにコンテンツ画像を投影してもよい。
【０１１１】
つまり、撮像装置５により撮像された被写体は、複数の人物２を含んでもよい。赤外線投影装置３は、複数の人物２のうち特定の人物の顔領域２Ａのプロジェクタ座標に係る位置を示す第２の位置に対して、警告画像を投影してもよい。
【０１１２】
これにより、画像投影システム１は、撮像装置５による撮像を希望しない人物２と、撮像装置５による撮像を希望する人物２とが混在する場合でも、撮像装置５により撮像できる。この場合でも、画像投影システム１は、撮像を希望しない人物２の顔領域周辺を警告画像により隠すことができ、この人物２のプライバシーを適切に保護できる。
【０１１３】
図１７は、人物２が複数存在する場合の警告画像４１の第１投影例を示す模式図である。図１７では、特定の人物以外の一例としての撮像を希望する人物２Ａ１が２人存在し、特定の人物の一例としての撮像を希望しない人物２Ａ２が１人存在することを例示している。図１７では、撮像を希望する人物２Ａ１には警告画像４１が投影されず、撮像を希望しない人物２Ａ２には警告画像４１が投影される。
【０１１４】
また、赤外線投影装置３は、複数の人物２のうち特定の人物以外の人物の顔領域２Ａのプロジェクタ座標に係る位置を示す第２の位置に対して、警告画像を投影してもよい。
【０１１５】
これにより、画像投影システム１は、例えば劇場の出演者である人物２とその観客である人物２が混在する場合でも、撮像装置５により撮像できる。この場合でも、画像投影システム１は、撮像画像において、劇場の出演者の顔領域２Ａを隠さずに宣伝効果を向上させつつ、観客の顔領域２Ａを警告画像により隠してプライバシーを保護できる。
【０１１６】
図１８は、人物２が複数存在する場合の警告画像４１の第２投影例を示す模式図である。図１８では、特定の人物の一例としての劇場の出演者２Ａ３が２人存在し、特定の人物以外の一例として観客２Ａ４が１人存在することを例示している。図１８では、出演者２Ａ３には警告画像４１が投影されず顔を確認できる状態であり、観客２Ａ４には警告画像４１が投影され、顔を確認できない状態である。
【０１１７】
第１〜第３の実施形態では、人物２の特定の領域として顔領域２Ａが主に例示したが、顔領域２Ａ以外でもよい。例えば、人物２が身に着けた装飾品、衣装等に著作権等が存在する場合がある。従って、例えば衣装の部分に相当する人物２の一部の領域の全体に対して重複するように、警告画像４１が投影されてもよい。衣装等の部分は、例えば撮像画像における画像特徴抽出により行われてもよいし、操作部により衣装等の領域を指定するためのユーザ操作を受け付けてもよい。これにより、画像投影システム１は著作権等を適切に保護できる。
【０１１８】
第１〜第３の実施形態では、コントローラを含めてプロセッサは、物理的にどのように構成してもよい。また、プログラム可能なプロセッサを用いれば、プログラムの変更により処理内容を変更できるので、プロセッサの設計の自由度を高めることができる。プロセッサは、１つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、第１〜第３の実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで１つのプロセッサを構成すると考えることができる。また、プロセッサは、半導体チップと別の機能を有する部材（コンデンサ等）で構成してもよい。また、プロセッサが有する機能とそれ以外の機能とを実現するように、１つの半導体チップを構成してもよい。また、複数のプロセッサが１つのプロセッサで構成されてもよい。
【産業上の利用可能性】
【０１１９】
本開示は、撮像画像における一部の画像領域に限定して視認性を低減できる画像投影システム、画像投影装置、及び画像投影方法等に有用である。
【符号の説明】
【０１２０】
１，１Ｂ  画像投影システム
２  人物
２Ａ  顔領域
３，３Ｂ  赤外線投影装置
５  撮像装置
６，６Ａ  演算装置
１０  出射部
１１  赤外線光源
１２  ＤＭＤ
１３  コントローラ
１４  プロセッサ
１５  通信デバイス
１９  可視光カットフィルタ
２１，２１Ｂ  パターン生成部
２２，２２Ｂ  画像出力部
２３，２３Ｂ  画像入力部
２４，２４Ｂ  パターン復号部
２５，２５Ｂ  フレームメモリ部
２６，２６Ｂ  コード復号用メモリ部
２６Ｔ，２６ＴＢ  変換テーブル
２７，２７Ｂ  座標変換部
３０，３０Ａ，３０Ｂ  コンテンツ生成部
３１，３１Ｂ  コンテンツメモリ部
３２，３２Ｂ  顔検出処理部
４０  舞台
４１  警告画像
５１  装飾画像
ＣＡ  撮像範囲
ＰＡ  投影範囲
【図１】
2018097148.tif 000003
【図２】
2018097148.tif 000004
【図３】
2018097148.tif 000005
【図４】
2018097148.tif 000006
【図５】
2018097148.tif 000007
【図６】
2018097148.tif 000008
【図７】
2018097148.tif 000009
【図８】
2018097148.tif 000010
【図９】
2018097148.tif 000011
【図１０】
2018097148.tif 000012
【図１１】
2018097148.tif 000013
【図１２】
2018097148.tif 000014
【図１３】
2018097148.tif 000015
【図１４】
2018097148.tif 000016
【図１５】
2018097148.tif 000017
【図１６】
2018097148.tif 000018
【図１７】
2018097148.tif 000019
【図１８】
2018097148.tif 000020