(57)【要約】【課題】映像が投影されている被投影物が風などによって揺らいだ場合でも、その被投影物が揺らいだ程度に応じて、その風の影響を受けて映像の内容が風に追従して変化する様子を適応的に示す。【解決手段】投影映像制御装置は、複数の反射材を有する被投影物に投影光を出射して映像を投影する映像投影装置と、照明光が複数の反射材のそれぞれにより反射された反射光に基づく撮像を行う撮像装置との間でそれぞれ通信可能な通信部と、被投影物に動きが発生した場合に、撮像装置により撮像された撮像画像に基づいて、映像投影装置により投影される映像に対して動きに追従した加工処理を施した加工映像を生成する映像処理部、を備える。映像処理部は、生成された加工映像の被投影物への映像投影指示を含む加工映像のデータを、通信部を介して映像投影装置に送信する。【選択図】図５
2019102931.tif 000002
【特許請求の範囲】
【請求項１】
反射材を有する被投影物に投影光を出射して映像を投影する映像投影装置と、前記投影光と異なる照明光が前記反射材により反射された反射光に基づく撮像を行う撮像装置との間でそれぞれ通信可能な通信部と、
前記被投影物に動きが発生した場合に、前記撮像装置により撮像された撮像画像に基づいて、前記映像投影装置により投影される映像に対して前記動きに追従した加工処理を施した加工映像を生成する映像処理部と、を備え、
前記映像処理部は、
生成された前記加工映像の前記被投影物への映像投影指示を含む前記加工映像のデータを、前記通信部を介して前記映像投影装置に送信する、
投影映像制御装置。
【請求項２】
前記通信部は、
前記被投影物に送風する送風機の電源オンまたは電源オフを制御する送風制御機との間で通信可能であり、
前記映像処理部は、
所定の送風タイミングになると、前記送風機の電源オンを含む制御指示を、前記通信部を介して前記送風制御機に送信する、
請求項１に記載の投影映像制御装置。
【請求項３】
前記映像処理部は、
前記撮像装置により撮像された撮像画像上の前記反射材の位置に基づいて、前記被投影物が前記送風機からの送風により揺らいだという第１の事象を検出し、
前記第１の事象の検出に基づいて、前記映像投影装置により投影される映像に対して前記送風機からの送風に追従した加工処理を施すことで前記加工映像を生成する、
請求項２に記載の投影映像制御装置。
【請求項４】
前記映像処理部は、
前記加工処理として、前記送風機からの送風により、前記映像投影装置により投影される映像が揺らいだ状態を示す前記加工映像を生成する、
請求項３に記載の投影映像制御装置。
【請求項５】
前記映像処理部は、
前記加工処理として、前記送風機からの送風により、前記映像投影装置により投影される映像の内容が一部または全部変更された前記加工映像を生成する、
請求項３に記載の投影映像制御装置。
【請求項６】
前記映像処理部は、
前記加工処理として、前記送風機からの送風により、前記映像投影装置により投影される映像にその映像の内容に関連する演出効果を重畳した前記加工映像を生成する、
請求項３に記載の投影映像制御装置。
【請求項７】
前記映像処理部は、
所定の送風停止タイミングになると、前記送風機の電源オフを含む制御指示を、前記通信部を介して前記送風制御機に送信する、
請求項３に記載の投影映像制御装置。
【請求項８】
前記映像処理部は、
前記撮像装置により撮像された撮像画像上の前記反射材の位置に基づいて、前記被投影物が前記送風機からの送風停止により動きが無くなったという第２の事象を検出し、
前記第２の事象の検出に基づいて、前記第１の事象の検出前に前記映像投影装置により投影されていた映像の前記被投影物への映像投影指示を含む前記映像のデータを、前記通信部を介して前記映像投影装置に送信する、
請求項７に記載の投影映像制御装置。
【請求項９】
映像投影装置と撮像装置とにそれぞれ通信可能な投影映像制御装置を含む投影映像制御システムであって、
前記投影映像制御装置は、
反射材を有する被投影物に投影光を出射して映像を投影する前記映像投影装置と、前記投影光と異なる照明光が前記反射材により反射された反射光に基づく撮像を行う前記撮像装置との間でそれぞれ通信可能な通信部と、
前記被投影物に動きが発生した場合に、前記撮像装置により撮像された撮像画像に基づいて、前記映像投影装置により投影される映像に対して前記動きに追従した加工処理を施した加工映像を生成する映像処理部と、を備え、
前記映像処理部は、
生成された前記加工映像の前記被投影物への映像投影指示を含む前記加工映像のデータを、前記通信部を介して前記映像投影装置に送信する、
投影映像制御システム。
【請求項１０】
前記照明光を照射する複数の照明機器が前記映像投影装置から投影される投影光の出射方向を中心軸として円環状に並べて配置され、
前記投影光の出射方向と前記反射光の入射方向とが同軸上に配置される、
請求項９に記載の投影映像制御システム。
【請求項１１】
前記被投影物は、複数の前記反射材を有する、
請求項９または１０に記載の投影映像制御システム。
【請求項１２】
前記反射材は、前記被投影物に貼付されている、
請求項９〜１１のうちいずれか一項に記載の投影映像制御システム。
【請求項１３】
投影映像制御装置における投影映像制御方法であって、
反射材を有する被投影物に投影光を出射して映像を投影する映像投影装置と、前記投影光と異なる照明光が前記反射材により反射された反射光に基づく撮像を行う撮像装置との間でそれぞれ通信するステップと、
前記被投影物に動きが発生した場合に、前記撮像装置により撮像された撮像画像に基づいて、前記映像投影装置により投影される映像に対して前記動きに追従した加工処理を施した加工映像を生成するステップと、
生成された前記加工映像の前記被投影物への映像投影指示を含む前記加工映像のデータを前記映像投影装置に送信するステップと、を有する、
投影映像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被投影物に投影される映像を制御する投影映像制御装置、投影映像制御システムおよび投影映像制御方法に関する。
【背景技術】
【０００２】
特許文献１では、多画面投影の際に１画面当たりの画面サイズが変化した場合でも、視認性が低下することを防止するために、プロジェクタのズーム状態を検出し、ズーム状態と合成画像の投影に用いる投影レンズの焦点距離とに基づいてプロジェクタからスクリーンまでの投影距離を算出する画像投影装置が開示されている。この画像投影装置は、ズーム状態と焦点距離と投影距離とに基づいてスクリーンに投影された全画面についての投影サイズを算出し、投影サイズに基づいて最適な画面分割数を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１１８１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、上述した従来の事情に鑑みて案出され、映像が投影されている被投影物が風などによって揺らいだ場合でも、その被投影物が揺らいだ程度に応じて、その風の影響を受けて映像の内容が風に追従して変化する様子を適応的に示す投影映像制御装置、投影映像制御システムおよび投影映像制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示は、反射材を有する被投影物に投影光を出射して映像を投影する映像投影装置と、前記投影光と異なる照明光が前記反射材により反射された反射光に基づく撮像を行う撮像装置との間でそれぞれ通信可能な通信部と、前記被投影物に動きが発生した場合に、前記撮像装置により撮像された撮像画像に基づいて、前記映像投影装置により投影される映像に対して前記動きに追従した加工処理を施した加工映像を生成する映像処理部と、を備え、前記映像処理部は、生成された前記加工映像の前記被投影物への映像投影指示を含む前記加工映像のデータを、前記通信部を介して前記映像投影装置に送信する、投影映像制御装置を提供する。
【０００６】
また、本開示は、映像投影装置と撮像装置とにそれぞれ通信可能な投影映像制御装置を含む投影映像制御システムであって、前記投影映像制御装置は、反射材を有する被投影物に投影光を出射して映像を投影する前記映像投影装置と、前記投影光と異なる照明光が前記反射材により反射された反射光に基づく撮像を行う前記撮像装置との間でそれぞれ通信可能な通信部と、前記被投影物に動きが発生した場合に、前記撮像装置により撮像された撮像画像に基づいて、前記映像投影装置により投影される映像に対して前記動きに追従した加工処理を施した加工映像を生成する映像処理部と、を備え、前記映像処理部は、生成された前記加工映像の前記被投影物への映像投影指示を含む前記加工映像のデータを、前記通信部を介して前記映像投影装置に送信する、投影映像制御システムを提供する。
【０００７】
また、本開示は、投影映像制御装置における投影映像制御方法であって、反射材を有する被投影物に投影光を出射して映像を投影する映像投影装置と、前記投影光と異なる照明光が前記反射材により反射された反射光に基づく撮像を行う撮像装置との間でそれぞれ通信するステップと、前記被投影物に動きが発生した場合に、前記撮像装置により撮像された撮像画像に基づいて、前記映像投影装置により投影される映像に対して前記動きに追従した加工処理を施した加工映像を生成するステップと、生成された前記加工映像の前記被投影物への映像投影指示を含む前記加工映像のデータを前記映像投影装置に送信するステップと、を有する、投影映像制御方法を提供する。
【発明の効果】
【０００８】
本開示によれば、映像が投影されている被投影物が風などによって揺らいだ場合でも、その被投影物が揺らいだ程度に応じて、その風の影響を受けて映像の内容が風に追従して変化する様子を適応的に示すことができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態に係る投影映像制御システムの設置例を示す図
【図２】本実施の形態に係る投影映像制御システムのシステム構成例を示すブロック図
【図３】プロジェクタからの投影光の出射方向と赤外線カメラに入射される反射光の入射方向との関係を示す説明図
【図４】参考例に係る投影映像制御システムにおけるプロジェクタ、赤外線カメラ、フラッグの配置例を示す図
【図５】本実施の形態に係る投影映像制御システムにおけるプロジェクタ、赤外線照明、赤外線カメラ、フラッグの配置例を示す図
【図６】発生した風の影響を受けて映像の内容が時系列に変化する様子の一例を示す説明図
【図７】発生した風の影響を受けて映像の内容が徐々に変更する様子の一例を示す説明図
【図８】図７に示す映像の平面図
【図９】光ＩＤ信号発生装置からの光ＩＤ信号の受信に応じたクーポンデータの取得例の動作概要を示す説明図
【図１０】発生した風の影響を受けて複数のフラッグに跨って連携して映像の内容が順に変化する様子の一例を示す説明図
【図１１】送風機からの風の送出が無い状態における、本実施の形態に係る投影映像制御システムの動作手順の一例を示すシーケンス図
【図１２】送風機からの風の送出があった状態における、本実施の形態に係る投影映像制御システムの動作手順の一例を示すシーケンス図
【図１３】送風機からの風の送出が停止した状態における、本実施の形態に係る投影映像制御システムの動作手順の一例を示すシーケンス図
【発明を実施するための形態】
【００１０】
（本実施の形態の内容に至る経緯）
上述した特許文献１では、映像の被投影物であるスクリーンは、既定の位置に固定的に設置されていた。言い換えると、映像が投影される被投影物は、例えば旗（フラッグ）のように、風が吹いた場合に揺らいだりするような柔らかい素材のものであることは想定されていなかった。このため、特許文献１のような従来の技術を用いても、映像の被投影物であるスクリーンが映像の投影中に風などによって揺らいだ場合には、投影されている映像が風の影響を受けて風に追従して変化する様子を的確に投影することはできなかった。
【００１１】
そこで、以下の本実施の形態では、映像が投影されている被投影物が風などによって揺らいだ場合でも、その被投影物が揺らいだ程度に応じて、その風の影響を受けて映像の内容が風に追従して変化する様子を適応的に示す投影映像制御装置、投影映像制御システムおよび投影映像制御方法の例を説明する。
【００１２】
以下、添付図面を適宜参照しながら、本開示に係る投影映像制御装置、投影映像制御システムおよび投影映像制御方法を具体的に開示した実施の形態（以下、「本実施の形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１３】
以下、本開示に係る投影映像制御システムが、多くの人（例えば観客）が集い、スポーツ（例えばサッカー）などの競技の試合が行われるスタジアムに設置されるユースケースを例示して説明する。このため、投影映像制御システムは、例えば外部の風が入り込まないまたは入り込みにくいスタジアムの内部（つまり、屋内）に設置される。
【００１４】
図１は、本実施の形態に係る投影映像制御システム１００の設置例を示す図である。投影映像制御システム１００は、フラッグＦＬＧ１と、プロジェクタ１０と、赤外線照明２０と、送風機３０と、赤外線カメラ４０と、投影映像制御装置５０（図２参照）とを少なくとも含む構成である。投影映像制御システム１００には、スピーカＳＰがさらに含まれてよい（図１参照）。投影映像制御システム１００において、１枚のフラッグＦＬＧ１に対し、プロジェクタ１０、赤外線照明２０、送風機３０および赤外線カメラ４０の１組が対応して設けられる。
【００１５】
被投影物の一例としてのフラッグＦＬＧ１は、例えば布などの柔らかい素材を用いて製造された旗である。フラッグＦＬＧ１は、プロジェクタ１０、赤外線照明２０、送風機３０および赤外線カメラ４０と対向するように、壁面ＷＬの頂上部を囲って挟むようにネジ止めされたフラッグ支柱ＳＰＦ１を介して鉛直下方向（図１の紙面下方向）に吊り下げて取り付けられる。フラッグＦＬＧ１は、後述する送風機３０から送風されると、その送風の影響を受けて揺らぐ。
【００１６】
また、本実施の形態では、フラッグＦＬＧ１は、複数の反射材（例えば反射シール）を有する。具体的には、複数（例えば１５枚）の反射シール（後述する図５参照）が等間隔に並べてフラッグＦＬＧ１上に貼付されている。それぞれの反射シールＲＦ１，ＲＦ２，ＲＦ３，ＲＦ４，ＲＦ５，ＲＦ６，ＲＦ７，ＲＦ８，ＲＦ９，ＲＦ１０，ＲＦ１１，ＲＦ１２，ＲＦ１３，ＲＦ１４，ＲＦ１５は、後述する赤外線照明２０から照射された赤外光が入射されると反射して反射光を出射する。図５では、それぞれの反射シールＲＦ１〜ＲＦ１５は矩形状であるが、円形状もしくは楕円形状でもよい。特に円形状である場合には、矩形状や楕円形状に比べると、フラッグＦＬＧ１に対して目立たないため、フラッグＦＬＧ１に投影される映像の視認性を劣化させることが無い。なお、複数の反射シールは、フラッグＦＬＧ１上に等間隔に並べて貼付されなくてもよい。
【００１７】
映像投影装置の一例としてのプロジェクタ１０は、例えば円筒形状の筐体を有し、投影映像制御装置５０との間で通信可能に接続される。プロジェクタ１０は、フラッグＦＬＧ１に対向するように、壁面ＷＬの頂上部を囲って挟むようにネジ止めされたプロジェクタ支柱ＳＰＰ１を介して鉛直下方向（図１の紙面下方向）に吊り下げて取り付けられる。プロジェクタ１０は、投影映像制御装置５０から送出された映像投影指示を含む映像のデータを受信して取得すると、その映像投影指示に基づき、その映像投影指示により指定された映像をフラッグＦＬＧ１に投影するための投影光ＰＪＬ１（例えば可視光）を生成してフラッグＦＬＧ１に向けて投影する。これにより、プロジェクタ１０は、投影映像制御装置５０により指定された映像（例えばスタジアムで行われる競技に関連するコンテンツ）をフラッグＦＬＧ１に投影可能となる。
【００１８】
なお、以下の説明において、プロジェクタ１０により投影される映像または後述する加工映像の内容は、スタジアムで行われる競技に関連するコンテンツに限定されず、例えばスタジアムで販売されている飲食物に関連するコンテンツ、競技に出場するチームに関連するグッズ（例えば、選手のゼッケンや氏名がプリントされたＴシャツ）のコンテンツでも構わない。
【００１９】
赤外線照明２０は、例えば複数の照明素子（例えば赤外光を発光するＬＥＤ（Light Emission Diode）素子（図示略））とそれぞれの照明素子における発光の有無を制御するための制御基板（図示略）とが内蔵された円筒形状の筐体を有し、プロジェクタ１０の筐体とは別体である。赤外線照明２０は、投影映像制御装置５０との間で通信可能に接続されてよいし、投影映像制御装置５０との間で通信可能に接続されなくてもよい。赤外線照明２０は、例えばプロジェクタ１０と同様に、フラッグＦＬＧ１に対向するように、プロジェクタ支柱ＳＰＰ１を介して鉛直下方向（図１の紙面下方向）に吊り下げて取り付けられる。赤外線照明２０は、例えば管理者の手動操作または投影映像制御装置５０からの制御指示に基づき、電源オン状態となり、上述した投影光ＰＪＬ１とは波長帯域の異なる照明光（例えば赤外光）をフラッグＦＬＧ１に向けて照射する。
【００２０】
なお、赤外線照明２０は、例えばプロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って一体的に取り付けられた円筒形状の筐体を有してもよい。この場合には、この円筒形状の筐体内に、複数の照明素子（例えば赤外光を発光するＬＥＤ素子）と制御基板（上述参照）とが内蔵される。つまり、複数の照明素子（例えば赤外光を発光するＬＥＤ素子）は、プロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って円環状に並べて配置される。
【００２１】
また、本実施の形態では、赤外線照明２０から照射される照明光（つまり、赤外光）は、プロジェクタ１０から投影される投影光である可視光とは異なっている。これは、後述する赤外線カメラ４０で撮像したいのは、プロジェクタ１０により投影された映像が送風機３０からの送風によって揺らいだ時の揺らぎ量そのものであり、映像そのものでないことに基づく。つまり、送風機３０からの送風によってフラッグＦＬＧ１が揺らいだ揺らぎ量を撮像することにより、プロジェクタ１０により投影される映像の視認性を劣化させないことと、後述する投影映像制御装置５０において実行される加工映像の生成処理時の負荷軽減とを両立することが可能となっている。
【００２２】
送風機３０は、風を発生させるためのファン（図示略）とそのファンの回転の有無を制御するための制御基板（図示略）とが内蔵された筐体を有する。送風機３０は、送風制御機の一例としての送風機制御ボックス３５（図２参照）を介して、投影映像制御装置５０との間で通信可能に接続される。送風機３０は、例えばプロジェクタ１０と同様に、フラッグＦＬＧ１に対向するように、プロジェクタ支柱ＳＰＰ１を介して鉛直下方向（図１の紙面下方向）に吊り下げて取り付けられている。送風機３０は、送風機制御ボックス３５から送出される制御指示（例えば送風機３０の電源オンの制御指示）に基づき、電源オン状態となり、ファンを回転させることで風を発生し、フラッグＦＬＧ１に向けて送風する。これにより、送風機３０により発生された風の影響を受けてフラッグＦＬＧ１が風に追従して揺らぎ始める。また、送風機３０からの送風が継続する間は、フラッグＦＬＧ１は揺らぎ続ける。一方、送風機３０は、送風機制御ボックス３５から送出される制御指示（例えば送風機３０の電源オフの制御指示）に基づき、電源オフ状態となり、ファンの回転を停止させることで風の発生を中止する。これにより、フラッグＦＬＧ１は、送風機３０からの風の影響を受けなくなるので、揺らぎ終える。
【００２３】
また、送風機３０は、フラッグＦＬＧ１に送風する風の向きに指向性を持たせるため、例えば鉛直下方向（図１の紙面下方向）に縦長の直方体形状の筐体を有している。一般的に風は拡散され易い性質を有するが、本実施の形態では、送風機３０から送風される風は、一定の風量（例えば、フラッグＦＬＧ１が揺らぐ程度の風量）がフラッグＦＬＧ１に到達することが可能となる。
【００２４】
なお、送風機３０は、プロジェクタ１０や赤外線照明２０に隠れてスタジアムの観客などから目立たない位置に配置されることが好ましい。このため、送風機３０とフラッグＦＬＧ１との間の距離は、例えばプロジェクタ１０とフラッグＦＬＧ１との間の距離と同一またはほぼ同様に保たれる。従って、送風機３０とフラッグＦＬＧ１との間の距離は、フラッグＦＬＧ１に映像を投影するプロジェクタ１０、または赤外線を照射する赤外線照明２０のいずれかの性能に依存すると考えられる。但し、送風機３０は、プロジェクタ１０や赤外線照明２０に隠れずにスタジアムの観客などから目立つような位置に配置されてもよい。
【００２５】
撮像装置の一例としての赤外線カメラ４０は、赤外線照明２０から照射された赤外光がフラッグＦＬＧ１に貼付されたそれぞれの反射シールにより反射された反射光を受光可能な赤外光レンズ（図示略）と、反射光に基づく赤外光画像を撮像可能なイメージセンサ（図示略）と、イメージセンサの出力に基づいて所定の画像処理を施す信号処理部（例えばプロセッサ、図示略）とを少なくとも含む構成である。赤外線カメラ４０は、信号処理部により生成された赤外光画像のデータを投影映像制御装置５０に送出する。また、赤外線カメラ４０は、赤外線照明２０により照射された赤外光がフラッグＦＬＧ１に貼付された反射シールＲＦ１〜ＲＦ１５のそれぞれにより反射された反射光だけを受光可能である。このため、赤外光画像には、フラッグＦＬＧ１に貼付された反射シールＲＦ１〜ＲＦ１５だけがそれぞれの位置が判別可能に映し出される。
【００２６】
また、詳細は図３を参照して後述するが、本実施の形態では、プロジェクタ１０からの投影光ＰＪＬ１の出射方向と、赤外線カメラ４０に入射される反射光の入射方向とが同軸上に存在するように、赤外線カメラ４０は取り付けられる。これにより、投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像に基づいて、送風機３０からの送風によってフラッグＦＬＧ１が揺らいだ時の揺れの程度を考慮して、風に追従した動きを有する映像の投影をプロジェクタ１０に指示できる。
【００２７】
投影映像制御装置５０は、例えばＰＣ（Personal Computer）もしくはタブレット端末などの有線もしくは無線の通信が可能な情報処理装置であり、少なくともプロジェクタ１０、送風機制御ボックス３５、赤外線カメラ４０との間で通信可能に接続される。投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像（言い換えると、フラッグＦＬＧ１に貼付された複数の反射シールのそれぞれにより反射された反射光に基づく撮像画像）に基づいて、フラッグＦＬＧ１に対する送風機３０からの送風の有無を検出し、その有無の影響を考慮した映像を生成してプロジェクタ１０に投影させる。投影映像制御装置５０の詳細については、図２を参照して説明する。
【００２８】
スピーカＳＰは、投影映像制御装置５０との間で有線もしくは無線の通信が可能に接続され、例えばフラッグ支柱ＳＰＦ１の筐体に内蔵される。スピーカＳＰは、投影映像制御装置５０により、音声出力対象の音声信号を含む音声出力の指示がなされると、その音声信号を音声出力する。スピーカＳＰにより音声出力される音声信号は、例えば、プロジェクタ１０により投影される映像の内容に関連する音声であり、その映像の内容が氷入り炭酸ジュースなどのドリンク類である場合には、その炭酸ジュースと氷とによるシズル感を示す音声である。また、投影される映像が競技に出場するチームの選手のプロフィールである場合には、その選手のインタビュー時の音声などでもよい。なお、本実施の形態に係る投影映像制御システム１００において、スピーカＳＰは省略されてもよい。
【００２９】
図２は、本実施の形態に係る投影映像制御システム１００のシステム構成例を示すブロック図である。図２に示すように、投影映像制御装置５０は、少なくともプロジェクタ１０、送風機制御ボックス３５、赤外線カメラ４０との間でそれぞれ通信可能に接続され、さらに赤外線照明２０との間でも通信可能に接続されてよい。また、投影映像制御装置５０は、送風機制御ボックス３５を介して、送風機３０との間でも通信可能である。
【００３０】
本実施の形態に係る投影映像制御システム１００において、プロジェクタ１０、赤外線照明２０、送風機３０、送風機制御ボックス３５、赤外線カメラ４０および投影映像制御装置５０を１組とした場合、これらの組は複数設けられてよい（図２参照）。複数設けられる場合には、いずれか１組の投影映像制御装置５０が後述する管理処理部５３５を有するので親機の役割を有し、残りの少なくとも１組の投影映像制御装置５０は管理処理部５３５を有さないので子機の役割を有する。また、図２では、例えば３組の投影映像制御装置５０がハブ９０を介して接続され、投影映像制御装置５０の内部構成は１組だけ図示されている。
【００３１】
投影映像制御装置５０は、通信インターフェース（ＩＦ：Interface）５１と、メモリ５２と、投影映像制御部５３とを含む構成である。また、投影映像制御装置５０は、投影映像制御システム１００の管理者の操作が入力されるキーボード（図示略）との間で有線もしくは無線によって接続され、キーボードに入力された指示内容の情報を、通信インターフェース５１を介して、投影映像制御部５３の管理処理部５３５において取得する。
【００３２】
通信部の一例としての通信インターフェース５１は、投影映像制御装置５０との間で接続された各種の機器（具体的には、プロジェクタ１０、赤外線照明２０、送風機制御ボックス３５、赤外線カメラ４０）との間で有線もしくは無線の通信を可能に接続される。なお、通信インターフェース５１は、赤外線照明２０との間で通信可能に接続されていなくてもよい。
【００３３】
メモリ５２は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを用いて構成され、投影映像制御装置５０の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。ＲＡＭは、例えば投影映像制御部５３の動作時に使用されるワークメモリである。ＲＯＭは、例えば投影映像制御部５３を制御するためのプログラムおよびデータを予め記憶する。また、メモリ５２は、例えば投影映像制御装置５０を識別する識別情報（例えばシリアル番号）および各種設定情報を記憶する。また、メモリ５２は、風が吹いていない状態（言い換えると、送風機３０から送風されていない無風状態）における、赤外光画像上のマーカ（つまり、フラッグＦＬＧ１上の反射シールＲＦ１〜ＲＦ１５のそれぞれ）の位置を示す情報（座標）を保持している。
【００３４】
映像処理部の一例としての投影映像制御部５３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）もしくはＦＰＧＡ（Field Programmable Gate Array）を用いて構成されたプロセッサである。投影映像制御部５３は、投影映像制御装置５０の動作を司るコントローラとして機能し、投影映像制御部５３の各部の動作を全体的に統括するための制御処理、投影映像制御装置５０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。投影映像制御部５３は、メモリ５２に記憶されたプログラムおよびデータに従って動作する。投影映像制御部５３は、動作時にメモリ５２を使用し、現在の時刻情報を取得したり、投影映像制御部５３により生成されたデータをメモリ５２に記録したりする。
【００３５】
旗トラッキング処理部５３１は、赤外線カメラ４０から送信された赤外光画像（撮像画像）のデータを、通信インターフェース５１を介して取得する。旗トラッキング処理部５３１は、取得された赤外光画像（言い換えると、フラッグＦＬＧ１に貼付された複数の反射シールのそれぞれにより反射された反射光に基づく撮像画像）を画像解析することで、赤外光画像上に映し出される反射シールをマーカとして認識し、その反射シールの位置を判別する。さらに、旗トラッキング処理部５３１は、その判別された赤外光画像上の反射シールの位置に基づいて、フラッグＦＧＬ１に対する送風機３０からの送風の有無を検出する。
【００３６】
具体的には、旗トラッキング処理部５３１は、例えば赤外光画像において隣接する反射シール間の距離が赤外光画像において風の吹いていない時の反射シール間の距離よりも短くなっていると判断した場合には、フラッグＦＬＧ１が送風機３０からの風の影響を受けて揺らいでいる（言い換えると、フラッグＦＬＧ１に対する送風機３０からの送風がある）と判別する。なお、風の吹いていない時のそれぞれの反射シール間の距離のデータはメモリ５２において保持されている。つまり、送風機３０からの送風によってフラッグＦＬＧ１は揺らぐため、送風機３０からの送風の有無は、フラッグＦＬＧ１に貼付された反射シール間の距離が送風機３０からの送風が無い時の反射シール間より短くなることを利用して判別している。
【００３７】
一方で、旗トラッキング処理部５３１は、例えば隣接する反射シール間の距離が風の吹いていない時の反射シール間の距離と同じ値またはほぼ同じ値であると判断した場合には、フラッグＦＬＧ１が揺らいでいない（言い換えると、フラッグＦＬＧ１に対する送風機３０からの送風がない）と判別する。旗トラッキング処理部５３１は、送風機３０からの送付がないと判別した場合、その判別結果をフラッグＦＬＧ１の揺らぎに関する検出結果として旗マッピング処理部５３２に出力する。
【００３８】
また、旗トラッキング処理部５３１は、フラッグＦＬＧ１が送風機３０からの風の影響を受けて揺らいでいると判別した場合には、赤外光画像上に映し出された反射シール間の距離に基づいて、フラッグＦＬＧ１の揺らぎ量（例えば、赤外光画像上におけるそれぞれの反射シールＲＦ１〜ＲＦ１５の座標、または反射シールＲＦ１〜ＲＦ１５の座標におけるフラッグＦＬＧ１の揺らぎ量）を検出する。旗トラッキング処理部５３１は、その検出結果をフラッグＦＬＧ１の揺らぎに関する検出結果として旗マッピング処理部５３２に出力する。
【００３９】
旗マッピング処理部５３２は、シーン制御処理部５３３から出力された、映像切替指示を含む切替対象の映像のデータを取得する。旗マッピング処理部５３２は、映像切替指示に基づいて、フラッグＦＬＧ１への映像投影指示を含む切替対象の映像のデータを、通信インターフェース５１を介してプロジェクタ１０に送信する。これにより、プロジェクタ１０は、投影映像制御装置５０から送信された映像投影指示に基づいて、切替対象の映像のデータをフラッグＦＬＧ１に投影可能となり、例えば送風機３０からの送風の影響を受けた映像の投影が可能となる。
【００４０】
旗マッピング処理部５３２は、旗トラッキング処理部５３１から出力された、フラッグＦＬＧ１の揺らぎに関する検出結果を取得する。旗マッピング処理部５３２は、フラッグＦＬＧ１の揺らぎに関する検出結果に基づいて、プロジェクタ１０により投影される映像に対して風の影響を受けてフラッグＦＬＧ１に生じた動きに追従した加工処理を施すことで加工映像を生成する。加工映像の例については、図６、図７、図８、図１０を参照してそれぞれ後述する。
【００４１】
旗マッピング処理部５３２は、生成された加工映像のフラッグＦＬＧ１への映像投影指示を含む加工映像のデータを、通信インターフェース５１を介してプロジェクタ１０に送信する。これにより、プロジェクタ１０は、投影映像制御装置５０から送信された映像投影指示に基づいて、加工映像のデータをフラッグＦＬＧ１に投影可能となり、送風機３０からの送風の影響を受けた加工映像の投影が可能となる。つまり、投影映像制御システム１００は、フラッグＦＬＧ１を目視した観客に対し、風の影響によって変化のあった映像の内容を記憶に留めさせるなど注目を集めることが可能となる。
【００４２】
なお、旗マッピング処理部５３２は、生成された加工映像のデータの実体を送信せず、例えば現在プロジェクタ１０により投影されている映像の表示状態から加工映像の表示状態に遷移して投影させるために必要な映像の歪み量の指示データを含ませた映像投影指示だけを、通信インターフェース５１を介してプロジェクタ１０に送信してもよい。映像の歪み量は、例えば、フラッグＦＬＧ１の寸法や形状に即して生成された映像の中で、風によって反射シールの位置がどのように変位（移動）したかを示す値である。
【００４３】
シーン制御処理部５３３は、管理処理部５３５から出力された映像投影指示または映像切替指示を、通信インターフェース５１およびハブ９０を介して取得する。シーン制御処理部５３３は、取得された映像投影指示に基づいて、投影対象の映像のデータを例えばメモリ５２から取得し、映像投影指示を含む投影対象の映像のデータを旗マッピング処理部５３２に出力する。シーン制御処理部５３３は、取得された映像切替指示に基づいて、切替対象の映像のデータを例えばメモリ５２から取得し、映像切替指示を含む切替対象の映像のデータを旗マッピング処理部５３２に出力する。
【００４４】
また、シーン制御処理部５３３は、管理処理部５３５から出力された送風切替指示を、通信インターフェース５１およびハブ９０を介して取得する。シーン制御処理部５３３は、取得された送風切替指示に基づいて、現在の送風状態の有無を切り替えるための送風切替指示を送風機制御処理部５３４に出力する。送風切替指示は、例えば現在が送風のある状態であれば送風のない状態へ切り替えるための制御指示を含み、現在が送風のない状態であれば送風のある状態へ切り替えるための制御指示を含む。
【００４５】
送風機制御処理部５３４は、シーン制御処理部５３３により出力された送風切替指示を取得する。送風機制御処理部５３４は、取得された送風切替指示に基づいて、送風機３０の電源オンまたは電源オフを制御するための制御指示を生成し、その制御指示を、通信インターフェース５１を介して送風機制御ボックス３５に送信する。送風機制御ボックス３５は、送風機３０の電源をオンしたりオフにしたりするための制御回路を有し、投影映像制御装置５０から送信された制御指示に基づいて制御回路を動作させることで、送風機３０の電源をオンしたり、送風機３０の電源をオフしたりする。
【００４６】
管理処理部５３５は、例えば投影映像制御システム１００の管理者からのキーボード入力に基づき、プロジェクタ１０により投影される投影対象の映像（例えばコンテンツ）を指定する映像投影指示を生成し、その映像投影指示を、自装置（つまり、親機）または残りの子機を含む全ての投影映像制御装置５０に対し、ハブ９０を介して送信する。この送信は、プロジェクタ１０によって映像が迅速かつリアルタイムに投影されることが要求されるため、例えばＵＤＰ（User Datagram Protocol）通信が使用される。
【００４７】
また、管理処理部５３５は、例えば投影映像制御システム１００の管理者からのキーボード入力に基づき、送風機３０からの送風の有無を切り替えるための送風切替指示を生成し、その送風切替指示を、自装置（つまり、親機）または残りの子機を含む全ての投影映像制御装置５０に対し、ハブ９０を介して送信する。また同様に、この送信は、送風機３０からの送風または送風停止が迅速かつリアルタイムに実行されることが要求されるため、例えばＵＤＰ通信が使用される。
【００４８】
また図２には図示されていないが、管理処理部５３５は、例えば投影映像制御システム１００の管理者からのキーボード入力に基づき、フラッグ支柱ＳＰＦ１の筐体に内蔵されたスピーカＳＰから音声出力される音声の音量を切り替えるための音量切替指示を生成し、その音量切替指示を、自装置（つまり、親機）または残りの子機を含む全ての投影映像制御装置５０に対し、ハブ９０を介して送信してよい。それぞれの投影映像制御装置５０は、音量切替指示に基づいて、それぞれの投影映像制御装置５０に接続されるスピーカＳＰから音声出力される音声の音量を調整する。また同様に、この送信は、スピーカＳＰからの音声出力がフラッグＦＬＧ１に投影される映像と同期されるように迅速かつリアルタイム性が要求されるため、例えばＵＤＰ通信が使用される。
【００４９】
また、管理処理部５３５は、投影映像制御システム１００が各組のプロジェクタ１０により対応するフラッグに投影される複数の映像の連携によって時系列的な映像の遷移を示す場合に、例えば投影映像制御システム１００の管理者からのキーボード入力に基づき、それぞれのプロジェクタ１０における投影対象の映像（例えばコンテンツ）を指定する映像投影指示を生成する。管理処理部５３５は、それぞれのプロジェクタ１０に対する映像投影指示を、該当するそれぞれの投影映像制御装置５０に対し、ハブ９０を介して送信する。この送信は、個々のプロジェクタ１０によって時系列的な遷移する映像が迅速かつリアルタイムに投影されることが要求されるため、例えばＵＤＰ（User Datagram Protocol）通信が使用される。
【００５０】
なお、投影映像制御部５３が投影映像制御装置５０に設けられる代わりに、投影映像制御部５３と同一の構成を有する投影映像制御部５３ｒが、赤外線カメラ４０もしくはプロジェクタ１０に設けられてもよい。また、投影映像制御部５３が投影映像制御装置５０に設けられ、さらに投影映像制御部５３ｒが赤外線カメラ４０もしくはプロジェクタ１０に設けられてもよい。この場合には、投影映像制御装置５０と赤外線カメラ４０もしくはプロジェクタ１０とにより、投影映像制御部５３と投影映像制御部５３ｒとで一部の処理を分担することで、それぞれの装置の処理負荷を軽減可能となる。
【００５１】
図３は、プロジェクタ１０からの投影光ＰＪＬ１の出射方向と赤外線カメラ４０に入射される反射光ＩＲＬ１の入射方向との関係を示す説明図である。図３は、プロジェクタ１０、赤外線カメラ４０およびフラッグＦＬＧ１は、それぞれを上面から見た平面視で示されている。また、図３の説明を簡単にするために、赤外線照明２０の配置の図示は省略され、フラッグＦＬＧ１に貼付された反射シールＲＦ１〜ＲＦ１５のうち反射シールＲＦ７〜ＲＦ９のみ図示されている。なお、図３の説明は、反射シールＲＦ７〜ＲＦ９以外の他の反射シールＲＦ１〜ＲＦ６，ＲＦ１０〜ＲＦ１５における照明光（つまり、赤外光）の反射においても同様である。
【００５２】
図３に示すように、プロジェクタ１０から出射された可視光である投影光ＰＪＬ１は、可視光に対して透光性のある透明なアクリル板ＡＣＲを透過し、フラッグＦＬＧ１に対して照射される。これにより、プロジェクタ１０は、投影映像制御装置５０により指定された投影対象の映像をフラッグＦＬＧ１に投影可能となる。なお、投影光ＰＪＬ１は、フラッグＦＬＧ１に貼付された反射シールＲＦ１〜ＲＦ１５により反射されるが、その反射光は赤外線カメラ４０に受光されない。
【００５３】
また、赤外線照明２０（図示略）から照射された照明光（つまり、赤外光）は、フラッグＦＬＧ１に対して照射される。フラッグＦＬＧ１に貼付された反射シールＲＦ１〜ＲＦ１５の箇所（図３では反射シールＲＦ７〜ＲＦ９のみ抜粋）では、赤外線照明２０からの照明光（つまり、赤外光）が反射され、その反射光ＩＲＬ１は赤外光に対して透光性の低いアクリル板ＡＣＲにより９０°左方向（図３の紙面下方向）に反射されて赤外線カメラ４０にて受光される。つまり、本実施の形態では、プロジェクタ１０と赤外線カメラ４０とは、プロジェクタ１０からの投影光ＰＪＬ１の出射方向と、赤外線カメラ４０に入射される反射光の入射方向とが同軸上に存在するように取り付けられる。これにより、投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像に基づいて、送風機３０からの送風の発生に基づくフラッグＦＬＧ１の揺らぎ量を適正に検出でき、風の発生によって揺らぐフラッグＦＬＧ１の動きに追従した映像をプロジェクタ１０から投影させることができる。もし、プロジェクタ１０からの投影光ＰＪＬ１の出射方向と、赤外線カメラ４０に入射される反射光の入射方向とが同軸上に存在していなければ、赤外線カメラ４０が撮像した赤外光画像において映し出される反射シールの位置が実際のフラッグＦＬＧ１上の反射シールの位置とずれてしまう。このため、投影映像制御装置５０は、送風機３０からの送風によってフラッグＦＬＧ１が揺らいだとしても、赤外線カメラ４０は反射シールの位置を適正に撮像できず、風の影響を受けてフラッグＦＬＧ１の動きに追従した映像の投影が困難になってしまう。
【００５４】
また、赤外線カメラ４０は、反射シールＲＦ１〜ＲＦ１５により反射された反射光ＩＲＬ１を高感度で受光するために、例えば一定の大きさおよび厚みを有する黒色の紙ＢＫ１が赤外線カメラ４０の前方に取り付けられることが好ましい。また、赤外線カメラ４０は、プロジェクタ１０の動作に伴って発生する発熱の影響を受けないようにするため、例えば一定の大きさおよび厚みを有する黒色の紙ＢＫ２に接して取り付けられることが好ましい。
【００５５】
図４は、参考例に係る投影映像制御システムにおけるプロジェクタ１０、赤外線カメラ４０、フラッグＦＬＧ１の配置例を示す図である。図４の説明において、プロジェクタ１０および赤外線カメラ４０は、本実施の形態に係るプロジェクタ１０および赤外線カメラ４０とそれぞれ同じであり、同一の符号を付与して説明を簡略化または省略する。図４は、プロジェクタ１０、赤外線カメラ４０およびフラッグＦＬＧ１は、それぞれを側面から見た側面視で示されている。プロジェクタ１０はケーブルＣＢ１を介して投影映像制御装置５０ｚに接続されている。赤外線カメラ４０は、図示しないケーブルを介して投影映像制御装置５０ｚに接続されている。
【００５６】
図４に示す参考例では、プロジェクタ１０と赤外線カメラ４０とは例えば横並びで隣接して配置され、フラッグＦＬＧ１の４つの両端にそれぞれ自発光式の赤外光発光素子（例えば、赤外光を発光するＬＥＤ素子）が計４個設けられている。例えば、フラッグＦＬＧ１の上側の左右両端に赤外光ＬＥＤ素子ＬＤ１，ＬＤ２が配置され、フラッグＦＬＧ１の下側の左右両端に赤外光ＬＥＤ素子ＬＤ３，ＬＤ４が配置されている。
【００５７】
図４に示す参考例によれば、フラッグＦＬＧ１に４個の赤外光ＬＥＤ素子ＬＤ１，ＬＤ２，ＬＤ３，ＬＤ４が配置されるので、４個の赤外光ＬＥＤ素子ＬＤ１〜ＬＤ４のそれぞれが赤外線照明２０と同一の役割を有し、図１や図２に示す赤外線照明２０の構成は省略可能となる。
【００５８】
また、４個の赤外光ＬＥＤ素子ＬＤ１〜ＬＤ４により発光された赤外光は、赤外線カメラ４０により受光される。赤外線カメラ４０は、受光された赤外光に基づいて赤外光画像を撮像して生成する。投影映像制御装置５０ｚは、赤外線カメラ４０により生成された赤外光画像に基づいて、フラッグＦＬＧ１に取り付けられた赤外光ＬＥＤ素子ＬＤ１〜ＬＤ４の赤外光画像上の位置を検出する。投影映像制御装置５０ｚは、その検出された位置に基づいて、フラッグＦＧＬ１に対する送風機３０からの送風の有無を検出する。
【００５９】
図５は、本実施の形態に係る投影映像制御システム１００におけるプロジェクタ１０、赤外線照明２０、赤外線カメラ４０、フラッグＦＬＧ１の配置例を示す図である。図５の説明において、プロジェクタ１０、赤外線照明２０および赤外線カメラ４０は、本実施の形態に係るプロジェクタ１０、赤外線照明２０および赤外線カメラ４０とそれぞれ同じであり、同一の符号を付与して説明を簡略化または省略する。図５は、プロジェクタ１０、赤外線照明２０、赤外線カメラ４０およびフラッグＦＬＧ１は、それぞれを側面から見た側面視で示されている。プロジェクタ１０はケーブルＣＢ１を介して投影映像制御装置５０に接続されている。赤外線カメラ４０は、図示しないケーブルを介して投影映像制御装置５０に接続されている。
【００６０】
図５の赤外線照明２０は、プロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って一体的に取り付けられた円筒形状の筐体を有している。従って、複数の赤外光ＬＥＤ素子が、プロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って円環状に並べて配置される。これにより、プロジェクタ１０から投影される投影光ＰＪＬ１（図３参照）は、赤外線照明２０の筐体の開口部を透過するので、その投影が赤外線照明２０の筐体により遮られることが無い。
【００６１】
図５に示す本実施の形態では、図３を参照して説明したように、赤外線照明２０から照射された照明光（つまり、赤外光ＩＲＬ０）は、フラッグＦＬＧ１に対して照射される。フラッグＦＬＧ１に貼付された反射シールＲＦ１〜ＲＦ１５の箇所では、赤外光ＩＲＬ０が反射され、その反射光ＩＲＬ１はアクリル板ＡＣＲ（図３参照）により９０°反射されて赤外線カメラ４０にて受光される。
【００６２】
赤外線カメラ４０は、１５個の反射シールＲＦ１〜ＲＦ１５のそれぞれにより反射された反射光を受光し、それぞれの受光された反射光に基づいて、撮像画像（つまり、赤外光画像）を撮像して生成する。投影映像制御装置５０は、赤外線カメラ４０により生成された撮像画像（つまり、赤外光画像）を画像解析することで、赤外光画像上に映し出される１５カ所の反射シールＲＦ１〜ＲＦ１５をマーカとして認識し、その反射シールＲＦ１〜ＲＦ１５の位置を判別する。
【００６３】
これにより、投影映像制御装置５０は、その判別された赤外光画像上の反射シールの位置に基づいて、フラッグＦＧＬ１に対する送風機３０からの送風の有無を検出でき、さらに、フラッグＦＬＧ１の揺らぎ量を検出できる。従って、投影映像制御装置５０は、フラッグＦＬＧ１の揺らぎ量に応じて、プロジェクタ１０により投影される映像の内容を即座かつ適応的に変形もしくは変更できる。つまり、投影映像制御装置５０は、送風機３０からの送風によって、フラッグＦＬＧ１に投影される映像を風の影響を受けて追従するように映像の内容を即座かつ適応的に変更もしくは変更できる。
【００６４】
特に、図４に示す参考例と異なり、図５に示す本実施の形態では、赤外光画像において風によるフラッグＦＬＧ１の揺らぎの有無を示す特徴点とも言えるマーカ（つまり、反射シール）が、フラッグＦＬＧ１の四隅だけでなく中央部分（例えば、反射シールＲＦ４〜ＲＦ１２）にも配置される。これにより、投影映像制御装置５０は、マーカが四隅だけに設けられた場合に比べて、送風機３０からの送風によるフラッグＦＬＧ１の揺らぎ量をより正確に把握でき、その揺らぎ量に応じた加工映像をプロジェクタ１０により投影させることが可能となる。
【００６５】
図６は、発生した風の影響を受けて映像の内容が時系列に変化する様子の一例を示す説明図である。図６では、送風機３０からの送風により、時刻Ｔ＝ｔ１→ｔ２→ｔ３の順に、風によるフラッグＦＬＧ１の動き（つまり、揺らぎ）に追従した異なる加工映像が投影映像制御装置５０により生成され、それぞれの加工映像がフラッグＦＬＧ１に投影されることで、風の影響を受けて映像が時系列的に変化した様子が示されている。
【００６６】
具体的には、送風が発生する直前の時刻Ｔ＝ｔ１では、フラッグＦＬＧ１には、例えば氷と炭酸系のジュースＡとが注がれたコップの映像ＣＴ１がプロジェクタ１０により投影されている。時刻Ｔ＝ｔ１の状態で、送風機３０からの送風によってフラッグＦＬＧ１が揺らいだことが投影映像制御装置５０により検出されたとする。
【００６７】
これにより、時刻Ｔ＝ｔ１以降の時刻Ｔ＝ｔ２において、コップ内の氷と炭酸系のジュースＡとが揺れた様子のシズル感が演出された加工映像ＣＴ２が投影映像制御装置５０により生成され、プロジェクタ１０により投影される。なお、この時刻Ｔ＝ｔ２の時、投影映像制御装置５０からの音出力指示により、スピーカＳＰにおいて、シズル感が演出された音（例えば、ジュースＡが泡立つ音）が音声出力されてもよい。そして、時刻Ｔ＝ｔ２の状態でも、送風機３０からの送風によってフラッグＦＬＧ１が揺らいだことが投影映像制御装置５０により検出されているとする。
【００６８】
これにより、時刻Ｔ＝ｔ２以降の時刻Ｔ＝ｔ３において、コップ内の氷と炭酸系のジュースＡとが揺れた様子のシズル感が演出された加工映像ＣＴ３が投影映像制御装置５０により生成され、プロジェクタ１０により投影される。なお、この時刻Ｔ＝ｔ３の時に、投影映像制御装置５０からの音出力指示により、スピーカＳＰにおいて、シズル感が演出された音（例えば、ジュースＡが泡立つ音）が音声出力されてもよい。
【００６９】
なお、時刻Ｔ＝ｔ３の後、送風機３０からの送風が停止された場合には、フラッグＦＬＧ１の揺らぎが無くなったことが投影映像制御装置５０により検出される。時刻Ｔ＝ｔ３の後、コップ内の氷と炭酸系のジュースＡとが揺れていない状態の映像（例えば、時刻Ｔ＝ｔ１時の映像Ｃ１と同様の映像）がプロジェクタ１０により投影される。なお、この時刻Ｔ＝ｔ３の後に、投影映像制御装置５０からの音出力停止指示により、スピーカＳＰにおいて、シズル感が演出された音（例えば、ジュースＡが泡立つ音）の音声出力が停止されてもよい。
【００７０】
つまり、図６では、送風機３０からの送風が発生したことで、時刻Ｔ＝ｔ１→ｔ２→ｔ３の順に、フラッグＦＬＧ１に対してプロジェクタ１０により投影された氷と炭酸系のジュースＡとが注がれたコップの映像において、氷とジュースＡとが揺れてコップの水面の高さが時系列的に変化した様子が示されている。これにより、投影映像制御システム１００は、送風機３０からの送風に基づいて、同一のフラッグＦＬＧ１において氷入りのジュースＡのシズル感を演出した時系列的な映像遷移の様子を投影することで、観客などに氷入りのジュースＡの購買意欲を喚起して、購入したい気持ちを向上させることができる。
【００７１】
図７は、発生した風の影響を受けて映像の内容が徐々に変更する様子の一例を示す説明図である。図８は、図７に示す映像の平面図である。図７もしくは図８では、送風機３０からの送風により、時刻Ｔ＝ｔ１→ｔ２の順に、風によるフラッグＦＬＧ１の動き（つまり、揺らぎ）に追従した異なる加工映像が投影映像制御装置５０により生成され、その加工映像がフラッグＦＬＧ１に投影されることで、風の影響を受けて映像の内容が徐々に変更した様子が示されている。
【００７２】
具体的には、送風が発生する直前の時刻Ｔ＝ｔ１では、フラッグＦＬＧ１には、例えばスタジアムの競技に出場するチームの選手のプロフィール情報を雑誌に見立てた映像ＣＴ１１がプロジェクタ１０により投影されている。時刻Ｔ＝ｔ１の状態で、送風機３０からの送風によってフラッグＦＬＧ１が揺らいだことが投影映像制御装置５０により検出されたとする。
【００７３】
これにより、時刻Ｔ＝ｔ１以降の時刻Ｔ＝ｔ２において、例えばその選手のプロフィール情報とは異なるコンテンツ（例えば、同じチームの別の選手のプロフィール情報）が掲載されたページにページめくりが起きたような加工映像ＣＴ１２が投影映像制御装置５０により生成され、プロジェクタ１０により投影される。なお、この時刻Ｔ＝ｔ２の時、投影映像制御装置５０からの音出力指示により、スピーカＳＰにおいて、その別の選手の音声（例えば、過去に録音されたインタビューの音声）が音声出力されてもよい。
【００７４】
なお、時刻Ｔ＝ｔ２の後、送風機３０からの送風が停止された場合には、フラッグＦＬＧ１の揺らぎが無くなったことが投影映像制御装置５０により検出される。すると、時刻Ｔ＝ｔ２の後、上述したページめくりが起きていない状態の映像（例えば、時刻Ｔ＝ｔ１時の映像Ｃ１と同様の映像）がプロジェクタ１０により投影される。なお、この時刻Ｔ＝ｔ２の後に、投影映像制御装置５０からの音出力停止指示により、スピーカＳＰにおいて、上述した別の選手の音声（例えば、過去に録音されたインタビューの音声）の音声出力が停止されてもよい。
【００７５】
つまり、図７もしくは図８では、送風機３０からの送風が発生したことで、時刻Ｔ＝ｔ１→ｔ２の順に、フラッグＦＬＧ１に対してプロジェクタ１０により投影されたチームの選手のプロフィール情報が紹介された映像において、映像の内容が徐々に変更した様子（例えば、選手のプロフィール情報が次々に入れ替わった様子）が示されている。これにより、投影映像制御システム１００は、送風機３０からの送風に基づいて、同一のフラッグＦＬＧ１においてチームの多くの選手のプロフィール情報を逐次入れ替えるような映像遷移の様子を投影することで、観客などにそのチームへの興味を起こさせ、応援したい気持ちを向上させることができる。
【００７６】
図９は、光ＩＤ信号発生装置ＡＰＲ１からの光ＩＤ信号ＬＳＧ１の受信に応じたクーポンデータＣＴ２２の取得例の動作概要を示す説明図である。本実施の形態において、例えばフラッグ支柱ＳＰＦ１にはＬｉｎｋＲａｙ（登録商標）などのサービスを提供可能な光ＩＤ信号発生装置ＡＰＲ１が内蔵されてよく、または露出可能に取り付けられてもよい。光ＩＤ信号発生装置ＡＰＲ１は、常時、光ＩＤ信号ＬＳＧ１を周囲に発信している。この光ＩＤ信号ＬＳＧ１は、例えば公知技術である光通信を用いて送信される。光ＩＤ信号発生装置ＡＰＲ１は、例えばフラッグＦＬＧ１１に投影される映像ＣＴ２１（例えば、ファストフードであるハンバーガーの広告を目的とした映像）に関連するクーポンデータＣＴ２２を取得可能なＵＲＩ（Uniform Resource Identifier）の情報を重畳させた光ＩＤ信号ＬＳＧ１を生成して発信する。
【００７７】
ユーザＨＭ１（例えば、スタジアムの観客）が所持するスマートフォンＳＭＰ１は、所定のアプリケーション（例えば、上述したＬｉｎｋＲａｙ（登録商標）などのアプリケーション）が起動された状態で、光ＩＤ信号ＬＳＧ１を受信したとする。この場合、スマートフォンＳＭＰ１は、ユーザＨＭ１の指ＦＧによる操作により、光ＩＤ信号ＬＳＧ１の受信に応じて表示されるクーポンデータＣＴ２２の取得可能なＵＲＩにより特定可能なＷｅｂサイトにアクセスし、そのクーポンデータＣＴ２２を取得してディスプレイに表示する（図９参照）。これにより、ユーザＨＭ１は、フラッグＦＬＧ１に投影されている映像ＣＴ２１に関連する光ＩＤ信号ＬＳＧ１が光ＩＤ信号発生装置ＡＰＲ１から発信されている場合には、スマートフォンＳＭＰ１を介して、その映像ＣＴ２１に関連するクーポンデータＣＴ２２を簡易に取得できる。言い換えると、投影映像制御システム１００の管理者は、例えば飲食物の映像ＣＴ２１がフラッグＦＬＧ１に投影されている場合には、その飲食物を手軽に安く購入させるためのクーポンデータＣＴ２２をスマートフォンＳＭＰ１に簡易に取得させることで、その飲食物の需要喚起を観客などに起こさせることが可能となる。
【００７８】
図１０は、発生した風の影響を受けて複数のフラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３に跨って連携して映像の内容が順に変化する様子の一例を示す説明図である。図１０では、フラッグＦＬＧ１，ＦＬＧ２、ＦＬＧ３に対応するそれぞれの送風機３０からの送風が順に発生したことで、時刻Ｔ＝ｔ１→ｔ２の順に、風によるフラッグＦＬＧ１、ＦＬＧ２，ＦＬＧ３の動き（つまり、揺らぎ）に追従した関連する異なる加工映像がそれぞれの投影映像制御装置５０により生成され、それらの加工映像がそれぞれのフラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３に投影されることで、それぞれの送風機３０からの風の影響を受けて映像の内容が複数のフラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３の順に連携して徐々に変更した様子が示されている。
【００７９】
なお、全てのフラッグに対応するそれぞれの送風機３０からの送風が順に発生した場合に限らず、少なくとも１つのフラッグに対応する送風機３０からの送風が発生した場合でも、同様に、同時刻に（例えば時刻Ｔ＝ｔ２に）、風によるフラッグＦＬＧ１、ＦＬＧ２，ＦＬＧ３の動きに追従した関連する異なる加工映像がそれぞれの投影映像制御装置５０により生成されて投影されることで、送風を発生させた１つの送風機３０からの風の影響を受けて関連する異なる映像の内容が複数のフラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３の順に連携して描写されてもよい。
【００８０】
上述したように、本実施の形態では、１枚のフラッグに対し、１組のプロジェクタ１０、赤外線照明２０、送風機３０、送風機制御ボックス３５、赤外線カメラ４０および投影映像制御装置５０が対応して設けられる。従って、フラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３のそれぞれに対し、異なる１組のプロジェクタ１０、赤外線照明２０、送風機３０、送風機制御ボックス３５、赤外線カメラ４０および投影映像制御装置５０が対応して設けられる。
【００８１】
複数のフラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３のそれぞれに対応する投影映像制御装置５０のうち、親機となる投影映像制御装置５０の管理処理部５３５は、それぞれのプロジェクタ１０における投影対象の映像（例えばコンテンツ）を指定する映像投影指示を生成し、それぞれのプロジェクタ１０に対する映像投影指示を、該当するそれぞれの投影映像制御装置５０に対し、ハブ９０を介して送信する。また、管理処理部５３５は、それぞれのフラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３に対応する送風機３０に対し、一定の時間差ごとに送風を発生させるための送風切替指示を、該当するそれぞれの投影映像制御装置５０に対し、ハブ９０を介して送信する。
【００８２】
具体的には、送風が発生する直前の時刻Ｔ＝ｔ１では、フラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３には、例えばスタジアムの競技に出場するチームの名称（例えば、Ａ）を雑誌に見立てた映像ＣＴ３１がそれぞれのプロジェクタ１０により投影されている。時刻Ｔ＝ｔ１の状態で、一定の時間差を以て発生したそれぞれの送風機３０からの送風によってフラッグＦＬＧ１、ＦＬＧ２，ＦＬＧ３がそれぞれ揺らいだことが対応する投影映像制御装置５０により検出されたとする。
【００８３】
これにより、時刻Ｔ＝ｔ１以降の時刻Ｔ＝ｔ２において、例えばチームの名称（例えば、Ａ）とは異なる対戦相手のチームの名称（例えば、Ｂ）が掲載されたページにページめくりが起きたような加工映像ＣＴ３１Ｒ，ＣＴ３２がフラッグＦＬＧ２，ＦＬＧ３に対応するそれぞれの投影映像制御装置５０により生成され、それぞれプロジェクタ１０により投影される。具体的には、時刻Ｔ＝ｔ２において、フラッグＦＬＧ２には、加工映像ＣＴ３１Ｒとして、チームＡの映像ＣＴ３１の一部と、チームＡの映像からチームＢの映像にページめくりが起きている途中経過を示す映像と、チームＢの加工映像ＣＴ３２の一部とが混合された映像が投影されている。また、時刻Ｔ＝ｔ２において、フラッグＦＬＧ１には、時刻Ｔ＝ｔ１において投影されていたチームＡの映像ＣＴ３１の一部にページめくりが起きている途中経過を示す加工映像ＣＴ３１Ｑが投影されている。なお、この時刻Ｔ＝ｔ２の時、それぞれのフラッグＦＬＧ１，ＦＬＧ２，ＦＬＧ３に対応する投影映像制御装置５０からの音出力指示により、スピーカＳＰにおいて、映像のページめくりと同期するように所定の音が音声出力されてもよい。
【００８４】
次に、本実施の形態に係る投影映像制御システム１００の動作について、図１１、図１２および図１３を参照して説明する。
【００８５】
図１１は、送風機３０からの風の送出が無い状態における、本実施の形態に係る投影映像制御システム１００の動作手順の一例を示すシーケンス図である。図１１の説明では、送風機３０からの風の送出が無いので、送風機３０および送風機制御ボックス３５の動作は無く、送風機３０および送風機制御ボックス３５は点線で示されている。
【００８６】
図１１において、赤外線照明２０は、例えば管理者の手動操作または投影映像制御装置５０からの制御指示に基づき、電源オン状態となり（Ｓ１）、上述した投影光ＰＪＬ１とは波長帯域の異なる照明光（例えば赤外光）をフラッグＦＬＧ１に向けて照射する（Ｓ２）。
【００８７】
投影映像制御装置５０は、プロジェクタ１０により投影される映像の映像投影指示（言い換えると、マッピング指示）を含む映像のデータをプロジェクタ１０に送出する（Ｓ３）。プロジェクタ１０は、投影映像制御装置５０からの映像投影指示に基づいて、その映像投影指示により指定される映像をフラッグＦＬＧ１に投影する（Ｓ４）。
【００８８】
ステップＳ２において赤外線照明２０から照射された赤外光は、フラッグＦＬＧ１に貼付された複数（例えば１５個）の反射シールＲＦ１〜ＲＦ１５により反射される（Ｓ５）。その反射に基づく反射光（赤外光）は、図３および図５を参照して説明したように、赤外線カメラ４０において受光され、その受光された反射光に基づいて赤外線カメラ４０において撮像される（Ｓ６）。赤外線カメラ４０は、撮像により得られた赤外光画像（ＩＲ撮像画像）のデータを投影映像制御装置５０に出力する（Ｓ７）。
【００８９】
投影映像制御装置５０は、ステップＳ７において赤外線カメラ４０より出力された赤外光画像のデータを取得してメモリ５２に保存して保持する（Ｓ８）。
【００９０】
ここで、例えば管理者のキーボード入力の操作により、プロジェクタ１０により投影される映像（コンテンツ）の切替指示があった場合には（Ｓ９、ＹＥＳ）、投影映像制御装置５０の処理はステップＳ３に戻る。一方で、プロジェクタ１０により投影される映像（コンテンツ）の切替指示が無い場合には（Ｓ９、ＮＯ）、投影映像制御装置５０は、プロジェクタ１０により投影される映像（コンテンツ）の切替指示が入力されたことを検出するまで待機する（Ｓ１０）。投影映像制御装置５０により映像の切替指示が入力されたことが検出された場合には、投影映像制御装置５０の処理はステップＳ３に進む。
【００９１】
図１２は、送風機３０からの風の送出があった状態における、本実施の形態に係る投影映像制御システム１００の動作手順の一例を示すシーケンス図である。図１２の説明の前提として、図１１におけるステップＳ８の状態と同一の状態であるとする。つまり、赤外線照明２０から赤外光が照射され、投影映像制御装置５０からの映像投影指示に従って、プロジェクタ１０により映像が投影されている。投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像のデータをメモリ５２に保存して保持している。
【００９２】
図１２において、投影映像制御装置５０は、例えば管理者の手動操作または投影映像制御装置５０からの送風指示の入力に基づき（Ｓ１１）、送風機３０の電源オンを制御するための制御指示を生成し、その制御指示を送風指示として送風機制御ボックス３５に送出する（Ｓ１２）。送風機制御ボックス３５は、ステップＳ１２において投影映像制御装置５０から送出された送風指示に従って、送風機３０の電源をオンして送風を実行するように制御する（Ｓ１３）。送風機３０は、送風機制御ボックス３５における制御によってファンの回転を開始し、風を発生させてフラッグＦＬＧ１に向けて送風する（Ｓ１４）。これにより、フラッグＦＬＧ１は、送風機３０からの送風により揺らぎ始める。
【００９３】
赤外線照明２０から照射された赤外光は、フラッグＦＬＧ１に貼付された複数（例えば１５個）の反射シールＲＦ１〜ＲＦ１５により反射される（Ｓ１５）。その反射に基づく反射光（赤外光）は、図３および図５を参照して説明したように、赤外線カメラ４０において受光され、その受光された反射光に基づいて赤外線カメラ４０において撮像される（Ｓ１６）。赤外線カメラ４０は、撮像により得られた赤外光画像（ＩＲ撮像画像）のデータを投影映像制御装置５０に出力する（Ｓ１７）。
【００９４】
投影映像制御装置５０は、ステップＳ１７において赤外線カメラ４０より出力された赤外光画像のデータを取得してメモリ５２に保存して保持する（Ｓ１８）。また、投影映像制御装置５０は、その赤外光画像（言い換えると、フラッグＦＬＧ１に貼付された複数の反射シールのそれぞれにより反射された反射光に基づく撮像画像）を画像解析することで、赤外光画像上に映し出される反射シールをマーカとして認識し、その反射シールの位置を判別する。さらに、投影映像制御装置５０は、その判別された赤外光画像上の反射シールの位置に基づいて、フラッグＦＧＬ１に対する送風機３０からの送風があること（つまり、送風状態）を検出する（Ｓ１８）。
【００９５】
投影映像制御装置５０は、フラッグＦＬＧ１が送風機３０からの風の影響を受けて揺らいでいると判別した場合には、旗トラッキング処理として、赤外光画像上に映し出された反射シール間の距離に基づいて、フラッグＦＬＧ１の揺らぎ量（例えば、赤外光画像上におけるそれぞれの反射シールＲＦ１〜ＲＦ１５の座標、または反射シールＲＦ１〜ＲＦ１５の座標におけるフラッグＦＬＧ１の揺らぎ量）を検出する（Ｓ１９）。投影映像制御装置５０は、旗マッピング処理として、フラッグＦＬＧ１の揺らぎに関する検出結果に基づいて、プロジェクタ１０により投影される映像に対して風の影響を受けてフラッグＦＬＧ１に生じた動きに追従した加工処理を施すことで加工映像を生成する（Ｓ２０）。
【００９６】
投影映像制御装置５０は、生成された加工映像のフラッグＦＬＧ１への映像投影指示（言い換えると、マッピング指示）を含む加工映像のデータを、通信インターフェース５１を介してプロジェクタ１０に送信する（Ｓ２１）。これにより、プロジェクタ１０は、投影映像制御装置５０から送信された映像投影指示に基づいて、加工映像のデータをフラッグＦＬＧ１に投影可能となり（Ｓ２２）、送風機３０からの送風の影響を受けた加工映像の投影が可能となる。なお、ステップＳ２２の後、送風機３０からの送風が継続する間は、投影映像制御システム１００の処理はステップＳ１５に戻ってフラッグＦＬＧ１における赤外光の反射が繰り返される。
【００９７】
図１３は、送風機３０からの風の送出が停止した状態における、本実施の形態に係る投影映像制御システム１００の動作手順の一例を示すシーケンス図である。図１３の説明の前提として、図１２におけるステップＳ２２の状態と同一の状態であるとする。つまり、赤外線照明２０から赤外光が照射され、送風機３０によって送風が行われ、投影映像制御装置５０からの映像切替指示に従って、投影映像制御装置５０により風の影響を受けてフラッグＦＬＧ１の揺らぎに追従した加工映像がプロジェクタ１０により投影されている。
【００９８】
図１３において、投影映像制御装置５０は、例えば管理者の手動操作または投影映像制御装置５０からの送風指示の入力に基づき（Ｓ３１）、送風機３０の電源オフを制御するための制御指示を生成し、その制御指示を送風停止指示として送風機制御ボックス３５に送出する（Ｓ３２）。送風機制御ボックス３５は、ステップＳ３２において投影映像制御装置５０から送出された送風停止指示に従って、送風機３０の電源をオフして送風の停止を実行するように制御する（Ｓ３３）。送風機３０は、送風機制御ボックス３５における制御によってファンの回転を停止し、フラッグＦＬＧ１への送風を停止する（Ｓ３４）。これにより、フラッグＦＬＧ１は、揺らぎを終了する。つまり、フラッグＦＬＧ１は、揺らがなくなる。
【００９９】
赤外線照明２０から照射された赤外光は、フラッグＦＬＧ１に貼付された複数（例えば１５個）の反射シールＲＦ１〜ＲＦ１５により反射される（Ｓ１５）。その反射に基づく反射光（赤外光）は、図３および図５を参照して説明したように、赤外線カメラ４０において受光され、その受光された反射光に基づいて赤外線カメラ４０において撮像される（Ｓ１６）。赤外線カメラ４０は、撮像により得られた赤外光画像（ＩＲ撮像画像）のデータを投影映像制御装置５０に出力する（Ｓ１７）。
【０１００】
投影映像制御装置５０は、ステップＳ１７において赤外線カメラ４０より出力された赤外光画像のデータを取得してメモリ５２に保存して保持する。また、投影映像制御装置５０は、その赤外光画像（言い換えると、フラッグＦＬＧ１に貼付された複数の反射シールのそれぞれにより反射された反射光に基づく撮像画像）を画像解析することで、赤外光画像上に映し出される反射シールをマーカとして認識し、その反射シールの位置を判別する。さらに、投影映像制御装置５０は、その判別された赤外光画像上の反射シールの位置に基づいて、フラッグＦＧＬ１に対する送風機３０からの送風がなくなったこと（つまり、送風停止状態）を検出する（Ｓ３５）。
【０１０１】
投影映像制御装置５０は、送風停止状態の検出に応じて、メモリ５２に保持されていた送風前（つまり、送風状態の検出前）においてプロジェクタ１０により投影されていた映像（投影映像）のデータを取得する（Ｓ３５）。
【０１０２】
投影映像制御装置５０は、ステップＳ３５において取得された映像のフラッグＦＬＧ１への映像投影指示（言い換えると、マッピング指示）を含む映像のデータを、通信インターフェース５１を介してプロジェクタ１０に送信する（Ｓ３）。これにより、プロジェクタ１０は、投影映像制御装置５０から送信された映像投影指示に基づいて、映像のデータをフラッグＦＬＧ１に投影可能となる（Ｓ４）。なお、ステップＳ４の後、送風機３０からの送風の停止が継続する間は、投影映像制御システム１００の処理は図１１を参照して説明したステップＳ５に戻ってステップＳ５以降の処理が繰り返される。
【０１０３】
以上により、本実施の形態に係る投影映像制御システム１００では、投影映像制御装置５０は、複数の反射シールＲＦ１〜ＲＦ１５を有するフラッグＦＬＧ１に投影光ＰＪＬ１を出射して映像を投影するプロジェクタ１０と、投影光ＰＪＬ１と異なる照明光が複数の反射シールＲＦ１〜ＲＦ１５のそれぞれにより反射された反射光に基づく撮像を行う赤外線カメラ４０との間でそれぞれ通信可能である。投影映像制御装置５０は、フラッグＦＬＧ１に動きが発生した場合に、赤外線カメラ４０により撮像された撮像画像（赤外光画像）に基づいて、プロジェクタ１０により投影される映像に対してフラッグＦＬＧ１の動きに追従した加工処理を施した加工映像を生成する。投影映像制御装置５０は、生成された加工映像のフラッグＦＬＧ１への映像投影指示を含む加工映像のデータを、通信インターフェース５１を介してプロジェクタ１０に送信する。
【０１０４】
これにより、投影映像制御システム１００では、投影映像制御装置５０は、映像が投影されているフラッグＦＬＧ１が動き（例えば揺らぎ）があった場合でも、そのフラッグＦＬＧ１が揺らいだ程度に応じて、その動きの影響を受けて映像の内容がフラッグＦＬＧ１の動きに追従して変化する様子を適応的に示すことができる。
【０１０５】
また、投影映像制御装置５０は、フラッグＦＬＧ１に送風する送風機３０の電源オンまたは電源オフを制御する送風機制御ボックス３５との間でも通信可能である。投影映像制御装置５０は、所定の送風タイミング（例えば、管理者のキーボード入力を投影映像制御部５３において検出した時）になると、送風機３０の電源オンを含む制御指示を、通信インターフェース５１を介して送風機制御ボックス３５に送信する。これにより、投影映像制御装置５０は、送風を開始するタイミングに送風機３０に送風を開始させることができるので、フラッグＦＬＧ１を簡易に揺らぐ動作を行わせることができる。
【０１０６】
また、投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像上の複数の反射シールＲＦ１〜ＲＦ１５のそれぞれの位置に基づいて、フラッグＦＬＧ１が送風機３０からの送風により揺らいだという第１の事象を検出する。投影映像制御装置５０は、第１の事象の検出に基づいて、プロジェクタ１０により投影される映像に対して送風機３０からの送風に追従した加工処理を施すことで加工映像を生成する。これにより、投影映像制御装置５０は、フラッグＦＬＧ１の揺らいだ事象の原因を送風機３０からの送風であると簡易に判別できるので、送風機３０からの送風に従って、フラッグＦＬＧ１の揺らぎの程度に応じて、映像を加工してフラッグＦＬＧ１に投影させることができる。
【０１０７】
また、投影映像制御装置５０は、加工処理として、送風機３０からの送風により、プロジェクタ１０により投影される映像が風によって揺らいだ状態を示す加工映像を生成する。これにより、投影映像制御装置５０は、フラッグＦＬＧ１に投影された映像が風によって揺らいだ状態の加工映像を観客などに閲覧させることができ、送風によって映像の内容が揺らいでいる様子を楽しませることができる。
【０１０８】
また、投影映像制御装置５０は、加工処理として、送風機３０からの送風により、プロジェクタ１０により投影される映像の内容が一部または全部変更された加工映像を生成する。これにより、投影映像制御装置５０は、フラッグＦＬＧ１に投影された映像が風によって一部または全部の内容が変更された様子を示す加工映像を観客などに閲覧させることができ、送風による映像の内容の移り変わりを楽しませることができる。特に、送風による映像の内容の移り変わりが短期的に行われると、観客などの記憶に残り易いことがあるので、プロジェクタ１０により投影される映像や送風によって切り替えられる加工映像の内容を広告として利用することで、付加価値を向上できる。
【０１０９】
また、投影映像制御装置５０は、加工処理として、送風機３０からの送風により、プロジェクタ１０により投影される映像にその映像の内容に関連する演出効果（例えば、映像の内容の周囲に炎が燃え滾っている様子）を重畳した加工映像を生成する。これにより、投影映像制御装置５０は、例えば送風機３０からの送風によって投影される加工映像に強烈な印象を観客などに持たせることが可能となり、加工映像の内容を観客などの記憶に留めさせることができる。
【０１１０】
また、投影映像制御装置５０は、所定の送風停止タイミング（例えば、管理者のキーボード入力を投影映像制御部５３において検出した時）になると、送風機３０の電源オフを含む制御指示を、通信インターフェース５１を介して送風機制御ボックス３５に送信する。これにより、投影映像制御装置５０は、送風を停止するタイミングに送風機３０からの送風を停止させることができるので、フラッグＦＬＧ１の揺らぐ動作を簡易に終了させることができる。
【０１１１】
また、投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像上の複数の反射シールＲＦ１〜ＲＦ１５のそれぞれの位置に基づいて、フラッグＦＬＧ１が送風機３０からの送風停止により動きが無くなったという第２の事象を検出する。投影映像制御装置５０は、第２の事象の検出に基づいて、第１の事象の検出前にプロジェクタ１０により投影されていた映像のフラッグＦＬＧ１への映像投影指示を含む映像のデータを、通信インターフェース５１を介してプロジェクタ１０に送信する。これにより、投影映像制御装置５０は、フラッグＦＬＧ１の揺らぎが終了した事象の原因を送風機３０からの送風停止であると簡易に判別できるので、送風機３０からの送風停止に従って、送風が開始される前に投影されていた映像に戻って再度投影させることもできる。
【０１１２】
また、投影映像制御システム１００では、照明光を照射する複数の照明機器（例えば、赤外光ＬＥＤ素子）がプロジェクタ１０から投影される投影光ＰＪＬ１の出射方向を中心軸として円環状に並べて配置される。投影光ＰＪＬ１の出射方向と反射光の入射方向とが同軸上に配置される。これにより、投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像に基づいて、送風機３０からの送風の発生に基づくフラッグＦＬＧ１の揺らぎ量を適正に検出でき、風の発生によって揺らぐフラッグＦＬＧ１の動きに追従した映像をプロジェクタ１０から投影させることができる。
【０１１３】
また、投影映像制御システム１００では、フラッグ（例えばフラッグＦＬＧ１）は、複数の反射シールＲＦ１〜ＲＦ１５を有する。これにより、投影映像制御装置５０は、赤外線カメラ４０により撮像された赤外光画像に基づいて、フラッグがどの程度揺らいでいるかを示す揺らぎ量を的確に判別でき、実際のフラッグの揺らぎ量と整合または一致した加工映像をプロジェクタ１０に投影させることができる。
【０１１４】
また、投影映像制御システム１００では、複数の反射シールＲＦ１〜ＲＦ１５のそれぞれは、フラッグＦＬＧ１に貼付されている。これにより、赤外線照明２０からの赤外線を反射させるための反射材をフラッグＦＬＧ１上に簡易に取り付け可能となる。
【０１１５】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【０１１６】
また、上述した本実施の形態に係る投影映像制御システム１００が適用されるユースケースとして、数多くの観客が入るスタジアムを想定して説明したが、ユースケースとしてはスタジアムに限定されず、駅なども該当し得る。また、例えば、本実施の形態に係る投影映像制御システム１００において、フラッグＦＬＧ１に投影される映像としては、野球場における選手に関連するコンテンツ、新車のＣＭに関連するコンテンツ、不動産業における新築マンションに関連するコンテンツ、フラッグＦＬＧ１の素材と類似の柔らかい素材の洋服に関連するコンテンツ、各種の展示会、先端技術の紹介を行うショールーム、花びらの散る様子を示した映像などでもよい。
【０１１７】
また、上述した本実施の形態に係る投影映像制御システム１００が設置される場所について、屋内であることが好ましいが、屋内であることに加え、自然光（言い換えると、太陽光）が当たらない箇所である程度暗い場所であると好ましい。また、送風機３０からの送風によらない外部の風（例えば自然の風）が進入しない方がよい。
【０１１８】
また、上述した本実施の形態に係る投影映像制御システム１００において、フラッグＦＬＧ１などが送風機３０からの送風による風によって過度に揺られないために、フラッグＦＬＧ１などの下端部にアクリル板などの軽量の重りが取り付けられても構わない。これにより、送風機３０からの風がフラッグＦＬＧ１に届いたとしてもフラッグＦＬＧ１の揺れが過度にならないように抑えられるため、赤外線カメラ４０の出力に基づいて投影映像制御装置５０における旗トラッキング処理が簡易化可能となる。
【産業上の利用可能性】
【０１１９】
本開示は、映像が投影されている被投影物が風などによって揺らいだ場合でも、その被投影物が揺らいだ程度に応じて、その風の影響を受けて映像の内容が風に追従して変化する様子を適応的に示す投影映像制御装置、投影映像制御システムおよび投影映像制御方法として有用である。
【符号の説明】
【０１２０】
１０  プロジェクタ
２０  赤外線照明
３０  送風機
３５  送風機制御ボックス
４０  赤外線カメラ
５０  投影映像制御装置
５１  通信インターフェース（通信Ｉ／Ｆ）
５２  メモリ
５３  投影映像制御部
９０  ハブ（ＨＵＢ）
１００  投影映像制御システム
５３１  旗トラッキング処理部
５３２  旗マッピング処理部
５３３  シーン制御処理部
５３４  送風機制御処理部
５３５  管理処理部
ＦＬＧ１  フラッグ
ＲＦ１、ＲＦ２、ＲＦ３  反射シール
【図１】
2019102931.tif 000003
【図２】
2019102931.tif 000004
【図３】
2019102931.tif 000005
【図４】
2019102931.tif 000006
【図５】
2019102931.tif 000007
【図６】
2019102931.tif 000008
【図７】
2019102931.tif 000009
【図８】
2019102931.tif 000010
【図９】
2019102931.tif 000011
【図１０】
2019102931.tif 000012
【図１１】
2019102931.tif 000013
【図１２】
2019102931.tif 000014
【図１３】
2019102931.tif 000015