(57)【要約】【課題】マルチプロジェクションを行う場合において、投影装置に人が近づいた場合の位置検知上の死角をなくして、精度良く人の位置検知を行うと共に、人の位置に合わせて投影画像を作成して投影できるようにする。【解決手段】複数のプロジェクタ２０１〜２０３、及び前記複数のプロジェクタ２０１〜２０３にそれぞれ対応して設けられ人を音源とする音を収音する収音部２２と、それぞれ電気的に接続可能で、前記複数のプロジェクタ２０１〜２０３の投影制御を行うプロジェクタの制御装置であって、複数の前記収音部２１で収音した人を音源とする音信号に基づき、当該人と前記複数のプロジェクタ２０１〜２０３との位置関係を判定する位置判定部３１３と、前記位置判定部３１３で判定した人とプロジェクタ２０１〜２０３との位置関係に基づき、画像を投影するプロジェクタを選択するプロジェクタ選択部と、前記人とプロジェクタ２０１〜２０３との位置関係に基づき、前記選択したプロジェクタで投影する画像を生成する出力画像決定部３２２と、を有する。【選択図】図２
2015166854.tif 000002
【特許請求の範囲】
【請求項１】
複数の投影装置及び前記複数の投影装置のそれぞれに対応して設けられ人を音源とする音を収音する収音部と、それぞれ電気的に接続可能で、前記複数の投影装置の制御を行う投影制御装置であって、
複数の前記収音部で収音した人を音源とする音に基づいたそれぞれの音信号に応じて、当該人と前記複数の投影装置との位置関係を判定する位置判定部と、
前記位置判定部で判定した人と前記複数の投影装置との位置関係に基づき、前記複数の投影装置で投影する画像を決定する出力画像決定部と、
を有することを特徴とする投影制御装置。
【請求項２】
請求項１に記載された投影制御装置において、
前記収音部で収音した音の音圧レベルが閾値以上のときは、当該収音部に対応する投影装置のみで画像の投影を行い、前記音圧レベルが閾値に達しないときは、前記複数の投影装置で一画面の画像を投影するよう、前記複数の投影装置を制御することを特徴とする投影制御装置。
【請求項３】
請求項１又は２に記載された投影制御装置において、
前記位置判定部は、それぞれ前記音信号に基づき、距離検出部で検出した人と投影装置との距離及び角度検出部で検出した人と投影装置との角度に基づき、前記音源の位置を判定することを特徴とする投影制御装置。
【請求項４】
請求項１ないし３のいずれかに記載された投影制御装置において、
前記出力画像決定部による投影装置の選択及び人と投影装置との位置関係に基づき、前記出力画像決定部における選択した投影装置で投影する画像の生成のタイミングを制御する出力画像タイミング制御部を有することを特徴とする投影制御装置。
【請求項５】
請求項１ないし４のいずれかに記載された投影制御装置において、
前記出力画像決定部は、複数の投影装置で一画面を構成する投影画像又は、投影装置毎の投影画像を作成可能であることを特徴とする投影制御装置。
【請求項６】
請求項１ないし５のいずれかに記載された投影制御装置において、
前記位置判定部が前記人と投影装置との位置関係に基づき人が複数の投影装置から所定距離範囲内と判定を行ったとき、前記出力画像決定部は、当該人に最も近い投影装置を画像投影用の投影装置として選択することを特徴とする投影制御装置。
【請求項７】
請求項１ないし６のいずれかに記載された投影制御装置において、
前記位置判定部は、前記人と投影装置との位置関係に基づき当該人が複数の投影装置から所定距離範囲内と判定を行ったとき、前記出力画像決定部は、前記人と投影装置との位置関係に基づき投影装置を画像投影用の投影装置として選択することを特徴とする投影制御装置。
【請求項８】
複数の投影装置及び前記複数の投影装置のそれぞれに対応して設けられ、人を音源とする音を収音する収音部と、それぞれ電気的に接続可能で、前記複数の投影装置の制御を行う投影制御装置における投影制御方法であって、
複数の前記収音部で収音した人を音源とする音に基づいたそれぞれの音信号に応じて、当該人と前記複数の投影装置との位置関係を判定する位置判定工程と、
前記位置判定部で判定した人と前記複数の投影装置との位置関係に基づき、前記複数の投影装置で投影する画像を決定する出力画像決定工程と、
を有することを特徴とする投影制御方法。
【請求項９】
複数の投影装置、前記複数の投影装置の人を音源とする音を収音する収音部と、前記複数の投影装置と電気的に接続された前記複数の投影装置の制御を行う投影制御装置を備えた投影システムであって、
前記投影制御装置は、複数の前記収音部で収音した人を音源とする音に基づいたそれぞれの音信号に応じて、当該人と前記複数の投影装置との位置関係を判定する位置判定部と、
前記位置判定部で判定した人と前記複数の投影装置との位置関係に基づき、前記複数の投影装置で投影する画像を決定する出力画像決定部と、
を備えることを特徴とする投影システム。
【請求項１０】
複数の投影装置及び前記複数の投影装置のそれぞれに対応して設けられ人を音源とする音を収音する収音部と、それぞれ電気的に接続された前記複数の投影装置の投影制御を行う制御装置を備えた投影システムにおける投影制御方法であって、
前記収音部における、
人を音源とする音を収音する収音工程と、
前記投影制御装置における、
複数の前記収音部で収音した人を音源とする音に基づいたそれぞれの音信号に応じて、当該人と前記複数の投影装置との位置関係を判定する位置判定工程と
前記位置判定部で判定した人と前記複数の投影装置との位置関係に基づき、前記複数の投影装置で投影する画像を決定する出力画像決定工程と、
を有することを特徴とする投影システムにおける投影制御方法。
【請求項１１】
複数の投影装置及び前記複数の投影装置のそれぞれに対応して設けられ人を音源とする音を収音する収音部と、それぞれ電気的に接続可能で、前記複数の投影装置の投影制御を行う制御装置のコンピュータを、
複数の前記収音部で収音した人を音源とする音に基づいたそれぞれの音信号に応じて、当該人と前記複数の投影装置との位置関係を判定する位置判定部、
前記位置判定部で判定した人と前記複数の投影装置との位置関係に基づき、前記複数の投影装置で投影する画像を決定する出力画像決定部
として機能させるプログラム。
【請求項１２】
複数の投影装置及び前記複数の投影装置のそれぞれに対応して設けられ人を音源とする音を収音する収音部と、それぞれ電気的に接続された前記複数の投影装置の投影制御を行う制御装置を備えた投影システムのコンピュータを、
複数の前記収音部で収音した人を音源とする音に基づいたそれぞれの音信号に応じて、当該人と前記複数の投影装置との位置関係を判定する位置判定部、
前記位置判定部で判定した人と前記複数の投影装置との位置関係に基づき、前記複数の投影装置で投影する画像を決定する出力画像決定部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置の投影制御装置、投影装置の投影制御方法、投影システム、投影システムの投影制御方法及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタやディスプレイを使って表示を行うデジタルサイネージ（Digital Signage；電子看板）用マルチプロジェクションシステムにおいて、複数台のプロジェクタの投影画像を連結させてスクリーンなどに投影することや、プロジェクタに可視光カメラや赤外線カメラを搭載して物体や人の位置を検出し、人の位置に合わせて投影する画像を切り替えることが従来から知られている。
この従来のデジタルサイネージにおいて、プロジェクタに搭載されているカメラは、その画角の関係で、プロジェクタに人が近づいたときは、死角ができやすいという問題がある。即ち、図２０に示すように、プロジェクタに搭載されたカメラとカメラの間の位置に人が来ると、いずれのカメラからみてもその画角外の死角に入ってしまい、人の位置の検出精度が落ちる或いは検出できないという問題が生じる。
【０００３】
特許文献１（特開２００７−０５７９６１号公報）には、投影面以外の方向の距離を測定する目的で、距離測定部を用いたプロジェクタの構成と方法が開示されている。
この発明は、以下で説明する本発明とは、投影面以外の方向の距離を測定する点では類似する点がある。しかし、（マルチ）プロジェクタを用いたサイネージ装置を想定した距離の測定機能や、投影画像切り替え機能については考慮されていない。
【０００４】
また、特許文献２（特開２０１２−０１４６０２号公報）には、宣伝効果を高める目的で、人の流れを検知して、それに合わせて広告内容を切り替える構成と方法が開示されている。
この装置及び方法は、以下で説明する本発明とは、人の位置によって表示内容を切り替える点では類似する点がある。しかし、（マルチ）プロジェクタを用いた前記の問題については考慮されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、複数の投影装置で画像の投影を行う場合において、投影装置に人が近づいた場合の位置検知上の死角をなくして、精度良く人の位置検知を行うと共に、人の位置に合わせて投影画像を作成して投影できるようにする。
【課題を解決するための手段】
【０００６】
本発明は、複数の投影装置及び前記複数の投影装置のそれぞれに対応して設けられ人を音源とする音を収音する収音部と、それぞれ電気的に接続可能で、前記複数の投影装置の制御を行う投影制御装置であって、複数の前記収音部で収音した人を音源とする音に基づいたそれぞれの音信号に応じて、当該人と前記複数の投影装置との位置関係を判定する位置判定部と、前記位置判定部で判定した人と前記複数の投影装置との位置関係に基づき、前記複数の投影装置で投影する画像を決定する出力画像決定部と、を有することを特徴とする投影制御装置である。
【発明の効果】
【０００７】
本発明によれば、複数の投影装置で画像の投影を行う場合において、投影装置に人が近づいた場合の位置検知上の死角をなくして、精度良く人の位置検知が行えると共に、人の位置に合わせて投影画像を作成して投影することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るマルチプロジェクションシステムによるデジタルサイネージと、これを見る人の関係を示す図である。
【図２】本発明の実施形態に係るマルチプロジェクションシステムの構成を概略的に示す図である。
【図３】本発明の実施形態に係るマルチプロジェクションシステムのハードウェア構成を概略的に示す図である。
【図４】音源の位置判定方法を示す図である。
【図５】投影画像のレイアウトの制御手順を示すフロー図である。
【図６】人（音源）とプロジェクタの距離の推定方法について示す図である。
【図７】人の移動（ユースケース１）について示す図である。
【図８】ユースケース１における画像投影の第１の制御方法について示す図である。
【図９】ユースケース１における画像投影の第２の制御方法について示す図である。
【図１０】ユースケース１における画像投影の第３の制御方法について示す図である。
【図１１】人（音源）の位置と、人とプロジェクタの距離、人とプロジェクタの角度と投影する画像のレイアウトの関係を示す図である。
【図１２】ユースケース１における第１の制御方法における処理手順を示すフロー図である。
【図１３】ユースケース１における第２の制御方法における処理手順を示すフロー図である。
【図１４】ユースケース１における第３の制御方法における処理手順を示すフロー図である。
【図１５】人の移動（ユースケース２）について示す図である。
【図１６】ユースケース２における画像投影の第４の制御方法について示す図である。
【図１７】ユースケース２における画像投影の第５の制御方法について示す図である。
【図１８】ユースケース２における第４の制御方法の処理手順を示すフロー図である。
【図１９】ユースケース２における第５の制御方法の処理手順を示すフロー図である。
【図２０】従来の短焦点プロジェクタとマルチプロジェクタとマイクアレイを備えたデジタルサイネージの概要について示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の投影システムの実施形態に係るマルチプロジェクションシステムによるデジタルサイネージと、これを見る人の関係を示す図である。
本マルチプロジェクションシステムは、後述する投影装置であるプロジェクタの制御装置を有し、各プロジェクタ（ここでは、いわゆる短焦点プロジェクタ）の投影画像を連結させて一枚の大きな画像を形成して投影し、或いは、各プロジェクタで個別に画像を形成して投影する。
【００１０】
ここで、各プロジェクタの投影画像を連結させて一枚の大きな画像を形成して投影する場合は、スクリーンから遠い人から見て、見やすい画像（コンテンツ）とする。また、スクリーンに近い人のためには、各プロジェクタ個別に、又は各プロジェクタの一部の投影画像を連結させて一枚の画像を形成して投影する。このように、投影画像を見る人の位置に応じて投影画像を変更する。
【００１１】
そのため、本実施形態では、図１に示すように等間隔に並んで一直線に配置されるプロジェクタに搭載した収音部、例えばマイクロホンで構成されるマイクアレイによって、人の声（音声）や足音等の人を音源とする音を検出して、その位置を特定する。また、検出した位置に応じて予め用意された入力画像から出力する画像を決定して、決定した画像を投影する。つまり、人の位置が変化すれば、それに合わせて投影する画像のレイアウトを変更させる。なお、スクリーンからの位置によっては、元々の画像の一部が欠けた画像が投影されることがあるので、伝えたい情報は、画像のレイアウトの変更に関係なく常に投影画像中に含まれるようにしておくことが肝要である。
なお、以下の説明では、マイクロホン（収音部）はプロジェクタに搭載したものとして説明するが、必ずしもプロジェクタに搭載するもののみに限定されない、要は、複数のプロジェクタのそれぞれに対応して設け、対応するプロジェクタの周囲の人（当該プロジェクタの投影画像を見る人）を音源とする音、つまり人の出す音を収音できればよい。
【００１２】
図２は、本発明の実施形態に係るマルチプロジェクションシステムの構成を概略的に示す図である。
まず、本マルチプロジェクションシステムにおけるモジュール構成と、収音から画像投影までの流れを、図２を用いて概略的に説明する。
即ち、本マルチプロジェクションシステム１は、概略的には、図示のように、スクリーンＳと、マルチプロジェクションを行う複数のプロジェクタ２と、各プロジェクタ２と電気的に接続可能、即ち有線または無線のインターフェース（Ｉ／Ｆ）で接続可能で、各プロジェクタの投影制御を行うプロジェクタ制御装置３とから成っている。
【００１３】
複数のプロジェクタ２（個別には、２０１、２０２、２０３・・・ｎで表す）は、横に一定間隔で配置されており、それぞれ画像を投影する画像投影部２１と、収音するためのマイクロホンからなる収音部２２が搭載又は備えられている。
プロジェクタ制御装置３は、音信号制御部３１と、画像信号制御部３２と、プロジェクタ選択部３０１を備えている。
音信号制御部３１には、前処理部３１０と、距離検出部３１１と、角度検出部３１２と、位置判定部３１３が備えられている。
画像信号制御部３２には、出力画像タイミング制御部３２１と、出力画像決定部３２２と、画像データ保持部３２３と、画像処理部３２４が備えられている。
【００１４】
以上の構成において、各プロジェクタ２の収音部２２で収音した音信号をプロジェクタ制御装置３の音信号制御部３１に有線または無線のインターフェースを介して送信する。
音信号制御部３１に備えられた前処理部３１０は、入力された音信号に対するノイズ抑制などの前処理を行う。
前処理部３１０は、入力された音信号が、人が発した音（即ち、人を音源とする音）であるか否かを判断し、人の発した音以外であると判断した場合は、ノイズとして位置の判定は行わない。
人が発した音か否かを判断する方法としては、例えば周波数の分析を行う方法などが有る。具体的には、（i）音声信号に含まれる周波数成分をフーリエ変換などの時間―周波数変換の手法で周波数変換する、（ii）音声、足音などに含まれる特徴的な周波数スペクトルを記憶手段に複数記憶しておき、いずれかの特徴的な周波数スペクトルが収音部から受信した音に基づく音信号に含まれているか否かを判断することで音の種類の判別を行う。
距離検出部３１１は、音圧レベルを閾値として、音源（人）がプロジェクタ２（２０１、２０２、２０３・・・ｎ）の近距離に有るのか、遠距離に有るのかを推定し検出する。例えば、前処理部３１０でノイズ抑制した音信号が予め設定した音圧レベルの閾値より高い音圧レベルの場合は、近距離に音源が有ると判断し、人がプロジェクタ２から一定範囲内に居ると判断する。
【００１５】
角度検出部３１２は、各プロジェクタ２に搭載されている収音部（マイクロホン）２２に入力された音信号から複数チャンネルを使って音源の角度を検出する。後述の図４に示す例では、音源からの距離は、プロジェクタ２０１が一番近いので、プロジェクタ２０１の収音部（マイクロホン）２２に一番早い時刻に音が到達する。プロジェクタ２０１に次いでプロジェクタ２０２が音源から距離が近いので、プロジェクタ２０２の収音部（マイクロホン）２２に音源からの音が到達する。さらに遅れてプロジェクタ２０３に音源からの音が到達する。角度検出部３１２は、各収音部（マイクロホン）２２への音源からの音の到達時間の差異を利用して音源の収音部（マイクロホン）２２に対する角度を推定し検出する。
【００１６】
距離検出部３１１および角度検出部３１２で推定した音源のプロジェクタ２（２０１・・・ｎ）からの距離と角度情報は、位置判定部３１３に送信される。位置判定部３１３は、距離検出部３１１で検出した音源のプロジェクタ２（２０１・・・ｎ）からの距離と、角度検出部３１２で推定した音源とプロジェクタ２（２０１・・・ｎ）との角度情報に基づき、プロジェクタ２（２０１・・・ｎ）と音源（人）との位置関係を判定する。位置判定部３１３で判定した位置情報は、画像信号制御部３２に備えられた出力画像決定部３２２に送信される。
画像信号制御部３２は、ＰＣ（Personal Computer）やサーバなどからプロジェクタ２（２０１・・・ｎ）で投影する入力画像データを受け取る。画像信号制御部３２の画像処理部３２４は、入力された画像データに対して色補正処理やガンマ補正処理などの画質補正処理を行う。
画像データ保持部３２３は、画像処理部３２４で処理された画像データを一時的に保持する。
プロジェクタ選択部３０１は、位置判定部３１３でプロジェクタ２（２０１・・・ｎ）と音源（人）との位置関係に基づき画像を投影するプロジェクタ２（２０１・・・ｎ）を選択する。
【００１７】
出力画像決定部３２２は、音信号制御部３１から受信した音源（人）とプロジェクタとの距離および位置関係を基に、複数のプロジェクタ２（２０１・・・ｎ）で投影するマルチプロジェクション画像の決定及び生成を行う（出力画像決定部３２２によるマルチプロジェクション画像の決定及び生成については後述する）。
例えば、プロジェクタ２０１に対して一定以内の距離で、その正面に人（音源）が居ると推定される場合は、プロジェクタ２０１から画像を投影する。また、例えば、プロジェクタ２０１とプロジェクタ２０２の中間に人（音源）が居ると推定される場合は、プロジェクタ２０１およびプロジェクタ２０２から画像を投影し、人（音源）の正面に画像が投影されるように出力画像を生成する。
【００１８】
また、例えば、プロジェクタ２（２０１〜２０３）から一定以上離れた位置に人（音源）が居ると推定される場合は、プロジェクタ２０１、プロジェクタ２０２、プロジェクタ２０３から画像を投影し、より大きな画像がスクリーンに投影されるようにプロジェクタ２０１から２０３のマルチプロジェクション画像を生成する。
【００１９】
出力画像タイミング制御部３２１は、人（音源）とプロジェクタ２との距離および位置関係を基に出力画像決定部３２２で生成されたマルチプロジェクション画像の切り替えタイミングを制御する。例えば、プロジェクタ２に対して一定以上遠方に居た人がプロジェクタ２に近づいたことを音信号制御部３１で検出した場合、出力画像決定部３２２は、プロジェクタ２に対する人の距離および方向の位置関係に適応して投影する画像のレイアウトを変更する。また、出力画像タイミング制御部３２１は、出力画像決定部３２２で生成された投影画像及び投影プロジェクタを切り替えるタイミングを制御する。
各プロジェクタ２０１〜２０３は、受信した画像データをそれぞれの画像投影部２１からスクリーンＳに対して投影する。
【００２０】
ここで、画像信号制御部３２の出力画像決定部３２２が投影画像を決定及び生成する場合の具体的態様（ケース）について説明する。
ケース１
近距離用の画像（１つのプロジェクタで投影可能なサイズ）と遠距離用の画像（全部のプロジェクタ、ここでは５つのプロジェクタで投影可能なサイズ）の２種類の画像のみを画像保持用メモリ３３に記憶しておく。
それ以外の投影用画像は、画像信号制御部３２の出力画像決定部３２２が生成する。即ち、例えば、図１７の（２）に示すような投影を行いたい場合には、プロジェクタ制御装置３が近距離用の画像の左半分がスクリーンＳの右側に映るような画像と、近距離用の画像の右半分がスクリーンＳの左側に映る様な画像を投影用画像に決定して生成し、それぞれ例えばプロジェクタ２０１、プロジェクタ２０２に送信する。
【００２１】
ケース２
全て（５つ）のプロジェクタで投影できるサイズの画像について、ここでは考え得る全てのパターンを記憶しておく。即ち、例えば、図１７（１）〜（５）に示すような投影を行いたい場合、５つのプロジェクタで投影可能なサイズの画像を全て別の画像として画像保持用メモリ３３に記憶しておく。
画像信号制御部３２の出力画像決定部３２２は、この画像のいずれかを５つのプロジェクタ２で投影する投影画像に決定した場合は、５つのプロジェクタ２で投影できるように５つに分割した画像を生成する。
【００２２】
ケース３
１台のプロジェクタで投影する可能性のある画像のパターンを全て画像保持用メモリ３３に記憶しておく。
即ち、例えば、（i）図１７（１）に示すように単純に１台のプロジェクタで近距離用画像を投影するための画像、（ii）図１７（２）に示すような投影を行うため、近距離用の画像の左半分が画面の右側に映るような画像、及び近距離用の画像の右半分が画面左側に映る様な画像、（iii）図１０（１）に示すような投影を行うための遠距離用の投影画像を５等分した全ての画像を画像保持用メモリ３３に記憶しておく。
この場合、画像信号制御部３２の出力画像決定部３２２は投影する画像の生成は行わず、投影に適する画像を決定する処理のみを行う。
【００２３】
次に、本実施形態に係るマルチプロジェクションシステムのハードウェア構成について説明する。
図３は、マルチプロジェクションシステムのハードウェア構成を概略的に示す図である。
即ち、マルチプロジェクションシステムのハードウェア構成としては、複数のプロジェクタ２（２０１〜２０３）と、プロジェクタを制御するプロジェクタ制御装置３がある。
また、その周辺機器としてスクリーンＳとＰＣやサーバ等４０がある。
ここで、プロジェクタ制御装置３は、ＣＰＵ（Central Processing Unit）３０と、音信号制御部３１と、画像信号制御部３２と、画像保持用のメモリ３３とを備える。なお、音信号制御部３１と画像信号制御部３２は、いずれもＣＰＵ３０と内部メモリである図示しないＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）で構成されるコンピュータにプログラムを読み取らせることにより、それぞれ図２に示す各部（前処理部３１０、距離検出部３１１、角度検出部３１２、位置判定部３１３、出力画像タイミング制御部３２１、出力画像決定部３２２、画像データ保持部３２３、画像処理部３２４）の機能を実行させる機能実現手段である。また、プロジェクタ選択部３０１も、プログラムを読み込んだＣＰＵ３０による画像投影用のプロジェクタを選択するプロジェクタ選択機能を実行する機能実現手段である。
【００２４】
次に、音源の位置判定について説明する。
図４は音源の位置判定方法を示す図である。
即ち、各プロジェクタ２０１〜２０３は、音源（人）から発せられる音を収音し、その音圧レベルを予め設定した閾値と比較する。
また、プロジェクタ２０１〜２０３は、音源（人）から発せられる音が各プロジェクタ２０１〜２０３に搭載されているマイクロホン２２に到達する時間の差を検知して、音源とプロジェクタ２０１〜２０３との相対的な位置関係を検知する。例えば、プロジェクタ２０１に搭載のマイクロホン２２に音源から音が到達してからプロジェクタ２０２に搭載のマイクロホン２２に音が到達する時間を遅延１とする。プロジェクタ２０２に搭載されたマイクロホン２２に音源から音が到達してからプロジェクタ２０３に搭載されたマイクロホン２２に音が到達する時間を遅延２とする。プロジェクタ２０１に搭載されたマイクロホン２２に音源から音が到達してからプロジェクタ２０３に搭載されたマイクロホンに音が到達する時間を遅延３とする。
【００２５】
位置判定部３１３は、各プロジェクタ２０１〜２０３に音源から到達する音の音圧レベルの閾値との比較結果及び遅延差を基に、音源と各プロジェクタの相対的な位置関係を判定する。
次に、ＣＰＵ３０の制御下において行う投影画像のレイアウトの制御について説明する。
図５は、投影画像のレイアウトの制御手順を示すフロー図である。
まず、各プロジェクタ２０１〜２０３に搭載されているマイクロホン２２により音信号Ｓ１を収音する。収音した音信号Ｓ１は、前処理部３１０でノイズ抑圧などの前処理を行う（Ｓ１０１）。前処理後の音信号Ｓ２について音圧レベルの測定を行い、音信号Ｓ２の音圧レベルと予め設定した閾値との比較を行い、閾値より高いか否かの判断を行う（Ｓ１０２）。なお、このステップＳ１０２の処理は、プロジェクタ２０１〜２０３に搭載されている各マイクロホン２２で収音した音に基づくそれぞれの音信号について個別に実施する。また、同時に同一音源からの音を各プロジェクタ２０１〜２０３のマイクロホン２２が収音した時刻に基づく相対的な遅延量（時間）を測定して遅延時間の情報を得る（Ｓ１０３）。
【００２６】
音信号Ｓ２の音圧レベル、遅延量の各情報は、音源の位置判定部３１３に入力し、音源位置の判定を行う（Ｓ１０４）。ここで、音源が近距離か遠距離かの判定は、ステップＳ１０２の音圧レベルで行い、各プロジェクタ２０１〜２０３に対する相対的な位置は、ステップＳ１０３の遅延量の情報に基づいて判定する。具体的には、音圧レベルと遅延量の情報に基づきプロジェクタ２（２０１〜２０３）に対する音源の相対的な位置を算出する。算出した音源位置情報は、出力画像決定部３２２に送信し、近距離か遠距離かの判定結果、プロジェクタ２（２０１〜２０３）に対する相対的な位置の判定結果に従い、投影画像のレイアウトを生成し（Ｓ１０５）、決定したレイアウトに合わせた投影画像を生成する。生成した画像は、出力画像タイミング制御部３２１により出力タイミングを制御して（Ｓ１０６）、プロジェクタ選択部３０１で切り替えたプロジェクタ２からスクリーンＳ上に投影して（Ｓ１０７）、この制御処理を終了する。
【００２７】
図６は、位置判定部３１３における、人（音源）とプロジェクタ２（２０１〜２０３）の距離の推定方法について示す図である。
人がプロジェクタ２（２０１〜２０３）から近距離に居る場合、マイクロホン（収音部）２２に入力されるその人の足音や音声の音圧レベルは、遠距離に居る人のそれに比べて高い。そこで、ここでは、既に述べたように、人が近距離に居る場合と遠距離に居る場合のそれぞれの入力音圧レベルの高低を、音圧レベルの閾値に基づき判定する。即ち、音圧レベルが予め設定した閾値より高い場合に近距離範囲内に人が居ると判定し、閾値より低い場合に近距離範囲外に人が居ると判定する。
【００２８】
複数並べた各プロジェクタ２（２０１〜２０３）には、それぞれ収音部（マイクロホン）２２が搭載されている。そこで、距離検出部３１１は、複数あるプロジェクタ２０１〜２０３のマイクロホン２２の一つであっても、それに近距離範囲に人が居ると判定できる音圧レベルの音信号、即ち、音圧レベルの閾値を超える音信号が入力された場合は、近距離範囲に人が居る状態と判定する。また、全てのプロジェクタ２０１〜２０３の収音部２２に閾値より低い音圧レベルで音信号が入力された場合は、近距離範囲外に人が居る状態と判定する。
【００２９】
図７は、人の移動（ユースケース（Ｕｓｅ  Ｃａｓｅ）１）について示す図である。
図７において、人の左横の番号は移動していく位置の順番を示し、円は各プロジェクタ２０１〜２０５の近距離と遠距離を分ける境界を模式的に示したものである。
図８〜図１０は、それぞれ第１〜第３の制御方法において、人が図中左側の番号に対応した番号の位置に居る時に投影されるスクリーンＳと画像を示している。なお、番号は、図７の人の位置の番号に対応している。
【００３０】
次にユースケース１における画像投影の第１の制御方法を説明する。
図８は、ユースケース１における画像投影の第１の制御方法について示す図である。
図８の位置（１）においては、図７に示すように、人はどのプロジェクタ２０１〜２０５の近距離範囲内にも居ないので、全てのプロジェクタ２０１〜２０５でスクリーンＳには、遠距離用の投影画像（各プロジェクタの投影画像を連結させた一枚の大きな画像）を投影する。
位置（２）においては、プロジェクタ２０１〜２０３の近距離範囲内に人が居るが、最も近いプロジェクタはプロジェクタ２０２なので、プロジェクタ選択部３０１によりプロジェクタ２０２を選択して近距離用の投影画像を投影する。
位置（３）においては、同様に最も近いプロジェクタはプロジェクタ２０３なので、プロジェクタ選択部３０１によりプロジェクタ２０３に切り替えられ、それよって近距離用の画像を投影する。
【００３１】
位置（４）においては、位置（１）と同様の条件なので、プロジェクタ選択部３０１により全てのプロジェクタ２０１〜２０５が選択されて、スクリーンＳには遠距離用の投影画像を投影する。
【００３２】
次にユースケース１における画像投影の第２の制御方法を説明する。
図９は、ユースケース１における画像投影の第２の制御方法について示す図である。
図９の位置（１）、位置（４）においては、人はどのプロジェクタ２０１〜２０５からも近距離範囲内に居ないので、プロジェクタ選択部３０１により全てのスクリーンが選択されて、投影画像切替手段によりスクリーンＳには遠距離用の投影画像を投影する。
位置（２）においては、プロジェクタ２０１、２０２、２０３の近距離範囲内に人が居るので、プロジェクタ選択部３０１によりプロジェクタ２０１、２０２、２０３を選択し、それぞれから近距離用の投影画像を投影する。
位置（３）においては、人は、プロジェクタ２０２、２０３の近距離範囲内なので、プロジェクタ選択部３０１によりプロジェクタ２０２、２０３のそれぞれから近距離用の投影画像を投影する。つまり、この制御では、人の位置が各プロジェクタに設定された近距離範囲内であれば、それに該当する全てのプロジェクタが近距離用の画像を投影する。
【００３３】
次にユースケース１における画像投影の第３の制御方法を説明する。
図１０は、ユースケース１における画像投影の第３の制御方法について示す図である。
図１０の位置（１）、位置（４）においては、人は、どのプロジェクタ２０１〜２０５の近距離範囲にもいないので、プロジェクタ選択部３０１により全てのプロジェクタ２０１〜２０５が選択されて、スクリーンＳには遠距離用の投影画像を投影する。
位置（２）においては、プロジェクタ２０１、２０２、２０３の近距離範囲内に人が居るので、投影画像切替手段は、プロジェクタ２０１、２０２、２０３のそれぞれから近距離用の投影画像を投影する。その際、プロジェクタ２０１、２０２、２０３から投影する投影画像は、出力画像決定部３２２により、プロジェクタ２０１、２０２、２０３の投影画像を合わせて一つの画像に生成される。
【００３４】
位置（３）においては、人は、プロジェクタ２０２、２０３の近距離範囲内に居るので、ＣＰＵ３０の投影画像切替手段により近距離用投影画像が、また、プロジェクタ選択部３０１によりプロジェクタ２０２、２０３が選択されて、プロジェクタ２０２、２０３のそれぞれから近距離用の投影画像を投影する。その際、プロジェクタ２０２、２０３から投影する投影画像は、出力画像決定部３２２により、プロジェクタ２０２、２０３の投影画像を合わせて一つの画像に生成される。つまり、投影される画像は、各プロジェクタ２０１〜２０５で独立した画像を投影するのではなく、複数のプロジェクタからの投影画像
を合成することで一つの投影画像を構成するようなマルチプロジェクション画像とする。
【００３５】
図１１は、人（音源）の位置と、人とプロジェクタ２０１〜２０５の距離、人とプロジェクタ２０１〜２０５の角度と投影する画像のレイアウトの関係を示す図である。
図７の人の移動（ユースケース１）の場合を例に位置データの更新タイミングについて説明する。
図７に示したように、人（音源）の位置が（１）の場合、マイクロホンで収音される音圧のレベルは比較的低く、閾値より低いので、プロジェクタ２０１〜２０５からの距離は遠距離と判定される。また、プロジェクタ２０１〜２０５に対する角度は、プロジェクタ２０２の正面と判定される。
人（音源）が（２）の位置に移動すると、一部のマイクロホン（ここでは、プロジェクタ２０１〜２０３のマイクロホン）２２で収音される音圧のレベルは閾値より高くなるので、一部のプロジェクタ（ここではプロジェクタ２０１〜２０３）からの距離は近距離と判定される。また、プロジェクタ２０１〜２０３に対する角度は、プロジェクタ２０２の正面と判定され変わらない。
【００３６】
次に、人（音源）が（３）の位置に移動すると、一部のマイクロホン（ここでは、プロジェクタ２０２、２０３のマイクロホン）２２で収音される音圧のレベルは閾値より高くなるので、プロジェクタ２０２、２０３からの距離は近距離と判定される。人はプロジェクタ２０２と２０３の間の位置に移動しているため、プロジェクタ２０２〜２０５に対する音源の角度から、角度検出部３１２によりプロジェクタ２０２とプロジェクタ２０３の間の位置と判定される。
最後に、人（音源）が（４）の位置に移動すると、マイクロホン２２で収音される音圧のレベルは閾値より低くなるので、プロジェクタ２０１〜２０５からの距離は遠距離（近距離範囲外）と判定される。プロジェクタ２０１〜２０５に対する角度は、プロジェクタ２０２と２０３の間の位置で変わらない。
【００３７】
以上の結果、（１）〜（４）各位置に人が居るときに投影する画像のレイアウトは、位置（１）の場合は、人が遠距離に居るため、遠くからでも画像の内容が認識できるようにプロジェクタ２０１〜２０５を全て使って一つの画像を投影するマルチプロジェクション画像とする。
（２）の場合は、人が近距離に移動しており、プロジェクタ２０２の正面に居るので、プロジェクタ２０２単体で画像を投影するレイアウトとする。
（３）の場合は、人が近距離に居て、角度はプロジェクタ２０２と２０３の間なので、人の正面に画像が投影できるようにプロジェクタ２０２と２０３を使って一つの画像を投影するマルチプロジェクションとする。
（４）の場合は、人が遠距離に移動しているため、再度、遠くからでも画像の内容が認識できるようにプロジェクタ２０１〜２０５を全て使って一つの画像を作るマルチプロジェクション画像とする。
【００３８】
図１２、図１３、図１４は、それぞれユースケース１における第１の制御方法、第２の制御方法、第３の制御方法における処理手順を示すフロー図である。
まず、図１２の第１の制御方法においては、遠距離用の画像を投影し（Ｓ２０１）、次に、近距離範囲内に人が居るプロジェクタがあるか否か判断する（Ｓ２０２）。具体的には、音信号制御部３１の距離検出部３１１が、複数のプロジェクタ２（２０１、２０２・・・）それぞれの収音部２２が収音した音信号の音圧と、予め設定された閾値とを個別に比較して、音圧が閾値を超える音信号があるか否かで判断する。ここで、近距離範囲内に人が居るプロジェクタがあれば（Ｓ２０２、Ｙｅｓ）、次に、音信号制御部３１の距離検出部３１１が、音圧が閾値を超える音信号が複数あるか否か判断し（Ｓ２０３）、音圧が閾値を超える音信号が複数ある、即ち、近距離範囲内に人が居るプロジェクタが１つでなければ（Ｓ２０３、Ｎｏ）、音信号制御部３１の角度検出部３１２が複数のプロジェクタ２（２０１、２０２・・・）それぞれの収音部２２が収音した音信号の収音部２２への到達時間（時刻）から、複数のプロジェクタ２（２０１、２０２・・・）に対する音を発した人の角度（複数のプロジェクタと音を発した人との位置関係）を判断する。この角度に応じて人とそれぞれのプロジェクタ２からの距離をそれぞれ算出し、人と距離が最も近いプロジェクタを判定する（Ｓ２０４）。
次に、Ｓ２０４で特定したプロジェクタ２に近距離用の画像を投影する（Ｓ２０５）。ここでは、上記の処理を繰り返す。そのため、図７に示す事例では、人が位置（２）から位置（３）へ移動する途中で、距離検出部３１１でプロジェクタ２０２に対してもプロジェクタ２０３に対しても近距離だと判定されていても、角度検出部３１２によって音の発生源がプロジェクタ２０２よりもプロジェクタ２０３に近いと判定されるため、この時点で表示するプロジェクタが切り替わる。
また、プロジェクタが１つであれば（Ｓ２０３、Ｙｅｓ）、いずれも該当プロジェクタで近距離用の画像を投影する（Ｓ２０５）。次に電源をＯＦＦすれば（Ｓ２０６、Ｙｅｓ）、この処理を終了し、電源をＯＦＦしなければ（Ｓ２０６、Ｎｏ）、ステップＳ２０２以下の処理を繰り返す。なお、ステップＳ２０２で近距離範囲内に人が居るプロジェクタがなければ（Ｓ２０２、Ｎｏ）、この処理のスタートに戻る。
【００３９】
図１３の第２の制御方法においては、遠距離用の画像を投影し（Ｓ３０１）、次に、近距離範囲内に人が居るプロジェクタがあるか否か判断する（Ｓ３０２）。
具体的には、音信号制御部３１の距離検出部３１１が、複数のプロジェクタ２（２０１、２０２・・・）それぞれの収音部２２が収音した音信号の音圧と、予め設定された閾値とを個別に比較して、音圧が閾値を超える音信号があるか否かで判断する。ここで、近距離範囲内に人が居るプロジェクタがあれば（Ｓ３０２、Ｙｅｓ）、該当するプロジェクタ２全てで近距離用の画像を投影する（Ｓ３０３）。次に電源をＯＦＦすれば（Ｓ３０４、Ｙｅｓ）、この処理を終了し、電源をＯＦＦしなければ（Ｓ３０４、Ｎｏ）、ステップＳ３０２以下の処理を繰り返す。
なお、ステップＳ３０２において、近距離範囲内に人が居るプロジェクタがなければ（Ｓ３０２、Ｎｏ）、この処理のスタートに戻る。
【００４０】
図１４の第３の制御方法においては、遠距離用の画像を投影し（Ｓ４０１）、次に、近距離範囲内に人が居るプロジェクタ２があるか否か判断する（Ｓ４０２）。具体的には、音信号制御部３１の距離検出部３１１が、複数のプロジェクタ２（２０１、２０２・・・）それぞれの収音部２２が収音した音信号の音圧と、予め設定された閾値とを個別に比較して、音圧が閾値を超える音信号があるか否かで判断する。ここで、近距離範囲内に人が居るプロジェクタ２があれば（Ｓ４０２、Ｙｅｓ）、出力画像決定部３２２は、該当プロジェクタ２で投影する近距離用の一つの合成画像を決定かつ生成し（Ｓ４０３）、該当プロジェクタ２で近距離用の一つの合成画像を投影する（Ｓ４０４）。次に電源をＯＦＦすれば（Ｓ４０５、Ｙｅｓ）、この処理を終了し、電源をＯＦＦしなければ（Ｓ４０５、Ｎｏ）、ステップＳ４０２以下の処理を繰り返す。
なお、ステップＳ４０２において、近距離範囲内に人が居るプロジェクタ２がなければ（Ｓ４０２、Ｎｏ）、この処理のスタートに戻る。また、ステップＳ４０３において、近距離用の一つの合成画像を生成する処理に代えて、予め近距離用の画像を複数用意しておき、その中から選択する処理でもよい。
【００４１】
図１５は、人の移動（ユースケース２）について示す図である。図１６、図１７は、それぞれユースケース２における画像投影の第４の制御方法、第５の制御方法について示す図である。
図１５において、プロジェクタ２（２０１〜２０５）の近傍に２人の人が居ると仮定する。人Ａは、（１）の位置から（２）の位置に移動し、人Ｂは、（３）の位置から（４）の位置に移動しているとする。人の足音や音声を収音部（マイクロホン）２２で収音して、収音した音信号から人Ａ及び人Ｂが移動する方法と移動する速度を推定する。
【００４２】
次に、図１６でユースケース２における画像投影の第４の制御方法を説明する。
人Ａは、最初（１）の位置に居り、（２）の位置に向かって移動しているものとする。
（１）の位置はプロジェクタ２０１に一番近いので、プロジェクタ２０１から人Ａ向けの投影画像を投影する。人Ａが（２）の位置に向かって移動して、一番近いプロジェクタがプロジェクタ２０１からプロジェクタ２０２に変わると、その時点で、プロジェクタ選択部３０１は、人Ａ向けの画像を投影するプロジェクタをプロジェクタ２０１からプロジェクタ２０２に切り替える。
【００４３】
他方、人Ｂは、最初（３）の位置に居り、（４）の位置に向かって移動するものとする。人Ｂは、（３）の位置ではプロジェクタ２０５に一番近いので、プロジェクタ２０５から人Ｂ向けに投影画像を投影する。人Ｂが（４）の位置に向かって移動して、一番近いプロジェクタがプロジェクタ２０５からプロジェクタ２０４に変わると、プロジェクタ選択部３０１によりプロジェクタ２０５からプロジェクタ２０４に切り替え、出力画像タイミング制御部３２１の制御で、その時点で、人Ｂ向けの画像を投影する。
同様に、人Ｂが（４）から（５）の位置に向かって移動して、一番近いプロジェクタがプロジェクタ２０４からプロジェクタ２０３に変わると、その時点で、人Ｂ向けの画像を投影するプロジェクタを、プロジェクタ２０４からプロジェクタ２０３に切り替え、出力画像タイミング制御部３２１の制御で、その時点で、人Ｂ向けの画像を投影する。
【００４４】
次に、図１７により、ユースケース２における画像投影の第５の制御方法を説明する。
人Ａは、最初（１）の位置に居り、（２）の位置に向かって移動しているものとする。人Ａは、（１）の位置ではプロジェクタ２０１に一番近いので、プロジェクタ２０１から人Ａ向けの投影画像を投影する。次に、人Ａが（２）の位置に向かって移動していくと、人Ａに対する投影画像をプロジェクタ２０１からの投影画像からプロジェクタ２０１とプロジェクタ２０２の投影画像の合成画像に切り替える。その際、人Ａが移動する速度に合わせて、投影画像の位置を連続的に移動させていく。これを実現するために、プロジェクタ２０１及びプロジェクタ２０２の投影画像の合成画像を人Ａ向けの投影画像とする。
【００４５】
人Ｂは、最初（３）の位置に居り、（４）の位置に向かって移動しているものとする。
（３）の位置では、人Ｂはプロジェクタ２０５に一番近いので、プロジェクタ２０５から人Ｂ向けの投影画像を投影する。次に、人Ｂが（４）の位置に向かって移動していくと、人Ｂに対する投影画像をプロジェクタ２０５からの投影画像からプロジェクタ２０４とプロジェクタ２０５の投影画像の合成画像に切り替える。その際、人Ｂの移動する速度に合わせて、投影画像の位置を連続的に移動させていく。これを実現するために、プロジェクタ２０４及びプロジェクタ２０５の投影画像の合成画像を人Ｂ向けの投影画像とする。
【００４６】
同様に、人Ｂが（４）から（５）の位置に向かって移動していくと、人Ｂに対する投影画像をプロジェクタ２０４とプロジェクタ２０５の投影画像の合成画像からプロジェクタ２０３とプロジェクタ２０４の投影画像の合成画像に切り替える。人Ｂの移動する速度に合わせて、合成画像を投影するプロジェクタを連続的に切り替える。
【００４７】
図１８、図１９は、ユースケース２における第４の制御方法、第５の制御方法の処理手順を示すフロー図である。
即ち、図１８に示す第４の制御方法においては、まず、遠距離用の画像を投影し（Ｓ５０１）、次に、近距離範囲内に人が居るプロジェクタ２が有るか否か判断する（Ｓ５０２）。具体的には、音信号制御部３１の距離検出部３１１が、複数のプロジェクタ２（２０１、２０２・・・）それぞれの収音部２２が収音した音信号の音圧と、予め設定された閾値とを個別に比較して、音圧が閾値を超える音信号があるか否かで判断する。
ここで、近距離範囲内に人が居るプロジェクタが有れば（Ｓ５０２、Ｙｅｓ）、人の位置を検出し（Ｓ５０３）、検出した人の位置に最も近いプロジェクタ２で近距離用の画像を投影する（Ｓ５０４）。次に電源をＯＦＦすれば（Ｓ５０５、Ｙｅｓ）、この処理を終了し、電源をＯＦＦしなければ（Ｓ５０５、Ｎｏ）、ステップＳ５０２以下の処理を繰り返す。
なお、ステップＳ５０２において、近距離範囲内に人が居るプロジェクタがなければ（Ｓ５０２、Ｎｏ）、この処理のスタートに戻る。
【００４８】
図１９に示す第５の制御方法においては、まず、遠距離用の画像を投影し（Ｓ６０１）、次に、近距離範囲内に人が居るプロジェクタ２が有るか否か判断する（Ｓ６０２）。具体的には、音信号制御部３１の距離検出部３１１が、複数のプロジェクタ２（２０１、２０２・・・）それぞれの収音部２２が収音した音信号の音圧と、予め設定された閾値とを個別に比較して、音圧が閾値を超える音信号があるか否かで判断する。
ここで、近距離範囲内に人が居るプロジェクタが有れば（Ｓ６０２、Ｙｅｓ）、人の位置を検出し（Ｓ６０３）、出力画像決定部３２２は、検出した人の位置に適応してプロジェクタで投影する近距離用の合成画像を決定かつ生成する（Ｓ６０４）。その後、生成した合成画像を該当プロジェクタ２で近距離用の画像を投影する（Ｓ６０５）。次に、電源をＯＦＦすれば（Ｓ６０６、Ｙｅｓ）、この処理を終了し、電源をＯＦＦしなければ（Ｓ６０６、Ｎｏ）、ステップＳ６０２以下の処理を繰り返す。
なお、ステップＳ６０２において、近距離範囲内に人が居るプロジェクタがなければ（Ｓ６０２、Ｎｏ）、この処理のスタートに戻る。
【００４９】
以上説明したように、本実施形態によれば、マルチプロジェクションシステムにおいて、従来のカメラによる人の検知に代えて、人を音源とする音を検知するようにしたため、従来カメラで人を検知する場合に生じる死角の問題を解決することができる。
また、人とプロジェクタとの位置関係に基づき投影するプロジェクタ、及び投影画像のレイアウトを変更することで、マルチプロジェクションシステムを用いてデジタルサイネージを行う場合に、その宣伝を効果的に行うことができる。
【符号の説明】
【００５０】
１・・・マルチプロジェクションシステム、２（２０１，２０２・・・）・・・プロジェクタ、３・・・プロジェクタ制御装置、２１・・・画像投影部、２２・・・収音部（マイクロホン）、３０・・・ＣＰＵ、３０１・・・プロジェクタ選択部、３１・・・音信号制御部、３１０・・・前処理部、３１１・・・距離検出部、３１２・・・角度検出部、３１３・・・位置判定部、３２・・・画像信号制御部、３２１・・・出力画像タイミング制御部、３２２・・・出力画像決定部、３２３・・・画像データ保持部、３２４・・・画像処理部。
【先行技術文献】
【特許文献】
【００５１】
【特許文献１】特開２００７−０５７９６１号公報
【特許文献２】特開２０１２−０１４６０２号公報
【図１】
2015166854.tif 000003
【図２】
2015166854.tif 000004
【図３】
2015166854.tif 000005
【図４】
2015166854.tif 000006
【図５】
2015166854.tif 000007
【図６】
2015166854.tif 000008
【図７】
2015166854.tif 000009
【図８】
2015166854.tif 000010
【図９】
2015166854.tif 000011
【図１０】
2015166854.tif 000012
【図１１】
2015166854.tif 000013
【図１２】
2015166854.tif 000014
【図１３】
2015166854.tif 000015
【図１４】
2015166854.tif 000016
【図１５】
2015166854.tif 000017
【図１６】
2015166854.tif 000018
【図１７】
2015166854.tif 000019
【図１８】
2015166854.tif 000020
【図１９】
2015166854.tif 000021
【図２０】
2015166854.tif 000022