(57)【要約】【課題】操作対象に対するユーザによるジェスチャの操作性を向上させることを課題とする。【解決手段】システムは、複数の投影装置によって投影画像が投影されている投影面に対して予め定められた所定の領域に存在する人物の位置を、投影装置が有する撮影部によって撮影された撮影画像に基づいて特定する。システムは、投影画像に含まれる少なくとも１つの操作対象画像に関する操作対象画像情報を記憶する。システムは、特定された人物の位置と、記憶された操作対象画像の個数と座標値とに基づいて、操作対象画像から複数の投影装置の撮影部が撮影を行なう操作対象画像を判定する。システムは、撮影を行なうと判定された操作対象画像それぞれを撮影する投影装置を決定する。システムは、決定された投影装置に、操作対象画像を撮影するように要求する。【選択図】図２
2015060011.tif 000002
【特許請求の範囲】
【請求項１】
撮影部を有する複数の投影装置が情報処理装置と接続されるシステムにおいて、
前記複数の投影装置によって投影画像が投影されている投影面に対して予め定められた所定の領域に存在する人物の位置を、前記撮影部によって撮影された撮影画像に基づいて特定する特定部と、
前記投影画像に含まれる少なくとも１つの操作対象画像に関する操作対象画像情報を記憶する記憶部と、
前記特定部によって特定された人物の位置と、前記記憶部によって記憶された前記操作対象画像の個数と座標値とに基づいて、前記操作対象画像から前記複数の投影装置の撮影部が撮影を行なう操作対象画像を判定する判定部と、
前記判定部によって撮影を行なうと判定された操作対象画像それぞれを撮影する投影装置を決定する決定部と、
前記決定部によって決定された投影装置に、前記操作対象画像を撮影するように要求する要求部と
を有することを特徴とするシステム。
【請求項２】
撮影される前記操作対象画像の前記座標値を、決定された前記投影装置に対応する投影面の座標値に変換する座標変換部をさらに有し、
前記要求部は、決定された前記投影装置に、変換された前記座標値とともに、前記操作対象画像を撮影するように要求することを特徴とする請求項１に記載のシステム。
【請求項３】
前記決定部は、前記所定の領域に存在する人物が複数である場合に、前記投影面により近い位置に存在する人物を判定し、人物がより近くに存在する前記投影面に配置された前記操作対象画像を優先して撮影させるように、該操作対象画像それぞれを撮影する投影装置を決定することを特徴とする請求項１又は２に記載のシステム。
【請求項４】
前記決定部は、前記所定の領域に存在する人物が複数である場合に、より多くの人物が存在する位置の近くに配置された前記投影装置によって投影されている前記投影画像に配置された前記操作対象画像を優先して撮影させるように、該操作対象画像それぞれを撮影する投影装置を決定することを特徴とする請求項１又は２に記載のシステム。
【請求項５】
前記決定部は、前記所定の領域に存在する人物が複数である場合に、前記操作対象画像に対する操作履歴をもとに、直近に操作された前記操作対象画像により近い操作対象画像を優先して撮影させるように、該操作対象画像それぞれを撮影する投影装置を決定することを特徴とする請求項１又は２に記載のシステム。
【請求項６】
前記決定部は、前記所定の領域に存在する人物が複数である場合に、現在投影されている投影画像の次に投影される投影画像に配置された前記操作対象画像の座標値をもとに、該座標値により近い操作対象画像を優先して撮影させるように、該操作対象画像それぞれを撮影する投影装置を決定することを特徴とする請求項１又は２に記載のシステム。
【請求項７】
前記決定部は、前記所定の領域に存在する人物が複数である場合に、優先して撮影させる前記操作対象画像の方法を選択させることを決定することを特徴とする請求項４〜６の何れか一つに記載のシステム。
【請求項８】
前記決定部は、前記所定の領域に存在する人物の位置から所定距離以上離れている前記投影装置による撮影のための電源を切断することを決定することを特徴とする請求項１又は２に記載のシステム。
【請求項９】
前記決定部は、撮影できない前記操作対象画像が存在する場合に、撮影可能な前記操作対象画像に、撮影できない前記操作対象画像を統合することを決定することを特徴とする請求項１又は２に記載のシステム。
【請求項１０】
前記決定部は、撮影できない前記操作対象画像の機能と、撮影可能な前記操作対象画像の機能とを有するように、統合先となる撮影可能な前記操作対象画像を分割する前記統合を行なうことを決定することを特徴とする請求項９に記載のシステム。
【請求項１１】
前記決定部は、統合先となる撮影可能な前記操作対象画像に対する操作が行なわれる場合に、撮影できない前記操作対象画像の機能と、撮影可能な前記操作対象画像の機能とを有する新たな操作対象画像を展開させる前記統合を行なうことを決定することを特徴とする請求項９に記載のシステム。
【請求項１２】
前記決定部は、前記統合の方法を選択させることを決定することを特徴とする請求項１０又は１１に記載のシステム。
【請求項１３】
撮影部を有する複数の投影装置と接続される情報処理装置において、
前記複数の投影装置によって投影画像が投影されている投影面に対して予め定められた所定の領域に存在する人物の位置を、前記撮影部によって撮影された撮影画像に基づいて特定する特定部と、
前記投影画像に含まれる少なくとも１つの操作対象画像に関する操作対象画像情報を記憶する記憶部と、
前記特定部によって特定された人物の位置と、前記記憶部によって記憶された前記操作対象画像の個数と座標値とに基づいて、前記操作対象画像から前記複数の投影装置の撮影部が撮影を行なう操作対象画像を判定する判定部と、
前記判定部によって撮影を行なうと判定された操作対象画像それぞれを撮影する投影装置を決定する決定部と、
前記決定部によって決定された投影装置に、前記操作対象画像を撮影するように要求する要求部と
を有することを特徴とする情報処理装置。
【請求項１４】
撮影部を有する複数の投影装置と接続される情報処理装置において実行される制御プログラムであって、
前記複数の投影装置によって投影画像が投影されている投影面に対して予め定められた所定の領域に存在する人物の位置を、前記撮影部によって撮影された撮影画像に基づいて特定する特定ステップと、
前記特定ステップによって特定された人物の位置と、前記投影画像に含まれる少なくとも１つの操作対象画像に関する操作対象画像情報を記憶する記憶部に記憶された前記操作対象画像の個数と座標値とに基づいて、前記操作対象画像から前記複数の投影装置の撮影部が撮影を行なう操作対象画像を判定する判定ステップと、
前記判定ステップによって撮影を行なうと判定された操作対象画像それぞれを撮影する投影装置を決定する決定ステップと、
前記決定ステップによって決定された投影装置に、前記操作対象画像を撮影するように要求する要求ステップと
を実行させるための制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、情報処理装置、制御プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
従来、プロジェクタ等の投影装置によってスクリーン等の投影面に投影される投影画像に対して、電子ペン等のポインティングデバイスを利用してポインティング位置を移動させることにより、投影装置を操作する技術が知られている。これに対して、ポインティングデバイスを利用しなくても投影装置を操作する技術も存在する。例えば、ユーザの所定動作であるジェスチャをカメラで認識し、ジェスチャに対応する操作を投影装置に対して実行するというものである。さらに、投影画像に含まれるボタン等の操作対象を操作するための動作がユーザによって行なわれた場合に、この動作をカメラで認識し、操作対象の操作に対応する処理を投影装置に対して実行させるというものもある。また、複数のプロジェクタを並べて配置し、全体として大画面になる投影面に投影画像を投影するマルチ投影と呼ばれる技術に対しても、上述したジェスチャに応じた操作を実現することも可能である。
【０００３】
また、これらの技術においては、ポインティング位置に応じた投影装置の操作が実行されることから、現在のポインティング位置を高精度に検出できることが望ましい。ポインティング位置を高精度に検出するための技術としては、例えば、投影面の所定箇所をマーキングした画像を保持しておき、マーキングした画像と現在投影されている画像との差分をとることにより、ポインティング位置を検出するものがある。かかる技術では、マーカを常時表示させることなく、現在のポインティング位置を検出できる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、操作対象に対するユーザによるジェスチャの操作性が好ましくないという問題がある。具体的には、ユーザの動作をカメラによって認識することで投影装置を操作する状況において、カメラによって撮像可能な領域を表す撮像領域が投影画像よりも小さい場合に、投影装置に対する操作を検出することができない場合がある。撮像領域が投影画像よりも小さくなるケースは、投影面とカメラとの距離が近いことで発生する。つまり、投影面とカメラとの距離を十分に確保できない場合には、限られた操作対象をカメラで撮像することになるため、上記のような問題が発生する。このことは、マルチ投影による大画面の投影面に投影画像を投影する場合にも同様に発生する問題である。
【０００５】
本発明は、上記に鑑みてなされたものであって、操作対象に対するユーザによるジェスチャの操作性を向上させることが可能であるシステム、情報処理装置、制御プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、本発明に係るシステムは、撮影部を有する複数の投影装置が情報処理装置と接続されるシステムにおいて、前記複数の投影装置によって投影画像が投影されている投影面に対して予め定められた所定の領域に存在する人物の位置を、前記撮影部によって撮影された撮影画像に基づいて特定する特定部と、前記投影画像に含まれる少なくとも１つの操作対象画像に関する操作対象画像情報を記憶する記憶部と、前記特定部によって特定された人物の位置と、前記記憶部によって記憶された前記操作対象画像の個数と座標値とに基づいて、前記操作対象画像から前記複数の投影装置の撮影部が撮影を行なう操作対象画像を判定する判定部と、前記判定部によって撮影を行なうと判定された操作対象画像それぞれを撮影する投影装置を決定する決定部と、前記決定部によって決定された投影装置に、前記操作対象画像を撮影するように要求する要求部とを有する。
【発明の効果】
【０００７】
本発明の一つの様態によれば、操作対象に対するユーザによるジェスチャの操作性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態１に係る投影システムの構成例を示す図である。
【図２】図２は、実施の形態１に係る装置構成例を示す機能ブロック図である。
【図３】図３は、実施の形態１に係るマルチ投影の例を説明する図である。
【図４】図４は、座標変換行列の算出例について説明する図である。
【図５】図５は、実施の形態１に係る座標変換処理の流れの例を示すシーケンス図である。
【図６】図６は、実施の形態１に係る人物検出用カメラの配置例を説明する図である。
【図７】図７は、実施の形態１に係るボタン位置検出処理の流れの例を示すシーケンス図である。
【図８】図８は、実施の形態１に係るコンテンツ画像（投影画像）全体を撮影する処理の例を説明する図である。
【図９Ａ】図９Ａは、投影面に配置されるボタン画像の例を示す図である。
【図９Ｂ】図９Ｂは、ボタンリスト記憶部によって記憶される情報例を示す図である。
【図１０】図１０は、実施の形態１に係る捕捉させるボタン画像の決定処理の例を示すシーケンス図である。
【図１１】図１１は、実施の形態１に係る人物の検出処理の例を説明する図である。
【図１２】図１２は、実施の形態１に係る捕捉させるボタン画像を決定する処理の流れの例を示すフローチャートである。
【図１３】図１３は、実施の形態１に係る捕捉させるボタン画像を決定する具体例を説明する図である。
【図１４】図１４は、実施の形態１に係るボタン画像を捕捉するプロジェクタの決定処理の流れの例を示すフローチャートである。
【図１５】図１５は、実施の形態１に係る隣接するプロジェクタにボタン画像を捕捉させる際の座標変換の例を説明する図である。
【図１６】図１６は、実施の形態１に係るカメラ動作の移動先の位置決定処理の流れの例を示すフローチャートである。
【図１７】図１７は、実施の形態１に係るカメラ動作の移動先の具体例を説明する図である。
【図１８】図１８は、人物が複数検出された場合の投影面と人物との距離に応じたカメラの向きの決定例について説明する図である。
【図１９】図１９は、人物が複数検出された場合の検出された人数に応じたカメラの向きの決定例について説明する図である。
【図２０】図２０は、人物が複数検出された場合の操作履歴に応じたカメラの向きの決定例について説明する図である。
【図２１】図２１は、人物が複数検出された場合の次の投影画像に配置されたボタン画像の位置に応じたカメラの向きの決定例について説明する図である。
【図２２】図２２は、捕捉させるボタン画像の優先方法をユーザに選択させる場合の例を示す図である。
【図２３】図２３は、利用しないカメラの電源を切断する状況例を説明する図である。
【図２４】図２４は、利用しないカメラの電源を切断する処理の流れの例を示すフローチャートである。
【図２５Ａ】図２５Ａは、ボタン画像を統合する例を説明する図である。
【図２５Ｂ】図２５Ｂは、ボタン画像を統合する例を説明する図である。
【図２６】図２６は、ボタン画像を統合する方法の例を説明する図である。
【図２７】図２７は、ボタン画像を統合する方法の例を説明する図である。
【図２８】図２８は、ボタン画像の統合方法をユーザに選択させる場合の例を示す図である。
【図２９】図２９は、実施の形態２に係る投影システムの構成例を示す図である。
【図３０】図３０は、実施の形態２に係る装置構成例を示す機能ブロック図である。
【図３１】図３１は、実施の形態２に係る捕捉させるボタン画像の決定処理の例を示すシーケンス図である。
【図３２】図３２は、実施の形態２に係る捕捉するボタン画像を決定する処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明に係るシステム、情報処理装置、制御プログラム及び記憶媒体の実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。
【００１０】
（実施の形態１）
［システム構成］
図１を用いて、実施の形態１に係る投影システムの構成について説明する。図１は、実施の形態１に係る投影システムの構成例を示す図である。
【００１１】
図１に示すように、実施の形態１に係る投影システムは、プロジェクタＡやプロジェクタＢ等の複数のプロジェクタを使用したマルチ投影により、投影面Ａや投影面Ｂ等の複数の投影面からなる大画面に投影画像を投影するものである。例えば、プロジェクタＡは投影面Ａに投影画像を投影し、プロジェクタＢは投影面Ｂに投影画像を投影している。これらに加えて、投影システムは、全てのプロジェクタの制御を一元管理するサーバ装置等の情報処理装置を有する。
【００１２】
また、各プロジェクタにはカメラが搭載されている。各プロジェクタに搭載されたカメラは、ユーザによるジェスチャを認識するためや、投影面付近に居る人物を検出するために利用される。本実施の形態では、投影面とプロジェクタとの距離が近いために、各プロジェクタに搭載されたカメラは投影面の一部しか撮影できない。投影面に投影される投影画像には、ボタン画像等の操作対象が配置されている。ユーザによってボタン画像に対してジェスチャが行なわれた場合に、カメラによって撮影されているボタン画像であれば、ボタン画像に対する操作が実現する。すなわち、カメラによって撮影されていないボタン画像に対する操作は、ユーザによって該ボタン画像に対してジェスチャが行なわれた場合であっても実現できない。
【００１３】
そこで、情報処理装置は、プロジェクタに搭載されたカメラによる撮影で得られたカメラ画像をもとに検出された人物の位置に応じて、撮影させるボタン画像を決定する。一つの様態として、人物の位置に近傍のより多くのボタン画像に対する操作を実現できるようにすることが好ましい。そして、情報処理装置は、どのプロジェクタに何れのボタン画像を撮影させるかを判定し、各プロジェクタに対して撮影させるボタン画像の座標を出力する。各プロジェクタは、情報処理装置によって出力された座標に従い、カメラの向きを制御する。これらにより、本実施の形態では、ユーザによるジェスチャの操作性を向上させることができる。
【００１４】
［実施の形態１に係る装置構成］
次に、図２を用いて、実施の形態１に係る装置構成を説明する。図２は、実施の形態１に係る装置構成例を示す機能ブロック図である。
【００１５】
図２に示すように、プロジェクタ１０は、ポインティング操作検出モジュール１１０と、撮影モジュール１２０と、投影モジュール１３０とを有する。これらのうち、撮影モジュール１２０は、ユーザやユーザによるジェスチャ、投影面等を撮影する。撮影モジュール１２０によって撮影される投影面は、プロジェクタ１０自身によって投影している投影面に限られない。投影モジュール１３０は、投影面にコンテンツ画像（投影画像）を投影する。
【００１６】
ポインティング操作検出モジュール１１０は、カメラの向きを制御するとともに、カメラによって撮影されたカメラ画像からポインティング操作を検出し、操作に応じたコマンドを出力する。また、ポインティング操作検出モジュール１１０は、カメラ制御部１１１と、カメラ画像記憶部１１２と、撮像領域位置算出部１１３と、ボタン画像認識部１１４と、人物検出部１１５と、ボタン画像位置算出部１１６と、カメラ動作位置決定部１１７と、ポインティング操作検出部１１８と、通信部１１９とを有する。
【００１７】
カメラ制御部１１１は、撮影モジュール１２０を制御し、カメラの向きを制御する。カメラ画像記憶部１１２は、カメラによって撮影された画像を表すカメラ画像を記憶する。撮像領域位置算出部１１３は、カメラ画像記憶部１１２によって記憶されたカメラ画像をもとに、カメラによって撮影されている領域を表す撮像領域（カメラ画角）の４隅座標を算出する。かかるカメラ画角は例えば方形であり、撮像領域位置算出部１１３は、該方形の各頂点である４隅の座標を算出する。なお、カメラ画角が方形でない場合は、そのときのカメラ画角の形を包含する最小の方形を求め、求めた方形の４隅座標を算出すれば良い。また、算出される座標は、プロジェクタ１０がコンテンツ画像（投影画像）を投影している投影面に対する座標である。
【００１８】
ボタン画像認識部１１４は、カメラ画像記憶部１１２によって記憶されたカメラ画像から、予め記憶しているボタン画像と一致するボタン画像を探索する。人物検出部１１５は、カメラ画像記憶部１１２によって記憶されたカメラ画像を用いて、カメラ画像に映っている人物を検出する。ボタン画像位置算出部１１６は、ボタン画像認識部１１４によって探索されたボタン画像の４隅座標を算出する。なお、算出される座標は、プロジェクタ１０がコンテンツ画像（投影画像）を投影している投影面に対する座標である。カメラ動作位置決定部１１７は、撮像領域位置算出部１１３によって算出されたカメラ画角の４隅座標と、ボタン画像位置算出部１１６によって算出されたボタン画像の４隅座標とから、カメラの向きを制御するためのカメラ動作の移動先の位置を決定する。ポインティング操作検出部１１８は、カメラ画像記憶部１１２によって記憶されたカメラ画像から、ユーザのジェスチャ（ポインティング操作）を検出し、ジェスチャに応じたコマンドを投影モジュール１３０に出力する。通信部１１９は、情報処理装置２０と通信し、人物検出部１１５によって検出された人物の位置や、投影面に配置されているボタン画像の位置等、各種情報をやり取りする。
【００１９】
また、図２に示すように、情報処理装置２０は、協調動作制御モジュール２１０を有する。かかる協調動作制御モジュール２１０は、通信部２１１と、ボタンリスト記憶部２１２と、判定部２１３と、座標変換部２１４とを有する。
【００２０】
通信部２１１は、各プロジェクタ１０と通信し、カメラの向きを制御するための座標値等、各種情報をやり取りする。ボタンリスト記憶部２１２は、通信部２１１を介して受信された、ポインティング操作検出モジュール１１０によって算出されたボタン画像の座標や、検出されたボタン画像の個数等を記憶する。かかるボタンリスト記憶部２１２は、複数のプロジェクタ１０から受信した上記情報を記憶する。判定部２１３は、ポインティング操作検出モジュール１１０によって検出された人物の位置に応じて、投影面に配置されたボタン画像の何れを、どのカメラに捕捉させるかを判定する。座標変換部２１４は、ボタン画像をカメラに捕捉させるときに、投影面を跨いだ捕捉が発生する場合に、座標系の変換を行なう。
【００２１】
［マルチ投影］
次に、図３を用いて、実施の形態１に係るマルチ投影について説明する。図３は、実施の形態１に係るマルチ投影の例を説明する図である。マルチ投影とは、隣接する各プロジェクタによって投影される投影画像を少しずつ重ね合わせて、全体として大画面の映像を投影する仕組みである。一般に、マルチ投影を実現する場合には、前処理として、映像の位置合わせや色合いの調整等が行なわれる。
【００２２】
図３に示す例では、プロジェクタＡ、プロジェクタＢ及びプロジェクタＣの３台でマルチ投影を行なう場合を表している。プロジェクタＡは、破線で表された投影面（枠Ａ）に投影画像を投影する。プロジェクタＢは、実線で表された投影面（枠Ｂ）に投影画像を投影する。プロジェクタＣは、一点鎖線で表された投影面（枠Ｃ）に投影画像を投影する。これらにより、図３の上方に示す大画面の映像の投影が実現する。図３の上方に示すように、プロジェクタＡとプロジェクタＢとの投影面（枠Ａ，枠Ｂ）には、重なる領域が存在する。同様に、プロジェクタＢとプロジェクタＣとの投影面（枠Ｂ，枠Ｃ）には、重なる領域が存在する。図３の下方は、枠Ａ、枠Ｂ及び枠Ｃの投影面に投影される投影画像それぞれを表している。すなわち、各プロジェクタによって投影される投影画像である。
【００２３】
本実施の形態では、人物の位置に応じてボタン画像をプロジェクタに捕捉させるため、各プロジェクタは自身が投影している投影面を撮影するとは限られず、隣接するプロジェクタが捕捉できないボタン画像を捕捉する支援を行なうことになる。他のプロジェクタで捕捉できないボタン画像の位置に向けて、自身のカメラの向きを制御するために、座標系の変換が行なわれる。以下に、座標系の変換について説明する。
【００２４】
［座標系の変換］
次に、図４を用いて、座標変換行列の算出について説明する。図４は、座標変換行列の算出例について説明する図である。
【００２５】
図４では、プロジェクタＡとプロジェクタＢとの隣接するプロジェクタ間で変換行列を算出する場合を説明する。変換行列を算出するためには、プロジェクタＡとプロジェクタＢとの対応点を４組以上利用する。この対応点をとるために、プロジェクタＡ及びプロジェクタＢの投影面が重なる領域の４隅に、マーカを付した画像を表示する。
【００２６】
例えば、プロジェクタＡの座標系をｘｙとして表す。なお、「ｘ」はプロジェクタＡの水平座標であり、「ｙ」はプロジェクタＢの垂直座標である。同様に、プロジェクタＢの座標系をｐｑとして表す。なお、「ｐ」はプロジェクタＢの水平座標であり、「ｑ」はプロジェクタＢの垂直座標である。そして、プロジェクタＡの座標系におけるマーカ「マーカ１」の座標を（ｘ１，ｙ１）とし、プロジェクタＢの座標系におけるマーカ「マーカ１」の座標を（ｐ１，ｑ１）として、図４の下方に示した数式により変換行列「Ｈ２１」を算出する。このような対応点を４組（「マーカ１」、「マーカ２」、「マーカ３」、「マーカ４」）以上利用し、それぞれ変換行列を算出する。
【００２７】
［座標変換処理シーケンス］
次に、図５を用いて、実施の形態１に係る座標変換処理について説明する。図５は、実施の形態１に係る座標変換処理の流れの例を示すシーケンス図である。
【００２８】
図５に示すように、カメラ制御部１１１は、プロジェクタ１０によって投影されたコンテンツ画像（投影画像）全体を撮影するために撮影モジュール１２０を制御する（ステップＳ１０１）。そして、カメラ制御部１１１は、撮影により得られたカメラ画像をカメラ画像記憶部１１２に保存する（ステップＳ１０２）。ここで、通信部１１９は、カメラ画像記憶部１１２に保存されたカメラ画像を、情報処理装置２０に対して送信する。座標変換部２１４は、通信部２１１を介してカメラ画像を取得し、各マーカの座標を利用して変換行列を算出する（ステップＳ１０３）。
【００２９】
［人物検出用カメラの配置］
次に、図６を用いて、実施の形態１に係る人物検出用カメラの配置について説明する。図６は、実施の形態１に係る人物検出用カメラの配置例を説明する図である。
【００３０】
図６に示すように、本実施の形態では、ジェスチャを検出するためのジェスチャ検出用カメラのうち、２台以上のカメラを利用して、人物の検出及び人物の３次元位置を推定する。２台以上のカメラを利用するわけであるが、プロジェクタのカメラはユーザによるジェスチャを検出するために投影面を撮影する用途に利用されるものであるため、好ましくは２台のカメラにより投影面の正面の人物を検出した方が良い。なお、人物検出用カメラは、投影面を撮影する用途には利用されない。
【００３１】
まず、前処理で、人物検出用カメラを指定し、投影面の正面の領域がより広く撮影可能なカメラの方向を決定する。図６の例では、プロジェクタＡとプロジェクタＥとを人物検出用カメラとすることにより、投影面の正面の領域をより広く撮影できるような方向にカメラの向きを制御する。
【００３２】
そして、カメラの画角を定めた後にカメラキャリブレーションを行ない、各人物検出用カメラのカメラパラメタを得る。かかるカメラキャリブレーションの方法に関しては、一つの様態として、３次元形状が既知の物体をカメラの撮影範囲内に配置し、３次元座標（ｘ，ｙ，ｚ）と、人物検出用カメラにおける画像座標（ｕ，ｖ）との対応関係を、６点以上取得してパラメタを計算する。なお、カメラパラメタを得ることができれば、上記の方法に限られるものではない。
【００３３】
［ボタン位置検出処理シーケンス］
次に、図７を用いて、実施の形態１に係るボタン位置検出処理について説明する。図７は、実施の形態１に係るボタン位置検出処理の流れの例を示すシーケンス図である。
【００３４】
図７に示すように、カメラ制御部１１１は、プロジェクタ１０によって投影されたコンテンツ画像（投影画像）全体を撮影するために撮影モジュール１２０を制御する（ステップＳ２０１）。そして、カメラ制御部１１１は、撮影により得られたカメラ画像をカメラ画像記憶部１１２に保存する（ステップＳ２０２）。ボタン画像認識部１１４は、カメラ画像記憶部１１２に保存されたカメラ画像を取得する（ステップＳ２０３，ステップＳ２０４）。
【００３５】
そして、ボタン画像認識部１１４は、取得したカメラ画像において、予め記憶しているボタン画像と一致する画像を探索する（ステップＳ２０５）。なお、ボタン画像は予め記憶されたものを利用せずに、ユーザが登録したボタン画像を外部から取得して利用しても良い。ボタン画像位置算出部１１６は、ボタン画像認識部１１４によって探索された、カメラ画像に含まれるボタン画像について、コンテンツ画像（投影画像）全体に対する４隅座標を算出する（ステップＳ２０６）。そして、ボタン画像位置算出部１１６は、算出したボタン画像の４隅座標を、通信部１１９を介して情報処理装置２０に送信し、ボタンリスト記憶部２１２に登録する（ステップＳ２０７）。なお、ボタン画像位置算出部１１６は、複数のボタン画像が探索された場合には各ボタン画像について４隅座標を算出する。複数のボタン画像の４隅座標は、同様に、ボタンリスト記憶部２１２に登録される。
【００３６】
［コンテンツ画像（投影画像）全体の撮影］
次に、図８を用いて、実施の形態１に係るコンテンツ画像（投影画像）全体を撮影する処理について説明する。図８は、実施の形態１に係るコンテンツ画像（投影画像）全体を撮影する処理の例を説明する図である。コンテンツ画像（投影画像）全体の撮影は、プロジェクタ１０の電源が投入されたときや、投影されるコンテンツ画像（投影画像）が切り替わったとき等に行なわれる。また、図８上段の左方は、特にカメラの方向を制御していないデフォルトの状態を表している。図８上段の左方に示すように、撮像領域３（カメラ画角）は、ボタン画像２が配置された投影画像１（コンテンツ画像）よりも小さい。
【００３７】
カメラ制御部１１１は、撮像領域３を投影画像１の左上方向に移動させるように、撮影モジュール１２０を制御することによりカメラの向きを制御する。撮影モジュール１２０は、投影画像１の左上の頂点座標を検出する。そして、カメラ制御部１１１は、検出された投影画像１の左上の頂点座標に、撮像領域３の左上の頂点が重なるように、撮影モジュール１２０を制御する。撮影モジュール１２０は、図８上段の右方に示すように、投影画像１の左上の頂点座標に、撮像領域３の左上の頂点が重なるように、撮像領域３を移動し、このときの撮像領域３を撮影してカメラ画像を生成する。生成されたカメラ画像は、カメラ画像記憶部１１２に保存される。
【００３８】
その後、カメラ制御部１１１は、図３中段の右方、図３中段の左方及び図３下段の左方に示すように、撮像領域３の右上の頂点座標に新たな撮像領域３の左上の頂点座標が重なるように、撮影モジュール１２０を制御していき、都度、撮像領域３を撮影してカメラ画像を生成する。ここでも同様に、生成されたカメラ画像は、カメラ画像記憶部１１２に保存される。
【００３９】
カメラ制御部１１１は、上記のような処理を、投影画像１の全ての頂点座標がカメラ画像に映るまで繰り返し実行する。そして、図８下段の左方に示す矢印の順序で投影画像１の撮影が行なわれることにより、投影画像１全体の撮影が完了する。投影画像１全体の撮影が完了したときには、投影画像１全体を網羅するカメラ画像がカメラ画像記憶部１１２に保存されることになる。また、図８下段の右方に示すように、カメラ制御部１１１は、投影画像１全体の撮影が完了すると、撮像領域３の位置をデフォルトの状態へ戻すように、撮影モジュール１２０を制御する。これらの処理は、前処理として行なわれるため、後に人物検出用カメラとして利用されるプロジェクタにおいても実行される。
【００４０】
［ボタンリスト記憶部］
次に、図９Ａ及び図９Ｂを用いて、ボタンリスト記憶部２１２によって記憶される情報について説明する。図９Ａは、投影面に配置されるボタン画像の例を示す図である。図９Ｂは、ボタンリスト記憶部２１２によって記憶される情報例を示す図である。
【００４１】
例えば、図８に示したコンテンツ画像全体の撮影処理により、図９Ａに示す３つのボタンが検出された場合を例に挙げる。最も大きい枠の４隅の方形は、コンテンツ画像の４隅座標を表している。また、この次に大きい枠の４隅の方形は、カメラ画角の４隅座標を表している。また、最も小さい枠の４隅の方形は、ボタン画像の４隅座標を表している。例えば、図９Ｂに示すように、「ボタンＡ」に対しては、ボタンＩＤ「Ａ」、左上座標（１００，２８０）、右上座標（１４０，２８０）、左下座標（１００，２５０）、右下座標（１４０，２５０）の情報がボタンリスト記憶部２１２に登録される。このように、ボタンリスト記憶部２１２には、投影画像の切り替わり毎等に、各プロジェクタで検出されたボタン画像に関する座標値が記憶されることになる。ボタンリスト記憶部２１２を参照することで、各投影面に配置されたボタン画像の個数や、ボタン画像の座標を把握することができる。
【００４２】
［捕捉させるボタン画像の決定］
次に、図１０を用いて、実施の形態１に係る捕捉させるボタン画像の決定処理について説明する。図１０は、実施の形態１に係る捕捉させるボタン画像の決定処理の例を示すシーケンス図である。
【００４３】
図１０に示すように、人物検出用カメラに指定されたプロジェクタにおいて、人物検出部１１５は、カメラ画像記憶部１１２を参照し、カメラ画像（撮影画像）を取得する（ステップＳ３０１，ステップＳ３０２）。そして、人物検出部１１５は、カメラ画像に含まれる人物と推定される領域を抽出し、抽出した領域の位置を復元することにより、人物を検出する（ステップＳ３０３）。続いて、人物検出部１１５は、通信部１１９を介して、検出した人物の位置を判定部２１３に対して出力する（ステップＳ３０４）。
【００４４】
判定部２１３は、ボタンリスト記憶部２１２を参照し、各プロジェクタにおけるボタン画像の座標値（ボタン情報）を取得する（ステップＳ３０５，ステップＳ３０６）。なお、上述したように、ボタンリスト記憶部２１２には、ボタン画像のＩＤ情報も記憶されているため、投影面に配置されているボタン画像の個数もわかる。プロジェクタのカメラの数は限られているため、最大でカメラの台数分のボタン画像を捕捉させたい。そして、判定部２１３は、取得したボタン画像の座標値と、人物検出部１１５によって検出された人物の位置とをもとに、捕捉するボタン画像を決定する（ステップＳ３０７）。また、判定部２１３は、どのプロジェクタのカメラに、何れのボタン画像を捕捉させるかを決定する（ステップＳ３０８）。
【００４５】
［人物の検出］
次に、図１１を用いて、実施の形態１に係る人物の検出処理について説明する。図１１は、実施の形態１に係る人物の検出処理の例を説明する図である。
【００４６】
図１１では、プロジェクタＡ〜プロジェクタＥの５台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、これらのプロジェクタのうち、プロジェクタＡとプロジェクタＥとが、人物検出用カメラ（人物検出用カメラＡ、人物検出用カメラＢ）としてそれぞれ指定されたものとする。例えば、人物検出用カメラＡによって撮影された撮影画像と、人物検出用カメラＢによって撮影された撮影画像とから、人物領域を抽出し、人物の３次元位置を復元する。なお、以下で説明する方法は一例であり、キャリブレーション済みの複数視点の静止画から、３次元位置を求める方法であれば何れの方法であっても良い。
【００４７】
まず、各人物検出用カメラの撮影画像に対して、背景差分法により移動物体を抽出する。次に、ラベリング処理を行ない、背景差分法によって得られた複数の領域の中から一定の面積以上のオブジェクトを抽出する。続いて、抽出された各オブジェクトに対して、その領域の重心座標を算出する。また、抽出された各オブジェクトに対して、人物検出用カメラＡによって撮影された撮影画像中のどのオブジェクトが、人物検出用カメラＢによって撮影された撮影画像中のどのオブジェクトに対応するのかの対応関係を得る。例えば、対応のとり方については、画像中の明度を比較したり、特徴点を比較したりする。これらの処理によって得られた重心座標や対応関係、前処理のカメラキャリブレーションで算出したカメラパラメタ等を用いて、人物の３次元位置を推定する。
【００４８】
［捕捉させるボタン画像を決定する処理］
次に、図１２を用いて、実施の形態１に係る捕捉させるボタン画像を決定する処理について説明する。図１２は、実施の形態１に係る捕捉させるボタン画像を決定する処理の流れの例を示すフローチャートである。
【００４９】
図１２に示すように、判定部２１３は、ユーザによるジェスチャを認識するために使用されるカメラの台数を把握する（ステップＳ４０１）。ジェスチャを認識するカメラの台数は、人物検出用カメラとして利用されないプロジェクタの数である。そして、判定部２１３は、人物検出部１１５によって検出された人物の位置や、ボタンリスト記憶部２１２に記憶されたボタン画像の座標値等をもとに、人物の位置に最も近いボタン画像を特定し、特定したボタン画像を基準のボタン画像とする（ステップＳ４０２）。
【００５０】
続いて、判定部２１３は、ボタンリスト記憶部２１２に記憶されたボタン画像の座標値を用いて、基準としたボタン画像から、他の全てのボタン画像までの距離を算出する（ステップＳ４０３）。その後、判定部２１３は、基準としたボタン画像からの距離が短い順に、ジェスチャを認識するカメラの台数分のボタン画像を特定し、特定したボタン画像を捕捉させるボタン画像として決定する（ステップＳ４０４）。
【００５１】
［捕捉させるボタン画像を決定する具体例］
次に、図１３を用いて、実施の形態１に係る捕捉させるボタン画像を決定する具体例について説明する。図１３は、実施の形態１に係る捕捉させるボタン画像を決定する具体例を説明する図である。
【００５２】
図１３では、プロジェクタＡ〜プロジェクタＤの４台によってマルチ投影を実現する場合を例に挙げる。このとき、プロジェクタＡとプロジェクタＤとは、人物検出用カメラに指定されるものとする。また、プロジェクタＢによって投影画像が投影される投影面Ｂには、３つのボタン画像（ボタンＢ１，ボタンＢ２，ボタンＢ３）が配置されている。また、プロジェクタＣによって投影画像が投影される投影面Ｃには、１つのボタン（ボタンＣ４）が配置されている。
【００５３】
上述した状態において、情報処理装置２０は、プロジェクタＡ〜プロジェクタＤの４台のうち、プロジェクタＡとプロジェクタＤとの２台が人物検出用カメラに指定されているため、ジェスチャの認識（検出）のために利用されるプロジェクタは２台であることを把握する。そして、情報処理装置２０は、プロジェクタＡやプロジェクタＤによって検出された人物の位置に最も近いボタンを判定する。ここでは、ボタンＢ３が該当する。情報処理装置２０は、ボタンＢ３を基準となるボタン画像とする。
【００５４】
続いて、情報処理装置２０は、ボタンリスト記憶部２１２に記憶された各ボタン画像の座標値をもとに、基準となるボタンＢ３から各ボタン画像までの距離を算出する。このとき、各投影面で座標系が異なっているため、例えば投影面Ｂの座標系に各ボタン画像の座標を変換したうえで距離を算出する。その後、情報処理装置２０は、ボタンＢ３からの距離が短い順に、ジェスチャの認識のために利用されるプロジェクタの台数（２台）分のボタン画像（ボタンＣ４，ボタンＢ２）を、捕捉させるボタン画像として決定する。
【００５５】
［ボタン画像を捕捉するプロジェクタの決定］
次に、図１４を用いて、実施の形態１に係るボタン画像を捕捉するプロジェクタの決定処理について説明する。図１４は、実施の形態１に係るボタン画像を捕捉するプロジェクタの決定処理の流れの例を示すフローチャートである。なお、図１４では、捕捉するボタン画像を特定した後に、どのカメラに何れのボタン画像を捕捉させるかを決定する場合を説明する。
【００５６】
図１４に示すように、判定部２１３は、捕捉対象のボタン画像のうち、座標が最も左側に位置するボタン画像を抽出する（ステップＳ５０１）。そして、判定部２１３は、最も左側に配置されているジェスチャ検出用カメラを、抽出されたボタン画像に向けることを決定する（ステップＳ５０２）。ここで、判定部２１３は、抽出されたボタン画像を表示しているプロジェクタのカメラに捕捉させようとしているか否かを判定する（ステップＳ５０３）。すなわち、ボタン画像を捕捉させるカメラを決定した段階で、このカメラを搭載したプロジェクタが、自身が投影している投影面に配置されているボタン画像を捕捉しようとしていなければ、座標変換を実行する必要がある。
【００５７】
このとき、判定部２１３は、抽出されたボタン画像を表示しているプロジェクタのカメラに捕捉させようとしていない場合に（ステップＳ５０３：Ｎｏ）、座標の変換を行なう（ステップＳ５０４）。一方、判定部２１３は、抽出されたボタン画像を表示しているプロジェクタのカメラに捕捉させようとしている場合に（ステップＳ５０３：Ｙｅｓ）、座標変換を行なわなくて良いため、ステップＳ５０５の処理を実行する。
【００５８】
そして、判定部２１３は、ボタン画像を捕捉しないカメラが存在するか否かを判定する（ステップＳ５０５）。ここで、判定部２１３は、ボタン画像を捕捉しないカメラが存在しないのであれば（ステップＳ５０５：Ｎｏ）、これ以上捕捉できるカメラがないため、処理を終了する。また、判定部２１３は、ボタン画像を捕捉しないカメラが存在する場合に（ステップＳ５０５：Ｙｅｓ）、捕捉すると特定されたボタン画像全てを捕捉できているか否かを判定する（ステップＳ５０６）。そして、判定部２１３は、捕捉すると特定されたボタン画像全てを捕捉できていれば（ステップＳ５０６：Ｙｅｓ）、これ以上捕捉できるボタン画像がないため、処理を終了する。また、判定部２１３は、捕捉すると特定されたボタン画像全てを捕捉できていなければ（ステップＳ５０６：Ｎｏ）、ステップＳ５０１の処理を再度実行し、他のボタン画像をどのカメラに捕捉させるかを決定していく。
【００５９】
［座標変換の例］
次に、図１５を用いて、実施の形態１に係る隣接するプロジェクタにボタン画像を捕捉させる際の座標変換について説明する。図１５は、実施の形態１に係る隣接するプロジェクタにボタン画像を捕捉させる際の座標変換の例を説明する図である。図１５では、プロジェクタＢの投影面上に配置されたボタン画像「ボタン１」の捕捉を、プロジェクタＡに行なわせる状況を例に挙げる。
【００６０】
図１５に示すように、実線はプロジェクタＡの投影面を表しており、破線はプロジェクタＢの投影面を表している。また、プロジェクタＢの座標系において、「ボタン１」の座標は（３０，２５）である。この「ボタン１」の座標について、プロジェクタＡの座標系に変換するために変換行列を用いる。変換の結果として、プロジェクタＡの座標系において、「ボタン１」の座標は（５０，２５）となる。これにより、プロジェクタＡは、座標（５０，２５）に向けてカメラの向きを制御することにより、「ボタン１」を撮影する。
【００６１】
なお、プロジェクタＡの投影面上に配置されたボタン画像をプロジェクタＢが支援する場合には、プロジェクタＢの座標系において、支援するボタン画像のｘ座標が負で表現されることも有り得る。また、上記の例では、説明の簡略化のために、ボタン画像の中心位置（重心）の座標を変換した場合を説明したが、実際にはボタン画像の４隅座標それぞれについて変換処理を行なう。
【００６２】
［カメラ動作の移動先の位置決定フロー］
次に、図１６を用いて、実施の形態１に係るカメラ動作の移動先の位置決定処理について説明する。図１６は、実施の形態１に係るカメラ動作の移動先の位置決定処理の流れの例を示すフローチャートである。図１６に示す位置決定処理は、ボタン画像位置算出部１１６にてボタン画像の４隅座標が算出され、撮像領域位置算出部１１３にてカメラ画角の４隅座標が算出された場合に開始される。
【００６３】
図１６に示すように、カメラ動作位置決定部１１７は、ボタン画像の４隅座標を取得する（ステップＳ６０１）。また、カメラ動作位置決定部１１７は、カメラ画角の４隅座標を取得する（ステップＳ６０２）。そして、カメラ動作位置決定部１１７は、ボタン画像の４隅座標が、全てカメラ画角の４隅座標内にあるか否かを判定する（ステップＳ６０３）。
【００６４】
このとき、カメラ動作位置決定部１１７は、ボタン画像の４隅座標が、全てカメラ画角の４隅座標内にない場合に（ステップＳ６０３：Ｎｏ）、ボタン画像の座標の中点座標（重心）を算出する（ステップＳ６０４）。また、カメラ動作位置決定部１１７は、カメラ画角の座標の中点座標（重心）を算出する（ステップＳ６０５）。そして、カメラ動作位置決定部１１７は、ボタン画像の中点座標と、カメラ画角の中点座標との距離を算出する（ステップＳ６０６）。ここで算出された距離は、カメラによる撮像領域の移動量となる。これらにより、カメラ動作位置決定部１１７は、算出した距離を、カメラ動作の移動先の位置として決定する（ステップＳ６０７）。一方、カメラ動作位置決定部１１７は、ボタン画像の４隅座標が、全てカメラ画角の４隅座標内にある場合に（ステップＳ６０３：Ｙｅｓ）、特にカメラ動作をさせなくて良いため、撮像領域を移動させないことを決定する（ステップＳ６０８）。
【００６５】
ここで、図１６に示したステップＳ６０３における処理の一例を説明する。以下のように、各頂点座標について比較すれば良い。
【００６６】
左下の頂点座標の比較。
「ボタン画像の左下の頂点のｘ座標＜カメラ画角の左下の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の左下の頂点のｘ座標＜＝ボタン画像の左下の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「ボタン画像の左下の頂点のｙ座標＜カメラ画角の左下の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の左下の頂点のｙ座標＜＝ボタン画像の左下の頂点のｙ座標」であれば、判定できないため、次の比較を行なう。
【００６７】
左上の頂点座標の比較。
「ボタン画像の左上の頂点のｘ座標＜カメラ画角の左上の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の左上の頂点のｘ座標＜＝ボタン画像の左上の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「カメラ画角の左上の頂点のｙ座標＜ボタン画像の左上の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の左上の頂点のｙ座標＜＝カメラ画角の左上の頂点のｙ座標」であれば、判定できないため、次の比較を行なう。
【００６８】
右下の頂点座標の比較。
「カメラ画角の右下の頂点のｘ座標＜ボタン画像の右下の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の右下の頂点のｘ座標＜＝カメラ画角の右下の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「ボタン画像の右下の頂点のｙ座標＜カメラ画角の右下の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の右下の頂点のｙ座標＜＝ボタン画像の右下の頂点のｙ座標」であれば、判定できないため、次の比較を行なう。
【００６９】
右上の頂点座標の比較。
「カメラ画角の右上の頂点のｘ座標＜ボタン画像の右上の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の右上の頂点のｘ座標＜＝カメラ画角の右上の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「カメラ画角の右上の頂点のｙ座標＜ボタン画像の右上の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の右上の頂点のｙ座標＜＝カメラ画角の右上の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていることになる。
【００７０】
ここで、ステップＳ６０４〜ステップＳ６０７における処理の一例を説明する。以下のように、各頂点座標からｘ方向とｙ方向との中点をそれぞれ求めることにより重心となる中点座標を求め、求めた中点座標間を移動するための値を算出する。
【００７１】
ボタン画像の中点座標。
「ｘ座標＝
（ボタン画像の左下の頂点のｘ座標＋ボタン画像の右上の頂点のｘ座標）÷２」
「ｙ座標＝
（ボタン画像の左下の頂点のｙ座標＋ボタン画像の右上の頂点のｙ座標）÷２」
【００７２】
現在のカメラ画角の中点座標。
「ｘ座標＝
（カメラ画角の左下の頂点のｘ座標＋カメラ画角の右上の頂点のｘ座標）÷２」
「ｙ座標＝
（カメラ画角の左下の頂点のｙ座標＋カメラ画角の右上の頂点のｙ座標）÷２」
【００７３】
算出される距離（移動量）。
「ｘ座標＝
ボタン画像の中点座標のｘ座標−現在のカメラ画角の中点座標のｘ座標」
「ｙ座標＝
ボタン画像の中点座標のｙ座標−現在のカメラ画角の中点座標のｙ座標」
【００７４】
［カメラ動作の移動先の具体例］
次に、図１７を用いて、実施の形態１に係るカメラ動作の移動先について説明する。図１７は、実施の形態１に係るカメラ動作の移動先の具体例を説明する図である。
【００７５】
図１７上段に示した例において、ボタン画像２の各頂点座標は、（１，９）、（１，１１）、（５，９）、（５，１１）である。同様に、撮像領域３（カメラ画角）の各頂点座標は、（６，４）、（６，８）、（１２，４）、（１２，８）である。投影画像１（コンテンツ画像）は、上記の各頂点を有するボタン画像２と撮像領域３とを含んでいる。
【００７６】
上述した状態において、カメラ動作位置決定部１１７は、撮像領域３の各頂点座標から、現在の撮像領域３の重心となる中点座標（９，６）を算出する。図１７において、撮像領域３の中点座標は、黒四角で表している。また、カメラ動作位置決定部１１７は、ボタン画像２の各頂点座標から、ボタン画像２の重心となる中点座標（３，１０）を算出する。図１７において、ボタン画像２の中点座標は、黒丸で表している。
【００７７】
そして、カメラ動作位置決定部１１７は、現在の撮像領域３の中点座標（９，６）から、ボタン画像２の中点座標（３，１０）への移動量を算出する。かかる移動量の算出では、「ｘ方向＝３−９＝−６」、「ｙ方向＝１０−６＝＋４」となるので、現在の撮像領域３をｘ方向に「−６」移動させ、ｙ方向に「＋４」移動させる移動量「（−６，＋４）」が得られる。カメラ動作位置決定部１１７は、現在の撮像領域３をｘ方向に「−６」移動させ、ｙ方向に「＋４」移動させるための移動量「（−６，＋４）」を決定する。これらにより、図１７下段に示すように、ボタン画像２の中点座標となる座標に、撮像領域３の中点座標となる座標が重なった移動結果が得られる。
【００７８】
［カメラの向きを決定する具体例（１）］
次に、図１８を用いて、人物が複数検出された場合の投影面と人物との距離に応じたカメラの向きの決定について説明する。図１８は、人物が複数検出された場合の投影面と人物との距離に応じたカメラの向きの決定例について説明する図である。なお、図１８では、プロジェクタＡ〜プロジェクタＤを示しているが、説明の簡略化のために、人物検出用カメラを有するプロジェクタの図示は省略している。
【００７９】
例えば、図１８に示すように、投影面Ｂと投影面Ｄの付近に、人物がそれぞれ検出されたときに、プロジェクタＣのカメラに、ボタンＢ２とボタンＤ１との何れを捕捉させるかについて説明する。まず、検出された各人物と投影面との距離を算出する。そして、投影面との距離がより近い人物を特定する。図１８の例では、投影面Ｂの付近に検出された人物の方が、投影面との距離がより近い。これにより、投影面との距離がより近い人物が、実際にポインティング操作を行なう（行なっている）ものとして、プロジェクタＣにはボタンＢ２を捕捉させるように決定する。
【００８０】
［カメラの向きを決定する具体例（２）］
次に、図１９を用いて、人物が複数検出された場合の検出された人数に応じたカメラの向きの決定について説明する。図１９は、人物が複数検出された場合の検出された人数に応じたカメラの向きの決定例について説明する図である。なお、図１９においても、人物検出用カメラを有するプロジェクタの図示は省略している。
【００８１】
例えば、図１９に示すように、投影面Ｂの付近に２人、投影面Ｄの付近に１人の人物がそれぞれ検出されたときに、プロジェクタＣのカメラに、ボタンＢ２とボタンＤ１との何れを捕捉させるかについて説明する。まず、各投影面の付近に検出された人物の人数を取得する。そして、検出された人物の人数がより多い方の投影面に配置されたボタンを優先して捕捉させるようにカメラの向きを制御する。図１９の例では、投影面Ｂの付近に検出された人数の方が投影面Ｄの付近に検出された人数よりも多い。これにより、投影面Ｂに配置されたボタンＢ２をプロジェクタＣに捕捉させるように決定する。
【００８２】
［カメラの向きを決定する具体例（３）］
次に、図２０を用いて、人物が複数検出された場合の操作履歴に応じたカメラの向きの決定について説明する。図２０は、人物が複数検出された場合の操作履歴に応じたカメラの向きの決定例について説明する図である。なお、図２０においても、人物検出用カメラを有するプロジェクタの図示は省略している。
【００８３】
例えば、図２０に示すように、投影面Ｂの付近に１人、投影面Ｄの付近に１人の人物がそれぞれ検出されたときに、プロジェクタＣのカメラに、ボタンＢ２とボタンＤ１との何れを捕捉させるかについて説明する。まず、直前にユーザによってジェスチャが行なわれたボタン画像の座標を取得する。そして、取得した座標と、現在投影されている投影画像において捕捉すべきボタン画像の候補の座標とを比較し、直前に行なわれたジェスチャの操作対象のボタン画像の座標に最も近い位置のボタン画像を抽出する。続いて、抽出したボタン画像を優先して捕捉させるようにカメラの向きを制御する。図２０の例では、直前のジェスチャによる操作対象がボタンＢ２に最も近いことから、プロジェクタＣには投影面Ｂに配置されたボタンＢ２を捕捉させるように決定する。
【００８４】
［カメラの向きを決定する具体例（４）］
次に、図２１を用いて、人物が複数検出された場合の次の投影画像に配置されたボタン画像の位置に応じたカメラの向きの決定について説明する。図２１は、人物が複数検出された場合の次の投影画像に配置されたボタン画像の位置に応じたカメラの向きの決定例について説明する図である。なお、図２１においても、人物検出用カメラを有するプロジェクタの図示は省略している。
【００８５】
例えば、図２１に示すように、投影面Ｂの付近に１人、投影面Ｄの付近に１人の人物がそれぞれ検出されたときに、プロジェクタＣのカメラに、ボタンＢ１とボタンＤ１との何れを捕捉させるかについて説明する。まず、現在の投影画像（スライド）の次に投影予定の投影画像に配置されたボタン画像の位置を参照し、次の投影画像に対するカメラの向きの制御を予測する。そして、次の投影画像に対してカメラの向きが定まる場合には、その向きに最も近い位置に存在する、現在の投影画像に配置されたボタン画像を優先して捕捉させるようにカメラの向きを制御する。図２１の例では、次の投影画像の投影面Ｂにはボタン画像が配置されていないため、投影面Ｄに配置されたボタンＤ１’にカメラの向きが定まると考えられる。これにより、プロジェクタＣには、ボタンＤ１’に最も近いボタンＤ１を捕捉させるように決定する。
【００８６】
［捕捉させるボタン画像の優先方法を選択］
次に、図２２を用いて、捕捉させるボタン画像の優先方法をユーザに選択させる場合を説明する。図２２は、捕捉させるボタン画像の優先方法をユーザに選択させる場合の例を示す図である。
【００８７】
図２２に示すように、ユーザは、「人物の投影面の距離を優先」、「検出した人物の人数を優先」、「履歴情報を優先」、「次のスライドの情報を優先」といった項目の中から、何れかの方法を選択できる。これらの方法は、図１８〜図２１において説明した内容と対応する。具体的には、「人物の投影面の距離を優先」は図１８に対応し、「検出した人物の人数を優先」は図１９に対応し、「履歴情報を優先」は図２０に対応し、「次のスライドの情報を優先」は図２１に対応する。これにより、ユーザが好ましいと感じるボタン画像の操作を実現できる。
【００８８】
［利用しないカメラの電源切断］
次に、図２３を用いて、利用しないカメラの電源を切断する場合について説明する。図２３は、利用しないカメラの電源を切断する状況例を説明する図である。
【００８９】
図２３では、プロジェクタＡ〜プロジェクタＦの６台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。これらのプロジェクタのうち、プロジェクタＡとプロジェクタＦとは、人物検出用カメラとして利用される。
【００９０】
上述した状態において、投影面Ｂの付近に人物が検出されていることから、ボタンＢ１とボタンＣ１とに対して、プロジェクタＢとプロジェクタＣとのカメラそれぞれを向ける制御を行なう。ここで、プロジェクタＤとプロジェクタＥとについても、ボタンＤ１とボタンＥ１とを捕捉させても良いが、人物が検出された投影面Ｂから一定距離以上離れているため、検出された人物がこのときにボタンＤ１やボタンＥ１を操作することは考えにくい。これにより、ボタンＤ１とボタンＥ１とを捕捉するプロジェクタＤとプロジェクタＥとのカメラの電源については切断しても良い。この結果、省電力を実現することができる。
【００９１】
［利用しないカメラの電源を切断する処理］
次に、図２４を用いて、利用しないカメラの電源を切断する処理について説明する。図２４は、利用しないカメラの電源を切断する処理の流れの例を示すフローチャートである。各プロジェクタにおいて、以下の処理に基づきカメラの電源を切断する。
【００９２】
図２４に示すように、プロジェクタ１０は、自身が人物検出用のカメラであるか否かを判定する（ステップＳ７０１）。そして、プロジェクタ１０は、自身が人物検出用のカメラでないと判定した場合に（ステップＳ７０１：Ｎｏ）、検出した人物の位置から所定距離以内の位置のプロジェクタであるか否かを判定する（ステップＳ７０２）。ここで、所定距離とは、事前に定めたパラメタを意味する。所定距離以内の位置のプロジェクタ１０であれば、人物が移動してきてジェスチャを行なう可能性があるため、カメラの電源を切断することは好ましくない。
【００９３】
プロジェクタ１０は、検出した人物の位置から所定距離以内の位置のプロジェクタでない場合に（ステップＳ７０２：Ｎｏ）、自身に搭載されたカメラの電源を切断する（ステップＳ７０３）。また、全てのカメラに対して所定距離以内の位置のプロジェクタか否かを確認させ（ステップＳ７０４：Ｙｅｓ）、処理を終了する。また、全てのカメラに対して確認していない場合には（ステップＳ７０４：Ｎｏ）、他のプロジェクタに対してステップＳ７０１の処理が実行される。また、自身が人物検出用のカメラである場合や（ステップＳ７０１：Ｙｅｓ）、所定距離以内の位置のプロジェクタである場合には（ステップＳ７０２：Ｙｅｓ）、ステップＳ７０４の処理が実行される。
【００９４】
［ボタン画像の統合］
次に、図２５Ａ及び図２５Ｂを用いて、ボタン画像を統合する場合を説明する。図２５Ａ及び図２５Ｂは、ボタン画像を統合する例を説明する図である。ボタン画像の統合は、捕捉させたいボタン画像の個数に、プロジェクタの台数が満たない場合に、操作可能な位置のボタン画像に操作不可能な位置のボタン画像を統合するというものである。なお、図２５Ａはボタン画像の統合前の状態を表し、図２５Ｂはボタン画像の統合後の状態を表している。
【００９５】
図２５Ａでは、プロジェクタＡ〜プロジェクタＥの５台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、プロジェクタＡとプロジェクタＥとは、人物検出用カメラとして使用されるものとする。投影面Ｂには、ボタンＢ１とボタンＢ２との２つのボタン画像が配置されており、付近に人物が検出されている。投影面Ｄには、ボタンＤ１とボタンＤ２との２つのボタン画像が配置されている。このため、ボタン画像を捕捉するカメラ台数が３台であり、４つのボタン画像全てを捕捉することができない。例えば、ボタンＤ１は捕捉の対象から外れている。そこで、図２５Ｂに示すように、ボタンＤ１が有する機能をボタンＤ２の位置に移動させる。そして、ボタンＤ１の表示を削除する。これらにより、カメラの台数不足のために、捕捉できないボタン画像が発生することを抑制できる。
【００９６】
［ボタン画像を統合する具体例（１）］
次に、図２６を用いて、ボタン画像を統合する方法について説明する。図２６は、ボタン画像を統合する方法の例を説明する図である。なお、図２５Ａに示したボタンＤ１を、ボタンＤ２の位置に統合する場合を例に挙げる。
【００９７】
図２６に示すように、元々のボタンＤ２の領域を２つに分割し、一方をボタンＤ１が有する機能とし、もう一方をボタンＤ２が有する機能とする。このようにしてボタン画像を統合する。上述したように、元々のボタンＤ１の領域からは該ボタンＤ１を削除する。また、ボタン画像ｎ個を統合する場合には、統合先のボタン画像の領域の面積をｎ分割する等して、分割された各領域に各ボタン画像の機能を付せば良い。
【００９８】
［ボタン画像を統合する具体例（２）］
次に、図２７を用いて、ボタン画像を統合する方法について説明する。図２７は、ボタン画像を統合する方法の例を説明する図である。なお、図２５Ａに示したボタンＤ１を、ボタンＤ２の位置に統合する場合を例に挙げる。
【００９９】
図２７に示すように、元々のボタンＤ２の位置に、ボタンＤ１及びボタンＤ２の機能を兼ねるボタンＤ（「ボタンＤ１／Ｄ２」といった表示でも良い）を生成する。そして、ユーザがボタンＤに対してジェスチャを行なう場合に、副次的にボタンＤ１及びボタンＤ２の各機能を示すボタン画像を任意の方向に展開するようにする。ユーザは、操作したい機能のボタン画像に対してジェスチャを行なえば良い。なお、ボタン画像を展開させる場合には、カメラ画角内に収まるように展開させる。
【０１００】
［ボタン画像の統合方法を選択］
次に、図２８を用いて、ボタン画像の統合方法をユーザに選択させる場合を説明する。図２８は、ボタン画像の統合方法をユーザに選択させる場合の例を示す図である。
【０１０１】
図２８に示すように、ユーザは、「ボタンを細分化する」、「ボタンをフリック入力にする」といった項目の中から、何れかの方法を選択できる。これらの方法は、図２６及び図２７において説明した内容と対応する。具体的には、「ボタンを細分化する」は図２６に対応し、「ボタンをフリック入力にする」は図２７に対応する。これにより、ユーザが好ましいと感じるボタン画像の統合を実現できる。
【０１０２】
［実施の形態１による効果］
情報処理装置２０は、投影面に対する所定領域に存在する人物の位置情報や、投影面に投影された投影画像に配置されたボタン画像の座標値及び個数をもとに、どのプロジェクタ１０のカメラに何れのボタン画像を捕捉させるのかを判定する。また、情報処理装置２０は、捕捉させるボタン画像の座標系を、投影面ごとに異なる座標系に合わせて変換する。これらの結果、ボタン画像等の操作対象に対するユーザによるジェスチャの操作性を向上させることができる。
【０１０３】
（実施の形態２）
さて、これまで本発明に係るプロジェクタ１０、情報処理装置２０の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）構成、（２）プログラム、について異なる実施の形態を説明する。
【０１０４】
（１）構成
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した各装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
【０１０５】
例えば、情報処理装置２０は、ＣＰＵ等の制御装置と、ＲＯＭやＲＡＭ等の記憶装置と、ネットワークに接続して通信を行なう通信Ｉ／Ｆと、各部を接続するバスを備えている。また、情報処理装置２０の各部は、ハードウェア回路、ソフトウェア（プログラム）の何れで実現されても良い。
【０１０６】
また、例えば、上記実施の形態では全てのプロジェクタに接続された情報処理装置に各プロジェクタの制御を行なわせる場合を説明したが、各プロジェクタが上述してきた各種処理を実行するようにしても良い。また、図２に示した人物検出部１１５は、情報処理装置２０の協調動作制御モジュール２１０に含まれていても良い。
【０１０７】
［システム構成］
図２９は、実施の形態２に係る投影システムの構成について説明する。図２９は、実施の形態２に係る投影システムの構成例を示す図である。
【０１０８】
図２９に示すように、実施の形態２に係る投影システムは、実施の形態１に係る投影システムとは異なり、情報処理装置を含まない。具体的には、複数のプロジェクタ間で通信を行ない、検出された人物の位置に応じて捕捉するボタン画像を決定し、カメラの向きを制御するといったものである。
【０１０９】
［実施の形態２に係る装置構成］
次に、図３０を用いて、実施の形態２に係る装置構成を説明する。図３０は、実施の形態２に係る装置構成例を示す機能ブロック図である。なお、図３０では、実施の形態１と同様の機能ブロックについては同一の符号を付している。実施の形態１に係る機能ブロックの処理とは異なる機能ブロックについて説明する。
【０１１０】
図３０に示すように、プロジェクタ１０は、ポインティング操作検出モジュール１１０と、撮影モジュール１２０と、投影モジュール１３０と、協調動作制御モジュール２１０とを有する。
【０１１１】
これらのうち、ポインティング操作検出モジュール１１０は、カメラ制御部１１１と、カメラ画像記憶部１１２と、撮像領域位置算出部１１３と、ボタン画像認識部１１４と、ボタン画像位置算出部１１６と、カメラ動作位置決定部１１７と、ポインティング操作検出部１１８とを有する。また、協調動作制御モジュール２１０は、通信部２１１と、ボタンリスト記憶部２１２と、判定部２１３と、座標変換部２１４と、人物検出部１１５とを有する。基本的には、各機能ブロックによる処理は実施の形態１と同様である。
【０１１２】
例えば、ポインティング操作検出モジュール１１０には、通信部１１９が含まれない。これは、プロジェクタ１０が協調動作制御モジュール２１０を含んでいるため、外部の情報処理装置２０に対して各種情報を送受する必要がないからである。各プロジェクタ間の通信は、通信部２１１によって行なう。また、人物検出部１１５は、協調動作制御モジュール２１０に含めている。実施の形態１と異なる処理を、以下の図３１及び図３２で説明する。
【０１１３】
［捕捉させるボタン画像の決定］
図３１は、実施の形態２に係る捕捉させるボタン画像の決定処理の例を示すシーケンス図である。図３１に示すように、人物検出用カメラに指定されたプロジェクタにおいて、人物検出部１１５は、カメラ画像記憶部１１２を参照し、カメラ画像（撮影画像）を取得する（ステップＳ８０１，ステップＳ８０２）。そして、人物検出部１１５は、カメラ画像から人物領域を抽出し、その位置を復元し、復元した位置に最も近いプロジェクタを判断する（ステップＳ８０３）。続いて、人物検出部１１５は、通信部２１１を介して、検出された位置に最も近いプロジェクタに対して、人物が検出されたことを通知する（ステップＳ８０４，ステップＳ８０５）。
【０１１４】
また、検出された人物に最も近いプロジェクタにおいて、判定部２１３は、通信部２１１を介して、人物が検出されたことの通知を受け付ける（ステップＳ８０６）。そして、判定部２１３は、ボタンリスト記憶部２１２に記憶されたボタン情報を取得し（ステップＳ８０７，ステップＳ８０８）、通知された検出された人物の位置情報と、ボタン画像の個数や座標値とをもとに、何れのボタン画像を優先して捕捉するかを判定し、捕捉するボタン画像を決定する（ステップＳ８０９）。その後、判定部２１３は、どのカメラが何れのボタン画像を捕捉するかを決定する（ステップＳ８１０）。
【０１１５】
［捕捉するボタン画像を決定する処理］
図３２は、実施の形態２に係る捕捉するボタン画像を決定する処理の流れの例を示すフローチャートである。図３２に示すように、判定部２１３は、ユーザによるジェスチャを認識するために使用できるカメラ台数を把握する（ステップＳ９０１）。例えば、５台のプロジェクタによりマルチ投影を実現している場合、２台を人物検出用カメラとして利用しているため、３台がジェスチャの認識に使用できるカメラ台数となる。そして、判定部２１３は、ボタンリスト記憶部２１２を参照し、自身の投影面に配置されたボタン画像の個数を取得する（ステップＳ９０２）。例えば、自身の投影面に配置されたボタン画像の個数は２個であるものとする。
【０１１６】
続いて、判定部２１３は、使用できるカメラ台数がボタン画像の個数よりも多いか否かを判定する（ステップＳ９０３）。このとき、判定部２１３は、使用できるカメラ台数がボタン画像の個数よりも多い場合に（ステップＳ９０３：Ｙｅｓ）、通信部２１１を介して、隣接するプロジェクタのボタンリスト記憶部２１２に記憶されているボタン情報を取得し、自身の投影面に最も近いボタン画像の情報を取得する（ステップＳ９０４）。例えば、現状、３台のカメラで２個のボタン画像を捕捉しようとしているため、このときはステップＳ９０４の処理が実行される。また、ステップＳ９０４では、例えば、右方向に隣接するプロジェクタの投影面に配置されたボタン画像のうち最もｘ座標が小さいものと、左方向に隣接するプロジェクタの投影面に配置されたボタン画像のうち最もｘ座標が大きいものとを抽出する。そして、これらの座標から、自身に最も近いボタン画像が右方向、左方向何れのプロジェクタの投影面に配置されているかを判定する。続いて、自身に最も近いボタン画像を投影しているプロジェクタから、該ボタン画像のボタン情報を取得する。この後、ステップＳ９０３の処理を実行する。
【０１１７】
再度、ステップＳ９０３の処理において、判定部２１３は、使用できるカメラ台数がボタン画像の個数よりも多いか否かを判定する（ステップＳ９０３）。ここで、現在、３台のカメラで３個のボタン画像を捕捉しようとしているため、このときはステップＳ９０５の処理が実行される。そして、判定部２１３は、使用できるカメラ台数がボタン画像の個数以下である場合に（ステップＳ９０３：Ｎｏ）、ボタン情報を取得済みであるボタン画像を捕捉するボタン画像として決定する（ステップＳ９０５）。すなわち、自身の投影面のボタン画像２個と、自身に最も近いボタン画像１個とを捕捉することを決定する。
【０１１８】
（２）プログラム
また、投影システムで実行される制御プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、制御プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。
【０１１９】
投影システムで実行される制御プログラムは、上述した各部（判定部２１３、座標変換部２１４）を少なくとも含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から制御プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、判定部２１３、座標変換部２１４が主記憶装置上に生成されるようになっている。
【符号の説明】
【０１２０】
１０  プロジェクタ
１１０  ポインティング操作検出モジュール
１１１  カメラ制御部
１１２  カメラ画像記憶部
１１３  撮像領域位置算出部
１１４  ボタン画像認識部
１１５  人物検出部
１１６  ボタン画像位置算出部
１１７  カメラ動作位置決定部
１１８  ポインティング操作検出部
１１９  通信部
１２０  撮影モジュール
１３０  投影モジュール
２０  情報処理装置
２１０  協調動作制御モジュール
２１１  通信部
２１２  ボタンリスト記憶部
２１３  判定部
２１４  座標変換部
【先行技術文献】
【特許文献】
【０１２１】
【特許文献１】特開２００８−００３８０２号公報
【図１】
2015060011.tif 000003
【図２】
2015060011.tif 000004
【図３】
2015060011.tif 000005
【図４】
2015060011.tif 000006
【図５】
2015060011.tif 000007
【図６】
2015060011.tif 000008
【図７】
2015060011.tif 000009
【図８】
2015060011.tif 000010
【図９Ａ】
2015060011.tif 000011
【図９Ｂ】
2015060011.tif 000012
【図１０】
2015060011.tif 000013
【図１１】
2015060011.tif 000014
【図１２】
2015060011.tif 000015
【図１３】
2015060011.tif 000016
【図１４】
2015060011.tif 000017
【図１５】
2015060011.tif 000018
【図１６】
2015060011.tif 000019
【図１７】
2015060011.tif 000020
【図１８】
2015060011.tif 000021
【図１９】
2015060011.tif 000022
【図２０】
2015060011.tif 000023
【図２１】
2015060011.tif 000024
【図２２】
2015060011.tif 000025
【図２３】
2015060011.tif 000026
【図２４】
2015060011.tif 000027
【図２５Ａ】
2015060011.tif 000028
【図２５Ｂ】
2015060011.tif 000029
【図２６】
2015060011.tif 000030
【図２７】
2015060011.tif 000031
【図２８】
2015060011.tif 000032
【図２９】
2015060011.tif 000033
【図３０】
2015060011.tif 000034
【図３１】
2015060011.tif 000035
【図３２】
2015060011.tif 000036