(57)【要約】【課題】投影装置に対するユーザ操作の検出精度を向上させることを課題とする。【解決手段】投影部は、投影面に投影画像を投影する。撮像部は、撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する。第１算出部は、撮像画像と投影画像とから、投影画像に対する撮像領域の位置を特定する第１座標を算出する。第２算出部は、投影画像から、投影画像に対する、ユーザ操作の対象とならない画像を表す非操作対象画像の位置を特定する第２座標を算出する。位置決定部は、投影画像と、第１座標と、第２座標とから、ユーザ操作の対象となる画像を表す操作対象画像を投影画像に配置する配置位置を決定する。投影画像生成部は、配置位置に操作対象画像を配置した投影画像を生成する。投影制御部は、投影部による投影画像の投影を制御する。【選択図】図２
2014160410.tif 000002
【特許請求の範囲】
【請求項１】
投影面に投影画像を投影する投影部と、
撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する撮像部と、
前記撮像画像と前記投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する第１座標を算出する第１算出部と、
前記投影画像から、前記投影画像に対する、ユーザ操作の対象とならない画像を表す非操作対象画像の位置を特定する第２座標を算出する第２算出部と、
前記投影画像と、前記第１座標と、前記第２座標とから、前記ユーザ操作の対象となる画像を表す操作対象画像を前記投影画像に配置する配置位置を決定する位置決定部と、
前記配置位置に前記操作対象画像を配置した投影画像を生成する投影画像生成部と、
前記投影部による投影画像の投影を制御する投影制御部と
を有することを特徴とする投影システム。
【請求項２】
前記位置決定部は、前記撮像領域に包含される範囲、且つ、前記非操作対象画像に重ならない範囲で、前記配置位置を決定することを特徴とする請求項１に記載の投影システム。
【請求項３】
前記位置決定部は、前記撮像領域に包含される範囲において、前記非操作対象画像に重ならない範囲を複数の領域に分割したときに、面積が最大となる領域の重心に前記操作対象画像の重心を重ねた位置である前記配置位置を決定することを特徴とする請求項１又は２に記載の投影システム。
【請求項４】
前記投影画像生成部は、透過させた前記操作対象画像を生成し、前記配置位置に透過させた前記操作対象画像を配置した投影画像を生成することを特徴とする請求項１又は２に記載の投影システム。
【請求項５】
前記撮像画像を用いて、ユーザの所定部位を検出する部位検出部をさらに有し、
前記投影画像生成部は、前記所定部位が検出された場合に、前記配置位置に前記操作対象画像を配置した投影画像を生成することを特徴とする請求項１又は２に記載の投影システム。
【請求項６】
前記操作対象画像の表示に関する設定事項を表す表示設定情報を設定する表示設定部と、
前記撮像画像を用いて、ユーザの所定部位を検出する部位検出部とをさらに有し、
前記投影画像生成部は、前記表示設定情報をもとに、前記操作対象画像を配置した投影画像を生成する処理、透過させた前記操作対象画像を生成し、透過させた前記操作対象画像を配置した投影画像を生成する処理、前記所定部位が検出された場合に、前記操作対象画像を配置した投影画像を生成する処理、の何れかを実行することを特徴とする請求項１又は２に記載の投影システム。
【請求項７】
前記撮像画像を用いて、ユーザの所定部位を検出する部位検出部と、
前記所定部位が検出された位置に応じた領域を表す検出領域の位置を特定する第３座標を算出する第３算出部とをさらに有し、
前記位置決定部は、前記検出領域の重心に前記操作対象画像の重心を重ねた位置である前記配置位置を決定することを特徴とする請求項１又は２に記載の投影システム。
【請求項８】
前記操作対象画像の位置を移動させるユーザ操作を検出する操作検出部をさらに有し、
前記位置決定部は、前記操作対象画像の位置を移動させるユーザ操作に応じて、前記配置位置を決定することを特徴とする請求項１又は２に記載の投影システム。
【請求項９】
性別及び年齢の少なくとも一つに応じて分類されたユーザ情報と、投影画像の種類に応じて分類された投影画像情報とに対応付けて、投影中の前記投影画像に配置された前記操作対象画像の操作権を決定するための優先度を記憶する優先度記憶部と、
複数のユーザの前記所定部位が検出された場合に、複数のユーザの前記所定部位に対応する前記ユーザ情報を特定するユーザ情報特定部と、
複数のユーザの前記所定部位が検出された場合に、投影中の前記投影画像の前記投影画像情報を特定する投影画像情報特定部と、
特定された前記ユーザ情報と前記投影画像情報とに基づいて、前記優先度記憶部から前記優先度を取得し、取得した前記優先度に応じて、前記所定部位が検出された複数のユーザの中から前記操作権を付与するユーザを決定する操作権付与部とをさらに有し、
前記部位検出部は、前記操作権が付与されたユーザの所定部位を検出することを特徴とする請求項７に記載の投影システム。
【請求項１０】
前記操作対象画像の配置に関する設定事項を表す配置設定情報を設定する配置設定部をさらに有し、
前記部位検出部は、前記所定部位の検出に応じて前記投影画像に前記操作対象画像を配置する前記配置設定情報が設定されている場合に、前記所定部位を検出することを特徴とする請求項７に記載の投影システム。
【請求項１１】
年齢に応じて分類されたユーザ情報と、投影画像に前記操作対象画像が配置可能か否かに応じて分類された配置可否情報とに対応付けて、投影中の前記投影画像に配置する前記操作対象画像の位置決定方法を記憶する位置決定記憶部と、
前記所定部位が検出された場合に、前記所定部位に対応する前記ユーザ情報を特定するユーザ情報特定部と、
前記所定部位が検出された場合に、投影中の前記投影画像に前記操作対象画像が配置可能か否かを判定する配置可否判定部と、
特定された前記ユーザ情報と判定された配置可否とに基づいて、前記位置決定記憶部から前記位置決定方法を取得する位置決定取得部とをさらに有し、
前記位置決定部は、前記位置決定方法をもとに、前記配置位置を決定し、
前記投影画像生成部は、決定された前記配置位置に、前記操作対象画像を配置した投影画像を生成する処理、透過させた前記操作対象画像を生成し、透過させた前記操作対象画像を配置した投影画像を生成する処理、ユーザの前記所定部位が検出された場合に、前記操作対象画像を配置した投影画像を生成する処理、の何れかを実行することを特徴とする請求項７に記載の投影システム。
【請求項１２】
撮像可能な領域を表す撮像領域を撮像した撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する第１座標を算出する第１算出ステップと、
前記投影画像から、前記投影画像に対する、ユーザ操作の対象とならない画像を表す非操作対象画像の位置を特定する第２座標を算出する第２算出ステップと、
前記投影画像と、前記第１座標と、前記第２座標とから、前記ユーザ操作の対象となる画像を表す操作対象画像を前記投影画像に配置する配置位置を決定する位置決定ステップと、
前記配置位置に前記操作対象画像を配置した投影画像を生成する投影画像生成ステップと、
投影装置による投影画像の投影を制御する投影制御ステップと
をコンピュータに実行させるための画像生成プログラム。
【請求項１３】
前記位置決定ステップは、前記撮像領域に包含される範囲、且つ、前記非操作対象画像に重ならない範囲で、前記配置位置を決定することを特徴とする請求項１２に記載の画像生成プログラム。
【請求項１４】
前記位置決定ステップは、前記撮像領域に包含される範囲において、前記非操作対象画像に重ならない範囲を複数の領域に分割したときに、面積が最大となる領域の重心に前記操作対象画像の重心を重ねた位置である前記配置位置を決定することを特徴とする請求項１２又は１３に記載の画像生成プログラム。
【請求項１５】
前記投影画像生成ステップは、透過させた前記操作対象画像を生成し、前記配置位置に透過させた前記操作対象画像を配置した投影画像を生成することを特徴とする請求項１２又は１３に記載の画像生成プログラム。
【請求項１６】
前記撮像画像を用いて、ユーザの所定部位を検出する部位検出ステップをさらに実行させ、
前記投影画像生成ステップは、前記所定部位が検出された場合に、前記配置位置に前記操作対象画像を配置した投影画像を生成することを特徴とする請求項１２又は１３に記載の画像生成プログラム。
【請求項１７】
前記操作対象画像の表示に関する設定事項を表す表示設定情報を設定する表示設定ステップと、
前記撮像画像を用いて、ユーザの所定部位を検出する部位検出ステップとをさらに実行させ、
前記投影画像生成ステップは、前記表示設定情報をもとに、前記操作対象画像を配置した投影画像を生成する処理、透過させた前記操作対象画像を生成し、透過させた前記操作対象画像を配置した投影画像を生成する処理、前記所定部位が検出された場合に、前記操作対象画像を配置した投影画像を生成する処理、の何れかを実行することを特徴とする請求項１２又は１３に記載の画像生成プログラム。
【請求項１８】
前記撮像画像を用いて、ユーザの所定部位を検出する部位検出ステップと、
前記所定部位が検出された位置に応じた領域を表す検出領域の位置を特定する第３座標を算出する第３算出ステップとをさらに実行させ、
前記位置決定ステップは、前記検出領域の重心に前記操作対象画像の重心を重ねた位置である前記配置位置を決定することを特徴とする請求項１２又は１３に記載の画像生成プログラム。
【請求項１９】
撮像可能な領域を表す撮像領域を撮像した撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する第１座標を算出する第１算出部と、
前記投影画像から、前記投影画像に対する、ユーザ操作の対象とならない画像を表す非操作対象画像の位置を特定する第２座標を算出する第２算出部と、
前記投影画像と、前記第１座標と、前記第２座標とから、前記ユーザ操作の対象となる画像を表す操作対象画像を前記投影画像に配置する配置位置を決定する位置決定部と、
前記配置位置に前記操作対象画像を配置した投影画像を生成する投影画像生成部と、
投影装置による投影画像の投影を制御する投影制御部と
を有することを特徴とする情報処理装置。
【請求項２０】
撮像可能な領域を表す撮像領域を撮像した撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する第１座標を算出する第１算出ステップと、
前記投影画像から、前記投影画像に対する、ユーザ操作の対象とならない画像を表す非操作対象画像の位置を特定する第２座標を算出する第２算出ステップと、
前記投影画像と、前記第１座標と、前記第２座標とから、前記ユーザ操作の対象となる画像を表す操作対象画像を前記投影画像に配置する配置位置を決定する位置決定ステップと、
前記配置位置に前記操作対象画像を配置した投影画像を生成する投影画像生成ステップと、
投影装置による投影画像の投影を制御する投影制御ステップと
を含むことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影システム、画像生成プログラム、情報処理装置及び画像生成方法に関する。
【背景技術】
【０００２】
従来、プロジェクタ等の投影装置によってスクリーン等の投影面に投影される投影画像に対して、電子ペン等のポインティングデバイスを利用してポインティング位置を移動させることにより、投影装置を操作する技術が知られている。これに対して、ポインティングデバイスを利用しなくても投影装置を操作する技術も存在する。例えば、ユーザの所定動作であるジェスチャをカメラで認識し、ジェスチャに対応する操作を投影装置に対して実行する技術が知られている。また、投影画像に含まれるボタン等の操作対象を操作するための動作がユーザによって行なわれた場合に、この動作をカメラで認識し、操作対象の操作に対応する処理を投影装置に対して実行させる技術も知られている。これらの技術は、例えば、会議等のプレゼンテーションや、店舗においてコンテンツをユーザに表示するような用途が想定される。
【０００３】
また、これらの技術においては、ポインティング位置に応じた投影装置の操作が実行されることから、現在のポインティング位置を高精度に検出できることが望ましい。ポインティング位置を高精度に検出するための技術としては、例えば、投影面の所定箇所をマーキングした画像を保持しておき、マーキングした画像と現在投影されている画像との差分をとることにより、ポインティング位置を検出するものがある。かかる技術では、マーカを常時表示させることなく、現在のポインティング位置を検出できる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、投影装置に対するユーザ操作を検出することができない場合があるという問題がある。具体的には、ユーザの動作をカメラによって認識することで投影装置を操作する状況において、カメラによって撮像可能な領域を表す撮像領域が投影画像よりも小さい場合に、投影装置に対する操作を検出することができない場合がある。撮像領域が投影画像よりも小さくなるケースは、投影面とカメラとの距離が近いことで発生する。つまり、プレゼンテーションやコンテンツの表示等の用途において、投影面とカメラとの距離を十分に確保できない場合には、上記のような問題が発生する。
【０００５】
本発明は、上記に鑑みてなされたものであって、投影装置に対するユーザ操作の検出精度を向上させることが可能である投影システム、画像生成プログラム、情報処理装置及び画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、本発明に係る投影システムは、投影面に投影画像を投影する投影部と、撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する撮像部と、前記撮像画像と前記投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する第１座標を算出する第１算出部と、前記投影画像から、前記投影画像に対する、ユーザ操作の対象とならない画像を表す非操作対象画像の位置を特定する第２座標を算出する第２算出部と、前記投影画像と、前記第１座標と、前記第２座標とから、前記ユーザ操作の対象となる画像を表す操作対象画像を前記投影画像に配置する配置位置を決定する位置決定部と、前記配置位置に前記操作対象画像を配置した投影画像を生成する投影画像生成部と、前記投影部による投影画像の投影を制御する投影制御部とを有する。
【発明の効果】
【０００７】
本発明の一つの様態によれば、投影装置に対するユーザ操作の検出精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施の形態に係る投影システムの構成例を示す図である。
【図２】図２は、実施の形態１に係る装置構成例を示す機能ブロック図である。
【図３】図３は、実施の形態１に係るボタン画像の配置例を示す図である。
【図４】図４は、実施の形態１に係る画像生成処理の流れの例を示すフローチャートである。
【図５】図５は、実施の形態２に係る装置構成例を示す機能ブロック図である。
【図６】図６は、実施の形態２に係る画像生成処理の流れの例を示すフローチャートである。
【図７】図７は、実施の形態３に係る装置構成例を示す機能ブロック図である。
【図８】図８は、実施の形態３に係るボタン画像の配置例を示す図である。
【図９】図９は、実施の形態３に係る画像生成処理の流れの例を示すフローチャートである。
【図１０】図１０は、実施の形態４に係る装置構成例を示す機能ブロック図である。
【図１１】図１１は、実施の形態４に係る画像生成処理の流れの例を示すフローチャートである。
【図１２】図１２は、実施の形態５に係る装置構成例を示す機能ブロック図である。
【図１３】図１３は、実施の形態５に係るボタン画像の配置例を示す図である。
【図１４】図１４は、実施の形態５に係る画像生成処理の流れの例を示すフローチャートである。
【図１５】図１５は、実施の形態６に係る装置構成例を示す機能ブロック図である。
【図１６】図１６は、実施の形態６に係るボタン画像の移動例を示す図である。
【図１７】図１７は、実施の形態６に係る画像生成処理の流れの例を示すフローチャートである。
【図１８】図１８は、実施の形態７に係る装置構成例を示す機能ブロック図である。
【図１９】図１９は、実施の形態７に係る優先度記憶部に記憶される情報例を示す図である。
【図２０】図２０は、実施の形態７に係る画像生成処理の流れの例を示すフローチャートである。
【図２１】図２１は、実施の形態８に係る装置構成例を示す機能ブロック図である。
【図２２】図２２は、実施の形態８に係る画像生成処理の流れの例を示すフローチャートである。
【図２３】図２３は、実施の形態９に係る装置構成例を示す機能ブロック図である。
【図２４】図２４は、実施の形態９に係る位置決定記憶部に記憶される情報例を示す図である。
【図２５】図２５は、実施の形態９に係る画像生成処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明に係る投影システム、画像生成プログラム、情報処理装置及び画像生成方法の実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。
【００１０】
（実施の形態１）
［システム構成］
図１を用いて、本実施の形態に係る投影システムの構成を説明する。図１は、本実施の形態に係る投影システムの構成例を示す図である。
【００１１】
図１に示すように、投影システム１０は、撮像装置２０と、通信装置３０と、投影装置４０と、情報処理装置１００とを有する。これらのうち、撮像装置２０は、投影面に投影される投影画像を撮像し、撮像画像を生成するカメラ等である。かかる撮像装置２０は、通信装置３０に接続される。以下では、撮像装置２０が撮像可能な領域を「撮像領域」と呼ぶ場合がある。撮像領域は、撮像装置２０と投影面との距離に応じて大きさが変化する。通信装置３０は、撮像装置２０によって生成された撮像画像を情報処理装置１００に対して送信する通信機器である。通信装置３０は、撮像画像を一時的に保存するメモリを有し、メモリから取得した撮像画像を情報処理装置１００に対して送信する。投影装置４０は、投影面に投影画像を投影するプロジェクタ等である。かかる投影装置４０は、情報処理装置１００に接続される。
【００１２】
情報処理装置１００は、投影画像を生成し、投影装置４０による投影画像の投影を制御するサーバ装置等である。ここで、投影画像の生成は、投影装置４０の電源が投入された場合や、投影画像でのユーザ操作が検出された場合等に行われる。かかるユーザ操作は、撮像領域を撮像した撮像画像を用いて検出される。したがって、ユーザ操作の対象となるボタン画像等の操作対象画像が撮像領域に含まれていなければ、ユーザ操作が検出されることはないため、投影画像でのユーザ操作が実現されない。このため、情報処理装置１００は、撮像領域に操作対象画像が含まれるように投影画像を生成することで、投影画像でのユーザ操作を実現する。
【００１３】
但し、操作対象画像が撮像領域に含まれていれば、ユーザ操作の検出が可能となるものの、投影画像に配置される操作対象画像の位置によっては、ユーザ操作の操作性が低下する場合がある。例えば、操作対象画像が、操作対象とならない非操作対象画像と重なる位置に配置される場合である。このため、情報処理装置１００は、撮像領域に操作対象画像が含まれるように、また、非操作対象画像に重ならない位置に操作対象画像が配置されるように投影画像を生成する。なお、各装置は、ＬＡＮ（Local  Area  Network）やインターネット等のネットワークに接続されており、ネットワークの接続は有線及び無線の何れであっても良い。
【００１４】
例えば、投影システム１０は、会議等のプレゼンテーションや、店舗においてコンテンツをユーザに表示する用途で利用される。すなわち、ユーザは、投影画像に配置されたボタン画像等に、手を近づけたり触れたりするユーザ操作を行なう。このようなユーザ操作が行われることにより、ボタン画像に対する操作が行われたこととして、操作に応じて投影画像の切り替え等が実現する。また、上述したように、投影システム１０の用途によっては、投影面と撮像装置２０との距離を十分に確保できない可能性もあり、撮像領域が投影画像よりも小さくなってしまうケースが発生する。このため、情報処理装置１００は、撮像領域にボタン画像等の操作対象画像が含まれるように投影画像を生成する。また、情報処理装置１００は、撮像領域の範囲と投影画像に配置された非操作対象画像の位置とから、撮像領域に含まれる範囲で、非操作対象画像と重ならないように、ボタン画像等の操作対象画像を配置した投影画像を生成する。
【００１５】
［実施の形態１に係る装置構成］
図２を用いて、実施の形態１に係る装置構成を説明する。図２は、実施の形態１に係る装置構成例を示す機能ブロック図である。
【００１６】
図２に示すように、撮像装置２０は、撮像部２１を有する。撮像部２１は、撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する。そして、撮像部２１は、生成した撮像画像を通信装置３０に対して送信する。撮像画像は、撮像領域を撮像した画像であるため、投影面と撮像装置２０との距離によっては投影画像全てを含む画像ではない場合がある。通信装置３０は、通信制御部３１を有する。通信制御部３１は、撮像装置２０によって生成された撮像画像を情報処理装置１００に対して送信する。投影装置４０は、投影部４１を有する。投影部４１は、情報処理装置１００による制御により、投影面に投影画像を投影する。
【００１７】
情報処理装置１００は、記憶部１１０と、制御部１２０とを有する。これらのうち、記憶部１１０は、制御部１２０による各種処理で利用されるデータや、制御部１２０による各種処理結果を記憶し、投影画像記憶部１１１と、撮像画像記憶部１１２とを有する。また、記憶部１１０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。
【００１８】
投影画像記憶部１１１は、投影面に投影される投影画像を記憶する。具体的には、投影画像記憶部１１１は、投影面に投影される投影画像そのものを記憶しても良いし、投影面に投影される投影画像の構成情報を記憶しても良い。例えば、投影画像の構成情報は、投影画像に配置されるボタン画像や、その他各種のオブジェクト等の投影画像を構成するための情報である。その他各種のオブジェクトは、ユーザ操作の操作対象でないオブジェクトを指す。操作対象でないオブジェクトは、非操作対象画像の一例である。撮像画像記憶部１１２は、撮像装置２０によって生成された撮像画像を記憶する。
【００１９】
制御部１２０は、制御プログラム、各種の処理手順等を規定したプログラム及び所要データを格納するための内部メモリを有する。かかる制御部１２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部１２５と、投影画像生成部１２６と、投影制御部１２７とを有する。また、制御部１２０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路、又は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等の電子回路である。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）、上記のようなハードウェア回路であっても良い。
【００２０】
通信制御部１２１は、情報処理装置１００による通信を制御する。より具体的には、通信制御部１２１は、撮像装置２０によって生成され、通信装置３０によって送信された撮像画像を受信する。受信した撮像画像は、撮像画像記憶部１１２に格納される。また、通信制御部１２１は、投影装置４０から、該投影装置４０の電源が投入された旨を受け付けて、第１算出部１２３及び第２算出部１２４に対して通知する。情報処理装置１００は、投影装置４０の電源が投入されたことにより、投影面に投影する投影画像の生成処理を開始する。
【００２１】
操作検出部１２２は、操作対象画像に対するユーザ操作を検出する。より具体的には、操作検出部１２２は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像から、操作対象画像の一つであるボタン画像に対するユーザ操作を検出する。そして、操作検出部１２２は、ユーザ操作を検出した旨を第１算出部１２３及び第２算出部１２４に対して通知する。情報処理装置１００は、ボタン画像に対するユーザ操作により、投影画像を切り替えるために、投影面に投影する新たな投影画像の生成処理を開始する。
【００２２】
第１算出部１２３は、投影画像に対する撮像領域の位置を特定するための座標を表す第１座標を算出する。より具体的には、第１算出部１２３は、投影装置４０の電源が投入されたこと、若しくはユーザ操作が検出されたことをトリガとして、投影画像の左下の頂点座標を（０，０）としたときの、投影画像に対する撮像領域の頂点座標を算出する。投影画像に対する撮像領域の頂点座標は、第１座標の一例である。撮像領域の頂点座標は、投影画像記憶部１１１に記憶された投影画像と、撮像画像記憶部１１２に記憶された撮像画像とから求められる。算出する頂点座標は、撮像領域が方形である場合、全ての頂点座標を算出しても良いし、３点若しくは対角線に対応する２点を算出すれば良く、これにより残りの頂点座標も求められる。なお、座標（０，０）を投影画像の左下の頂点座標とすることは一例であり、投影画像の何れの頂点座標を（０，０）にしても良い。以下では、投影画像の左下の頂点座標を（０，０）とする場合を例に挙げる。また、撮像領域の頂点座標が予めわかっている場合や、一度既に求めている場合には、第１算出部１２３による撮像領域の頂点座標の算出処理を省略しても良い。
【００２３】
第２算出部１２４は、投影画像に対する、ユーザ操作の対象でない画像を表す非操作対象画像の位置を特定するための座標を表す第２座標を算出する。より具体的には、第２算出部１２４は、投影装置４０の電源が投入されたこと、若しくはユーザ操作が検出されたことをトリガとして、投影画像に対する、ユーザ操作の操作対象でないオブジェクト（非操作対象画像）の頂点座標を算出する。投影画像に対する操作対象でないオブジェクトの頂点座標は、第２座標の一例である。操作対象でないオブジェクトの頂点座標は、投影画像記憶部１１１に記憶された投影画像から求められる。算出する頂点座標は、操作対象でないオブジェクトが方形である場合、全ての頂点座標を算出しても良いし、３点若しくは対角線に対応する２点を算出すれば良く、これにより残りの頂点座標も求められる。なお、操作対象でないオブジェクトの頂点座標は、複数存在する場合がある。
【００２４】
位置決定部１２５は、ユーザ操作の対象である画像を表す操作対象画像を投影画像に配置する配置位置を決定する。より具体的には、位置決定部１２５は、投影画像記憶部１１１に記憶された投影画像と、第１算出部１２３によって算出された撮像領域の頂点座標と、第２算出部１２４によって算出された操作対象でないオブジェクトの頂点座標とから、撮像領域に包含される範囲、且つ、操作対象でないオブジェクトに重ならない範囲で、ボタン画像を投影画像に配置する配置位置を決定する。つまり、位置決定部１２５は、ユーザ操作の検出が可能なように、また、他のオブジェクトと重ならないように、投影画像に対するボタン画像の位置を決定する。
【００２５】
図３は、実施の形態１に係るボタン画像の配置例を示す図である。図３に示した例では、投影画像１と撮像領域とが同一の大きさである場合を説明する。図３上段に示した例において、投影画像１と同一の大きさである撮像領域の各頂点座標は、（０，０）、（０，１６）、（１６，０）、（１６，１６）である。また、操作対象でないオブジェクト２を含む最小の方形３の各頂点座標は、（１，３）、（１，１４）、（９，３）、（９，１４）である。投影画像１は、上記の各頂点座標を有する撮像領域と、オブジェクト２を含む最小の方形３とを含んでいる。また、ボタン画像の大きさは、幅「３」、高さ「２」であるものとする。なお、幅はｘ方向であり、高さはｙ方向であるものとする。投影画像１と撮像領域とが同一の大きさでなければ、撮像領域の頂点座標が上記と異なるだけであり、処理に変更はない。
【００２６】
上述した状態において、位置決定部１２５は、撮像領域に包含される範囲、且つ、方形３に重ならない範囲を、複数の領域に分割したときの、各領域の頂点座標を算出する。図３上段に示す例では、複数の領域を、領域４ａ、領域４ｂ、領域４ｃ及び領域４ｄの４つの領域に分割したときの状態を表している。つまり、撮像領域に包含される範囲、且つ、方形３に重ならない範囲を、方形で囲われる最大となる領域それぞれに分割する。領域４ａ、領域４ｂ、領域４ｃ及び領域４ｄそれぞれの各頂点座標は、以下により算出される。
【００２７】
領域４ａの頂点座標。
「左上の頂点のｘ座標＝撮像領域の左上の頂点のｘ座標」
「左上の頂点のｙ座標＝撮像領域の左上の頂点のｙ座標」
「右上の頂点のｘ座標＝撮像領域の右上の頂点のｘ座標」
「右上の頂点のｙ座標＝撮像領域の右上の頂点のｙ座標」
「左下の頂点のｘ座標＝撮像領域の左下の頂点のｘ座標」
「左下の頂点のｙ座標＝方形３の左上の頂点のｙ座標」
「右下の頂点のｘ座標＝撮像領域の右下の頂点のｘ座標」
「右下の頂点のｙ座標＝方形３の右上の頂点のｙ座標」
上記により、左上の頂点座標（０，１６）、右上の頂点座標（１６，１６）、左下の頂点座標（０，１４）、右下の頂点座標（１６，１４）が算出される。
【００２８】
領域４ｂの頂点座標。
「左上の頂点のｘ座標＝撮像領域の左上の頂点のｘ座標」
「左上の頂点のｙ座標＝方形３の左下の頂点のｙ座標」
「右上の頂点のｘ座標＝撮像領域の右上の頂点のｘ座標」
「右上の頂点のｙ座標＝方形３の右下の頂点のｙ座標」
「左下の頂点のｘ座標＝撮像領域の左下の頂点のｘ座標」
「左下の頂点のｙ座標＝撮像領域の左下の頂点のｙ座標」
「右下の頂点のｘ座標＝撮像領域の右下の頂点のｘ座標」
「右下の頂点のｙ座標＝撮像領域の右下の頂点のｙ座標」
上記により、左上の頂点座標（０，３）、右上の頂点座標（１６，３）、左下の頂点座標（０，０）、右下の頂点座標（１６，０）が算出される。
【００２９】
領域４ｃの頂点座標。
「左上の頂点のｘ座標＝撮像領域の左上の頂点のｘ座標」
「左上の頂点のｙ座標＝撮像領域の左上の頂点のｙ座標」
「右上の頂点のｘ座標＝方形３の左上の頂点のｘ座標」
「右上の頂点のｙ座標＝撮像領域の右上の頂点のｙ座標」
「左下の頂点のｘ座標＝撮像領域の左下の頂点のｘ座標」
「左下の頂点のｙ座標＝撮像領域の左下の頂点のｙ座標」
「右下の頂点のｘ座標＝方形３の左下の頂点のｘ座標」
「右下の頂点のｙ座標＝撮像領域の右下の頂点のｙ座標」
上記により、左上の頂点座標（０，１６）、右上の頂点座標（１，１６）、左下の頂点座標（０，０）、右下の頂点座標（１，０）が算出される。
【００３０】
領域４ｄの頂点座標。
「左上の頂点のｘ座標＝方形３の右上の頂点のｘ座標」
「左上の頂点のｙ座標＝撮像領域の左上の頂点のｙ座標」
「右上の頂点のｘ座標＝撮像領域の右上の頂点のｘ座標」
「右上の頂点のｙ座標＝撮像領域の右上の頂点のｙ座標」
「左下の頂点のｘ座標＝方形３の右下の頂点のｘ座標」
「左下の頂点のｙ座標＝撮像領域の左下の頂点のｙ座標」
「右下の頂点のｘ座標＝撮像領域の右下の頂点のｘ座標」
「右下の頂点のｙ座標＝撮像領域の右下の頂点のｙ座標」
上記により、左上の頂点座標（９，１６）、右上の頂点座標（１６，１６）、左下の頂点座標（９，０）、右下の頂点座標（１６，０）が算出される。
【００３１】
そして、位置決定部１２５は、算出した各頂点座標から、領域４ａ、領域４ｂ、領域４ｃ及び領域４ｄそれぞれの面積を算出する。領域４ａの面積は、「３２」となる。領域４ｂの面積は、「４８」となる。領域４ｃの面積は、「１６」となる。領域４ｄの面積は、「９６」となる。続いて、位置決定部１２５は、算出した面積を比較し、面積が最大となる領域の重心となる座標を特定する。領域４ａ、領域４ｂ、領域４ｃ及び領域４ｄのうち、面積が最大となる領域は、面積が「９６」である領域４ｄである。その後、位置決定部１２５は、領域４ｄの頂点座標から、頂点座標のｘ方向及びｙ方向それぞれの中点を求めることにより、領域４ｄの重心となる座標（１３，８）を算出する。
【００３２】
そして、位置決定部１２５は、領域４ｄの重心となる座標（１３，８）にボタン画像の重心を重ねたときの、ボタン画像の頂点座標を算出する。ボタン画像の大きさが幅「３」、高さ「２」であるから、ボタン画像の重心となる座標が（１３，８）であれば、ボタン画像の頂点座標は、左上の頂点座標（１２，１０）、右上の頂点座標（１４，１０）、左下の頂点座標（１２，７）、右下の頂点座標（１４，７）となる。つまり、位置決定部１２５は、ボタン画像の頂点座標を算出することにより、投影画像に配置するボタン画像の配置位置を決定する。これらにより、図３下段に示すように、撮像領域に包含されるとともに、オブジェクト２と重ならない領域４ｄに、上記のようにして算出された頂点座標を有するボタン画像５の配置位置が決定される。
【００３３】
投影画像生成部１２６は、操作対象画像を配置した投影画像を生成する。より具体的には、投影画像生成部１２６は、位置決定部１２５によって決定されたボタン画像の頂点座標と、投影画像記憶部１１１に記憶された投影画像とから、配置位置にボタン画像を配置した投影画像を生成する。
【００３４】
投影制御部１２７は、投影装置４０による投影画像の投影を制御する。より具体的には、投影制御部１２７は、投影画像生成部１２６によって生成された投影画像の投影部４１による投影を制御する。
【００３５】
［実施の形態１に係る画像生成処理フロー］
次に、図４を用いて、実施の形態１に係る画像生成処理の流れについて説明する。図４は、実施の形態１に係る画像生成処理の流れの例を示すフローチャートである。なお、図４では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。
【００３６】
図４に示すように、操作検出部１２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ１０１）。ここで、操作検出部１２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ１０２）。このとき、操作検出部１２２によってボタン画像に対するユーザ操作が検出された場合に（ステップＳ１０２：Ｙｅｓ）、第１算出部１２３は、投影画像記憶部１１１に記憶された投影画像と、撮像画像記憶部１１２に記憶された撮像画像とから、撮像領域の頂点座標を算出する（ステップＳ１０３）。一方、操作検出部１２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ１０２：Ｎｏ）、ステップＳ１０１における処理が実行される。
【００３７】
また、第２算出部１２４は、投影画像記憶部１１１に記憶された投影画像から、投影画像に対する、操作対象でないオブジェクトの頂点座標を算出する（ステップＳ１０４）。また、位置決定部１２５は、投影画像と、撮像領域の頂点座標と、操作対象でないオブジェクトの頂点座標とから、撮像領域に包含される範囲、且つ、操作対象でないオブジェクトに重ならない範囲を複数の領域に分割したときの、各領域の頂点座標を算出する。そして、位置決定部１２５は、各領域の頂点座標から各領域の面積を求め、面積が最大となる最大領域を特定して、最大領域の重心となる座標を算出する。続いて、位置決定部１２５は、最大領域の重心にボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を算出することにより、投影画像に配置するボタン画像の位置を決定する（ステップＳ１０５）。
【００３８】
投影画像生成部１２６は、位置決定部１２５によって決定されたボタン画像の頂点座標と、投影画像とから、ボタン画像を配置した投影画像を生成する（ステップＳ１０６）。その後、投影制御部１２７は、投影画像生成部１２６によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ１０７）。
【００３９】
［実施の形態１による効果］
情報処理装置１００は、ユーザ操作を検出可能な撮像領域に包含される範囲で、操作対象でないオブジェクトに重ならないように、投影画像に配置するボタン画像の位置を決定し、決定した位置にボタン画像を配置した投影画像を生成する。この結果、情報処理装置１００は、投影面と投影装置４０との距離を十分に確保できない場合であっても、投影装置４０に対するユーザ操作の検出精度を向上させることができる。
【００４０】
また、情報処理装置１００は、ユーザ操作を検出可能な撮像領域に包含される範囲、且つ、操作対象でないオブジェクトに重ならない範囲を複数の領域に分割したときの、面積が最大となる最大領域の重心に、ボタン画像の重心を重ねた投影画像を生成する。この結果、情報処理装置１００は、雑然とした投影画像になることを抑制し、ユーザ操作の操作性を向上させることができる。
【００４１】
（実施の形態２）
上記実施の形態１では、撮像領域に包含される範囲において、操作対象でないオブジェクトに重ならないように、投影画像に配置するボタン画像の位置を決定する場合を説明した。実施の形態２では、投影画像に配置するボタン画像を透過させる場合を説明する。
【００４２】
［実施の形態２に係る装置構成］
図５を用いて、実施の形態２に係る装置構成を説明する。図５は、実施の形態２に係る装置構成例を示す機能ブロック図である。実施の形態２では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す投影画像生成部２２６以外の機能及び構成、処理は実施の形態１と同様である。
【００４３】
図５に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置２００は、記憶部１１０と、制御部２２０とを有する。これらのうち、記憶部１１０は、投影画像記憶部１１１と、撮像画像記憶部１１２とを有する。制御部２２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部１２５と、投影画像生成部２２６と、投影制御部１２７とを有する。
【００４４】
投影画像生成部２２６は、透過させた操作対象画像を配置した投影画像を生成する。より具体的には、投影画像生成部２２６は、位置決定部１２５によって決定されたボタン画像の頂点座標と、投影画像記憶部１１１に記憶された投影画像とから、透過させたボタン画像を配置した投影画像を生成する。なお、ボタン画像の透過率は、任意に設定可能である。つまり、投影画像生成部２２６は、操作対象でないオブジェクトが投影画像の大半を占めていることで、最大領域にボタン画像を配置したとしても操作対象でないオブジェクトにボタン画像が重なる可能性があるため、透過させたボタン画像を配置した投影画像を生成する。
【００４５】
［実施の形態２に係る画像生成処理フロー］
次に、図６を用いて、実施の形態２に係る画像生成処理の流れについて説明する。図６は、実施の形態２に係る画像生成処理の流れの例を示すフローチャートである。なお、図６では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。また、実施の形態１に係る画像生成処理の流れと同様の処理については、詳細な説明を省略する。具体的には、ステップＳ２０１〜ステップＳ２０５及びステップＳ２０７は、ステップＳ１０１〜ステップＳ１０５及びステップＳ１０７における処理と同様である。
【００４６】
図６に示すように、投影画像生成部２２６は、位置決定部１２５によって決定されたボタン画像の頂点座標と、投影画像とから、透過させたボタン画像を配置した投影画像を生成する（ステップＳ２０６）。
【００４７】
［実施の形態２による効果］
情報処理装置２００は、ユーザ操作を検出可能な撮像領域に包含される範囲で、操作対象でないオブジェクトに重ならないように、投影画像に配置するボタン画像の位置を決定し、決定した位置に透過させたボタン画像を配置した投影画像を生成する。この結果、情報処理装置２００は、操作対象でないオブジェクトが投影画像の大半を占めていることで、操作対象でないオブジェクトにボタン画像が重なってしまう場合であっても、透過させたボタン画像を配置するので、ユーザ操作の操作性を向上させることができる。
【００４８】
（実施の形態３）
上記実施の形態１では、投影装置４０の電源が投入されたこと、若しくは、ボタン画像に対するユーザ操作が検出されことをトリガとして、画像生成処理を実行する場合を説明した。実施の形態３では、ユーザの所定部位を検出したときにボタン画像を表示させる場合を説明する。
【００４９】
［実施の形態３に係る装置構成］
図７を用いて、実施の形態３に係る装置構成を説明する。図７は、実施の形態３に係る装置構成例を示す機能ブロック図である。実施の形態３では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す投影画像生成部３２６、部位検出部３２８以外の機能及び構成、処理は実施の形態１と同様である。
【００５０】
図７に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置３００は、記憶部１１０と、制御部３２０とを有する。これらのうち、記憶部１１０は、投影画像記憶部１１１と、撮像画像記憶部１１２とを有する。制御部３２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部１２５と、投影画像生成部３２６と、投影制御部１２７と、部位検出部３２８とを有する。
【００５１】
部位検出部３２８は、撮像画像を用いて、ユーザの所定部位を検出する。より具体的には、部位検出部３２８は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像にユーザの所定部位が写りこんでいることを検出する。例えば、所定部位は、ユーザの手等であるが、どの部位を検出させるかは任意に変更可能である。そして、部位検出部３２８は、ユーザの手が検出されたことを投影画像生成部３２６に対して出力する。
【００５２】
投影画像生成部３２６は、ユーザの所定部位が検出された場合に、操作対象画像を配置した投影画像を生成する。より具体的には、投影画像生成部３２６は、部位検出部３２８によってユーザの手が検出された場合に、位置決定部１２５によって決定された位置に、ボタン画像を配置した投影画像を生成する。つまり、投影画像生成部３２６は、位置決定部１２５によってボタン画像の位置が決定された時点では、ボタン画像を配置した投影画像を生成せずに、ボタン画像が配置されていない投影画像を生成する。そして、投影画像生成部３２６は、ユーザが投影画像の近傍に入り込んできたときに、ボタン画像が配置された投影画像を生成する。
【００５３】
図８は、実施の形態３に係るボタン画像の配置例を示す図である。図８は、図３に示した投影画像１と同様のものであるため、実施の形態１と同様の処理については詳細な説明を省略する。なお、図８においては、図３と同様に投影画像と撮像領域とが同一の大きさである。
【００５４】
図８上段に示すように、部位検出部３２８によってユーザの手が検出されるまでは、ボタン画像５が配置されていない投影画像となる。ここで、部位検出部３２８は、撮像画像を用いて、ユーザの手を検出する。これにより、投影画像生成部３２６は、図８下段に示すように、位置決定部１２５によって決定された位置に、幅「３」、高さ「２」であるボタン画像５を配置した投影画像を生成する。
【００５５】
［実施の形態３に係る画像生成処理フロー］
次に、図９を用いて、実施の形態３に係る画像生成処理の流れについて説明する。図９は、実施の形態３に係る画像生成処理の流れの例を示すフローチャートである。なお、図９では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。また、実施の形態１に係る画像生成処理の流れと同様の処理については、詳細な説明を省略する。具体的には、ステップＳ３０１〜ステップＳ３０５及びステップＳ３０８は、ステップＳ１０１〜ステップＳ１０５及びステップＳ１０７における処理と同様である。
【００５６】
図９に示すように、部位検出部３２８は、撮像画像記憶部１１２から撮像画像を取得し、ユーザの手の検出を試みる（ステップＳ３０６）。このとき、部位検出部３２８によってユーザの手が検出された場合に（ステップＳ３０６：Ｙｅｓ）、投影画像生成部３２６は、位置決定部１２５によって決定された位置に、ボタン画像を配置した投影画像を生成する（ステップＳ３０７）。一方、部位検出部３２８によってユーザの手が検出されない場合には（ステップＳ３０６：Ｎｏ）、再度ステップＳ３０６の処理が実行される。
【００５７】
［実施の形態３による効果］
情報処理装置３００は、ユーザ操作を検出可能な撮像領域に包含される範囲で、操作対象でないオブジェクトに重ならないように、投影画像に配置するボタン画像の位置を決定しておき、撮像画像をもとにユーザの手が検出された場合に、決定された位置にボタン画像を配置した投影画像を生成する。この結果、情報処理装置３００は、雑然とした投影画像になることを抑制しつつ、ユーザ操作の検出精度を向上させることができる。
【００５８】
（実施の形態４）
上記実施の形態１〜３では、ユーザ操作を検出可能で、操作対象でないオブジェクトに重ならない位置に、ボタン画像をそのまま配置したり、透過させたボタン画像を配置したり、ユーザの手の検出をトリガにボタン画像を配置したりする場合を説明した。実施の形態４では、これらのボタン画像の表示を設定する場合を説明する。
【００５９】
［実施の形態４に係る装置構成］
図１０を用いて、実施の形態４に係る装置構成を説明する。図１０は、実施の形態４に係る装置構成例を示す機能ブロック図である。実施の形態４では、実施の形態１〜３と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す表示設定情報記憶部４１３、投影画像生成部４２６、表示設定部４２９以外の機能及び構成、処理は実施の形態１〜３と同様である。
【００６０】
図１０に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置４００は、記憶部４１０と、制御部４２０とを有する。これらのうち、記憶部４１０は、投影画像記憶部１１１と、撮像画像記憶部１１２と、表示設定情報記憶部４１３とを有する。
【００６１】
表示設定情報記憶部４１３は、操作対象画像の表示に関する設定事項を表す表示設定情報を記憶する。より具体的には、表示設定情報記憶部４１３は、決定された位置にボタン画像をそのまま配置した投影画像を表示する第１表示設定情報、決定された位置に透過させたボタン画像を配置した投影画像を表示する第２表示設定情報、又は、ユーザの手の検出をトリガに、決定された位置にボタン画像を配置した投影画像を表示する第３表示設定情報を記憶する。すなわち、本実施の形態では、上記何れかの表示設定情報が表示設定情報記憶部４１３に記憶されており、表示設定情報に対応する画像生成処理を実行する。
【００６２】
第１表示設定情報に対応する画像生成処理は、上記実施の形態１で説明したものである。また、第２表示設定情報に対応する画像生成処理は、上記実施の形態２で説明したものである。また、第３表示設定情報に対応する画像生成処理は、上記実施の形態３で説明したものである。
【００６３】
制御部４２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部１２５と、投影画像生成部４２６と、投影制御部１２７と、部位検出部３２８と、表示設定部４２９とを有する。
【００６４】
表示設定部４２９は、操作対象画像の表示に関する設定事項を設定する。より具体的には、表示設定部４２９は、ボタン画像の表示について、第１表示設定情報、第２表示設定情報又は第３表示設定情報の表示設定情報を受け付ける。ユーザは、情報処理装置４００に接続された入力装置等を用いて、事前に設定を行なう。そして、表示設定部４２９は、受け付けた表示設定情報を表示設定情報記憶部４１３に格納する。
【００６５】
投影画像生成部４２６は、表示設定情報をもとに、第１表示設定情報に対応する画像生成処理、第２表示設定情報に対応する画像生成処理、又は、第２表示設定情報に対応する画像生成処理を実行する。より具体的には、投影画像生成部４２６は、位置決定部１２５によって投影画像に配置するボタン画像の位置が決定された場合に、表示設定情報記憶部４１３から表示設定情報を取得する。そして、投影画像生成部４２６は、第１表示設定情報であれば、決定された位置にボタン画像を配置した投影画像を生成する。また、投影画像生成部４２６は、第２表示設定情報であれば、決定された位置に透過させたボタン画像を配置した投影画像を生成する。
【００６６】
また、投影画像生成部４２６は、第３表示設定情報であれば、ボタン画像を配置していない投影画像を生成し、部位検出部３２８による検出待ちの状態となる。そして、投影画像生成部４２６は、部位検出部３２８によってユーザの手が検出された場合に、決定された位置にボタン画像を配置した投影画像を生成する。
【００６７】
［実施の形態４に係る画像生成処理フロー］
次に、図１１を用いて、実施の形態４に係る画像生成処理の流れについて説明する。図１１は、実施の形態４に係る画像生成処理の流れの例を示すフローチャートである。なお、図１１では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。また、実施の形態１に係る画像生成処理の流れと同様の処理については、詳細な説明を省略する。具体的には、ステップＳ４０１〜ステップＳ４０５及びステップＳ４０９は、ステップＳ１０１〜ステップＳ１０５及びステップＳ１０７における処理と同様である。
【００６８】
図１１に示すように、投影画像生成部４２６は、表示設定情報記憶部４１３から表示設定情報を取得する（ステップＳ４０６）。そして、投影画像生成部４２６は、取得した表示設定情報が操作対象でないオブジェクトに重ならないようにボタン画像を表示する表示設定であるか否かを判定する（ステップＳ４０７）。このとき、投影画像生成部４２６は、操作対象でないオブジェクトに重ならないようにボタン画像を表示する表示設定であると判定した場合に（ステップＳ４０７：Ｙｅｓ）、位置決定部１２５によって決定された位置にボタン画像を配置した投影画像を生成する（ステップＳ４０８）。
【００６９】
一方、投影画像生成部４２６は、操作対象でないオブジェクトに重ならないようにボタン画像を表示する表示設定でないと判定した場合に（ステップＳ４０７：Ｎｏ）、透過させたボタン画像を表示する表示設定であるか否かを判定する（ステップＳ４１０）。ここで、投影画像生成部４２６は、透過させたボタン画像を表示する表示設定であると判定した場合に（ステップＳ４１０：Ｙｅｓ）、位置決定部１２５によって決定された位置に透過させたボタン画像を配置した投影画像を生成する（ステップＳ４１１）。
【００７０】
また、投影画像生成部４２６は、透過させたボタン画像を表示する表示設定でないと判定した場合に（ステップＳ４１０：Ｎｏ）、部位検出部３２８によるユーザの手の検出待ちの状態となる（ステップＳ４１２）。そして、部位検出部３２８によってユーザの手が検出された場合に（ステップＳ４１２：Ｙｅｓ）、投影画像生成部４２６は、位置決定部１２５によって決定された位置にボタン画像を配置した投影画像を生成する（ステップＳ４１３）。一方、部位検出部３２８によってユーザの手が検出されない場合には（ステップＳ４１２：Ｎｏ）、ユーザの手が検出されるまで部位検出処理を試みる。
【００７１】
［実施の形態４による効果］
情報処理装置４００は、決定された位置にボタン画像を配置した投影画像を表示する表示設定、決定された位置に透過させたボタン画像を配置した投影画像を表示する表示設定、ユーザの手の検出をトリガに、決定された位置にボタン画像を配置した投影画像を表示する表示設定の何れかに応じて、画像生成処理を実行する。この結果、情報処理装置４００は、操作性を損なうことなく、ユーザが所望する投影画像を生成することができる。
【００７２】
（実施の形態５）
上記実施の形態１では、撮像領域に包含される範囲において、操作対象でないオブジェクトに重ならないように、投影画像に配置するボタン画像の位置を決定する場合を説明した。実施の形態５では、ユーザの所定部位が検出された位置にボタン画像を表示させる場合を説明する。
【００７３】
［実施の形態５に係る装置構成］
図１２を用いて、実施の形態５に係る装置構成を説明する。図１２は、実施の形態５に係る装置構成例を示す機能ブロック図である。実施の形態５では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す位置決定部５２５、部位検出部５２８、第３算出部５３０以外の機能及び構成、処理は実施の形態１と同様である。
【００７４】
図１２に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置５００は、記憶部１１０と、制御部５２０とを有する。これらのうち、記憶部１１０は、投影画像記憶部１１１と、撮像画像記憶部１１２とを有する。制御部５２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部５２５と、投影画像生成部１２６と、投影制御部１２７と、部位検出部５２８と、第３算出部５３０とを有する。
【００７５】
部位検出部５２８は、撮像画像を用いて、ユーザの所定部位を検出する。より具体的には、部位検出部５２８は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像にユーザの所定部位が写りこんでいることを検出する。例えば、所定部位は、ユーザの手等であるが、どの部位を検出させるかは任意に変更可能である。そして、部位検出部５２８は、ユーザの手が検出されたことを第３算出部５３０に対して出力する。また、部位検出部５２８は、第３算出部５３０への出力に際し、ユーザの手を検出できた撮像画像についても出力する。
【００７６】
第３算出部５３０は、ユーザの所定部位が検出された位置に応じた領域を表す検出領域の位置を特定するための第３座標を算出する。より具体的には、第３算出部５３０は、部位検出部５２８によるユーザの手の検出で利用された撮像画像と投影画像とから、投影画像に対する検出領域の頂点座標を算出する。投影画像に対する検出領域の頂点座標は、第３座標の一例である。検出領域の頂点座標は、撮像画像に含まれるユーザの手の位置から、任意の大きさの検出領域を構成したときの、投影画像に対する該検出領域の頂点座標を算出する。検出領域は、例えば、幅「１」、高さ「１」等、予めその大きさを決定しても良いし、投影画像の大きさに応じた割合の大きさにしても良い。そして、第３算出部５３０は、算出した検出領域の頂点座標を位置決定部５２５に対して出力する。
【００７７】
位置決定部５２５は、検出領域の重心に操作対象画像の重心を重ねた場合における、操作対象画像の位置を決定する。より具体的には、位置決定部５２５は、第３算出部５３０によって算出された検出領域の頂点座標から、頂点座標のｘ方向及びｙ方向それぞれの中点を求めることにより、検出領域の重心となる座標を算出する。そして、位置決定部５２５は、検出領域の重心となる座標にボタン画像の重心を重ねたときの、ボタン画像の頂点座標を算出することにより、投影画像に配置するボタン画像の位置を決定する。その後、位置決定部５２５は、決定したボタン画像の頂点座標を投影画像生成部１２６に対して出力する。なお、ユーザの手が検出された検出領域の重心にボタン画像の重心を重ねて、投影画像にボタン画像を配置するので、新たに配置される位置も、撮像領域に含まれていることになる。つまり、ボタン画像が新たに配置される位置は、ユーザ操作を検出可能な位置であるとともに、ユーザがボタン画像に対する操作を即座に実行可能な位置である。
【００７８】
図１３は、実施の形態５に係るボタン画像の配置例を示す図である。図１３は、図３に示した投影画像１と同様のものであるため、実施の形態１と同様の処理については詳細な説明を省略する。なお、図１３においては、図３と同様に投影画像と撮像領域とが同一の大きさである。
【００７９】
図１３上段に示すように、部位検出部５２８によってユーザの手が検出されるまでは、ボタン画像５が撮像領域内の任意の位置に配置されている投影画像となる。詳細には、実施の形態１における画像生成処理によって決定された位置にボタン画像５が配置されていたり、他のユーザの手が検出されたときに構成された検出領域の位置にボタン画像５が配置されていたりする。ここで、部位検出部５２８は、撮像画像を用いて、ユーザの手を検出する。これにより、位置決定部５２５は、部位検出部５２８によって検出されたユーザの手の位置から構成された検出領域の重心に、ボタン画像５の重心を重ねたときの頂点座標を算出することにより、投影画像に配置するボタン画像５の新たな位置を決定する。これにより、投影画像生成部１２６は、図１３下段に示すように、位置決定部５２５によって決定された位置に、幅「３」、高さ「２」であるボタン画像５を配置した投影画像を生成する。
【００８０】
なお、図１３に示した例では、ボタン画像５の新たな位置が操作対象でないオブジェクトと重ならないようになっているが、実際には重なる場合もある。かかる場合には、実施の形態２のように、透過させたボタン画像を配置するようにしても良い。
【００８１】
［実施の形態５に係る画像生成処理フロー］
次に、図１４を用いて、実施の形態５に係る画像生成処理の流れについて説明する。図１４は、実施の形態５に係る画像生成処理の流れの例を示すフローチャートである。
【００８２】
図１４に示すように、部位検出部５２８は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ５０１）。そして、部位検出部５２８は、撮像画像を用いて、ユーザの手の検出を試みる（ステップＳ５０２）。このとき、部位検出部５２８によってユーザの手が検出された場合に（ステップＳ５０２：Ｙｅｓ）、第３算出部５３０は、ユーザの手が検出された位置に応じた検出領域を構成したときの、検出領域の頂点座標を算出する（ステップＳ５０３）。一方、部位検出部５２８によってユーザの手が検出されない場合には（ステップＳ５０２：Ｎｏ）、再度ステップＳ５０１における処理が実行される。
【００８３】
そして、位置決定部５２５は、第３算出部５３０によって算出された検出領域の頂点座標から、検出領域の重心となる座標を算出する。続いて、位置決定部５２５は、検出領域の重心にボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を算出することにより、投影画像に配置するボタン画像の位置を決定する（ステップＳ５０４）。
【００８４】
投影画像生成部１２６は、位置決定部５２５によって決定されたボタン画像の頂点座標と、投影画像とから、ボタン画像を配置した投影画像を生成する（ステップＳ５０５）。その後、投影制御部１２７は、投影画像生成部１２６によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ５０６）。
【００８５】
［実施の形態５による効果］
情報処理装置５００は、ユーザの手が検出された位置に応じて定まる検出領域の重心に、ボタン画像の重心を重ねた投影画像を生成する。この結果、情報処理装置５００は、元々配置されているボタン画像の位置がユーザから遠い場所である、又は、ユーザの手が届かない場所にボタン画像が配置されている場合であっても、ユーザの手が検出された位置にボタン画像を配置するので、ユーザ操作の操作性を向上させることができる。
【００８６】
（実施の形態６）
上記実施の形態１では、撮像領域に包含される範囲において、操作対象でないオブジェクトに重ならないように、投影画像に配置するボタン画像の位置を決定する場合を説明した。実施の形態６では、ユーザの指定によりボタン画像を移動させる場合を説明する。
【００８７】
［実施の形態６に係る装置構成］
図１５を用いて、実施の形態６に係る装置構成を説明する。図１５は、実施の形態６に係る装置構成例を示す機能ブロック図である。実施の形態６では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す操作検出部６２２、位置決定部６２５以外の機能及び構成、処理は実施の形態１と同様である。
【００８８】
図１５に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置６００は、記憶部１１０と、制御部６２０とを有する。これらのうち、記憶部１１０は、投影画像記憶部１１１と、撮像画像記憶部１１２とを有する。制御部６２０は、通信制御部１２１と、操作検出部６２２と、第１算出部１２３と、第２算出部１２４と、位置決定部６２５と、投影画像生成部１２６と、投影制御部１２７とを有する。
【００８９】
操作検出部６２２は、操作対象画像の位置を移動させるためのユーザ操作を検出する。より具体的には、操作検出部６２２は、撮像画像から、ボタン画像の位置を移動させるためのユーザ操作を検出する。そして、操作検出部６２２は、検出したユーザ操作に対応するボタン画像の移動方向を位置決定部６２５に対して出力する。
【００９０】
位置決定部６２５は、移動方向をもとに、投影画像に対する操作対象画像の位置を決定する。より具体的には、位置決定部６２５は、操作検出部６２２によってボタン画像の移動方向が出力された場合に、移動方向にしたがってボタン画像を移動したときの、移動後のボタン画像の位置を決定する。ボタン画像の移動は、例えば、移動方向に応じて頂点座標を「１」増減させれば良い。但し、撮像領域に包含される範囲でボタン画像を移動させることが好ましい。
【００９１】
詳細には、ボタン画像を左方に移動させる場合には、ボタン画像の各頂点座標のｘ座標を「−１」する。また、ボタン画像を右方に移動させる場合には、ボタン画像の各頂点座標のｘ座標を「＋１」する。また、ボタン画像を上方に移動させる場合には、ボタン画像の各頂点座標のｙ座標を「＋１」する。また、ボタン画像を下方に移動させる場合には、ボタン画像の各頂点座標のｙ座標を「−１」する。なお、斜め方向についても上記を組み合わせれば良い。例えば、ボタン画像を左上に移動させる場合には、ボタン画像の各頂点座標のｘ座標を「−１」するとともに、ｙ座標を「＋１」すれば良い。
【００９２】
上述してきた実施の形態と同様に、会議等のプレゼンテーションや、店舗においてコンテンツをユーザに表示する用途で利用されても良いが、本実施形態は、これらとは異なる用途で利用されても良い。店舗においてコンテンツをユーザに表示する用途であれば、子供等にボタン画像を操作させる場合に、低い位置にボタン画像を移動させる等が考えられる。これに対して、例えば、広告主や管理者等が、コンテンツサービスをユーザに提供する前に、ボタン画像の配置を予め決定するために行なうということも考えられる。したがって、本実施の形態に係る投影画像生成部１２６によって生成された投影画像を、記憶部１１０に登録しておき、コンテンツサービスの提供時に、登録しておいた投影画像を投影するようにしても良い。
【００９３】
図１６は、実施の形態６に係るボタン画像の移動例を示す図である。図１６は、図３に示した投影画像１と同様のものであるため、実施の形態１と同様の処理については詳細な説明を省略する。なお、図１６においては、図３と同様に投影画像と撮像領域とが同一の大きさである。
【００９４】
図１６上段に示すように、操作検出部６２２によってボタン画像を移動させるためのユーザ操作が検出されるまでは、実施の形態１等の画像生成処理によって決定された位置にボタン画像５が配置されている。また、図１６上段に示す矢印オブジェクトは、何れの方向にボタン画像５を移動させるかを指示するためのものである。ユーザは、矢印オブジェクトを利用して、ボタン画像５の移動方向を指定するユーザ操作を行なう。これにより、操作検出部６２２は、撮像画像から、ボタン画像５の位置を移動させるためのユーザ操作を検出し、ボタン画像５の移動方向を位置決定部６２５に対して出力する。ここでは、下方向にボタン画像５を移動させるユーザ操作が行なわれたこととする。
【００９５】
位置決定部６２５は、操作検出部６２２によって出力されたボタン画像５の移動方向（下方向）にしたがって、ボタン画像５の各頂点座標のｙ座標を「−１」する。そして、位置決定部６２５は、ボタン画像５の各頂点座標のｙ座標を「−１」した頂点座標を投影画像生成部１２６に対して出力する。これにより、投影画像生成部１２６は、図１６下段に示すように、位置決定部６２５によって決定された位置に、ボタン画像５を配置した投影画像を生成する。上述したように、投影画像生成部１２６は、生成した投影画像を記憶部１１０に登録しても良いし、投影制御部１２７に出力しても良い。なお、上記矢印オブジェクトを投影画像に配置せずに、ユーザ操作のみから移動方向を検出するようにしても良い。
【００９６】
［実施の形態６に係る画像生成処理フロー］
次に、図１７を用いて、実施の形態６に係る画像生成処理の流れについて説明する。図１７は、実施の形態６に係る画像生成処理の流れの例を示すフローチャートである。
【００９７】
図１７に示すように、操作検出部６２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ６０１）。そして、操作検出部６２２は、撮像画像を用いて、ボタン画像を移動させるためのユーザ操作の検出を試みる（ステップＳ６０２）。このとき、操作検出部６２２によってボタン画像を移動させるユーザ操作が検出された場合に（ステップＳ６０２：Ｙｅｓ）、位置決定部６２５は、検出された移動方向にボタン画像を移動させたときの、ボタン画像の頂点座標を算出することにより、ボタン画像の位置を決定する（ステップＳ６０３）。一方、操作検出部６２２によってボタン画像を移動させるためのユーザ操作が検出されない場合には（ステップＳ６０２：Ｎｏ）、再度ステップＳ６０１における処理が実行される。
【００９８】
投影画像生成部１２６は、位置決定部６２５によって決定されたボタン画像の頂点座標と、投影画像とから、移動後の位置にボタン画像を配置した投影画像を生成する（ステップＳ６０４）。その後、投影制御部１２７は、投影画像生成部１２６によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ６０５）。
【００９９】
［実施の形態６による効果］
情報処理装置６００は、ユーザ操作に応じてボタン画像を移動したときのボタン画像の位置を決定し、決定した位置にボタン画像を配置した投影画像を生成する。この結果、情報処理装置６００は、投影画像に対するユーザ操作の操作性を向上させることができるとともに、ユーザの所望する投影画像のデザインを実現することができる。
【０１００】
（実施の形態７）
上記実施の形態５では、ユーザの所定部位が検出された位置にボタン画像を表示させる場合を説明した。実施の形態７では、ユーザに応じてボタン画像の位置を決定する場合を説明する。
【０１０１】
［実施の形態７に係る装置構成］
図１８を用いて、実施の形態７に係る装置構成を説明する。図１８は、実施の形態７に係る装置構成例を示す機能ブロック図である。実施の形態７では、実施の形態１及び５と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す優先度記憶部７１４、部位検出部７２８、ユーザ情報特定部７３１、撮像画像情報特定部７３２、操作権付与部７３３以外の機能及び構成、処理は実施の形態１及び５と同様である。
【０１０２】
図１８に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置７００は、記憶部７１０と、制御部７２０とを有する。これらのうち、記憶部７１０は、投影画像記憶部１１１と、撮像画像記憶部１１２と、優先度記憶部７１４とを有する。
【０１０３】
優先度記憶部７１４は、ユーザ情報と投影画像情報とに対応付けて、投影中の投影画像に配置された操作対象画像の操作権を決定するための優先度を記憶する。ユーザ情報は、性別や年齢に応じて分類されるユーザに関する情報である。投影画像情報は、投影画像の種類に応じて分類される投影画像に関する情報である。優先度は、投影中の投影画像に配置されたボタン画像に対するユーザ操作の操作権を、何れのユーザに付与するかを決定するために設定された優先順位に関する情報である。
【０１０４】
図１９は、実施の形態７に係る優先度記憶部７１４に記憶される情報例を示す図である。図１９に示すように、優先度記憶部７１４は、ユーザ情報と、投影画像情報とに対応付けて優先度（数値）を記憶する。具体的には、ユーザ情報は、「子供」、「男（若者）」、「男（高齢者）」、「女（若者）」、「女（高齢者）」に分類されている。また、投影画像情報は、「子供向け画像」、「男（若者）向け画像」、「男（高齢者）向け画像」、「女（若者）向け画像」、「女（高齢者）向け画像」に分類されている。そして、これらのユーザ情報及び投影画像情報に対応付けて、優先度が設定されている。
【０１０５】
例を挙げると、「子供向け画像」の優先度は、「子供：１」、「男（若者）：２」、「男（高齢者）：３」、「女（若者）：４」、「女（高齢者）：５」となっている。つまり、投影画像が子供向けの画像である場合には、ボタン画像の操作権を子供に対して付与した方が好ましいので、子供の優先度が最も高くなっている。本実施の形態では、優先度記憶部７１４に記憶された情報をもとに、投影中の投影画像に配置されたボタン画像に対するユーザ操作の操作権を何れのユーザに付与するかを決定し、操作権を付与したユーザによるユーザ操作を受け付けるようにする。なお、図１９に示した優先度記憶部７１４に記憶された情報は一例であり、ユーザ情報の分類、投影画像情報の分類、優先度の値は変更することができる。
【０１０６】
制御部７２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部５２５と、投影画像生成部１２６と、投影制御部１２７とを有する。加えて、制御部７２０は、部位検出部７２８と、第３算出部５３０と、ユーザ情報特定部７３１と、撮像画像情報特定部７３２と、操作権付与部７３３とを有する。
【０１０７】
部位検出部７２８は、撮像画像を用いて、ユーザの所定部位を検出する。より具体的には、部位検出部７２８は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像にユーザの手が写りこんでいることを検出する。そして、部位検出部７２８は、ユーザの手を検出できた撮像画像をユーザ情報特定部７３１に対して出力するとともに、ユーザの手が検出されたことを撮像画像情報特定部７３２に対して出力する。なお、部位検出部７２８による検出では、複数のユーザの手が検出されても良い。
【０１０８】
ユーザ情報特定部７３１は、ユーザの所定部位に対応するユーザ情報を特定する。より具体的には、ユーザ情報特定部７３１は、部位検出部７２８によって出力された撮像画像に含まれるユーザの手に対応するユーザの顔画像を取得する。ユーザの顔画像は、記憶部７１０に記憶されていても良いし、外部の記憶装置等から取得しても良い。そして、ユーザ情報特定部７３１は、取得した顔画像に対応するユーザ情報を特定する。ユーザ情報は、優先度記憶部７１４に記憶されたユーザ情報と同一のものである。なお、ユーザ情報は、顔画像を利用しなくても良く、ユーザの手の大きさや皺の状態等から年齢や性別を判定することにより特定しても良い。
【０１０９】
撮像画像情報特定部７３２は、投影中の投影画像の投影画像情報を特定する。より具体的には、撮像画像情報特定部７３２は、部位検出部７２８によってユーザの手が検出された場合に、投影画像記憶部１１１に記憶された投影画像をもとに、投影中の投影画像の投影画像情報を特定する。かかる投影画像情報は、投影画像１ページごとにデータとして埋め込まれているものとする。また、投影画像情報は、優先度記憶部７１４に記憶された投影画像情報と同一のものである。
【０１１０】
操作権付与部７３３は、ユーザ情報と投影画像情報とに対応する優先度に応じて、操作権を付与するユーザを決定する。より具体的には、操作権付与部７３３は、ユーザ情報特定部７３１によって特定されたユーザ情報と、撮像画像情報特定部７３２によって特定された投影画像情報とをもとに、優先度記憶部７１４から優先度を取得する。そして、操作権付与部７３３は、取得した優先度をもとに、手が検出された複数のユーザの中から操作権を付与するユーザを決定する。
【０１１１】
例を挙げると、ユーザ情報がそれぞれ「子供」、「男（若者）」、「男（高齢者）」、「女（若者）」及び「女（高齢者）」であるユーザの手が検出され、投影中の投影画像が「子供向け画像」である場合には、優先度の最も高い「子供」に対して操作権が付与されることになる。また、上記の例において、「子供」の手が検出されていない場合には、次に優先度の高い「男（若者）」に対して操作権が付与されることになる。なお、優先度の最も高いユーザが複数存在する場合には、優先度も最も高い複数のユーザの中から任意のユーザひとりに対して操作権を付与しても良いし、各々のユーザに対して操作権を付与しても良い。
【０１１２】
その後、部位検出部７２８は、操作権付与部７３３によって操作権が付与されたユーザの手を検出する。操作権が付与されたユーザの顔画像は特定済みであるので、任意のユーザの手を検出するたびに、顔画像と照合すれば、そのユーザの操作権の有無を判定可能である。なお、顔画像を利用しなくても、ユーザの手の画像と、操作権が付与されたユーザの手の画像とが一致するか否かによって、そのユーザの操作権の有無を判定しても良い。そして、部位検出部７２８は、実施の形態５と同様に、ユーザの手が検出されたことを第３算出部５３０に対して出力するとともに、ユーザの手を検出できた撮像画像を第３算出部５３０に対して出力する。
【０１１３】
［実施の形態７に係る画像生成処理フロー］
次に、図２０を用いて、実施の形態７に係る画像生成処理の流れについて説明する。図２０は、実施の形態７に係る画像生成処理の流れの例を示すフローチャートである。
【０１１４】
図２０に示すように、部位検出部７２８は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ７０１）。そして、部位検出部７２８は、ユーザの手の検出を試みる（ステップＳ７０２）。このとき、部位検出部７２８によって複数のユーザの手が検出された場合に（ステップＳ７０２：Ｙｅｓ）、ユーザ情報特定部７３１は、各ユーザの手が検出された各撮像画像をもとに、各ユーザに対応するユーザ情報を特定する（ステップＳ７０３）。一方、部位検出部７２８によってユーザの手が検出されない場合には（ステップＳ７０２：Ｎｏ）、再度ステップＳ７０１の処理が実行される。
【０１１５】
また、撮像画像情報特定部７３２は、投影画像記憶部１１１に記憶された投影画像をもとに、投影中の投影画像の投影画像情報を特定する（ステップＳ７０４）。そして、操作権付与部７３３は、ユーザ情報特定部７３１によって特定されたユーザ情報と、撮像画像情報特定部７３２によって特定された投影画像情報とをもとに、優先度記憶部７１４から優先度を取得し、取得した優先度をもとに操作権を付与するユーザを決定する（ステップＳ７０５）。
【０１１６】
第３算出部５３０は、操作権が付与されたユーザの手が検出された位置に応じた検出領域を構成したときの、検出領域の頂点座標を算出する（ステップＳ７０６）。位置決定部５２５は、第３算出部５３０によって算出された検出領域の頂点座標から、検出領域の重心となる座標を算出する。そして、位置決定部５２５は、検出領域の重心にボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を算出することにより、投影画像に配置するボタン画像の位置を決定する（ステップＳ７０７）。
【０１１７】
投影画像生成部１２６は、位置決定部５２５によって決定されたボタン画像の頂点座標と、投影画像とから、ボタン画像を配置した投影画像を生成する（ステップＳ７０８）。その後、投影制御部１２７は、投影画像生成部１２６によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ７０９）。
【０１１８】
［実施の形態７による効果］
情報処理装置７００は、投影中の投影画像によりマッチしたユーザに対してボタン画像の操作権を付与し、操作権を有するユーザの手を検出した位置にボタン画像を配置した投影画像を生成する。換言すると、情報処理装置７００は、投影中の投影画像に、より興味を示すと考えられるユーザの手の近傍に、ボタン画像を配置した投影画像を生成する。この結果、情報処理装置７００は、ユーザ操作の操作性をより向上させることができる。
【０１１９】
（実施の形態８）
上記実施の形態１では、撮像領域に包含される範囲において、操作対象でないオブジェクトに重ならないように、投影画像に配置するボタン画像の位置を決定する場合を説明した。また、上記実施の形態５では、ユーザの所定部位が検出された位置にボタン画像を表示させる場合を説明した。実施の形態８では、これらのボタン画像の配置を設定する場合を説明する。
【０１２０】
［実施の形態８に係る装置構成］
図２１を用いて、実施の形態８に係る装置構成を説明する。図２１は、実施の形態８に係る装置構成例を示す機能ブロック図である。実施の形態８では、実施の形態１や５と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す配置設定情報記憶部８１５、配置設定部８３４、部位検出部８２８以外の機能及び構成、処理は実施の形態１や５と同様である。
【０１２１】
図２１に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置８００は、記憶部８１０と、制御部８２０とを有する。これらのうち、記憶部８１０は、投影画像記憶部１１１と、撮像画像記憶部１１２と、配置設定情報記憶部８１５とを有する。
【０１２２】
配置設定情報記憶部８１５は、操作対象画像の配置に関する設定事項を表す配置設定情報を記憶する。より具体的には、配置設定情報記憶部８１５は、決定された位置にボタン画像を配置する第１配置設定情報、又は、ユーザの手が検出された位置にボタン画像を配置する第２配置設定情報を記憶する。すなわち、本実施の形態では、上記何れかの配置設定情報が配置設定情報記憶部８１５に記憶されており、配置設定情報に対応する画像生成処理を実行する。
【０１２３】
第１配置設定情報に対応する画像生成処理は、上記実施の形態１で説明したものである。また、第２配置設定情報に対応する画像生成処理は、上記実施の形態５で説明したものである。
【０１２４】
制御部８２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部５２５と、投影画像生成部１２６と、投影制御部１２７とを有する。加えて、制御部８２０は、部位検出部８２８と、第３算出部５３０と、配置設定部８３４とを有する。
【０１２５】
配置設定部８３４は、操作対象画像の配置に関する設定事項を設定する。より具体的には、配置設定部８３４は、ボタン画像の配置について、第１配置設定情報又は第２配置設定情報の配置設定情報を受け付ける。ユーザは、情報処理装置８００に接続された入力装置等を用いて、事前に設定を行なう。そして、配置設定部８３４は、受け付けた配置設定情報を配置設定情報記憶部８１５に格納する。
【０１２６】
部位検出部８２８は、配置設定情報をもとに、撮像画像を用いて、ユーザの所定部位を検出する。より具体的には、部位検出部８２８は、配置設定情報記憶部８１５から配置設定情報を取得し、取得した配置設定情報が第２配置設定情報であるか否かを判定する。そして、部位検出部８２８は、取得した配置設定情報が第２配置設定情報である場合に、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像にユーザの手が写りこんでいることを検出する。部位検出部８２８は、取得した配置設定情報が第２配置設定情報でない場合には、部位検出処理を実行しない。つまり、配置設定情報が第１配置設定情報であれば、部位検出部８２８や第３算出部５３０によって処理が実行されないので、実施の形態１と同様の画像生成処理が実行されることになる。
【０１２７】
［実施の形態８に係る画像生成処理フロー］
次に、図２２を用いて、実施の形態８に係る画像生成処理の流れについて説明する。図２２は、実施の形態８に係る画像生成処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像生成処理の流れと同様の処理については、詳細な説明を省略する。具体的には、ステップＳ８０９〜ステップＳ８１５は、ステップＳ１０１〜ステップＳ１０７における処理と同様である。また、実施の形態５に係る画像生成処理の流れと同様の処理については、詳細な説明を省略する。具体的には、ステップＳ８０３〜ステップＳ８０８は、ステップＳ５０１〜ステップＳ５０６における処理と同様である。
【０１２８】
図２２に示すように、部位検出部８２８は、配置設定情報記憶部８１５から配置設定情報を取得する（ステップＳ８０１）。そして、部位検出部８２８は、取得した配置設定情報が第２配置設定情報である場合に（ステップＳ８０２：Ｙｅｓ）、撮像画像記憶部１１２から撮像画像を取得し（ステップＳ８０３）、ユーザの手の検出を試みる（ステップＳ８０４）。一方、配置設定情報が第１配置設定情報である場合には（ステップＳ８０２：Ｎｏ）、部位検出部８２８による部位検出処理は実行されず、実施の形態１と同様の画像生成処理が実行されることになる。
【０１２９】
［実施の形態８による効果］
情報処理装置８００は、決定された位置にボタン画像を配置する配置設定、又は、ユーザの手が検出された位置にボタン画像を配置する配置設定に応じて、画像生成処理を実行する。この結果、情報処理装置８００は、操作性を損なうことなく、ユーザが所望する位置にボタン画像が配置された投影画像を生成することができる。
【０１３０】
（実施の形態９）
上記実施の形態５では、ユーザの所定部位が検出された位置にボタン画像を表示させる場合を説明した。実施の形態９では、ユーザと投影画像とに応じて、ボタン画像の位置を決定する方法を決定する場合を説明する。
【０１３１】
［実施の形態９に係る装置構成］
図２３を用いて、実施の形態９に係る装置構成を説明する。図２３は、実施の形態９に係る装置構成例を示す機能ブロック図である。実施の形態９では、実施の形態１や５と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す位置決定記憶部９１６、位置決定部９２５、投影画像生成部９２６、部位検出部９２８、ユーザ情報特定部９３１、配置可否判定部９３５、位置決定取得部９３６以外の機能及び構成、処理は実施の形態１や５と同様である。
【０１３２】
図２３に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置９００は、記憶部９１０と、制御部９２０とを有する。これらのうち、記憶部９１０は、投影画像記憶部１１１と、撮像画像記憶部１１２と、位置決定記憶部９１６とを有する。
【０１３３】
位置決定記憶部９１６は、ユーザ情報と配置可否情報とに対応付けて、投影中の投影画像に配置する操作対象画像の位置決定方法を記憶する。ユーザ情報は、年齢に応じて分類されるユーザに関する情報である。配置可否情報は、投影画像にボタン画像を配置する領域が存在するか否かによって分類された、ボタン画像の配置可否に関する情報である。投影画像にボタン画像を配置する領域が存在するか否かは、操作対象でないオブジェクトが配置された領域が投影画像の大半を専有していれば「ボタン画像を配置可能な領域が存在しない」ことになり、そうでなければ「ボタン画像を配置可能な領域が存在する」ことになる。専有の度合いについては、投影画像に対する操作対象でないオブジェクトの割合により決定すれば良い。
【０１３４】
位置決定方法は、投影中の投影画像に配置するボタン画像の位置決定方法に関する情報である。位置決定方法は、ユーザの手が届く位置にボタン画像を配置する第１位置決定方法や、操作対象でないオブジェクトに重ならない位置にボタン画像を配置する第２位置決定方法等が存在する。加えて、位置決定方法は、操作対象でないオブジェクトに重ならない位置に透過させたボタン画像を配置する第３位置決定方法や、投影画像にユーザが手を近づけたことをトリガとして、操作対象でないオブジェクトに重ならない位置にボタン画像を配置する第４位置決定方法等が存在する。
【０１３５】
図２４は、実施の形態９に係る位置決定記憶部９１６に記憶される情報例を示す図である。図２４に示すように、位置決定記憶部９１６は、ユーザ情報と配置可否とに対応付けて位置決定方法を記憶する。具体的には、ユーザ情報は、「子供」、「若者」、「高齢者」に分類されている。また、配置可否は、「ボタン画像を配置可能な領域が存在する」、「ボタン画像を配置可能な領域が存在しない」に分類されている。そして、これらのユーザ情報及び配置可否に対応付けて、ボタン画像の位置決定方法が設定されている。
【０１３６】
例を挙げると、ユーザ情報が「子供」、配置可否が「ボタン画像を配置可能な領域が存在する」である場合のボタン画像の位置決定方法は、「ユーザの手が届く位置」となっている。また、ユーザ情報が「子供」、配置可否が「ボタン画像を配置可能な領域が存在しない」である場合のボタン画像の位置決定方法は、「ユーザの手が届く位置」となっている。つまり、ユーザが子供である場合には、ボタン画像を配置可能な領域の存在有無に関係なく操作性を重視して、ユーザの手が検出された位置にボタン画像を配置する第４位置決定方法により、画像生成処理が実行される。また、若者に対しては透過させたボタン画像を採用し、高齢者に対しては視力の関係で透過させたボタン画像を採用していない。なお、図２４に示した位置決定記憶部９１６に記憶された情報は一例であり、ユーザ情報、配置可否、ボタン画像の位置決定方法の内容については変更することができる。
【０１３７】
制御部９２０は、通信制御部１２１と、操作検出部１２２と、第１算出部１２３と、第２算出部１２４と、位置決定部９２５と、投影画像生成部９２６と、投影制御部１２７とを有する。加えて、制御部９２０は、部位検出部９２８と、第３算出部５３０と、ユーザ情報特定部９３１と、配置可否判定部９３５と、位置決定取得部９３６とを有する。
【０１３８】
部位検出部９２８は、撮像画像を用いて、ユーザの所定部位を検出する。より具体的には、部位検出部９２８は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像にユーザの手が写りこんでいることを検出する。そして、部位検出部９２８は、ユーザの手を検出できた撮像画像をユーザ情報特定部９３１に対して出力するとともに、ユーザの手が検出されたことを配置可否判定部９３５に対して出力する。
【０１３９】
ユーザ情報特定部９３１は、ユーザの所定部位に対応するユーザ情報を特定する。より具体的には、ユーザ情報特定部９３１は、部位検出部９２８によって出力された撮像画像に含まれるユーザの手に対応するユーザの顔画像を取得する。ユーザの顔画像は、記憶部９１０に記憶されていても良いし、外部の記憶装置等から取得しても良い。そして、ユーザ情報特定部９３１は、取得した顔画像に対応するユーザ情報を特定する。ユーザ情報は、顔画像を利用しなくても良く、ユーザの手の大きさや皺の状態等から年齢を判定することにより特定しても良い。
【０１４０】
配置可否判定部９３５は、投影中の投影画像に操作対象画像が配置可能か否かを判定する。より具体的には、配置可否判定部９３５は、部位検出部９２８によってユーザの手が検出された場合に、投影中の投影画像における、操作対象でないオブジェクトの専有の度合いを導出する。そして、配置可否判定部９３５は、専有の度合いが高ければボタン画像を配置可能な領域が存在しないとする配置可否判定結果を出力し、専有の度合いが高くなければボタン画像を配置可能な領域が存在するとする配置可否判定結果を出力する。専有の度合いについては、任意に設定可能である。その後、配置可否判定部９３５は、配置可否判定結果を位置決定取得部９３６に対して出力する。なお、配置可否判定部９３５によって出力される配置可否判定結果は、位置決定記憶部９１６に記憶された配置可否と同一のものである。
【０１４１】
位置決定取得部９３６は、ユーザ情報と配置可否判定結果とから、操作対象画像の位置決定方法を特定する。より具体的には、位置決定取得部９３６は、ユーザ情報特定部９３１によって特定されたユーザ情報と、配置可否判定部９３５によって判定された配置可否の配置可否判定結果とをもとに、位置決定記憶部９１６からボタン画像の位置決定方法を取得する。そして、位置決定取得部９３６は、取得した位置決定方法を部位検出部９２８及び位置決定部９２５に対して出力する。
【０１４２】
また、部位検出部９２８は、位置決定取得部９３６によって出力された位置決定方法が第１位置決定方法又は第４位置決定方法である場合に、位置決定方法それぞれに対応する処理を開始する。具体的には、部位検出部９２８は、第１位置決定方法である場合に、実施の形態５と同様の処理を実行する。また、部位検出部９２８は、第４位置決定方法である場合に、実施の形態３と同様の処理を実行する。
【０１４３】
また、位置決定部９２５は、位置決定取得部９３６によって出力された位置決定方法が第２位置決定方法又は第３位置決定方法である場合に、位置決定方法それぞれに対応する処理を開始する。具体的には、位置決定部９２５は、第２位置決定方法である場合に、実施の形態１と同様の処理を実行する。また、位置決定部９２５は、第３位置決定方法である場合に、実施の形態２と同様の処理を実行する。これらにより、投影画像生成部９２６は、位置決定部９２５によって決定された位置に、第１位置決定方法〜第４位置決定方法に対応して、ボタン画像を配置した投影画像を生成する。
【０１４４】
［実施の形態９に係る画像生成処理フロー］
次に、図２５を用いて、実施の形態９に係る画像生成処理の流れについて説明する。図２５は、実施の形態９に係る画像生成処理の流れの例を示すフローチャートである。
【０１４５】
図２５に示すように、部位検出部９２８は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ９０１）。そして、部位検出部９２８は、撮像画像を用いて、ユーザの手の検出を試みる（ステップＳ９０２）。このとき、部位検出部９２８によってユーザの手が検出された場合に（ステップＳ９０２：Ｙｅｓ）、ユーザ情報特定部９３１は、ユーザの手が検出された撮像画像をもとに、ユーザに対応するユーザ情報を特定する（ステップＳ９０３）。一方、部位検出部９２８によってユーザの手が検出されない場合には（ステップＳ９０２：Ｎｏ）、再度ステップＳ９０１の処理が実行される。
【０１４６】
また、配置可否判定部９３５は、投影中の投影画像における、操作対象でないオブジェクトの専有の度合いを導出することにより、投影画像にボタン画像が配置可能な否かを判定する（ステップＳ９０４）。これらにより、位置決定取得部９３６は、ユーザ情報と配置可否判定結果とに基づいて、位置決定記憶部９１６から対応する位置決定方法を取得する（ステップＳ９０５）。
【０１４７】
そして、位置決定取得部９３６によって取得された位置決定方法が「ユーザの手が届く位置」である場合には（ステップＳ９０６：Ｙｅｓ）、ユーザの手が検出された検出領域にボタン画像を配置する画像生成処理が実行される（ステップＳ９０７）。また、位置決定取得部９３６によって取得された位置決定方法が「透過させる」である場合には（ステップＳ９０８：Ｙｅｓ）、操作対象でないオブジェクトに重ならない位置に、透過させたボタン画像を配置する画像生成処理が実行される（ステップＳ９０９）。
【０１４８】
また、位置決定取得部９３６によって取得された位置決定方法が「ユーザが手を近づけたとき」である場合には（ステップＳ９１０：Ｙｅｓ）、ユーザの手が検出されたときにボタン画像を表示する画像生成処理が実行される（ステップＳ９１１）。また、位置決定取得部９３６によって取得された位置決定方法が「ユーザが手を近づけたとき」でない場合には（ステップＳ９１０：Ｎｏ）、操作対象でないオブジェクトに重ならない位置にボタン画像を配置する画像生成処理が実行される（ステップＳ９１２）。
【０１４９】
［実施の形態９による効果］
情報処理装置９００は、年齢に応じて分類されるユーザ情報と、投影中の投影画像にボタン画像が配置可能か否かを表す情報とから、投影画像に配置するボタン画像の位置決定方法を特定し、位置決定方法に応じて画像生成処理を実行する。この結果、情報処理装置９００は、ユーザや投影中の投影画像に合わせて、好適な位置にボタン画像を配置した投影画像を生成することができるとともに、好適な効果が施されたボタン画像を配置した投影画像を生成することができる。
【０１５０】
（実施の形態１０）
さて、これまで本発明に係る投影システム１０の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）撮像領域やオブジェクトの形、（２）構成、（３）プログラム、について異なる実施の形態を説明する。
【０１５１】
（１）撮像領域やオブジェクトの形
上記実施の形態では、撮像画像や撮像領域、ボタン画像等の操作対象画像の形を方形であることとして説明した。本実施の形態では、これらが方形でなくても良い。例えば、投影画像や撮像領域、ボタン画像等が円形であれば、該円形を含む最小の方形を採用し、上述した各実施の形態を実現する。但し、撮像領域については、方形ではない撮像領域を含む最小の方形を採用すると、撮像領域自体が大きくなりすぎる可能性もあり、実際にはユーザ操作を検出できない領域まで含むことになるため、撮像領域に含まれる最大の方形を採用しても良い。
【０１５２】
（２）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した各装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
【０１５３】
上記実施の形態では、撮像装置２０、通信装置３０、投影装置４０及び情報処理装置１００を有する投影システム１０として説明したが、これらの装置は、任意の単位で機能的又は物理的に、分散又は統合することができる。例えば、撮像装置２０、投影装置４０及び情報処理装置１００を一体型の装置として実現しても良いし、情報処理装置１００及び投影装置４０のみを一体型の装置として実現しても良く、これらの組み合わせは変更可能である。
【０１５４】
（３）プログラム
また、情報処理装置１００で実行される画像生成プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、情報処理装置１００で実行される画像生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、情報処理装置１００で実行される画像生成プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、画像生成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。
【０１５５】
情報処理装置１００で実行される画像生成プログラムは、上述した各部（第１算出部１２３、第２算出部１２４、位置決定部１２５、投影画像生成部１２６、投影制御部１２７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から画像生成プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、第１算出部１２３、第２算出部１２４、位置決定部１２５、投影画像生成部１２６、投影制御部１２７が主記憶装置上に生成されるようになっている。
【符号の説明】
【０１５６】
１０  投影システム
２０  撮像装置
２１  撮像部
３０  通信装置
３１  通信制御部
４０  投影装置
４１  投影部
１００  情報処理装置
１１０  記憶部
１１１  投影画像記憶部
１１２  撮像画像記憶部
１２０  制御部
１２１  通信制御部
１２２  操作検出部
１２３  第１算出部
１２４  第２算出部
１２５  位置決定部
１２６  投影画像生成部
１２７  投影制御部
【先行技術文献】
【特許文献】
【０１５７】
【特許文献１】特許第４７１０７３４号公報
【特許文献２】特開２００５−３３９２６９号公報
【図１】
2014160410.tif 000003
【図２】
2014160410.tif 000004
【図３】
2014160410.tif 000005
【図４】
2014160410.tif 000006
【図５】
2014160410.tif 000007
【図６】
2014160410.tif 000008
【図７】
2014160410.tif 000009
【図８】
2014160410.tif 000010
【図９】
2014160410.tif 000011
【図１０】
2014160410.tif 000012
【図１１】
2014160410.tif 000013
【図１２】
2014160410.tif 000014
【図１３】
2014160410.tif 000015
【図１４】
2014160410.tif 000016
【図１５】
2014160410.tif 000017
【図１６】
2014160410.tif 000018
【図１７】
2014160410.tif 000019
【図１８】
2014160410.tif 000020
【図１９】
2014160410.tif 000021
【図２０】
2014160410.tif 000022
【図２１】
2014160410.tif 000023
【図２２】
2014160410.tif 000024
【図２３】
2014160410.tif 000025
【図２４】
2014160410.tif 000026
【図２５】
2014160410.tif 000027