(57)【要約】【課題】縮小画像を配置した投影画像を投影する場合に、縮小画像が視聴者の妨げとならないようにすることを課題とする。【解決手段】部位検出部は、投影対象物に投影された第１の画像を撮像した撮像画像に基づいて、ユーザの所定部位を検出する。第１位置決定部は、部位検出部による検出に基づいて、第１の画像の縮小画像を配置する位置を決定する。投影部は、第１位置決定部によって決定された位置に縮小画像を配置した第２の画像を投影する。指示動作検出部は、撮像画像に基づいて、投影部によって投影されている第２の画像に対するユーザの指示動作を検出する。第２位置決定部は、指示動作検出部による検出に基づいて、指示画像を配置する位置を決定する。投影制御部は、第２位置決定部によって決定された位置と、第２の画像における縮小画像の位置との比較に基づいて、投影部による画像の投影を制御する。【選択図】図１
2014178790.tif 000002
【特許請求の範囲】
【請求項１】
投影対象物に投影された第１の画像を撮像する撮像部と、
前記撮像部によって撮像された撮像画像に基づいて、ユーザの所定部位を検出する部位検出部と、
前記部位検出部による検出に基づいて、前記第１の画像の縮小画像を配置する位置を決定する第１位置決定部と、
前記第１位置決定部によって決定された位置に前記縮小画像を配置した第２の画像を投影する投影部と、
前記撮像部によって撮像された撮像画像に基づいて、前記投影部によって投影されている前記第２の画像に対するユーザの指示動作を検出する指示動作検出部と、
前記指示動作検出部による検出に基づいて、指示画像を配置する位置を決定する第２位置決定部と、
前記第２位置決定部によって決定された位置と、前記第２の画像における前記縮小画像の位置との比較に基づいて、前記投影部による画像の投影を制御する投影制御部と
を有することを特徴とする投影システム。
【請求項２】
前記第２位置決定部は、前記指示動作が検出された場合に、前記縮小画像の座標系から、前記第１の画像の座標系へ変換した指示画像の位置を決定することを特徴とする請求項１に記載の投影システム。
【請求項３】
前記投影制御部は、前記指示画像と前記縮小画像とが重なる場合に、透過させた前記縮小画像を配置した画像の投影を制御することを特徴とする請求項１又は２に記載の投影システム。
【請求項４】
前記投影制御部は、前記指示画像と前記縮小画像とが重なる場合に、前記縮小画像を配置せずに、前記縮小画像を配置する配置領域の外枠を表す枠画像を配置した画像の投影を制御することを特徴とする請求項１又は２に記載の投影システム。
【請求項５】
前記投影制御部は、前記指示画像と前記縮小画像とが重なる場合に、前記指示画像の表示方法を変更した画像の投影を制御することを特徴とする請求項３又は４に記載の投影システム。
【請求項６】
前記部位検出部は、前記所定部位を検出した状態から、前記所定部位が検出されない状態になったことを出力し、
前記投影制御部は、前記所定部位が検出されない状態になった場合に、前記縮小画像を配置しない画像の投影を制御することを特徴とする請求項１又は２に記載の投影システム。
【請求項７】
前記部位検出部は、複数ユーザの前記所定部位を検出し、
前記第１位置決定部は、複数ユーザの前記所定部位が検出された位置それぞれに応じて、複数の前記縮小画像を配置する位置を決定し、
前記指示動作検出部は、複数ユーザの前記指示動作を検出し、
前記第２位置決定部は、複数の前記指示画像を配置する位置を決定し、
前記投影制御部は、前記第２位置決定部によって決定された複数の位置と、前記第２の画像における複数の前記縮小画像の位置との比較に基づいて、前記投影部による画像の投影を制御することを特徴とする請求項１又は２に記載の投影システム。
【請求項８】
前記投影制御部は、ユーザごとに外枠を異なる色にした前記縮小画像を配置した画像の投影を制御することを特徴とする請求項７に記載の投影システム。
【請求項９】
前記投影制御部は、ユーザごとに異なる表示方法にした前記指示画像を配置した画像の投影を制御することを特徴とする請求項７又は８に記載の投影システム。
【請求項１０】
投影対象物に投影された第１の画像を撮像した撮像画像に基づいて、ユーザの所定部位を検出する部位検出部と、
前記部位検出部による検出に基づいて、前記第１の画像の縮小画像を配置する位置を決定する第１位置決定部と、
前記第１位置決定部によって決定された位置に前記縮小画像を配置した第２の画像を投影する投影部と、
前記撮像画像に基づいて、前記投影部によって投影されている前記第２の画像に対するユーザの指示動作を検出する指示動作検出部と、
前記指示動作検出部による検出に基づいて、指示画像を配置する位置を決定する第２位置決定部と、
前記第２位置決定部によって決定された位置と、前記第２の画像における前記縮小画像の位置との比較に基づいて、前記投影部による画像の投影を制御する投影制御部と
を有することを特徴とする投影装置。
【請求項１１】
投影対象物に投影された第１の画像を撮像した撮像画像に基づいて、ユーザの所定部位を検出する部位検出ステップと、
前記部位検出ステップによる検出に基づいて、前記第１の画像の縮小画像を配置する位置を決定する第１位置決定ステップと、
前記第１位置決定ステップによって決定された位置に前記縮小画像を配置した第２の画像を投影する投影ステップと、
前記撮像画像に基づいて、前記投影ステップによって投影されている前記第２の画像に対するユーザの指示動作を検出する指示動作検出ステップと、
前記指示動作検出ステップによる検出に基づいて、指示画像を配置する位置を決定する第２位置決定ステップと、
前記第２位置決定ステップによって決定された位置と、前記第２の画像における前記縮小画像の位置との比較に基づいて、前記投影ステップによる画像の投影を制御する投影制御ステップと
をコンピュータに実行させるための投影プログラム。
【請求項１２】
投影対象物に投影された第１の画像を撮像した撮像画像に基づいて、ユーザの所定部位を検出する部位検出ステップと、
前記部位検出ステップによる検出に基づいて、前記第１の画像の縮小画像を配置する位置を決定する第１位置決定ステップと、
前記第１位置決定ステップによって決定された位置に前記縮小画像を配置した第２の画像を投影する投影ステップと、
前記撮像画像に基づいて、前記投影ステップによって投影されている前記第２の画像に対するユーザの指示動作を検出する指示動作検出ステップと、
前記指示動作検出ステップによる検出に基づいて、指示画像を配置する位置を決定する第２位置決定ステップと、
前記第２位置決定ステップによって決定された位置と、前記第２の画像における前記縮小画像の位置との比較に基づいて、前記投影ステップによる画像の投影を制御する投影制御ステップと
を含んだことを特徴とする投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影システム、投影装置、投影プログラム及び投影方法に関する。
【背景技術】
【０００２】
従来、会議や店舗では、画像を表示する表示装置が利用されることがある。会議においては、資料を表示してプレゼンテーションを行なう用途で表示装置が利用される。店舗においては、各種コンテンツをユーザに表示する用途で表示装置が利用される。また、表示装置は、大画面化が可能となっており、大画面になることでユーザにとってはより見易くなっている。
【０００３】
また、表示装置に表示された画像上でユーザ操作が行なわれることで、画像を切り替える等の各種指示を行なえる技術が知られている。つまり、ユーザは、表示装置の近傍に居ながら、ユーザ操作を行なうことにより各種指示を行なうことができる。これにより、会議において効率良くプレゼンテーションを行なうことができるし、店舗においても各々のユーザが自身に有用な情報を迅速に閲覧することができる。
【０００４】
但し、表示装置が大画面である場合には、ユーザの手が届かない位置に対してユーザ操作を行なうことが困難である。そこで、最近では、表示する元画像に、元画像を縮小した縮小画像を合成して表示し、縮小画像に対するユーザ操作を検出して、各種指示を元画像に反映する技術がある。これにより、大画面の表示装置を利用する場合においても、ユーザ操作による各種指示を実現している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術は、投影面に投影された投影画像に対するユーザ操作を反映する技術に適用することが困難である。従来技術は、ユーザ操作をもとに、表示装置に表示された縮小画像上の座標を、表示装置に表示された元画像上の座標に変換するため、操作対象と操作場所とが表示装置であり一致している。一方、投影面に投影された投影画像に対するユーザ操作を反映する技術は、操作場所はスクリーンや壁等であり、操作対象の画像データそのものではない。この結果、上述した従来技術は、投影面に投影された投影画像に対するユーザ操作を反映する技術に適用することが困難である。
【０００６】
本発明は、上記に鑑みてなされたものであって、縮小画像を配置した投影画像を投影する場合に、縮小画像が視聴者の妨げとならないようにすることが可能である投影システム、投影装置、投影プログラム及び投影方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、本発明に係る投影システムは、投影対象物に投影された第１の画像を撮像する撮像部と、前記撮像部によって撮像された撮像画像に基づいて、ユーザの所定部位を検出する部位検出部と、前記部位検出部による検出に基づいて、前記第１の画像の縮小画像を配置する位置を決定する第１位置決定部と、前記第１位置決定部によって決定された位置に前記縮小画像を配置した第２の画像を投影する投影部と、前記撮像部によって撮像された撮像画像に基づいて、前記投影部によって投影されている前記第２の画像に対するユーザの指示動作を検出する指示動作検出部と、前記指示動作検出部による検出に基づいて、指示画像を配置する位置を決定する第２位置決定部と、前記第２位置決定部によって決定された位置と、前記第２の画像における前記縮小画像の位置との比較に基づいて、前記投影部による画像の投影を制御する投影制御部とを有する。
【発明の効果】
【０００８】
本発明の一つの様態によれば、縮小画像を配置した投影画像を投影する場合に、縮小画像が視聴者の妨げとならないようにすることができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る投影装置の構成例を示す機能ブロック図である。
【図２】図２は、実施の形態１に係る座標記憶部に記憶される情報例を示す図である。
【図３】図３は、実施の形態１に係る配置領域とポインタとが重ならない場合の投影画像の例を示す図である。
【図４】図４は、実施の形態１に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。
【図５】図５は、実施の形態１に係る配置領域とポインタとが重なる場合の投影画像の例を示す図である。
【図６】図６は、実施の形態１に係る画像生成処理の流れの例を示すフローチャートである。
【図７】図７は、実施の形態１の変形例に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。
【図８】図８は、実施の形態１の変形例に係る配置領域とポインタとが重なる場合の投影画像の例を示す図である。
【図９】図９は、実施の形態１の変形例に係る画像生成処理の流れの例を示すフローチャートである。
【図１０】図１０は、実施の形態２に係る投影装置の構成例を示す機能ブロック図である。
【図１１Ａ】図１１Ａは、実施の形態２に係るポインタをリングの形状に変化させた例を示す図である。
【図１１Ｂ】図１１Ｂは、実施の形態２に係るポインタを矢印の形状に変化させた例を示す図である。
【図１２】図１２は、実施の形態２に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。
【図１３】図１３は、実施の形態２に係る配置領域とポインタとが重なる場合の投影画像の例を示す図である。
【図１４】図１４は、実施の形態２に係る画像生成処理の流れの例を示すフローチャートである。
【図１５】図１５は、実施の形態３に係る投影装置の構成例を示す機能ブロック図である。
【図１６】図１６は、実施の形態３に係る座標記憶部に記憶される情報例を示す図である。
【図１７】図１７は、実施の形態３に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。
【図１８】図１８は、実施の形態３に係る画像生成処理の流れの例を示すフローチャートである。
【図１９】図１９は、投影システムの装置構成例を示す機能ブロック図である。
【図２０】図２０は、投影装置１００のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、本発明に係る投影システム、投影装置、投影プログラム及び投影方法の実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。
【００１１】
（実施の形態１）
［実施の形態１に係る装置構成］
図１を用いて、実施の形態１に係る投影装置の構成を説明する。図１は、実施の形態１に係る投影装置の構成例を示す機能ブロック図である。
【００１２】
図１に示すように、投影装置１００は、記憶部１１０と、制御部１２０とを有する。これらのうち、記憶部１１０は、制御部１２０による各種処理で利用されるデータや、制御部１２０による各種処理結果を記憶し、投影画像記憶部１１１と、撮像画像記憶部１１２と、座標記憶部１１３とを有する。また、記憶部１１０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。
【００１３】
投影画像記憶部１１１は、投影面等の投影対象物に投影される投影画像を記憶する。具体的には、投影画像記憶部１１１は、投影面に投影される投影画像そのものを記憶しても良いし、投影面に投影される投影画像を生成するための構成データを記憶しても良い。例えば、投影画像の構成データは、投影画像に配置される各種オブジェクト等の投影画像を構成するためのデータである。
【００１４】
撮像画像記憶部１１２は、撮像可能な領域を表す撮像領域を撮像した撮像画像を記憶する。かかる撮像画像は、カメラ等の撮像装置によって撮像及び生成された画像である。撮像装置は、投影面と該撮像装置との距離に応じて定まる撮像領域を撮像し、撮像画像を生成する。そして、撮像装置は、生成した撮像画像を投影装置１００に対して送信する。これらにより、撮像画像記憶部１１２には、撮像装置によって送信された撮像画像が格納される。本実施の形態において、撮像領域は、投影面に投影される投影画像と同じ大きさであるものとする。
【００１５】
座標記憶部１１３は、配置領域の位置や大きさに関する情報と、ユーザによって指示された投影画像内の位置に関する情報とを記憶する。かかる配置領域は、投影画像に含まれる領域であって、投影画像を縮小した縮小画像が配置される領域である。なお、配置領域の位置の決定については後述する。具体的には、座標記憶部１１３は、投影画像に対する配置領域の座標と、配置領域の横幅（Ｘ方向）及び高さ（Ｙ方向）とを記憶する。また、座標記憶部１１３は、投影画像に対するユーザ指示の座標を記憶する。以下では、ユーザ指示の座標を「指示座標」と呼ぶ場合がある。
【００１６】
図２は、実施の形態１に係る座標記憶部１１３に記憶される情報例を示す図である。図２に示すように、座標記憶部１１３は、投影画像に対する配置領域のＸ座標及びＹ座標と、配置領域の横幅及び高さとを記憶する。例を挙げると、座標記憶部１１３は、配置領域について、Ｘ座標「５８０」、Ｙ座標「４００」、横幅「６０」、高さ「４０」を記憶する。また、座標記憶部１１３は、投影画像に対するユーザ指示のＸ座標及びＹ座標を記憶する。例を挙げると、座標記憶部１１３は、指示座標について、Ｘ座標「３００」、Ｙ座標「３００」を記憶する。なお、座標記憶部１１３は、システムの起動時等のデフォルトの状態においては上記情報を保持していない。
【００１７】
制御部１２０は、制御プログラム、各種の処理手順等を規定したプログラム及び所要データを格納するための内部メモリを有する。かかる制御部１２０は、部位検出部１２１と、第１位置決定部１２２と、投影画像生成部１２３と、縮小画像生成部１２４と、指示画像生成部１２５と、投影部１２６と、操作認識部１２７と、第２位置決定部１２８と、判定部１２９とを有する。
【００１８】
また、制御部１２０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路、又は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等の電子回路である。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）、上記のようなハードウェア回路であっても良い。
【００１９】
部位検出部１２１は、撮像画像を用いて、ユーザの所定部位を検出する。より具体的には、部位検出部１２１は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像にユーザの所定部位が写りこんでいることを検出する。所定部位は、例えばユーザの手等である。そして、部位検出部１２１は、ユーザの手を検出した旨と、ユーザの手を検出したときの撮像画像とを第１位置決定部１２２に対して出力する。また、部位検出部１２１によるユーザの手の検出処理は逐次実行されており、部位検出部１２１は、ユーザの手を検出している状態から、検出できない状態になった場合に、検出できない状態になった旨を投影画像生成部１２３に対して出力する。
【００２０】
第１位置決定部１２２は、所定部位を検出した位置に応じて配置領域の位置を決定する。より具体的には、第１位置決定部１２２は、投影中の投影画像を投影画像記憶部１１１から取得し、取得した投影画像と、部位検出部１２１によるユーザの手の検出で利用された撮像画像とから、投影画像に対する配置領域の座標を算出する。そして、第１位置決定部１２２は、算出した座標を、配置領域の横幅及び高さとともに、座標記憶部１１３に格納する。配置領域の横幅及び高さは、予め定められた値を利用しても良いし、投影画像の大きさに応じて決定しても良い。その後、第１位置決定部１２２は、投影画像生成部１２３に対して投影画像生成処理を依頼する。
【００２１】
かかる配置領域の座標は、配置領域内の任意の座標であれば良い。例えば、配置領域の頂点座標の何れかでも良いし、配置領域の重心となる座標でも良い。つまり、第１位置決定部１２２によって算出された座標を配置領域の頂点座標の何れかとする場合には、頂点座標一つと、配置領域の横幅及び高さとから、投影画像に対する配置領域の位置を決定できる。また、第１位置決定部１２２によって算出された座標を配置領域の重心となる座標とする場合には、配置領域の横幅及び高さを有する領域であり、算出された座標を重心とした領域を構成すれば、投影画像に対する配置領域の位置を決定できる。これらの他、第１位置決定部１２２によって算出された座標を配置領域内の任意の座標とする場合には、配置領域の横幅及び高さを有する領域であり、任意の座標を含む領域を構成すれば、投影画像に対する配置領域の位置を決定できる。
【００２２】
投影画像生成処理の依頼を受け付けた投影画像生成部１２３は、縮小画像生成部１２４に対して縮小画像生成処理を依頼するとともに、指示画像生成部１２５に対して指示画像生成処理を依頼する。
【００２３】
縮小画像生成部１２４は、投影画像を縮小した縮小画像を生成する。より具体的には、縮小画像生成部１２４は、投影中の投影画像を投影画像記憶部１１１から取得するとともに、配置領域の横幅及び高さを座標記憶部１１３から取得する。そして、縮小画像生成部１２４は、配置領域の横幅及び高さに合わせて、取得した投影画像を縮小した縮小画像を生成する。その後、縮小画像生成部１２４は、生成した縮小画像を投影画像生成部１２３に対して出力する。指示画像生成部１２５は、投影画像に配置されるポインタを生成し、生成したポインタを投影画像生成部１２３に対して出力する。かかるポインタは、指示画像の一例である。また、ポインタの大きさは、予め決定していても良いし、投影画像の大きさ等に応じて決定しても良い。投影画像の大きさに応じてポインタの大きさを決定すれば、不自然な大きさのポインタが配置されることを抑制できる。
【００２４】
投影画像生成部１２３は、配置領域に縮小画像を配置した投影画像を生成する。より具体的には、投影画像生成部１２３は、投影中の投影画像を投影画像記憶部１１１から取得するとともに、第１位置決定部１２２によって決定された配置領域の座標と、配置領域の横幅及び高さとを座標記憶部１１３から取得する。そして、投影画像生成部１２３は、配置領域の座標、横幅及び高さをもとに、縮小画像生成部１２４によって生成された縮小画像を配置領域に配置し、指示画像生成部１２５によって生成されたポインタを任意の位置に配置した投影画像を生成する。ここで、ポインタの位置は、この時点ではユーザ操作されているわけではないので、上記のように任意の位置に配置すれば良い。その後、投影画像生成部１２３は、生成した投影画像を投影部１２６に対して出力する。なお、縮小画像が配置された投影画像は、第２の画像の一例である。
【００２５】
投影部１２６は、投影面に投影画像を投影する。より具体的には、投影部１２６は、投影画像生成部１２３によって生成された投影画像を、スクリーン等の投影面に投影する。なお、投影面に投影される投影画像は、第１の画像の一例である。
【００２６】
操作認識部１２７は、ユーザ操作を認識する。より具体的には、操作認識部１２７は、撮像画像記憶部１１２から撮像画像を取得し、連続した複数の撮像画像をもとに、縮小画像内でのユーザの手の動きを検出し、投影装置１００に対する操作であるユーザ操作を認識する。かかるユーザ操作は、ジェスチャやジェスチャ操作と呼ばれることがある。ここでは、ポインタを移動させるためのユーザ操作を認識するものとする。なお、操作認識部１２７は、指示動作検出部の一例である。
【００２７】
ユーザは、投影面に投影された投影画像に含まれる縮小画像内において、ポインタを移動させるために手を動かす。つまり、操作認識部１２７は、撮像画像を用いて、縮小画像内でのユーザの手の軌跡から、ポインタを移動させるユーザ操作を認識する。また、操作認識部１２７は、ポインタを移動するユーザ操作を認識できた撮像画像を用いて、投影画像に対するユーザの手の位置の座標を算出し、算出した座標を座標記憶部１１３に格納する。操作認識部１２７によって座標記憶部１１３に格納される座標は、指示座標と呼ぶ場合がある。そして、操作認識部１２７は、ポインタを動かすユーザ操作を認識した旨を第２位置決定部１２８に対して出力する。これらにより、座標記憶部１１３は、第１位置決定部１２２によって決定された配置領域の位置と、操作認識部１２７によって算出された指示座標とが記憶された状態となる（図２参照）。なお、座標記憶部１１３に記憶される指示座標は、操作認識部１２７によって都度更新（上書き）される。
【００２８】
第２位置決定部１２８は、ユーザ操作に応じて、投影画像に配置する指示画像の位置を決定する。より具体的には、第２位置決定部１２８は、操作認識部１２７によってポインタを動かすユーザ操作を認識した旨を受け付けた場合に、指示座標を座標記憶部１１３から取得する。そして、第２位置決定部１２８は、取得した指示座標について、縮小画像の座標系から、投影画像の座標系へ変換することにより、投影画像に配置するポインタの位置を決定する。座標系の変換は、投影画像と縮小画像との大きさ（横幅や高さ）をもとに行なわれれば良い。投影画像の大きさは、投影画像記憶部１１１に記憶された投影画像の構成データを参照すれば良い。その後、第２位置決定部１２８は、投影画像に配置するポインタの位置（座標）を判定部１２９に対して出力する。
【００２９】
判定部１２９は、配置領域と指示画像とが重なるか否かを判定する。より具体的には、判定部１２９は、第２位置決定部１２８から投影画像に配置するポインタの位置を受け付けた場合に、配置領域の座標、横幅及び高さを座標記憶部１１３から取得し、投影画像において配置領域とポインタとが重なるか否かを判定する。かかる判定では、ポインタの座標が配置領域内に含まれるか否かにより、配置領域とポインタが重なるか否かを判定すれば良い。そして、判定部１２９は、投影画像に配置するポインタの位置とともに、配置領域とポインタとが重なるか否かの判定結果を投影画像生成部１２３に対して出力する。
【００３０】
投影画像生成部１２３は、判定部１２９から受け付けた配置領域とポインタとが重なるか否かの判定結果に応じて、配置領域内の表示方法を変更した投影画像を生成する。より具体的には、投影画像生成部１２３は、判定部１２９によって配置領域とポインタとが重ならないと判定された場合に、ユーザ操作に応じた位置にポインタを配置した投影画像を生成する。そして、投影画像生成部１２３は、生成した投影画像を投影部１２６に対して出力する。これにより、投影部１２６は、ユーザ操作に応じた位置にポインタが配置されている投影画像を投影面に投影する。なお、判定部１２９や投影画像生成部１２３は、投影制御部の一例である。
【００３１】
図３は、実施の形態１に係る配置領域とポインタとが重ならない場合の投影画像の例を示す図である。図３上段はシステム起動時等の初期状態において投影される投影画像であり、図３下段はユーザ操作に応じたポインタ表示が行なわれた投影画像である。図３下段に示すように、ユーザによって投影面の左下の場所に手が入れられると、手が入れられた位置に縮小画像が表示される。また、図３下段に示すように、ユーザによってポインタを移動させるユーザ操作が縮小画像内で行なわれると、該ユーザ操作に応じた位置にポインタ（黒い円形）が表示される。本実施の形態では、ポインタの形状が円形である場合を例に挙げるが、ポインタの形状は円形に限られるものではない。
【００３２】
一方、投影画像生成部１２３は、判定部１２９によって配置領域とポインタとが重なると判定された場合に、ポインタを配置するとともに、透過させた縮小画像を配置した投影画像を生成する。そして、投影画像生成部１２３は、生成した投影画像を投影部１２６に対して出力する。これにより、投影部１２６は、ユーザ操作に応じた位置である配置領域内にポインタが配置されているとともに、透過させた縮小画像が配置された投影画像を投影面に投影する。
【００３３】
図４は、実施の形態１に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。図４では、配置領域とポインタとが重なる場合を例に挙げる。図４に示すように、配置領域の表示方法は「透過」であり、Ｘ座標は「５８０」であり、Ｙ座標は「４００」であり、横幅は「６０」であり、高さは「４０」である。また、ポインタのＸ座標は「６００」であり、Ｙ座標は「４２０」であり、横幅は「３０」であり、高さは「３０」である。なお、ポインタの横幅及び高さは、上述したような円形に外接する方形の大きさを表している。投影画像生成部１２３は、図４に示す各種オブジェクトの表示内容をもとに、配置領域の位置に縮小画像を配置するとともに、ポインタを配置した投影画像を生成する。
【００３４】
図５は、実施の形態１に係る配置領域とポインタとが重なる場合の投影画像の例を示す図である。なお、図５では、縮小画像を破線で表しているが、実際に破線で表されるわけではない。つまり、図５に示す縮小画像は、透過された縮小画像のイメージである。図５に示すように、ユーザによってポインタを移動させるユーザ操作が縮小画像内で行なわれ、このときのポインタの移動先が配置領域と重なる場合には、透過された縮小画像内にポインタが配置された状態の投影画像となる。
【００３５】
また、投影画像生成部１２３は、部位検出部１２１からユーザの手が検出されない状態になった旨を受け付けた場合に、縮小画像を配置しない投影画像を生成する。つまり、ユーザの手が撮像画像に含まれない状態になったということは、ユーザがユーザ操作をやめたことになり、縮小画像を表示しなくても良いため、投影画像生成部１２３は、縮小画像を配置しない投影画像を生成する。また、このとき、座標記憶部１１３に記憶されている情報は削除する。
【００３６】
［実施の形態１に係る画像生成処理フロー］
次に、図６を用いて、実施の形態１に係る画像生成処理の流れについて説明する。図６は、実施の形態１に係る画像生成処理の流れの例を示すフローチャートである。
【００３７】
図６に示すように、部位検出部１２１は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ１０１）。ここで、部位検出部１２１は、撮像画像を用いて、ユーザの手の検出を試みる（ステップＳ１０２）。このとき、部位検出部１２１によってユーザの手が検出された場合に（ステップＳ１０２：Ｙｅｓ）、第１位置決定部１２２は、投影中の投影画像を投影画像記憶部１１１から取得し、取得した投影画像と、部位検出部１２１によるユーザの手の検出で利用された撮像画像とから、投影画像に対する配置領域の位置を決定する（ステップＳ１０３）。決定された配置領域の位置は、座標記憶部１１３に格納される。一方、部位検出部１２１によってユーザの手が検出されない場合には（ステップＳ１０２：Ｎｏ）、ステップＳ１０１における処理が実行される。
【００３８】
縮小画像生成部１２４は、投影中の投影画像を投影画像記憶部１１１から取得するとともに、配置領域の横幅及び高さを座標記憶部１１３から取得し、配置領域の横幅及び高さに合わせて、取得した投影画像を縮小した縮小画像を生成する（ステップＳ１０４）。指示画像生成部１２５は、投影画像に配置されるポインタを生成する（ステップＳ１０５）。投影画像生成部１２３は、投影中の投影画像を投影画像記憶部１１１から取得するとともに、配置領域の位置（座標）、横幅及び高さを座標記憶部１１３から取得し、縮小画像生成部１２４によって生成された縮小画像を配置領域に配置した投影画像を生成する（ステップＳ１０６）。なお、投影画像生成部１２３は、指示画像生成部１２５によって生成されたポインタについても投影画像に配置する。投影部１２６は、投影画像生成部１２３によって生成された投影画像を投影する（ステップＳ１０７）。
【００３９】
縮小画像が配置された投影画像の投影後、部位検出部１２１は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ１０８）。ここで、部位検出部１２１は、ユーザの手の検出を試みる（ステップＳ１０９）。部位検出部１２１によってユーザの手が検出されている状態である場合に（ステップＳ１０９：Ｙｅｓ）、操作認識部１２７は、撮像画像記憶部１１２から撮像画像を取得し、撮像画像を用いて、ポインタを移動させるユーザ操作の認識を試みる（ステップＳ１１０）。操作認識部１２７は、ポインタを移動させるユーザ操作を認識すると、投影画像に対するユーザの手の位置の座標（指示座標）を算出し、算出した座標を座標記憶部１１３に格納する。
【００４０】
操作認識部１２７によってポインタを移動させるユーザ操作が認識された場合に（ステップＳ１１０：Ｙｅｓ）、第２位置決定部１２８は、指示座標を座標記憶部１１３から取得し、取得した指示座標について、縮小画像の座標系から投影画像の座標系へ変換することにより、投影画像に配置するポインタの位置を決定する（ステップＳ１１１）。判定部１２９は、操作認識部１２７によって決定されたポインタの位置と、座標記憶部１１３から取得した配置領域の座標、横幅及び高さとから、配置領域とポインタとが重なるか否かを判定する（ステップＳ１１２）。
【００４１】
このとき、判定部１２９によって配置領域とポインタとが重なると判定された場合に（ステップＳ１１２：Ｙｅｓ）、投影画像生成部１２３は、第２位置決定部１２８によって決定された位置にポインタを配置するとともに、透過させた縮小画像を配置した投影画像を生成する（ステップＳ１１３）。その後、投影部１２６は、投影画像生成部１２３によって生成された透過させた縮小画像が配置された投影画像を投影面に投影する（ステップＳ１１４）。
【００４２】
一方、判定部１２９によって配置領域とポインタとが重ならないと判定された場合に（ステップＳ１１２：Ｎｏ）、投影画像生成部１２３は、第２位置決定部１２８によって決定された位置にポインタを配置した投影画像を生成する（ステップＳ１１５）。その後、投影部１２６は、投影画像生成部１２３によって生成された、ユーザ操作に応じた位置にポインタが配置された投影画像を投影面に投影する（ステップＳ１１４）。
【００４３】
また、部位検出部１２１によってユーザの手が検出されない状態になった場合に（ステップＳ１０９：Ｎｏ）、投影画像生成部１２３は、縮小画像を配置しない投影画像を生成する（ステップＳ１１６）。その後、投影部１２６は、投影画像生成部１２３によって生成された縮小画像が配置されていない投影画像を投影面に投影する（ステップＳ１１４）。
【００４４】
［実施の形態１による効果］
投影装置１００は、投影画像を縮小した縮小画像を、ユーザが手を入れた投影画像の位置である配置領域に配置し、配置領域でのポインタ移動のユーザ操作をもとに投影画像におけるポインタの位置を決定し、配置領域とポインタとが重なる場合に、透過させた縮小画像を配置した投影画像を生成する。この結果、投影装置１００は、縮小画像が視聴者の妨げとならないようにすることができる。
【００４５】
また、投影装置１００は、ユーザの手が検出されている状態から、ユーザの手が検出されない状態になった場合に、縮小画像を配置しない投影画像を生成する。この結果、投影装置１００は、ユーザ操作を行なうユーザごとに、手を入れた投影画像の位置に応じて配置領域の位置が異なることになるので、ユーザ操作の操作性を向上させることができる。
【００４６】
（実施の形態１の変形例）
上記実施の形態１では、配置領域とポインタとが重なった場合に、透過させた縮小画像を配置した投影画像を生成する場合を説明した。実施の形態１の変形例では、配置領域とポインタとが重なった場合に、配置領域の外枠を表す枠画像を配置した投影画像を生成する場合を説明する。なお、実施の形態１の変形例は、図１に示した投影装置１００の構成例を用いて適宜説明する。具体的には、以下に説明するように、投影画像生成部１２３による処理が実施の形態１とは異なる。
【００４７】
投影画像生成部１２３は、判定部１２９から受け付けた配置領域とポインタとが重なるか否かの判定結果に応じて、配置領域内の表示方法を変更した投影画像を生成する。より具体的には、投影画像生成部１２３は、判定部１２９によって配置領域とポインタとが重なると判定された場合に、ポインタを配置するとともに、配置領域に縮小画像を配置せずに、配置領域の外枠を表す枠画像を配置した投影画像を生成する。そして、投影画像生成部１２３は、生成した投影画像を投影部１２６に対して出力する。これにより、投影部１２６は、ユーザ操作に応じた位置である配置領域にポインタが配置されているとともに、配置領域の枠画像が配置された投影画像を投影面に投影する。つまり、本実施の形態において、ユーザは、配置領域の枠画像が配置された投影画像において、配置領域の枠画像内でポインタを移動させるユーザ操作を行なう。
【００４８】
図７は、実施の形態１の変形例に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。図７では、配置領域とポインタとが重なる場合の例を挙げる。図７に示すように、配置領域の表示方法は「外枠」であり、Ｘ座標は「５８０」であり、Ｙ座標は「４００」であり、横幅は「６０」であり、高さは「４０」である。また、ポインタのＸ座標は「６００」であり、Ｙ座標は「４２０」であり、横幅は「３０」であり、高さは「３０」である。投影画像生成部１２３は、図７に示す各種オブジェクトの表示内容をもとに、配置領域の位置に縮小画像を配置せずに、配置領域の枠画像を配置するとともに、配置領域内にポインタを配置した投影画像を生成する。
【００４９】
図８は、実施の形態１の変形例に係る配置領域とポインタとが重なる場合の投影画像の例を示す図である。図８に示すように、ユーザによってポインタを移動させるユーザ操作が行なわれ、このときのポインタの移動先が配置領域と重なる場合には、縮小画像を配置せず、配置領域の枠画像内にポインタが配置された状態の投影画像となる。
【００５０】
［実施の形態１の変形例に係る画像生成処理フロー］
次に、図９を用いて、実施の形態１の変形例に係る画像生成処理の流れについて説明する。図９は、実施の形態１の変形例に係る画像生成処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像生成処理の流れと同様の処理については、詳細な説明を省略する。具体的には、ステップＳ２０１〜ステップＳ２１２は、ステップＳ１０１〜ステップＳ１１２における処理と同様であり、ステップＳ２１４〜ステップＳ２１６は、ステップＳ１１４〜ステップＳ１１６における処理と同様である。
【００５１】
図９に示すように、判定部１２９によって配置領域とポインタとが重なると判定された場合に（ステップＳ２１２：Ｙｅｓ）、投影画像生成部１２３は、第２位置決定部１２８によって決定された位置にポインタを配置するとともに、配置領域の枠画像を配置した投影画像を生成する（ステップＳ２１３）。このとき、縮小画像は、投影画像に配置されない。その後、投影部１２６は、投影画像生成部１２３によって生成された、配置領域の枠画像が配置された投影画像を投影面に投影する（ステップＳ２１４）。
【００５２】
［実施の形態１の変形例による効果］
投影装置１００は、投影画像を縮小した縮小画像を、ユーザが手を入れた投影画像の位置である配置領域に配置し、配置領域でのポインタ移動のユーザ操作をもとに投影画像におけるポインタの位置を決定し、配置領域とポインタとが重なる場合に、縮小画像を配置せずに、配置領域の枠画像を配置した投影画像を生成する。この結果、投影装置１００は、縮小画像が視聴者の妨げとならないようにすることができる。
【００５３】
（実施の形態２）
実施の形態１や変形例では、配置領域とポインタとが重なった場合に、透過させた縮小画像を配置した投影画像を生成したり、配置領域の枠画像を配置した投影画像を生成したりする場合を説明した。実施の形態２では、ポインタの表示方法を変更する場合を説明する。
【００５４】
［実施の形態２に係る装置構成］
図１０を用いて、実施の形態２に係る投影装置の構成を説明する。図１０は、実施の形態２に係る投影装置の構成例を示す機能ブロック図である。実施の形態２では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す投影画像生成部２２３、指示画像生成部２２５以外の機能及び構成、処理は実施の形態１と同様である。
【００５５】
図１０に示すように、投影装置２００は、記憶部１１０と、制御部２２０とを有する。これらのうち、記憶部１１０は、投影画像記憶部１１１と、撮像画像記憶部１１２と、座標記憶部１１３とを有する。制御部２２０は、部位検出部１２１と、第１位置決定部１２２と、投影画像生成部２２３と、縮小画像生成部１２４と、指示画像生成部２２５と、投影部１２６と、操作認識部１２７と、第２位置決定部１２８と、判定部１２９とを有する。
【００５６】
投影画像生成部２２３は、判定部１２９から受け付けた配置領域とポインタとが重なるか否かの判定結果に応じて、指示画像の表示方法を変更した投影画像を生成する。より具体的には、投影画像生成部２２３は、判定部１２９によって配置領域とポインタとが重なると判定された場合に、配置領域外に配置されていたときとは異なる形状のポインタを生成する指示を、指示画像生成部２２５に対して出力する。
【００５７】
ポインタの生成指示を受け付けた指示画像生成部２２５は、配置領域外に配置されていたときとは異なる形状のポインタを生成し、生成したポインタを投影画像生成部２２３に対して出力する。これにより、投影画像生成部２２３は、指示画像生成部２２５によって生成されたポインタを配置するとともに、透過させた縮小画像を配置した投影画像を生成する。なお、実施の形態１の変形例のように、縮小画像を配置せずに、配置領域の枠画像を配置した投影画像を生成しても良い。これにより、投影部１２６は、ユーザ操作に応じた位置である配置領域内に形状が変化したポインタが配置されているとともに、透過させた縮小画像が配置された投影画像を投影面に投影する。
【００５８】
ここで、図１１Ａ及び図１１Ｂを用いて、形状を変化させたポインタについて説明する。図１１Ａは、実施の形態２に係るポインタをリングの形状に変化させた例を示す図である。図１１Ｂは、実施の形態２に係るポインタを矢印の形状に変化させた例を示す図である。
【００５９】
図１１Ａに示したリングの形状のポインタを生成する場合には、一つの様態として、元のポインタに外接する方形の横幅及び高さそれぞれを二倍にしたときの、方形に内接する円をリングの大きさとし、元のポインタ部分を取り除いてリングの形状にする。上記の算出は、指示画像生成部２２５によって実行されても良いし、投影画像生成部２２３によって実行されても良い。投影画像生成部２２３によって実行される場合には、リングの大きさの情報をパラメタとして指示画像生成部２２５に対して出力する。
【００６０】
また、図１１Ｂに示した矢印の形状のポインタを生成する場合には、横幅及び高さに含まれる最大の矢印とし、矢印の角度を以下のように求める。以下の算出は、指示画像生成部２２５によって実行されても良いし、投影画像生成部２２３によって実行されても良い。投影画像生成部２２３によって実行される場合には、矢印の角度をパラメタとして指示画像生成部２２５に対して出力する。
「配置領域の重心のＸ座標
＝配置領域のＸ座標＋配置領域の横幅÷２」
「配置領域の重心のＹ座標
＝配置領域のＹ座標＋配置領域の高さ÷２」
「矢印の角度（ｒａｄ）
＝Ｔａｎ−１［（指示座標のＹ座標−配置領域の重心のＹ座標）÷（指示座標のＸ座標−配置領域の重心のＸ座標）］」
【００６１】
図１２は、実施の形態２に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。図１２では、配置領域とポインタとが重なる場合、また、配置領域の表示方法が枠画像の配置であり、ポインタの表示方法がリングの形状である場合を例に挙げる。
【００６２】
図１２に示すように、配置領域の表示方法は「外枠」であり、Ｘ座標は「５８０」であり、Ｙ座標は「４００」であり、横幅は「６０」であり、高さは「４０」である。また、ポインタの表示方法は「リング」であり、Ｘ座標は「６００」であり、Ｙ座標は「４２０」であり、横幅は「６０」であり、高さは「６０」である。指示画像生成部２２５は、図１２に示すポインタの表示内容をもとにポインタを生成する。また、投影画像生成部２２３は、図１２に示す各種オブジェクトの表示内容をもとに、配置領域の枠画像を配置するとともに、形状を変化させたポインタを配置した投影画像を生成する。
【００６３】
図１３は、実施の形態２に係る配置領域とポインタとが重なる場合の投影画像の例を示す図である。図１３に示すように、ユーザによってポインタを移動させるユーザ操作が縮小画像内で行なわれ、このときのポインタの移動先が配置領域と重なる場合には、矢印等に形状を変化させたポインタが配置されるとともに、配置領域の枠画像が配置された状態の投影画像となる。
【００６４】
［実施の形態２に係る画像生成処理フロー］
次に、図１４を用いて、実施の形態２に係る画像生成処理の流れについて説明する。図１４は、実施の形態２に係る画像生成処理の流れの例を示すフローチャートである。なお、実施の形態１の変形例に係る画像生成処理の流れと同様の処理については、詳細な説明を省略する。具体的には、ステップＳ３０１〜ステップＳ３１２は、ステップＳ２０１〜ステップＳ２１２における処理と同様であり、ステップＳ３１４〜ステップＳ３１７は、ステップＳ２１３〜ステップＳ２１６における処理と同様である。また、図１４では、枠画像を配置した投影画像を生成する場合を例に挙げる。
【００６５】
図１４に示すように、判定部１２９によって配置領域とポインタとが重なると判定された場合に（ステップＳ３１２：Ｙｅｓ）、指示画像生成部２２５は、配置領域外に配置されていたときとは形状等の表示方法が異なるポインタを生成する（ステップＳ３１３）。これにより、投影画像生成部２２３は、指示画像生成部２２５によって生成されたポインタを配置するとともに、配置領域の枠画像を配置した投影画像を生成する（ステップＳ３１４）。このとき、縮小画像は、投影画像に配置されない。その後、投影部１２６は、投影画像生成部２２３によって生成された、形状が変更されたポインタが配置されているとともに、配置領域の枠画像が配置された投影画像を投影面に投影する（ステップＳ３１５）。
【００６６】
［実施の形態２による効果］
投影装置２００は、配置領域とポインタとが重なる場合に、形状を変化させたポインタを配置した投影画像を生成する。この結果、投影装置２００は、ポインタがどこを指示しているのかを視聴者に容易に認識させることができる。
【００６７】
（実施の形態３）
上記実施の形態１では、単数のユーザによるユーザ操作に応じて、画像生成処理を実行する場合を説明した。実施の形態３では、複数のユーザによるユーザ操作に応じて、画像生成処理を実行する場合を説明する。
【００６８】
［実施の形態３に係る装置構成］
図１５を用いて、実施の形態３に係る投影装置の構成を説明する。図１５は、実施の形態３に係る投影装置の構成例を示す機能ブロック図である。実施の形態３では、実施の形態１と同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す投影画像記憶部１１１、撮像画像記憶部１１２、縮小画像生成部１２４、投影部１２６の機能及び構成、処理は実施の形態１と同様である。
【００６９】
図１５に示すように、投影装置３００は、記憶部３１０と、制御部３２０とを有する。これらのうち、記憶部３１０は、投影画像記憶部１１１と、撮像画像記憶部１１２と、座標記憶部３１３とを有する。
【００７０】
座標記憶部３１３は、複数のユーザごとに、配置領域の位置や大きさに関する情報と、各ユーザによって指示された投影画像内の位置に関する情報とを記憶する。図１６は、実施の形態３に係る座標記憶部３１３に記憶される情報例を示す図である。複数のユーザについては、「ユーザＡ」、「ユーザＢ」とする。
【００７１】
例を挙げると、座標記憶部３１３は、「ユーザＡ」に対応する「配置領域Ａ」について、Ｘ座標「０」、Ｙ座標「２００」、横幅「６０」、高さ「４０」を記憶する。また、座標記憶部３１３は、「ユーザＡ」に対応する「指示座標Ａ」について、Ｘ座標「２０」、Ｙ座標「２２０」を記憶する。同様に、座標記憶部３１３は、「ユーザＢ」に対応する「配置領域Ｂ」について、Ｘ座標「５８０」、Ｙ座標「４００」、横幅「６０」、高さ「４０」を記憶する。また、座標記憶部３１３は、「ユーザＢ」に対応する「指示座標Ｂ」について、Ｘ座標「３００」、Ｙ座標「３００」を記憶する。
【００７２】
制御部３２０は、部位検出部３２１と、第１位置決定部３２２と、投影画像生成部３２３と、縮小画像生成部１２４と、指示画像生成部３２５と、投影部１２６と、操作認識部３２７と、第２位置決定部３２８と、判定部３２９とを有する。
【００７３】
部位検出部３２１は、撮像画像を用いて、複数ユーザの所定部位を検出する。より具体的には、部位検出部３２１は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像にユーザの所定部位が写りこんでいることを検出する。部位検出部３２１による部位検出処理は適宜実行されており、適宜実行される部位検出処理によって、部位検出部３２１は、複数ユーザについて所定部位が写りこんでいることを検出する。そして、部位検出部３２１は、ユーザそれぞれの手の検出毎に、ユーザの手を検出した旨と、ユーザの手を検出したときの撮像画像とを第１位置決定部３２２に対して出力する。
【００７４】
第１位置決定部３２２は、複数ユーザの所定部位を検出した位置に応じて、複数の配置領域の位置を決定する。より具体的には、第１位置決定部３２２は、投影中の投影画像を投影画像記憶部１１１から取得し、取得した投影画像と、部位検出部３２１によるユーザの手の検出で利用された撮像画像とから、投影画像に対する配置領域の座標を算出する処理を、ユーザの手の検出毎に実行する。そして、第１位置決定部３２２は、算出した座標を、配置領域の横幅及び高さとともに、座標記憶部３１３に格納する。その後、第１位置決定部３２２は、投影画像生成部３２３に対して投影画像生成処理を依頼する。
【００７５】
複数ユーザの認識は、撮像画像に含まれるユーザの手の大きさや皺の状態等から認識しても良いし、予め手の画像を保持しておき、撮像画像に含まれる手と保持している手の画像との一致により認識しても良い。この他、ユーザの認識手法は、既存の技術を利用すれば良い。
【００７６】
投影画像生成処理の依頼を受け付けた投影画像生成部３２３は、縮小画像生成部１２４に対して縮小画像生成処理を依頼するとともに、指示画像生成部３２５に対して指示画像生成処理を依頼する。
【００７７】
縮小画像生成部１２４による処理は、実施の形態１と同様である。すなわち、縮小画像生成部１２４は、配置領域の大きさに合わせて、投影中の投影画像を縮小した縮小画像を生成し、生成した縮小画像を投影画像生成部３２３に対して出力する。複数ユーザが存在していても、配置領域の大きさが同一であれば、縮小画像も同一のものを利用できる。つまり、配置領域の大きさがユーザごとに異なるのであれば、配置領域それぞれの大きさに合わせて複数の縮小画像が生成される。
【００７８】
指示画像生成部３２５は、ユーザ数と同一数のポインタを生成し、生成したポインタを投影画像生成部３２３に対して出力する。また、指示画像生成部３２５は、ユーザごとに形状や色の異なるポインタを生成しても良い。これにより、各ユーザは、自身の操作するポインタが何れであるかを容易に認識できる。
【００７９】
投影画像生成部３２３は、複数の配置領域に縮小画像を配置した投影画像を生成する。より具体的には、投影画像生成部３２３は、投影中の投影画像を投影画像記憶部１１１から取得するとともに、第１位置決定部３２２によって決定された複数の配置領域の座標と、複数の配置領域の横幅及び高さとを座標記憶部３１３から取得する。そして、投影画像生成部３２３は、複数の配置領域の座標、横幅及び高さをもとに、縮小画像生成部１２４によって生成された縮小画像を複数の配置領域に配置し、指示画像生成部３２５によって生成された複数のポインタを任意の位置に配置した投影画像を生成する。その後、投影画像生成部３２３は、生成した投影画像を投影部１２６に対して出力する。これにより、投影部１２６は、投影画像生成部３２３によって生成された投影画像を投影面に投影する。
【００８０】
操作認識部３２７は、複数のユーザ操作を認識する。より具体的には、操作認識部３２７は、撮像画像記憶部１１２から撮像画像を取得し、連続した複数の撮像画像をもとに、縮小画像内でのユーザの手の動きを検出し、ユーザ操作を認識する。かかるユーザ操作は、複数ユーザが存在すれば、ユーザごとに認識される。ここでは、ポインタを移動させるためのユーザ操作を認識するものとする。また、操作認識部３２７は、ポインタを移動するユーザ操作を認識できた撮像画像を用いて、投影画像に対するユーザの手の位置の座標を算出し、算出した座標を座標記憶部３１３にユーザごとに格納する。そして、操作認識部３２７は、ポインタを動かすユーザ操作を認識した旨を第２位置決定部３２８に対して出力する。これらにより、座標記憶部３１３には、第１位置決定部３２２によって決定されたユーザごとの配置領域の位置と、操作認識部３２７によって算出されたユーザごとの指示座標とが記憶された状態となる（図１６参照）。
【００８１】
第２位置決定部３２８は、複数のユーザ操作に応じて、投影画像に配置する複数の指示画像の位置を決定する。より具体的には、第２位置決定部３２８は、操作認識部３２７によってポインタを動かすユーザ操作を認識した旨を受け付けた場合に、ポインタを動かしたユーザに対応する指示座標を座標記憶部３１３から取得する。そして、第２位置決定部３２８は、取得した指示座標について、縮小画像の座標系から、投影画像の座標系へ変換することにより、投影画像に配置するポインタの位置を決定する。その後、第２位置決定部３２８は、投影画像に配置するポインタの位置（座標）を判定部３２９に対して出力する。
【００８２】
判定部３２９は、複数の配置領域と複数の指示画像とが重なるか否かを判定する。より具体的には、判定部３２９は、第２位置決定部３２８から投影画像に配置するポインタの位置を受け付けた場合に、複数の配置領域の座標、横幅及び高さを座標記憶部３１３から取得し、投影画像において複数の配置領域とポインタとが重なるか否かを判定する。判定手法については、実施の形態１と同様である。そして、判定部３２９は、投影画像に配置するポインタの位置とともに、複数の配置領域と複数のポインタとが重なるか否かの判定結果を投影画像生成部３２３に対して出力する。
【００８３】
投影画像生成部３２３は、判定部３２９から受け付けた複数の配置領域と複数のポインタとが重なるか否かの判定結果に応じて、配置領域内の表示方法を変更した投影画像を生成する。より具体的には、投影画像生成部３２３は、判定部３２９によって複数の配置領域と複数のポインタとが重なると判定された場合に、ポインタを配置するとともに、該ポインタと重なる配置領域に透過させた縮小画像を配置した投影画像を生成する。そして、投影画像生成部３２３は、生成した投影画像を投影部１２６に対して出力する。これにより、投影部１２６は、各ユーザによるユーザ操作に応じた位置である配置領域内それぞれにポインタが配置されているとともに、透過させた縮小画像が配置された投影画像を投影面に投影する。なお、縮小画像の配置については、ユーザごとに外枠を異なる色にした配置領域に、透過させた縮小画像を配置した投影画像を生成しても良い。また、透過させた縮小画像を配置するのではなく、配置領域の枠画像を配置しても良い。
【００８４】
図１７は、実施の形態３に係る投影画像に配置される各種オブジェクトの表示内容の例を示す図である。図１７では、複数のユーザ（ユーザＡ、ユーザＢ）によってユーザ操作が行なわれる場合を例に挙げる。図１７に示すように、「ユーザＡ」に対応する「配置領域Ａ」の表示方法は「通常」であり、Ｘ座標は「０」であり、Ｙ座標は「２００」であり、横幅は「６０」であり、高さは「４０」である。表示方法「通常」は、配置領域の表示方法を特にかえないことを指す。また、「ユーザＡ」に対応する「ポインタＡ」の表示方法は「通常」であり、Ｘ座標は「２０」であり、Ｙ座標は「２２０」である。同様に、表示方法「通常」は、ポインタの表示方法を特にかえないことを指す。
【００８５】
また、「ユーザＢ」に対応する「配置領域Ｂ」の表示方法は「外枠」であり、Ｘ座標は「５８０」であり、Ｙ座標は「４００」であり、横幅は「６０」であり、高さは「４０」である。また、「ユーザＢ」に対応する「ポインタＢ」の表示方法は「リング」であり、Ｘ座標は「６００」であり、Ｙ座標は「４２０」であり、横幅は「６０」であり、高さは「６０」である。指示画像生成部３２５は、図１７に示す各ポインタの表示内容をもとにポインタを生成する。また、投影画像生成部３２３は、図１７に示す各種オブジェクトの表示内容をもとに、表示方法の異なる配置領域とポインタとを配置した投影画像を生成する。
【００８６】
［実施の形態３に係る画像生成処理フロー］
次に、図１８を用いて、実施の形態３に係る画像生成処理の流れについて説明する。図１８は、実施の形態３に係る画像生成処理の流れの例を示すフローチャートである。なお、図１８では、縮小画像が配置された投影画像が投影面に投影されている状態における画像生成処理について説明する。
【００８７】
図１８に示すように、複数の縮小画像が配置された投影画像の投影後、部位検出部３２１は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ４０１）。ここで、部位検出部３２１は、全てのユーザの手の検出を試みる（ステップＳ４０２）。部位検出部３２１によって全てのユーザの手が検出されている状態である場合に（ステップＳ４０２：Ｎｏ）、操作認識部３２７は、撮像画像記憶部１１２から撮像画像を取得し、撮像画像を用いて、ポインタを移動させるユーザ操作の認識を試みる（ステップＳ４０３）。操作認識部３２７は、ポインタを移動させるユーザ操作を認識すると、投影画像に対するユーザの手の位置の座標（指示座標）を算出し、算出した座標を該当するユーザ情報に対応付けて座標記憶部３１３に格納する。
【００８８】
操作認識部３２７によってポインタを移動させるユーザ操作が認識された場合に（ステップＳ４０３：Ｙｅｓ）、第２位置決定部３２８は、指示座標を座標記憶部３１３から取得し、取得した指示座標について、縮小画像の座標系から投影画像の座標系へ変換することにより、投影画像に配置する複数のポインタの位置を決定する（ステップＳ４０４）。判定部３２９は、操作認識部３２７によって決定された複数のポインタの位置と、座標記憶部３１３から取得した複数の配置領域の座標、横幅及び高さとから、複数の配置領域と複数のポインタとが重なるか否かを判定する（ステップＳ４０５）。
【００８９】
このとき、判定部３２９によって複数の配置領域と複数のポインタとが重なると判定された場合に（ステップＳ４０５：Ｙｅｓ）、投影画像生成部３２３は、第２位置決定部３２８によって決定された位置にポインタを配置するとともに、ポインタと重なる配置領域の枠画像を配置した投影画像を生成する（ステップＳ４０６）。その後、投影部１２６は、投影画像生成部３２３によって生成されたポインタと重なる配置領域の枠画像が配置された投影画像を投影面に投影する（ステップＳ４０７）。
【００９０】
一方、判定部３２９によって複数の配置領域と複数のポインタとが重ならないと判定された場合に（ステップＳ４０５：Ｎｏ）、投影画像生成部３２３は、第２位置決定部３２８によって決定された位置にポインタを配置した投影画像を生成する（ステップＳ４０８）。その後、投影部１２６は、投影画像生成部３２３によって生成された、複数のユーザによるユーザ操作に応じた位置に各ポインタが配置された投影画像を投影面に投影する（ステップＳ４０７）。
【００９１】
また、部位検出部３２１によって何れかのユーザの手が検出されない状態になった場合に（ステップＳ４０２：Ｙｅｓ）、投影画像生成部３２３は、該当する配置領域に、縮小画像を配置しない投影画像を生成する（ステップＳ４０９）。また、このとき、座標記憶部３１３に記憶された、該当する情報については削除する。その後、投影部１２６は、投影画像生成部３２３によって生成された縮小画像が配置されていない配置領域が存在する投影画像を投影面に投影する（ステップＳ４０７）。
【００９２】
［実施の形態３による効果］
投影装置３００は、投影画像を縮小した縮小画像を、複数ユーザが手を入れた投影画像の位置である配置領域それぞれに配置し、各配置領域でのポインタ移動のユーザ操作をもとに投影画像における複数のポインタの位置を決定し、複数の配置領域と複数のポインタとが重なる場合に、配置領域内の表示方法を変更した投影画像を生成する。この結果、投影装置３００は、複数ユーザによってユーザ操作される場合においても、縮小画像が視聴者の妨げとならないようにすることができる。
【００９３】
（実施の形態４）
さて、これまで本発明に係る投影装置の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）ポインタの表示方法、（２）構成、（３）プログラム、について異なる実施の形態を説明する。
【００９４】
（１）ポインタの表示方法
上記実施の形態２では、配置領域とポインタとが重なるときに、配置領域外に配置されていたときとは異なる形状のポインタを生成する場合を説明した。ポインタの表示方法については、色や表示の際の効果を変化させるようにしても良い。これにより、ユーザ操作の操作性を向上させることができる。
【００９５】
また、ポインタの表示方法は、ユーザ操作により変化させることもできる。例えば、ユーザによってポインタを強調する表示に変更するためのユーザ操作が行なわれた場合に、座標管理部１１３に、強調する旨のパラメタを追加しておき、これに従って指示画像生成部１２５によって強調表示されたポインタが生成される。これにより、ユーザがポインタの位置を注目させたいときや、ユーザがポインタを見失ったときなどに有用である。
【００９６】
また、ポインタの表示方法は、投影画像の構成に応じて変化させることもできる。例えば、投影画像の色とポインタの色とが類似している場合に、縁取ったポインタを生成するようにしても良い。つまり、投影画像にポインタを配置する際に、ポインタの配置位置において、投影画像とポインタとの色が一画素でも同一であることが検出されたら、縁取ったポインタを配置するようにすれば良い。これにより、ユーザや視聴者にとって見易い投影画像を提供することができる。
【００９７】
（２）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した各装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
【００９８】
上記実施の形態では、カメラ等の撮像装置によって撮像及び生成された撮像画像を保持し、撮像画像を用いてユーザ操作を認識し、認識したユーザ操作に応じて投影画像を生成し、生成した投影画像を投影面に投影する投影装置１００を説明した。投影装置１００は、任意の単位で機能的又は物理的に、分散又は統合することができる。
【００９９】
図１９は、投影システムの装置構成例を示す機能ブロック図である。図１９に示すように、投影システムは、撮像装置１０と、投影装置２０と、情報処理装置３０とを有する。撮像装置１０は、撮像部１１を有するカメラ等である。撮像部１１は、撮像画像を生成し、情報処理装置３０に対して送信する。投影装置２０は、投影部２１を有するプロジェクタ等である。投影部２１は、情報処理装置３０によって生成された投影画像を投影面に投影する。
【０１００】
情報処理装置３０は、記憶部３１と、制御部３２とを有する。これらのうち、記憶部３１は、投影画像記憶部３１ａと、撮像画像記憶部３１ｂと、座標記憶部３１ｃとを有する。また、制御部３２は、部位検出部３２ａと、第１位置決定部３２ｂと、投影画像生成部３２ｃと、縮小画像生成部３２ｄと、指示画像生成部３２ｅと、操作認識部３２ｆと、第２位置決定部３２ｇと、判定部３２ｈとを有する。上述した各機能部について、投影装置１００と同様の名称の機能部については、同様の処理を実行するため、詳細な説明は省略する。また、図１９に示す他にも、撮像装置１０、投影装置２０及び情報処理装置３０を一体型の装置として実現しても良く、これらの組み合わせは変更可能である。
【０１０１】
また、上記実施の形態では、撮像領域が投影画像と同一の大きさである場合を説明した。投影面と撮像装置１０との距離によっては撮像領域が投影画像の一部分となる可能性も有り得る。かかる場合には、投影面の下方（例えば左下等）のユーザの手の届く範囲だけでも撮像領域になるようにして、ユーザ操作されることが多い範囲を撮像させるようにすれば良い。これにより、投影面と撮像装置１０との距離が近く、短焦点になる場合であっても上述してきた画像生成処理を実現することができる。
【０１０２】
図２０は、投影装置１００のハードウェア構成例を示すブロック図である。図２０に示すように、投影装置１００は、ＣＰＵ１０１０と、メモリコントローラ１０２０と、メインメモリ１０３０と、ホスト−ＰＣＩブリッジ１０４０とを有する。メモリコントローラ１０２０は、ＣＰＵ１０１０、メインメモリ１０３０、及びホスト−ＰＣＩブリッジ１０４０とホスト・バス１１１０で接続されている。
【０１０３】
ＣＰＵ１０１０は、投影装置１００の全体制御を行なうものである。メモリコントローラ１０２０は、メインメモリ１０３０に対する読み書き等を制御する。メインメモリ１０３０は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、描画用メモリ等として用いるシステムメモリである。
【０１０４】
ホスト−ＰＣＩブリッジ１０４０は、周辺デバイスやＰＣＩ（Peripheral  Component  Interconnect）デバイス１０５０を接続するためのブリッジである。ホスト−ＰＣＩブリッジ１０４０は、メモリカード１０６０とＨＤＤ  Ｉ／Ｆ１１２０で接続されている。また、ホスト−ＰＣＩブリッジ１０４０は、ＰＣＩデバイス１０５０とＰＣＩバス１１３０で接続されている。また、ホスト−ＰＣＩブリッジ１０４０は、通信カード１０７０、無線通信カード１０８０、及びビデオカード１０９０等とＰＣＩバス１１３０及びＰＣＩスロット１１４０を介して接続されている。
【０１０５】
メモリカード１０６０は、ＯＳのブートデバイスとして利用される。通信カード１０７０及び無線通信カード１０８０は、ＬＡＮ等のネットワークや通信回線との接続に利用される。ビデオカード１０９０は、画像の投影に利用され、映像信号をディスプレイ出力に出力する。なお、投影装置１００で実行されるプログラムは、メインメモリ１０３０の格納用メモリ等に予め組み込まれて提供される。
【０１０６】
（３）プログラム
また、投影装置１００で実行される投影プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、投影装置１００で実行される投影プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、投影装置１００で実行される投影プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、投影プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。
【０１０７】
投影装置１００で実行される投影プログラムは、上述した各部（部位検出部１２１、第１位置決定部１２２、投影画像生成部１２３、縮小画像生成部１２４、指示画像生成部１２５、投影部１２６、操作認識部１２７、第２位置決定部１２８、判定部１２９）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から投影プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、部位検出部１２１、第１位置決定部１２２、投影画像生成部１２３、縮小画像生成部１２４、指示画像生成部１２５、投影部１２６、操作認識部１２７、第２位置決定部１２８、判定部１２９が主記憶装置上に生成されるようになっている。
【符号の説明】
【０１０８】
１００  投影装置
１１０  記憶部
１１１  投影画像記憶部
１１２  撮像画像記憶部
１１３  座標記憶部
１２０  制御部
１２１  部位検出部
１２２  第１位置決定部
１２３  投影画像生成部
１２４  縮小画像生成部
１２５  指示画像生成部
１２６  投影部
１２７  操作認識部
１２８  第２位置決定部
１２９  判定部
【先行技術文献】
【特許文献】
【０１０９】
【特許文献１】特開２００９−２８２６３７号公報
【図１】
2014178790.tif 000003
【図２】
2014178790.tif 000004
【図３】
2014178790.tif 000005
【図４】
2014178790.tif 000006
【図５】
2014178790.tif 000007
【図６】
2014178790.tif 000008
【図７】
2014178790.tif 000009
【図８】
2014178790.tif 000010
【図９】
2014178790.tif 000011
【図１０】
2014178790.tif 000012
【図１１Ａ】
2014178790.tif 000013
【図１１Ｂ】
2014178790.tif 000014
【図１２】
2014178790.tif 000015
【図１３】
2014178790.tif 000016
【図１４】
2014178790.tif 000017
【図１５】
2014178790.tif 000018
【図１６】
2014178790.tif 000019
【図１７】
2014178790.tif 000020
【図１８】
2014178790.tif 000021
【図１９】
2014178790.tif 000022
【図２０】
2014178790.tif 000023