(57)【要約】      （修正有）【課題】スクリーンに表示されるボタンに対するアクションによって撮影のコマンドを入力する場合であっても、ユーザーの人体などのオブジェクトが重ならないように画像を撮影する画像表示撮影システム、および撮影装置を提供する。【解決手段】画像表示撮影システム１は、目的の画像５０を面５Ａに表示する表示手段と、面５Ａを撮影する撮影手段と、物体８が面５Ａと撮影手段との間の空間４０から離れたことを検知する第一の検知手段と、物体８が空間４０から離れたことが検知された後、面５Ａの所定の位置５１がタッチされたことを検知する第二の検知手段と、所定の位置５１がタッチされたことが検知された後、物体８が空間４０から離れたことを検知する第三の検知手段と、物体が空間４０から離れたことが第三の検知手段によって検知された後、面５Ａを撮影するように撮影手段を制御する撮影制御手段と、を有する。【選択図】図８
2015215720.tif 000002
【特許請求の範囲】
【請求項１】
目的の画像を面に表示する表示手段と、
前記面を撮影する撮影手段と、
物体が前記面と前記撮影手段との間の空間から離れたことを検知する第一の検知手段と、
前記物体が前記空間から離れたことが前記第一の検知手段によって検知された後、前記面の所定の位置がタッチされたことを検知する第二の検知手段と、
前記所定の位置がタッチされたことが前記第二の検知手段によって検知された後、前記物体が前記空間から離れたことを検知する第三の検知手段と、
前記物体が前記空間から離れたことが前記第三の検知手段によって検知された後、前記面を撮影するように前記撮影手段を制御する撮影制御手段と、
を有することを特徴とする画像表示撮影システム。
【請求項２】
前記目的の画像とともに、撮影に関するマークとして、前記物体が前記空間から離れたことが前記第一の検知手段によって検知されてから前記所定の位置がタッチされたことが前記第二の検知手段によって検知されるまでの間に第一のマークを表示し、前記所定の位置がタッチされたことが前記第二の検知手段によって検知されてから前記物体が前記空間から離れたことが前記第三の検知手段によって検知されるまでの間に第二のマークを表示し、前記物体が前記空間から離れたことが前記第三の検知手段によって検知された後に第三のマークを表示するように、前記表示手段を制御する、マーク表示制御手段、を有し、
前記所定の位置は、前記第一のマークが表示される位置である、
請求項１に記載の画像表示撮影システム。
【請求項３】
前記第一のマーク、前記第二のマーク、および前記第三のマークは、形態の相違するボタンの画像である、
請求項２に記載の画像表示撮影システム。
【請求項４】
前記マーク表示制御手段は、前記目的の画像とともに、前記マークとして、前記目的の画像が表示されてから前記物体が前記空間から離れたことが前記第一の検知手段によって検知されるまでの間に前記第一のマーク、前記第二のマーク、および前記第三のマークのいずれとも形態の相違するボタンの画像である第四のマークを表示し、前記面が前記撮影手段によって撮影された後に前記第四のマークを表示するように、前記表示手段を制御する、
請求項３に記載の画像表示撮影システム。
【請求項５】
前記第一の検知手段は、前記面における、前記物体が離れた方向をさらに検知し、
前記マーク表示制御手段は、前記第一のマークを前記目的の画像の、前記方向の端部に表示するように、前記表示手段を制御する、
請求項２ないし請求項４のいずれかに記載の画像表示撮影システム。
【請求項６】
前記第一のマーク、前記第二のマーク、および前記第三のマークは、前記目的の画像を囲む、色の相違する画像である、
請求項２に記載の画像表示撮影システム。
【請求項７】
前記目的の画像とともに、前記目的の画像を囲むように、撮影に関するマークとして、前記物体が前記空間から離れたことが前記第一の検知手段によって検知されてから前記所定の位置がタッチされたことが前記第二の検知手段によって検知されるまでの間に第一の枠を表示し、前記所定の位置がタッチされたことが前記第二の検知手段によって検知されてから前記物体が前記空間から離れたことが前記第三の検知手段によって検知されるまでの間に第二の枠を表示し、前記物体が前記空間から離れたことが前記第三の検知手段によって検知された後に第三の枠を表示するように、前記表示手段を制御する、マーク表示制御手段、を有し、
前記所定の位置は、前記目的の画像が表示される位置である、
請求項２に記載の画像表示撮影システム。
【請求項８】
前記物体が前記空間から離れたことが前記第三の検知手段によって検知されてから前記面が前記撮影手段によって撮影されるまでの間、前記目的の画像を表示するのを止めさせるように前記表示手段を制御する、表示停止制御手段、を有する、
請求項１に記載の画像表示撮影システム。
【請求項９】
前記第三のマークが表示された後、前記面が前記撮影手段によって撮影される直前から撮影されるまでの間、前記目的の画像および前記第三のマークを表示するのを止めさせるように前記表示手段を制御する、表示停止制御手段、を有する、
請求項２ないし請求項８のいずれかに記載の画像表示撮影システム。
【請求項１０】
目的の画像を面に表示する表示装置とともに使用される撮影装置であって、
前記面を撮影する撮影手段と、
物体が前記面と前記撮影手段との間の空間から離れたことを検知する第一の検知手段と、
前記物体が前記空間から離れたことが前記第一の検知手段によって検知された後、前記面の所定の位置がタッチされたことを検知する第二の検知手段と、
前記所定の位置がタッチされたことが前記第二の検知手段によって検知された後、前記物体が前記空間から離れたことを検知する第三の検知手段と、
前記物体が前記空間から離れたことが前記第三の検知手段によって検知された後、前記面を撮影するように前記撮影手段を制御する撮影制御手段と、
を有することを特徴とする撮影装置。
【請求項１１】
撮影装置とともに使用される表示装置であって、
目的の画像を面に表示する表示手段と、
物体が前記面と前記撮影装置との間の空間から離れたことを検知する第一の検知手段と、
前記物体が前記空間から離れたことが前記第一の検知手段によって検知された後、前記面の所定の位置がタッチされたことを検知する第二の検知手段と、
前記所定の位置がタッチされたことが前記第二の検知手段によって検知された後、前記物体が前記空間から離れたことを検知する第三の検知手段と、
前記物体が前記空間から離れたことが前記第三の検知手段によって検知された後、前記面を撮影するように前記撮影装置を制御する撮影制御手段と、
を有することを特徴とする表示装置。
【請求項１２】
目的の画像を面に表示する表示手段および前記面を撮影する撮影手段を使用する画像の表示および撮影の方法であって、
物体が前記面と前記撮影手段との間の空間から離れたことを検知する第一のステップと、
前記物体が前記空間から離れたことが前記第一のステップによって検知された後、前記面の所定の位置がタッチされたことを検知する第二のステップと、
前記所定の位置がタッチされたことが前記第二のステップによって検知された後、前記物体が前記空間から離れたことを検知する第三のステップと、
前記物体が前記空間から離れたことが前記第三のステップによって検知された後、前記面を撮影するように前記撮影装置を制御する第四のステップと、
を有することを特徴とする画像の表示および撮影の方法。
【請求項１３】
目的の画像を面に表示する表示手段および前記面を撮影する撮影手段を有するコンピューターに用いられるコンピュータープログラムであって、
前記コンピューターに、
物体が前記面と前記撮影手段との間の空間から離れたことを検知する第一の処理を実行させ、
前記物体が前記空間から離れたことが前記第一の処理によって検知された後、前記面の所定の位置がタッチされたことを検知する第二の処理を実行させ、
前記所定の位置がタッチされたことが前記第二の処理によって検知された後、前記物体が前記空間から離れたことを検知する第三の処理を実行させ、
前記物体が前記空間から離れたことが前記第三の処理によって検知された後、前記面を撮影するように前記撮影装置を制御する第四の処理を実行させる、
ことを特徴とするコンピュータープログラム。
【請求項１４】
目的の画像を面に表示する表示手段および前記面を撮影する撮影手段とともに使用されるコンピューターに用いられるコンピュータープログラムであって、
前記コンピューターに、
物体が前記面と前記撮影手段との間の空間から離れたことを検知する第一の処理を実行させ、
前記物体が前記空間から離れたことが前記第一の処理によって検知された後、前記面の所定の位置がタッチされたことを検知する第二の処理を実行させ、
前記所定の位置がタッチされたことが前記第二の処理によって検知された後、前記物体が前記空間から離れたことを検知する第三の処理を実行させ、
前記物体が前記空間から離れたことが前記第三の処理によって検知された後、前記面を撮影するように前記撮影手段を制御する第四の処理を実行させる、
ことを特徴とするコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の表示および撮影を行なうシステムに関する。
【背景技術】
【０００２】
近年、パーソナルコンピューターまたはスマートフォンなどに表示される画像をスクリーンに投影するプロジェクターが普及している。プロジェクターは、「画像投影装置」と呼ばれることもある。
【０００３】
ホワイトボードをスクリーンとして使用することができる。または、壁に白いビニールを貼り、これをスクリーンとして使用することもできる。これらの場合に、ユーザーは、画像がスクリーンに映っているときに、ペンでメモなどを手書きすることができる。そして、ユーザーは、デジタルカメラでスクリーンを撮影し、記録しておくことができる。
【０００４】
ユーザーが簡単に撮影することができるように、次のような技術が提案されている。プロジェクターにデジタルカメラを内蔵し、液晶プロジェクター投写用レンズとデジタルカメラ用レンズを共用させる。これにより、プロジェクターから出力されるパソコン映像の投写光とホワイトボードにマーカー等で手書きされた画像の合成画像の入射光が同じレンズを通るので、パソコン映像と手書きの画像を合成映像としてパソコンに取り込む際の位置やサイズの調整が不要になる（特許文献１）。
【０００５】
そのほか、表示面の所定の位置がユーザーによってタッチされたタイミングで表示する画像を変更する技術が、提案されている（特許文献２）。また、プロジェクターが画像を描画する描画領域の内に人間が存在するか否かを検知し、描画領域内の人間の存在を検知した場合と検知しない場合とで、描画領域に描画する画像または画像パターンを変更するようにプロジェクターの駆動を制御する技術が、提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２５２１１８号公報
【特許文献２】特開２００５−２４２７２５号公報
【特許文献３】特開２０１１−１０７２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
プレゼンテーションを行いながら、プロジェクターに設けられているボタンを操作することは、ユーザーにとって面倒である。なぜなら、ユーザーは、プレゼンテーションの最中、プロジェクターから少し離れた位置に居るからである。プレゼンテーションの最中、スクリーンの傍に居ることが多い。
【０００８】
したがって、スクリーンに対してアクションを起こすことによって、プロジェクターへコマンドを入力できれば便利である。撮影のコマンドも、同様である。例えば、撮影のコマンドに対応したボタンを画像とともにスクリーンに表示し、このボタンがタッチされたら、デジタルカメラによる撮影を行う。
【０００９】
しかし、この方法によると、ユーザーの人体が画像に重なって撮影されてしまうことがある。
【００１０】
本発明は、このような問題点に鑑み、スクリーンに表示されるボタンに対するアクションによって撮影のコマンドを入力する場合であっても、ユーザーの人体などのオブジェクトが重ならないように画像を撮影することを、目的とする。
【課題を解決するための手段】
【００１１】
本発明の一形態に係る画像表示撮影システムは、目的の画像を面に表示する表示手段と、前記面を撮影する撮影手段と、物体が前記面と前記撮影手段との間の空間から離れたことを検知する第一の検知手段と、前記物体が前記空間から離れたことが前記第一の検知手段によって検知された後、前記面の所定の位置がタッチされたことを検知する第二の検知手段と、前記所定の位置がタッチされたことが前記第二の検知手段によって検知された後、前記物体が前記空間から離れたことを検知する第三の検知手段と、前記物体が前記空間から離れたことが前記第三の検知手段によって検知された後、前記面を撮影するように前記撮影手段を制御する撮影制御手段と、を有する。
【発明の効果】
【００１２】
本発明によると、スクリーンに表示されるボタンに対するアクションによって撮影のコマンドを入力する場合であっても、ユーザーの人体などのオブジェクトが重ならないように画像を撮影することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係るプロジェクターの使用例を示す図である。
【図２】プロジェクターのハードウェア構成を示すブロック図である。
【図３】プロジェクターと投影面との間の空間とオブジェクトとの位置関係の例を示す図である。
【図４】オブジェクトとして検知される物体の例を示す図である。
【図５】投影面とオブジェクトとの距離を測定する方法の一例を示す図である。
【図６】投影面とオブジェクトとの距離を測定する方法の他の例を示す図である。
【図７】プロジェクターの機能構成を示すブロック図である。
【図８】プロジェクターが行なうマークを表示する動作の第一例を示す図である。
【図９】プロジェクターが行なうマークを表示する動作の第二例を示す図である。
【図１０】オブジェクトが動いた方向に応じてボタンを表示する位置を変更する動作を示す図である。
【図１１】プロジェクターが投影する像の構成を示す図である。
【図１２】撮影に関するマークの形態の変形例を示す図である。
【図１３】プロジェクターの動作のフローチャートである。
【図１４】システム構成の変形例を示す図である。
【発明を実施するための形態】
【００１４】
図１のようにプロジェクター１とホワイトボード５とを使用してプレゼンテーションが行なわれる。プロジェクター１にはプレゼンター８または補助者９によって操作されるパーソナルコンピューター７が接続され、投影すべき画像のデータおよび投影の指示がパーソナルコンピューター７から与えられる。プロジェクター１は、パーソナルコンピューター７からの指示に従って、スクリーン（投影面５Ａ）として用意されたホワイトボード５に目的の画像を投影する。
【００１５】
投影面５Ａとしてホワイトボード５が使用されるので、プレゼンター８は、例えば投影された画像に補足説明を加えたり誤記を訂正したりしたい場合に、ホワイトボード５に専用のペンを用いて手書きをすることができる。そして、本実施形態のプロジェクター１は撮影機能を備えているので、プレゼンター８はプロジェクター１にホワイトボード５を撮影させて、手書きした内容を記録させることができる。
【００１６】
プロジェクター１のハードウェア構成が図２に示される。プロジェクター１は、投影ユニット１１、カメラ１２、オブジェクトセンサー１３、ＣＰＵ(Central Processing Unit)１５、ＲＡＭ（Random Access Memory）１６、不揮発性メモリ１７、画像処理部１８、インタフェース１９、ランプドライバー２０、およびＤＣ電源２１を有している。
【００１７】
投影ユニット１１は、投影面５Ａに投影によって画像を表示する表示手段である。投影ユニット１１は、投影すべき画像を表示する液晶パネル、液晶パネルの背面側に配置された投光ランプ、および投影面に画像を結像させるレンズ群を有する。投影ユニット１１には、ＤＣ電源２１からランプドライバー２０を介して投光ランプの発光に必要な電力が供給される。
【００１８】
カメラ１２は投影面５Ａを撮影する撮影手段である。カメラ１２は、二次元の撮像デバイスを有し、撮像デバイスによって得られた撮影データを画像処理部１８に出力する。なお、カメラ１２は、一次元の撮像デバイスと走査用の光学系とによって２次元の撮影像を得る走査型のカメラでもよい。
【００１９】
オブジェクトセンサー１３は、投影面５Ａとカメラ１２との間に物体（オブジェクト）が存在する場合に、そのオブジェクトの位置を検出するための測距センサーである。オブジェクトセンサー１３は、赤外線を射出する発光素子、および二つの撮像デバイスを備え、三角測量法による測距のための視点の異なる二つの撮影像のデータをＣＰＵ１５に出力する。撮像デバイスの受光面には赤外線撮影用のフィルターが設けられている。
【００２０】
ＣＰＵ１５は、プロジェクター１を制御するためのプログラムを不揮発性メモリ１７からＲＡＭ１６にロードして実行する。ＣＰＵ１５は、外部機器との通信用のインタフェース１９を介して上述のパーソナルコンピューター７と通信し、パーソナルコンピューター７からの指示に従ってプロジェクター１に画像を投影させる。このほかにも、ＣＰＵ１５は、後述するように投影面５Ａにマークを表示させたり、カメラ１２によって得られた撮影データを不揮発性メモリ１７に格納したりするなどの各種の処理を実行する。不揮発性メモリ１７は、例えばフラッシュメモリである。
【００２１】
画像処理部１８は、パーソナルコンピューター７から与えられるデータに応じたビットマップをメモリ上に展開し、投影すべき画像を投影ユニット１１の液晶パネルに表示させる。また、画像処理部１８は、カメラ１２によって得られる撮影データを圧縮する処理を受け持つ。このような画像処理部１８は、例えばＡＳＩＣ（Application Specific Integrated Circuit）からなる。
【００２２】
インタフェース１９は、ＵＳＢ(Universal Serial Bus)の規格に準拠した有線通信を可能にするＵＳＢ部１９１、およびＷｉ−Ｆｉの規格に準拠した無線通信を可能にするＷｉ−Ｆｉ部１９２を備えている。
【００２３】
さて、プロジェクター１には、カメラ１２による撮影に関する、第一の機能、第二の機能および第三の機能が搭載されている。
【００２４】
第一の機能は、オブジェクトが映り込まないように投影面５Ａを撮影する機能である。第一の機能によれば、上述のようにプレゼンター８が投影面５Ａに手書きした内容を記録する場合に、手書きした内容がオブジェクトによって隠されていない状態（記録の観点で好ましい状態）の投影面５Ａを撮影した撮影データが得られる。
【００２５】
第二の機能は、投影面５Ａ内の所定の位置にオブジェクトが触れたことを、ユーザーが撮影を指示したことして、すなわち撮影のコマンドを入力したとして検知する機能である。第二の機能によれば、投影面５Ａにタッチすることによってプロジェクター１に撮影を指示することのできる操作環境をプレゼンター８に提供することができ、プロジェクター１をプレゼンテーションに利用する場合のプロジェクター１の利便性が高まる。
【００２６】
第三の機能は、撮影の指示を受け付ける状態であるときに、その旨を示すマーク５１を投影面５Ａによって表示する機能である。第三の機能によれば、撮影を指示することができるかどうかを容易に知ることができる操作環境をプレゼンター８に提供することができ、プロジェクター１をプレゼンテーションに利用する場合のプロジェクター１の利便性が高まる。
【００２７】
以下、これらの機能を中心にプロジェクター１の構成および動作を説明する。
【００２８】
オブジェクトが撮影像に映り込まないようにするため、プロジェクター１は、カメラ１２に対して投影面５Ａを隠すオブジェクトの有無を判定する。詳しくは、ＣＰＵ１５が、オブジェクトセンサー１３によって得られた二つの撮影像を比較して被写体の視差を求め、撮影デバイスから被写体までの距離を算出する。そして、ＣＰＵ１５は、算出した距離と予め記憶しているホワイトボード５までの距離（既知の距離）とを比較する。この既知の距離については、予めプロジェクター１が測定するようにしてもよいし、ユーザーが入力するようにしてもよい。ＣＰＵ１５は、算出した距離が既知の距離よりも短い場合、オブジェクトが有ると判定する。他の場合、ＣＰＵ１５は、オブジェクトが無いと判定する。
【００２９】
図３（Ａ）では、投影面５Ａとカメラ１２との間の空間のうちのカメラ１２による撮影の視野内の部分（これを撮影空間４０と呼称する）の中にオブジェクト３０が存在する。この場合、プロジェクター１は、オブジェクト３０が有ると判定する。図３（Ｂ）では、ホワイトボード５の傍らにオブジェクト３０が存在する。しかし、撮影空間４０の中にオブジェクト３０は存在しない。この場合、プロジェクター１は、オブジェクト３０が無いと判定する。
【００３０】
ＣＰＵ１５は、オブジェクトの有無の判定を例えば１〜３秒程度の間隔で周期的に行なう。最新の判定（今回の判定）の結果が「オブジェクト３０が無い」であり、前回の判定の結果が「オブジェクト３０が有る」であった場合、これらの結果から前回の判定時から今回の判定時までの間にオブジェクト３０が撮影空間４０の内から外へ移動したこと、すなわちオブジェクト３０が撮影空間４０から離れたことが判る。後述するように、プロジェクター１は、ユーザーによって撮影が指示された後、オブジェクト３０が撮影空間４０から離れたときに投影面５Ａを撮影する。
【００３１】
オブジェクト３０の例が図４に示される。プロジェクター１を使用してプレゼンテーションが行なわれているとき、撮影空間４０に出入りするのはプレゼンター８にほぼ限られる。本実施形態では、オブジェクト３０として、人体３１、ペン３５とそれを持つ手３２、指し棒３６とそれを持つ手３２、何処かを指差す形状の手３２ｂ、手の甲３２ｃ、手のひら３２ｄなどが想定されている。
【００３２】
投影面５Ａ内の所定の位置にオブジェクト３０が触れたことを検出する方法として、図５に示されるようにオブジェクトセンサー１３を用いる方法と、図６に示されるように投影面５Ａに現れるオブジェクト３０の影３０ｓを利用する方法とがある。図５および図６において投影面５Ａ内の所定の位置は、マーク５１が投影された領域５Ａｐ内の任意の位置である。
【００３３】
図５（Ａ）ではオブジェクト３０が投影面５Ａから離れており、図５（Ｂ）ではオブジェクト３０が投影面５Ａの領域５Ａｐに接触している。オブジェクトセンサー１３によって得られる視点の異なる二つの撮影像に基づいていわゆる距離画像を作成し、領域５Ａｐおよびオブジェクト３０のそれぞれの三次元空間内の位置を特定する。そして、オブジェクト３０が領域５Ａｐに重なりかつオブジェクト３０と領域５Ａｐとの距離Ｄｘが０に近い閾値（例えば１〜２ｃｍ程度）以下である場合に、プロジェクター１は投影面５Ａ内の所定の位置にオブジェクト３０が触れていると判定する。
【００３４】
図６（Ａ）ではオブジェクト３０が投影面５Ａから離れており、図６（Ｂ）ではオブジェクト３０が投影面５Ａのうちのマーク５１の投影された部分に接触している。マーク５１が投影されているとき、プロジェクター１からの投光がオブジェクト３０に遮られて、オブジェクト３０に対応する形状の影３０ｓが投影面５Ａ上に生じる。このような状態の投影面５Ａを撮影すると、マーク５１、オブジェクト３０および影３０ｓが映り込んだ二次元の撮影像が得られる。
【００３５】
得られた二次元の撮影像におけるオブジェクト３０と影３０ｓとの間に、現物のオブジェクト３０と現物の投影面５Ａとの距離に応じた位置ずれがある。この位置ずれのずれ量が０に近い閾値（現物どうしの距離に換算して例えば１〜２ｃｍ程度に相当する画素数）以下であり、かつ撮影像においてオブジェクト３０がマーク５１に重なっている場合に、プロジェクター１は投影面５Ａ内の所定の位置にオブジェクト３０が触れていると判定する。
【００３６】
図７はプロジェクター１の機能構成を示している。プロジェクター１は、第一の検知部１０１、第二の検知部１０２、第三の検知部１０３、撮影制御部１０４、マーク表示制御部１０５、および表示停止制御部１０６を有する。これら要素は、ＣＰＵ１５がプログラムを実行することによって実現される機能要素である。
【００３７】
第一の検知部１０１は、上述したように撮影空間４０内のオブジェクト３０の有無を周期的に判定することによって、オブジェクト３０が撮影空間４０から離れたことを検知する。また、第一の検知部１０１は、オブジェクト３０の有無を判定するごとに撮影空間４０内のオブジェクト３０の位置を特定し、オブジェクト３０の位置の変化に基づいて、オブジェクト３０が撮影空間４０から離れた方向、すなわち撮影空間４０から離れるときのオブジェクト３０の移動方向を検知する。
【００３８】
第二の検知部１０２は、オブジェクト３０が撮影空間４０から離れたことが第一の検知部１０１によって検知された後、例えば図５で説明した測距を行なうことによって、投影面５Ａ内の所定の位置がオブジェクト３０によってタッチされたことを検知する。
【００３９】
第三の検知部１０３は、投影面５Ａ内の所定の位置がタッチされたことが第二の検知部１０２によって検知された後、第一の検知部１０１と同様に撮影空間４０内のオブジェクト３０の有無を周期的に判定することによって、オブジェクト３０が撮影空間４０から離れたことを検知する。
【００４０】
撮影制御部１０４は、オブジェクト３０が撮影空間４０から離れたことが第三の検知部１０３によって検知された後、投影面５Ａを撮影するようにカメラ１２を制御する。
【００４１】
マーク表示制御部１０５は、後述するようにプレゼンター８が撮影空間４０に入ったり撮影空間４０から出たりするのに応じて、カメラ１２による撮影に関する複数のマークのいずれかを表示するように投影ユニット１１を制御する。
【００４２】
表示停止制御部１０６は、カメラ１２による撮影時に投影を停止する投影停止モードがプレゼンター８または他のユーザーによって選択された場合、オブジェクト３０が撮影空間４０から離れたことが第三の検知部１０３によって検知されてからカメラ１２によって投影面５Ａが撮影されるまでの間、画像の表示を止めるように投影ユニット１１を制御する。
【００４３】
図８はプロジェクター１が行なうマークを表示する動作の第一例を示し、図９は同じくマークを表示する動作の第二例を示している。これら第一例および第二例では、プレゼンター８がホワイトボード５に手書きをし、手書きした内容をプロジェクター１に撮影させるという場合が想定されている。プロジェクター１は、オブジェクト３０としてのプレゼンター８の位置の変化に応じて、次のとおり撮影に関するマーク５１，５２，５３，５４を表示する。
【００４４】
図８（Ａ）では、パーソナルコンピューター７によって与えられる画像５０がホワイトボード５に投影されている。例示の画像５０は棒グラフである。図８（Ａ）は、画像５０が投影された状態のホワイトボード５に、プレゼンター８が「しゅうせいしてください」という文字列６０を手書きし終えたときの様子を示している。
【００４５】
図８（Ａ）に示される時点では、プレゼンター８の右腕の一部が撮影空間４０の中に入っている。このとき、プロジェクター１は、撮影制御部１０４がカメラ１２に対して撮影を許可しない状態であることを示すものとして定められた色である非許可色（例えば赤色）のマーク５４を画像５０に重ねて表示する。マーク５４の表示は、プレゼンター８がプロジェクター１に撮影を指示したい場合には、いったん撮影空間４０から離れる必要があることをプレゼンター８に知らせるために行なわれる。
【００４６】
図８（Ａ）のようにマーク５４が表示された後、図８（Ｂ）のようにプレゼンター８が撮影空間４０から離れると、そのことが第一の検知部１０１によって検知される。この検知の通知を受けて、マーク表示制御部１０５が、マーク５４の表示を終わらせて、撮影許可色（例えば緑色）のマーク５１を表示するように投影ユニット１１を制御する。撮影許可色は、撮影制御部１０４がカメラ１２に対して撮影を許可する状態であることを示すものとして定められた色である。
【００４７】
マーク５１は、プレゼンター８がプロジェクター１に撮影を指示するためのボタンとして表示される。つまり、プレゼンター８は、ホワイトボード５におけるマーク５１が投影された部位にタッチすることによって撮影を指示することができる。
【００４８】
マーク５１の表示は、表示の開始から所定の時間（例えば１分）が経過するまで継続される。マーク５１が表示されている期間が、プレゼンター８が撮影を指示することができる期間である。
【００４９】
図８（Ｃ）は、プレゼンター８がホワイトボード５の投影面５Ａにおけるマーク５１が投影された部位に右手でタッチした直後の様子を示している。タッチした右手は投影面５Ａから離れてはいるが、撮影空間４０からは離れていない。
【００５０】
投影面５Ａ内のマーク５１の投影された部位がタッチされたことが、第二の検知部１０２によって検知される。この検知の通知を受けて、マーク表示制御部１０５が、マーク５１の表示を終わらせて、撮影待ち色（例えば青色）のマーク５２を表示するように投影ユニット１１を制御する。撮影待ち色は、撮影制御部１０４が第三の検知部１０３によってプレゼンター８が撮影空間４０から離れたことが検知されるのを待っている状態であることを示すものとして定められた色である。図８（Ｃ）ではマーク５２が表示されている。
【００５１】
マーク５２の表示は、プレゼンター８が撮影像に映り込まないようにプレゼンター８に撮影空間４０から離れることを促すために行なわれる。
【００５２】
マーク５２が表示された後、プレゼンター８が撮影空間４０から離れると、そのことが第三の検知部１０３によって検知される。この検知の通知を受けて、撮影制御部１０４がカメラ１２に投影面５Ａを撮影させる。これにより、画像５０と手書きされた文字列６０とが映り込んだ撮影像が記録される。
【００５３】
撮影制御部１０４がカメラ１２に撮影を指示してから撮影で得られた撮影データの不揮発性メモリ１７への保存が完了するまでの間、マーク表示制御部１０５は、図８（Ｄ）のように撮影中であることを示すものとして定められた色（例えば黄色）のマーク５３を表示するように、投影ユニット１１を制御する。
【００５４】
撮影データの保存が完了した後、プレゼンター８の人体の少なくとも一部が撮影空間４０の中に入ると、図８（Ａ）と同様にマーク５４が表示される。
【００５５】
このような第一例の変形として、投影停止モードが選択されている場合、カメラ１２によって投影面５Ａを撮影するときに、マーク５３の表示をしないようにしてもよい。マーク５３を表示して画像５０を表示しないように、表示停止部１０６が投影ユニット１１を制御することもできる。また、撮影時に表示停止部１０６が投影ユニット１１に投光を停止させて画像５０およびマーク５３を共に表示しないようにし、手書きされた文字列６０のみを情報として有する状態のホワイトボード５を撮影するようにしてもよい。
【００５６】
図９に示される第二例では、図８に示される第一例とは違って、図９（Ａ）と図８（Ａ）とを見比べて判るようにマーク５４が表示されない。この差異を除いて、第二例は第一例と同様である。図９（Ｂ）〜（Ｄ）は図８（Ｂ）〜（Ｄ）と同じ状態を示している。図９（Ｂ）〜（Ｄ）のように、第二例でも第一例と同様にマーク５１，５２，５３が表示される。
【００５７】
第二例の変形として、撮影中であることを示す色のマーク５３を表示を終了した後、１〜３秒程度の時間に限ってマーク５４を表示するようにすることができる。また、第一例の変形と同様に、投影停止モードが選択されている場合、投影面５Ａを撮影するときに、表示停止部１０６が、マーク５３および画像５０の一方または両方の投影を停止するように投影ユニット１１を制御してもよい。
【００５８】
図１０は、プレゼンター８が撮影を指示するためのボタンであるマーク５１を表示する位置を、プレゼンター８が動いた方向に応じて変更する動作を示している。
【００５９】
図１０（Ａ）では、プレゼンター８が文字列６０を手書きし、ホワイトボード５の傍らに立っている。プレゼンター８の右腕の一部が撮影空間４０の中に入っている。
【００６０】
図１０（Ａ）の状態からプレゼンター８が図の右へ向かう方向に移動して図１０（Ｂ）のように撮影空間４０から離れた場合、マーク表示制御部１０５は、投影面５Ａにおけるプレゼンター８の移動方向の前方側の端部である右側の端部にマーク５１を表示するように投影ユニット１１を制御する。
【００６１】
これに対して、図１０（Ａ）の状態からプレゼンター８が図の左へ向かう方向に移動して図１０（Ｃ）のように撮影空間４０から離れた場合、マーク表示制御部１０５は、投影面５Ａ内の左側の端部にマーク５１を表示するように投影ユニット１１を制御する。この場合、左側の端部がプレゼンター８の移動方向の前方側の端部である。
【００６２】
マーク表示制御部１０５は、投影面５Ａの左右のいずれの側の端部にマーク５１を表示するかを決めるために、上述のように第一の検知部１０１によって検知された移動方向を第一の検知部１０１から取得する。マーク表示制御部１０５は、取得した移動方向が左から右への方向である場合、投影面５Ａの右側の端部にマーク５１を表示させ、取得した移動方向が右から左への方向である場合、投影面５Ａの左側の端部にマーク５１を表示させる。
【００６３】
なお、マーク表示制御部１０５は、第一の検知部１０１による移動方向の検知結果として、プレゼンター８が撮影空間４０から離れる直前の位置を第一の検知部１０１から取得し、当該直前の位置に応じて、投影面５Ａの左右のいずれの側の端部にマーク５１を表示するかを決めてもよい。当該直前の位置が撮影空間４０を左右に二分したときの右側の位置であれば、プレゼンター８の移動方向が左から右への方向であると判断して、マーク表示制御部１０５は、マーク５１を表示する位置を投影面５Ａの右側の端部に決める。逆に、当該直前の位置が撮影空間４０内の左側の位置であれば、プレゼンター８の移動方向が右から左への方向であると判断して、マーク表示制御部１０５は、マーク５１を表示する位置を投影面５Ａの左側の端部に決める。
【００６４】
いずれにしても、図１０のようにマーク５１を表示する位置を撮影空間４０から離れたプレゼンター８に近い位置にすることにより、プレゼンター８はマーク５１（ボタン）に手早くタッチすることができ、タッチした後に素早く撮影空間４０から離れることができる。
【００６５】
ここで、複数のマーク５１，５２，５３，５４のいずれかを選択的に画像５０に重ねて表示するための手法を説明する。
【００６６】
図１１は、プロジェクター１が投影する像の構成を示す図である。画像処理部１８は、二つのレイヤーＬ１，Ｌ２を重ねることで合成される像を投影ユニット１１に投影させる。レイヤーＬ１はパーソナルコンピューター７から与えられる画像５０を描画するレイヤーであり、レイヤーＬ２は撮影に関するマークを描画するレイヤーである。図では、レイヤーＬ２にマーク５１が描画されている。
【００６７】
このように二つのレイヤーＬ１，Ｌ２を用いることにより、画像５０を表示したまま、マーク５１を表示したり他のマーク５２，５３，５４を表示したりすることができる。レイヤーＬ１を空白にすることで、マークのみを投影することができる。
【００６８】
次に、撮影に関するマークの形態の変形例を挙げる。図８および図９では、複数のマーク５１，５２，５３，５４の色を異ならせる例を示したが、この例に限らない。図１２（Ａ）のように、各マークがどのような状態において表示されかを示す文字列を記したマーク５４ｂ、５１ｂ、５２ｂ、５３ｂを表示してもよい。図示のマーク５４ｂ、５１ｂ、５２ｂ、５３ｂでは、文字列の記入と色分けとが併用されている。文字列に代えてシンボルとしてデザインされた図形によって状態を表わしてもよい。マークの形状は、円形、三角形、四角形、星形など任意の形状であってよい。
【００６９】
また、図１２（Ｂ）に示されるマーク５１ｃ、５２ｃ、５３ｃ，５４ｃのように、投影面５Ａの周縁となる枠状のマークを表示してもよい。複数の枠状のマーク５１ｃ、５４ｃの間で、色、模様、太さ、または線種を異ならせることで、これらマーク５１ｃ、５２ｃ、５３ｃ，５４ｃをプレゼンター８が識別できるようにすればよい。図１２（Ｂ）の例示では、マーク５１ｃ、５２ｃ、５３ｃ，５４ｃの間で色が相違する。
【００７０】
タッチによって撮影を指示することができることを示す枠状のマーク５１ｃを表示したときには、マーク５１ｃとその内側とで構成される投影面５Ａの全域を、プレゼンター８が撮影を指示するためのボタンとしてもよい。そのようにした場合、プレゼンター８は、投影面５Ａ内の任意の位置にタッチすることによってプロジェクター１に撮影を指示することができる。
【００７１】
以上の説明を、図１３のフローチャートを参照しながらまとめる。
【００７２】
プロジェクター１は、パーソナルコンピューター（ＰＣ）７からの画像５０をホワイトボード５に投影する（Ｓ１０）。
【００７３】
マーク表示制御部１０５が、投影ユニット１１に非許可色のマーク５４を表示させる（Ｓ１１）。ただし、図９の例のようにマーク５４を表示しないモードでは、ステップＳ１１はスキップされる。
【００７４】
第一の検知部１０１、第二の検知部１０２および第三の検知部１０３が、オブジェクトセンサー１３の出力に基づいて撮影空間４０内のオブジェクト３０の動きを把握する処理であるオブジェクトの監視をそれぞれ開始する（Ｓ１２）。
【００７５】
第一の検知部１０１が撮影空間４０からオブジェクト３０が離れたことを検知すると（Ｓ１３でＹＥＳ）、マーク表示制御部１０５が、撮影を指示する操作用のボタンとして撮影許可色のマーク５１を投影ユニット１１に表示させる（Ｓ１４）。
【００７６】
投影面５Ａのうちのボタンとしてマーク５１が表示された領域内の位置がオブジェクト３０によってタッチされたことを第二の検知部１０２が検知すると（Ｓ１５でＹＥＳ）、マーク表示制御部１０５が撮影待ち色のマーク５２を投影ユニット１１に表示させる（Ｓ１７）。
【００７７】
マーク５１が表示された領域内の位置がオブジェクト３０によってタッチされないまま所定時間が経過すると（Ｓ１５でＮＯ、Ｓ１６でＹＥＳ）、フローはステップＳ１１へ戻る。この場合、マーク表示制御部１０５は投影ユニット１１にマーク５２の表示を終了させ、その後、ステップＳ１１で投影ユニット１１にマーク５４を表示させる。
【００７８】
ステップＳ１５で上記の位置がタッチされたことが第二の検知部１０２によって検知された後、オブジェクト３０が撮影空間４０から離れたことが第三の検知部１０３によって検知されると（Ｓ１８でＹＥＳ）、撮影制御部１０４がカメラ１２にホワイトボード５を撮影させる（Ｓ１９）。そして、撮影制御部１０４は、得られた撮影データを不揮発性メモリ１７に格納する（Ｓ２０）。
【００７９】
撮影制御部１０４がカメラ１２に撮影を指示してから撮影データの格納が終わるまでの間、すなわちカメラ１２による次の撮影が可能になるまでの間（Ｓ１９〜Ｓ２０）、撮影中であることを示す色のマーク５３をマーク表示制御部１０５が投影ユニット１１に表示させてもよい。
【００８０】
撮影データの格納が終わった後、マーク表示制御部１０５は、非許可色のマーク５４を投影ユニット１１に表示させる（Ｓ２１）。その後、図９の例のように撮影の後に短い時間だけマーク５４を表示する場合には、マーク表示制御部１０５は、所定の短い時間が経過した時点で、マーク５４の表示を終了するように投影ユニット１１を制御する。
【００８１】
なお、カメラ１２による撮影中の投影ユニット１１による投影に関する投影停止モードには、マーク５３および画像５０の一方または両方を表示しない三つの選択肢がある。画像５０を表示するかしないかにかかわらず、マーク５３を表示しない場合、マーク表示制御部１０５はステップＳ１９においてマーク５３を表示しないように投影ユニット１１を制御する。画像５０を表示しない場合、表示停止制御部１０６が、ステップＳ１９の直前に画像５０を表示しないように投影ユニット１１を制御し、ステップＳ２０の直後に画像５０の表示を再開するように投影ユニット１１を制御する。
【００８２】
以上の実施形態によれば、スクリーンに表示されるボタン（マーク５１）に対するユーザーのアクションによって撮影のコマンドを入力する場合であっても、ユーザーの人体などのオブジェクト３０が重ならないように画像を撮影することができる。
【００８３】
以上の実施形態では、投影ユニット１１とカメラ１２とが一体化されたプロジェクター１を挙げたが、画像を投影する表示手段と投影面を撮影する撮影手段とが図１４の例示のように二つの装置の一方と他方とに分かれた場合にも本発明を適用することができる。
【００８４】
図１４において、投影と撮影とを行なうシステム２は、携帯型のプロジェクター３とカメラ（撮影手段）を備えた携帯型の情報端末４とから構成される。情報端末４は例えばスマートフォンである。プロジェクター３は、例えば机の上に書込みの可能なスクリーンとして置かれた紙６に画像を投影する。情報端末４は紙６を撮影する。プロジェクター３および情報端末４は、投影面６Ａの全域を撮影することができるように配置される。
【００８５】
システム２は、上述のプロジェクター１と同様に、投影面６Ａと情報端末４のカメラとの間の空間のうちの撮影の視野内の部分（これを撮影空間４２と呼称する）におけるオブジェクトの出入りを監視して、オブジェクトが映り込まないタイミングで情報端末４のカメラに投影面６Ａを撮影させる。すなわち、システム２は、図７に示した第一の検知部１０１、第二の検知部１０２、第三の検知部１０３、撮影制御部１０４、マーク表示制御部１０５、および表示停止制御部１０６と同等の機能要素を有する。
【００８６】
第一の検知部１０１、第二の検知部１０２、第三の検知部１０３、撮影制御部１０４、マーク表示制御部１０５、および表示停止制御部１０６の全部の機能を、情報端末４またはプロジェクター３に設けることができる。また、第一の検知部１０１、第二の検知部１０２、第三の検知部１０３、撮影制御部１０４、マーク表示制御部１０５、および表示停止制御部１０６のうちの一部の機能を情報端末４に設け、残りの一部の機能をプロジェクター３に設けてもよい。
【００８７】
例えば、システム２のユーザーが撮影を指示するためのボタンまたは操作のガイドとしてマークをプロジェクター３に表示させる機能要素、および物体が撮影空間４２から離れたことおよびマークの表示された位置がタッチされたことを検知する機能要素を、情報端末４に設けることができる。マークの表示された位置がタッチされた後に物体が撮影空間４２から離れたことが情報端末４によって検知されたときに、プロジェクター３に投影面６Ａを撮影させる機能要素を、プロジェクター３に設けることができる。
【００８８】
撮影空間４０，４２内のオブジェクトの有無の判定を、カメラ１２または情報端末４のカメラで撮影した投影面５Ａ，６Ａの撮影像に基づく画像認識によって行なうようにしてもよい。
【符号の説明】
【００８９】
１    プロジェクター（画像表示撮影システム）
１１    投影ユニット（表示手段）
１２    カメラ（撮影手段）
１０１    第一の検知部（第一の検知手段）
１０２    第二の検知部（第二の検知手段）
１０１    第三の検知部（第三の検知手段）
１０４    撮影制御部（撮影制御手段）
１０５    マーク表示制御部（マーク表示制御手段）
１０６    表示停止制御部（表示制御手段）
５Ａ    投影面（面）
３０    オブジェクト（物体）
４０    撮影空間（空間）
５０    画像（目的の画像）
８    プレゼンター（物体）
５１，５１ｂ、５１ｃ    マーク（第一のマーク）
５２，５２ｂ    マーク（第二のマーク）
５３，５３ｂ    マーク（第三のマーク）
５４，５４ｂ、５４ｃ    マーク（第四のマーク）
１５    ＣＰＵ（コンピューター）
２    システム（画像表示撮影システム）
３    プロジェクター（表示装置）
４    情報端末（撮影装置、コンピューター）
４２    撮影空間（空間）
【図１】
2015215720.tif 000003
【図２】
2015215720.tif 000004
【図３】
2015215720.tif 000005
【図４】
2015215720.tif 000006
【図５】
2015215720.tif 000007
【図６】
2015215720.tif 000008
【図７】
2015215720.tif 000009
【図８】
2015215720.tif 000010
【図９】
2015215720.tif 000011
【図１０】
2015215720.tif 000012
【図１１】
2015215720.tif 000013
【図１２】
2015215720.tif 000014
【図１３】
2015215720.tif 000015
【図１４】
2015215720.tif 000016