(57)【要約】  操作体の位置が認識できない領域で操作されている場合に、適切に認識できる領域へ誘導することで、ユーザの利便性を高めることが可能な情報処理装置、情報処理方法、およびシステムを提供する。投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部（１２０、１４０、１７０）を備える、情報処理装置。
2020090227.tif 000002
【特許請求の範囲】
【請求項１】
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部を備える、情報処理装置。
【請求項２】
前記制御部は、
前記投影領域の端の所定位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、
遮蔽物による遮蔽領域を認識し、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記遮蔽領域を除く位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項１に記載の情報処理装置。
【請求項４】
前記遮蔽領域は、前記投影領域内において、遮蔽物により投影ができない領域、または、前記遮蔽物により前記操作体の位置が認識できない領域を含む、請求項３に記載の情報処理装置。
【請求項５】
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記撮像画像を取得する撮像装置または前記投影を行う投影装置の設置位置に応じた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項１に記載の情報処理装置。
【請求項６】
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記操作体の位置が最後に認識できた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
請求項１に記載の情報処理装置。
【請求項７】
前記制御部は、
前記遮蔽物の位置を認識し、
認識した前記遮蔽物の位置に基づいて、前記操作体の位置が認識されない要因が当該遮蔽物による遮蔽であると判断した場合、前記誘導するための画像として、当該要因を通知する画像を前記投影部に投影させる投影制御処理を行う、
請求項３に記載の情報処理装置。
【請求項８】
前記遮蔽物は、前記操作体を操作しているユーザである、請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の位置及び大きさに対応した画像を前記投影部に投影させる投影制御処理を行う、
請求項７に記載の情報処理装置。
【請求項１０】
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の輪郭を示す画像を前記投影部に投影させる投影制御処理を行う、
請求項９に記載の情報処理装置。
【請求項１１】
前記制御部は、
前記投影領域に対する撮像装置および投影装置の位置関係に応じて、前記誘導するための画像として、天地方向を示す画像を前記投影部に投影させる投影制御処理を行う、
請求項１に記載の情報処理装置。
【請求項１２】
前記制御部は、
前記撮像画像から、前記操作体に設けられた発光部による発光を検出することで、前記投影領域内の前記操作体の位置座標を認識する、
請求項１に記載の情報処理装置。
【請求項１３】
前記制御部は、
前記センサデータに基づき、前記操作体に対する操作として、ユーザによる前記操作体を用いた前記投影領域に対する描画操作が行われていることを検出する、
請求項１に記載の情報処理装置。
【請求項１４】
前記情報処理装置は、
前記投影部に制御信号を出力するインタフェース部をさらに備える、
請求項１に記載の情報処理装置。
【請求項１５】
プロセッサが、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、
前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、
を含む、情報処理方法。
【請求項１６】
コンピュータを、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、テレビ受像機（以下、単にＴＶと称する）およびプロジェクタ等の固定型表示機器、ならびにスマートフォンおよびノートＰＣ（Personal  Computer）等のモバイル型表示機器といった多様な表示機器が開発されている。また、表示機器の開発に伴い、装置を制御するためのインタフェースや操作方法も多様化してきている。【０００３】
例えばプロジェクタに関しては、従来のホームシアターに代表されるような、地面に垂直なスクリーンに投影するものの他、プロジェクションマッピング技術の台頭により、テーブル面や、壁、天井など、あらゆる場所に映像を投影するケースが増えてきている。【０００４】
また、プロジェクタにより投影した画像を指示する指示棒などを利用してプレゼンテーションが行われる場合もある。この際、赤外光を出力する指示棒を利用する場合がある。また、ＩＲ（infrared  spectroscopy）光を出力するデジタルペンを用いて、プロジェクタによってデジタルペンによる軌跡を表示（投影）するシステムも提案されている。特に教育現場における板書のデジタル化に有用である。【０００５】
例えば下記特許文献１では、指示ペンから出力された光信号（赤外光）を、プロジェクタに搭載されたＩＲカメラにより撮像し、所定の閾値以上の信号レベルの光信号が検出されたとき、光信号の位置情報を出力する技術について開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１８−１９８８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、ＩＲ光を出力する電子ペン等の操作体が正常に動作していても、投影領域とユーザとカメラとの位置関係によっては、電子ペンのＩＲ光をユーザ自身（操作者）が遮蔽してしまい、カメラで検出できないといったことが起こり得る。しかしながら、カメラの位置や検出の仕組みを把握していない一般的なユーザは、なぜ描画できなくなったのかが分からず、不便を強いられていた。
【課題を解決するための手段】
【０００８】
本開示によれば、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部を備える、情報処理装置を提案する。【０００９】
本開示によれば、プロセッサが、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、を含む、情報処理方法を提案する。【００１０】
本開示によれば、コンピュータを、投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、を行う制御部として機能させるための、プログラムを提案する。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態による情報処理システムの概要について説明する図である。
【図２】本実施形態によるプロジェクタと投影面との間にユーザが位置する場合の遮蔽について説明する図である。
【図３】本実施形態によるカメラと操作体との間にユーザが位置する場合の遮蔽について説明する図である。
【図４】本実施形態に係る情報処理システムの全体構成の一例を示すブロック図である。
【図５】本実施形態による誘導画像の一例を示す図である。
【図６】本実施形態による誘導画像の表示処理の流れの一例を示すフローチャートである。
【図７】本実施形態による認識不可の要因に応じた誘導画像の表示処理の流れの一例を示すフローチャートである。
【図８】本実施形態によるユーザ位置の認識と、ユーザによる遮蔽について説明するための図である。
【図９】本実施形態によるユーザの遮蔽を通知する誘導画像の一例を示す図である。
【図１０】本実施形態による描画可能な領域について説明する図である。
【図１１】本実施形態による仮想的な影画像を誘導画像として表示する場合について説明する図である。
【図１２】本実施形態の変形例による描画可能な領域の天地方向について説明する図である。
【図１３】本実施形態の変形例による描画可能な領域の天地方向を明示する誘導画像の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成例
２−１．出力装置２００
２−２．カメラ３００
２−３．操作体４００
２−４．情報処理装置１００
３．動作処理
３−１．誘導画像の表示
３−２．認識不可の要因に応じた誘導画像の表示
４．変形例
５．まとめ
【００１４】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムは、図１に示すように、画像を投影するプロジェクタ２１０、投影領域２１１を撮像するカメラ３００（図１では、カメラ３００による撮影領域（いわゆる画角）を認識領域３０１として図示する）、および、プロジェクタ２１０による画像の投影を制御する情報処理装置１００を含む。
【００１５】
また、ユーザが操作体４００（いわゆる電子ペン）を用いて投影領域２１１に対して描画操作を行うと、操作体４００のペン先に設けられた発光部（例えば、ＩＲ＿ＬＥＤ（Light  Emitting  Diode））が発光し（具体的には例えばペン先の押圧により発光部が発光する）、情報処理装置１００は、カメラ３００により撮像された撮像画像から発光箇所を検出して操作体４００の位置（すなわち描画位置）を認識することが可能となる。カメラ３００は、プロジェクタ２１０の投影領域２１１と同じか、それより少し広めの範囲を撮像範囲（認識領域３０１）として予め設定され、操作体４００による発光（例えばＩＲ光）を撮像する。情報処理装置１００は、カメラ３００の撮像画像に基づいて操作体４００の位置を継続的に認識し、操作体４００に対する描画操作の軌跡を示す軌跡画像Ｌを生成し、プロジェクタ２１０により投影させる。
【００１６】
これにより、本システムでは、テーブル面や壁、床など、あらゆる場所（投影領域２１１）に、操作体４００を用いて自由に描画することが可能となる。
【００１７】
なお、操作体４００の発光部は、上述したように、ＩＲ＿ＬＥＤにより実現してもよい。この場合、操作体４００によるＩＲ発光以外の光による誤動作を避けるため、カメラ３００は、可視光カットフィルタを介して撮像する構成としてもよい（すなわちカメラ３００としてＩＲカメラを用いる）。この場合、カメラ３００の撮像画像からは、ペン先のＩＲ光しか検出されない。
【００１８】
しかしながら、ＩＲ光を何らかの遮蔽物により遮蔽したり、カメラ３００の画角外（図１に示す認識領域３０１外）に描画したりすると、システムはＩＲ光を検出することができず、軌跡画像を投影することができない。
【００１９】
ここで、操作体４００を用いて描画を行う際に想定される遮蔽問題について説明する。
【００２０】
図２は、本実施形態によるプロジェクタ２１０と投影面（投影領域２１１）との間にユーザが位置する場合の遮蔽（プロジェクタ２１０の遮蔽）について説明する図である。図２に示す例では、ユーザの影によって、投影領域２１１に投影不可領域（遮蔽領域２１３）が生じる。通常、プロジェクタ２１０により投影した場合はユーザの影が出るため、ユーザは自分がプロジェクタ２１０を遮蔽していることに比較的気付き易い。
【００２１】
一方、カメラ３００の遮蔽では影が出ないため、ユーザは自分がカメラ３００の遮蔽をしていることに気付くことが難しい。以下図３を参照して説明する。
【００２２】
図３は、本実施形態によるカメラと操作体との間にユーザが位置する場合の遮蔽（カメラ３００の遮蔽）について説明する図である。この場合、ユーザの身体によって隠れてしまい、操作体４００のＩＲ発光が検出できない領域（遮蔽領域３０３）が生じる。この場合、情報処理装置１００はＩＲ発光の位置（軌跡）を認識できず、軌跡画像Ｌが生成できないため、ユーザは操作体４００を正常に操作しても描画することができないこととなる。なお遮蔽領域３０３には、プロジェクタ２１０の遮蔽のように影が出ないため、ユーザは自身が遮蔽物となっていることに気付き難い。
【００２３】
また、軌跡画像を投影するシステムの場合、何も描いていない状況ではどの場所に描画することができるのか分からず、カメラ３００の画角外（認識領域外）で描き始めてしまい、描くことができないといったことも生じ得る。
【００２４】
従来、このような遮蔽等により操作体４００は正常に動作しているがカメラ３００で認識できないといった問題に関し、ユーザにフィードバックすることは行われておらず、ユーザはなぜ描けなくなったのか自分で判断する必要があった。カメラ３００の位置を確認して自分の立ち位置を変更する等の行動により改善できる場合もあるが、検出の仕組みを知らないユーザや、他の理由（ユーザの遮蔽ではなく例えば操作体４００の電池切れ、他の什器や可動物（カーテンなど）による遮蔽など）により描けないこととの切り分けが難しく、不便を強いられていた。
【００２５】
そこで、本開示では、操作体の位置が認識できない領域で操作されている場合に、適切に認識できる領域へ誘導することで、ユーザの利便性を高めることが可能な仕組みを提案する。
【００２６】
＜＜２．構成例＞＞
図４は、本実施形態に係る情報処理システムの全体構成の一例を示すブロック図である。図４に示すように、本実施形態に係る情報処理システムは、情報処理装置１００、出力装置２００、カメラ３００、および操作体４００を含む。
【００２７】
＜２−１．出力装置２００＞
出力装置２００は、プロジェクタ２１０、ＴＶ２２０、タブレット２３０、スマートフォン２４０、およびＰＣ２５０を含む。なお、本システムは、出力装置２００として、これらのうち一つ又は複数の組み合わせを含んでも良いし、同一種類の装置を複数含んでも良い。図１に示す例では、一例としてプロジェクタ２１０を用いるシステム構成について図示している。
【００２８】
プロジェクタ２１０は、空間の任意の場所に画像を投影する投影装置である。プロジェクタ２１０は、例えば固定型の広角プロジェクタであってもよいし、Ｐａｎ／Ｔｉｌｔ駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。投影面は平面に限定されず、曲面であってもよいし、複数の面に分かれていてもよい。また、プロジェクタ２１０は、複数台により実現されてもよい。
【００２９】
ＴＶ２２０は、テレビジョン放送の電波を受信して、画像及び音声を出力する装置である。タブレット２３０は、典型的にはスマートフォン２４０より大きな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。スマートフォン２４０は、典型的にはタブレット２３０より小さな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。ＰＣ２５０は、固定型のデスクトップＰＣであってもよいし、モバイル型のノートＰＣであってもよく、画像及び音声等を出力可能である。
【００３０】
出力装置２００は、情報処理装置１００による制御に基づいて情報を出力する。情報処理装置１００は、出力する情報の内容に加えて、出力方法も制御可能である。例えば、情報処理装置１００は、プロジェクタ２１０の投影方向を制御することができる。
【００３１】
また、出力装置２００は、上述した構成要素以外の任意の出力が可能な構成要素を含んでいてもよい。例えば、出力装置２００は、スピーカ、及び単一指向性スピーカを含んでもよい。スピーカは、ＤＡＣ（Digital  Analog  Converter）およびアンプを介して、音声データをアナログ信号に変換し、出力（再生）する。単一指向性スピーカは、単一の方向に指向性を形成可能なスピーカである。情報処理装置１００は、単一指向性スピーカの指向性を制御し得る。
【００３２】
また、出力装置２００は、照明装置、空調装置、又は音楽再生装置等を含んでいてもよい。
【００３３】
＜２−２．カメラ３００＞
カメラ３００は、操作体４００に設けられたＩＲ＿ＬＥＤを認識するＩＲ認識用のカメラであって、ＩＲフィルタを介して撮像し、ＩＲ光だけを検出できるセンサ装置の一例である。
【００３４】
なお本システムは、カメラ３００の他、様々な情報をセンシングする他のセンサを含んでいてもよい。例えば、本システムは、ＲＧＢカメラ、デプスセンサ、及びマイクロフォン等を含み、ユーザ及びユーザがいる空間に関する情報をセンシングしてもよい。デプスセンサは、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Laser  Imaging  Detection  and  Ranging）又はステレオカメラ等の深度情報を取得する装置である。また、高精度な距離画像を取得できるＴｏＦ（Time  Of  Flight）カメラであってもよい。マイクロフォンは、周囲の音を収音し、アンプおよびＡＤＣ（Analog  Digital  Converter）を介してデジタル信号に変換した音声データを出力する装置である。マイクロフォンは、アレイマイクであってもよい。
【００３５】
センサ装置は、情報処理装置１００による制御に基づいて情報をセンシングする。例えば、情報処理装置１００は、カメラ３００のズーム率及び撮像方向を制御することができる。
【００３６】
また、センサ装置は、さらに上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、センサ装置は、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって情報が入力される装置を含んでいてもよい。また、センサ装置は、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、照度センサ、力センサ、超音波センサ、気圧センサ、ガスセンサ（Co2）、サーモカメラ（遠赤外線カメラ）等の各種のセンサを含み得る。
【００３７】
以上説明した出力装置及びセンサ装置は、複数であってもよい。
【００３８】
＜２−３．操作体４００＞
操作体４００は、ユーザによって保持され、ユーザが投影領域２１１に軌跡を描画する際に利用される。具体的には、操作体４００の先端（ペン先）には発光部の一例としてＩＲ＿ＬＥＤ４３０が設けられ、ペン先を壁等の投影領域２１１に接触させて描画する際、ペン先の押し込みによりスイッチ４４０（センサ）がＯＮとなり、ＣＰＵ４２０によりＩＲ＿ＬＥＤ４３０が点灯制御される。一方、ペン先を壁等の投影領域２１１から離すと、ペン先の押し込みが解除され、スイッチ４４０がＯＦＦとなり、ＣＰＵ４２０によりＩＲ＿ＬＥＤ４３０が消灯制御される。
【００３９】
なお、ここでは一例としてペン先の接地面への押圧によりＩＲ＿ＬＥＤ４３０が発光する構成について説明したが、本実施形態はこれに限定されず、操作体４００に設けられたボタン又はスイッチ等による操作検出、又は操作体が有するモーションセンサを用いた操作体への操作検出等によりＩＲ＿ＬＥＤ４３０が発光する構成であってもよい。
【００４０】
また、操作体４００は、通信モジュール４１０を有する。通信モジュール４１０は、情報処理装置１００と有線又は無線接続し、データの送受信を行い得る。例えば通信モジュール４１０は、有線／無線ＬＡＮ（Local  Area  Network）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信等により情報処理装置１００と通信接続する。
【００４１】
ＣＰＵ４２０は、操作体４００に設けられたボタン又はスイッチのユーザ操作、又はペンの動き等に基づく所定のコマンドを情報処理装置１００に送信する。具体的には、ＣＰＵ４２０は、スイッチ４４０で検知されたセンサデータ（すなわち先端の押し込みによりスイッチがＯＮになっていることを示すデータであって、操作体４００に対する操作（描画操作）が行われたことを示すものである）を、通信モジュール４１０から情報処理装置１００にリアルタイムで送信する。
【００４２】
なお、ここでは、一例として操作体４００を用いて軌跡を描く描画操作を行う場合について主に説明したが、本実施形態による操作体４００を用いた操作はこれに限定されず、表示された画像に対するクリック操作、ドラッグ＆ドロップ操作、ページめくり、スクロール操作等の各種操作を行うことも可能である。
【００４３】
＜２−４．情報処理装置１００＞
情報処理装置１００は、Ｉ／Ｆ（Interface）部１１０、発光認識部１２０、記憶部１３０、操作検出部１４０、画像生成部１５０、座標変換部１６０、表示制御部１７０、およびユーザ位置認識部１８０を含む。
【００４４】
・Ｉ／Ｆ部１１０
Ｉ／Ｆ部１１０は、情報処理装置１００と他の機器とを接続するための接続装置である。Ｉ／Ｆ部１１０は、例えばＵＳＢ（Universal  Serial  Bus）コネクタ、有線／無線ＬＡＮ（Local  Area  Network）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long  Term  Evolution）、３Ｇ（第３世代の移動体通信方式））等により実現され、出力装置２００、カメラ３００、及び操作体４００との間で情報の入出力を行う。Ｉ／Ｆ部１１０を介してこれらの装置と通信を行うことにより、情報処理装置１００は出力装置２００、カメラ３００、及び操作体４００の制御を行うことが可能である。より具体的には、例えば情報処理装置１００は、出力装置２００、カメラ３００、及び操作体４００に対し、Ｉ／Ｆ部１１０を介して制御信号を出力することで、これらの制御を行い得る。
【００４５】
・発光認識部１２０
発光認識部１２０は、カメラ３００により撮像された撮像画像（ＩＲ撮像画像）からＩＲ光を検出し、検出したＩＲ光の位置座標（例えば輝点の位置座標）を認識し、記憶部１３０に蓄積すると共に、ＩＲ光が検出できたこと（例えば輝点の位置が認識できたこと）を画像生成部１５０に出力する。また、発光認識部１２０は、検出したＩＲ光の移動を追跡し、ＩＲ光の軌跡を取得する機能（トラッキング機能）も有する。
【００４６】
・記憶部１３０
記憶部１３０は、発光認識部１２０により認識された発光位置座標を記憶する。また、記憶部１３０は、出力装置２００およびカメラ３００の設置位置情報、空間認識情報、ユーザ位置情報、および、各種センサデータを記憶していてもよい。空間認識情報とは、情報処理装置１００が、センサ装置（不図示）から取得した各種センサデータ（カメラや俯瞰カメラによる撮像画像（可視光画像、赤外線画像）、デプスセンサによる深度情報、測距センサによる距離情報、サーモセンサによる温度情報、マイクロフォンによる音声情報等）に基づいて、投影空間（投影環境）から取得／認識した情報である。具体的には、例えば情報処理装置１００は、投影空間（投影環境）の３次元形状や、投影空間に存在する実物体の３次元形状、３次元位置、投影可能領域（所定の広さを有する平面領域など）、および、ユーザの３次元位置、姿勢、ジェスチャ、発話音声等を認識し、空間認識情報として、記憶部１３０に記憶してもよい。
【００４７】
・操作検出部１４０
操作検出部１４０は、操作体４００から受信したセンサデータに基づいて、操作体に対する操作が行われたことを検出する機能を有する。具体的には、例えば操作検出部１４０は、操作体４００に設けられたスイッチ４４０により検知されたセンサデータ（すなわち先端の押し込みによりスイッチがＯＮになっていることを示すデータ）を受信した場合、操作体４００に対する操作（ここでは、描画操作）が行われたことを検出することができる。また、操作検出部１４０は、操作検出結果を、画像生成部１５０に出力する。
【００４８】
・画像生成部１５０
画像生成部１５０は、出力装置２００により表示させる画像を生成する。例えば画像生成部１５０は、操作体４００による描画操作に応じて、操作体４００で描かれた軌跡を表示する映像（軌跡画像Ｌ）を生成する。具体的には、画像生成部１５０は、座標変換部１６０から取得したＩＲ光の軌跡に対応する表示座標情報に基づいて、その軌跡を表示する画像を生成し、表示制御部１７０に出力する。
【００４９】
また、本実施形態による画像生成部１５０は、操作検出部１４０により操作体４００に対する操作（ここでは、描画操作）が検出されているにも関わらず、発光認識部１２０により発光が認識されない（すなわち操作体４００の位置が認識されない）場合、投影領域２１１内かつカメラ３００により認識できる領域（以下、「描画可能な領域」とも称す）に操作体４００を誘導する画像（誘導画像）を、生成する。操作体４００に対する操作が検出されているにも関わらず発光が認識されない場合、例えば、ユーザがカメラ３００の認識領域３０１外で操作している場合や、ユーザまたは什器や可動物（カーテン等）により操作体４００のＩＲ光が遮蔽されている場合が想定される。
【００５０】
ここで、図５に、本実施形態による誘導画像の一例を示す。上述したように、操作体４００に対する操作が検出されているにも関わらず発光が認識されない場合、操作体４００は正常に利用できる状態（電池切れ等ではない）であって、描画可能な状況であるため、描画可能であることが直感的に分かるイラストやアイコン、ガイド等を誘導画像として表示することが望ましい。具体的には、例えば図５の誘導画像４２２ａ、４２２ｂに示すようなペンのイラスト画像やアイコン、または、「描いてみよう！」等の描画を促すガイド表示を、描画可能な領域に表示するようにしてもよい。
【００５１】
・座標変換部１６０
座標変換部１６０は、画像生成部１５０からの要求に応じて、記憶部１３０から対象の軌跡の情報を呼び出し、軌跡の情報から当該対象に対する映像を表示する座標を算出し、算出した座標を画像生成部１５０に出力する。
【００５２】
・表示制御部１７０
表示制御部１７０は、画像生成部１５０により生成された画像を、Ｉ／Ｆ部１１０を介して出力装置２００に出力し、出力装置２００により表示させる制御を行う。例えば表示制御部１７０は、画像生成部１５０により生成された軌跡画像を、プロジェクタ２１０により投影させる制御を行う。また、表示制御部１７０は、画像生成部１５０により生成された誘導画像を、プロジェクタ２１０により投影させる制御を行う。誘導画像は、描画可能な領域の端など、所定の位置に表示させるようにしてもよいし、最後にＩＲ光を認識できた位置に表示させるようにしてもよいし、カメラ３００またはプロジェクタ２１０の設置方向に応じた位置（例えばカメラ３００が描画可能な領域の右方向に位置している場合は右端など）に表示させるようにしてもよい。これにより、適切に認識できる領域へ誘導することができ、ユーザの利便性を高めることが可能となる。
【００５３】
・ユーザ位置認識部１８０
ユーザ位置認識部１８０は、撮像画像に基づいてユーザの位置を認識する機能を有する。例えば本システムにおいて、カメラ３００としてＲＧＢ  ＩＲカメラを用いた場合、可視光画像とＩＲ画像を同時に取得することが可能となる。この場合、ユーザ位置認識部１８０は、可視光画像からボーン推定等により人物の位置を認識することができる。認識されたユーザの位置と、ＩＲ画像に基づく発光認識の可否に基づいて、情報処理装置１００は、操作体４００の発光がユーザにより遮蔽されていることを判断することが可能となる。なお可視光画像に基づくボーン推定の際、フレーム間差分法を用いることで、ボーン位置のみならず、人体の領域を取得することも可能である。またさらに、発光認識用のＩＲカメラとは別に、サーモカメラ、デプスカメラ、または、ＴｏＦセンサを用意し、これによりユーザの輪郭（人体の領域）を抽出するようにしてもよい（これらのセンサの光軸はＩＲカメラに極力近付けることが望ましい）。
【００５４】
以上説明した発光認識部１２０、操作検出部１４０、画像生成部１５０、座標変換部１６０、表示制御部１７０、および、ユーザ位置認識部１８０は、情報処理装置１００に設けられる制御部（不図示）により実現され得る。制御部は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。制御部は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００５５】
また、本実施形態による情報処理装置１００の構成は、図４に示す例に限定されない。例えば情報処理装置１００は、複数の装置により構成されていてもよいし、図４に示す情報処理装置１００の機能構成のうち少なくとも一部が出力装置２００またはカメラ３００、操作体４００側に設けられていてもよい。また、情報処理装置１００は、図４に示す機能構成を全て有していなくともよい。
【００５６】
また、情報処理装置１００は、ＰＣ、スマートフォン、エッジサーバ、中間サーバ、またはクラウドサーバ等により実現されてもよい。
【００５７】
＜＜３．動作処理＞＞
続いて、本実施形態による誘導画像の表示処理の流れの一例について図面を用いて説明する。
【００５８】
＜３−１．誘導画像の表示＞
図６は、本実施形態による誘導画像の表示処理の流れの一例を示すフローチャートである。図６に示すように、まず、情報処理装置１００は、操作検出部１４０により、操作体４００から送信されたセンサデータに基づいて、ペン先のスイッチ４４０が（描画操作により）押し込まれたか否かを判断する（ステップＳ１０３）。
【００５９】
次に、ペン先のスイッチ４４０が押し込まれたと判断された場合（ステップＳ１０３／Ｙｅｓ）、発光認識部１２０は、カメラ３００の撮像画像（ＩＲ画像）からＩＲ光を認識する（ステップＳ１０６）。ここでは一例としてペン先のスイッチ４４０が押し込まれたことが検出された際にＩＲ光の認識処理を実行しているが、本実施形態はこれに限定されず、ＩＲ光の認識処理は継続的に（常時）行うようにしてもよい。
【００６０】
次いで、ＩＲ光を認識できた場合（ステップＳ１０６／Ｙｅｓ）、情報処理装置１００は、軌跡描画を行う（ステップＳ１０９）。具体的には、情報処理装置１００は、画像生成部１５０により、ＩＲ光の位置座標に応じて軌跡画像を生成し、表示制御部１７０によりプロジェクタ２１０で表示（投影）する制御を行う。
【００６１】
一方、ＩＲ光を認識できない場合（ステップＳ１０６／Ｎｏ）、情報処理装置１００は、書ける場所（投影領域２１１内であって、かつ、カメラ３００による認識が可能な、描画可能な領域）に操作体４００を誘導するＵＩ（誘導画像）を、当該書ける場所に表示する（ステップＳ１１２）。具体的には、情報処理装置１００は、誘導画像を生成し（または予め用意された誘導画像を取得し）、表示制御部１７０によりプロジェクタ２１０で表示（投影）する制御を行う。これによりユーザは、操作体４００の電池切れやシステムの不具合ではなく、描画は可能であることや、誘導画像が表示されている周辺で描画できることを、直感的に理解することが可能となる。
【００６２】
そして、情報処理装置１００は、ペン先のスイッチ４４０が押し込まれ続けている間（操作検出部１４０により、操作体４００における操作が検出され続けている間）、以上説明したステップＳ１０６〜Ｓ１１２に示す処理を繰り返す（ステップＳ１１５）。
【００６３】
＜３−２．認識不可の要因に応じた誘導画像の表示＞
本実施形態による情報処理装置１００は、さらに、ユーザの位置に基づいて、ＩＲ光を認識できない要因がユーザによる遮蔽であると判断した場合、ユーザによる遮蔽が生じていることを誘導画像として通知し、適切な行動を促すことが可能である。
【００６４】
図７は、認識不可の要因に応じた誘導画像の表示処理の流れの一例を示すフローチャートである。
【００６５】
図７に示すステップＳ１０３〜Ｓ１０９では、図６を参照して説明した同ステップと同様の処理を行う。すなわち、情報処理装置１００は、操作体４００のペン先のスイッチ４４０が（描画操作により）押し込まれた場合（ステップＳ１０３）、ＩＲ光を認識し（ステップＳ１０６）、軌跡描画（軌跡画像の生成、表示）を行う（ステップＳ１０９）。
【００６６】
次に、情報処理装置１００は、ＩＲ光がユーザ位置で認識できなくなったか否かを判断する（ステップＳ１２０）。具体的には、操作検出部１４０により描画操作が検出されているにも関わらず、発光認識部１２０によりＩＲ発光が認識できなくなり、かつ、ＩＲ発光が認識できなくなった場所が、ユーザ位置認識部１８０で認識されたユーザ位置の場合、ユーザによりＩＲ光が遮蔽されていることが分かる。図８は、ユーザ位置の認識と、ユーザによる遮蔽について説明するための図である。例えば本システムにおいて、カメラ３００としてＲＧＢ  ＩＲカメラを用いた場合、図８に示すような可視光画像３０４が取得でき、ユーザ位置認識部１８０は、当該可視光画像３０４に基づいてボーン推定等によりユーザ位置を認識する。そして、発光認識部１２０により追跡していたＩＲ光が（描画している途中で）、ユーザ位置と認識している領域に向かって移動して認識できなくなった（見失った）場合、画像生成部１５０は、ＩＲ光がユーザにより遮蔽されていると判断できる。
【００６７】
次いで、ＩＲ光がユーザ位置で認識できなくなった場合（ステップＳ１２０／Ｙｅｓ）、画像生成部１５０は、ＩＲ光がユーザにより遮蔽されていると判断し、その旨を通知する画像（誘導画像）を生成し、表示制御部１７０は、当該生成された誘導画像をプロジェクタ２１０で投影するよう制御する（ステップＳ１２３）。ここで、図９に、本実施形態によるユーザの遮蔽を通知する誘導画像の一例を示す。例えば、図９の誘導画像４２２ｄは、ユーザがカメラの画角内に入って邪魔になっている様子を示すアイコン画像である。また、図９の誘導画像４２２ｅは、「あなたの影になっています」といったガイド表示である。このような誘導画像を表示することで、ユーザは、自分の立ち位置が原因で描画ができない（認識されない）ことを直感的に理解し、カメラ３００の位置を確認して自分の立ち位置を変更する等して改善することが可能となる。
【００６８】
また、表示制御部１７０は、誘導画像を、描画可能な領域に表示するよう制御する。ここで、図１０を参照して、本実施形態による描画可能な領域について説明する。図１０に示すように、カメラ３００による撮像範囲に相当する認識領域３０１は、投影領域２１１と同じかそれより少し広めの範囲を範囲となるよう予め設定され得る。本実施形態では、投影領域２１１かつ認識領域３０１であって、さらに、遮蔽領域２１３（プロジェクタ２１０による投影領域２１１をユーザが遮蔽している領域）と遮蔽領域３０３（カメラ３００による認識領域３０１をユーザが遮蔽している領域）を除いた領域を、描画可能な領域４２１とする。表示制御部１７０は、誘導画像４２２を、描画可能な領域４２１の端など、所定の位置に表示させるようにしてもよいし、最後にＩＲ光を認識できた位置に表示させるようにしてもよいし、カメラ３００またはプロジェクタ２１０の設置方向に応じた位置（例えばカメラ３００が描画可能な領域の右方向に位置している場合は右端など）に表示させるようにしてもよい。
【００６９】
遮蔽領域２１３および遮蔽領域３０３は、可視光カメラにより取得した可視光画像、ユーザの３次元位置、カメラ３００の３次元位置、プロジェクタ２１０の３次元位置、投影領域２１１の３次元位置、認識領域３０１の３次元位置、これらの位置関係、距離等から、適宜、算出することが可能である。
【００７０】
ここで、遮蔽領域２１３の場所にはリアルな影が生じるが、カメラ３００を遮蔽している遮蔽領域３０３の場所には影が出ないため、情報処理装置１００は、画像生成部１５０により、遮蔽領域３０３（少なくとも遮蔽領域３０３の輪郭）を示す仮想的な影画像を誘導画像として生成して表示するようにしてもよい。図１１は、仮想的な影画像を誘導画像として表示する場合について説明する図である。図１１に示すように、描画可能な領域４２１において、プロジェクタ２１０による投影をユーザが遮蔽している遮蔽領域２１３にはリアルな影が出る一方、カメラ３００による撮影をユーザが遮蔽している遮蔽領域３０３には影が出ないため、仮想的な影画像４２２ｆを生成し、遮蔽領域３０３の位置にプロジェクタ２１０により表示する。これによりユーザは、自身の影になっている場所では描画ができないことを直感的に理解することができ、立ち位置を変更する等で改善することが可能となる。なお、ここでは遮蔽領域３０３の輪郭を示す画像を誘導画像として生成、表示する例について説明したが、本実施形態はこれに限定されない。例えば情報処理装置１００の画像生成部１５０は、誘導画像として、遮蔽領域３０３の位置及び大きさに対応した画像（例えば遮蔽領域３０３を含む単なる矩形画像）を生成してもよい。例えば輪郭抽出よりも処理負荷を軽くすることが可能な処理が適している場合、情報処理装置１００の画像生成部１５０は、遮蔽領域の位置及び大きさに対応した矩形画像の生成、表示を行うようにしてもよい。
【００７１】
また、通常、プロジェクタ２１０により投影した場合はユーザの影が出るため、ユーザは自分がプロジェクタ２１０を遮蔽していることに比較的気付き易いが、投影される画像の背景色が黒であり、表示する情報が白の場合、投影領域にはデフォルトで何も投影されていないため、影が出ない。この場合、情報処理装置１００は、プロジェクタ２１０の遮蔽領域２１３にも、仮想的な影を表示するようにしてもよい。プロジェクタ２１０の遮蔽領域２１３は、ユーザ位置とプロジェクタ２１０の設置位置、および、投影領域の場所に基づいて算出してもよい。若しくは、プロジェクタ２１０とカメラ３００の設置位置が近く、両者の光軸が極力近付いている又は同軸の場合、カメラ３００の遮蔽領域３０３を仮想的な影として表現することで、ユーザにはプロジェクタ２１０の遮蔽とも認識させることができる。なおこの場合も、プロジェクタ２１０の遮蔽領域２１３を示す誘導画像としては、輪郭抽出した画像に限定されない。例えば情報処理装置１００の画像生成部１５０は、遮蔽領域２１３の位置及び大きさに対応した画像（例えば遮蔽領域２１３を含む単なる矩形画像）を生成してもよい。
【００７２】
そして、ユーザが立ち位置を変更する等により遮蔽が改善された場合（すなわち、発光認識部１２０により再びＩＲ光が認識できるようになった場合）（ステップＳ１２６／Ｙｅｓ）、情報処理装置１００は、再び軌跡画像を生成し、表示する制御を行う（ステップＳ１２９）。
【００７３】
一方、ＩＲ光を認識できない場合（ステップＳ１０６／Ｎｏ）、または、ＩＲ光を認識していた途中（描画の途中）で、ユーザ位置以外で認識できなくなった場合（ステップＳ１２０／Ｎｏ）、情報処理装置１００は、図６を参照して説明した実施形態と同様に、書ける場所（描画可能な領域）に操作体４００を誘導するＵＩ（図５に示すような誘導画像４２２ａ〜４２２ｃ）を、当該書ける場所に表示する（ステップＳ１１２）。ユーザ位置以外で認識できなくなった場合とは、認識領域３０１から外れた場合（画角外に移動した場合）や、ユーザ以外の遮蔽物、例えば什器や可動物により遮蔽されている場合が想定される。これによりユーザは、操作体４００の電池切れやシステムの不具合ではなく、描画は可能であることや、誘導画像が表示されている周辺で描画できることを、直感的に理解することが可能となる。なお、撮像画像に基づく物体認識等により遮蔽物が認識できた場合や、何らかの遮蔽物により遮蔽されていることが認識できた場合、情報処理装置１００は、遮蔽の旨を通知する誘導画像を表示するようにしてもよい。
【００７４】
以上説明したステップＳ１０６〜Ｓ１１２、Ｓ１２０〜Ｓ１２９に示す処理を、情報処理装置１００は、ペン先のスイッチ４４０が押し込まれ続けている間、繰り返す（ステップＳ１３２）。
【００７５】
＜＜４．変形例＞＞
続いて、本実施形態の変形例について説明する。
【００７６】
＜４−１．誘導画像による描画可能な領域の天地方向の明示＞
本実施形態による誘導画像は、さらにプロジェクタ２１０やカメラ３００の設置位置に応じて描画可能な領域の天地方向を示すものであってもよい。
【００７７】
図１２は、本実施形態の変形例による描画可能な領域の天地方向について説明する図である。図１２に示すように、例えばテーブル２０の天面が投影領域になっており、ユーザはどの方向からも描画することができる場合を想定する。
【００７８】
テーブル２０の周辺には、テーブル２０の天面に軌跡画像を投影するプロジェクタ２１０と、操作体４００ａ、４００ｂのＩＲ発光（描画）を撮像するカメラ３００が設置されている。
【００７９】
ここで、プロジェクタ２１０およびカメラ３００とユーザの位置関係によっては、ユーザによる遮蔽が発生し易い場所（すなわち、望ましくない、不利な立ち位置）が生じ得る。
【００８０】
例えば、図１２に示すように、ユーザＵ１の立ち位置では遮蔽は生じないが、ユーザＵ２の立ち位置では、ユーザＵ２の後方から投影しているプロジェクタ２１０の投影を遮蔽して遮蔽領域２１３が生じ、また、カメラ３００の撮像も遮蔽して遮蔽領域３０３が生じている。遮蔽領域２１３、遮蔽領域３０３では描画ができず（認識、投影ができず）、描画可能な領域４２１が狭くなるといった不利益が生じる。
【００８１】
そこで、本変形例では、望ましい立ち位置（描画方向）をユーザに明示するため、遮蔽が生じた場合（例えばユーザＵ２が利用する操作体４００ｂに対して操作が行われているが、発光が認識できない場合等）、情報処理装置１００は、天地方向が分かる誘導画像を表示するようにしてもよい。天地方向は、プロジェクタ２１０およびカメラ３００の位置に応じて決定し得る。すなわち、天地方向が分かる誘導画像は、プロジェクタ２１０およびカメラ３００の位置に対応した望ましい有利な立ち位置（方向）にユーザを誘導するものである。
【００８２】
図１３は、本変形例による描画可能な領域の天地方向を明示する誘導画像の一例を示す図である。例えば図１３に示すように、動物等の天地が分かるイラストを含む額縁的な誘導画像４２２ｇを表示してもよい。また、その他天地が分かるイラスト、アイコン、ガイド表示（文字）等を表示するようにしてもよい。これによりユーザは、好ましい立ち位置（描き込み方向）を直感的に理解することが可能となる。
【００８３】
＜４−２．プロジェクタ２１０とカメラ３００の配置＞
上述した実施形態では、プロジェクタ２１０とカメラ３００が離れて設置されている場合について説明したが、本実施形態はこれに限定されず、プロジェクタ２１０の光軸中心とカメラ３００の光軸中心を極力近付け、又は同軸に設置することで、プロジェクタ２１０の遮蔽をカメラ３００の遮蔽と捉えて誘導表示処理を行うようにしてもよい。
【００８４】
すなわち、プロジェクタ２１０の光軸中心とカメラ３００の光軸中心を極力近付け、又は同軸に設置した場合、カメラ３００の撮像をユーザが遮蔽した場合の遮蔽領域３０３の場所は、プロジェクタ２１０の投影をユーザが遮蔽した場合の遮蔽領域２１３の場所とほぼ同じとなることが予想される。このため、情報処理装置１００は、ユーザの影の場所（プロジェクタ２１０の遮蔽領域２１３）をカメラ３００の遮蔽領域３０３とみなし、その周辺でＩＲ光の認識ができなくなった場合、図９に示したように、ユーザが要因になっている旨を通知するようにしてもよい。
【００８５】
＜＜５．まとめ＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８６】
例えば、上述した情報処理装置１００、出力装置２００、カメラ３００、又は操作体４００に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１００、出力装置２００、カメラ３００、又は操作体４００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【００８７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８８】
なお、本技術は以下のような構成も取ることができる。
（１）
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部を備える、情報処理装置。
（２）
前記制御部は、
前記投影領域の端の所定位置に、前記誘導するための画像を投影させる投影制御処理を行う、
前記（１）に記載の情報処理装置。
（３）
前記制御部は、
遮蔽物による遮蔽領域を認識し、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記遮蔽領域を除く位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記（１）または（２）に記載の情報処理装置。
（４）
前記遮蔽領域は、前記投影領域内において、遮蔽物により投影ができない領域、または、前記遮蔽物により前記操作体の位置が認識できない領域を含む、前記（３）に記載の情報処理装置。
（５）
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記撮像画像を取得する撮像装置または前記投影を行う投影装置の設置位置に応じた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記制御部は、
前記投影領域内であって前記認識処理により前記操作体の位置が認識可能であり、かつ、前記操作体の位置が最後に認識できた位置に、前記誘導するための画像を前記投影部に投影させる投影制御処理を行う、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、
前記遮蔽物を認識し、
認識した前記遮蔽物の位置に基づいて、前記操作体の位置が認識されない要因が当該遮蔽物による遮蔽であると判断した場合、前記誘導するための画像として、当該要因を通知する画像を前記投影部に投影させる投影制御処理を行う、
前記（３）または（４）に記載の情報処理装置。
（８）
前記遮蔽物は、前記操作体を操作しているユーザである、前記（７）に記載の情報処理装置。
（９）
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の位置及び大きさに対応した画像を前記投影部に投影させる投影制御処理を行う、
前記（７）または（８）に記載の情報処理装置。
（１０）
前記制御部は、
前記誘導するための画像として、前記投影領域内の遮蔽領域の輪郭を示す画像を前記投影部に投影させる投影制御処理を行う、
前記（９）に記載の情報処理装置。
（１１）
前記制御部は、
前記投影領域に対する撮像装置および投影装置の位置関係に応じて、前記誘導するための画像として、天地方向を示す画像を前記投影部に投影させる投影制御処理を行う、
前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、
前記撮像画像から、前記操作体に設けられた発光部による発光を検出することで、前記投影領域内の前記操作体の位置座標を認識する、
前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、
前記センサデータに基づき、前記操作体に対する操作として、ユーザによる前記操作体を用いた前記投影領域に対する描画操作が行われていることを検出する、
前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記情報処理装置は、
前記投影部に制御信号を出力するインタフェース部をさらに備える、
前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
プロセッサが、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識することと、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出することと、
前記操作体に対する操作が検出され、かつ前記操作体の位置が認識されない場合に、前記投影領域内であって前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させることと、
を含む、情報処理方法。
（１６）
コンピュータを、
投影領域を撮像した撮像画像に基づき投影領域内の操作体の位置を認識する認識処理と、
前記操作体に設けられたセンサが出力するセンサデータに基づき前記操作体に対する操作が行われたことを検出する操作検出処理と、
前記操作検出処理により前記操作体に対する操作が検出され、かつ前記認識処理により前記操作体の位置が認識されない場合に、前記投影領域内であって前記認識処理により前記操作体の位置が認識可能な位置へ前記操作体を誘導するための画像を投影部に投影させる投影制御処理と、
を行う制御部として機能させるための、プログラム。
【符号の説明】
【００８９】
１００  情報処理装置
１１０  Ｉ／Ｆ部
１２０  発光認識部
１３０  記憶部
１４０  操作検出部
１５０  画像生成部
１６０  座標変換部
１７０  表示制御部
１８０  ユーザ位置認識部
２００  出力装置
２１０  プロジェクタ
２１１  投影領域
２１３  遮蔽領域
２２０  ＴＶ
２３０  タブレット
２４０  スマートフォン
２５０  ＰＣ
３００  カメラ
３０１  認識領域
３０３  遮蔽領域
３０４  可視光画像
４００  操作体
４１０  通信モジュール
４２１  描画可能な領域
４２２（４２２ａ〜４２２ｇ）  誘導画像
４３０  ＩＲ＿ＬＥＤ
４４０  スイッチ
【図１】
2020090227.tif 000003
【図２】
2020090227.tif 000004
【図３】
2020090227.tif 000005
【図４】
2020090227.tif 000006
【図５】
2020090227.tif 000007
【図６】
2020090227.tif 000008
【図７】
2020090227.tif 000009
【図８】
2020090227.tif 000010
【図９】
2020090227.tif 000011
【図１０】
2020090227.tif 000012
【図１１】
2020090227.tif 000013
【図１２】
2020090227.tif 000014
【図１３】
2020090227.tif 000015
【国際調査報告】
2020090227.tif 000016
2020090227.tif 000017