(57)【要約】【課題】一実施形態は、入力された操作と、入力を行ったポインティングデバイスとを対応付けることができる。【解決手段】一実施形態に係る制御プログラムは、撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得し、取得した撮影画像に基づいて、ポインティングデバイスの位置を特定し、無線通信装置と、ポインティングデバイスが有する無線通信機との間で送受信される電波の無線通信装置又は無線通信機による受信状況を示す電波受信情報と、無線通信装置を識別する無線通信装置情報と、ポインティングデバイスを識別するデバイス情報とを取得し、取得した電波受信情報及び無線通信装置情報に基づき、ポインティングデバイスの位置を推定し、特定した位置と、推定した位置との一致度が基準を満たす場合、取得したデバイス情報を、特定した位置に対応付けて記憶する、処理をコンピュータに実行させることを特徴とする。【選択図】図１０
2019159865.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得し、
取得した前記撮影画像に基づいて、前記ポインティングデバイスの位置を特定し、
無線通信装置と、前記ポインティングデバイスが有する無線通信機との間で送受信される電波の前記無線通信装置又は前記無線通信機による受信状況を示す電波受信情報と、前記無線通信装置を識別する無線通信装置情報と、前記ポインティングデバイスを識別するデバイス情報とを取得し、
取得した前記電波受信情報及び前記無線通信装置情報に基づき、前記ポインティングデバイスの位置を推定し、
特定した前記位置と、推定した前記位置との一致度が基準を満たす場合、取得した前記デバイス情報を、特定した前記位置に対応付けて記憶する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
【請求項２】
前記コンピュータは、前記電波受信情報、前記無線通信装置情報、及び前記デバイス情報を、前記ポインティングデバイスが有する前記無線通信機から受信することを特徴とする、請求項１に記載の制御プログラム。
【請求項３】
第１の時刻において、前記撮影画像に基づいて複数のポインティングデバイスの位置が特定され、且つ、前記複数のポインティングデバイスの位置に、推定した前記位置との一致度が基準を満たす複数の位置がある場合、前記第１の時刻と異なる第２の時刻における前記電波受信情報に基づき推定した前記第２の時刻の推定位置と、前記第２の時刻における前記撮影画像に基づいて特定した前記複数のポインティングデバイスの前記第２の時刻の特定位置とに基づいて、前記第１の時刻における前記基準を満たす複数の位置のうちの１つを、前記デバイス情報に対応付けて記憶する、ことを特徴とする請求項１又は請求項２に記載の制御プログラム。
【請求項４】
前記一致度の基準は、前記電波受信情報及び前記無線通信装置情報に基づき推定した前記位置から、前記撮影画像に基づいて特定した前記位置が所定の閾値以内の距離にあることであり、
更に、前記無線通信装置の数が所定値以下である場合、前記所定の閾値として第１の閾値を用い、前記無線通信装置の数が前記所定値よりも多い場合、前記所定の閾値として前記第１の閾値よりも距離の短い第２の閾値を用いる、ことを特徴とする、請求項１又は２に記載の制御プログラム。
【請求項５】
コンピュータにより実行される制御方法であって、前記コンピュータが、
撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得し、
取得した前記撮影画像に基づいて、前記ポインティングデバイスの位置を特定し、
無線通信装置と、前記ポインティングデバイスが有する無線通信機との間で送受信される電波の前記無線通信装置又は前記無線通信機による受信状況を示す電波受信情報と、前記無線通信装置を識別する無線通信装置情報と、前記ポインティングデバイスを識別するデバイス情報とを取得し、
取得した前記電波受信情報及び前記無線通信装置情報に基づき、前記ポインティングデバイスの位置を推定し、
特定した前記位置と、推定した前記位置との一致度が基準を満たす場合、取得した前記デバイス情報を、特定した前記位置に対応付けて記憶する、
ことを含む、制御方法。
【請求項６】
撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得する画像取得部と、
取得した前記撮影画像に基づいて、前記ポインティングデバイスの位置を特定する特定部と、
無線通信装置と、前記ポインティングデバイスが有する無線通信機との間で送受信される電波の前記無線通信装置又は前記無線通信機による受信状況を示す電波受信情報と、前記無線通信装置を識別する無線通信装置情報と、前記ポインティングデバイスを識別するデバイス情報とを取得する情報取得部と、
取得した前記電波受信情報及び前記無線通信装置情報に基づき、前記ポインティングデバイスの位置を推定する推定部と、
特定した前記位置と、推定した前記位置との一致度が基準を満たす場合、取得した前記デバイス情報を、特定した前記位置に対応付けて記憶部に記憶する処理部と、
を含む、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御プログラム、制御方法、及び情報処理装置に関する。
【背景技術】
【０００２】
近年、プロジェクタや大型ディスプレイの普及により、空間のあらゆる場所をディスプレイとして利用できるようになっている。例えば、ユーザが持ち込んだスマートフォンやタブレット端末などの端末の表示画面を、その場のディスプレイに表示し、複数人で画面を共有することが行われている。
【０００３】
更には、大型のスクリーンなどにプロジェクタなどの表示装置で表示したオブジェクトを複数のユーザで共有し、自由に移動したり操作したりしながら、会議やアイデア出しなどを進めることが行われている。なお、オブジェクトとは、例えば、表示画面に表示される情報であってよく、文章、画像、アイコン、付箋、ノートなどの情報を含み、移動、向きやサイズの変更、削除、及び編集などのユーザによる操作を受け付けてよい。
【０００４】
こうした操作の入力は、例えば、ポインティングデバイスを用いて行われる。例えば、ポインティングデバイスとして、赤外線を投光する赤外線ペンを用いる場合、赤外線ペンが投光する光で描かれた光点の軌跡を、表示画面を画角に収めたカメラなどの撮像装置で撮像し、入力が行われてよい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１８４２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば、複数のユーザで表示画面を共有し、複数のポインティングデバイスから入力が行われる場合に、入力された操作が、どのポインティングデバイスから入力された操作なのかの識別が望まれることがある。
【０００７】
１つの側面では、本発明は、入力された操作と、入力を行ったポインティングデバイスとを対応付けることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一つの態様の制御プログラムは、撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得し、取得した撮影画像に基づいて、ポインティングデバイスの位置を特定し、無線通信装置と、ポインティングデバイスが有する無線通信機との間で送受信される電波の無線通信装置又は無線通信機による受信状況を示す電波受信情報と、無線通信装置を識別する無線通信装置情報と、ポインティングデバイスを識別するデバイス情報とを取得し、取得した電波受信情報及び無線通信装置情報に基づき、ポインティングデバイスの位置を推定し、特定した位置と、推定した位置との一致度が基準を満たす場合、取得したデバイス情報を、特定した位置に対応付けて記憶する、処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
入力された操作と、入力を行ったポインティングデバイスとを対応付けることができる。
【図面の簡単な説明】
【００１０】
【図１】例示的な入力システムを示す図である。
【図２】操作の入力を例示する図である。
【図３】実施形態に係る入力システムを例示する図である。
【図４】実施形態に係る情報処理装置のブロック構成を例示する図である。
【図５】実施形態に係るポインティングデバイスの位置の推定処理を説明する図である。
【図６】実施形態に係る電波受信状況情報を例示する図である。
【図７】実施形態に係る強度距離範囲情報を例示する図である。
【図８】実施形態に係る設置位置情報を例示する図である。
【図９】電波強度と対応する距離の範囲をアクセスポイントの設置位置からプロットした図である。
【図１０】実施形態に係る入力処理の動作フローを例示する図である。
【図１１】実施形態に係る操作履歴情報を例示する図である。
【図１２】実施形態に係る利用者情報を例示する図である。
【図１３】変形例に係るポインティングデバイスの特定の例を説明する図である。
【図１４】実施形態に係るポインティングデバイスの受信状況履歴情報を例示する図である。
【図１５】実施形態に係る指示位置履歴情報を例示する図である。
【図１６】実施形態に係る閾値の調整処理を例示する図である。
【図１７】変形例に係る入力処理の動作フローを例示する図である。
【図１８】実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。
【図１９】実施形態に係るポインティングデバイスのハードウェア構成を例示する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
【００１２】
図１は、例示的な入力システム１００を示す図である。例示的な入力システム１００は、例えば、情報処理装置１０１と、表示装置１０２、撮像装置１０３、及びポインティングデバイス１０５を含んでいる。例えば、表示装置１０２は、情報処理装置１０１の指示に従って、机や壁などの表示面１５０上にオブジェクト１１１を表示してよい。また、ユーザはポインティングデバイス１０５を使用している。図１の例では、ユーザ１からユーザ３の３人のユーザが示されており、それぞれがポインティングデバイス１０５を利用している。ユーザは、ポインティングデバイス１０５を用いてオブジェクト１１１に操作を入力することができる。ここで、ポインティングデバイス１０５が、例えば、赤外線ペンであり、撮像装置１０３が赤外線カメラである場合、図２に示すように操作が入力されてよい。
【００１３】
図２は、ポインティングデバイス１０５の例として赤外線ペン２０１を用い、撮像装置１０３の例として赤外線カメラ２０２を用いた場合の操作の入力を例示する図である。図２に示す様に、例えば、ユーザが入力時に赤外線ペン２０１に備えられたスイッチなどを押すと、ペン先から赤外線が投光される。そして、赤外線ペン２０１が投光した光は、表示面１５０で反射して赤外線カメラ２０２で検出される。情報処理装置１０１は、赤外線ペン２０１で描かれた光点の軌跡の入力を赤外線カメラ２０２で検出することで、ユーザからの操作の入力を受け付けてよい。
【００１４】
そして、図１において、例えば、ユーザ１がポインティングデバイス１０５でオブジェクトＡを選択し、矢印１２０で示す方向に移動させる操作を入力したとする。この場合、撮像装置１０３で、ポインティングデバイス１０５が入力した操作が検出され、オブジェクトＡは移動する。しかしながら、ポインティングデバイス１０５を用いて操作を入力する場合に、オブジェクト１１１に操作を入力したのが、複数あるポインティングデバイス１０５のうちのどのポインティングデバイス１０５であるのか識別できないことがある。その結果、オブジェクトに操作１１０を行ったユーザが、誰であるのか特定が難しいことがある。そのため、入力された操作と、入力を行ったポインティングデバイスとを対応付けることのできる技術の提供が望まれている。以下で述べる実施形態では、例えば、入力された操作と、入力を行ったポインティングデバイスとを対応付けることのできる技術を提供する。
【００１５】
図３は、実施形態に係る入力システム３００を例示する図である。入力システム３００は、例えば、空間内の机や壁などに画面を表示してユーザからの入力を受け付けるシステムであってよい。入力システム３００の一例として、空間ＵＩと呼ばれる技術が知られている。実施形態に係る入力システム３００は、例えば、情報処理装置３０１、表示装置３０２、撮像装置３０３、及びポインティングデバイス３０５を含む。また、更に、実施形態に係る入力システム３００は、ルータ３１０、アクセスポイント（ＡＰ）３２０を含む。なお、入力システム３００には、複数のアクセスポイント３２０が含まれていてよく、図３の例では、ＡＰ１〜ＡＰ３の３つのアクセスポイント３２０が含まれている。
【００１６】
情報処理装置３０１は、例えば、サーバ、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、タブレット端末などの装置であってよい。表示装置３０２は、例えば、プロジェクタなどの装置であり、情報処理装置３０１の指示に従って、表示面１５０にオブジェクト１１１を表示する。ポインティングデバイス３０５は、例えば、赤外線ペンなどの光を発する装置であってよい。ユーザは、例えば、ポインティングデバイス３０５が発した光で表示面１５０上に光点の軌跡を描き、オブジェクト１１１に対する操作を入力してよい。撮像装置３０３は、例えば、表示面１５０を画角に収めた画像を撮像する。撮像装置３０３が撮像した画像には、ポインティングデバイス３０５や、ポインティングデバイス３０５が発した光の表示面１５０からの反射光が含まれていてよい。なお、ポインティングデバイス３０５と撮像装置３０３とは、ポインティングデバイス３０５による入力を撮像装置３０３が検出できるように組み合わせられていてよい。例えば、ポインティングデバイス３０５が赤外線ペンの場合、撮像装置３０３は赤外線カメラであってよい。撮像装置３０３は、例えば、撮影した撮影画像を情報処理装置３０１に出力する。情報処理装置３０１は、例えば、撮像装置３０３が撮影した撮影画像に映る光点の軌跡に基づいて、表示面１５０に表示されたオブジェクト１１１を操作してよい。
【００１７】
また、ルータ３１０は、例えば、アクセスポイント３２０と情報処理装置３０１との間の通信を中継する通信機器である。アクセスポイント３２０は、例えば、ポインティングデバイス３０５と無線通信を行う。
【００１８】
図４は、実施形態に係る情報処理装置３０１のブロック構成を例示する図である。情報処理装置３０１は、例えば、制御部４０１、記憶部４０２、及び通信部４０３を含んでいる。制御部４０１は、例えば、画像取得部４１１、特定部４１２、情報取得部４１３、推定部４１４、及び処理部４１５などとして動作してよい。記憶部４０２は、例えば、後述する電波受信状況情報６００、強度距離範囲情報７００、設置位置情報８００、操作履歴情報１１００、利用者情報１２００、受信状況履歴情報１４００、及び指示位置履歴情報１５００などの情報を記憶してよい。通信部４０３は、例えば、制御部４０１の指示に従って、表示装置３０２、撮像装置３０３、ルータ３１０、アクセスポイント３２０など、情報処理装置３０１の外部の装置と通信する。これらの各部の詳細及び記憶部４０２に格納されている情報の詳細については後述する。 
【００１９】
情報処理装置３０１の制御部４０１は、ポインティングデバイス３０５及びアクセスポイント３２０をそれぞれ識別するための識別情報とともに、アクセスポイント３２０とポインティングデバイス３０５との間で送受信される電波の受信状況を収集する。そして、情報処理装置３０１の制御部４０１は、取得したアクセスポイント３２０とポインティングデバイス３０５との間で送受信される電波の受信状況に基づいて、識別情報で識別されるポインティングデバイス３０５の位置を推定する。情報処理装置３０１の制御部４０１は、受信状況から推定したポインティングデバイス３０５の位置と、撮像装置３０３で操作の入力が検出された位置とを対応付けることで、操作を入力したポインティングデバイス３０５を特定する。そのため、実施形態によれば、入力された操作が、どのポインティングデバイスで入力された操作なのか識別することが可能である。まず、電波の受信状況によるポインティングデバイス３０５の位置の推定について説明する。
【００２０】
図５は、実施形態に係るポインティングデバイス３０５の位置の推定処理を説明する図である。図５には、ポインティングデバイス３０５と、撮像装置３０３と、複数のアクセスポイント３２０とが示されている。撮像装置３０３は、表示装置３０２がオブジェクト１１１を表示する表示面を画角に収めるように画像を撮像する。例えば、撮像装置３０３は、ポインティングデバイス３０５を含む撮像画像を撮像する。そして、情報処理装置３０１の制御部４０１は、例えば、撮像画像からポインティングデバイス３０５が表示面１５０上で発した光の反射光を検出するなどして、ポインティングデバイス３０５が指示した指示位置を特定する。なお、ポインティングデバイス３０５が指示した指示位置は、例えば、ポインティングデバイス３０５の位置と近い距離にあることが推定されるため、ポインティングデバイス３０５の位置として用いることができる。また、表示面１５０上でポインティングデバイス３０５が指示した指示位置と、撮像装置３０３の撮像画像から検出されたポインティングデバイス３０５の指示位置とは、キャリブレーション処理により予め対応付けられていてよい。キャリブレーション処理では、制御部４０１は、例えば、表示装置３０２で表示面１５０に表示した表示画面内の所定の座標を、ユーザにポインティングデバイス３０５を用いて選択させる。そして、制御部４０１は、表示画面内の所定の座標と、撮像装置３０３が撮像した撮像画像において指示された指示位置とを対応付けることで、表示画面内での位置と、撮像装置３０３による撮像画像内での位置とを対応付ける。制御部４０１は、キャリブレーションで対応付けられた点の座標を基に、撮像画像から検出されたポインティングデバイス３０５の指示位置から、表示装置３０２が表示面１５０に表示した表示画面内でのポインティングデバイス３０５の指示位置を特定してよい。
【００２１】
また、表示面１５０の周囲には、複数のアクセスポイント３２０が設置されている。図５の例では、４つのアクセスポイント３２０が、表示面１５０を取り囲んで四方に配置されている。そして、情報処理装置３０１は、例えば、ポインティングデバイス３０５と複数のアクセスポイント３２０との間で送受信される電波の受信電波強度などの電波の受信状況に基づいて、ポインティングデバイス３０５の位置を推定する。なお、アクセスポイント３２０の数や配置は、図５に示す例に限定されるものではない。例えば、アクセスポイント３２０の数や配置は、アクセスポイント３２０とポインティングデバイス３０５の間で送受信される電波の受信状況からポインティングデバイス３０５の位置を推定することが可能であれば任意の数及び配置であってよい。例えば、別の実施形態では、表示面１５０を取り囲むように３つ以上のアクセスポイント３２０が配置されてよい。
【００２２】
なお、アクセスポイント３２０とポインティングデバイス３０５との間で送受信される電波の受信状況は、一実施形態ではポインティングデバイス３０５が発した電波をアクセスポイント３２０で受信した際の電波の受信状況であってよい。この場合、ポインティングデバイス３０５は、自装置の識別情報を含む電波を発する。アクセスポイント３２０は、受信したポインティングデバイス３０５の電波の受信状況とポインティングデバイス３０５の識別情報とを、自アクセスポイント３２０の識別情報とともに情報処理装置３０１に送信してよい。なお、アクセスポイント３２０の識別情報としては、例えば、ＳＳＩＤ（Service Set Identifier）を用いることができる。
【００２３】
或いは、別の実施形態では、アクセスポイント３２０とポインティングデバイス３０５の間で送受信される電波の受信状況は、アクセスポイント３２０が発した電波を、ポインティングデバイス３０５で受信した際の電波の受信状況であってもよい。この場合、ポインティングデバイス３０５は、複数のアクセスポイント３２０のそれぞれからの電波の受信状況を、アクセスポイント３２０の識別情報とともに記憶する。そして、ポインティングデバイス３０５は、複数のアクセスポイント３２０のそれぞれからの電波の受信状況と、アクセスポイントの識別情報とを、自装置の識別情報とともに、いずれかのアクセスポイント３２０を介して情報処理装置３０１に送信してよい。
【００２４】
情報処理装置３０１は、例えば、以上のようにして、アクセスポイント３２０とポインティングデバイス３０５の間で送受信される電波の受信状況を収集し、電波受信状況情報６００を生成することができる。
【００２５】
図６は、実施形態に係る電波受信状況情報６００を例示する図である。図６の例では電波受信状況情報６００には、日時、デバイス情報、無線通信装置情報、及び電波の受信状況として受信電波強度の情報を含むエントリが登録されている。日時は、エントリと対応する電波の受信状況が検出された日時を示す情報である。デバイス情報は、例えば、エントリと対応する電波の受信状況が検出されたアクセスポイント３２０とポインティングデバイス３０５との組のうちのポインティングデバイス３０５を識別する識別情報である。無線通信装置情報は、例えば、エントリと対応する電波の受信状況が検出されたアクセスポイント３２０とポインティングデバイス３０５との組のうちのアクセスポイント３２０を識別するための識別情報である。電波強度は、電波の受信状況の一例であり、例えば、エントリの日時に、デバイス情報で識別されるポインティングデバイス３０５と、無線通信装置情報で識別されるアクセスポイント３２０の間で送受信された電波の受信強度である。
【００２６】
なお、情報処理装置３０１の制御部４０１は、電波の受信状況の情報を収集すると、その受信状況が検出されたアクセスポイント３２０とポインティングデバイス３０５のそれぞれの識別情報を、電波受信状況情報６００のエントリに登録してよい。また更に、制御部４０１は、そのアクセスポイント３２０とポインティングデバイス３０５との間で送受信される電波の受信状況の情報を受信した受信時刻を、受信した受信状況とともに、電波受信状況情報６００のエントリに登録してよい。或いは、アクセスポイント３２０やポインティングデバイス３０５が、アクセスポイント３２０とポインティングデバイス３０５との間で送受信される電波の受信状況の情報を取得した際に、取得時刻を電波強度に対応付けて情報処理装置３０１に通知してもよい。この場合、情報処理装置３０１の制御部４０１は、通知された時刻を、電波受信状況情報６００の日時に登録してエントリを作成してよい。
【００２７】
続いて、電波受信状況情報６００に登録されている或る時刻における複数のアクセスポイント３２０のそれぞれと、ポインティングデバイス３０５との間で送受信される電波の受信状況を用いたポインティングデバイス３０５の位置の推定について述べる。例えば、制御部４０１は、電波強度の範囲と、アクセスポイント３２０からの距離の範囲とを対応付ける強度距離範囲情報７００と、アクセスポイント３２０の設置位置を示す設置位置情報８００とを用いてポインティングデバイス３０５がいる領域を推定する。
【００２８】
図７は、実施形態に係る強度距離範囲情報７００を例示する図である。強度距離範囲情報７００には、例えば、電波強度の範囲に、その電波強度の範囲から見積もられる電波の発信元からの距離の範囲を対応づけるエントリが登録されていてよい。電波強度の範囲は、一例では、他のエントリの電波強度の範囲と重ならないように電波強度の範囲が設定されていてよい。強度距離範囲情報７００には、電波強度が大きい電波強度範囲ほど、アクセスポイント３２０から近い距離の距離範囲が登録されていてよい。
【００２９】
また、図８は、実施形態に係る設置位置情報８００を例示する図である。設置位置情報８００は、例えば、無線通信装置情報と、アクセスポイント（ＡＰ）位置の情報とを対応付けたエントリを含む。無線通信装置情報は、例えば、アクセスポイント３２０を識別するための識別情報である。アクセスポイント位置は、例えば、エントリの無線通信装置情報で識別されるアクセスポイントの設置位置を示す情報である。一実施形態においては、アクセスポイント位置は、オブジェクト１１１を表示する表示面１５０を含む平面座標系における座標で表されていてよい。なお、平面座標系の原点は、例えば、表示面１５０上の点など、任意の点に設定されてよい。
【００３０】
制御部４０１は、例えば、或る時刻におけるポインティングデバイス３０５の位置を推定する場合、推定対象とするポインティングデバイス３０５と、周囲の複数のアクセスポイント３２０との間のその時刻における電波強度を電波受信状況情報６００から取得する。そして、制御部４０１は、取得したポインティングデバイス３０５と複数のアクセスポイント３２０のそれぞれとの間の電波強度と対応する距離の範囲を強度距離範囲情報７００から取得する。また、制御部４０１は、複数のアクセスポイント３２０のそれぞれの設置位置を設置位置情報８００から取得する。
【００３１】
図９は、電波強度と対応する距離の範囲を、アクセスポイント３２０の設置位置からプロットした図である。図９の例では、ＡＰ１からＡＰ３の３つのアクセスポイント３２０が示されている。そして、それぞれのアクセスポイント３２０の周りに、アクセスポイント３２０とポインティングデバイス３０５との間で送受信される電波の受信電波強度に対応する距離範囲が示されている。制御部４０１は、それぞれのアクセスポイント３２０の距離範囲が重なった領域９０１に、ポインティングデバイス３０５がいると推定することができる。なお、一実施形態においては、制御部４０１は、領域９０１を代表する一点を、ポインティングデバイス３０５の位置と推定してよい。例えば、制御部４０１は、ポインティングデバイス３０５の位置として用いる領域９０１を代表する一点として、領域９０１の重心や、領域９０１に外接する長方形の中心座標などの点を用いてよい。
【００３２】
そして、制御部４０１は、例えば、以上のようにして電波強度から推定したポインティングデバイス３０５の推定位置と、同じ時刻に撮像装置３０３で撮像された撮像画像から検出されたポインティングデバイス３０５の光で指示される指示位置とを対応付ける。例えば、制御部４０１は、電波強度から推定したポインティングデバイス３０５の推定位置から所定の距離以内に、撮像画像から検出されたポインティングデバイス３０５の指示位置があれば、２つの位置を対応付けてよい。なお、電波強度から推定されたポインティングデバイス３０５の位置は、ポインティングデバイス３０５を識別するための識別情報と対応づいている。従って、制御部４０１は、電波強度から推定したポインティングデバイス３０５の推定位置に、撮像画像から検出された指示位置を対応づけることで、指示位置に、ポインティングデバイス３０５の識別情報を対応付けることができる。従って、制御部４０１は、撮像装置３０３が撮像した撮像画像から検出された操作がどのポインティングデバイス３０５により入力されたのかを特定することができる。
【００３３】
なお、電波強度に基づくポインティングデバイス３０５の位置の推定は、図９で述べた手法に限定されるものではなく、別の実施形態では、その他の手法が用いられてもよい。例えば、制御部４０１は、ポインティングデバイス３０５の位置の座標毎に、どのような電波強度の組み合わせとなるかを予め学習したデータを用いてフィンガープリンティングと呼ばれる手法で、ポインティングデバイス３０５の位置を推定してもよい。
【００３４】
続いて、図１０を参照して、実施形態に係る入力処理の動作フローを説明する。図１０は、実施形態に係る入力処理の動作フローを例示する図である。情報処理装置３０１の制御部４０１は、例えば、撮像装置３０３で撮像された撮像画像から、ポインティングデバイス３０５の入力が開始したことを検出すると、図１０の動作フローを開始してよい。
【００３５】
ステップ１００１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ１００１と表記する）において制御部４０１は、撮像装置３０３から撮像画像を取得する。
【００３６】
Ｓ１００２において制御部４０１は、ポインティングデバイス３０５の指示する指示座標を特定する。なお、ポインティングデバイス３０５の指示する指示座標は、ポインティングデバイス３０５と近い距離にあるため、ポインティングデバイス３０５の位置として用いることができる。
【００３７】
Ｓ１００３において制御部４０１は、例えば、複数のアクセスポイント３２０のそれぞれのアクセスポイント３２０と、ポインティングデバイス３０５との間で送受信される電波の受信状況を取得する。制御部４０１は、例えば、記憶部４０２に記憶されている電波受信状況情報６００からデバイス情報及び無線通信装置情報と対応付けて受信状況を取得してよい。なお、電波受信状況情報６００に登録されている情報は、複数のアクセスポイント３２０の各アクセスポイント３２０から個別に収集されてよい。或いは、電波受信状況情報６００に登録されている情報は、ポインティングデバイス３０５で一度収集され、そのデータがアクセスポイント３２０を介して受信されても、又はBluetooth（登録商標）などの近距離無線通信で直接受信されてもよい。
【００３８】
Ｓ１００４において制御部４０１は、電波受信状況情報６００に含まれる受信状況に基づいて、ポインティングデバイス３０５の位置を推定する。例えば、電波の受信状況が電波強度で表される場合、制御部４０１は、図９を参照して例示したように、強度距離範囲情報７００及び設置位置情報８００を用いて電波強度からポインティングデバイス３０５の位置を推定してよい。或いは別の実施形態では、制御部４０１は、フィンガープリンティングと呼ばれる手法などの別な手法を用いて電波強度からポインティングデバイス３０５の位置を推定してもよい。アクセスポイント３２０とポインティングデバイス３０５との間の距離は、アクセスポイント３２０とポインティングデバイス３０５との間で送受信される電波の受信電波強度と相関がある値である。そのため、制御部４０１は、受信電波強度からポインティングデバイス３０５の位置を推定することができる。位置の推定に用いられるアクセスポイント３２０の数は、任意の数であってよいが、アクセスポイント３２０の数が多い方が情報量が増えるため、推定される位置の精度が向上し得る。ポインティングデバイス３０５の位置の推定に用いられるアクセスポイント３２０の数は、一例では、３つ以上であることが好ましい。
【００３９】
Ｓ１００５において制御部４０１は、Ｓ１００２で特定したポインティングデバイス３０５の指示座標と、Ｓ１００４で電波の受信状況から推定したポインティングデバイス３０５の推定位置との一致度が基準を満たすか否かを判定する。例えば、制御部４０１は、ポインティングデバイス３０５の指示座標と、Ｓ１００４で電波の受信状況から推定したポインティングデバイス３０５の推定位置とが所定の閾値以下の距離にあれば、一致度が基準を満たすと判定してよい。Ｓ１００５において一致度が基準を満たさない場合（Ｓ１００５がＮｏ）、本動作フローは終了する。一方、Ｓ１００５において一致度が基準を満たす場合（Ｓ１００５がＹｅｓ）、フローはＳ１００６に進む。
【００４０】
Ｓ１００６において制御部４０１は、一致度が基準を満たす推定位置と対応付けられているデバイス情報を電波受信状況情報６００から取得し、Ｓ１００２で特定した指示座標と対応付ける。
【００４１】
そして、Ｓ１００７において制御部４０１は、入力された操作に関する情報を含むエントリを、操作履歴情報１１００にエントリを出力し、本動作フローは終了する。なお、制御部４０１は、例えば、入力された操作をオブジェクト１１１に実行してよい。
【００４２】
図１１は、実施形態に係る操作履歴情報１１００を例示する図である。操作履歴情報１１００には、例えば、オブジェクト情報、デバイス情報、ユーザ情報、操作日時、操作位置、操作種類、及び操作内容の情報を含むエントリが登録されていてよい。オブジェクト情報は、例えば、表示装置３０２が表示面１５０に表示したオブジェクト１１１を識別するための識別子である。デバイス情報は、例えば、エントリと対応する操作を入力したポインティングデバイス３０５を識別するための識別情報である。ユーザ情報は、例えば、エントリと対応する操作を入力したユーザを識別するための情報である。例えば、図１２に示すように、ポインティングデバイス３０５を識別するためのデバイス情報と、そのポインティングデバイス３０５を使用するユーザを識別するためのユーザ情報とを対応付ける利用者情報１２００が予め記憶部４０２に記憶されていてよい。そして、制御部４０１は、デバイス情報から、利用者情報１２００で対応づけられたユーザ情報を特定し、利用者情報１２００のユーザ情報に登録してよい。また、操作履歴情報１１００の操作日時は、例えば、エントリと対応する操作が入力された日時を示す情報である。一例では、操作日時は、操作の入力が開始した開始時刻であってよい。操作位置は、例えば、エントリと対応する操作の入力位置を示す情報であり、撮像画像から特定されたポインティングデバイス３０５の指示位置が登録されてよい。なお、操作がオブジェクトの移動操作である場合など、操作が指示位置の軌跡で入力される場合は、操作位置に、所定の時間間隔で取得された指示位置の軌跡を示す複数の位置が登録されていてよい。操作種類は、例えば、エントリと対応する操作で入力された操作の種類を示す情報である。操作内容は、例えば、エントリと対応する操作で入力された操作の内容を示す情報である。なお、操作履歴情報１１００では、デバイス情報と、操作位置などの操作に関する情報とが対応付けられている。そのため、ユーザは、操作履歴情報１１００を参照することで操作が、どのポインティングデバイス３０５で入力されたのかを特定することができる。
【００４３】
更には、利用者情報１２００を用いてポインティングデバイス３０５と、そのポインティングデバイス３０５を利用するユーザとが対応づけられて、操作履歴情報１１００に登録されているため、操作を入力したユーザも特定することができる。そのため、例えば、ユーザと、操作やオブジェクトとの結び付けが可能になる。また、ユーザごとに操作の履歴を残すことが可能であり、例えば、アイデアの発案者が誰なのかを特定できるため、発案者の権利を守ることができる。更には、どのオブジェクトが誰のものか管理することができるため、例えば、自分のデータを他人に削除、編集、持ち帰りさせないなどの設定を付与することもできる。
【００４４】
（変形例）
例えば、複数のポインティングデバイス３０５が互いに近い距離にある場合、Ｓ１００４で電波の受信状況から推定した位置から閾値以内の距離に、撮像画像から複数のポインティングデバイス３０５から入力された指示座標が特定されることがある。この場合、電波強度から推定されたポインティングデバイス３０５の位置から閾値以内の距離に複数のポインティングデバイス３０５が存在するため、撮像画像から特定した指示座標にポインティングデバイス３０５を対応づけられないことがある。以下では、複数のポインティングデバイス３０５が互いに近い距離にある場合にも、撮影画像から特定した指示座標に、ポインティングデバイス３０５を対応付けるための変形例を説明する。
【００４５】
図１３は、変形例に係るポインティングデバイス３０５の特定の例を説明する図である。図１３（ａ）において、黒丸は、時刻ｔ１において電波の受信状況から推定されたポインティングデバイス３０５の推定位置１３０１を示している。そして、図１３（ａ）に示すように、時刻ｔ１では、推定位置１３０１から所定の閾値以内の距離に、撮像画像から特定された２つの指示座標ｐ１（ｔ１）とｐ２（ｔ１）があるとする。この場合、閾値以内に複数の指示座標が含まれているため、指示座標が示す操作にポインティングデバイス３０５を対応づけられない。この様な場合に、変形例では制御部４０１は、撮像画像から特定されたポインティングデバイス３０５の指示座標の軌跡の情報と、電波の受信状況から推定されたポインティングデバイス３０５の推定位置の軌跡の情報とを用いる。
【００４６】
図１４は、実施形態に係るポインティングデバイス３０５の受信状況履歴情報１４００を例示する図である。受信状況履歴情報１４００は、例えば、ポインティングデバイス３０５と、アクセスポイント３２０との間で送受信させる電波の電波状況の履歴を含む。例えば、受信状況履歴情報１４００には、日時、デバイス情報、無線通信装置情報、及び電波強度の情報を含むエントリが登録されている。日時は、エントリと対応する電波の受信状況が検出された日時を示す情報である。デバイス情報は、例えば、エントリと対応する電波の受信状況が検出されたアクセスポイント３２０とポインティングデバイス３０５との組のうちのポインティングデバイス３０５を識別する識別情報である。無線通信装置情報は、例えば、エントリと対応する電波の受信状況が検出されたアクセスポイント３２０とポインティングデバイス３０５との組のうちのアクセスポイント３２０を識別するための識別情報である。電波強度は、電波の受信状況の一例であり、例えば、エントリの日時に、デバイス情報で識別されるポインティングデバイス３０５と、無線通信装置情報で識別されるアクセスポイント３２０の間で送受信された電波の受信強度である。制御部４０１は、例えば、所定の時間間隔で、ポインティングデバイス３０５と、複数のアクセスポイント３２０のそれぞれとの間で送受信される電波の受信状況の情報を収集し、受信状況履歴情報１４００にエントリを登録してよい。なお、制御部４０１は、電波の受信状況を、複数のアクセスポイント３２０の各アクセスポイント３２０から個別に収集してよい。或いは、制御部４０１は、ポインティングデバイス３０５で一度収集した電波の受信状況をアクセスポイント３２０を介して受信しても、又はBluetooth（登録商標）などの近距離無線通信で直接受信してもよい。
【００４７】
図１５は、実施形態に係る指示位置履歴情報１５００を例示する図である。指示位置履歴情報１５００には、撮像装置３０３で撮像した撮像画像から検出されたポインティングデバイス３０５が発する光の指示座標の履歴が登録されている。指示位置履歴情報１５００には、例えば、日時、操作識別情報、及び座標の情報を含むエントリが登録されている。例えば、制御部４０１は、撮像装置３０３が所定の時間間隔で撮像した撮像画像から、ポインティングデバイス３０５が投光した光点を検出した場合、その撮像日時と、光点の座標とを操作識別情報と対応付けたエントリを指示位置履歴情報１５００に登録してよい。なお、制御部４０１は、例えば、撮像装置３０３が所定の時間間隔で撮像した撮像画像から連続して座標間の距離が所定の距離以下の位置に光点が検出された場合、それらの光点を１つの操作として同じ操作識別情報を割り当ててよい。一方、撮像装置３０３が所定の時間間隔で撮像した撮像画像に連続して写っていなかったり、撮像画像に連続して写っていたとしても座標間の距離が所定の距離よりも遠かったりする光点には、制御部４０１は異なる操作識別情報を割り当ててよい。
【００４８】
そして、制御部４０１は、例えば、受信状況履歴情報１４００及び指示位置履歴情報１５００の情報を用いて、図１３（ａ）で述べた、閾値以内に複数の指示座標が含まれている場合の指示座標とポインティングデバイス３０５との対応付けを実行する。図１３（ｂ）には、図１３（ａ）の時刻ｔ１における推定位置１３０１と、撮像画像から特定された２つの指示座標ｐ１（ｔ１）とｐ２（ｔ１）が示されている。また更に、図１３（ｂ）には、時刻ｔ２における推定位置１３０２と、時刻ｔ２において撮像画像から特定された２つの指示座標ｐ１（ｔ２）とｐ２（ｔ２）が示されている。なお、制御部４０１は、時刻ｔ２における推定位置１３０２を、受信状況履歴情報１４００の電波強度から取得することができる。また、制御部４０１は、時刻ｔ２において撮像画像から特定された２つの指示座標ｐ１（ｔ２）とｐ２（ｔ２）を、指示位置履歴情報１５００から取得することができる。ここで、指示位置履歴情報１５００において、指示座標ｐ１（ｔ１）と指示座標ｐ１（ｔ２）には、同じ操作識別情報が割り当てられているものとする。また、指示位置履歴情報１５００において、指示座標ｐ２（ｔ１）と指示座標ｐ２（ｔ２）には、同じ操作識別情報が割り当てられているものとする。
【００４９】
そして、図１３（ｂ）に示すように、時刻ｔ２では、推定位置１３０２から閾値の範囲には、指示座標ｐ２（ｔ２）しか含まれておらず、指示座標ｐ１（ｔ２）は閾値の範囲から外れている。そのため、制御部４０１は、推定位置１３０２と指示座標ｐ２（ｔ２）を対応づけることができる。そして、ｐ２（ｔ１）は、指示座標ｐ２（ｔ２）と同じ操作識別情報で識別される操作の指示座標であるため、制御部４０１は、ｐ２（ｔ１）にも推定位置１３０１を対応付けることができる。
【００５０】
以上で述べたように、例えば、或る時刻ｔ１において、電波の受信状況から推定した位置と、撮像画像から検出されたポインティングデバイス３０５の指示座標との対応付けができないことがある。この場合にも、変形例では、制御部４０１は、別の時刻ｔ２での電波の受信状況から推定した位置と、撮像画像から検出されたポインティングデバイス３０５の指示座標との対応付けの情報を用いて、或る時刻ｔ１の対応付けを実行することができる。なお、別の時刻ｔ２は、或る時刻ｔ１よりも前の時刻であっても、後の時刻であってもよい。
【００５１】
また、図１６は、実施形態に係る閾値の調整処理を例示する図である。例えば、入力システム３００で使用されるポインティングデバイス３０５の数が少ない場合、複数のポインティングデバイス３０５が互いに近い距離に存在することは少ない。この場合、図１６（ａ）に示すように、電波の受信状況から推定されたポインティングデバイス３０５の位置から所定の閾値以下の距離に含まれるポインティングデバイス３０５の指示座標は１つになる可能性が高い。
【００５２】
一方、例えば、入力システム３００で使用されるポインティングデバイス３０５の数が多い場合、複数のポインティングデバイス３０５が互いに近い距離に存在する状況が生じる。この場合、図１６（ｂ）に示すように、電波強度で推定される位置から、所定の距離以内に含まれるポインティングデバイス３０５の指示座標が複数存在してしまうことがある。その結果、電波強度から推定したポインティングデバイス３０５の位置と、撮像画像から特定したポインティングデバイス３０５の入力の指示座標との対応付けができないことがある。
【００５３】
そこで、例えば、入力システム３００で使用されるポインティングデバイス３０５の数が所定値よりも多く、複数のポインティングデバイス３０５が近い距離に存在する可能性があることが推定されたとする。この場合、制御部４０１は、図１６（ｃ）に示す様に、閾値を小さく調整してよい。図１６（ｃ）の例では、図１６（ｂ）の閾値よりも小さい閾値が設定されているため、電波強度から推定された推定位置から、所定の距離以内に含まれるポインティングデバイス３０５の指示座標が１つになっている。そのため、電波強度から推定したポインティングデバイス３０５の位置と、撮像画像から特定したポインティングデバイス３０５の入力の指示座標との対応付けが可能である。
【００５４】
図１７は、変形例に係る入力処理の動作フローを例示する図である。情報処理装置３０１の制御部４０１は、例えば、撮像装置３０３で撮像された撮像画像から、ポインティングデバイス３０５の入力が開始したことを検出すると、図１７の動作フローを開始してよい。
【００５５】
なお、図１７の動作フローは図１０の動作フローと対応していてよい。例えば、Ｓ１７０１からＳ１７０４、Ｓ１７０６、Ｓ１７０８、及びＳ１７１０のそれぞれの処理において、制御部４０１は、Ｓ１００１からＳ１００７のそれぞれの処理と同様の処理を実行してよい。
【００５６】
また、図１７の処理では、Ｓ１７０５において制御部４０１は、ポインティングデバイス３０５の数が所定値以下か否かを判定する。所定値は、例えば、表示面１５０のサイズに対するユーザの人数から推定されるユーザの密集度合いに応じて、その数より多ければユーザが近い距離でポインティングデバイス３０５を利用する可能性が高いと推定される値に設定されてよい。Ｓ１７０５においてポインティングデバイスの数が所定値以下であれば（Ｓ１７０５がＹｅｓ）、フローはＳ１７０６に進む。この場合、制御部４０１は、Ｓ１７０６において予め設定されている第１の閾値を用いて、一致度が基準を満たすか否かの判定を実行してよい。
【００５７】
一方、Ｓ１７０５においてポインティングデバイスの数が所定値よりも多ければ（Ｓ１７０５がＮｏ）、フローはＳ１７０７に進む。Ｓ１７０７において制御部４０１は、予め設定されている第１の閾値を、第１の閾値よりも短い距離である第２の閾値に変更する。この場合、制御部４０１は、Ｓ１７０６において変更した第２の閾値を用いて、一致度が基準を満たすかを判定してよい。
【００５８】
Ｓ１７０６において一致度が基準を満たさない場合（Ｓ１７０６が満たさない）、本動作フローは終了する。また、Ｓ１７０６において一致度が基準を満たす１つのポインティングデバイス３０５の位置が特定できた場合（Ｓ１７０６が１つ）、フローはＳ１７０８に進む。しかしながら、Ｓ１７０６において一致度が基準を満たす複数のポインティングデバイス３０５の位置が特定された場合（Ｓ１７０６が複数）、フローはＳ１７０９に進む。そして、Ｓ１７０９において制御部４０１は、受信状況履歴情報１４００、及び指示位置履歴情報１５００に基づいて、電波の受信状況から推定した位置と、入力された指示座標との対応付けが可能か否かを判定する。例えば、制御部４０１は、図１３を参照して例示したように、受信状況履歴情報１４００、及び指示位置履歴情報１５００を用いて、別の時刻において電波の受信状況から推定した推定位置と、撮像画像から特定した指示座標との対応付けを試みる。そして、制御部４０１は、別の時刻において電波の受信状況から推定した推定位置と、撮像画像から特定した指示座標との対応付けが可能であれば（Ｓ１７０９がＹｅｓ）、その時刻の対応付けを用いて、Ｓ１７０８で対応付けを行う。一方、別の時刻において電波の受信状況から推定した推定位置と、撮像画像から特定した指示座標との対応付けができなければ（Ｓ１７０９がＮｏ）、本動作フローは終了する。
【００５９】
従って、変形例では、上述の実施形態が奏する効果に加えて、複数のポインティングデバイス３０５が密集して存在する場合にも、受信状況から推定された位置と、入力の指示座標とを対応付けることが可能である。
【００６０】
例えば、表示面のサイズに対して、入力システム３００で利用されるポインティングデバイス３０５の数が多く、複数のポインティングデバイス３０５が密集して存在する状況が推定されたとする。この場合に、変形例では、受信状況から推定された推定位置と、撮像画像から特定した入力の指示座標との対応付けに用いる距離の閾値をより小さな値に変更している。それにより、受信状況から推定された位置から閾値の距離以内に、撮像画像から特定された入力の指示座標が複数存在し、対応付けられない状況を減らすことができる。
【００６１】
また、例えば、変形例では、制御部４０１は、受信状況から推定された位置から閾値の距離以内に、複数の入力の指示座標が存在する場合に、別の時刻において受信状況から推定された位置と、撮像画像から特定した入力の指示座標とを対応付ける。そして、制御部４０１は、その別の時刻の対応付けを用いて、複数の入力の指示座標のうちから対応付ける指示座標を特定する。そのため、受信状況から推定された位置から閾値の距離以内に、複数の入力の指示座標が存在する場合にも、受信状況から推定された位置と、入力の指示座標とを対応付けることができる。
【００６２】
以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、又は、一部の処理が省略されてもよい。例えば、図１０のＳ１００２とＳ１００３の処理、Ｓ１７０２とＳＳ１７０３の処理は順序を入れ替えて実行してもよい。
【００６３】
また、上述の実施形態では、図１６で例示した処理（図１７のＳ１７０５〜Ｓ１７０７と対応）と、図１３〜図１５で例示した処理（図１７のＳ１７０９と対応）とを両方行う例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、いずれか一方の処理を実行し、もう一方の処理は削除して実行しなくてもよい。
【００６４】
また、例えば、上述の実施形態において、アクセスポイント３２０の代わりに別の無線通信装置が用いられてもよい。例えば、別の実施形態では、無線通信装置として、ビーコンの発信機を用いることもできる。この場合、ポインティングデバイス３０５は、発信機の発したビーコンの電波強度を検出し、別に設置されたアクセスポイントを介して情報処理装置３０１に検出した電波強度の情報を通知してよい。
【００６５】
また、上述の入力システム３００の構成は例示であり、実施形態はこれに限定されるものではない。例えば、別の実施形態では、情報処理装置３０１と表示装置３０２及び撮像装置３０３との間の接続を仲介するコンピュータが更に含まれていてもよい。この場合に、情報処理装置３０１は、例えば、サーバとして動作し、コンピュータを介して表示装置３０２及び撮像装置３０３を制御してよい。
【００６６】
なお、上述の実施形態では、電波の受信状況の例として受信電波強度を用いる例を述べているが、実施形態はこれに限定されるものではない。例えば、アクセスポイント３２０からポインティングデバイス３０５までの距離を推定可能であれば、その他の値が用いられてもよい。
【００６７】
なお、撮像画像に基づくポインティングデバイス３０５の指示位置と、入力を行ったポインティングデバイス３０５を対応付ける別の手法として以下の手法も考えられる。
【００６８】
例えば、ポインティングデバイス３０５の外装の模様や色彩を特徴付けて、撮像画像からその特徴を検出することによりポインティングデバイス３０５を識別することが考えられる。しかし、例えば、ポインティングデバイス３０５に付した特徴と、投影画像やユーザの洋服の模様や色彩が似ていたり、ユーザの手などで遮られ特徴が撮像画像に映らなかったりする場合など、ポインティングデバイス３０５の識別が困難となることがある。
【００６９】
また、別の手法として、ポインティングデバイス３０５から出射された光の点滅パターン等によりペンを識別することも考えられる。しかしながら、識別対象となるポインティングデバイス３０５の数が増えると、点滅パターンの点滅間隔を狭めたりすることになる。この場合、カメラのスペックが低いなどの状況によって、点滅パターンを正確に認識できないことがある。
【００７０】
そのため、その他のポインティングデバイス３０５の識別手法が提供されることは望ましい。特に、撮像画像以外から取得された情報を用いてポインティングデバイス３０５を識別可能な手法の提供は好ましい。そのため、上述の電波の受信状況を用いる実施形態に係るポインティングデバイス３０５の識別の手法は有用である。
【００７１】
上述の実施形態において、例えば、Ｓ１００１及びＳ１７０１の処理では、情報処理装置３０１の制御部４０１は、画像取得部４１１として動作する。また、Ｓ１００２及びＳ１７０２の処理では、情報処理装置３０１の制御部４０１は、例えば、特定部４１２として動作する。Ｓ１００３及びＳ１７０３の処理では、情報処理装置３０１の制御部４０１は、例えば、情報取得部４１３として動作する。Ｓ１００４及びＳ１７０４の処理では、情報処理装置３０１の制御部４０１は、例えば、推定部４１４として動作する。Ｓ１００７及びＳ１７１０の処理では、情報処理装置３０１の制御部４０１は、例えば、処理部４１５として動作する。
【００７２】
図１８は、実施形態に係る情報処理装置３０１を実現するためのコンピュータ１８００のハードウェア構成を例示する図である。図１８の情報処理装置３０１を実現するためのハードウェア構成は、例えば、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、入出力インタフェース１８０７、及び時計１８２０を備える。なお、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、入出力インタフェース１８０７は、例えば、バス１８０８を介して互いに接続されている。
【００７３】
プロセッサは、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１８０１は、メモリ１８０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部４０１の一部または全部の機能を提供する。例えば、情報処理装置３０１のプロセッサ１８０１は、記憶装置１８０３に格納されているプログラムを読み出して実行することで、画像取得部４１１、特定部４１２、情報取得部４１３、推定部４１４、及び処理部４１５などとして動作してよい。
【００７４】
メモリ１８０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。記憶装置１８０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。
【００７５】
読取装置１８０４は、プロセッサ１８０１の指示に従って着脱可能記憶媒体１８０５にアクセスする。着脱可能記憶媒体１８０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。
【００７６】
記憶部４０２は、例えばメモリ１８０２、記憶装置１８０３、及び着脱可能記憶媒体１８０５を含んでいる。情報処理装置３０１の記憶装置１８０３には、例えば、電波受信状況情報６００、強度距離範囲情報７００、設置位置情報８００、操作履歴情報１１００、利用者情報１２００、受信状況履歴情報１４００、及び指示位置履歴情報１５００などが格納されてよい。
【００７７】
通信インタフェース１８０６は、例えば、表示装置３０２及び撮像装置３０３と接続されていてよく、プロセッサ１８０１の指示に従って表示装置３０２及び撮像装置３０３とデータを送受信する。また、通信インタフェース１８０６は、例えば、プロセッサ１８０１の指示に従って、ルータ３１０を介してアクセスポイント３２０とデータを送受信してよい。通信インタフェース１８０６は、上述の通信部４０３の一例である。入出力インタフェース１８０７は、例えば、入力装置及び出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えば、ディスプレイなどの表示装置、及びスピーカなどの音声装置である。時計１８２０は、プロセッサ１８０１の指示に従って、プロセッサ１８０１に時刻の情報を提供する。
【００７８】
なお、図１８を参照して述べた情報処理装置３０１を実現するためのハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の機能部の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。
【００７９】
また、図１９は、実施形態に係るポインティングデバイス３０５のハードウェア構成を例示する図である。図１９のポインティングデバイス３０５を実現するためのハードウェア構成は、例えば、プロセッサ１９０１、メモリ１９０２、記憶装置１９０３、無線通信機１９０４、スイッチ１９０６、及び赤外線投光素子１９０７を備える。なお、メモリ１９０２、記憶装置１９０３、及び無線通信機１９０４は、例えば、プロセッサ１９０１と接続されていてよい。
【００８０】
プロセッサは、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１９０１は、メモリ１９０２を利用してプログラムを実行することにより、上述したポインティングデバイス３０５が有する機能を提供してよい。
【００８１】
メモリ１９０２は、例えばＲＡＭである。記憶装置１９０３は、例えばフラッシュメモリ等の不揮発性の半導体メモリである。
【００８２】
無線通信機１９０４は、例えば、アクセスポイント３２０と通信するＷｉ−Ｆｉ通信装置、及びビーコンを受信するBluetooth（登録商標）機器などであってよい。スイッチ１９０６は、例えば、赤外線投光素子のオン（ＯＮ）とオフ（ＯＦＦ）を切り換える。赤外線投光素子は、例えば、スイッチ１９０６がオンになると、赤外線を投光する。
【００８３】
実施形態に係る各プログラムは、例えば、下記の形態で記憶装置１８０３及び記憶装置１９０３に提供されてよい。
（１）記憶装置１８０３及び記憶装置１９０３に予めインストールされている。
（２）着脱可能記憶媒体１８０５により提供される。
（３）プログラムサーバなどのサーバから提供される。 
【００８４】
以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
【００８５】
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得し、
取得した前記撮影画像に基づいて、前記ポインティングデバイスの位置を特定し、
無線通信装置と、前記ポインティングデバイスが有する無線通信機との間で送受信される電波の前記無線通信装置又は前記無線通信機による受信状況を示す電波受信情報と、前記無線通信装置を識別する無線通信装置情報と、前記ポインティングデバイスを識別するデバイス情報とを取得し、
取得した前記電波受信情報及び前記無線通信装置情報に基づき、前記ポインティングデバイスの位置を推定し、
特定した前記位置と、推定した前記位置との一致度が基準を満たす場合、取得した前記デバイス情報を、特定した前記位置に対応付けて記憶する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
（付記２）
前記コンピュータは、前記電波受信情報、前記無線通信装置情報、及び前記デバイス情報を、前記ポインティングデバイスが有する前記無線通信機から受信することを特徴とする、付記１に記載の制御プログラム。
（付記３）
前記ポインティングデバイスの位置を推定する処理は、前記電波受信情報に含まれる受信電波強度から見積もられる前記無線通信装置と前記ポインティングデバイスとの間の距離の範囲と、前記無線通信装置の設置位置を示す情報に基づき、前記ポインティングデバイスの位置を推定することを特徴とする、付記１又は２に記載の制御プログラム。
（付記４）
第１の時刻において、前記撮影画像に基づいて複数のポインティングデバイスの位置が特定され、且つ、前記複数のポインティングデバイスの位置に、推定した前記位置との一致度が基準を満たす複数の位置がある場合、前記第１の時刻と異なる第２の時刻における前記電波受信情報に基づき推定した前記第２の時刻の推定位置と、前記第２の時刻における前記撮影画像に基づいて特定した前記複数のポインティングデバイスの前記第２の時刻の特定位置とに基づいて、前記第１の時刻における前記基準を満たす複数の位置のうちの１つを、前記デバイス情報に対応付けて記憶する、ことを特徴とする付記１から付記３のいずれかに記載の制御プログラム。
（付記５）
前記一致度の基準は、前記電波受信情報及び前記無線通信装置情報に基づき推定した前記位置から、前記撮影画像に基づいて特定した前記位置が所定の閾値以内の距離にあることであり、
更に、前記無線通信装置の数が所定値以下である場合、前記所定の閾値として第１の閾値を用い、前記無線通信装置の数が前記所定値よりも多い場合、前記所定の閾値として前記第１の閾値よりも距離の短い第２の閾値を用いる、ことを特徴とする、付記１から３のいずれかに記載の制御プログラム。
（付記６）
コンピュータにより実行される制御方法であって、前記コンピュータが、
撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得し、
取得した前記撮影画像に基づいて、前記ポインティングデバイスの位置を特定し、
無線通信装置と、前記ポインティングデバイスが有する無線通信機との間で送受信される電波の前記無線通信装置又は前記無線通信機による受信状況を示す電波受信情報と、前記無線通信装置を識別する無線通信装置情報と、前記ポインティングデバイスを識別するデバイス情報とを取得し、
取得した前記電波受信情報及び前記無線通信装置情報に基づき、前記ポインティングデバイスの位置を推定し、
特定した前記位置と、推定した前記位置との一致度が基準を満たす場合、取得した前記デバイス情報を、特定した前記位置に対応付けて記憶する、
ことを含む、制御方法。
（付記７）
撮影装置により撮影されたポインティングデバイスを含む撮影画像を取得する画像取得部と、
取得した前記撮影画像に基づいて、前記ポインティングデバイスの位置を特定する特定部と、
無線通信装置と、前記ポインティングデバイスが有する無線通信機との間で送受信される電波の前記無線通信装置又は前記無線通信機による受信状況を示す電波受信情報と、前記無線通信装置を識別する無線通信装置情報と、前記ポインティングデバイスを識別するデバイス情報とを取得する情報取得部と、
取得した前記電波受信情報及び前記無線通信装置情報に基づき、前記ポインティングデバイスの位置を推定する推定部と、
特定した前記位置と、推定した前記位置との一致度が基準を満たす場合、取得した前記デバイス情報を、特定した前記位置に対応付けて記憶部に記憶する処理部と、
を含む、情報処理装置。
【符号の説明】
【００８６】
１００    入力システム
１０１    情報処理装置
１０２    表示装置
１０３    撮像装置
１０５    ポインティングデバイス
１１０    操作
１１１    オブジェクト
１２０    矢印
１５０    表示面
２０１    赤外線ペン
２０２    赤外線カメラ
３００    入力システム
３０１    情報処理装置
３０２    表示装置
３０３    撮像装置
３０５    ポインティングデバイス
３１０    ルータ
３２０    アクセスポイント
４０１    制御部
４０２    記憶部
４０３    通信部
４１１    画像取得部
４１２    特定部
４１３    情報取得部
４１４    推定部
４１５    処理部
１８００  コンピュータ
１８０１  プロセッサ
１８０２  メモリ
１８０３  記憶装置
１８０４  読取装置
１８０５  着脱可能記憶媒体
１８０６  通信インタフェース
１８０７  入出力インタフェース
１８０８  バス
１８２０  時計
１９０１  プロセッサ
１９０２  メモリ
１９０３  記憶装置
１９０４  無線通信機
１９０６  スイッチ
１９０７  赤外線投光素子
【図１】
2019159865.tif 000003
【図２】
2019159865.tif 000004
【図３】
2019159865.tif 000005
【図４】
2019159865.tif 000006
【図５】
2019159865.tif 000007
【図６】
2019159865.tif 000008
【図７】
2019159865.tif 000009
【図８】
2019159865.tif 000010
【図９】
2019159865.tif 000011
【図１０】
2019159865.tif 000012
【図１１】
2019159865.tif 000013
【図１２】
2019159865.tif 000014
【図１３】
2019159865.tif 000015
【図１４】
2019159865.tif 000016
【図１５】
2019159865.tif 000017
【図１６】
2019159865.tif 000018
【図１７】
2019159865.tif 000019
【図１８】
2019159865.tif 000020
【図１９】
2019159865.tif 000021