(57)【要約】      （修正有）【課題】書き始めの線が欠けないようにすることができる装置や方法を提供する。【解決手段】情報処理装置の制御部５１は、物体検知部６０と、位置検出部６１と、物体識別部６２と、判断部６３とを含む。物体検知部６０は、表示画面上を撮像した画像から物体を検知する。位置検出部６１は、取得された１以上の画像に基づき、検知された物体の位置を検出する。検出された位置の位置情報を蓄積部に蓄積する。物体識別部６２は、物体を検知してから所定時間が経過するまでに、表示画面に物体が接触した旨の通知を該物体から受信したか否かに基づき、物体を識別する。判断部６３は、識別された物体に応じて、物体を検知してから物体を識別するまでに蓄積した位置情報を消去するか否かを判断する。【選択図】図７
2017117312.tif 000002
【特許請求の範囲】
【請求項１】
表示画面上の物体の位置を検出する情報処理装置であって、
前記表示画面上の画像を撮像する１以上の撮像装置から１以上の画像を取得する取得手段と、
前記取得手段により取得された１以上の画像から物体を検知する物体検知手段と、
前記取得手段により取得された１以上の画像に基づき、前記物体検知手段により検知された前記物体の位置を検出する位置検出手段と、
前記位置検出手段により検出された前記位置の位置情報を蓄積する蓄積手段と、
前記物体検知手段により前記物体を検知してから所定時間が経過するまでに、前記表示画面に前記物体が接触した旨の通知を該物体から受信したか否かに基づき、該物体を識別する物体識別手段と、
前記物体識別手段により識別された前記物体に応じて、前記物体検知手段が該物体を検知してから該物体識別手段が該物体を識別するまでに前記蓄積手段が蓄積した前記位置情報を消去するか否かを判断する判断手段とを含む、情報処理装置。
【請求項２】
前記表示画面上に光を照射する１以上の照射装置を制御する照射制御手段を含み、
前記物体検知手段は、前記照射制御手段が前記１以上の照射装置に光を照射するように制御し、前記取得手段が前記１以上の撮像装置から取得した１以上の画像において、閾値以下の輝度値を有する領域があることを検知することにより物体を検知し、
前記物体識別手段は、前記所定時間が経過するまでに前記通知を受信した場合、前記物体を、前記表示画面に接触して発光し、該通知を送信することが可能な電子筆記具と識別し、前記照射制御手段に対し、前記１以上の照射装置が光を照射するのを停止するように指示する、請求項１に記載の情報処理装置。
【請求項３】
前記物体識別手段は、前記電子筆記具から前記通知を受信しなくなっても、一定時間が経過するまで待機し、該一定時間が経過しても該通知を受信しない場合に、前記物体を該電子筆記具以外と識別し、前記照射制御手段に対し、前記１以上の照射装置が光を照射するように指示する、請求項２に記載の情報処理装置。
【請求項４】
前記物体識別手段は、前記所定時間が経過するまでに前記通知を受信した場合、前記物体を、前記表示画面に接触して発光し、該通知を無線送信することが可能な電子筆記具と識別し、前記所定時間が経過するまでに該通知を受信しない場合、前記物体を該電子筆記具以外と識別し、
前記判断手段は、前記物体識別手段が前記物体を前記電子筆記具と識別した場合、前記蓄積手段が蓄積した前記位置情報を消去する、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記位置情報を用いて前記表示画面に表示させるために描画を行う描画手段を含み、
前記描画手段は、前記物体識別手段が前記物体を前記電子筆記具と識別した場合、識別後に前記位置検出手段が検出した位置の位置情報を用いて描画を行い、前記物体識別手段が前記物体を前記電子筆記具以外と識別した場合、識別後に前記位置検出手段が検出した位置の位置情報と前記蓄積手段が蓄積した前記位置情報とを用いて描画を行う、請求項４に記載の情報処理装置。
【請求項６】
前記物体検知手段が物体を検知し、前記所定時間内に該物体を検知しなくなった場合、前記物体識別手段は、該物体の識別を中止し、前記蓄積手段は、蓄積した前記位置情報を消去する、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記物体検知手段は、複数の物体を検知し、前記蓄積手段は、複数の蓄積領域を有し、前記位置検出手段が検出した該各物体の位置の位置情報を、該各物体に対応付けた該各蓄積領域に蓄積する、請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の情報処理装置と、表示画面を有する表示装置と、前記表示画面上の画像を撮像する１以上の撮像装置とを含む、情報入力システム。
【請求項９】
前記表示画面上に光を照射する１以上の照射装置と、前記表示画面に接触して発光し、該通知を無線送信することが可能な１以上の電子筆記具とを含む、請求項８に記載の情報入力システム。
【請求項１０】
表示画面上の物体の位置を検出する情報処理装置により実行される情報処理方法であって、
前記表示画面上の画像を撮像する１以上の撮像装置から１以上の画像を取得するステップと、
取得された１以上の画像から物体を検知するステップと、
取得された１以上の画像に基づき、検知された前記物体の位置を検出するステップと、
検出された前記位置の位置情報を蓄積するステップと、
前記物体を検知してから所定時間が経過するまでに、前記表示画面に前記物体が接触した旨の通知を該物体から受信したか否かに基づき、該物体を識別するステップと、
識別された前記物体に応じて、該物体を検知してから該物体を識別するまでに蓄積した前記位置情報を消去するか否かを判断するステップとを含む、情報処理方法。
【請求項１１】
前記表示画面上に光を照射する１以上の照射装置を制御するステップを含み、
前記検知するステップでは、前記制御するステップで前記１以上の照射装置に光を照射するように制御し、前記取得するステップで前記１以上の撮像装置から取得した１以上の画像において、閾値以下の輝度値を有する領域があることを検知することにより物体を検知し、
前記識別するステップでは、前記所定時間が経過するまでに前記通知を受信した場合、前記物体を、前記表示画面に接触して発光し、該通知を無線送信することが可能な電子筆記具と識別し、
前記制御するステップでは、前記１以上の照射装置が光を照射するのを停止するように制御する、請求項１０に記載の情報処理方法。
【請求項１２】
前記識別するステップでは、前記電子筆記具から前記通知を受信しなくなっても、一定時間が経過するまで待機し、該一定時間が経過しても該通知を受信しない場合に、前記物体を該電子筆記具以外と識別し、
前記制御するステップでは、前記１以上の照射装置が光を照射するように制御する、請求項１１に記載の情報処理方法。
【請求項１３】
前記識別するステップでは、前記所定時間が経過するまでに前記通知を受信した場合、前記物体を、前記表示画面に接触して発光し、該通知を送信することが可能な電子筆記具と識別し、前記所定時間が経過するまでに該通知を受信しない場合、前記物体を該電子筆記具以外と識別し、
前記判断するステップでは、前記識別するステップで前記物体を前記電子筆記具と識別した場合、蓄積した前記位置情報を消去すると判断する、請求項１０〜１２のいずれか１項に記載の情報処理方法。
【請求項１４】
前記位置情報を用いて前記表示画面に表示させるために描画を行うステップを含み、
前記描画を行うステップでは、前記識別するステップで前記物体を前記電子筆記具と識別した場合、識別後に前記検出するステップで検出した位置の位置情報を用いて描画を行い、前記識別するステップで前記物体を前記電子筆記具以外と識別した場合、識別後に前記検出するステップで検出した位置の位置情報と蓄積した前記位置情報とを用いて描画を行う、請求項１３に記載の情報処理方法。
【請求項１５】
前記所定時間内に前記物体を検知しなくなった場合、該物体の識別を中止し、蓄積した前記位置情報を消去するステップを含む、請求項１０〜１４のいずれか１項に記載の情報処理方法。
【請求項１６】
前記検知するステップでは、複数の物体を検知し、前記蓄積するステップでは、前記検出するステップで検出した該各物体の位置の位置情報を、該各物体に対応付けた各蓄積領域に蓄積する、請求項１０〜１５のいずれか１項に記載の情報処理方法。
【請求項１７】
請求項１０〜１６のいずれか１項に記載の情報処理方法に含まれる各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面上の物体の位置を検出する情報処理装置、該情報処理装置を含む情報入力システム、その情報処理方法およびその処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
ディスプレイの周辺にカメラを設置し、ディスプレイの表面上に赤外線ビーム等の照明光を照射し、ディスプレイの周囲に再帰反射材を取り付け、反射光をカメラで撮影し、三角測量により表面上の物体の位置を検出する技術が知られている。また、画面に手をついて筆記することができるようにするため、先端が発光するペンを使用し、手のひらを入力とは認識せず無視するパームリジェクションという技術も知られている。
【０００３】
この発光ペンと指の両方を検知し、かつパームリジェクションを実現するために、照明光を照射して指を検知、追跡するモードと、その照射を停止し、発光ペンの光を検知、追跡するモードを適切に切り替える技術が提案されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の技術では、何らかの物体を検知すると、照明光の照射を停止し、所定時間が経過するまで発光ペンの接触を待つことから、その間、その物体が指であった場合、指の位置を検知することができない。これでは、指で入力する際の書き始めが遅延し、書き始めの線が欠けるという問題があった。
【０００５】
そこで、書き始めの線が欠けないようにすることができる装置や方法の提供が望まれていた。
【課題を解決するための手段】
【０００６】
本発明は、上記課題に鑑みなされたものであり、表示画面上の物体の位置を検出する情報処理装置であって、表示画面上の画像を撮像する１以上の撮像装置から１以上の画像を取得する取得手段と、取得手段により取得された１以上の画像から物体を検知する物体検知手段と、取得手段により取得された１以上の画像に基づき、物体検知手段により検知された物体の位置を検出する位置検出手段と、位置検出手段により検出された位置の位置情報を蓄積する蓄積手段と、物体検知手段により物体を検知してから所定時間が経過するまでに、表示画面に物体が接触した旨の通知を該物体から受信したか否かに基づき、物体を識別する物体識別手段と、物体識別手段により識別された物体に応じて、物体検知手段が物体を検知してから物体識別手段が物体を識別するまでに蓄積手段が蓄積した位置情報を消去するか否かを判断する判断手段とを含む、情報処理装置が提供される。
【発明の効果】
【０００７】
本発明によれば、書き始めの線が欠けないようにすることができる。
【図面の簡単な説明】
【０００８】
【図１】情報入力システムの構成例を示した図。
【図２】情報入力システムが備えるモードについて説明する図。
【図３】情報入力システムで使用される物体の１つであるペンを例示した図。
【図４】ペンのハードウェア構成を例示した図。
【図５】情報入力システムが備える情報処理装置のハードウェア構成を示した図。
【図６】情報処理装置の機能ブロック図。
【図７】情報処理装置が備える制御部の構成を例示した図。
【図８】情報処理装置が実行する処理の流れを示したフローチャート。
【図９】照明の状態遷移図。
【図１０】物体を検知しない状態から指を検知し、指による入力が終了するまでの処理の流れを示したフローチャート。
【図１１】物体を検知しない状態からペンを検知し、ペンにより入力する処理の１つの流れを示したフローチャート。
【図１２】物体を検知しない状態からペンを検知し、ペンにより入力する処理の別の流れを示したフローチャート。
【図１３】ペンによる入力を終了する処理の流れを示したフローチャート。
【発明を実施するための形態】
【０００９】
図１は、情報入力システムの構成例を示した図である。情報入力システムは、電子筆記具としての電子ペンや指等を使用し、画像等を表示している表示画面に情報を入力することができるシステムである。情報入力システムは、表示画面を有する表示装置としてのディスプレイ１０と、１以上の撮像装置１１ａ〜１１ｄと、１以上の照射装置１２ａ〜１２ｄと、情報処理装置１３と、PC(Personal Computer)１４とを含んで構成される。この例では、撮像装置１１ａ〜１１ｄと照射装置１２ａ〜１２ｄが４つずつ設けられている。以下、撮像装置１１ａ〜１１ｄ、照射装置１２ａ〜１２ｄは、任意の１以上の撮像装置、照射装置を示す場合、単に撮像装置１１、照射装置１２として説明する。
【００１０】
４つの撮像装置１１ａ〜１１ｄは、矩形のディスプレイ１０の４つの角部に設置され、その表示画面上の画面付近の画像を撮像する。撮像装置１１は、CCD(Charged Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備え、入射された光を電気信号に変換する。撮像装置１１は、そのほか、A/Dコンバータ、画像処理部を備え、デジタルデータに変換し、画像処理を行い、画像データとして出力する。画像処理としては、フィルタを使用したノイズ除去処理等を挙げることができる。なお、画像処理は、シェーディング補正やガンマ補正等の補正処理を含んでいてもよい。
【００１１】
照射装置１２ａ〜１２ｄは、光を照射する装置で、矩形のディスプレイ１０の４つの辺に沿った側部に配置または着脱可能に装着されている。照射装置１２ａ〜１２ｄが照射する光は、蛍光灯やLED(Light Emitting Diode)等の照明光であってもよいし、赤外線レーザ等のレーザ光であってもよい。
【００１２】
ディスプレイ１０、撮像装置１１ａ〜１１ｄ、照射装置１２ａ〜１２ｄは、情報処理装置１３と接続され、情報処理装置１３は、PC１４と接続されている。これらの接続は、ケーブル等で接続されていてもよいし、赤外線やBluetooth（登録商標）や無線LAN等の無線により接続されていてもよい。
【００１３】
PC１４は、ユーザがディスプレイ１０に表示させたい画像の画像データを保持し、ユーザからのその画像の表示指示を情報処理装置１３に対して出力する。情報処理装置１３は、その指示と画像データとを受けて、ディスプレイ１０に画像を表示させる。画像は、文字のみからなるものであってもよいし、絵や図形からなるものであってもよいし、静止画であってもよいし、動画であってもよいし、これらを組み合わせたものであってもよい。
【００１４】
情報処理装置１３は、ディスプレイ１０の表示画面上の物体の位置を検出する処理を実施するためのアプリケーションが実装される。このため、情報処理装置１３は、撮像装置１１ａ〜１１ｄにより取得された画像に基づき、ユーザが表示画面上で操作した電子ペンであるペン１５や指等の物体の位置を検出する。アプリケーションは、検出した位置に基づき、ユーザの動作であるジェスチャーを解析し、ディスプレイ１０への操作用のメニューの選択、文字や図形等の情報の入力を実現することができる。
【００１５】
ユーザが線を描画するメニューに触れた後、ペン１５でディスプレイ１０の表示画面に図形を描画した場合、情報処理装置１３は、ペン１５が触れている位置をリアルタイムに検出、解析して、時系列の座標を作成する。この座標は、ディスプレイ１０の表示画面を二次元平面とし、所定の位置を座標(0,0)としたときの二次元位置座標(x,y)である。
【００１６】
情報処理装置１３は、作成した時系列の座標を繋ぎ合わせて線を形成し、ディスプレイ１０にその線を表示させる。図１では、ユーザがペン１５を三角形の形状に沿って移動させたため、情報処理装置１３がその一連の座標を１つの工程（ストローク）として記録し、それを、太陽や山を含む画像と合成してディスプレイ１０に表示している。
【００１７】
この情報入力システムでは、ディスプレイ１０がタッチパネル機能を有していなくても、このように物体の位置を検出することで、ユーザはペン１５でディスプレイ１０に触れるだけで様々な操作が可能になる。なお、この操作は、ペン１５に限られるものではなく、手や指等を用いて行うことも可能である。
【００１８】
図２を参照して、情報入力システムが備えるモードについて説明する。情報入力システムは、ペン１５としての先端が発光する発光ペンを検知、追跡して表示画面に筆跡を描画するペン検知モードと、指を検知し、追跡する指検知モードの２つの動作モードを有する。ペン１５の詳細については後述するが、ペン１５は、先端にディスプレイ１０への接触を検知する接触検知部を有する。指検知モードにしてユーザが発光ペンをディスプレイ１０に接触させたとき、発光ペンの接触検知部が接触を検知し、先端を発光させるとともに、無線信号を送信する。無線信号は、接触を検知した旨を通知する信号である。情報処理装置１３は、この無線信号を受信したことをトリガーとして、指検知モードからペン検知モードに遷移する。
【００１９】
指検知モードにおいて、ペン１５または指等の物体が表示画面に接近し、照射装置１２ａ〜１２ｄから照射される光が遮断されると、情報処理装置１３は、物体を検知し、その物体の位置の位置情報、すなわち座標を蓄積する。情報処理装置１３は、ペン１５からの無線信号の受信を、所定時間（待機時間）だけ待機する。情報処理装置１３は、待機時間内に無線信号を受信した場合、蓄積した座標を消去（破棄）し、ペン検知モードに移行する。これにより、ペンの座標を検出し、ディスプレイ１０に表示されたメニューの選択や情報を入力して表示させることができる。
【００２０】
待機時間内に無線信号を受信しない場合、情報処理装置１３は、蓄積した座標を出力し、指検知モードのまま物体の検知を継続する。この情報入力システムでは、指が表示画面に接触してもそれを検知する手段はなく、待機時間が経過後から入力された情報をディスプレイ１０に表示させると、書き始めの線が欠けることになる。そこで、このシステムでは、物体を検知したときから待機時間が経過するまでの間も、座標を蓄積しておき、無線信号を受信しない場合にその座標を使用して書き始めの線を表示させることができるようにしている。ちなみに、ペンの場合は、接触を検知できるため、蓄積している接触するまでの座標は不要であるため、上記のように破棄するようにしている。
【００２１】
待機時間内で無線信号を受信する前に、物体が検知されなくなった場合、ペンや指が表示画面に接近してきたが、接触することなく離れていったことを意味する。このため、このシステムでは、情報の入力ではないと判断し、蓄積された座標を破棄し、指検知モードを継続する。
【００２２】
ここで、ディスプレイ１０に表示されたメニューを選択し、文字や図形等の情報を入力するために使用するペン１５を、図３を参照して説明する。ペン１５は、赤外光を発する先端部２０と、先端部２０が表示画面に物理的に接触（タッチ）または離間（デタッチ）したことを検知する接触検知部２１とを備える。また、ペン１５は、タッチまたはデタッチの情報を情報処理装置１３に無線信号により通知する無線通知部２２を備える。
【００２３】
接触検知部２１は、例えば、表示画面にタッチすることで先端部２０に加わる圧力を検知することで、表示画面へのタッチを検知する。これは一例であるので、他の方法を採用してもよい。先端部２０は、接触検知部２１がタッチを検知したことを受けて赤外光を発する。無線通知部２２は、接触検知部２１がタッチを検知したことを受けてタッチ情報を情報処理装置１３に通知し、接触検知部２１が、タッチがなくなったことを検知したことを受けてデタッチ情報を情報処理装置１３に通知する。
【００２４】
図４を参照して、ペン１５のハードウェア構成について簡単に説明する。ペン１５は、赤外光を発するLED素子２５と、表示画面へのタッチを検知するセンサ２６と、無線信号を送信する通信I/F２７と、LED素子２５、センサ２６、通信I/F２７を制御するコントローラ２８とを含んで構成される。また、ペン１５は、これらのユニットへ電源を供給するための電池２９も備えている。コントローラ２８等は、電池２９から供給される電源により起動し、表示画面へのタッチ検知、赤外光の発光、無線信号の送信等の処理を実行する。
【００２５】
なお、ペン１５は、図４には図示しないが、メモリを備え、そのメモリに固有のID(Identification)データ等の属性情報を格納することができ、無線通知部２２が無線信号にIDデータを含めて送信してもよい。このようにIDデータを送信することで、複数のペン１５で入力する場合に、各ペン１５を識別することができる。
【００２６】
ペン１５の先端部２０は、表示画面にタッチしている間、常時点灯する状態となるが、ユーザの使用状態を推定することを可能にする加速度センサ等をペン１５に搭載し、その出力によりユーザが動かしているかを判断し、動かしていないときは消灯するようにしてもよい。このように適宜消灯するようにすることで、電池２９の寿命を延ばすことができる。
【００２７】
情報処理装置１３の機能構成について説明する前に、情報処理装置１３のハードウェア構成について簡単に説明しておく。図５に示すように、情報処理装置１３は、CPU(Central Processing Unit)３０、ROM(Read Only Memory)３１、RAM(Random Access Memory)３２、SSD(Solid State Drive)３３を備える。また、情報処理装置１３は、ネットワークコントローラ３４、外部記憶コントローラ３５、センサコントローラ３６、GPU(Graphics Processor Unit)３７、キャプチャデバイス３８を備える。情報処理装置１３は、ディスプレイコントローラ３９、ペンコントローラ４０も備える。これらのユニットは、バス４１により互いに接続されている。
【００２８】
CPU３０は、情報処理装置１３全体を制御し、上記のアプリケーションといったプログラムを実行し、物体を検知し、その位置の検出する処理を実行する。ROM３１は、情報処理装置１３を起動させるためのブートプログラムやファームウェア等を格納する。RAM３２は、CPU３０に対して作業領域を提供する。SSD３３は、OS、上記のアプリケーション、画像データ等を格納する。この例では、SSDを使用しているが、これに限られるものではなく、HDD(Hard Disk Drive)等を使用してもよい。
【００２９】
ネットワークコントローラ３４は、図示しないネットワークを介してサーバ等と通信を行う際、TCP/IP等の通信プロトコルに基づく処理を行う。ネットワークは、LAN(Local Area Network)や複数のLANが接続されたWAN(Wide Area Network)、例えばインターネット等である。
【００３０】
外部記憶コントローラ３５は、着脱可能な外部メモリ４２に対する書き込み、または外部メモリ４２からの読み出しを行う。外部メモリ４２としては、例えばUSB(Universal Serial Bus)メモリ、SD(Secure Digital)メモリカード等を挙げることができる。キャプチャデバイス３８は、PC１４が表示している画像を取り込むデバイスである。GPU３７は、ディスプレイ１０の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ３９は、GPU３７が描画した画像をディスプレイ１０に出力する。
【００３１】
センサコントローラ３６は、４つの撮像装置１１ａ〜１１ｄが接続され、各撮像装置１１ａ〜１１ｄから出力される画像データを用い、三角測量により表示画面上の物体の位置を座標として検出する。三角測量は、予め決められた位置に設置された２つの撮像装置１１を両端とし、それを繋ぐ線を基線とし、基線に対する各撮像装置１１から物体への角度をそれぞれ測定して、それらの角度から物体の位置を決定する測量方法である。
【００３２】
ペンコントローラ４０は、ペン１５と無線通信を行い、ペン１５から上記の無線信号を受信する。これにより、情報処理装置１３は、ペン１５が表示画面にタッチしたか否かを検出することができる。また、IDデータを含む場合は、どのペンがタッチしているかを検出することができる。
【００３３】
上記のアプリケーションは、外部メモリ４２に記憶された状態で流通されてもよいし、ネットワークコントローラ３４を介して図示しないサーバからダウンロードされてもよい。また、アプリケーションは、圧縮された状態でも実行形式でダウンロードされてもよい。
【００３４】
図５に示す例では、ネットワークコントローラ３４、外部記憶コントローラ３５、GPU３７、キャプチャデバイス３８、ディスプレイコントローラ３９も備える構成を示した。これらのユニットは、必須のものではなく、必要に応じて設けることができる。
【００３５】
図６を参照して、情報処理装置１３の機能構成について説明する。情報処理装置１３は、機能部として、取得部５０、制御部５１、受信部５２、蓄積部５３、描画部５４を備える。これらの機能部は、CPU３０がSSD３３に記憶されたプログラムであるアプリケーションを読み出して実行することにより、アプリケーションがRAM３２上にロードされ、生成される。図６には、これらの機能部のほか、ディスプレイ１０、撮像装置１１、照射装置１２も示されている。
【００３６】
撮像装置１１は、ディスプレイ１０の表示画面付近の画像を撮像し、画像データとして出力する。取得部５０は、撮像装置１１から出力される画像データを取得する。撮像装置１１は、一定時間毎に画像を撮像し、画像データを出力するため、取得部５０は、一定時間毎にその出力された画像データを取得する。撮像装置が４つの撮像装置１１ａ〜１１ｄから構成される場合、取得部５０は、一定時間毎に４つの画像データを取得する。
【００３７】
取得部５０は、画像データを取得するたびに、制御部５１にその画像データを渡す。制御部５１は、画像データを受け取ると、画像から物体が存在する場合は物体を検知し、検知した物体の位置を検出する。蓄積部５３は、検出された位置の位置情報を蓄積する。制御部５１は、物体を検知してから待機時間が経過するまでに、表示画面に物体がタッチした旨の通知を、受信部５２がその物体から受信したかどうかにより物体を識別する。制御部５１は、識別した物体に応じて、モードを切り替え、照射装置１２による光を照射（点灯）またはその照射の停止（消灯）を制御する。すなわち、制御部５１は、照明の点灯と消灯を切り替える。
【００３８】
制御部５１は、識別した物体に応じて、物体を検知してから物体を識別するまでに蓄積部５３に蓄積した位置情報を消去するか否かを判断する。制御部５１は、位置情報に基づく線等の画像の描画を描画部５４に対して指示する。描画部５４は、制御部５１からの指示を受けて、上記のように座標を繋いで線を形成することにより描画を行い、表示画面に表示している画像と合成し、ディスプレイ１０に表示させる。なお、描画部５４は、表示している画像がない場合、描画した画像のみを表示させる。
【００３９】
受信部５２は、物体がペン１５である場合、待機時間内にタッチ情報またはデタッチ情報を無線信号として受信する。受信部５２は、物体がペン１５以外の指等である場合、待機時間内にタッチ情報も、デタッチ情報も受信しない。ペン１５以外の指等は、そのような情報を送信しないからである。
【００４０】
制御部５１は、複数の物体を検知することができ、各物体の位置情報を検出することができる。蓄積部５３は、１つの蓄積領域を保持するものであってもよいが、複数の蓄積領域を保持するものであってもよい。蓄積部５３は、複数の蓄積領域を保持する場合、各物体の位置情報を、各物体に対応付けた各蓄積領域に蓄積することができる。
【００４１】
複数の物体が複数のペン１５で、各ペン１５が無線信号でIDデータを送信する場合は、IDを蓄積領域に対応付けることができる。IDデータがなくても、発光するペンの色でペンを識別し、色を蓄積領域に対応付けることができる。例えば、赤に発光するペンを蓄積領域１、青に発光するペンを蓄積領域２に対応付け、各ペンの位置情報を各蓄積領域に蓄積することができる。
【００４２】
図７を参照して、制御部５１についてさらに詳細に説明する。制御部５１は、物体検知部６０、位置検出部６１、物体識別部６２、判断部６３を含んで構成される。ペン１５や指等の物体を検知するために、モードは、指検知モードにされ、表示画面上には、照明が点灯される。
【００４３】
取得部５０は、制御部５１の物体検知部６０に画像データを渡す。画像データは、表示画面付近の画像を撮像した画像データである。その中に物体が存在する場合、その物体により光が遮られるため、その画像には、物体の影が存在する。影は、予め設定された閾値以下の輝度値を有する領域である。したがって、物体検知部６０は、影の有無により物体を検知する。物体検知部６０は、影が２つあれば、２つの物体が存在することを検知する。この段階では、まだ物体が表示画面にはタッチしていない状態であり、その物体が何であるか分からない状態である。
【００４４】
物体検知部６０が物体を検知した場合、位置検出部６１が、画像データの画像に基づき、その位置を検出する。物体の位置は、撮像装置１１ａ〜１１ｄの設置位置、設置間隔が予め決められているため、上記の三角測量により計算して求めることができる。なお、撮像装置が１つで、ディスプレイ１０の正面から撮像する場合は、計算することなく、単純に基準位置(0,0)に対するその位置を座標として求めることができる。撮像された画像は、複数の画素から構成されているため、影を構成する画素を特定し、その画素の座標を求めることができる。影が複数の画素を含む場合、例えば、複数の画素の中心に位置する画素を特定し、その画素の座標を求めることができる。
【００４５】
物体識別部６２は、物体検知部６０が物体を検知してから待機時間が経過するまでに、物体が表示画面にタッチした旨の通知を該物体から受信したか否かに基づき、物体を識別する。すなわち、受信部５２が、待機時間が経過するまでに物体から無線信号を受信した場合、その物体をペン１５と識別する。ここでは、無線信号を送信する物体が、ペン１５のみであるからである。他に無線信号を送信する物体がある場合は、無線信号の内容に応じて、物体を識別することができる。例えば、上記のようにIDデータが含まれる場合、IDデータから物体を識別することができる。一方、受信部５２が、待機時間が経過するまでに物体から無線信号を受信しない場合、その物体をペン１５以外と識別する。この例では、物体識別部６２は、ペン１５以外の物体を指として識別する。
【００４６】
物体検知部６０が、待機時間内に物体を検知しなくなった場合、物体識別部６２は、物体の識別を中止（キャンセル）し、蓄積部５３は、蓄積した位置情報を消去する。その位置情報は、描画には使用しないからである。
【００４７】
判断部６３は、物体識別部６２により識別された物体に応じて、物体を検知してから物体識別部６２が物体を識別するまでに蓄積部５３が蓄積した位置情報を消去するか否かを判断する。判断部６３は、物体識別部６２が物体をペン１５と識別した場合、ペン１５と識別するまでに蓄積部５３が蓄積した位置情報を消去すると判断する。ペン１５での書き始めは、ペン１５が表示画面にタッチしたときからであるため、タッチしてペン１５と識別されたときからの位置情報があればよく、蓄積部５３が蓄積したそれ以前の位置情報は不要だからである。なお、上記の物体の識別をキャンセルしたときも、位置情報を消去すると判断し、蓄積部５３に対してその消去を指示する。
【００４８】
判断部６３は、物体識別部６２が物体をペン１５以外、すなわち指と識別した場合、待機時間が経過し、ペン１５以外と識別するまでに蓄積部５３が蓄積した位置情報を消去せず、その蓄積を維持すると判断する。指は、表示画面にタッチしても無線信号を送信しないため、待機時間の経過を待って判断することになる。その間、指の移動により情報が入力されるため、書き始めの部分が欠けることになる。それを補うために、蓄積部５３が蓄積した位置情報を使用する。
【００４９】
制御部５１は、そのほか、照射制御部６４、送信部６５を含む。物体検知部６０は、取得部５０から渡された画像データから点灯または消灯の情報を取得し、位置検出部６１は、点灯時には指の位置を検出し、消灯時にはペン１５の発光した先端部２０の位置を検出する。このときのモードは、点灯時が指検知モードで、消灯時がペン検知モードである。点灯しているか、消灯しているかは、画像データの画像を構成する各画素の輝度値の情報から判断することができる。例えば、一定以上の画素が一定の輝度値以上である場合、点灯と判断し、それ未満である場合、消灯と判断することができる。
【００５０】
物体識別部６２が物体をペン１５と識別し、現在のモードが指検知モードであった場合、判断部６３は、指検知モードからペン検知モードに切り替えるように照射制御部６４に対して指示する。照射制御部６４は、その指示を受けて、照明を消灯するように照射装置１２を制御する。物体識別部６２が物体をペン１５以外の指と識別し、現在のモードがペン検知モードであった場合、判断部６３が、ペン検知モードから指検知モードに切り替えるように照射制御部６４に対して指示する。照射制御部６４は、その指示を受けて、照明を点灯するように照射装置１２を制御する。
【００５１】
送信部６５は、位置検出部６１により検出された位置の位置情報を、HID(Human Interface Device)規格のような座標情報を格納する標準的な形式に整形する。すなわち、PC等が解釈できる形式に整形する。例えば、座標情報がペン１５の位置を表す場合、ペン用の形式、具体的にはスタイラスイベントもしくはデジタイザーイベントもしくはスタイラスレポートまたはデジタイザーレポートに整形する。また、座標情報が指等のペン１５以外の遮蔽物を表す場合、タッチ用の形式、具体的にはタッチイベントまたはタッチレポートに整形する。
【００５２】
送信部６５は、整形した位置情報を蓄積部５３に送信し、または描画部５４に送信して描画を実行させる。また、送信部６５は、判断部６３が維持すると判断した蓄積部５３が蓄積した位置情報も、描画部５４に送信して描画を実行させる。なお、図７では、蓄積部５３が３つ記載されているが、別個のものではなく、同じ１つのものである。
【００５３】
図８を参照して、情報処理装置１３が実行する処理について説明する。ステップ８００からこの処理を開始し、ステップ８０５では、取得部５０が、撮像装置１１から画像データ、すなわち画像を取得する。ステップ８１０では、物体検知部６０が、取得された画像から物体が存在するか否かを確認し、存在しない場合、ステップ８０５へ戻り、存在する場合、ステップ８１５へ進む。したがって、物体が存在することを確認するまで、ステップ８０５およびステップ８１０の処理が繰り返される。
【００５４】
ステップ８１５では、物体識別部６２が、受信部５２が無線信号を受信したか否かにより、その物体がペン１５か否かを判断する。この判断結果でペン１５を識別した場合、ステップ８２０へ進み、判断部６３が、蓄積部５３が蓄積した位置情報を消去するか判断する。消去する場合、ステップ８２５で蓄積部５３が位置情報を消去して、ステップ８３０へ進み、ない場合は、そのままステップ８３０へ進む。
【００５５】
ステップ８３０では、判断部６３が、次の画像を取得するかを判断する。判断部６３は、後述する消灯待機の場合、次の画像を取得すると判断し、ステップ８０５へ戻り、そうでない場合、ステップ８３５へ進む。判断部６３は、上記の消去するか否かの判断のほか、この画像を取得するかの判断等も行う。そして、位置検出部６１に対して取得された画像に基づき、物体の位置を検出するように指示する。
【００５６】
ステップ８３５では、位置検出部６１が、取得された画像に基づき、物体の位置を検出する。ステップ８４０では、送信部６５が、検出された位置の位置情報を描画部５４に送信し、ステップ８４５で、描画部５４が描画を行う。その描画が終了したところで、ステップ８０５へ戻り、次の画像を取得し、同様の処理を実行する。描画部５４に送信する位置情報は、上記のように整形した位置情報であるが、以下、説明を容易にするために、単に位置情報として説明する。
【００５７】
ステップ８１５でペン１５を識別しない場合、ステップ８５０へ進み、物体識別部６２は、待機時間を経過したかを確認する。待機時間を経過していない場合、ステップ８５５へ進み、判断部６３が位置検出部６１に対して指示し、位置検出部６１が、取得された画像に基づき、物体の位置を検出する。ステップ８６０では、送信部６５が、検出した位置の位置情報を蓄積部５３に送信し、ステップ８６５で、蓄積部５３がその位置情報を蓄積し、ステップ８０５へ戻る。位置情報は、蓄積部５３が、該蓄積部５３が保持する蓄積領域に時系列に並べて蓄積する。
【００５８】
待機時間を経過した場合、ステップ８７０へ進み、物体識別部６２が指と識別する。そして、ステップ８３０へ進む。このとき、ステップ８７５では、蓄積部５３が蓄積した位置情報が存在する場合、送信部６５が、その位置情報も含めて描画部５４に送信する。送信した後は、不要であるため、蓄積部５３が蓄積する位置情報を消去する。
【００５９】
現在のモードが、指検知モードで、ステップ８１５においてペン１５と識別した場合はペン検知モードに切り替わる。一方、現在のモードが、ペン検知モードで、ステップ８７０において指と識別した場合は指検知モードに切り替わる。このとき、照明が、点灯から消灯へ、あるいは消灯から点灯へ切り替わるが、その間には過渡状態が存在し、その過渡状態を経て切り替わる。
【００６０】
図９を参照して、照明の状態遷移について説明する。照明の状態には、照明の点灯状態、消灯状態、過渡状態の３つの状態がある。情報入力システムの電源を投入し、動作を開始させた初期状態では、デフォルトのモードが指検知モードであるため、照明が点灯する（点灯状態）。図３に示すペン１５の無線通知部２２が無線信号を送信し、情報処理装置１３の受信部５２が無線信号を受信し、物体識別部６２がペン１５と識別すると、消灯待機という過渡状態を経て、消灯状態になる。
【００６１】
図９に示す消灯待機の時間は、上記の待機時間とは異なる。撮像装置１１や照射装置１２等を駆動する周波数（フレーム周波数）が、例えば120Hzである場合、画像の撮像は、サイクル（約8.3msec）毎に実施され、照明の切り替えは、あるサイクル内で実施されることになる。したがって、あるサイクルで、照明を切り替えたとしても、それが画像に反映されるのは、次のサイクルからとなる。その間は、物体の検知、位置の検出等を行っても無駄になるので、次のサイクルまで待機する。この待機が、消灯待機であり、その待機している時間が、上記の消灯待機の時間である。
【００６２】
消灯状態になった後、ペン１５を検知している間は、消灯状態を維持する。しかしながら、ペン１５を検知しない状態が一定時間以上続くと、上記の消灯待機と同様の点灯待機という過渡状態に遷移し、その後、照明が点灯し、点灯状態になる。
【００６３】
このシステムは、ペン１５で入力する際の入力精度を高めるために、ペン検知モードを設けている。このため、ペン１５と指の両方が表示画面上に存在する場合、ペン検知モードを優先するように設定されている。したがって、表示画面にペン１５が１本でもタッチし、検知されている以上、ペン検知モードが継続し、消灯状態が維持される。
【００６４】
表示画面上には、複数のペン１５がタッチし、複数の指が存在していてもよい。このため、このシステムは、マルチタッチにも対応することができる。複数のペン１５のすべてが表示画面からデタッチすると、ペン検知モードから指検知モードへ移行するため、点灯待機という過渡状態を経て、点灯状態になる。この点灯待機も、消灯待機と同様のものである。
【００６５】
図１０を参照して、物体を検知しない状態から物体を検知し、指と識別し、その指による入力が終了するまでの処理について詳細に説明する。ステップ１０００からこの処理を開始し、ステップ１００５では、取得部５０が、撮像装置１１から画像を取得する。ステップ１０１０では、物体検知部６０が、取得された画像から物体が存在するか否かを確認し、存在しない場合、ステップ１００５へ戻り、存在する場合、ステップ１０１５へ進む。
【００６６】
ステップ１０１５では、待機時間として、例えば100msecが経過したかを確認する。すなわち、物体検知部６０が物体を検知してから100msecが経過したかどうかを確認する。この例では、物体を検知し、指と識別する処理であるため、図８のステップ８１５の処理を省略している。また、ペン１５と識別した後の処理も省略している。
【００６７】
待機時間を経過していない場合、ステップ１０２０へ進み、判断部６３が位置検出部６１に対して指示し、位置検出部６１が、取得された画像に基づき、物体の位置を検出する。ステップ１０２５では、送信部６５が、検出した位置の位置情報を蓄積部５３に送信し、ステップ１０３０で、蓄積部５３がその位置情報を蓄積し、ステップ８０５へ戻る。位置情報は、蓄積部５３が、蓄積領域に時系列に並べて蓄積する。待機時間が経過するまで、ステップ１０１５〜ステップ１０３０の処理が繰り返される。
【００６８】
待機時間が経過した場合、ステップ１０３５へ進み、物体識別部６２が指と識別する。ステップ１０４０で、判断部６３が位置検出部６１に対して指示し、位置検出部６１が、取得された画像に基づき、指の位置を検出する。ステップ１０４５では、送信部６５は、待機時間を経過した直後かどうかを判断する。直後かどうかは、例えば、蓄積部５３が蓄積した位置情報が存在するか否かにより判断することができる。
【００６９】
直後である場合、ステップ１０５０へ進み、送信部６５は、検出された位置の位置情報と、蓄積部５３が蓄積した位置情報とを描画部５４に送信する。ステップ１０５５では、描画部５４が、描画を行う。一方、直後ではない場合、ステップ１０６０へ進み、送信部６５が、検出された位置の位置情報を描画部５４に送信し、ステップ１０６５で、描画部５４が描画を行う。ステップ１０５５またはステップ１０６５で、描画が終了したところで、ステップ１００５へ戻る。
【００７０】
指の検知を継続している間は、ステップ１０４０の指の位置の検出、ステップ１０６０の位置情報の送信、ステップ１０６５の描画が繰り返される。表示画面から指が離れ、ステップ１０１０で物体が存在しないことを検知した場合、再び物体を検知するまで、ステップ１００５およびステップ１０１０の処理が繰り返される。
【００７１】
次に、図１１を参照して、物体を検知しない状態から物体を検知し、ペン１５と識別し、ペン１５による入力を行う処理について詳細に説明する。この処理は、ペン１５の進入速度が速く、遮断を検知しない場合の処理である。約8.3msec毎のサイクルで繰り返される物体を検知し、識別する処理において遮断を検知しないことから、そのサイクル内で、物体の検知からペン１５の識別までが行われる。
【００７２】
ステップ１１００からこの処理を開始し、ステップ１１０５では、取得部５０が、撮像装置１１から画像を取得する。ステップ１１１０では、物体検知部６０が、取得された画像から物体が存在するか否かを確認し、存在しない場合、ステップ１１０５へ戻り、存在する場合、ステップ１１１５へ進む。
【００７３】
ステップ１１１５では、受信部５２が、ペン１５から無線信号を受信し、ステップ１１２０で、物体識別部６２が、物体がペン１５と識別する。この例は、物体を検知し、ペン１５と識別する処理であるため、図８に示す指を識別し、指の位置を検出し、描画する処理等を省略している。
【００７４】
ステップ１１２５では、判断部６３は、画像を参照して、照明が消灯しているかを判断し、消灯していない場合、ステップ１１３０へ進み、照射制御部６４に対して照明の消灯を要求する。ステップ１１３５で、照射制御部６４は、消灯待機の時間、待機する。ステップ１１４０で、照射制御部６４が照射装置１２に対して照明を消灯するように指示し、ステップ１１０５へ戻る。
【００７５】
ステップ１１２５で消灯している場合、ステップ１１４５へ進み、判断部６３が位置検出部６１に対して指示し、位置検出部６１が、取得された画像に基づき、ペン１５の位置を検出する。ステップ１１５０では、送信部６５が、検出された位置の位置情報を描画部５４に送信し、ステップ１１５５で、描画部５４が描画を行う。その描画が終了したところで、ステップ１１０５へ戻り、次の画像を取得し、同様の処理を実行する。ペン１５が継続して検知される間は、ステップ１１４５のペン１５の位置の検出、ステップ１１５０の位置情報の送信、ステップ１１５５の描画が繰り返される。
【００７６】
図１２を参照して、ペン１５の進入速度が遅く、遮断を検知する場合の処理について説明する。この処理は、上記のサイクルで繰り返される物体を検知し、識別する処理において遮断を検知することから、そのサイクルより長い時間をかけてペン１５の識別が行われる。
【００７７】
ステップ１２００からこの処理を開始し、ステップ１２０５では、取得部５０が、撮像装置１１から画像を取得する。ステップ１２１０では、物体検知部６０が、取得された画像から物体が存在するか否かを確認し、存在しない場合、ステップ１２０５へ戻り、存在する場合、ステップ１２１５へ進む。
【００７８】
ステップ１２１５では、受信部５２が、ペン１５から無線信号を受信したかを判断し、受信していない場合、ステップ１２２０へ進み、判断部６３が位置検出部６１に対して指示し、位置検出部６１が、取得された画像に基づき、物体の位置を検出する。この例では、ペン１５が待機時間内に検知されるため、図８に示すステップ８４０の待機時間が経過したかの確認を省略している。ステップ１２２５では、送信部６５が、検出した位置の位置情報を蓄積部５３に送信し、ステップ１２３０で蓄積部５３がその位置情報を蓄積し、ステップ１２０５へ戻る。位置情報は、蓄積部５３が蓄積領域に時系列に並べて蓄積する。
【００７９】
ステップ１２１５で、受信部５２が、ペン１５から無線信号を受信した場合、ステップ１２３５へ進み、物体識別部６２が、物体がペン１５と識別する。ステップ１２４０で、判断部６３が、蓄積部５３が蓄積した位置情報を消去すると判断し、ステップ１２４５で、蓄積部５３が位置情報を消去する。ステップ１２５０では、判断部６３が、画像を参照して、照明が消灯しているかを確認し、消灯していない場合、ステップ１２５５へ進み、照射制御部６４に対して照明の消灯を要求する。ステップ１２６０で、照射制御部６４は、消灯待機の時間、待機する。ステップ１２６５で、照射制御部６４が照射装置１２に対して照明を消灯するように指示し、ステップ１２０５へ戻る。
【００８０】
ステップ１２５０で消灯している場合、ステップ１２７０へ進み、判断部６３が位置検出部６１に対して指示し、位置検出部６１が、取得された画像に基づき、ペン１５の位置を検出する。ステップ１２７５では、送信部６５が、検出された位置の位置情報を描画部５４に送信し、ステップ１２８０で、描画部５４が描画を行い、ステップ１２０５へ戻る。ペン１５が継続して検知される間は、ステップ１２７０のペン１５の位置の検出、ステップ１２７５の位置情報の送信、ステップ１２８０の描画が繰り返される。
【００８１】
図１３を参照して、ペン１５による入力を終了する処理について説明する。ステップ１３０５では、取得部５０が、撮像装置１１から画像を取得する。ステップ１３１０では、物体検知部６０が、取得された画像から物体が存在するか否かを確認し、存在する場合、ステップ１３１５へ進む。ステップ１３１５では、受信部５２が、ペン１５から無線信号を受信したかを判断し、受信した場合、ステップ１３２０へ進み、物体識別部６２が、物体がペン１５と識別する。
【００８２】
ステップ１３２５では、判断部６３が位置検出部６１に対して指示し、位置検出部６１が、取得された画像に基づき、ペン１５の位置を検出する。ステップ１３３０では、送信部６５が、検出した位置の位置情報を描画部５４へ送信し、ステップ１３３５で、描画部５４が描画を行い、ステップ１３０５へ戻る。ペン１５を検知している間は、ステップ１３０５からステップ１３３５の処理が繰り返される。
【００８３】
ステップ１３１０で、物体検知部６０が、物体が存在しないことを確認した場合、ステップ１３１５で、受信部５２が、ペン１５から無線信号を受信しない場合、ステップ１３４０へ進む。
【００８４】
ステップ１３４０では、判断部６３が、画像を参照して、照明が点灯しているかを確認し、点灯していない場合、ステップ１３４５へ進み、照射制御部６４に対して照明の点灯を要求する。ステップ１３５０で、照射制御部６４が、点灯待機の時間が経過するまで待機する。この例では、点灯待機の時間を500msecに設定している。
【００８５】
ステップ１３５５では、点灯待機の時間が経過するまでに、受信部５２が無線信号を受信したかを判断し、受信した場合は、ステップ１３６０で、判断部６３が照射制御部６４に照明の点灯をキャンセルするように指示し、ステップ１３０５へ戻る。一方、受信しない場合は、ステップ１３６５へ進み、照射制御部６４が照射装置１２に対して照明を点灯するように指示し、ステップ１３０５へ戻る。
【００８６】
ステップ１３５５で点灯待機の時間が経過するまでに無線信号を受信すると、ステップ１３２５のペン１５の位置の検出、ステップ１３３０の位置情報の送信、ステップ１３３５の描画が継続される。一方、点灯待機の時間が経過するまでに無線信号を受信しない場合、照明の点灯により指検知モードに移行する。ステップ１３４０での確認において、照明が点灯している場合は、点灯を要求する必要がないので、ステップ１３０５へ戻る。
【００８７】
点灯待機の時間は500msecに限られるものではなく、300msecや400msec等であってもよい。また、点灯待機の時間は、消灯待機の時間と同様のものであってもよい。なお、このように消灯待機の時間に比較して長い時間を設けることで、点線等のペン１５を頻繁にタッチ、デタッチさせるような入力を行う場合、照明が常に消灯状態で維持され、書き始めるたびに消灯するという処理を省略することができる。また、書き始めの遅延や線の欠けを防止することができる。
【００８８】
これまで本発明を、情報処理装置、情報入力システム、情報処理方法およびアプリケーションとしてのプログラムとして上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではない。本発明は、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００８９】
上記の例では、各機能部は、CPU３０がSSD３３に記憶されたプログラムを読み出して実行することにより、各機能部を実現するプログラムがRAM３２上にロードされ、上記の各機能部が生成されている。しかしながら、これに限られるものではなく、例えば各機能部のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路）で実現されていてもよい。
【符号の説明】
【００９０】
１０…ディスプレイ、１１、１１ａ〜１１ｄ…撮像装置、１２、１２ａ〜１２ｄ…照射装置、１３…情報処理装置、１４…PC、１５…ペン、２０…先端部、２１…接触検知部、２２…無線通知部、２５…LED素子、２６…センサ、２７…通信I/F、２８…コントローラ、２９…電池、３０…CPU、３１…ROM、３２…RAM、３３…SSD、３４…ネットワークコントローラ、３５…外部記憶コントローラ、３６…センサコントローラ、３７…GPU、３８…キャプチャデバイス、３９…ディスプレイコントローラ、４０…ペンコントローラ、４１…バス、４２…外部メモリ、５０…取得部、５１…制御部、５２…受信部、５３…蓄積部、５４…描画部、６０…物体検知部、６１…位置検出部、６２…物体識別部、６３…判断部、６４…照射制御部、６５…送信部
【先行技術文献】
【特許文献】
【００９１】
【特許文献１】特願２０１５−２３０２１号
【図１】
2017117312.tif 000003
【図２】
2017117312.tif 000004
【図３】
2017117312.tif 000005
【図４】
2017117312.tif 000006
【図５】
2017117312.tif 000007
【図６】
2017117312.tif 000008
【図７】
2017117312.tif 000009
【図８】
2017117312.tif 000010
【図９】
2017117312.tif 000011
【図１０】
2017117312.tif 000012
【図１１】
2017117312.tif 000013
【図１２】
2017117312.tif 000014
【図１３】
2017117312.tif 000015