(57)【要約】【課題】  発光する入力媒体と発光しない入力媒体の両方を使用して情報を入力する場合に、両者を識別し、その両方の位置を検出することができる装置等を提供する。【解決手段】  この装置は、情報を表示する表示部７０と、表示部７０上に光を照射する照射部７１と、表示部７０上の画像を撮像する１以上の撮像部７２と、照射部７１を制御し、光の照射と非照射を交互に切り替える制御部７３と、制御部７３により照射と非照射を交互に切り替えて１以上の撮像部７２により撮像された画像に基づき、上記情報に付加する付加情報を入力するための発光する第１の入力媒体と発光しない第２の入力媒体とを識別する媒体識別部７４と、１以上の撮像部７２により撮像された画像に基づき、媒体識別部７４により識別された第１の入力媒体と第２の入力媒体の表示部７０上の位置を検出する位置検出部７５とを含む。【選択図】  図５
2017201497.tif 000002
【特許請求の範囲】
【請求項１】
情報を表示する情報表示装置であって、
前記情報を表示する表示部と、
前記表示部上に光を照射する照射部と、
前記表示部上の画像を撮像する１以上の撮像部と、
前記照射部を制御し、光の照射と非照射を交互に切り替える制御部と、
前記制御部により前記照射と前記非照射を交互に切り替えて前記１以上の撮像部により撮像された画像に基づき、前記情報に付加する付加情報を入力するための発光する第１の入力媒体と発光しない第２の入力媒体とを識別する媒体識別部と、
前記１以上の撮像部により撮像された画像に基づき、前記媒体識別部により識別された前記第１の入力媒体と前記第２の入力媒体の前記表示部上の位置を検出する位置検出部とを含む、情報表示装置。
【請求項２】
前記位置検出部により検出された前記位置に基づき、前記付加情報を生成する生成部と、前記生成部により生成された前記付加情報と前記表示部に表示されている前記情報とを合成する合成部とを含み、前記表示部は、前記合成部により合成された情報を表示する、請求項１に記載の情報表示装置。
【請求項３】
前記媒体識別部は、前記第１の入力媒体と前記第２の入力媒体のいずれか一方のみを識別することも可能であり、
前記媒体識別部が前記第１の入力媒体と前記第２の入力媒体のいずれか一方のみを識別した場合、前記制御部は、識別された前記第１の入力媒体または前記第２の入力媒体に応じて、前記照射と前記非照射を切り替えるタイミングを変更する、請求項１または２に記載の情報表示装置。
【請求項４】
前記位置検出部により検出された位置の情報を用いて、一定時間における前記第１の入力媒体と前記第２の入力媒体の移動量を計算する計算部を含み、
前記制御部は、前記計算部により計算された前記第１の入力媒体と前記第２の入力媒体の移動量に応じて、前記照射と前記非照射を切り替えるタイミングを変更する、請求項１〜３のいずれか１項に記載の情報表示装置。
【請求項５】
前記第１の入力媒体は、前記表示部に接触させるために所定の太さを有する先端部を備え、
前記制御部は、前記第１の入力媒体が備える前記先端部の太さに応じて、前記照射と前記非照射を切り替えるタイミングを変更する、請求項１〜４のいずれか１項に記載の情報表示装置。
【請求項６】
前記制御部は、設定された消費電力モードに応じて、前記照射と前記非照射を切り替えるタイミングまたは前記撮像部が単位時間当たりに撮像する画像の数を変更する、請求項１〜５のいずれか１項に記載の情報表示装置。
【請求項７】
前記第１の入力媒体は、所定の波長の光を吸収して発光する発光体を備え、
前記照射部は、前記所定の波長の光を照射する、請求項１〜６のいずれか１項に記載の情報表示装置。
【請求項８】
前記照射部は、各発光体が異なる波長の光を吸収して発光する複数の前記第１の入力媒体に対して、前記異なる波長の光を照射することが可能であり、
前記制御部は、前記照射部を制御し、前記照射において前記異なる波長の光に切り替え、
前記媒体識別部は、前記１以上の撮像部により撮像された画像に基づき、複数の前記第１の入力媒体の各々を識別する、請求項７に記載の情報表示装置。
【請求項９】
前記制御部は、前記媒体識別部により識別された前記第１の入力媒体に応じて、前記照射において前記異なる波長の光に切り替えるタイミングを変更する、請求項８に記載の情報表示装置。
【請求項１０】
前記制御部は、前記照射部を制御し、複数の異なる波長の光に切り替えるとともに、光の照射と非照射を切り替える、請求項７〜９のいずれか１項に記載の情報表示装置。
【請求項１１】
前記制御部は、前記照射部を制御し、所定のタイミングで点灯と消灯を繰り返す第３の入力媒体の消灯のタイミングに合わせて前記複数の異なる波長の光を照射するように、該複数の異なる波長の光に切り替える、請求項１０に記載の情報表示装置。
【請求項１２】
前記制御部は、前記媒体識別部が一定時間、前記第１の入力媒体および前記第２の入力媒体のいずれも識別しないことを受けて、前記１以上の撮像部が単位時間当たりに撮像する画像の数を変更する、請求項１〜１１のいずれか１項に記載の情報表示装置。
【請求項１３】
前記制御部は、前記媒体識別部が一定時間、前記第１の入力媒体および前記第２の入力媒体のいずれも識別しないことを受けて、前記１以上の撮像部の少なくとも１つを除き、該撮像部への電源を切断する、請求項１〜１２のいずれか１項に記載の情報表示装置。
【請求項１４】
前記制御部は、前記媒体識別部が一定時間、前記第１の入力媒体および前記第２の入力媒体のいずれも識別しないことを受けて、前記照射部へ入力する制御信号のパルス幅を変化させる制御を行う、請求項１〜１３のいずれか１項に記載の情報表示装置。
【請求項１５】
前記計算部により計算された所定の領域内の一定時間における前記第１の入力媒体の移動量が閾値以上であるかを判定する判定部を含む、請求項４に記載の情報表示装置。
【請求項１６】
前記制御部は、前記媒体識別部が前記第１の入力媒体を所定の回数連続して識別し、かつ前記位置検出部が前記所定の回数連続して所定の範囲内の位置を検出したことを受けて、前記照射部に連続して光を照射させ、または光の照射を停止させるように制御する、請求項１〜１５のいずれか１項に記載の情報表示装置。
【請求項１７】
情報を表示する情報表示装置と、前記情報表示装置に該情報を送信する情報処理装置とを含む情報表示システムであって、
前記情報表示装置が、
前記情報を表示する表示部と、
前記表示部上に光を照射する照射部と、
前記表示部上の画像を撮像する１以上の撮像部と、
前記照射部を制御し、光の照射と非照射を交互に切り替える制御部と、
前記制御部により前記照射と前記非照射を交互に切り替えて前記１以上の撮像部により撮像された画像に基づき、前記情報に付加する付加情報を入力するための発光する第１の入力媒体と発光しない第２の入力媒体とを識別する媒体識別部と、
前記１以上の撮像部により撮像された画像に基づき、前記媒体識別部により識別された前記第１の入力媒体と前記第２の入力媒体の前記表示部上の位置を検出する位置検出部とを含む、情報表示システム。
【請求項１８】
前記情報表示システムは、前記表示部に接触したことを検知する接触検知部と、前記表示部に接触して発光する発光部と、前記表示部に接触したことを前記情報表示装置に通知する通知部とを含む前記第１の入力媒体を含む、請求項１７に記載の情報表示システム。
【請求項１９】
情報を表示する表示部上の入力媒体を識別し、該入力媒体の位置を検出する処理をコンピュータに実行させるためのプログラムであって、
前記表示部上への光の照射と非照射を交互に切り替えるステップと、
前記表示部上の１以上の画像を撮像するステップと、
撮像された前記１以上の画像に基づき、前記情報に付加する付加情報を入力するための発光する第１の入力媒体と発光しない第２の入力媒体とを識別するステップと、
撮像された前記１以上の画像に基づき、識別された前記第１の入力媒体と前記第２の入力媒体の前記表示部上の位置を検出するステップとを実行させる、プログラム。
【請求項２０】
検出された前記位置に基づき、前記付加情報を生成するステップと、生成された前記付加情報と前記表示部に表示されている前記情報とを合成するステップと、前記表示部に合成された情報を表示するステップとを実行させる、請求項１９に記載のプログラム。
【請求項２１】
前記識別するステップで前記第１の入力媒体と前記第２の入力媒体のいずれか一方のみを識別した場合、識別された前記第１の入力媒体または前記第２の入力媒体に応じて、前記照射と前記非照射を切り替えるタイミングを変更するステップを実行させる、請求項１９または２０に記載のプログラム。
【請求項２２】
検出された前記位置の情報を用いて、一定時間における前記第１の入力媒体と前記第２の入力媒体の移動量を計算するステップと、計算された前記第１の入力媒体と前記第２の入力媒体の移動量に応じて、前記照射と前記非照射を切り替えるタイミングを変更するステップとを実行させる、請求項１９〜２１のいずれか１項に記載のプログラム。
【請求項２３】
前記第１の入力媒体は、前記表示部に接触させるために所定の太さを有する先端部を備え、
前記プログラムは、前記第１の入力媒体が備える前記先端部の太さに応じて、前記照射と前記非照射を切り替えるタイミングを変更するステップを実行させる、請求項１９〜２２のいずれか１項に記載のプログラム。
【請求項２４】
設定された消費電力モードに応じて、前記照射と前記非照射を切り替えるタイミングを変更するステップを実行させる、請求項１９〜２３のいずれか１項に記載のプログラム。
【請求項２５】
前記第１の入力媒体は、所定の波長の光を吸収して発光する発光体を備え、
前記切り替えるステップでは、前記照射において前記所定の波長の光を照射させる、請求項１９〜２４のいずれか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を表示する装置、システムおよび入力媒体を識別し、該入力媒体の位置を検出する処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
画像を表示する画面上にペンや指等を使用して情報を入力する電子黒板システムが企業や学校等に導入されている。その電子黒板システムにおいて、ペンや指等をカメラで撮像し、撮像した画像に基づき、ペンや指等の位置を検出する技術が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記従来の技術では、指の位置をその指の影から検出するために、赤外光（可視光）を照射する必要があり、その一方で、ペンの位置をペンの発光により検出するために、非照射にしなければならない。このため、ペンと指の両方を使用して情報を入力する場合、両者を識別し、その両方の位置を検出することはできないという問題があった。
【０００４】
本発明は、上記の問題に鑑みてなされたものであり、ペン等の発光する入力媒体と、指等の発光しない入力媒体の両方を使用して情報を入力する場合に、両者を識別し、その両方の位置を検出することができる装置、システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明は、情報を表示する情報表示装置であって、情報を表示する表示部と、表示部上に光を照射する照射部と、表示部上の画像を撮像する１以上の撮像部と、照射部を制御し、光の照射と非照射を交互に切り替える制御部と、制御部により照射と非照射を交互に切り替えて１以上の撮像部により撮像された画像に基づき、上記情報に付加する付加情報を入力するための発光する第１の入力媒体と発光しない第２の入力媒体とを識別する媒体識別部と、該１以上の撮像部により撮像された画像に基づき、媒体識別部により識別された第１の入力媒体と第２の入力媒体の表示部上の位置を検出する位置検出部とを含む、情報表示装置を提供する。
【発明の効果】
【０００６】
本発明によれば、発光する入力媒体と発光しない入力媒体の両方を使用して情報を入力する場合に、両者を識別し、その両方の位置を検出することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】情報表示システムの全体構成を示した図。
【図２】情報表示システムが備える電子ペンのハードウェア構成を示した図。
【図３】情報表示システムが備える情報表示装置としての電子黒板のハードゥエア構成を示した図。
【図４】PCおよび電子ペンの機能ブロック図。
【図５】電子黒板の機能ブロック図。
【図６】電子ペンと指の両方を識別し、それらの位置を検出する方法について説明する図。
【図７】電子ペンと指を識別する処理の流れを示したフローチャート。
【図８】電子ペンと指の移動量について説明する図。
【図９】電子ペンと指の移動量に応じて認識速度を変更する処理の流れを示したフローチャート。
【図１０】電子ペンの太さに応じて認識速度を変更する処理の流れを示したフローチャート。
【図１１】消費電力の設定モードに応じて認識速度を変更する処理の流れを示したフローチャート。
【図１２】ペンのハードウェア構成を示した図。
【図１３】ペンを識別する方法について説明する図。
【図１４】ペンを検知しないときに異なる波長の光を照射するタイミングの一例を示した図。
【図１５】１つのペンを検知した場合に異なる波長の光を照射するタイミングの一例を示した図。
【図１６】２つのペンを検知した場合に異なる波長の光を照射するタイミングの一例を示した図。
【図１７】ペンを検知しないときに異なる波長の光を照射するタイミングの別の例を示した図。
【図１８】１つのペンを検知した場合に異なる波長の光を照射するタイミングの別の例を示した図。
【図１９】２つのペンを検知した場合に異なる波長の光を照射するタイミングの別の例を示した図。
【図２０】発光ペンを検知するタイミングを例示した図。
【図２１】発光ペンの消灯タイミングに合わせて異なる波長の光を照射するタイミングを制御したところを例示した図。
【図２２】蛍光ペンを検知した場合に発光ペンの消灯タイミングに合わせて異なる波長の光を照射するタイミングを制御したところを例示した図。
【図２３】蛍光ペンと発光ペンの有無による状態遷移図。
【図２４】走査方法を変更する制御の流れを例示したフローチャート。
【図２５】未使用時の消費電力を低減する１つの方法を説明する図。
【図２６】未使用時の消費電力を低減する別の方法を説明する図。
【図２７】未使用時の消費電力を低減するさらに別の方法を説明する図。
【図２８】電子ペンの追従性を向上させる機能を説明する図。
【図２９】検知モードを固定する機能を説明する図。
【発明を実施するための形態】
【０００８】
図１は、情報表示システムの全体構成を示した図である。情報表示システムは、情報を表示し、その情報に付加する付加情報の入力を受け付け、それらを合成して表示することができる情報表示装置としての電子黒板１０を備える。また、情報表示システムは、電子黒板１０に表示させる情報を送信する情報処理装置としてのPC１１と、上記の付加情報を入力するための入力媒体の１つである電子ペン１２とを含んで構成することができる。
【０００９】
電子黒板１０は、情報を表示するための表示手段を有し、PC１１から送信された情報を表示する。表示手段は、例えばディスプレイである。PC１１から送信される情報は、例えばPC１１の画面に表示された画像である。電子黒板１０は、PC１１から情報を取得するため、PC１１とケーブルで接続されるか、Wi-Fi等の無線LAN(Local Area Network)により無線接続される。また、電子黒板１０は、ディスプレイ上の電子ペン１２や指等の入力媒体を検知し、それらを識別し、それらの位置を検出する。
【００１０】
このため、電子黒板１０は、ディスプレイ上に光を照射する照射手段と、ディスプレイ上の画像を撮像する１以上の撮像手段とを含んで構成される。発光する電子ペン１２に対しては、照射手段を非照射にして（照明を消灯して）、１以上の撮像手段で発光する電子ペンを撮像する。電子黒板１０は、撮像された画像に基づき、発光している位置を電子ペンの位置として検出する。
【００１１】
発光しない指等に対しては、照射手段により光を照射（照明を点灯）して、１以上の撮像手段で指等によりその光が遮断されることにより形成される影を撮像する。電子黒板１０は、撮像された画像に基づき、影の位置を指等の位置として検出する。
【００１２】
撮像手段は、表示画面の正面に対向して配置される場合は、１つであってもよく、表示画面を二次元平面とし、予め決めた位置を基準座標(0,0)として、電子ペン１２や指等の位置を二次元座標として検出することができる。また、撮像手段は、矩形の画面の角部に少なくとも２つ設置され、三角測量により電子ペンや指等の位置を算出してもよい。
【００１３】
三角測量は、予め決められた位置に設置された２つの撮像手段を両端とし、それを繋ぐ線を基線とし、基線に対する各撮像手段から電子ペン１２等への角度を測定して、それらの角度から電子ペン等の位置を決定する測量方法である。撮像手段は、画面の３つの角部や４つの角部に設置することで、電子ペン１２や指が一方の側からは手にかくれる場合でも、他方の側からはその発光や影を撮像することができ、より確実に位置を検出することができるので望ましい。
【００１４】
撮像手段は、撮像素子を有し、撮像素子で撮像対象を走査することにより一定の撮像速度で撮像し、電子黒板１０は、電子ペン１２の発光や指等の影が撮像されている限り、それらの位置の検出を継続して行う。電子黒板１０は、検出した位置を繋ぎ合わせて線を形成し、その線により文字や図形等の付加情報を生成する。電子黒板１０は、生成された付加情報をその時点でディスプレイに表示されている画像と合成し、合成画像として表示する。また、電子黒板１０は、その合成画像をPC１１に送信し、PC１１に表示させることができる。
【００１５】
図２を参照して、電子ペン１２のハードウェア構成について簡単に説明する。電子ペン１２は、赤外光（可視光）を発するLED(Light Emitting Diode)２０と、表示画面への接触（タッチ）を検知するセンサ２１と、無線信号を送信する通信I/F２２と、LED２０、センサ２１、通信I/F２２を制御するコントローラ２３とを含んで構成される。
【００１６】
電子ペン１２は、表示画面に表示されたメニューを選択し、文字や図形等の情報を入力するために使用される。センサ２１は、電子ペン１２の先端部に設けられ、先端部に加わる圧力を検知することで、表示画面へのタッチを検知する。これは一例であるので、タッチを検知する方法は、他の方法を採用してもよい。コントローラ２３は、センサ２１によりタッチを検知したことを受けて、LED２０を点灯させ、通信I/F２２を介して無線信号を送信する。無線信号は、タッチした旨を通知する信号である。なお、電子ペン１２が表示画面から離間（デタッチ）した旨を通信する信号も、無線信号として送信することができる。
【００１７】
電子ペン１２は、図２には図示していないが、メモリを備え、そのメモリに固有のID(Identification)データ等の属性情報を格納することができ、無線信号にIDデータを含めて送信してもよい。このようにIDデータを送信することで、複数の電子ペン１２で入力する場合に、各電子ペン１２を識別することができる。
【００１８】
LED２０は、表示画面にタッチしている間、常時点灯する状態となる。しかしながら、ユーザの使用状態を推定することを可能にする加速度センサ等を電子ペン１２に搭載し、その出力によりユーザが動かしているかを判断し、動かしていないときは消灯するようにしてもよい。このように適宜消灯するようにすることで、電子ペン１２に内蔵される電池の寿命を延ばすことができる。
【００１９】
図３を参照して、電子黒板１０のハードウェア構成について説明する。電子黒板１０は、CPU(Central Processing Unit)３０、ROM(Read Only Memory)３１、RAM(Random Access Memory)３２、SSD(Solid State Drive)３３を備える。また、電子黒板１０は、ネットワークコントローラ３４、外部記憶コントローラ３５、センサコントローラ３６、GPU(Graphics Processor Unit)３７、キャプチャデバイス３８を備える。電子黒板１０は、ディスプレイコントローラ３９、ペンコントローラ４０も備える。これらのユニットは、バス４１により互いに接続されている。
【００２０】
電子黒板１０は、センサコントローラ３６に接続される照射手段としてのLED４２および１以上の撮像手段としてのカメラ４３と、ディスプレイコントローラ３９に接続される表示画面としてのディスプレイ４４とを備える。また、電子黒板１０は、LED４２から出射された光をそのLED４２へ反射させる再帰反射板４５も備えている。
【００２１】
CPU３０は、電子黒板１０全体を制御し、プログラムを実行して、電子ペン１２や指等を検知し、その位置の検出する処理を実行する。ROM３１は、電子黒板１０を起動させるためのブートプログラムやファームウェア等を格納する。RAM３２は、CPU３０に対して作業領域を提供する。SSD３３は、OS、上記のプログラム、設定データ等を格納する。この例では、SSDを使用しているが、これに限られるものではなく、HDD(Hard Disk Drive)等を使用してもよい。
【００２２】
ネットワークコントローラ３４は、ネットワークを介してサーバ等と通信を行う際、TCP/IP等の通信プロトコルに基づく処理を行う。ネットワークは、LAN(Local Area Network)や複数のLANが接続されたWAN(Wide Area Network)、例えばインターネット等である。
【００２３】
外部記憶コントローラ３５は、着脱可能な外部メモリ４６に対する書き込み、または外部メモリ４６からの読み出しを行う。外部メモリ４６としては、例えばUSB(Universal Serial Bus)メモリ、SD(Secure Digital)メモリカード等を挙げることができる。キャプチャデバイス３８は、PC１１が表示している情報、例えば画像を取り込むデバイスである。GPU３７は、ディスプレイ４４の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ３９は、GPU３７が描画した画像をディスプレイ４４に出力する。
【００２４】
センサコントローラ３６は、LED４２やカメラ４３が接続され、LED４２の点灯／消灯を制御し、カメラ４３から画像の入力を受け付ける。CPU３０は、センサコントローラ３６が受け付けた画像に基づき、三角測量によりディスプレイ４４上の電子ペン１２や指等の位置を座標として検出する。ペンコントローラ４０は、電子ペン１２と無線通信を行い、電子ペン１２から上記の無線信号を受信する。これにより、電子黒板１０は、電子ペン１２がディスプレイ４４にタッチしたか否かを検出することができる。また、IDデータを含む場合は、どのペンがタッチしているかを検出することができる。
【００２５】
三角測量により電子ペン１２や指等の位置を検出する場合、カメラ４３は、少なくとも２つ以上設けられる。カメラ４３は、ディスプレイ４４の少し上の画像を撮像するように設置され、ディスプレイ４４の周囲を取り囲むように再帰反射板４５が設置される。LED４２は、カメラ４３と同じ数だけ設けられ、カメラ４３に隣接して設置される。
【００２６】
ディスプレイ４４の２つの角部に２つのカメラ４３を設置する場合、２つのカメラ４３間にあるディスプレイ４４の一辺以外の３つの辺に隣接あるいは近隣して３つの再帰反射板４５が設置される。これは、２つのカメラ４３に隣接して設置された各LED４２からの光を反射させ、再び各LED４２に戻すためである。
【００２７】
CPU３０が実行する上記のプログラムは、外部メモリ４６に記憶された状態で流通されてもよいし、ネットワークコントローラ３４を介して図示しないサーバからダウンロードされてもよい。また、そのプログラムは、圧縮された状態でも実行形式でダウンロードされてもよい。
【００２８】
図３に示す例では、ネットワークコントローラ３４、外部記憶コントローラ３５を備える構成を示したが、これらのユニットは、必須のものではなく、必要に応じて設けることができる。
【００２９】
PC１１は、電子黒板１０に表示させる情報を保持し、その情報を電子黒板１０へ送信する。PC１１は、一般のPCと同じで、ハードウェアとして、CPU、ROM、RAM、HDDまたはSSD、通信I/F、入出力I/F、マウスやキーボード等の入力装置、ディスプレイ等の表示装置を備える。PC１１が備えるこれらのハードウェアについては良く知られたものであるため、ここではその説明を省略する。
【００３０】
図４を参照して、PC１１および電子ペン１２の機能構成について簡単に説明する。PC１１は、図４（ａ）に示すように、電子黒板１０に表示させる画像を表示する表示部５０、画像の選択や電子黒板１０への表示指示等の入力を受け付ける入力部５１を備える。また、PC１１は、表示部５０への画像の表示や電子黒板１０への画像の送信等を制御する制御部５２、画像の送信やその画像と入力された情報とを合成した画像の受信等を行う送信部および受信部として機能する通信部５３を備える。これらの機能部は、PC１１が備えるCPUがHDD等に格納されたプログラムを実行することにより実現することができる。
【００３１】
電子ペン１２は、図４（ｂ）に示すように、表示画面へのタッチを検知する接触検知部６０、電子ペン１２を発光させる発光部６１、電子黒板１０へ無線信号を送信する通信部６２を備える。電子ペン１２は、接触検知部６０がタッチを検知したことを受けて、発光部６１に対して発光を指示し、通信部６２に対して無線信号の送信を指示する制御部６３を備える。通信部６２は、表示画面へのタッチを無線信号により通知することから、通知部として機能する。これらの機能部は、電子ペン１２が備えるLED２０、センサ２１やコントローラ２３により実現される。
【００３２】
図５を参照して、電子黒板１０の機能構成について説明する。電子黒板１０は、表示部７０、照射部７１、撮像部７２、制御部７３、媒体識別部７４、位置検出部７５、通信部７６を備える。通信部７６は、PC１１から情報として画像を受信し、電子ペン１２から無線信号を受信する受信部と、合成した画像をPC１１に送信する送信部とを含んで構成される。これらの機能部は、電子黒板１０が備えるLED４２、カメラ４３、ディスプレイ４４およびCPU３０が上記のプログラムを実行することにより実現される。
【００３３】
表示部７０は、PC１１から送信された画像や入力された情報と合成した画像を表示する。照射部７１は、表示部７０上に光を照射する照明として機能する。撮像部７２は、１以上備え、表示部７０上の画像を撮像する。具体的には、表示部７０上に電子ペン１２が存在する場合は、電子ペン１２の発光を、表示部７０上に指等が存在する場合は、指等の影を撮像する。
【００３４】
制御部７３は、照射部７１に対して照明の点灯と消灯を切り替えるタイミングを設定し、照明の点灯と消灯を制御する。撮像部７２の撮像速度（認識速度）が120fpsである場合、撮像部７２は、撮像素子が走査し、１秒間に１２０枚分の画像を撮像し、画像データとして出力する。制御部７３は、６０枚分の画像で電子ペン１２を識別して位置を検出し、６０枚分の画像で指等を識別して位置を検出するため、撮像部７２が１枚分の画像を撮像する毎に照明の点灯と消灯を切り替えるように制御することができる。
【００３５】
制御部７３は、１枚分の画像を撮像する毎に照明の点灯と消灯を切り替えるために、電子ペン１２のペン認識速度が60fps、指等の指認識速度が60fpsになるように照明を制御することができる。これらの認識速度は、テーブルにデフォルト値として格納され、初期化処理において読み出し、そのデフォルト値を設定することができる。このテーブルには、変更する認識速度の値も格納し、変更が必要である場合に、その値を読み出し、設定することができる。このため、テーブルから読み出し、例えばペン認識速度を80fps、指認識速度を40fpsに変更することができる。ちなみに、このように変更すると、照明を消灯して２枚分の画像を撮像し、照明を点灯して１枚分の画像を撮像することを繰り返すように点灯と消灯を切り替える。
【００３６】
媒体識別部７４は、撮像された１以上の画像に基づき、発光する電子ペン１２と発光しない指等を識別する。媒体識別部７４は、発光する電子ペン１２を、電子ペン１２からの無線通信を受けたことにより識別し、指等の発光しない入力媒体を、点灯したときの画像により識別する。なお、電子ペン１２は、消灯したときの画像により識別してもよい。このような識別により、電子ペン１２と指等の両方が表示部７０上に存在しても、どれが電子ペン１２で、どれが指等であるかを区別し、認識することが可能となる。
【００３７】
位置検出部７５は、撮像された１以上の画像に基づき、媒体識別部７４により識別された電子ペン１２の表示部７０上の位置と指等の表示部７０上の位置を検出する。位置検出部７５は、電子ペン１２の位置を、照明を消灯したときの画像を用いて、指等の位置を、照明を点灯したときの画像を用いて、上記の三角測量等により検出する。
【００３８】
図６を参照して、電子ペン１２と指の両方を識別し、それらの位置を検出する方法について説明する。図６（ａ）では、電子黒板１０の表示部７０上に電子ペン１２と指８０の両方が存在し、その両方で付加情報の入力を開始している。ちなみに、電子黒板１０は、矩形の表示部７０の上側の２つの角部に撮像部７２を備え、それら撮像部７２に隣接あるいは近隣して照射部７１を備えている。また、電子黒板１０は、２つの撮像部７２が設けられる表示部７０の上側の辺以外の３つの辺に隣接あるいは近隣して再帰反射板により実現される再帰反射部７７を備えている。
【００３９】
照射部７１は、図６（ｂ）に示す消灯と、図６（ｃ）に示す点灯を交互に実施し、撮像部７２は、それぞれの画像を撮像する。図６（ｂ）を参照すると、電子ペン１２は、表示部７０にタッチすると発光し、撮像部７２は、その発光を撮像する。このとき、指も撮像するが、消灯しているので、指の画像は写らない。したがって、この撮像された画像からは、電子ペン１２の位置のみが検出される。
【００４０】
図６（ｃ）を参照すると、電子ペン１２は表示部７０にタッチしているので発光しているが、照明が点灯したことにより発光が検知しにくくなる。一方、指は点灯により影ができるので、撮像部７２は、その影を撮像する。電子ペン１２にも影はできるが、発光しているので、影が薄くなる。したがって、この撮像された画像からは、指の位置が検出される。
【００４１】
このようにして、照明の点灯と消灯を交互に高速で切り替えることにより、表示部７０上に電子ペン１２と指の両方が存在していても、両者を識別し、その両方の位置を検出することができる。
【００４２】
電子ペン１２の位置検出精度を高くしたい場合、電子ペン１２の位置検出をより多く実施するべく、消灯時の時間を長くし、点灯時の時間を短くするため、ペン認識速度を上げ、指認識速度を下げる設定を行う。一方、指の位置検出精度を高くしたい場合は、指認識速度を上げ、ペン認識速度を下げる設定を行う。
【００４３】
図５に示す電子黒板１０が実行する電子ペン１２と指を識別する処理を、図７を参照して詳細に説明する。ステップ７００からこの処理を開始する。処理を開始する前に、撮像部７２に対する認識速度の設定等が行われており、認識速度が120fpsに設定されたものとする。
【００４４】
ステップ７０５では、制御部７３は、設定されたペン認識速度60fps、指認識速度60fpsになるように照明を制御する。具体的には、制御部７３は、照射部７１を制御し、撮像部７２が１枚分の画像を撮像する毎に点灯と消灯を切り替える。
【００４５】
ステップ７１０では、媒体識別部７４が、通信部７６が無線信号を受信したかどうかにより表示部７０に電子ペン１２がタッチしたかどうかを判断する。電子ペン１２がタッチしていない場合、ステップ７１５へ進み、タッチした場合、ステップ７２０へ進む。
【００４６】
ステップ７１５では、媒体識別部７４が、表示部７０に指がタッチしたかどうかを判断する。指のタッチは、撮像された画像に指の影を検出することにより判断することができる。指がタッチしていない場合、ステップ７１０へ戻り、タッチした場合、ステップ７３０へ進む。
【００４７】
ステップ７２０では、制御部７３は、電子ペン１２のみがタッチしている場合、テーブルを参照し、照明の点灯と消灯のタイミングを変更するべく、ペン認識速度を100fps、指認識速度を20fpsに変更する。これは、電子ペン１２の位置検出精度を高めるためである。ステップ７２５では、媒体識別部７４が電子ペン１２と識別し、電子ペン１２のタッチを検知し続けている間に、指がタッチしたかを判断する。指がタッチしたことを検知しない場合、ステップ７２０で変更された認識速度が維持され、ステップ７２５の処理が繰り返される。
【００４８】
ステップ７２５で指がタッチしたことを検知した場合、ステップ７４０へ進み、ステップ７０５と同様、制御部７３は、照明の点灯と消灯のタイミングを変更するべく、ペン認識速度と指認識速度を共に60fpsに変更する。電子ペン１２と指の両方を均等に検知し、その位置を検出するためである。
【００４９】
ステップ７３０では、制御部７３は、指のみがタッチしている場合、テーブルを参照し、照明の点灯と消灯のタイミングを変更するべく、指認識速度を100fps、ペン認識速度を20fpsに変更する。ステップ７３５では、媒体識別部７４が指のタッチを検知し続けている間に、電子ペン１２がタッチしたかを判断する。電子ペン１２がタッチしたことを検知しない場合、ステップ７３０で変更された認識速度が維持され、ステップ７３５の処理が繰り返される。
【００５０】
ステップ７３５で電子ペン１２がタッチしたことを検知した場合、ステップ７４０へ進み、ステップ７０５と同様、制御部７３は、ペン認識速度と指認識速度を共に60fpsに変更する。そして、ステップ７４５で、電子ペン１２と指の両方を識別する処理を終了する。
【００５１】
電子ペン１２と指の両方を識別した後は、その両方のタッチを検知している間、位置検出部７５が、その両方の位置の検出を継続して行う。このように検出された位置の情報を用いて、文字や図形等の付加情報を生成する。生成された付加情報は、表示部７０に表示されている画像と合成され、合成画像として表示部７０に表示される。このため、電子黒板１０は、付加情報を生成する生成部、付加情報と画像を合成する合成部をさらに備えることができる。
【００５２】
電子ペン１２と指のいずれか一方の入力が終了すると、電子ペン１２については、通信部７６が無線信号を受信しなくなり、指については、撮像部７２が撮像した画像に指の影が存在しなくなる。このため、媒体識別部７４は、いずれか一方のみを識別し、他方は存在しないので識別しない。これにより、媒体識別部７４により識別された一方の入力媒体のみの位置を位置検出部７５が検出し、その位置情報を用いて付加情報を生成し、画像と合成して表示することができる。
【００５３】
このとき、電子ペン１２のみがタッチしている場合は、ステップ７２０のペン認識速度を100fps、指認識速度を20fpsに変更する。一方、指のみがタッチしている場合は、ステップ７３０の指認識速度を100fps、ペン認識速度を20fpsに変更する。このようにして、電子ペン１２または指の位置検出精度を高めることができる。
【００５４】
しかしながら、点線を書く等、タッチとデタッチを短時間で繰り返すような操作を行う場合、認識速度を短時間で変更することになり、処理が複雑になる。また、適切に変更されない場合、線が途切れたり、欠けたりして、何の図形や文字を書いているか分からなくなる。このため、検知されなくなって一定時間が経過し、それでも検知されない場合に、上記認識速度の変更を行い、このような線の途切れや線が欠けるのを防止することができる。一定時間は、例えば5secとすることができる。これは一例であるので、これに限定されるものではない。
【００５５】
両方の入力が終了した場合は、ステップ７０５のペン認識速度、指認識速度を共に60fpsに変更し、再び入力媒体のタッチを検知するまで、この状態を維持する。その後は、ステップ７１０以降の処理を実行する。
【００５６】
上記の例では、電子ペン１２と指の両方を識別した際、ペン認識速度と指認識速度を同じ速度になるように設定したが、同じ速度でなくてもよい。例えば、移動速度が速く、その移動量が大きい方や、表示部７０にタッチする先端部の太さが細い方の追従性を高めるため、一方の認識速度を速くすることが可能である。図８および図９を参照して、両者の移動量を比較し、認識速度を変更する処理について説明し、図１０を参照して、電子ペン１２の先端部の太さの違いにより認識速度を変更する処理について説明する。
【００５７】
図８は、電子ペン１２と指の移動量について説明する図で、図９は、その移動量に応じて認識速度を変更する処理の流れを示したフローチャートである。図８は、電子黒板１０の表示部７０上に電子ペン１２と指８０の両方が存在し、その両方で情報を入力している。電子黒板１０は、矩形の表示部７０の上側の２つの角部に２つの撮像部７２を備え、それら撮像部７２に隣接あるいは近隣して照射部７１を備えている。また、電子黒板１０は、２つの撮像部７２が設けられる表示部７０の上側の辺以外の３つの辺に隣接あるいは近隣して再帰反射部７７を備えている。
【００５８】
電子ペン１２と指につき、一定時間、例えば100ms当たりの移動量を、位置検出部７５により検出した位置、すなわち座標から求め、その移動量の平均を求める。移動量の平均は、例えば5sec間の平均とすることができる。図８では、電子ペン１２の移動量の平均をΔA、指の移動量の平均をΔBとしている。ΔAとΔBを比較し、移動量が大きい方の追従性を良くするべく、その差に応じて認識速度を変更することができる。この移動量は、別途計算部を設け、計算部が計算により求めることができる。
【００５９】
しかしながら、その差に応じて認識速度を変更すると、頻繁に変更することとなり、制御が複雑になる。このため、閾値を設け、その差が閾値以上である場合に、認識速度を変更することができる。
【００６０】
この移動量を比較し、変更する処理は、表示部７０上に電子ペン１２と指の両方のタッチを検知し、図７のステップ７４０でペン認識速度、指認識速度が共に60fpsに変更されたことを受けて、ステップ９００から処理を開始する。ステップ９０５では、上記の移動量の平均を求めるため、ペン認識速度が60fps、指認識速度が60fpsになるように照明を制御する。
【００６１】
ステップ９１０では、移動量の平均をそれぞれ計算し、その平均の差が閾値以上であるかを判断する。閾値未満である場合、ステップ９１５へ進み、ペン認識速度を60fps、指認識速度を60fpsに維持し、ステップ９３５でこの処理を終了する。閾値以上である場合、ステップ９２０で、電子ペン１２の移動量の方が大きいかを判断する。電子ペン１２の移動量の方が大きい場合、ステップ９２５へ進む。そして、ペン認識速度を80fps、指認識速度を40fpsに変更し、ステップ９３５でこの処理を終了する。
【００６２】
指の移動量の方が大きい場合、ステップ９３０へ進み、ペン認識速度を40fps、指認識速度を80fpsに変更し、ステップ９３５でこの処理を終了する。このようにして、移動量が大きい方の追従性を上げることで、移動量が大きい電子ペン１２または指の位置検出精度を向上させることができる。
【００６３】
図１０は、表示部７０にタッチする電子ペン１２の先端部の太さの違いにより認識速度を変更する処理の流れを示したフローチャートである。この処理も、表示部７０上に電子ペン１２と指の両方のタッチを検知し、図７のステップ７４０でペン認識速度、指認識速度が共に60fpsに変更されたことを受けて、ステップ１０００から処理を開始する。ステップ１００５では、ペン認識速度が60fps、指認識速度が60fpsになるように照明を制御し、ペンの先端部の太さを確認する。太さは、所定の範囲のサイズを「中」とし、その範囲の上限値より大きいサイズを「大」、その範囲の下限値より小さいサイズを「小」とし、「大」、「中」、「小」の３つのいずれかにより設定することができる。例えば、デフォルトの設定では、太さの設定を「中」とすることができる。
【００６４】
ステップ１０１０では、太さが「中」であるかを判断する。「中」である場合、ステップ１０１５へ進み、ペン認識速度を60fps、指認識速度を60fpsに維持し、ステップ１０３５でこの処理を終了する。「大」または「小」である場合、ステップ１０２０へ進み、太さが「大」であるかを判断する。「大」である場合、ステップ１０２５へ進み、テーブルを参照して、ペン認識速度を40fps、指認識速度を80fpsに変更し、ステップ１０３５でこの処理を終了する。
【００６５】
ペンの太さが太い場合、文字を書くより、丸や直線等の線を書くことが多く、位置を検出する間隔が多少空いたとしても、その間の位置を推定することが容易で、その精度に影響しない。このため、ペンの追従性を下げ、指の追従性を上げる。
【００６６】
「小」である場合、ステップ１０３０へ進み、テーブルを参照して、ペン認識速度を80fps、指認識速度を40fpsに変更し、ステップ１０３５でこの処理を終了する。ペンの太さが細い場合、文字や細かい図等を書くことが多いことから、位置を検出する間隔が空いてしまうと、その精度に影響する。このため、ペンの追従性を上げて、ペンの位置検出の回数を増やす。
【００６７】
これまで、移動量、ペンの太さに応じて、認識速度を変更することについて説明してきたが、その両方に応じて認識速度を変更してもよい。電子黒板１０は、照明の点灯により電力を消費することから、点灯時間を短くすることで、消費電力を削減することができる。このため、消費電力モードに応じて、認識速度を変更することも可能である。消費電力モードは、例えば「高」、「中」、「低」の３段階のモードとすることができる。
【００６８】
図１１は、消費電力モードに応じて認識速度を変更する処理の流れを示したフローチャートである。この処理も、表示部７０上に電子ペン１２と指の両方のタッチを検知し、図７のステップ７４０でペン認識速度、指認識速度が共に60fpsに変更されたことを受けて、ステップ１１００から処理を開始する。ステップ１１０５では、ペン認識速度が60fps、指認識速度が60fpsになるように照明を制御し、設定された消費電力モードを確認する。デフォルトのモードは、「高」である。
【００６９】
ステップ１１１０では、モードが「高」であるかを判断する。「高」である場合、ステップ１１１５へ進み、ペン認識速度を60fps、指認識速度を60fpsに維持し、ステップ１１３５でこの処理を終了する。「中」または「低」である場合、ステップ１１２０へ進み、モードが「中」であるかを判断する。「中」である場合、ステップ１１２５へ進み、テーブルを参照して、ペン認識速度を80fps、指認識速度を40fpsに変更し、ステップ１１３５でこの処理を終了する。
【００７０】
モードが「中」の場合、通常の「高」より消費電力を低減させるため、点灯時間を短くするべく、指認識速度を下げ、ペン認識速度を上げる。通常の「高」では、単位時間当たりの点灯時間と消灯時間が同じ時間であるが、この「中」では、単位時間当たりの点灯時間が、消灯時間の１／２になっている。
【００７１】
モードが「低」である場合、ステップ１１３０へ進み、テーブルを参照して、ペン認識速度を100fps、指認識速度を20fpsに変更し、ステップ１１３５でこの処理を終了する。この「低」では、さらに点灯時間を短くするべく、さらに指認識速度を下げ、ペン認識速度を上げている。単位時間当たりの点灯時間は、消灯時間の１／５になっている。これにより、消費電力を低減することができるが、指認識速度が下がる結果、指の位置を検出する精度は低くなる。
【００７２】
制御部７３は、ペン認識速度と指認識速度を変更し、それに基づき照射部７１を制御し、照明の点灯と消灯を切り替える。上記では、ペン認識速度が60fps、指認識速度が60fpsになるように切り替えを制御した場合、１枚分の画像を撮像する毎に点灯と消灯を切り替えるようにしている。しかしながら、１秒間に点灯時と消灯時の画像を６０枚ずつ撮像することができれば、これに限られるものではない。したがって、２枚分や３枚分撮像する毎に切り替えてもよい。
【００７３】
これまで、電子ペン１２と指の両方を使用して付加情報を入力する場合の両者の識別、その位置の検出について説明してきたが、電子ペン１２や指を複数使用して付加情報を入力してもよく、指以外の物体を使用して付加情報を入力してもよい。発光しない指やそれ以外の物体を使用した場合、各位置は検出することができるが、物体を特定することはできない。一方、電子ペン１２については、異なる波長で発光するLEDを利用すれば、電子ペン１２を識別することが可能である。撮像した画像において、発光する色によって電子ペン１２を識別することが可能だからである。
【００７４】
しかしながら、複数の波長を識別するためのフィルタや専用カメラを使用する必要があり、高価で複雑なシステムになる。また、電子ペン１２も、発光すると消費電力がかかり、頻繁に電池が切れ、交換や充電しないとペンそのものが使用することができない。
【００７５】
そこで、表示部７０にタッチして先端部を発光する電子ペン１２ではなく、点灯時に光を吸収して、電池を使用することなく発光する発光体を備えるペンを使用することができる。複数のペンを使用する場合、複数のペンには、発光する波長が等しく、吸収する光の波長が異なる複数種類の発光体を使用する。そして、点灯時に、異なる複数の波長の光を、タイミングを変えて照射する。これにより、異なる色で発光するため、各ペンを識別することが可能となる。
【００７６】
発光体は、外部から光（励起光）を吸収し、その励起光のエネルギーを利用して発光する蛍光特徴をもつ物質であり、白色LED等に使用されている。白色LEDは、青色LEDの青色光の一部が蛍光体層を透過し、残りが蛍光体に吸収され、黄色光に変わり放出されることにより、その青色光と黄色光とが混ざり合って白色光を照射するものである。
【００７７】
蛍光体は、青色光を吸収して緑色光を発する物質や、緑色光を吸収して赤色光を発する物質等があり、例えば、フルオレセイン、ローダミン、クマリン、ピレン、シアニン等を挙げることができる。なお、ペンは、先端部に発光体を備えるものに限らず、先端部に蛍光塗料を塗布したものであってもよい。
【００７８】
図１２は、ペンのハードウェア構成を示した図である。電子ペン１２は、図２に示した通りであるが、このペン９０は、先端部に発光体９１を備えるのみで、LED２０、センサ、通信I/F、コントローラ２３は備えない。発光体９１の種類は、ペン毎に異なり、それぞれが異なる波長の光を吸収し、同じ波長の光で発光する。このため、複数の波長を識別するためのフィルタや専用カメラが不要で、汎用のカメラを使用して撮像することができる。
【００７９】
図１３を参照して、図１２に示したペンを識別する方法について説明する。電子黒板１０の表示部７０上にペン９０が存在し、そのペン９０で付加情報を入力している。ちなみに、電子黒板１０は、図１３（ａ）に示すように、矩形の表示部７０の上側の２つの角部に２つの撮像部７２を備え、それら撮像部７２に隣接あるいは近隣して励起光９２を照射する照射部７１を備えている。
【００８０】
図１３（ａ）では、２つの撮像部７２が示されているが、ペン９０の位置を検出することができれば、１つであっても、３つ以上であってもよい。また、照射部７１は、電子黒板１０の表面に平行にレーザ光を照射する装置により実現することができる。その装置は、ディスプレイ４４の全面に励起光９２を照射することができれば、レーザ光を左右に振って照射する装置であってもよいし、複数のレーザ光を照射する装置をマトリクス状に配置したものであってもよい。
【００８１】
蛍光体は、励起光９２を吸収し、その励起光９２とは異なる波長の光で発光することから、照射手段は、その発光９３を撮像するカメラ４３に隣接または近隣した同じ方向に設置することが望ましい。図１３（ｂ）に示す拡大した側面図では、撮像部７２と同じ方向に存在する照射部７１から所定の波長の励起光９２をペン９０の先端部にある発光体９１に向けて照射し、発光体９１から異なる波長で撮像部７２に向けて発光している。
【００８２】
電子黒板１０の表示部７０に発光体９１を備えるペン９０を近づけると、励起光９２が発光体９１に当たり、発光体９１は、その励起光９２により励起光９２とは異なる波長で発光する。各撮像部７２は、その発光９３を異なる角度で撮像する。撮像された画像から発光するペン９０の角度を求め、上記の三角測量により発光するペン９０の位置を検出する。
【００８３】
ペン９０を複数使用して情報を入力する場合、照射部７１は、ペン９０の本数分の異なる波長のレーザ光を、一定のタイミングで切り替えながら照射する。切り替えのタイミングは、制御部７３が照射部７１を制御し、それによって異なるレーザ光の波長に切り替える。
【００８４】
図１４は、異なる波長のレーザ光を照射するタイミングを例示した図である。図１４に示す例は、表示部７０上にペン９０が存在しない場合の例である。すなわち、撮像部７２で撮像された画像にペン９０が写っておらず、ペン９０を検知していない場合の例である。ここでは、３つのペン９０を用い、３つの波長の光を照射するものとして説明する。
【００８５】
ペン９０を検知していない段階では、それぞれの波長のレーザ光を等間隔で切り替えて照射する。このような等間隔でレーザ光を照射する動作を、電子黒板主導の等間隔走査と呼ぶ。図１４では、最初に波長１のレーザ光を照射し、波長１のレーザ光の照射を停止すると同時に、波長２のレーザ光を照射し、波長２のレーザ光の照射を停止すると同時に、波長３のレーザ光を照射するように制御している。具体的には、点灯と消灯を高速で切り替えているときの、各点灯時の時間を３等分に分け、それぞれを各波長に割り当て照射している。ここでは、１つの波長のレーザ光の照射を停止すると同時に他の波長のレーザ光を照射するように制御しているが、これに限られるものではなく、一旦停止して一定時間後に他の波長のレーザ光を照射するように制御してもよい。
【００８６】
図１５は、波長１に対応するペン９０を検知した後のレーザ光を照射するタイミングを例示した図である。波長１に対応するペン９０を検知した場合、そのペン９０にレーザ光を照射する時間を充分に確保しつつ、位置検出精度を高めるため、波長１のレーザ光を照射する時間を他の波長２、波長３のレーザ光を照射する時間より長くする。このような不等間隔でレーザ光を照射する動作を、電子黒板主導の不等間隔走査と呼ぶ。この場合も、１つの波長のレーザ光の照射を停止して一定時間後に他の波長のレーザ光を照射してもよい。
【００８７】
図１６は、波長１、波長２に対応するペン９０を検知した後のレーザ光を照射するタイミングを例示した図である。波長１、波長２に対応するペン９０を検知した場合、それらのペン９０にレーザ光を照射する時間を充分に確保しつつ、位置検出精度を高めるため、波長１、波長２のレーザ光を照射する時間を他の波長３のレーザ光を照射する時間より長くする。波長２のレーザ光を照射する時間を確保すべく、波長１のレーザ光を照射する時間が図１５に示す波長１のみのレーザ光を照射する時間より短くなるが、図１４のいずれも検知していない場合よりも長い時間が確保されている。この場合も、１つの波長のレーザ光の照射を停止して一定時間後に他の波長のレーザ光を照射してもよい。
【００８８】
波長１、波長２、波長３に対応するペン９０を検知した後は、各波長のレーザ光を照射する時間を確保するため、電子黒板主導の等間隔走査に戻り、図１４に示すタイミングで各波長のレーザ光を照射する。この場合も、１つの波長のレーザ光の照射を停止して一定時間後に他の波長のレーザ光を照射してもよい。
【００８９】
発光体９１を備えるペン９０を蛍光ペンとして検知し、その正確な位置を検出するためには、同一時刻に検知される蛍光ペンが一本でなければならない。ちなみに、波長１のレーザ光で発光する蛍光ペンと、波長２のレーザ光で発光する蛍光ペンとを同時に利用しても、同一時刻においては、いずれか一本のペンしか検知できない。このため、互いに異なる波長のレーザ光で検知される２以上の蛍光ペンを利用する場合には、これらの各蛍光ペンについては上記の方法で正確な位置を検出することができる。
【００９０】
しかしながら、同じ波長のレーザで検知される２以上の蛍光ペンを利用する場合や、蛍光ペンと上記のLED等により発光する発光ペン（電子ペン１２）とを同時に利用する場合は、同一時刻に２以上のペンが検知されることになる。この場合、２以上のペンが近い位置にあると２以上の光が重なる等して、正しいペンの位置を検出することができなくなってしまう。
【００９１】
そこで、発光ペンに独自の発光パターンを持たせ、図１７〜図１９に示すようなレーザ光を照射しない不照射時間を設ける。図１７は、異なる波長のレーザ光を照射するタイミングを例示した図で、表示部７０上に蛍光ペンも、発光ペンも存在しない場合の例を示している。図１７では、各レーザ光の照射時間と同じ時間の不照射時間を設け、不照射時間が経過した後、再度波長１のレーザ光から順に照射するように制御している。具体的には、ある一定の時間を４等分に分け、そのうちの３つを各波長に割り当て照射し、残りの１つを不照射時間としている。
【００９２】
図１８は、波長１に対応する蛍光ペンを検知した後のレーザ光を照射するタイミングを例示した図である。図１８では、その蛍光ペンにレーザ光を照射する時間を充分に確保しつつ、位置検出精度を高めるため、波長１のレーザ光を照射する時間を他の波長２、波長３のレーザ光を照射する時間より長くしている。
【００９３】
図１９は、波長１、波長２に対応する蛍光ペンを検知した後のレーザ光を照射するタイミングを例示した図である。波長１、波長２に対応する蛍光ペンを検知した場合、それらの蛍光ペンにレーザ光を照射する時間を充分に確保しつつ、位置検出精度を高めるため、波長１、波長２のレーザ光を照射する時間を他の波長３のレーザ光を照射する時間より長くしている。
【００９４】
発光ペンは、図２０に示すように、一定の時間間隔で点灯、消灯を繰り返す等の独自の発光パターンを有するように構成される。図２０のグレーで示される不照射時間においては、波長１〜３のレーザ光の照射がないため、蛍光ペンは発光せず、検出されない。しかしながら、発光ペンは独自に発光するため、その不照射時間においてその発光ペンを検知することができる。
【００９５】
図２０に示す例では、発光ペンの発光が不照射時間と重なる時間が短いので、発光ペンを検知することができるにしても、位置検出の精度が低くなる。このため、図２１に示すように、発光ペンの消灯タイミングに合わせて各波長のレーザ光を照射するように制御することができる。すなわち、発光ペンが消灯したとき、波長１のレーザ光を照射し、発光ペンが点灯するとき、波長１のレーザ光の照射を終了する。次に発光ペンが消灯したとき、波長２のレーザ光を照射し、発光ペンが点灯するとき、波長２のレーザ光の照射を終了する。さらに次に発光ペンが消灯したとき、波長３のレーザ光を照射し、発光ペンが点灯するとき、波長３のレーザ光の照射を終了する。このように発光ペンの消灯タイミングに合わせて等間隔でレーザ光を照射する動作を、発光ペン主導の等間隔走査と呼ぶ。
【００９６】
このように制御することで、蛍光ペンと発光ペンが混在した場合でも、両者を別々に検知することができ、その位置検出精度も高めることができる。この制御は、制御部７３により実施することができ、照射部７１を制御し、複数の異なる波長の光に切り替えるとともに、光の照射と非照射を切り替えることにより実現することができる。
【００９７】
発光ペンと蛍光ペンの両方を検知する場合、蛍光ペンの位置検出精度を高めるべく、図２２に示すように、利用する蛍光ペンに応じて、その波長のレーザ光の照射回数を増加させることができる。図２２に示す例では、発光ペンの消灯タイミングに合わせるとともに、波長１の蛍光ペンの位置検出精度を高めるべく、波長１のレーザ光を２回照射した後、波長２、波長３のレーザ光を照射するように制御している。このように発光ペンの消灯タイミングに合わせ、不等間隔でレーザ光を照射する動作を、発光ペン主導の不等間隔走査と呼ぶ。
【００９８】
以上に説明した制御により実施される各走査の遷移を、図２３に示す状態遷移図を参照して説明する。表示部７０上にいずれのペンも存在しない場合、「ペンなし」の状態で、電子黒板主導の等間隔走査が実施される。蛍光ペンを使用して入力するために、表示部７０上に蛍光ペンが置かれると、蛍光ペンを検出し、「発光ペンなし、蛍光ペンあり」の状態に遷移し、電子黒板主導の不等間隔走査に移行する。これにより、その蛍光ペンに対応する波長のレーザ光を照射する時間を長くし、位置検出精度を高める。
【００９９】
表示部７０上から蛍光ペンが離れると、蛍光ペンが不検出となり、再び「ペンなし」の状態に戻る。そして、電子黒板主導の等間隔走査が実施される。
【０１００】
発光ペンを使用して入力するために、表示部７０上に発光ペンが置かれると、発光ペンを検出し、「発光ペンあり、蛍光ペンなし」の状態に遷移し、発光ペン主導の等間隔走査に移行する。これにより、その発光ペンの消灯タイミングに合わせて各波長のレーザ光を照射するように制御し、発光ペンの位置検出精度を高める。
【０１０１】
表示部７０上から発光ペンが離れると、発光ペンが不検出となり、再び「ペンなし」の状態に戻る。そして、電子黒板主導の等間隔走査が実施される。
【０１０２】
「発光ペンなし、蛍光ペンあり」の状態において、表示部７０上に発光ペンが置かれると、発光ペンを検出し、「発光ペンあり、蛍光ペンあり」の状態に遷移する。そして、発光ペン主導の不等間隔走査に移行する。すなわち、表示部７０上に、発光ペンと蛍光ペンの両方が存在し、両方を使用して入力されている状態となる。この発光ペン主導の不等間隔走査により、両方を検出しつつ、蛍光ペンの位置検出精度を高める。
【０１０３】
「発光ペンあり、蛍光ペンなし」の状態において、表示部７０上に蛍光ペンが置かれると、蛍光ペンを検出し、「発光ペンあり、蛍光ペンあり」の状態に遷移する。そして、発光ペン主導の不等間隔走査に移行する。この発光ペン主導の不等間隔走査により、両方を検出しつつ、蛍光ペンの位置検出精度を高める。
【０１０４】
「発光ペンあり、蛍光ペンあり」の状態において、表示部７０上から発光ペンが離れると、発光ペンが不検出となり、再び「発光ペンなし、蛍光ペンあり」の状態に戻り、電子黒板主導の不等間隔走査が実施される。一方、「発光ペンあり、蛍光ペンあり」の状態において、表示部７０上から蛍光ペンが離れると、蛍光ペンが不検出となり、再び「発光ペンあり、蛍光ペンなし」の状態に戻り、発光ペン主導の等間隔走査が実施される。
【０１０５】
図２３には示していないが、表示部７０上から蛍光ペンと発光ペンの両方が同時に離れると、表示部７０上にはペンが存在しない状態になるため、「ペンなし」の状態へ移行し、電子黒板主導の等間隔走査が実施される。その反対に、表示部７０上に蛍光ペンと発光ペンの両方が同時に置かれると、「ペンなし」の状態から「発光ペンあり、蛍光ペンあり」の状態へ移行し、発光ペン主導の不等間隔走査が実施される。
【０１０６】
図２４を参照して、上記の走査方法を変更する制御について説明する。この制御は、図５に示す制御部７３により実施される。ステップ２４００から処理を開始し、ステップ２４０５では、蛍光ペンを検出したかを判断する。制御部７３は、撮像部７２が撮像した画像において、蛍光ペンの発光が観測されるか否かにより判断することができる。蛍光ペンを検出した場合は、ステップ２４１０へ進み、検出しない場合は、ステップ２４２５へ進む。
【０１０７】
ステップ２４１０では、発光ペン主導の等間隔走査を実施しているかを判断する。実施している場合、ステップ２４１５へ進み、蛍光ペンの位置検出精度を高めるべく、発光ペン主導の不等間隔走査に移行し、その走査を開始する。この場合、発光ペンと蛍光ペンの両方を検出している。一方、実施していない場合、蛍光ペンのみを検出しているため、ステップ２４２０へ進み、蛍光ペンの位置検出精度を高めるべく、電子黒板主導の不等間隔走査を開始する。
【０１０８】
ステップ２４２５では、発光ペンを検出したかを判断する。検出した場合、ステップ２４３０へ進み、発光ペン主導の不等間隔走査および電子黒板主導の不等間隔走査のいずれかの不等間隔走査を実施しているかを判断する。一方、検出しない場合、発光ペンも、蛍光ペンも検出しないことから、ステップ２４３５へ進み、電子黒板主導の等間隔走査を開始する。
【０１０９】
ステップ２４３０で実施していると判断された場合、発光ペンと蛍光ペンの両方を検出しているため、ステップ２４４０へ進み、発光ペン主導の不等間隔走査を開始する。なお、既に発光ペン主導の不等間隔走査を開始している場合は、その走査を継続する。
【０１１０】
ステップ２４３０で実施していないと判断された場合、発光ペンのみを検出しているため、ステップ２４４５へ進み、発光ペン主導の等間隔走査を開始する。各走査を開始したところで、ステップ２４０５へ戻り、同様の処理が繰り返される。
【０１１１】
以上のように、レーザ光を照射しない不照射時間を設け、その不照射時間において発光ペンを検知することで、発光ペンと蛍光ペンが混在していても、両方を検知し、その位置を検出することができる。また、発光ペンの発光パターンを一定の時間間隔で点灯、消灯を繰り返す特定のパターンとし、その消灯タイミングに合わせて各波長のレーザ光を照射するように制御することで、発光ペンの位置検出精度を高めることができる。さらに、その消灯タイミングに合わせつつ、各波長のレーザ光を照射する順や回数等を変えて照射時間を不等間隔にすることで、発光ペンの位置検出精度を高めることができる。
【０１１２】
これまで、指、発光ペン、蛍光ペンを検知し、その位置を検出することについて説明してきたが、上記例では、何れもが電子黒板１０上にない場合（本システムが未使用の時）でも、光の点灯、撮像部７２による撮像を継続している。いつでも指等を検知することができるようにするためである。しかしながら、一定期間以上未使用の場合においても、本システムの使用時（通常動作時）と同じように点灯させ、撮像を継続することは、消費電力の無駄となる。
【０１１３】
この消費電力を低減する１つの方法として、一定期間以上未使用の場合に撮像部７２としてのカメラのフレームレートを低減する方法を挙げることができる。フレームレートは、カメラが単位時間（１秒間）当たりに撮像する画像の数を表す。カメラは、点灯と消灯を切り替えて１枚ずつ交互に撮像する。なお、点灯時に撮像可能であれば、その点灯時間は、通常動作時の点灯時間より短くても構わない。
【０１１４】
このため、フレームレートを低減するように変更することで、図２５に示すような通常動作時の一定時間間隔で点灯、消灯を繰り返す制御から、点灯時間を短くし、消灯時間を長くする制御に切り替えることができる。フレームレートは、通常動作時を120fpsとした場合、例えば10fps程度におとすことができる。この制御は、媒体識別部７４が一定時間、指、発光ペン、蛍光ペンのいずれも識別しないことを受けて、制御部７３が、撮像部７２のフレームレート変更を行うことで実現することができる。
【０１１５】
本システムの未使用時に消費電力を低減する方法としては、複数のカメラのうちの少なくとも１つを残し、他のすべてを電源OFFにする方法を挙げることができる。図２６に示すように、画面１００の２つの隅部に２つのカメラ１０１、１０２を備えるシステムでは、例えばカメラ１０１を通常動作の状態に維持し、カメラ１０２の電源をOFFにすることができる。ここでは、カメラが２つの場合について説明したが、３つあるいは４つの場合も同様で、１つを除き、他の２つあるいは３つの電源をOFFにすることができる。
【０１１６】
なお、残されたカメラ１０１は、通常に動作するため、指等の検知は可能である。ただし、カメラ１０１が１つしか動作していないので、それらの位置を検出することはできない。動作しているカメラ１０１により指等を検知した場合、電源がOFFにされたカメラ１０２は、電源がONにされ、通常動作に復帰する。
【０１１７】
この消費電力を低減するための制御は、媒体識別部７４が一定時間、指、発光ペン、蛍光ペンのいずれも識別しないことを受けて、制御部７３が、撮像部７２の電源を切断(OFF)することで実現することができる。通常動作に復帰するための制御は、媒体識別部７４が、指、発光ペン、蛍光ペンのいずれかを識別したことを受けて、制御部７３が、撮像部７２の電源を投入(ON)することで実現することができる。
【０１１８】
ここでは、１つのカメラ以外をすべて電源OFFにする例を示したが、例えばカメラを３つ以上備えるシステムにおいては、少なくとも２つを通常に動作させ、その他を電源OFFにすることも可能である。通常動作しているカメラが少なくとも２つあれば、指等の検知に加えて、その位置を検出することが可能となる。このため、指等を検知した段階で、その位置の検出を開始することができる。
【０１１９】
本システムの未使用時に消費電力を低減する方法としては、照射部７１としてのLEDのパルス幅変調(PWM)のDuty比を下げる方法を挙げることができる。PWMは、LED調光等の制御信号として用いられ、周波数を一定としてパルス信号の幅だけを変化させることができる。Duty比は、ある期間においてある状態が継続される期間の割合で、ここでは一周期における点灯期間の割合とされる。図２７では、通常動作時には、一定時間ごと点灯、消灯を繰り返すので、PWM Dutyは50%であるが、未使用時（待機時）には、例えばPWM Dutyを20%とし、点灯期間を通常動作時の2/5の長さとし、消灯期間を通常動作時の2.5倍の長さにすることができる。
【０１２０】
待機時に下げるPWM Dutyの値については、通常動作での指の位置を検出する処理には影響が出るが、指を検知し、待機時からの復帰を行えるレベルとすることができる。未使用時に消費電力を低減する３つの方法を例示したが、これらの方法は、個別に使用してもよいが、組み合わせて使用してもよい。
【０１２１】
この制御は、媒体識別部７４が一定時間、指、発光ペン、蛍光ペンのいずれも識別しないことを受けて、制御部７３が、照射部７１へ入力する制御信号のパルス幅を変化させる、PWM制御を行うことで実現することができる。
【０１２２】
本システムは、上記の消費電力を低減するための機能に加えて、ある閾値以上で、電子ペン（発光ペン）の追従性を向上させるための機能を備えることもできる。閾値としては、所定の領域１０３内の一定時間における電子ペン１０４の移動量を挙げることができる。所定の領域１０３は、図２８に示すような矩形の領域１０３とし、移動量は、位置検出部７５により検出された位置に基づき、上記の計算部により計算して求めることができる。この追従性を向上させるために、電子ペン１０４により細かく書いているかを判定することができる。この判定のために、別途判定部を設け、計算部により計算された移動量が閾値以上であるかを判定することができる。
【０１２３】
細かく書いている場合は、電子ペン１０４の追従性をより高めるため、カメラ１０１、１０２のフレームレートを上げる制御を行う。フレームレートを上げると、単位時間により多くの画像を取得することができ、より正確な位置を検出することができるからである。この制御は、制御部７３が撮像部７２のフレームレート変更を行うことで実現することができる。
【０１２４】
また、本システムは、上記の機能のほか、検知モードを固定する機能を備えることができる。検知モードは、電子ペンを検知するモード、指を検知するモードであり、片方のみを使用したい場合に、その片方のモードに固定することができる。電子ペンを検知するモードに固定したい場合、図２９に示すように、画面１００の同位置を電子ペン１０４で３回タッチすることにより、そのモードに固定することができる。これは一例であるので、電子ペン１０４で２回タッチして固定してもよいし、４回以上タッチして固定してもよい。また、その他の方法により固定してもよい。
【０１２５】
図２９では、同位置を３回タッチとしているが、完全に同位置を複数回連続でタッチすることは難しい。そこで、３回連続で所定の範囲内の位置をタッチした場合にモード固定することができる。所定の範囲は、点線を書くのと区別するために、例えば最初にタッチした位置を中心として半径1cm内等の狭い範囲とすることができる。
【０１２６】
この機能は、媒体識別部７４が電子ペン１０４を所定の回数、ここでは３回連続で識別し、かつ位置検出部７５が３回連続で所定の範囲内の位置を検出したことを受けて、制御部７３がモードを固定し、照射部７１に連続して光を照射させ、または光の照射を停止させるように制御することで実現することができる。
【０１２７】
以上のような追加的な機能を備えることで、待機時の消費電力を下げることができ、また、電子ペン等の追従性を向上させることができる。モードを固定することで、あるユーザが使用時に他のユーザの書き込み禁止にすることができる。これにより、遠隔地との同時使用等の場合に、他のユーザの書き込みがなくなるので、利便性を向上させることができる。
【０１２８】
上記の例では、消費電力モードに応じて認識速度を変更することを説明したが、これに限られるものではなく、カメラ１０１、１０２のフレームレートを変更してもよい。これにより、指の追従性とはトレードオフとなるが、動作時の電子黒板の消費電力を下げることができる。
【０１２９】
これまで本発明を、情報表示装置、情報表示システムおよびプログラムとして上述した実施の形態をもって説明してきた。しかしながら、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができるものである。また、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【０１３０】
したがって、情報表示装置や情報表示システムが実行する方法、上記プログラムが記録された記録媒体、上記プログラムを提供する外部機器等も提供することができるものである。
【符号の説明】
【０１３１】
１０…電子黒板、１１…PC、１２…電子ペン、２０…LED、２１…センサ、２２…通信I/F、２３…コントローラ、３０…CPU、３１…ROM、３２…RAM、３３…SSD、３４…ネットワークコントローラ、３５…外部記憶コントローラ、３６…センサコントローラ、３７…GPU、３８…キャプチャデバイス、３９…ディスプレイコントローラ、４０…ペンコントローラ、４１…バス、４２…LED、４３…カメラ、４４…ディスプレイ、４５…再帰反射板、４６…外部メモリ、５０…表示部、５１…入力部、５２…制御部、５３…通信部、６０…接触検知部、６１…発光部、６２…通信部、６３…制御部、７０…表示部、７１…照射部、７２…撮像部、７３…制御部、７４…媒体識別部、７５…位置検出部、７６…通信部、７７…再帰反射部、８０…指、９０…ペン、９１…発光体、９２…励起光、９３…発光、１００…画面、１０１、１０２…カメラ、１０３…領域、１０４…電子ペン
【先行技術文献】
【特許文献】
【０１３２】
【特許文献１】特開２０００−１３２３４０号公報
【図１】
2017201497.tif 000003
【図２】
2017201497.tif 000004
【図３】
2017201497.tif 000005
【図４】
2017201497.tif 000006
【図５】
2017201497.tif 000007
【図６】
2017201497.tif 000008
【図７】
2017201497.tif 000009
【図８】
2017201497.tif 000010
【図９】
2017201497.tif 000011
【図１０】
2017201497.tif 000012
【図１１】
2017201497.tif 000013
【図１２】
2017201497.tif 000014
【図１３】
2017201497.tif 000015
【図１４】
2017201497.tif 000016
【図１５】
2017201497.tif 000017
【図１６】
2017201497.tif 000018
【図１７】
2017201497.tif 000019
【図１８】
2017201497.tif 000020
【図１９】
2017201497.tif 000021
【図２０】
2017201497.tif 000022
【図２１】
2017201497.tif 000023
【図２２】
2017201497.tif 000024
【図２３】
2017201497.tif 000025
【図２４】
2017201497.tif 000026
【図２５】
2017201497.tif 000027
【図２６】
2017201497.tif 000028
【図２７】
2017201497.tif 000029
【図２８】
2017201497.tif 000030
【図２９】
2017201497.tif 000031