(57)【特許請求の範囲】
【請求項１】
表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムであって、  前記表示画面の外周から座標を検出するための座標検出領域に光を照射する第１の光照射手段と、  前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出する複数の光検出手段と、  前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する判定手段と、  前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する位置特定手段と、  前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する調整手段と、  を有することを特徴とする座標検出システム。
【請求項２】
前記第１及び第２の光照射手段及び、前記光を検出する光検出手段は、赤外光を照射、検出するものであることを特徴とする請求項１記載の座標検出システム。
【請求項３】
前記光検出手段は、光学カメラであることを特徴とする請求項１または２記載の座標検出システム。
【請求項４】
前記判定手段は、輝度情報に基づいて明暗レベルに従い、明暗レベルにおける閾値を２つ以上有することを特徴とする請求項１記載の座標検出システム。
【請求項５】
検出した電子ペン、または指の指示点にペンの識別情報を紐付けてトラッキングすることを特徴とする請求項１記載の座標検出システム。
【請求項６】
前記電子ペンから、無線通信を用いて、ペン識別情報、押圧検知情報、及び前記第２の光照射手段の光源輝度情報をディスプレイ装置本体に送信する送信手段を有することを特徴とする請求項１記載の座標検出システム。
【請求項７】
前記第１の光照射手段を前記光検出手段によって検出した輝度レベルに基づいて指示部検出時の検出レベルを補正する検出レベル補正手段を有することを特徴とする請求項１記載の座標検出システム。
【請求項８】
前記電子ペンの前記第２の光照射手段から照射される光を利用して通信を行う光通信の信号を受信する光信号受信手段と、  前記光信号受信手段が受信する前記光通信の信号に含まれる、前記電子ペンを識別する識別情報であるペン識別情報を抽出する情報抽出手段と、  前記情報抽出手段によって抽出される前記電子ペンの前記ペン識別情報と、前記位置特定手段によって特定される前記電子ペンの位置を示す座標とを対応づけて管理する描画データ管理手段と、  を有する請求項１乃至７のいずれか一項に記載の座標検出システム。
【請求項９】
前記座標検出システムは、１つ以上の前記電子ペンにより指示される座標を検出し、  前記電子ペンは、  他の電子ペンの前記第２の光照射手段から照射される光による前記光通信の信号を検出する光信号検出手段と、  前記光信号検出手段による前記光通信の信号の検出結果に基づいて、当該電子ペンの前記光通信の信号を送信するタイミングを制御する光通信制御手段と、  を有する請求項８に記載の座標検出システム。
【請求項１０】
前記光通信制御手段は、  前記光通信の信号の送信を開始するとき、前記光信号検出手段により前記他の電子ペンによる前記光通信の信号を検出して、前記他の電子ペンによる前記光通信の信号が検出された場合、前記光通信の信号の送信を中止し、所定の時間待機する請求項９に記載の座標検出システム。
【請求項１１】
前記第２の光照射手段から照射される光は、前記第１の光照射手段から照射される光と波長が異なることを特徴とする請求項９又は１０に記載の座標検出システム。
【請求項１２】
前記光信号検出手段は、  前記第２の光照射手段から照射される光を透過する光学フィルタを設けたフォトダイオードである請求項１１に記載の座標検出システム。
【請求項１３】
前記光信号受信手段は、  前記第２の光照射手段から照射される光を透過する光学フィルタを設けたフォトダイオードを用いて、前記光通信の信号を受信する請求項１１又は１２に記載の座標検出システム。
【請求項１４】
前記光通信の信号は、  前記電子ペンのペン識別情報と前記電子ペンの描画状態を示す情報とを含む請求項１０に記載の座標検出システム。
【請求項１５】
表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する画像処理装置であって、  前記表示画面の外周から座標を検出するための座標検出領域に光を照射する第１の光照射手段と、  前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出する複数の光検出手段と、  前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する判定手段と、  前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する位置特定手段と、  前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する調整手段と、  を有することを特徴とする画像処理装置。
【請求項１６】
前記電子ペンの前記第２の光照射手段から照射される光を利用して通信を行う光通信の信号を受信する光信号受信手段と、  前記光通信の信号に含まれる、前記電子ペンを識別する識別情報であるペン識別情報を抽出する情報抽出手段と、  前記情報抽出手段によって抽出される前記電子ペンの前記ペン識別情報と、前記位置特定手段によって特定される前記電子ペンの位置を示す座標とを対応づけて管理する描画データ管理手段と、  を有する請求項１５に記載の画像処理装置。
【請求項１７】
表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムによって実行される座標検出方法であって、  第１の光照射手段が、前記表示画面の外周から座標を検出するための座標検出領域に光を照射し、  複数の光検出手段が、前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出し、  判定手段が、前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定し、  位置特定手段が、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定し、 調整手段が、前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整することを特徴とする座標検出方法。
【請求項１８】
表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムに用いられるコンピュータが読み取り可能なプログラムであって、  第１の光照射手段が、前記表示画面の外周から座標を検出するための座標検出領域に光を照射する手順、  複数の光検出手段が、前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出する手順、  判定手段が、前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する手順、  位置特定手段が、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する手順、及び 調整手段が、前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する手順、
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標検出システム、座標検出方法、画像処理装置、及びプログラムに関する。
【背景技術】
【０００２】
電子黒板、電子ホワイトボードで電子ペンや指の座標検出にタッチパネルを用いる方式や、光源と光学センサ、例えば赤外LED及び光学カメラを使用する光学式のシステムがある。多点検出や電子ペンと指での指示を区別するために相互容量方式の投影型静電容量方式のタッチパネルを使うシステムがあり既に知られている。
【０００３】
しかし、今までのシステムの場合、投影型静電容量方式のタッチパネルを用いる方法では座標検出領域である画面全体表面にタッチパネルを構成しなくてはならなかった。特に電子ホワイトボード等の大画面に対応する場合、配線・端子数が増加し、検出用端子までの配線長が長くなり通常用いられる透明電極では電気抵抗が高すぎるため電気抵抗の低い金属配線層が必要になり、製造コストが上がってしまう。また、画面上にこれら電極や配線を構成しなくてはならないため輝度への影響が避けられない。
【０００４】
電子ホワイトボードではディスプレイ装置本体にタッチパネルを備え付けられるが、プロジェクタを用いたインタラクティブ装置への応用や既存ディスプレイ装置に対しての後付けユニットのような形での提供が難しい。画面（※注）へのタッチパネルの張り合わせには専門の技術が必要であり、表示装置に張り合わせた状態でのチューニングが必須という問題があった。
【０００５】
（※注）現状の製品として存在するのは「画面の対角線の長さが149.86cm（50型）」程度である。
【０００６】
特許文献１には複数の電子ペンや指で同時にタッチ操作を行うことを目的とするタッチパネルシステムが開示されている。このシステムは、格子状に配置された送信電極と受信電極（いわゆる相互容量方式の投影型静電容量タッチパネル）を用いたシステムである。同文献には、電子ペンが送信電極を通して受信した同期信号に基づいてペン識別信号を受信電極に送出することにより電子ペンと指とを区別し、さらに電子ペンの識別を行う方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載の発明は、50型以上の大画面の電子ホワイトボードを考慮すると、製造コストが上がり、輝度への影響が避けられず、後付けユニットのような形での提供が難しいという問題は解消できていない。
【０００８】
そこで、本発明の目的は、低コストで、電子ペンによる指示の検出と指による指示の検出とを同時に行うことにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１に記載の発明は、表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムであって、前記表示画面の外周から座標を検出するための座標検出領域に光を照射する第１の光照射手段と、前記第１の光照射手段から照射された光と、前記電子ペンから光を発する第２の光照射手段から照射された光とを検出する光検出手段と、前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する判定手段と、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する位置特定手段と、前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する調整手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、低コストで、電子ペンによる指示の検出と指による指示の検出とを同時に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）は、第１の実施形態に係る座標検出システムの外観図であり、（ｂ）は、（ａ）の楕円Ａ内の拡大図である。
【図２】図１に示した電子ホワイトボード本体101と、電子ペン107と、ユーザーの指108と、の関係を示す図である。
【図３】第１の実施形態に係る電子ホワイトボード200の機能ブロック図の一例である。
【図４】第１の実施形態に係る座標検出システムのハードウェアブロック図の一例である。
【図５】（ａ）は、第１の実施形態に係る電子ペン107の概念図であり、（ｂ）は、（ａ）に示した電子ペンの機能ブロック図であり、（ｃ）は、（ｂ）のハードウェアブロック図である。
【図６】第１の実施形態に係る指108を検出する際のカメラ画像の一例である。
【図７】第１の実施形態に係る電子ペン107を検出する際のカメラ画像の一例である。
【図８】第１の実施形態に係るカメラL103から見た均一な輝度で光る画面枠内側光源の一例である。
【図９】（ａ）、（ｂ）、（ｃ）、（ｄ）は、第１の実施形態に係る画面の枠内側の光源画像の補正についての説明図である。
【図１０】第１の実施形態に係る電子ペン及び指の同時検出についての説明図である。
【図１１】（ａ）、（ｂ）は、第１の実施形態に係る電子ペン及び指の検出方法についての説明図である。
【図１２】第１の実施形態に係る指突きの削除についての説明図である。
【図１３】図１に示した電子ホワイトボードの動作を示すシーケンス図の一例である。
【図１４】第２の実施形態に係る座標検出システムの外観の一例を示す図である。
【図１５】第２の実施形態に係る座標検出システムのハードウェアブロック図の一例である。
【図１６】第２の実施形態に係る電子ペンのハードウェア構成の例を示す図である。
【図１７】第２の実施形態に係る電子ホワイトボードの機能ブロック図の一例である。
【図１８】第２の実施形態に係る電子ペンの機能ブロック図の一例である。
【図１９】第２の実施形態に係る電子ペンの処理の例を示すフローチャートである。
【図２０】第２の実施形態に係る電子ペンの通信タイミングについて説明するための図である。
【図２１】第２の実施形態に係る座標検出システムの処理の例を示すフローチャートである。
【図２２】第２の実施形態に係る座標検出システムの処理の例を示すシーケンス図である。
【発明を実施するための形態】
【００１２】
＜概要＞
本発明の実施の形態を説明する。本発明に係る座標検出システムは、電子ホワイトボード（電子黒板とも言う。）もしくはプロジェクタ装置の投影面を含む表示画面における電子ペン及び指の座標検出の処理に際して、以下の特徴を有する。
【００１３】
要するに、座標検出システムは、発光素子や受光素子等の光学式部材を用いることで表示画面への輝度影響を避け、画面サイズが変わってもほぼそのまま対応可能としたものである。
【００１４】
また、座標検出システムは、電子ペンに搭載された光源の検出と、画面枠内側の光源の影を検出する指検出とを同時に行うものである。
【００１５】
また、座標検出システムは、電子ペンに搭載された光源の輝度をディスプレイ装置の画面枠内側の光源の輝度より高くし輝度に差を持たせるものである。
【００１６】
また、座標検出システムは、同じカメラ画像において、輝度の閾値を２値持つことでペンの光源か画面枠内側の光源か否かを見分けることができる。
【００１７】
また、座標検出システムは、画面枠内側光源は輝度が全て同じであれば光学カメラから遠ざかる、すなわち対角に近づくほどカメラで検出される輝度は下がる。好悪カメラから見て画面枠内側の光源の輝度が一定に見えたほうがペン光源との輝度差を閾値で判別しやすいため、画面枠内側光源の輝度を補正して均一に見えるようにする。
【００１８】
ペン光源はペンの電源（電池）電圧の低下や光源デバイス（LED）の特性のバラつきの影響によって弱くなる場合が考えられるため、ペン内部で光源の輝度を測定して本体に伝えることでペン光源を検出しやすいように画面枠内側光源の輝度を調整する。
【００１９】
LEDはLight Emitting Diodeの略であり、LEDは、本実施形態では赤外光を照射する発光素子である。
【００２０】
表示面に座標検出に関わる構造物が不要で表示装置と切り離して構成することで後付け設置が可能である。
【００２１】
［第１の実施形態］
以下、本実施形態について、ディスプレイ装置の場合で説明する。
【００２２】
＜構成＞
図１（ａ）は、第１の実施形態に係る座標検出システムの外観図であり、図１（ｂ）は、図１（ａ）の楕円Ａ内の拡大図である。
【００２３】
図１（ａ）に示すディスプレイ装置としての電子ホワイトボード200は、ディスプレイ装置本体としての電子ホワイトボード本体101と、脚部160とを有する。
【００２４】
図１（ｂ）に示す電子ホワイトボード本体101は、表示手段としての画面102と、第１の光検出手段としてのカメラL103と、第２の光検出手段としてのカメラR104と、第１の光照射手段としての光源である赤外LEDアレイ105L,105C,105Rと、を有する。
【００２５】
図２は、図１に示した電子ホワイトボード本体101と、電子ペン107と、ユーザーの指108と、の関係を示す図である。
【００２６】
電子ペン107は、先端に光を発する第２の光照射手段としての赤外LED146を有する。
【００２７】
電子ホワイトボード本体101の画面102内を座標検出領域として、画面枠の角に２つ以上のカメラL103、カメラR104を設置し、カメラ画像から電子ペン107や指108指示点の座標を検出する。
【００２８】
図２では画面上の両端にカメラL103、カメラR104を設置した例を示す。カメラ103,104間の基線の設置距離、カメラL103、カメラR104の設置角度は既知のため、カメラ画像から基線と検出された対象物間の角度を求め、そこから三角測量で対象物の位置を特定する。
検出精度向上のため、画面102の下側の両端にもカメラを設置して複数のカメラの組合せから対象物の位置を特定しても良い。
【００２９】
ここではカメラL103、カメラR104として赤外線カメラを用い、赤外光を用いて対象物の検出を行う。
【００３０】
カメラL103及び、カメラR104はそれぞれ90度（以上）の画角で対向する２辺を検出できるようになっている。それら対向する２辺である画面枠の内側には光源を設置しておき、カメラL103及び、カメラR104はこの光源を検出する。
【００３１】
尚、画面下側にカメラを設置する場合には、画面上の枠内側にも光源が必要である。上記の例では赤外LEDアレイ105L,105c,105Rを光源として用いる例を記載している。赤外LEDアレイ105L,105c,105Rではなく、導光板を用いて均一に発光するようにした光源でも良い。
【００３２】
画面102の座標検出領域に指等をつくと、カメラL103、カメラR104からは対向する光源の影としてそれを検出することができるので、この影の位置を三角測量で特定する。
【００３３】
電子ペン107の検出の場合にはペン先に光源（赤外LED）を取り付けておき、光源の点を検出することで位置の特定を行う。
【００３４】
電子ホワイトボード本体101の画面周辺に構成された例を示しているが、座標検出に表示部は関係ないためカメラL103、カメラR104と光源（赤外LED）を設置した画面枠のみを独立させた構成としても良い（※注）。
【００３５】
（※注）PCベースの本体装置に対するポインティングデバイスとして機能させる。
【００３６】
＜機能ブロック図＞
図３は、第１の実施形態に係る電子ホワイトボード200の機能ブロック図の一例である。
【００３７】
電子ホワイトボード（画像処理装置）200は、表示手段としての画面102と、座標検出システム201と、を有する。
【００３８】
座標検出システム201は、制御手段111、第１の光照射手段112、第１の光検出手段113、第２の光検出手段114、検出レベル補正手段115、判定手段116、通信手段117、位置特定手段118、及び調整手段119を有する。
【００３９】
＜ハードウェアブロック図＞
図４は、第１の実施形態に係る座標検出システム201のハードウェアブロック図の一例である。
【００４０】
座標検出システム201は、CPU120、ROM121、RAM122、無線Md123、I/F124、カメラL103、カメラR104、及び赤外LEDアレイ105L,105C,105Rを有する。
【００４１】
CPUは、Central Processing Unitの略であり、CPU120は、例えば、ROM121等に記憶された座標検出システム201用のプログラムを実行することにより、座標検出システム201を統括制御する演算装置である。
【００４２】
ROMは、Read Only Memoryの略であり、ROM121は座標検出システム201用の制御プログラムを記憶した不揮発性の記憶素子であり、例えばマスクROM、又はフラッシュROMが挙げられる。
【００４３】
RAMは、Random Access Memoryの略であり、RAM122はROM121から読み出された制御プログラムを展開する記憶素子である。
【００４４】
無線Md(モジュール)123は、電子ペン107に内蔵した無線Md142とデータを授受する通信手段である。無線Md123は、アンテナ、送信部、及び受信部を有する。無線Md123の送信部は、ペン識別情報、押圧検知情報、及び第２の光照射手段の光源輝度情報等をディスプレイ装置本体に送信する。無線Md123の受信部は、電子ペン107からの応答信号を受信する。
【００４５】
I/F124は、外部の機器とデータを授受する素子である。
【００４６】
カメラL103、カメラR104、及び赤外LEDアレイ105L,105C,105Rについては前述したため、説明を省略する。
【００４７】
ここで、図３に示した表示手段110は、図１に示した画面102によって実現される。図３に示した制御手段111は、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。第１の光照射手段112は、図４に示した赤外LEDアレイ105L,105c,105Rによって実現される。第１の光検出手段113は、図４に示したカメラL103によって実現される。第２の光検出手段114は、図４に示したカメラR104によって実現される。
【００４８】
検出レベル補正手段115は、第１の光照射手段を第１及び第２の光検出手段によって検出した輝度レベルに基づいて指示部検出時の検出レベルを補正する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。
【００４９】
判定手段116は、第１及び第２の光検出手段であるカメラL103、カメラR104によって検出された光の輝度に関する輝度情報に基づいて明暗レベルに従い電子ペン107又は指108であるかを判定する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。
【００５０】
通信手段117は、図４に示した無線Md123によって実現される。
【００５１】
位置特定手段118は、判定手段116によって判定された電子ペン107又は指108の位置を特定する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。
【００５２】
調整手段119は、電子ペン107から送られてきた第２の光照射手段の光源輝度情報に基づいて第１の光照射手段の発光輝度を調整する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。
【００５３】
ここで、ハードウェアブロック図では、CPU120を含む主処理部にI/F124を介して直接カメラL103,R104を接続する方式としているが、画像処理を高速に行うためにFPGA（field-programmable gate array）等の専用処理部を別途用いても良い。
【００５４】
図５（ａ）は、第１の実施形態に係る電子ペン107の概念図であり、図５（ｂ）は、図５（ａ）に示した電子ペンの機能ブロック図であり、図５（ｃ）は、図５（ｂ）のハードウェアブロック図である。
【００５５】
図５（ａ）に示す電子ペン107は、内部に無線Md142を有し、先端に光源（赤外LED）146を有する。
【００５６】
図５（ｂ）に示す電子ペン107は、制御手段131、通信手段132、電池手段133、押圧検出手段134、信号強度検出手段135、及び信号発信手段136を有する。
【００５７】
図５（ｃ）に示す電子ペン107は、マイコン141、無線Md142、バッテリ143、圧力センサ144、赤外センサ145、及び赤外LED146を有する。
【００５８】
マイコン（マイクロコンピュータ）141は、例えば、CPU、RAM、フラッシュROM等を含み、フラッシュROM等に記憶した電子ペン107用のプログラムを実行することにより、電子ペン107を統括制御する素子である。
【００５９】
無線Md142は、アンテナ、送信部及び受信部を有する。
【００６０】
バッテリ143は、電子ペン107の電源であり、一次電池もしくは二次電池が用いられる。
【００６１】
圧力センサ144は、ユーザーが電子ペン107を把持しているか否かを検知するセンサである。
【００６２】
赤外センサ145は、電子ホワイトボード本体101からの赤外光を検知するセンサである。
【００６３】
赤外LED146は、電子ホワイトボード本体101へ赤外線を照射する素子である。
【００６４】
ここで、制御手段131は、マイコン141、及びマイコン141で実行されるプログラム等によって実現され、座標検出システム２０１全体の制御を行う。通信手段132は、無線Md142によって実現される。電池手段133は、バッテリ143によって実現される。押圧検出手段134は、圧力センサ144によって実現される。信号強度検出手段135は、赤外センサ145によって実現される。信号発信手段136は、赤外LED146によって実現される。
【００６５】
電子ペン107は、光源（赤外LED）をペン先に搭載し、電子ペン107が画面に押し当てられたことを押圧検出部（圧力センサ）で検出し、ユーザーが描画動作をしているときに光源を発光させる。
【００６６】
無線通信機能（省電力無線：例えばBluetooth：登録商標）を搭載しており、押圧により描画動作を検出した際には電子ホワイトボード本体101に描画中であることを通知する。
【００６７】
尚、消しゴムの動作を模すために電子ペン107のペン尻側にもう一つの光源と押圧検出部を設けても良い。
【００６８】
発信する信号（赤外線）の強度が素子（赤外LED146）の特性や電源電圧（バッテリ143の消耗度）によって変化する。このため、検出精度が下がるのを防ぐ目的で、信号強度を電子ペン107内で検出しておいてそれを無線通信により電子ホワイトボード本体101に通知できるようにしている。
【００６９】
＜動作＞
図６は、第１の実施形態に係る指108を検出する際のカメラ画像の一例である。
【００７０】
一例としてカメラL103からは対向する２辺の画面の枠内側に取り付けられた光源としての赤外LEDアレイ105R,105Cが見える。画面102に指108を突くと、光源としての赤外LEDアレイ105R,105Cからの光が指108により遮られ影として検出される。
【００７１】
図７は、第１の実施形態に係る電子ペン107を検出する際のカメラ画像の一例である。
【００７２】
電子ペン107の場合はペン先に搭載された光源としての赤外LED146の光が検出される。この場合、画面102の枠に影もできる。
【００７３】
尚、図７では画面枠の光源である赤外LEDアレイ105C,105Rと電子ペン107の光源である赤外LED146の輝度に差がないので区別するのが難しい。
【００７４】
図８は、第１の実施形態に係るカメラL103から見た均一な輝度で光る画面枠内側光源の一例である。
【００７５】
電子ペン107の光源である赤外LED146と画面102の枠内側の光源である赤外LEDアレイ105C,105Rを輝度から区別しやすいように、画面102の枠内側光源の輝度を落とす（電子ペン107の光源の50％とする）。
【００７６】
画面102の枠内側の光源は均一な輝度で発光していれば、カメラL103で検出される輝度はカメラL103から遠い対角になるほど低くなる。
【００７７】
検出した画像から閾値を用いて精度良く電子ペン107の光源である赤外LED146と区別するためには、均一な輝度に見えた方が良い。
【００７８】
図９（ａ）、（ｂ）、（ｃ）、（ｄ）は、第１の実施形態に係る画面の枠内側の光源画像の補正についての説明図である。
【００７９】
元画像から各横（H）方向の座標における補正テーブル（図９（ｂ）の実線を点線のように補正するもの）を作り、検出時にその補正テーブルを基に補正する。
【００８０】
補正は画面102の枠内側光源部分（赤外LEDアレイ105R,105C）だけにかかるように、元画像の画面枠内側光源部以外をマスクして行う（※注）。
【００８１】
（※注）枠の光源と重なっていないペン光源である赤外LED146に対してはかからないようにしている。ペン光源の一部に対しても補正がかかってしまうことが考えられるが、ペン光源は画面102の枠内側光源部分より輝度が高くかつ近距離に見えるため検出に問題はない。
【００８２】
図１０は、第１の実施形態に係る電子ペン及び指の同時検出についての説明図である。
【００８３】
図１０は、画面102の枠内側の光源の輝度を補正し、輝度をペン光源と差ができるようにした状態を示している。
【００８４】
指108の突きは影として検出され、電子ペン107は枠の光源である赤外LEDアレイ105R,105Cよりもより明るい点として検出される。
【００８５】
さらに、電子ペン107から通知されるペン光源である赤外LED146の強度情報を元に枠内側光源部分の発光輝度を調整できるようにしておくことで、ペン光源の発光特性に合わせて検出に適した発光輝度に調整することができる。
【００８６】
図１１（ａ）、（ｂ）は、第１の実施形態に係る電子ペン及び指の検出方法についての説明図である。
【００８７】
図１１（ａ）に示すように画面102に電子ペン107及び指108が付いているものとする。
【００８８】
検出されたカメラ画像の縦(V)方向の輝度を積算して一次元にすると図１１（ｂ）のようになる。
【００８９】
画面102の枠内側の光源としての赤外LEDアレイ105R,105Cはほぼ一定の輝度に見え、指108を突いたところには影となり、電子ペン107を突いたところには電子ペン107の光源が検出される。尚、電子ペン107付近の画面102の枠光源には電子ペン107自体の影と、電子ペン107で描く時の指突きが合った場合には指突きによる影が検出される。
【００９０】
この値から、座標検出システム201の判定手段116は、ペン検出閾値を超えた位置を電子ペン107と判定し、指検出閾値を下回った位置を指108として判定する。
【００９１】
また、座標検出システム201の位置特定手段118は、例えば、図１１（ｂ）における電子ペン107のＨ方向の位置から、２つのカメラを結ぶ基線に対する電子ペン107の角度を特定し、電子ペン107の指示位置（座標）を算出する。
【００９２】
例えば、位置特定手段118は、カメラL103で取得したカメラ画像に基づいて、Ｖ方向の輝度の積算値がペン検出閾値を超える点に対応するＨ方向の位置から、カメラL103を中心とした、基線に対する電子ペン107の角度（第１の角度）を特定する。
【００９３】
一例として、位置特定手段118は、カメラを起点としたＨ方向の位置と角度とを対応づけた対応情報をROM121等に予め記憶しておく。これにより、位置特定手段118は、Ｈ方向の位置に対応する角度を、ROM121に記憶した対応情報から取得することができるようになる。
【００９４】
同様にして、位置特定手段118は、カメラR104で取得したカメラ画像に基づいて、Ｖ方向の輝度の積算値がペン検出閾値を超える点に対応するＨ方向の位置から、カメラR104を中心とした、基線に対する電子ペン107の角度（第２の角度）を特定する。
【００９５】
さらに、位置特定手段118は、三角測量の基線となるカメラL103とカメラR104との間の距離、第１の角度、及び第２角度を用いて、公知の三角測量により電子ペン107の指示位置（座標）を算出（特定）する。
【００９６】
また、位置特定手段118は、Ｖ方向の輝度の積算値が指検出閾値を下回る点に対して同様の処理を行うことにより、指108の指示位置（座標）を特定する。
【００９７】
位置が特定された検出点の組合せにはそれぞれ同じIDを紐付けてトラッキングすることで、多点検出を可能とする（既存の検出点がある状態で新しい検出点が出現すると検出点が追加される。またスキャン間で突然同じ点が遠方に飛ぶことはないとする。）。
【００９８】
図１２は、第１の実施形態に係る指突きの削除についての説明図である。
【００９９】
位置特定の結果、電子ペン107が検出された位置近傍の一定の範囲に指と思われる位置が検出された場合、それは指突きと判断して削除する。
【０１００】
＜シーケンス図＞
図１３は、図１に示した電子ホワイトボードの動作を示すシーケンス図の一例である。
【０１０１】
座標検出システム201の動作（座標検出方法）は、初期化及び動作開始処理の段階と、電子ペン使用時のみ実施される処理の段階と、座標検出システムにおいて一定間隔で行われる処理の段階と、を有する。
【０１０２】
電子ペン107と指108の指示、指示終了のタイミングは非同期だが、検出処理は同時に行われる。
（初期化及び動作開始処理の段階）
座標検出システム201が、検出用LED点灯、補正テーブル作成、輝度調整を行う（ステップS1）。
【０１０３】
座標検出システム201が、検出開始する（ステップS2）。
（電子ペン使用時のみ実施される処理の段階）
電子ペン107及び指108で座標検出システム201のディスプレイ装置の画面102（図１参照）における座標検出領域を指示する（ステップS3,S4）。
【０１０４】
電子ペン107の押圧により描画中を検出し（ステップS5）、電子ペン107のペン先LEDを点灯し、輝度を測定する（ステップS6）。
【０１０５】
電子ペン107は、座標検出システム201に描画状態、ペン先LED輝度通知すると（描画中は一定間隔で通知される：ステップS7）、座標検出システム201は、検出用LEDの輝度を調整する（ステップS8）。
【０１０６】
座標検出システム201は、カメラ画像を取得し、補正テーブルにて補正を行い（ステップS9）、閾値で明部と、電子ペン107と、暗部と、指108とを判別する（ステップS10）。
【０１０７】
座標検出システム201は、電子ペン107と指108の位置（座標）を特定し（ステップS11）、電子ペン107付近の指108の位置情報としての指情報を削除する（ステップS12）。
【０１０８】
座標検出システム201は、トラッキング中の電子ペン107と指108の位置情報とを比較（位置が近ければ同一と判断：ステップS13）し、新規に位置を特定した電子ペン107及び指108の位置情報を記憶（新規にトラッキング）する（ステップS14）。
【０１０９】
座標検出システム201は、消滅した電子ペン107及び指108の情報を削除し（指示が無くなったことを示し：ステップS15）、電子ペン107の指示位置を特定し（ステップS16）、指108の指示位置を特定する（ステップS17）。
【０１１０】
指108は、座標検出システム201に指示終了の信号を送り（ステップS18）、電子ペン107は、座標検出システム201に指示終了の信号を送り（ステップS19）、電子ペン107は、押圧により描画終了を検出する（ステップS20）。
【０１１１】
電子ペン107は、座標検出システム201に描画状態を通知する（描画終了通知：ステップS21）。
【０１１２】
＜プログラム＞
以上で説明した本発明に係る座標検出システムは、コンピュータで処理を実行させるプログラムによって実現されている。よって、一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。
【０１１３】
例えば、
表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムに用いられるコンピュータが読み取り可能なプログラムであって、
第１の光照射手段が、前記表示画面の外周から座標を検出するための座標検出領域に光を照射する手順、
第２の光照射手段が、前記電子ペンから光を発する手順、
第１の光検出手段が、前記第１の光照射手段から照射された光を検出する手順、
第２の光検出手段が、前記第２の光照射手段から照射された光を検出する手順、
判定手段が、前記第１の光検出手段によって検出された光の輝度に関する輝度情報に基づいて明暗レベルに従い前記電子ペン又は前記指であるかを判定する手順、
位置特定手段が、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する手順、
を実行するためのプログラムが挙げられる。
【０１１４】
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
【０１１５】
＜記憶媒体＞
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク（FD）、CD-R等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。
【０１１６】
CD-ROMは、Compact Disc Read Only Memoryの略である。フレキシブルディスクは、Flexible Disk：FDを意味する。CD-Rは、CD Recordableの略である。FeRAMは、Ferroelectric RAMの略で、強誘電体メモリを意味する。HDDは、Hard Disc Driveの略である。
【０１１７】
＜作用効果＞
本実施形態によれば、光学式を用いることで画面への輝度影響を避け、画面サイズが変わってもほぼそのまま対応が可能である。
【０１１８】
電子ペンに搭載された光源の検出と、画面枠内側の光源の影を検出する指検出とを組合せ、同時に行う。
【０１１９】
電子ペンに搭載された光源の輝度を画面枠内側の光源の輝度より高くし、輝度に差を持たせる。
【０１２０】
同じカメラ画像において、輝度の閾値を２値持つことでペンの光源か画面枠内側の光源かを見分ける。
【０１２１】
画面枠内側光源は輝度が全て同じであればカメラから遠ざかるほど（対角に近づくほど）カメラで検出される輝度は下がる。カメラから見て画面枠内側の光源の輝度が一定に見えた方が電子ペンの光源との輝度差を閾値で判別しやすいため、画面枠内側光源の輝度を補正して均一に見えるようにする。
【０１２２】
電子ペンの光源は電子ペンの電源（電池）電圧の低下や光源デバイス（LED）の特性のバラつきの影響によって弱くなる場合が考えられる。このため、電子ペンの内部で光源の輝度を測定して本体に伝えることで電子ペンの光源を検出しやすいように画面枠内側光源の輝度を調整する。
【０１２３】
表示面に座標検出に関わる構造物が不要で表示装置と切り離して構成することで後付け設置が可能である。
【０１２４】
以上より、電子ペンや指の座標検出を行う座標検出システムにおいて、電子ペンによる指示の検出と指による指示の検出を同時に行え、かつ製造コストを抑えたまま電子ホワイトボード等の大画面のシステムや後付けの座標検出システムに対応できる。
【０１２５】
尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。すなわち、上述した実施の形態では、ディスプレイ装置の場合で説明したが、本発明は、これに限定されるものではなく、プロジェクタ装置であってもよいことは言うまでもない。
【０１２６】
［第２の実施形態］
第1の実施形態では、座標検出システム201は、無線Md123を用いて、電子ペン107から送信されるペン識別情報、押圧検知情報等の情報を取得している。この場合、電子ペン107を利用する前に、座標検出システム201と電子ペン107との間で無線通信を行うためのペアリング操作が必要になる。
【０１２７】
第２の実施形態では、座標検出システム201と電子ペン107との間のペアリング操作を行なわなくても、複数の電子ペン107で描画された描画データを識別可能にすることにより、利用者の利便性を向上させる座標検出システム201の例について説明する。
【０１２８】
＜構成＞
図１４は、第２の実施形態に係る電子ホワイトボード本体の外観図の一例である。第２の実施形態に係る電子ホワイトボード本体101は、図１（ｂ）に示す第１の実施形態に係る電子ホワイトボード本体101と同様に、画面102、カメラL103、カメラR104、及び赤外LEDアレイ105L,105C,105R等を有する。
【０１２９】
また、第２の実施形態に係る電子ホワイトボード本体101は、画面102の周囲に１つ以上のフォトダイオード1401-1〜1401-6を有している。尚、以下の説明の中で、１つ以上のフォトダイオード1401-1〜1401-6のうち、任意のフォトダイオードを示す場合、「フォトダイオード1401」を用いる。
【０１３０】
尚、フォトダイオード1401は、光通信用の受光素子、又は受光装置の一例である。例えば、フォトダイオード1401は、フォトトランジスタ等の他の受光素子であっても良いし、赤外線受光モジュール等の受光装置であっても良い。
【０１３１】
本実施形態では、電子ペン107は、描画時に発光する赤外LED146の光を利用した光通信の信号により、電子ペン107のペン識別情報や描画状態を示す情報等を座標検出システム201に送信する。例えば、電子ペン107は、描画時に発光する赤外LED146の光を高速で点滅させることにより、光通信の信号を送信する。
【０１３２】
一方、座標検出システム201は、光通信用のフォトダイオード1401を用いて、電子ペン107から送信される光通信の信号を受信し、受信した光通信の信号に含まれるペン識別情報や描画状態を示す情報等を取得する。
【０１３３】
光通信用のフォトダイオード1401は、光通信の信号の検出精度を向上させるために、例えば、図１に示すように、複数（図１の例では６個）のフォトダイオード1401-1〜1401-6が設置されていることが望ましい。尚、図１に示すフォトダイオード1401の数は一例であり、１つ以上の他の数であっても良い。
【０１３４】
＜ハードウェア構成＞
（座標検出システム）
図１５は、第２の実施形態に係る座標検出システムのハードウェアブロック図の一例である。第２の実施形態に係る座標検出システム201は、図４に示す第１の実施形態に係る座標検出システム201のハードウェア構成に加えて、マイコン1501、１つ以上のフォトダイオード1401、及びストレージ装置1503等を有している。尚、第２の実施形態に係る座標検出システム201は、図4に示す無線Md123を有していなくても良い。
【０１３５】
図１５に示す第２の実施形態に係る座標検出システム201の他のハードウェア構成は、図４に示す第１の実施形態に係る座標検出システム201のハードウェア構成と同様なので、ここでは第１の実施形態との相違点を中心に説明を行う。
【０１３６】
マイコン（マイクロコンピュータ）1501は、CPU、RAM、フラッシュROM等の一般的なコンピュータの構成を含むデバイスである。マイコン1501は、例えば、内蔵したフラッシュROM等に記憶されたプログラムをCPUで実行することにより、フォトダイオード1401を用いて光通信の信号を受信し、受信した信号に含まれるペン識別情報や描画状態を示す情報等を取得する機能を実現する。尚、マイコン1501で実現される機能は、CPU120で実行されるプログラムによって実現されるものであっても良い。
【０１３７】
フォトダイオード１４０１は、図１４の説明の中で前述したように、光通信用の受光素子である。
【０１３８】
好ましくは、光通信用のフォトダイオード1401には、電子ペン107から送信される光通信の信号（光）を透過する光学フィルタ1502が設けられている。これは、光通信用のフォトダイオード1401に、赤外LEDアレイ105L,105C,105Rが発する光が入ってしまうと、光通信の信号を取得が難しくなる場合があるためである。
【０１３９】
したがって、赤外LEDアレイ105L,105C,105Rが発する光の波長と、電子ペン107から送信される光通信の光の波長とは、異なる波長であることが望ましい。これにより、フォトダイオード1401は、光学フィルタ1502を用いて、赤外LEDアレイ105L,105C,105Rが発する光を減衰させることができる。
【０１４０】
一方、電子ペン107、又は指の指示位置を検出するためのカメラL103、カメラR104は、赤外LEDアレイ105L,105C,105Rが発する光の波長と、電子ペン107から送信される光通信の光の波長との両方の波長を検出する。
【０１４１】
尚、電子ペン107から送信される光通信の光の検出に、カメラL103、カメラR104を用いない理由は、カメラL103、カメラR104のフレームレートが、一般的に６０fps程度（速くても１２０fps程度）と低いためである。例えば、カメラL103、カメラR104のフレームレートに合わせて光通信を行ってしまうと、消灯しているビットは電子ペン107の指示位置を検出できないため、電子ペン107の指示位置の検出レートが下がるという問題がある。
【０１４２】
一方、カメラL103、カメラR104のフレームレートを、電子ペン107の指示位置の検出レートに影響しない程度まで上げると、カメラL103、カメラR104のコストや、画像処理に係る負荷が増大してしまうという問題がある。
【０１４３】
電子ペン107から送信される光通信の光の検出にフォトダイオード1401を用いることにより、比較的低コスト、かつ簡易な回路構成で、数MHz以上の通信レートに対応することができる。
【０１４４】
ストレージ装置1503は、例えば、HDD(Hard Disk Drive)、SSD(Solid Staste Drive)、又はフラッシュROM等、大容量のデータを保持するストレージデバイスである。
【０１４５】
（電子ペン）
図１６は、第２の実施形態に係る電子ペンのハードウェア構成の例を示す図である。
【０１４６】
図１６（ａ）は、第２の実施形態に係る電子ペン107の外観のイメージを示している。
【０１４７】
電子ペン107は、ペン先に、内部に赤外LED146を備えた光源1611を有している。電子ペン107は、ペン先が画面102に押し当てられたことを圧力センサ1411で検出し、ユーザーが描画動作をしているときに赤外LED146を発光させる。また、第２の実施形態に係る電子ペン107は、ユーザーが描画動作をしているときに、例えば、赤外LED146を高速で点滅させることにより光通信を行い、電子ペン107のペン識別情報や描画状態を示す情報等を送信する。
【０１４８】
好ましくは、電子ペン107は、内部に、他の電子ペン107が出力する光通信の信号を検出するためのフォトダイオードを備えた受光部1612を有している。
【０１４９】
図１６（ｂ）は、第２の実施形態に係る電子ペン107のハードウェアブロック図の一例を示している。第２の実施形態に係る電子ペン107は、例えば、マイコン141、バッテリ143、圧力センサ144、赤外LED146、ROM1601、及びフォトダイオード1602等を有している。尚、マイコン141、バッテリ143、圧力センサ144、及び赤外LED146は、図５（ｃ）に示す第１の実施形態に係る電子ペン107に含まれるものと同様なので、ここでは、第１の実施形態のハードウェア構成との相違点を中心に説明を行う。
【０１５０】
ROM1601は、不揮発性のメモリであり、例えば、電子ペン107のペン識別情報等を記憶する。尚、電子ペン107は、ROM1601に代えて、マイコン141に内蔵されたフラッシュROM等に電子ペン107のペン識別情報を記憶するものであっても良い。
【０１５１】
フォトダイオード1602は、他の電子ペン107が出力する光通信の信号（光）を検出する受光素子である。
【０１５２】
好ましくは、フォトダイオード1602には、他の電子ペン107から送信される光通信の信号（光）を透過し、座標検出システム201の赤外LEDアレイ105L,105C,105Rが出力する光を減衰させる光学フィルタ1603が設けられている。
【０１５３】
＜機能ブロック図＞
（電子ホワイトボード）
図１７は、第２の実施形態に係る電子ホワイトボードの機能ブロック図の一例である。第２の実施形態に係る電子ホワイトボード200は、図３に示す第１の実施形態に係る電子ホワイトボード200の機能ブロック図に加えて、光信号受信手段1701、情報抽出手段1702、描画データ管理手段1703、及び記憶手段1704を有している。尚、第２の実施形態に係る電子ホワイトボード200は、図３に示す通信手段117を有していなくても良い。また、他の機能ブロックについては、図３に示す第１の実施形態に係る電子ホワイトボード200の機能ブロックと同様なので、ここでは第１の実施形態との相違点を中心に説明を行う。
【０１５４】
光信号受信手段1701は、電子ペン107が、赤外LED146 を用いて照射する光を用いて通信を行う光通信の信号を受信する手段である。光信号受信手段1701は、例えば、図１５のフォトダイオード1401、及びマイコン1501（又はCPU120）で実行されるプログラム等によって実現される。
【０１５５】
情報抽出手段1702は、光信号受信手段1701が受信する光通信の信号に含まれる情報（例えば、ペン識別情報、描画状態を示す情報等）を抽出する手段であり、例えば、図１５のマイコン1501（又はCPU120）で実行されるプログラムによって実現される。
【０１５６】
本実施形態では、光通信によるデータ伝送方法について特に限定しないが、例えば、IrDA（登録商標）(Infrared Data Association)等の標準化された規格を利用するものであっても良いし、独自のデータ伝送方法を用いるもの等であっても良い。例えば、光通信によるデータ伝送方法は、予め定められた波長の光をオン／オフさせることにより、デジタル値の「１」／「０」を表すもの等であっても良い。この場合、情報抽出手段1702は、例えば、所定のサンプリングレートで予め定められた波長の光の有無を判断することにより、光通信の信号に含まれる情報を取得することができる。
【０１５７】
描画データ管理手段1703は、情報抽出手段1702によって抽出される電子ペン107のペン識別情報と、位置特定手段118によって特定される電子ペン107の位置（指示位置）とを対応づけて、例えば、記憶手段1704に記憶して、管理する。描画データ管理手段1703は、例えば、図１５のCPU120（又はマイコン1501）で実行されるプログラムによって実現される。
【０１５８】
記憶手段1704は、描画データ管理手段1703が管理するデータ（以下、描画データと呼ぶ）を記憶する手段であり、例えば、図１５のストレージ装置1503、及び図１５のCPU120（又はマイコン1501）で実行されるプログラム等によって実現される。
【０１５９】
（電子ペン）
図１８は、第２の実施形態に係る電子ペンの機能ブロック図の一例である。第２の実施形態に係る電子ペン107は、制御手段131、電池手段133、押圧検出手段134、光信号検出手段1801、光通信制御手段1802、発光手段1803、及び識別情報記憶手段1804等を有する。上記の機能ブロックのうち、制御手段131、電池手段133、及び押圧検出手段134の機能は、図５（ｂ）に示す第１の実施形態に係る電子ペン107に含まれる、制御手段131、電池手段133、及び押圧検出手段134と同様である。ここでは、第１の実施形態との相違点を中心に説明を行う。
【０１６０】
光信号検出手段1801は、他の電子ペン107による光通信の信号を検出する手段であり、例えば、図１６（ｂ）のフォトダイオード1602、及び図１６（ｂ）のマイコン141で実行されるプログラム等によって実現される。例えば、光信号検出手段１８０１は、フォトダイオード1602を用いて、他の電子ペン107の赤外LED146から出力される光に、光通信の信号が含まれているかを判断する。
【０１６１】
光通信制御手段1802は、光信号検出手段1801による光通信の信号の検出結果に基づいて、電子ペン107が光通信の信号を送信するタイミングを制御する手段であり、例えば、図１６（ｂ）のマイコン141で実行されるプログラムによって実現される。
【０１６２】
好ましくは、光通信制御手段1802は、電子ペン107が光通信の信号の送信を開始するとき、光信号検出手段1801により、他の電子ペン107による光通信の信号を検出し、他の電子ペン107による光通信の信号が検出された場合、光通信の信号の送信を遅らせる。例えば、光通信制御手段1802は、光通信の信号を送信するときに、他の電子ペン107による光通信の信号が検出された場合、所定の時間待機した後で、光通信の信号の送信をリトライする。
【０１６３】
また、光通信制御手段1802は、光通信の信号を送信するときに、他の電子ペン107による光通信の信号が検出されない場合、例えば、発光手段1803が出力する光を高速でオン／オフさせること等により、光通信の信号を送信する。尚、光通信制御手段1802が出力する光通信の信号には、例えば、電子ペン107のペン識別情報や、電子ペンの描画状態を示す情報等が含まれる。
【０１６４】
発光手段1803は、電子ペン107の光源1611の内部に備えられた赤外LED146を発光させる手段であり、例えば、図１６（ｂ）の赤外LED146、マイコン141、及びマイコン141で実行されるプログラム等によって実現される。
【０１６５】
例えば、発光手段1803は、電子ペン107のペン先が画面102に押し当てられたとき、制御手段131の制御に従って赤外LED146の発光を開始させると共に、光通信制御手段1802の制御に従って赤外LED146をオン／オフさせる。また、発光手段1803は、電子ペン107のペン先が画面102から離れると、制御手段131の制御に従って赤外LED146の発光を停止させる。
【０１６６】
識別情報記憶手段1804は、電子ペン107を識別するため識別情報であるペン識別情報を予め記憶した記憶手段であり、例えば、図１６（ｂ）のROM1601、又はマイコン141に内蔵される不揮発性のメモリ（例えば、フラッシュROM等）等によって実現される。
【０１６７】
＜処理の流れ＞
続いて、第２の実施形態に係る座標検出システム201による処理の流れについて説明する。
【０１６８】
（電子ペンの処理）
図１９は、第２の実施形態に係る電子ペンの処理の例を示すフローチャートである。
【０１６９】
ステップＳ１９０１において、電子ペン107は、制御手段131が押圧検出手段134を用いて描画中であることを検知すると、ステップＳ１９０２以降の処理を実行する。
【０１７０】
ステップＳ１９０２において、電子ペン107の制御手段131は、発光手段1803を用いて、ペン先の光源1611の内部に備えられた赤外LED146の発光を開始させる。
【０１７１】
ステップＳ１９０３において、電子ペン107の光通信制御手段1802は、光信号検出手段1801の検出結果を用いて、他の電子ペン107が光通信中か否かを判断する。
【０１７２】
他の電子ペン107が光通信中でない場合、光通信制御手段1802は、処理をステップＳ１９０４に移行させる。一方、他の電子ペン107が光通信中である場合、光通信制御手段1802は、処理をステップＳ１９０８に移行させる。
【０１７３】
ステップＳ１９０４に移行すると、光通信制御手段1802は、発光手段1803を用いて赤外LED146をオン／オフさせて光通信を行うことにより、識別情報記憶手段1804に記憶したペン識別情報と、描画状態（描画中）を示す情報とを含む信号を送信する。
【０１７４】
ステップＳ１９０５において、光通信制御手段1802は、第１の時間（Ｔ１−Ｔ）待機する。尚、Ｔ１は、予め定められた光通信の信号の送信周期であり、Ｔは、光通信の信号の送信に要する時間である。尚、送信周期Ｔ１、及び送信に要する時間Ｔについては、図２０を用いて後述する。
【０１７５】
ステップＳ１９０６において、電子ペン107の制御手段131は、押圧検出手段134で検出される押圧により、描画が終了したことを検知したかを判断する。
【０１７６】
描画が終了したことが検知されない場合、電子ペン107の制御手段131は、処理をステップＳ１９０３に移行させて、再び同様の処理を実行させる。一方、描画の終了が検知された場合、ステップＳ１９０７において、電子ペン107の制御手段131は、発光手段1803によるペン先の光源1611の内部に備えられた赤外LED146の発光を停止させる。
【０１７７】
尚、ステップＳ１９０３から、ステップＳ１９０８に処理を移行した場合、ステップＳ１９０８において、光通信制御手段1802は、第２の時間（Ｔ２）待機した後、処理をステップＳ１９０３に戻す。尚、Ｔ２は、予め定められた待機時間である。
【０１７８】
ここで、送信周期Ｔ１、送信に要する時間Ｔ、及び待機時間Ｔ２について、図２０を用いて説明する。
【０１７９】
図２０は、第２の実施形態に係る電子ペンの通信タイミングについて説明するための図である。図２０において、横軸は時間であり、「通信中」は、電子ペン１〜３が、光通信の信号を送信している期間を示すものとする。
【０１８０】
図２０において、電子ペン１〜３は、基本的に送信周期Ｔ１で、光通信の信号を送信しており、光通信の信号の送信には時間Ｔを要するものとする。この場合、電子ペン１〜３が光通信の信号の送信を終了した後、次に光通信の信号の送信を開始するまでの待機時間である第１の時間はＴ１―Ｔとなる。
【０１８１】
また、電子ペン１〜３は、光通信の信号を送信するときに、他の電子ペンが「通信中」であるか否かを判断して、他の電子ペンが「通信中」でない場合、光通信の信号の送信を開始する。また、電子ペン１〜３は、他の電子ペンが「通信中」である場合、光通信の信号の送信を中止し、待機時間Ｔ２（第２の時間）待機した後、光通信の信号の送信をリトライする。
【０１８２】
例えば、図２０の時間ｔ１において、電子ペン１は、光通信の信号を送信するときに、他の電子ペン２、３が出力している光通信の信号の有無を判断することにより、他の電子ペンが光通信中であるかを判断する。尚、光通信の信号がある状態とは、電子ペン107が発光する光を高速にオン／オフさせてデータを伝送している状態を示しており、単に電子ペン107が光を発光させている状態は含まれない。
【０１８３】
図２０の例では、電子ペン１は、時間ｔ１において、他の電子ペン２、３が「通信中」でないので、光通信の信号の送信を開始する。また、電子ペン１は、時間ｔ１から、送信に要する時間Ｔを経過した時間ｔ３に光通信の信号の送信を終了する。さらに、電子ペン１は、時間ｔ３から、第１の時間（Ｔ１−Ｔ）を経過した時間ｔ５に、光通信の信号の送信処理を再び実行する。
【０１８４】
また、図２０の時間ｔ２において、電子ペン２は、光通信の信号を送信するときに、他の電子ペン１、３が光通信中であるかを判断する。
【０１８５】
図２０の例では、電子ペン２は、時間ｔ２において電子ペン１が「通信中」なので、光通信の信号の送信を中止して、待機時間Ｔ２だけ待機し、時間ｔ４において、再び、他の電子ペン１、３が光通信中であるかを判断する。
【０１８６】
図２０の例では、電子ペン２は、時間ｔ４において他の電子ペン１、３が「通信中」でないので、光通信の信号の送信を開始する。電子ペン２は、光通信の信号の送信を開始した後、電子ペン１と同様の処理により、時間ｔ４から、第１の時間（Ｔ１−Ｔ）を経過した時間ｔ７に、光通信の信号の送信処理を再び実行する。
【０１８７】
図２０の時間ｔ５において、電子ペン３は、光通信の信号を送信するときに、他の電子ペン１、２が出力している光通信の信号の有無を判断することにより、他の電子ペンが光通信中であるかを判断する。
【０１８８】
図２０の例では、電子ペン３は、時間ｔ５において、他の電子ペン１、２が「通信中」でないので、光通信の信号の送信を開始する。電子ペン３は、光通信の信号の送信を開始した後、電子ペン１と同様の処理により、時間ｔ５から、第１の時間（Ｔ１−Ｔ）を経過した時間ｔ８に、光通信の信号の送信処理を再び実行する。
【０１８９】
上記のような処理を繰り返すことにより、第２の実施形態に係る電子ペン107は、他の電子ペン107の光通信との干渉を避けつつ、所定の周期でペン識別情報を含む光通信の信号を送信することができる。
【０１９０】
好ましくは、電子ペン１０７による光通信の通信レートは、カメラL103、カメラR104のフレームレート（例えば６０Ｈｚ）より十分に高い値（例えば、１ＭＨｚ）とすることにより、位置検出への影響を低減させる。
【０１９１】
例えば、電子ペン１０７による光通信の通信レートを１ＭＨｚとし、１データを２バイトとすると、１データの伝送に要する時間は１６μｓ（１／１０００フレーム）程度となるため、位置検出への影響をほぼ無視することができる。
【０１９２】
また、カメラL103、カメラR104のフレームレートを６０Ｈｚとすると、１フレームは、１６ｍｓ程度の時間になるので、送信周期を５ｍｓ程度未満にしておけば、１フレームの間に２、３回、光通信の信号が送信される。したがって、座標検出システム201は、光通信の信号を１回取りこぼしても、次のデータを取得することができる。
【０１９３】
（座標検出システムの処理）
図２１は、第２の実施形態に係る座標検出システムの処理の例を示すフローチャートである。第２の実施形態に係る座標検出システム201は、図２１に示す処理を繰り返し実行することにより、電子ペン107によって描画された描画データを取得し、電子ペン107のペン識別情報と対応づけて記憶手段1704に記憶して、管理する。
【０１９４】
尚、電子ペン107、又は指による指示位置（座標）の検出方法については第１の実施形態と同様なので、ここでは詳細な説明は省略する。
【０１９５】
ステップＳ２１０１において、座標検出システム201の制御手段111は、第１の光検出手段113及び第２の光検出手段114（以下、光検出手段と呼ぶ）を用いて、カメラ画像を取得する。
【０１９６】
ステップＳ２１０２において、座標検出システム201の判定手段116は、取得したカメラ画像に基づいて、明部（電子ペン107）と暗部（指）とを判別する。
【０１９７】
ステップＳ２１０３において、座標検出システム201の位置特定手段118は、判定手段116が判別した電子ペン107、又は指の指示位置（座標）を特定する。
【０１９８】
好ましくは、ステップＳ２１０４において、座標検出システム201の位置特定手段118は、ステップＳ２１０３で特定された指の指示位置のうち、ステップＳ２１０３で特定された電子ペン107の指示位置から所定の範囲内にある指の指示位置の情報を削除する。
【０１９９】
ステップＳ２１０５において、座標検出システム201の描画データ管理手段1703は、ステップＳ２１０３で特定された電子ペン107の指示位置（座標）と、トラッキング中の電子ペン107の指示位置（座標）との間の距離を算出する。
【０２００】
ステップＳ２１０６において、座標検出システム201の描画データ管理手段1703は、ステップＳ２１０５で算出した距離が所定の距離以内であるかを判断する。
【０２０１】
算出した距離が所定の距離以内である場合、描画データ管理手段1703は、処理をステップＳ２１０７に移行させる。一方、算出した距離が所定の距離以内でない場合、描画データ管理手段1703は、処理をステップＳ２１１０に移行させる。ここで、所定の距離は、図２１の処理を実行する時間間隔に基づいて、時間内に描画可能な所定の距離が予め定められているものとする。
【０２０２】
ステップＳ２１０７において、座標検出システム201の描画データ管理手段1703は、ステップＳ２１０３で特定された電子ペン107の指示位置が、トラッキング中の電子ペン107の指示位置であると判断する。
【０２０３】
ステップＳ２１０８において、座標検出システム201の描画データ管理手段1703は、トラッキング中の電子ペン107の描画データに、特定された電子ペンの指示位置の座標を記憶する。
【０２０４】
描画データ管理手段1703が、記憶手段1704に記憶して管理する描画データの例を表１に示す。
【０２０５】
【表１】
0006733451.tif 000002
表１に示すように、描画データには、例えば、「ペン識別情報」、「描画データ」、「書込日時」、及び「状態」等の情報が含まれる。
【０２０６】
「ペン識別情報」は、電子ペン107を識別するための識別情報である。
【０２０７】
「描画データ」は、電子ペン107の指示位置を示す１つ以上の座標である。例えば、描画データ管理手段1703は、電子ペン107による新たな描画データが検出されると「描画データ」に第１の座標、例えば、（Ｘ１，Ｙ１）を記憶する。また、描画データ管理手段1703は、所定の時間内に、前述した所定の距離以内に検出された電子ペン107による指示位置を第２の座標、例えば、（Ｘ２，Ｙ２）として記憶する。
【０２０８】
このように、描画データ管理手段1703は、例えば、所定の時間内に、所定の距離以内に検出された電子ペン107による指示位置を同じ描画データと判断して、順次に記憶する。
【０２０９】
「書込日時」は、例えば、「描画データ」に含まれる最新の座標が書込みされた時間を示す情報である。例えば、描画データ管理手段1703は、「書込日時」から所定の時間内に、所定の距離以内に電子ペン107による新たな指示位置が検出されない場合、「状態」を「確定済」とし、描画データのトラッキングを確定させる。
【０２１０】
「状態」は、描画データが、確定済であるか、描画中（トラッキング中）であるかを示す情報である。
【０２１１】
図２１に戻り、フローチャートの説明を続ける。
【０２１２】
ステップ２１０９において、座標検出システム201の描画データ管理手段1703は、所定の時間以上検出されない電子ペン107のトラッキングを確定させる。例えば、表１において、電子ペン107のペン識別情報に対応する「状態」を「確定済」にする。
【０２１３】
尚、ステップＳ２１０６において、算出した距離が所定の距離以内でない場合、ステップＳ２１１０において、座標検出システム201の描画データ管理手段1703は、新たな描画データとしてトラッキングを開始する。例えば、描画データ管理手段1703は、表１に示すような描画データに新たなエントリを作成し、ステップＳ２１０３で特定された電子ペン107の指示位置を示す座標を、「描画データ」に記憶する。
【０２１４】
ステップＳ２１１１において、座標検出システム201の描画データ管理手段1703は、情報抽出手段1702から通知された、新たに検出されたペン識別情報を、ステップＳ２１０６で新たに作成した描画データと対応づけて管理する。例えば、描画データ管理手段1703は、ステップＳ２１０６で記憶した「描画データ」に対応する「ペン識別情報」に、新たに検出されたペン識別情報を記憶する。
【０２１５】
尚、第２の実施形態に係る座標検出システム201では、図２１のステップＳ２１０１〜Ｓ２１１１に示す処理と並行して、ステップＳ２１２１〜Ｓ２１２３に示す処理が実行される。
【０２１６】
ステップＳ２１２１において、座標検出システム201の光信号受信手段1701は、電子ペン107から出力される光通信の信号を取得し、情報抽出手段1702は、取得した信号に含まれるペン識別情報、描画状態を示す情報等を抽出する。
【０２１７】
ステップＳ２１２２において、座標検出システム201の情報抽出手段1702は、抽出したペン識別情報の中に新たに検出されたペン識別情報があるかを判断する。
【０２１８】
抽出したペン識別情報の中に新たに検出されたペン識別情報がない場合、情報抽出手段1702は、処理をステップＳ２１２１に戻して同様の処理を繰り返す。一方、抽出したペン識別情報の中に新たに検出されたペン識別情報がある場合、情報抽出手段1702は、処理をステップＳ２１２３に移行させる。
【０２１９】
ステップＳ２１２３に移行すると、座標検出システム201の情報抽出手段1702は、新たに検出された電子ペン107の識別情報を、描画データ管理手段1703に通知する。
【０２２０】
上記の処理により、座標検出システム201は、新たにトラッキングを開始した描画データと、新たに検出された電子ペン107のペン識別情報とを対応づけて管理することができるようになる。
【０２２１】
（座標検出システムの処理）
上記の説明では、電子ペン107による描画データの管理について説明を行ったが、第２の実施形態に係る座標検出システム201は、第１の実施形態と同様にして、指による描画データも管理することができる。
【０２２２】
図２２は、第２の実施形態に係る座標検出システムの処理の例を示すシーケンス図である。尚、基本的な処理は、図１３に示す第１の実施形態に係る処理と同様なので、詳細な説明は省略する。
【０２２３】
ステップＳ２２０１において、座標検出システム201は、検出用LED点灯、及び輝度調整を行う。
【０２２４】
ステップＳ２２０２において、座標検出システム201は、検出開始する。
【０２２５】
ステップＳ２２０３において、電子ペン２で座標検出システム201のディスプレイ装置の画面102における座標検出領域を指示する。例えば、電子ホワイトボード200に書込みを行うユーザーは、電子ペン２を用いて画面102に書込みを行う。
【０２２６】
ステップＳ２２０４において、電子ペン２は、押圧により描画中であることを検出し、ステップＳ２２０５において、赤外LED146の発光を開始する。
【０２２７】
同様に、ステップＳ２２０６において、電子ペン１で座標検出システム201のディスプレイ装置の画面102における座標検出領域を指示する。例えば、電子ホワイトボード200に書込みを行う別のユーザーは、電子ペン１を用いて画面102に書込みを行う。
【０２２８】
ステップＳ２２０７において、電子ペン１は、押圧により描画中であることを検出し、ステップＳ２２０８において、赤外LED146の発光を開始する。
【０２２９】
電子ペン１、２は、ユーザーによる描画中、図２２に示す電子ペンの処理２２１０を繰り返し実行する。尚、電子ペンの処理２２１０には、例えば、ステップＳ２２１１〜Ｓ２２１４に示す処理が含まれる。
【０２３０】
ステップＳ２２１１において、電子ペン１は、他の電子ペン（例えば、電子ペン２）による光通信の状態を検出し、他の電子ペンが光通信中である場合、ステップＳ２２１２、Ｓ２２１３の処理を実行する。例えば、ステップＳ２２１２において、電子ペン１の光通信制御手段１８０２は、光通信で描画状態、ペン識別情報を含む信号を送信し、Ｓ２２１３において、前述した第１の時間（Ｔ１−Ｔ）待機する。
【０２３１】
一方、ステップＳ２２１１において、電子ペン１は、他の電子ペンによる光通信の状態を検出し、他の電子ペンが光通信中でない場合、ステップＳ２２１４の処理を実行する。例えば、ステップＳ２２１４において、電子ペン１の光通信制御手段１８０２は、前述した第２の時間Ｔ２だけ待機する。
【０２３２】
尚、図２２の電子ペンの処理２２１０は、例えば、図１９のステップＳ１９０３〜Ｓ１９０６、及びステップＳ１９０８の処理に対応している。
【０２３３】
電子ペン２も同様にして、電子ペンの処理２２１０を繰り返し実行する。
【０２３４】
一方、座標検出システム２０１は、処理を開始すると、図２２に示す座標検出システムの処理２２２０を繰り返し実行する。尚、座標検出システムの処理２２２０には、例えば、ステップＳ２２２１〜Ｓ２２２９に示す処理が含まれる。
【０２３５】
ステップＳ２２２１において、座標検出システム201は、カメラ画像を取得する。
【０２３６】
ステップＳ２２２２において、座標検出システム201は、閾値を用いて、電子ペン１、２による指示位置を示す明部と、指108による指示位置を示す暗部とを判別する。
【０２３７】
ステップＳ２２２３において、座標検出システム201は、電子ペン１、２と指108の指示位置（座標）を特定する。
【０２３８】
ステップＳ２２２４において、座標検出システム201は、電子ペン１、２の指示位置付近の指108の指示位置の情報である指情報を削除する。
【０２３９】
ステップＳ２２２５において、座標検出システム201は、電子ペン１、２と指108の指示位置（座標）と、トラッキング中の電子ペン107、指108の座標とを比較し、位置が近ければ同じ描画データと判断する。
【０２４０】
ステップＳ２２２６において、座標検出システム201は、特定した電子ペン１、２と指108の指示位置のうち、新規の指示位置を、新規の描画データとして記憶し、新たにトラッキングを開始する。
【０２４１】
ステップＳ２２２７において、座標検出システム201は、新規の描画データとして記憶した電子ペン107の指示位置と、新規に受信したペン識別情報とを対応づけて管理する。尚、新規の描画データとして記憶した指108の指示位置には、例えば、指108であることを示す識別情報、又は新規の識別情報を生成して、付与する。
【０２４２】
ステップＳ２２２８において、座標検出システム201は、検出されなくなった電子ペン107及び指108のトラッキング情報を削除し、トラッキングを確定させる。
【０２４３】
上記の処理により、例えば、ステップＳ２２２９、Ｓ２２３０において、座標検出システム201は、電子ペン１、及び電子ペン２の指示位置、及びペン識別情報を特定することができる。
【０２４４】
尚、図２２の座標検出システムの処理２２２０は、例えば、図２１に示す座標検出システムの処理に、指108に対する処理を加えたものである。
【０２４５】
ステップＳ２２３１において、例えば、電子ペン１による座標検出システム201のディスプレイ装置の画面102に対する指示（描画）が終了すると、ステップＳ２２３２において、電子ペン１は、押圧により描画終了を検出する。
【０２４６】
ステップＳ２２３３において、電子ペン１は、赤外LED146の発光を停止する。
【０２４７】
上記の処理により、第２の実施形態に係る座標検出システム201は、座標検出システム201と電子ペン107との間のペアリング操作を行うことなく、複数の電子ペン107で描画された描画データを識別可能とし、利用者の利便性を向上させることができる。
【０２４８】
尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述した実施の形態では、ディスプレイ装置の場合で説明したが、本発明は、これに限定されるものではなく、プロジェクタ装置であってもよいことは言うまでもない。
【符号の説明】
【０２４９】
１０１    電子ホワイトボード本体
１０２    画面（表示手段）
１０３    カメラＬ
１０４    カメラＲ
１０５Ｃ、１０５Ｌ、１０５Ｒ    赤外ＬＥＤアレイ
１０７    電子ペン
１０８    指
１１１、１３１    制御手段
１１２    第１の光照射手段
１１３    第１の光検出手段
１１４    第２の光検出手段
１１５    検出レベル補正手段
１１６    判定手段
１１７、１３２    通信手段
１１８    位置特定手段
１１９    調整手段
１２０    ＣＰＵ
１２１    ＲＯＭ
１２２    ＲＡＭ
１２３、１４２    無線Ｍｄ
１２４    Ｉ／Ｆ
１３３    電池手段
１３４    押圧検出手段
１３５    信号強度検出手段
１３６    信号発信手段
１４１    マイコン
１４３    バッテリ
１４４    圧力センサ
１４５    赤外センサ
１４６    第２の光照射手段（赤外ＬＥＤ）
１６０    脚部
２００    電子ホワイトボード（画像処理装置）
２０１    座標検出システム
１４０１    フォトダイオード
１５０２    光学フィルタ
１６０２    フォトダイオード
１６０３    光学フィルタ
１７０１    光信号受信手段
１７０２    情報抽出手段
１７０３    描画データ管理手段
１８０１    光信号検出手段
１８０２    光通信制御手段
【先行技術文献】
【特許文献】
【０２５０】
【特許文献１】特開２０１２−０２２５４３号公報
【図１】
0006733451.tif 000003
【図２】
0006733451.tif 000004
【図３】
0006733451.tif 000005
【図４】
0006733451.tif 000006
【図５】
0006733451.tif 000007
【図６】
0006733451.tif 000008
【図７】
0006733451.tif 000009
【図８】
0006733451.tif 000010
【図９】
0006733451.tif 000011
【図１０】
0006733451.tif 000012
【図１１】
0006733451.tif 000013
【図１２】
0006733451.tif 000014
【図１３】
0006733451.tif 000015
【図１４】
0006733451.tif 000016
【図１５】
0006733451.tif 000017
【図１６】
0006733451.tif 000018
【図１７】
0006733451.tif 000019
【図１８】
0006733451.tif 000020
【図１９】
0006733451.tif 000021
【図２０】
0006733451.tif 000022
【図２１】
0006733451.tif 000023
【図２２】
0006733451.tif 000024