(57)【要約】【課題】  座標入力システムにおいて、座標検出処理の高速化を図る。【解決手段】  座標入力システムであって、座標の入力が指示される入力面の端部位置に配された２次元画像センサ部（１１２、１１３）と、座標の入力を指示し、長軸方向に２つの発光点が配された描画装置（１４０）と、前記発光点から発光された光を、２つの２次元画像センサ（１１２、１１３）が検出することで取得されたそれぞれの画像をフレーム単位で処理することで、前記２つの発光点の前記入力面における座標を、前記画像のフレームの更新周期に応じて算出する画像処理部３１０とを有することを特徴とする。【選択図】図３
2015049559.tif 000002
【特許請求の範囲】
【請求項１】
座標入力システムであって、
座標の入力が指示される入力面の端部位置に配された２次元画像センサと、
座標の入力を指示し、長軸方向に２つの発光点が配された指示部と、
前記２つの発光点から発光された光を、２つの前記２次元画像センサが検出することで取得されたそれぞれの画像をフレーム単位で処理することで、前記２つの発光点の前記入力面における座標を、前記画像のフレームの更新周期に応じて算出する画像処理手段と
を有することを特徴とする座標入力システム。
【請求項２】
前記画像処理手段は、
２つの前記２次元画像センサが検出することで取得された画像であって、同じタイミングで取得されたフレームの画像それぞれに含まれる２つの発光点について、基準方向に対する旋回角度を求めることで、該２つの発光点の前記入力面における座標を算出する第１の算出部と、
前記第１の算出部において算出された前記２つの発光点の前記入力面における座標と、前記指示部における前記２つの発光点の間の距離及び前記指示部の先端部までの距離と、を用いて、前記指示部の先端部と前記入力面との接触位置の座標を算出する第２の算出部と
を有することを特徴とする請求項１に記載の座標入力システム。
【請求項３】
前記画像処理手段は、
前記画像に含まれる発光点について、同一の指示部に配された発光点であることを示すラベルを付すことで、各発光点を識別する識別手段を更に有し、
前記識別手段は、
今回のフレームの画像に含まれる発光点のうち、前回のフレームの画像に含まれる発光点からの移動距離が最小の発光点に対して、前回のフレームの画像に含まれる発光点に付されたラベルと同一のラベルを付すことを特徴とする請求項１または２に記載の座標入力システム。
【請求項４】
前記画像処理手段は、
前記画像に含まれる発光点について、同一の指示部に配された発光点であることを示すラベルを付すことで、各発光点を識別する識別手段を更に有し、
前記識別手段は、
前記画像に含まれる発光点の輝度に基づいて、同一の指示に配された発光点であることを示すラベルを付すことを特徴とする請求項１または２に記載の座標入力システム。
【請求項５】
前記指示部は、前記２つの発光点からの光が、それぞれ前記指示部の周方向に照射されるように構成されていることを特徴とする請求項１乃至４のいずれか１項に記載の座標入力システム。
【請求項６】
画像処理装置であって、
座標の入力が指示される入力面の端部位置に配された２つの２次元画像センサそれぞれが、２つの発光点が配された指示部より発光された光を検出することで取得した画像を、該２つの２次元画像センサそれぞれより受信する受信手段と、
前記受信した画像それぞれをフレーム単位で処理することで、前記２つの発光点の前記入力面における座標を、前記画像のフレームの更新周期に応じて算出する画像処理手段と
を有することを特徴とする画像処理装置。
【請求項７】
前記画像処理手段は、
２つの前記２次元画像センサが検出することで取得された画像であって、同じタイミングで取得されたフレームの画像それぞれに含まれる２つの発光点について、基準方向に対する旋回角度を求めることで、該２つの発光点の前記入力面における座標を算出する第１の算出部と、
前記第１の算出部において算出された前記２つの発光点の前記入力面における座標と、前記指示部における前記２つの発光点の間の距離及び前記指示部の先端部までの距離と、を用いて、前記指示部の先端部と前記入力面との接触位置の座標を算出する第２の算出部と
を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像処理手段は、
前記画像に含まれる発光点について、同一の指示部に配された発光点であることを示すラベルを付すことで、各発光点を識別する識別手段を更に有し、
前記識別手段は、今回のフレームの画像に含まれる発光点のうち、前回のフレームの画像に含まれる発光点からの移動距離が最小の発光点に対して、前回のフレームの画像に含まれる発光点に付されたラベルと同一のラベルを付すことを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
画像処理装置のコンピュータに、
座標の入力が指示される入力面の端部位置に配された２つの２次元画像センサそれぞれが、２つの発光点が配された指示部より発光された光を検出することで取得した画像を、該２つの２次元画像センサそれぞれより受信する受信工程と、
前記受信した画像それぞれをフレーム単位で処理することで、前記２つの発光点の前記入力面における座標を、前記画像のフレームの更新周期に応じて算出する画像処理工程と
を実行させるプログラム。
【請求項１０】
座標の入力が指示される入力面の端部位置に配された２次元画像センサと、
座標の入力を指示し、長軸方向に２つの発光点が配された指示部と、を有する座標入力システムにおける画像処理方法であって、
前記２つの発光点から発光された光を、２つの前記２次元画像センサが検出することで取得されたそれぞれの画像をフレーム単位で処理することで、前記２つの発光点の前記入力面における座標を、前記画像のフレームの更新周期に応じて算出する画像処理工程
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は座標入力システム、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、座標検出機能を有する電子情報ボード等に対して、電子ペン等の描画装置を用いて座標を入力し、手書き文字等の入力を行う座標入力システムが知られている。
【０００３】
当該座標入力システムでは、描画装置の先端部の接触位置の座標を電子情報ボードにおいて検出するために、種々の座標検出方法が提案されており、例えば、特許文献１には、光学式の座標検出方法が開示されている。
【０００４】
具体的には、電子情報ボードの両端部に１次元画像センサを設置し、描画装置に配された２つの発光点の基準方向からの旋回角度を検出する。そして、三角測量の原理を用いることにより、検出した旋回角度から、当該２つの発光点の座標を算出する。更に、算出した当該２つの発光点の座標と、描画装置の既知のデータ（２つの発光点の間の距離や発光点から先端部までの距離）とに基づいて先端部（つまり接触位置）の座標を検出する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示された光学式の座標検出方法の場合、以下のような問題がある。
【０００６】
例えば、特許文献１では、描画装置に配された２つの発光点を区別するために、２つの発光点を互いに発光タイミングをずらして発光させる点滅制御が行われており、それぞれの発光タイミングを捉えるために、１次元画像センサでは少なくとも複数フレーム分の画像を取得する必要があった。
【０００７】
このため、先端部の座標は、複数フレーム分の画像取得時間に対して１回の頻度で検出されることとなり、座標の検出周期が長くなるといった問題が不可避である。
【０００８】
本発明は上記課題に鑑みてなされたものであり、座標入力システムにおいて、座標検出処理の高速化を図ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施形態に係る座標入力システムは、以下のような構成を有する。すなわち、
座標入力システムであって、
座標の入力が指示される入力面の端部位置に配された２次元画像センサと、
座標の入力を指示し、長軸方向に２つの発光点が配された指示部と、
前記２つの発光点から発光された光を、２つの前記２次元画像センサが検出することで取得されたそれぞれの画像をフレーム単位で処理することで、前記２つの発光点の前記入力面における座標を、前記画像のフレームの更新周期に応じて算出する画像処理手段と
を有することを特徴とする。
【発明の効果】
【００１０】
本発明の各実施形態によれば、座標入力システムにおいて、座標検出処理を高速化することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る座標入力システムの外観構成の一例を示す図である。
【図２】座標入力システムを構成する電子情報ボードのハードウェア構成を示す図である。
【図３】電子情報ボードの機能構成の一例を示す図である。
【図４】表示画面に表示される表示画像の一例を示す図である。
【図５】座標検出原理を説明するための図である。
【図６】描画装置の各発光点の座標検出方法を説明するための図である。
【図７】電子情報ボードにおける画像処理部の機能構成を説明するための図である。
【図８】画像処理部における画像処理の概要を説明するための図である。
【図９】電子情報ボードに対して、２つの描画装置が用いられた場合の、画像処理部における画像処理の概要を説明するための図である。
【図１０】電子情報ボードに対して、２つの描画装置が用いられた場合の、画像処理部における画像処理の流れを示すフローチャートである。
【図１１】描画装置の他の構成を説明するための図である。
【図１２】描画装置の他の構成を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１３】
［第１の実施形態］
＜座標入力システムの外観構成＞
はじめに、本実施形態に係る座標入力システムの外観構成について説明する。図１は、本実施形態に係る座標入力システム１００の外観構成の一例を示す図である。
【００１４】
図１に示すように、座標入力システム１００は、座標検出機能を有する電子情報ボード１１０と、電子情報ボード１１０に表示画像を供給するユーザＰＣ１２０とを有する。更に、電子情報ボード１１０に対して座標の入力を指示することで、手書き文字等の手書き入力を行う描画装置（指示部）１４０とを有する。
【００１５】
電子情報ボード１１０は、ユーザＰＣ１２０より表示画像の供給を受け、当該供給された表示画像を表示画面１１１に表示させる。また、電子情報ボード１１０の表示画面１１１上に表示されている表示画像に、ユーザが描画装置１４０を介して手書き入力した描画画像を重畳して表示させる。なお、手書き入力を実現するために電子情報ボード１１０には、描画装置１４０の先端部と表示画面１１１との接触位置の座標を算出するための２次元画像センサ部１１２、１１３が、表示画面１１１の端部位置（左上端部及び右上端部）に配されている。
【００１６】
ユーザＰＣ１２０は画像供給装置であり、電子情報ボード１１０に表示すべき表示画像を記憶しており、当該表示画像を画像信号として出力するインタフェースを介して、所定のフレームレート（例えば、毎秒３０フレーム）で、電子情報ボード１１０に供給する。
【００１７】
なお、本実施形態においてユーザＰＣ１２０は、インタフェースとしてＶＧＡ出力端子（不図示）を備え、ＶＧＡケーブル等であるケーブル１３０を介して、画像信号であるＶＧＡ信号を電子情報ボード１１０に供給する。
【００１８】
また、本実施形態においてユーザＰＣ１２０は、ノート型ＰＣを用いることとしているが、本発明はこれに限定されない。例えば、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等、表示画像を供給可能な画像供給装置であれば何でもよい。
【００１９】
描画装置１４０は、電源をオンすることにより常時点灯する２つの発光点が長軸方向に配されている。２次元画像センサ部１１２、１１３では、それぞれが、当該２つの発光点の光を所定のフレームレート（フレーム更新周期の逆数。例えば、毎秒３０フレーム）で同期して検出する。これにより、描画装置１４０の先端部と表示画面１１１との接触位置の座標が、所定のフレーム更新周期で算出されることとなる。
【００２０】
＜電子情報ボードのハードウェア構成＞
次に、電子情報ボード１１０のハードウェア構成について説明する。図２は、電子情報ボード１１０のハードウェア構成を説明するための図である。
【００２１】
図２に示すように、電子情報ボード１１０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、記憶装置２０４を備える。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４は、各種画像を処理する、いわゆる画像処理装置を形成する。電子情報ボード１１０は、更に、表示部２０５、入力部２０６、センサ部２０７、インタフェース部２０８を備える。なお、電子情報ボード１１０の各部は、バス２０９を介して接続されている。
【００２２】
ＣＰＵ２０１は、記憶装置２０４に格納された、ボード部２１０として機能するプログラムを実行するコンピュータである。
【００２３】
ＲＯＭ２０２は、ＢＩＯＳやＥＦＩ等のブートプログラムなど、ボード部２１０として機能するプログラムをＣＰＵ２０１によって実行させるために必要な各種プログラム、データ等を格納する不揮発性メモリである。ＲＡＭ２０３は、ＤＲＡＭやＳＲＡＭ等の主記憶装置であり、ボード部２１０として機能するプログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。
【００２４】
記憶装置２０４は、ボード部２１０として機能するプログラムを格納するほか、後述するスナップショット画像を格納する。
【００２５】
表示部２０５は表示画面１１１を含み、ユーザＰＣ１２０より供給された表示画像を表示する。また、描画装置１４０を介して入力された手書き文字等を表示する。なお、表示画面１１１は、描画装置１４０を介して手書き入力する際に、描画装置１４０の先端部を接触させる（つまり、座標の入力が指示される）入力面としての役割を果たす。
【００２６】
入力部２０６は、電子情報ボード１１０の電源スイッチをはじめとする各種ハードウェアスイッチを含む。
【００２７】
センサ部２０７は、２次元画像センサ部１１２、１１３を含み、描画装置１４０に配された２つの発光点の光を検出する。インタフェース部２０８は、ユーザＰＣ１２０等の外部装置を通信可能に接続するためのインタフェースである。
【００２８】
＜電子情報ボードの機能構成＞
次に、電子情報ボード１１０の機能構成について説明する。図３は、電子情報ボード１１０の機能構成を示す図であり、図２に示したハードウェア構成の各部において実現される機能を示したものである。
【００２９】
図３に示すように、インタフェース部２０８は、画像入力インタフェース３０１及び画像取得部３０２を備える。
【００３０】
画像入力インタフェース３０１は、ユーザＰＣ１２０が供給する表示画像を、画像信号として受信するインタフェースである。本実施形態では、画像入力インタフェース３０１として、ＤＶＩ（Digital Visual Interface）端子によって形成されるＤＶＩコネクタを用いる。画像入力インタフェース３０１では、ユーザＰＣ１２０から、ＶＧＡケーブル等のケーブル１３０を介してＶＧＡ信号を受信し、画像取得部３０２に対して当該ＶＧＡ信号を供給する。
【００３１】
画像取得部３０２は、画像入力インタフェース３０１を介して受信された画像信号を取得する。画像取得部３０２は、ユーザＰＣ１２０から画像入力インタフェース３０１を介して画像信号を受信すると、当該画像信号を解析する。そして、当該画像信号によって形成されるユーザＰＣ１２０の表示画像である画像フレームの解像度や当該画像フレームのフレームレートなどの画像情報を導出し、レイアウト管理部３３０に送信する。
【００３２】
また、画像取得部３０２は、当該画像信号を使用してユーザＰＣ１２０の表示画像である画像フレームを形成し、画像フレームを一時的に保存可能な記憶手段である、ビデオＲＡＭ３０３にそれぞれを上書き保存する。
【００３３】
ＲＡＭ２０３には、ＣＰＵ２０１によって、記憶装置２０４からボード部２１０として機能するプログラムが読み出され、展開される。
【００３４】
ボード部２１０として機能するプログラムには、プログラムモジュールである画像処理部３１０、描画イベント生成部３１１、イベント処理部３２０が含まれる。また、レイアウト管理部３３０、描画生成部３３１、合成部３３２、表示制御部３３３、スナップショット生成部３４０、リポジトリ管理部３４１が含まれる。
【００３５】
画像処理部３１０は、描画装置１４０に配された２つの発光点を、センサ部２０７（２次元画像センサ部１１２、１１３）それぞれが検出することで取得された発光点画像を所定のフレームレート（例えば、毎秒３０フレーム）で同期して受信する。また、所定のレートで受信した発光点画像について、１フレーム単位で、描画装置１４０の先端部と電子情報ボード１１０の表示画面１１１との接触位置の座標を算出する。なお、画像処理部３１０の詳細については後述する。
【００３６】
描画イベント生成部３１１は、画像処理部３１０の出力に基づいて種々のイベントを発行する。描画イベント生成部３１１が発行するイベントには、描画装置１４０が表示部２０５の表示画面１１１に接触したことを通知するイベント（ＴＯＵＣＨ）が含まれる。また、描画装置１４０が表示画面１１１に接触した状態で接触点が移動したことを通知するイベント（ＭＯＶＥ）が含まれる。更に、描画装置１４０が表示画面１１１から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。なお、これらのイベントには、画像処理部３１０において算出された接触位置の座標が含まれる。
【００３７】
イベント処理部３２０は、入力部２０６（例えば、電源スイッチ）や描画イベント生成部３１１が発行するイベントを処理する。イベント処理部３２０は、入力部２０６や描画イベント生成部３１１からイベントを受信すると、受信したイベントに対応する機能を実施する。
【００３８】
描画生成部３３１は、ユーザが描画装置１４０を用いて、表示画面１１１に対して行った描画操作に基づいて描画画像を生成する。具体的には、画像処理部３１０により算出された座標が示す座標位置の色を特定の色に変更することで描画画像を生成し、画像レイヤに描画する。
【００３９】
レイアウト管理部３３０は、ビデオＲＡＭ３０３に格納されている画像フレームを取得する。そして、画像フレームの大きさを表示画面１１１の大きさに適合するように変更した後、画像レイヤに描画する。
【００４０】
合成部３３２は、種々の画像レイヤを合成し合成画像を生成する。合成部３３２は、レイアウト管理部３３０によりユーザＰＣ１２０の表示画像が描画された画像レイヤ(以下、「画像キャプチャレイヤ」と称す)と、描画生成部３３１により生成された描画画像の画像レイヤ（以下、「手書きレイヤ」と称す）とを合成する。
【００４１】
表示制御部３３３は、表示部２０５を制御する。表示制御部３３３は、合成部３３２が生成した合成画像を表示部２０５の表示画面１１１に表示させる。本実施形態では、合成部３３２及び表示制御部３３３は、ユーザＰＣ１２０の表示画像に含まれる画像フレームのフレームレート（更新周期）と同じ周期で、画像レイヤを合成して表示部２０５の表示画面１１１に表示させる。
【００４２】
図４は、表示画面１１１に表示される合成画像の一例を示している。図４に示すように、表示部２０５の表示画面１１１には、ユーザＰＣ１２０の表示画像４０１と、描画生成部３３１が生成した描画画像４０２との合成画像が表示される。
【００４３】
図３の説明に戻る。スナップショット生成部３４０は、ユーザＰＣ１２０の表示画像と描画生成部３３１が生成した描画画像との合成画像についてスナップショット画像を生成する。スナップショット生成部３４０は、表示部２０５の表示画面１１１に表示された合成画像をスナップショット画像として取得することを指示するスナップショットボタン（入力部２０６に含まれる。不図示）が選択されることで動作する。具体的には、スナップショットボタンが選択されることで、イベント処理部３２０が選択通知イベントを受信すると、スナップショット生成部３４０では、画像キャプチャレイヤと手書きレイヤとを合成することで、スナップショット画像を生成する。
【００４４】
スナップショット生成部３４０は、スナップショット画像を生成すると、リポジトリ管理部３４１に対し当該スナップショット画像を記憶装置２０４に保存するよう指示する。
【００４５】
リポジトリ管理部３４１は、スナップショット画像を保存すべき記憶装置２０４を制御する。リポジトリ管理部３４１は、スナップショット生成部３４０の指示により、スナップショット画像を記憶装置２０４に保存する。
【００４６】
＜画像処理部における発光点についての座標検出機能の説明＞
次に、画像処理部３１０における発光点についての座標検出機能について説明する。
【００４７】
＜座標検出原理の説明＞
はじめに、座標検出原理について説明する。図５は、座標検出原理を説明するための図であり、電子情報ボード１１０の表示画面１１１の所定の点５００と、２次元画像センサ部１１２、１１３との位置関係を模式的に示したものである。ここでは、所定の点５００の座標を算出することで、座標検出原理について説明する。
【００４８】
図５に示すように、２次元画像センサ部１１２、１１３は、表示画面１１１の左上端部及び右上端部にそれぞれ配置されている。ここで、表示画面１１１の左上端部を原点とし、表示画面１１１の横方向をＸ軸、縦方向をＹ軸とする。
【００４９】
また、２次元画像センサ部１１２から見た場合のＸ軸方向（基準方向）に対する点５００の旋回角度をα、２次元画像センサ部１１３から見た場合のＸ軸方向（基準方向）に対する点５００の旋回角度をβとする。更に、表示画面１１１のＸ軸方向の幅をＬとする。
【００５０】
かかる前提のもとで、所定の点５００の位置のＹ座標を、Ｘ座標を用いて表すと以下のようになる。
【００５１】
Ｙ＝Ｘｔａｎα                                    （式１）
Ｙ＝（Ｌ−Ｘ）ｔａｎβ                            （式２）
ここで、式１と式２とにより、Ｙを消去しＸについて整理すると、
Ｘ＝Ｌｔａｎβ／（ｔａｎα＋ｔａｎβ）            （式３）
となる。
【００５２】
更に、式３を式１に代入すると、
Ｙ＝Ｌｔａｎα×ｔａｎβ／（ｔａｎα＋ｔａｎβ）  （式４）
となる。
【００５３】
つまり、２次元画像センサ部１１２、１１３において取得された画像に基づいて、点５００のＸ軸方向（基準方向）からの旋回角度α、βを算出し、式３及び式４に代入することで、点５００のＸ座標及びＹ座標を算出することができる。
【００５４】
＜描画装置の発光点の座標検出方法の説明＞
次に、上記座標検出原理を踏まえ、描画装置１４０の長軸方向に配された２つの発光点の座標を、２次元画像センサ部１１２、１１３において取得された発光点画像に基づいて検出する座標検出原理について説明する。
【００５５】
図６は、描画装置１４０の各発光点６１０、６２０の座標検出方法を説明するための図であり、表示画面１１１上の所定の位置に、発光点６１０、６２０を有する描画装置１４０の先端部が接触している様子を示している。
【００５６】
図６（ａ）は、発光点６１０の座標検出方法を示している。図６（ａ）に示すように、発光点６１０の表示画面１１１上での座標を検出するためには、まず、発光点６１０から表示画面１１１に向かって垂線を下ろす。そして当該垂線と表示画面１１１との交点を座標検出点６１１とする。
【００５７】
ここで、座標検出点６１１のＸ座標、Ｙ座標は、上記座標検出原理において説明したとおり、式３と式４とを用いることにより算出することができる。具体的には、２次元画像センサ部１１２から見た場合の座標検出点６１１のＸ軸方向に対する旋回角度をα１、２次元画像センサ部１１３から見た場合の座標検出点６１１のＸ軸方向に対する旋回角度をβ１とすると、座標検出点６１１の座標は以下のとおりとなる。
Ｘ１＝Ｌｔａｎβ１／（ｔａｎα１＋ｔａｎβ１）
Ｙ１＝Ｌｔａｎα１×ｔａｎβ１／（ｔａｎα１＋ｔａｎβ１）
同様に、図６（ｂ）は、発光点６２０の座標検出方法を示している。図６（ｂ）に示すように、発光点６２０の表示画面１１１上での座標を検出するためには、まず、発光点６２０から表示画面１１１に向かって垂線を下ろす。そして、当該垂線と表示画面１１１との交点を座標検出点６２１とする。
【００５８】
ここで、座標検出点６２１のＸ座標、Ｙ座標は、上記座標検出原理において説明したとおり、式３と式４とを用いることにより算出することができる。具体的には、２次元画像センサ部１１２から見た場合の座標検出点６２１のＸ軸方向に対する旋回角度をα２、２次元画像センサ部１１３から見た場合の座標検出点６２１のＸ軸方向に対する旋回角度をβ２とすると、座標検出点６２１の座標は以下のとおりとなる。
Ｘ２＝Ｌｔａｎβ２／（ｔａｎα２＋ｔａｎβ２）
Ｙ２＝Ｌｔａｎα２×ｔａｎβ２／（ｔａｎα２＋ｔａｎβ２）
＜画像処理部における先端部についての座標検出機能についての説明＞
次に、上述した２つの発光点についての座標検出方法を用いて、描画装置１４０の先端部と表示画面１１１との接触位置の座標を算出する座標検出機能について説明する。図７は、画像処理部３１０における先端部についての座標検出機能を説明するための図である。
【００５９】
図７に示すように、描画装置１４０において、発光点６１０と発光点６２０との間の長軸方向の距離をＮ、発光点６１０と描画装置１４０の先端部７００との間の長軸方向の距離をＭとする。
【００６０】
かかる前提のもとで、画像処理部３１０では、個体識別部７１１が描画装置１４０を識別する。具体的には、電子情報ボード１１０上に描画装置が複数ある場合に、各描画装置を識別する。なお、本実施形態では、描画装置ごとに発光点の発光強度が異なるように設定されているものとする。
【００６１】
このため、個体識別部７１１では、発光強度（２次元画像センサ部１１２、１１３において取得された発光点画像に含まれる発光点の輝度）に応じて、描画装置を識別する。
【００６２】
第１発光点座標算出部７１２では、処理対象の描画装置について、発光点６１０の座標検出点６１１のＸ座標、Ｙ座標を、上記座標検出方法に基づいて検出する。
【００６３】
同様に、第２発光点座標算出部７１３では、処理対象の描画装置について、発光点６２０の座標検出点６２１のＸ座標、Ｙ座標を、上記座標検出方法に基づいて検出する。
【００６４】
先端部座標算出部７１４では、検出された座標検出点６１１、６２１のＸ座標、Ｙ座標に基づいて、描画装置１４０の先端部７００の座標検出点７０１のＸ座標、Ｙ座標を算出する。
【００６５】
図７に示すように、先端部７００の座標検出点７０１と、発光点６１０の座標検出点６１１と、発光点６１０からなる三角形と、先端部７００の座標検出点７０１と、発光点６２０の座標検出点６２１と、発光点６２０からなる三角形とは相似の関係にある。
【００６６】
したがって、先端部７００の座標検出点７０１の座標をＰｎｉｂ、発光点６１０の座標検出点６１１の座標をＰ１、発光点６２０の座標検出点６２１の座標をＰ２とすると、以下の関係が成り立つ。
Ｍ：Ｎ＝（Ｐ１−Ｐｎｉｂ）：（Ｐ２−Ｐ１）            （式５）
これをＰｎｉｂについて整理すると、
Ｐｎｉｂ＝Ｐ１＋Ｍ（Ｐ１−Ｐ２）／Ｎ                （式６）
となる。
【００６７】
したがって、先端部座標算出部７１４では、描画装置１４０の先端部７００の座標を、既知の距離Ｍ、Ｎと、２点の発光点の座標位置Ｐ１、Ｐ２とを用いて、式６に基づいて算出する。
【００６８】
先端部座標出力部７１５では、先端部座標算出部７１４において算出された座標（Ｐｎｉｂ）を描画イベント生成部３１１に向けて出力する。
【００６９】
＜座標検出タイミングの説明＞
次に、画像処理部３１０における先端部についての座標検出機能により、描画装置１４０の先端部の座標を検出する際の、座標検出タイミングについて説明する。図８は、画像処理部３１０における画像処理の概要を示す図であり、２次元画像センサ部１１２、１１３による発光点画像の取得処理と、画像処理部３１０による画像処理との対応関係を示している。
【００７０】
なお、縦軸は時間を示しており、Ｔ１〜Ｔ５は、それぞれ、２次元画像センサ部１１２、１１３による発光点画像の取得タイミングを表している（つまり、Ｔ１〜Ｔ５はフレームレートに応じた値となっている）。
【００７１】
図８に示すように、ｔ＝Ｔ１では、２次元画像センサ部１１２、１１３がそれぞれ発光点画像８０１、８１１を取得する。発光点画像８０１、８１１には、発光点が含まれていないため、画像処理部３１０では、描画装置１４０の先端部の座標を検出する処理を実行しない。
【００７２】
ｔ＝Ｔ２では、２次元画像センサ部１１２、１１３がそれぞれ取得した発光点画像８０２、８１２に、２つの発光点が含まれている。そこで、画像処理部３１０では、描画装置１４０の先端部の座標を検出する処理を実行する。なお、ここでは、２つの発光点のうち、低い位置に存在している方を発光点６１０と判断し、高い位置に存在している方を発光点６２０と判断することとする。
【００７３】
画像処理部３１０では、まず、発光点画像８０２に基づいて、発光点６１０、６２０の旋回角度α１、α２を、発光点画像８１２に基づいて、発光点６１０、６２０の旋回角度β１、β２をそれぞれ算出する。そして、算出した旋回角度α１、β１に基づいて、座標検出点６１１の座標を、α２、β２に基づいて、座標検出点６２１の座標をそれぞれ求めることで、描画装置１４０の先端部の座標Ｐｎｉｂ１（Ｘ、Ｙ）を算出する。
【００７４】
以下、同様に、ｔ＝Ｔ３、Ｔ４、Ｔ５においても、それぞれのタイミングで取得した発光点画像に基づいて、描画装置１４０の先端部の座標Ｐｎｉｂ２（Ｘ、Ｙ）〜Ｐｎｉｂ４（Ｘ、Ｙ）を算出する。
【００７５】
このように、本実施形態によれば、発光点画像において同時に２つの発光点を検出でき、高さ方向の位置の違いから、２つの発光点を識別することができる。このため、２次元画像センサ部１１２、１１３がそれぞれ、１フレーム分の発光点画像を取得するだけで、描画装置１４０の先端部の座標を算出することができる。
【００７６】
つまり、２つの発光点の座標を求めるのに、フレーム単位で座標検出処理を行うことができるため、発光点画像のフレームレートに応じたタイミングで、描画装置１４０の先端部の座標を算出することが可能となる。
【００７７】
＜まとめ＞
以上の説明から明らかなように、本実施形態に係る座標入力システムでは、
・描画装置１４０に配された２つの発光点を検出するための構成として、２次元画像センサ部１１２、１１３を配することとした。
【００７８】
・２つの発光点６１０、６２０を、電源がオンの状態において常時点灯させる構成とした。
【００７９】
このように、２次元画像センサ部１１２、１１３を配し、２つの発光点を点灯させることで、画像処理部３１０では２次元画像センサ部１１２、１１３において取得された１フレーム分の発光点画像を用いて、２つの発光点の座標を同時に検出することが可能となる。
【００８０】
つまり、従来の座標入力システムのように、２つの発光点を区別するために、発光点を点滅制御させる必要がなく、また、複数フレーム分の画像を取得する必要もない。したがって、従来のように、複数フレーム分の画像取得時間に１回の頻度で先端部の座標が検出されることもなくなり、１フレーム周期で先端部の座標を検出することができるようになる。この結果、座標の検出周期を短くすることができ、座標検出処理の高速化が実現できるようになる。
【００８１】
［第２の実施形態］
上記第１の実施形態では、複数の描画装置を識別するために、それぞれの描画装置の発光点の発光強度を変え、画像処理部では、発光点画像に含まれる発光点の輝度に基づいて、描画装置を識別する構成とした。しかしながら、本発明はこれに限定されない。
【００８２】
複数の描画装置の発光点が発光点画像内に含まれている場合において、発光点画像をフレーム間で比較し、フレーム間における各発光点の移動距離に基づいて、描画装置を識別する構成としてもよい。以下、本実施形態の詳細について説明する。
【００８３】
＜個体識別部における識別処理の概要＞
はじめに、個体識別部７１１による、描画装置の識別処理の概要について説明する。図９は、２次元画像センサ部１１２において取得された発光点画像を、１フレームごとに時系列に配列した様子を示している。なお、２次元画像センサ部１１３において取得された発光点画像についても同様であるため、ここでは、２次元画像センサ部１１２において取得された発光点画像についてのみ説明する。
【００８４】
図９において、ｔ＝Ｔ１のタイミングでは、ユーザは描画装置１４０を使用していないため、発光点画像９０１には、発光点は含まれていない。
【００８５】
一方、ｔ＝Ｔ２のタイミングで取得された発光点画像９０２は、ユーザが表示画面１１１に、描画装置１４０の先端部を接触させた状態を示している。この時点では、発光点画像９０２に含まれる発光点の数は２つであるため、当該２つの発光点は、同じ描画装置に配された発光点であると判断することができる。そこで、発光点画像９０２内の発光点に、例えば、ラベルＬ＝１１、Ｌ＝１２を付す。なお、この場合、ラベルの十の位は、描画装置固有の値を示している。また、ラベルの一の位において、"１"は、高さ方向において低い位置にある発光点であることを、"２"は、高い位置にある発光点であることを示している。
【００８６】
ｔ＝Ｔ３のタイミングで取得された発光点画像９０３は、ユーザが描画装置１４０を使用して、表示画面１１１上に手書き入力を行っている状態を示している。発光点画像９０３においても、発光点の数は２つであるため、当該２つの発光点は、同じ描画装置に配された発光点であると判断することができる。このため、発光点画像９０２と同じラベルが付される。
【００８７】
一方、ｔ＝Ｔ４のタイミングで取得された発光点画像９０４は、一のユーザが一の描画装置を使用して手書き入力を行っている最中に、他のユーザが他の描画装置を使用して手書き入力を開始した状態を示している。
【００８８】
発光点画像９０４に示すように、２人のユーザが、表示画面１１１上において同時に手書き入力を行った場合、４つの発光点が含まれることとなる。このような場合、個体識別部７１１では、現在（今回）フレームと前回フレームとの対比を行う。そして、フレーム間における発光点の移動距離が最小のものを、前回フレームにて識別した描画装置の発光点であると判定する。
【００８９】
なお、発光点画像９０４の例では、説明の便宜上、前回フレームの発光点画像９０３を点線で重畳して示してある。発光点画像９０４内において、点線で示した画像と、実線で示した画像とを対比すると、ラベルＬ＝１１が付された発光点に最も近い発光点は、発光点９１１である。したがって、発光点９１１には、ラベルＬ＝１１が付される。同様に、ラベルＬ＝１２に最も近い発光点は、発光点９１２である。したがって、発光点９１２には、ラベルＬ＝１２が付される。
【００９０】
一方、発光点画像９０４において新たに表示された発光点であって、前回フレームの発光点画像９０３においてラベルＬ＝１１、１２が付された発光点から離れた位置にある発光点に対しては、新たに、ラベルＬ＝２１、２２が付される。
【００９１】
ｔ＝Ｔ５のタイミングで取得された発光点画像９０５は、２人のユーザが、継続して手書き入力を行っている状態を示している。
【００９２】
発光点画像９０５に示すように、２人のユーザが、表示画面１１１上において同時に手書き入力を行った場合、４つの発光点が含まれることとなる。なお、発光点画像９０５においても、説明の便宜上、前回フレームの発光点画像９０４を点線で重畳して示してある。
発光点画像９０５内において、点線で示した画像と、実線で示した画像とを対比すると、ラベルＬ＝１１が付された発光点に最も近い発光点は、発光点９２１である。したがって、発光点９２１には、ラベルＬ＝１１が付される。同様に、ラベルＬ＝１２に最も近い発光点は、発光点９２２である。したがって、発光点９２２には、ラベルＬ＝１２が付される。
【００９３】
更に、ラベルＬ＝２１に最も近い発光点は、発光点９３１である。したがって、発光点９３１には、ラベルＬ＝２１が付される。同様に、ラベルＬ＝２２に最も近い発光点は、発光点９３２である。したがって、発光点９３２には、ラベルＬ＝２２が付される。
【００９４】
＜個体識別部における識別処理の流れ＞
次に、個体識別部７１１による、描画装置の識別処理の流れについて説明する。図１０は、個体識別部７１１による、描画装置の識別処理の流れを示すフローチャートである。なお、図１０のフローチャートは、２次元画像センサ部１１２において取得された発光点画像に対する処理であるが、２次元画像センサ部１１３において取得された発光点画像についても同様である。
【００９５】
２次元画像センサ部１１２において発光点画像の取得が開始されると、図１０に示すフローチャートが開始される。ステップＳ１００１では、取得された発光点画像内に、２つの発光点が検出されたか否かを判定する。ステップＳ１００１において、２つの発光点が検出されていないと判定された場合には、検出されるまで待機する。
【００９６】
一方、２つの発光点が検出されたと判定された場合には、ステップＳ１００２に進み、当該発光点画像のフレーム番号ｎに１を代入する。更に、ステップＳ１００３では、当該２つの発光点が同じ描画装置の発光点であることを示すラベルとして、Ｌ＝１１とＬ＝１２のラベルをそれぞれに付す。
【００９７】
ステップＳ１００４では、次のフレーム（ここではフレーム番号ｎ＝２のフレーム）の発光点画像を取得したか否かを判定する。次のフレームの発光点画像を取得していない場合には、取得するまで待機する。
【００９８】
一方、次のフレームの発光点画像を取得したと判定した場合には、当該次のフレームの発光点画像と、前回のフレームの発光点画像とを対比する。ここでは、フレーム番号ｎ＝１の発光点画像９０２と、フレーム番号＝２の発光点画像９０３とを対比する。
【００９９】
ステップＳ１００６では、フレーム間の移動距離が最小の発光点に、前回フレームの発光点画像に含まれる発光点に付されたラベルと同じラベルを付す。ここでは、フレーム番号ｎ＝２の発光点画像９０３に含まれる発光点に、Ｌ＝１１とＬ＝１２のラベルをそれぞれ付す。
【０１００】
ステップＳ１００７では、フレーム番号ｎ＝２の発光点画像９０３内において、発光点の数が２つ増加しているか否かを判定する。発光点の数が２つ増加していないと判定された場合には、ステップＳ１００４に戻る。
【０１０１】
つまり、発光点の数が増加していない場合には、前回のフレームの発光点画像９０２の発光点に付されていたラベルがそのまま引き継がれる。
【０１０２】
一方、ステップＳ１００７において、発光点の数が２つ増加したと判定された場合には、ステップＳ１００８に進む。ステップＳ１００８では、増加した２つの発光点同士（ラベルが付されていない発光点同士）を同じ描画装置の発光点であると認識し、同じ描画装置の発光点であることを示すラベルを付す。ここでは、Ｌ＝２１とＬ＝２２のラベルをそれぞれ付す。その後、ステップＳ１００４に戻る。
【０１０３】
つまり、発光点の数が増加し、ラベルが付されていない発光点が検出されるたびに、新たにラベルが付される。これにより、複数のユーザが、描画装置を用いて表示画面１１１上に手書き入力を行った場合であっても、それぞれの描画装置の２つの発光点を精度よくペアリングすることができる。
【０１０４】
なお、このような識別処理を可能にするのは、２次元画像センサを用いたことによるものであり、１次元画像センサでは、実現が困難な処理であることはいうまでもない。
【０１０５】
［第３の実施形態］
上記第１の実施形態では、描画装置１４０内において、２つの発光点６１０、６２０を、描画装置１４０の長軸方向の端部近傍（先端近傍と後端近傍）に配置する構成としたが、本発明はこれに限定されない。
【０１０６】
例えば、図１１（ａ）に示すように、２つの発光点６１０、６２０を、描画装置１４０の後端近傍に配置する構成としてもよい。かかる配置によれば、ユーザは、描画装置１４０を把持するにあたり、描画装置１４０の先端近傍を把持することが可能となる。これにより、ユーザは、描画装置１４０の先端の細かな動きをコントロールしやすくなり、微細な手書き入力が求められる場合に有効となる。
【０１０７】
また、図１１（ｂ）に示すように、２つの発光点６１０、６２０を、描画装置１４０の先端近傍に配置する構成としてもよい。かかる配置によれば、ユーザは、描画装置１４０を把持するにあたり、描画装置１４０の後端近傍を把持することが可能となる。これにより、ユーザは、チョークを把持するのと同様の要領で、描画装置１４０を把持することが可能となる。
【０１０８】
［第４の実施形態］
上記第１及び第２の実施形態では、描画装置１４０において、２つの発光点６１０、６２０からの光が、所定の方向に照射されるように構成されていたが、本発明はこれに限定されない。例えば、描画装置１４０の周方向に照射されるように構成してもよい。
【０１０９】
図１２（ａ）は、描画装置１４０の周方向に照射されるように、周方向に複数の発光点を配した場合を示している。図１２（ａ）に示すように、描画装置１４０の長軸方向の先端近傍と後端近傍にそれぞれ、周方向に複数の発光点（６１０＿１〜６１０＿４、６２０＿１〜６２０＿４）を配する。これにより、２次元画像センサ部１１２、１１３では、描画装置１４０の姿勢に影響されることなく、発光点を検出することができるようになる。
【０１１０】
図１２（ｂ）は、反射材１２１０、１２２０を描画装置１４０の周方向に配することで、発光点の数を増やすことなく、周方向に照射されるように構成した場合を示している。図１２（ｂ）に示すように、周方向に反射材１２１０、１２２０を配することで、描画装置１４０の長軸方向の先端近傍の内部と後端近傍の内部にそれぞれ配された発光点６１０、６２０からの光が、描画装置１４０の周方向に照射されることとなる。これにより、２次元画像センサ部１１２、１１３では、描画装置１４０の姿勢に影響されることなく、発光点を検出することができるようになる。なお、周方向に配する部材は、反射材に限定されず、光拡散財等であってもよい。
【０１１１】
［第５の実施形態］
上記第１乃至第３の実施形態では、発光点６１０、６２０の種類について特に言及しなかったが、例えば、発光点６１０、６２０として、ＬＥＤ（Light Emitting Diode）を用いてもよい。あるいは、白熱電球を用いてもよい。なお、ＬＥＤの場合、筐体が小型で、消費電力が少ないため、描画装置に取り付けるのに適している。一方、白熱電球の場合、ＬＥＤと比べて照射方向の指向性が小さいため、２次元画像センサ１１２、１１３が検出しやすいといった利点がある。
【０１１２】
また、上記第１乃至第３の実施形態では、画像処理部３１０において算出された、描画装置１４０の先端部の座標を、描画画像の生成に用いる構成としたが、本発明はこれに限定されない。例えば、表示画面１１１上に表示された画像（アイコン等）を選択するための選択操作に用いるようにしてもよいし、表示画面１１１上に表示された画像を消去するための消去操作に用いるようにしてもよい。
【０１１３】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１１４】
１００          ：座標入力システム
１１０          ：電子情報ボード
１１１          ：表示画面
１１２          ：２次元画像センサ部
１１３          ：２次元画像センサ部
１２０          ：ユーザＰＣ
１３０          ：ケーブル
１４０          ：描画装置
４０１          ：表示画像
４０２          ：描画画像
６１０          ：発光点
６１１          ：座標検出点
６２０          ：発光点
６２１          ：座標検出点
７００          ：先端部
７０１          ：座標検出点
７１１          ：個体識別部
７１２          ：第１発光点座標算出部
７１３          ：第２発光点座標算出部
７１４          ：先端部座標算出部
７１５          ：先端部座標出力部
８０１〜８０５  ：発光点画像
８１１〜８１５  ：発光点画像
９０１〜９０５  ：発光点画像
１２１０        ：反射材
１２２０        ：反射材
【先行技術文献】
【特許文献】
【０１１５】
【特許文献１】特開２００４−３８５２８号公報
【図１】
2015049559.tif 000003
【図２】
2015049559.tif 000004
【図３】
2015049559.tif 000005
【図４】
2015049559.tif 000006
【図５】
2015049559.tif 000007
【図６】
2015049559.tif 000008
【図７】
2015049559.tif 000009
【図８】
2015049559.tif 000010
【図９】
2015049559.tif 000011
【図１０】
2015049559.tif 000012
【図１１】
2015049559.tif 000013
【図１２】
2015049559.tif 000014