(57)【要約】【課題】座標入力領域の２箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出できるようにする。【解決手段】座標入力領域４３の上部両端に配置された受発光手段４１−１，４１−２から出射された光ビームＬ1〜Ｌmは、再帰性反射部材４４で反射し、受発光手段４１−１，４１−２に戻る。不図示の電子ペンが座標入力領域４３に接触し、光路が遮断されると、接触位置４２が三角測量により算出される。光路が手などに遮られたり、複数の指示物体が座標入力領域４３に接触したりしても、電子ペンが備える加速度センサ及び角速度センサの出力を用いることで、接触位置４２を算出することができる。【選択図】図４
2015056064.tif 000002
【特許請求の範囲】
【請求項１】
座標入力領域の２箇所に配置された受発光手段と、
各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる反射手段と、
各受発光手段から前記座標入力領域に出射され、前記反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、前記指示物体が接触した座標位置を算出する第１の座標位置算出手段と、
前記指示物体からの加速度の検知信号及び角速度の検知信号を積算して、前記指示物体の移動量と移動方向を含む移動情報を算出する移動情報算出手段と、
前記第１の座標位置算出手段により座標位置を算出できないとき、前記第１の座標位置算出手段により算出できたときの座標位置と、前記移動情報算出手段で算出された移動情報とから、前記指示物体の座標位置を算出する第２の座標位置算出手段と、
を有する座標入力装置。
【請求項２】
請求項１に記載された座標入力装置において、
前記指示物体からの前記座標入力領域に接触したことを示す検知信号を受け取り、そのときに前記第１の座標位置算出手段により算出された座標位置を描画開始座標位置として記憶する描画開始座標位置記憶手段と、
前記指示物体からの前記座標入力領域から離れたことを示す検知信号を受け取り、そのときに前記第１の座標位置算出手段により算出された座標位置を描画終了座標位置として記憶する描画終了座標位置記憶手段と、
前記描画終了座標位置から次の描画開始座標位置までの差を基準にして、その間に前記移動情報算出手段で算出された移動情報を補正する第１の補正手段と、
を有する座標入力装置。
【請求項３】
請求項１に記載された座標入力装置において、
前記指示物体からの前記座標入力領域に接触したことを示す検知信号を受け取り、そのときに前記第１の座標位置算出手段により算出された座標位置を描画開始座標位置として記憶する描画開始座標位置記憶手段と、
前記指示物体からの前記座標入力領域から離れたことを示す検知信号を受け取り、そのときに前記第１の座標位置算出手段により算出された座標位置を描画終了座標位置として記憶する描画終了座標位置記憶手段と、
前記描画開始座標位置から前記描画終了座標位置までの差を基準にして、その間に前記移動情報算出手段で算出された移動情報を補正する第２の補正手段と、
を有する座標入力装置。
【請求項４】
請求項１〜３のいずれかに記載された座標入力装置を備えた画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標入力装置に関し、特にパーソナルコンピュータ等において情報を入力したり、選択したりするために、ペンなどの指示物体によって指示された位置を入力する座標入力装置及びそれを備えた画像処理装置に関する。
【背景技術】
【０００２】
液晶やプラズマなどのフラットパネルやプロジェクタを用いた４０インチ〜８０インチ程度のサイズの大型のディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード」製品が市販されている。
【０００３】
電子情報ボードにパーソナルコンピュータ（以下、ＰＣ）を接続することによって、ＰＣの画面を大きく映すことができ、企業や行政機関の会議におけるプレゼンテーション等や教育機関等で用いられている。
【０００４】
電子情報ボードに搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示しているＰＣを操作する、「タッチパネルを介したＰＣ操作機能」、が提供されている。
【０００５】
さらに、接続したＰＣ上で動かす、電子黒板アプリケーションソフトウエアがこれらの機器と一緒に提供されている。このアプリケーションソフトウエアは、黒板の役割をする画面を提供し、その上に手書き文字などをタッチパネルを介して描く機能、このアプリケーションを提供するパソコンの画面を取り込んでその上に手書き文字などを重畳して描く機能など、「タッチパネルを介した手書機能」、が提供されている。
【０００６】
具体的な製品事例では、例えばシャープ（株）の「ＢＩＧ  ＰＡＤ」（登録商標）、日立ソフトウェアエンジニアリング（株）の「スターボード」（登録商標）や、パイオニア（株）の「サイバーカンファレンス」（登録商標）、がある。
【０００７】
このような手書き機能を備えた電子情報ボードを利用すると、オフィスの会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指摘事項等の書き込みを行い、さらに必要に応じて書き込みを含む画面内容を記録することができる。この結果、会議終了時に画面内容を振り返り、画面内容を再利用することで効率的に結論などをまとめることが期待できる。
【０００８】
このような電子情報ボードに対する指示物体の接触位置の入力が可能な装置として、特許文献１、２に記載された座標入力装置がある。これらの座標入力装置は、座標入力領域の２箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる再帰性反射手段と、を備えている。そして、各受発光手段から前記座標入力領域に同時に（特許文献２）又は順次に（特許文献１）出射され、前記再帰性反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、三角測量により前記指示物体が接触した座標入力領域上の位置（以下、座標位置）を算出するように構成されている。
【０００９】
しかしながら、特許文献１、２に記載された座標入力装置では、前記光路が手などに遮られることで、指示物体の座標位置を算出できなくなるという問題がある。また、複数の指示物体を用いると、それぞれの指示物体の座標位置を算出できなくなるという問題もある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、このような問題を解決するためになされたものであり、その目的は、座標入力領域の２箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出できるようにすることである。
【課題を解決するための手段】
【００１１】
本発明の座標入力装置は、座標入力領域の２箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる反射手段と、各受発光手段から前記座標入力領域に出射され、前記反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、前記指示物体が接触した座標位置を算出する第１の座標位置算出手段と、前記指示物体からの加速度の検知信号及び角速度の検知信号を積算して、前記指示物体の移動量と移動方向を含む移動情報を算出する移動情報算出手段と、前記第１の座標位置算出手段により座標位置を算出できないとき、前記第１の座標位置算出手段により算出できたときの座標位置と、前記移動情報算出手段で算出された移動情報とから、前記指示物体の座標位置を算出する第２の座標位置算出手段と、を有する座標入力装置である。
【発明の効果】
【００１２】
本発明によれば、座標入力領域の２箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第１の例を示す図である。
【図２】本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第２の例を示す図である。
【図３】図２に示す画像処理装置のハードウェア構成及び機能構成を示す図である。
【図４】本発明の実施形態の座標入力装置の概略構成を示す図である。
【図５】図４における受発光手段の内部構成を示す図である。
【図６】画像処理装置の表示部の表面に指示物体が接触してビームが遮断されたときの動作を説明するための図である。
【図７】三角測量の原理を基に座標位置を算出する方法を説明するための図である。
【図８】指示物体以外に手などが表示部の表面に接触している状態を示す図である。
【図９】２つの指示物体が表示部の表面に接触している状態を示す図である。
【図１０】本発明の指示物体の実施形態としての電子ペンの構成を示す図である。
【図１１】図９に示す電子ペンからの信号を用いた座標検出処理の一部を示すフローチャートである。
【図１２】図９に示す電子ペンからの信号を用いた座標検出処理の残りの部分を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を用いて詳細に説明する。
＜座標入力装置が実装された画像処理装置を含む画像処理システム＞
図１は、本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第１の例を示す図である。
【００１５】
画像処理システム１００は、画像処理装置１１０と、ユーザＰＣ１３０ａ，１３０ｂとを含んで構成されており、画像処理装置１１０とユーザＰＣ１３０ａ，１３０ｂとは、それぞれケーブル１２４ａ，１２４ｂによって接続される。
【００１６】
画像処理装置１１０は表示部１１２を備えており、ユーザＰＣ１３０ａ，１３０ｂの表示画像を表示することができるとともに、ユーザが生成する描画画像を表示可能な装置である。ユーザＰＣ１３０ａ，１３０ｂは、画像処理装置１１０に表示すべき画像を提供する情報処理装置である。ユーザＰＣ１３０ａ，１３０ｂは、画像信号を出力するインタフェースを備えており、ユーザＰＣ１３０ａ，１３０ｂの表示画像を形成する画像信号を所定のレート（例えば毎秒３０フレーム）で画像処理装置１１０に供給する。
【００１７】
本実施形態では、ユーザＰＣ１３０ａ，１３０ｂは、インタフェースとしてＶＧＡ出力端子（図示せず）を備えており、ＶＧＡケーブル等のケーブル１２４ａ，１２４ｂを介してＶＧＡ信号を画像処理装置１１０に送信することができる。他の実施形態では、ユーザＰＣ１３０ａ，１３０ｂは、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。
【００１８】
この図に示す実施形態では、ユーザＰＣ１３０ａ，１３０ｂとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処理装置を採用することができる。また、図１に示す画像処理システム１００では、２つのユーザＰＣ１３０ａ，１３０ｂを採用するが、他の実施形態では、１つのユーザＰＣ又は３つ以上のユーザＰＣを採用することもできる。
【００１９】
図２は、本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第２の例を示す図である。この画像処理システム１０００について、図１に示す画像処理システム１００との相違点を中心に説明する。
【００２０】
画像処理システム１０００では、画像処理装置１１０と、画像処理装置１０１０と、ユーザＰＣ１３０ｄとがネットワーク１０１４を介して接続される。ネットワーク１０１４は、ＬＡＮやインターネットなどのネットワークであり、画像処理装置１１０，１０１０，及びユーザＰＣ１３０ｄの間で、画像データ及びイベント等の種々のデータを通信する。
【００２１】
画像処理装置１０１０は、ケーブル１２４ｃを介してユーザＰＣ１３０ｃに接続されている。
【００２２】
この図に示す実施形態では、画像処理装置１１０，１０１０及びユーザＰＣ１３０ｄがネットワーク１０１４を介して接続されるが、他の実施形態では、これらの画像処理装置をネットワーク１０１４を介さずに、スター型等の接続形態で直接接続してもよい。
【００２３】
＜画像処理装置のハードウェア構成及び機能構成＞
図３は、図２に示す画像処理装置のハードウェア構成及び機能構成を示す図である。
【００２４】
画像処理装置１１０は、画像入力インタフェース２３２を備えており、このインタフェースを介してユーザＰＣ１３０ａ，１３０ｂと接続される。画像入力インタフェース２３２は、ユーザＰＣ１３０ａ，１３０ｂの表示画像を形成する画像信号を受信するインタフェースである。
【００２５】
本実施形態では、画像入力インタフェース２３２としてＤＶＩ（Digital Visual Interface）端子によって構成されるＤＶＩコネクタを採用することができる。画像入力インタフェース２３２は、ユーザＰＣ１３０ａ，１３０ｂからＶＧＡ（Video Graphics Array）ケーブル等のケーブル１２４を介してＶＧＡ信号を受信し、画像処理装置１１０が備える画像取得部２０６にＶＧＡ信号を供給する。
【００２６】
他の実施形態では、ＶＧＡコネクタ、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用することができる。さらに他の実施形態では、画像入力インタフェース２３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１３０ａ，１３０ｂから画像信号を受信してもよい。
【００２７】
画像処理装置１１０は、プロセッサ２００と、ＲＯＭ２０２と、ＲＡＭ２０４と、画像取得部２０６と、座標検出部２２４と、座標検知装置２２６と、表示部１１２を含んで構成される。
【００２８】
プロセッサ２００は、ＣＰＵやＭＰＵ等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳを動作させ、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。
【００２９】
ＲＯＭ２０２は、ＢＩＯＳやＥＦＩ等のブートプログラムなどが保存される不揮発性メモリである。ＲＡＭ２０４は、ＤＲＡＭやＳＲＡＭ等の主記憶装置であり、本実施形態のプログラムを実行するための実行空間を提供する。
【００３０】
プロセッサ２００は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置（図示せず）から、プログラムを読み出し、ＲＡＭ２０４に展開して実行する。
【００３１】
プログラムには、プログラムモジュールであるイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、表示制御部２２０、スナップショット生成部２２２、スナップショット保存部２３６、スナップショット送信部２３８およびリポジトリ管理部２２８が含まれる。
【００３２】
画像取得部２０６は、ユーザＰＣ１３０ａ，１３０ｂから画像信号を取得する機能手段である。画像取得部２０６は、ユーザＰＣ１３０ａ，１３０ｂから画像入力インタフェース２３２を介して画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成されるユーザＰＣ１３０ａ，１３０ｂの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部２１２に送信する。
【００３３】
また、画像取得部２０６は、当該画像信号を使用してユーザＰＣ１３０ａ，１３０ｂの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にそれぞれ上書き保存する。
【００３４】
アプリ画像生成部２１２は、表示部１１２に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、ユーザＰＣ１３０ａ，１３０ｂの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウ、画像処理装置１１０の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやＷｅｂブラウザ等の表示ウィンドウなどが含まれる。アプリ画像生成部２１２は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。
【００３５】
レイアウト管理部２１４は、アプリ画像生成部２１２が生成する表示ウィンドウにユーザＰＣ１３０ａ，１３０ｂの表示画像を描画する機能手段である。レイアウト管理部２１４は、画像取得部２０６から画像情報を取得すると、ビデオＲＡＭ２０８に格納されている画像フレームを取得し、画像情報を使用して、画像フレームの大きさをアプリ画像生成部２１２が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。
【００３６】
座標検知装置２２６は、描画装置２４０等の指示物体の接触を検知する機能手段である。本実施形態では、座標検知装置２２６として、赤外線遮断方式による座標入力装置を採用する。この座標入力装置では、表示部１１２の下側両端部に設置された２つの受発光装置が、表示部１１２に平行に複数の赤外線を放射し、表示部１１２の周囲に設けられた再帰性反射手段によって同一光路上に反射する光を受光する。
【００３７】
座標検知装置２２６は、指示物体によって遮断された２つの受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、指示物体の接触位置である座標位置を特定する。
【００３８】
他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検知手段を採用してもよい。
【００３９】
座標検出部２２４は、表示部１１２に対する指示物体の接触位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。本実施形態では、座標検出部２２４は、座標検知装置２２６が通知する遮断された赤外線の識別情報を利用して、指示物体の座標位置を算出する。
【００４０】
座標検出部２２４は、接触位置の座標位置と共に、種々のイベントをイベント処理部２１０に発行する。座標検出部２２４が発行するイベントには、物体の接触又は接近したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部１１２に接触又は接近した状態で接触点又は接近点が移動したことを通知するイベント（ＭＯＶＥ）、物体が表示部１１２から離れた（離間した）ことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。これらのイベントには、接触位置座標及び接近位置座標である座標位置情報が含まれる。
【００４１】
描画装置２４０は、画像処理装置１１０の座標検知装置２２６に接触させて描画する装置である。描画装置２４０は、先端部に物体の接触を検知する接触検知手段を備えたペン形状をしており、当該接触検知手段が物体に接触すると、接触したことを示す接触信号を当該描画装置の識別情報と共に座標検出部２２４に送信する。
【００４２】
また、描画装置２４０は、描画された描画オブジェクトを消去する機能を持つ。描画モードから消去モードに切り替えるモード切替スイッチを側面や後端部に備えている。当該接触検知手段が消去モードで物体に接触すると、接触したことを示す信号と消去モードである信号を当該描画装置の識別情報と共に座標検出部２２４に送信する。描画装置２４０は、表示部１１２に表示されたメニューやボタン等のオブジェクトをユーザが選択することが可能である。
【００４３】
例えば、ユーザが消去モード切替スイッチを押下した状態で、描画装置２４０を画像処理装置１１０の表示部１１２に接触させた場合には、描画装置２４０は、接触信号及び当該描画装置の識別情報と共に、消去モードを示すモード種別信号を送信する。ユーザが消去モード切替スイッチを押下していない状態で、描画装置２４０を画像処理装置１１０の表示部１１２に接触させた場合には、描画装置２４０は、接触信号および当該描画装置の識別情報を送信する。
【００４４】
本実施形態では、座標検出部２２４は、座標検知装置２２６から赤外線の識別情報を受信すると、指示物体の接触位置である座標位置を算出し、次いで、描画装置２４０から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部２２４は、モード種別を示す情報（以下、「モード種別情報」とする。）を当該イベントと共にイベント処理部２１０に通知する。
【００４５】
本実施形態では、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。
【００４６】
イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する機能手段である。イベント処理部２１０は、座標検出部２２４からイベントを受信すると、描画領域での描画指示イベントなのか、消去指示イベントなのか、または表示部１１２に表示された機能別のアイコンを選択する操作なのかを識別し、それぞれの機能を実施する。
【００４７】
描画指示イベントとは、画像処理装置１１０に対して描画を指示するイベントである。消去指示イベントは、画像処理装置１１０に対して描画されたオブジェクトを消去するイベントである。描画指示イベント及び消去イベントは、描画装置２４０が表示部１１２に接触することに起因して発行される。
【００４８】
選択通知イベントとは、表示部１１２に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは、描画装置２４０が表示部１１２に接触することに起因して発行される。イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。
【００４９】
本実施形態では、描画指示イベント及び選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する画像処理装置１１０の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する画像処理装置１１０の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。
【００５０】
描画生成部２１６は、ユーザが描画装置２４０を用いて描画した描画画像を生成する機能手段である。描画生成部２１６は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。描画生成部２１６は、当該座標位置を描画情報としてＲＡＭ２０４の描画情報の格納領域に保存する。
【００５１】
合成部２１８は、種々の画像を合成する機能手段である。合成部２１８は、アプリ画像生成部２１２が画像を描画すべき画像レイヤ（以下、「アプリ画像レイヤ」とする。）と、レイアウト管理部２１４がユーザＰＣ１３０ａ，１３０ｂの表示画像を描画すべき画像レイヤ（以下、「画像キャプチャレイヤ」とする。）と、描画生成部２１６が画像を描画すべき画像レイヤ（以下、「手書きレイヤ」とする。）とを合成する。
【００５２】
表示制御部２２０は、表示部１１２を制御する機能手段である。表示制御部２２０は、合成部２１８が生成した合成画像を表示部１１２に表示させる。本実施形態では、合成部２１８は、表示制御部２２０を呼び出して合成画像を表示部１１２に表示させる。他の実施形態では、合成部２１８及び表示制御部２２０は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部１１２に表示させてもよい。
【００５３】
スナップショット生成部２２２は、ユーザＰＣ１３０ａ，１３０ｂの表示画像と描画生成部２１６が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。
【００５４】
スナップショット生成部２２２は、表示部１１２に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。スナップショット生成部２２２は、スナップショット画像を生成すると、リポジトリ管理部２２８に対しスナップショット画像を記憶装置２３０に保存させる。
【００５５】
スナップショット保存部２３６は、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像をデータ出力インタフェース２３４を通じてＵＳＢメモリ２４２等の外部保存装置にスナップショット画像を保存する機能手段である。
【００５６】
スナップショット保存部２３６は、表示部１１２に表示されたスナップショットの保存を指示するスナップショット保存ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像を取得し、データ出力インタフェース２３４に接続された外部保存装置にスナップショット画像を出力する。
【００５７】
スナップショット送信部２３８は、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像を通信制御部２５０を通じて画像処理装置外のサーバ（図示せず）等に送信する機能手段である。
【００５８】
スナップショット送信部２３８は、表示部１１２に表示されたスナップショットの送信を指示するスナップショット送信ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像を取得し、通信制御部２５０にスナップショット画像を出力する。
【００５９】
通信制御部２５０は、ネットワーク１０１４を介した画像処理装置間の通信を制御する機能手段である。通信制御部２５０は、認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部２５２を介して通信する。通信部２５２は、ネットワーク１０１４とのネットワークインタフェースである。
【００６０】
リポジトリ管理部２２８は、スナップショット画像を格納すべき記憶装置２３０を制御する機能手段である。リポジトリ管理部２２８は、上述したように、スナップショット生成部２２２の指示により、スナップショット画像を記憶装置２３０に保存する。また、リポジトリ管理部２２８は、スナップショット保存部２３６あるいはスナップショット送信部２３８の指示により、記憶装置２３０からスナップショット画像を取得し、データ出力インタフェース２３４あるいは通信制御部２５０に送信する。
【００６１】
データ出力インタフェース２３４は、スナップショット画像を外部装置に出力する物理インタフェースである。本実施形態では、データ出力インタフェース２３４としてＵＳＢソケットを採用することができる。
【００６２】
＜座標入力装置の概略構成＞
図４は、本発明の実施形態の座標入力装置の概略構成を示す図である。この座標入力装置４０は図３における座標検知装置２２６として搭載されている。
【００６３】
座標入力装置４０は、受発光手段４１−１，４１−２と、座標入力領域４３と、再帰性反射部材４４とから構成されている。座標入力領域４３は四角形の形状であり、例えば電子的に文字や画像を表示するディスプレイ表面に電子ペンで書き込むタッチパネルなどが座標入力領域となる。受発光手段４１−１，４１−２は、座標入力領域４３の上部の両端の２箇所に配置されている。本実施形態では、座標入力装置４０は、画像処理装置１１０の表示部１１２の表面に形成されている。
【００６４】
座標入力装置４０は、座標入力領域４３上を光学的に不透明な材質からなる指示物体の接触位置４２を検知して、その位置情報である座標位置を座標検出部２２４に伝える装置である。なお、本実施形態では、指示物体は電子ペンからなる描画装置２４０であるが、指示棒や指の接触位置の座標位置を検知することもできる。
【００６５】
座標入力領域４３の上部両端には、受発光手段４１−１，４１−２が設けられている。上部左端の受発光手段４１−１からは座標入力領域４３に向けて、Ｌ1、Ｌ2、Ｌ3、．．．Ｌmの光ビームの束（プローブ光）が照射されている。実際には点光源６１から拡がる、座標入力領域４３の面に平行に進行する扇形板状の光波である。
【００６６】
また、座標入力領域４３の周辺部分には、反射手段としての再帰性反射部材４４が再帰反射面を座標入力領域４３の中央に向けて設けられている。再帰性反射部材４４は、入射した光を、入射角度によらずに同じ方向に反射する特性をもった部材である。
【００６７】
例えば、受発光手段４１−１から発した扇形板状の光波の内、ある一つのビーム４７に注目すると、ビーム４７は再帰性反射部材４４によって反射されて再び同じ光路を再帰反射光４６として受発光手段４１−１に向かって戻るように進行する。受発光手段４１−１には、後述するように受光素子が設置されていて、プローブ光Ｌ1〜Ｌmのそれぞれに対して、その再帰光が受発光手段４１−１に再帰したか否かを検出することができる。
【００６８】
指示物体が接触位置４２で接触した場合について考える。このときプローブ光４５は接触位置４２で指示物体に遮られて再帰性反射部材４４には到達しない。従って、プローブ光４５の再帰光は受発光手段４１−１には到達せず、プローブ光４５に対応する再帰光が受光されないことを検出することによって、プローブ光４５の延長線（直線Ｌ）上に指示物体が挿入されたことを検出することができる。
【００６９】
同様に上部右端に設置された受発光手段４１−２からもプローブ光を照射し、プローブ光４８に対応する再帰反射光が受光されないことを検出することによって、プローブ光４８の延長線（直線Ｒ）上に指示物体が挿入されたことを検出することができる。直線Ｌ及び直線Ｒを求めることができれば、この交点の座標位置を演算により算出することにより、指示物体が接触した座標位置を得ることができる。
【００７０】
＜受発光手段の内部構成＞
図５は、図４における受発光手段４１−１，４１−２の内部構成を示す図である。この図は、座標入力領域４３の面に対して垂直な方向から見た図である。ここでは説明の便宜上、座標入力領域４３の面に平行な２次元平面で説明する。
【００７１】
受発光手段４１−１，４１−２は、点光源６１、集光レンズ５１及び受光素子５０から構成されている。点光源６１は光源から見て受光素子５０と反対の方向に扇形に光を出射するものとする。点光源６１から出射された扇形の光は、矢印５３、５８の方向、その他の方向に進行するビームの集合であると考える。矢印５３方向に進行したビームは再帰性反射部材４４で反射されて、再帰反射光５４が集光レンズ５１を通り、受光素子５０上の位置５７に到達する。
【００７２】
また、進行方向５８に沿って進行したビームは再帰性反射部材４４によって反射されて、再帰反射光５９が受光素子５０上の位置５６に到達する。このように点光源６１から出射し、再帰性反射部材４４で反射し、同じ経路を戻ってきた光は、集光レンズ５１の作用によって、それぞれ受光素子５０上のそれぞれ異なる位置５６、５７に到達する。
【００７３】
従って、ある座標位置に指示物体が挿入され、ある光路のビームが遮断されると、そのビームに対応する受光素子５０上の点に光が到達しなくなる。このことから、受光素子５０上の光強度の分布を調べることによって、どの光路のビームが遮られたかを知ることができる。
【００７４】
＜遮断されたビームの検知＞
図６は、表示部の表面に指示物体が接触してビームが遮断されたときの動作を説明するための図である。この図において、受光素子５０は集光レンズ５１の焦点面に設けられているものとする。
【００７５】
点光源６１から図６の右方に向けて出射した光は、再帰性反射部材４４によって反射されて同じ経路を戻ってくる。従って、点光源６１の位置に再び集光する。集光レンズ５１の中心は点光源位置と一致するように設けられている。再帰性反射部材４４から戻った再帰光は、集光レンズ５１の中心を通るので、レンズ後方（受光素子側）に対称の経路で進行する。
【００７６】
このとき、受光素子５０上の光強度分布を調べると、指示物体が挿入されていなければ、受光素子５０上の光強度分布はほぼ一定であるが、図示のように、光を遮る指示物体が挿入された場合、ここを通過するビームは遮られ、受光素子５０上では位置Ｄnの位置に、光強度が弱い領域（暗点）が生じる。
【００７７】
この位置Ｄnは、遮られたビームの出射／入射角θnと対応していて、Ｄnを検出することによりθnを算出することができる。
即ちθnはＤnの関数として、
θn＝ａｒｃｔａｎ（Ｄn／ｆ）  …式〔１〕
と表すことができる。ただし、ｆは図示のように、集光レンズ５１と受光素子５０との間の距離で、集光レンズ５１の焦点距離に該当する。
【００７８】
＜三角測量の原理に基づく座標の算出＞
図７は、三角測量の原理を基に座標を算出する方法を説明するための図である。
ここで、図４の左上端の受発光手段４１−１におけるθnをθnL、ＤnをＤnLと置き換える。
【００７９】
受発光手段４１−１と座標入力領域４３との幾何学的な相対位置関係の変換ｇにより、指示物体の接触位置４２と座標入力領域４３のｘ軸とのなす角θLは、式〔１〕
で求められるＤnLの関数として、
θL＝ｇ（θnL）  …式〔２〕
となる。
ただし、
θnL＝ａｒｃｔａｎ（ＤnL／ｆ）  …式〔３〕
である。
【００８０】
同様に、図４の右上端の受発光手段４１−２についても、上記した式のＬ記号をＲ記号に置き換えて、受発光手段４１−２と座標入力領域４３との幾何学的な相対位置関係の変換ｈにより、
θR＝ｈ（θnR）  …式〔４〕
ただし、
θnR＝ａｒｃｔａｎ（ＤnR／ｆ）  …式〔５〕
である。
【００８１】
図７に示すように、座標入力領域４３において受発光手段４１−１，４１−２の取り付け間隔をｗとし、座標入力領域４３の左角を原点７０とし、ｘ、ｙ座標を図７に示すように、ｘ軸を横方向、ｙ軸を縦方向にとる。
【００８２】
この場合、座標入力領域４３上の指示物体の接触位置４２の座標位置（ｘ，ｙ）は、
ｘ＝ｗｔａｎθR／（ｔａｎθL＋ｔａｎθR）  …式〔６〕
ｙ＝ｗｔａｎθL・ｔａｎθR／（ｔａｎθL＋ｔａｎθR）  …式〔７〕
となり、式から〔３〕、〔５〕、〔６〕、〔７〕から、ｘ、ｙは、ＤnL、ＤnRの関数として表すことができる。
【００８３】
即ち、左右の受発光手段４１−１，４１−２の受光素子５０上の暗点の位置ＤnL、ＤnRを検出し、受発光手段４１−１，４１−２の幾何学的配置を考慮することにより、指示物体６０の接触位置４２の座標位置を算出することができる。
【００８４】
以上説明した座標位置算出方法は、三角測量の原理に基づくものであり、例えば特許文献１に記載されている。
【００８５】
＜指示物体の座標位置を算出できない場合＞
図８は、指示物体以外に手などが表示部の表面に接触している状態を示す図であり、図９は、２つの指示物体が表示部の表面に接触している状態を示す図である。
【００８６】
このように三角測量の原理に基づき、指示物体の座標位置を算出するが、図８に示すように、指示物体の接触位置４２以外に手８０などの遮蔽物が表示部１１２の表面に接触している場合、左上端の受発光手段４１−１は接触位置４２の座標位置を検出することができなくなってしまう。
【００８７】
また、図９に示すように、２つの指示物体の接触位置がＴ１，Ｔ２の場合、三角測量の原理に基づき座標位置を算出すると、接触位置Ｔ１，Ｔ２を示す正しい座標位置でなく、接触位置Ｄ１，Ｄ２を示す誤った座標位置も算出されるため、正確な座標位置を検出できなくなる。
【００８８】
そこで、本実施形態では、描画装置２４０として、加速度センサと、ジャイロなどの角速度センサを備えつつ、センサ情報及び動作の開始と終了を画像処理装置１１０に送信する機能を有する電子ペンを用いることで、図８、図９に示す問題を解決する。
【００８９】
＜電子ペンの構成及び座標入力動作＞
図１０は、本発明の指示物体の実施形態としての電子ペンの構成を示す図である。
図示のように、電子ペン３００は、ペン先バネ３０２を介して接続された可動ペン先３０１の圧力を検知するペン先圧力センサ３０３と、ペン尻バネ３０８を介して接続された可動ペン尻３０７の圧力を検知するペン尻圧力センサ３０９とを備えている。
【００９０】
また、電子ペン３００は、電子ペン３００の動きを検知するための加速度センサ３０５と、電子ペン３００の姿勢を検知するための角速度センサ３０６を備えている。加速度センサ３０５及び角速度センサ３０６は信号処理回路３０４に設けられている。また、ペン先圧力センサ３０３の検知信号及びペン尻圧力センサ３０９の検知信号は信号処理回路３０４に入力される。
【００９１】
信号処理回路３０４は、ペン先圧力センサ３０３、ペン尻圧力センサ３０９の圧力変化により、筆記、削除などの電子ペンの動作の開始と終了を示す信号を信号送信部３１０を通して画像処理装置１１０に送信する。また、加速度センサ３０５及び角速度センサ３０６の検知信号を信号送信部３１０を通して画像処理装置１１０に送信する。
【００９２】
画像処理装置１１０は、これらの信号を受信することで、電子ペン３００自体の姿勢及び位置を算出できるようになる。図示のように、加速度センサ３０５と角速度センサ３０６は、共に３次元（ｘｙｚ）方向の加速度と角速度を検知するように配置される。加速度センサ３０５は、電子ペン３００の３軸に生じる加速度を検知することで、電子ペン３００の動きを検知し、角速度センサ３０６は電子ペン３００の３軸に生じる角速度を検知することで、電子ペン３００の姿勢を検知することができる。
【００９３】
この３軸は、電子ペン３００の持ち方や使い方により軸方向が変化する。そこで、角速度センサ３０６の検知信号を積分演算（積算）した電子ペン３００の姿勢を加速度センサ３０５の検知信号に反映させて積分演算することで、電子ペン３００の移動方向及び移動量を含む移動情報を算出することができる。そして、この移動情報から、座標入力領域４３の２つの座標軸（図７のｘ軸、ｙ軸）方向の移動量を算出することができる。従って、積分演算を開始したときの座標位置が分かっていれば、加速度センサ３０５及び角速度センサ３０６からの検知信号の積分演算により、電子ペン３００の座標位置を算出することができる。
【００９４】
従って、電子ペン３００が画像処理装置１１０の表示部１１２に接触している間は、この２種類のセンサの検知信号（以下、センサ情報）か、三角測量の原理に基づき算出された座標位置を用いることにより、画像処理装置１１０の表示部１１２の位置に対する電子ペン３００の座標位置が算出できることとなる。
【００９５】
しかし、電子ペン３００で筆記していないときは、つまり電子ペン３００が画像処理装置１１０の表示部１１２に接触していないときには、再度筆記を開始するまでに加速度センサ３０５と角速度センサ３０６のセンサ情報で積分演算した座標位置と実際の座標位置では、誤差が生じることとなる。
【００９６】
また、筆記中においても、多少の誤差が生じる可能性がある。そこで、筆記終了時から再度筆記するまでの加速度センサ３０５と角速度センサ３０６の情報から算出した表示部１１２上の座標位置と、三角測量により算出された座標位置と、各々で算出した筆記終了時との座標位置の差の比較を行う。
【００９７】
三角測量により算出された座標位置を正確な値（基準値）とし、その相違する割合から補正値を算出し、座標入力領域４３の２つの座標軸（図７のｘ軸、ｙ軸）方向の移動量と紐付けしたデータとして蓄積する。この蓄積していくデータから、２つの座標軸方向の移動量に合わせた補正値（補正値１とする）を算出していく。そして、図８のように遮蔽物が表示部１１２に表面にあるなどで、測定対象である電子ペン３００がセンサから検出できず、三角測量から座標位置を算出できない場合に、加速度センサ３０５と角速度センサ３０６の情報から表示部１１２上の座標位置を算出する場合に、積分演算した座標位置に補正値1を用いて座標位置を算出することで、正確な座標位置を算出することができるようになる。
【００９８】
また、筆記中においても誤差を減らすべく、同様に補正値(補正値２とする)を算出する。これら２種類の補正値は、平均化などの統計的な方法を用いることにより、より正確な値となっていくこととなり、図８のように遮蔽物が表示部１１２の表面にあり、三角測量から指示物体の座標位置を算出できない場合にでも、正確な座標位置に電子ペン３００で描画することができるようになる。
【００９９】
また、複数の電子ペンを用いる場合にも、三角測量以外に、加速度センサ３０５と角速度センサ３０６のセンサ情報を用いることにより、各電子ペンの表示部１１２上の座標位置を把握することができる。従って、図９のような場合でも、正確に描画や消去したりなどの操作をすることが可能になる。さらに、各々の電子ペンから発信する信号を区別したりするなどの方法を用いて判別できるようにし、その情報も別々に管理することにより、より正確に複数の電子ペンを使用して表示部１１２に対する描画や消去などの操作ができることになる。
【０１００】
＜電子ペンからの信号を用いた座標検出処理＞
図１１は、上述した電子ペン３００からの信号を用いた座標検出処理の一部を示すフローチャートであり、図１２は、その座標検出処理の残りの部分を示すフローチャートである。この座標検出処理は画像処理装置１１０内の座標検出部２２４が実行する。
【０１０１】
このフローは、電子ペン３００から描画開始信号を受信したときにスタートする。描画開始信号は、電子ペン３００が画像処理装置１１０の表示部１１２に接触したことをペン先圧力センサ３０３が検知したときに、信号送信部３１０から画像処理装置１１０に送信される。
【０１０２】
最初にフラグｔ及びフラグｗを初期化する（ステップＳ１）。ここで、フラグｔはフラグが立っている（ｔ＝１）場合は、描画終了前の座標位置検出が三角測量で行われたことを、フラグが立っていない（ｔ＝０）場合は、描画終了前の座標位置検出がセンサ情報で行われたことを表し、フラグｗは電子ペン３００で初めて描画を行う（Ｗ＝０）か、２度目以降（Ｗ＝０）かを表す。
【０１０３】
次に三角測量を行い（ステップＳ２）、三角測量ができたか否かを判断する（ステップＳ３）。ここでは、三角測量ができたものとし（ステップＳ３：可）、描画開始座標位置を算出して記憶する（ステップＳ４、Ｓ５）。ステップＳ４、Ｓ５は、座標検出部２２４内の第１の座標位置算出手段及び描画開始座標位置記憶手段により実行される。
【０１０４】
次にフラグｔの値が０であるかを判断する（ステップＳ６）。最初はフラグｔは０（初期値）であるから、ステップＳ１１に進み、電子ペン３００からのセンサ情報を初期化する。
【０１０５】
次に、電子ペン３００の加速度センサ３０５からの情報に基づいて、電子ペン３００が移動したか否かを判断する（ステップＳ１２）。まず移動していない場合（ステップＳ１２：無）について説明する。この場合、描画終了信号を監視し（ステップＳ２３）、描画終了信号を検出したら（描画終了信号：有）、座標位置を記憶する（ステップＳ２４）。ステップＳ２４は、座標検出部２２４内の描画終了座標位置記憶手段により実行される。
【０１０６】
ここで、描画終了信号は、電子ペン３００が画像処理装置１１０の表示部１１２から離れた（離間した）ことをペン先圧力センサ３０３が検知したときに、電子ペン３００から画像処理装置１０１０に送信される。
【０１０７】
このように、電子ペン３００が画像処理装置１１０の表示部１１２に接触したものの、移動することなく、離れた場合は、ステップＳ２４で記憶した座標位置はステップＳ５で記憶した座標位置と同じになる。
【０１０８】
ステップＳ２４で座標位置を記憶した後、フラグｗを１にし（ステップＳ２５）、センサ情報を初期化する（ステップＳ２６）。
【０１０９】
次に、電子ペン３００が移動したか否かを判断し（ステップＳ２７）、移動しているときは（ステップＳ２７：有）、センサ情報を積算した後（ステップＳ２８）、描画開始信号の有無を判断する（ステップＳ２９）。移動していないときは（ステップＳ２７：無）、そのまま描画開始信号の有無を判断する（ステップＳ２９）。ステップＳ２８は、座標検出部２２４内の第２の座標位置算出手段により実行される。
【０１１０】
描画開始信号が無い場合は（ステップＳ２９：無）、ステップＳ２７に移行し、描画開始信号が有る場合は（ステップＳ２９：有）、ステップＳ２に移行する。つまり、ステップＳ２８により、電子ペン３００が画像処理装置１１０の表示部１１２から離れている間の電子ペン３００の座標入力領域４３の２つの座標軸（図７のｘ軸、ｙ軸）方向の移動量（以下、単に「移動量」という）、即ちステップＳ２４で記憶した座標位置からの移動量を算出した後、ステップＳ２に移行する。
【０１１１】
次に、ステップＳ１２で電子ペン３００が移動していると判断した場合は（ステップＳ１２：有）について説明する。この場合は、三角測量を行い（ステップＳ１３）、三角測量ができたか否かを判断する（ステップＳ１４）。ここでは、三角測量ができたものとし（ステップＳ１４：可）、座標位置を記憶する（ステップＳ１５）。
【０１１２】
次に、センサ情報より座標位置の移動量を算出する（ステップＳ１６）。ステップＳ１６により、ステップＳ１１で初期化されてからの表示部１１２上の電子ペン３００の移動情報が得られる。
【０１１３】
次に、三角測量による座標位置の移動量と、センサ情報から積算した座標位置の移動量から補正値２を算出して蓄積する（ステップＳ１７）。
【０１１４】
ここで、三角測量による座標位置の移動量は、ステップＳ１５で記憶した座標位置とステップＳ５で記憶した座標位置との差分である。センサ情報から積算した座標位置の移動量は、ステップＳ１６で算出した値である。
【０１１５】
また、補正値２は、前述したとおり、両者の比較に基づいて生成した、センサ情報の積算値を補正するための係数である。即ち、三角測量による座標位置の移動量を正確な値とし、センサ情報から積算した座標位置の移動量を正確な値に補正するための係数である。この補正値２は、電子ペン３００の筆記中のセンサ情報の補正係数である。
【０１１６】
補正値２を記憶した後、フラグｔを１に設定し（ステップＳ１８）、描画処理を行い（ステップＳ１９）、ステップＳ１２に移行する。この描画処理により、ステップＳ５で記憶した描画開始座標位置からステップＳ１５で記憶した座標位置までの電子ペン３００の軌跡が表示部１１２に表示される。
【０１１７】
今度はステップＳ１２で移動が有ると判断し（ステップＳ１２：有）、三角測量ができなかったものとする（ステップＳ１３→ステップＳ１４：不可）。この場合、センサ情報に補正値２を適用し補正し、座標位置を算出し（ステップＳ１９）、その座標位置を記憶する（ステップＳ２０）。そして、フラグｔを０に設定し（ステップＳ２１）、描画処理を行い（ステップＳ２２）、ステップＳ１２に移行する。ステップＳ１９は、座標検出部２２４内の第２の補正手段により実行される。
【０１１８】
次に、ステップＳ６でフラグｔが１である場合について説明する。フラグｔを１に設定するのはステップＳ１８であるから、ステップＳ６でフラグｔが１になるのは、ステップＳ１８→Ｓ２２→Ｓ１２→Ｓ２３〜Ｓ２９→Ｓ２〜Ｓ５を経てＳ６に到達した場合である。
【０１１９】
次のステップＳ７では、センサ情報の積算値から座標位置の移動量を算出する。ここで、算出する移動量は、ステップＳ２８で算出した値、つまり電子ペン３００が表示部１１２から離れていた間の電子ペン３００の移動量である。
【０１２０】
次に、三角測量による座標位置の移動量と、センサ情報から積算した座標位置の移動量から補正値１を算出して蓄積する（ステップＳ８）。ここで、三角測量による座標位置の移動量は、ステップＳ５で記憶した座標位置とステップＳ２４で記憶した座標位置との差分である。センサ情報から積算した座標位置の移動量は、ステップＳ７で算出した値である。
【０１２１】
また、補正値１は、前述したとおり、両者の比較に基づいて生成した、センサ情報の積算値を補正するための係数である。即ち、三角測量による座標位置の移動量を正確な値とし、センサ情報から積算した座標位置の移動量を正確な値に補正するための係数である。この補正値１は、電子ペン３００が表示部１１２に接触していないときのセンサ情報の積算値の補正係数である。補正値１を蓄積した後、センサ情報を初期化する（ステップＳ１１）。
【０１２２】
ステップＳ３で測定できないと判断した場合は（ステップＳ３：不可）、フラグｗが１か０かを判断し（ステップＳ９）、０の場合はステップＳ２に移行し、１の場合はステップＳ１０に移行する。ステップＳ１０では、センサ情報の積算値に補正値１を適用して座標位置を算出する。次に、その座標位置を記憶し（ステップＳ３０）、センサ情報を初期化する（ステップＳ１１）。ステップＳ１０は、座標検出部２２４内の第１の補正手段により実行される。
【０１２３】
フラグｗはステップＳ２５で１に設定されるので、ステップＳ９でフラグｗが１になるのは、ステップＳ２５〜Ｓ２９→Ｓ２→Ｓ３を通ってステップＳ９に到達した場合である。従って、ステップＳ１０で算出される座標位置は、ステップＳ２４で座標位置を記憶した後、電子ペン３００が表示部１１２に接触していないときのセンサ情報の積算値を補正値１で補正した正確な座標である。
【０１２４】
以上説明したフローチャートの概略をまとめると以下のようになる。
筆記終了時から再度筆記するまでの加速度センサ３０５と角速度センサ３０６の情報から算出した表示部１１２上の座標の移動量(ステップＳ２８にてセンサ情報を積算した結果を基に、ステップＳ７にて算出した座標位置)と、三角測量により算出された座標位置の移動量(ステップＳ２にて三角測量を行い、ステップＳ５にて算出した座標位置)と、ステップＳ１５で算出してステップＳ２４で記憶された、筆記終了時との座標位置の差の比較を行う。
【０１２５】
三角測量により算出された座標位置を正確な値とし、その相違する割合から補正値を算出し、座標入力領域４３の２つの座標軸方向（ｘ軸方向、ｙ軸方向）の移動量（ステップＳ２にて三角測量を開始し、ステップＳ４にて開始位置を算出する）と紐付けしたデータとしてステップＳ８で蓄積する。
【０１２６】
即ち、例えば、筆記終了時にステップＳ２４での座標位置を記憶した場合、次に筆記を開始するまでステップＳ２８でセンサ情報を積算している。ステップＳ２９にて筆記開始を検知した場合に、センサはステップＳ２８で積算した値から、座標位置の移動量が(xs1、ys1)となった場合、三角測量で求めた移動量が(xt1,yt1)だとすると、ｘ座標の補正値１はxt1÷xs1で求められ、ｙ座標の補正値１はyt1÷ys1となる。
【０１２７】
この蓄積していくデータから、座標軸の移動量に合わせた補正値（補正値１）を算出していき、図８のように三角測量から座標位置を算出できず、加速度センサ３０５と角速度センサ３０６の情報から座標位置を算出する場合に、ステップＳ１０にて、ステップＳ２８で積分演算した移動量の情報に補正値１を用いて座標位置を算出する。即ち、補正値１×ステップＳ２８で積算した移動量＋ステップＳ２４で記憶した座標位置とすることで、正確に座標位置を算出することができる。
【０１２８】
また、筆記中においても誤差を減らすべく、同様にステップＳ１７にて、電子ペン３００の移動中のＳ１３の三角測量による移動量と、ステップＳ１６のセンサ情報による移動量の異なる割合から，補正値２を算出する。
【０１２９】
このように、ステップＳ２４で記憶した座標位置に、過去の蓄積したセンサ積算値から算出した移動量を三角測量で測量した移動量に近付ける補正値１で、ステップＳ２８のセンサ積算値を補正して電子ペン３００の座標位置を算出することで、筆記開始点を確定する。筆記中は、ステップＳ３０又はステップＳ２０で記憶した座標位置に、短い移動距離に特化した補正値２で、ステップＳ１９のセンサ積算値を補正して電子ペンの座標位置を算出することで、三角測量から算出できない場合にでも、正確な座標位置に電子ペンで描画することができるようになる。
【０１３０】
以上詳細に説明したように、本発明の実施形態の画像処理装置１１０によれば、下記（１）〜（４）の効果が得られる。
（１）電子ペン３００以外に手などの遮蔽物が表示部１１２の表面に接触しているときでも、電子ペン３００の表示部１１２上の座標位置を算出することができる。
（２）複数の電子ペン３００が表示部１１２に接触しているときでも、各電子ペン３００の表示部１１２上の座標位置を算出することができる。
（３）電子ペン３００で筆記していないときのセンサ情報の積算値に基づく座標位置を補正することができる。
（４）電子ペン３００で筆記しているときのセンサ情報の積算値に基づく座標位置を補正することができる。
【符号の説明】
【０１３１】
４０…座標入力装置、４１−１，４１−２…受発光手段、４３…座標入力領域、４４…再帰性反射部材、１１０，１０１０…画像処理装置、１１２，１０１２…表示部、２２４…座標検出部、２２６…座標検知装置、２４０…描画装置、３００…電子ペン、３０５…加速度センサ、３０６…角速度センサ。
【先行技術文献】
【特許文献】
【０１３２】
【特許文献１】特開平９−９１０９４号公報
【特許文献２】特許第４３４０３０２号公報
【図１】
2015056064.tif 000003
【図２】
2015056064.tif 000004
【図３】
2015056064.tif 000005
【図４】
2015056064.tif 000006
【図５】
2015056064.tif 000007
【図６】
2015056064.tif 000008
【図７】
2015056064.tif 000009
【図８】
2015056064.tif 000010
【図９】
2015056064.tif 000011
【図１０】
2015056064.tif 000012
【図１１】
2015056064.tif 000013
【図１２】
2015056064.tif 000014