(57)【要約】【課題】表示面又は投影面の手前位置に操作検出面を有する座標入力装置において、先端に丸みを有する入力物体による表示面又は投影面に対する接触又は非接触を正確に判定する。【解決手段】座標入力装置に、操作検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理手段と、検出光の遮光が最初に検出された後、サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理手段と、サイズの最大値の検出後、サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理手段とを有するものを提供する。【選択図】図６
2011203861.tif 000002
【特許請求の範囲】
【請求項１】
表示面又は投影面の手前位置に操作検出面を有し、先端に丸みを有する入力物体が前記操作検出面を横切る座標を光学的に検出する座標入力装置において、
前記操作検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理手段と、
前記検出光の遮光が最初に検出された後、前記サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理手段と、
前記サイズの最大値の検出後、前記サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理手段と
を有することを特徴とする座標入力装置。
【請求項２】
請求項１に記載の座標入力装置において、
前記第１の閾値は、前記検出光の遮光が最初に検出された時点のサイズの２倍の値に設定される
ことを特徴とする座標入力装置。
【請求項３】
請求項１に記載の座標入力装置において、
前記第２の閾値は、前記サイズの最大値に対して２分の１の値に設定される
ことを特徴とする座標入力装置。
【請求項４】
請求項１に記載の座標入力装置において、
前記第１の閾値は前記第２の閾値より大きい
ことを特徴とする座標入力装置。
【請求項５】
請求項１に記載の座標入力装置において、
前記第１の閾値は前記第２の閾値より小さい
ことを特徴とする座標入力装置。
【請求項６】
表示面又は投影面の手前位置に操作検出面を有し、先端に丸みを有する入力物体が前記操作検出面を横切る座標を光学的に検出する座標入力装置から、検出された入力物体のサイズに関する情報を入力するコンピュータに、
前記操作検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理と、
前記検出光の遮光が最初に検出された後、前記サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理と、
前記サイズの最大値の検出後、前記サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理と
を実行させるプログラム。
【請求項７】
請求項６に記載のプログラムにおいて、
前記第１の閾値は、前記検出光の遮光が最初に検出された時点のサイズの２倍の値に設定される
ことを特徴とするプログラム。
【請求項８】
請求項６に記載のプログラムにおいて、
前記第２の閾値は、前記サイズの最大値に対して２分の１の値に設定される
ことを特徴とするプログラム。
【請求項９】
請求項６に記載のプログラムにおいて、
前記第１の閾値は前記第２の閾値より大きい
ことを特徴とするプログラム。
【請求項１０】
請求項６に記載のプログラムにおいて、
前記第１の閾値は前記第２の閾値より小さい
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示面又は投影面の手前に操作検出面を有する光学式の座標入力装置及びその検出処理を制御するプログラムに関する。
【背景技術】
【０００２】
近年、電子黒板（Interactive White Board：IWB）の普及が進行している。電子黒板は、表示装置又は投影装置と座標入力装置を組み合わせで構成される。なお、操作画面を表示する表示装置には、例えばプラズマディスプレイ装置、液晶ディスプレイ装置その他のフラットディスプレイ装置が用いられる。スクリーンやホワイトボードに操作画面を投影する投影装置には、フロントプロジェクタやリアプロジェクタが用いられる。電子黒板は、あたかも黒板にチョークでオブジェクト（文字や画像）を描画するかのように、指や電子ペンによってオブジェクトを描画することができる。
【０００３】
従来、この種の座標入力装置には、タブレット、タッチパネル等が用いられていた。タブレットやタッチパネルには、電磁誘導方式や超音波方式等の技術が用いられている。ところで、近年においては、イメージセンサを使用する座標入力装置が年々増えている。イメージセンサを利用した座標入力装置は、描画応答性や赤外線、太陽光線、温度変化その他の外部ノイズに対する耐性が従来方式に比して優れている。なお、イメージセンサを使用する座標入力装置に関する文献に特許文献１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９３１０３０号公報
【特許文献２】特許第３９８６７１０号公報
【特許文献３】特許第４０４３１７８号公報
【特許文献４】特開２００１−２９０５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
イメージセンサを使用する座標入力装置では、操作画面に対して平行に光源から光線を射出し、当該光線を遮断する物体の有無を検出することにより、操作入力の有無を検出する。しかし、これだけでは画面上に表示されたボタンを押すなどの簡単な操作には十分であるが、文字列を書く場合には不十分である。例えば描画オブジェクトの１画１画がつながってしまったり、１画毎に尻尾のような尾引きが発生することがある。
【０００６】
このため、特許文献１及び４では、光源から再帰性反射材までの光線の軸と再帰性反射材からイメージセンサまでの反射光線の軸を操作画面の表面近くに設定することにより、これらの問題を解決しようとしている。
【０００７】
また、特許文献３においては、光線の軸を遮断する物体が現れてから実際に電子ボード表面に接触するまでを時間経過によってタイミングを計ることにより、これらの問題を解決しようとしている。
【０００８】
しかし、従来技術では、未だ自然な文字列の入力が行えないという問題がある。
【課題を解決するための手段】
【０００９】
光線の遮光をイメージセンサで検出する方式の座標入力装置においては、専用の電子ペンだけでなく、指や指示棒によっても操作を行うことができる。指の場合には個人差はあるが、いずれの場合も先端に丸みを帯びたものが使用される。電子ペンや指示棒によって表示面や投影面の表面を傷つけないようにとの配慮に基づくものである。
【００１０】
例えば入力物体が操作画面に接触状態に変化する際には、まず入力物体の先端が小さい範囲で検出光を遮断し、その後だんだん遮断範囲（サイズ）を広げる。その後、入力物体の先端が操作画面に接触する。一方、入力物体が操作画面から非接触に変化する状態には、遮断範囲（サイズ）がだんだん小さくなる。
【００１１】
そこで、発明者らは、この先端部分の丸みに着目した接触・非接触の検出技術を提案する。具体的には、表示面又は投影面の手前位置に操作検出面を有し、先端に丸みを有する入力物体が前記座標検出面を横切る座標を光学的に検出する座標入力装置として、(a) 座標検出面に沿って進行する検出光を遮る入力物体のサイズを検出する処理機能と、(b) 検出光の遮光が最初に検出された後、サイズが第１の閾値より大きくなったことが検出されたとき、入力物体のダウンイベントを生成する処理機能と、(c) サイズの最大値の検出後、サイズが第２の閾値より小さくなったことが検出されたとき、入力物体のアップイベントを生成する処理機能を有するものを提案する。
【発明の効果】
【００１２】
本発明により、サイズの変化を入力物体の接触／非接触状態の変化の予兆として捉えることができる。これにより、遮断物の有無だけを判定する場合よりも自然なタイミングにより接触／非接触状態を検出することができる。これにより、文字列を書く場合に１画１画が連続してしまったり、１画毎に尻尾のような尾引きが発生するのを軽減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る電子ボードシステムの実施形態例を示すシステム構成図。
【図２】座標入力装置の断面構造を説明する図。
【図３】指先が操作画面の表面に近づく様子を説明する図。
【図４】指先と影の関係を説明する図。
【図５】座標検出面と指先の位置関係に応じた影の太さの変化を示す図。
【図６】接触・非接触検出装置のソフトウェア処理を説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、図面に基づいて、発明の実施形態例を説明する。なお、後述する実施形態はいずれも一例であり、本発明には、本明細書に記載する任意の機能を組み合わせることで実現されるシステム、本明細書に記載する一部の機能を周知技術で置換したシステム、本明細書に記載する機能に周知技術を追加したシステムも含まれる。また、後述する実施例で実行される機能は、計算機（コンピュータ）上で実行されるプログラムとして実現される。もっとも、プログラムの一部又は全部は、ハードウェアを通じて実現しても良い。
【００１５】
（電子ボードシステムの構成）
図１に、電子ボードシステムの実施形態例を示す。図１に示す電子ボードシステムは、投影面１０１、光源１０２Ａ、イメージセンサ１０２Ｂ、操作画面投影装置１０４、制御用コンピュータ１０５、制御用コンピュータ１０５に付属するキーボード１０６及び表示装置１０７、再帰性反射材１０８で構成されている。
【００１６】
この実施例の場合、座標入力装置は、矩形形状の枠体（装置本体）に、光源１０２Ａ、イメージセンサ１０２Ｂ、再帰性反射材１０８を取り付けた構造を有している。なお、操作入力には指１０３が使用される。もっとも、操作入力には、電子ペンやスタイラスペン（差し棒）を使用することもできる。
【００１７】
座標入力装置は、操作画面投影装置１０４から操作画面が投影されるスクリーンやホワイトボードの手前位置に配置される。この実施例では、操作画面を投影しているが、フラットディスプレイ等の表示デバイスの手前位置に配置する構成も、これら表示装置と筺体が一体化した構成も考えられる。また、入力物体の座標入力に想定する入力エリアは、スクリーンやホワイトボードのように大面積のものだけでなく、携帯電話機、電子ブックその他の携帯端末のように小面積のものでも良い。
【００１８】
操作画面投影装置１０４は、スクリーンやホワイトボードに操作画面や入力物体を通じて入力された文字やオブジェクトの投影に使用される。なお、操作画面投影装置１０４が投影する画面と表示装置１０７に表示される画面は同じものとする。
【００１９】
制御用コンピュータ１０５は、汎用のパーソナルコンピュータと同等の機能を有するものであり、内部メモリにはイメージセンサ１０２Ｂの撮像画像に基づいて指１０３の指示座標を三角測量の原理で算出する座標算出プログラム１０５１が格納されている。この他、内部メモリには、文字オブジェクトや画像オブジェクトを処理する表示内容制御プログラム、入力物体による操作入力を検出し、検出された状態に応じたイベントを発生するイベント発生プログラムも格納されている。
【００２０】
この実施例の場合、座標算出プログラム１０５１は、制御用コンピュータ１０５で実行されるが、座標入力装置内で実行させることもできるし、操作画面投影装置１０４内で実行させることもできる。当該機能の実装は、ハードウェア（例えば半導体集積回路、処理ボード）の形態でも、プログラム（例えばファームウェア、アプリケーション）の形態でも良い。
【００２１】
この実施例の場合、座標入力装置は、操作画面の投影面に対して平行に照射された光を使用し、入力物体（例えば指１０３）が光を遮る位置を三角測量の原理を利用して検出する方式のものが用いられる。例えば矩形形状の枠体のうち上辺両端位置又は上辺中央寄りに、２つの光源１０２Ａ（例えば赤外線光源）とイメージセンサ（撮像装置）を配置する。各光源１０２Ａは、配置された側と反対側に位置する辺の全範囲と下辺の全範囲に光線を放射又はスキャン走査する。
【００２２】
上辺を除く３辺には枠の内側（光線の対向面）に再帰性反射材１０８が配置されている。このため、再帰性反射材１０８に入射した光は、入射方向と同じ方向に反射される。この反射光を光源近傍に配置したイメージセンサ１０２Ｂで撮像する。入力物体が光線を遮る場合、イメージセンサ１０２Ｂの撮像画像に影が生じる。左右一対のイメージセンサ１０２Ｂで撮像された影の位置情報に基づいて、三角測量の原理で入力物体の座標位置が算出される。
【００２３】
座標の計算自体は、制御用コンピュータ１０５の座標算出プログラム１０５１が実行する。従って、この実施例の場合、イメージセンサ１０２Ｂからは撮像データが制御用コンピュータ１０５に出力される。なお、この種の座標入力装置を用いる場合、制御用コンピュータ１０５は、同時に複数の入力物体の座標を算出することができる。
【００２４】
（座標入力装置の断面構造）
図２に、入力物体の操作位置を検出する座標入力装置の断面構造を示す。なお、図２は画面中央部分の断面構造である。光源１０２Ａから発せられた光線２２は、操作画面の表面（投影面）２４に対して平行に射出され、再帰性反射材１０８に入射した後は入射方向と平行に反射される。なお、再帰性反射材１０８は、例えばコーナーキューブ構造を有しており、光線の入射角に関係なく入射方向に対して平行に反射することができる周知の部材である。この反射光線がイメージセンサ１０２Ｂにより撮像される。操作画面（表示面や投影面）の表面２４と光線２２の間には、表面の凹凸や投影面（又は表示面）の自重による歪みなどを考慮して若干の隙間が設けられている。
【００２５】
（指先の操作動作の検出）
図３に、指先と操作画面の表面までの距離と遮光の関係を説明する。指先３１は先端部分だけが光線を遮断する位置に挿入された様子を示し、指先３２は更に少し奥まで指を挿入した様子を示し、指先３３は指が操作画面の表面に接触するまで差し込んだ様子を示す。このように、指先が光線を遮光する場合でも、おおよそ３パターンが考えられる。
【００２６】
（遮光によって生じる影の様子）
図４の左図は、指先が光線を遮断しているところをイメージセンサで撮像した様子を示す。イメージセンサの撮像範囲４１は、操作画面の投影面又は表示面の歪みや機器組み立て時の取り付けバラツキなどを調整できるように少し幅を有している。図４の右図は、撮像範囲内に指を置いた状態で、再帰性反射材方向をイメージセンサで撮像した状態を説明する図である。右図に示すように、光線を遮断している指は影４２となって撮像結果４３に映り込む。この撮像結果（撮像データ）４３の中に座標検出面４４が設定される。この実施例の場合、撮像結果４３の中央部分に設定される。座標検出面４４を影４２が跨いでいるか否かにより、指先が操作入力のために操作画面に押し付けられているかどうかの判定が可能になる。この判定処理は、座標算出プログラム１０５１が実行する。
【００２７】
図５に、座標検出面５０１に指先が掛かっている様子を拡大して示す。図３の場合と同様、指先５１は先端だけが座標検出面５０１に掛かっている場合、指先５３は指先が操作画面の表面５０２に接触している場合、指先５２は指先５１と指先５３の中間に位置する場合の３パターンを示している。これら３パターンを比較した場合、座標検出面５０１を横切る指の影の太さ（長さ）は、太線で示すように、それぞれのパターンで異なることがわかる。
【００２８】
図５の下に示すグラフは、指先の挿入位置に対応する３つのパターンと、それぞれに対応して座標検出面５０１上に形成される影の太さ（長さ）との関係を示す。検出される太さには、使用者個人の指先の形状や座標検出面５０１の設定位置により違いが出ることが予想される。図５に示す例の場合、指先５１の場合と指先５３の場合とで、検出される太さは２倍以上の違いが出る。
【００２９】
（座標算出機能のフローチャート）
以下では、ダウン操作とアップ操作を確実に検出するために処理動作を説明する。図６に、指等の操作画面に対する接触／非接触を判定するためのフローチャートを示す。この判定処理は、座標算出プログラム１０５１の機能の一部として実行される。以下では、プログラムを実行するプロセッサを主語として説明する。
【００３０】
まず、プロセッサは、短い周期で繰り返し実行される撮像結果の解析処理において、座標検出面に遮断物（影）がないか否かを判定する（ステップ６０１）。
【００３１】
遮断物がない場合（ステップ６０１で肯定結果の場合）、プロセッサは、影の太さの最大値を保持するmaxSizeを初期値に設定する（ステップ６０２）。ここでの初期値は、遮蔽物が存在しないことを示すフラグとして用いられる。
【００３２】
遮断物の存在が検出された場合（ステップ６０１で否定結果の場合）、プロセッサは、maxSizeの値が初期値であり、かつ、現在の影の太さがダウンイベントの生成閾値以下であるか否かを判定する（ステップ６０３）。２つ目の判定条件は、大きすぎる影の判定時には、ステップ６０４に進まないようにするために用いられる。
【００３３】
ステップ６０３の２つの条件が同時に満たされた場合（ステップ６０３で肯定結果の場合）、プロセッサは、maxSizeとminSizeにそれぞれ現在の影の太さを保存する。この処理は、実際に検出された影の太さの検出初期値の登録に対応する。
【００３４】
一方、ステップ６０３の２つの条件のうち１つでも満たされない場合（ステップ６０３で否定結果の場合）、プロセッサは、更に以下の判定処理を実行する（ステップ６０５）。すなわち、プロセッサは、現在の影の太さがmaxSizeの２倍以上又は現在の影の太さがダウンイベントの生成閾値以上か否かを判定する(ステップ６０５)。
【００３５】
ステップ６０５の２つの条件のうち１つでも満たされる場合（ステップ６０５で肯定結果の場合）、プロセッサは、ダウンイベントを生成し（ステップ６０６）、minSizeに最大値を設定し（ステップ６０７）、影の太さの更新処理を実行する（ステップ６０８）。
【００３６】
ここでの最大値は、ダウンイベントの発生を判定するためのフラグとして用いられる。なお、影の太さの更新処理において、プロセッサは、maxSizeよりも現在の影のサイズの方が太いか否かを判定する（ステップ６０８１）。プロセッサは、肯定結果が得られた場合、maxSizeに現在の影の太さを代入し（ステップ６０８２）、否定結果が得られた場合、maxSizeは変更しない。すなわち、前回の検出値より大きい場合だけmaxSizeが更新される。
【００３７】
ステップ６０５で否定結果が得られた場合、プロセッサは、現在の影の太さがmaxSizeの半分以下であるか否かを判定する（ステップ６０９）。
【００３８】
ステップ６０９で肯定結果が得られた場合、プロセッサは、アップイベントを生成し（ステップ６１０）、maxSizeに初期値を設定する（ステップ６１１）。なお、この場合には、影が小さくなった場合と影自体が無くなる場合が含まれる。ここでの初期値は、アップイベントが発生したことを意味する。
【００３９】
ステップ６０９で否定結果が得られた場合、プロセッサは、minSizeが最大値であり、かつ、maxSizeが初期値でないかが判定される（ステップ６１２）。すなわち、プロセッサは、ダウンイベントは発生しているが、アップイベントはまだ発生していないか否かを判定する。
【００４０】
ステップ６１２で肯定結果が得られた場合、プロセッサは、移動イベントを生成し（ステップ６１３）、影の太さを現在の値に更新する（ステップ６１４）。この処理により、ダウンイベントからアップイベントの間に発生した太さの変化が記録される。
ステップ６１２で否定結果が得られた場合、プロセッサは、１サイクルの処理を終了する。
【００４１】
（他の実施例）
この実施例の場合、ステップ６０５で現在の影の太さがminSizeの２倍以上か否かを判定しているが、先端が四角い物体を押し付けた場合や素早く指を押し付けた場合などに備え、ステップ６０５の条件に加えて一定サイズ以上の影であればステップ６０６以降の処理を行わせることが望ましい。
【００４２】
また、ステップ６１０においてアップイベントを発生させているが、ステップ６０６でダウンイベントが発生した後か否かを判断し、ダウンイベントの発生が確認された後でなければアップイベントを発生させないようにすることが望ましい。
【００４３】
さらに、ステップ６１１ではmaxSizeに初期値を設定しているが、このステップにおいてはアップイベントを発生させたか否かの判定結果だけを記憶し、ステップ６０５の条件に加えて既にアップイベントが発生しており、かつ、現在の影の太さがmaxSizeの半分以上の太さになっている場合には、ステップ６０６以降の処理を実行させても良い。このような処理を用意することにより、一旦影の太さが細くなった後で再び太くなった場合にダウン処理を行わせることができる。このため、指を操作画面の表面から意識的に遠ざけることなく文字列を描画することができる。
【００４４】
またイメージセンサを用いた方式では、操作画面の表面のどの位置に遮断物を置くかによって影の太さが変化する。例えばイメージセンサから近い位置では遮断物の影の太さが大きく、遠い位置では遮断物の影の太さが小さくなる。このため、イメージセンサに近い位置から遠い位置に向けて障害物を動かした場合、影の太さが小さく変化したように見える。この場合に、影の太さの変化だけでアップイベントを生成してしまうと操作者が予期しない結果を招いてしまう。
【００４５】
これを回避するため、入力物体（遮断物）が一定距離以上移動した場合には、実施例で説明した接触／非接触の判定処理を用いないようにすることが望ましい。接触／非接触の判定を精密に行わなければならないのは文字列を書いたり、細かい操作を行わなければならない場合であり、一定距離以上遮断物が動いた場合には文字の描画や細かい操作ではないとみなせるため特に問題にはならない。どの程度の距離を一定距離として定義すべきかについては、文字列の１画の大きさをどの程度とするかを規定し、その値を適用させれば良い。
【００４６】
また、前述の実施例においては、ダウンイベントの判定閾値を初期サイズの２倍に設定し、アップイベントの判定閾値を最大値の２分の１に設定する場合について説明したが、各判定閾値は個別に調整できることが望ましい。各判定閾値を調整できることで、いわゆる「書き心地」を調整することができる。
【００４７】
また、ダウンイベントの判定閾値Ａを小さく、かつ、アップイベントの判定閾値Ｂ（＞Ａ）を大きく設定すれば接触状態と判定されやすくなり、また、非接触状態と判定され難くなるため、軽いタッチで文字列を書けるような印象になる。
【００４８】
また、ダウンイベントの判定閾値Ａを大きく、かつ、アップイベントの判定閾値Ｂ（＜Ａ）を小さく設定すれば、力強いタッチで文字列を書けるような印象になる。
【符号の説明】
【００４９】
１０１  投影面
１０２Ａ  光源
１０２Ｂ  イメージセンサ
１０３  指
１０４  操作画面投影装置
１０５  制御用コンピュータ
１０５１  座標算出プログラム
１０６  キーボード
１０７  表示装置
１０８  再帰性反射材
【図１】
2011203861.tif 000003
【図２】
2011203861.tif 000004
【図３】
2011203861.tif 000005
【図４】
2011203861.tif 000006
【図５】
2011203861.tif 000007
【図６】
2011203861.tif 000008