(57)【要約】【課題】遮蔽が発生した場合の指示具の座標検出精度を高めることができる座標検出装置を提供する。【解決手段】指示具７の位置を検出する複数の光学位置検出手段と、光学位置検出手段の出力から指示具の遮蔽を判定する遮蔽判定部３４と、光学位置検出手段の出力から指示具７の座標を算出する座標算出部３５と、遮蔽判定結果と座標算出結果から指示具７の座標を補正する座標補正部３６と、を備える。【選択図】図３
2016091208.tif 000002
【特許請求の範囲】
【請求項１】
指示具の位置を検出する複数の光学位置検出手段と、
該光学位置検出手段の出力から前記指示具の遮蔽を判定する遮蔽判定部と、
前記光学位置検出手段の出力から前記指示具の座標を算出する座標算出部と、
前記遮蔽判定結果と前記座標算出結果から前記指示具の座標を補正する座標補正部と、
を備えたことを特徴とする座標検出装置。
【請求項２】
前記指示具の接触信号送信手段と、
接触信号受信手段と、を備え、
前記遮蔽判定部は、前記光学位置検出手段の出力と接触信号数から遮蔽を判定することを特徴とする請求項１記載の座標検出装置。
【請求項３】
さらに、遮蔽前後の指示具の座標間距離に応じてフィッティングするか、マーキング表示を出してユーザに選択させるかを決定するフィッティング決定部を備えたことを特徴とする請求項１または２記載の座標検出装置。
【請求項４】
遮蔽前後の指示具の座標間距離に応じたフィッティングに関する振る舞いをユーザが選択できるモードを備えたことを特徴とする請求項３記載の座標検出装置。
【請求項５】
表示装置と、
該表示装置の表示面に前記指示具の位置を検出する請求項１〜４のいずれか１項に記載の座標検出装置と、
該座標検出装置からの入力に基づいて前記表示装置の表示制御を行う制御装置と、
を備えたことを特徴とする座標検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置座標を光学的に検出する座標検出装置および座標検出システムに関する。
【背景技術】
【０００２】
入力面から所定領域離れた位置にある指示具において、指示具から光ビームを放射することで指示具の座標を検出する技術が既に知られている。
【０００３】
特許文献１には、光学式の座標検出装置における複数の指示具のゴーストおよび遮蔽を解決する目的で、複数のセンサから対象領域の複数の画像を取得し、画像に基づいた予測処理を用いて指示具が遮蔽された場合も指示具の座標位置を追跡する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の座標検出装置や特許文献１に開示された技術では、指示具が指で隠れてしまう（以下、遮蔽という。）と指示具の座標検出精度が低くなり、指示具の接触位置に対してディスプレイ上の描画位置のずれが大きくなるという問題があった。
【０００５】
本発明は、前記課題を解決するためのものであり、その目的とするところは、遮蔽が発生した場合の指示具の座標検出精度を高めることができる座標検出装置を提供することである。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために、本発明は、以下の特徴を有する。
【０００７】
本発明に係る座標検出装置は、指示具の位置を検出する複数の光学位置検出手段と、該光学位置検出手段の出力から前記指示具の遮蔽を判定する遮蔽判定部と、前記光学位置検出手段の出力から前記指示具の座標を算出する座標算出部と、前記遮蔽判定結果と前記座標算出結果から前記指示具の座標を補正する座標補正部と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、遮蔽が発生した場合の指示具の座標検出精度を高めることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る座標検出システムの構成を示す概略図である。
【図２】本実施形態に係るコンピュータのハードウェアの構成を示すブロック図である。
【図３】本実施形態に係るペン発光方式の座標検出装置の構成を示す概略図である。
【図４】遮蔽時の座標検出補正を示す図である。
【図５】遮蔽時の座標検出補正を示すフローチャートである。
【図６】フレーム判定を示すフローチャートである。
【図７】第１の遮蔽判定を示すフローチャートである。
【図８】遮蔽発生時のストロークについて示す図である。
【図９】センサ画像のラベル数では遮蔽が検知できないケースを示す図である。
【図１０】第２の遮蔽判定を示すフローチャートである。
【図１１】第１の座標補正処理を示すフローチャートである。
【図１２】第２の座標補正処理を示すフローチャートである。
【図１３】マーキングの例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本実施形態について図面により詳細に説明する。
【００１１】
図１は、本実施形態に係る座標検出システムの構成を示す概略図である。座標検出システム１は、ディスプレイ２、４つの検出部３ａ〜３ｄ（任意の１つ以上検出部を示す場合は、単に検出部３という。）、４つの周辺発光部４ａ〜４ｄ（任意の１つ以上検出部を示す場合は、単に周辺発光部４という。）、コンピュータ５、および、付加的な要素としてＰＣ（Personal Computer）６を有している。なお、４つの周辺発光部４ａ〜４ｄは本実施形態では必要のない構成なので、詳細な説明は省略する。
【００１２】
コンピュータ５にはＰＣ６が接続されており、コンピュータ５はＰＣ６が出力した映像をディスプレイ２に表示することができる。コンピュータ５には座標検出システム１に対応したアプリケーションがインストールされており、アプリケーションは検出部からの信号に基づきユーザが操作した位置を検出する。アプリケーションは位置に基づきジェスチャを解析し、コンピュータ５を制御する。なお、アプリケーションは、操作用のメニューをディスプレイ２に表示することができる。
【００１３】
例えば、ユーザが線を描画するメニューに触れた後、発光部を有する電子ペン等の指示具７でディスプレイ２の盤面に図形を描画した場合、コンピュータ５は指示具７が有する発光部からの光に基づいて、指示具７が触れている位置をリアルタイムに解析して、時系列の座標を作成する。
【００１４】
コンピュータ５は時系列の座標を接続して線を作成しディスプレイ２に表示する。図ではユーザが三角形の形状に沿って指示具７を移動させたため、コンピュータ５は一連の座標を１つのストローク（三角形）として記録する。そして、ＰＣ６の画像と合成してディスプレイ２に表示する。
【００１５】
このように、ディスプレイ２がタッチパネル機能を有していなくても、座標検出システム１を適用することで、ユーザは指示具７でディスプレイ２に触れるだけで様々な操作が可能になる。
【００１６】
図２は、本実施形態に係るコンピュータ５のハードウェアの構成を示すブロック図である。コンピュータ５は、市販の情報処理装置または座標検出システム用に開発された情報処理装置である。コンピュータ５は、アドレスバスやデータバス等のバスライン１１を介して電気的に接続されたＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、ＳＳＤ１５、ネットワークコントローラ１６、外部記憶コントローラ１７、センサコントローラ１８、ＧＰＵ１９、および、キャプチャデバイス２０を有している。
【００１７】
ＣＰＵ１２はアプリケーションを実行して座標検出システム１の動作全体を制御する。ＲＯＭ１３にはＩＰＬ等が記憶されており、主に起動時にＣＰＵ１２が実行するプログラムが記憶されている。ＲＡＭ１４は、ＣＰＵ１２がアプリケーションを実行する際のワークエリアとなる。
【００１８】
ＳＳＤ１５は、座標検出システム用のアプリケーション２１や各種データが記憶された不揮発メモリである。ネットワークコントローラ１６は、不図示のネットワークを介してサーバなどと通信する際に通信プロトコルに基づく処理を行う。なお、ネットワークは、ＬＡＮまたは複数のＬＡＮが接続されたＷＡＮ（例えばインターネット）などである。
【００１９】
外部記憶コントローラ１７は、着脱可能な外部メモリ２２に対する書き込みまたは外部メモリ２２からの読み出しを行う。外部メモリ２２は、例えばＵＳＢメモリ、ＳＤカードなどである。キャプチャデバイス２０は、ＰＣ６が表示装置８に表示している映像を取り込む（キャプチャする）。
【００２０】
ＧＰＵ１９は、ディスプレイ２の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ２３は、ＧＰＵ１９が作成した画像をディスプレイ２に出力する。センサコントローラ１８には、４つの検出部３ａ〜３ｄが接続されており、指示具７が有する発光部からの光に基づく三角測量方式による座標の検出を行う。詳しくは後述する。
【００２１】
なお、本実施形態では、コンピュータ５は指示具７と通信する必要はないが、通信機能を有していてもよい。この場合、図示するようにコンピュータ５は電子ペンコントローラ２４を有し、指示具７から押圧信号を受信する。指示具７は、通知手段を有している必要がある。これにより、コンピュータ５は先端が押圧されているか否かを検出することができる。
【００２２】
なお、座標検出システム用のアプリケーションは、外部メモリ２２に記憶された状態で流通されてもよいし、ネットワークコントローラ１６を介して不図示のサーバからダウンロードされてもよい。アプリケーションは圧縮された状態でも実行形式でもよい。
【００２３】
図３は、本実施形態に係るペン発光方式の座標検出装置３１の構成を示す概略図である。ペン発光方式の場合、座標検出装置３１は２つの入力装置３２，３３、ディスプレイ２、指示具７を含んで構成される。
【００２４】
また、座標検出装置３１は、入力装置の出力を受け取り、遮蔽部分を判定する遮蔽判定部３４、複数の入力装置の出力から三角測量によりディスプレイ上の指示具の座標を算出する座標算出部３５、遮蔽判定結果を用いて座標の補正を行う座標補正部３６、補正結果を受け取り、それを用いて処理を行うＰＣ６を含んで構成される。遮蔽物３７は、ユーザの指などである。
また、上記構成に関して、指示具７にペンを接触したことを示す信号を送信する接触信号送信部、および接触信号を受信する受信部をさらに含んだ構成もあり得る。
【００２５】
図４は、遮蔽時の座標検出補正を示す図である。ペン座標Ａはセンサ対の出力から決まる。θL，θRは各センサとペン座標Ａのなす角である。図５は、遮蔽時の座標検出補正を示すフローチャートである。
【００２６】
まず、２つの入力装置３２，３３の画像センサより画像ＯL，ＯRを取得する（ステップＳ１）。次に画像ＯL，ＯRから指示具の特徴量を算出する（ステップＳ２）。例えば、ペン発光方式の場合であれば、ラベリングによりペン発光領域を切り出し、特徴量として発光領域の重心、ラベル数を算出する（ステップＳ３）。光遮断方式であればラベリングにより遮断領域を切り出し、特徴量として発光領域の重心、ラベル数を算出する（ステップＳ４）。
【００２７】
重心は角度θL，θRの算出に、ラベル数は後段の遮蔽判定に用いる。その後、フレーム判定、遮蔽判定、座標補正処理を行う（ステップＳ５〜７）。これらの判定および処理の詳細については図７，８，９の説明で後述する。
【００２８】
図６は、フレーム判定を示すフローチャートである。まず、センサのフレーム番号Ｎを確認する（ステップＳ１１）。フレーム番号Ｎとはセンサ起動後、何フレーム目であるかを表す。Ｎが１より大きい場合（ステップＳ１２、Ｙｅｓ）、遮蔽判定フローに移る（ステップＳ１３）。Ｎ＝１である場合（ステップＳ１２、Ｎｏ）、何もせず終了する。
【００２９】
図７は、第１の遮蔽判定を示すフローチャートである。前段で算出した画像のラベル数を比較する（ステップＳ２１）。もし画像ＯL，ＯRのラベル数が異なる場合、ラベル数が少ない方のセンサは遮蔽されていると考えられるので、遮蔽有と判定する（ステップＳ２１、Ｙｅｓ）。ラベル数が一致する場合は遮蔽無と判定する（ステップＳ２１、Ｎｏ）。
【００３０】
遮蔽有の場合でこれまでの遮蔽回数が０ならば（ステップＳ２２、Ｙｅｓ）、Ｎ−１フレームまでの１ストロークに対応する座標を保存し（ステップＳ２３）、遮蔽回数をインクリメントし（ステップＳ２４）、終了する。遮蔽回数が１以上の場合（ステップＳ２２、Ｎｏ）、遮蔽回数をインクリメントし（ステップＳ２５）、座標補正処理フローに移る（ステップＳ２６）。
【００３１】
遮蔽無の場合は（ステップＳ２１、Ｎｏ）、座標補正処理フローに移る（ステップＳ２６）。遮蔽無の場合も座標補正処理フローに移るのは、遮蔽無の場合には遮蔽が終了した直後の遮蔽無の場合があり、その場合は遮蔽前後の画像から遮蔽部分の筆記を補正する必要があり、通常の遮蔽無しの場合と振る舞いが異なるためである。
【００３２】
図８は、遮蔽発生時のストロークについて示す図である。１ストロークとは指示具７の座標が検出され始めてから、検出が終了するまでの連続したフレームに対応する個々の座標の集まりのことである。例えば「三」という漢字は３ストロークからなり、仮に図８の破線部分で遮蔽が発生したとすると、四角の枠で囲まれた部分がＮ−１までの１ストロークに対応することになる。
【００３３】
図９は、センサ画像のラベル数では遮蔽が検知できないケースを示す図である。２つのペン座標Ｂ，Ｃがあり、２つの遮蔽物４１，４２がある。指示具が複数あり、それぞれに対して遮蔽が発生した場合は画像ＯL，ＯRのラベル数が等しくなってしまうため、第１の遮蔽判定フローでは本当は遮蔽有であるにも関わらず、遮蔽無と誤判定してしまう。
【００３４】
図１０は、第２の遮蔽判定を示すフローチャートである。第２の遮蔽判定のフローでは、図９のケースにおいても遮蔽判定することができる。これは指示具の接触信号数とラベル数を比較することによる。
【００３５】
図９の画像ＯL，ＯRのラベル数を比較する条件分岐の代わりに画像ＯLのラベル数とペンの接触信号の数、及び画像ＯRのラベル数とペンの接触信号の数を比較するものである（ステップＳ３１）。それ以外は第１の遮蔽判定フローと同じであり、説明を省略する。
【００３６】
図１１は、第１の座標補正処理を示すフローチャートである。これまでの遮蔽回数が０回である場合（ステップＳ４１、Ｙｅｓ）、終了する。遮蔽回数が１回以上の場合（ステップＳ４１、Ｎｏ）、遮蔽が終了していれば（ステップＳ４２、Ｙｅｓ）、遮蔽回数１のときに保存した１ストロークに対応する座標と今回算出した座標の間を、ｎ次の多項式を用いた最小自乗法でフィッティングし（ステップＳ４３）、遮蔽回数を０にして終了する（ステップＳ４４）。遮蔽が終了していなければ（ステップＳ４２、Ｎｏ）、何もせず終了する。
【００３７】
図１２は、第２の座標補正処理を示すフローチャートである。図１３は、マーキングの例を示す図である。第１の座標補正処理のフローと同一のフローは、同一の符号を付して説明を省略する。
【００３８】
図１２のフローは遮蔽発生時にストロークが多項式で近似できないような形状をしている場合に、図１３で示すようにフィッティングした線が指示具７の軌跡と大きくずれてしまう場合にも対応できるものである。そのような場合は遮蔽開始時の座標と終了時の座標が離れている場合に多い。
【００３９】
そこで、遮蔽前後の座標間の距離がある閾値より長い場合は（ステップＳ５１、Ｙｅｓ）、フィッティングした領域を一定時間マーキングし（ステップＳ５２）、ＯＫ，ＮＧを表示する。それがユーザにとって受け入れられる場合はＯＫをタップするとマーキング通りの描画が行われるが、ＮＧの場合遮蔽領域は描画されず、ユーザが再度筆記し直すことができる。
【００４０】
遮蔽前後の指示具の座標間距離がある閾値より長い場合、フィッティングした線が不自然となってしまう場合がある。そのような場合にフィッティングせずにマーキング表示を出して、マーキング領域をフィッティングさせるかユーザが再度筆記を行うか選択させることができる。
【００４１】
遮蔽前後の座標間の距離がある閾値より短い場合は（ステップＳ５１、Ｎｏ）、遮蔽回数１のときに保存した座標と今回算出した座標の間をフィッティングし（ステップＳ５３）、遮蔽回数を０にする（ステップＳ４４）。
【００４２】
また、このようなマーキングを行いユーザに選択させるモードと、マーキングを行わずにフィッティングを行うモード、マーキングを行わずフィッティングも行わないモードを設け、ユーザが用途に応じて使い分けることもできる。
【００４３】
本実施形態によれば、遮蔽の発生および終了を取得画像より検知し、筆記またはジェスチャ終了後に遮蔽前後の取得画像から筆記またはジェスチャを補正するので、遮蔽が発生した場合の指示具の座標検出精度を高めることができる。
【００４４】
なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
【符号の説明】
【００４５】
１    座標検出システム
２    ディスプレイ
５    コンピュータ
６    ＰＣ
７    指示具
３１    座標検出装置
３２    入力装置
３４    遮蔽判定部
３５    座標算出部
３６    座標補正部
３７    遮蔽物
【先行技術文献】
【特許文献】
【００４６】
【特許文献１】特表２０１１−５２２３３２号公報
【図１】
2016091208.tif 000003
【図２】
2016091208.tif 000004
【図３】
2016091208.tif 000005
【図４】
2016091208.tif 000006
【図５】
2016091208.tif 000007
【図６】
2016091208.tif 000008
【図７】
2016091208.tif 000009
【図８】
2016091208.tif 000010
【図９】
2016091208.tif 000011
【図１０】
2016091208.tif 000012
【図１１】
2016091208.tif 000013
【図１２】
2016091208.tif 000014
【図１３】
2016091208.tif 000015