(57)【要約】      （修正有）【課題】指示具の操作性を改善する座標検出システムを提供する。【解決手段】指示動作を行う円錐形状または円錐台形状を含む先端部を有する指示具１１０により座標入力装置１０１の盤面に対して指示された座標を検出する座標検出システム１００であって、盤面の所定位置に配された２次元画像センサ部１０３ａ、１０３ｂと、２次元画像センサ部１０３ａによって撮影された第１の撮影画像に基づいて、指示具１１０の先端部の円錐形状または円錐台形状の２つの斜辺を検出し、２次元画像センサ部１０３ｂによって撮影された第２の撮影画像に基づいて、指示具１１０の先端部の円錐形状または円錐台形状の２つの斜辺を検出する検出手段と、第１の撮影画像に基づいて検出された２つの斜辺の交点と、第２の撮影画像に基づいて検出された２つの斜辺の交点とに基づいて、盤面における先端部の頂点の座標を算出する算出手段とを有する。【選択図】図１
2015149062.tif 000002
【特許請求の範囲】
【請求項１】
盤面に対して指示動作を行う円錐形状または円錐台形状を含む先端部を有する指示具により指示された座標を検出する座標検出システムであって、
前記盤面の所定位置に配された第１画像撮影装置及び第２画像撮影装置と、
前記第１画像撮影装置によって撮影された第１の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出し、前記第２画像撮影装置によって撮影された第２の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出する検出手段と、
前記検出手段によって、前記第１の撮影画像に基づいて検出された２つの斜辺の交点と、前記第２の撮影画像に基づいて検出された２つの斜辺の交点とに基づいて、前記盤面における前記先端部の頂点の座標を算出する算出手段と
を有することを特徴とする座標検出システム。
【請求項２】
前記検出手段は、エッジ処理を行うことにより、前記第１の撮影画像及び前記第２の撮影画像それぞれより、前記先端部と周辺画素との境界を示す輪郭画素を検出し、該検出した輪郭画素に基づく近似直線を算出することにより、前記２つの斜辺を検出することを特徴とする請求項１に記載の座標検出システム。
【請求項３】
前記算出手段は、前記第１の撮影画像に基づいて検出された２つの斜辺の交点に基づいて、前記盤面における前記先端部の頂点の基準方向に対する第１の旋回角度を算出し、前記第２の撮影画像に基づいて検出された２つの斜辺の交点に基づいて、前記盤面における前記先端部の頂点の基準方向に対する第２の旋回角度を算出し、該算出した第１及び第２の旋回角度に基づいて、前記盤面における前記先端部の頂点の座標を算出することを特徴とする請求項１または２に記載の座標検出システム。
【請求項４】
盤面に対して指示動作を行う円錐形状または円錐台形状を含む先端部を有する指示具により指示された座標を検出する座標検出システムにおける座標検出方法であって、
前記盤面の所定位置に配された第１画像撮影装置によって撮影された第１の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出し、前記盤面の所定位置に配された第２画像撮影装置によって撮影された第２の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出する検出工程と、
前記検出工程において、前記第１の撮影画像に基づいて検出された２つの斜辺の交点と、前記第２の撮影画像に基づいて検出された２つの斜辺の交点とに基づいて、前記盤面における前記先端部の頂点の座標を算出する算出工程と
を有することを特徴とする座標検出方法。
【請求項５】
前記検出工程は、エッジ処理を行うことにより、前記第１の撮影画像及び前記第２の撮影画像それぞれより、前記先端部と周辺画素との境界を示す輪郭画素を検出し、該検出した輪郭画素に基づく近似直線を算出することにより、前記２つの斜辺を検出することを特徴とする請求項４に記載の座標検出方法。
【請求項６】
前記算出工程は、前記第１の撮影画像に基づいて検出された２つの斜辺の交点に基づいて、前記盤面における前記先端部の頂点の基準方向に対する第１の旋回角度を算出し、前記第２の撮影画像に基づいて検出された２つの斜辺の交点に基づいて、前記盤面における前記先端部の頂点の基準方向に対する第２の旋回角度を算出し、該算出した第１及び第２の旋回角度に基づいて、前記盤面における前記先端部の頂点の座標を算出することを特徴とする請求項４または５に記載の座標検出方法。
【請求項７】
円錐形状または円錐台形状を含む先端部を有する指示具により、指示動作が行われる盤面を有する座標入力装置を制御する情報処理装置であって、
前記盤面の所定位置に配された第１画像撮影装置によって撮影された第１の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出し、前記盤面の所定位置に配された第２画像撮影装置によって撮影された第２の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出する検出手段と、
前記検出手段により、前記第１の撮影画像に基づいて検出された２つの斜辺の交点と、前記第２の撮影画像に基づいて検出された２つの斜辺の交点とに基づいて、前記盤面における前記先端部の頂点の座標を算出する算出手段と
を有することを特徴とする情報処理装置。
【請求項８】
前記検出手段は、エッジ処理を行うことにより、前記第１の撮影画像及び前記第２の撮影画像それぞれより、前記先端部と周辺画素との境界を示す輪郭画素を検出し、該検出した輪郭画素に基づく近似直線を算出することにより、前記２つの斜辺を検出することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記算出手段は、前記第１の撮影画像に基づいて検出された２つの斜辺の交点に基づいて、前記盤面における前記先端部の頂点の基準方向に対する第１の旋回角度を算出し、前記第２の撮影画像に基づいて検出された２つの斜辺の交点に基づいて、前記盤面における前記先端部の頂点の基準方向に対する第２の旋回角度を算出し、該算出した第１及び第２の旋回角度に基づいて、前記盤面における前記先端部の頂点の座標を算出することを特徴とする請求項７または８に記載の情報処理装置。
【請求項１０】
円錐形状または円錐台形状を含む先端部を有する指示具により、指示動作が行われる盤面を有する座標入力装置を制御する情報処理装置を、
前記盤面の所定位置に配された第１画像撮影装置によって撮影された第１の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出し、前記盤面の所定位置に配された第２画像撮影装置によって撮影された第２の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出する検出手段と、
前記検出手段により、前記第１の撮影画像に基づいて検出された２つの斜辺の交点と、前記第２の撮影画像に基づいて検出された２つの斜辺の交点とに基づいて、前記盤面における前記先端部の頂点の座標を算出する算出手段と
して機能させるためのプログラム。
【請求項１１】
盤面に対して指示動作を行う半球体形状の先端部を有する指示具により指示された座標を検出する座標検出システムであって、
前記盤面の所定位置に配された第１画像撮影装置及び第２画像撮影装置と、
前記第１画像撮影装置によって撮影された第１の撮影画像に基づいて、前記指示具の先端部の半球体形状を示す画素領域の重心の位置を検出し、前記第２画像撮影装置によって撮影された第２の撮影画像に基づいて、前記指示具の先端部の半球体形状を示す画素領域の重心の位置を検出する検出手段と、
前記検出手段によって、前記第１の撮影画像に基づいて検出された重心の位置と、前記第２の撮影画像に基づいて検出された重心の位置とに基づいて、前記指示具により指示された前記盤面における座標を算出する算出手段と
を有することを特徴とする座標検出システム。
【請求項１２】
前記検出手段は、前記第１の撮影画像及び前記第２の撮影画像において、所定の輝度値以上の画素を前記画素領域として抽出することを特徴とする請求項１１に記載の座標検出システム。
【請求項１３】
前記検出手段は、前記画素領域に含まれる各画素の座標の平均値に基づいて、または、前記画素領域に含まれる各画素の輝度値から前記所定の輝度値を減算することで得られる値と、前記画素領域に含まれる各画素の座標との積の平均値に基づいて、前記重心の位置を検出することを特徴とする請求項１２に記載の座標検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は座標検出システム、情報処理装置、座標検出方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、座標入力装置に対して、電子ペン等の指示具により指示された座標を検出し、手書き文字等の表示を行う座標検出システムが知られている。
【０００３】
かかる座標検出システムにおいては、指示具の先端部が座標入力装置の入力面に接触した位置を検出すべく、種々の座標検出方法が提案されている。例えば、特許文献１では、光学式の座標検出方法が開示されており、以下のような手順により、指示具の先端部の接触位置の座標を検出している。
【０００４】
具体的には、座標入力装置の両端部に１次元画像センサ部を設置し、指示具に配された２つの発光点の基準方向からの旋回角度を検出する。そして、三角測量の原理により、検出した旋回角度に基づいて、当該２つの発光点の座標を算出する。更に、算出した当該２つの発光点の座標と、指示具の既知のデータ（２つの発光点の間の距離や発光点から先端部までの距離）とに基づいて先端部（つまり接触位置）の座標を検出する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示された光学式の座標検出方法の場合、以下のような問題がある。
【０００６】
例えば、ユーザが指示具を把持した際に、発光点がユーザの手で覆われてしまっていた場合、１次元画像センサ部が発光点を検出することができず、先端部の座標を検出することができない。このため、ユーザは、指示具を把持する際に、１次元画像センサ部の撮影方向に対して、把持した手が発光点を遮ることがないよう考慮する必要がある。
【０００７】
また、１次元画像センサ部の近傍では、焦点が合わなくなったり、一方の発光点が画角外になったりすることも考えられる。このため、ユーザは、手書き文字等の入力を、１次元画像センサ部から適度に離れた領域において行うといった配慮が必要である。
【０００８】
このように、従来の光学式の座標検出システムの場合、ユーザにとって必ずしも操作性がよいとはいえなかった。
【０００９】
本発明は上記課題に鑑みてなされたものであり、座標検出システムにおいて、指示具の操作性を改善することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の実施形態に係る座標検出システムは、以下のような構成を有する。すなわち、
盤面に対して指示動作を行う円錐形状または円錐台形状を含む先端部を有する指示具により指示された座標を検出する座標検出システムであって、
前記盤面の所定位置に配された第１画像撮影装置及び第２画像撮影装置と、
前記第１画像撮影装置によって撮影された第１の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出し、前記第２画像撮影装置によって撮影された第２の撮影画像に基づいて、前記指示具の先端部の円錐形状または円錐台形状の２つの斜辺を検出する検出手段と、
前記検出手段によって、前記第１の撮影画像に基づいて検出された２つの斜辺の交点と、前記第２の撮影画像に基づいて検出された２つの斜辺の交点とに基づいて、前記盤面における前記先端部の頂点の座標を算出する算出手段とを有する。
【発明の効果】
【００１１】
本発明の各実施形態によれば、座標検出システムにおいて、指示具の操作性を改善することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る座標検出システムのシステム構成の一例を示す図である。
【図２】座標検出システムのハードウェア構成を示す図である。
【図３】情報処理装置において実現される機能を示す機能構成図である。
【図４】指示具の構成を示す図である。
【図５】座標検出原理を説明するための図である。
【図６】座標検出システムの２次元画像センサ部により撮影された撮影画像の一例を示す図である。
【図７】指示具の先端部の発光部を含む画像に対する画像処理を説明するための図である。
【図８】指示具の先端部の発光部を含む画像に対する画像処理を説明するための図である。
【図９】指示座標算出処理の流れを示すフローチャートである。
【図１０】座標検出システムのロバスト性を説明するための図である。
【図１１】指示具の他の構成を示す図である。
【図１２】指示具の先端部の発光部を含む画像に対する画像処理を説明するための図である。
【図１３】指示具の先端部の発光部を含む画像に対する画像処理を説明するための図である。
【図１４】指示具の他の構成を示す図である。
【図１５】指示具の他の構成を示す図である。
【図１６】情報処理装置において実現される機能を示す機能構成図である。
【図１７】指示具の先端部の発光部を含む画像に対する画像処理を説明するための図である。
【図１８】指示具の先端部の発光部を含む画像に対する画像処理を説明するための図である。
【図１９】画像に発光部の鏡像が写っている様子を示す図である。
【図２０】指示座標算出処理の流れを示すフローチャートである。
【図２１】指示具の他の構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１４】
［第１の実施形態］
＜座標検出システムのシステム構成＞
はじめに、本実施形態に係る座標検出システムのシステム構成について説明する。図１は、本実施形態に係る座標検出システム１００のシステム構成の一例を示す図である。
【００１５】
図１に示すように、座標検出システム１００は、座標入力装置１０１と、コンピュータ（情報処理装置）１０２と、２次元画像センサ部１０３ａ〜１０３ｄと、周辺発光部１０４ａ〜１０４ｄと、指示具１１０とを有する。また、座標検出システム１００のコンピュータ（情報処理装置）１０２には、端末装置１２０が接続される。
【００１６】
座標入力装置１０１は、端末装置１２０において生成された画像を表示したり、ユーザが指示具１１０により座標入力装置１０１の盤面である入力面に対して指示動作を行うことで手書き入力された内容を表示する。
【００１７】
コンピュータ（情報処理装置）１０２は、端末装置１２０より送信された画像を座標入力装置１０１に表示するよう制御する。図１の例では、端末装置１２０の表示装置１２１に表示された画像を表示した場合を示している。
【００１８】
また、コンピュータ１０２は、２次元画像センサ部１０３ａ〜１０３ｄにおいて撮影された撮影画像に基づいて、座標入力装置１０１の入力面に対する指示（入力面と指示具１１０の先端部との接触位置）をリアルタイムに解析し、時系列の座標を作成する。そして、作成した時系列の座標を接続して線を作成し、手書き入力された内容として、座標入力装置１０１に表示するよう制御する。
【００１９】
図１の例は、ユーザが三角形の形状に沿って指示具１１０を移動させたことで、コンピュータ１０２が、一連の座標を１つのストローク（三角形）として、表示中の画像に重畳させた様子を示している。
【００２０】
このように、座標入力装置１０１がタッチパネル機能を有していなくても、本実施形態に係る座標検出システム１００では、ユーザは、指示具１１０を用いて座標入力装置１０１に触るだけで、様々な指示を行うことができる。
【００２１】
２次元画像センサ部１０３ａ〜１０３ｄは、座標入力装置１０１の入力面全体を撮影するための画像センサ部であり、座標入力装置１０１の入力面の所定位置（本実施形態においては両端部位置）に配置される。なお、本実施形態では、２次元画像センサ部１０３ａ、１０３ｂが、座標入力装置１０１の入力面の上半分を撮影し、２次元画像センサ部１０３ｃ、１０３ｄが座標入力装置１０１の入力面の下半分を撮影するものとする。指示具１１０の先端部の接触位置の座標は、当該画像センサ部が、指示具１１０を撮影することにより得られた撮影画像に基づいて算出される。
【００２２】
周辺発光部１０４ａ〜１０４ｄは、座標入力装置１０１の周囲に配置され、座標入力装置１０１の入力面を照射する。なお、周辺発光部１０４ａ〜１０４ｄは、座標入力装置１０１に対して、着脱可能に取り付けられる構成であってもよい。
【００２３】
＜座標検出システムのハードウェア構成＞
次に、座標検出システム１００のハードウェア構成について説明する。図２は、座標検出システム１００のハードウェア構成を示す図である。
【００２４】
図２において、コンピュータ１０２は、市販の情報処理装置又は座標検出システム用に開発された情報処理装置である。コンピュータ１０２は、アドレスバスやデータバス等のバスライン２１２を介して電気的に接続された、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＳＳＤ（Solid State Drive）２０４、ネットワークコントローラ２０５を有する。更に、外部記憶コントローラ２０６、センサコントローラ２０７、ＧＰＵ（Graphics Processing Unit）２０８、キャプチャデバイス２０９を有する。
【００２５】
ＣＰＵ２０１は、アプリケーション２２０を実行し、座標検出システム１００の動作全体を制御する。ＲＯＭ２０２にはＩＰＬ（Initial Program Loader）等が記憶されており、主に起動時にＣＰＵ２０１が実行するプログラムが記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１がアプリケーション２２０を実行する際のワークエリアとして機能する。
【００２６】
ＳＳＤ２０４は、座標検出システム用のアプリケーション２２０や各種データが記憶された不揮発性メモリである。ネットワークコントローラ２０５は、ネットワークを介してサーバなどと通信する際に通信プロトコルに基づく処理を行う。なお、ここでいうネットワークには、ＬＡＮ（Local Area Network）又は複数のＬＡＮが接続されたＷＡＮ（Wide Area Network、例えば、インタネット）等が含まれる。
【００２７】
外部記憶コントローラ２０６は、着脱可能な外部メモリ２３０からの読み出しを行う。外部メモリ２３０は、例えばＵＳＢ（Universal Serial Bus）メモリ、ＳＤカードなどである。
【００２８】
センサコントローラ２０７には、４つの２次元画像センサ部１０３ａ〜１０３ｄが接続されており、これら４つの２次元画像センサ部１０３ａ〜１０３ｄによる撮影を制御する。
【００２９】
ＧＰＵ２０８は、座標入力装置１０１に表示する画像の各画素の画素値を演算する描画専用のプロセッサである。座標入力装置コントローラ２１１は、ＧＰＵ２０８が作成した画像を座標入力装置１０１に出力する。
【００３０】
キャプチャデバイス２０９は、端末装置１２０が表示装置１２１に表示している画像を取り込む（キャプチャする）。
【００３１】
なお、本実施形態に係る座標検出システム１００の場合、指示具１１０と通信を行う必要はないが、コンピュータ１０２が指示具１１０と通信を行うための通信機能を有していてもよい。この場合、図示するようにコンピュータ１０２は、指示具コントローラ２１０を有し、指示具１１０との間で通信を行う。これにより、コンピュータ１０２では、指示具１１０からの制御信号を受信することが可能となる。
【００３２】
なお、アプリケーション２２０は、外部メモリ２３０に記憶された状態で流通されてもよいし、ネットワークコントローラ２０５を介して外部のサーバからダウンロードされてもよい。なお、このときのアプリケーションは、圧縮された状態であっても実行形式の状態であってもよい。
【００３３】
＜情報処理装置の機能構成＞
次に、コンピュータ（情報処理装置）１０２において、アプリケーション２２０が実行されることで実現される機能について説明する。図３は、情報処理装置１０２において実現される機能を示す機能構成図である。
【００３４】
図３に示すように、情報処理装置１０２において実現される機能には、画像取得部３０１、３１１、頂点検出部３０２、３１２、指示座標算出部３２０、指示座標出力部３２１が含まれる。
【００３５】
画像取得部３０１、３１１は、それぞれ２次元画像センサ部１０３ａ、１０３ｂにおいて撮影された撮影画像を取得する。
【００３６】
頂点検出部３０２、３１２は、それぞれ、画像取得部３０１、３１１において取得された撮影画像より、指示具１１０の先端部の頂点（ユーザが指示具１１０を用いて指示動作を行う際に座標入力装置１０１の入力面と接触する部分）を検出する。
【００３７】
指示座標算出部３２０は、撮影画像より検出された指示具１１０の先端部の頂点の位置に基づいて、座標入力装置１０１の入力面において、指示具１１０により指示された座標を算出する。
【００３８】
指示座標出力部３２１は、指示座標算出部３２０において算出された、指示具１１０により指示された座標をＧＰＵ２０８に出力する。
【００３９】
＜指示具の構成＞
次に、指示具１１０の構成について説明する。図４は、指示具１１０の構成を示す図である。図４に示すように、指示具１１０は、ユーザが把持する把持部４１０と、座標入力装置１０１の入力面に接触する先端部４２０とを有する。
【００４０】
把持部４１０は、ユーザが把持しやすい円筒形状を有しており、内部には発光回路４１１が配されている。先端部４２０は、円錐形状を有しており、先端側は発光部４２１により構成されている。発光部４２１は、発光回路４１１によってＯＮ／ＯＦＦが制御され、ＯＮ状態で発光する。
【００４１】
先端部４２０の頂点４２２は、座標入力装置１０１の入力面と直接接触する部分であり、座標入力装置１０１の入力面における頂点４２２の座標は、指示具１１０により指示された座標となる。図４に示すように、本実施形態において、先端部４２０の頂点４２２は、発光部４２１の横断面である円４２３の中心位置に配されている。
【００４２】
＜座標検出システムにおける座標検出機能の説明＞
次に、座標検出システム１００における座標検出機能について説明する。
【００４３】
＜座標検出原理の説明＞
はじめに、座標検出原理について説明する。図５は、座標検出原理を説明するための図であり、座標検出システム１００を構成する座標入力装置１０１の入力面における所定の点５００と、２次元画像センサ部１０３ａ、１０３ｂとの位置関係を模式的に示したものである。ここでは、所定の点５００の入力面における座標の算出方法を説明することで、座標検出原理（三角測量方式）を説明することとする。
【００４４】
図５に示すように、点５００の座標の算出に用いられる撮影画像を撮影する２次元画像センサ部１０３ａ、１０３ｂ（第１画像撮影装置、第２画像撮影装置）は、座標入力装置１０１の左上端部及び右上端部にそれぞれ配置されている。
【００４５】
ここで、座標入力装置１０１の左上端部を原点とし、座標入力装置１０１の横方向をＸ軸、縦方向をＹ軸とする。また、２次元画像センサ部１０３ａから見た場合のＸ軸方向（基準方向）に対する点５００の旋回角度をα、２次元画像センサ部１０３ｂから見た場合のＸ軸方向（基準方向）に対する点５００の旋回角度をβとする。更に、座標入力装置１０１のＸ軸方向の幅をＬとする。
【００４６】
かかる前提のもとで、所定の点５００のＹ座標を、Ｘ座標を用いて表すと以下のようになる。
【００４７】
Ｙ＝Ｘｔａｎα                                    （式１）
Ｙ＝（Ｌ−Ｘ）ｔａｎβ                            （式２）
ここで、式１と式２とにより、Ｙを消去しＸについて整理すると、
Ｘ＝Ｌｔａｎβ／（ｔａｎα＋ｔａｎβ）            （式３）
となる。
【００４８】
更に、式３を式１に代入すると、
Ｙ＝Ｌｔａｎα×ｔａｎβ／（ｔａｎα＋ｔａｎβ）  （式４）
となる。
【００４９】
つまり、２次元画像センサ部１０３ａ、１０３ｂにおいて撮影された撮影画像に基づいて、点５００のＸ軸方向（基準方向）からの旋回角度α、βを算出し、式３及び式４に代入すれば、点５００のＸ座標及びＹ座標を算出することができる。
【００５０】
＜撮影画像の説明＞
次に、２次元画像センサ部１０３ａ、１０３ｂにより撮影された撮影画像について説明する。図６は、２次元画像センサ部１０３ａ、１０３ｂにより撮影された撮影画像の一例を示す図である。
【００５１】
図６において、撮影画像６０１ａは２次元画像センサ部１０３ａにより撮影された画像の一例であり、撮影画像６０１ｂは２次元画像センサ部１０３ｂにより撮影された画像の一例である。図６に示すように、指示具１１０のうち、先端部４２０の発光部４２１は、発光することで、発光部４２１以外の部分よりも周辺領域の画像との濃度差が大きくなる。このため、コンピュータ１０２では、撮影画像６０１ａ、６０１ｂから、指示具１１０の発光部４２１を含む画像を容易に抽出することができる。
【００５２】
＜発光部を含む画像についての画像処理＞
次に、撮影画像６０１ａ、６０１ｂそれぞれから抽出された、指示具１１０の発光部４２１を含む画像に対して画像処理を行い、先端部４２０の頂点４２２の入力面における座標を算出するための旋回角度α、βを求める処理について説明する。図７は、撮影画像６０１ａから抽出された、指示具１１０の発光部４２１を含む画像７００に対する画像処理を説明するための図であり、画像７００上の横軸をｘ座標、縦軸をｙ座標としている。
【００５３】
図７（ａ）に示すように、２次元画像センサ部１０３ａにより撮影されることで、円錐形状の発光部４２１は、画像７００上において三角形の画素領域７２１として描画される。そして、当該発光部４２１は、発光部４２１以外の部分よりも、周辺領域の画像との濃度差が大きい。
【００５４】
そこで、画像７００において、発光部４２１を示す三角形の画素領域７２１に対してエッジ処理を行うことで、輪郭画素（発光部４２１と周辺領域との境界を示す画素）を検出する。更に、検出した各輪郭画素を、最小二乗法により一次式で近似する（つまり、近似直線を算出する）。これにより、画像７００上において、発光部４２１を示す三角形の画素領域７２１のエッジ部分を示す線を算出することができる。
【００５５】
図７（ａ）において、線７０１は、発光部４２１を示す三角形の画素領域７２１の左側斜辺の輪郭画素を検出し、当該輪郭画素を最小二乗法により近似した一次式（左側エッジを示す延長線）である。
【００５６】
また、図７（ｂ）において、線７０２は、発光部４２１を示す三角形の画素領域７２１の右側斜辺の輪郭画素を検出し、当該輪郭画素を最小二乗法により近似した一次式（右側エッジを示す延長線）である。
【００５７】
ここで、指示具１１０の先端部４２０の頂点４２２は、発光部４２１の左側エッジを示す延長線７０１と右側エッジを示す延長線７０２との交点の位置に存在する。つまり、左側エッジを示す延長線７０１と右側エッジを示す延長線７０２との交点のｘ座標（画像７００上のｘ座標）を算出することで、指示具１１０の先端部４２０の頂点４２２の基準方向からの旋回角度を算出することができる。
【００５８】
図７（ｃ）は、画像７００より得られた左側エッジを示す延長線７０１と、右側エッジを示す延長線７０２との交点７１０を算出した様子を示している。交点７１０は、指示具１１０の先端部４２０の頂点４２２を示すこととなる。
【００５９】
ここで、２次元画像センサ部１０３ａの設置方向に基づいて、画像７００上のｘ軸方向の各位置と、基準方向に対する旋回角度との関係は予め設定されているものとする。これにより、画像７００における交点７１０のｘ座標を算出することで、指示具１１０の先端部４２０の頂点４２２の基準方向からの旋回角度αを求めることができる。
【００６０】
同様に、図８は、撮影画像６０１ｂから抽出された、指示具１１０の発光部４２１を含む画像８００に対する画像処理を説明するための図であり、横軸をｘ座標、縦軸をｙ座標としている。
【００６１】
図８（ａ）に示すように、２次元画像センサ部１０３ｂにより撮影されることで、円錐形状の発光部４２１は、画像８００上において三角形の画素領域８２１として描画される。そして、当該発光部４２１は、発光部４２１以外の部分よりも、周辺領域の画像との濃度差が大きい。
【００６２】
そこで、画像８００において、発光部４２１を示す三角形の画素領域８２１に対してエッジ処理を行うことで、輪郭画素を検出する。更に、検出した各輪郭画素を、最小二乗法により一次式で近似する。これにより、画像８００上において、発光部４２１を示す三角形の画素領域８２１のエッジ部分を示す線を算出することができる。
【００６３】
図８（ａ）において、線８０１は、発光部４２１を示す三角形の画素領域８２１の左側斜辺の輪郭画素を検出し、当該輪郭画素を最小二乗法により近似した一次式（左側エッジを示す延長線）である。
【００６４】
また、図８（ｂ）において、線８０２は、発光部４２１を示す三角形の画素領域８２１の右側斜辺の輪郭画素を検出し、当該輪郭画素を最小二乗法により近似した一次式（右側エッジを示す延長線）である。
【００６５】
図８（ｃ）は、画像８００より得られた左側エッジを示す延長線８０１と、右側エッジを示す延長線８０２との交点８１０を算出した様子を示している。交点８１０は、指示具１１０の先端部４２０の頂点４２２を示すこととなる。
【００６６】
ここで、２次元画像センサ部１０３ｂの設置方向に基づいて、画像８００上のｘ軸方向の各位置と、基準方向に対する旋回角度との関係は予め設定されているものとする。これにより、画像８００における交点８１０のｘ座標を算出することで、指示具１１０の先端部４２０の頂点４２２の基準方向からの旋回角度βを求めることができる。
【００６７】
＜指示座標算出処理の流れ＞
次に、座標検出システム１００における指示座標算出処理の流れについて説明する。図９は、座標検出システム１００における指示座標算出処理の流れを示すフローチャートである。２次元画像センサ部１０３ａ、１０３ｂによる撮影が開始されると、図９に示す指示座標算出処理が実行される。
【００６８】
ステップＳ９０１において、画像取得部３０１は、２次元画像センサ部１０３ａにおいて撮影された撮影画像６０１ａより発光部４２１を含む画像７００を抽出する。ステップＳ９０２において、頂点検出部３０２は、抽出した発光部４２１を含む画像７００に対して、エッジ処理を行う。
【００６９】
具体的には、発光部４２１を含む画像７００の左上端の画素を開始点として、ｘ方向の各画素に対して輪郭画素を検出する処理を行い、右端の画素まで到達したら左端に戻り、１画素ｙ方向に進んで、再度ｘ方向の各画素に対して輪郭画素を検出する処理を行う。このような走査手順を、発光部４２１を含む画像７００の右下端の終了点に到達するまで繰り返す。
【００７０】
なお、輪郭画素は、注目画素と周辺画素との濃度値の差分量の総和が、所定の閾値以上であった場合に検出されるものとする。
【００７１】
ステップＳ９０３において、頂点検出部３０２は、エッジ処理により得られた輪郭画素を、最小二乗法により一次式で近似することで、左側エッジを示す延長線７０１と右側エッジを示す延長線７０２とを求める。
【００７２】
ステップＳ９０４において、頂点検出部３０２は、ステップＳ９０３において求めた左側エッジを示す延長線７０１と右側エッジを示す延長線７０２との交点７１０の画像７００におけるｘ座標を算出する。ステップＳ９０５において、指示座標算出部３２０は、算出された交点７１０の画像７００におけるｘ座標から、基準方向に対する旋回角度αを算出する。
【００７３】
同様に、ステップＳ９１１において、画像取得部３１１は、２次元画像センサ部１０３ｂにおいて撮影された撮影画像６０１ｂより発光部４２１を含む画像８００を抽出する。ステップＳ９１２において、頂点検出部３１２は、抽出した発光部４２１を含む画像８００に対して、エッジ処理を行う。
【００７４】
ステップＳ９１３において、エッジ処理により得られた輪郭画素を、最小二乗法により一次式で近似することで、左側エッジを示す延長線８０１と右側エッジを示す延長線８０２とを求める。
【００７５】
ステップＳ９１４において、頂点検出部３１２は、ステップＳ９１３において求めた左側エッジを示す延長線８０１と右側エッジを示す延長線８０２との交点８１０の画像８００におけるｘ座標を算出する。ステップＳ９１５において、指示座標算出部３２０は、算出された交点８１０の画像８００におけるｘ座標から、基準方向に対する旋回角度βを算出する。
【００７６】
ステップＳ９２１において、指示座標算出部３２０は、旋回角度αと旋回角度βとを式３及び式４に代入することで、頂点４２２の、座標入力装置１０１の入力面におけるＸ座標及びＹ座標（指示具１１０により指示された座標）を算出する。ステップＳ９２２において、指示座標出力部３２１は、算出したＸ座標及びＹ座標を出力する。
【００７７】
以上の処理を、２次元画像センサ部１０３ａ、１０３ｂによる撮影が終了するまで、各撮影画像について繰り返す。これにより、例えば、指示具１１０を用いて手書き入力された内容を、座標入力装置１０１にリアルタイムに表示することができる。
【００７８】
＜座標検出システムのロバスト性＞
次に、本実施形態に係る座標検出システム１００のロバスト性について説明する。上述したように、頂点４２２の入力面における座標（旋回角度α、βに基づいて算出する座標）を算出するにあたっては、画像７００、８００において、交点７１０、８１０それぞれを、外乱によらずに確実に抽出することが重要となってくる。
【００７９】
ここで、上記指示座標算出処理（図９）においては、交点７１０、８１０を算出するにあたり、左側エッジを示す延長線７０１、８０１と右側エッジを示す延長線７０２、８０２とを算出する。上述したように、左側エッジを示す延長線７０１、８０１と左側エッジを示す延長線７０２、８０２は、それぞれ、エッジ処理により検出された輪郭画素を最小二乗法を用いて一次式で近似することにより求められる。
【００８０】
つまり、エッジ処理により輪郭画素を検出することができれば（少なくとも２点以上の輪郭画素を検出することができれば）、左側エッジを示す延長線と右側エッジを示す延長線とを算出することができる。このため、例えば、図１０（ａ）に示すように、指示具１１０が、２次元画像センサ部１０３ａの近傍にあることで、ピントが合わず、撮影画像６０１ａがボケた画像になっていた場合であっても、エッジ処理を行うことで輪郭画素を検出することができる。そして、左側エッジを示す延長線及び右側エッジを示す延長線を求めることで、頂点４２２の入力面における座標を算出することができる。
【００８１】
あるいは、図１０（ｂ）に示すように、先端部４２０の一部が、ユーザの手などにより覆われていた場合であっても、覆われていない領域に基づいて、左側エッジを示す延長線７０１、８０１と右側エッジを示す延長線７０２、８０２とを算出することができる。つまり、頂点４２２の入力面における座標を算出することができる。
【００８２】
この結果、ユーザは、入力面に手書き文字等の入力を行う際に、２次元画像センサ部から離れた領域に行うといった配慮をする必要がなくなり、入力面の任意の位置に入力を行うことができるようになる。また、指示具１１０を把持する際に、発光部４２１を遮ることがないよう考慮する必要もなくなり、自然な把持方法により把持することができるようになる。
【００８３】
このように、本実施形態に係る座標検出システム１００は、座標検出システム１００において生じえる外乱に対してロバストであるため、ユーザにとっての操作性がよい。
【００８４】
＜まとめ＞
以上の説明から明らかなように、本実施形態に係る座標検出システムでは、
・指示具の先端部を円錐形状に構成し、発光部を設ける構成とした。
・指示具の先端部の頂点座標を算出するための構成として、２次元画像センサ部を少なくとも２台配する構成とした。
・２次元画像センサ部によりそれぞれ撮影された撮影画像より、発光部を含む画像を抽出し、エッジ処理を行うことで輪郭画素を検出し、左側エッジを示す延長線と右側エッジを示す延長線とを算出する構成とした。
・２次元画像センサ部によりそれぞれ撮影された撮影画像より、左側エッジを示す延長線と右側エッジを示す延長線との交点のｘ座標を算出し、当該ｘ座標に基づいて当該交点の基準方向からの旋回角度を算出する構成とした。
・算出した旋回角度に基づいて、座標入力装置の入力面における、指示具の先端部の頂点座標（指示具により指示された座標）を算出する構成とした。
【００８５】
これにより、外乱に対してロバストな座標検出システムを実現することが可能となる。この結果、座標検出システムにおいて、指示具の操作性を改善することが可能となる。
【００８６】
［第２の実施形態］
上記第１の実施形態では、指示具の先端部を円錐形状にし、先端側に発光部を配する構成としたが、本発明はこれに限定されない。左側エッジを示す延長線と右側エッジを示す延長線とに基づいて交点を算出できさえすれば、指示具の先端部は他の構成であってもよい。そこで、本実施形態では、発光部を指示具の先端部の中腹に配し、発光部を円錐台形状に形成することとする。以下、本実施形態の詳細について説明する。
【００８７】
＜指示具の構成＞
図１１は、指示具１１００の構成を示す図である。なお、図１１に示す指示具１１００の構成のうち、図４に示す指示具１１０と同様の構成については、同じ参照番号を付すこととし、ここでは説明を省略する。
【００８８】
図４との相違点は、発光部１１２１である。図１１に示すように、本実施形態においては、円錐形状の先端部１１２０において、発光部１１２１を、先端側ではなく、中腹位置に配する構成としている。このため、発光部１１２１は、円錐台形状を有している。
【００８９】
つまり、発光部１１２１は、円錐形状を有する先端部１１２０の一部を構成しており、その側面の傾斜により、先端部１１２０の頂点４２２の位置を特定できるように構成されている。
【００９０】
＜発光部についての画像処理＞
次に、撮影画像６０１ａ、６０１ｂそれぞれから抽出される、指示具１１００の発光部１１２１を含む画像に対して画像処理を行い、先端部１１２０の頂点４２２の入力面における座標を算出するための旋回角度を求める処理について説明する。図１２は、撮影画像６０１ａから抽出された、指示具１１００の発光部１１２１を含む画像１２００に対する画像処理を説明するための図であり、横軸をｘ座標、縦軸をｙ座標としている。
【００９１】
図１２（ａ）に示すように、２次元画像センサ部１０３ａにより撮影されることで、円錐台形状の発光部１１２１は、画像１２００上において台形の画素領域１２２１として描画される。そして、当該発光部１１２１は、発光部１１２１以外の部分よりも、周辺領域の画像との濃度差が大きい。
【００９２】
そこで、画像１２００において、発光部１１２１を示す台形の画素領域１２２１に対してエッジ処理を行うことで、輪郭画素を検出する。更に、検出した各輪郭画素を、最小二乗法により一次式で近似する。これにより、画像１２００上において、発光部４２１を示す台形の画素領域１２２１のエッジ部分を示す線を算出することができる。
【００９３】
図１２（ａ）において、線１２０１は、発光部１１２１を示す台形の画素領域１２２１の左側斜辺の輪郭画素を検出し、当該輪郭画素を最小二乗法により近似した一次式（左側エッジを示す延長線）である。
【００９４】
また、図１２（ｂ）において、線１２０２は、発光部１１２１を示す台形の画素領域１２２１の右側斜辺を抽出し、当該輪郭画素を最小二乗法により近似した一次式（右側エッジを示す延長線）である。
【００９５】
更に、図１２（ｃ）は、画像１２００より得られた左側エッジを示す延長線１２０１と、右側エッジを示す延長線１２０２との交点１２１０を算出した様子を示している。交点１２１０は、指示具１１００の先端部１１２０の頂点４２２を示すこととなる。
【００９６】
ここで、２次元画像センサ部１０３ａの設置方向に基づいて、画像１２００上のｘ軸方向の各位置と、基準方向に対する旋回角度との関係は予め設定されているものとする。これにより、画像１２００における交点１２１０のｘ座標を算出することで、指示具１１００の先端部１１２０の頂点４２２の基準方向からの旋回角度αを求めることができる。
【００９７】
同様に、図１３は、撮影画像６０１ｂから抽出された、指示具１１００の発光部１１２１を含む画像１３００に対する画像処理を説明するための図であり、横軸をｘ座標、縦軸をｙ座標としている。
【００９８】
図１３（ａ）に示すように、２次元画像センサ部１０３ｂにより撮影されることで、円錐台形状の発光部１１２１は、画像１３００上において台形の画素領域１３２１として描画される。そして、当該発光部１１２１は、発光部１１２１以外の部分よりも、周辺領域の画像との濃度差が大きい。
【００９９】
そこで、画像１３００において、発光部１１２１を示す台形の画素領域１３２１に対してエッジ処理を行うことで、輪郭画素を検出する。更に、検出した各輪郭画素を、最小二乗法により一次式で近似する。これにより、画像１３００上において、発光部１１２１を示す台形のエッジを示す線を算出することができる。
【０１００】
図１３（ａ）において、線１３０１は、発光部１１２１を示す台形の画素領域１３２１の左側斜辺の輪郭画素を検出し、当該輪郭画素を最小二乗法により近似した一次式（左側エッジを示す延長線）である。
【０１０１】
また、図１３（ｂ）において、線１３０２は、発光部１１２１を示す台形の画素領域１３２１の右側斜辺の輪郭画素を検出し、当該輪郭画素を最小二乗法により近似した一次式（右側エッジを示す延長線）である。
【０１０２】
図１３（ｃ）は、画像１３００より得られた左側エッジを示す延長線１３０１と、右側エッジを示す延長線１３０２との交点１３１０を算出した様子を示している。交点１３１０は、指示具１１００の先端部１１２０の頂点４２２を示すこととなる。
【０１０３】
ここで、２次元画像センサ部１０３ｂの設置方向に基づいて、画像１３００上のｘ軸方向の各位置と、基準方向に対する旋回角度との関係は予め設定されているものとする。これにより、画像１３００における交点１３１０のｘ座標を算出することで、指示具１１００の先端部１１２０の頂点４２２の基準方向からの旋回角度βを求めることができる。
【０１０４】
＜まとめ＞
以上の説明から明らかなように、本実施形態に係る座標検出システムでは、
・指示具の先端部を円錐形状に構成し、中腹位置に発光部を設ける構成とした。
・指示具の先端部の頂点座標を算出するための構成として、２次元画像センサ部を少なくとも２台配する構成とした。
・２次元画像センサ部によりそれぞれ撮影された撮影画像より発光部を含む画像を抽出し、エッジ処理を行うことで輪郭画素を検出し、左側エッジを示す延長線と右側エッジを示す延長線とを算出する構成とした。
・２次元画像センサ部によりそれぞれ撮影された撮影画像より、左側エッジを示す延長線と右側エッジを示す延長線との交点のｘ座標を算出し、当該ｘ座標に基づいて当該交点の基準方向からの旋回角度を算出する構成とした。
・算出した旋回角度に基づいて、座標入力装置の入力面における指示具の先端部の頂点座標を算出する構成とした。
【０１０５】
これにより、外乱に対してロバストな座標検出システムを実現することが可能となる。この結果、座標検出システムにおいて、指示具の操作性を改善することが可能となる。
【０１０６】
なお、上記説明から明らかなように、指示具１１００の先端部１１２０の頂点４２２が２次元画像センサ部１０３ａ、１０３ｂの画角外であったとしても、本実施形態によれば、頂点座標を算出することができる。
【０１０７】
［第３の実施形態］
上記第１の実施形態では、指示具の先端部を円錐形状にする構成としたが、本発明はこれに限定されない。例えば、図１４（ａ）に示すように、指示具１４００の先端部１４２０を円錐台形状に構成したうえで発光部１１２１を配するように構成してもよい。更に、円錐台形状の発光部１１２１の側面の傾斜を示す斜辺１４１１の延長線と斜辺１４１２の延長線とが交わる位置に、先端部１４２０の頂点１４２２が配置されるように構成してもよい。つまり、発光部１１２１の側面の傾斜により、先端部１４２０の頂点１４２２の位置を特定できるように構成してもよい。
【０１０８】
これにより、上記第１の実施形態と同様の指示座標算出処理を実行することで、頂点４２２の座標を算出することが可能となる。つまり、上記第１の実施形態と同様の効果を享受することができる。
【０１０９】
なお、頂点１４２２は、更に、入力面との接触に伴う磨耗を防ぐため、保護部材が取り付けられる構成であってもよい。この場合、保護部材が取り付けられた状態での頂点が、円錐台形状の斜辺１４１１の延長線と斜辺１４１２の延長線とが交わる位置になるように構成されるものとする。
【０１１０】
また、上記第１の実施形態では、指示具の先端部に発光部を１つのみ設ける構成としたが、本発明はこれに限定されず、発光部を長軸方向に２つ以上設ける構成としてもよい。
【０１１１】
図１４（ｂ）は、指示具１４３０の先端部１４４０を円錐形状に構成した上で、先端部の長軸方向２箇所に発光部１４４１、１４４２を設けた場合を示している。図１４（ｂ）の場合も、撮影画像より左側エッジを示す延長線及び右側エッジを示す延長線を算出することができるため、同様の処理により、頂点４２２の座標を算出することができる。
【０１１２】
［第４の実施形態］
上記各実施形態では、指示具の先端部に発光部を設ける構成としたが、本発明はこれに限定されない。指示具の先端部のうち、指示具の頂点の位置を特定するための円錐形状または円錐台形状が、撮影画像内において識別できる構成であれば、発光部に限定されない。例えば、当該円錐形状または円錐台形状の部分に、所定の色の塗料を塗布するようにしてもよいし、当該円錐形状または円錐台形状の部分を、所定の材料により構成するようにしてもよい。
【０１１３】
［第５の実施形態］
上記各実施形態では、指示具の先端部と入力面とが接触したか否かの判定方法について特に言及しなかったが、例えば、指示具の先端部と入力面とが接触したか否かの判定は、撮影画像において算出した交点のｙ座標に基づいて判定するように構成してもよい。
【０１１４】
具体的には、画像７００等より算出された交点のｙ座標が入力面を示す値（例えば、ゼロ）と等しくなり、かつ、画像８００等より算出された交点のｙ座標が入力面を示す値（例えば、ゼロ）と等しくなった場合に、指示具の先端部と入力面とが接触したと判定する。
【０１１５】
あるいは、画像７００等より算出された交点のｙ座標または画像８００等より算出された交点のｙ座標のいずれか一方が、入力面を示す値（例えば、ゼロ）と等しくなった場合に、指示具の先端部と入力面とが接触したと判定する。
【０１１６】
［第６の実施形態］
上記各実施形態では、指示具の先端部の頂点が入力面と接触する場合について説明したが、本発明はこれに限定されない。例えば、指示具の先端部が半球体形状を有していた場合、先端部の頂点からずれた位置において入力面と接触することとなる。この場合、上記各実施形態の指示座標算出処理によれば、実際に指示具の先端部が接触している位置ではなく、先端部の頂点の位置において手書き入力された内容が表示されることとなる。
【０１１７】
これは、上記各実施形態の指示座標算出処理の場合、先端部の頂点の座標が指示された座標（指示座標）として認識されるためである。なお、このように接触位置と指示位置とにずれが生じた場合、ユーザは手書き入力時に違和感を感じることになる。
【０１１８】
そこで、第６の実施形態では、指示具の先端部が半球体形状を有していた場合に生じる、接触位置と指示位置とのずれを低減させる構成について説明する。
【０１１９】
＜指示具の構成＞
はじめに、第６の実施形態に係る指示具の構成について説明する。図１５は、第６の実施形態に係る指示具１５００の構成を示す図である。図１５に示すように、指示具１５００は、先端部１５２０が半球体形状を有した発光部１５２１により構成されている。
【０１２０】
＜情報処理装置の機能構成＞
次に、指示具１５００を用いて入力面に対して指示が行われる場合の、コンピュータ（情報処理装置）１０２の機能構成について説明する。図１６は、情報処理装置１０２において実現される機能を示す機能構成図である。
【０１２１】
なお、図１６に示す機能構成図のうち、図３に示す機能構成図に含まれる構成要素と同じ構成要素については同じ参照番号を付し、ここでは説明を省略する。図３との相違点は、重心検出部１６０１、１６１１、指示座標算出部１６２０である。
【０１２２】
重心検出部１６０１、１６１１は、それぞれ、画像取得部３０１、３１１において取得された撮影画像より、指示具１５００の先端部の半球体形状を示す画素領域の重心を検出する。
【０１２３】
指示座標算出部１６２０は、撮影画像より検出された指示具１５００の先端部の半球体形状を示す画素領域の重心の位置に基づいて、座標入力装置１０１の入力面において指示具１１０により指示された座標を算出する。
【０１２４】
＜発光部についての画像処理＞
次に、撮影画像６０１ａ、６０１ｂそれぞれから抽出された、指示具１５００の発光部１５２１を含む画像に対して行われる画像処理について説明する。図１７は、撮影画像６０１ａから抽出された、指示具１５００の発光部１５２１を含む画像１７００に対する画像処理を説明するための図である。
【０１２５】
図１７（ａ）に示すように、２次元画像センサ部１０３ａにより撮影されることで、半球体形状を有する発光部１５２１は、画像１７００上において半円形の画素領域１７０１として描画される。
【０１２６】
重心検出部１６０１では、画像１７００において、当該半円形の画素領域１７０１に対して重心１７０２の座標を算出する。なお、重心１７０２の座標Ｇは、半円形の画素領域１７０１を構成する各画素の座標を用いて、下式（式５）により算出することができる。
【０１２７】
【数１】
2015149062.tif 000003
ここで、Ｐｉｊは、半円形の画素領域１７０１を構成する各画素の座標を表し、Ωは所定の輝度閾値以上の輝度値を有する画素からなる画素領域１７０１を表すものとする。つまり、重心１７０２の座標Ｇは、半円形の画素領域１７０１に含まれる各画素の座標の平均値に基づいて求めることができる。
【０１２８】
また、重心１７０２の座標Ｇは、半円形の画素領域１７０１を構成する各画素の座標と、各画素の輝度値とを用いて、下式（式６）により算出することもできる。
【０１２９】
【数２】
2015149062.tif 000004
ここで、Ｂｉｊは、半円形の画素領域１７０１に含まれる各画素の輝度値を表し、Ｔｈは輝度閾値を表すものとする。つまり、重心１７０２の座標Ｇは、半円形の画素領域１７０１に含まれる各画素の輝度値から所定の輝度閾値を減算することで得られる値と、半円形の画素領域１７０１に含まれる各画素の座標との積の平均値に基づいて求めることができる。
【０１３０】
ここで、図１７（ａ）に示すように、指示具１５００の中心線１７０４がｘ軸に対して直交している場合（つまり、指示具１５００が入力面に対して直角に把持されている場合）、発光部１５２１の頂点が入力面に接触することとなる。このため、発光部１５２１と入力面との接触位置のｘ座標と、画素領域１７０１の頂点１７０３のｘ座標と、画素領域１７０１の重心１７０２のｘ座標とは一致する。
【０１３１】
これに対して、図１７（ｂ）に示すように、指示具１５００の中心線１７０４がｘ軸に対して角度θを有している場合（つまり、指示具１５００が入力面に対して斜めに把持されている場合）、発光部１５２１と入力面とは、位置１７０５において接触する。この場合、画素領域１７０１の頂点１７０３のｘ座標と、位置１７０５のｘ座標との間の距離ｄは、画素領域１７０１の半径をｒとすると、ｄ＝ｒ×ｓｉｎθとなる。このため、仮に、画素領域１７０１の頂点１７０３のｘ座標に基づいて指示座標を算出した場合、実際の接触位置との間には、距離ｄ＝ｒ×ｓｉｎθの誤差が含まれることとなる。
【０１３２】
一方、画素領域１７０１の重心１７０２のｘ座標と、位置１７０５のｘ座標との間の距離ｄは、ｄ＝（４×ｒ×ｓｉｎθ）／（３×π）となる。このため、発光部１５２１の重心１７０２のｘ座標に基づいて指示座標を算出した場合、実際の接触位置との間には、距離ｄ＝（４×ｒ×ｓｉｎθ）／（３×π）の誤差が含まれるだけとなる。
【０１３３】
つまり、画素領域１７０１の頂点１７０３のｘ座標に基づいて指示座標を算出する場合と比較して、画素領域１７０１の重心１７０２のｘ座標に基づいて指示座標を算出する場合の方が、実際の接触位置との間の誤差を低減させることができる。
【０１３４】
このように、指示具１５００の先端部が半球体形状を有していた場合には、画像１７００上において描画された半円形の画素領域の重心１７０２のｘ座標を算出し、当該座標に基づいて指示座標を算出することで、手書き入力時の違和感を軽減させることができる。
【０１３５】
そこで、本実施形態では、重心検出部１６０１が上式（式５または式６）に基づいて重心１７０２のｘ座標を算出する。そして、指示座標算出部１６２０が、算出された重心１７０２のｘ座標に基づいて、旋回角度αを求める。なお、本実施形態においても、２次元画像センサ部１０３ａの設置方向に基づいて、画像１７００上のｘ軸方向の各位置と、基準方向に対する旋回角度との関係は予め設定されているものとする。
【０１３６】
同様に、図１８は、撮影画像６０１ｂから抽出された、指示具１５００の発光部１５２１を含む画像１８００に対する画像処理を説明するための図である。図１８に示すように、２次元画像センサ部１０３ｂにより撮影されることで、半球体形状を有する発光部１５２１は、画像１８００上において半円形の画素領域１８０１として描画される。
【０１３７】
そこで、重心検出部１６１１では、上式（式５または式６）を用いて、画素領域１８０１の重心１８０２のｘ座標を算出する。そして、指示座標算出部１６２０では、算出された重心１８０２のｘ座標に基づいて、旋回角度βを求める。なお、ここでも２次元画像センサ部１０３ｂの設置方向に基づいて、画像１８００上のｘ軸方向の各位置と、基準方向に対する旋回角度との関係は予め設定されているものとする。
【０１３８】
＜座標検出システムのロバスト性＞
続いて、画素領域の重心のｘ座標に基づいて指示座標を求める座標検出システムのロバスト性について説明する。半円形の画素領域の重心のｘ座標に基づいて指示座標を算出する方法の場合、例えば、入力面に発光部１５２１の光が反射し、撮影画像６０１ａ、６０１ｂから抽出された画像に発光部１５２１の鏡像が写っていた場合においても有効である。
【０１３９】
図１９は、画像１７００に発光部１５２１の鏡像が写っている様子を示す図である。発光部１５２１を示す半円形の画素領域１７０１の重心１７０２と、発光部１５２１の鏡像を示す半円形の画素領域１９０１の重心１９０２とは、ｘ座標が同じになる。このため、発光部１５２１を示す半円形の画素領域１７０１と発光部１５２１の鏡像を示す半円形の画素領域１９０１とを合わせた場合の重心１９１０も同じｘ座標となる。
【０１４０】
したがって、画像１７００に鏡像が写っていた場合であっても、重心１９１０のｘ座標に基づいて指示座標を算出した場合、実際の接触位置との誤差は、依然として距離ｄ＝（４×ｒ×ｓｉｎθ）／（３×π）に抑えることができる。
【０１４１】
＜指示座標算出処理の流れ＞
次に、座標検出システム１００における指示座標算出処理の流れについて説明する。図２０は、座標検出システム１００における指示座標算出処理の流れを示すフローチャートである。２次元画像センサ部１０３ａ、１０３ｂによる撮影が開始されると、図２０に示す指示座標算出処理が実行される。
【０１４２】
ステップＳ９０１において、画像取得部３０１は、２次元画像センサ部１０３ａにおいて撮影された撮影画像６０１ａより発光部１５２１を含む画像１７００を抽出する。ステップＳ２００２において、重心検出部１６０１は、抽出した発光部１５２１を含む画像１７００において、輝度値が所定の輝度閾値以上の画素（発光画素と称す）を抽出する。
【０１４３】
同様に、ステップＳ９１１において、画像取得部３１１は、２次元画像センサ部１０３ｂにおいて撮影された撮影画像６０１ｂより発光部１５２１を含む画像１８００を抽出する。ステップＳ２０１２において、重心検出部１６１１は、抽出した発光部１５２１を含む画像１８００において、発光画素を抽出する。
【０１４４】
ステップＳ２００３において、重心検出部１６０１及び重心検出部１６１１は、発光画素の数がそれぞれ画素閾値以上であるか否かを判定する。ステップＳ２００３において、いずれかの発光画素の数が画素閾値以上でないと判定された場合には、ステップＳ９０１及びステップＳ９１１に戻る。一方、ステップＳ２００３において、いずれの発光画素の数も画素閾値以上であると判定された場合には、ステップＳ２００４及びステップＳ２０１４に進む。
【０１４５】
ステップＳ２００４において、重心検出部１６０１は、画像１７００より抽出した各発光画素の座標及び各発光画素の輝度値を取得する。ステップＳ２００５において、重心検出部１６０１は、ステップＳ２００４において取得した座標（及び輝度値）を用いて重心の位置を算出し、重心のｘ座標を取得する。
【０１４６】
ステップＳ２００６において、指示座標算出部１６２０は、ステップＳ２００５において取得した重心のｘ座標に基づいて、基準方向に対する重心の旋回角度αを算出する。
【０１４７】
同様に、ステップＳ２０１４において、重心検出部１６１１は、画像１８００より抽出した各発光画素の座標及び各発光画素の輝度値を取得する。ステップＳ２０１５において、重心検出部１６１１は、ステップＳ２０１４において取得した座標（及び輝度値）を用いて重心の位置を算出し、重心のｘ座標を取得する。
【０１４８】
ステップＳ２０１６において、指示座標算出部１６２０は、ステップＳ２０１５において取得した重心のｘ座標に基づいて、基準方向に対する重心の旋回角度βを算出する。
【０１４９】
ステップＳ９２１及びステップＳ９２２における処理は、図９のステップＳ９２１及びステップＳ９２２における処理と同様であるため、ここでは説明を省略する。
【０１５０】
＜まとめ＞
以上の説明から明らかなように、本実施形態に係る座標検出システムでは、
・指示具の先端部を半球体形状の発光部により構成した。
・２次元画像センサ部によりそれぞれ撮影された撮影画像より、発光部を示す半円形の画素領域の重心のｘ座標を算出し、当該ｘ座標に基づいて重心の基準方向からの旋回角度を算出する構成とした。
・算出した旋回角度に基づいて、座標入力装置の入力面における、指示具の先端部の接触位置の座標を算出する構成とした。
【０１５１】
これにより、指示具の先端部を半球体形状の発光部により構成した場合であっても、接触位置と指示位置とのずれを低減し、ユーザによる手書き入力時の違和感を軽減させることが可能となる。
【０１５２】
なお、指示具の先端部を半球体形状にした場合、入力面と接触している領域において力が分散するため、接触摩耗に対する耐久性が向上するといった利点がある。また、ユーザが把持した際の安全性が向上するといった利点もある。
【０１５３】
［第７の実施形態］
上記第１乃至第６の実施形態では、発光回路４１１のＯＮ／ＯＦＦの制御方法について特に言及しなかったが、例えば、発光回路４１１は、指示具の先端部と座標入力装置の入力面との接触・非接触に基づいて、ＯＮ／ＯＦＦを制御するようにしてもよい。
【０１５４】
具体的には、指示具の先端部が座標入力装置の入力面と接触することで、指示具の先端部が押圧された場合に、これを検知する圧力センサを配し、圧力センサの出力に基づいて発光回路４１１のＯＮ／ＯＦＦを制御するようにしてもよい。
【０１５５】
また、上記第１乃至第６の実施形態では、指示具の先端部に設けられた発光部の構成について特に言及しなかったが、例えば、発光部は、ＬＥＤ（Light Emitting Diode）の周囲を光拡散部材により覆う構成としてもよい。
【０１５６】
図２１は、発光回路４１１のＯＮ／ＯＦＦ制御機能と発光部の構成とを明示した指示具２１００の構成を示す図である。なお、図２１は、先端部が半球体形状を有する指示具について図示しているが、先端部が円錐形状を有する指示具の場合も同様である。
【０１５７】
図２１に示すように、把持部４１０には、高分子圧膜フィルムで構成された圧力センサ２１０１と圧力伝達部材２１０２とが設けられている。これにより、指示具２１００の先端部１５２０が座標入力装置の入力面に接触することで押圧された場合に、圧力センサ２１０１では、圧力伝達部材２１０２を介して押圧力を検知することができる。発光回路４１１は、圧力センサ２１０１に検知された押圧力が所定値以上になるとＯＮ状態となり、所定値未満になるとＯＦＦ状態となる。これにより、ユーザは、発光回路４１１のＯＮ／ＯＦＦを制御するための操作を行うことなく、ＬＥＤ２１１１の点灯、消灯を制御することができる。
【０１５８】
また、図２１の例では、先端部１５２０の発光部１５２１が、砲弾型のＬＥＤ２１１１と、ＬＥＤ２１１１の周囲を覆う光拡散部材２１１２とにより構成されている。この結果、発光部１５２１全体を均一に発光させることが可能となり、重心の座標を精度よく算出することができるようになる。
【０１５９】
［第８の実施形態］
上記各実施形態では、座標検出システム１００として、座標入力装置１０１と、コンピュータ（情報処理装置）１０２と、２次元画像センサ部１０３ａ〜１０３ｄと、周辺発光部１０４ａ〜１０４ｄとが１つの装置として構成される場合について説明した。
【０１６０】
しかしながら、本発明はこれに限定されず、座標入力装置１０１、コンピュータ（情報処理装置）１０２、２次元画像センサ部１０３ａ〜１０３ｄ、周辺発光部１０４ａ〜１０４ｄのうちのいずれか１つまたは複数が、別体として構成されてもよい。
【０１６１】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１６２】
１００              ：座標検出システム
１０１              ：座標入力装置
１０２              ：コンピュータ（情報処理装置）
１０３ａ〜１０３ｄ  ：２次元画像センサ部
１０４ａ〜１０４ｄ  ：周辺発光部
１１０              ：指示具
１２０              ：端末装置
４１０              ：把持部
４１１              ：発光回路
４２０              ：先端部
４２１              ：発光部
４２２              ：頂点
４２３              ：横断面の円
６０１ａ、ｂ        ：撮影画像
７０１              ：左側エッジを示す延長線
７０２              ：右側エッジを示す延長線
７１０              ：交点
８０１              ：左側エッジを示す延長線
８０２              ：右側エッジを示す延長線
８１０              ：交点
１１００            ：指示具
１１２０            ：先端部
１１２１            ：発光部
１２０１            ：左側エッジを示す延長線
１２０２            ：右側エッジを示す延長線
１２１０            ：交点
１３０１            ：左側エッジを示す延長線
１３０２            ：右側エッジを示す延長線
１３１０            ：交点
１４００            ：指示具
１４２０            ：先端部
１４１１、１４１２  ：延長線
１４２２            ：頂点
１４３０            ：指示具
１４４０            ：先端部
１４４１、１４４２  ：発光部
１５００            ：指示具
１５２０            ：先端部
１５２１            ：発光部
１７０２            ：重心
１８０２            ：重心
１９１０            ：重心
２１０１            ：圧力センサ
２１１１            ：ＬＥＤ
２１１２            ：光拡散部材
【先行技術文献】
【特許文献】
【０１６３】
【特許文献１】特開２００４−３８５２８号公報
【図１】
2015149062.tif 000005
【図２】
2015149062.tif 000006
【図３】
2015149062.tif 000007
【図４】
2015149062.tif 000008
【図５】
2015149062.tif 000009
【図６】
2015149062.tif 000010
【図７】
2015149062.tif 000011
【図８】
2015149062.tif 000012
【図９】
2015149062.tif 000013
【図１０】
2015149062.tif 000014
【図１１】
2015149062.tif 000015
【図１２】
2015149062.tif 000016
【図１３】
2015149062.tif 000017
【図１４】
2015149062.tif 000018
【図１５】
2015149062.tif 000019
【図１６】
2015149062.tif 000020
【図１７】
2015149062.tif 000021
【図１８】
2015149062.tif 000022
【図１９】
2015149062.tif 000023
【図２０】
2015149062.tif 000024
【図２１】
2015149062.tif 000025