(57)【要約】【課題】  座標検出システムにおいて、指示具の先端部の座標を精度よく算出する。【解決手段】  盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムであって、前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具の複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する中心位置算出部１１０３ａ〜１１０４ｂと、前記撮像部のレンズ歪み特性に基づいて、中心位置算出部１１０３ａ〜１１０４ｂにより算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する先端座標算出部１１０９とを有する。【選択図】図１１
2015158827.tif 000002
【特許請求の範囲】
【請求項１】
盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムであって、
前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段と
を有することを特徴とする座標検出システム。
【請求項２】
前記撮像部のレンズ歪み特性に基づいて、前記第１の算出手段により算出された各領域の中心位置を補正する補正手段を更に有することを特徴とする請求項１に記載の座標検出システム。
【請求項３】
前記第１の算出手段は、前記領域における重心位置を、前記中心位置として算出することを特徴とする請求項１または２に記載の座標検出システム。
【請求項４】
前記第２の算出手段は、
前記補正手段により補正された各領域の中心位置に基づいて特定される、前記撮像部のセンサ上の画素の３次元座標空間における座標と、
前記撮像部の主点の前記３次元座標空間における座標と、
を含む平面を算出し、該算出した平面に基づいて、前記指示具の先端部の位置を算出することを特徴とする請求項２に記載の座標検出システム。
【請求項５】
前記指示具の複数の円環状の部材は、所定の軸に直交して配され、かつ、当該所定の軸と、当該複数の円環状の部材の各中心点とが一致するように配されていることを特徴とする請求項１乃至４のいずれか１項に記載の座標検出システム。
【請求項６】
盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムにおける座標検出方法であって、
前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出工程と、
前記第１の算出工程において算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出工程と
を有することを特徴とする座標検出方法。
【請求項７】
前記撮像部のレンズ歪み特性に基づいて、前記第１の算出工程において算出された各領域の中心位置を補正する補正工程を更に有することを特徴とする請求項６に記載の座標検出方法。
【請求項８】
前記第１の算出工程は、前記領域における画素の重心位置を、前記中心位置として算出することを特徴とする請求項６または７に記載の座標検出方法。
【請求項９】
前記第２の算出工程は、
前記補正工程において補正された各領域の中心位置に基づいて特定される、前記撮像部のセンサ上の画素の３次元座標空間における座標と、
前記撮像部の主点の前記３次元座標空間における座標と、
を含む平面を算出し、該算出した平面に基づいて、前記指示具の先端部の位置を算出することを特徴とする請求項７に記載の座標検出方法。
【請求項１０】
指示具により指示動作が行われる盤面を有する座標入力装置を制御する情報処理装置であって、
前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段と
を有することを特徴とする情報処理装置。
【請求項１１】
前記撮像部のレンズ歪み特性に基づいて、前記第１の算出手段により算出された各領域の中心位置を補正する補正手段を更に有することを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記第１の算出手段は、前記領域における画素の重心位置を、前記中心位置として算出することを特徴とする請求項１０または１１に記載の情報処理装置。
【請求項１３】
前記第２の算出手段は、
前記補正手段により補正された各領域の中心位置に基づいて特定される、前記撮像部のセンサ上の画素の３次元座標空間における座標と、
前記撮像部の主点の前記３次元座標空間における座標と、
を含む平面を算出し、該算出した平面に基づいて、前記指示具の先端部の位置を算出することを特徴とする請求項１１に記載の情報処理装置。
【請求項１４】
指示具により指示動作が行われる盤面を有する座標入力装置を制御する情報処理装置を、
前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具の複数の円環状の部材を示す各領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は座標検出システム、情報処理装置、座標検出方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、電子ペン等の指示具により指示された座標を検出し、手書き文字等の表示を行う座標検出システムとして、光学式の座標検出システムが知られている（例えば、特許文献１、２等参照）。
【０００３】
光学式の座標検出システムの場合、指示具からの光を、異なる位置に配置された複数の撮像部を用いて撮影し、三角測量の原理を利用して指示具の先端部の座標を算出する。
【０００４】
このため、複数の撮像部それぞれが、指示具からの光を確実に撮影できるよう、指示具の発光部材（あるいは反射部材）は、指示具の周方向に円環状に形成されていることが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、指示具の発光部材（あるいは反射部材）を周方向に円環状に形成した場合、撮像部により撮影された撮影画像には、指示具からの光が、一定の面積を有する光領域として描画されることとなる。
【０００６】
ここで、指示具の先端部の座標を精度よく算出するためには、当該光領域から、指示具の中心軸に対応する画素を精度よく抽出することが必要であるが、光領域の中心位置と、指示具の中心軸とは必ずしも一致しない。このため、光領域の中心位置に基づいて、指示具の先端部の座標を算出する構成とした場合、誤差の発生は不可避となる。
【０００７】
本発明上記課題に鑑みてなされたものであり、座標検出システムにおいて、指示具の先端部の座標を精度よく算出することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態に係る座標検出システムは、以下のような構成を有する。すなわち、
盤面に対して指示動作を行う指示具により指示された座標を検出する座標検出システムであって、
前記盤面の所定位置に配された撮像部において撮影された撮影画像より、前記指示具に設けられた複数の円環状の部材を示す領域を抽出し、該抽出した各領域の中心位置を算出する第１の算出手段と、
前記第１の算出手段により算出された各領域の中心位置と、前記撮像部の主点の位置とに基づいて、前記盤面における前記指示具の先端部の位置を算出する第２の算出手段とを有する。
【発明の効果】
【０００９】
本発明の各実施形態によれば、座標検出システムにおいて、指示具の先端部の座標を精度よく算出することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る座標検出システムのシステム構成の一例を示す図である。
【図２】座標検出システムのハードウェア構成を示す図である。
【図３】指示具の構成を示す図である。
【図４】指示具の頂点の座標を算出する算出手順を示す図である。
【図５】ＣＭＯＳイメージセンサの配置を示す図である。
【図６】交線に基づいて指示具の頂点の座標を算出する方法を説明するための図である。
【図７】撮像部の内部構成を示す図である。
【図８】レンズ歪みがない場合の中心点に対応するＣＭＯＳイメージセンサ上の素子の座標を示す図である。
【図９】レンズ歪みがある場合の中心点に対応するＣＭＯＳイメージセンサ上の素子の座標を示す図である。
【図１０】中心点に対応するＣＭＯＳイメージセンサ上の素子の座標の算出方法を説明するための図である。
【図１１】座標検出プログラムの機能構成の一例を示す図である。
【図１２】撮影画像に描画された発光領域を示す図である。
【図１３】中心点に対応する撮影画像上の画素を示す図である。
【図１４】座標検出プログラムの他の機能構成図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［第１の実施形態］
＜１．座標検出システムのシステム構成＞
はじめに、本実施形態に係る座標検出システムのシステム構成について説明する。図１は、本実施形態に係る座標検出システム１００のシステム構成の一例を示す図である。
【００１３】
図１に示すように、座標検出システム１００は、座標入力装置１０１と、コンピュータ（情報処理装置）１０２と、撮像部１０３ａ〜１０３ｄと、周辺発光部１０４ａ〜１０４ｄと、指示具１１０とを有する。また、座標検出システム１００のコンピュータ（情報処理装置）１０２には、端末装置１２０が接続される。
【００１４】
座標入力装置１０１は、端末装置１２０において生成された画像を表示したり、指示具１１０により座標入力装置１０１の盤面である入力面に対して指示動作を行うことで手書き入力された内容を表示する。
【００１５】
コンピュータ（情報処理装置）１０２は、端末装置１２０により送信された画像を座標入力装置１０１に表示するよう制御する。図１の例は、端末装置１２０の表示部１２１に表示された画像を表示した場合を示している。
【００１６】
また、コンピュータ１０２は、撮像部１０３ａ〜１０３ｄにおいて撮影された撮影画像に基づいて、座標入力装置１０１の入力面に対して指示具１１０により入力された指示（入力面と指示具１１０の先端部との接触位置）をリアルタイムに解析する。そして、時系列の座標を接続して線を作成し、手書き入力された内容として、座標入力装置１０１に表示するよう制御する。
【００１７】
図１の例では、入力面に対してユーザが三角形の形状に沿って指示具１１０を移動させる指示動作を行ったことで、コンピュータ１０２が、一連の座標を１つのストローク（三角形）として表示中の画像に重畳させた様子を示している。
【００１８】
このように、座標入力装置１０１がタッチパネル機能を有していなくても、本実施形態に係る座標検出システム１００では、指示具１１０の先端部を座標入力装置１０１に接触させるだけで、ユーザは様々な入力を行うことができる。
【００１９】
撮像部１０３ａ〜１０３ｄは、座標入力装置１０１の入力面全体を撮影するための装置であり、座標入力装置１０１の入力面の所定位置（本実施形態においては両端部位置）に配置される。なお、本実施形態では、撮像部１０３ａ、１０３ｂが、座標入力装置１０１の入力面の上半分を撮影し、撮像部１０３ｃ、１０３ｄが座標入力装置１０１の入力面の下半分を撮影するものとする。指示具１１０の先端部の接触位置の座標は、当該撮像部が、指示具１１０を撮影することにより得られた撮影画像に基づいて算出される。
【００２０】
周辺発光部１０４ａ〜１０４ｄは、座標入力装置１０１の周囲に配置され、座標入力装置１０１の入力面を照射する。なお、周辺発光部１０４ａ〜１０４ｄは、座標入力装置１０１に対して、着脱可能に取り付けられていてもよい。
【００２１】
＜２．座標検出システムのハードウェア構成＞
次に、座標検出システム１００のハードウェア構成について説明する。図２は、座標検出システム１００のハードウェア構成を説明するための図である。
【００２２】
図２において、コンピュータ１０２は、市販の情報処理装置又は座標検出システム用に開発された情報処理装置である。コンピュータ１０２は、アドレスバスやデータバス等のバスライン２１２を介して電気的に接続された、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＳＳＤ（Solid State Drive）２０４、ネットワークコントローラ２０５を有する。更に、外部記憶コントローラ２０６、センサコントローラ２０７、ＧＰＵ（Graphics Processing Unit）２０８、キャプチャデバイス２０９を有する。
【００２３】
ＣＰＵ２０１は、座標検出プログラム２２０を実行するとともに、座標検出システム１００の動作全体を制御する。ＲＯＭ２０２にはＩＰＬ（Initial Program Loader）等が記憶されており、主に起動時にＣＰＵ２０１が実行するプログラムが記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１が例えば座標検出プログラム２２０を実行する際のワークエリアとして機能する。
【００２４】
ＳＳＤ２０４は、座標検出プログラム２２０や各種データが記憶された不揮発性メモリである。ネットワークコントローラ２０５は、不図示のネットワークを介してサーバなどと通信する際に通信プロトコルに基づく処理を行う。なお、ここでいうネットワークには、ＬＡＮ（Local Area Network）又は複数のＬＡＮが接続されたＷＡＮ（Wide Area Network、例えば、インタネット）等が含まれる。
【００２５】
外部記憶コントローラ２０６は、着脱可能な外部メモリ２３０からの読み出しを行う。外部メモリ２３０には、例えばＵＳＢ（Universal Serial Bus）メモリ、ＳＤカードなどが含まれる。
【００２６】
センサコントローラ２０７には、４つの撮像部１０３ａ〜１０３ｄが接続されており、これら４つの撮像部１０３ａ〜１０３ｄによる撮影を制御する。
【００２７】
ＧＰＵ２０８は、座標入力装置１０１に表示する画像の各画素の画素値を演算する描画専用のプロセッサである。座標入力装置コントローラ２１１は、ＧＰＵ２０８が作成した画像を座標入力装置１０１に出力する。
【００２８】
キャプチャデバイス２０９は、端末装置１２０が表示部１２１に表示している画像を取り込む（キャプチャする）。
【００２９】
なお、本実施形態に係る座標検出システム１００の場合、コンピュータ１０２は、指示具１１０と通信を行う必要はないが、コンピュータ１０２が指示具１１０と通信を行うための通信機能を有していてもよい。この場合、図示するようにコンピュータ１０２は、指示具コントローラ２１０を有し、指示具１１０との間で通信を行う。これにより、コンピュータ１０２では、指示具１１０からの制御信号を受信することが可能となる。
【００３０】
なお、座標検出プログラム２２０は、外部メモリ２３０に記憶された状態で流通されてもよいし、ネットワークコントローラ２０５を介して不図示のサーバからダウンロードされてもよい。なお、このときのアプリケーションは、圧縮された状態であっても実行形式の状態であってもよい。
【００３１】
＜３．指示具の構成＞
次に、指示具１１０の構成について説明する。図３は、指示具１１０の構成を示す図である。図３に示すように、指示具１１０は、ユーザが把持する把持部３１０と、座標入力装置１０１の入力面に接触する先端部３２０とを有する。
【００３２】
把持部３１０は、ユーザが把持しやすい円筒形状を有しており、内部には発光回路３１１が配されている（ただし、円筒形状は一例であり、他の形状であってもよい）。先端部３２０は、円錐形状を有しており、円環状の発光部３２１、３２２が配されている（ただし、円錐形状は一例であり、他の形状であってもよい）。発光部３２１、３２２は、発光回路３１１によってＯＮ／ＯＦＦが制御され、ＯＮ状態で一定光量で発光する。
【００３３】
なお、先端部３２０のうち、座標入力装置１０１の入力面と直接接触する部分を、以下では、「頂点」と称する。本実施形態において、先端部３２０の頂点３２３は、発光部３２１の横断面（図３の右側参照）である円の中心点３３１と、発光部３２２の横断面（図３の右側参照）である円の中心点３３２とを結ぶ直線上に位置している。なお、中心点３３１、中心点３３２、頂点３２３を通る直線を、指示具１１０の「中心軸」と称する。
【００３４】
換言すると、発光部３２１、３２２は、その横断面が中心軸に対して略直交するように配されており、かつ、その横断面の中心が、中心軸に略一致するように配されている。
【００３５】
＜４．指示具の頂点座標の算出手順の説明＞
次に、座標入力装置１０１の入力面における、指示具１１０の頂点３２３の２次元座標（入力面と指示具１１０の頂点３２３との接触位置の２次元座標）を算出する手順について説明する。図４は、座標入力装置１０１の入力面における、指示具１１０の頂点３２３の座標を算出する算出手順を示す図である。
【００３６】
光学式の座標検出システムにおいて、先端部３２０に円環状の発光部３２１、３２２が配された指示具１１０（図３参照）を用いた場合、図４に示す手順にしたがって撮影画像を処理することで、入力面における頂点３２３の２次元座標を算出できる。
【００３７】
具体的には、まず、撮像部１０３ａ〜１０３ｄが撮影を行い、撮影画像を取得する（手順１）。
【００３８】
続いて、取得した撮影画像に基づいて、発光部３２１、３２２の中心点３３１、３３２に対応する撮影画像上の２次元座標を算出する（手順２）。
【００３９】
続いて、中心点３３１、３３２に対応する撮影画像上の２次元座標に対応する、ＣＭＯＳイメージセンサ上の素子を特定する（手順３）。更に、特定した素子の３次元座標空間における３次元座標を算出する（手順３）。
【００４０】
ここで、図５（ａ）は撮影画像を生成する撮像部１０３ａのＣＭＯＳイメージセンサ５００ａの、座標検出システム１００における配置を示す図である。
【００４１】
図５（ａ）において、点５０１は、中心点３３２に対応する撮影画像上の２次元座標に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子を示している。同様に、点５０２は、中心点３３１に対応する撮影画像上の２次元座標に対応する、ＣＯＭＳイメージセンサ５００ａ上の素子を示している。手順３では、点５０１、５０２の３次元座標空間における座標を算出する。
【００４２】
続いて、発光部３２１、３２２の中心点３３１、３３２と、撮像部１０３ａの主点とを含む３次元座標空間における平面を算出する（手順４）。なお、発光部３２１、３２２の中心点３３１、３３２は、指示具１１０の中心軸を特定する点であることから、手順４で算出する平面は、指示具１１０の中心軸と撮像部１０３ａの主点とを含む平面ということができる（以下、当該平面を「中心軸平面」と称す）。なお、主点とは、撮像部１０３ａの光学系を１枚の薄いレンズに置き換えた場合の、当該薄いレンズと光軸との交点である（撮像部１０３ａの光学系が１枚のレンズから構成される場合には、当該レンズの中心が主点となる）。
【００４３】
ここで、図５（ｂ）は、３次元座標空間における撮像部１０３ａの射影（発光部３２１、３２２の中心点３３１、３３２とＣＭＯＳイメージセンサ５００ａ上の素子との関係）を説明するための数学モデルを示す図である。なお、当該数学モデルは、一般に"世界座標モデル"や"外部モデル"と呼ばれているモデルであり、カメラを扱う技術分野において一般的に知られているモデルである。
【００４４】
図５（ｂ）に示すように、手順４により中心軸平面を算出することは、中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）と、撮像部１０３ａの主点（点５１０ａ）とを含む平面を算出することと等価である。したがって、手順４では、中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）と、撮像部１０３ａの主点（点５１０ａ）とを含む３次元座標空間における平面を、中心軸平面として算出する。
【００４５】
続いて、手順４において算出した中心軸平面と座標入力装置１０１の入力面との交線を算出する（手順５）。
【００４６】
図５（ｃ）は、中心軸平面と、座標入力装置１０１の入力面との関係を示す図である。図５（ｃ）において、平面５３０は、発光部３２１、３２２の中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）と、撮像部１０３ａの主点（点５１０ａ）とを含む中心軸平面である。また、交線５４０ａは、中心軸平面である平面５３０と座標入力装置１０１の入力面との交線を示している。手順４によれば、交線５４０ａが算出される。
【００４７】
なお、図５（ａ）〜（ｃ）では、撮像部１０３ａについてのみ明示しているが、撮像部１０３ｂについても同様の処理を行うことで、交線５４０ｂを算出することができる。
【００４８】
続いて、手順５において算出した交線５４０ａ、５４０ｂと、座標入力装置１０１の入力面における基準方向とのなす角度（旋回角度）を算出し、算出した旋回角度を用いて、入力面における指示具１１０の頂点３２３の２次元座標を算出する（手順６）。
【００４９】
図６は、交線５４０ａと交線５４０ｂに基づいて、入力面における指示具１１０の頂点３２３の２次元座標を算出する方法を説明するための図である。
【００５０】
図６において、交線５４０ａと交線５４０ｂとの交点（点６００）は、座標入力装置１０１の入力面における指示具１１０の頂点３２３の座標を示している。
【００５１】
ここで、座標入力装置１０１の左上端部を原点とし、座標入力装置１０１の横方向をＸ軸、縦方向をＹ軸とする。また、撮像部１０３ａから見た場合のＸ軸方向（基準方向）に対する点６００の旋回角度をα、撮像部１０３ｂから見た場合のＸ軸方向（基準方向）に対する点６００の旋回角度をβとする。更に、座標入力装置１０１のＸ軸方向の幅をＬとする。
【００５２】
かかる前提のもとで、点６００のＹ座標を、Ｘ座標を用いて表すと以下のようになる。
【００５３】
Ｙ＝Ｘｔａｎα                                    （式１）
Ｙ＝（Ｌ−Ｘ）ｔａｎβ                            （式２）
ここで、式１と式２とにより、Ｙを消去しＸについて整理すると、
Ｘ＝Ｌｔａｎβ／（ｔａｎα＋ｔａｎβ）            （式３）
となる。
【００５４】
更に、式３を式１に代入すると、
Ｙ＝Ｌｔａｎα×ｔａｎβ／（ｔａｎα＋ｔａｎβ）  （式４）
となる。
【００５５】
つまり、撮像部１０３ａ、１０３ｂにおいて撮影された撮影画像に基づいて、交線５４０ａ、５４０ｂのＸ軸方向（基準方向）からの旋回角度α、βを算出し、式３及び式４に代入すれば、点６００のＸ座標及びＹ座標を算出することができる。なお、ここでは、撮像部１０３ａ、１０３ｂにおいて撮影された撮影画像に基づく手順を説明したが、撮像部１０３ｃ、１０３ｄにおいて撮影された撮影画像に基づく手順も同様である。このため、以下では、撮像部１０３ｃ、１０３ｄにおいて撮影された撮影画像に基づく手順の説明は省略する。
【００５６】
以上のとおり、円環状の発光部３２１、３２２が配された指示具１１０の場合、発光部３２１、３２２の中心点３３１、３３２に対応する撮影画像上の２次元座標を算出できれば、座標入力装置１０１の入力面における頂点３２３の２次元座標を算出できる。
【００５７】
換言すると、発光部３２１、３２２の中心点３３１、３３２に対応する撮影画像上の２次元座標に誤差が含まれていた場合、座標入力装置１０１の入力面における頂点３２３の座標にも誤差が含まれることとなる。
【００５８】
ここで、図４で説明した手順は、撮像部１０３ａのレンズ歪みがないことを前提としている。しかしながら、実際の撮像部１０３ａにはレンズ歪みが含まれる。このため、発光部３２１、３２２の中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子を特定した際、当該特定された素子の座標には、レンズ歪みの影響が含まれている。
【００５９】
つまり、レンズ歪みを含む撮像部１０３ａの場合、発光部３２１、３２２の中心点３３１、３３２とＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）との関係は、図５（ｂ）に示す関係とは異なる関係となる。
【００６０】
本願出願人は、この点に着目し、指示具１１０の頂点の座標を精度よく算出するために、レンズ歪みの影響を排除する構成とした。以下では、撮像部１０３ａのレンズ歪みの影響について説明するとともに、レンズ歪みの影響を排除する構成について説明する。
【００６１】
＜５．レンズ歪みの影響の説明＞
＜５．１  撮像部の内部構成＞
レンズ歪みの影響を説明するにあたり、はじめに、撮像部１０３ａの内部構成について説明する。
【００６２】
図７は、撮像部１０３ａの内部構成を示す図である。図７に示すように、撮像部１０３ａは、ＣＭＯＳイメージセンサ５００ａとレンズ７０１ａを有し、レンズ７０１ａは、ｆθ特性と呼ばれるレンズ歪み特性を有する。
【００６３】
このため、撮像部１０３ａに入射する入射角θの光線７１４は、主点（点５１０ａ）を通り、ＣＭＯＳイメージセンサ５００ａ上の素子７１２にて受光される。このとき、ＣＭＯＳイメージセンサ５００ａの中心素子７１１と素子７１２との間の距離は、レンズ７０１ａの焦点距離をｆとすると、ｆθとなる。
【００６４】
なお、入射角θは、光軸（レンズ７０１ａの中心である主点（点５１０ａ）及びＣＭＯＳイメージセンサ５００ａの中心素子７１１を通り、レンズ７０１ａ及びＣＭＯＳイメージセンサ５００ａに対して垂直な線）７１３となす角度である。
【００６５】
＜５．２  レンズ歪みの有無に伴う中心点の座標の差＞
次に、レンズ歪みの有無に伴う、中心点に対応するＣＭＯＳイメージセンサ上の素子の座標の差について説明する。図８は、レンズ歪みがない場合の中心点３３１に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標を示す図である。
【００６６】
図８において、ＣＭＯＳイメージセンサ５００ａ上の素子８３１の位置は、発光部３２１の中心点３３１をＣＭＯＳイメージセンサ５００ａ上に射影した場合の位置を示している。レンズ歪みのないレンズ８０１ａの場合、発光部３２１の中心点３３１と主点（点５１０ａ）とを結ぶ直線と、光軸７１３とのなす角度をθとすると、素子８３１の中心素子７１１からの距離は、ｆｔａｎ（θ）となる。
【００６７】
一方、図９は、レンズ歪みがある場合の中心点３３１に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標を示す図である。
【００６８】
図９において、ＣＭＯＳイメージセンサ５００ａ上の素子９３１の位置は、発光部３２１の中心点３３１をＣＭＯＳイメージセンサ５００ａ上に射影した場合の位置を示している。レンズ歪みのあるレンズ７０１ａの場合、発光部３２１の中心点３３１と主点（点５１０ａ）とを結ぶ直線と、光軸７１３とのなす角度をθとすると、素子９３１の中心素子７１１からの距離は、ｆθとなる。
【００６９】
このように、レンズ歪みの有無により、中心点３３１に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標は、ｆｔａｎ（θ）−ｆθだけずれる。
【００７０】
＜６．レンズ歪みの影響を排除した中心点の算出方法＞
次に、レンズ歪みの影響を排除した、ＣＭＯＳイメージセンサ５００ａ上の素子９３１の座標の算出方法について説明する。
【００７１】
中心点３３１は、指示具１１０の内部の点であるため、ＣＭＯＳイメージセンサ５００ａにおいて直接検出することはできない。そこで、発光部３２１の端部の点を検出し、当該端部の点に対応するＣＭＯＳイメージセンサ５００ａ上の素子の座標から、中心点３３１に対応する素子の座標を算出する。
【００７２】
図１０は、ＣＭＯＳイメージセンサ５００ａ上の素子９３１の座標の算出方法を説明するための図である。図１０に示すように、発光部３２１の端部の点３２１Ｌにおいて発光した光は、ＣＭＯＳイメージセンサ５００ａ上の素子１０２１Ｒにおいて受光される。また、発光部３２１の端部の点３２１Ｒにおいて発光した光は、ＣＭＯＳイメージセンサ５００ａ上の素子１０２１Ｌにおいて受光される。
【００７３】
ここで、素子１０２１Ｒと中心素子７１１との間の距離は、ｆ（θ−Δθ）となる。また、素子１０２１Ｌと中心素子７１１との間の距離は、ｆ（θ＋Δθ）となる。
【００７４】
なお、Δθは、発光部３２１の端部の点３２１Ｒまたは３２１Ｌと主点（点５１０ａ）とを結ぶ直線と、発光部３２１の中心点３３１と主点（点５１０ａ）とを結ぶ直線とのなす角度である。
【００７５】
図１０から明らかなように、素子９３１は、素子１０２１Ｌと素子１０２１Ｒとの中点となる。したがって、素子９３１の座標は、素子１０２１Ｌの座標と素子１０２１Ｒの座標とに基づいて、算出することができる。すなわち、撮影画像に描画された、発光部３２１を示す発光領域の中心位置の座標を算出することで、素子９３１の撮影画像上の２次元座標を算出することができる。
【００７６】
このため、本実施形態では、撮影画像に描画された、発光部３２１を示す発光領域の中心位置の座標をはじめに算出し、当該算出した中心位置の座標を、レンズ歪みがないと仮定した場合の座標に変換する。具体的には、当該算出した中心位置の座標にレンズ歪み補正関数を乗じることで補正し、補正した中心位置の座標に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子を特定する。
【００７７】
このような構成にすることで、発光部３２１、３２２の中心点３３１、３３２に対応する、ＣＭＯＳイメージセンサ５００ａ上の素子であって、レンズ歪みの影響を排除した素子を特定することができる。
【００７８】
＜７．座標検出プログラムの機能構成＞
次に、座標検出プログラム２２０の機能構成について説明する。座標検出プログラム２２０は、
・図１０に示す関係を用いて、発光部の中心点に対応する撮影画像上の２次元座標を算出し、
・図９に示すレンズ歪みに起因する誤差を考慮し、発光部の中心点に対応する撮影画像上の２次元座標を補正し、
・図４に示す手順に従って、入力面における指示具１１０の頂点３２３の２次元座標を算出する、
ように構成されており、図１１に示す機能構成を有している。
【００７９】
図１１は、座標検出プログラム２２０の機能構成の一例を示す図である。座標検出プログラム２２０は、撮像部１０３ａにより撮影された撮影画像を処理する処理部１１００ａと、撮像部１０３ｂにより撮影された撮影画像を処理する処理部１１００ｂとを有する。更に、座標検出プログラム２２０は、処理部１１００ａにおける処理結果と処理部１１００ｂにおける処理結果とを用いて、入力面における頂点３２３の２次元座標を算出する先端座標算出部１１０９を有する。なお、処理部１１００ａにおける処理と処理部１１００ｂにおける処理とは同じであるため、以下では処理部１１００ａと先端座標算出部１１０９について説明する。
【００８０】
処理部１１００ａは、撮影画像取得部１１０１ａ、発光領域抽出部１１０２ａ、中心位置算出部１１０３ａ、１１０４ａ、中心位置補正部１１０５ａ、１１０６ａ、平面算出部１１０７ａ、旋回角度算出部１１０８ａを有する。
【００８１】
撮影画像取得部１１０１ａは、撮像部１０３ａにおいて撮影された撮影画像を所定の周期で取得する。発光領域抽出部１１０２ａは、取得された撮影画像に描画された、発光部３２１、３２２を示す発光領域を抽出する。
【００８２】
図１２は、撮影画像１２００に描画された発光領域１２１０と発光領域１２２０を示す図である。図１２において、発光領域１２１０は、指示具１１０の発光部３２１に対応しており、発光領域１２２０は、指示具１１０の発光部３２２に対応している。
【００８３】
中心位置算出部１１０３ａは、抽出された発光領域に基づいて、発光部３２１の中心点３３１に対応する撮影画像１２００上の２次元座標を算出する。中心位置算出部１１０４ａは、抽出された発光領域に基づいて、中心点３３２に対応する撮影画像１２００上の２次元座標を算出する。
【００８４】
図１３（ａ）は、中心位置算出部１１０３ａ、１１０４ａにより、中心点３３１、３３２に対応する撮影画像１２００上の画素１３１０、１３２０の座標を算出した様子を示している。図１３（ａ）に示すように、発光領域１２１０、１２２０それぞれの重心位置を算出することで、画素１３１０、１３２０の座標を算出することができる。
【００８５】
中心位置補正部１１０５ａは、中心点３３１に対応する撮影画像１２００上の画素１３１０、１３２０の座標を、レンズ歪み補正関数を用いて補正し、レンズ歪みがないと仮定した場合の中心点３３１に対応する撮影画像１２００上の画素の座標を算出する。中心位置補正部１１０６ａは、中心点３３２に対応する撮影画像１２００上の画素１３１０、１３２０の座標を、レンズ歪み補正関数を用いて補正し、レンズ歪みがないと仮定した場合の中心点３３２に対応する撮影画像１２００上の画素の座標を算出する。
【００８６】
図１３（ｂ）は、中心位置補正部１１０５ａ、１１０６ａにより、画素１３１０、１３２０の座標を補正した様子を示している。図１３（ｂ）に示すように、画素１３１０、１３２０それぞれの座標を補正することで、画素１３１２、１３２２の座標が算出される。
【００８７】
平面算出部１１０７ａは、レンズ歪み補正関数により補正された中心点３３１に対応する撮影画像１２００上の画素１３１２、１３２２の座標に基づいて、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）の３次元座標空間における座標を特定する。また、平面算出部１１０７ａは、ＣＭＯＳイメージセンサ５００ａ上の素子（点５０１、５０２）の３次元座標空間における座標と、撮像部１０３ａの主点（点５１０ａ）の３次元座標空間における座標とを含む中心軸平面（平面５３０）を算出する。
【００８８】
旋回角度算出部１１０８ａは、算出された中心軸平面と、座標入力装置１０１の入力面との交線（５４０ａ）を算出し、指示具１１０の頂点３２３の基準方向からの旋回角度（α）を算出する。
【００８９】
先端座標算出部１１０９は、旋回角度算出部１１０８ａにおいて算出された旋回角度（α）と、旋回角度算出部１１０８ｂにおいて算出された旋回角度（β）とに基づいて、入力面における指示具１１０の頂点３２３の位置を示す点６００の座標を算出する。
【００９０】
＜８．まとめ＞
以上の説明から明らかなように、本実施形態に係る座標検出システムでは、
・指示具の先端部に、長手方向に、円環状の発光部を２つ設ける構成とした。
・２つの発光部それぞれの中心点に対応する撮影画像上の座標を算出し、当該算出した２つの中心点の撮影画像上の座標を用いて、座標入力装置の入力面における指示具の頂点の２次元座標を算出する構成とした。
・座標入力装置の入力面における指示具の頂点の２次元座標を算出するにあたっては、２つの発光部それぞれの中心点の撮影画像上の２次元座標を、レンズ歪み補正関数を用いて補正する構成とした。
【００９１】
これにより、レンズ歪みに起因して生じる、指示具の頂点の２次元座標の誤差を排除することが可能となる。
【００９２】
この結果、座標検出システムにおいて、指示具の先端部の座標を精度よく算出することが可能となる。
【００９３】
［第２の実施形態］
上記第１の実施形態では、入力面における指示具１１０の頂点３２３の２次元座標を算出するにあたり、平面算出部１１０７ａ、１１０７ｂそれぞれにおいて算出された中心軸平面と入力面との交線を算出する構成とした。
【００９４】
しかしながら、本発明はこれに限定されず、平面算出部１１０７ａにおいて算出された中心軸平面と、平面算出部１１０７ｂにおいて算出された中心軸平面との交線を算出する構成としてもよい。以下、本実施形態について説明する。
【００９５】
図１４は、本実施形態に係る座標検出プログラム１４００の機能構成を示す図である。なお、図１４に示す機能構成のうち、図１１に示す座標検出プログラム２２０の機能構成と同じ構成要素については、同じ参照番号を付すこととし、ここでは説明を省略する。
【００９６】
図１１に示す座標検出プログラム２２０の機能構成との相違点は、平面交線算出部１４０１と、先端座標算出部１４０２である。
【００９７】
平面交線算出部１４０１は、平面算出部１１０７ａにおいて算出された中心軸平面と、平面算出部１１０７ｂにおいて算出された中心軸平面との交線を算出する。平面算出部１１０７ａ、１１０７ｂそれぞれにおいて算出される中心軸平面は、いずれも発光部３２１、３２２の中心点３３１、３３２を含む平面である。したがって、これらの中心軸平面の交線は、指示具１１０の中心軸に等しい。
【００９８】
先端座標算出部１４０２は、平面交線算出部１４０１において算出された交線と、座標入力装置１０１の入力面との交点を算出し、座標入力装置１０１の入力面における指示具１１０の頂点３２３の２次元座標を算出する。
【００９９】
このように、平面算出部１１０７ａにおいて算出された中心軸平面と、平面算出部１１０７ｂにおいて算出された中心軸平面との交線を算出する構成とした場合であっても、入力面における指示具１１０の頂点３２３の２次元座標を精度よく算出することができる。
【０１００】
［第３の実施形態］
上記各実施形態において中心位置算出部１１０３ａ、１１０４ａは、発光領域１２１０、１２２０の重心位置を算出することで中心点３３１、３３２に対応する撮影画像上の座標を算出する構成としたが、本発明はこれに限定されない。
【０１０１】
例えば、発光領域１２１０、１２２０の境界の形状に基づいて、中心点３３１、３３２に対応する撮影画像上の座標を算出する構成としてもよい。
【０１０２】
また、上記各実施形態において撮影画像取得部１１０１ａ、１１０１ｂは、撮影画像に含まれる全ての画素を取得する構成としたが、本発明はこれに限定されない。例えば、座標入力装置１０１の入力面から所定の高さまでの領域に含まれる画素のみを取得する構成としてもよい。つまり、ＡＯＩ（Area of Interest）またはＲＯＩ（Region of Interest）を設定し、当該領域に含まれる画素のみを取得する構成としてもよい。
【０１０３】
［第４の実施形態］
上記各実施形態では、座標検出プログラム２２０または１４２０の実行開始条件について特に言及しなかったが、例えば、座標検出プログラム２２０または１４２０は、ユーザの所定の指示に基づいて実行を開始する構成としてもよい。
【０１０４】
なお、ここでいうユーザの所定の指示には、ユーザによる所定の動作を検知する場合も含まれるものとする。例えば、頂点３２３が座標入力装置１０１の入力面に接触したことを検知するセンサを指示具１１０に配し、当該センサにより接触が検知された場合に、座標検出プログラム２２０または１４２０を実行させる構成としてもよい。
【０１０５】
また、上記各実施形態では、入力面に対する指示具１１０の傾きによらず、入力面における指示具１１０の頂点３２３の２次元座標を算出する構成としたが、本発明はこれに限定されない。例えば、入力面に対する指示具１１０の傾きが一定の閾値を超えた場合には、指示具１１０により入力面に入力された指示を無効と判断し、入力面における指示具１１０の頂点３２３の２次元座標を算出しない構成としてもよい。
【０１０６】
［第５の実施形態］
上記各実施形態では、指示具の先端部に円環状の発光部を設ける構成としたが、本発明はこれに限定されず、撮影画像内において識別できれば、発光部に限定されるものではない。例えば、円環状の部材に所定の色の塗料（例えば、蛍光塗料）を塗布するようにしてもよいし、当該円環状の部材を、所定の材料（例えば、反射材）により構成するようにしてもよい。
【０１０７】
また、上記各実施形態では、指示具の発光部を一定光量で発光させる構成としたが、本発明はこれに限定されず、指示具１１０内に変調回路を設け、変調して発光させる構成としてもよい。
【０１０８】
［第６の実施形態］
上記各実施形態では、座標検出システム１００として、座標入力装置１０１と、コンピュータ（情報処理装置）１０２と、撮像部１０３ａ〜１０３ｄと、周辺発光部１０４ａ〜１０４ｄとが１つの装置として構成される場合について説明した。
【０１０９】
しかしながら、本発明はこれに限定されず、座標入力装置１０１、コンピュータ（情報処理装置）１０２、撮像部１０３ａ〜１０３ｄ、周辺発光部１０４ａ〜１０４ｄのうちのいずれか１つまたは複数が、別体として構成されてもよい。
【０１１０】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１１１】
１００              ：座標検出システム
１０１              ：座標入力装置
１０２              ：コンピュータ（情報処理装置）
１０３ａ〜１０３ｄ  ：撮像部
１０４ａ〜１０４ｄ  ：周辺発光部
１１０              ：指示具
１２０              ：端末装置
３１０              ：把持部
３１１              ：発光回路
３２０              ：先端部
３２１、３２２      ：発光部
３２３              ：頂点
３３１、３３２      ：中心点
５０１ａ            ：ＣＭＯＳイメージセンサ
５３０              ：平面
５４０ａ、５４０ｂ  ：交線
７０１ａ            ：レンズ
１２００            ：撮影画像
１２１０、１２２０  ：発光領域
【先行技術文献】
【特許文献】
【０１１２】
【特許文献１】特開２００５−１７３６８４号公報
【特許文献２】特許第５１２２９４８号
【図１】
2015158827.tif 000003
【図２】
2015158827.tif 000004
【図３】
2015158827.tif 000005
【図４】
2015158827.tif 000006
【図５】
2015158827.tif 000007
【図６】
2015158827.tif 000008
【図７】
2015158827.tif 000009
【図８】
2015158827.tif 000010
【図９】
2015158827.tif 000011
【図１０】
2015158827.tif 000012
【図１１】
2015158827.tif 000013
【図１２】
2015158827.tif 000014
【図１３】
2015158827.tif 000015
【図１４】
2015158827.tif 000016