(57)【要約】【課題】  座標取得システム、ディスプレイ装置、座標取得方法およびプログラムを提供すること。【解決手段】  座標指示体１２３の画像を使用して座標指示体１２３の３次元空間内の世界座標を取得する座標取得システム１００は、位置座標を取得する範囲を規定する２次元平面を画定する装置１２０と、２次元平面の長辺に沿って配置された複数の撮像装置Ｃ１〜Ｃ４と、撮像装置が取得した座標指示体１２３の画像から、座標指示体１２３の３次元空間の位置座標である世界座標を生成する情報処理装置１１０とを含み、複数の撮像装置Ｃ１〜Ｃ４は、２次元平面を正方形で被覆する間隔のペアとして配置されている。【選択図】  図１
2016153996.tif 000002
【特許請求の範囲】
【請求項１】
座標指示体の画像を使用して前記座標指示体の３次元空間内の世界座標を取得する座標取得システムであって、
位置座標を取得する範囲を規定する２次元平面を画定する装置と、
前記２次元平面の長辺に沿って配置された複数の撮像装置と、
前記撮像装置が取得した前記座標指示体の画像から、前記座標指示体の３次元空間の位置座標である世界座標を生成する情報処理装置と
を含み、
前記複数の撮像装置は、前記２次元平面を正方形で被覆する間隔のペアとして配置されることを特徴とする、座標取得システム。
【請求項２】
前記複数の撮像装置のペアは、前記２次元平面の短辺に相当する間隔で配置され、正方形内部の前記座標指示体の位置座標を取得することを特徴とする、請求項１に記載の座標取得システム。
【請求項３】
前記正方形は、前記２次元平面を被覆するべく、重なり合い領域を形成することを特徴とする、請求項１または２に記載の座標取得システム。
【請求項４】
前記重なり合い領域では、前記正方形を規定する２つの撮像装置のペアがそれぞれ取得した位置座標を重み付け線形結合して前記座標指示体の位置座標を取得することを特徴とする、請求項１〜３のいずれか１項に記載の座標取得システム。
【請求項５】
座標指示体の画像を使用して前記座標指示体の３次元空間内の世界座標を取得し、２次元平面に前記座標指示体の軌跡を取得するディスプレイ装置であって、
２次元平面と、
２次元平面上の位置を指示する座標指示体の画像を撮影すると共に、前記２次元平面を被覆する間隔で配置された撮像装置のペアと、
前記撮像装置のペアが取得した画像を使用して前記座標指示体の少なくとも前記２次元平面の世界座標を計算する情報処理装置と
を備え、
前記正方形は、前記２次元平面を被覆するべく、重なり合い領域を形成することを特徴とする、ディスプレイ装置。
【請求項６】
当該重なり合い領域では、前記正方形を規定する２つの撮像装置のペアがそれぞれ取得した位置座標を重み付け線形結合して前記座標指示体の位置座標を取得することを特徴とする、請求項５に記載のディスプレイ装置。
【請求項７】
前記２つの撮像装置のペアが割当てられない前記重なり合い領域は、前記重なり合い領域を含む正方形を画定する１の撮像装置のペアにより、前記世界座標を計算することを特徴とする、請求項５または６に記載のディスプレイ装置。
【請求項８】
座標指示体の画像を使用して前記座標指示体の３次元空間内の世界座標を取得する装置実行可能な座標取得方法であって、
前記座標指示体の位置座標を取得するべき２次元平面を規定するステップと、
前記２次元平面に、撮像装置ペアにより画定され、前記２次元平面を被覆する複数の正方形を割当てるステップと、
前記正方形の内部に存在する前記座標指示体の位置座標を、当該正方形に割当てられた前記撮像装置ペアが取得した画像を使用して取得するステップと、
撮像装置ペアのいずれか一方の撮像装置の視野内に前記座標指示体が存在するか否かを判断するステップと、
前記判断ステップの結果に応答して単一の前記撮像装置ペアにより前記世界座標を取得するか、または２つの撮像装置ペアが取得した前記位置座標を使用して前記世界座標を取得するステップと
を含むことを特徴とする、座標取得方法。
【請求項９】
前記判断するステップにおいて、２つの撮像装置ペアのいずれか一方の撮像装置のいずれもが前記座標指示体をそれらの視野内に存在する場合に、前記２つの撮像装置ペアが取得した前記位置座標を線形結合して前記世界座標を取得するステップを含むことを特徴とする、請求項８に記載の座標取得方法。
【請求項１０】
前記判断するステップにおいて、２つの撮像装置ペアのいずれか一方の撮像装置のいずれもが前記座標指示体をそれらの視野内に存在する場合、前記正方形の重なり合い領域において行われることを特徴とする、請求項８または９に記載の座標取得方法。
【請求項１１】
座標指示体の画像を使用して前記座標指示体の３次元空間内の世界座標を取得する装置実行可能な座標校正方法であって、
前記座標指示体の位置座標を取得するべき２次元平面を規定するステップと、
前記２次元平面に、撮像装置ペアにより画定され、前記２次元平面を被覆する複数の正方形を割当てるステップと、
前記正方形の内部に存在する予め世界座標が既知の複数の校正点を、座標指示体によって指示するステップと、
前記指示に応答して、前記座標指示体の注目点を含む画像を取得し、当該画像中での前記注目点のイメージ面上での位置座標を取得するステップと、
前記位置座標と、対応する前記世界座標とを座標変換するための変換行列を決定するステップと、
前記決定した変換行列を、前記座標指示体の３次元空間内の世界座標を取得するために読み出し可能に記憶手段に格納するステップと
を含むことを特徴とする、座標校正方法。
【請求項１２】
前記位置座標を取得するステップは、前記変換行列を決定するべき撮像装置が独立して実行する、請求項１１に記載の座標校正方法。
【請求項１３】
前記位置座標を取得するステップは、各撮像装置が、前記変換行列を決定するために必要十分な位置座標を取得するまで反復される、請求項１１または１２に記載の座標校正方法。
【請求項１４】
座標指示体の画像を使用して前記座標指示体の３次元空間内の世界座標を取得する装置実行可能なプログラムであって、情報処理装置が、
前記座標指示体の位置座標を取得するべき２次元平面を規定するステップと、
前記２次元平面に、撮像装置ペアにより画定され、前記２次元平面を被覆する複数の正方形を割当てるステップと、
前記正方形の内部に存在する前記座標指示体の位置座標を、当該正方形に割当てられた前記撮像装置ペアが取得した画像を使用して取得するステップと、
撮像装置ペアのいずれか一方の撮像装置の視野内に前記座標指示体が存在するか否かを判断するステップと、
前記判断するステップにおいて、前記撮像装置ペアのいずれか一方の撮像装置の視野内に前記座標指示体が存在する場合に、単一の前記撮像装置ペアにより前記世界座標を取得するステップと、
前記判断するステップにおいて前記撮像装置ペアの両方においていずれか一方の撮像装置の視野内に前記座標指示体が存在する場合には、２つの撮像装置ペアが取得した前記位置座標を使用して前記世界座標を取得するステップと
を実行することを特徴とする、プログラム。
【請求項１５】
前記２つの撮像装置ペアが取得した前記位置座標から前記世界座標を取得するステップは、前記２つの撮像装置ペアが取得した前記位置座標を線形結合して前記世界座標を取得するステップを含むことを特徴とする、請求項１１に記載のプログラム。
【請求項１６】
請求項１１〜１３のいずれか１項に記載の座標校正方法を情報処理装置が実行するための、情報処理装置実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き入力技術に関し、より詳細には、手書き入力における、座標取得システム、ディスプレイ装置、座標取得方法およびプログラムに関する。
【背景技術】
【０００２】
ディスプレイ平面の周辺部に複数のカメラを設置して、座標指示器（指や、入力ペン）を用いて、ユーザが座標入力面（ディスプレイ平面）をタッチしたりなぞってその軌跡をディスプレイ平面に表示させる技術が知られている。
【０００３】
例えば、特開２００２−２６８８０７号公報（特許文献１）は、座標入力装置、座標入力機能を実行するプログラムおよび該プログラムを記録した記録媒体を記載しており、基準点に物体を挿入したときのセンサヘッドにおける光遮断位置情報と基準点座標を第１記憶部に記憶して、光遮断物体が挿入された座標（ｘ、ｙ）を、三角測量技術を使用して出力する技術を記載する。
【０００４】
特開２００７‐５３６６５２号公報（特許文献２）には、大規模タッチ・手書きシステムに複数撮影デバイスを設置し世界座標を算出する目的で、キャリブレーション方法と世界座標の計算方法が開示されている。特許文献２は、大規模タッチ・手書きシステムに複数撮影デバイスを設置し三次元座標を算出する。
【０００５】
さらに特開２００７−５３６６５２号公報（特許文献３）には、大規模タッチ・手書きシステムに複数の撮影装置を設置し、世界座標を計算するために、世界座標の校正方法が記載されている。
【０００６】
図８は、従来のディスプレイ装置に対するカメラの配置を示す。図８（ａ）では、カメラをディスプレイ装置の四隅において、ディスプレイ平面の近くに配置する従来例である。図８（ａ）に示す従来例は、ディスプレイ平面上の位置座標を取得できると言うことはできるものの、指や座標指示器が腕、体、その他の物体により遮られてしまう場合もあるため、手書き入力の場合、位置座標を取得することができないこともある。
【０００７】
また、図８（ｂ）は、特許文献２に記載される配置であり、ディスプレイ装置の上縁部に沿ってカメラを等間隔に独立して配置するものである。図８（ｂ）に示された配置は、カメラを上縁部に配置するため物体による遮蔽という不都合は生じにくくなるものの、撮像装置の死角となる領域では、正確な座標検知ができなくなるという問題点があった。
【０００８】
そして、特許文献１および特許文献２は、画像から位置座標の取得を可能とするものではあるが、位置誤差や手書きの滑らかさを考慮することができないという問題点があった。また、特許文献３は、複数のカメラを使用した大規模なシステムに適用ることはできなかった。
【０００９】
上述したように、画像情報から位置座標を計算する技術が種々知られているものの、従来技術は、タッチ・手書きシステムに複数のカメラを配置した場合の手書きの位置誤差を考慮するものではなく、また手書きの特徴である滑らかさを反映するようにポインタなどの座標指示体の位置座標を算出することができなかった。また、このための世界座標校正方法も必要とされていた。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
したがって、本発明は、撮像装置を使用して精度良く、滑らかに座標指示器の座標を算出できるように、位置座標を算出する座標取得システム、ディスプレイ装置、座標取得方法、座標校正方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明によれば、座標指示体の画像を使用して前記座標指示体の３次元空間内の世界座標を取得する座標取得システムであって、
位置座標を取得する範囲を規定する２次元平面を画定する装置と、
前記２次元平面の長辺に沿って配置された複数の撮像装置と、
前記撮像装置が取得した前記座標指示体の画像から、前記座標指示体の３次元空間の位置座標である世界座標を生成する情報処理装置と
を含み、
前記複数の撮像装置は、前記２次元平面を正方形で被覆する間隔のペアとして配置されることを特徴とする、座標取得システムが提供される。
【発明の効果】
【００１２】
本発明によれば、撮像装置を使用して精度良く、滑らかに座標指示器の座標を算出できるように、位置座標を算出する座標取得システム、ディスプレイ装置、座標取得方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の座標取得システム１００の構成を示す図。
【図２】本実施形態の情報処理装置１１０のハードウェア・ブロック２００を示す。
【図３】本実施形態の情報処理装置１１０の機能ブロック３００を示す図。
【図４】本実施形態で領域を正方形として規定する技術的意義を実施形態４００を用いて説明する図。
【図５】本実施形態の第２の処理系列における重み付け線形結合の処理５００の概念図。
【図６】本実施形態で、第１の処理系列と、第２の処理系列とを使用して世界座標を決定する処理の基本的なフローチャート。
【図７】本実施形態の他の実施形態７００を示す図。
【図８】従来のディスプレイ装置に対するカメラの配置を示す図。
【図９】本実施形態で使用する校正点の配置の最も基本的な実施形態を示す図。
【図１０】本実施形態の校正点を、さらに増加させた場合の実施形態を示す図。
【図１１】本実施形態校正処理部３１１の機能ブロック図を示す図。
【図１２】本実施形態の校正処理のフローチャート。
【発明を実施するための形態】
【００１４】
＜セクション１：位置座標取得＞
以下、本発明に付き、実施形態をもって説明するが、後述する実施形態は、本発明を限定するものではない。図１は、本実施形態の座標取得システム１００の構成を示す。座標取得システム１００は、座標を取得するための情報処理装置１１０と、電子黒板などとして使用されるディスプレイ装置１２０とを含んで構成されている。ディスプレイ装置１２０は、ユーザがペンなどの座標指示体によりディスプレイ装置１２０上の位置を指し示すことにより、ユーザ動作に対応した画像をディスプレイ装置１２０上に表示することが可能とされている。なお、本実施形態では、感圧式、誘電率感知式といった座標指示体を使用することもできるし、ペンの先端に赤外発光部が設けられた発光電子ペンを座標指示体として使用することもできる。
【００１５】
ユーザの指、入力ペンまたはフェルトペンなどの座標指示体１２３は、複数の撮像装置Ｃ１〜Ｃ４２より、注目物体としてユーザの手、腕、体などの障害物によって遮られない位置から撮影される。撮影された注目物体を含む画像は、情報処理装置１１０へと送付されて、写真測量（三角測量）技術を使用してユーザのディスプレイ装置１２０上での動作を反映した位置座標が取得される。取得された位置座標は、時間的シーケンスとして情報処理装置１１０が管理し、例えば他のディスプレイ装置においてユーザの時系列的動作を表示するために使用される。
【００１６】
本実施形態では、ディスプレイ装置１２０の表示画面を、隣接する領域が互いに重なり合うように領域１２１、１２２に分割する。本実施形態では、領域１２１、１２２は、ディスプレイ装置１２０の高さＬを一辺とする正方形として規定することができる。この理由については詳細に後述する。
【００１７】
また、撮像装置Ｃ１〜Ｃ４は、ディスプレイ装置１２０の紙面上側の縁部に配置されている。撮像装置Ｃ１〜Ｃ４は、領域の端縁部に対応する位置にそれぞれ配置されており、撮像装置Ｃ１、Ｃ３は、領域１２１の両端縁に配置されて、領域１２１の位置座標を取得する。また、撮像装置Ｃ２〜Ｃ４は、領域１２２の両端縁に配置され、領域１２２の位置座標を取得する。なお、図１には、各撮像装置Ｃ１〜Ｃ４の視野範囲を、矢線で示す。
【００１８】
位置座標の取得は、本実施形態では、注目点（以下、単に注目点として参照する。）へと撮像装置のイメージ面から延長した仮想線が、ペアとなる撮像装置の仮想線と交差する位置座標として行われる。取得された位置座標は、情報処理装置１１０により、ディスプレイ装置１２０の実位置座標（以下、世界座標として参照する。）に座標変換される。
【００１９】
図２は、本実施形態の情報処理装置１１０のハードウェア・ブロック２００を示す。情報処理装置１１０は、システムバス２０６により相互接続されたＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、表示装置２０４および通信装置２０５を含んで構成されている。さらに、システムバス２０６には、ＰＣＩ、ＰＣＩＥｘｐｒｅｓｓなどのバスブリッジを介してＩ／Ｏバス２０７が接続されている。また、Ｉ／Ｏバス２０７には、適切なプロトコルを介して、キーボード、マウスなどの入力装置２０８、ＨＤＤといった記憶装置２０９およびＤＶＤドライブなどの外付けドライブ２１０が接続されている。各外付けドライブ２１０は、それぞれユーザ入力、情報記憶および拡張ドライブとの通信を可能としている。
【００２０】
情報処理装置１０が使用するＣＰＵとしては、より具体的には、例えば、ＰＥＮＴＩＵＭ（登録商標）〜ＰＥＮＴＩＵＭ  ＩＶ（登録商標）、ＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＰＯＷＥＲ  ＰＣ（登録商標）、ＭＩＰＳなどを挙げることができる。
【００２１】
使用するオペレーティング・システム（ＯＳ）としては、ＭａｃＯＳ（商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＣＨＲＯＭＥ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）２００Ｘ  Ｓｅｒｖｅｒ、ＵＮＩＸ（登録商標）、ＡＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）またはそれ以外の適切なＯＳを挙げることができる。さらに、情報処理装置１０は、上述したＯＳ上で動作する、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ  Ｃ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）、Ｐｅｒｌ、Ｒｕｂｙなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。
【００２２】
図３は、本実施形態の情報処理装置１１０の機能ブロック３００を示す。図３の機能ブロックは、情報処理装置１１０が、プログラムモードをＲＡＭ２０２に読み込んで、プログラムを実行することにより、情報処理装置１１０のハードウェア資源を各機能ブロックとして機能させることで、情報処理装置１１０上に実現される。なお、図３には、説明の目的で、撮像装置Ｃ１〜Ｃ４についても示した。
【００２３】
情報処理装置１１０は、撮像装置Ｃ１〜Ｃ４からの画像を読取る画像読取部３０１と、対象物検出部３０２とを含んでいる。画像読取部３０１は、画像ＲＡＭおよび適切なインタフェース、例えばＵＳＢなどを使用して撮像装置Ｃ１〜Ｃ４ごとに画像を格納する機能を提供する。対象物検出部３０２は、取得した画像の画像解析する機能を備え、情報処理装置１１０に予め設定した画像パターンを、画像中で検出する機能を提供する。
【００２４】
さらに情報処理装置１１０は、領域判断部３０３と、注目点座標計算部３０４と、三角測量処理部３０５とを含んでいる。領域判断部３０３は、対象物が検出された場合、当該対象物の存在する領域の画素のうち、注目点の特徴を有する画素のイメージ面上での位置座標を計算する。
【００２５】
その後、ペアとして登録されている撮像装置が取得した画像についても同様の処理が適用される。三角測量処理部３０５は、予め決定された校正データを使用して、イメージ面の中心から注目点まで延びる仮想線を計算する。さらに、三角測量処理部３０５は、ペアとして登録された撮像装置から得られた仮想線の交点を計算し、これをディスプレイ装置１２０上の位置座標に線形写像することによって、世界座標を決定する。
【００２６】
本実施形態では、その後の処理は、２系列に別れる。第１の処理系列は、三角測量で決定した値をそのまま世界座標変換部３０８に送り、世界座標３０９として出力する処理系列である。他の系列は、２つの撮像装置のペアから取得した三角測量の値を、領域の重複する領域で重付線形結合することで、世界座標を計算する系列である。図３中、重み計算部３０６が、重複領域内の重み値を計算する機能を提供する。また組合座標計算部３０７が、重付線形結合処理の機能を提供する。重み付けにより計算された世界座標が、世界座標変換部３０８に出力され、世界座標３０９として出力される。
【００２７】
さらに、図３に示した情報処理装置の機能ブロック３００は、校正／座標決定切替部３１０および校正処理部３１１を含んでいる。校正／座標決定切替部３１０は、ユーザが、校正処理を行うことを指示したことに応答して、各撮像装置からのビデオデータを、校正処理部３１１に渡すように信号経路の切替え処理を実行する。なお、この校正／座標決定切替部３１０は、ＣＰＵ２０１の実行するプログラムにより、出力ポートを切り返るゲート回路を使用することによって実現できる。
【００２８】
また、校正処理部３１１は、ユーザが校正処理を要求した場合に、ビデオデータが供給され、注目点の位置座標を、校正点の世界座標で校正し、座標変換のために用いられるホモグラフィー行列の数値要素を決定する機能を有する。決定されたホモグラフィー行列の要素は、情報処理装置３００が保有する適切な不揮発性記憶装置に格納され、世界座標変換部３０８における世界座標の決定に供給される。
【００２９】
図４を使用して本実施形態で領域を正方形として規定する技術的意義を実施形態４００を用いて説明する。ディスプレイ装置１２０の領域４０１は、縦長さＬがディスプレイ装置１２０の表示領域長さに相当する。図４に示す領域は、その横長さがｄとされているものとする。撮像装置Ｃｐの光学中心から相対する頂点まで引いた仮想線と、紙面左右方向に定義されるＸ軸とのなす角をθとする。また、Ｘ軸上での微小誤差をΔＸとする。そして、ΔＸの誤差と領域４０１の紙面上下方向に規定される端縁との交点までの距離をΔＹとし、光学中心から交点を通る仮想線との間の角度差をΔθとする。この条件で以下の関係が成立する。
【００３０】
【数１】
2016153996.tif 000003
【００３１】
上記式（１）に示されるように、ΔＸ、ΔＹは、撮像装置Ｃｐ間の距離ｄに依存する。一方、ΔＸは、ΔＹを小さくすると減少する。そして、ΔＹを最小化するのは、ｄ×ｔａｎ（θ−Δθ）＝Ｌとなる場合であり、Δθ≒０とすると、θ＝４５°のとき、ｄ＝Ｌとなる場合、すなわち正方形であることが示される。
【００３２】
以下、さらに正方形で規定した領域１２１、１２２における第２の処理系列の処理について説明する。図５は、本実施形態の第２の処理系列における重み付け線形結合の処理５００の概念図である。領域１２１は、領域Ａ１、Ａ２として示され、領域１２２は、領域Ａ２とＡ３として示されている。そして領域１２１は、撮像装置Ｃ１、Ｃ２で三角測量される。また、領域１２２は、撮像装置Ｃ２、Ｃ４で撮影される。すなわち、領域１２１と、領域１２２とは異なる光学系によりその世界座標が与えられる。
【００３３】
撮像装置Ｃ１〜Ｃ４が完全に同一の光学的特性を有するものと仮定しても、各撮像装置Ｃ１〜Ｃ４は、物理的に配置される必要があり、このアライメントを完全に一致させることは不可能である。現実には、これ以外に各撮像装置の個体差を考慮しなければならない。この場合、領域１２１から領域１２２へと撮像系が急激に変化すると、その箇所で世界画像の不連続的な変化が発生する。これは、現実的には段差として認識される場合も想定される。
【００３４】
本実施形態における第２の処理は、上述した撮像系の切り替わりによる、世界座標の不連続変化を防止するために、領域１２１と領域１２２との間の遷移領域Ａ２において好ましく適用される処理である。
【００３５】
第２の処理は、領域１２１と領域１２２との間の遷移領域Ａ２において、２つの撮像装置ペアによって決定された２つの位置座標を、領域１２１と領域１２２との間の近さに応じて重み付けし線形結合する。
【００３６】
図５で示す実施形態では、領域１２１と領域１２２は、幅２Ｄ重なり合っていて、遷移領域Ａ２を形成する。本実施形態では、遷移領域の横方向の中心位置をＸ＝０とし、注目点Ｐに関し、撮像装置ペアＣ１Ｃ３で得た位置座標をＰ１、撮像装置ペアＣ２Ｃ４で得た位置座標をＰ２とする。本実施形態では、注目点Ｐの位置座標を、下記式（２）で与える。
【００３７】
【数２】
2016153996.tif 000004
【００３８】
上記式（２）中、Wc1c3N、Wc2c4Nは、それぞれ規格化された重みである。
【００３９】
この重み付けは、以下の通り計算される。点ＰのＸ座標は、この段階では未知変数であるため撮像装置ペアＣ１Ｃ３およびＣ２Ｃ４で決定された位置座標を使用して上記式（２）から決定する。この際、下記式（３）を使用して重みを正規化する。
【００４０】
【数３】
2016153996.tif 000005
【００４１】
上記式（３）中、Wc1c3、Wc2c4は、規格化前の重みであり、図５に記載した関係で与えられる。
【００４２】
また、領域Ａ１の点ＰＡ１は、撮像装置ペアＣ１Ｃ３により三角測量で得た位置座標をそのまま使用し、領域Ａ２の点ＰＡ３は、撮像装置ペアＣ２Ｃ４により三角測量で得た位置座標をそのまま使用する。以上説明した第２の処理を追加することにより、撮像装置ペアの切り替わりによる画像ノイズを低減することが可能となる。
【００４３】
図６は、本実施形態で、第１の処理系列と、第２の処理系列とを使用して世界座標を決定する処理の基本的なフローチャートを示す。図６の処理は、ステップＳ６００から開始し、ステップＳ６０１で注目画像が撮像装置Ｃ３の視野に存在するか否かを判断する。ステップＳ６０１で、注目画像が撮像装置Ｃ３の視野内に無い場合（ｎｏ）、注目画像は、領域Ａ３に有ると判断する。この場合、ステップＳ６１３〜Ｓ６１５の処理を適用し、撮像装置Ｃ２、Ｃ４を使用した三角測量を行い、ステップＳ６０８で世界座標を出力し、ステップＳ６０９で処理を終了する。
【００４４】
一方、ステップＳ６０１の判断が肯定的な結果を返す場合（ｙｅｓ）、ステップＳ６０２で、注目画像が撮像装置Ｃ２の視野内に存在するか否かを判断する。ステップＳ６０２で注目画像が撮像装置Ｃ２の視野内に無い場合（ｎｏ）、注目画像は、領域Ａ１に有ると判断する。この場合には、ステップＳ６１０〜Ｓ６１２の処理を適用し、撮像装置Ｃ１、Ｃ３を使用した三角測量を行い、ステップＳ６０８で世界座標を出力し、ステップＳ６０９で処理を終了する。
【００４５】
以上の処理が、本実施形態の第１処理系列の処理である。一方、ステップＳ６０２の判断が肯定的な結果を返す場合（ｙｅｓ）、注目画像は、撮像装置Ｃ２，Ｃ３の両方で検出されているので、領域Ａ２に存在するものとして第２の処理系列を開始する。第２の処理系列は、ステップＳ６０３から開始し、撮像装置Ｃ１〜Ｃ４の画像情報を取得する。
【００４６】
その後、ステップＳ６０４で各撮像装置の取得した画像から注目点座標を計算し、ステップＳ６０５で、撮像装置ペアＣ１Ｃ３による三角測量および撮像装置ペアＣ２Ｃ４による三角測量を行う。ステップＳ６０６では、注目点座標における撮像装置ペアに関して重み値を計算し、ステップＳ６０７で、撮像装置ペアから得た各注目点座標を重み付け線形結合して世界座標を決定する。その後、ステップＳ６０８で、世界座標を出力してステップＳ６０９で処理を終了する。
【００４７】
図６に示した処理により、本実施形態では、高い精度で、三角測量を可能としつつ、撮像装置ペアの切り替わりによるノイズの発生を改善することを可能としている。
【００４８】
図７は、本実施形態の他の実施形態７００を示す。図７に示した実施形態は、ディスプレイ装置１２０が大型で、複数の撮像装置Ｃ１〜Ｃ８を使用する場合に好ましく使用することができる実施形態である。図７に示す実施形態では、撮像装置Ｃ１〜Ｃ８は、ディスプレイ装置１２０の高さＬを一辺とする正方形でディスプレイ装置１２０の表示領域をカバーするように配置されている。例えば、撮像装置Ｃ１Ｃ３が第１のペアを、撮像装置Ｃ２Ｃ５が第２のペアを、撮像装置Ｃ４Ｃ７が第３のペアを、そして撮像装置Ｃ６Ｃ８が第４のペアを構成するように配置されている。
【００４９】
この配置に対応して、ディスプレイ装置１２０の表示領域は、領域１〜領域７までが画定されている。このとき、領域１、領域３、領域５、領域７は、撮像装置の視野の関係から、図５に示した撮像装置ペアのオーバーラップ領域Ａ２が形成されない配置となる。このため、領域１、領域３、領域５、領域７は、それぞれが含まれる正方形を規定する撮像装置ペアによる三角測量を行うことにより、世界座標を決定する。この関係を下記表１に示す。
【００５０】
なお、領域３、領域５に関しては、重み付け処理を適用しないものの、下記表１により理解されるように、領域３は、領域４のために使用する撮像装置ペアＣ２Ｃ５により世界座標が決定される。また、領域５については、領域６のために使用する撮像装置ペアＣ４Ｃ７により世界座標が決定される。このため、本実施形態では、撮像装置ペアの不連続な切り替わりはなく、領域３，５に対して第２の処理を適用する必然性は生じない。
【００５１】
【表１】
2016153996.tif 000006
【００５２】
以上の通り、本発明によれば、正確、且つ滑らかに座標指示器の座標を算出できるように、大規模なタッチ・手書きシステムに複数の撮影デバイスを設置し、ディスプレイ装置上での位置座標を算出する、座標取得システム、ディスプレイ装置、座標取得方法およびプログラムを提供することができる。なお、本実施形態では、ディスプレイ装置１２０の表示面上の座標として２次元座標系を使用して説明した。しかしながら、本実施形態は、三角測量で決定される、ディスプレイ装置の表示面からの高さに関しても同様の処理を適用することが可能であり、３次元世界座標を取得するためにも使用することができる。
【００５３】
＜セクション２：校正方法＞
以下、本実施形態のうち、世界座標の校正方法について説明する。本実施形態は、正方形の領域の一辺に並んだ角に配置された２台のカメラを使用して、イメージ面上での位置座標と世界座標との間の校正（座標変換）を行う。以下の処理は、図３の世界座標変換部３０８が、三角測量された位置座標から世界座標を計算するため、システム動作開始時またはシステム設定時に行われる。取得された校正情報は、ＲＯＭ、ＮＶＲＡＭ、ハードディスク、ＳＳＤなどの不揮発性記憶装置に格納され、システムの動作時、ＲＡＭ２０２に読み込まれ、ＣＰＵ２０１による処理に提供される。
【００５４】
（１）基本定式化
本実施形態の座標計算における座標変換行列を下記式（４）のホモグラフィー行列で定式化する。
【００５５】
【数４】
2016153996.tif 000007
上記式（４）中、λは、光学系に依存する比例定数である。
【００５６】
上記式（４）を、λについて、ＨｉｊおよびXworld、Yworldで解いた後、Ｈｉｊを変数とする行列形式で定式化すると、下記式（５）が得られる。
【００５７】
【数５】
2016153996.tif 000008
【００５８】
上記式（５）中、Ｈｉｊは、校正を行うために実測値から決定するべき変数であり、このうち、Ｈ３３は、スケール変数として、通常１に設定し、８変数として上記式（５）からＨｉｊを決定する。式（５）の行列形式からは、たかだか４の実測値が与えられれば、８変数の連立１次行列が解ける。また、最小二乗法を使用してもＨ１１〜Ｈ３２までの８変数を決定することができる。
【００５９】
このため、最低４の実測値を求める必要がある。本実施形態では、図１に示すように、領域を分割して、撮像装置からの画像を用い、各領域内における世界座標を求め、重複した領域では、ペアとなっていない撮像装置を使用して世界座標を決定する。このため、校正情報は、各正方形の他、撮像装置が見込む隣接する正方形領域まで延長して、校正点を決定する。
【００６０】
図９に、本実施形態で使用する校正点の配置の最も基本的な実施形態を示す。図９に示した実施形態は、正方形の領域１２１および１２２ごとに４の校正点を配置する。このとき、撮像装置Ｃ１、Ｃ４は、校正点（１〜６）で校正を行い、撮像装置Ｃ２は、見込み方向にある校正点（２，３，５，６）で校正を行い、撮像装置Ｃ３は、校正点（１，２，４，５）で校正を行う。図９のように、複数の領域にまたがった校正点を使用して各撮像装置の校正を行うことにより、領域が切り替わる際の画像上の段差を生成する可能性を低下させることができる。
【００６１】
図１０は、本実施形態の校正点を、さらに増加させた場合の実施形態を示す。図１０（ａ）は、図９の実施形態に対して中央部の校正点（４，５，６）が追加された実施形態であり、図１０（ｂ）は、図１０（ａ）に対し、横方向に２列分（６，７，８，９，１０）、（１６，１７，１８，１９，２０）、および縦に２列分（２，７，１２，１７，２２）、（４，９，１４，１９，２４）を追加した実施形態である。校正点が増加することで、座標決定精度が向上する。本実施形態では、校正点を見込む撮像装置Ｃ１〜Ｃ４は、校正モードにあって、視野内に注目点が認識できたときに順次、校正点のイメージ面上での位置座標を計算し蓄積する。このため、校正処理を各撮像装置ごとに並列的に実行できるので、校正点の増加が校正処理に与える影響は、リニアではなく、効率的に校正処理を行うことができる。
【００６２】
なお、ディスプレイ装置上の校正点は、例えば、微小な「＋」マークなどを液晶ディスプレイ上に表示させるなどの方法により指定することができる。また、他の実施形態では図９および図１０に示すような数字入りマークをディスプレイ装置の校正点の位置に表示させることができる。後者の実施形態の場合、校正点のディスプレイ装置上の位置が、数字により認識できるので、校正点の位置座標と、世界座標の対応付けを直接的に行うことができ、効率的な校正処理が可能となる。
【００６３】
校正点の位置座標が計算されると、上記式（５）に最小二乗法を適用し、ホモグラフィー行列の要素を数値計算する。このときに使用することができる方法としては、特に限定はないが、周知技術の１つとして、「最小二乗法による実験データ解析」、ＵＰ応用数学選書７、中川徹ら、東京大学出版会、１９８４年９月１０日、第３刷に記載の方法を使用することができる。
【００６４】
（２）注目点の世界座標の計算
以下、特定の撮像装置、例えばＣ１により、世界座標を計算する処理について説明する。撮像装置Ｃ１の位置座標と、世界座標とを座標変換するための変換行列、すなわち、ホモグラフィー行列を、以下、camera１Ｈｉｊとする。ホモグラフィー行列camera1Ｈｉｊは、すでに、決定されている。
【００６５】
【数６】
2016153996.tif 000009
【００６６】
ここで、式（４）からλを消去し（Xworld、Yworld）の列ベクトルについて解くと、下記式（７）を得る。
【００６７】
【数７】
2016153996.tif 000010
【００６８】
（ｘ、ｙ）は、注目点のイメージ面上での位置座標であり、Ｈｉｊとして、式（６）で与えられたcamera1Ｈｉｊの要素を使用して数値計算することにより、目的とする世界座標（Xworld、Yworld）を得ることができる。
【００６９】
図１１は、本実施形態校正処理部３１１の機能ブロック図を示す。校正処理部３１１は、校正点タッチ画像取得部１１０１と、画像処理部１１０２と、ホモグラフィー行列の要素を計算するパラメータ計算部１１０４とを含んで校正される。これらのうち、校正点タッチ画像取得部１１０１および画像処理部１１０２は、図３に示した情報処理装置３００の画像読取部３０１および注目点座標計算部３０４の機能を共用する。
【００７０】
パラメータ計算部１１０４は、式（４）〜式（７）で説明したアルゴリズムに従って、ホモグラフィー行列の要素を数値計算する。この際、図２に示したハードウェア資源の、例えばＲＯＭ２０３、記憶装置２０９、またはＮＶＲＡＭなどに記憶させた校正点の世界座標を読み出して、式（５）に最小二乗法を適用し、パラメータ決定を実行する。決定されたホモグラフィー行列camera１Ｈｉｊ〜cameraNＨｉｊ１１０５は、適切な不揮発性の記憶装置内に格納され、以後の世界座標決定処理において要求された時に、ＲＡＭ２０２内に読み出され、処理のために使用される。
【００７１】
図１２は、本実施形態の校正処理のフローチャートである。図１２の処理は、ステップＳ１２００から開始し、ユーザにより、ステップＳ１２０１で校正動作が指示されたか否かを判断する。校正動作が指示されていない場合（ｎｏ）、通常の注目点の位置座標を取得する処理を行うため処理をステップＳ１２１０で、処理をステップＳ６００に分岐させる。
【００７２】
一方、ステップＳ１２０１で、ユーザが校正処理を指定したと判断した場合（ｙｅｓ）、ステップＳ１２０２でユーザがディスプレイ装置上に割り当てられた校正点をタッチしたことを検出する。なお、ユーザによる校正点のタッチがなされたことを検出するのは、例えば、画像中の座標指示体１２３の先端と、校正点との間の画像中での距離に対し、微少量εを設定しておく。そして、座標指示体１２３の先端と、校正点との間の画像上での距離Δが、Δ＜＜εとなった場合にタッチ動作がなされたものとして決定することができる。当該判定は、世界座標を取得するのではなく、同一の画像中での距離差を使用できるので、ホモグラフィー行列が決定されていなくとも実行できる。
【００７３】
ステップＳ１２０３では、タッチ動作と認識された時点での画像を取得し、ステップＳ１２０４で画像処理部１１０２を呼び出し、撮像装置により取得した注目点のイメージ面上での位置座標を取得する。この処理は、ステップＳ１２０２でタッチ動作を検出した撮像装置が独立してかつ並列的に実行する。このため、本実施形態では、校正点が増加しても校正点の増加にリニアな関係で校正処理時間は増加すること無く、ユーザの実感としては校正点のタッチを終了したときに校正処理が終了するという使用感を与えることができる。
【００７４】
ステップＳ１２０５では、校正に必要な校正点の位置座標を取得したか否かを判断する。ステップＳ１２０５の判断がまだ必要数に達していない場合（ｎｏ）、処理をステップＳ１２０２に戻し、ステップＳ１２０５の判断が肯定的な結果を返すまで処理を反復させる。
【００７５】
一方、ステップＳ１２０５の判断が肯定的な結果を返す場合（ｙｅｓ）、ステップＳ１２０６で関連する校正点の世界座標を、不揮発性記憶装置から読み出す。その後、ステップＳ１２０７で各撮像装置のホモグラフィー行列の要素ＣＨｉｊを数値的に決定し、ステップＳ１２０８で計算されたホモグラフィー行列の要素をＮＶＲＡＭなどの不揮発性記憶装置に格納する。その後、処理をステップＳ１２０９で終了させる。
【００７６】
なお、図１２において、校正に必要な校正点の画像とは、「特定の撮像装置に関し校正に必要」という技術的意義を有し、各撮像装置ごとに図１２の処理を並列的に実行させることが好ましい。例えば、特定の用途に応じて、１の撮像装置について、たかだか４の校正点の情報が得られた段階で、ホモグラフィー行列の要素を計算させることができる。また要求される精度によって、さらに多数点を蓄積してからホモグラフィー行列を計算させることもできる。
【００７７】
なお、他の実施形態では、図１２の処理を、全校正点の情報を取得してからホモグラフィー行列の計算を実行させる校正とすることもできる。後者の実施形態の場合、校正点の数を予定できるため、より高精度で安定した世界座標の決定が可能となる。
【００７８】
なお、これまで、例示的な実施形態として、撮像装置をＣ１〜Ｃ４として説明したが、本実施形態は、ディスプレイ装置のサイズおよび撮像装置の数には限定されず、ディスプレイ装置の領域にわたるさらに多数の撮像装置の校正処理も可能である。また撮像装置や校正点の増加にリニアな関係で校正処理時間を増大させること無く効率的な校正処理を適用することができる。
【００７９】
これまで本発明を、実施形態をもって説明してきたが、本発明は、実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００８０】
１００    ：座標取得システム
１１０    ：情報処理装置
１２０    ：ディスプレイ装置
１２１    ：領域
１２２    ：領域
１２３    ：座標指示体
２００    ：ブロック
２０１    ：ＣＰＵ
２０２    ：ＲＡＭ
２０３    ：ＲＯＭ
２０４    ：表示装置
２０５    ：通信装置
２０６    ：システムバス
２０７    ：Ｉ／Ｏバス
２０８    ：入力装置
２０９    ：記憶装置
２１０    ：外付けドライブ
３００    ：機能ブロック
３０１    ：画像読取部
３０２    ：対象物検出部
３０３    ：領域判断部
３０４    ：注目点座標計算部
３０５    ：三角測量処理部
３０６    ：重み計算部
３０７    ：組合座標計算部
３０８    ：世界座標変換部
３０９    ：世界座標
３１０    ：校正／座標決定切替部
３１１    ：校正処理部
【先行技術文献】
【特許文献】
【００８１】
【特許文献１】特開２００２−２６８８０７号公報
【特許文献２】特開２００７−５３６６５２号公報
【特許文献３】特開２００７−５３６６５２号公報
【図１】
2016153996.tif 000011
【図２】
2016153996.tif 000012
【図３】
2016153996.tif 000013
【図４】
2016153996.tif 000014
【図５】
2016153996.tif 000015
【図６】
2016153996.tif 000016
【図７】
2016153996.tif 000017
【図８】
2016153996.tif 000018
【図９】
2016153996.tif 000019
【図１０】
2016153996.tif 000020
【図１１】
2016153996.tif 000021
【図１２】
2016153996.tif 000022