(57)【要約】【課題】必要最小限の大きさの入力手段を用いて、操作入力情報を入力する際の操作性を向上させることを可能とする情報処理装置を提供する。【解決手段】タッチマット２００への操作入力情報を操作領域３００に表示する情報処理装置１００を設ける。情報処理装置１００が、タッチマット２００に操作入力された操作入力情報を取得する。撮像センサ１０９が、操作領域３００を撮影する。情報処理装置１００が、撮影画像に基づいて、操作領域３００に置かれたタッチマット２００を検出する。情報処理装置１００が、検出されたタッチマット２００が置かれた操作領域上の位置を算出し、操作入力情報を操作領域上の位置に紐付けて管理する。そして、情報処理装置１００が、操作入力情報を上記操作入力情報に紐付く操作領域上の位置に表示する。【選択図】図１
2017187925.tif 000002
【特許請求の範囲】
【請求項１】
入力手段への操作入力情報を取得する取得手段と、
操作領域を撮影する撮影手段と、
前記撮影により得られる撮影画像に基づいて、前記操作領域に置かれた前記入力手段を検出する検出手段と、
前記検出された入力手段が置かれた前記操作領域上の位置を算出する算出手段と、
前記取得された操作入力情報を前記算出された前記操作領域上の位置に紐付けて管理する管理手段と、
前記操作入力情報を当該操作入力情報に紐付く前記操作領域上の位置に表示する表示制御手段とを備える
ことを特徴とする情報処理装置。
【請求項２】
前記管理手段は、前記操作入力情報を前記入力手段が置かれた前記操作領域上の位置の座標に紐付けて管理する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記管理手段は、前記操作入力情報を前記入力手段が置かれた前記操作領域上の位置に対応するコンテンツに紐付けて管理する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記管理手段は、前記検出された入力手段が置かれた前記操作領域上の位置が所定領域内である場合に、前記操作入力情報を有効とする
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記検出された入力手段が置かれた前記操作領域上の位置が所定領域内である場合に、前記操作入力情報を有効とすることを示す情報を表示する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記管理手段は、前記検出された入力手段が置かれた前記操作領域上の位置が所定領域外である場合に、前記操作入力情報を無効とする
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記管理手段は、前記検出された入力手段の位置が静止していない場合は、前記操作入力情報を無効とする
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記入力手段は、マーカーを有しており、
前記検出手段は、前記撮影画像から前記マーカーを検出することによって、前記入力手段を検出する
ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記算出手段は、
前記検出された入力手段が置かれた前記操作領域上の位置と、前記入力手段の傾きとに基づいて、前記入力手段における座標を前記操作領域における座標に変換するパラメータを決定し、
前記決定されたパラメータを用いて、前記入力手段への操作入力座標を前記操作領域における座標に変換し、
前記管理手段は、前記変換により得られた前記操作領域における座標を前記操作入力情報として管理する
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記表示制御手段は、前記管理手段によって管理されている操作入力情報を当該操作入力情報に紐付く前記操作領域上の位置に投影して表示する
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記入力手段は、タッチ入力機能を有するデバイスである
ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
デバイスへの操作入力情報を操作領域に表示するシステムであって、
前記デバイスに操作入力された操作入力情報を取得する取得手段と、
操作領域を撮影する撮影手段と、
前記撮影により得られる撮影画像に基づいて、前記操作領域に置かれた前記デバイスを検出する検出手段と、
前記検出されたデバイスが置かれた前記操作領域上の位置を算出する算出手段と、
前記取得された操作入力情報を前記算出された前記操作領域上の位置に紐付けて管理する管理手段とを備える
ことを特徴とする情報処理システム。
【請求項１３】
前記デバイスが、前記管理手段によって管理されている操作入力情報を前記デバイスが内蔵するディスプレイに表示する
ことを特徴とする請求項１２に記載の情報処理システム。
【請求項１４】
入力手段への操作入力情報を取得する工程と、
操作領域を撮影する工程と、
前記撮影により得られる撮影画像に基づいて、前記操作領域に置かれた前記入力手段を検出する工程と、
前記検出された入力手段が置かれた前記操作領域上の位置を算出する工程と、
前記取得された操作入力情報を前記算出された前記操作領域上の位置に紐付けて管理する工程と、
前記操作入力情報を当該操作入力情報に紐付く前記操作領域上の位置に表示する工程とを備える
ことを特徴とする表示制御方法。
【請求項１５】
コンピュータを請求項１乃至１１のいずれか１項に記載の情報処理装置が備える各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
ユーザの操作領域（机上）に、プロジェクタでＵＩ映像をコンテンツとして投影し、ユーザの手の動きやタッチ入力式のデバイスの動きを撮像センサで撮影し、撮影画像に基づき、ＵＩ映像に対するジェスチャー操作として認識する情報処理装置がある。
【０００３】
撮像センサによるジェスチャー操作の認識精度は、スマートフォンなどに採用されているタッチセンサと比べると良くない。したがって、例えば、ユーザが手書きの文字をＵＩに入力したいと欲し、文字描画のジェスチャー操作を行ったとしても、認識誤差が大きいので、思うように手書き文字を入力できず、ユーザにストレスを与える。
【０００４】
特許文献１は、撮像センサによる撮影画像から空中のジェスチャー操作を認識し、タッチマットの接触から机上面のジェスチャー操作を認識するプロジェクション捕捉システムを開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２３９４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１が開示するプロジェクション捕捉システムでは、ユーザの操作領域すなわちプロジェクタでＵＩ映像を投影する領域全てをカバーする面積の大きなタッチマットを必要とする。したがって、デバイスの可搬性を大幅に損なうこととなる。本発明は、入力手段への操作入力に応じた表示を行う装置であって、必要最小限の大きさの入力手段を用いて、操作入力の際の操作性を向上させることを可能とする情報処理装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
入力手段への操作入力情報を取得する取得手段と、操作領域を撮影する撮影手段と、前記撮影により得られる撮影画像に基づいて、前記操作領域に置かれた前記入力手段を検出する検出手段と、前記検出された入力手段が置かれた前記操作領域上の位置を算出する算出手段と、前記取得された操作入力情報を前記算出された前記操作領域上の位置に紐付けて管理する管理手段と、前記操作入力情報を当該操作入力情報に紐付く前記操作領域上の位置に表示する表示制御手段とを備える。
【発明の効果】
【０００８】
本実施形態の情報処理装置によれば、必要最小限の大きさの入力手段を用いて、操作入力の際の操作性を向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】情報処理システムの構成を示す図である。
【図２】タッチマットの外観の一例を示す図である。
【図３】情報処理装置のハードウェア構成を示す図である。
【図４】タッチマットのハードウェア構成を示す図である。
【図５】実施例１の情報処理システムの動作を説明する図である。
【図６】実施例１の動作処理を説明するフローチャートである。
【図７】望ましくない操作入力が行われた場合の処理を説明する図である。
【図８】実施例２の情報処理システムの動作を説明する図である。
【図９】実施例２の動作処理を説明するフローチャートである。
【図１０】筆跡描画処理を説明するフローチャートである。
【図１１】筆跡描画処理の他の例を説明するフローチャートである。
【図１２】変換パラメータの算出を説明する図である。
【図１３】タッチマットへの操作入力座標情報のデータ形式の一例である。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の情報処理システムの構成を示す図である。
図１に示す情報処理システムは、情報処理装置１００とタッチマット２００とを備える。情報処理装置１００は、プロジェクタ１０８と撮像センサ１０９とを備える。プロジェクタ１０８は、情報処理装置１００の筐体である支柱によって、机上上空に固定されている。撮像センサ１０９は、例えば、赤外線エミッタ内蔵撮像センサである。
【００１１】
操作領域３００は、プロジェクタ１０８が映像の投影を行う領域である。操作領域３００にＵＩコンテンツが表示され、ユーザは、タッチマット２００を用いて操作入力（タッチ入力）を行う。撮像センサ１０９は、操作領域３００を撮影することができる。
【００１２】
タッチマット２００は、タッチ入力機能を有するデバイスであり、ユーザからの指やスタイラスによる操作入力を受け付ける入力手段として機能する。タッチマット２００は、操作領域３００よりも小さく、ユーザが机上の任意の場所に置いて使用する。タッチマット２００へ操作入力された情報（操作入力情報）は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によって、情報処理装置１００へと送信される。これにより、情報処理装置１００が備えるＣＰＵ１０１（図３）が、操作入力情報を取得する。
【００１３】
図２は、タッチマットの外観の一例を示す図である。
タッチマット２００は、様々な方式のものが製品化されているが、本実施形態では他の方式よりも操作感に優れる静電容量式タッチマットを用いる。ユーザが、文字入力操作を行う際には静電対応のペン（スタイラス）を使用する。タッチマット２００の操作面４隅にはマーカー４００が印刷されている。情報処理装置１００が備えるＣＰＵ１０１（図３）は、赤外線エミッタ内蔵撮像センサ１０９によって得られる撮影画像内のマーカー４００を検索することで、操作領域３００に置かれたタッチマット２００を検出する。
【００１４】
図３は、本実施形態の情報処理装置のハードウェア構成を示す図である。
情報処理装置１００は、コントローラ１２０、プロジェクタ１０８、赤外線エミッタ内蔵撮像センサ１０９、無線通信アンテナ１１０を備える。
【００１５】
内部バス１１１は、メモリコントローラ１０３、Ｉ／Ｏコントローラ１０５、無線通信コントローラ１０６間で情報の伝達が出来るよう、電気信号を送受信する。メモリコントローラ１０３は、メインメモリ１０４に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ１０５は、ＨＤＤ１０７、プロジェクタ１０８、赤外線エミッタ内蔵撮像センサ１０９、内部バス０１１１を介して、接続している処理部との情報の送受信を行う。
【００１６】
グラフィックコントローラ１０２は、プロジェクタ１０８による投影を制御する。無線通信コントローラ１０６は、無線通信アンテナ１１０経由で外部機器と情報の授受を行えるよう、無線通信処理を制御する。ＨＤＤ１０７には、ブートローダプログラム及び投影装置制御プログラムが格納されている。メインメモリ１０４は、揮発性メモリであり、高速アクセスが可能である。したがって、ＨＤＤ１０７に記憶されている情報や一時的に使用する情報は、メインメモリ１０４に格納される。
【００１７】
情報処理装置１００の電源投入時には、ＣＰＵ１０１が、ＨＤＤ１０７に格納されているブートローダプログラムを読み出して実行し、ＨＤＤ１０７に格納されている情報処理装置の制御プログラムを読み出し、メインメモリ１０４に格納する。そして、ＣＰＵ０１０１が、メインメモリ１０４に格納されている制御プログラムを実行し、情報処理装置１００の有する各機能を実行する。また、ＣＰＵ１０１が、制御プログラムを実行することで、撮像センサ１０９で撮影した映像の解析、プロジェクタ１０８による情報の投影、無線通信アンテナ１１０で外部機器との情報授受を行うことによる外部機器との連携動作等が実行される。以上が、コントローラ１２０の構成についての説明である。
【００１８】
情報処理装置１００に設けられた赤外線エミッタ内蔵撮像センサ１０９は、撮影した撮像画像をＲＧＢ輝度情報のデジタル信号に変換する。また、赤外線エミッタ内蔵撮像センサ１０９は、赤外線の撮像素子を備える。赤外線エミッタ内蔵撮像センサ１０９は、三次元計測を行う際に、撮像センサに内蔵された赤外線エミッタから赤外線を投射し、撮像センサでその反射光を撮影する。そして、赤外線エミッタ内蔵撮像センサ１０９は、赤外線投射時刻と反射光の撮影時刻とから、撮像センサと被写体との距離を算出する。この距離算出方法は、ＴＯＦ法（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ法）として広く知られている技術であるので、詳細な説明は割愛する。赤外線エミッタ内蔵撮像センサ１０９は、Ｉ／Ｏコントローラ０１０５との情報の送受信を行う。
【００１９】
情報処理装置１００に設けられたプロジェクタ１０８は、ユーザに視覚的に知らせるべき情報を可視光により投影する。プロジェクタ１０８は、Ｉ／Ｏコントローラ１０５及びグラフィックコントローラ１０２との情報の送受信を行う。
【００２０】
図４は、タッチマットのハードウェア構成を示す図である。
タッチマット２００は、ＣＰＵ２０１乃至内部バス２０９を備える。内部バス２０９は、メモリコントローラ２０３、Ｉ／Ｏコントローラ２０５、無線通信コントローラ２０６間で情報の伝達が出来るよう、電気信号を送受信する。
【００２１】
ＣＰＵ２０１は、タッチマット２００全体を制御する。具体的には、ＣＰＵ２０１は、ＲＯＭ２０２に格納されているタッチマットの制御プログラムを実行し、タッチマット２００の有する各機能を実行する。また、ＣＰＵ２０１が、制御プログラムを実行することで、静電タッチセンサ２０７で検出したユーザの操作入力をタッチマット座標系の座標値に変換する。また、ＣＰＵ２０１は、無線通信アンテナ２０８を通じて、外部機器との情報授受を行うことで、外部機器との連携動作等を行う。
【００２２】
メモリコントローラ２０３は、メインメモリ２０４に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ２０５は、静電タッチセンサ２０７、内部バス２０９を介して接続している処理部との情報の送受信を行う。無線通信コントローラ２０６は、無線通信アンテナ２０８経由で外部機器と情報の授受を行えるよう、無線通信処理を制御する。
【００２３】
ＲＯＭ２０２には、タッチマットの制御プログラムが格納されている。メインメモリ２０４は、揮発性メモリで高速アクセスが可能な記憶手段である。一時的に使用する情報は、メインメモリ２０４に格納される。タッチマット２００は、静電タッチセンサ２０７を備えている。静電タッチセンサ２０７は、ユーザの指や、ユーザが持つスタイラスと静電タッチセンサ０２０７内の電極との容量結合により容量値の大きくなった電極の場所を観測することで、タッチされた位置を検出する。
【００２４】
（実施例１）
実施例１の情報処理システムでは、ユーザが、机上にＵＩコンテンツとして表示されている入力欄上にタッチマット２００を置いて、スタイラスで入力操作を行うと、その入力欄に情報が入力される。
【００２５】
図５は、実施例１の情報処理システムの動作を説明する図である。
図５（Ａ）乃至図５（Ｆ）は、情報処理装置１００が、投影、撮影する操作領域３００を含む机上の状態を、時間の経過順に示す。図５（Ａ）は、情報処理装置１００がＵＩコンテンツを投影している状態を示す。表示されているＵＩコンテンツとしては、ユーザの名前を入力するための「名前」欄と、生年月日を入力するための「生年月日」欄がある。
【００２６】
図５（Ｂ）は、ユーザがタッチマット２００を「名前」欄に置いた状態を示す。情報処理装置１００は、「名前」欄の枠を強調表示する。これにより、「名前」欄への入力が有効な状態になっていることをユーザに視覚的に伝える。
【００２７】
図５（Ｃ）は、ユーザがスタイラスを用いてタッチマット２００に「佐藤」という文字を記載した状態を示す。情報処理装置１００は、タッチマット２００が置かれている「名前」欄内に、ユーザにより入力された「佐藤」という文字の筆跡をプロジェクタ１０８で投影する。
【００２８】
図５（Ｄ）は、ユーザが「名前」欄に置かれていたタッチマット２００を取って「生年月日」欄に置いた状態を示す。情報処理装置１００が、「名前」欄の枠の強調表示を中止し、「生年月日」欄の枠を強調表示する。これにより、「生年月日」欄への入力が行える状態になっていることをユーザに視覚的に伝える。情報処理装置１００は、「名前」欄には「佐藤」という文字の筆跡を投影し続ける。
【００２９】
図５（Ｅ）は、ユーザがスタイラスを用いてタッチマット２００に「１９７５／１／２３」という文字を記載した状態を示す。情報処理装置１００が、タッチマット２００が置かれている「生年月日」欄内に、ユーザにより入力された「１９７５／１／２３」という文字の筆跡をプロジェクタ１０８で投影する。図５（Ｆ）は、ユーザが「生年月日」欄に置かれていたタッチマット２００を取り去った状態を示す。情報処理装置１００が「生年月日」欄の枠の強調表示を中止し、「１９７５／１／２３」という文字の筆跡を投影し続ける。
【００３０】
図６は、実施例１の動作処理を説明するフローチャートである。
以下の説明では、特に説明のない限り、情報処理装置１００による処理は、ＣＰＵ１０１（図３）による制御プログラムの実行により実現される。また、タッチマット２００による処理は、ＣＰＵ２０１による制御により実現される。
【００３１】
Ｓ６０１において、情報処理装置１００が、赤外線エミッタで机上に赤外光を投射し、撮像センサで撮影し、Ｓ６０２に進む。Ｓ６０２において、情報処理装置１００が、ＴＯＦ法による計測を行い、机上の三次元座標情報を生成する。続いて、Ｓ６０３において、情報処理装置１００が、撮像中のタッチマット２００のマーカー４００を検索する。Ｓ６０４において、情報処理装置１００が、マーカー４００を検出したかを判断する。マーカー４００を検出した場合は、処理がＳ６０５に進む。マーカー４００を検出していない場合は、処理がＳ６０１に戻る。図２に示すように、タッチマット２００の４隅にマーカー４００が４つあるが、これはタッチマット２００上に障害物が置かれてマーカー４００が隠れてしまうリスクを減らすためである。１つのマーカーだけでもタッチマット２００の位置の検出は可能であるので、少なくとも１つのマーカーが検出できれば良い。
【００３２】
Ｓ６０５において、情報処理装置１００が、撮像センサの取り付け位置と計測したタッチマット２００のマーカー４００までの距離から三角測量を行い、タッチマット２００が置かれた操作領域上の位置、すなわち操作領域座標系における座標値を算出する。そして、処理がＳ６０６に進む。
【００３３】
次に、Ｓ６０６において、情報処理装置１００が、タッチマット２００の位置が静止しているかを判断する。具体的には、情報処理装置１００は、今回Ｓ０６０５で算出したタッチマット２００の位置と、前回Ｓ６０５で算出した位置を比較し、差分が所定値以上ある場合は、タッチマット２００の位置が静止していないと判断する。情報処理装置１００は、上記差分が所定値以上ない場合は、タッチマット２００の位置が静止していると判断する。タッチマット２００の位置が静止している場合は、処理がＳ６０７に進む。タッチマット２００の位置が静止していない場合は、処理がＳ６１０に進む。
【００３４】
Ｓ６０７において、情報処理装置１００が、タッチマット２００が所定領域内に存在するかを判断する。タッチマット２００が所定領域内に存在する場合は、処理がＳ６０８に進む。タッチマット２００が所定領域内に存在しない場合は、処理がＳ６１０に進む。本実施例では、所定領域は、操作領域内のＵＩコンテンツを表示する領域とする。つまり、「名前」欄内と「生年月日」欄内が所定領域であり、これら以外の領域は、所定領域外である。所定領域は、操作領域３００そのものとしても良いし、全ＵＩコンテンツを包含する領域としてもよく、本実施例で説明した例に限定されない。
【００３５】
Ｓ６０８において、情報処理装置１００が、タッチマット２００の中心に最も近いＵＩコンテンツを検索し、検索したＵＩコンテンツの領域をプロジェクタ１０８でハイライト表示する。つまり、ＣＰＵ１０１は、ＵＩコンテンツの領域においてタッチマット２００に入力される操作入力情報を有効とすることを示す情報を表示する。そして、処理がＳ６０９に進む。本実施例では、情報処理装置１００は、ハイライト表示として、欄の枠を強調表示しているが、欄全体の色を変えても良いし、入力可能であることを示す文言を表示しても良く、本実施例で説明した例に限定されない。
【００３６】
Ｓ６０９において、タッチマット２００が、ユーザの操作によって受け付けた操作入力情報を、タッチマット座標系の座標情報に変換し、タッチマット２００への操作入力座標情報として、無線通信により情報処理装置１００に送信する。情報処理装置１００が備えるＣＰＵ１０１が、受信した操作入力座標情報を、タッチマット２００が置かれた操作領域上の位置に紐づけて記憶して管理する。
【００３７】
図１３は、タッチマットへの操作入力座標情報のデータ形式の一例を示す図である。
本実施例では、例えば、図１３（Ａ）に示すように、操作領域座標系におけるタッチマット２００の置かれた位置座標と、タッチマット２００への操作入力情報とを紐づけて管理している。タッチマット２００への操作入力情報とは、例えば、ユーザがタッチマット２００上で「佐藤」という文字を書いた場合は、タッチマット座標系における「佐藤」の筆跡を表す座標情報である。図１３（Ｂ）に示すように、図６のＳ６０８で検索されたＵＩコンテンツ、すなわちタッチマット２００が置かれた操作領域上の位置に対応するＵＩコンテンツと、タッチマット２００への操作入力情報を紐づけて管理するようにしても良い。
【００３８】
図６のＳ６０９において、情報処理装置１００は、さらに、Ｓ６０８で求めたＵＩコンテンツ領域における、タッチマット２００への操作入力座標情報が示す位置に、プロジェクタ１０８で操作入力跡を描画する。つまり、ＣＰＵ１０１が、タッチマット２００への操作入力情報を、当該操作入力情報に紐付く操作領域上の位置に表示する表示制御手段として機能する。これにより、ユーザは自分が書いた文字を確認することができる。本実施例では、操作入力跡をそのまま表示しているが、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）技術を導入することで、操作入力跡から入力された文字を認識した結果を表示するようにしても良い。
【００３９】
Ｓ６１０において、プロジェクタ１０８でハイライト表示しているＵＩコンテンツがある場合は、ＣＰＵ１０１が、操作入力情報を無効とする。そして、ＣＰＵ１０１は、ハイライト表示を消し、Ｓ６０１に戻る。これにより、ユーザにどの入力欄も入力が行えない状態であることを視覚的に認識させる。
【００４０】
図７は、タッチパネルへ望ましくない操作入力が行われた場合の処理を説明する図である。
図７（Ａ）では、タッチマット２００上に障害物が置かれ、障害物とユーザの手でタッチマット２００のマーカー４００が隠れてしまっている状態を示す。この状態では、情報処理装置１００は、タッチマット２００のマーカー４００を認識できないので、タッチマット２００がどの位置に置かれているかを認識することができない。したがって、この状態におけるタッチマット２００への操作入力は、ユーザの意図とは異なる入力欄への操作入力である可能性がある。したがって、情報処理装置１００は、タッチマット２００への操作入力座標情報を無効とする。
【００４１】
図７（Ｂ）は、タッチマット２００がＵＩコンテンツを表示している領域の外側に存在する状態を示す。情報処理装置１００が、タッチマット２００のマーカー４００を認識できていても、タッチマットがどのＵＩコンテンツの内側にも置かれていない状態におけるタッチマット２００への操作入力は、ユーザの意図とは異なる入力欄への操作入力である可能性がある。したがって、情報処理装置１００は、タッチマット２００への操作入力座標情報を無効とする。
【００４２】
図７（Ｃ）は、タッチマット２００へのユーザの操作入力中に、何らかの要因でタッチマット２００が元の場所からずれた場所に動いてしまった状態を示す。この状態におけるタッチマット２００への操作入力は、ユーザの意図とは異なる入力内容になる可能性がある。したがって、情報処理装置１００は、タッチマット２００への操作入力座標情報を無効とする。
【００４３】
以上説明した実施例１の情報処理システムによれば、ユーザが入力したいと欲する入力欄にタッチマット２００を置いてスタイラスで入力操作を行うと、その入力欄に情報を入力することができる。したがって、ユーザは、必要最小限の大きさのタッチマットを用いて、直感的なＵＩ操作をすることが可能となる。
【００４４】
（実施例２）
実施例２の情報処理システムは、ユーザが入力欄の中のスタイラスで入力した箇所に、正確に情報を入力する。
【００４５】
図８は、実施例２の情報処理システムの動作を説明する図である。
図８（Ａ）は、情報処理装置１００が投影、撮影する操作領域３００を含む机上の状態を、時間の経過順に示す。図８（Ｂ）は、ユーザがタッチマット２００を「名前」欄に置いた状態を示す。タッチマット２００は、「名前」欄に対して傾いた状態で置かれている。情報処理装置１００が、「名前」欄の枠を強調表示し、「名前」欄への入力が行える状態になっていることをユーザに視覚的に伝える。
【００４６】
図８（Ｂ）は、ユーザがスタイラスを用いてタッチマット２００に「佐藤」という文字を記載した状態を示す。情報処理装置１００は、ユーザがあたかも鉛筆で文字を書いたかのように、ユーザがタッチマット２００上に書いた通りに、「佐藤」という文字の筆跡をプロジェクタ１０８で投影する。
【００４７】
図９は、実施例２の動作処理を説明するフローチャートである。
図９のＳ９０１乃至Ｓ９０８は、図６のＳ６０１乃至Ｓ６０８と同様である。また、図９のＳ９１３は、図６のＳ６１０と同様である。
【００４８】
Ｓ９０９において、情報処理装置１００が、タッチマット２００のマーカー４００の傾きから、タッチマット２００の傾きを算出する。続いて、Ｓ９１０において、情報処理装置１００が、タッチマット２００の座標系と操作領域３００の座標系の変換パラメータを算出する。すなわち、ＣＰＵ１０１が、タッチマット２００の位置と傾きの情報に基づいて、タッチマット２００における座標を操作領域３００における座標に変換するパラメータを決定する。
【００４９】
図１２は、タッチマットの座標系と操作領域の座標系の変換パラメータの算出を説明する図である。
図１２（Ａ）は、操作領域３００の座標系におけるタッチマット２００の置かれた位置と傾きを示す。タッチマット２００の座標系の原点となるタッチマット２００の左上地点は、操作領域３００の座標系においては（ｔx ，ｔy ）と表される。また、タッチマット２００の傾きは、θと表わされる。タッチマット２００への操作入力座標を操作領域３００の座標系に変換する変換パラメータ（変換行列）は、以下の式１で表わされる。
【数１】
2017187925.tif 000003
【００５０】
図９の説明に戻る。Ｓ９１１において、情報処理装置１００が、タッチマット２００への操作入力座標情報を、式１に示す変換パラメータを用いて操作領域３００の座標情報に変換する。情報処理装置１００は、操作領域３００の座標情報を記憶手段（例えば、ＨＤＤ１０７）に記憶する。そして、処理がＳ９１２に進む。
【００５１】
図１２（Ｂ）は、タッチマット２００への操作入力座標情報を操作領域３００の座標情報に変換する処理を示す。タッチマット２００への操作入力座標を、式１に示す変換パラメータで計算することにより、操作領域上の座標を得ることができる。本実施例では、情報処理装置１００は、例えば、図１３（Ｃ）に示すように、変換パラメータを用いた計算で得られた操作領域上の座標を、タッチマット２００への操作入力情報として管理する。
【００５２】
図９の説明に戻る。Ｓ９１２において、情報処理装置１００が、ＨＤＤ１０７に記憶されている操作領域３００の座標情報にしたがって、筆跡描画処理を行う。そして、処理がＳ９０１に戻る。
【００５３】
図１０は、図９のＳ９１２における筆跡描画処理を説明するフローチャートである。
Ｓ１００１において、情報処理装置１００が、ＨＤＤ１０７に記憶されている操作領域３００の座標情報にしたがって、プロジェクタ１０８で操作入力跡を投影する。これにより、タッチマット２００への操作入力の軌跡を、ずれなく表示することができる。
【００５４】
なお、スマートフォンなど、ディスプレイとタッチセンサを備えたデバイスをタッチマット２００の代わりに適用してもよい。スマートフォンのディスプレイ面はプロジェクタ１０８の映像を投影するには不向きである。図９のＳ９１２において、プロジェクタ１０８を用いた筆跡描画処理の代わりに、スマートフォンが以下の処理を実行してもよい。スマートフォンは、情報処理装置１００によって管理されている操作入力情報を、情報処理装置１００との通信によって取得する。そして、スマートフォンが、取得した操作入力情報を、内蔵するディスプレイに表示する。スマートフォンの技術は、広く知られている技術であるので、詳細な説明は割愛する。
【００５５】
図１１は、筆跡描画処理の他の例を説明するフローチャートである。
図１１に示す処理は、ディスプレイを備えるデバイスが実行する。Ｓ１１０１において、デバイスが、デバイスへの操作入力座標情報に従い、デバイスに内蔵されているディスプレイに操作入力跡を表示する。
【００５６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１００  情報処理装置
２００  タッチマット
【図１】
2017187925.tif 000004
【図２】
2017187925.tif 000005
【図３】
2017187925.tif 000006
【図４】
2017187925.tif 000007
【図５】
2017187925.tif 000008
【図６】
2017187925.tif 000009
【図７】
2017187925.tif 000010
【図８】
2017187925.tif 000011
【図９】
2017187925.tif 000012
【図１０】
2017187925.tif 000013
【図１１】
2017187925.tif 000014
【図１２】
2017187925.tif 000015
【図１３】
2017187925.tif 000016