(57)【特許請求の範囲】
【請求項１】
入力装置の画像を取得してディスプレイ装置を含む実空間における３次元座標を決定する情報処理システムであって、
入力装置の画像を取得する撮像手段と、
タッチパネル機能を備えた表示面を備えるディスプレイ手段と、
前記撮像手段が取得したイメージ画像を使用して表示面上の３次元座標を決定する世界座標計算手段と、
前記３次元座標から前記入力装置の前記表示面に対する描画動作以外の動作を判定し、前記判定の結果を使用して前記入力装置からの入力を制御する入力制御手段と
を備え、
前記入力制御手段は、さらに前記表示面に表示された描画画像と前記入力装置の先端との距離の変化を含む動作を判定する手段を含む、
情報処理システム。
【請求項２】
前記入力制御手段は、少なくとも前記入力装置の動作の前記表示面に対する距離を判定する動作判定手段と、前記動作判定手段の判定結果に応じて前記入力装置の入力を制御する動作制約手段とを含む、請求項１に記載の情報処理システム。
【請求項３】
前記入力制御手段は、さらに、前記入力装置の前記表示面への接近速度を有する動作を判定する手段を含む、請求項１または２に記載の情報処理システム。
【請求項４】
入力装置の画像を取得してディスプレイ装置を含む実空間における３次元座標を決定する情報処理装置であって、
入力装置の画像を取得する撮像手段からのイメージ画像を取得して表示面上の３次元座標を決定する世界座標計算手段と、
前記３次元座標から少なくとも表示面に対する描画動作以外の動作を判定する動作判定手段と、
前記動作判定手段の判定結果を使用して前記入力装置からの入力を制御する入力制御手段と
を備え、
前記動作判定手段は、さらに前記表示面に表示された描画画像と前記入力装置の先端との距離の変化を含む動作を判定する手段を含む、
情報処理装置。
【請求項５】
前記動作判定手段は、さらに、前記入力装置の前記表示面への接近速度を有する動作を判定する手段を含む、請求項４に記載の情報処理装置。
【請求項６】
入力装置の画像を取得してディスプレイ装置を含む実空間における３次元座標を決定する装置実行可能なプログラムであって、情報処理装置を、
入力装置の画像を取得する撮像手段からのイメージ画像を取得して表示面上の３次元座標を決定する世界座標計算手段、
前記３次元座標から少なくとも表示面に対する描画動作以外の動作を判定する動作判定手段、
前記動作判定手段の判定結果を使用して前記入力装置からの入力を制御する入力制御手段
として機能させ、
前記動作判定手段を、さらに前記表示面に表示された描画画像と前記入力装置の先端との距離の変化を含む動作を判定する手段として機能させる
プログラム。
【請求項７】
前記動作判定手段を、さらに、前記入力装置の前記表示面への接近速度を有する動作を判定する手段として機能させる、請求項６に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
近年、液晶一体型タブレットや、電子情報ボードなど、センサを介して得た入力座標を使用して、入力座標の軌跡を表示画面上に表示する機器（以下、単に、情報処理装置として参照する。）が広く利用されるようになってきている。タッチセンサの方式には、電磁誘導方式や静電容量方式などの様々な方式が知られており、大型のタッチパネルでは、低コストで大型化できることから、光学方式が用いられる場合が多い。光学方式には、大きく分けて座標指定器具の影を検出する遮断型と、座標指定器具の発光を検出する発光型がある。発光型には手をついても入力に影響を与えないという特徴がある。
【０００３】
しかしながら、従来の発光型の方式では、ペン先が画面に接触すると、ペンが本体にペン信号を送る。本体は、ペン信号を受信して、ペンモード（タッチ無効）に切り替え、その後、ペン信号を一定時間受信しないと、タッチモードに切り替えるという方式をとっていた。
【０００４】
このような方式で、ユーザの描画動作と、描画動作以外の動作とを共存させようとすると、筆記をしようとしているとき、筆記者の意図していない動作（画面の拡大・縮小やページ切り替え）が生じ、描画動作と筆記以外の動作とが区別されず、筆記入力を妨げてしまう場合があった。
【０００５】
特表２００９‐５４３２４６号公報（特許文献１）には、筆記者の意図しないジェスチャ動作による入力を防ぐ目的で、ペンが画面に近接しているが、接触はしていない状態（以下、この状態をホバリングとして参照する。）を検知すると、タッチ操作を無効にする方法が開示されている。
【０００６】
しかしながら、この方式では、ペンが机の上に置かれている状態でカメラの画角に入っているなど、筆記しようとしていないときもタッチが無効になり、却ってジェスチャ動作ができなくなってしまうという別の問題も生じる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、ユーザによる描画動作を識別した入力を可能とする、情報処理システム、情報処理装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、入力装置の画像を取得してディスプレイ装置を含む実空間における３次元座標を決定する情報処理システムであって、
入力装置の画像を取得してディスプレイ装置を含む実空間における３次元座標を決定する情報処理システムであって、
入力装置の画像を取得する撮像手段と、
タッチパネル機能を備えた表示面を備えるディスプレイ手段と、
前記撮像手段が取得したイメージ画像を使用して表示面上の３次元座標を決定する世界座標計算手段と、
前記３次元座標から前記入力装置の前記表示面に対する描画動作以外の動作を判定し、前記判定の結果を使用して前記入力装置からの入力を制御する入力制御手段と
を備える、情報処理システムが提供される。
【発明の効果】
【０００９】
ユーザによる描画動作を識別した入力を可能とする、情報処理システム、情報処理装置、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明が適用される情報処理システム１００の概略的な概念図。
【図２】本実施形態で使用する変数および用語の定義を説明する図。
【図３】本実施形態の制御部のハードウェアブロック３００を示す図。
【図４】本実施形態の制御部１０４の機能ブロック図。
【図５】本実施形態の制御部１０４が実行する処理のフローチャート。
【図６】カメラ座標系に対する世界座標系の回転ベクトルと、並進ベクトルとの関係を説明する図。
【図７】第１の実施形態の処理のフローチャート。
【図８】第２の実施形態における入力制御の説明図。
【図９】第２の実施形態の処理のフローチャート。
【図１０】第３の実施形態における入力制御の説明図。
【図１１】第３の実施形態の処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明を実施形態により説明するが、本発明は実施形態に限定されるものではない。
【００１２】
＜セクション１：システム構成＞
図１は、本発明が適用される情報処理システム１００の概略的な概念図を示す。情報処理システム１００は、制御部１０４と、ディスプレイ装置１０２と、カメラを含む複数のカメラ１０３とを含んでいる。制御部１０４は、本実施形態の情報処理装置がその機能を提供し、制御部１０４は、ディスプレイ装置１０２上でのユーザによる入力装置１０１の動作をカメラ１０３からの画像情報を使用して解析し、ユーザの動作に対応した像を生成し、像表示制御を行ってディスプレイ装置１０２上に表示する。なお、図１に示すカメラの位置は、カメラの主点の位置をもって示している。
【００１３】
カメラ１０３は、ディスプレイ装置１０２に接触または近接した位置で行われるユーザ動作を検出し、ユーザ動作がディスプレイ装置１０２上の座標（ｘ，ｙ，ｚ）（以下、世界座標として参照する。）を、カメラ１０３が取得した画像情報から取得する。このため、本実施形態では、ユーザがディスプレイ装置１０２にタッチしているか、非接触（以下、ディスプレイ装置１０２に非接触で入力する入力態様を、ホバリング入力として参照する。）であるかによらず、ユーザ動作から、ユーザ動作に対応する像を生成し、ディスプレイ装置１５０に表示させることが可能となる。なお、図１には、以後の説明の便宜上、カメラ１０３が取得するイメージ画像中の位置座標を、それぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）として示す。
【００１４】
ここで、詳細な座標決定処理を説明するに先立ち、本明細書で使用する変数および用語の定義を、図２を参照して説明する。
○(Ximage,Yimage)：イメージ座標であり、各カメラの画像面を表す。空間中の物体を撮影すると、この平面上に投影される。
○(Xcamera, Ycamera, Zcamera)：カメラ座標であり光学中心Cを原点に持ち、イメージ座標のXimage軸、Yimage軸に平行に、Xcamera軸、Ycamera軸が定義される。３次元空間中で、カメラ光学系の内部座標軸である。カメラの数だけ、異なるカメラ座標が存在する。
○(Xworld,Yworld,Zworld)：世界座標であり、説明する実施形態では、表示面の左上を原点とし、横方向をXworld軸、縦方向をYworld軸として定義する。なお、表示面は、Zworld=0面である。３次元空間中のカメラからは独立して、１つだけ存在する実空間を定義する座標軸である。
○外部変数：世界座標と、イメージ座標（カメラ座標）との対応関係を表すパラメータ行列であり、世界座標と、イメージ座標（カメラ座標）との間の座標変換を可能とし、校正処理において決定される座標変換行列、すなわちＨ行列に相当する。
【００１５】
図３に、本実施形態の制御部のハードウェアブロック３００を示す。制御部１０４は、システムバス３０６により相互接続されたＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＡＳＩＣ３０４および通信装置３０５を含んで構成されている。ＡＳＩＣは、本実施形態における画像処理を可能とする処理装置であり、より詳細には図３を使用して後述する。さらに、システムバス３０６には、ＰＣＩ、ＰＣＩＥｘｐｒｅｓｓなどのバスブリッジを介してＩ／Ｏバス３０７が接続されている。また、Ｉ／Ｏバス３０７には、適切なプロトコルを介して、表示装置３０８、ＨＤＤといった記憶装置３０９および外部記憶装置３１０が接続されている。各外部記憶装置３１０は、それぞれユーザ入力、情報記憶および拡張ドライブとの通信を可能としている。
【００１６】
制御部１０４が使用するＣＰＵとしては、より具体的には、例えば、ＰＥＮＴＩＵＭ（登録商標）〜ＰＥＮＴＩＵＭ  ＩＶ（登録商標）、ＣＯＲＥ２ＤＵＯ（登録商標）、ＣＯＲＥ２ＱＵＡＤ（登録商標）、ＣＯＲＥｉ（登録商標）シリーズなどの他、ＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＰＯＷＥＲ  ＰＣ（登録商標）、ＭＩＰＳなどを挙げることができる。
【００１７】
使用するオペレーティング・システム（ＯＳ）としては、ＭａｃＯＳ（商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）またはそれ以外の適切なＯＳを挙げることができる。さらに、制御部１０４は、上述したＯＳ上で動作する、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ  Ｃ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）、Ｐｅｒｌ、Ｒｕｂｙなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。
【００１８】
制御部１０４における各種処理は、制御部１０４が実装するＣＰＵが、主記憶部や補助記憶部に記憶されている各種プログラムを実行することにより画像処理装置上において実現されるものである。なお、他の実施形態では上述した機能を、独立した回路（ハードウェア）で実現することもできる。
【００１９】
図４は、本実施形態の制御部１０４の機能ブロック図である。制御部１０４は、入力装置の画像処理部４１０、タッチ判断部４２０および入力制御部４３０を含んで構成されている。画像処理部４１０は、本実施形態において撮像手段として機能するカメラ４０１が取得した入力装置１０１の注目点の位置座標を計算する。
【００２０】
当該画像処理部４１０は、カメラ４０１が取得したイメージ画像を使用して、接触、非接触を問わず、入力装置１０１のディスプレイ装置１０２の表示面に対する３次元空間上の位置座標を生成し、入力制御部４３０にその情報を提供する。
【００２１】
タッチ判断部４２０は、入力装置１０１ではなく指などでイメージをタッチした場合のタッチ座標を計算し、その結果を入力制御部４３０に送付する。タッチ判断部４２０は、画像処理部４１０の取得した情報と共に、入力装置１０１のディスプレイ装置１０２の表示面における位置座標を決定するために使用することができる。また、他の形態では、タッチ判断部４２０が入力装置１０１によるタッチを専ら判断し、画像処理部４１０が、ユーザの非接触の動作による入力を制御するために使用されても良い。
【００２２】
さらに、制御部１０４は、表示データ生成部４０９と、表示制御部４１３とを含んでいる。表示データ生成部４０９は、入力装置１０１の位置と、ユーザの動作とからユーザ動作を制御して入力装置１０１の軌跡を表示するための表示データをビデオデータとして生成し、表示制御部４１３に送付する。表示制御部４１３は、受領したビデオデータを適切な再生速度でディスプレイ装置１０２に送付し、入力装置１０１の軌跡をディスプレイ装置の表示面に表示するのを可能としている。
【００２３】
以下、さらに詳細に各機能部について説明する。画像処理部４１０は、画像特徴点計算部４０２と、世界座標計算部４０３とを含んでいる。画像特徴点計算部４０２は、校正点情報保持部４０６が保有する校正点の世界座標の値から予め計算される変換行列を計算する変換行列計算部４０７に校正処理の際には、位置情報を送付して、変換行列（ホモグラフィック行列：Ｈ行列）を計算する。変換行列保持部４０８は、計算された変換行列を配列形式で保存するプログラム・モジュールであり、世界座標を計算する際に、本実施形態で世界座標計算手段として機能する世界座標計算部４０３が、イメージ座標から、ディスプレイ装置１０２の表示面上の座標である世界座標を計算することを可能としている。
【００２４】
タッチ判断部４２０は、タッチセンサ４０４と、タッチ座標計算部４０５とを含んでいる、タッチセンサ４０４は、感圧式または誘電率変化式などの方式の外、光遮断方式のタッチセンサとして構成することができる。タッチ座標計算部４０５は、タッチセンサ４０４で検出された情報を使用して、ユーザがタッチした表面上の世界座標を計算する。
【００２５】
さらに入力制御部４３０は、本実施形態における入力制御手段として機能する。入力制御部４３０は、ユーザ動作を入力装置１０１の位置座標変化に反映させるか否かを判断する動作判定部４１１を含んでいる。さらに入力制御部４３０は、動作判定部４１１のユーザ動作判定を使用して、入力装置１０１の位置座標を修正するべきか否かを制御する本実施形態における動作制御手段である、動作制約部４１２を含んでいる。
【００２６】
動作制約部４１２の出力は、表示データ生成部４０９に送られ、入力装置１０１の軌跡を表示させている。本実施形態では、ユーザ操作としては、ズーム、パンなどの操作を挙げることができる。
【００２７】
＜セクション２：座標決定および動作制約の処理＞
２−１：座標の決定
図５は、本実施形態の制御部１０４が実行する処理のフローチャートである。図５の処理は、ステップＳ５００から開始し、ステップＳ５０１でカメラにより入力装置１０１の画像を取得し、ステップＳ５０２で入力装置１０１の注目点の世界座標を計算する。この処理と並列して、ステップＳ５０３でタッチセンサを使用して、ユーザが表示面をタッチしたか否かを検査する。なお、ステップＳ５０３は、ユーザによるタッチがあるまで、検査を継続し、以後の処理を実行することはない。
【００２８】
ステップＳ５０４では、タッチを検出した場合、タッチ点の世界座標を計算し、ステップＳ５０５で、ユーザの操作を判定し、ステップＳ５０６では、操作を入力装置１０１の位置座標に反映させるか否かのユーザ動作上の制約を判定する。ステップＳ５０７では、カメラにより決定されたか、またはタッチセンサにより決定された入力装置１０１の世界座標に相当する描画点と、許可と判定されたユーザ操作を合成して表示データを生成する。
【００２９】
その後、ステップＳ５０８で表示データをディスプレイ装置１０２に送信して入力装置１０１の入力の外、ユーザによる操作を加味した表示を、ディスプレイ装置１０２の表示面上に表示する。その後処理をステップＳ５０９で終了する。
【００３０】
図５に示した処理を使用することにより、タッチセンサおよびカメラにより決定された世界座標のいずれか、または両方を使用して、入力装置１０１の入力を制御することが可能となる。具体的には、タッチセンサでの入力がない場合であっても、世界座標から決定した２次元座標を用いてディスプレイ装置１０２に描画を行う形態、またはタッチセンサで得た位置座標を使用してディスプレイ装置１０２上への描画を行い、カメラで取得した世界座標を、ズームイン、ズームアウト、パンニング、スワイプ動作などの描画表示制御のために使用する形態である。
【００３１】
図５に示したカメラを使用した座標決定およびタッチセンサを使用した座標決定は、いずれか一方のみが適用されても良いし、それぞれの機能を組み合わせて同時に適用されても良い。
【００３２】
なお、図５の処理は、１表示フレームを生成するための処理であり、制御部１０４は、表示制御を終了するまで、連続的に表示フレームを生成し、ディスプレイ装置１０２に送付することで、入力装置１０１の時系列的な運動を追加的に表示させている。
【００３３】
以下、図５の処理を詳細に説明する。本実施形態では、世界座標を、ピンホールモデルを使用して計算する。これらの座標系および変数については図においてすでに定義した。本実施形態では、入力装置１０１は、その先端に発光点を備え、当該発光部をカメラが撮影することにより、入力装置１０１の世界座標を取得するものとして説明する。
【００３４】
３次元空間中のある点Ｘを、世界座標系、カメラ座標系で表したときの座標と、その点をイメージ平面に投影したときのイメージ座標の関係は、下記式（１）で与えられる。
【００３５】
【数１】
0006547476.tif 000002
【００３６】
ここで、上記式（１）中のパラメータを、行列Pを使用して表す。ここで、Ｐは、下記式（２）で与えられる３×４の行列である。
【００３７】
【数２】
0006547476.tif 000003
【００３８】
行列Pは、外部変数として参照される場合がある。また、Rは、回転行列、tは、並進行列である。それぞれの行列が、カメラ座標系に対する世界座標系の回転と並進を表している。これらの関係を、図６に示す。ここで、行列Pが、世界座標に対するカメラ座標の関係を与えるものと捉えることができ、このとき、行列Pは、カメラの世界座標上での配置、つまり光学中心Cの位置と、回転角度（光軸方向とイメージ平面の回転角度）を表しているものと理解することができる。なお、行列Pは、非特許文献１の方法で事前に算出することができるが、本発明の要旨ではないのでより詳細な説明は省略する。
【００３９】
ここで、カメラのイメージ面上の点Ｘについてイメージ座標が得られている場合に、点Ｘの世界座標系での位置座標Xworldを算出すれば、カメラの撮影した像から、表示面における世界座標を決定することができる。イメージ座標の定義および図６に示されるように、点Xは、カメラ座標系で原点（0，0，0）Tを通り、(Ximage,Yimage,1)Tを方向ベクトルとする直線上に存在する。式（１）から、Xworldは、下記式（３）で表すことができる。
【００４０】
【数３】
0006547476.tif 000004
【００４１】
ここで、式（３）の右辺の第１項と第２項のベクトルa、bは、それぞれカメラ座標系のそれぞれ(Ximage,Yimage,1)T、（0，0，0）Tを世界座標系で表したものである。式（３）は、aを方向ベクトル、bを始点ベクトル、sを媒介変数とした３次元空間中での直線を与える。
【００４２】
ここで、カメラを２つ配置し、点Xに関する２組のイメージ座標を得ることができれば、２直線の交点からXworldを決定することができる。この場合、モデルからの誤差が無いものとすれば、２直線は１点で交差する。しかしながら、実際のシステムは、誤差を含む。このため、実際のシステムでは、交点を決定するために、２直線の最短距離の中点を位置座標として算出するいわゆる中点法や、非特許文献２で与えられる最尤法が使用できる。
【００４３】
以下、例示の目的のため、中点法を使用して交点を決定する方法について説明する。２つのカメラの各光軸をそれぞれL1、L2とする。L1を与える方程式は、下記式（４）で与えられる。
【００４４】
【数４】
0006547476.tif 000005
【００４５】
同様に直線L2は、下記式（５）で与えられる。
【００４６】
【数５】
0006547476.tif 000006
【００４７】
L1，L2の最短距離に対応するL1の点と、L2の点とを結ぶベクトルは、下記式（６）で与えられる。
【００４８】
【数６】
0006547476.tif 000007
【００４９】
ただし、t，sは、直交条件から、下記式（７）を満たす。
【００５０】
【数７】
0006547476.tif 000008
【００５１】
ここで、上記式（７）から、ｔ，ｓを解くと、下記（８）が得られる。
【００５２】
【数８】
0006547476.tif 000009
【００５３】
上記式（８）で得られたt，sを式（６）に代入することにより、L1の点と、L2の点とを、最短距離で結ぶベクトル“ｌ”（エル）が得られる。このベクトルｌのノルムが、最短距離を与える。なお、L1，L2が平行な場合、解は、一義的に定まらず最短距離に対応するL1、L2の点は特定できないが、最短距離は一義に求められる。
【００５４】
上述のように求めたパラメータs1，s2を使用し、Xworldは、下記式（９）の通り計算できる。
【００５５】
【数９】
0006547476.tif 000010
【００５６】
２−２：ユーザ動作に対する制約処理
本実施形態では、ユーザの描画動作を、ユーザのタッチにより検出するものとし、このタッチの以外のユーザ動作を、描画動作ではない動作とし、以下の通り２種類に分類する。
（動作１）
画面全体に影響を与える操作−ページ切り替え、全画面拡大・縮小など
（動作２）
局所的に影響を与える操作−オブジェクトの選択、オブジェクトの拡大・縮小など
【００５７】
以下、本実施形態において、ユーザ動作を制限する処理について、詳細に説明する。第１実施形態は、表示面と、入力装置１０１との間の距離Hを使用してユーザ動作を制約する態様を用いる。ここで、距離Hは、世界座標のZ軸方向の距離H=-Zworldである。なお、Hの値を、反数-Zworldとするのは、本実施形態では左手座標系を前提としているため、ディスプレイの手前方向から奥方向にZworld軸を設定しているからである。本実施形態では、距離Hに閾値Hthr1およびHthr2を設ける。Hthr1は、接近を指示するための閾値であり、Hthr2は、入力装置１０１が表示面に入力する可能性の有る距離に存在することを指示するための閾値である。本実施形態の特定の実施形態では、Hthr1を、２ｃｍ、Hthr2を、５０ｃｍ程度とすることができる。
【００５８】
なお、Hthr1を０ｃｍ程度に設定することで、実質的な描画動作をタッチセンサからの描画で行い、スワイプ、拡大、縮小などの動作をカメラから取得した世界座標により行わせることが可能となる。
【００５９】
具体的には、例えば、H<Hthr1の場合、入力装置１０１が表示面に近接しているので、筆記者が書く直前か、すでに筆記中であるものとして取り扱う。このため、当該近接状態にあるユーザの動作をすべて無効として、筆記に影響を与えないことを最優先とする処理を適用する。また、距離Hが、Hthr1≦H＜Hthr2の場合、ユーザが表示面の近くに存在し、いつ書き始めてもおかしくない状態であるとして、確実に筆記へ影響を与えるユーザ動作（動作１）を制限する。
【００６０】
一方、Hthr2≦H、あるいはペンが検知されていない時は、ユーザは、表示面の近くにいないので、筆記操作が行われることはないものとし、ユーザ動作を制約しない。図７は、第１の実施形態の処理のフローチャートを示す。
【００６１】
図７の処理は、ステップＳ７００から開始し、ステップＳ７０１でHの値を判断する。ステップＳ７０１でHthr2≦Hの場合、ユーザ動作は、描画動作以外の動作なので、ステップＳ７０４で全ジェスチャを有効とし、ユーザ動作をすべて許可する。
【００６２】
一方、ステップＳ７０１でHthr1＜Hであると判断された場合、ステップＳ７０２で、すべてのユーザ動作を無効とし、描画状態に影響を与えることがないように制御する。Hthr2≦H＜Hthr1の場合、ステップＳ７０３で動作２を有効、動作1を無効とし、ステップＳ７０５で制約判定を終了する。なお、制約判定の結果は、表示データ生成部４０９に送付され、現在検出されている入力装置１０１を描画データ作成において合成するか、しないかの判断を可能とする。
【００６３】
図８を使用して第２の実施形態を説明する。第２の実施形態は、入力装置１０１の先端と表示面との間の距離Hに加え、ユーザ動作が行われた時の入力装置１０１の世界座標（Xworld、Yworld）と、現在表示されている描画画像の画像領域８３０との間の距離Dを使用してユーザ動作を制約する実施形態である。ユーザ動作が入力装置１０１の先端を位置８１０から位置８２０に移動させたような場合、描画画像に影響を与える可能性が高い。このため、D＜Dthr（Dthrは、概ね50cm程度）の場合、ユーザの全動作を無効とする。一方、Dthr≦Dの場合は、ユーザ動作の影響範囲が筆記中もしくは筆記しそうな箇所と十分離れているため、すべてのユーザ動作を有効化する。
【００６４】
図９を使用して第２の実施形態の処理を説明する。図９の処理は、ステップＳ９００から開始し、ステップＳ９０１でHの値を判断する。ステップＳ９０９でHthr2≦Hの場合、ユーザ動作は、描画動作以外の動作なので、ステップＳ９０４で全ジェスチャを有効とし、ユーザ動作をすべて許可する。
【００６５】
一方、ステップＳ９０１でHthr1＜Hであると判断された場合、ステップＳ７０２で、Dの大きさを判断し、D＜Dthrの場合、ステップＳ９０３ですべてのユーザ動作を無効とし、描画状態に影響を与えることがないように制御する。一方、Dthr≦Dの場合、ステップＳ９０５で動作２を有効、動作1を無効とし、ステップＳ９０６で制約判定を終了する。なお、制約判定の結果は、表示データ生成部４０９に送付され、現在検出されている入力装置１０１を描画データ作成において合成するか、しないかの判断を可能とする点は、第１実施形態と同様である。
【００６６】
さらに、図１０を使用して第３実施形態について説明する。第３の実施形態は、ディスプレイ装置１０２の表示面への入力装置１０１の接近スピードvを使用してユーザ動作を制約する。
【００６７】
図１０中vは、入力装置１０１がZworld方向で表示面に接近してくるスピードであり、ΔH／Δtとして計算することができる。vthr≦ｖの場合、入力装置０１が一定の速度以上で表示面に近接してきているので、以後筆記が開始される可能性が高いものと判断できる。このため、このとき、筆記へ影響を与えることになる動作１を制限することで、描画状態への影響を排除する。
【００６８】
一方、v＜vthrの場合、筆記は表示面に向かうことはなく、すなわちユーザが筆記を意図していないとして、全動作を有効にする。以下、図１１を使用して第３の実施形態の処理を説明する。図９の処理は、ステップＳ１１００から開始し、ステップＳ１１０１でHの値を判断する。ステップＳ１１０９でHthr2≦Hの場合、ユーザ動作は、描画動作以外の動作なので、ステップＳ１１０５で全ジェスチャを有効とし、ユーザ動作をすべて許可する。
【００６９】
一方、ステップＳ１１０１でHthr1＜Hであると判断された場合、ステップＳ１１０２で、vの大きさを判断し、v＜vthrの場合、ステップＳ１１０３ですべてのユーザ動作を無効とし、描画状態に影響を与えることがないように制御する。一方、Hthr2≦H＜Hthr1の場合であって、vthr≦vの場合、ユーザが描画する意図を持って表示画面に向かって入力装置１０１を移動させているものとしてステップＳ１１０５で同様に全動作を有効とする。
【００７０】
また、Hthr2≦v＜Hthrの場合であって、vthr＜vの場合、ステップS１１０４で動作２を有効、動作1を無効とし、ステップＳ１１０６で制約判定を終了する。なお、制約判定の結果は、表示データ生成部４０９に送付され、現在検出されている入力装置１０１を描画データ作成において合成するか、しないかの判断を可能とする点は、第１実施形態と同様である。
【００７１】
なお、さらに他の実施形態では、上述した第１〜第３実施形態を特定の用途に適合する様に適宜組み合わせてユーザ動作が描画画像に対して与える影響を制約することもできる。
【００７２】
以上、本実施形態においては、入力装置１０１が表示面の近傍に存在する場合におけるユーザ動作を制約することにより、ユーザ動作が表示画像に意図しない影響を与えてしまう可能性を低減し、良好な描画処理を行うことを可能とする。
【符号の説明】
【００７３】
１００    ：情報処理システム
１０１    ：入力装置
１０２    ：ディスプレイ装置
１０３    ：カメラ
１０４    ：制御部
１５０    ：ディスプレイ装置
３００    ：ハードウェアブロック
３０１    ：ＣＰＵ
３０２    ：ＲＡＭ
３０３    ：ＲＯＭ
３０４    ：ＡＳＩＣ
３０５    ：通信装置
３０６    ：システムバス
３０７    ：Ｉ／Ｏバス
３０８    ：表示装置
３０９    ：記憶装置
３１０    ：外部記憶装置
４０１    ：カメラ
４０２    ：画像特徴点計算部
４０３    ：世界座標計算部
４０６    ：校正点情報保持部
４０７    ：変換行列計算部
４０８    ：変換行列保持部
４０９    ：表示データ生成部
４１０    ：画像処理部
４１１    ：動作判定部
４１２    ：動作制約部
４１３    ：表示制御部
４２０    ：タッチ判断部
４３０    ：入力制御部
【先行技術文献】
【特許文献】
【００７４】
【特許文献１】特表２００９‐５４３２４６号公報
【非特許文献】
【００７５】
【非特許文献１】Zhengyou Zhang, “A Flexible New Technique for Camera Calibration”, Microsoft Research Technical Report, December 2, 1998
【非特許文献２】金谷  他, “2画像からの三角測量 : Hartley-Sturm vs.最適補正”, 電子情報通信学会技術研究報告, PRMU パターン認識・メディア理解, vol107, no539, pp335-342, 2008
【図１】
0006547476.tif 000011
【図２】
0006547476.tif 000012
【図３】
0006547476.tif 000013
【図４】
0006547476.tif 000014
【図５】
0006547476.tif 000015
【図６】
0006547476.tif 000016
【図７】
0006547476.tif 000017
【図８】
0006547476.tif 000018
【図９】
0006547476.tif 000019
【図１０】
0006547476.tif 000020
【図１１】
0006547476.tif 000021