(57)【特許請求の範囲】
【請求項１】
台座部と、この台座部に対し予め定められた一次元方向に回動自在に取付けられた３個以上の接触子とを有するオブジェクトと、
前記オブジェクトの接触子が接触したときにその接触位置を検出することが可能な検出シートを備えたタッチパネル型の入力検出装置と
を具備し、
前記入力検出装置は、
前記検出シートにより検出された、前記タッチパネルに対する前記各接触子の接触位置をもとに、前記オブジェクト或いはタッチパネル上に定義されたｘ，ｙ，ｚの各軸により表される三次元座標系において、前記オブジェクトの姿勢を表す、ｘ軸を中心とする回転角、ｙ軸を中心とする回転角及びｚ軸を中心とする回転角を、前記三次元座標系における幾何学的解析によりそれぞれ算出する手段と、
前記検出シートにより検出された、前記タッチパネルに対する前記各接触子の接触位置をもとに、前記三次元座標系における前記オブジェクトの中心位置座標を算出する手段と
を備えることを特徴とする情報入力システム。
【請求項２】
台座部とこの台座部に対し予め定められた一次元方向に回動自在に取付けられた３個以上の接触子とを有するオブジェクトと、このオブジェクトの接触子が接触したときにその接触位置を検出することが可能な検出シートとコンピュータを備えたタッチパネル型の入力検出装置とを具備する情報入力システムで使用されるプログラムであって、
前記検出シートにより検出された、前記タッチパネルに対する前記各接触子の接触位置をもとに、前記オブジェクト或いはタッチパネル上に定義されたｘ，ｙ，ｚの各軸により表される三次元座標系において、前記オブジェクトの姿勢を表す、ｘ軸を中心とする回転角、ｙ軸を中心とする回転角及びｚ軸を中心とする回転角を、前記三次元座標系における幾何学的解析によりそれぞれ算出する処理と、
前記検出シートにより検出された、前記タッチパネルに対する前記各接触子の接触位置をもとに、前記三次元座標系における前記オブジェクトの中心位置座標を算出する処理と
を、前記入力検出装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、多軸の操作情報を入力するための情報入力システムとそのプログラムに関する。
【背景技術】
【０００２】
近年、テレビジョン装置を用いた映像コンテンツの表示分野において、３次元的に映像を視覚化させる技術が広く普及し始めている。平面ディスプレイを三次元的に視覚化させる技術は、テレビジョン装置を用いた映像コンテンツに限らず、タブレット型端末やゲーム機、パーソナル・コンピュータを用いたブラウジングやＧＵＩ（Graphical User Interface）にも応用されており、今後さらに普及することが期待される。
【０００３】
ところで、このような平面ディスプレイ上における映像コンテンツの操作を可能にする入力インタフェースとしては、マルチタッチインタフェースを持ったタブレット型端末や、トラックパッドが多く提案されている。しかし、それらの多くは平面ディスプレイ上における２次元（ｘ，ｙ）方向の位置座標と平面に対し垂直な軸を中心とする回転の計３自由度しか検出することができず、操作入力の自由度を十分に利用できていない。
【０００４】
そこで、三次元空間で位置と姿勢を表現するのに必要な６自由度を直感的に操作できるようにするため、上記３自由度に加えて他の３自由度を測定できるようにした以下のような技術が提案されている。  
（１）１点あるいは２点のマルチタッチ操作インタフェース
このインタフェースは、観測データが１点の変位ならば各ｘ，ｙ，ｚ軸方向の並進運動の操作に対応させ、２点の変位ならば各ｘ，ｙ，ｚ周りの回転運動φ，θ，ψの操作に対応させたもので、市場ではスマートホンやタブレット型端末に多く実装されている。
【０００５】
（２）ジャイロセンサを用いた姿勢同期インタフェース
このインタフェースは、デバイスに搭載されているジャイロセンサを用いて、デバイスの姿勢とコンテンツ内のオブジェクトの姿勢を同期させるもので、例えばスマートホンやタブレット型端末を用いて三次元地図を任意の位置姿勢で視るためのソフトウエアとして市場に流通している。
【０００６】
（３）爪の透過光を利用したインタフェース
このインタフェースは、例えば指の爪先にカメラを装着し、画面上の光源を指先で押下した際に、その押す角度と強さによって爪上に視える透過光の大きさと位置の変化を解析する。そして、画面に対して指が押す方向を測定し、姿勢制御入力とするタッチパッドに押しつけたときの指先の透過光量と重心位置を上記カメラにより観測し、その観測データをもとに指の姿勢や押し込み量を算出するものである（例えば非特許文献１を参照。）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】「タッチパネルにおける爪上の透過光を利用した押下力と接触角度推定デバイス」、渡部陽一他、ヒューマンインターフェースシンポジウム２０１１、2537D、p749-p754
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、非特許文献１に記載された技術には次のような解決すべき課題があった。  
（１)と（２）の手法では、ユーザが入力動作とソフトウエアの処理の関連を想起させることが難しい。つまり、どのような動作をすれば並進や回転動作に対応するのか判断が難しいため、ユーザの期待通りの動作をさせる事が難しい。物体がユーザに与える操作入力方式を彷彿させる概念をAffordance（あるいはSignifier）と呼ぶが、（１）の手法はこのAffordanceが低いユーザインタフェースであるといえる。
【０００９】
（２）の手法では、制御入力を実現する際にデバイスそのものの姿勢を変える必要があるため、狭い空間でデバイスを操作することは難しい。例えば、ｚ方向に１８０度回したいときは、デバイスの方向を逆さまにする必要があるため、ユーザにダイナミックな動きをすることを余儀なくさせる。また、画面に注力した状態でダイナミックな動作をすることは、周囲の環境に害を及ぼす。すなわち、省スペース性に難点がある。
【００１０】
（３）の手法では、論文に記載された測定データの核となる指先角度と光量の関係を示す実験データを見る限り値の分散が大きく、ユーザが直感的に使用できるだけの精度を出すのが難しい。また、指先の光透過量は指先の太さ等のユーザの特性に依存しやすい。そのため、ユーザごとに検出値の校正（キャリブレーション）を必要とするため、ユーザにとっては利便性が低い。さらに、ユーザは指の爪先にカメラを装着しなければならず、しかもカメラとしては爪先が撮影できるような外部カメラを必要としていた。このため、スマートホンやタブレット型端末を使用するシーンを想定すると操作性に難点がある。
【００１１】
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザの操作性及び利便性を損なうことなく、かつ高精度に位置と姿勢による多軸の操作データを入力できるようにし、しかもタッチパネルに対するオブジェクトの接触子の位置を検出するだけでオブジェクトの位置姿勢の計６状態を検出することができる情報入力システムとそのプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するためにこの発明の１つの観点は、台座部とこの台座部に対し予め定められた一次元方向に回動自在に取付けられた３個以上の接触子とを有するオブジェクトと、このオブジェクトの接触子が接触したときにその接触位置を検出することが可能な検出シートを備えたタッチパネル型の入力検出装置とを具備する情報入力システムであって、上記入力検出装置において、上記検出シートにより検出された、上記タッチパネルに対する上記各接触子の接触位置をもとに、上記オブジェクト或いはタッチパネル上に定義されたｘ，ｙ，ｚの各軸により表される三次元座標系において、上記オブジェクトの姿勢を表す、ｘ軸を中心とする回転角、ｙ軸を中心とする回転角及びｚ軸を中心とする回転角を、上記三次元座標系における幾何学的解析によりそれぞれ算出する。またそれと共に、上記検出シートにより検出された、上記タッチパネルに対する上記各接触子の接触位置をもとに、上記三次元座標系における前記オブジェクトの中心位置座標を算出するようにしたものである。
【発明の効果】
【００１３】
従ってこの発明によれば、ユーザの操作性及び利便性を損なうことなく、かつ高精度に位置と姿勢による多軸の操作データを入力でき、しかもタッチパネルに対するオブジェクトの接触子の位置を検出するだけでオブジェクトの位置姿勢の計６状態を検出することができる情報入力システムとそのプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の一実施形態に係る情報入力システムの外観を示す斜視図。
【図２】図１に示したシステムを上方から見た平面図。
【図３】図１に示したシステムを略側方から見た側面図。
【図４】図１に示した情報入力システムの情報端末の機能構成を示すブロック図。
【図５】図１に示した情報入力システムのオブジェクトの動きと当該動きにより入力される操作情報との関係を示す図。
【図６】図４に示した情報端末による全体の処理手順と処理内容を示すフローチャート。
【図７】図６に示した処理手順のうち姿勢及び位置の認識処理手順と処理内容を示すフローチャート。
【図８】図１に示したシステムにおけるオブジェクトの動作例を示す図。
【図９】オブジェクトが平衡状態にあるときの脚部の検出位置を示す図。
【図１０】オブジェクトをｚ方向に変位させたときの脚部の検出位置を示す図。
【図１１】オブジェクトを（ａ）ｘ軸周り、（ｂ）ｙ軸周り、（ｃ）ｚ軸周りにそれぞれ回転させたときの脚部の検出位置を示す図。
【発明を実施するための形態】
【００１５】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［一実施形態］
（構成）
図１はこの発明の一実施形態に係る情報入力システムの外観を示す斜視図である。  
この実施形態に係る情報入力システムは、入力検出装置としての機能を有する情報端末１と、この情報端末１に操作データを入力するための操作器として用いるオブジェクト２とから構成される。
【００１６】
情報端末１は、例えばスマートホンやタブレット型端末からなり、端末本体の一方の面に表示デバイス１１を配置し、さらにこの表示デバイス上に入力デバイス１２を重ねて配置したものとなっている。表示デバイス１１は例えば有機ＥＬ（Electro Luminescence）デバイス又は液晶デバイスを用いたフラット表示パネルからなる。
【００１７】
入力デバイス１２は、上記表示デバイス１１上に透明な検出シートを重ねて配置した、いわゆるマルチタッチパネル方式の入力デバイスであり、検出シートには静電容量式の検出シートを用いている。静電容量式の検出シートは、シート上の複数の位置に触れたとき、その各接触部位の静電容量の変化を利用して当該各接触部位の位置座標を検出する機能を有する。
【００１８】
オブジェクト２は、正方形をなす板状の枠部材からなる台座部２１の４つの辺部にそれぞれ脚部２２１〜２２４を取付けたものとなっている。脚部２２１〜２２４の基端部はそれぞれ台座部２１に対しその辺と直交する方向にのみ回動するように軸着されている。この軸着のための軸受け機構はバネを備え、このバネにより脚部２２１〜２２４を常に基準位置方向に付勢している。また、脚部２２１〜２２４の先端部には、脚部の長さを一定に保つためにユニバーサルジョイント機構が設けられている。すなわち、脚部２２１〜２２４はそれぞれ基準位置を基点として外方向に１自由度で往復動作するようになっている。図２及び図３は上記オブジェクト２の動作の一例を示す平面図と側面図である。なお、脚部は４個に限定されるものでなく、３個以上であればよい。
【００１９】
図４は、情報端末１の機能構成を示すブロック図である。  
情報端末１は、上記した表示デバイス１１及び入力デバイス１２に加えて、表示インタフェース（表示Ｉ／Ｆ）１３と、入力インタフェース（入力Ｉ／Ｆ）１４と、制御ユニット１５と、カメラ１６と、検出データ記憶部１７と、画像データ記憶部１８を備えている。
【００２０】
カメラ１６は、情報端末１に対し信号ケーブルを介して接続され、被対象物の撮像画像データを上記信号ケーブルを介して制御ユニット１５へ出力する。画像データ部１８は、記憶媒体として例えばＮＡＮＤ型フラッシュメモリを用いたもので、上記カメラ１６により撮像された画像データや、図示しない通信ユニットによりＷｅｂ等からダウンロードした画像データを記憶するために使用される。
【００２１】
入力Ｉ／Ｆ１４は、入力デバイス１２から静電容量シートの静電容量の変化を表す検出信号を取り込み、この検出信号をディジタル値に変換して制御ユニット１５へ出力する機能を有する。検出データ記憶部１７は、上記入力デバイス１２により検出された静電容量の変化を表す検出データを記憶するために使用される。
【００２２】
制御ユニット１５はＣＰＵ（Central Processing Unit）を有し、この実施形態を実施するために必要な制御機能として、操作データ取得制御部１５１と、姿勢認識部１５２と、位置認識部１５３と、表示制御部１５４と、カメラ制御部１５５を備えている。これらの機能は何れもアプリケーション・プログラムを上記ＣＰＵに実行させることにより実現される。
【００２３】
操作データ取得制御部１５１は、上記入力デバイス１２の静電容量シートにより検出された静電容量の変化を表すディジタル信号を一定の周期で上記入力Ｉ／Ｆ１４から操作検出データとして取り込み、この取り込んだ操作検出データを検出データ記憶部１７に記憶させる処理を行う。
【００２４】
姿勢認識部１５２は、上記検出データ記憶部１８から操作検出データを読込み、この操作検出データをもとに入力デバイス１２に対する脚部２２１〜２２４の接触点の位置座標を検出し、この検出した接触点の位置座標をもとに入力デバイス１２に対するオブジェクト２の姿勢を表す姿勢角（ロール角φ、ピッチ角θ、ヨー角ψ）を算出する処理を行う。
位置認識部１５３は、上記検出データ記憶部１７から操作検出データを読込み、この操作検出データをもとに、入力デバイス１２に対するオブジェクト２の中心座標（ｘc，ｙc，ｚc）を算出する機能を有する。
【００２５】
表示制御部１５４は、カメラ１６により撮像された画像データ、又は画像データ記憶部１８に記憶された画像データを、表示Ｉ／Ｆ１３へ出力する機能を有する。  
カメラ制御部１５５は、上記姿勢認識部１５２により算出された入力デバイス１２に対するオブジェクト２の姿勢角（ロール角φ、ピッチ角θ、ヨー角ψ）と、上記位置認識部１５３により算出された入力デバイス１２に対するオブジェクト２の中心座標（ｘc，ｙc，ｚc）をもとにカメラ制御信号を生成する。そして、このカメラ制御信号をカメラ１６に与えることで、物体に対するカメラ１６の撮像位置と姿勢を制御する処理を行う。  
表示Ｉ／Ｆ１３は、ビデオメモリを有し、上記制御ユニット１５から出力された映像データ等の表示データをビデオメモリ上に展開して表示デバイス１１に表示させる機能を有する。
【００２６】
（動作）
次に、以上のように構成された情報入力システムによる操作データの入力処理動作を説明する。図６は情報端末１による操作入力処理の手順と処理内容を示すフローチャートである。  
ここでは、例えばカメラ１６により撮像された物体の画像が表示デバイス１１に表示されている状態で、オブジェクト２を情報端末１の入力デバイス１２上で操作することによりその位置と姿勢に応じて上記カメラ１６の撮像位置と姿勢をリアルタイムに制御し、これにより上記表示されている物体の画像を様々な視点で見ることができるようにする場合を例にとって説明を行う。
【００２７】
上記画像データの位置及び姿勢を制御するために、ユーザが入力しようとする操作データの種類は、図５（ａ）〜（ｆ）に示すように、ｘ方向の並進（移動量ｘ）と、ｙ方向の並進（移動量ｙ）と、ｚ方向の並進（移動量ｚ）と、ｘ軸周りの回転（ロール角φ）と、ｙ軸周りの回転（ピッチ角θ）と、ｚ軸周りの回転（ヨー角ψ）とからなる６種類である。すなわち、この実施形態ではオブジェクト２による６軸の自由度の操作を検出してこれを操作データとして入力する。
【００２８】
なお、図８に示す通り入力デバイス１２のタッチパネル上における脚部２２１〜２２４の接地点の位置座標をそれぞれ（Ｘi ，Ｙi ）(i=1,2,3,4)と定義し、脚部２２１〜２２４のタッチパネルに対する絶対角をそれぞれθi (i=1,2,3,4)と定義する。また、台座部２１の姿勢パラメータをΦ，Θ，Ψと定義し、さらに台座部２１の中心座標を（ｘc，ｙc，ｚc）と定義する。
【００２９】
（１）動作の概要
オブジェクト２は平衡点を持つ４本の脚部２２１〜２２４を有する。このため、ユーザが何もしていない平衡状態では、入力デバイス１２のタッチパネル上において図９に示すように４個の接触点Ｓ１t ，Ｓ１t ，Ｓ２t ，Ｓ３t ，Ｓ４t が検出される。この状態で、例えばｚ方向にオブジェクト２が押下されると、脚部２２１〜２２４のそれぞれの接触点は、図１０のＳ１t+1 ，Ｓ１t+1 ，Ｓ２t+1 ，Ｓ３t+1 ，Ｓ４t+1のように何れもオブジェクト２の中心位置から離れる方向に同じ距離だけ移動する。従って、脚部２２１〜２２４の接触点が同一量移動したことを検出した場合には、オブジェクト２がｚ方向に押下されたと判定できる。
【００３０】
次に、例えばオブジェクト２の中心位置からｙ軸の負の方向の点が押下された場合には、オブジェクト２はｘ軸周りに姿勢が変化する。このとき、接触点Ｓ４t 付近の台座部２１の位置は、タッチパネル面の方向へ移動して図８に示すようにθ3 が小さくなる。このため、結果的に図１１（ａ）のＳ４t+1に示すように接触点の位置はオブジェクト２の中心位置から遠ざかる方向に移動する。また、それと共に接触点Ｓ１t ，Ｓ３t付近の台座部２１の位置も、図１１（ａ）のＳ１t+1，Ｓ３t+1に示すようにタッチパネル面の方向へ移動する。このため、θ1 ，θ3もそれぞれ若干小さくなる。また、このとき脚部２２１〜２２４と台座部２１の回転の自由度は１なので、台座部２１の姿勢角がｘ軸周りに回転することに伴い、接触点はｙ軸の正方向に変位する。よって、タッチパネル上の脚部の接触点を検出するだけで、ｘ軸周りの姿勢角Φが検出できる。
【００３１】
また、オブジェクト２の中心位置からｘ軸の負の方向に点が押下され、これによりオブジェクト２がｙ軸周りに回転する場合には、接触点Ｓ３t 付近の台座部２１の位置がタッチパネル面の方向へ移動して、その結果接触点Ｓ３tは図１１（ｂ）のＳ３t+1に示すようにオブジェクト２の中心位置から遠ざかる方向に移動する。また、それと共に接触点Ｓ２t ，Ｓ４tの位置も、図１１（ｂ）のＳ２t+1，Ｓ４t+1に示すようにタッチパネル面の方向へ移動する。またこのとき、脚部２２１〜２２４と台座部２１の回転の自由度は１なので、台座部２１の姿勢角がｙ軸周りに回転することに伴い、接触点はｘ軸の負方向に変位する。よって、タッチパネル上の脚部の接触点を検出するだけで、ｙ軸周りの姿勢角Θが検出できる。
【００３２】
最後に、オブジェクト２のｚ軸周りの回転に関しては、タッチパネル上の脚部２２１〜２２４の接触点Ｓ１t ，Ｓ１t ，Ｓ２t ，Ｓ３t ，Ｓ４t が、何れも図１１（ｃ）のＳ１t+1 ，Ｓ１t+1 ，Ｓ２t+1 ，Ｓ３t+1 ，Ｓ４t+1 に示すように移動する。従って、この場合には、接触点Ｓ１t ，Ｓ１t ，Ｓ２t ，Ｓ３t ，Ｓ４tの一様な変化からオブジェクト２のｚ軸周りの回転が検出できる。
【００３３】
（２）操作データの受信・記憶処理
情報端末１では、制御ユニット１５が一定の周期で操作データの取り込みタイミングを監視している。この状態で取り込みタイミングになると、ステップＳ１により操作データ取得制御部１５１が、入力デバイス１２の静電容量シートにより検出された静電容量の変化を表すディジタル信号を入力Ｉ／Ｆ１４から操作検出データとして取り込む。そして、ステップＳ２により、上記取り込んだ操作検出データをその取り込み時刻を表す情報と共に検出データ記憶部１８に記憶させる。
【００３４】
（３）オブジェクトの姿勢及び位置の認識処理
上記検出データ記憶部１８に操作検出データが記憶されるごとに、制御ユニット１５はステップＳ３において姿勢認識部１５２を起動し、この姿勢認識部１５２の制御の下で、先ず上記検出データ記憶部１８から操作検出データを読込む。そして、この読込んだ操作検出データをもとに、入力デバイス１２のタッチパネルに対する脚部２２１〜２２４の位置座標を算出し、さらにこの算出された位置座標からオブジェクト２の姿勢を表すロール角φ、ピッチ角θ、ヨー角ψを算出する。また、位置認識部１５３を起動し、上記検出データ記憶部１８から読込んだ操作検出データをもとに、オブジェクト２の中心位置座標（ｘc ，ｙc ，ｚc ）を算出する。
【００３５】
上記姿勢認識部１５２及び位置認識処理部１５３による処理の具体例を以下に説明する。図７はその処理手順と処理内容を示すフローチャートである。  
すなわち、先ずステップＳ３１において、検出データ記憶部１８から、入力デバイス１２のタッチパネル上におけるオブジェクト２の各脚部２２１〜２２４の接触点の位置座標ｘ1 ，ｘ2 ，ｘ3 ，ｘ4 ，ｙ1 ，ｙ2 ，ｙ3 ，ｙ4を表すデータを読込む。そして、先ずステップＳ３２，Ｓ３３により、情報処理オブジェクトの三次元幾何学に基づいて、以下のように姿勢の状態を算出する。
【００３６】
すなわち、先ずｘ，ｙ，ｚの各軸周りの回転行列をそれぞれ、
【数１】
0005826097.tif 000002
と定義する。そして、各接地点をｐi ＝［ｘi ，ｙi ，ｚi ］T (i ＝1,2,3,4)とし、基準点をｐi 、脚部２２１〜２２４を表現するベクトルをｌi ＝［ｌi ，０，０］(i ＝1,2)、ｌi ＝［０，ｌi ，０］(i ＝3,4)、脚部２２１と脚部２２２との間のベクトルをｄc2 ＝［d/2，０，０］T 、オブジェクト２の中心と脚部２２３との間のベクトルをｄc3 ＝［０，d/2，０］T 、オブジェクト２の中心と脚部２２４との間のベクトルをｄc4 ＝［０，-d/2，０］T に設定すると、ｐi ＝［ｘi ，ｙi ，ｚi ］T (i ＝1,2,3,4) は、  
【数２】
0005826097.tif 000003
により算出される。
【００３７】
次に、以上の計算結果に基づき、オブジェクト２の姿勢を表すロール角φ、ピッチ角θ、ヨー角ψをそれぞれ算出する。これは、検出データ（Ｘi ，Ｙi ）(i=1,2,3,4)に対し、ｐ2 ＝［Ｘ2 ，Ｙ2 ，Ｚ2 ］T ，ｐ3 ＝［Ｘ3 ，Ｙ3 ，Ｚ3 ］T ，ｐ4 ＝［Ｘ4 ，Ｙ4 ，Ｚ4 ］T の連立非線形方程式を解析的に解くことにより行われる。
【００３８】
以下に、大まかな解析処理の流れを説明する。すなわち、接地点のｚ座標が０である場合３つの拘束条件がある。この拘束条件より、θ2 ，θ3 ，θ4を他の変数で表現することができる。そして、台座部２１の姿勢パラメータΦ，Θ，Ψをθ1 の関数として記述するように変形する。最後に、θ1 のみを含む非線形一次方程式が残るが、式が複雑で解析解θ1 ＝ｆ（Ｘi ，Ｙi ）(i=1,2,3,4)を算出することは不可能である。そこで、本実施形態では図７に示すように、ステップＳ３２においてθ1 に関する非線形一次方程式に関してはテイラー展開等により近似解を算出するか、或いはニュートン法等の数値解析によって算出する。そして、この算出されたθ1をもとにステップＳ３３により姿勢パラメータΦ，Θ，Ψを算出する。
【００３９】
次に、オブジェクト２の位置座標（ｘc，ｙc，ｚc）を算出する。オブジェクト２の中心座標ｐc は、
【数３】
0005826097.tif 000004
により表される。従って、ステップＳ４１に示すように、位置座標（ｘc，ｙc，ｚc）の計算式に上記各パラメータを代入することで、オブジェクト２の位置座標（ｘc，ｙc，ｚc）を算出することができる。
【００４０】
以上の各処理により算出されたオブジェクト２の姿勢を表すロール角φ、ピッチ角θ及びヨー角ψの各データと、位置座標（ｘc，ｙc，ｚc）を表すデータは、表示制御部１５４又はカメラ制御部１５５に与えられる。
【００４１】
（４）カメラ制御
上記オブジェクト２の姿勢及び位置の認識処理が終了すると制御ユニット１５は、次にステップＳ５によりカメラ制御部１５５を起動し、このカメラ制御部１５５の制御の下で以下のようにカメラの位置及び撮像姿勢を制御する。  
すなわち、上記姿勢認識部１５２により算出されたオブジェクト２の姿勢を表すロール角φ、ピッチ角θ及びヨー角ψの各データと、上記位置認識部１５３により算出されたオブジェクト２の位置座標（ｘc，ｙc，ｚc）のデータをもとに、カメラ１６の位置及び撮像姿勢の制御量に変換する。この変換処理は、例えば予め上記各データ値とカメラ制御量との対応関係を表す情報をメモリに記憶しておき、このメモリから上記各データに対応する制御量を読み出すことにより実現できる。なお、その他に、上記対応関係を表す計算式を用いてその都度計算するようにしてもよい。
【００４２】
そして、上記変換後のカメラ制御量のデータをもとにカメラ制御信号を生成し、このカメラ制御信号をカメラ１６に与える。この結果カメラ１６の撮像位置と姿勢が制御される。なお、カメラ１６の位置は例えばカメラを指示する三次元テーブルを駆動制御することにより行われ、またカメラ１６の撮像姿勢はパン、チルト角をそれぞれ制御することにより行われる。  
かくして、カメラの撮像位置及び撮像姿勢はオブジェクト２の６自由度の操作に応じてリアルタイムに制御され、これによりカメラ１６により撮像中の物体を様々な視点で見ることが可能となる。
【００４３】
（５）表示画像の制御
またこの実施形態では、カメラ１６の撮像位置及び姿勢の制御のほか、物体の三次元画像の表示状態を制御することもできる。この場合制御ユニット１５は、表示制御部１５４の制御の下で、上記姿勢認識部１５２により算出されたオブジェクト２の姿勢を表すロール角φ、ピッチ角θ及びヨー角ψの各データと、上記位置認識部１５３により算出されたオブジェクト２の位置座標（ｘc，ｙc，ｚc）のデータをもとに、表示中の物体の三次元画像の表示位置座標と姿勢を表す回転量を変化させる。
【００４４】
但し、その際に問題となるのは、姿勢角が有限の値しかとれないことである。そこで、姿勢角が円筒座標系であることに注目し、姿勢角度の最大値が９０度に対応するように定数倍する。このようにすれば、実質的にすべての姿勢の操作が可能となる。ｚ軸方向の変位量に関しても同様に、物体が表示デバイス１１において表現される３次元画像の領域内において、初期位置とオブジェクトを操作していないときの操作量とを対応させ、想定されるｚ軸方向の最大値とオブジェクトに最大の負荷をかけたときの操作量とを対応させる。このようにすることで、オブジェクト２の弾性変形量とｚ軸方向の位置とを１対１に対応させることが可能となる。
【００４５】
（実施形態の効果）
以上詳述したようにこの実施形態では、台座部２１の辺に対し直交する方向に移動する４個の脚部２２１〜２２４を持つオブジェクト２を用意し、このオブジェクト２の脚部２２１〜２２４を入力デバイス１２のタッチパネル上において操作したときのオブジェクト２の位置と姿勢を、姿勢認識部１５２及び位置認識部１５３により６つの自由度に分けて計算する。そして、この計算されたオブジェクト２の位置と姿勢をもとに、カメラ１６の撮像位置と姿勢、又は表示中の三次元画像の表示位置と姿勢を可変制御するようにしている。
【００４６】
したがって、オブジェクト２による操作を６つの自由度に分けて検出することができ、これによりカメラ１６の撮像位置と姿勢、又は表示中の三次元画像の表示位置と姿勢を可変制御することができる。すなわち、１個のオブジェクト２の操作により対象物の位置及び姿勢の６軸操作が可能となる。
【００４７】
しかも、タッチパネルに対するオブジェクト２の脚部２２１〜２２４の接触点の位置座標を検出するだけで、オブジェクト２の位置姿勢の６軸の状態を検出することができる。また、既に多くのスマートホンやタブレット型端末に入力デバイスとして使用されている静電容量式のタッチパネルをそのまま利用でき、かつオブジェクトとして電子的デバイスを使用する必要がないので、安価なシステムを提供することができる。  
さらに、指先の光透過量を用いないので、ユーザごとに検出値の校正（キャリブレーション）を行う必要がなく、またパネルの特性にも影響されないため、高い精度を担保する位置検出では安定した検出結果を得ることができる。
【００４８】
入力検出装置としては、スマートホンやタブレット型端末以外に、マウスパッドのようなものであってもよい。この場合は、マウスパッドによりオブジェクトの接触子の位置座標を検出し、その検出データをＵＳＢ（Universal Serial Bus）等を用いた信号ケーブルや無線インタフェース、赤外線インタフェースを利用してパーソナル・コンピュータ等の情報端末に転送することにより実現できる。すなわち、入力検出装置は、情報端末にその一部として設けられるように構成しても、また単独で構成してもよい。
【００４９】
また、この発明の情報入力システムは、前記実施形態で述べたカメラ１６の撮像位置と姿勢の制御や表示画像の表示位置と姿勢の制御以外に、飛行機（飛行ロボット）の遠隔操縦インタフェースや、三次元ＣＡＤ（Computer-Aided Design）のアプリケーション、三次元ブラウジング用のマウス入力インタフェース三次元地図データの操作インタフェースとして利用可能である。
【００５０】
さらに、この発明に関連する技術として次のようなものが考えられる。すなわち、前記実施形態ではオブジェクトの接触子の位置座標を情報端末側で検出するようにした。これに対しオブジェクト側に、接触子の２次元方向への移動と回転を検出する機能と、接触子を情報端末のディスプレイ等に押しつけたときの枠体に対する接触子の圧力を検出する機能を設け、これらの検出機能により得られた検出データを無線インタフェースを使用して情報端末側へ伝送するようにしてもよい。
【００５１】
接触子の２次元方向への移動と回転を検出する機能としては、例えば加速度センサやジャイロセンサを利用することができ、また枠体に対する接触子の圧力を検出する機能としては、例えば枠体に抵抗膜シートを介在して接触子を取着する方式や、接触子を中空のゴムボールのような弾性体により構成し、この弾性体の空気圧を計測する方式を使用可能である。さらに、無線インタフェースとしては、Bluetooth（登録商標）や無線ＬＡＮ（Local Area Network）、無線タグで使用される無線インタフェース等の近距離無線データ通信規格を採用したインタフェースを利用できる。
【００５２】
このようにオブジェクト側に位置の検出機能を設けることで、オブジェクトは情報端末のタッチパネル上で操作する必要がなく、机上等でも操作することが可能となり、操作性の向上が期待できる。また、情報端末のタッチパネルは抵抗膜シート等の感圧シートを使用する必要がなくなり、静電容量式のシート等のその他のシートを用いることが可能となる。すなわち、情報端末は無線インタフェースさえ備えていればよく、種類やその構成に制約がなくなり、如何なるタイプの情報端末に対しても操作データを入力することが可能となる。
【００５３】
その他、オブジェクトの形状や接触子の形状と数、姿勢認識部及び位置認識部の処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。  
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５４】
１…情報端末、２…オブジェクト、１１…表示デバイス、１２…入力デバイス、１３…表示インタフェース（表示Ｉ／Ｆ）、１４…入力インタフェース（入力Ｉ／Ｆ）、１５…制御ユニット、１６…カメラ、１７…検出データ記憶部、２１…台座部、２２１〜２２４…脚部、１５１…操作データ取得制御部、１５２…姿勢認識部、１５３…位置認識部、１５４…表示制御部、１５５…カメラ制御部。
【図１】
0005826097.tif 000005
【図２】
0005826097.tif 000006
【図３】
0005826097.tif 000007
【図４】
0005826097.tif 000008
【図５】
0005826097.tif 000009
【図６】
0005826097.tif 000010
【図７】
0005826097.tif 000011
【図８】
0005826097.tif 000012
【図９】
0005826097.tif 000013
【図１０】
0005826097.tif 000014
【図１１】
0005826097.tif 000015