(57)【要約】【課題】単色マーカであっても、３次元力分布計測が可能な光学式触覚センサを提供する。【解決手段】第１面と第２面を備えた入力デバイスと、撮影手段と、記憶手段と、処理手段と、を備えた光学式触覚センサであって、該入力デバイスは、透明弾性体と、該透明弾性体内に設けた複数の力検出用マーカと、から構成されており、前記第１面は透明弾性体の部分であり、前記記憶手段には、透明弾性体に外力が作用しない状態における透明弾性体内の各力検出用マーカの初期位置情報が、入力デバイスの座標系として格納されており、前記撮影手段は、第１面に力が作用した際の入力デバイスを第２面側から撮影し、前記処理手段は、取得した画像情報と初期位置情報とからマーカ移動情報を取得し、マーカ移動情報から表面に作用した力ベクトル分布を取得する。【選択図】図４
2009288033.tif 000002
【特許請求の範囲】
【請求項１】
入力デバイスと、撮影手段と、記憶手段と、処理手段と、を備えた光学式触覚センサであって、
該入力デバイスは、透明弾性体と、該透明弾性体内に設けた複数の力検出用マーカと、から構成されており、
前記記憶手段には、透明弾性体に外力が作用しない状態における透明弾性体内の各力検出用マーカの３次元位置情報が、入力デバイスの座標系として格納されており、
前記撮影手段は、透明弾性体の表面に力が作用した際の入力デバイスを撮影して入力デバイスの画像情報を取得し、
前記処理手段は、取得した画像情報と前記３次元位置情報とから力検出用マーカの移動情報を取得し、力検出用マーカの移動情報から透明弾性体の表面に作用した力ベクトル分布を取得する、
光学式触覚センサ。
【請求項２】
前記入力デバイスは第１面と第２面とを備えており、前記第１面は透明弾性体の部分であり、前記撮影手段は、第１面に力が作用した際の入力デバイスを第２面側から撮影する、請求項１に記載の光学式触覚センサ。
【請求項３】
前記複数のマーカは、透明弾性体の厚さ方向に第１面あるいは第２面から異なる深さに埋設された複数のマーカ群である、
請求項２に記載の光学式触覚センサ。
【請求項４】
前記力検出用マーカは、単色である、請求項１乃至３いずれかに記載の光学式触覚センサ。
【請求項５】
前記力検出用マーカは、再帰性反射材から形成されている、請求項１乃至４いずれかに記載の光学式触覚センサ。
【請求項６】
前記力検出用マーカは、赤外線遮断・可視光透過材から形成されている、請求項１乃至５いずれかに記載の光学式触覚センサ。
【請求項７】
前記撮影手段は、赤外線カメラである、請求項１乃至６いずれかに記載の光学式触覚センサ。
【請求項８】
前記入力デバイスは可動である、請求項１乃至７いずれかに記載の光学式触覚センサ。
【請求項９】
前記入力デバイスには、カメラ座標から入力デバイスの座標系までの位置・姿勢を検出するための位置姿勢検出マーカが設けてあり、
前記記憶手段には、位置姿勢検出マーカの位置情報が入力デバイスの座標系として格納されている、
請求項１乃至８いずれかに記載の光学式触覚センサ。
【請求項１０】
前記位置姿勢検出マーカは、前記入力デバイスにおいて、前記透明弾性体以外の部位に設けてある、請求項９に記載の光学式触覚センサ。
【請求項１１】
前記入力デバイスには、前記撮影手段により取得された画像における入力デバイスを識別するデバイス識別マーカが設けてある、
請求項１乃至１０いずれかに記載の光学式触覚センサ。
【請求項１２】
請求項９に記載の光学式触覚センサを用いた力ベクトル分布取得方法であって、
力が作用した時の入力デバイスを撮影して入力デバイスの画像を取得するステップと、
カメラ座標系から入力デバイスの座標系までの位置・姿勢情報を取得して、入力デバイスの画像における力検出用マーカの初期位置情報を推定するステップと、
推定された力検出用マーカの初期位置情報と入力デバイスの画像中の力検出用マーカの位置情報とから、力検出用マーカの移動情報を計測するステップと、
計測された力検出マーカの移動情報を、入力デバイスの座標系に変換するステップと、
入力デバイスの座標系における力検出用マーカの移動情報から入力デバイスに作用した３次元の力ベクトル分布を求めるステップと、
からなる力ベクトル分布取得方法。
【請求項１３】
透明弾性体と、該透明弾性体内に設けた複数の力検出用マーカと、から構成された光学式触覚センサ用の入力デバイスであって、
前記入力デバイスは第１面と第２面とを備えており、前記複数の力検出用マーカは、透明弾性体の厚さ方向に第１面あるいは第２面から異なる深さに埋設された複数のマーカ群であり、透明弾性体に外力が作用しない状態における透明弾性体内の各力検出用マーカの３次元位置情報が、入力デバイスの座標系として登録されている、入力デバイス。
【請求項１４】
請求項９に記載の光学式触覚センサを用いたテーブルトップディスプレイであって、
前記入力デバイスは第１面と第２面とを備えており、前記複数の力検出用マーカは、透明弾性体の厚さ方向に第１面あるいは第２面から異なる深さに埋設された複数のマーカ群であり、前記入力デバイスは、第２面を下側、第１面を上側にしてテーブル上に載置されており、前記力検出用マーカは、第１の光線を遮断し、第２の光線を透過させるように構成されており、
テーブルトップの下方には、
第２の光線を用いてテーブルトップに下方から映像を投影するプロジェクタと、
第１の光線を用いて第２面から入力デバイスを撮影するカメラと、
が配置されており、
第１面に作用した力ベクトル分布に基づいてプロジェクタから投影される映像を変化させるように構成されている、
テーブルトップディスプレイ。
【請求項１５】
前記第１の光線は赤外線、前記第２の光線は可視光であり、
テーブルトップの下方には赤外線エミッタが配置されており、
前記力検出用マーカは、赤外線遮断・可視光透過材から形成されており、
前記カメラは、赤外線カメラである、
請求項１４に記載のテーブルトップディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学式触覚センサに関するものである。
【背景技術】
【０００２】
近年、マウスやキーボードといった従来からのインタフェースに加え、タッチパネルやノートPCのポインティングスティックなど人の手や指の動作を直接計測し利用するインタフェースが数多く提案されてきている。これらは、コンピュータとの直感的なインタラクションを実現する上で有用なデバイスであるが、その一方で人の知覚できる触覚情報の中の一部の情報しか用いられていないとも言える。
【０００３】
その中で、発明者らはこれまで、人間の触覚情報とほぼ同様な情報を計測可能なセンサを目指し、光学式3次元触覚センサを開発してきた（特許文献１、非特許文献１）。これは、透明弾性体で構成された入力デバイスとカメラ部から構成され、弾性体に加えられた3次元の力ベクトルの分布を実時間で計測することができるシステムである。
【０００４】
力分布を計測する触覚センサは、これまでにも数多く提案されてきている。代表的なものには、接触時の圧力を検出するために感圧導電ゴムを用いるものや、静電容量の変化を利用するものなどが挙げられる。しかし、これらの多くは力の法線方向成分のみの検出が主であり、3次元力ベクトルの分布を取得することは困難である。
【０００５】
その中で特許文献１、非特許文献１に記載のセンサは、単純な構造で3次元力ベクトル分布を計測できるという特徴がある。その原理は以下の通りである。まず力が加えられた時の弾性体内部のマーカの移動量をカメラで取得する。この際、必要な情報を得るために、マーカは深さの異なる2色の層を用意し、色で層の違いを区別する。計測された移動量に対し、弾性体理論を用いて行列演算を施し、3次元の力ベクトルの分布を得ることができる。このセンサは人の触覚と同様に、押された部位と3次元の力ベクトルを実時間で取得でき、入力デバイスの力入力面も適度な弾性を持つため、人の手や指の動作を入力する用途に適している。
【０００６】
しかし、光学式３次元触覚センサの典型的な実施形態であるGelForce（登録商標）はセンサシステム自体にカメラを内蔵しているため、カメラ部と弾性体部が構造的に一体化されており、システムの可動性には構造上の制限があった（特許文献３）。また広範囲の計測を行うためには、計測範囲全体に弾性体を敷き詰める必要があり、装置の拡張性も必ずしも高いとは言えない。また、各マーカ群を色で区別するため、カラーカメラが必須である。
【０００７】
例えば、実オブジェクトの位置情報や識別情報（ID）自体を入力として用いたシステムが提案されている。
Ｔａｂｌｅｓｃａｐｅ Ｐｌｕｓ [Yasuaki Kakehi, Makoto Iida, Takeshi Naemura,
Mitsunori, Matsushita: Tablescape plus: Upstanding tiny displays on tabletop
display, ACM SIGGRAPH 2006, Emerging Technologies, 2006]では、テーブル上に配置されたオブジェクトを動かしたり、連結させることで、オブジェクトに投影された映像がインタラクティブに変化する。
ＤａｔａＴｉｌｅｓ [J.Rekimoto, Brygg Ullmer, Haruo Oba: “DataTiles: a modular platform for
mixed physical and graphical interactions”, Proceedings of CHI2001, pp.269-276,
2001.]では、タイル状オブジェクトに対し、ペン入力やダイヤル操作を行うこともできる。
しかし、実オブジェクトに対し、特殊な装置をつけずに力情報を入力するシステムはこれまで少なかった。上述の光学式３次元触覚センサをこのようなアプリケーションに適用するならば、弾性体の上面には手が配置するため、影を生じさせずに映像を投影するためには弾性体の下面から投影する必要があるが、従来の光学式３次元触覚センサでは、カメラ部やマーカ群があるため、品質を損なわずに映像投影することが困難であった。
【特許文献１】国際公開公報ＷＯ２００５／０２９０２８（特表２００７−５１８９６６）
【特許文献２】国際公開公報ＷＯ０２／０１８８９３
【特許文献３】特開２００７−１４７４４３
【非特許文献１】Kazuto Kamiyama, Hiroyuki Kajimoto, Naoki Kawakami, SusumuTachi: Evaluation of a Vision-based Tactile Sensor. ICRA 2004:1542-1547
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、力検出用マーカの種類を限定することがない光学式触覚センサを提供することを目的とするものである。
本発明の他の目的は、可動の力入力面を備えた光学式触覚センサを提供することにある。
【課題を解決するための手段】
【０００９】
本発明が採用した技術手段は、
入力デバイスと、撮影手段と、記憶手段と、処理手段と、を備えた光学式触覚センサであって、
該入力デバイスは、透明弾性体と、該透明弾性体内に設けた複数の力検出用マーカと、から構成されており、
前記記憶手段には、透明弾性体に外力が作用しない状態における透明弾性体内の各力検出用マーカの３次元位置情報が、入力デバイスの座標系として格納されており、
前記撮影手段は、透明弾性体の表面に力が作用した際の入力デバイスを撮影して入力デバイスの画像情報を取得し、
前記処理手段は、取得した画像情報と前記３次元位置情報とから力検出用マーカの移動情報を取得し、力検出用マーカの移動情報から透明弾性体の表面に作用した力ベクトル分布を取得する、
光学式触覚センサ、である。
一つの態様では、前記入力デバイスは第１面と第２面とを備えており、前記第１面は透明弾性体の部分であり、前記撮影手段は、第１面に力が作用した際の入力デバイスを第２面側から撮影する。典型的には、第１面と第２面とは対向している。
【００１０】
力検出用マーカの層が1層でも、1つの力計測点に対し、その力計測点周りに2つ以上の力検出用マーカがあれば、理論的には力を求めることが可能である。しかしながら、3次元の力ベクトルを正確に推定するには、複数の力検出用マーカが2層以上（深さが異なる位置にマーカがある）であることが必要となり、力が作用する表面から異なる深さに複数の力検出用マーカを配置することが有利である。
したがって、１つの好ましい態様では、前記複数のマーカは、透明弾性体の厚さ方向に第１面あるいは第２面から異なる深さに埋設された複数のマーカ群である。
典型的な態様では、透明弾性体内には２つのマーカ群が２層状に埋設されるがマーカ群の数は限定されず、たとえば、３層状に３つのマーカ群を埋設したものでもよい。
また、同一平面状にない（異なる深さで）ランダムな位置に複数の力検出用マーカを配置して、その力検出用マーカの３次元位置情報が入力デバイスの座標系で分かっていれば、一つのマーカの影に他のマーカが隠れない限り、どのような配置でもよい。
【００１１】
１つの態様では、力検出用マーカは、単色である。
また、１つの態様では力検出用マーカは、再帰性反射材から形成されている。
また、１つの態様では、力検出用マーカは、赤外線遮断・可視光透過材から形成されている。１つの態様では、前記撮影手段は、赤外線カメラである。
力検出用マーカの形状は重心が計測できるものであれば、その形状は限定されないが、典型的な例では、球状、円板状のマーカである。
【００１２】
１つの態様では、入力デバイスは可動である。１つの態様では、入力デバイスは平面内のみを移動可能である。１つの態様では、入力デバイスは３次元空間を移動可能である。
１つの態様では、入力デバイスは、撮影手段から見た平面視が方形状、例えば正方形状である。また、１つの態様では、入力デバイスの第１面、第２面は平面である。しかしながら、入力デバイスの平面視の形状は限定されない。また、入力デバイスの第１面、第２面は曲面でもよい。また、入力デバイスは、球状であってもよい。
【００１３】
１つの態様では、前記入力デバイスには、カメラ座標から入力デバイスの座標系までの位置・姿勢を検出するための位置姿勢検出マーカが設けてある。前記記憶手段には、位置姿勢検出マーカの位置情報が入力デバイスの座標系として格納されている。位置姿勢検出マーカの位置情報は、入力デバイスにおける当該マーカの位置を特定できるものであれば、当該マーカ全体の位置情報である必要はなく、当該マーカの代表点の位置情報のみを格納するものでもよい。例えば、四角形の位置姿勢検出マーカの頂点の座標のみを位置情報として登録するものでもよい。位置姿勢検出マーカを設けることで、カメラに対する入力デバイスの3次元的な位置・姿勢を求めることができる。入力デバイスの形状にかかわらず、カメラから入力デバイスまでの位置姿勢がわかれば、各マーカの入力デバイスの座標系で表される位置を画像中の座標に変換することができる。
好ましくは、位置姿勢検出マーカは、入力デバイスの透明弾性体に力が作用した場合の透明弾性体の変形の影響を受けないように、入力デバイスに設けられる。したがって、１つの態様では、前記位置姿勢検出マーカは、前記入力デバイスにおいて、前記透明弾性体以外の部位に設けてある。例えば、入力デバイスの第２面を透明弾性体とは別部材の透明の硬質部材（例えば、透明のアクリル板）から形成し、硬質部材からなる第２面に位置姿勢検出マーカを設ける。
後述する実施形態では、位置姿勢検出マーカは、ＳＱＵＡＲＥ  ＭＡＲＫＥＲとＩＤ  ＭＡＲＫＥＲの２種類のマーカからなるが、１種類のマーカから位置姿勢検出マーカを構成してもよい。例えば、ＳＱＵＡＲＥ  ＭＡＲＫＥＲの四角形の枠の１つの角の部位だけ色が異なるマーカをカラーカメラで認識する。または、ＳＱＵＡＲＥ  ＭＡＲＫＥＲの四角形の枠の1つ角の内側に小さな四角形を内接させた形状とする。あるいは、四角形マーカに代えて、回転対称でない形状の位置姿勢検出マーカを用意してもよい。
１つの態様では、ＳＱＵＡＲＥ  ＭＡＲＫＥＲとＩＤ  ＭＡＲＫＥＲは、前記入力デバイスの第２面に設けてある。
１つの態様では、入力デバイスの第２面は透明板からなり、ＳＱＵＡＲＥ  ＭＡＲＫＥＲとＩＤ  ＭＡＲＫＥＲは透明板に設けられる。
１つの態様では、位置姿勢検出マーカは、再帰性反射材、あるいは、赤外線遮断・可視光透過材から形成される。
【００１４】
１つの態様では、前記入力デバイスには、前記撮影手段により取得された画像における入力デバイスを識別するデバイス識別マーカが設けてある。デバイス識別マーカは、複数の入力デバイスが有る場合には、有用である。
１つの態様では、位置姿勢検出マーカは、再帰性反射材、あるいは、赤外線遮断・可視光透過材から形成される。
後述する実施形態では、デバイス識別マーカの位置情報は、入力デバイスの座標系で記憶手段に格納されている。予めデバイス識別マーカの位置が分かっていないと、画像中からデバイス識別マーカの有無を検出できないからである。しかしながら、本発明において、デバイス識別マーカの位置情報は必ずしも登録されている必要は無い。例えば、各入力デバイスに、色分けされた識別マーカを設けて、カラーカメラを用いて識別マーカの色で各入力デバイス同士を識別したり、入力デバイス毎に異なる形状の識別マーカを設け、識別マーカの形状で各入力デバイス同士を識別することができる。
１つの態様では、位置姿勢検出マーカは、前記撮影手段により取得された画像における入力デバイスを識別するデバイス識別マーカを兼用する。あるいは、力検出マーカにデバイス識別マーカの機能（色分けによる識別）を持たせても良い。
【００１５】
典型的な態様では、撮影手段は、入力デバイスの全体を含むように入力デバイスを撮影し、入力デバイス全体がカメラ画像に収まるようになっている。
しかしながら、入力デバイスの部分のカメラ画像から、入力デバイスの位置、姿勢を検出できるように位置姿勢検出マーカを設けることで、入力デバイスの部分像から力分布を求めることも可能である。
【００１６】
一つの態様では、本発明は、光学式触覚センサを用いた力ベクトル分布取得方法として提供される。
力ベクトル分布取得方法は、
力が作用した時の入力デバイスを撮影して入力デバイスの画像を取得するステップと、
カメラ座標系から入力デバイスの座標系までの位置・姿勢情報を取得して、入力デバイスの画像における力検出用マーカの初期位置情報を推定するステップと、
推定された力検出用マーカの初期位置情報と入力デバイスの画像中の力検出用マーカの位置情報とから、力検出用マーカの移動情報を計測するステップと、
計測された力検出マーカの移動情報を、入力デバイスの座標系に変換するステップと、
入力デバイスの座標系における力検出用マーカの移動情報から入力デバイスに作用した３次元の力ベクトル分布を求めるステップと、
からなる。
一つの態様では、本発明は、透明弾性体と、該透明弾性体内に設けた複数の力検出用マーカと、から構成された光学式触覚センサ用の入力デバイスであって、
前記入力デバイスは第１面と第２面とを備えており、前記複数の力検出用マーカは、透明弾性体の厚さ方向に第１面あるいは第２面から異なる深さに埋設された複数のマーカ群であり、透明弾性体に外力が作用しない状態における透明弾性体内の各力検出用マーカの３次元位置情報が、入力デバイスの座標系として登録されている、入力デバイス、である。
１つの態様では、前記入力デバイスには、カメラ座標から入力デバイスの座標系までの位置・姿勢を検出するための位置姿勢検出マーカが設けてあり、前記位置姿勢検出マーカの位置情報が入力デバイスの座標系として登録されている。
【００１７】
１つの態様では、本発明は、光学式触覚センサを用いたテーブルトップディスプレイとして提供される。
デーブルトップディスプレイにおいて、前記入力デバイスは第１面と第２面とを備えており、前記複数の力検出用マーカは、透明弾性体の厚さ方向に第１面あるいは第２面から異なる深さに埋設された複数のマーカ群であり、前記入力デバイスは、第２面を下側、第１面を上側にしてテーブル上に載置されており、前記力検出用マーカは、第１の光線を遮断し、第２の光線を透過させるように構成されている。
テーブルトップの下方には、第２の光線を用いてテーブルトップに下方から映像を投影するプロジェクタと、第１の光線を用いて第２面から入力デバイスを撮影するカメラと、が配置されており、第１面に作用した力ベクトル分布に基づいてプロジェクタから投影される映像を変化させるように構成されている。
１つの態様では、前記第１の光線は赤外線、前記第２の光線は可視光であり、テーブルトップの下方には赤外線エミッタが配置されており、前記力検出用マーカは、赤外線遮断・可視光透過材から形成されており、前記カメラは、赤外線カメラである。
１つの態様では、偏光を用いる方式が採用され、前記第１の光線は第１方向に振動する第１偏光、前記第２の光線は第２方向に振動する第２偏光であり、前記力検出用マーカは、第１偏光遮断・第２偏光透過の偏光フィルタからなり、カメラの前に第２偏光遮断・第１偏光透過の偏光フィルタを配置する。
具体例では、力検出用マーカの素材として、右回りの円偏光のフィルタを用い、カメラの前に左回りの円偏光のフィルタを配置する。力検出用マーカ素材を通過した左周りの円偏光の光は、カメラ前に配置されたフィルタを通過できないため、力検出用マーカはカメラ映像に黒く映る。プロジェクタから投影される映像は力検出用マーカであるフィルタを通過するため映像を投影することが可能である。
【発明の効果】
【００１８】
本発明では、力検出用マーカの位置を入力デバイスの座標系で予め登録しておくことで、登録された位置情報によって力検出用マーカを識別することが可能であるため、力検出用マーカの種類を限定することがなく、例えば単色の力検出用マーカを採用することができる。
透明弾性体内に単色の力検出用マーカからなる複数のマーカ群が埋設されている場合においても、登録された位置情報によってマーカ群同士を識別することができる。したがって、本発明は、単色の力検出用マーカであっても、３次元力分布計測が可能な光学式触覚センサを提供する。
本発明は、単色マーカの認識を可能とする光学式触覚センサであり、単色マーカの採用が可能となったことで、マーカの材質を、再帰性反射材や赤外線遮断・可視光透過材とすることができる。前記撮影手段としても、赤外線カメラを採用することができる。
【００１９】
本発明では、力検出用マーカの位置を予め登録しておき、かつ、入力デバイスの位置・姿勢を位置姿勢検出マーカで検出することで、入力デバイスを可動デバイスとすることができる。そして、本発明に光学式触覚センサは、入力デバイスの位置情報と、入力デバイスに加えられた力ベクトル場の両方を同時に計測できる。したがって、構造的に力入力面とカメラとの位置が固定された従来の光学式触覚センサに比べて、光学式触覚センサの応用範囲を拡張することができる。
例えば、本発明に係る光学式触覚センサは、入力デバイスの位置、ＩＤ、力ベクトル場を取得するヒューマンインタフェースとして用いることができる。また、赤外線カメラによるマーカ認識を可能とすることで、撮影手段の近傍にプロジェクタを配置し、入力デバイスに映像を投影することも可能となる。よって、力入力と共に、映像を同時に投影して、映像に対してインタラクティブな操作を行うことが可能となる。
【発明を実施するための最良の形態】
【００２０】
本発明の１つの実施形態について説明する。ここでは、ある平面内で可動する入力デバイスをカメラで取得することで、入力デバイスの位置とID、加えた力ベクトル場を同時に計測することができるセンサシステムについて説明する。図２に提案するシステムの概観を示す。光学式触覚センサは、入力デバイス１と、撮影手段２と、を備えている。入力デバイス１は、透明板からなる天板を備えたテーブル３上に移動可能に載置された可動デバイスである。本システムの入力デバイスには電気的な配線は不要で、力情報を取得できる範囲も容易に拡張できる。
【００２１】
光学式触覚センサのハードウェア構成について説明する。入力デバイス１は、透明弾性体４と、透明弾性体４内に埋設した複数の力検出用マーカ５Ａ，５Ｂと、を備えている。図３に示すように、入力デバイス１は、力検出用マーカ５Ａ，５Ｂの他に、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ（位置姿勢検出マーカ）６、ＩＤ  ＭＡＲＫＥＲ（位置姿勢検出マーカ兼デバイス識別マーカ）７、計３種類のマーカを備えている。すなわち、図示の態様では、カメラ座標から入力デバイスの座標系までの位置・姿勢を検出するための位置姿勢検出マーカは、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６とＩＤ  ＭＡＲＫＥＲ７の２種類のマーカから構成されている。
【００２２】
図４に示すように、入力デバイス１は、対向状の第１面８及び第２面９、四周状の側面１０を備えたタイル状のデバイスである。入力デバイスは、所定の高さ（厚み）を備え、平面視正方形状のデバイスである。一つの態様では、入力デバイス１の寸法は、縦×横×高さ＝１００ｍｍ×１００ｍｍ×１５ｍｍであるが、寸法は限定されない。また、入力デバイス１の形状・寸法は限定されないことは言うまでもない。
【００２３】
一つの態様では、第２面９は正方形状の透明プレート９０からなり、四周状の側面１０は硬質プラスチックからなる側壁であり、透明プレート９０と側壁とから形成される空間には透明弾性体４が収容されている。透明弾性体４は、対向状の第１面及び第２面、四周状の側面を備えたタイル状の形状に形成されており、所定の高さ（厚み）を備え、平面視正方形状に形成されている。透明弾性体４は、一方の第１面が透明プレートの内面に、四周状の側面が側壁の内面に密着するような寸法に形成されている。一つの態様では、透明弾性体４の高さ（厚さ）は、収納空間の深さと同じか、あるいは、僅かに小さい寸法に形成される。透明弾性体４は、典型的な態様では、シリコーンゴムや超軟質ウレタン造形用樹脂（人肌ゲル）からなるが、他のゴム類やエラストマー等の他の弾性部材から構成してもよいことは当業者に理解される。
【００２４】
透明弾性体４の第１面は露出しており、透明弾性体の第１面が、入力デバイスの第１面８を形成している。透明弾性体４の第１面８は、力入力面となっている。１つの態様では、第１面全体を覆うように遮光層８０が形成されている。遮光層８０は弾性部材から形成されることが望ましい。図２との関係で言うと、入力デバイス１は、第１面８（遮光層８０）を上面、第２面９（透明プレート９０）を下面にして、テーブル３の天板上に載置されている。尚、透明弾性体４を、透明プレート９０、側壁から構成されたケースに収納された態様について説明したが、ケースを設けずに、透明弾性体４の第２面及び側面が、直接、入力デバイス１の第２面、側面を構成するようにしてもよい。
【００２５】
撮影手段２は、入力デバイスの第２面９に対向して配置され、入力デバイスの第２面９を撮影するようになっている。入力デバイスの中央領域には力計測に必要な力検出用マーカを配置する必要がある。図示の態様では、図４に示すように、透明弾性体４内には、複数のマーカ５Ａ，５Ｂが埋設されている。複数のマーカ５Ａ，５Ｂは、透明弾性体４の厚さ方向に異なる深さに位置して２層に設けられた２つのマーカ群を形成している。すなわち、第１面８から第１の深さ位置に設けた複数の第１マーカ５Ａからなる群と、第１面８から第２の深さ位置に設けた複数の第２マーカ５Ｂからなる群と、からなる。撮影手段２は、第２面９側から透明プレート９０を介して透明弾性体４内のマーカ５Ａ，５Ｂを撮影するようになっている。複数のマーカ５Ａ，５Ｂの各マーカは、撮影手段２により認識できるように、第２面９側から見た時の平面（ｘｙ平面）内で、マーカ５Ａとマーカ５Ｂが重ならないように間隔を設けて配置されている。
【００２６】
入力デバイス１における各マーカ５Ａ，５Ｂの位置情報が、入力デバイス１の座標系で記憶されている。入力デバイス１の座標系の取り方の一つの態様を図９Ａ、図９Ｂ、図９Ｄに示す。あるいは、一つの態様では、入力デバイス１の第２面９（透明プレート９０）が形成する平面をｘｙ平面にとり、正方形状の平面の中心を原点とする。そして、入力デバイス１の厚さ方向をｚ軸とする。そして、各マーカの重心の３次元座標によって、入力デバイスの座標系において、各マーカの３次元位置（ｘ，ｙ，ｚ）を特定して記録する。入力デバイスの座標系は、入力デバイスの形状にかかわらずに、適宜決定できることは当業者に理解される。
【００２７】
図示の態様では、図３に示すように、入力デバイスの中央部に力計測に必要な力検出マーカを配置している。図３Ａは、力検出マーカの部分を拡大した図である。第２面９側から入力デバイス１を見た時に、透明弾性体４に外力が作用していない状態では、第２面の中央に１つの力検出マーカ５Ｂが配置されている。中央の力検出マーカ５Ｂを囲むように、４つの力検出マーカＡが配置されている。さらに、４つの力検出マーカ５Ａを囲むように、８個の力検出マーカ５Ｂが配置されている。さらに、８個の力検出マーカ５Ｂを囲むように、１２個の力検出マーカ５Ａが配置されている。例えば、上記の座標系において、中央の力検出マーカ５Ｂの重心は原点に位置しており、各マーカ５Ａ、５Ｂの重心のｘｙ座標が決定されている。そして、マーカ５Ａは共通の第１のｚ座標を有しており、マーカ５Ｂは共通の第２のｚ座標を有している。
【００２８】
したがって、入力デバイス１の中のどこにどのマーカが位置するかがわかっているので、撮影手段２で、入力デバイス１の第２面９からマーカ５Ａ、５Ｂを撮影したカメラ画像において、入力デバイスの位置・姿勢が検出できれば、各マーカの位置を特定することができる。
【００２９】
１つの態様では、各マーカ５Ａ，５Ｂは同色で、円板状のマーカである。１つの態様では、再帰性反射材からマーカを形成してもよい。各マーカの形状は、マーカの重心位置が測定できる形状であれば限定されないが、好ましい態様として、球状マーカ、円板状マーカが例示される。
【００３０】
本システムの実現のためには、撮影手段で取得した画像から入力デバイスの位置を正確に推定する必要がある。入力デバイスの透明プレート９０の四周状の縁には、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ（位置姿勢検出マーカ）６が設けてある。撮影手段２が、入力デバイス１を撮影した時に、カメラ画像においてＳＱＵＡＲＥ  ＭＡＲＫＥＲ６を画像処理で検出することで、カメラ画像における入力デバイス１の位置を特定する。図示の態様では、ARtoolKit等で広く用いられている四角形認識による位置計測[Hirokazu Kato
and Mark Billinghurst: Marker tracking and HMD calibration for a video-based
augmented reality conferencing system, Proceedings 2nd IEEE and ACM
International Workshop on Augmented Reality (IWAR'99) ,pp 85-94, 1999]を可能にするため、入力デバイス１の第２面９を正方形にし、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６を縁に沿って正方形状に配置した。
【００３１】
入力デバイス１の透明プレート９０には、縁に近接する周縁に位置して、複数のドットからなるＩＤ  ＭＡＲＫＥＲ（位置姿勢検出マーカ兼デバイス識別マーカ）７が周縁に沿って間隔を存して設けてある。ＩＤ  ＭＡＲＫＥＲ７は、入力デバイスの第２面９内で非対称に配置されており、ＩＤ  ＭＡＲＫＥＲ７の態様を検出することで、カメラ画像における入力デバイス１の回転角度を算出することができる。ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６とＩＤ  ＭＡＲＫＥＲ７とから入力デバイス１の位置姿勢が検出される。
【００３２】
さらに、複数の入力デバイス１を用いる場合に、各入力デバイスのＩＤ  ＭＡＲＫＥＲ７のドットの配置をデバイス間で異ならしめることで、ＩＤ  ＭＡＲＫＥＲ７によって、入力デバイスの回転のみならず、入力デバイス間の識別も可能となる。すなわち、ＩＤ  ＭＡＲＫＥＲ７は位置姿勢検出マーカのみならず、デバイスを識別するＩＤマーカとして機能する。複数の入力デバイス１があり、かつ、各デバイス１毎で力検出マーカの埋設位置が異なるような場合には、入力デバイスの座標系における力検出用マーカ５Ａ，５Ｂの３次元位置情報は、ＩＤ  ＭＡＲＫＥＲ７によって識別されるデバイスの識別情報と対応付けられている。
【００３３】
図示の態様では、入力デバイスの中央部に配置した力検出用マーカマーカ５Ａ，５Ｂと干渉しないようにＩＤ  ＭＡＲＫＥＲ７を入力デバイスの周辺に配置した。しかしながら、ＩＤ  ＭＡＲＫＥＲ７の配置位置はこのものに限定されるものではなく、力検出用マーカ５Ａ，５Ｂの中に設けてもよく、あるいは、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６に重ねて設けても良い。また、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６の一部や力検出用マーカ５Ａ，５Ｂの一部が姿勢検出用マーカを構成するものでもよい。また、ＩＤ  ＭＡＲＫＥＲ７を力検出用マーカ５Ａ，５Ｂと異なる色として区別してもよい。
【００３４】
１つの態様では、力検出用マーカ５Ａ，５Ｂ、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６、ＩＤ  ＭＡＲＫＥＲ７の全ての素材に再帰性反射材を用い、容易に映像情報を取得できるようにする。また、これらのマーカを赤外線遮断・可視光透過の材質から形成して、赤外線カメラによる認識を可能としても良い。赤外光を用いることで、周囲の環境光の影響を減らすことができる。そのため、背面（カメラの近傍）にプロジェクタを配置し、入力デバイスに対して映像を投影することも可能となる。１つの態様では、入力デバイスの第１面に白色の弾性体膜を設ける。従来の光学式触覚センサでは、透明弾性体内部のマーカが光を遮り、スクリーンにマーカの影が生じてしまった。図７には、実際にカメラからの入力した画像を示す。
【００３５】
本システムは、さらにコンピュータを含む。コンピュータは、入力手段、処理手段、記憶手段、出力手段、表示手段を含む。撮影手段２によって取得された入力デバイスの画像情報は、コンピュータに送信されて、コンピュータの入力手段から入力され、処理手段によって処理される。記憶手段には、各入力デバイス１における各マーカ５Ａ，５Ｂの初期位置情報が、入力デバイス１の座標系で記憶されている。位置姿勢検出マーカ兼デバイス識別マーカであるＩＤ  ＭＡＲＫＥＲ７と入力デバイスとを関連付けるテーブルが格納されている。記憶手段には、さらに、第１面に物体が接触した時の各マーカの移動情報である移動ベクトルから第１面に加えられた力ベクトルないし力ベクトル分布を再構成するための伝達関数が格納されている。伝達関数は、弾性体の形状によっては、弾性体理論から導かれる式に基づいて算出することができる。弾性体の触覚面が自由曲面の場合には、伝達関数は、実測あるいはシミュレーションによって作成することができる（特許文献２）。処理部は、入力された入力デバイス（力検出用マーカ）の画像情報と登録されているマーカ初期位置情報からマーカの移動情報を取得する。取得したマーカ移動情報と伝達関数とから力ベクトルを算出し、出力部から出力する。力ベクトルは必要に応じて視覚化されて表示手段に表示される。
【００３６】
光学式触覚センサのソフトウェア構成について説明する。本センサではGelForce（登録商標）と異なり、力検出に必要な力検出用マーカの位置は、加えられた力のみでなく、入力デバイス１の位置にも依存する。そこで、予め力検出用マーカの初期状態の配置を入力デバイス内の座標系で登録し、現在の入力デバイスの位置に合わせて力検出用マーカの初期位置を推定する。図８乃至図１１に基づいてアルゴリズムの手順を詳細に説明する。
【００３７】
１：前準備
入力デバイスの座標系を定める。図９Ａ、９Ｂ、９Ｃに、入力デバイスの一つ角を原点とし、辺に沿って軸を規定した例を示す。この座標系で、力計測用マーカ５Ａ，５Ｂ、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６の四隅、ＩＤ  ＭＡＲＫＥＲ７のそれぞれのXYZ座標を記録する。
【００３８】
２：位置姿勢検出マーカを探索（図８（２）、図１０Ｂ）
撮影手段で、入力デバイスを第２面側から撮影して入力画像を取得する（図８（１）、図１０Ａ参照）。入力画像中から四角形探索し、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６を探す。その後、画像中のＳＱＵＡＲＥ  ＭＡＲＫＥＲ６の四隅の位置と、入力デバイス内部における座標系でのＳＱＵＡＲＥ  ＭＡＲＫＥＲ６の四隅の位置の対応関係を求める。この際、ＳＱＵＡＲＥ  ＭＡＲＫＥＲ６だけだと、四角形は90度ごとに回転対称なので対応関係は一意には求まらない。そこでＩＤ  ＭＡＲＫＥＲ７を利用している。
【００３９】
３：カメラ座標系から、入力デバイスの座標系までの位置・姿勢情報を取得（図１０Ｃ）
画像処理で一般的に用いられているオブジェクトの位置姿勢検出のアルゴリズムを使用する。画像中の点と、オブジェクト座標（入力デバイス内部における座標系）での点の対応関係が複数分かっているときに、カメラ座標系から入力デバイス内部における座標系への位置・姿勢情報を求めることができる。位置・姿勢情報は、並進移動と回転情報を意味する行列で表される。
【００４０】
４：力検出用マーカの画像中での位置を推定（図８（３））
上述の位置・姿勢情報（並進運動、回転量）、前処理で登録された入力デバイス内部における座標系でのマーカの位置情報、カメラの内部パラメータより、入力デバイスの座標系で登録した力検出用マーカが、画像中でどの位置に見えるかを推定することができる。すなわち、外力を加えていない状態での、力検出用マーカの画像中での位置が推定できる。カメラの画角などのパラメータは既知とする（このカメラに起因するパラメータを内部パラメータと呼ぶ）。また、ＩＤ  ＭＡＲＫＥＲ７によって、入力デバイス識別用のIDを認識することで、当該IDに関連づけて登録されている入力デバイスの座標系における力検出用マーカの初期位置情報を呼び出す。
【００４１】
５：力検出用マーカの移動量を測定（図８（４）、図１０Ｄ）
実際の力検出用マーカの位置を計測し、外力を加えたことでどの程度力検出用マーカが移動したかを求める。
入力デバイスに力が作用した場合には、透明弾性体が変形して、透明弾性体内に埋設されている力検出用マーカの位置も移動する。本システムでは、撮影手段が経時的に入力デバイスを撮影しており、力検出用マーカの位置の変化と、力検出用マーカの初期位置とから、力検出用マーカの移動量を取得することができる。第２面をｘｙ平面、垂直方向（透明弾性体の厚さ方向）をｚ軸にとりＣＣＤカメラを用いてｚ方向から力検出用マーカを撮影することにより、力が加わった際の測定点（各マーカの重心）の移動をｘｙ平面方向の移動ベクトルとして計測する。
【００４２】
実際の力検出用マーカの位置の計測手法について説明する。推定された力検出用マーカの初期位置の周辺部位で、最も近い力検出用マーカの中心位置を求める。力検出用マーカの中心位置を計測する手法の一つとして重心検出が挙げられる。推定されたマーカの位置周辺の画像を切り出し、その画像の重心を求める。図１０Ｄに基づいて説明する。外力が加えられていない状態でのマーカの位置が拡大図の×印の所だったとする。その周辺での画像の重心を求めると、●印の所だと計測された。このとき、外力を加えることによって、マーカが×印から●印の位置に移動したと推測することができる。画像の重心とは、画像の各ピクセルの位置に濃度値だけ重み付けてなる加重平均である。マーカが全く映っていない画素（拡大図中の白のピクセル）だと、重みがゼロとなるため、その画素は反映されない。２値化された画像の場合、力検出用マーカが映っている画素の位置の平均値と考えることもできる。複数の画素の平均位置なので、高い精度で位置推定できる。
【００４３】
６：画像中での力検出用マーカの移動量を入力デバイスの座標系に変換（図８（５））
力検出用マーカの画像中での移動量を、入力デバイスの座標系における移動量に変換する。以上までで、入力デバイスがどの位置にあっても、力検出用マーカの移動量を測定することができる。
【００４４】
７：弾性体理論により力ベクトル場を推定（図８（５））
マーカの移動量に対し、行列演算を施すことで力の推定を行う。マーカ移動量を取得した後の行列演算は、特許文献１、特許文献２、非特許文献１に記載された手法を用いることができる。入力デバイスの第１面に力が作用した時の力検出用マーカの移動情報から第１面に作用した力ベクトル分布を再構成するための伝達関数を用いる。弾性体内部の異なった深さの２つのマーカ群の各マーカを測定点とすることで、深さの異なった２次元移動ベクトルを２つ求め、それぞれ異なった情報として扱うことで、情報量を増やして力ベクトル分布を求めることで、伝達関数の入力情報を増やして、３次元の力ベクトル分布を取得することができる。ここで求められる力ベクトル分布は、入力デバイスの座標系における力分布である。入力デバイスの座標系における力ベクトル分布を、画像座標に変換することで、現在の画像中での力の位置及び３次元の力ベクトルの分布情報を得る（図８（６））。
【００４５】
入力デバイスの位置とID、加えられた力ベクトル場を同時に計測できる光学式力ベクトル場センサについて説明した。本システムは力情報を取得できる領域の拡張性と可動性を満たす新たなセンシングデバイスである。またカメラ台数を増やして、より広域でのセンシング可能にしたり、入力デバイスの3次元的な空間移動に対応したセンサシステムを構成することも可能である。
【００４６】
本センサは、直感的なインタフェースとしての使用にも親和性が高い。例えば、テーブル状のディスプレイに対し、位置情報を入力できるだけでなく、力加減や、押す、つまむといった直感的な動作の入力も可能となる。また、入力デバイス自体に映像を投影したり、複数の入力デバイスを認識することも可能で、個々の入力デバイスに異なる役割を持たせたインタラクティブな操作を行うこともできる。このように入力デバイスのIDと位置情報、力情報を用いた操作を実現するインタフェースに本センサシステムを応用することができる。
【００４７】
図１２には、本発明に係る光学式触覚センサを利用したテーブルトップディスプレイを示す。入力デバイスは第１面と第２面とを備えており、複数の力検出用マーカは、透明弾性体の厚さ方向に第１面あるいは第２面から異なる深さに埋設された複数のマーカ群である、入力デバイスは、第２面を下側、第１面を上側にしてテーブル上に載置されており、第１面が力入力面となっている。力検出用マーカは、赤外線遮断・可視光透過材から形成されている。
【００４８】
テーブルトップの下方には、テーブルトップに下方から映像を投影するプロジェクタと、赤外線エミッタと、第２面から入力デバイスを撮影する赤外線カメラと、が配置されている。
【００４９】
光学式触覚センサの処理手段は、赤外線カメラで撮影した入力デバイスの画像と登録された力検出用マーカの３次元位置情報とから、力検出用マーカの移動情報を取得し、力検出用マーカの移動情報から入力デバイスの第１面に作用した力ベクトル分布を3次元力情報として取得する。また、撮影した入力デバイスの画像から、入力デバイスの位置・姿勢を検出することができ、入力デバイスの画像において、どの部位にどのような力が作用したかの情報を取得することができる。
【００５０】
テーブルトップディスプレイは、さらに制御手段を備えており、第１面に作用した力ベクトル分布の情報が、制御手段に送信されると、制御手段は、第１面に作用した力情報に基づいてプロジェクタから投影される映像を変化させるように構成されている。例えば、第１面に力を加えることで、制御手段は、第１面に加える力の大きさや方向に応じて、投影された映像が拡大したり、移動したりする。
【産業上の利用可能性】
【００５１】
本発明に係る光学式触覚センサは、シンプルで小型化の入力デバイスを備えたものであり、力ベクトル場、デバイスの位置、ＩＤの認識が可能であるため、力ベクトル場センサとしてだけでなく、ヒューマンインタフェースとしても幅広く応用できる。より具体的には、力ベクトル場入力インタフェース、テーブルトップインタフェース、エンターテイメントシステムが例示される。
【図面の簡単な説明】
【００５２】
【図１】従来の光学式触覚センサの概略図である。入力デバイス１´はカメラ２との関係で、天板３上に固定されている。
【図２】本発明に係る光学式触覚センサの概略図である。
【図３】本発明に係る光学式触覚センサの入力デバイスの概略平面図である。
【図３Ａ】図３の部分拡大図である。
【図４】本発明に係る光学式触覚センサの入力デバイスの概略側面図である。
【図５】本発明に係る光学式触覚センサの入力デバイスのカメラ画像であり、入力デバイスは外力が作用していない状態にある。
【図６】本発明に係る光学式触覚センサの入力デバイスのカメラ画像であり、入力デバイスは外力が作用している状態にある。
【図７】本発明に係る光学式触覚センサの入力デバイスのカメラ画像であり、入力デバイスは外力が作用している状態にあり、また、各マーカは再帰性反射材から形成されている。
【図８】本発明に係る光学式触覚センサによる力ベクトルの測定を説明する図である。
【図９Ａ】入力デバイスの座標系を示す図である。
【図９Ｂ】入力デバイスの座標系を示す図である。
【図９Ｃ】入力デバイスの座標系を示す図である。
【図１０Ａ】カメラで撮影した入力デバイスの画像を示す。
【図１０Ｂ】入力画像における位置姿勢検出マーカの探索を示す。
【図１０Ｃ】カメラ座標系から入力デバイスの座標系への位置・姿勢情報の取得を示す。
【図１０Ｄ】力検出用マーカの位置を計測する手法を示す。
【図１１】本発明に係る光学式触覚センサを用いた力ベクトル分布取得のフローチャートである。
【図１２】テーブルトップ型の入力デバイスを示す。
【符号の説明】
【００５３】
１  入力デバイス
２  カメラ
４  透明弾性体
５Ａ  力検出用マーカ
５Ｂ  力検出用マーカ
６    ＳＱＵＡＲＥ  ＭＡＲＫＥＲ（位置姿勢検出マーカ）
７    ＩＤ  ＭＡＲＫＥＲ（位置姿勢検出マーカ兼デバイス識別マーカ）
８  第１面
９  第２面
【図１１】
2009288033.tif 000003
【図１】
2009288033.tif 000004
【図２】
2009288033.tif 000005
【図３】
2009288033.tif 000006
【図３Ａ】
2009288033.tif 000007
【図４】
2009288033.tif 000008
【図５】
2009288033.tif 000009
【図６】
2009288033.tif 000010
【図７】
2009288033.tif 000011
【図８】
2009288033.tif 000012
【図９Ａ】
2009288033.tif 000013
【図９Ｂ】
2009288033.tif 000014
【図９Ｃ】
2009288033.tif 000015
【図１０Ａ】
2009288033.tif 000016
【図１０Ｂ】
2009288033.tif 000017
【図１０Ｃ】
2009288033.tif 000018
【図１０Ｄ】
2009288033.tif 000019
【図１２】
2009288033.tif 000020