(57)【要約】【課題】力ベクトル算出のための計算時間を短縮する。【解決手段】光学式触覚センサを用いた力ベクトル再構成法である。該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出する。【選択図】図７
2005114715.tif 000002
【特許請求の範囲】
【請求項１】
光学式触覚センサを用いた力ベクトル再構成法であって、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成法は、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、
取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、
力ベクトルを得るステップは、力ベクトルの算出に寄与度の低いマーカーの振る舞いに関する情報を省いて力ベクトルを算出することを特徴とする力ベクトル再構成法。
【請求項２】
請求項１において、力ベクトルを得るステップは、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出するものであることを特徴とする力ベクトル再構成法。
【請求項３】
請求項２において、該力ベクトルを求めたい位置は、一つあるいは複数のサンプリング点から構成されていることを特徴とする力ベクトル再構築法。
【請求項４】
請求請３において、
該力ベクトルを求めたい位置の周囲に複数の力のサンプリング点を配置するステップと、
力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報を用いて該力ベクトルを求めたい位置及び該力ベクトルを求めたい位置の周囲の複数の力のサンプリング点に作用した力ベクトルをそれぞれ算出するステップと、
算出された力ベクトルにおいて、該力ベクトルを求めたい位置に作用した力ベクトルのみを採用するステップと、
を有することを特徴とする力ベクトル再構成法。
【請求項５】
請求項４において、該力ベクトルを求めたい位置の周囲のサンプリング点は、該力ベクトルを求めたい位置にあるサンプリング点から離隔するに従って疎に配置することを特徴とする力ベクトル再構成法。
【請求項６】
請求項１において、力ベクトルを得るステップは、該伝達関数を構成する行列の要素の中で０に近い要素を省いて力ベクトルを算出するものであることを特徴とする力ベクトル再構成法。
【請求項７】
請求項１乃至６いずれかにおいて、該伝達関数は実測に基づいて作成されたものであることを特徴とする力ベクトル再構成法。
【請求項８】
光学式触覚センサを用いた力ベクトル再構成法であって、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成法は、
該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、
該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置するステップと、
該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出するステップと、
該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用するステップと、
を有することを特徴とする力ベクトル再構築法。
【請求項９】
請求項８において、サンプリング点は該小領域内で密に配置し、該小領域から離隔するに従って疎に配置したことを特徴とする力ベクトル再構築法。
【請求項１０】
光学式触覚センサを用いた力ベクトル再構成装置であって、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成装置は、
該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段と、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段と、
該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段と、
該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段と、
該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段と、
を有することを特徴とする力ベクトル再構築装置。
【請求項１１】
請求項１０において、サンプリング点は該小領域内で密に配置し、該小領域から離隔するに従って疎に配置したことを特徴とする力ベクトル再構築装置。
【請求項１２】
請求項１０，１１いずれかにおいて、該装置は、該伝達関数を格納する記憶手段を有することを特徴とする力ベクトル再構築装置。
【請求項１３】
光学式触覚センサを用いた力ベクトル再構成装置において、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
力ベクトル再構成装置を構成するコンピュータを、
該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段、
該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段、
該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段、
該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段、
として機能させるためのプログラム。
【請求項１４】
請求項１３において、サンプリング点を、該小領域内で密に配置し、該小領域から離隔するに従って疎に配置するようにコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学式触覚センサに係り、詳しくは、光学式触覚センサを用いた力ベクトル再構成法に関するものである。
【背景技術】
【０００２】
触覚センサによって接触面の接触状態を知ることを考える時、接触面の各点にかかる力は大きさと方向を持った３成分のベクトルである。これを図１の座標系でf(x,y)と表すことにする。ただしfはベクトルであるため、実際には各点においてx,y,z３成分を持つ。それぞれの成分を明示的に示す場合にはf(x,y)=[fx(x,y),fy(x,y),fz(x,y)]と表す。力分布が各接触点において３成分を持つことから、触覚センサによって接触面の力分布を再構成するためには少なくとも接触面の各点に対して３自由度以上の情報を得なければならない。
【０００３】
本出願の発明者等は、３次元ベクトル分布の計測が可能な光学式触覚センサを開発した。光学式触覚センサの原理について、図２に基づいて説明する。光学式触覚センサは、透明弾性体とＣＣＤカメラを用いて構成されている。透明弾性体内部に配置された球状マーカーをＣＣＤカメラで撮影することで、表面に力が加わった時の弾性体内部の変形情報を計測し、力分布を再構築する。
【０００４】
弾性体表面をｘｙ平面、垂直方向をｚ軸にとりＣＣＤカメラを用いてｚ方向から球状マーカーを撮影することにより、力が加わった際の測定点の移動をｘｙ平面方向の移動ベクトルとして計測する。しかしながら、このままでは情報量が少なく変形情報から力ベクトル分布を再構築することが困難であるため、弾性体内部の異なった深さに赤色球状マーカー、青色球状マーカーを測定点としてそれぞれN×N個配設することで深さの異なった２次元移動ベクトルを２つ求め、それぞれ異なった情報として扱うことで、情報量を増やして力ベクトル分布を求め易くした。
【０００５】
しかしながら、力ベクトルを求めるのに要する計算時間は、センサ面を構成する触覚面の大きさ（マーカーの振る舞いに関する情報量）の４乗に比例して大きくなり、触覚面が大きいとその分だけ計算時間が長くなってリアルタイムのセンシングができなくなる恐れがある。また、センサ面が比較的小面積であっても、計測密度が高い場合には、マーカーの振る舞いに関する情報量が多くなり、力ベクトル分布を計算するのに要する時間が長くなってしまいリアルタイムのセンシングができなくなる。したがって、光学式触覚センサの実用化や応用を考えた時に、力ベクトル分布を求めるための計算時間をいかに短縮するかが重要な課題となる。
【特許文献１】国際公開公報ＷＯ02/18893 A1
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、センサの触覚面が大面積である、あるいは、触覚面における計測密度が高い場合であっても、力ベクトル算出のための計算時間を短縮することができる手法を提供することにある。
【課題を解決するための手段】
【０００７】
かかる目的を解決するために本発明が採用した技術手段は、光学式触覚センサを用いた力ベクトル再構成法であって、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報（例えば、マーカーの移動情報の一つである移動ベクトル）を取得するステップと、取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、力ベクトルを得るステップは、力ベクトルの算出に寄与度の低いマーカーの振る舞いに関する情報を省いて力ベクトルを算出することを特徴とするものである。例えば力の加わる点とマーカーとの距離が充分離れていれば、力ベクトル算出において、力の加わる点から離隔したマーカーの影響は少ないと考えられ、離隔したマーカーは力ベクトルの算出に寄与度が低いと考えられる。
【０００８】
一つの好ましい態様では、力ベクトルを得るステップは、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出するものである。所望の位置の近傍のマーカー情報のみを用いることで、伝達関数である行列をコンパクトにすることができる。行列において、所望のマーカーからある程度以上離れた位置のマーカー情報を反映させる行列の要素を０とすることで、行列の計算を軽くすることができる。他の好ましい態様では、力ベクトルを得るステップは、該行列の要素の中で０に近い要素を省いて力ベクトルを算出することを特徴とするものである。こうすることで同様に、行列の計算を軽くすることができる。
【０００９】
他の好ましい態様では、該力ベクトルを求めたい位置は、一つあるいは複数のサンプリング点から構成されており、さらに、該力ベクトルを求めたい位置を構成するサンプリング点の周囲に複数の力のサンプリング点を配置し、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報を用いて該力ベクトルを求めたい位置及び該位置の周囲の複数の力のサンプリング点に作用した力ベクトルをそれぞれ算出し、算出された力ベクトルにおいて、該力ベクトルを求めたい位置に作用した力ベクトルのみを採用するようにしたことを特徴とする。さらに好ましくは、該サンプリング点は、該力ベクトルを求めたい位置から離隔するに従って疎に配置するものである。
【００１０】
さらに、他の好ましい態様では、力ベクトル再構成法は、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、取得したマーカーの振る舞いに関する情報と伝達関数とから、該触覚面に作用した力ベクトルを得るステップとを有し、力ベクトルを得るステップは、該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置するステップと、該小領域内のマーカー情報と伝達関数とから該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出するステップと、該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用するステップとを有するものである。さらに好ましくは、サンプリング点は該小領域内で密に配置し、該小領域から離隔するに従って疎に配置する。
【００１１】
本発明は、また、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段と、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段と、該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段と、該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段と、該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段とを有する力ベクトル再構築装置として提供される。
【００１２】
本発明は、さらに、力ベクトル再構成装置を構成するコンピュータを、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段、該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段、該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段、該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段として機能させるためのプログラムとして提供される。
【００１３】
光学式触覚センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有している。該有色マーカーの振る舞いを撮影することで、該弾性体に物体が接触した際における該有色マーカーの変位、ひずみ、傾きの少なくとも一つ以上を観測する。接触対象がセンサに接触した時の有色マーカーの情報から、透明弾性体内部のひずみ情報、さらにそこから計算された接触対象の形状や接触界面（弾性体の面、接触対象の面の双方を含む）に働く力の情報を検出するものである。本発明によれば、複数種類の情報を「色分け」というシンプルな方法によって個別に採集でき、光学式で複数種類の触覚情報を同時に得ることができる。そして、本発明によれば、「色分け」によって未知数の数以上の独立の観測値（マーカーの振る舞いに関する情報）を集め、逆問題を安定に解くことによって、力ベクトルを推定して再構築することができる。
【００１４】
有色マーカーは撮像手段、一つの好ましい例ではＣＣＤカメラ、によって撮影され、画像処理される。例えば、物体接触時とそれ以前の状態（透明弾性体に外力が作用していない状態）の画像を比較し、マーカーの移動情報（例えば、移動ベクトル）を検出する。あるいは、常時（透明弾性体に外力が作用していない状態）では、マーカーが認識できないような配設態様でマーカーを透明弾性体に埋設しておき、透明弾性体に物体が接触した時に各マーカー存在位置周辺におけるひずみにより生じるマーカーの変位、変形、傾きに応じてマーカーが認識されるように構成し、有色マーカーの見え方等から情報を検出する。あるいは、他の好ましい態様では、マーカー（例えば、階段状の帯状マーカーの場合）の振る舞いは、マーカーの輝度の変化として取得される。
【００１５】
光学式触覚センサには、該撮像手段で取得されたマーカーの振る舞いに関する情報（例えば、触覚面に物体が接触した時の各マーカーの移動情報である移動ベクトル）から触覚面に加えられた力ベクトルないし力ベクトル分布を再構成するための伝達関数が格納されている。伝達関数は、触覚面に加えられた力情報とマーカーの振る舞いに関する情報（例えば、移動ベクトル）とを関連付ける関数である。弾性体の触覚面に物体が接触した際の該有色マーカーを撮影してマーカー画像を取得し、該マーカー画像から、マーカーの振る舞いに関する情報を取得し、取得した情報を伝達関数に入力することで、力ベクトルを出力として求める。伝達関数に入力されるマーカーの振る舞いに関する情報の数は、求めたい力ベクトルの数よりも多い。
【００１６】
該伝達関数を構成する行列の作成法としては、弾性体理論から導かれる式に基づいて算出されるもの、実測によって算出されるもの、シミュレーションによって算出されるものがある。
【００１７】
該撮影手段は、望ましい態様では、該透明弾性体の物体が接触する側とは反対側に位置して配設される。また、互いに異なる色を有する複数の有色マーカーがある場合に、ある有色マーカーのみを選択して個別に捉えることで撮影後の処理の便宜を図ることが望ましい。有色マーカーの選択は、例えば、カラーフィルタを用いることで行う。また、マーカーの画像を安定化させるためには、該触覚面に遮光層を設けることが望ましい。
【００１８】
マーカーの配設構成について説明する。透明弾性体には、複数のマーカー群が埋設されており、各マーカー群はそれぞれ多数のマーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、さらに、該マーカー群は互いに異なる空間的配列を有している。この異なる空間的配列の例としては、該弾性体の肉厚内で積層状に配設された複数のマーカー群が挙げられる。積層状のマーカー群の具体例では、該マーカー群を構成するマーカーは球状の微細小片であり、各層のマーカー群を構成する球状マーカーは互いに異なる色を有する。他の空間的配列の例では、互いに交差するように配設された複数のマーカー群が挙げられる。さらに他の空間的配列としては、各マーカー群は同じ方向に延出する複数の面の群から構成されており、該面の延出方向および色は、各マーカー群毎で互いに異なるものが挙げられる。有色マーカーの形状は特には限定されないが、好適な例を挙げると球状、円筒状、円柱状、帯片状、平面状の形状が考えられる。これらのマーカーの詳細については、国際公開公報ＷＯ02/18893 A1の記載を参照することができる。また、マーカーの形状や配設態様は、図示のものあるいは前記国際公開公報に記載されたものに限定されるものではない。
【発明の効果】
【００１９】
本発明によれば、力ベクトルを算出するための伝達関数である行列のサイズを小さくすることができ、それによって、力ベクトルを算出する計算時間を短縮することができる。したがって、大面積の触覚面を備えたセンサであっても、リアルタイムでセンシングを行うことが可能となる。
【発明を実施するための最良の形態】
【００２０】
［Ａ］光学式触覚センサの構成
図３は本発明に係る光学式触覚センサ装置の原理図であり、センサ装置は、透光性弾性部材からなる透明弾性体１を備えており、透明弾性体１は曲面状の触覚面（センサ面）２を有している。透明弾性体１には、触覚面２に近接して、触覚面２の曲面に沿うようにして多数の有色マーカー３，４が埋設されており、透明弾性体１と有色マーカーとで触覚部を構成している。透明弾性体１は好ましくはシリコンゴムから形成されるが、他のゴム類やエラストマー等の他の弾性部材から形成されてもよい。
【００２１】
有色マーカーは、２つの有色マーカー群から構成されており、２つのマーカー群は触覚面２から異なる深さに夫々埋設されている。一方のマーカー群を構成する有色マーカー３と、他方のマーカー群を構成する有色マーカー４とは互いに異なる色（例えば、一方が赤で、他方が青）を有している。
【００２２】
透明弾性体１の触覚面２に物体５が接触すると、透明弾性体１の内部に設けられた有色マーカー３，４が変位あるいは歪みを起こすように構成されている。センサ装置はさらに、撮像手段としてのカメラ６及び光源７を備えている。光学式カメラ６は、透明弾性体１を挟むようにして、物体５が接触する側とは反対側（触覚面２から離隔した側）に位置させて配設されており、マーカー３，４の変位、歪みをカメラ６で撮影するようになっている。光源７は、導波管（光ファイバ）を用いて導くものであってもよい。撮像手段によって取得されたマーカー３，４の画像がコンピュータ８に送信されてマーカー画像がコンピュータ８の表示部に表示され、マーカー画像からマーカーの振る舞い（変位、歪、傾き）に関するマーカー情報（例えば、移動情報の一つである移動ベクトル）がコンピュータ８の演算部によって計測される。コンピュータ８の記憶部には前述の伝達関数が格納されており、演算部によって、該伝達関数及び該マーカー情報（例えば、移動情報）を用いて、物体５から触覚面２に作用した力分布を再構築する。
【００２３】
撮影手段としてのカメラは、ディジタル式カメラ、すなわち画像データを電気信号として出力するカメラであり、一つの好ましい例では、ＣＣＤカメラである。本発明に係る撮像手段はＣＣＤカメラに限定されるものではなく、例えばC-MOS式イメージセンサを用いたディジタルカメラでもよい。マーカーとしてRed， Green， Blueの３種類用意したとき、これらを個別に捉えるためには、(1)撮像素子のカラーフィルタで分ける（この場合カメラのRGB出力を見ればそのまま各マーカーを個別に撮影したことになる）という方法と、(2)撮像素子は光の強度のみ捉え、光源としてRed，Green，
Blueを用意する（Redを光らせたときにはRedのマーカーからのみ反射光が有り、他の二種類のマーカーは光を吸収するため，結果的にカメラはRedのマーカーのみ捉える。これを時分割でGreen，Blueに対しても行えば(1)と等価な情報が得られる。）という方法の二つが有る。
【００２４】
［Ｂ］触覚面に加えられた力ベクトル分布の再構成法
光学式触覚センサによって得られたマーカーの振る舞いに関する情報（例えば、マーカーの移動情報の一つである移動ベクトル）から触覚面に加えられた力ベクトル分布を求めるには、マーカーの振る舞いに関する情報（例えば、移動情報）Ｍから力情報Ｆへの変換が必要となる。マーカー情報Ｍから力情報Ｆへの変換は、式Ｆ＝ＨＭによって行なわれる。以下に、マーカー情報から力ベクトル分布を再構成する手法について、図４，５を参照しながら、マーカーの移動ベクトルから力ベクトル分布を求める手法に基づいて説明する。図４と図５とは、図４が平面状の触覚面、図５が自由曲面状の触覚面を示している点を除き、実質的に同じ内容である。ここでは簡単のため二次元断面（図のy軸方向は考えない）について考えるが、一般的な三次元の場合でもアルゴリズムは同一である。
【００２５】
fは接触表面にかかる力ベクトル、m,nはそれぞれBlue, Redの色付けをしたマーカーのCCD素子上での移動ベクトルを表す。適当な離散化によって有限な点数（図４，図５では４点）について考える。前述のように力ベクトルはそれぞれ３成分(x,y,z成分)をもつが、ここでは２成分(x,z成分)を考える。また一般にカメラによる撮影は、三次元物体を画素面の二次元平面上に射影すると言うことであるから、その平面状でのマーカーの移動は水平方向(x,y成分)のみが射影されて観測されるが、ここでは図のようにx方向成分のみ観測されたとする。
【００２６】
すなわち、f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]の８成分が求めたい力分布であり、
m=[m(1),m(2),m(3),m(4)], n=[n(1),n(2),n(3),n(4)]が観測される移動ベクトルである。このm,nをまとめてxと書くことにする。
すなわち、x=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]となる。
ここで、点1においてx方向単位力（大きさ１の力）が加えられたときに観察される各マーカーの移動ベクトルm,nをまとめてMx(1)と書く。
すなわち、
Mx(1)=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]  
when
f=[1,0,0,0,0,0,0,0]
【００２７】
同様に、点1においてz向単位力が加えられたときに観察される各マーカーの移動ベクトルをMz(1)、点２おいてx方向単位力が加えられたときに観察される各マーカーの移動ベクトルをMx(2)等、以下同様に定める。線形弾性体（加えられた力分布と変位の間に線形加算関係が成り立つ弾性体。多くの弾性体はこの性質を満たす）の場合、一般的な力f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]が与えられたときに生じる移動ベクトルxは次のように書かれる。
X=Mx(1)*fx(1) + Mz(1)*fz(1) + Mx(2)*fx(2)+…+Mz(4)*fz(4)
（逆にこのように表せるということが、力の「重ね合わせ」が成り立つ、すなわち線形弾性体であることの条件である。）
【００２８】
これを行列形式で書くと、X=H*fとなる。ただしH=[Mx(1);Mx(2);…;Mz(4)]。このHを、力fから変位xに伝達させるための写像と言う意味で伝達関数と呼ぶ。
要素ごとに書くと次のようになる。
【数１】
2005114715.tif 000003
ただしHmx(x1,x2)は，座標x=x2の表面に加わったx方向単位力による座標x=x1における、mマーカーがある深さでのx方向変位量を表す。同様に、Hnz(x1,x2)は座標x=x2の表面に加わったz方向単位力による座標x=x1における，nマーカーがある深さでのx方向変位量を表す。
【００２９】
これは単純な行列の掛け算であり、xは1*8、Hは8x8の正方行列、fは1*8の成分を持つ。このため、観測されたxからfを求めるにはHの逆行列をかけてやればよい。すなわち
f=inv(H)*x（式１）。ただしinvは逆行列（一般には一般化逆行列）を表す。
要素ごとに書くと数２のようになる。
【数２】
2005114715.tif 000004
ただしImx(1,1)等はinv(H)の各要素であるが，結局のところfx(1)を計算するためのm(1)の寄与を表す。
【００３０】
ここで重要なことは、このように、伝達関数によって定まった行列の逆行列を使うことで未知数を定める場合、未知数の個数を観測されたデータの個数が上回っているか同数である必要があると言うことである。もしこれが満たされない場合、逆行列を求めることが出来ず、すなわち求めたい未知数に冗長性が生じ、一意には求まらなくなる。この例の場合、もしもマーカーが１層しかなければ、求めたい力ベクトル成分8つに対して移動ベクトル成分が4つしかなく、力ベクトル成分が一意に定まらない（従来の面分布型触覚センサはこの状況にある）。この問題を解決するために色分けした２層のマーカー群を用意し、２層のマーカー群の各マーカーの移動を取ることによって独立な観測データ数を８つまで増やしている。
【００３１】
一般的な三次元の場合(この図ではy軸が追加された場合)、一点における力ベクトルは3自由度、マーカーの水平移動ベクトルは２自由度である。もしサンプリング点が同様に４点であったとすると、未知数はf=[fx(1),fy(1),fz(1),fx(2),fy(2),fz(2),fx(3),fy(3),fz(3),fx(4),fy(4),fz(4)]の１２個存在するのに対して、観測される値は移動ベクトルm=[mx(1),my(1),mx(2),my(2),mx(3),my(3),mx(4),my(4)]の８個であり、やはり足りない。これを２層に分けて観測することにより16個の観測データを得ることが出来、これにより12個の未知数を同定することになる。情報としては冗長であるため、よりノイズに対して頑強な推定を行うことができると考えられる。以上のようなアルゴリズムを用いて、CCD画像から力ベクトルを推定する。他のマーカーを用いた他の測定方式でも、観測されるデータが異なるだけで、色分けという工夫によって未知数の数より多い独立な観測値（マーカーの振る舞いに関する情報）を集め、逆問題を安定に解くことによって力ベクトルを推定すると言う骨子に変わりは無い。
【００３２】
［Ｃ］力ベクトル分布の再構成に用いる伝達関数
上記の説明から、本光学式触覚センサにとって表面応力と内部変位の関係を示す伝達関数（行列H）を得ることが本質的に重要であることがわかる。これは、従来提案されてきたマトリクス状触覚センサの多くとは異なる点である。従来のマトリクス状触覚センサはマトリクス状に配置された各センサエレメントが、自身に加わる力を計測するだけである。
【００３３】
次に、伝達関数を求めるための手法を説明する。弾性体理論が基本的に示すのは、弾性体内部の微小領域（例えば微小立方体ΔxΔyΔz）の表面(x=0,Δx，y=0,Δy，z=0,Δz)に加わる力とその微小領域のひずみ(dΔx/dx,dΔy/dx,dΔz/dx,dΔx/dy,dΔy/dy,dΔz/dy,dΔx/dz,dΔy/dz,dΔy/dz)の間で満たすべき関係式である。弾性体全体はこの微小領域が無数に集まって（空間的に積分されて）構成されるものである。
【００３４】
ある特徴的な形の弾性体（例えば半無限弾性体）においては、表面に加わる力と内部変位の関数として、前述の微小領域で満たすべき関係式を弾性体内部のあらゆる場所で満たすことに出来る関数が数式の形で発見されている。このような形の場合には、この関数にメッシュ状に区切った弾性体表面（触覚面）の座標と内部マーカーの座標を代入すれば行列Hが求まる。
【００３５】
ここで数式の形で発見されているとは、表面応力をf(x1)、内部変位をm(x2,y2)とした場合に、m(x2,y2) = G(f(x1),x2,y2)という形で内部変位を表面応力から求める関数Gが発見されているということである。このとき例えば図４、図５で点1に力が加わったときのマーカー2における変位はm(2,y2)
= G(f(1), 2,y2)によってもとまる。ただしy2はマーカーの深さ（既知）である。
【００３６】
しかしこのような特徴的な形は極めて稀であり、一例を挙げれば応用上重要と思われる球形状に関してすら表面応力と内部変位の関数は発見されていない。従来本光学式触覚センサでは弾性体形状を半無限大弾性体と仮定することによって上述のような数式を用いてH行列を取得していた。しかし例えば半球のような自由曲面に対して同様に半無限大弾性体の式を当てはめて取得したH行列を用いると、表面応力が正しく得られないことが分かった。何らかの別手段で表面応力と内部変位を関連付ける必要がある。
【００３７】
そのために提案する第一の手法は、数値シミュレーションによって表面応力と内部変位を関連付ける手法である。現在既に市販されている弾性体シミュレーションソフトウエアは弾性体をメッシュ状に区切り、各メッシュ（前述の微小領域）が満たすべき表面応力とひずみの関係、隣り合ったメッシュ同士が満たすべき関係（隣り合ったメッシュの境界面では同じ大きさの力が働く等）を満たす弾性体変形を数値計算によって求めることが出来る。よって提案するセンサで適用するに際しては、まず表面をメッシュに区切り、各メッシュに単位応力（ｘ方向、ｙ方向、ｚ方向）が加わった際のマーカーの移動量をシミュレーションで計算する。
【００３８】
第二の手法は実際に力を加えることである。自由曲面を有する弾性体の触覚面に、既知の力F1,F2,F3,F4…Fnを加える。加えられたそれぞれの力に対するマーカーの移動ベクトルM1,M2,M3,M4,..Mnを計測し、これを保存する。F1は、F1ｘ、F１ｙ、F1ｚの３つのベクトルであり、これらの力を加えたときに夫々対応するマーカーの移動ベクトルはM1x,M1y,M1zとなる。既知の力と得られた情報（移動ベクトル）を用いて行列Hを作成する。以下具体的に説明する。
【００３９】
弾性体表面（触覚面）上に多数のサンプル点を離散的に配置する。好ましくは、サンプル点は触覚面の全域をカバーするように配置される。一つの態様では、触覚面上の離散的な多数のサンプル点の配設は、極座標を用いて配設される（平面視同心状に配設される）。他の態様では、サンプル点は平面視格子状に配設される。
【００４０】
各サンプル点において、ｘ方向、ｙ方向、ｚ方向にそれぞれ作用する既知の大きさの力と、かかる力が作用したそれぞれの場合のマーカーの移動ベクトルとを関連付ける情報を取得する。一つの好ましい方法では、各サンプル点にｘ方向、ｙ方向、ｚ方向の所定の力をそれぞれ加え、その時のマーカーの移動ベクトルをそれぞれ計測して、保存する。サンプル点に加える力ベクトルのｘ方向、ｙ方向、ｚ方向の取り方は、力ベクトルを用いて、触覚面に加えられる任意の力を表示できるものであれば、その方向は限定されない。
【００４１】
一つの態様では、サンプル点を通って触覚面に接する接面を取り、該接面内で互いに直交する方向をｘ方向、ｙ方向とし、該接面に対して鉛直方向にｚ方向を取る。あるいは、触覚面の形状と無関係に、ｘｙ平面を設定し、該ｘｙ平面に鉛直状にｚ方向を取っても良い。
【００４２】
各サンプル点に加える力は既知の力であり、一つの好ましい態様では、一定の大きさの力、例えば100[gf]をそれぞれｘ方向、ｙ方向、ｚ方向からサンプル点に加えて、それぞれの場合のマーカーの移動ベクトルを計測する。また、各サンプル点に加える力は既知の力であれば、必ずしも同じ大きさの力でなくてもよく、異なる既知の力に基づいてマーカーの移動ベクトルを計測した場合には、後で、マーカーの移動ベクトルの大きさを正規化すればよい。
【００４３】
また、結果的にｘ方向、ｙ方向、ｚ方向の力とマーカーの移動ベクトルとを関連付ける情報が取得できれば、各サンプル点に加える力は、ｘ方向、ｙ方向、ｚ方向の力には限定されない。弾性体は線形であると考えることで、次のような方法も考えられる。まず一点に対してｚ方向に加えた時のマーカー移動量を保存し、次にｘｚ方向に力を加え、
力のｚ方向成分に対する移動情報を差し引くことでｘ方向成分とする。ｙ方向も同様である。
【００４４】
このようにして、弾性体理論に基づく数式、シミュレーションあるいは実測によって、力情報Fとマーカーの振る舞いに関する情報（例えば、移動情報）Mとを結び付ける伝達関数である行列Ｈを作成する。光学式触覚センサは記憶手段、演算処理手段を有しており、予め作成された行列Hは記憶手段に格納されている。透明弾性体の触覚面に物体が当接して、触覚面に任意の力が作用した場合に、撮像手段によってマーカー画像を取得する。取得したマーカー画像から演算処理手段によって、マーカー移動ベクトルを計測する。計測されたマーカー移動ベクトルを行列Ｈに入力して演算処理手段で計算することで、弾性体の触覚面に作用した力ベクトル分布が出力される。
【００４５】
［D］計算時間短縮法
ここで、行列Ｈの要素数が大きくなると移動情報から力分布を計算する時間が長くなってしまう。これはある点に加えられた力を求める際に、全てのマーカーの移動情報を用いることに起因する。実際に前述のアルゴリズムを適用する場合、H行列が巨大になり、（式１）の行列演算に時間がかかる。一例を挙げればメッシュが100x100であった場合、観測点が10,000点あるためにH行列は10,000 x 10,000という巨大な行列となる。一般にセンサ面をNxNに区切った場合、観測点がNの２乗個あるためにH行列のサイズはNの二乗×Nの二乗となる。すると（式１）の行列演算にはNの４乗の時間がかかることになる。したがって、計算時間を短縮するための手法が必要となる。
【００４６】
提案する手法はH行列の一部を切り出して用いるというものである。上述のように、H行列には全ての格子点に加わる力と全てのマーカーの移動との対応関係が記述されている。しかし現実問題として、例えば力の加わる点とマーカーとの距離が充分離れていれば影響を無視することが出来る。すると例えば図４，図５では、f(1)を計算するには1〜２番目のマーカーのみ、f(2)を計算するには1〜3番目のマーカーのみの移動量を使えばよいと仮定することによって行列のサイズを小さくすることが出来る。この例における新しい行列は以次のようになる。
【００４７】
元の（式１）ｆ=inv(H)*xは数３のとおりであった。
【数３】
2005114715.tif 000005
【００４８】
この式が、距離の離れたところの寄与を無視することにより数４のようになる。
【数４】
2005114715.tif 000006
0と置いたところが無視すべき距離の離れた点である。この部分は計算する必要が無いため、より高速に計算することが出来る。この高速化は前述のように格子サイズNが大きくなるほど加速度的に効果が現れる。
【００４９】
これは、力ベクトルを求めたい場所を含むある面積を切り出して使うのと等価である（図７）。図のものでは、触覚面全体の２次元画像において、力ベクトル分布を求めたい場所の近傍領域を設定している。ここで、力ベクトルを求めたい場所の近傍領域を設定する場合に、必ずしも、近傍領域は２次元画像における距離のみに基づいて判断されるものではない。すなわち、力の加わる点とマーカーとの距離は空間距離であって、マーカー群が弾性体内に積層されているような場合には、マーカーが設けられた深さを考慮した方が望ましい場合もある。具体的には、平面状の触覚面を有するセンサにおいて、触覚面をｘｙ平面とすると、力ベクトルを求めたい場所の近傍領域は、必ずしも、ｘｙ平面上の距離のみによって判断されるのではなく、ｚ方向を含めた３次元距離で判断してもよい。ｚ方向の距離が無視できるような場合であれば、ｘｙ平面上の２次元距離に基づいて近傍領域を設定してもよい。
【００５０】
触覚面が自由曲面の場合、一概に距離の離れた場所の寄与が小さいとも言い切れない。そこで、計算時間を短縮する他の方法を提案する。まず、実測あるいはシミュレーションによって伝達関数（逆行列）を求める。このような伝達関数の作成法は、既に述べた。例えば、実測に基づく伝達関数の行列の要素を見た時に、行列のある要素が０に近ければ、かかる要素と積算されるマーカーは、ある力ベクトルを求めるのに無視してもよいマーカーであると考えられる。伝達関数で行列のある要素が0に近い部分を自動的に計算から省いて、力ベクトルを計算することができる。例えば、力ベクトルの再構成において無視できる程度の指標を示す閾値を行列要素に対して設定し、該閾値よりも小さい値を有する行列要素の値を０とする。
【００５１】
さらに、計算短縮化方法の改良について説明する。発明者等がさらに鋭意研究を重ねたところ、上述の計算短縮化方法を用いる場合に、力ベクトルの計測の精度が落ちる場合があることがわかった。上述の計算短縮化方法は、求めたい力の点から離れているマーカーの動きの影響はほとんどないと考え、図８における右上角部の方形状の切り出した領域内のマーカー情報のみを用い、切り出した領域以外の部分のマーカーの動きに関する情報を使用しないというものであった。
【００５２】
しかしながら、実際には切り出した領域外からの力によっても領域内のマーカーは移動をおこすことになる。この切り出した領域外からの力によるマーカーの移動も領域内で発生している力として計算しようとしてしまうため、精度が落ちてしまう問題が発生したと考えられる。このような不具合を解決するために、次のような手法を改良した。
【００５３】
画像のある領域を切り出すという点に関しては、前述の計算時間短縮法と同じである。前述の方法では切り出し領域がありその内部の情報についてのみ扱っていたのに対して、改良手法は切り出し領域外にも計算する力のサンプリング点を用意する。マーカーの移動に関してはあくまで切り出し領域内の情報のみを扱う。これは前述の領域外からの力の影響を考慮してやるためのサンプリング点となる。すなわち、切り出し領域内におけるマーカーの移動は、切り出し領域外に加わる力の影響をある程度受けていると考えられるため、切り出し領域内におけるマーカーの移動情報に基づく力ベクトルの再構成時において、切り出し領域内に作用したであろう力のみならず、切り出し領域外に作用したであろう力をも算出することで、切り出し領域外に作用した力を考慮しつつ、切り出し領域内に作用した力を再構築するものである。
【００５４】
さらに、領域外の力のサンプリング点は切り出し領域から離れるに従い、まばらになっていくように設定する。これは領域から離れれば離れるほど影響は軽微になるため少数のサンプリング点で代表させてもよいと考えたためである。図１０に基づいて説明すると、５×５点のサンプリング点に対応する小領域を触覚部の画像において設定する。小領域内にサンプリング点を密に配設する。小領域外にも力のサンプリング点を配置する。小領域外の力のサンプリング点は、小領域から離隔するに従って疎に配置される。図示のものでは、小領域に隣接する部位においては、小領域内と同じ密度でサンプリング点を密に配置し、該小領域から離れるに従い、サンプリング点を疎に配置するようになっている。
【００５５】
そして、小領域内におけるマーカーの移動情報を用いて、小領域内外に配置したサンプリング点における力ベクトルを計算する。計算された力ベクトルのうち、小領域内にある力ベクトルの少なくとも一部の結果のみを最終的な計算結果として採用し、保存する。図１０のものでは、５×５の小領域における３×３の力のサンプリング点における力ベクトルを最終的な計算結果として保存する。小領域外におけるサンプリング点及び小領域内における採用されなかったサンプリング点の力ベクトルは捨てる。そして、切り出した小領域を順次ずらして、力ベクトルを取得することで、センサの計測領域全体における力ベクトル分布を取得する。
図１０では、小領域の一部のサンプリング点における力ベクトルを採用しているが、小領域内の全てのサンプリング点における力ベクトルを採用してもよい。また、図１０では、小領域の一部の複数のサンプリング点における力ベクトルを採用しているが、小領域内の一つのサンプリング点における力ベクトルのみを採用してもよい。図１０では、５×５点の小領域を示したが、切り出す小領域の大きさは限定されない。この改良手法によると、前述の計算時間短縮法に比べて、計算量は増加してしまう結果になるが、高速化手法適用前に比べると十分な計算時間短縮がある。
【００５６】
改良された手法について、図１１乃至図１４に基づいて説明する。図１１では、改良手法の説明の便宜上、図４、図５に示すものに比べてマーカー点数を増やしてある。マーカー点数を増やしたことにより、対応する数式中の要素数が増加してしまうため、図１２において、ある一点の力に対するマーカーｎのｘ、ｚ方向移動についてのみ表記する。数式3における行列inv(H)の要素Imx(1,1), Imx(2,1), Imx(3,1), Imx(4,1),
Imz(1,2), Imz(2,2), Imz(3,2), Imz(4,2)に対応する部分のみを取り出し、マーカー点数を増加させることと等価である。これを数式表示すると以下のようになる。左辺Fが力、右辺mが移動ベクトルを表し、右辺左項がinv(H)からある一点の力F、マーカーmに対応した要素を取り出したものとなる。
【数５】
2005114715.tif 000007
【００５７】
改良前の高速化手法は求めようとしている力の加わっている点の近傍に存在するマーカーの移動情報のみを用いることであり、図１３に示すように、ｍ１０〜ｍ１４のマーカーの移動情報のみを用いるものである。これを、数式で表現すると以下のようになる。
【数６】
2005114715.tif 000008
上記数式中のm1からm9、ｍ15からm23のマーカー移動情報は求めようとしている力Fへの寄与が無いこととなり、次のように要素数を減らすことが可能となる。
【数７】
2005114715.tif 000009
【００５８】
これに対し、改良後の高速化手法を図で表現すると、図１４のようになる。すなわち、力のサンプリング点として、Ｆ８のみならず、Ｆ２，Ｆ５，Ｆ９，Ｆ１１，Ｆ１４を配置する。さらに数式表現すると、力Fに関する要素が増加し、以下のように表現可能である。
【数８】
2005114715.tif 000010
そして、計算された力ベクトルにおいて、Ｆｘ８、Ｆｚ８における力ベクトルのみを採用する。
【産業上の利用可能性】
【００５９】
本発明は触覚センサに広く適用することができ、特に、リアルタイムのセンシングが必要とされるセンサに好適に利用され得る。
【図面の簡単な説明】
【００６０】
【図１】触覚センサと接触対象の間に生じる力ベクトル分布を示す図である。
【図２】光学式触覚センサの原理図である。
【図３】本発明に係る光学式触覚センサの模式図である。
【図４】接触表面（平面）にかかる力ベクトルとマーカーの移動を説明する図である。
【図５】接触表面（自由曲面）にかかる力ベクトルとマーカーの移動を説明する図である。
【図６】力ベクトル分布の再構成に用いる伝達関数の作成法の説明図である。
【図７】力ベクトル再構築の計算時間の短縮法の説明図である。
【図８】行列計算の短縮を説明する図であり、実質的に図７に示すものと同じである。
【図９】切り出し領域外からの力の影響を示す図であり、上図はマーかが埋設された透明弾性体の側面図、下図は同平面図である。ここで、切り出し領域に対して力のサンプリング点の間隔は小さいため、隣り合った力のサンプリング点に対するそれぞれの切り出し領域はオーバーラップする（メッシュ１，２，３参照）。
【図１０】計算短縮法における改良手法の概念図である。
【図１１】マーカー点数を増加させたものを示す図である。
【図１２】マーカー点数を増加させたものを示す図であり、ある一点の力に対するマーカーの移動に注目した図である。
【図１３】図１２に基づいて、図７に示す高速化手法を説明する図である。
【図１４】図１２に基づいて、改良手法を説明する図である。
【符号の説明】
【００６１】
１  透明弾性体
２  触覚面
３  マーカー
４  マーカー
５  物体
６  撮像手段
７  光源
８  コンピュータ
【図１】
2005114715.tif 000011
【図２】
2005114715.tif 000012
【図３】
2005114715.tif 000013
【図４】
2005114715.tif 000014
【図５】
2005114715.tif 000015
【図６】
2005114715.tif 000016
【図７】
2005114715.tif 000017
【図８】
2005114715.tif 000018
【図９】
2005114715.tif 000019
【図１０】
2005114715.tif 000020
【図１１】
2005114715.tif 000021
【図１２】
2005114715.tif 000022
【図１３】
2005114715.tif 000023
【図１４】
2005114715.tif 000024