(57)【要約】【課題】被接触素子の変形を利用せずに対象物が加える力の大きさ及び方向を検出可能な接触力ベクトル検出装置を提供する。【解決手段】透過板を介して対象物を撮影して得られる入力画像から、対象物の透過板に接触している第１の領域及び透過板に接触していない第２の領域を検出する検出部１０１と；入力画像中の第１の領域の画像及び第２の領域の画像について夫々複数の特徴量を算出する特徴量算出部と；複数の特徴量に基づき特徴量ベクトルを生成する生成部１０７と；特徴量ベクトルと対象物が透過板に加える接触力の大きさ及び方向との間の相関に基づき、接触力の大きさ及び方向を示す接触力ベクトルを算出する接触力ベクトル算出部１０９と；を具備する。【選択図】      図１
2009236602.tif 000002
【特許請求の範囲】
【請求項１】
透過板を介して対象物を撮影して得られる入力画像から、前記対象物の前記透過板に接触している第１の領域及び前記透過板に接触していない第２の領域を検出する検出部と、
前記入力画像中の前記第１の領域の画像及び前記第２の領域の画像について夫々複数の特徴量を算出する特徴量算出部と、
前記複数の特徴量に基づき特徴量ベクトルを生成する生成部と、
前記特徴量ベクトルと前記対象物が前記透過板に加える接触力の大きさ及び方向との間の相関に基づき、前記接触力の大きさ及び方向を示す接触力ベクトルを算出する接触力ベクトル算出部と
を具備することを特徴とする接触力ベクトル検出装置。
【請求項２】
前記特徴量算出部は、前記複数の特徴量として前記第１の領域の画像及び前記第２の領域の画像の夫々の平均画素値、面積、重心、慣性主軸及び曲率の少なくとも１つを算出することを特徴とする請求項１記載の接触力ベクトル検出装置。
【請求項３】
前記接触力ベクトルの複数のパターンに応じた教師信号によって学習された重みベクトルが割り当てられた複数のノードのいずれか１つに、前記特徴量ベクトルをマッピングするマッピング部を更に備え、
前記接触力ベクトル算出部は、前記特徴量ベクトルがマッピングされたノードに基づき前記接触力ベクトルを算出することを特徴とする請求項１または２記載の接触力ベクトル検出装置。
【請求項４】
前記特徴量ベクトルは、（ａ）前記第１の領域の重心から曲率最大位置までのベクトル、（ｂ）前記第１の領域の曲率最大値と曲率最小値の間の差分、（ｃ）前記第１の領域の重心の座標と前記第２の領域の重心の座標との間の差分、（ｄ）前記第１の領域を楕円近似した楕円及び前記第２の領域を楕円近似した楕円の４頂点同士の距離の偏差、（ｅ）前記第２の領域の面積に対する前記第１の領域の面積の比率、（ｆ）前記第１の領域の面積、（ｇ）前記第１の領域の平均画素値及び（ｈ）前記第１の領域の慣性主軸と前記第２の領域の慣性主軸の間の差分の少なくとも１つを含むことを特徴とする請求項１乃至３のいずれか１項記載の接触力ベクトル検出装置。
【請求項５】
透過板を介して対象物を撮影して得られる入力画像から、前記対象物の前記透過板に接触している第１の領域及び前記透過板に接触していない第２の領域を検出する検出ステップと、
前記入力画像中の前記第１の領域の画像及び前記第２の領域の画像について夫々複数の特徴量を算出する特徴量算出ステップと、
前記複数の特徴量に基づき特徴量ベクトルを生成する生成ステップと、
前記特徴量ベクトルと前記対象物が前記透過板に加える接触力の大きさ及び方向との間の相関に基づき、前記接触力の大きさ及び方向を示す接触力ベクトルを算出する接触力ベクトル算出ステップと
を具備することを特徴とする接触力ベクトル検出方法。
【請求項６】
前記特徴量算出ステップは、前記複数の特徴量として前記第１の領域の画像及び前記第２の領域の画像の夫々の平均画素値、面積、重心、慣性主軸及び曲率の少なくとも１つを算出することを特徴とする請求項１記載の接触力ベクトル検出方法。
【請求項７】
前記接触力ベクトルの複数のパターンに応じた教師信号によって学習された重みベクトルが割り当てられた複数のノードのいずれか１つに、前記特徴量ベクトルをマッピングするマッピングステップを更に備え、
前記接触力ベクトル算出ステップは、前記特徴量ベクトルがマッピングされたノードに基づき前記接触力ベクトルを算出することを特徴とする請求項１または２記載の接触力ベクトル検出方法。
【請求項８】
前記特徴量ベクトルは、（ａ）前記第１の領域の重心から曲率最大位置までのベクトル、（ｂ）前記第１の領域の曲率最大値と曲率最小値の間の差分、（ｃ）前記第１の領域の重心の座標と前記第２の領域の重心の座標との間の差分、（ｄ）前記第１の領域を楕円近似した楕円及び前記第２の領域を楕円近似した楕円の４頂点同士の距離の偏差、（ｅ）前記第２の領域の面積に対する前記第１の領域の面積の比率、（ｆ）前記第１の領域の面積、（ｇ）前記第１の領域の平均画素値及び（ｈ）前記第１の領域の慣性主軸と前記第２の領域の慣性主軸の間の差分の少なくとも１つを含むことを特徴とする請求項５乃至７のいずれか１項記載の接触力ベクトル検出方法。
【請求項９】
コンピュータに請求項５乃至９のいずれか１項記載の接触力ベクトル検出方法を実行させるためのプログラム。
【請求項１０】
コンピュータに請求項５乃至９のいずれか１項記載の接触力ベクトル検出方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の接触力の大きさ及び方向を検出する接触力ベクトル検出装置及び方法に関する。
【背景技術】
【０００２】
近年、触覚情報を検出する触覚センサが研究され、マンマシンインターフェースとして利用されている。従来の触覚センサは、センサ構造が複雑なため壊れやすい、配線数が多い及び触覚情報の検出面が特定の形状に限られるなどの問題がある。
また、従来の触覚センサは、実際に対象物が接触する時点まで何ら情報を取得できない問題もある。例えば、上記触覚センサを搭載したロボットに障害物回避動作を行わせる場合、当該ロボットが視覚情報を得られない領域（死角）に存在する障害物は、触覚センサと接触する時点まで認識されない。従って、上記ロボットは、死角に存在する障害物の認識が遅れ、当該障害物の回避が困難となる。
【０００３】
非特許文献１記載の触覚センサは、触覚情報の検出面を感圧導電性ゴムで構成することによって、配線数の比較的少ない構造を実現している。また、非特許文献２記載の触覚カメラは、透明な弾性体内部に２種類のマーカーを配置し、当該マーカーの弾性体内部における位置変化の様子をカメラによって撮影し、当該位置変化に基づいて触覚情報を算出している。非特許文献２記載の触覚カメラも、比較的少ない配線数で構成可能である。非特許文献１記載の触覚センサ及び非特許文献２記載の触覚カメラはいずれも、感圧導電性ゴム及び内部にマーカーが配置された弾性体などの被接触素子の変形を利用して触覚情報を算出している。
【０００４】
一方、非特許文献３記載の爪装着型センサは、爪に装着可能な光学センサであり、被験者が指腹部に力を加えたときの爪下の血流変化に伴う色変化に基づいて上記指腹部に掛かる力を算出している。また、非特許文献４記載のポインティングデバイスは、指紋センサ表面に接触される指の指紋中心座標の移動量に基づいてポインタの移動量を決定している。
【０００５】
【非特許文献１】下条誠，谷保勇樹，並木明夫，石川正俊，２次元分布荷重測定方法を用いた触覚センサへの応用，第５回計測自動制御学会  システムインテグレーション部門講演会（SI2004）（つくば，2004.12.19）／講演会論文集，pp.1144-1145
【０００６】
【非特許文献２】神山和人，梶本裕之，稲見昌彦，川上直樹，舘▲ショウ▼，“触覚カメラ”，電学論Ｅ，Vol. 123, No. 1, pp.16-22 (2003)
【０００７】
【非特許文献３】安藤英由樹，渡辺淳司，杉本麻樹，前田太郎，“独立成分分析による爪装着型センサの接触力と屈曲の分離”，日本バーチャルリアリティ学会論文誌，Vol. 8, No. 4, pp. 379-387, 2003.
【０００８】
【非特許文献４】上田淳，池田篤俊，栗田雄一，小笠原司，“指紋変形を利用した新しいポインティングデバイスの開発”，ヒューマンインタフェースシンポジウム2003論文集，p251-254, 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
非特許文献１記載の触覚センサは、検出面を構成する感圧導電性ゴムの特性に検出精度が大きく左右される、対象物が力を加えた時点から感圧導電性ゴムが変形するまでにタイムラグ（遅延時間）が生じるのでリアルタイムな触覚情報の検出に向かない、検出中に配線が切れやすいなどの問題がある。
【００１０】
非特許文献２記載の触覚カメラは、マーカーを設けた弾性体の形状が略フラットな板状に限定される、対象物が力を加えた時点からマーカーの位置が変化するまでにタイムラグが生じるのでリアルタイムな触覚情報の検出に向かないなどの問題がある。
非特許文献３記載の爪装着型センサは、被験者の指に装着する必要がある。即ち、対象物側にセンサを装着する必要があり、更に当該対象物も指に限定されるため、例えば前述したロボットの触覚センサとしての使用は困難である。また、非特許文献４記載のポインティングデバイスは、触覚情報として対象物の移動量を検出しているものの、接触力の大きさ及び方向を検出していない。
【００１１】
従って、本発明は被接触素子の変形を利用せずに対象物が加える力の大きさ及び方向を検出可能な接触力ベクトル検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様に係る接触力ベクトル検出装置は、透過板を介して対象物を撮影して得られる入力画像から、前記対象物の前記透過板に接触している第１の領域及び前記透過板に接触していない第２の領域を検出する検出部と；前記入力画像中の前記第１の領域の画像及び前記第２の領域の画像について夫々複数の特徴量を算出する特徴量算出部と；前記複数の特徴量に基づき特徴量ベクトルを生成する生成部と；前記特徴量ベクトルと前記対象物が前記透過板に加える接触力の大きさ及び方向との間の相関に基づき、前記接触力の大きさ及び方向を示す接触力ベクトルを算出する接触力ベクトル算出部と；を具備する。
【発明の効果】
【００１３】
本発明によれば、被接触素子の変形を利用せずに対象物が加える力の大きさ及び方向を検出可能な接触力ベクトル検出装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施形態について説明する。  
（第１の実施形態）  
図１に示すように、本発明の一実施形態に係る接触力ベクトル検出装置は、輪郭抽出部１０１、色解析部１０２、面積算出部１０３、重心算出部１０４、慣性主軸算出部１０５、曲率算出部１０６、特徴量ベクトル生成部１０７、マッピング部１０８及び接触力ベクトル算出部１０９を有する。
【００１５】
図１の接触力ベクトル検出装置は、例えば図２に示すようなカメラ２０３透過板２０２に対し法線方向に透過板２０２を介して対象物２０１を撮影して得られる画像が入力画像として入力され、対象物２０１が透過板２０２に加える力（接触力）の大きさ及び方向を示す接触力ベクトルを検出する。
【００１６】
接触力ベクトル検出装置において、入力画像は輪郭抽出部１０１及び色解析部１０２に入力される。対象物２０１は、例えば指のような人体の一部であり、弾力を有する。従って、図３に示すように、接触力の増大に伴って接触領域３０１の面積は大きくなり、色濃度（画素値）は濃くなりエッジが鋭くなる。以降、入力画像は図２に示すように取得されたものとして説明するが、入力画像の取得手法は特に限定されない。例えば、カメラ２０３は透過板２０２に対し撮影を行う角度は法線方向に限定されないし、透過板２０２の形状はフラットでなくてもよい。
【００１７】
輪郭抽出部１０１は、例えばSobelフィルタ、RobertsフィルタまたはPrewittフィルタなどのエッジ検出フィルタを含む。輪郭抽出部１０１は、まず、入力画像に含まれる各画素の画素値の水平方向（ｘ軸方向）の微分fx及び垂直方向（ｙ軸方向）の微分fyの演算を以下に示す数式（１）に従って行う。
【００１８】
【数１】
2009236602.tif 000003
数式（１）において、ｘは入力画像におけるｘ軸方向の座標、ｙは入力画像におけるｙ軸方向の座標を夫々示し、f(x,y)は入力画像の座標(x,y)における画素値を示す。数式（１）において、fxの値は入力画像の座標(x,y)近傍における水平方向の画素値の変化量、fyの値は入力画像の座標(x,y)近傍における垂直方向の画素値の変化量を夫々示す。
【００１９】
輪郭抽出部１０１は、次に、fx及びfyの絶対値和を入力画像の座標(x,y)近傍における画素値の変化量として算出する。輪郭抽出部１０１は、以上のように算出された画素値の変化量の大きな箇所、即ち画素値が急激に変化する箇所をエッジとして検出する。輪郭抽出部１０１は、エッジ検出結果に基づき対象物２０１が透過板２０２に接触する接触領域３０１及び接触しない非接触領域３０２の輪郭を抽出する。輪郭抽出部１０１は、抽出した接触領域３０１の輪郭及び非接触領域３０２の輪郭を色解析部１０２、面積算出部１０３、重心算出部１０４、慣性主軸算出部１０５及び曲率算出部１０６に渡す。
【００２０】
色解析部１０２は、入力画像及び輪郭抽出部１０１からの接触領域３０１の輪郭に基づき、接触領域３０１の色（例えばＲＧＢ成分）を解析する。色解析部１０２は、上記解析結果から接触領域３０１中の各画素の平均画素値を算出し、特徴量ベクトル生成部１０７に渡す。また、色解析部１０２は、非接触領域３０２中の各画素の平均画素値も同様に算出し、特徴量ベクトル生成部１０７に渡す。
【００２１】
面積算出部１０３は、輪郭抽出部１０１からの接触領域３０１の輪郭に基づいて０次モーメントｍ00を算出し、接触領域３０１の面積として特徴量ベクトル生成部１０７に渡す。具体的には、面積算出部１０３は、接触領域３０１の輪郭内側の画素の画素値を「１」、輪郭外側の画素の画素値を「０」に２値化し、以下の数式（２）に従って０次モーメントｍ00を算出する。
【００２２】
【数２】
2009236602.tif 000004
また、面積算出部１０３は、非接触領域３０２の面積も同様に算出し、特徴量ベクトル生成部１０７に渡す。
重心算出部１０４は、輪郭抽出部１０１からの接触領域３０１の輪郭に基づいて、接触領域３０１の重心を示す座標を算出する。まず、重心算出部１０４は、接触領域３０１の輪郭内側の画素の画素値を「１」、輪郭外側の画素の画素値を「０」に２値化し、以下の数式（３）に従って１次モーメントｍ10及びｍ01を算出する。
【００２３】
【数３】
2009236602.tif 000005
重心算出部１０４は、次に、上記１次モーメントｍ10及びｍ01と、面積算出部１０３によって算出された接触領域３０１の面積（＝ｍ00）とを用いて、以下の数式（４）に従って接触領域３０１の重心を示す座標（ｍx，ｍy）を算出する。
【００２４】
【数４】
2009236602.tif 000006
ここで、ｍxは重心のｘ軸方向の座標、ｍyは重心のｙ軸方向の座標を夫々示す。  
また、重心算出部１０４は、非接触領域３０２の重心の座標も同様に算出し、特徴量ベクトル生成部１０７に渡す。
慣性主軸算出部１０５は、輪郭抽出部１０１からの接触領域３０１の輪郭に基づいて、接触領域３０１の慣性主軸を算出する。まず、慣性主軸算出部１０５は、接触領域３０１の輪郭内側の画素の画素値を「１」、輪郭外側の画素の画素値を「０」に２値化し、以下の数式（５）に従って２次モーメントｍ20、ｍ11及びｍ02を算出する。
【００２５】
【数５】
2009236602.tif 000007
慣性主軸算出部１０５は、次に、上記２次モーメントｍ20、ｍ11及びｍ20を用いて、以下の数式（６）に従って接触領域３０１の慣性主軸を与える傾きaxisを算出する。
【００２６】
【数６】
2009236602.tif 000008
また、慣性主軸算出部１０５は、非接触領域３０２の慣性主軸も同様に算出し、特徴量ベクトル生成部１０７に渡す。
曲率算出部１０６は、輪郭抽出部１０１からの接触領域３０１の輪郭に基づいて、接触領域３０１の輪郭上の各画素における曲率を算出する。具体的には、曲率算出部１０６は、接触領域３０１の輪郭上の任意の画素Ｐiと、当該画素ＰiからＬ画素離れた輪郭上の２つ画素Ｐi-L及びＰi+Lとが作る２つのベクトルがなす角を曲率θiとして算出する。例えば、Ｌ＝１２とした場合の画素Ｐi、画素Ｐi-L及び画素Ｐi+Lの関係は図４に示す通りである。曲率算出部１０６は、画素Ｐi及び画素Ｐi-Lが作るベクトルが水平方向に対しなす角をθinと、画素Ｐi及び画素Ｐi+Lが作るベクトルが水平方向に対しなす角をθoutとを、以下の数式（７）に従って算出する。
【００２７】
【数７】
2009236602.tif 000009
曲率算出部１０６は、θin及びθoutの差分を、画素Ｐiにおける曲率θiとして特徴量ベクトル生成部１０７に渡す。また、曲率算出部１０６は、非接触領域３０２の輪郭上の各画素における曲率も同様に算出し、特徴量ベクトル生成部１０７に渡す。尚、前述した曲率の算出手法は、文献「計測自動制御学会東北支部  第１８１回研究集会（１９９９．５．２１）  資料番号１８１−１  “画像内の人間領域の抽出”，Ｏｗｅｉ  ＨｏｎｇＢｉｎ，梶川伸哉，猪岡光」に詳しい。
【００２８】
尚、前述した面積算出部１０３、重心算出部１０４、慣性主軸算出部１０５及び曲率算出部１０６は、その他の既存の手法を用いて算出を行ってもよい。以下、重心算出部１０４及び慣性主軸算出部１０５における重心及び慣性主軸の算出の変形例を説明する。
【００２９】
重心算出部１０４及び慣性主軸算出部１０５は、輪郭抽出部１０１からの接触領域３０１の輪郭に対し、楕円近似を行う。具体的には、重心算出部１０４及び慣性主軸算出部１０５は、接触領域３０１の輪郭上の各画素の座標（ｘ，ｙ）を変量とし、最小二乗法を用いて以下の数式（８）（楕円の公式）を満たす座標（Ｘ，Ｙ）に近似する。
【００３０】
【数８】
2009236602.tif 000010
ここで、最小二乗法を用いて近似するとは、接触領域３０１の輪郭上の各画素の座標（ｘ、ｙ）と、上記楕円上の座標（Ｘ，Ｙ）との間の誤差の二乗和が最小となるＸo、Ｙo、ａ、ｂ及びθを導出することを意味する。尚、図５に示すように、座標（Ｘo，Ｙo）が楕円の中心の座標、ａおよびｂが半長軸及び半短軸、θが長軸のｘ軸に対する傾きを夫々示す。
【００３１】
重心算出部１０４は、楕円の中心の座標（Ｘo，Ｙo）を接触領域の重心を示す座標として算出する。また、慣性主軸算出部１０５は、楕円の長軸のｘ軸に対する傾きθを慣性主軸として算出する。尚、重心算出部１０４及び慣性主軸算出部１０５は、非接触領域３０２の重心及び慣性主軸も同様に算出できる。
【００３２】
特徴量ベクトル生成部１０７は、前述した色解析部１０２、面積算出部１０３、重心算出部１０４、慣性主軸算出部１０５及び曲率算出部１０６によって得られた各種特徴量を用いて特徴量ベクトルを生成する。具体的には、特徴量ベクトルは多次元データであって、特徴量ベクトル生成部１０７は上記各種特徴量に基づいて特徴量ベクトルの各成分を算出する。
【００３３】
以下、特徴量ベクトルの成分を例示する。  
特徴量ベクトル生成部１０７は、図６に示すように、接触領域３０１の重心Ｂから曲率最大位置Ｃまでのベクトルを特徴量ベクトルの一成分として算出してもよい。当該成分は、接触領域３０１における歪みのピーク位置を示す。
【００３４】
また、特徴量ベクトル生成部１０７は、接触領域３０１の曲率最大値と曲率最小値の間の差分を特徴量ベクトルの一成分として算出してもよい。当該成分は、接触領域３０１の歪みの程度を示す。
また、特徴量ベクトル生成部１０７は、接触領域３０１の重心の座標と非接触領域３０２の重心の座標との間の差分を特徴量ベクトルの一成分として算出してもよい。尚、上記差分は、ベクトルであってもよいし、距離であってもよい。当該成分は、接触領域３０１の重心のずれの程度を示す。
【００３５】
また、特徴量ベクトル生成部１０７は、接触領域３０１及び非接触領域３０２を楕円近似した２つの楕円の４頂点同士の距離の偏差を特徴量ベクトルの一成分として算出してもよい。具体的には、特徴量ベクトル生成部１０７は、図７に示す２つの楕円の４頂点同士の距離ｄ1，ｄ2，ｄ3及びｄ4の最大値に対する最小値の比率を上記偏差とする。当該成分は、接触領域３０１の歪みの程度を示す。
【００３６】
また、特徴量ベクトル生成部１０７は、非接触領域３０２の面積に対する接触領域３０１の面積の比率を特徴量ベクトルの一成分として算出してもよい。当該成分は、対象物２０２が透過板２０３に加える力の大きさの程度を示す。
また、特徴量ベクトル生成部１０７は、面積算出部１０３及び色解析部１０２によって得られた接触領域３０１の面積及び平均画素値をそのまま特徴量ベクトルの一成分としてもよい。当該成分は、対象物２０２が透過板２０３に加える力の大きさの程度を示す。
【００３７】
更に、特徴量ベクトル生成部１０７は、接触領域３０１の慣性主軸と非接触領域３０２の慣性主軸の間の差分を特徴量ベクトルの一成分として算出してもよい。当該成分は、非接触領域３０２に対する接触領域３０１の回転の程度を示す。
特徴量ベクトル生成部１０７は、以上のように生成した特徴量ベクトルをマッピング部１０８に渡す。尚、上記特徴量ベクトルは、対象物２０２の接触力の大きさ及び方向と相関があり、接触力ベクトルが類似していれば、類似した特徴量ベクトルが得られる。
【００３８】
マッピング部１０８は、自己組織化マッピング（ＳＯＭ）アルゴリズムを用いて、特徴量ベクトル生成部１０７からの特徴量ベクトルのマッピングを行う。ここで、ＳＯＭについて説明する。
ＳＯＭによれば、マッピング部１０８は上記特徴量ベクトルなどの多次元データを例えば２次元空間上にマッピングすることができる。更に詳細には、マッピング部１０８はＳＯＭによって、類似する特徴量ベクトル同士が近づき、類似しない特徴量ベクトルが離れるようにマッピングすることができる。
【００３９】
マッピング部１０８がマッピングを行うマッピング空間は格子状の２次元空間であり、上記特徴量ベクトルはいずれかのノード（格子点）にマッピングされる。各ノードには特徴量ベクトルと同じ次元の重みベクトルが割り当てられている。マッピング部１０８は、入力される特徴量ベクトルを当該特徴量ベクトルに最も近い重みベクトルを持つノードへマッピングする。ここで、ベクトル間の距離としてユークリッド距離が用いられることが多い。尚、マッピング部１０８は、上記各重みベクトルの初期値を任意に割り当てておき、学習によって適切な値に近づける。重みベクトルの学習は、図１の接触力ベクトル検出装置が実際に接触力ベクトルの検出を行う前に、以下のように行われている。
【００４０】
重みベクトルの学習には、教師信号が用いられる。教師信号は、複数の接触力ベクトルのパターンから得られる特徴量ベクトルである。以降の説明では、接触力の方向（上下左右のいずれか）及び大きさ（強弱いずれか）別に計８（＝４×２）パターンの接触力ベクトルに応じた教師信号を用いるものとする。マッピング部１０８は、「上方向に強い（以下、「上強」と称する）」接触力ベクトルに対し、特徴量ベクトル生成部１０７によって生成される特徴量ベクトルを「上強」の教師信号として取得する。マッピング部１０８は、以下同様に、「上弱」、「下強」、「下弱」、「左強」、「左弱」、「右強」及び「右弱」の教師信号も取得し、学習を行う。
【００４１】
まず、マッピング部１０８は、教師信号としての特徴量ベクトルに最も近い重みベクトルを持つノードを探索する。マッピング部１０８によって探索されたノードの重みベクトルは、勝者ベクトルと呼ばれる。マッピング部１０８は、勝者ベクトルを上記特徴量ベクトルに近づける。具体的には、マッピング部１０８は現在の勝者ベクトルに、上記特徴量ベクトルと勝者ベクトルとの間の差分に所定の学習率係数を乗じたベクトルを加えて更新する。また、マッピング部１０８は上記勝者ベクトルを持つノードの近傍のノードの重みベクトルも更新する。具体的には、マッピング部１０８は上記学習率係数をノード間の距離に応じて減少させて、同様の演算を行う。以下、マッピング部１０８は、同様の処理を複数回繰り返し、重みベクトルの学習を行う。尚、上記学習率係数は、繰り返し回数に応じて減少させることが望ましい。次に、マッピング部１０８は、上記教師信号としての特徴量ベクトルの各々に最も近い重みベクトルを持つノードに基づき、図８に示すようにマッピング空間を上記複数のパターンを示す複数の領域に分割する。尚、マッピング空間の分割には例えばボロノイ分割が用いられる。
【００４２】
マッピング部１０８は、図９に示すように、入力された特徴量ベクトルをボロノイ分割されたマッピング空間にマッピングする（図９において「×」で示した箇所）。マッピング部１０８は、マッピング位置を接触力算出部１０９に渡す。
接触力ベクトル算出部１０９は、マッピング部１０８からのマッピング位置に基づいて対象物２０２の接触力ベクトルを算出する。例えば、接触力ベクトル算出部１０９は、前述した図９に示すマッピング位置に対し、以下のように接触力ベクトルを算出する。
【００４３】
まず、接触力ベクトル算出部１０９は、マッピング位置が属する領域から接触力ベクトルの主成分を判定する。図９に示すマッピング位置は「右強」の領域に含まれているため、接触力ベクトル算出部１０９は「右強」を接触力ベクトルの主成分として判定する。
【００４４】
次に、接触力ベクトル算出部１０９は、上記マッピング位置が属する領域に隣接する領域（以下、隣接領域と称する）の影響を算出する。ここで、隣接領域とは、図８及び図９において実線で示す境界線によって区切られる領域を意味する。即ち、「右強」及び「右弱」の隣接領域は「上強」及び「上弱」と「下弱」及び「下強」である。
【００４５】
具体的には、接触力ベクトル算出部１０９は、マッピング位置と、境界線との間の距離を算出する。図９の例であれば接触力ベクトル算出部１０９は、図１０に示すように、「上強」との境界線ｉ及びマッピング位置の間の距離ｌi、「下強」との境界線ｉ＋１及びマッピング位置の間の距離ｌi+1を夫々算出する。
【００４６】
接触力ベクトル算出部１０９は、算出した距離が所定の閾値δ以上であれば、当該隣接領域の影響を無視する。一方、接触力ベクトル算出部１０９は、算出した距離が上記閾値δ未満であれば、当該隣接領域の影響を考慮する。前述した図１０に示す例において、ｌi＜δ＜ｌi+1であれば、接触力ベクトル算出部１０９は、「上強」の影響を考慮し、「下強」の影響を無視する。
【００４７】
接触力ベクトル算出部１０９は、上記距離に応じて減少する関数によって隣接領域の影響の程度を算出する。上記関数の一例を以下の数式（９）に示す。
【００４８】
【数９】
2009236602.tif 000011
数式（９）においてＩiは境界線ｉによって区切られる隣接領域の影響の程度、α及びβは所定の係数、ｌiは境界線ｉからの距離を夫々示す。接触力ベクトル算出部１０９は隣接領域の影響を考慮することによって、特にマッピング位置が境界線付近であった場合に、より正確な接触力ベクトルを算出できる。
【００４９】
接触力ベクトル算出部１０９は、以上のように算出した隣接領域の影響を、前述した主成分に加え、接触力ベクトルとして出力する。上記例であれば、接触力ベクトル算出部１０９は、「「右強」＋βexp(−αｌi)×「上強」」を接触力ベクトルとして出力する。
【００５０】
以下、図１１に示すフローチャートを用いて図１の接触力ベクトル検出装置の動作の一例を説明する。尚、処理の開始前にマッピング部１０８の重みベクトルの学習は既に済んでおり、接触力ベクトルの複数のパターンを示す領域にマッピング空間が分割されているものとする。  
まず、輪郭抽出部１０１が入力画像中の接触領域３０１の輪郭及び非接触領域３０２の輪郭を夫々抽出する（ステップＳ４０１）。次に、色解析部１０２、面積算出部１０３、重心算出部１０４、慣性主軸算出部１０５及び曲率算出部１０６は、ステップＳ４０１において抽出された輪郭に基づいて接触領域３０１及び非接触領域３０２の平均画素値、面積、重心、慣性主軸及び曲率を特徴量として夫々算出する（ステップＳ４０２）。尚、ステップＳ４０２において一部の特徴量の算出を省いてもよいし、その他の特徴量を算出してもよい。
【００５１】
次に、特徴量ベクトル生成部１０７は、ステップＳ４０２において算出された特徴量に基づき特徴量ベクトルを生成する（ステップＳ４０３）。特徴量ベクトルの成分は、例えば（ａ）接触領域３０１の重心から曲率最大位置までのベクトル、（ｂ）接触領域３０１の曲率最大値と曲率最小値の間の差分、（ｃ）接触領域３０１の重心の座標と非接触領域３０２の重心の座標との間の差分、（ｄ）接触領域３０１及び非接触領域３０２を楕円近似した２つの楕円の４頂点同士の距離の偏差、（ｅ）非接触領域３０２の面積に対する接触領域３０１の面積の比率、（ｆ）接触領域３０１の面積、（ｇ）接触領域３０１の平均画素値及び（ｈ）接触領域３０１の慣性主軸と非接触領域３０２の慣性主軸の間の差分などが挙げられる。特徴量ベクトル生成部１０７が生成する特徴量ベクトルは、上記（ａ）乃至（ｈ）を全て成分として含んでもよいし、一部を成分として含まなくてもよいし、その他の成分を含んでもよい。
【００５２】
次に、マッピング部１０８は、ステップＳ４０３において生成された特徴量ベクトルのマッピングを行う（ステップＳ４０４）。前述したように、マッピング空間は接触力ベクトルの複数のパターンを示す領域に分割されている。次に、接触力ベクトル算出部１０９は、ステップＳ４０４でのマッピング位置に基づき接触力ベクトルを算出し（ステップＳ４０５）、出力する。
【００５３】
以上説明したように、本実施形態に係る接触力ベクトル検出装置は、対象物の接触領域及び非接触領域の特徴量に基づき生成した特徴量ベクトルと、当該特徴量ベクトルと上記対象物の接触力の大きさ及び方向との間の相関に基づき接触力ベクトルを算出している。より詳細には、上記相関は教師信号によってＳＯＭの重みベクトルを学習することによって得られる。本実施形態に係る接触力ベクトル検出装置によれば、被接触素子の変形を利用せずに対象物が加える力の大きさ及び方向を検出できる。従って、力を加えた時点から被接触素子が変形するまでのタイムラグが問題とならない。
【００５４】
また、被接触素子としての透過板を介して対象物を撮影することにより入力画像を取得する構成であれば、検出装置本体が対象物に直接触れないため、壊れにくい。入力画像を取得するカメラの映像信号ケーブル及び電源ケーブルの他に配線が必要無く、配線数が少ない。更に、透過板の形状は平坦な板状に限定されず、検出面の形状の自由度が高い。
【００５５】
また、本実施形態に係る接触力ベクトル検出装置によれば、入力画像を解析することによって対象物の滑り検知を比較的容易に行ったり、対象物の接触時点よりも前の情報を取得したりできる。即ち、視覚センサ及び触覚センサの両機能が実現可能である。また、入力画像をカメラによって取得するためセンサ全体の小型化が用意である、上記カメラとしてワイヤレスカメラを使用すれば検出装置本体を分離して構成することができるなどの利点がある。
【００５６】
なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５７】
【図１】一実施形態に係る接触力ベクトル検出装置を示すブロック図。
【図２】図１の接触力ベクトル検出装置における入力画像の取得の様子の説明図。
【図３】図２のカメラによって取得される入力画像の対象物の接触力の増大に伴う変化の説明図。
【図４】図１の曲率算出部における曲率の算出の説明図。
【図５】図１の重心算出部及び慣性主軸算出部における重心及び慣性主軸の算出の説明図。
【図６】図１の特徴量ベクトル生成部によって生成される特徴量ベクトルの一成分の説明図。
【図７】図６の別の例の説明図。
【図８】図１のマッピング部が特徴量ベクトルをマッピングするマッピング空間の一例を示す図。
【図９】図１のマッピング部によるマッピング結果の一例を示す図。
【図１０】図１の接触力ベクトル算出部における接触力ベクトルの算出の説明図。
【図１１】図１の接触力ベクトル検出装置の動作の一例を示すフローチャート。
【符号の説明】
【００５８】
１０１・・・輪郭抽出部
１０２・・・色解析部
１０３・・・面積算出部
１０４・・・重心算出部
１０５・・・慣性主軸算出部
１０６・・・曲率算出部
１０７・・・特徴量ベクトル生成部
１０８・・・マッピング部
１０９・・・接触力ベクトル算出部
２０１・・・対象物
２０２・・・透過板
２０３・・・カメラ
３０１・・・接触領域
３０２・・・非接触領域
【図１】
2009236602.tif 000012
【図２】
2009236602.tif 000013
【図３】
2009236602.tif 000014
【図４】
2009236602.tif 000015
【図５】
2009236602.tif 000016
【図６】
2009236602.tif 000017
【図７】
2009236602.tif 000018
【図８】
2009236602.tif 000019
【図９】
2009236602.tif 000020
【図１０】
2009236602.tif 000021
【図１１】
2009236602.tif 000022