日本ロボット学会誌

解Vol. 37 No. 5, pp.1〜5, 2019

1

説

人型ロボットの指用触覚センサーの構成法と評価法
Construction and Evaluation about Tactile Sensor for a Finger of a Humanoid Robot加 藤Fumihiro Kato∗

史∗

洋∗

∗東京大学

The University of Tokyo

1. は じ め に
近年，バーチャルリアリティ（ＶＲ）や機械学習技術が進展し，ロボット応用への期待が高まっている．本稿
では，ロボットハンドの指先型センサを想定し，材質を識別するために利用可能な触覚センサの構成と機械学習を利用した評価法について，触原色原理を交えながら述べる．触覚をもつロボットが操縦者に材質を伝える場面を想像してみる．ロボットは触覚センサを組み込んだ指先を持ち，材質をセンシングした情報を伝送することで操縦者への伝達が実現可能である．しかし，ロボットの材質センシング情報として，どのようなプロパティを選べばよいかという問題があり，それがアドホックに恣意的に選ばれると，伝送系や操縦者側の触覚提示装置との適合ができない場合に，操縦者にうまく伝わない場合がある．
我々は触覚のテレイグジスタンス（図 1）を提案している．センサが得た触情報はセンサ機器で触原色（HapticPrimary Colors）原理 [1] に基づいて触原色に分解する．
触原色情報としたうえで伝送し，提示側では触原色から合成して触覚提示することにより前述の問題の解決を図ろうと試みている．
従来の評価は，図 1 のシステム全体としてヒトが情報を識別可能かで評価する場合が多かった．しかし，この方法だと，十分な識別ができなかった場合に，センサ，伝送，提示のどの部分に問題があるのかを特定できなかった．センサだけで評価を行えることが望ましい．センサから得た触情報を用いて材質を精度良く見分けることができれば，それは材質を見分けるに十分な情報がセンサから得られていると考えられ，全体で判別ができなくなる場合は伝送か提示に問題があると問題を分離できる．
そこでセンサの評価手法として機械学習手法を用いてセンサ単独での評価を実施することが有効だと考えられる．
機械学習を用いて触覚センサが得た材質の差を判別できれば，ヒトが識別に必要十分な材質情報をセンサが得ているとみなすことができる．本稿では，はじめにヒトの原稿受付 2019 年 2 月 20 日
キーワード：telexistence, haptics, machine learning∗ 東京都文京区本郷 7–3–1∗ 7–3–1 Hongo, Bunkyo-ku, Tokyo■

日本ロボット学会誌 37 巻 5 号

図 1 触覚のテレイグジスタンス

触知覚特性や触原色原理を概観し，材質を分類するための触覚センサ事例について述べる．また，著者らの提案した触原色センサプローブと得られた材質の触情報を機械学習で分類・評価することで，触覚センサ側を評価する手法について解説する．

1. 1 ヒトの触覚特性と触原色原理
ヒトの触覚特性と触原色原理について述べる．触覚は，体性感覚・内蔵感覚が感じる機械刺激の一種である [2]．
体性感覚は皮膚で感じる表在性の皮膚感覚（触覚や温度感覚）と骨格筋や腱，関節で感じる深部感覚とに分類される．皮膚の触や圧，筋肉の伸張や緊張など体に加えられた機械的刺激に応答する．触覚は，皮膚に加えられた適度の大きさの機械的刺激を受容する感覚である．触覚受容器は受容野の大小により刺激の境界を明瞭に感じたり，刺激の変化や変位に対応するよう役割分担される．
遅順応（Slowly Adapting : SA）型と速順応（RapidlyAdapting : RA）型とに分けられる．I 型は受容野がごく小さいため境界が比較的鮮明であるのに対し，II 型は受容野が広いために境界不鮮明である．触覚受容器は４種，マイスナー小体（RAI）やメルケル触盤（SAI），パチニ小体（RAII）やルフィニ終末（SAII）があり，皮膚の振動に最も反応するのは RAII で 100〜300 Hz，RAIで 40 Hz 前後である [3]．SA 型は変位にも反応するため力などの変位量にも発火しつづける．指先には RAI 型，SAI 型それぞ 140/cm2 ，70/cm2 の密度で分布する．温覚受容器の神経発火しやすい温度は 40〜45◦ C であり，冷覚受容器は 30◦ C である．深部感覚は位置覚，運動覚，力覚とに分けられる．力覚は固有受容器で皮膚の変形で捉—1—

2019 年 6 月

加 藤2

史洋

えきれなかった大きな力を，抵抗に逆らって関節位置を保持するための筋力として推定する感覚である．
皮膚感覚の測定のために，ヒトの触覚や深部感覚と同等の情報を測定するには機械的な振動は１ kHz ほどのサンプリングが必要で，ある程度の大きさの力も測定できる必要がある．振動は機械刺激の交流成分，力は直流成分を含みベクトルであることから，振動センサと力センサの両方が必要である．温度の測定には感度の良いセンサが必要で，温度感覚のセンシングに必要な温度範囲は0〜50◦ C 程度である．
触原色原理とは，触刺激は触覚受容体別の刺激要素への分解が可能で，触情報の組み合わせにより再構成も可能とする理論 [1] [4] を指す．光の三原色と同様のアナロジーである．ヒトの目では，光波長の吸収特性が異なる３種の錐体の応答の組み合わせから色の知覚が生じる．
触原色原理では，触覚受容器と温覚受容器に対応する振動，力，温度を対象の物理量と捉える．

2. 触 覚 セ ン サ
触覚テレイグジスタンスにも応用可能な，様々な触覚センサが提案されている．指先型 [5]〜[10] のほか，シンプルな形状のものでは，硬質な棒状（金属など）のセンサプロー
ブ [11]〜[14] の提案は数多い．そのほか，ゲル状 [6] [15]〜[17]，ぬいぐるみの腕型 [18] などがある．取得する情報は様々で，加速度 [8] [9] [19] [20]，力（触覚）[5]〜[9] [21] [22]，力（固有受容器）[7]〜[9] [18]，音（マイク）[7] [21]，赤外線の反射率 [22]，金属探知センサ [22]，材質表面の画像 [23] [24]，
温度 [5] [7] [9] [10] [25] などがある．
特にロボットハンドに搭載可能な指先型の触覚センサに焦点をあてて紹介する．

2. 1 Biotac
Biotac [5] は導電性液体で満たされた軟らかい指先を持
つ．指の中心部にある圧力センサや電極アレイから圧力や振動を，中心部のサーミスタから温度が計測可能である．振動を感知する静電容量変化（2.2 kHz）以外，計測は 100 Hz で圧力は１軸である．
2. 2 GelForce
指 先 形 状 で 指 腹 部 の 力 分 布 を 取 得 可 能 な Gelforce（図 2(ａ)）[6] は，弾性素材の指腹中に散りばめた計４８個の２色のマーカの変形移動（図 2(ｂ)(ｃ)）から印加力を算出する．印加する力が弾性素材を歪ませると，素材が変形し・マーカが移動するがこれを指先内にある小型カメラで撮影して，力-歪の対応関係から力を算出する．
指表面形状は湾曲しているため，すべてのマーカを用いてマーカから力ベクトルへの変換行列の算出は難しいが，プロトタイプでは，指表面の 5×5 ＝ 25 頂点（2.5mm 間隔）への局所的な力との対応関係を得たことで，力の取得を可能にしている．サンプリングレートはカメラの更新レートに依存し 67 Hz である．実際にロボットハンドに装着して力を計測する様子は図 2(ｄ) である．

JRSJ Vol. 37 No. 5

図2GelForce [6]2. 3 Haptic Scanner
Haptic Scanner [7]（図 3）も図 3（ｃ）のようにロボットハンドへの搭載と，触覚提示ディスプレイ（図 3（ｂ））への触覚伝送を目指した指先センサデバイスである．指先型のセンサデバイス（図 3（ａ））には３軸力センサと触覚マイクを内蔵し，指腹表面にサーミスタが配置されている．著者らはデニム（図 3（ｄ））をはじめ様々な材—2—Jun., 2019

人型ロボットの指用触覚センサーの構成法と評価法

図33

Haptic Scanner [7]

質の触感に Haptic Scanner ／ Display 経由で触れたが，実際の材質と違った触感だったという体験者の感想が紹介されている．これは，【1. はじめに】で説明したようにうまく触感が伝わらなかったときにどこに原因があるのか切り分けが難しいことを示唆している．

2. 4 グローブ型の圧力・温度分布計測センサ
感圧導電シートとチップサーミスタを用いてグローブ型の圧力・温度分布計測センサが開発 [10] されている．
温度分布計測と圧力分布計測が共存した装着可能な触覚センサで，グローブ（図 4(ａ)）と指腹の間に，指先の形状に加工した薄膜状の感圧導電シートが挿入（図 4（ｂ）（ｃ））されており，圧力の分布を高速に取得可能である．
圧力分布は 50 点（5×10），温度分布は８点であり，センサの素子間隔は 2 mm であるため，指先で鉛筆を転がすような細かな圧力分布を計測可能である．試作品では概算で 600 Hz 程度のサンプリングレートを実現している．
また，同一素材の圧力分布センサを用いたセンサアレイ
16× 16 での測定実験では 2.7 kHz での読み出しも実現している（図 4（ｄ）ゴムボール衝突時の圧力分布変化）．
圧力の分布が取得可能で，読み出し速度はヒトの触知覚特性と照らして十分に速いため，今後の発展が期待される触原色センサである．

2. 5 触原色プローブ
触原色プローブ [9] の構成を図 5（ｂ）に示す．HapticScanner の発展版で触覚マイクの代わりに加速度センサを用いるなど構成を変えている．３軸力センサと３軸加速度，温度を計測するサーミスタが組み込まれおり，サンプリング周波数はそれぞれ 1.0 ｋ Hz ／ 1.6 ｋ Hz ／500 Hz である．プローブは指先形状をしておりロボットの手に搭載する想定である．ものをつかみやすくするためにやや柔らかい素材で構成した．センサの配置部材を日本ロボット学会誌 37 巻 5 号

図 4 感圧導電シートを用いたグローブ型圧力・温度分布計測
センサー [10]中空にすることで指表面の振動を取得しやすいが，力センサへの力の伝達のための柱状部材も内蔵した指形状である．材質の熱特性を取得するために，ペルチェ素子の加熱面が材質に触れる配置になっており，人肌となるように制御する．材質が室温であっても，熱特性を調べることが可能である．触原色プローブで材質を繰り返しなぞることで触情報を取得する直動アクチュエータとともに３原触情報を取得する．Haptic Scanner のように振動の取得にマイクを利用すると，材質をこするときの振動のみならず音が含まれてしまい，ヒトの触覚が受容しない聴覚情報が含まれてしまう．そこで，触原色プローブ
では３軸の加速度センサを用いた．ヒトの触覚受容体が参考にしていない周波数や波形の異なる信号の混在を回避する狙いがある．音声マイクでは振動を 1 軸に変換して取得するが，加速度なら 3 次元の空間的な情報を取得して分析可能である．

3. 機械学習による評価
機械学習を用いたセンサプローブの評価手法について述べる．センシング結果に材質を区別する情報が含まれて—3—

2019 年 6 月

加 藤

4

史洋

表 1 材質をなぞることで得た力（最大 500 Hz），加速度（同，800 Hz），温度（同，258 Hz）情報の例．それぞれ，左側に波形，右側に周波数解析した画像を示す．

図5

触原色プローブ [9]

いるかを見極めるには，材質を分類できればよい．触覚センサが取得した触信号の分類手法には畳み込みニューラルネットワーク（ＣＮＮ）による分類 [8] [9] [19] [20] [23] [24]，教師付き学習による分類 [21] [22] などが提案されている．
これらの機械学習手法では，単触または複数の物理量を用いて得た触センシング信号の組み合わせを用いる手法 [8] [9] [19] [20]，材質表面の画像 [23] [24] を加えて精度向上をはかる提案もある．
本節では筆者らが提案したＣＮＮによる分類手法 [9] について説明する．触原色プローブから得られた触信号を画像化し，画像ベースの CNN にて分類をする．近年，急速に発展した画像ベースの機械学習手法は手軽に高精度な分類が可能である．触原色プローブから得た触信号（力，振動，温度）（図 5（ｃ））は FFT による周波数解析からスペクトログラム画像を生成する．これらを触画像として，CNN を学習して分類精度を求めることで評価する．
触画像だけから CNN を作成する方法もあれば，事前学習済みの CNN を転移学習することで触画像にドメイン適用する方法もある．後者では，少ない画像でも精度を上げやすい．たとえば，1,000 カテゴリの一般画像 100 万枚のデータベース [26] [27] で訓練済みの Alexnet [13] はMATLAB でも評価サンプルが公開されており，導入が容易である．
触原色プローブの評価のために７つの材質で得た触信号を用いて触画像の分類実験を行った．触原色プローブをセットした試料板を約 20cm のスライド幅で反復して取得した．図 1 は取得した波形（左列）とＦＦＴ画像（右JRSJ Vol. 37 No. 5列）の例である．材質としてエイの皮（数 mm の凹凸があり多少の摩擦，ゴツゴツ），畳の表生地を貼り付けた板（異方性，スムースさ），平織りの麻生地を貼り付けた板（ガサガサな繊維），MDF 板（乾いていてカサカサ），アルミ板とアクリル板（ひんやりとした冷感となめらかさ）,ゴムシート（スムースさ）から触情報を取得した．ＦＦ
Ｔ画像（表 1）には特定の周波数に帯状の集中がみられ，材質の特徴が出ている．これらの画像を単位時間幅で区切ることで，分類評価に用いる触画像とした．
単触の触画像または複数を組み合わせた次のような画像セットを用いて CNN を作成し，作成に使った残りの画像で評価した．力／加速度／温度の単触画像（15 × 501ピクセル），力 + 加速度などを組み合わせた二触画像（30 × 501 ピクセル），力 + 加速度 + 温度を組み合わせた三触画像（45 × 501 ピクセル）である．触原色画像の組み合わせのために，例えば力画像のとなりに温度画像を並べることで１枚の画像を生成した．
二触の組み合わせ画像では，単触画像よりも高い分類精度が実現できた．低い分類精度である温度の触画像でも他の触画像と組み合わせることで精度は向上し，三触組み合わせた場合で 98.2%の分類性能を達成した．詳細は文献 [9] に譲る．三触の触画像を組み合わせて機械学習で分類することで高精度で分類できたことから，材質を見分ける特徴を触原色プローブは取得できていると考えられる．触覚センサ単体での評価ができたといえよう．

4. お わ り に
本稿では，触覚のテレイグジスタンスのために必要な要件について述べ，ヒトの触覚特性を応用する触原色原理について紹介した．触覚センサや，特にロボットハンド向けに触覚を付与する指型デバイスの近年の研究事例に焦点をあてて紹介した．また，触覚センサを単体で評価可能な，機械学習を利用した評価法について述べた．評—4—Jun., 2019

人型ロボットの指用触覚センサーの構成法と評価法

価では例として，触原色原理を体現する触原色プローブ
にて力・振動・温度の三触のセンサ情報を組み合わせて７種の材質を 98.2%の精度で分類した事例を述べた．本
件のように，触覚センサデバイスが材質を分類するに十分なテクスチャ情報を取得できているか判定することで，センサの構成を評価可能である．
謝 辞 本研究の一部は国立研究開発法人科学技術振興機構（JST）の戦略的創造研究推進事業（ACCEL）「触原色に立脚した身体性メディア技術の基盤構築と応用展開」の支援によって行われた．
参考文

日本ロボット学会誌 37 巻 5 号

from a tactile arrayed sensor in autonomous in-hand manipulation?,” Proc. of IEEE Int. Conf. on Automation Science andEngineering, pp. 461-468, 2012.
[17] W. Yuan, C. Zhu, A. Owens, M. A. Srinivasan, E. H. Adelson: “Shape-independent hardness estimation using deep learning and a GelSight tactile sensor,” Proc. of IEEE Int. Conf. onRobotics and Automation (IROS), pp. 951–958, 2017.
[18] 長谷川，三武：“人と触れ合うための柔軟機構とその制御 - 傷つけず壊れにくく触感のよいぬいぐるみでロボットを作る”，日本ロボット学会誌 解説記事，vol. 32，No. 8，pp. 678-683，2014.
[19] M. Strese, C. Schuwerk, E. Steinbach: “Surface classification using acceleration signals recorded during human freehand movement,” Proc. of IEEE World Haptics Conf. (WHC), pp. 214–219,2015.
[20] N. Hanamitsu, M. Morita, M. Nakatani: “Use of recurrenceplots for haptic surface recognition in convolutional neural networks,” Proc. of Euro Haptics Work in Progress, pp. 1-4, 2016.
[21] M. Strese, C. Schuwerk, A. Iepure, E. Steinbach: “MultimodalFeature-Based Surface Material Classification,” IEEE Transactions on Haptics, vol. 10, no. 2, pp. 226–239, 2017.
[22] M. Strese, Y. Boeck, E. Steinbach: “Content-based surface material retrieval,” Proc. of IEEE World Haptics Conf. (WHC),pp. 352-357, 2017.
[23] H. Zheng, L. Fang, M. Ji, M. Strese, Y. Ozer, E. Steinbach:“Deep Learning for Surface Material Classification Using Haptic and Visual Information,” IEEE Transactions on Multimedia,
vol. 18, no. 12, pp. 2407-2416, 2016.
[24] Y. Gao, L. A. Hendricks, K. J. Kuchenbecker, T. Darrell: “Deeplearning for tactile understanding from visual and haptic data,”
Proc. of IEEE Int. Conf. on Robotics and Automation (IROS),
pp. 536-543, 2016.
[25] T. Bhattacharjee, J. Wade, C. Kemp: “Material Recognition
from Heat Transfer given Varying Initial Conditions and ShortDuration Contact,” Proc. of Robotics: Science and Systems XI,
2015.
[26] A. Krizhevsky, I. Sutskever, H. Geoﬀrey E.: “ImageNet Classification with Deep Convolutional Neural Networks,” Proc. ofAdvances in Neural Information Processing Systems(NIPS), pp.
1-9, 2012.
[27] ImageNet http://www.image-net.org,2012.

献[ 1 ] S. Tachi, K. Minamizawa, M. Furukawa, C. L. Fernando: “Haptic Media: Construction and Utilization of Human-harmonized"Tangible" Information Environment,” Proc. of the 23rd Int.
Conf. on Artificial Reality and Telexistence (ICAT), pp.145-150,
2015.
[ 2 ] 舘，佐藤，廣瀬 監修：“バーチャルリアリティ学”，日本バーチャルリア
リティ学会 編，2010.
[ 3 ] 岩村：“ヒト触覚受容器の構造と特性”，日本ロボット学会誌，vol. 2，no.
5，pp.438-444，1984.
[ 4 ] S. Tachi: “Telexistence (2nd Edition),”World Scientific, 2015.
[ 5 ] N. Wettels, V. J. Santos, R. S. Johansson, G. E. Loeb:“Biomimetic Tactile Sensor Array,”Advanced Robotics - j. of
the Robotics Society of Japan, vol. 22, no. 8, pp.829-849, 2008.
[ 6 ] K. Sato, K. Kamiyama, N. Kawakami, S. Tachi: “Finger-Shaped
GelForce: Sensor for Measuring Surface Traction Fields forRobotic Hand,” IEEE Trans. on Haptics, vol. 3, no. 1, pp.37-47,
2010.
[ 7 ] T. Kurogi, M. Nakayama, K. Sato, S. Kamuro, C. L. Fernando,
M. Furukawa, K. Minamizawa, S. Tachi: “Haptic transmission
system to recognize diﬀerences in surface textures of objects fortelexistence,” Proc. of IEEE Virtual Reality (VR), pp.137-138,
2013.
[ 8 ] F. Kato, C. L. Fernando, Y. Inoue, S. Tachi: “Classification
method of tactile feeling using stacked autoencoder based on
haptic primary colors,” Proc. of IEEE Virtual Reality, pp.391392, 2017.
[ 9 ] F. Kato, Y. Inoue, S. Tachi: “Soft Finger-tip Sensing Probe
Based on Haptic Primary Colors,” Proc. of Int. Conf. on Artificial Reality and Telexistence and Eurographics Symposium on
Virtual Environments (ICAT-EGVE), pp.107-114, 2018.
[10] 梶本，佐藤，吉原：“感圧導電シートとチップサーミスタを用いたグローブ型圧力・温度分布計測センサの開発”，力触覚の提示と計算 第 22 回研究会 予稿集，PI-19-040，pp.31-34，2019.
[11] A. Burka, S. Hu, S. Helgeson, S. Krishnan, Y. Gao, L. A. Hendricks, T. Darrell, K. J. Kuchenbecke: “Proton: A visuo-haptic
data acquisition system for robotic learning of surface properties,” Proc. of IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent Systems, pp.58-65, 2017.
[12] H. Culbertson, L. Delgado, J. José, K. J. Kuchenbecker: “Onehundred data-driven haptic texture models and open-source
methods for rendering on 3D objects,” Proc. of IEEE Haptics
Symposium (HAPTICS), pp. 319-325, 2014.
[13] D. J. Meyer, M. A. Peshkin, J. E. Colgate: “Tactile Paintbrush: A procedural method for generating spatial haptic texture,” Proc. of IEEE Haptics Symposium (HAPTICS), pp.259264, 2016.
[14] D. K. Pai, P. Rizun: “The WHaT: A Wireless Haptic Textue
Sensor,” Proc. of the 11th Int. Symposium on Haptic Interfaces
for Virtual Environment and Teleoperator Systems (HAPTICS),
pp. 3-9, 2003.
[15] K. Vlack, T. Mizota, N. Kawakami, K. Kamiyama, H. Kajimoto,S. Tachi: “GelForce: a vision-based traction field computer interface,” Proc. of ACM CHI 2005 Conf. on Human Factors in
Computing Systems, pp.1154-1155, 2005.
[16] V. A. Ho, T. Nagatani, A. Noda, S. Hirai: “What can be inferred5加藤 史洋
2008 年 電気通信大学電子工学科・卒業．2010
年 同大学院知能機械工学専攻・修士課程 修了．同年，東京工業大学大学院知能システム科学専攻・博士課程にて日本学術振興会特別研究員（DC1）．2014 年 株式会社東芝入社・研究開発センターインタラクティブメディア部門．2016 年 博士課程・修了．同年 東京大学高齢社会総合研
究機構・舘研究室での ACCEL 身体性メディアプロジェクト
にて特任研究員としてテレイグジスタンス，バーチャルリアリ
ティ，触覚インタフェースなどの研究に従事．博士（工学）．

—5—2019 年 6 月