情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-182023/3/1

手の接近及び多様な触覚刺激を識別する
柔軟な触覚センサの開発
田中 遼祐1

岡 夏樹2

田中 一晶1

概要：人と触れ合うことは相手との親しみを強めたり感情を伝えたり様々な効果があることが知られている．ロボットも人との触れ合いにおいて適切な反応を返すことができれば，それらの効果が得られる可能性がある．そこで本研究では，導電性シリコンゴムを電極として使用した薄く柔軟な静電容量方式の触覚センサを開発した．このセンサの表面に人肌の柔軟性を持つ皮膚素材を貼り付け，様々な触覚刺激における静電容量の時系列データを収集し，LSTM（Long short-term memory）を用いて刺激の識別モデルを構築した．その結果，9 つの状態の識別において 85.1 ％の正答率が得られ，撫でる，叩く，くすぐる等の皮膚素材に直接触れる刺激だけでなく，手の接近／離反も高い精度で識別できることが示された．また，皮膚素材の表面を押す強弱についてもある程度の精度で識別することができ，人の手との接触においては圧力センサとしても機能する可能性が示された．

1. 緒言

触覚センサ自体でロボットの表面を被覆してしまうと，身体接触における触感をデザインすることが困難になるとい人同士の身体接触（ソーシャルタッチ）は，相手に親近う問題が生じる．例えば，ロボットハンドにおいては，人感を与えること [1] や相手に感情を伝えること [2], [3] 等のと触れ合っている触感を再現するためには人間の皮膚のよ様々なポジティブな効果がある．それを人とロボットとのうな柔軟な素材（皮膚素材）で表面を被覆することが有効

インタラクションに応用することで，ペットロボットや人であることが知られている [5], [6]．したがって，人と触れ型ロボット等のロボットと人との関係をより良いものにで合うロボットのための触覚センサの要件として，次の 3 つきる可能性がある．実際，ロボットが人の手に接触するイが考えられる：ロボットの皮膚素材の下に配置しても，1）

ンタラクションにおいて，ロボットに対する親近感が高ま触覚センサとして機能する，2）触感を損ねない，3）表面ることが示されている [4]．また，離れた場所にいる人同士形状を可能な限り変化させない．先行研究で提案されていがロボットハンドを介して握手をするインタラクションにる触覚センサは，1mm 未満の厚みのものもあり [7], [8]，皮おいて，ロボットに対する親近感や近くに相手がいるよう膚素材の下に組み込んでも形状の変化は少ないことが予想な感覚を高まることが示されている [5], [6]．

される．しかしながら，いずれのセンサも，センサ自体にこれらの研究から，人とロボットとのインタラクション触れることを想定して開発されており，ロボットの皮膚素においても身体接触によってポジティブな効果が得られる材の下に組み込んでも有効に機能するかは検証されていな可能性があるが，そのためには人からの身体接触に対してい．また，柔軟性については，例えば PET 素材のフィル適切な反応を返せるように，ロボットにも人間のような触ムを使用したセンサ [7], [9] を組み込んだ場合，人間の皮覚が必要となる．つまり，人間の皮膚のように多様な触覚

膚よりも硬度が高く，皮膚素材が薄いと触感に違和感が生刺激をセンシングし，識別できる必要がある．そのため，じる可能性がある．さらに，これらのセンサは高い分解能

先行研究では，様々なロボット用の触覚センサが開発さで接触位置を検知できるように設計されており，構造が緻れてきた．例えば，ポリエチレンテレフタレート（PET）密で容易に製作することは困難である．

フィルムやポリジメチルシロキサン（PDMS）等を素材とそこで本研究では，容易に製作できる非常に単純な構造して静電容量方式の触覚センサを開発されており，それぞでありながら，人間の皮膚のような柔軟な素材の下に組みれ独自の構造が提案されている [7], [8], [9]．しかしながら，込んでも機能し，センサ自体が柔軟で厚さ 1mm 未満であることから，皮膚素材の触感を損ねない触覚センサを開発

12

京都工芸繊維大学
宮崎産業経営大学© 2023 Information Processing Society of Japanする．この目的のため，まず導電性と非導電性のシリコン185情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-18
2023/3/1

ゴムを用いて触覚センサの試作を行う．そして，その触覚いる．例えば，市販のマルチタッチ可能な圧力センサを用センサにおいて「刺激なし」
「接近」
「接触」
「撫でる」
「叩いて，平面上で，撫でる，ひっかく，つく，狭く押す，広くく」「弾く」「くすぐる」「弱く押す」「強く押す」の 9 状態の押すの 5 種類と，人間の腕の上で，つまむ，つかむの 2 種データを取得し，Long Short Term Memory（LSTM）ネッ類の計 7 種類の触覚刺激を 3 次元畳み込みニューラルネッ

トワークを用いて識別モデルを構築する．

トワークを用いて高い精度で識別できることが報告されて2. 関連研究2.1 既存の触覚センサに関する関連研究
先行研究では様々な種類の触覚センサが開発されておいる [14]．この先行研究ではセンサに直接触れて触覚刺激を与えており，柔軟な皮膚素材の下にセンサを組み込んでも同様のセンサや機械学習モデルが有効に機能するかは不明である．

り，静電容量方式 [7], [8], [9] や光学方式 [10]，電気抵抗方

触覚センサはとしてコンタクトマイクロホンを使用し，式 [11], [12]，圧電方式 [13] 等がある．特に人との身体接振動から触覚刺激を識別する研究も行われている [15]．こ触を想定して開発された触覚センサにおいては，手の接の先行研究では撫でる・軽く叩く・平手打ち・くすぐるの近による電極間の静電容量変化を読み取る静電容量方式

4 種類の触覚刺激の振動を取得し，様々な機械学習技術でのものが多い．例えば，銅電極の層とシリコン素材の層識別できることを示している．また，別の先行研究では，からなる触覚センサが開発されている（分解能 8×8：[7]，物体が接触した際に生じる音から，その物体の種類を識別4×4：[8][9]）．これらのセンサでは，柔軟なシリコン素材する研究も行われている [16]．これは，物体の接触によっ（PDMS）が用いられているものの，それよりも固い PETて生じる音の音響特性を用いてサポートベクターマシン等のフィルムに銅電極を張り付けて電極層を構成してお（SVM）で分類するものであり，指先，腹，関節およびペり，それによってセンサ全体の柔軟性は低下してしまう．

ンなどの道具のいずれと接触したかを高い精度で識別でき

また，電極層は非常に微細で構造が複雑であり，容易に製ることを示している．

作できるとは言えない．

しかしながら，マイクロホンを用いていて触覚刺激を識

触覚刺激の力がセンサに加わった際に，電気抵抗方式は別する場合，柔軟な皮膚素材でロボットを被覆している場

電気抵抗の変化を読み取り [12]，圧電方式は発生する電圧合には振動が伝わりにくく有効に働かない可能性が考えらの変化を読み取る [13]．これらの方式では，電極自体の構れる．また，ロボットが動くことによるノイズの影響を受造は多少単純化されるが，電極に 1 本ずつ配線が必要となけやすいという問題もある．

り，分解能を高めようとすると配線が複雑化してしまうた

これらの研究では，人の手や物体が接触した状態を識別

め分解能を高めにくいという問題がある．また，上述の静するモデルを構築しているが，ロボットの触覚センサとし電容量方式の触覚センサと同様に電極層が固くセンサ全体て活用する場合には，何も接触していない状態も識別できの柔軟性は高いとは言えない．

る必要がある．特に静電容量式のセンサは人の手が接近す

上述の触覚センサは，センサ自体に手や物体が直接触れるだけでも静電容量が変化するため，非接触の 2 つの状態ることを想定して設計されている．そのため，ロボットに（何の触覚刺激も与えられていない状態，手が接近してい取り付ける場合には，ロボットの表面をセンサで覆うことる状態）と人の手がロボットの皮膚素材に触れている状態になり触感はそのセンサそのものになってしまう．人肌のを識別できることが望ましいと考えられる．本研究では，ような皮膚素材の下に配置しても触覚センサとして有効に開発した触覚センサによって「刺激なし」「接近」「接触」機能するかどうかは不明である．これに対し，光学方式は状態と，他の 6 つの触覚刺激を含む計 9 状態を識別できる

センサ表面の変形をカメラ等で計測するものであるため，LSTM モデルを構築し，その識別精度を評価する．

ロボットの表面の素材が限定されにくい可能性がある．しかしながら，計測のためのカメラや LED 照明が必要であり，センサ自体が大型化してしまうという問題がある [10]．

3. 触覚センサの試作
3.1 触覚センサの構造

本研究で開発したセンサは，表面に柔軟な皮膚素材を張本研究で試作した薄く柔軟で単純な構造の触覚センサ

り付けても触覚センサとして機能するのはもちろん，導電（図 1）について説明する．黒色の部分が厚さ 0.1mm の導性のシリコンゴムを電極として使用し，0.5mm の薄さであ

電性シリコンゴムの電極であり，センサの表面と裏面に縦るため，その触感を大きく損ねることがない．また，単純方向に 5 本，横方向に 5 本をそれぞれ配置している．そのな構造であるため，製作も用意である．

ため，試作したセンサの分解能は 5×5 である．各電極の正方形の部分の一辺は 6mm であり，正方形部分同士の間隔2.2 触覚刺激を識別する関連研究は 2mm である．この電極を厚さ 0.2mm の透明な非導電触覚センサで取得した触覚刺激の種類の識別するために性シリコンゴムにはめ込み，表面と裏面で電極が交差する機械学習技術が有効であることが多数の研究で報告されてように張り合わせている．その際，表面と裏面の電極が短© 2023 Information Processing Society of Japan186

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 1

1B-18
2023/3/1

導電性 (黒色) と非導電性 (透明) のシリコンゴムでできた触覚センサ

図 2

触覚センサの柔軟性

図 3

LSTM を用いた学習モデル

表 1 データセットのデータ数
状態

計測回数

学習データ

検証データ数テストデータ数

刺激なし

68613

317

70

接近64718254

28

接触59682219

101

撫でる52662

287

52

叩く

311

661

14398

弾く232

641

16693

くすぐる

60767

126105

弱く押す

51742

159

108

強く押す

54815

75119

「撫でる」
「叩く」
「弾く」
「くすぐる」「弱く押す」「強く押す」の 9 つの状態を識別する LSTM モデルを構築する．そのため，まず 9 つの状態における静電容量をセンサで収集絡しないように間に厚さ 0.05mm の透明な非導電性シリコした．センサの表面には 3.1 節で述べた通り厚さ 2mm のンゴムを挟んでいる．これらの面をシリコンゴム用の接着皮膚素材を張り付けており，それに対して実験者が次の 9剤で張り合わせた結果，試作したセンサの厚さは約 0.5mm状態において静電容量を計測した．となった．図 2 は試作したセンサを厚さ 2mm の皮膚素材

刺激なし 皮膚素材に触らず放置する状態．

であるウレタン樹脂製のシート（アスカー C 硬度 0）*1 に接近 皮膚素材に触れないように手を近づけた状態．

張り付けた状態を示しており，皮膚素材の変形に応じてセ接触 皮膚素材の表面にそっと指で触れる状態．

ンサ自体も柔軟に変形している．

撫でる 皮膚素材の表面に指を滑らせるように触れる状態．

このセンサにおいて手の接触位置を検出する上で，静電容量方式の 1 つである相互容量方式を採用した．相互容量

叩く 皮膚素材の表面を瞬間的に数本の指で強く接触する
状態．

方式はスマートフォンのタッチスクリーンにも使用され弾く 親指に人差し指の爪を当てて，人差し指を前に出すており，複数の接触箇所を検出することが可能である．静ように力を入れて爪で皮膚素材に瞬間的に強く接触す

電容量の計測には，静電容量タッチ評価ボード *2 を利用る状態．

した．

4. 触覚刺激の識別モデルの構築・評価
4.1 触覚刺激のデータセット構築*1*2

くすぐる 5 本の指を別々に細かく動かして爪で皮膚素材に軽く触れる状態．
弱く押す 皮膚素材の表面を指で軽く押す状態．
強く押す 皮膚素材の表面を指で強く押す状態．

試作した触覚センサを用いて「刺激なし」
「接近」
「接触」

各状態の計測回数を表 1 の左列に示す．静電容量を計測

エクシール 超軟質ゲルシート：
http://www.exseal.co.jp/creative/
renesas RX130 搭載静電容量タッチ評価システム：
https://www.renesas.com/jp/ja/products/microcontrollersmicroprocessors/rx-32-bit-performance-eﬃciencymcus/rx130-capacitive-touch-capacitive-touch-evaluationsystem-rx130

するシステムのサンプリング周波数は 20Hz（20fps）であ© 2023 Information Processing Society of Japanり，「刺激なし」の状態では手を近づけない状態で 20 フレー
ムの静電容量を計測を 68 回実施した．その他の触覚刺激の計測においては，表に示す回数を実験者が刺激の与え方を変えながら実施した．このデータから各状態においてラ187

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 41B-182023/3/1

学習曲線（正解率）

図 5
表 2

学習曲線（損失）

テストデータにおける再現率と適合率と F 値
ラベル
再現率
適合率
F値
刺激なし

0.971

1.000

0.986

接近

1.000

0.933

0.966

接触

0.812

0.854

0.832

撫でる

1.000

0.627

0.770

叩く

1.000

1.000

1.000

弾く

0.978

0.978

0.978

くすぐる

0.990

0.963

0.977

弱く押す

0.231

0.735

0.352

強く押す

0.933

0.677

0.784

平均

0.880

0.863

0.849

4.3 結果図 6

テストデータの正規化混同行列

識別モデルの学習曲線を図 4（正解率）と図 5（損失）に示す．これらのグラフでは，青色の線が学習データ，緑色ンダムに 10 ％ずつを取り出し，テストデータとした．まの線が検証データの正解率と損失の変化をそれぞれ表してた，残りのデータの 80 ％を学習データ，20 ％を検証デーいる．また，検証データの損失が最も小さい箇所に赤の点タとした．そして，学習データ，検証データ，テストデーをプロットしている．この時点のモデルを使用し，テストタそれぞれに対し，データの冒頭から終端まで 20 フレー

データの識別結果の正規化混同行列を図 6 に示す．また，ムずつずらして抽出し，その 20 フレームの時系列データ

テストデータの識別結果の再現率，適合率，F 値を表 2 にを 1 つのデータとした．その結果，各状態の学習，検証，示す．この結果の通り「弱く押す」の再現率が低いものの，テストデータ数はそれぞれ表 1 の通りとなった．

全体では 85.1 ％の正解率であった．

4.2 識別モデル

5. 考察

図 3 に識別モデルの構成と入出力について示す．識別モ

テストデータでの評価の結果，9 状態を識別する上でデルは，LSTM 層，全結合層，softmax 層で構成されてい85.1 という高い正解率が得られた．センサの構造は先行研

る．LSTM の隠れ層は 1024 とした．センサが計測できる

究で提案されてきた触覚センサよりも非常に単純であり静電容量は 5×5 の 25 点あり，それぞれの点で相互容量とながら，皮膚素材で覆っても，撫でる，くすぐる等の触覚自己容量をそれぞれ計測したため，20 フレーム分の 50 点

刺激だけでなく手の接近，離反，接触の状態を適切に識別の時系列データ (20, 50) を入力とした．学習の際には，9することができた．この結果から，試作した触覚センサは次元の one hot ベクトルを正解データとして与え，softmax

LSTM を用いた識別モデルと組み合わせることで，ロボッ層において各状態の確率が出力されるようにした．そのトが人から与えられる触覚刺激に対して適切な反応を返す

他のハイパーパラメータとして，エポック数を 20, バッ上で有効に働く可能性があることが示された．

チサイズを 32，最適化アルゴリズムを adam, 損失関数をcategorical crossentropy, 学習率を 0.001 とした．

© 2023 Information Processing Society of Japan表 2 の通り，9 状態の識別においてほとんどの状態の F
値は 0.9 前後であるが，「弱く押す」のみ 0.352 と低い値に188

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

なっている．これは LSTM に入力した 20 フレームの時系

1B-18
2023/3/1の支援を受けた．

列データの中には触り始めは「接触」や「撫でる」と類似したパターンが含まれており，押す過程において「強く押参考文献す」と類似したパターンが含まれていたために，それら 3[1]

つの状態との誤識別が多く発生したことが原因である．この挙動はリアルタイムに識別を行った場合には妥当な出力と言えるため，触覚センサとして使用する上で大きな問題[2]にはならないと考えられる．しかしながら，この結果から圧力センサと同様に押す強さを適切に認識できていると判[3]

断することはできないため，押す強弱の識別性能については追加の評価が必要である．
触覚刺激の識別モデルを構築するにあたり，本研究では[4]

1 人の実験者がセンサに触れて触覚刺激のデータを収集した．したがって，本研究で試作したセンサおよび識別モデ[5]

ルによって特定の個人がセンサに触れた場合の触覚刺激を高い正解率で識別できる可能性は示されたが，実験者以外の人が触れた場合においても適切に触覚刺激を識別できる[6]

かは明らかになっていない．様々な人の触覚刺激データを収集し，触れる人の多様性（手の形状，触れ方）に対応した識別モデルを構築することは今後の課題である．
触覚刺激の識別モデルとして LSTM を採用したが，他の[7]

機械学習モデルとの比較評価は行っていない．そのため，LSTM が最適な識別モデルであるかは明らかになっていな
い．先行研究で使用されているモデル等，有効と思われる[8]モデルと比較し，より高い精度の識別モデルを構築することは今後の課題である．
本研究で試作した触覚センサは，著者が手作業で製作し[9]たものであるため，電極間の微妙な距離やシリコンゴムを張り合わせる際の接着剤の量の均一性は一般的な工業製品としてのセンサよりも劣っていることが考えられる．この[10]均一性を高めることで触覚刺激の識別性能はさらに高まる可能性があり，均一性を高めたセンサを開発・評価することも今後の課題である．

[11]

6. 結言
本研究の貢献は次の 2 つである．まず，1）単純な構造でありながら，柔軟な皮膚素材の下に組み込んでも機能し，[12]

その皮膚素材の触感を損ねない厚さ約 0.5mm の静電容量式触覚センサ（空間分解能：5×5）を開発した．そして，

2）開発したセンサを用いて 9 つの状態（刺激なし，接近，接触，撫でる，叩く，弾く，くすぐる，弱く押す，強く押[13]す）におけるセンサデータを取得し，LSTM で学習したところ，高い正解率（85.1 ％）で識別できることを示した．

[14]

今後，開発した触覚センサおよび識別モデルを改良し，人から与えられる触覚刺激の意図をロボットが適切に理解できるようになることによる人―ロボットインタラクションへの効果を明らかにしていきたい．
謝辞 本研究は，JSPS 科研費 JP22K12126，JP19K12081© 2023 Information Processing Society of Japan[15]

Derlega, V. J., Lewis, R. J., Harrison, S., Winstead,
B. A. and Costanza, R.: Gender diﬀerences in the initiation and attribution of tactile intimacy, Journal of
Nonverbal Behavior, Vol. 13, No. 2, pp. 83–96 (1989).
Hertenstein, M. J., Holmes, R., McCullough, M. andKeltner, D.: The communication of emotion via touch.,
Emotion, Vol. 9, No. 4, p. 566 (2009).
Field, T.: Touch for socioemotional and physical wellbeing: A review, Developmental review, Vol. 30, No. 4,
pp. 367–383 (2010).
Zheng, X., Shiomi, M., Minato, T. and Ishiguro, H.: HowCan Robots Make People Feel Intimacy Through Touch?,
Journal of Robotics and Mechatronics, Vol. 32, No. 1,
pp. 51–58 (2020).
Nakanishi, H., Tanaka, K. and Wada, Y.: Remote handshaking: touch enhances video-mediated social telepresence, Proceedings of the SIGCHI conference on humanfactors in computing systems, pp. 2143–2152 (2014).
Tanaka, K., Mayuzumi, R., Takahashi, T., Takaki, S. andOka, N.: Robot Mediated Handholding Combined witha Mobile Video Call Makes the Users Feel Nearer andCloser, Proceedings of the 9th International Conferenceon Human-Agent Interaction, pp. 3–12 (2021).
Ji, Z., Zhu, H., Liu, H., Liu, N., Chen, T., Yang, Z.
and Sun, L.: The design and characterization of a flexible tactile sensing array for robot skin, Sensors, Vol. 16,
No. 12, pp. 2001–2012 (2016).
Lee, H.-K., Chang, S.-I. and Yoon, E.: A flexible polymer
tactile sensor: Fabrication and modular expandability
for large area deployment, Journal of microelectromechanical systems, Vol. 15, No. 6, pp. 1681–1686 (2006).
Liang, G., Wang, Y., Mei, D., Xi, K. and Chen, Z.:
Flexible capacitive tactile sensor array with truncatedpyramids as dielectric layer for three-axis force measurement, Journal of Microelectromechanical systems,
Vol. 24, No. 5, pp. 1510–1519 (2015).
Zhang, Y., Kan, Z., Tse, Y. A., Yang, Y. and Wang,
M. Y.: Fingervision tactile sensor design and slip detection using convolutional lstm network, arXiv preprint
arXiv:1810.02653, p. 7 (2018).
Dzedzickis, A., Sutinys, E., Bucinskas, V., SamukaiteBubniene, U., Jakstys, B., Ramanavicius, A. andMorkvenaite-Vilkonciene, I.: Polyethylene-carbon comR
posite (Velostat⃝)based tactile sensor, Polymers,
Vol. 12, No. 12, p. 2905 (2020).
Wang, L., Peng, H., Wang, X., Chen, X., Yang, C., Yang,
B. and Liu, J.: PDMS/MWCNT-based tactile sensor array with coplanar electrodes for crosstalk suppression,
Microsystems & nanoengineering, Vol. 2, No. 1, pp. 1–8(2016).
Yu, P., Liu, W., Gu, C., Cheng, X. and Fu, X.: Flexible piezoelectric tactile sensor array for dynamic threeaxis force measurement, Sensors, Vol. 16, No. 6, p. 819(2016).
Sun, J., Redyuk, S., Billing, E., Högberg, D. andHemeren, P.: Tactile interaction and social touch: Classifying human touch using a soft tactile sensor, Proceedings of the 5th International Conference on Human
Agent Interaction, pp. 523–526 (2017).
Alonso-Martı́n, F., Gamboa-Montero, J. J., Castillo,J. C., Castro-González, Á. and Salichs, M. Á.: Detecting

189情報処理学会 インタラクション 2023
IPSJ Interaction 2023

[16]

1B-18
2023/3/1

and classifying human touches in a social robot throughacoustic sensing and machine learning, Sensors, Vol. 17,No. 5, p. 1138 (2017).
Harrison, C., Schwarz, J. and Hudson, S. E.: TapSense:enhancing finger interaction on touch surfaces, Proceedings of the 24th annual ACM symposium on User interface software and technology, pp. 627–636 (2011).

© 2023 Information Processing Society of Japan

190