情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24006
2024/2/28

ソーシャルタッチにおける多様な接触動作を即時識別する
柔軟なセンサの開発
田中 遼祐1

岡 夏樹2

田中 一晶1

概要：人と触れ合うことは相手との親しみを強めたり感情を伝えたり様々な効果があることが知られている．ロボットも人との触れ合いにおいて適切な反応を返すことができれば，それらの効果が得られる可能性がある．そこで本研究では，導電性シリコンゴムを電極として使用した薄く柔軟な静電容量方式の触覚センサを開発した．このセンサの表面に人肌の柔軟性を持つ表面素材と布を貼り付け，16 人の実験参加者
から 9 つの接触動作（非接触，接近，接触，撫でる，叩く，弾く，くすぐる，弱く押す，強く押す）における静電容量の時系列データを取得した．この時系列データを用いて，9 動作を識別する LSTM（Longshort-term memory）モデルを構築した．その結果，学習データ，検証データに含まれない実験参加者のデータで構成されたテストデータにおいて平均で 85.5 ％と高い正解率で識別することが可能であることが分かった．また，約 0.01 秒の遅延で識別結果が得られることを確認し，我々の触覚センサを用いてほぼリ
アルタイムに接触動作に対する反応を返すことが可能であることを示した．

1. 緒言

面を被覆してしまうと，ロボットの外見や表面の触感を自由にデザインすることが困難になるという問題がある．例

人同士の身体接触（ソーシャルタッチ）は，相手に親近感

えば，握手用に開発されたロボットハンドにおいては，人を与えること [1] や相手に感情を伝えること [2][3] 等の様々と触れ合っている触感を再現するためには人間の皮膚のよなポジティブな効果がある．それを人とロボット（ペット

うな柔軟なウレタンゲル素材（以下，表面素材と呼ぶ）で表ロボットやヒューマノイドロボット）とのインタラクショ

面を被覆することが有効であることが知られている [5][6]．

ンに応用することで，人との関係をより良いものにできる

そこで本研究では，人と触れ合うロボットのための触覚セ可能性がある．先行研究では，ロボットが人の手に触れるンサの要件として，次の 3 つを設定した：ロボットの表面

インタラクションにおいて，ロボットに対する親近感が高素材の下に配置しても，1）人から与えられる多様な接触

まることが示されている [4]．また，離れた場所にいる人同動作を識別できる．2）表面素材の触感を損ねない柔軟性

士がロボットハンドを介して握手をするインタラクションを持つ．3）表面形状に影響を与えにくい形状，薄さであにおいて，相手に対する親近感や同じ空間にいる感覚が高る．先行研究では，厚さ 1mm 未満の触覚センサも開発さまることが示されている [5][6]．

れており [7][8][10]，表面素材の下に組み込んでもロボット

このように，人とロボットとのインタラクションにおいの表面形状への影響は少ないことが予想される．しかしなても身体接触によってポジティブな効果が得られることががら，いずれのセンサも，センサ自体に直接触れることを分かっている．そのようなインタラクションでは人から与想定して開発されており，ロボットの表面素材の下に組みえられる接触動作に対してロボットも適切な反応を返すこ込んでも有効に機能するかは検証されていない．また，柔とが望ましいと考えられる．つまり，人間の皮膚のように軟なシリコン素材が用いられているセンサも開発されてい多様な接触動作をセンシングし，識別できる必要がある．そるが [7][8][9][10][11][12][20]，硬いフィルムや金属製の電極のため，先行研究では，静電容量方式 [7][8][9][10][11][12][13]が使用されているものがほとんどであり，表面素材の下に[14][15] や，光学方式 [16]，電気抵抗方式 [17][18][19][20]，組み込んだ場合にはその触感に影響する可能性がある．さ

圧電方式 [21][22] 等の様々な触覚センサが開発されてきた．

らに，これらのセンサは高い分解能で接触位置を検知する

しかしながら，そのような触覚センサ自体でロボットの表ことを目標として緻密に設計されており，センサ自体が大きく変形するほどの強い触覚刺激を許容できない可能性が

1
2

京都工芸繊維大学
宮崎産業経営大学© 2024 Information Processing Society of Japan

ある．

50

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24006
2024/2/28

そこで本研究では，表面素材の形状や触感を損ねないよ

したセンサも相互容量方式であり，上述の研究 [25][27] でうに，柔軟性があり，厚さ 1mm 未満（約 0.5mm）の薄さで提案されたセンサと類似した構造であるが，電極をも導電ありながら，複数点の接触箇所の同時検出（マルチタッチ）性シリコンゴム膜で製作することでより薄く（約 0.5mm）が可能な構造で，表面素材の下に組み込んでも多様な接触製作することが可能である．非常に薄いため，ロボットの動作を識別できる触覚センサを開発する [23]．そして，開表面素材の下に組み込むことが可能であり，柔軟であるた発した触覚センサを用いて実験参加者から 9 動作（非接触，め，表面素材が柔らかい場合であっても，その触感を損な

接近，接触，撫でる，叩く，弾く，くすぐる，弱く押す，強いにくいという利点がある．シリコンゴムのみの素材（導く押す）における静電容量の時系列データを取得し，それ電性／非導電性）の組み合わせによって薄く柔軟な相互容らをリアルタイムに識別可能な LSTM（Long short-term

量方式のセンサを製作し，多様な接触動作（9 種類）をリ

memory）モデルを構築する．

アルタイム識別可能であることを示したことが本研究の新2. 関連研究2.1 静電容量方式の触覚センサ

規性である．
相互容量方式のセンサは導電性のファブリック素材やシ
リコンゴム以外でも製作されており，電極部分に導電性銀

人と触れ合うロボット等に実装するための触覚センサとインクを用いた静電容量方式のセンサ [14][15] が開発されして，本研究と同様に静電容量方式を採用したセンサがている．このような導電性インクは非常にもろいため，シ

数多く開発されている．その電極として導電性布 [24][25]，リコンゴムや導電性布と比較して硬い PET フィルム等に導電性糸 [26][27]，導電性インク [14][15] 等が使用されてい定着させている．実際，導電インクのもろさが指摘されてる．導電性布を使用した研究では，張り付けた 2 箇所の静おり [15]，強い接触動作においてはインクがひび割れる等

電容量を自己容量方式によって計測し，非接触，接近，スワの故障の恐れがある．これらの研究では，接触動作の識別

イプ等の 6 種類の接触動作を識別可能であることを示しては行われておらず，人と触れ合うロボットのためのセンサ

いる [24]．同様に，導電糸においても自己容量方式のセンとして有効かどうかは未知である．

サにおいて，非接触，接触，つまむ等の 11 種類の接触動作

その他に，振動を計測するマイクロホンを取り付けた静を識別する研究が行われている [26]．これらの研究で用い電容量方式の柔軟な人工皮膚を制作し，くすぐる，撫でる，られている自己容量方式は，1 点の静電容量を計測するた

非接触等の 5 種類の接触動作を識別した研究も行われていめに 1 チャンネルが必要であるため，計測点が多くなるとる [28]．しかしながら，センサの構造上厚さが必要で 1cm

各計測点からマイコンボードまでの配線スペースをその分以上あるため，既存のロボット等に埋め込むには有効ではだけ確保しなければならず，また，マイコンボードのチャない．

ンネルをその分だけ占有してしまうという欠点がある．
少ないチャンネル数で複数点の自己容量を計測できるよ

2.2 その他のセンサうにするため，電極をグリット状に配置し，その交点の静静電容量方式だけでなく，様々な仕組みの触覚センサが電容量を計測する相互容量方式を採用したセンサも開発さ開発されている．例えば，圧電効果を利用してひずみを計れている．伸縮性のある導電糸を電極として縦と横の 2 層測する圧電方式のセンサ [21][22] や電気抵抗の変化を読みに配置し，シリコンゴムで被覆したセンサにおいて，接触，取る電気抵抗方式のセンサ [18][17] が挙げられる．これら

軽く押す，強く押す等の 8 種類の接触動作を識別できるこのセンサの電極は金属であることが多く，その電極素材のとが報告されている [27]．この研究では，1.2mm の厚さの硬さ，形状，サイズによって，ロボットの表面素材の下にそセンサが制作できたことが示されているが，繰り返し強いのまま組み込むことが困難であることや，柔軟な表面素材

刺激が与えられると糸の電極によって柔らかいシリコンゴの場合には，その触感や形状に影響があることが予想されムが次第に裂けてしまう可能性が考えられる．また，このる．同様の仕組みにおいて，シリコン素材と伸縮性のあるセンサ自体がロボット等の表面素材として機能することを素材の電極を使用することで柔軟性を持たせたセンサも提想定してシリコンゴムで被覆しているため，シリコンゴム

案されている [19]．このセンサでは，電気抵抗方式によっ以外の表面素材においても機能するかは不明である．

て圧力，屈曲，温度を検知できることが示されている．セ

相互容量方式のセンサは導電性布でも製作されており，

ンサ自体は，直接手を触れることを想定して設計されてい押す，撫でる，つまむ，非接触等を識別した研究も行われるため，ロボットの触覚センサとして使用する場合にはそている [25]．この研究で製作されたセンサの厚さは正確にの表面にセンサを取り付けることになるため，デザインやは不明であるが，2 つの電極層の内の 1 つは厚さ 0.5mm の

触感を変えてしまうことになる．

導電性布であり，もう一方の電極層やそれらを被覆する表

柔軟な表面素材において，その触感に影響を与えにくい面素材（スウェード生地）を含めると，分厚くシリコンゴ

センサとしては，表面の変形をカメラで計測する光学方式

ムよりも柔軟性に欠けることが予想される．本研究で試作が挙げられる [16]．しかしながら，この方式では計測のた© 2024 Information Processing Society of Japan51

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 1 導電性 (黒色) と非導電性 (透明) のシリコンゴムでできた

INT24006
2024/2/28

図 2 3mm の表面素材を取り付けた触覚センサの柔軟性

触覚センサ

ながら，ロボット側において接触箇所を認識することはそのままでは困難である．
より単純な方法として，接触箇所の抵抗値の変化を計測する圧力センサを複数並べることで，撫でる，押す，叩く等の 10 種類の接触動作が識別できることが示されている [32]．市販の圧力センサを用いていることで安定した接触動作の識別が可能であるという利点があるが，前節で述べた自己容量方式と同じくセンサの数だけ配線スペースやマイコンボードのチャンネルを確保しなければならないという欠点がある．これに対し，複数個所の圧力を計測できるセンサを用いて，撫でる，つまむ，つかむ等の 7 種類の
図 3 センサの構造

接触動作を識別した研究も行われている [33]．このセンサでは少ないチャンネル数で数多くの接触点の圧力を計測す

めのカメラや LED 照明をロボットの内部に組み込む必要

ることが可能である．しかしながら，市販の圧力センサはがあり，センサ自体が比較的大きく，ロボットの内部構造

PET フィルム等の硬い素材であるため，柔軟な表面素材

をそれ専用に設計する必要がある．

においては触感に影響を与える可能性がある．実際に，ぬ触覚センサとしてマイクロホンを使用し，接触動作時のいぐるみに圧力センサや電界センサ等の市販のセンサを埋振動を識別する研究も行われている [29]．この先行研究でめ込み，くすぐる，撫でる，つまむ等の 9 種類の接触動作

は，撫でる，くすぐる等の 4 種類の接触動作が識別できるを識別した研究も行われているが [34]，埋め込まれたセン

ことを示している．また，物体が接触した際に生じる音かサによってぬいぐるみ特有の柔らかさが損なわれることがら，その物体の種類（触れた手の部位やペンなどの道具）

容易に想像できる．

を識別する研究も行われている [30]．しかしながら，振動

3. 触覚センサの試作を識別する性質上，柔軟な表面素材において振動を計測することが困難な場合にはその性能が十分に発揮できないこ

3.1 触覚センサの構造とが予想される．また，ロボットの動作音の影響を受けや本研究で試作した薄く柔軟で単純な構造の触覚センサ

すいという問題も指摘されている．同様にマイクロホンを（図 1，2，3）について説明する．図 1 の黒色の部分が厚用いるが，ロボット側ではなく人の手首に装着し，叩く，さ 0.1mm の導電性シリコンゴムの電極であり，センサの擦る，弾くの動作を識別する研究も行われている [31]．こ

表面と裏面に縦方向に 5 本，横方向に 5 本をそれぞれ配の方法においても，柔軟な表面素材などに対して振動を計置している．そのため，試作したセンサの静電容量の計測

測することが困難である可能性がある．また，当然のこと

点は 5×5 の 25 点である．各電極の正方形の部分の一辺は© 2024 Information Processing Society of Japan52

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24006
2024/2/28

表 1 本研究で識別する接触動作の種類と該当する接触動作を識別対象としている先行研究
接触動作

触れ方

先行研究

非接触

センサに触れない．

[24][25][26][28]接近

センサに手を近づける．

[24]

撫でる

センサの表面を複数回往復するようにさする．

[25][27][28][29][32][33][34]叩く

センサの表面を瞬間的に数本の指で強く接触する．

[24][25][27][28][29][31][32][34]

弾く
くすぐる
接触
弱く押す
強く押す

親指に別の指の爪を当てて，当てた指を前に出すように[31]

力を入れてセンサの表面を瞬間的に強く接触する．
指を別々に細かく動かしてセンサに軽く触れる．

[27][28][29][34]センサの表面にそっと指で触れる．
データ収集実験では，秤が 0g〜100g の間の値を示す押す力加減とした．
センサの表面を指で軽く押す．
データ収集実験では，秤が 400g〜700g の間の値を示す押す力加減とした．
センサの表面を指で強く押す．
データ収集実験では，秤が 1300g〜1600g の間の値を示す力加減とした．

6mm であり，正方形部分同士の間隔は 2mm である．図 3[26][27][34]
[27]
[27]

4.1 識別する接触動作の種類のようにこの電極を厚さ 0.2mm の透明な非導電性シリコ

本研究で試作したセンサは静電容量方式であるという性

ンゴムにはめ込み，表面と裏面で電極が交差するように張質上，導体の接触のみ検出可能である．人体の皮膚であれ

り合わせている．その際，表面と裏面の電極が短絡しない

ば身体部位にかかわらず接触を検出できるが，プラスチッ

ように間に厚さ 0.05mm の透明な非導電性シリコンゴムをク等の絶縁体との接触を検出することは想定していない．

挟んでいる．これらの面をシリコンゴム用の接着剤で張りそこで，人体の身体部位の中でも最も多様な接触動作が行合わせた結果，試作したセンサの厚さは約 0.5mm となっ

われる手による接触動作を識別対象とした．対象とした接た．図 2 は試作したセンサを厚さ 3mm の表面素材である

触動作として，触覚センサに関する先行研究で識別対象とウレタン樹脂製のシート（アスカー C 硬度 0）*1 に張り付なっている接触動作から表 1 に示す 9 種類を選択した．こけた状態を示しており，表面素材の変形に応じてセンサ自の中で，「非接触」は人が手を触れていない状態であり接触体も柔軟に変形している．

動作ではないが，便宜上，接触動作の 1 つとして扱うこととする．

3.2 静電容量の計測方法先行研究では，「押す」という接触動作を識別対象として試作したセンサにおいて手の接触位置を検出する上で，数多く採用されているが [24][25][32][33]，押す強弱を対象

静電容量方式の 1 つである相互容量方式を採用した．相互とした研究は少数である [27]．強弱の識別は，押すことに容量方式はスマートフォンのタッチスクリーンにも使用さよるセンサと指との距離の変化（指が表面素材に沈み込む

れ，複数の接触箇所を検出することが可能である．静電容度合）やセンサの変形を静電容量で計測することで可能に量の計測には，静電容量タッチ評価ボード*2 を利用した．

なると考えられる．したがって，その変化が大きくなるよ

4. データ収集実験

うにセンサに被せる表面素材が分厚いほど，センサを取り付ける土台が変形しやすいほど，識別しやすくなることが試作した触覚センサを用いて様々な接触動作を識別する予想されるが，本研究では，表面素材が薄く，大きく変形モデルを構築する．そのために，これら 9 動作における静しにくい土台であっても，試作したセンサにおいて押す強電容量の時系列データを収集する実験を実施した．実験参弱を識別可能か検証する．

加者として京都工芸繊維大学の学生 16 人（男性 12 人，女
性 4 人）が参加した．

先行研究では「つまむ」も識別対象の接触動作として多く採用されている [26][27][32][33]．これは他の接触動作とは異なり，センサ自体やその上に被せる表面素材につまめるだけの十分な厚みと柔らかさが必要となる．本研究では，
上述の理由から表面素材の厚さを薄くしたため，つまむと*1*2

エクシール 超軟質ゲルシート：
http://www.exseal.co.jp/creative/
renesas RX130 搭載静電容量タッチ評価システム：
https://www.renesas.com/jp/ja/products/microcontrollersmicroprocessors/rx-32-bit-performance-eﬃciencymcus/rx130-capacitive-touch-capacitive-touch-evaluationsystem-rx130© 2024 Information Processing Society of Japanいう接触動作が難しく，識別対象から外すこととした．同様に，「引っ掻く」も識別対象の接触動作として多く採用されているが [25][32][33][34]，本研究では採用しなかった．
この接触動作は，その対象を傷つける可能性があり，爪に53

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 4 実験環境：触覚センサ周辺の様子

INT24006
2024/2/28

図 5 触覚センサに対し 4 方向から「接触」の時系列データを(触覚センサは写っておらず，布の下に組み込まれている)

計測する様子

よって表面の布が傷ついたり剥がれたり，場合によってはであっても静電容量の計測結果は大きく変わらないことが

薄くて柔らかい表面素材やセンサをも傷つけてしまうこと予想される．一方で，電気抵抗が小さい導体（例えば，金が予想されたため，識別対象から外すこととした．

属）を土台にすると，計測可能な静電容量の変化が小さく先行研究で採用されているその他の接触動作としては，「握る」[25][32][33][34]，「スワイプ」[24][26]，「ピンチアウなるため，接触動作の識別精度が低下してしまう可能性が考えられる．

ト」[26][27] が挙げられる．「握る」は，手のひらよりも広「接触」「弱く押す」「強く押す」の接触動作の際に，実い面積の接触を検出できなければ「触れる」と区別するこ

験参加者がセンサに触れる強さを確認できるようにするとが困難であるため，約 5cm 四方のセンサを使用しているため，段ボール箱の下に電子秤を設置した．秤のメータが本研究では採用しなかった．また，「スワイプ」「ピンチア

直接見えない位置に参加者が立った場合は，web カメラでウト」は，本研究で想定しているソーシャルタッチの一種撮影しモニタに表示することで確認できるようにした．まではなく，スマートフォン等のタッチスクリーンにおけるた，同じモニタに接触動作の触れ方を参加者がいつでも確操作であるため識別対象から外した．

認できるように表示した．

4.2 実験環境

4.3 データ収集方法

触覚センサは図 4 に示すように段ボール箱の上に配置しデータはサンプリング周波数約 20Hz（20fps）で常に保た．この段ボール箱の中には静電容量を計測するための静存し，アラーム音で計測するタイミングを管理した．ア

電容量タッチ評価ボードを入れた．センサの表面には 3.1

ラーム音は実験者の操作で鳴らし，一定時間経過したらも節で述べた通り厚さ 3mm の表面素材を張り付けた．また，

う一度アラームが鳴るようにしてあり，学習で用いるデーセンサを触りやすいように 1mm 程度の布（フェルト）を

タの計測はこの間に行った．実験は，1 動作を 3 秒間計測

上に乗せ，センサの位置がわかるように布に糸で目印を付する実験 1 と 2 動作を 0.8 秒の間隔を空けて，連続で 3 秒

けた．

間ずつ計測する実験 2 を用意した．実験 1 は，計測したい

人と触れ合うロボットに触覚センサを取り付けた場合の接触動作の前が「非接触」の時を，実験 2 は計測したい接例として，センサの土台となる部分の下にマイコンボード

触動作の前が「非接触」以外の時を計測したいため設定し等の基板が配置されており，表面素材の上には衣服を纏った．ただし，「叩く」「弾く」は瞬間的な接触動作であるたていることが考えられるためこのような環境で静電容量

め，時間に関係なく 1 回目のアラーム音で 1 回だけ行った．

データを取得することとした．センサの土台となる素材はまた，実験 2 の 1 回目の接触動作は「非接触」を除いた 8

実用場面においては段ボール紙では無いと思われるが，「叩

動作のうち 1 動作だけに固定して計測し，2 回目の接触動く」や「強く押す」等の強い接触動作の収集において，実

作は 9 動作をすべて計測した．この 1 動作は，16 人の実験

験参加者が繰り返し行っても手に痛みを感じにくいように参加者が 8 動作を均等に担当できるように，1 動作につき

比較的衝撃を吸収しやすい段ボール紙の箱を採用した．土

2 人ずつ割り当てた．さらに，図 5 のように触覚センサに台は不導体であることが理想であり，プラスチック，木，対し 4 方向から静電容量の時系列データを計測した．それ

紙，ガラス等の電気抵抗が大きい絶縁体であれば，いずれ

ぞれの場所で実験 1 は，「叩く」
「弾く」を 6 回ずつ，その© 2024 Information Processing Society of Japan54

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24006
2024/2/28

表 2 データセットの計測回数とデータ数 (学習データは 8 人，検証データは 4 人，テストデータは 4 人の参加者から取得)
合計

学習データ

学習データ

検証データ

検証データ

テストデータ

テストデータ

ラベル

計測回数

計測回数

データ数

計測回数

データ数

計測回数

データ数

非接触

192

96

17048

48

3094

48

3106

接近

192

96

17134

48

3036

48

3366

接触

192

96

17040

48

2623

48

2694

撫でる

192

96

17151

48

2701

48

2790

叩く

576

288

16815

144

2802

144

2807

弾く

576

288

16821

144

2805

144

2811

くすぐる

192

96

17039

48

2886

48

2991

弱く押す

192

96

17029

48

2622

48

2797

強く押す

192

96

16994

48

2747

48

3015

合計

2496

1248

153071

624

25316

624

26377

他を 2 回ずつ行い，実験 2 では，「叩く」「弾く」を 3 回ずタとした．また，実験 2 の 1 回目の接触動作を「接近」とつ，その他を 1 回ずつ行った．これは，同様の行動を繰り「接触」，「叩く」と「弾く」，「くすぐる」と「撫でる」，「弱返す実験であるため，実験参加者のパフォーマンス低下をく押す」と「強く押す」のように類似した接触動作が検証考慮し，実験 1，実験 2 における計測時間を 20 分程度にな

データとテストデータに分かれるようにランダムに 4 人ず

る回数に設定した．また，「接触」「弱く押す」「強く押す」

つに分け，検証データとテストデータとした．次の 3 種類

は，カメラ越しか直接秤のメータを見てもらいながら，計のノイズ（1）〜（3）を適用し，水増しを行った．ノイズ測を行った．押す強弱が指定した範囲内に収まらなかった（1）は計測回路等で生じる微小なノイズに変化を与えるた

場合，計測をやり直した．

め，ノイズ（2）（3）は同じ接触動作であっても実験参加者

5. 接触動作の識別モデルの構築・評価
5.1 接触動作のデータセット構築
各動作の計測回数を表 2 の左列に示す．「叩く」「弾く」

によって取得した静電容量の値に −100〜100 程度の差異が見られたため採用した．

( 1 ) 標準偏差 2，平均 0 の小数点以下を切り捨てたガウシ
アンノイズ

以外の接触動作は，時系列データの計測を 1 人 12 回，16

( 2 ) {x ∈ Z | 10 ≤ x ≤ 100} からランダムに x を選択し，人で計 192 回実施し，「叩く」「弾く」の計測を 1 人 36 回

その x を使った集合 {x, x + 1, x + 2, x + 3} からランの計 576 回行った．ここで，センサの現在時刻のデータかダムに選択したノイズ

ら 20 時刻前までを 21 フレームとし，この時系列データを( 3 ) {x ∈ Z | −100 ≤ x ≤ −10} からランダムに x を選択

1 つのデータとした．また，常に計測していたため実験 1

し，その x を使った集合 {x − 3, x − 2, x − 1, x} からの計測に成功したすべてのデータと実験 2 の計測に成功しランダムに選択したノイズ

た 2 回目の接触動作のデータを抽出する必要があり，閾値

「叩く」「弾く」の元データの数が他の接触動作と大きくと計測中に立てたフラグを使って半自動的に選定した．実異なるため，すべての接触動作を同じ倍率で水増しするの験 2 の実施理由が計測したい接触動作の前が「非接触」以

ではなく，一定の数になるまでノイズ（1）〜（3）を順番

外の時を計測するためであり，これを満たさない 1 回目のに繰り返し適用し，水増しした．ただし，接触動作を 1 回

データは使わなかった．その結果，「叩く」「弾く」以外の計測した際に得られる時系列データ（約 60 個）毎に一定の接触動作を 1 回計測した際の時系列データの数は，サンプ数を超えたかどうかを確認したため，一定の数より少し多リング周波数が約 20Hz，計測時間が 3 秒であることから，

いデータ数となった．この方法を用いて「叩く」「弾く」以

約 60 個（約 20Hz× 約 3 秒）となった．また，1 人あたり外の接触動作の学習データ数を約 3 倍に当たる約 2100 個

1 動作を 12 回計測するため，1 動作の時系列データの数のになるように水増しし，「叩く」「弾く」の学習データ数を合計は約 700 個（約 60 個 ×12 回）となった．それに対し，同じ約 2100 個になるように約 14 倍の水増しを行った．ま「叩く」「弾く」を 1 回計測した際の時系列データの数は，た，検証データとテストデータの「叩く」「弾く」のみを他

一瞬の動作であるため約 4 個であった．「叩く」「弾く」は 1の接触動作のデータ数と同程度である約 700 個になるよう人あたり 1 動作を 36 回計測するため，1 動作の時系列デーに同じ方法で約 4 倍の水増しを行った．その結果，各動作

タの数の合計は約 150 個（約 4 個 ×36 回）となった．実験の学習，検証，テストデータ数はそれぞれ約 16800 個（約2 の 1 回目の接触動作が同じである実験参加者がかぶらな2100 個 ×8 人），約 2800 個（約 700 個 ×4 人），約 2800 個

いように実験参加者単位でランダムに 8 人選び，学習デー（約 700 個 ×4 人）のデータ数となり，表 2 の通りとなった．

© 2024 Information Processing Society of Japan55

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24006
2024/2/28

図 6 LSTM を用いた学習モデル (四角：1 つの静電容量データ，赤い四角：21 フレームの時系列データ (21，50)(21 列目が現在時刻のデータ)，
青い四角：事前に計測した「非接触」のデータ (1, 50)，A：1 フレーム前との差分 (20，50)，B：「非接触」のデータとの差分 (20,50)，ハ
イパーパラメータ：LSTM の隠れ層 16，LSTM の活性化関数を tanh，LSTM の再帰計算時で使用する活性化関数を sigmoid，LSTMの入力の線形変換に使われる kernel の重み行列のための初期化を glorot uniform，LSTM の再帰の線形変換に使われる recurrent kernelの重み行列の初期化を orthogonal，LSTM のバイアスベクトル初期化を zeros，Dense のノード数を 9，エポック数を 100, バッチサイズ
を 2048，最適化アルゴリズムを adam，損失関数を categorical crossentropy，学習率を 0.0001)で構成されている．センサが計測できる静電容量のマト
リックスデータは 5×5 の 25 点あり，それぞれの点で相互容量と自己容量をそれぞれ計測したため，合計で 50 点ある．1 データのサイズはこの 50 点を 1 次元に並べ，21 フ
レームの時系列にした（21，50）である（図 6 の赤い四角）
．この 1 次元化は，2 次元パッチを 1 次元ベクトルに変換し，それを入力して，高い性能が得られた ViT（Vision

Transformer）の研究 [35] を参考にして行った．このデー
タを使って，1 フレーム前との差分の 20 フレーム（図 6の A）と最後のフレームを取り除いた「非接触」との差分の 20 フレーム（図 6 の B）を合わせた時系列データ（20，
図 7 学習曲線 (正解率)(赤い点：検証データにおける損失が最小になった時のモデル)

100）を入力とした．これは，「非接触」との差分だけの入力でリアルタイム識別を行う際，触れていないにもかかわらず現在の静電容量が初期状態の「非接触」の静電容量から外れた場合に識別の精度が下がる可能性があり，その影響を低減できないかと考えたため行った．学習の際には，9次元の one hot ベクトルを正解データとして与え，softmax層において各動作の確率が出力されるようにした．その他のハイパーパラメータとして，LSTM の隠れ層を 16，

LSTM の活性化関数を tanh，LSTM の再帰計算時で使用する活性化関数を sigmoid，LSTM の入力の線形変換に使われる kernel の重み行列のための初期化を glorot uniform，

LSTM の再帰の線形変換に使われる recurrent kernel の重
図 8 学習曲線 (損失)

(赤い点：検証データにおける損失が最小になった時のモデル)

み行列の初期化を orthogonal，バイアスベクトル初期化を

zeros，Dense のノード数を 9，エポック数を 100, バッチ
サイズを 2048，最適化アルゴリズムを adam，損失関数を

5.2 識別モデル

categorical crossentropy，学習率を 0.0001 とした．

静電容量の時系列データから接触動作を識別する機械
学習モデルとして，時系列データを扱う上で基本的なモ

5.3 結果デルである LSTM（Long short-term memory）を使用す

識別モデルの学習曲線を図 7（正解率）と図 8（損失）にることとした．図 6 に識別モデルの構成と入出力につい示す．これらのグラフでは，青色の線が学習データ，緑色て示す．識別モデルは，LSTM 層，全結合層，softmax 層© 2024 Information Processing Society of Japan56

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24006
2024/2/28

図 10 リアルタイムで「くすぐる」を識別する様子(左：その時々で尤もらしい接触動作の種類と確率を表示，
右：くすぐっている様子，右下：秤の数値)

識別することができた．また，本研究で生成したモデルを
図 9 テストデータの正規化混同行列

用いて，リアルタイムに識別した結果，可視化した場合で
約 0.04 秒，識別のみの場合で約 0.01 秒程度の遅延で識別

表 3 テストデータにおける再現率と適合率と F 値結果が得られることを確認した．この結果から，試作した

ラベル

再現率

適合率

F値

触覚センサは LSTM を用いた識別モデルと組み合わせる

非接触

0.913

0.898

0.905

ことで，ロボットが人から与えられる接触動作に対してほ

接近

0.893

0.909

0.901

ぼリアルタイムに接触動作に対する反応を返すことが可能

接触

0.744

0.869

0.802

であることを示した．

撫でる

0.860

0.849

0.854

図 9，表 3 の通り，9 動作の識別においてほとんどの接触

叩く

0.962

0.950

0.956

弾く

0.911

0.919

0.915

動作の再現率は 0.9 前後であるが，「接触」「弱く押す」の

くすぐる

0.815

0.805

0.810

弱く押す

0.661

0.763

0.709

これは，図 9 から，「接触」は「弱く押す」に，「弱く押す」

強く押す

0.913

0.743

0.820

は「強く押す」に類似したデータがあるため誤認識を起こ

平均

0.852

0.856

0.852

していると考えられる．また，「強く押す」の触り始めや終み 0.7 前後と他の接触動作と比べて低い値になっている．

わり等で「弱く押す」と類似したデータになる可能性が高の線が検証データの正解率と損失の変化をそれぞれ表していことが誤認識を起こしていると考えられる．この挙動はいる．また，検証データの損失が最も小さい箇所に赤の点

リアルタイムに識別を行った場合には妥当な出力と言えるをプロットしている．この時点のモデルを使用し，テスト

ため，触覚センサとして使用する上で大きな問題にはなら

データの識別結果の正規化混同行列を図 9 に示す．また，ないと考えられる．

テストデータの識別結果の再現率，適合率，F 値を表 3 に接触動作の識別モデルとして LSTM を採用し，十分な精示す．この結果の通り「弱く押す」の再現率が他の接触動度を出せているが，先行研究 [30][33] で使用され，良い識作と比べて低いものの，全体では 85.5 ％の正解率であっ別結果が出た SVM（Support Vector Machines）や CNN

た．また，本研究で生成したモデルを用いて，センサの現（Convolutional Neural Network）に加えて，時系列データ

在のデータを常に取得し続け，21 フレームの時系列データを扱う Transformer 等の有効と思われるモデルを検討する

を学習時と同様のデータに変換した後入力し，リアルタイ

ことでより良い精度になると考えられる．また，本研究にムに識別結果を可視化した結果，図 10 のようにリアルタ

おいて入力データは 1 次元にしたが，センサのマトリック

イムで接触動作を識別できた．また，可視化した場合で約スデータをそのまま 2 次元（面）として入力する場合と比0.04 秒，識別のみの場合で約 0.01 秒程度の遅延で識別結較し，より高い精度の識別モデルになるか検証する．

果が得られることを確認した．

6. 考察

本研究で試作した触覚センサは，著者が手作業で製作したため，電極間の微妙な距離やシリコンゴムを張り合わせる際の接着剤の量の均一性は一般的な工業製品としてのセ

テストデータでの評価の結果，9 動作を識別する上でンサよりも劣っていると考えられるものの，多様な接触動85.5 ％という高い正解率が得られた．センサの構造は先行作を良い精度で識別することができた．そのため，均一性研究で提案されてきた触覚センサよりも非常に単純でありを高めることで接触動作の識別性能はさらに高まる可能性

ながら，表面素材で覆っても，撫でる，くすぐる等の接触があり，均一性を高めたセンサを開発・評価することも今動作だけでなく手の接近，離反，接触の接触動作を適切に後の課題である．

© 2024 Information Processing Society of Japan57

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24006
2024/2/28

本研究で試作したセンサは約 50mm 四方であるが，そのとして，ロボットの表面素材の下に配置しても，1）人から構造はタッチディスプレイ等でも使用さえているものであ与えられる多様な接触動作を識別できる．2）表面素材のるため，より広い面積で製作した場合でも十分に触覚セン

触感を損ねない柔軟性を持つ．3）表面形状に影響を与えサとして機能すると考えられる．広い面積のセンサを使用にくい形状，薄さである．という 3 つの性質を持つ静電容する場合には静電容量を計測するために必要なチャンネル

量方式の触覚センサを開発した．16 人の実験参加者におい数（電極の数）が少なくて済むという利点がある．しかして 9 動作（非接触，接近，接触，撫でる，叩く，弾く，くながら，ロボット等に実装することを考えると，必ずしも 1

すぐる，弱く押す，強く押す）の静電容量の時系列データ

つのセンサで広範囲をカバーすることが適切であるとは言を計測した．その時系列データを用いて Long Short Term

えない．例えば，何らかの衝撃によってセンサの一部の電Memory（LSTM）ネットワークを用いて識別モデルを構

極が切断された場合，グリット状に電極が配置されている

築した．その結果，LSTM で学習したところ，高い正解率

ため，広い面積のセンサを使用しているとその全域に故障（85.5 ％）で識別できることを示した．また，可視化したの影響が出てしまう．そのため，ある程度小さな面積のセ場合で約 0.04 秒，識別のみの場合で約 0.01 秒程度の遅延

ンサをタイル状に配置し，一部のセンサが破損してもそので識別結果が得られることを確認し，我々の触覚センサに他のセンサが機能するようにしておき，破損したセンサのおいてほぼリアルタイムに接触動作に対する反応を返すこ

み交換できるようにしておくことが理想的である．1 つのとが可能であることを示した．今後，開発した触覚センサ

センサをどの程度の大きさで製作すべきかという問題は，及び識別モデルを改良し，同じ接触動作でも異なる意味と実装するシステムにおいてどれぐらいのチャンネル数が使なる可能性があるため，9 動作の識別だけではなく，力加用可能か，センサの分解能（静電容量を計測可能な点数）

減や接触動作を行う速度などより詳しく識別し，人から与をどれぐらい高くするか等によって検討する必要がある．

えられる接触動作の意図をロボットが適切に理解できるよ

上述のようなに複数のセンサをロボットの表面に配置す

うにすることで，人とロボットとのインタラクションへのる場合，撫でる等の広範囲にわたる接触動作では，複数のセンサにわたって手が接触することになる．そのような場合であっても，同じ位置で計測する静電容量は理論上は同効果を明らかにしていきたい．
謝辞 本研究は，JSPS 科研費 JP22K12126，JP19K12081の支援を受けた．

じであるため（実際には，同じ位置であってもセンサの個体差によって異なる場合がある），センサが単一であっても参考文献

複数に分かれていても，接触動作の識別モデルの設計を変[1]える必要はない．ただし，センサの形状，識別に使用する
静電容量の数，表面素材の厚み・柔らかさを変えた場合には，それに応じてモデルの構築（静電容量データの収集・学[2]習）が必要であると考えられる．そのような場合において，キャリブレーションによって静電容量データを補正するこ[3]とや，学習済みの識別モデルを少数の学習データでファイ
ンチューニングすることで，一から識別モデルを構築するよりも少ないコストで高い識別精度に到達できる可能性が[4]ある．この仮説を検証することは今後の課題である．

4.2 節で述べた通り，土台となる理想の素材は不導体で[5]ある．本研究では，段ボール箱の上にセンサに取り付けて実験を行ったが，抵抗値が大きく変わらない絶縁体であれ
ば，学習データを収集した際の土台から異なる土台に変え[6]た場合でも識別モデルをそのまま利用できる可能性が高い．しかしながら，例えば中身が綿であるぬいぐるみに取り付ける場合のように，非常に柔らかい土台の場合には，接触動作によってセンサ状が大きく変形することが予想さ[7]れる．そのような環境においても様々な接触動作を識別できるか検証することは今後の課題である．
[8]

7. 結言
本研究では，人と触れ合うロボットのための触覚センサ© 2024 Information Processing Society of Japan

Derlega, V. J., Lewis, R. J., Harrison, S., Winstead,
B. A. and Costanza, R.: Gender diﬀerences in the initiation and attribution of tactile intimacy, Journal of
Nonverbal Behavior, Vol. 13, No. 2, pp. 83–96 (1989).
Hertenstein, M. J., Holmes, R., McCullough, M. and
Keltner, D.: The communication of emotion via touch.,
Emotion, Vol. 9, No. 4, p. 566 (2009).
Field, T.: Touch for socioemotional and physical wellbeing: A review, Developmental review, Vol. 30, No. 4,
pp. 367–383 (2010).
Zheng, X., Shiomi, M., Minato, T. and Ishiguro, H.: How
Can Robots Make People Feel Intimacy Through Touch?,
Journal of Robotics and Mechatronics, Vol. 32, No. 1,
pp. 51–58 (2020).
Nakanishi, H., Tanaka, K. and Wada, Y.: Remote handshaking: touch enhances video-mediated social telepresence, Proceedings of the SIGCHI conference on humanfactors in computing systems, pp. 2143–2152 (2014).
Tanaka, K., Mayuzumi, R., Takahashi, T., Takaki, S. andOka, N.: Robot Mediated Handholding Combined witha Mobile Video Call Makes the Users Feel Nearer andCloser, Proceedings of the 9th International Conferenceon Human-Agent Interaction, pp. 3–12 (2021).
Ji, Z., Zhu, H., Liu, H., Liu, N., Chen, T., Yang, Z.
and Sun, L.: The design and characterization of a ﬂexible tactile sensing array for robot skin, Sensors, Vol. 16,
No. 12, pp. 2001–2012 (2016).
Lee, H.-K., Chang, S.-I. and Yoon, E.: A ﬂexible polymer
tactile sensor: Fabrication and modular expandability
for large area deployment, Journal of microelectromechanical systems, Vol. 15, No. 6, pp. 1681–1686 (2006).

58

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

Liang, G., Wang, Y., Mei, D., Xi, K. and Chen, Z.:
Flexible capacitive tactile sensor array with truncatedpyramids as dielectric layer for three-axis force measurement, Journal of Microelectromechanical systems,
Vol. 24, No. 5, pp. 1510–1519 (2015).
Muhammad, H. B., Oddo, C. M., Beccai, L., Recchiuto, C., Anthony, C. J., Adams, M. J., Carrozza, M. C.,
Hukins, D. W. and Ward, M. C.: Development of a bioinspired MEMS based capacitive tactile sensor for a robotic
ﬁnger, Sensors and Actuators A: Physical, Vol. 165,
No. 2, pp. 221–229 (2011).
Ye, X., Tian, M., Li, M., Wang, H. and Shi, Y.: Allfabric-based ﬂexible capacitive sensors with pressure detection and non-contact instruction capability, Coatings,
Vol. 12, No. 3, p. 302 (2022).
Kang, M., Kim, J., Jang, B., Chae, Y., Kim, J.-H. and
Ahn, J.-H.: Graphene-based three-dimensional capacitive touch sensor for wearable electronics, ACS nano,Vol. 11, No. 8, pp. 7950–7957 (2017).
Sarwar, M. S., Dobashi, Y., Preston, C., Wyss, J. K.,
Mirabbasi, S. and Madden, J. D. W.: Bend, stretch, andtouch: Locating a ﬁnger on an actively deformed transparent sensor array, Science advances, Vol. 3, No. 3, p.
e1602200 (2017).
Pourjafarian, N., Withana, A., Paradiso, J. A. andSteimle, J.: Multi-Touch Kit: A do-it-yourself techniquefor capacitive multi-touch sensing using a commodity
microcontroller, Proceedings of the 32nd Annual ACM
Symposium on User Interface Software and Technology,
pp. 1071–1083 (2019).
Nittala, A. S., Withana, A., Pourjafarian, N. andSteimle, J.: Multi-touch skin: A thin and ﬂexible multitouch sensor for on-skin input, Proceedings of the 2018
CHI Conference on Human Factors in Computing Systems, pp. 1–12 (2018).
Zhang, Y., Kan, Z., Tse, Y. A., Yang, Y. and Wang,
M. Y.: Fingervision tactile sensor design and slip detection using convolutional lstm network, arXiv preprint
arXiv:1810.02653, p. 7 (2018).
Dzedzickis, A., Sutinys, E., Bucinskas, V., SamukaiteBubniene, U., Jakstys, B., Ramanavicius, A. andMorkvenaite-Vilkonciene, I.: Polyethylene-carbon composite (Velostat®) based tactile sensor, Polymers,
Vol. 12, No. 12, p. 2905 (2020).
Wang, L., Peng, H., Wang, X., Chen, X., Yang, C., Yang,
B. and Liu, J.: PDMS/MWCNT-based tactile sensor array with coplanar electrodes for crosstalk suppression,
Microsystems & nanoengineering, Vol. 2, No. 1, pp. 1–8(2016).
Lee, J. H., Heo, J. S., Kim, Y.-J., Eom, J., Jung, H. J.,
Kim, J.-W., Kim, I., Park, H.-H., Mo, H. S., Kim, Y.H. et al.: A behavior-learned cross-reactive sensor matrix for intelligent skin perception, Advanced Materials,
Vol. 32, No. 22, p. 2000969 (2020).
Sim, K., Rao, Z., Zou, Z., Ershad, F., Lei, J., Thukral,
A., Chen, J., Huang, Q.-A., Xiao, J. and Yu, C.: Metal
oxide semiconductor nanomembrane–based soft unnoticeable multifunctional electronics for wearable humanmachine interfaces, Science advances, Vol. 5, No. 8, p.
eaav9653 (2019).
Yu, P., Liu, W., Gu, C., Cheng, X. and Fu, X.: Flexible piezoelectric tactile sensor array for dynamic threeaxis force measurement, Sensors, Vol. 16, No. 6, p. 819(2016).
Lin, W., Wang, B., Peng, G., Shan, Y., Hu, H. and Yang,© 2024 Information Processing Society of Japan

INT24006
2024/2/28

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

Z.: Skin-inspired piezoelectric tactile sensor array withcrosstalk-free row+ column electrodes for spatiotemporally distinguishing diverse stimuli, Advanced Science,Vol. 8, No. 3, p. 2002817 (2021).
田中遼祐， 岡夏樹，田中一晶： 手の接近及び多様な触覚刺激を識別する柔軟な触覚センサの開発，インタラク
ション 2023， Vol. 2023, No. 1B-18, pp. 185–190 (2023).
Strohmeier, P., Knibbe, J., Boring, S. and Hornbæk,K.: zPatch: Hybrid resistive/capacitive etextile input,
Proceedings of the Twelfth International Conferenceon Tangible, Embedded, and Embodied Interaction, pp.
188–198 (2018).
Silvera Tawil, D., Rye, D. and Velonaki, M.: Interpretation of the modality of touch on an artiﬁcial arm covered with an EIT-based sensitive skin, The International
Journal of Robotics Research, Vol. 31, No. 13, pp. 1627–
1641 (2012).
Yu, T. C., Wang, N., Ellenbogen, S. and Kao, C. H.-L.:
Skinergy: Machine-Embroidered Silicone-Textile Composites as On-Skin Self-Powered Input Sensors, Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, pp. 1–15 (2023).
Teyssier, M., Bailly, G., Pelachaud, C., Lecolinet, E.,
Conn, A. and Roudaut, A.: Skin-on interfaces: A biodriven approach for artiﬁcial skin design to cover interactive devices, Proceedings of the 32nd Annual ACM
Symposium on User Interface Software and Technology, pp. 307–322 (2019).
Park, K., Yuk, H., Yang, M., Cho, J., Lee, H. and Kim,
J.: A biomimetic elastomeric robot skin using electrical
impedance and acoustic tomography for tactile sensing,Science Robotics, Vol. 7, No. 67, p. eabm7187 (2022).
Alonso-Martı́n, F., Gamboa-Montero, J. J., Castillo,
J. C., Castro-González, Á. and Salichs, M. Á.: Detecting
and classifying human touches in a social robot throughacoustic sensing and machine learning, Sensors, Vol. 17,
No. 5, p. 1138 (2017).
Harrison, C., Schwarz, J. and Hudson, S. E.: TapSense:
enhancing ﬁnger interaction on touch surfaces, Proceedings of the 24th annual ACM symposium on User interface software and technology, pp. 627–636 (2011).
Amento, B., Hill, W. and Terveen, L.: The sound of one
hand: a wrist-mounted bio-acoustic ﬁngertip gesture interface, CHI’02 Extended Abstracts on Human Factors
in Computing Systems, pp. 724–725 (2002).
Iwata, H. and Sugano, S.: Human-robot-contact-state
identiﬁcation based on tactile recognition, IEEE Transactions on Industrial Electronics, Vol. 52, No. 6, pp.
1468–1477 (2005).
Sun, J., Redyuk, S., Billing, E., Högberg, D. and
Hemeren, P.: Tactile interaction and social touch: Classifying human touch using a soft tactile sensor, Proceedings of the 5th International Conference on Human
Agent Interaction, pp. 523–526 (2017).
Stiehl, W. D., Lieberman, J., Breazeal, C., Basel, L.,
Lalla, L. and Wolf, M.: Design of a therapeutic robotic
companion for relational, aﬀective touch, ROMAN 2005.
IEEE International Workshop on Robot and Human
Interactive Communication, 2005., IEEE, pp. 408–415(2005).
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn,D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer,
M., Heigold, G., Gelly, S. et al.: An image is worth
16x16 words: Transformers for image recognition atscale, arXiv preprint arXiv:2010.11929 (2020).

59