1G2-03
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere

第 22 回日本バーチャルリアリティ学会大会論文集（2017 年 9 月）

テレイグジスタンスの研究（第９１報）―振動／力／温度を触原色とした触感の機械学習手法の提案―
加藤史洋 1)，井上康之 1)，田島優輝 1)，舘暲 1)
1)

東京大学 高齢社会総合研究機構 （〒113-0033 東京都文京区本郷 7-3-1,{fumihiro.kato, y-inoue, tajima, tachi}@tachilab.org）

概要：触感分類のための触感の録取システムを構築し評価した．本提案は触原色原理に基づいており，力・振動・温度センサーを用いた触感プローブにより，特徴的な触感を持つ複数種類の物体表面を計測し，三触情報を得られる．計測した力と振動の変動波形を周波数解析により画像化した．また試料を加熱して熱伝導の変動の生じやすさを得ることで，表面形状とは別の視点での物体識別の示唆を得た．力と振動と温度の三触独立の触感情報から Neural Network（NN）を用いた特徴抽出や分類をめざす．
キーワード：触原色，機械学習，テレイグジスタンス

1. はじめに一の触感情報の提示でも，提示するアクチュエータの触近年，テレイグジスタンスのためのバーチャルリアテ
ィ技術の重要性が高まっている．視聴覚に加え触覚など数が三，二，一触と違いがある場合にも，ヒトが感じる触感が同じものと同定されることが理想である．の身体感覚の高品質な伝送・提示が実現すれば，遠隔就労遠隔地へ伝送された触感の提示では，提示してすぐに触の現実味は増すと考えられる．触覚情報の提示が VR シミ感から材質が想像されることもあれば，なかなか思いあたュレータの効率よい操作に有効であるとする報告[1,2]がりにくい場合もある．提示された触感から材質を想像するあり，遠隔就労システムでも必要と考えられる．

ことが難しい場合には，似かよった触感を提示可能な材質

触覚情報の伝送では，物体に触れて得られる触感情報クラスタから，材質を想像しやすい典型的な触感情報を提を直接伝送する方法がまず考えられる．触感情報を一定示すれば解決できると考えられる．さらに体験者が想像し時間で蓄積し連続する触感情報のまとまりとして伝送すやすい触感を提示できるように，触感イコライザも考えらることで，遠隔ユーザーに連続的な触感の提示ができるれる．提示される触感への効果を高めるために材質を示すと考えられる．触覚情報を取得するセンサの種類と特性情報を編集することで実現できると考えられる．あらかじが，触感を提示するアクチュエータの種類と特性と適切

め多くの材質から得られる触感情報をクラスタに分けてに適合していれば，高品質な触感情報が提示できると考関係性を整理しておくことで実現可能になると考えられえられる．しかし，普及のためには異種センサ・異種アクる．

チュエータの組み合わせにおいても，高品質に触感情報

本研究では，触覚センシングで得る触感を分類することを提示可能であることが理想であると考えられる．

で一定の触感特徴を有するクラスタを抽出し，クラスタ触覚センサや触覚アクチュエータを構成する触原色のに分類された触感特徴を提示するためのシステムを機械種類や組み合わせの架け橋となる触感情報の中間表現と学習手法を用いて実現することをめざす．触感の機械学してのメディアが必要であると考えられる．触覚センサ

習には大量の触感情報が必要なため，触感の録取システム

は，触原色原理[3]に基づけば，力・振動・温度の三原触を構築する．物体を摺動時の触感の振動成分を，３種の材情報を取得する必要がある．物体の表面にセンサが触れ料について取得し，積層自己符号化器を用いた特徴の抽出て得る触感情報は，三，二，一触センサでは物理量の数やと分類をした報告[4]では，分類性能は８４[%]程度であっ組み合わせが異なるが各々が示す物体は同一である．同た．本研究では，触数を増やしサンプリング周波数を向上

Fumihiro Kato, Yasuyuki Inoue, Yuki Tajima and Susumu
Tachi© 2017 日本バーチャルリアリティ学会- 1G2-03 -1G2-03

することにより，より多くの物体の識別精度の向上をめざ

２軸のモーメントを計測可能である．指腹部が物体を押さす．

えつける力をセンサまで伝達しやすくするために，指腹部から支柱（図１（ａ））を力センサのアーム部までのばし

2. 触感の録取システムと分類システムた．また，振動が生じる指腹部の腹側の物体との接触部位

触感は，ヒトの体性感覚の一種である触覚より得られたから近いほうが，振動をより測定しやすいと考えられるた情報から感じる感覚と考えられる．皮膚表面にて触情報をめ，加速度センサは指腹チューブの腹側内部に配置（図１

受容する受容体には，マイスナー小体，パチニ小体，メル（ｂ）：加速度センサが透けて見える）した．

ケル触盤，ルフィニ終末があり，機械的な刺激を触覚として受容する．皮膚の振動検出域の測定のため１～５００[Hz]程度の正弦波振動刺激により振動検出域を測定する実験が行われており，触感情報のセンシングではおおむね
１k[Hz]程度の機械的振動刺激を測定できる必要がある．
温覚受容器は４０～４５[℃]付近で，冷覚受容器は３０[℃]付近でよく神経発射し，１５[℃]以下では冷痛覚に移行する．おおむね０～５０[℃]の温度範囲での温度センシ

図１: 触感プローブの構成（ａ）と実製作物（ｂ）ングが必要であると考えられる．
上記要求をみたす触感の録取システム，分類システムに

接触温度センサは指腹チューブの腹側の表面・外側に，ついて述べる．触覚と温度感覚についての触感情報を取得

非接触温度センサは指腹チューブの腹側に開けた計測用するために，触原色原理に基づき，力・振動・温度を録取の穴から，被接触対象の物質表面の温度を計測する向きにするシステムを構築する．力は触覚の直流成分，振動は交取り付ける（図１（ａ））．接触温度センサには，計測部位流成分である．力・加速度・温度の３センサを用いて触感の体積が小さく反応性が良いサーミスタ（56A1002-C3，を取得する触感プローブ（図１）を構築する．プローブはAlpha Technics 社）を用いる．非接触温度センサはセンサ

ヒトの指先を模しており，試料の表面を摺動やタップ操作面を頂点としてコーン形状の底面領域の温度を測定可能をすることで触感を取得することを想定する．

であり，指が物体へ接触直前から温度を計測可能であるが，2.1 三触センサを内蔵する触感プローブ

被測定物の熱放射率や環境の影響を受けやすく安定して力の取得にはピエゾ抵抗型３軸力覚センサμDynPick
MAF-3（１ｋ[Hz]，ワコーテック社製）を用いて鉛直方向精度良く温度を計測することは難しい．そのため主としてサーミスタを温度測定に用いる．の力と水平２軸のモーメントの計３軸の力を取得する．加ヒトが物体の材質を識別するには，接触時に指のごく表

速 度 の 取 得 で は ， LIS3DH （ １ ． ６ k[Hz] ， ３ 軸 ， ST

面の温度の変動を取得していると考えられる．温覚センサ

Microelectronics 社製）と，非接触温度センサには赤外線サは皮膚表面に内在するためである．温度軸での物体の識別ーモパイル TMP-007（Texas Instruments 社製）をそれぞれのためには，触感プローブがヒトと同様に体温を持てば，FPC 接続コネクタで，接触温度の取得にはサーミスタ

主に室温となっている物体との温度差により熱の授受が56A1002-C3（Alpha Technics 社製）をどちらも組込みコン生じることで，物体の温度変動の特性を計測しやすくなる

トローラ Arduino Due（32bit, Arm Cortex-M3 搭載, 84M[Hz]）と考えられる．指腹チューブの腹側表面には，指腹部の温へ接続する．組込コントローラや力センサからは USB に度保持のためにペルチェ素子を配置（図１（ａ），（ｂ））すて PC にシリアル通信で接続し触感センシング情報を記録る．接触物体の温度変動から材質を識別することをめざす．

し時系列の変動を保存する．

2.2 触感の録取システム

触感プローブの構成を図１（ａ）に示す．触感プローブ

触感プローブを用いて，物体の表面材質のテクスチャを形状は３DCAD で設計し，立体印刷器により三次元造形採取する録取システムを構築（図２）した．録取システム（図１（ｂ））した．触感プローブの指腹部は振動しやすくは，直動シリンダとサーボモータとを結合して，PC からするために厚み１[mm]の中空とし，柔軟性があるが硬い素動作を指令する．直動シリンダである高精度ボールねじ材（FLX9995）を用いて造形した．遠隔作業のためにロボ

SG2605- A300P- A3CS–NN-PSR（黒田精工社製）とサーボットの指先などに搭載する想定では，軟らかさによる物体モータ MSMF5AZL1A2（アンプ共にパナソニック社製）とのつかみやすさは大事だが軟らかすぎる指腹部では取得をカップリング SCIW-19-5-8（ミスミ社製）で結合し，サできる振動や力は鈍ってしまうためである．力センサの基ーボアンプ MADLT01SF への指令値を PC から出力するこ部（図１（ａ））は硬いプラスチック（ABS 樹脂）で造形とで動作させる．録取対象である触感を取得する試料をシする．力取得のために，基部は硬いほうが良いと考えられリンダのワークに取り付けて往復動作させる．触感プロー

るためである．力センサのアームは基部とは反対側にあり，ブは直動シリンダでは動かさない．摺動による加速度をの指腹チューブ（図１（ａ））の背面・外側に触れている．力せないためである．シリンダ上方には両持ちの橋柱を配置

センサは図１内の鉛直方向の力と指腹チューブ背面でのし，触感プローブをはめ込むが上下に可動（図２青字）と© 2017 日本バーチャルリアリティ学会- 1G2-03 -1G2-03

する．触感プローブには，0.1[kg]の分銅を装着し，0.1[N]の力で押さえつける．シリンダ位置はモータ内臓の光学式エンコーダにより常時計測される．報告[4]で用いられている録取システムでは，往復移動により振動が励起されてしまっていたが，本録取システムではボールねじを用いたシリンダにより低減できると考えられる．
2.3 触感情報の画像化録取システムでは，触感情報として力や加速度の波形を得る．時間方向で区切った単位時間内で高速フーリエ変換し，力や振動の周波数の強度が経時的に変動する画像を生成する．画像には含まれる周波数の強度分布が生成される．

図２: 触感プローブを用いた表面材質

触感プローブや接する試料の温度変動から熱伝導率などの録取システムを画像化する．力・振動・温度を１つの画像にまとめて，試料の触感を示す画像とする．
2.4 触感の分類システム
画像化した触感情報の分類にはコンピュータビジョン分野で検討がすすめられているニューラルネットワーク（NN）を用いた機械学習手法を用いる．３原触のうちの振動について，２層からなる積層自己符号化器からなるNN によって特徴量の抽出をし，触感の分類をした報告[4]があり，３種の材質（発泡ウレタン，エイの皮，アルミ板）に対する摺動での振動の分類性能は８２[%]であった．本
研究では，振動・力・温度の三原触から得た画像の分類を試みる．力と振動については報告[4]と同様に反応する周波数の分布や近隣の周波数との関連について画像中から特徴の抽出をめざす．温度については温度の変動の生じやすさ，熱伝導のしやすさなど熱物理学的な物性の特徴の抽出

図３: 力の波形と周波数解析後の画像をめざす．三触の情報を用いることで触感分類のための手エイの皮，畳，麻袋，MDF 板を往復させて摺動した時のがかりが増えることが期待できる．

力の鉛直方向や摺動方向での波形（左）と周波数解析（～５００[Hz]）結果（右）3. 触感情報の取得実験
触感プローブと．録取システムを用いて複数種類の材料表面の摺動とタップ操作から三触情報を取得した．力と加速度波形の周波数解析の結果を画像化した．
触感情報のサンプリング周波数は，力センサが１k[Hz]，加速度センサは１．６k[Hz]である．ストローク距離２０[cm]で反復動作させる試料の上に触感プローブを 0.1[N]で押さえつけて摺動での触感情報を取得した．録取した力と加速度の波形と周波数解析した結果を図３と図４に示す．
試料にはゴツゴツだが摩擦の小さいエイの皮，スベスベな畳の表生地，ガサガサな麻袋生地，カサカサな MDF 板を用いた．本システムで録取した力に含まれる周波数成分は主に５０[Hz]以下の低周波に集中していることが示されている．加速度に含まれる周波数成分は特に摺動方向では８００[Hz]にせまる振動も含まれる．特定の周波数に集中することで帯状の特徴も確認できる．力と加速度では取得可能な周波数成分が異なるため，得られる周波数成分の組

図４: 加速度の波形と周波数解析後の画像

み合わせにより素材の識別の手がかりが独立に得られる

エイの皮，畳，麻袋，MDF 板を往復で摺動した時の加速と考えられる．

度の鉛直方向や摺動方向での波形（左）と周波数解析（～８００[Hz]）結果（右）© 2017 日本バーチャルリアリティ学会- 1G2-03 -1G2-03

触感プローブをタップ操作により試料表面に押し付け4. まとめて加熱し，温度変化を記録した．試料にはアルミ板とエイ三触の触感情報を取得する触感プローブと録取システの皮を用いた．触感プローブ内蔵のペルチェ素子を人肌のムを構築した．力／加速度のサンプリング速度は１ｋ／１．

上限４２[℃]となるよう５[V]，０．５[A]で制御し，指腹部６ｋ[Hz]と皮膚の受容体が知覚するに十分に高速である．

サーミスタ（ペルチェ素子から指腹部先端へ５[mm]に位置摺動時の力と加速度やタップ時の温度の変動は独立してする）の温度が室温より高い２８．９[℃]となってから，物体の特徴を示す特徴であることが示唆された．今後，実タップ操作により試料へ５分間接触させた．指腹部サーミ

験で得られた三触の触感情報を用いて多様な触感の分類

スタと，ペルチェ素子の高温側に接着したサーミスタでの手法を確立し，テレイグジスタンス環境で高品質な触覚提温度変化を記録した．図５（ａ）に温度変化の様子を示す．

示の実現をめざす．

アルミ試料では，指腹部が試料に接触後に室温に向けて１．
５[℃]ほど温度低下後に，温度が上昇しているのに対し，エイの皮では指腹部温度がほぼ単調増加している．アルミ

謝辞

は熱伝導率がエイの皮よりも高いために，指腹部の温度がの戦略的創造研究推進事業（ACCEL）「触原色に立脚した

本研究は国立研究開発法人科学技術振興機構（JST）周囲の材料に拡散して温度が低下したが，高温のペルチェ

身体性メディア技術の基盤構築と応用展開」の支援によっ素子からの熱伝導により温度が上昇していると考えられて行われた．

る．一方で，エイの皮は熱伝導率が小さく指腹部周囲への熱伝導は遅いために温度低下の幅が小さかったと考えられる．以上より，人肌に加熱した触感プローブを物体に触れさせることで，材質の熱伝導率の大きさの傾向をつかむことできたことから物質の性質の違いが見極められると考えられる．温度の変動は，試料表面の凹凸ではない物質固有の性質であるため，触感の分類に温度を用いることで参考文献

材質を見極める手がかりとして力や振動とは独立に利用[1] B. Frohlich, H. Tramberend, A. Beers, M. Agrawala and D.

できると考えられる．

Baraff, : Physically-based manipulation on the Responsive

図５（ｂ）に三触の触感を１つの画像にまとめる案を示

Workbench, Proceedings IEEE Virtual Reality 2000 (Cat.

す．各試料の力・加速度・温度変動を結合した画像である．

No.00CB37048), New Brunswick, NJ, 2000, pp. 5-11.

今後，試料の触感の性質を示す画像を用いて特徴の抽出や[2] 加藤史洋，小野原覚，三武裕玄，長谷川晶一：加熱調
理の VR での再現のためのリアルタイム伝熱シミュ分類をすすめる．

レーション，日本バーチャルリアリティ学会論文誌，Vol. 21, No. 1, pp. 163–172, 2016.

[3] S. Tachi, K. Minamizawa, M. Furukawa, and C. L.
Fernando.: Haptic media construction and utilization ofhuman-harmonized “tangible” information environment.
In 2013 23rd International Conference on Artificial Realityand Telexistence (ICAT), pp 145–150, 2013.

[4] Fumihiro Kato, Charith Lasantha Fernando, Yasuyuki
Inoue, Susumu Tachi : Classification Method of Tactile
Feeling using Stacked Autoencoder Based on Haptic
Primary Colors, Proceedings of IEEE Virtual Reality 2017,
図５:試料へのタップ操作時の温度変化（左）と三触で構成する学習画像案（右）© 2017 日本バーチャルリアリティ学会- 1G2-03 -Los Angeles, California, pp.391–392, 2017