情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20015
2020/3/9

ヒトを模した人工触覚の触り動作における素材識別率を向上させる学習モデルの研究
岡田 一志1,a)

下江 輝1,b)

大井 翔1,c)

松村 耕平1,d)

寒川 雅之2,e)

杉山 治3,f)

野間 春生1,g)

概要：
本研究では，触覚センサによる素材識別率を向上させる触り動作をセンサと素材の間でインタラクティブに学習するモデルを提案する．提案するモデルは，ヒトが対象に触れるときの触覚情報処理を模して，触覚センサから得られた信号を元として特徴量を抽出する自己学習型特徴抽出器，その特徴量を元に識別率を出力する教師学習型素材識別器，素材識別率を最大化するような動作を学習する強化学習型動作学習器の三つから構成される．触覚センサの信号から特徴抽出器を用いて 8 次元の特徴量を抽出し，その特徴量を元に 8 種類の素材を識別するように素材識別器を学習した結果，平均で 61.7%で対象物を識別できた．
また，素材識別結果を報酬として素材識別率を向上するように触り動作の学習を行った結果，67.9%で素材識別可能で動作学習を行わないモデルと比較して 6.2%の識別率の向上が見られた．このヒトを模した人
工触覚情報処理モデルから逆にヒトの触覚認識の仕組みに迫ることを目指している．ヒトの触覚認識モデ
ルを理解することで触覚提示デバイスなどの研究開発の発展に寄与する．

1. はじめに要素のひとつである．典型的な素材識別のモデルは，触覚信号の取得を行う触覚センサとその信号を処理する識別モ

ヒトは触れている物体の柔らかさ・硬さや表面の凹凸な

デルからなる．提案されている識別モデルの多くは，素材

どの素材の特性を触覚によって知覚できる．これによっ以外の要因を取り除くため，触り動作を一定にする，もして，ヒトは指先の感覚を頼りに器用な作業を行える．一方

くは触り動作による変化を吸収するような学習が行われてで，多くのロボットにはヒトのような触覚が実装されておいる．しかし，Lederman らの研究によると手の動きは，らず，単純な繰り返し作業には長じているがヒトが行うよ

対象識別の際に窓のような役割を果たしていると述べていうな器用な作業には向いていない．そこで，ロボットに器る [1]．そのため，従来の触り動作を考慮せず素材識別を用な作業性を与えるために，ヒトの触覚にあたるセンサを行うモデルは，触覚を扱うモデルとして不十分であると考実装し対象物の特性を計測する試みがなされている．

えた．

対象物の特性を計測する研究の事例として，触覚センサ

そこで本稿では，触り動作と触覚が相互に関係した人工を利用した素材識別が行われている．多様な素材を把持す

触覚のモデルとして，機械学習技術を用いたロボットの素るような器用な動作を求められる産業用ロボットは，柔ら

材識別率を向上させる触り動作学習モデルを提案する．提かい素材や滑りやすい素材などの特性を把握し素材に適し案モデルの概要図を図 1 に示す．提案するモデルは生理学た動作を求められる．そのため，人工触覚を搭載して対象

的及び心理学的な触覚モデルを参考として，触覚センサの物に触れる過程で素材を識別することは，産業用ロボット

信号を元として特徴量を出力する自己学習型特徴抽出器，が対象物に適した触り方・握り方を選択するために必要なその特徴量を元に識別率を出力する教師学習型素材識別

1
2
3
a)
b)
c)
d)
e)
f)
g)

立命館大学
新潟大学
京都大学医学部附属病院
kokada@mxdlab.net
hshimoe@mxdlab.net
sho-ooi@fc.ritsumei.ac.jp
matsumur@acm.org
sohgawa@eng.niigata-u.ac.jp
sugiyama@kuhp.kyoto-u.ac.jp
hanoma@fc.ritsumei.ac.jp© 2020 Information Processing Society of Japan図 1 提案モデル概要図

133

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20015
2020/3/9

器，素材識別率を最大化するような動作を学習する強化学は，脳波信号における特徴抽出手法である Hjorth パラメー

習型動作学習器の３つからなる．

タを触覚信号に適応し，それらの特徴量を Support Vector

従来の識別モデルでは，得られた素材データを元に識別

Machine(以下，SVM) を用い分析することで，120 種の素器を作成することで素材識別を可能にしている．我々の提材を 100%の精度で識別可能なモデルである [5]．この研究

案モデルは，素材データから抽出された中間特徴量を元に，における触覚信号の取得には，ロボットハンドの指先に搭動作の選択-学習と素材の識別を行っている．素材データ載された BioTac が用いられており，計測された触覚信号の特徴量を元に識別率が向上するような対象素材への触りを Hjorth パラメータというパラメータ群に変換する [6]．

動作を学習するため，素材への触り動作が素材の特徴量とこれらの特徴量を元に SVM で識別モデルを構築し，120

素材の識別率に影響を与える．これにより素材識別に適し種の素材を 100%の精度で識別が可能となっている．

た中間特徴量を得られる可能性や，素材の識別率が上昇する可能性がある．

また，Juan らによって提案された素材識別を行う触覚モデ
ルは，特徴量抽出のために Speeded-Up Robust Features(以本研究の貢献は以下の 2 つである．(1) 自己学習型特徴

下，SURF) と Deep Convolutional Neural Network(以下，抽出器を用いて触覚センサから得られた特徴量を用いてもDCNN) を用い特徴量抽出を行い，それらの特徴量を SVM

素材識別が可能であることを示したこと．(2) 素材識別率

を用い分析することで，8 種の素材を 80%の精度で高速にを報酬として素材の識別率を向上させるような動作の学習

識別可能なモデルと 91%の精度で識別可能なモデルであを行うことで素材識別率を向上できる可能性を示したこと．

る [7]．この研究における触覚信号の取得には，接触面の圧

2. 先行研究と位置付け

力分布を画像化するようなシステムが用いられている．計
測された触覚信号に対して，SURF を用いて特徴点を抽出

先行研究として，触覚センサと素材識別モデルさらに動している [8]．この手法により高速に得られる特徴点を元

作学習についての研究に分けて示し，本研究の位置付けをに SVM を構築し，結果として，8 種の素材を 0.01 秒の処示す．

理時間で 80%の精度で識別が可能となっている．

2.1 触覚センサ

2.3 動作学習に関する研究

ヒトの触覚の再現を目標とする触覚センサは様々な方式のものが提案されている．

近年，ロボットハンドの制御を行う等の課題に対して機械学習モデルを用いる研究が多くなされている．

Takahashi らの提案するセンサは，2 本で 1 セットの梁Lepora らによって提案されたモデルは，アクリル上にのような構造の変形を細い電気抵抗の抵抗変化として計測

掘られた溝の幅の推定結果を利用し，押し付ける深さを調することで，圧力と剪断力を計測可能な MEMS 型の触覚

整するようなモデルを作成することで，誤差 0.35[mm] 程

センサである [2]．X 軸，Y 軸，Z 軸の三軸の力に対応する

度で溝の幅を推定できるモデルである [9]．この研究では，

ように，2mm 角のチップ上に MEMS 構造が 3 セット搭載

触覚センサとして TacTip を用いている [10]．このモデルされている．力が加わることで抵抗が変形し，抵抗変化量

により，一定の動きのみで溝の幅を推定するモデルと比較を計測することで加わった力を推測できる．

して 0.25[mm] 程度，ランダムな動きで溝の幅を推定する

Yamamoto らによって提案された BioTac と呼ばれるセンサは，複数のセンサで荷重，熱，振動を計測可能なハイモデルと比較として 0.45[mm] 良い精度で溝の幅を推定できている．

ブリッド型触覚センサである [3][4]．このセンサは内部にTony らによって提案されたモデルは，触覚センサ信号

23 極の電極，非圧縮導電性の液体，圧力センサが内蔵されを元に移動角度を推定することで，対象素材の輪郭上に沿ており，対象物に接触した際，非圧縮導電性の液体が変形うような動作が可能なモデルである [11]．この研究では，変形することで電極のインピーダンスが変動し力の測定を

触覚センサとして，iCub と呼ばれるロボットに登載され行なっている．対象物の温度の計測は，液体が熱せされるる触覚センサを用いている [12]．推定する移動角度に対しと同時に電極も温たまるため，インピーダンスの変動で読て高い閾値を設けることで，従来の自身の動作を保持させみ取ることが可能である．なぞりなどの接触による振動計ないモデルでは困難であった輪郭上の走査が可能となって測は，液体の振動を受け取った圧力センサの値を読み取る

いる．

ことで計測可能となっている．

2.4 本研究の位置づけ
2.2 素材識別モデルに関する研究
触覚センサの研究において，画像認識研究の派生として
対象物の素材識別タスクの研究が行われている．

Kaboli らによって提案された素材識別を行う触覚モデル© 2020 Information Processing Society of Japan以上に述べた関連研究をふまえ，本研究の位置づけについて述べる．既存の触覚センサを用いた素材識別の研究
は，非常に高い識別精度を実現している．しかし，触覚センサを用いる単純な触り動作を用いた素材の識別タスクで134

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20015
2020/3/9は，多くの研究が触り動作の差による影響を取り除くようなモデルで学習を行っており，触り動作と触覚の相互関係を排除している．動作学習に関する研究では，多くの場合
画像情報を元にした動作モデルであり触覚情報との関係について考慮していない．また，2.3 で述べたような一部のエッジ探索において触覚情報を用いる動作学習の研究も存在するが，その数は多くはない．そこで本研究では，ヒトの触覚モデルの動作プロセスを模倣することで素材識別率の向上を狙う．我々の開発した小型の MEMS 触覚センサと，このセンサから得られた素材の情報をモデルに組み込んだ動作学習モデルを提案する．

3. アプローチ
従来，ヒトの触覚の神経モデルは，生理学的な観点から

図 2 ヒトの触覚モデルを参考とした触覚センサを用いる素材識別
モデル

触覚受容器に基づいたモデルが提案されてきていた．これ
らの触覚受容器が，ヒトの触覚において重要な役割を果た

工触覚のモデルに落とし込むため，Yokosaka らによる，ヒ

していることは揺るぎない．この神経モデルは，極細い毛

トが素材に触れる際に，素材の特性によって触り動作が変先で皮膚上の感覚受容器だけを微細に刺激した応答結果か化するという研究結果を参考にした [14][15]．この研究結ら構築された，要素論的なモデルである．例えば，触覚セ果から，素材に指を触れ素材の識別を行う際，無作為に決ンサの研究応用として 表面粗さ のみを計測する特定の定された触り動作で素材に触れているのではなく，素材毎

機械的特性の計測システムを実現するならば，これは事足の特性をよりよく感知可能な触り動作で，識別の精度を高りるモデルである．しかし，ヒトの触覚は素材表面の物理めていると考えた．また，佐藤の研究によると，目隠しし的特性を 表面粗さ としてでなく， 触り心地 として複た状態における指先での素材の触り動作の変化を観察した

数の要素を複合的に感じることのできる感覚であり，これところ，素材毎に指先の押下力・速度に違いがあることがを素材識別モデルに組み込む必要があると考える．

確認され，素材の触感の類似性と触り動作は対応すること

そこで，本研究ではヒトの触覚における心理学的な触覚が示唆された [16]．

モデルを参考とすることで，上記の神経モデルを拡張し素これらの研究の素材の特性と触り動作に関連があるとい

材識別モデルを作成した．まず，一般的な触覚刺激に着目う点から，触覚信号そのものから触り動作を学習するのでした．日常的に我々が素材に触れる際，点による接触で単はなく，素材の特性が現れるであろう中間層の出力を用い独の触覚受容器が個別に刺激されるようなことはなく，面触り動作の学習を行えると考えた．これらのアイディアをによる接触で複数の触覚受容器が同時に刺激される．その元にして，本論文で提案するヒトを模した触り動作の学習

ため，素材との接触には単独の触覚受容器への僅かな刺激モデルを構築した．

ではなく，複数の触覚受容器への大きな刺激を伴う．この事実から，人工触覚モデルにおける触覚受容器である触覚センサをアレイ化することで，複数の触覚受容器の同時刺4. 素材計測システム
4.1 MEMS 触覚センサ

激を実現できると考えた．しかし，触覚センサのアレイ化

本研究では，素材の計測に我々の研究グループが提案するは技術的に難しいだけでなく，素子の増加による配線の複抵抗変化を用いた MEMS 触覚センサを用いている [17][18]．

雑化，データの処理速度等から現段階では実現できておらこのセンサは，先端がわずかに持ち上がったマイクロカン

ず，本研究では既開発 3 つのカンチレバーを搭載した触覚

チレバーを複数並べ，エラストマで覆う構造となっている．

センサを用いて仮想的にセンサアレイを再現している [13]．

エラストマに外力を印加することで，エラストマの変形に

次に，ヒトの触覚認知の過程に着目した．ヒトは触る素伴って内部のマイクロカンチレバーが変形する．マイクロ材が未知のものであったとしても感触が得られる事実か

カンチレバー上には NiCr 薄膜ひずみゲージが構築されてら，感覚受容器で得られた刺激を元に単純に識別器によっおり，マイクロカンチレバーの変形に合わせ電気抵抗が変て識別しているのではなく，低次元の中間的表現に一度集化する仕組みである．実際のセンサの写真を図 3 に示す．

約し，その中間的表現の組み合わせで既知の対象物体として識別を行うと考えた．これらのアイデアを元にした，素材識別モデルを図 2 に示す．
また，素材識別モデル・触り動作と触覚の相互関係を人© 2020 Information Processing Society of Japan

4.2 計測システム
本研究は，素材識別率を向上させる触覚センサの動作を学習することを目的としている．動作学習モデルを作成す

135情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20015
2020/3/9

4.2.1 制御条件
計測システムにて述べた計測機構を制御する手法について述べる．3 軸ステージは，各軸ごとにコントローラが備わっており個別にコントロールが可能である．ステージの速度制御には Arudino を用い，ステージコントローラへのパルス周波数を制御することで管理している．
次に，センサにかかる荷重制御に関しては，計測素材の形状や素材設置の関係上，センサへ掛かる圧力は常に変動している．センサに対して過剰な圧力が加わった場合，センサの破損や摩耗に繋がる．そのため，ロードセルの計測
図 3

MEMS 触覚センサ

結果を元に Z 軸のステージを制御し触覚センサにかかる荷重を制御している．具体的には，加わった圧力荷重が設定
値± 0.15[N] の範囲から外れた場合，設定値± 0.03[N] の範囲に遷移するように Z 軸のステージを上下に動かして，センサと計測素材の距離を調整している．

4.2.2 システムフロー
計測システム全体の接続及び相互の作用について述べる．計測システムは図 6 に示すような接続となっている．
動作の流れとしては，PC から Arduino に対して目標速度の命令が行われた後，Arduino 内部にて速度制御を行いパルスをステージコントローラに送る．パルスを受け取った
ステージコントローラはパルスを元に制御信号をステージに送る．触覚センサとロードセルのデータは，逐次 A/D
図 4

3 軸ステージ機構

コンバータを通して PC へと送信されている．

図 6 システムフロー
図 5

計測システム概要図

るにあたり，実際に触り動作を行い素材表面上を走査する機構が必要となる．本項では素材表面上を走査するために，左右，前後，上下 (それぞれ以下，X，Y，Z) の 3 軸をそれぞれ制御可能な機構を位置決めステージを用い作成した．図 4 に作成した機構を示す．

5. 計測対象と計測データの前処理
5.1 計測対象
識別に用いた対象物は，Yokosaka らの被験者実験にて用いた対象物を参考として，異なる特徴を持つような素材をこの機構のステージ上にセンサの押し付け圧力を制御す

中心に収集した [15]．ただし，触覚センサ検知部の高さでるためのロードセル，本システムにおける触覚計測を行う

ある 1mm よりも大きな凹凸を持つ素材や，表面上にエッMEMS 触覚センサを設置し計測システムとしている．図 5ジが含まれる素材はセンサを破損させる可能性があるたに作成したステージ上に設置した計測システムの概要図をめ，それらを除く 8 種類の素材を選定した．実際に計測し示す．

た素材を図 7 に示す．

© 2020 Information Processing Society of Japan136

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 7

INT20015
2020/3/9

対象素材一覧

5.2 計測条件
データの収集条件として，素材の計測速度を複数段階で変更して計測した．これは，先行研究で素材の種類ごとに触り動作が変化していることが挙げられており，計測速度
による素材の識別率の変動を確認するためである．ステー

図 9

豚革裏計測結果
上段：触覚センサ計測結果，下段：ロードセル計測結果

ジの速度限界から，計測速度を 0.1-1.0[cm/s] にて 0.1 刻み
で 10 段階用意した．荷重の設定値ははセンサの破損，摩耗を考慮し 0.2[N] とした．また，サンプリング周波数は2048[Hz] とした．前述した計測モデルを用い，それぞれの速度にて素材表面をなぞるように計測し素材の触覚データの収集を行った．この触覚データは，三つのカンチレバーの変動を収録したもので，3 チャンネルのデータが計測される．

5.3 計測結果
実際に計測したデータを図 8，図 9 に示す．このデータ
は，アルミ板を対象として速度 0.1cm/s で動かしたもので，
触覚センサ信号と荷重制御のために触覚センサの下に装着しているロードセル信号である．図 8 から読み取れるよう

図 10

前処理結果

1 段目：生データ，2 段目：微分処理結果，3 段目：標準偏差を用いた正規化結果，4 段目：ロードセルデータに，センサ信号には大きな変位となる点が複数存在している．これは，素材の取り付けの際に素材が僅かに傾いてお傾いている為，データ全体の傾きである小さな変位と荷重り移動に伴い荷重が増大しているため 4.2.1 章で述べた，制御の際に生まれる大きな変位が存在している．このデー荷重制御が実行され設定値± 0.03[N] の範囲に遷移する際

タは学習モデルの入力データとして扱う際に正規化の範囲に発生したものである．

を広く取る必要があり，素材表面の信号が相対的に小さくなるという問題を持つ．
そこで，図 8 に対して以下の処理を行ったものを図 10に示す．まず，素材特徴との関連度の小さなデータ全体の傾きを取り除くために，微分処理を適用した．計測データ
は，有限差分近似にて微分処理を行った．有限差分近似による微分処理は式 (1) に示す．

∆data(x) = data(x + ∆t) − data(x)(1)

本研究では，Δ t に適した値を 50(2.5[msec])-1000(50[msec])の間で 50 ずつシフトさせ簡易的な識別モデルを用い，最も収束性の高かった 300(15[ms]) を採用した．
図 8アルミ板計測結果
上段：触覚センサ計測結果，下段：ロードセル計測結果

微分後のデータにおいても，荷重制御に起因するスパイクを見て取ることができる．また，誤差逆伝播法を用い推定を行う際，活性化関数の範囲に入るように入力データは[0,1] に留めることが好ましいとされている．これらの理由
5.4 計測データの前処理
計測例で示したように，センサと素材の接触面が僅かに© 2020 Information Processing Society of Japanから，データセット全体の微分処理後のデータを元とした標準偏差を利用し，データの正規化を行った．

137

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20015
2020/3/9

正規化の数式をは式 (2) に示す．正規化したデータをdata(x)norm とする．

data(x)norm =∆data(x)
+ 0.5
4σ




1


data(x)norm = 0data(x)norm(2)

data(x)norm > 1
data(x)norm < 0 (3)Otherwise

図 12 特徴抽出器のネットワーク構造

提案手法においては，データを特徴抽出器を通すことでその信号を低次元情報に圧縮し，低次元情報を元として素材識別モデル，動作推定モデルの構築を行う．我々の想定しているシステムの動作は，短時間の動作を何度も変化させることで最適な動作を選択したい．そのため，ここで作成する特徴抽出器は，動作毎に行われる処理で有ることが好ましいため，短時間の触覚情報を基にして次元圧縮を行うモデルとなっている．

な構造になっている．

1 層目:256x3 の畳み込みフィルタを 64 種用意し，64x64
次元のデータに変換

2 層目:プーリングにて 64x32 次元のデータへ圧縮
3 層目:全結合の層を用いて 64x32 次元のデータを 32
次元のデータまで圧縮

時系列データを元にして短時間のデータに分割し，それぞれを 1 サンプルとした．処理としては，正規化されたデータに対し，約 1 秒間の計測区間である 2048 点を 1 つのサンプルとし，約 0.5 秒区間である 1024 点ずつスライドさせることで，データセットを作成した．データの分割手法を図 11 に示す．

4 層目:32 次元のデータを元に平均ベクトルと分散ベク
トルそれぞれ 8 次元にて獲得

5 層目:平均ベクトルと分散ベクトルを元にサンプリングを行うことで，8 次元の潜在変数 z を獲得

6 層目:潜在変数 z を元に復元するために 64x32 次元のデータへ全結合の層にて変換

これらの前処理を行い，計 8856 サンプル (計 8 素材 1 素
材あたり:1107 サンプル) のデータセットを作成した．

7 層目:64x32 次元を元にプーリングの逆変換であるアッ
プサンプリングにて，64x64 次元のデータに変換

8 層目:256x3 の逆畳み込みフィルタにてサンプルと同じサイズに復元
これにより，2048x3 次元の時系列データを 8 次元の特徴量に落とし込んでいる．VAE を用いることにより正規分布の確率密度関数に従うようにデータが分散することが期待される．また，8 次元の特徴量の関係を見ることで，各特徴量がどのような要素を含んでいるか推測することが可
図 11

データ分割手順

6. 触覚センサデータの特徴量抽出6.1 特徴抽出モデル

能になる．

6.2 特徴抽出モデルにおける結果
提案する特徴抽出モデルを用いて，学習回数 2000 回にて学習を行った結果を以下に示す．

特徴抽出の手法として自己符号化器の一つである Kingma

提案する次元圧縮モデルは encoder-decoder モデルとしらによって提案された，Variational Auto-Encoder(以下，て構築されているため，decode 結果とオリジナルのデータ

VAE) を用いた [19]．本研究で作成した特徴抽出器の構造を比較することで次元の圧縮が適切に行えているかを確認

を図 12 に示す．本研究では，空間的に近接する素材の特することができる．decode 結果を図 13 に示す．結果から徴点は素材の特徴を獲得する上で重要であり，ヒト触覚も見て取れるように，サンプルの特徴を復元することができ近接する受容体の共起により素材の知覚をしているというている．decode 結果を元データと比較すると，細かい波形

仮説のもと，VAE のレイヤー構造に畳み込み層を取り入れは消えておりローパスフィルタをかけたようになっている

た．この特徴抽出器では，前章にて述べたデータセットのが，データの特徴が表れているように見える．

サンプル (2048x3 次元) を入力データとして，以下のよう© 2020 Information Processing Society of Japan138

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20015
2020/3/9量を元に，一度 1024 次元の全結合層を通して最終的な材質推定を行っている．学習時における Loss 計算には，多クラス交差エントロピー誤差関数を用いている．

7.2 素材識別モデルにおける結果
正解ラベルと推定ラベルを元にした混合行列を図 15 に示す．全体の識別率は 61.7%となっており，素材の中でもアルミ板，ゴム板，ヒノキ板といった比較的に表面に凹凸の少ない素材の識別精度が高いことが見て取れる．その他の素材に関しても約 50%程度の識別精度を示しており，素材識別を行う情報は獲得できていると考えられる．誤認識の例としては，コルク板が豚革表，デニムとそれぞれと15%以上の割合で推定ミスをしていることが確認できる．

図 15

素材識別率 (縦軸:対象素材，横軸:推定素材)

また，素材の計測速度毎に素材識別率を確認することで，
図 13

decode 結果

素材に適した速度を推測することができると考え，速度毎の素材識別率を図 16 に示す．結果から正解ラベルとの比較結果同様，アルミ板，ゴム板，ヒノキ板といった比較的平面の素材は，全体的にどの速度においても高い精度での識別ができている．その他の素材に関しては，0.4[cm/s]，

0.7[cm/s] の場合において比較して若干識別率が高くなっている．また，豚革裏に関しては 0.9[cm/s] の場合他の速度と比較して識別率が高くなっていることが分かる．

図 14

提案する特徴抽出モデルを用いた素材識別モデル

7. 素材識別モデル

図 16

素材識別率 (縦軸:対象素材，横軸:推定素材)

7.1 モデル構造
提案する特徴抽出モデルを用いて出力される中間特徴量

7.3 考察を利用して素材識別を行う．素材識別モデルとしては，図

素材の識別率に着目すると，平面に近い素材の識別率が12 における mean の出力を利用し，後段を異なるモデルへ高くなっている一方，比較的凹凸の大きな素材は識別率がと組み替えることで可能となる．中間特徴量を利用し，作低くなっている．decoder による再現データを確認した場

成した素材識別モデルを図 14 に示す．この素材識別モデ

合，サンプルの大きな変動であっても十分に復元できていルでは，提案モデルにおいて 8 次元まで次元圧縮した特徴

ることから，信号を復元するための学習に特徴が強く出て© 2020 Information Processing Society of Japan139

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20015
2020/3/9

しまい，素材特徴の抽出が十分にできなかった可能性が考は時間的観点から現実的ではない．そのため，あらかじめえられる．

作成したデータセットを元に擬似計測結果生成モデルを作

8. 材質識別率を最大化する動作学習器の作成成した．同一素材，同一速度であれば，同様の特徴が得られると仮定し，指定されたラベルと計測速度に合致するも

8.1 提案する触り動作生成モデルのをデータセットから取得するモデルとした．また，各ラ

8.1.1 提案モデル構造

ベル・速度毎若干のばらつきはあるが約 100 のデータがあ前章の識別モデルの結果から，素材毎に触り速度に応じて識別率が異なっていることがわかった．そのため，素材にり，そこからランダムに指定された条件に合致するデータが選ばれる．

適した速度で触り動作を行うことで，素材の識別率が向上す
る可能がある．これらを踏まえて本研究では，Volodymyr

8.2 提案モデルにおける学習

らが提案した Deep Q-Networks(以下，DQN) と呼ばれる

上記モデルにおける学習の概要について述べる．DQN

強化学習器を用いて触り動作学習器の作成を行った [20]．

のモデルの学習は，状態 s にて方策から選択された行動 a

提案モデルにおける報酬，行動，状態は以下の通りにした．

を任意の回数行ったときの報酬 R の合計を最大化させるよ・報酬：素材識別の正/誤 （2 次元）

うな学習を行う．このモデルにおいて，状態は素材走査で・方策：加速/減速/維持（3 次元）得られた 1 秒間の触覚データの特徴量であり，行動は素材

・状態：特徴抽出器により抽出された計測素材の特徴量の計測速度の変更，報酬は素材の識別結果である．このモ（8 次元）

デルでは，1 回のある素材走査における行動の任意の回数

提案モデルの概要図を図 15 に示す．提案モデルにおける特を 10 と設定した．これは，この素材を 1 回走査する際に徴抽出器，及び識別器は前章で説明したモデルとなってい10 回の行動を実行可能なことに相当する．本研究におけるる．また，動作作成器は図 16 に示すような構造の Neural

擬似計測モデルにおいては，データの計測速度の段階が離

network である．

散的に 10 段階で設定されているため，ランダムに指定された初期速度から始まったとしても 10 回の速度変化を伴えば，想定するすべての速度に到達可能で素材の識別に最適な速度を選択できると考えたためである．この 10 回の速度変化を伴う素材の操作を 1 試行とする．
素材の走査の動作について詳細を述べる．走査毎にラン
ダムに 1 つの素材を選択し，ランダムに指定された初期速度から，10 回の速度変更を行い最終速度に達する．選択さ図 15 提案する動作学習モデル

れた行動の速度変化は，1 秒間で計測された素材データからの識別結果の報酬をもとに行なっているため，1 回の走査は毎秒速度を変更する 10 秒間のデータ計測を意味する．
これらの素材の走査をデータセットから選択されたデータを用いて再現している．
次に報酬の設定について本モデルに当てはめると，ある
時刻 t において状態 st ，行動 at ，状態 st+1 を考えたとき，
状態 st+1 を識別器を通して得られる結果と実際に選択されている素材が合致している場合は報酬が１，合致していなかった場合は報酬が 0 となる．行動関数 Q(st , at ) のうち実際に選択された行動である argmax(Q(st , at )) をこの

図 16

動作作成器構造

報酬の値に書き換えたものが，報酬関数 R(st , at , st+1 ) となる．これらの条件で，1000 試行にて学習を行った．

8.1.2 疑似計測結果生成モデル
動作を基にした学習を行う場合，決定された方策に合わ
せて逐次速度を変更しながら素材の計測を行うシステムが9. 結果と考察
9.1 結果必要となる．しかしながら，モデルの学習に合わせ動作を提案する動作学習モデルを用いての，学習を行ったモデ

行うには学習毎に動作の再試行が必要となる．現状の計測

ルの結果を以下に示す．作成したモデルを用いて素材毎にシステムでは，一回の素材走査にキャリブレーションを含

100 回の試行を行い，ランダムに選択された初期速度からめ数分かかるため，実際に走査を行いながら学習を行うの10 回の速度変化を経て最終的に推定された動作及び識別結© 2020 Information Processing Society of Japan140

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

果を元に行う．

INT20015
2020/3/9

本研究では，機械的な制限もあり 0.1[cm/s]-1.0[cm/s] の素材毎に推定された動作の回数は以下の図 19 のように範囲で素材を計測したが，2.0[cm/s] や 3.0[cm/s] などのよなっている．それぞれの素材毎に，推定される速度の度合

り速い速度が素材に適する可能性がある．佐藤の研究によいに差が出ているのが見て取れる．しかしながら，全てのると，ヒトの指先における触り速度は約 5.0[cm/s]-8.0[cm/s]

素材において 1.0[cm/s] の速度が最も多く推定される結果であることが確認されている [16]．ヒトの触覚と触覚センとなった．

サのセンサーとしての特性が異なるためヒトと同一ではな
いが，1,0[cm/s] 以上の速度が素材に適することは十分考えられる．そのため，速度上限をより速く計測できるシステ
ムを元にしたデータセットを作ること，速度上限・速度下
限に対し強い制約を設けることにより推定結果の改善，つまり識別率を向上させることができると考える．

10. まとめと展望
本稿では，触り動作と触覚が相互に関係した人工触覚のモデルとして，機械学習技術を用いた素材識別率を報酬と
図 19

提案モデルにて 100 試行した場合の推定速度出現回数/縦軸:
素材横軸:速度

図 19 の行動を行った場合の，各素材における識別率は
表 1 のようになっている．全体平均の精度は，4 章で述べた識別率と比較して向上していることが分かる．しかしながら，アルミのように識別率が低下している素材も存在し
ている．
表 1

する触り動作学習モデルを提案した．動作モデルを作成する上で必要となる特徴抽出器として，VAE モデルを採用した．VAE モデルの出力結果を元にした分析結果からは，素材毎に速度別の得意不得意があることを見て取れた．触り動作学習モデルでは動作学習を行わないモデルと比較して 6.2 ポイント向上し，67.9%の識別率となった．この結果は，素材識別率向上という観点では，従来の研究と比較してより良い結果が得られたとは言い難い．しかしなが提案モデルにて 100 試行した場合の素材識別精度

ら，教師なしの学習によって抽出した中間特徴量を用いて6.2%の素材識別率の向上を図る事ができたこと，動作学習に必要な特徴量として中間特徴量は利用可能であることがわかった．
触り動作生成モデルの展望として，触り動作をより柔軟におこなうことがあげられる．触り動作の速度をより速く動作可能にすることで速度上限を緩和しつつより素材に

9.2 考察動作学習を行わなかった場合の識別率は 61.7%なのに対適した速度を目指すこと，センサへの荷重のコントロールを行うことで押下力を組み込んだ触り動作を行うこと，スし，提案モデルにおける動作学習を行った場合の識別率はテージを X 軸のみの触り動作ではなく Y 軸も動かすこと

67.9%と 6.2 ポイント向上した．しかしながら，速度毎ので，1 自由度から 2 自由度に拡張することで平面での柔軟識別率では図 16 に示したように，素材によって最も識別な触り動作を組み込むことで素材の識別率の向上を目指す．

率が高い速度が異なるにも関わらず，提案モデルでは全て

また，本研究で得られた中間特徴量は触覚センサから得の素材において 1.0[cm/s] の速度が最も多く推定される結られた素材情報を圧縮したもので，この特徴量にはヒトの果となった．

触覚が素材を触った際に感じる，ヒトの触覚認知に関係す

モデル学習の過程を観察したところ学習の過程で，減速る特性が得られる可能性がある．そこで，我々はヒトの触の行動が極端に減り，加速または現状の速度を維持する

り動作と本研究の触り動作との比較から，ヒトの触覚認識ように学習が進んでいた．これも，データセット全体の特を探る逆のアプローチを行っていく．Katz は，ヒトの触徴として図 16 に示したように低速時のサンプルに比較し覚は “触質” と呼ばれる触印象と触材の区別に用いて “触高速時のサンプルの識別精度が高いことが影響している識” の感覚量で表現できると述べている [21]．つまり，ヒと考える．また，疑似動作学習にデータセットを用いてトの触覚認識は触質と触識の 2 つの大きな認識軸とその軸

0.1-1.0[cm/s] 範囲の速度のみで学習を行っているため，速を装飾するような副次的な複数の軸からできているという度上限・速度下限が設定されており，1.0[cm/s] が推定され説である．今回行なった特徴量抽出は 8 次元で触覚信号のた場合，減速しない限り 1.0[cm/s] が維持されることも影復元を行えていることから，中間特徴量には素材信号の情響していると考える．

報の多くが含まれている．この中間特徴量と Katz の唱え© 2020 Information Processing Society of Japan141

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

るヒトの触覚認識の認識軸との関係を研究することによっ

INT20015
2020/3/9[16]て，ヒトの触覚認識の解明を目指していく．
[17]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

Susan J Lederman and Roberta L Klatzky. Hand movements: A window into haptic object recognition. Cognitive psychology, Vol. 19, No. 3, pp. 342–368, 1987.
H. Takahashi, A. Nakai, K. Matsumoto, and I. Shimoyama. Shear force detector using piezo-resistive
beams with sidewall-doping. In 2012 IEEE 25th International Conference on Micro Electro Mechanical Systems (MEMS), pp. 599–602, Jan 2012.
Tomonori Yamamoto, Nicholas Wettels, Jeremy A
Fishel, Chia-Hsien Lin, and Gerald E Loeb. Biotac ー
生体模倣型触覚センサー. 日本ロボット学会誌, Vol. 30,
No. 5, pp. 496–498, 2012.
Jeremy A Fishel and Gerald E Loeb. Sensing tactile microvibrations with the biotac―comparison with humansensitivity. In 2012 4th IEEE RAS & EMBS international conference on biomedical robotics and biomechatronics (BioRob), pp. 1122–1127. IEEE, 2012.
Mohsen Kaboli and Gordon Cheng. Robust tactile descriptors for discriminating objects from textural properties via artiﬁcial robotic skin. IEEE Transactions on
Robotics, Vol. 34, No. 4, pp. 985–1003, 2018.
Bo Hjorth. Eeg analysis based on time domain properties. Electroencephalography and clinical neurophysiology, Vol. 29, No. 3, pp. 306–310, 1970.
Juan M Gandarias, Jesús M Gómez-de Gabriel, and Alfonso Garcı́a-Cerezo. Human and object recognition witha high-resolution tactile sensor. In SENSORS, 2017
IEEE, pp. 1–3. IEEE, 2017.
Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf:
Speeded up robust features. In European conference on
computer vision, pp. 404–417. Springer, 2006.
Nathan F Lepora and Benjamin Ward-Cherrier. Tactile quality control with biomimetic active touch. IEEE
Robotics and Automation Letters, Vol. 1, No. 2, pp. 646–
652, 2016.
Craig Chorley, Chris Melhuish, Tony Pipe, and Jonathan
Rossiter. Development of a tactile sensor based on biologically inspired edge encoding. In 2009 International
Conference on Advanced Robotics, pp. 1–6. IEEE, 2009.
Uriel Martinez-Hernandez, Tony J Dodd, Mathew H
Evans, Tony J Prescott, and Nathan F Lepora. Active sensorimotor control for tactile exploration. Robotics
and Autonomous Systems, Vol. 87, pp. 15–27, 2017.
Alexander Schmitz, Perla Maiolino, Marco Maggiali,
Lorenzo Natale, Giorgio Cannata, and Giorgio Metta.
Methods and technologies for the implementation oflarge-scale robot tactile sensors. IEEE Transactions on
Robotics, Vol. 27, No. 3, pp. 389–400, 2011.
H. Shimoe, K. Matsumura, H. Noma, M. Sohgawa, andM. Okuyama. Development of artiﬁcial haptic modelfor human tactile sense using machine learning. In 2017
IEEE SENSORS, pp. 1–3, Oct 2017.
Takumi Yokosaka, Scinob Kuroki, Junji Watanabe, andShin’ya Nishida. Estimating tactile perception by observing explorative hand motion of others. IEEE transactions on haptics, Vol. 11, No. 2, pp. 192–203, 2017.
Takumi Yokosaka, Scinob Kuroki, Junji Watanabe,
Shin yaNishida. Linkage between free exploratory movements and subjective tactile ratings. IEEE transactions
on haptics, Vol. 10, No. 2, pp. 217–225, 2016.

© 2020 Information Processing Society of Japan

[18]

[19]

[20]

[21]

佐藤克成. 触質感の類似性と触動作の関係. ロボティ
クス・メカトロニクス講演会講演概要集, Vol. 2019, pp.
1P2–S09, 2019.
弘人橘, 志朗釜鳴, 達也美馬, 雅之寒川, 岳金島, 雅則奥山,馨山下, 実野田, 春生野間, 誠良樋口. 3 方向カンチレバーを用いた多軸触覚センサの作製と基礎特性. 電気学会論文誌. E, センサ・マイクロマシン準部門誌 = The transactions of the Institute of Electrical Engineers of Japan. A
publication of Sensors and Micromachines Society, Vol.
130, No. 6, pp. 223–229, jun 2010.
Ryoma Araki, Takashi Abe, Haruo Noma, and Masayuki
Sohgawa. Miniaturization and high-density arrangement of microcantilevers in proximity and tactile sensor
for dexterous gripping control. Micromachines, Vol. 9,
No. 6, 2018.
Diederik P Kingma and Max Welling. Auto-encoding
variational bayes. arXiv preprint arXiv:1312.6114,
2013.
Volodymyr Mnih, Koray Kavukcuoglu, David Silver,
Alex Graves, Ioannis Antonoglou, Daan Wierstra, andMartin A. Riedmiller. Playing atari with deep reinforcement learning. CoRR, Vol. abs/1312.5602, , 2013.
D. KATZ. Der aufbau der tastweld. Zeitschrift fur Psychologie, Erganzungsband, Vol. 11, , 1925.

142