立石科学技術振興財団

助成研究成果集(第31号) 2022

研究助成成果報告 研究助成 (S)

繊細な力の感覚と制御による熟練技能の自動化を実現するロボットワーカーの開発
The research on a worker robot with force sensing and control for skill automatization
2198002

研究代表者

早稲田大学

共同研究者

早稲田大学
次世代ロボット研究機構

授

菅研究院講師汪尾

創造理工学部

教早稲田大学

基幹理工学部

教

授

早稲田大学

創造理工学部准教授

野重

樹
偉形

哲也

アレクサンダーシュミッツ

代に渡って引き継がれたものなのか，自身の努[研 究 の 目 的]力で新たに得たものか判断がつかない。このよ
現在，少子高齢化による労働力不足，人件費の高騰などの状況を受け，様々な分野でロボッうな問題を解決するには技能のシステム化が必須である。
本研究では，この「研磨加工」の，熟練技能ト技術による自動化が進んでいる。しかし，精密な仕上げ，外観検査，研磨加工など，熟練ののシステム化を目的とした。

職人による作業をロボットで再現することは難

まず，熟練技能に不可欠な「繊細な力の感覚しく，自動化はほとんど進んでいない。初心者と制御」機能をロボットに与えるため，「押しがこれらの技術を習得するには長期の時間と多付け力を調整可能な研磨装置」及び「人間の機大なコストが必要であり，人材の確保が難しい。

序を模倣した両腕ロボットワーカー」を開発し，加えて，単純な繰り返し作業であるという点かシステム化のためのハードウェア・プラットらも自動化が強く求められている。

ホームとした。加えて人間が作業中の「マルチ本研究では，工場の現場で基礎工程として広モーダルな技能データ」を解析した。この人間く存在している「研磨加工」に注目する。研磨のマルチモーダルデータから，機械学習によっ加工は，製品の表面仕上げによく用いられる加てロボットの動作学習を行うことで，スペック工方法である。砥石を高速回転させ製品に押しが異なるロボットでも動作生成可能な汎用性を当てる，もしくは高速回転させた製品に砥石を持つ，動作学習・生成システムを構築し，熟練押し当てるといった方法で製品の表面の凹凸や技能のシステム化を図った。

異物を除去することが可能である。技能の伝承

これらのプロセスを通して，熟練技能の伝承という面からは研磨加工には武道や芸道のようが可能な「人間と機械の融和」場面が実現できな段級制や免許制がなく，技術の達成度が曖昧ると期待される。

である。また技術を習得したとき，それが数世― 34 ―

Tateisi Science and Technology Foundation

チュエータとボールジョイントの組み合わせで[研究の内容，成果]

20 自由度の電動駆動システムを実装すること
1) 人間の機序を模倣した両腕ロボットワーとした。

カー
熟練の職人は「磨く，削る」など，スキルが2) 押し付け力を調整可能な研磨装置求められる作業を行う。この際，手首の動きに研磨加工では職人は繊細な力の感覚を頼りに伴い，腕部，腰部，頭部などの多様な動作を加作業を行う。先行研究では，熟練者，経験者，えて，複雑な身体動作をおこなっている。一方，素人で研磨時に材料に付加する圧力を計測し比工場の現場で多く導入されている産業用ロボッ

較した。その結果，素人は研磨する力のバラツ

トは，5 自由度や 6 自由度など人間に比べ自由キがあり，熟練者は力を一定に保持し，なおか度が少なく，技能者の身体動きの再現が困難でつ力を抜く技術があるということが明らかとある。

なった。また，熟練者は未経験者に比べ，素早そこで，本研究では，熟練技能の自動化のい操作で表面に 2 倍の研磨力を加えることがでハードウェア・プラットフォームとなる「ロき，その結果，表面粗さを 1/2 に抑えることがボットワーカー」を開発した。この際，身体構できていた。

造など人間の機序を模倣した設計を行うこととし た。本 研 究 で 開 発 さ れ た「ロ ボ ッ ト ワ ーカー」を図 1 に示す。

図2

開発した両手持ち「研磨装置」

このように，作業中の押し付け力の調整の技術が研磨加工の品質を左右し，作業者のスキル
図1

開発した「ロボットワーカー」のレベルも決める重要な要素となる。そこで，｢ロボットワーカー」は，技能者の様々な巧既存の手持ちの研磨装置に，押し付け力を感みな作業を行う際の身体動作を再現させるため，知・調整する機能を付加することとし，人間が多くの自由度から構成する設計とした。具体的

違和感なく使うことができ，ロボットにも適用には，両腕部 14 自由度，腰部 3 自由度，頭部可能な「押し付け力を調整可能な研磨装置」を3 自由度を含め，全 20 自由度を有する。さら開発した。この両手持ちの研磨装置を図 2 に示に，ロボットの各部分のサイズも人間の身体のす。人間が研磨作業を行う際，市販の研磨装置各部位の比率に従って設計した。の代わりに，この装置を用いて研磨作業を行う｢ロボットワーカー」の各関節の駆動方式にことで，押し付け力のデータを取得，解析が可は，既存の産業用ロボットで用いられる回転関能となる。そしてロボットワーカーが研磨作業節駆動方式と異なり，人間の筋肉系と骨格系のを行う際にも，この装置を利用し，状況によっ仕組みを参考とした。具体的には，リニアアクて必要な押し付け力を調整することが可能とな― 35 ―

立石科学技術振興財団

イアンス−力」特性の結果を図 4 に示す。実験る。
開発した装置は，市販型研磨装置の上部にセでは，5 段階のコンプライアンスで変化させンサー，可変柔軟性機構を搭載した構造を持つ。 データを取得した。ロボットが研磨する際，こセンサーはリニアエンコーダーとフォトセンの特性を参照し，押し付け力を実時間で調整すサーで構成され，力の変化を柔軟部の変位としることが可能になる。て取得する。可変柔軟性機構とは，柔軟部の特性 (コンプライアンス) を変えることができる

3) マルチモーダル技能データ取得システムの機構である。装置に負荷をかけて，エンコーダ開発及びデータ解析の値を変位として記録して実験を行い，装置の生産現場では，産業用ロボットに対象物の運「力−変位」特性を調べた。装置の柔軟部の柔搬，溶接，塗装などの目的動作をさせるため，軟性を 5 段階で設定して実験を行った。実験結

事前にエンジニアがロボットの目標動作を記憶

果を図 3 に示す。この特性に基づき，研磨する(教示) させ，作業中に制御プログラムでその際のエンコーダ値から押し付け力の推定ができとおりに繰り返し動作を行うのが一般的な方式

るようになる。

である。これはティーチングプレイバック方式と呼ばれる。
しかし人間が「研磨，仕上げ」など，技能が求められる作業を行う際は，上記の産業用ロボットの「ティーチングプレイバック」方式と異なり，目視，力の感覚・触覚，身体の動作などを協調的に行うことによって，様々な巧みな目標作業が実現できる。このような，人間の作業に対する技能を理解するためには，作業中の図3「人間の身体の動き，視界，対象物への接触力」｢研磨装置」の「力−変位特性」などマルチモーダルなデータを取得し，解析す開発した装置は，可変柔軟性機構により柔軟る必要がある。

性を連続的に変化させることができ，この機構

そこで，本研究では「マルチモーダル技能だけでも押し付け力の調整が可能になる。このデータ取得システム」を開発した，図 5 にシス装置をロボットに搭載，研磨し，コンプライアンスを変動させた際のエンコーダの値を押し付け力として記録して実験を行った。「コンプラ図4｢研磨装置」の「コンプライアンス−力」特性

図5― 36 ―マルチモーダル技能データ取得システム

Tateisi Science and Technology Foundation

テム全体の構成を示す。このシステムは環境カ7 に示す。

メラ，ヘッドマウントカメラ，押し付け力制御

研磨装置及び押し付け力：実験で使用した研可能な研磨装置から構成される。これらにより磨装置 (図 2) は，市販の手持ち研磨装置上部

体の動きのデータ，視界の移動データ，研磨時に可変柔軟性機構を搭載したものである。作業の押し付け力のデータが取得される。具体的な中に両手で持ち，対象物への研磨作業を行う。

データ事例を以下に示す。

可変柔軟性機構の柔軟部の変位を測り押し付け環境カメラと体の動きの情報：環境には作業力を推定する。今回の実験では 5 段階の柔軟性者，研磨対象を中心に，4 方にカメラが設置さで変化させデータを取得する。押し付け力のれている。環境カメラ同士の間隔は 3.5 m，高データを図 8 に示す。

さ 2 m の位置に設置した。環境カメラは研磨実験では，複数の実験者により，研磨方法，作業の様子を録画する。保存された動画から姿研磨装置のコンプライアンスを変化させた実験

勢推定を行い，スケルトンモデルを構成，各関を行った。その結果，観察深度は個人差が大き節の座標データに変換する。図 6 に環境カメラ

く，特定の人が他の人に比べ，観察深度が大きとそのスケルトンモデルの一例を示す。

くなることが確認された。また 4 つの環境カメ
ラのデータでは，体が斜めから覗き込む似た姿勢となること，また特定の方がより顔を近くにして作業を行うことが確認された。これは上記の観察深度の結果と一致する。また研磨装置のコンプライアンスが変わっても，実験者や研磨

図6方法が同じ条件であれば，研磨時の観察深度の環境カメラと作業者のスケルトン推移はおおむね類似することがわかった。研磨

ヘッドマウントカメラと視界移動情報：作業押し付け力については，特定の人 (観察深度が者の頭部にヘッドマウントカメラを装着しても大きい人) は他の人に比べ，押し付け力の変動

らい，研磨作業時の視界映像を録画した。ヘッが不安定になることが確認された。上手く力をドマウントカメラは左右の 2 つのカメラで構成加えられていない状況を定量的に見ることがでされている。得られた動画からカメラ位置推定きていると考えられる。研磨方法の違いについを行い，視界の移動情報として数値化した。各ては，細かい力の振動が観察されるものの，ど実験条件で数値化された視界の移動の事例を図の研磨方法でも研磨時の力はおおむね同じであった。

図8
図7

数値化した視界移動情報― 37 ―

各実験条件での研磨押し付け力

立石科学技術振興財団

4) ミッドポイントの軌道学習に基づいた汎用が自ら試行錯誤しながら学習する方法 (強化学性があるロボット動作学習・生成システム習) がある。いずれも学習データの取得コスト

機械学習を用いてロボットに技能の学習をさの問題，また学習した結果を他のロボットに転せることで，人間から技能伝承やロボット自動用することが難しいといった問題がある。一方，化を目指す研究が盛んとなっている。例えば，人間が熟練者から学ぶ際は，これらの方法と異作業者が産業用ロボットアームを遠隔で操作しなり，直接，その動作を観察して，技能者の動て作業し，ロボットが人間の感覚の微妙なさじ作の大枠を把握した上で，試行錯誤を繰り返し加減を学習し，人間の動きを再現するシステムながら技能を獲得する。

がある。なお，これらの手法は学習結果がロ

この人間の学習方法を参考とし，異なる技能ボット本体に依存し，構造が異なるロボットに者における動作の大枠の情報を把握するため，は直接応用できない。加えて学習のデータ収集

ロボットの関節角度ではなくミッドポイントのに作業が必要ためコストがかかるという問題点

時系列軌道を学習対象とした。ミッドポイントがある。の時系列軌道情報から，目標手先位置や，各関本研究では，機械学習で「技能を人間から継節角度などが計算でき，異なる技能者でも類似承させる」，「技能を他のロボットに伝える」とした情報が得られると期待される。この学習

いう技術伝承を目的とし，(a) 人間同士の学習データは技能者が作業する際，環境カメラからと同様に，人間の動作の観察による学習，(b)推定可能である。本研究ではこの学習について，学習の結果をスペックが異なるロボットにも応リカレントニューラルネットワークを用いた。

用可能，という特徴を持つ汎用性を持ったロ

例として，一人の技能者が円の軌道を沿って研ボット動作学習・生成システムを目指した。具磨する際の，ミッドポイント時系列軌道の学習

体的には，人間の作業中の，デカルト座標系で，データおよび学習後の時系列軌道生成データをロボットの先端や肘などの「ミッドポイント」

図 10 に示す。の時系列軌道を学習対象とした。ミッドポイン
トの時系列軌道は，身体の情報を含むと同時に，汎 用 性 が 高 い 目 標 情 報 も 含 む。リ カ レ ン ト
ニューラルネットワークを用いてミッドポイン
トの時系列軌道を学習し，7 自由度逆運動学によりロボット動作をリアルタイムで生成する。

図 10

ミッドポイント時系列軌道の学習システムの全体図を図 9 に示す。
ミッドポイント時系列軌道による動作学習：

逆運動学解析及び動作生成：人間や人間の機ロボットの動作学習については，ロボットを操序を模倣したロボットワーカーは，2 つの 7 自作して学習させる方法 (模倣学習) やロボット由度冗長マニピュレータを持つ。学習後のミッ

図9

ミッドポイントの軌道学習によるロボット動作学習・生成システム― 38 ―

Tateisi Science and Technology Foundation

ドポイント時系列をリアルタイムで動作生成す環境，作業方法，作業結果が存在している。今るため，逆運動学モデルの適用，及び動作生成後は，現場から実際の作業データを大量に取機能を開発した。冗長マニピュレータでもミッ得・整理し，研磨作業に特化したデータベース

ドポイントの解析的な逆運動計算から各関節のの構築が必要である。このようなデータベース

目標位置と角度が計算できる。結果として身体ができれば，研磨技能の技術化や機械学習シス構造などが異なるロボットでも，リアルタイムテムの実用化に重要な貢献ができると期待され動作生成が実現可能となる。図 11 に，上腕とる。

前腕の長さの比率を変更した異なるロボットを用いた際の動作生成結果を示す。

[成果の発表，論文など][1] Satoshi Funabashi, Tomoki Isobe, Fei Hongyi,Atsumu Hiramoto, Alexander Schmitz, Shigeki
Sugano, and Tetsuya Ogata: Multi-Fingered InHand Manipulation with Various Object Properties
Using Graph Convolutional Networks and Distributed Tactile Sensors, IEEE Robotics and Automation Letters (RA-L) (IF: 3.741), Volume: 7, Issue:
2, pp. 2102-2109, Jan. 2022. DOI: 10.1109/LRA.2022.
3142417[2] Namiko Saito, Takumi Shimizu, Tetsuya Ogata,and Shigeki Sugano: Utilization of Image/Force/Tactile Sensor Data for Object-shape-oriented

図 11

Manipulation: Wiping Objects with Turning Back

身体構造が異なるロボットの動作生成結果

Motions and Occlusion, IEEE Robotics and Automation Letters (RA-L) (IF: 3.741), Volume: 7, Issue:
2, pp. 968-975, December 2021. DOI: 10.1109/LRA.
2021.3136657[今後の研究の方向，課題][3]

本研究では研磨作業の中のバリ取りや表面仕Time Series, He Jiang et al. (Eds.): IEA/AIE-2021,
Advances and Trends in Artificial Intelligence,上げの技術のシステム化を目的とした，ロボッ

Lecture Notes in Computer Science (LNCS), vol.

トワーカーの開発，基礎評価実験を行った。実12798, pp. 113-120, Springer, Online, July 26-29,

際の生産現場では，研磨作業だけでも，様々な研磨対象物や研磨方法が存在している。例えば，曲面を対象とした研磨をする際には，多自由度な押し付け力の調整が必要なため，研磨装置もRyoichi Nakajo, and Tetsuya Ogata: Comparisonof Consolidation Methods for Predictive Learning of2021.
[4]

Kulkarni, S., Schmitz, A., Funabashi, S., Sugano, S.

(2020) Development and Evaluation of a Linear
Series Clutch Actuator. IEEE/RSJ International
Conference on Intelligent Robots and Systems

3 次元で押し付け力の取得・調整できるよう，(IROS 2020), pp. 6353-6360, doi: 10.1109/IROS457

押し付け力機構の多自由度化が必要になる。

43.2020.9341293.

機械学習については，「深層学習」の手法が急速に発展していることに伴い，問題に特化し[5]

Funabashi, S., Schmitz, A., Ogasa, S, Sugano, S.
(2020) Morphology-Speciﬁc Stepwise Learning of
In-Hand Manipulation with a Four-Fingered Hand.

たデータセットの構築も重要になってきた。研IEEE Transactions on Industrial Informatics, 16(1),

磨作業については，様々な対象物，工程，作業

pp. 433-441, doi: 10.1109/TII.2019.2893713.

― 39 ―